Klasztor i kościół na górze Karczówka zbudowano w XVII w. Do budowy klasztoru doprowadziły następujące zdarzenia. Około 1622 r. w okolicach Kielc szalała epidemia morowego powietrza. Śmierć poniosło wielu ludzi z okolicy, w tym również z Białogonu. Biskup krakowski, Marcin Szyszkowski, złożył publiczne śluby: jeżeli zaraza ominie jego miasto to on na górze zwanej Karczówką wzniesie kaplicę i nada jej wezwanie św. Karola Boromeusza. Ten Święty, wyniesiony kilka lat wcześniej na ołtarze, był czczony jako patron chroniący od zarazy.
Tu trzeba dodać, że okolice Kielc były własnością biskupów krakowskich. Szczęśliwym zbiegiem okoliczności epidemia miasto ominęła. Biskup słowa dotrzymał i aktem erekcyjnym z dnia 24 maja 1624 r. przystąpił do budowy.
Budowa trwała do 1628 r. Pierwotnie erygowano tu parafię. Po kilku latach fundator zmienił zdanie i poprosił prowincjała bernardyńskiego o urządzenie w tym miejscu klasztoru. Osiedli tutaj zakonnicy - bernardyni z Lublina. Powiększono wówczas zabudowę obiektów pierwotnej plebanii i kościoła, dobudowując nowe części. Wówczas to klasztor i kościół zyskały obecny kształt fortalicji obronnej. Zakonnicy przybyli na Karczówkę 2 sierpnia 1631 r.
Klasztor umiejscowiono w środku góry, porytej wykopami w poszukiwaniu galeny. Wielkim problemem fundatora i zakonników był brak wody. Gwarkowie, którzy wydobywali ołów, znali stosunki wodne tej góry, ale budowniczowie nie wzięli ich wiedzy pod uwagę. Wodę dostarczali więc mieszkańcy Czarnowa. Dowóz wody trwał aż do połowy XX w., do czasu zbudowania wodociągu. Wydzielono wówczas część Czarnowa i przydzielono do klasztoru jako wieś służebną. Jako echo tamtego czasu pozostało to w nazwie: Czarnów Klasztorny.
Klasztor był celem napaści żołdaków szwedzkich w 1656 r. Został gruntownie ograbiony, a samych zakonników poddano torturom. Upamiętnia to obraz kielczanina - Ryszarda Prausa, który można obejrzeć na krużganku klasztornym.
Do klasztoru od strony miasta około 1629 r. dobudowano stacje drogi krzyżowej. Przetrwały one do 1822 r. Wówczas je rozebrano, a pozyskany materiał przeznaczono na remont pomieszczeń klasztornych. Stacje zostały odbudowane około 1904 r.
Były jeszcze propozycje, aby w klasztorze urządzić zbór protestancki dla Gwarków niemieckiego pochodzenia, albo sąd poprawczy dla powiatu Jędrzejów. Obie te propozycje zostały przyjęte negatywnie.
Najtragiczniejsze dni przeżył klasztor w 1864 r. Mocą dekretu carskiego skazano na tzw. etat. Oznaczało to zakaz przyjmowania kogokolwiek do klasztoru. Mieszkało tam wówczas 10 zakonników, którzy otrzymali polecenie udania się do Wielkiej Woli. Pozostał tylko jako rezydent - wikariusz o. Kolumban Tomaszewski. Klasztor zamknięto. Była to kara za pomoc zakonników dla powstańców styczniowych. Klasztor bernardyński przestał więc istnieć. Podobny los dotknął również inne domy zakonne.
Od 1918 r. gospodarzyły tutaj Siostry Służebnice Najświętszego Serca Jezusowego. Rozpoczął się żmudny proces renowacji obiektu. W 1922 r. kościół zamieniono na filialny parafii katedralnej. Powstała też drukarnia im. św. Józefa. Siostry zaczęły prowadzić szkołę przyklasztorną w zakresie szkoły powszechnej. Ten stan trwał do 1939 r.
Jeszcze na kilka dni przed wybuchem II wojny światowej, bp kielecki Czesław Kaczmarek reerygował tutaj parafię. W latach 50. przybyli tutaj pallotyni, którzy rozpoczęli budowę kościoła parafialnego w nowo powstałym osiedlu Podkarczówka.
Na teren kościoła prowadzą okazałe schody i portal według projektu architekta polskiego pochodzenia - Bażanki. Według posiadanych źródeł, ten architekt miał dokończyć budowę kościoła Świętej Trójcy i urządzić otoczenie świątyni.
Na zakończenie zwiedzania klasztoru można chwilę odpocząć w kawiarni, urządzonej w baszcie "Ostoja". Możemy na chwilę wejść do kościoła i w ciszy modlitewnej pomyśleć, że obiekt ten był wzniesiony jako dar za łaskę Miłosierdzia Bożego.