Kościół Bożego Miłosierdzia ufundował Jan Żukowski z Bystrzycy w 1555 roku. Powstała wówczas drewniana świątynia oraz szpital dla ubogich. Obiekty zostały zniszczone w wyniku najazdu arcyksięcia Maksymiliana Habsburga. W latach 1624-1629 na planie prostokąta wzniesiono nową, tym razem murowaną świątynię z inicjatywy ks. Jana Wróblewskiego, penitencjarza wawelskiego. Była to jednonawowa, orientowana budowla z zamkniętym półkoliście prezbiterium. Ucierpiała podczas potopu szwedzkiego, jednak udało się ją odnowić. Została rekonsekrowana przez biskupa Mikołaja Oborskiego w dniu 25 października 1665 roku. Ołtarz główny otrzymał przy tym wezwanie Miłosierdzia Bożego i Podwyższenia Krzyża Świętego. Już w najstarszym przewodniku po Krakowie z 1603 roku odnaleźć można informację o istnieniu „kappelli Miłosierdzia Bożego na Smoleńsku nad Rudawą”, co oznacza, że najprawdopodobniej jest to najstarszy kościół pod tym wezwaniem na ziemiach polskich.

Kościół kilkukrotnie ucierpiał na skutek wystąpienia z brzegów rzeki Rudawy. W prezbiterium znajduje się tablica wskazująca poziom wody w czasie powodzi w 1813 r. W połowie stulecia przylegająca do kościoła kamienica prebendarza stała się pierwszym klasztorem Sióstr Matki Bożej Miłosierdzia, które później przeniosły dom zakonny do Łagiewnik.

Świątynia została odrestaurowana ponownie w pierwszej dekadzie XX wieku w oparciu o projekty Jana Sasa Zubrzyckiego i pod kierownictwem Władysława Warczewskiego. W miejscu dotychczasowej kruchty pojawiły się schody oraz portal, zaś na dwuspadowym dachu zainstalowano sygnaturkę zwieńczoną krzyżem. Udało się przy tym zachować barokowy charakter kościoła.

Renowacja wnętrza została przeprowadzona w latach 1942-1947. W zwężonym w stosunku do nawy prezbiterium o kolebkowym sklepieniu znajduje się jednokondygnacyjny, barokowy ołtarz główny fundacji Jana Pakuszowskiego. W jego centrum mieści się otaczany czcią krucyfiks wraz z XVII-wieczną sceną Ukrzyżowania (obraz przesuwany). Po bokach, w konchowych niszach, umieszczono figury św. Wojciecha BM i św. Stanisława BM. W nawie podziwiać można między innymi kamienny ołtarz z figurą św. Józefa wykonany w 1906 roku. Obok niego widnieje obraz Jezusa Miłosiernego namalowany przez lwowskiego artystę Stanisława Batowskiego Kaczora na zlecenie przełożonej generalnej Zgromadzenia Sióstr Matki Bożej Miłosierdzia Michaeli Moraczewskiej z przeznaczeniem do klasztoru w Łagiewnikach. W 1943 roku, gdy dzieło zostało ukończone, do kościoła klasztornego podobny obraz, jako dziękczynne wotum, ofiarował malarz Adolf Hyła. Kardynał Stefan Sapieha podjął wówczas decyzję o pozostawieniu w klasztorze sióstr obrazu pędzla Hyły i przekazaniu dzieła Batowskiego do kościoła Bożego Miłosierdzia.

 

Warto zwrócić uwagę także na XVII-wieczną ambonę ozdobioną wizerunkami czterech Ewangelistów oraz XX-wieczny, drewniany chór, oparty na dwóch kolumnach. Przy ścianie tęczowej zobaczyć można kolejne dwa ołtarze boczne, pochodzące z drugiej połowy XVII wieku.

Obecnie kościół nosi wezwanie Bożego Miłosierdzia i przynależy do Katedry na Wawelu jako własność Kapituły Metropolitalnej. Świątynię uznaje się za prawdopodobne miejsce pochówku ks. Grzegorza Gerwazego Gorczyckiego, jednego z najwybitniejszych polskich kompozytorów baroku, który pełnił w kościele swoją posługę jako prepozyt i penitencjarz.