Pierwsza świątynia wzniesiona na miejscu dzisiejszej powstała w XIV wieku, prawdopodobnie była drewniana i została zniszczona przez pożar w 1. połowie XV wieku.
Dzięki staraniom króla Władysława Jagiełły, w 1407 roku kościół został odbudowany - postawiono wówczas murowaną budowlę gotycką. Władysław Jagiełło przekazał patronat nad świątynią Uniwersytetowi Krakowskiemu, a jeszcze w 1. połowie tego samego wieku została ona rozbudowana, między innymi z inicjatywy Jana Isnera, pierwszego profesora katedry teologii Uniwersytetu.
W 1535 roku biskup Piotr Tomicki nadał kościołowi św. Anny godność kolegiaty. W 2. połowie XVII wieku profesorowie Uniwersytetu uznali, że świątynia jest zbyt mała i zadecydowali o gruntownej przebudowie - w tym czasie była ona już nie tylko ściśle związana z działalnością Akademii Krakowskiej, ale również stawała się ważnym ośrodkiem kultu świętego Jana Kantego. Została wówczas całkowicie zburzona - na jej miejscu wybudowano kościół, który znamy dziś.
Twórcą projektu był Tylman z Gameren — architekt pochodzenia holenderskiego, który w Polsce pracował od około połowy XVII wieku, a od roku 1672 był architektem królewskim. Według jego pierwszych zamysłów świątynia miała zostać wzniesiona na planie centralnym, wzorowana na rzymskim kościele S. Carlo ai Catinari. Projekty ulegały jednak zmianom na skutek żądań grona profesorów, w efekcie, jako wzór wskazuje się inny rzymski kościół — S. Andrea Della Valle. Pod koniec XVII wieku odpowiedzialność za budowę przejął ks. Sebastian Piskorski, który pracę powierzył włoskiemu architektowi Franciszkowi Solariemu. W latach 1694–1697 powstały sklepienia, a przed rokiem 1703 ukończono dekorację. W roku 1703 powstała kopuła i tego też roku konsekrowano kościół.