Románský kostelík vznikl ve druhé polovině 12. století a býval centrem vesnice, která se nacházela v malém údolí pod kostelem. Kostelík byl postaven dříve než sám hrad a je možné, že první prokazatelná zmínka o Veveří z roku 1213 se týkala opevnění okolo kostela a ne hradu. Samotná vesnička Veveří byla zničena počátkem 15. století kvůli husitským válkám.
Vedle kostelíku stávala až do poustevna, kde pobýval poustevník. Roku 1797 však byla kvůli špatnému stavu rozebrána. Prostranství okolo kostelíku sloužilo jako hřbitov a pochovávalo se zde až do roku 1837.
Kostelík byl velmi poničen na konci II. světové války, kdy v něm byly ustájeni koně a zcela rozebrána střecha kvůli střelbě z minometů. Prošel následně rekonstrukcí z nichž poslední proběhla v roce 1989.
Byl zde nalezen deskový obraz Veverské Madony, jenž namaloval Mistr vyšebrodského oltáře, pocházející z poloviny 14. století. Byl původně namalován pro hradní kapli, která však byla zrušena na konci 19. století a obraz přenesen do kostelíku, kde jej posléze objevili historici umění. Obraz nyní můžete vidět v Národní galerii v Praze.
V kostelíku se v současnosti konají nepravidelné bohoslužby či svatby.
