Według legendy kościół powstał w 1177 roku (niedługo po założeniu wsi w 1171 roku). Został rzekomo zbudowany przez pogańską szlachciankę, która została tu ochrzczona. Szlachcianka podarowała również kościołowi swoje perłowe nakrycie głowy, które jest obecnie przechowywane w muzeum miejskim. Pierwsza wzmianka o kościele pochodzi z 1383 r., kiedy to nazywano go „starym kościołem parafialnym” lub „czeskim kościołem”. 17-20 czerwca 1421 r. wojska husyckie pod wodzą Čeněka z Vatemberka i Hynka Krušiny z Lichtenburga oblegały Broumov. Nie zdobyli samego miasta, ale splądrowali jego przedmieścia. W trakcie tego procesu kościół Matki Bożej również został poważnie uszkodzony lub zniszczony. W literaturze sugeruje się, że kościół nie został całkowicie zniszczony, ponieważ jego sklepienie pochodzi z okresu przed husyckiego. Współczesne prace obalają to założenie. Po pożarze w 1449 roku kościół został odbudowany w formie, jaką znamy dzisiaj. Rok ukończenia prac podawany jest jako 1450, ale nie są znane na to żadne dowody. W 1550 r. odbudowano wieżę, która została zniszczona przez wiatr. Wieżyczka została naprawiona w 1811 roku. W połowie XVIII wieku nad prezbiterium zbudowano dzwonnicę, która jednak nie wystaje poza kalenicę dachu. W tym samym czasie wybudowano nowy ołtarz, a za nim zakrystię. Prezbiterium było pierwotnie zamknięte ścianami z desek. Podczas wojny o sukcesję bawarską deski te zostały jednak zburzone w 1779 r. na rozkaz pruskiego generała Heinricha Wilhelma von Anhalt. Od tego czasu galeria jest otwarta ze wszystkich stron. W 2008 roku kościół został uznany za narodowy zabytek kultury. 15 minut od nas piechotą.