Podle pověsti byl kostel založen v roce 1177 (tedy krátce po založení obce v roce 1171). Byl údajně postaven jakousi pohanskou šlechtičnou, která na tomto místě přijala křest. Šlechtična rovněž věnovala kostelu svou perlovou čelenku, která je dnes uložena v městském muzeu. První zmínka o kostele je z roku 1383, kdy je označován jako „starý farní kostel“ nebo „český kostel“.Ve dnech 17. až 20. června 1421 oblehla husitská vojska pod vedením Čeňka z Vatemberka a Hynka Krušiny z Lichtenburka Broumov. Vlastní město nedobyli, ale vyplenili jeho předměstí. Přitom byl vážně poškozen nebo zničen i kostel Panny Marie. V literatuře jsou uváděny domněnky, že kostel nebyl zničen zcela, protože strop kostela je z doby předhusitské. Současné práce tuto domněnku vyvracejí. Po požáru v roce 1449 proběhla oprava kostela do podoby, v jaké ho známe dnes. Jako rok dokončení se uvádí rok 1450, pro toto vročení ale nejsou známy žádné důkazy. V roce 1550 byla obnovena věžička poté, co ji strhl vítr. Další oprava věžičky proběhla v roce 1811. V polovině 18. století byla nad kněžiště vestavěna zvonice, která ale nepřevyšuje hřeben střechy. Současně byl zbudován nový oltář a za ním zřízena sakristie. Ochoz byl původně uzavřen prkennými stěnami. V době války o bavorské dědictví byla ale na rozkaz pruského generála Heinricha Wilhelma von Anhalt v roce 1779 prkna stržena. Od té doby je ochoz na všech stranách otevřený. V roce 2008 byl kostel prohlášen národní kulturní památkou. Pěšky: 15 minut od nás.