Der um die Mitte des 14. Jh. erwähnte „hoff auf dem Perg“, der sich in Altenhohenauer Besitz befand, ist ebenso mit der nördlich von Walpertskirchen gelegenen Ortschaft Schwabersberg gleichzusetzen wie der 1370 genannte „Hof auf dem Perg...bey Wollprechtschirchen“.
Seit 1459 ist die Bezeichnung der Ansiedlung mit dem Namen des Besitzers Schwaber verbunden.
Über einen Vorgängerbau der bestehenden Kirche, deren Vorhandensein im 17. Jh. erwähnt wird und die im 18. Jh. als Filiale von Walpertskirchen bezeichnet wird, sind keine Nachrichten überliefert.
Am 10. Juli 1679 wurde vom Freisinger Bischof die Genehmigung zum Bau einer dem hl. Florian geweihten Kapelle erteilt. Mit dem Bau, dessen Entwürfe Hans Kogler zugeschrieben werden, muss bald danach begonnen worden sein, denn aus einem Schreiben des Kurfürstlichen Hofs in München vom 10. Dezember 1681 geht hervor. dass ein neuer Altar in der Kirche aufgerichtet worden ist.
Ein Inventar von 1701 berichtet schließlich, dass sich drei Altäre in der Kirche befinden.
1865 wird die Kirche als baufällig bezeichnet, die dringlichsten Ausbesserungen waren bis 1870 erledigt. 1892 musste der Turmabschluss, der durch einen Blitzeinschlag zerstört worden war, erneuert werden.
Instandsetzungen der Kirche fanden 1905/06 und 1936/37 sowie 1959 am Außenbau und 1967/68 im Inneren statt.