Aiterbach lesen wir erstmals in einer Schenkungsurkunde aus dem 35. Regierungsjahr des Herzogs Tassilo III., also aus dem Jahr 782. Eindeutig wird jedoch eine Kirche erst 1315 erwähnt, dürfte aber 1190 mit Allershausen zum Kloster Neustift gekommen sein. Mit viel Fleiß wird zu Beginn des 18. Jahrhunderts eine neue Filialkirche errichtet, die der Freisinger Fürstbischof Johann Franz Eckher am 10. Juli 1710 in höchsteigener Person eingeweiht und im Anschluss an die Kirchenweihe 53 Personen gefirmt hat.
Die Kirche ist - wie ihr Vorgängerbau - dem Hl. Brictius geweiht. Nebenpatrone sind die Märtyrer Sebastian und Afra. Der Hl. Brictius ist im wahrsten Sinne des Wortes ein "seltener Patron" .Aiterbach ist in der Erzdiözese München-Freising die einzige Kirche - im Gegensatz zum Rheinland -, die ihn als Patron verehrt. Warum das so ist, können wir uns nur so erklären, dass Brictius ein Schüler des Hl. Martin war und in Allershausen eine Martinskirche war.
Brictius war von 397 bis 444 Bischof von Tours. Vorher führte er keinen sonderlich ehrbaren Lebenswandel. In seinem Stolz beschimpfte er den Hl. Martin und nannte ihn einen „alten Fasler" und "Narren". Martin verzieh ihm und prophezeite ihm: " Wahrlich, ich sage dir, ich habe es bei Gott erwirkt, dass du nach meinem Heimgange die bischöfliche Würde erlangst, aber wisse, viel Leiden wirst du als Bischof erdulden!" Brictius wurde in seinem 33. Bischofsjahr beschuldigt, er sei der Vater des Kindes einer Wäscherin. Das herbeigebrachte Kind sagte: "Du bist nicht mein Vater!" Trotzdem glaubt die aufgebrachte Menge an Zauberei und Brictius will in einem Gottesurteil seine Unschuld beweisen. "Er tat glühende Kohlen in sein Gewand, preßte sie fest an sich und ging so bis zum Grab des Hl. Martinus, begleitet von der Schar des Volkes; und vor dem Grab warf er die Kohlen hin, und sein Gewand, so sah man, war unversehrt." Trotzdem wurde er aus Tours verstoßen und kehrte erst sieben Jahre danach wieder zurück.
Auf dem Hochaltarbild, das die Gebrüder Kraft aus Freising 1882 geschaffen haben, ist der Hl. Brictius dargestellt. Von denselben Künstlern stammt auch das Hl. Grab, das alljährlich während der Kartage die Kirche ziert.
Frommer Volksglaube ließ 1845 die Idee entstehen, auf dem Hügel gegenüber der Kirche einen Kalvarienberg zu errichten. Er gestaltete sich zu einer Wallfahrtsstätte, an der sich die Gläubigen mit ihren Sorgen und Nöten einfanden, was Votivtafeln bezeugen. Nach der Renovierung 1978/79, die in harter Arbeit von den Aiterbachern durchgeführt wurde, wird das Heiligtum besonders am Karfreitag von der Bevölkerung aus der näheren und weiteren Umgebung besucht.
1983 wurde die Kirche unter Mithilfe der Bevölkerung gründlich renoviert.