Chronik

In einem ummauerten Friedhof auf einer Höhe über dem Imtal steht das alte Kirchlein, das in seinem Kern auf die Zeit der Romanik zurückgeht, worauf noch die meterdicke Mauer des Westteils hindeutet. In den Sunderdorferschen Matrikeln wird Ilmberg 1524 als eine Filiale von Lampertshausen genannt. In der Gotik wurde das Kirchlein nach Osten erweitert und ein neuer Dachstuhl sowie das Satteltürmchen aufgesetzt. Das Einkommen der Kirche betrug 1550 zwei Schilling Pfennige. Kirchenrechnungen gehen bis zum Jahr 1629 zurück.
Pfarrer Nikolaus Carl von Reichertshausen (1733-1773) hat den abgebrannten Turm wieder aufgerichtet. Als die Kirche 1841 dem Einsturz nahe war, wurde sie "von Wohltätern in guten baulichen Zustand hergestellt".

1885 erhielt die Kirche zwei Seitenaltäre mit den Figuren Herz Jesu und Herz Mariä im Nazarenerstil, gefaßt von Balthasar Kraft von Pfaffenhofen. Im Zuge einer Renovierung im Jahre 1947 wurden zwei kleine Glocken angeschafft. Zur gleichen Zeit wurde vermutlich das Martinsbild im Hauptaltar entfernt und dafür die sitzende Bischofsfigur von der Südwand weg auf den Hauptaltar gestellt. Diese Martinsfigur mit Gans ist eine Arbeit Ende des 15. Jahrhunderts. Die beiden Seitenaltäre wurden 1947 wieder entfernt. An deren Stelle steht auf dem südlichen Altartisch eine bäuerliche Schnitzerei, an der auf einer Karte zu lesen ist: "Diese uralte Muttergottes, Himmelskönigin, wurde nach mehr als 100 Jahren Abwesenheit am 15. August 1947 wieder in die Kirche zu Ilmberg zurückgebracht." Um Schnitzwerke im barocken Stil handelt es sich bei St. Martin an der Südwand und St. Sebastian an der Nordwand.

In den Jahren 2009/2010 wurde die Kirche innen und aussen komplett renoviert und die Bausubstanz nachhaltig gesichert.