In der Ortsmitte fesselt ein stattliches Gebäude mit geschweiftem Giebel und zwei zur Straßenseite vorspringenden Ecktürmen den Blick. Es ist der verwaiste Pfarrhof, das ehemalige Schloss Rudolfshausen. Von Augsburger Bürgern kam dieser Besitz 1579 an Ludwig Welser, Hauptmann und Pfleger der Herrschaft Hohenschwangau. Dieser schickte sich gleich 1580 an, daraus einen wirklichen Edelmannssitz als angenehmen Aufenthalt zu schaffen. Welser erreichte 1581 von Kaiser Rudolf II., dieses neue Schloss nach seinem Namen benennen zu dürfen. Nach seinem baldigen Tod ging es über die verschuldeten Erben mit ca. 120 Tagwerk Grund an Max Fugger, Freiherr von Kirchberg. 1624 erwarb es das Kloster hl. Kreuz in Augsburg und vergrößerte es durch weitere Waldungen und Fischwasser. Aber der Probst von Augsburg fand keine Freude an dem Besitz wegen des neidvollen Verhaltens des Abtes von Steingaden und verkaufte es 1641 an Landrichter Echinger von Landsberg; auch dieser hatte allerhand Prozesse auszustehen, bis er, davon mürbe, das Gebäude (1643) an Steingaden verkaufte. Das Kloster verlegte den bisher westlich des Schlosses gelegenen Pfarrhof dorthin. Das Pfarrhaus war mit nahezu allen Häusern 1643 von den Schweden abgebrannt worden. Das Schloss wurde 1658, nach 1803 und 1908 mehrmals umgestaltet und renoviert. Bischof Riegg stellte 1827 bei einer Visitation fest, dass Holzhausen den schönsten und großartigsten Pfarrhof seiner Diözese besitzt.

Vom Kriegerdenkmal mit St. Marin an der Schule vorbei, liegt am nördlichen Hang, wo noch bis 1800 die alte Salzstraße nach Lindau verlief, die "Rindenkapelle". Der volkstümliche Name der Kapelle Maria Heimsuchung kommt daher, dass das gesamte Innere mit weißer Birkenrinde ausgekleidet ist. Maria Fugger, Gräfin auf Schloss Rudolfshausen, ließ sie 1620 in Holz errichten. 1704 wurde sie umgebaut und 1856 mit einem gemauerten Altarraum versehen. Im zentralen Blickpunkt steht das Gnadenbild der sitzenden Muttergottes aus der 1. Hälfte des 17. Jhs., flankiert von den Silberstatuen der hl. Leonhard und Wendelin.

Volkskundlich bedeutsame Votivtafeln, die älteste von 1704 mit dem ersten Wunder im Husarenkrieg und 1796-1857 mit interessanten Ortsansichten schmücken die Wände. Im großen Dorfbrand 1857 fielen 14 Höfe den Flammen zum Opfer. Die kleine Gemeinde Hausen im Landkreis Kaufbeuren, deren Widdumshof 1303 vom Kloster Steingaden erworben wurde, war bis 1811 pfarrlich Holzhausen zugehörig. Die Abtrennung erfolgte, weil der Pfarrsprengel nicht mehr über die Landgerichtsgrenze hinausreichen durfte.

In den bischöflichen Pfarrvisitationsakten von 1864 wird der religiös-sittliche Zustand von Holzhausen besonders gerühmt. Es verdient festgehalten zu werden, dass die Pfarrmatrikel mit dem Jahr 1568 beginnen und damit zu den drei ältesten im Bistum Augsburg gehören.

In frühe Zeiten gehörte es zu den Aufgaben des Pfarrers und Mesners, die Kinder im Lesen, Schreiben und in der Christenlehre zu unterrichten. Der Abt von Steingaden als Pfarrherr legte darauf besonderen Wert. Der erste Ludimagister d.h. Schulmeister wird 1692 in Holzhausen genannt. Von 1745 liegt ein ausführlicher Bestallungsbrief auf, in dem alle Pflichten des Lehrers genau fixiert waren.

Bis 1825 unterrichteten der Lehrer in seinem Söldhäusel Nr. 11, das nur 2 Zimmer umfasste. Oft fiel der Unterricht aus, da die durchziehenden Soldaten das unmittelbar an der Straße gelegene Quartier bezogen. Unter Lehrer Huber baute die Gemeinde 1825 den ersten Schulsaal am Bach. Lehrer Huber und sein Nachfolger Hafner wirkten allein 100 Jahre im Ort. 1854 wurde die Schule endlich um eine Wohnung für den Lehrer erweitert. Aber auch dieses Provisorium reichte nicht lange aus. 1869 entstand der Schulbau im ehemaligen Pfarrgarten (heutiges Lehrerhaus). Außer Pfarrer Hutter wollte niemand in den sauren Apfel beißen und man versuchte, durch Prozesse um den Schulbau herumzukommen. Da sich die Bauern immer nur einen Schulgehilfen leisten wollten anstelle eines definitiven Lehrers, so blieb bei dem vielen Wechsel der Unterricht oft die Hälfte des Jahres aus. 1913 baute die Gemeinde einen neuen Schulsaal mit moderner Inneneinrichtung auf dem nördlichen Schulgrundstück. Aber schon 1918 war der Saal für die 75 Kinder wieder zu klein und Lehrer Ebner schreibt, dass die Vergrößerung nur noch eine Frage der Zeit sei. Doch erst 1954 packte Bürgermeister Heiß (gest. 1959) die harte Nuss der Schulerweiterung an, die auf 90 000 DM kam. Der alte Schulsaal wurde in die Modernisierung einbezogen. Harte Bürgerversammlungen gingen dieser Entscheidung voraus und der letzte Bericht schloss mit dem Zitat aus der alten Schulchronik: "Zu Gottes Ehr und unserer Freude, zu unserer Kinder Unterricht steht dieses bessere Schulgebäude. Uns reuen solche Kosten nicht."