Het oorspronkelijke huis Adama is zeventiende-eeuws maar in de volgende eeuwen is het verbouwd. Aan dit huis werden in 1834 en 1845 vooruitspringende vleugels gebouwd. Architect P. Soffers uit Ginneken bouwde in 1851 een neogotische kapel, die op 4 juli 1853 werd ingezegend.

 In 1864 is het carré gesloten door de bouw van een ingangsvleugel in neogotische stijl, vermoedelijk ook van architect P. Soffers. Op de verdieping aan de achterkant van het huis bouwde Soffers in 1870 een refter en de brevierkapel (later kapittelzaal).

In het begin van de tachtiger jaren van de vorige eeuw werden de kostschoolvleugels gesloopt. Van de vleugels resteert een toren. De kapel dateert uit 1907 en is gebouwd naar tekeningen van architect P. van Genk uit Leur.

In 1910 bouwde architect W. Oomen een nieuwe vleugel aan het pensionaat, met onder meer een recreatiezaal, een handwerkzaal en een slaapzaal met badruimten. Dezelfde architect maakte in 1937 ook tekeningen voor een nieuwe uitbreiding.

In de kloostertuin bouwde hij een jaar later het klooster Mariahof, voor oude en zieke zusters. In 1991 is Mariahof verkocht aan de Stichting San Francesco Kloosterverzorgings- en Verpleeghuis.

Na de oorlog volgden nog diverse uitbreidingen, deels in Bossche School stijl. Zo groeide het klooster uit tot een ingewikkeld gebouwencomplex, het Instituut Sint Jozef. Later werd de naam ’t Withof weer meer gebruikt.

Santa Clara, een nieuw verzorgingshuis voor bejaarde zusters, werd in 1949 eveneens naar plannen van architectenbureau Oomen gebouwd. Het gebouw is door een glazen gang verbonden met Mariahof. In 1991 volgde nieuwbouw door architect A. Oomen.

Eind 2000 is ook dit gebouw verkocht aan de Stichting San Francesco. In 2010 verruilden de laatste zusters 't Withof voor het nieuwe San Francesco.

Alleen al door de bouwgeschiedenis is het Withof van groot belang. De zeventiende-eeuwse gevel van huis Adama op de binnenhof is nog herkenbaar. Diverse aanbouwen zijn intussen weer afgebroken. Wel bewaard bleven de kapellen van P. Soffers en Van Genk.

Alle houten meubilair, eiken deuren met spitsbogen, eiken tronen, altaar met pinakels en banken met spitsboogversiering werd gebeeldhouwd in het atelier van Peeters-Divoort uit Turnhout.

Bron: J. Smits, Vademecum van religieuzen en hun kloosters in Noord-Brabant, Alphen aan de Maas, 2010