Toen ze tien jaar later moesten verhuizen was er geen andere woning beschikbaar dan het gebouw dat ‘het Kasteel’ werd genoemd.

Het kasteel van Boxmeer staat op een voormalig eiland in een dode Maasarm (De Meere). Het werd in de loop van zijn geschiedenis herhaaldelijk vernield en weer opgebouwd. Momenteel bestaan nog een vleugel van 1615 en het paviljoen, dat in 1782 grotendeels herbouwd werd in opdracht van Maria Johanna van Hohenzollern.

De zusters namen het kasteel in 1896 in gebruik als ziekenhuis en later als verpleeghuis. De ridderzaal werd kapel.

In 1902 begon men met een nieuwe vleugel voor woon- en ziekenruimte voor zusters en zieken, die was ontworpen door architect J.H.H. van Groenendael. In 1912 bouwde architect Jac. van Gils de aanbouw aan de oude ziekenhuisvleugel. Een neogotische kapel, gebouwd in 1936, is waarschijnlijk ontworpen door soeur Emilie de la Croix, die in het huis verbleef.  Uitbreidingen volgden met grote regelmaat. In 1962 bouwde architect Jan Strik een nieuwe vleugel voor het ziekenhuis, waarbij ook de ridderzaal werd verbouwd tot ziekenzaal. De nieuwe kapel werd ingezegend in 1965 en de oude werd afgebroken. Tevens verrees het noviciaat, een markant gebouw met een opengewerkte klokkentoren.

In 1975 staakten de zusters hun werk in het ziekenhuis. In 1986 verbouwde architect A. Waltjen het verpleeghuis tot kloosterverzorgingshuis Sint Anna, waarin verschillende congregaties leven. Het werd tevens het moederhuis van de Zusters van Julie Postel.

Waltjen voerde ook de verbouwing van 1992 uit. Hij ontwierp verder een nieuwe vleugel voor woonunits, onder meer voor zusters uit enkele op te heffen huizen. In de kelders bevindt zich een museum over de geschiedenis van het kasteel en van de congregatie.

De linkervleugel van het gebouwencomplex is een overblijfsel van het kasteel van Boxmeer. Een hoekpaviljoen is het restant van een complex uit 1782. Het heeft gevels met decoratie in Lodewijkstijl. In het oudste gedeelte bevindt zich een stucplafond uit 1686 en in het hoekpaviljoen een prachtige hal en unieke trap. Aan de rechterzijde een restant van een neogotische kloostervleugel.

Momenteel ligt er een kloosterbejaardenoord, met een veelhoekige kapel. Behalve religieuzen wonen er tegenwoordig ook leken in Sint Anna.

Bron: J. Smits, Vademecum van religieuzen en hun kloosters in Noord-Brabant, Alphen a/d Maas, 2010