Na zijn priesterwijding in 1845 kocht De la Geneste zelf het huis. Mgr. Zwijsen besloot dat het een nevenklooster  van de Zusters van Liefde van Tilburg moest worden. Ook de belendende panden werden verworven en op 30 november 1845 kregen pastoor Bernts en het parochiale armenbestuur toestemming klooster en school in te richten.

Men noemde het klooster naar Nepomucenus, omdat de familie De la Geneste een bijzondere verering kende voor deze heilige. Henricus was in 1849 de eerste rector. De lokalen waren op 4 augustus 1848 klaar en men bouwde een ‘burgerbewaarschool voor jongens en meisjes’. In oktober werd een handwerkschool geopend, gevolgd door de ‘burgertaalschool’.

Vanaf 1851 was de parochiële meisjesschool aan het gesticht verbonden. In juni 1859 werd de kapel opgeknapt en de ingang verplaatst naar de straatzijde. In 1870 werd het terrein uitgebreid door aankoop van De Driessen.

Een schenking uit de nalatenschap van De la Geneste van 1881 eiste ‘de instandhouding en uitbreiding der liefdewerken bv. voor blinde meisjes’. Een jaar later namen de zusters het eerste blinde meisje op en zo ontstond het blindeninstituut. In 1890 was het gebouw te klein, in maart 1893 keurde de bisschop de nieuwbouwplannen van architect  A. de Beer uit Tilburg goed. Het blindengesticht en de kapel konden in juni 1894 in gebruik worden genomen. Het oude huis bleef bewaard.

Het blindeninstituut werd in 1930-1932 grondig verbouwd door ir. J.G. Deur uit Breda. De hoofdingang kwam opnieuw aan de Oliestraat te liggen. Aan de Brugstraat kreeg de naaischool er een verdieping bij voor een nieuwe slaapzaal. De oude slaapzaal werd speelzaal en kreeg aansluitend een terras. In juli 1962 werd de nieuwe Sint-Odaschool aan de Brugstraat geopend en in 1966 verlieten de zusters klooster De Wijnberg voor nieuwbouw aan de Elisabethstraat 4.

Het oorspronkelijke huis, waarvan een gedeelte als herberg had gediend, had een gepleisterde gevel. Ook de aansluitende panden hadden gepleisterde gevels. De hoge, pannen daken duiden erop dat ze zeker ouder waren dan de negentiende eeuw. De brede gevel van het tweelaagse, bakstenen gebouw uit 1932 vermengt traditionalistische en expressionistische elementen.

Bron: Jan Smits, Vademecum van religieuzen en hun kloosters in Noord-Brabant. Alphen a/d Maas, 2010.