Anton Jurgens, eveneens margarinefabrikant, kocht de villa en veranderde de naam in Villa Johanna. Jurgens verhuisde in 1899 naar Nijmegen.

Pater Van Hoof, jezuïet en vriend van Anton Jurgens, liet de bisschop van ‘s-Hertogenbosch weten dat de villa te koop stond. De bisschop zocht voor zijn collega uit Vienne naar onderdak voor Franse kloosterzusters, de Filles de Notre Dame, afkomstig uit kloosters in Vienne, Issoire en La Flèche.

Pastoor De Boer van Oss had geen bezwaar tegen de vestiging van de Dochters van Onze Lieve Vrouw. De pastoor stelde wel als voorwaarden dat de zusters geen onderwijs zouden geven aan kinderen onder de twaalf jaar en dat ze geen pension zouden openen. Evenmin mochten ze zieken verzorgen, omdat dat allemaal ten koste zou gaan van de Zusters van Liefde van Tilburg die al in Oss werkzaam waren.

Les Filles de Notre Dame kochten de villa en het nieuwe klooster werd op 4 augustus 1903 gesticht. De eerste zusters kwamen in 1904 naar Oss. In hun klooster, dat ze Sancta Johanna hadden genoemd, openden ze het pensionaat ‘Instituut Villa Johanna’ voor de studie van de Franse taal. Op verzoek onderwezen ze ook in andere talen. In september 1912 wees de bisschop Titus Brandsma aan als hun biechtvader.

Maar uiteindelijk kregen ze in Oss toch te weinig armslag. Bovendien werd de villa te klein voor het groeiende aantal zusters dat uit Frankrijk kwam. De congregatie vestigde haar moederhuis daarom in 1910 in Nijmegen, aan de Dobbelmanweg 1. De communiteit in Oss werd opgeheven en op 28 mei 1913 verhuisden de laatste zusters naar Nijmegen.

Villa Johanna werd vervolgens tussen 1910 en 1920 bewoond door belastingontvangers. Vanaf 8 september 1921 was het gebouw stadhuis, tot het in 1974 museum Jan Cunen werd. Rond die tijd werd de oorspronkelijke naam, Villa Constance, herontdekt.

De bouwstijl van Villa Constance is een mengeling van eclectische en neorenaissance-elementen, bij uitstek geschikt voor een representatieve fabrikantenvilla. Hij heeft een ruwweg vierkante grondslag. Opvallend is de achtkante hoektoren met carillon, uurwerk en uibekroning. Het pand heeft een schilderachtige uitstraling. Aan de westelijke en de zuidelijke zijde van de villa bevond zich eertijds een uitgestrekte tuin, nu omgevormd tot een stadsparkje.