Op 6 december 1900 openden de Priesters van het H. Hart in Bergen een juvenaat. Ze woonden voorlopig in een huis aan de Wouwsestraat. Daarna verhuisden ze naar het oude gildehuis Driekoningen aan de Kaai. 

Op 29 januari 1903 kochten ze aan de Antwerpsestraatweg grond voor een klooster, dat al op 29 september van dat jaar werd betrokken. Het werd in neogotische stijl gebouwd door architect Quirinus Horsten Pzn. uit Bergen op Zoom. Oorspronkelijk was er een kleinseminarie, een internaat voor toekomstige priesters. De schoolafdeling werd uitgebreid met een gymnasium, het Gymnasium Juvenaat, later gevestigd aan de pater Dehonlaan.

In 1923 kwam er een neogotische kapel, in 1924 een zijvleugel, beide naar plannen van Jacques van Groenendael.

Het begin van de Eerste Wereldoorlog betekende voor het Juvenaat eerst inkwartiering van Nederlandse soldaten en later van Belgische vluchtelingen. In juli 1942 werden de gebouwen in Bergen op Zoom gevorderd door de Duitse bezetter. De bewoners werden verspreid over diverse instellingen in het land. In januari 1945 werden de bewoners van het noviciaat in Asten opgevangen in het Juvenaat, omdat dat gebouw was gevorderd door Engelse officieren. Een paar dagen later moest echter ook het Juvenaat zelf worden ontruimd en werd er geëvacueerd naar Putte en Liesbosch. 

Behalve met onderwijs hield de congregatie zich in Bergen op Zoom sinds 1945 bezig met het Sint-Franciscus Liefdewerk. In het clubhuis, onder leiding van een pater, werd de jeugd opgevangen. Aanvankelijk jongens en meisjes apart, maar later gemengd. Werkte men in het begin met vrijwilligers, later namen professionele krachten het werk meer en meer over. Het eerste ‘patronaat’ stond aan de Blauwehandstraat, vanaf 1951 werd een pand aan de Goudenbloemstraat gebruikt.

In 1956 werd de naam Sint-Franciscus Liefdewerk omgezet in ‘Ons Bergen’. Naast de jeugd werd ook de buurt doelgroep. Maar de katholieke invloed slonk en in 1973 werden ‘Ons Bergen’ en het Juvenaat ontkoppeld.

Verder groeide de rol van de priesters in het reguliere pastoraat vanaf 1982. Tot die tijd was hun rol meestal beperkt tot het waarnemen voor pastoors die tijdelijk afwezig waren of het invallen bij kerkdiensten.

In 1985 werden de werkzaamheden in het gebouw aan de Antwerpsestraatweg gestaakt en verhuisden de paters naar de Buitenvest. Het gebouw kwam leeg te staan. In 1991 begon de sloop: eerst de kapel en de zijvleugel en in 1993 was het hele gebouw afgebroken. Alleen het ‘bruderhuis’ uit 1964 is blijven staan.