Le premier couvent des Pénitents fut fondé à Croisset en 1472. Il avait été dédié à sainte Barbe par son fondateur, Rogerin Rabasse et il fut autorisé par le roi Louis XI en 1482.
De ce premier monastère, ils tentèrent en 1522, de s’implanter à Rouen mais n’y parvinrent pas, un Concile Provincial demandant même la fermeture des couvents des Frères de St-François ! Lors de leur seconde demande, en 1609, ils obtinrent de s’installer en ville, à condition toutefois de garder en usage le couvent Ste-Barbe. Cela leur permit de bénéficier, en plus des locaux pour leurs “pensionnaires”, de carrières de pierre de très bonne qualité.

En vertu de lettres patentes d’Henri IV, ils s’établirent en premier lieu au faubourg Bouvreuil, sur la paroisse de St-Patrice, dans le “Jardin d’Arquensy”. Ils s’y trouvaient passablement à l’étroit, aussi obtinrent-ils trois ans plus tard, en 1612, le transfert de leur monastère dans un quartier à l’est de la ville, rue St-Hilaire. Ils y édifièrent, une église conventuelle dédiée à Notre-Dame-de-Lorette dédicacée en 1615 par le vicaire général de monseigneur de Joyeuse, archevêque de Rouen. Un certain nombre de personnalités s’y firent inhumer comme les familles de Gouville, de Motteville et les Godart de Belbeuf.
Les Pénitents de Ste-Barbe, dits “Pénitents blancs de Croisset”, reçurent, dans leur couvent différentes personnes incarcérées, exclusivement des hommes, parfois sur simple lettre de cachet.
Le Couvent de Croisset est encore pratiquement intact. Sont conservées en particulier, en plus des constructions du XVII^e siècle, les grandes grottes creusées dans la craie.
De l’implantation rouennaise, nous ne connaissons que le cloître qui était formé d’arcades groupées deux à deux sous un arc en demi-cercle. Il ne manquait pas de beauté dans sa rigueur.
A la Révolution, l’église conventuelle fut mise, en 1791, sous le vocable de St-François, au nombre des églises paroissiales conservées à Rouen.