Extrait plan de 1813

L'ordre hospitalier de la Trinité et des captifs fut fondé en 1198 par jean de Matha pour racheter les esclaves capturés par les barbaresques. Leur nom de Mathurins vient de leur première installation à Paris en 1212, à côté d'une chapelle consacré à ce saint.
Ils ont tenté de s'installer à Rouen en 1654, d'abord au couvent Sainte-Barbe de Dieppedalle. C'est en 1661 qu'ils obtinrent un terrain au croisement de la rue des Flandres et de la rue de Joyeuse, grâce à la générosité de Charles de Brébion, où ils construisirent un établissement modeste.
La chapelle avait été bénie en 1669.

L'archevêque François de Harlay leur avait toutefois interdit de quêter.
En 1730, les Mathurins obtinrent du Roi le droit de fonder un hôpital dans leur maison pour les pauvres captifs rachetés aux pirates barbaresques. La première pierre du bâtiment destiné à cet usage avait été posée en 1732.
En raison de la modicité de leurs ressources, les Mathurins organisaient des procession lors de l'arrivée des captifs rachetés. Ils traversaient la ville liés par une petite chaîne symbolique dont les deux bouts étaient tenus par des enfants habillés en anges. La rue des Deux-Anges voisine garde encore le souvenir de cette cérémonie.
 En 1790, il ne restait plus que deux religieux dans le couvent de Rouen.
Le couvent supprimé en 1792 fut détruit. Il a servi un temps de pension pour de jeunes citoyennes. L'église a servi pendant un temps de temple protestant, puis elle aussi détruite dans le courant du XIX^e siècle (il n'est plus  mentionné sur un plan de 1835).