Par lettres patentes en date du 26 février 1647, fut autorisé à Rouen l’établissement des Chanoinesses de St-Augustin appartenant à la congrégation enseignante de Notre-Dame, plus communément appelées Filles Notre-Dame.
Elles s’installèrent d’abord dans la rue Herbière. En 1648, grâce à la donation d’un terrain par le sieur Captot,  elles se transportèrent dans leur nouvelle maison commune qui se situait sur le territoire de la paroisse St-Maclou. La rue où elle se trouvait devint vite connue sous le nom de rue des Filles Notre-Dame (rue Notre-Dame devenue maintenant rue Molière). Bien antérieurement à leur arrivée, cette partie de la ville délimitée par la Seine, le Robec et l’ensemble des prairies traversées par l’Aubette était située hors de l’enceinte urbaine et s’appelait l’Ile Notre-Dame. Ses occupants étaient soumis à l‘autorité du chapitre de la cathédrale Notre-Dame.
La petite église conventuelle, dédiée à saint Joseph, fut bénie en juillet 1648 par Monseigneur Camus, évêque de Belley et abbé commendataire d’Aulnay.
La congrégation vécut  difficilement, et, en 1724, devant l’insuffisance du nombre de religieuses et le manque d’argent, l’archevêque de Rouen, Louis III de La Vergne de Tressan prononça la dissolution du couvent. Les biens de la petite communauté furent réunis en 1743 avec ceux des religieuses du prieuré de St-Louis de Rouen. L’église conventuelle fut attribuée à St-Maclou qui ne la conserva que quelques décennies.
Les bâtiments n’apparaissent pas sur les plans de l’époque.
L’église conventuelle était d’une grande simplicité.
Ce ne fut qu’après le milieu du XIX^e siècle que les quelques bâtiments restant furent définitivement détruits. Les lieux formaient la cour Danneri et donnaient rue Martainville.