A l’origine, l’église Ste-Croix-des-Pelletiers n’était pas le centre d’une paroisse mais plutôt, au X^e siècle, une simple chapelle dédiée à Notre-Dame. Elles relevaient du comte de Clères qui possédait un hôtel non loin de là. Au XII^e siècle, elle se retrouva dans la ville et, le quartier prenant de l’importance grâce à l’installation des marchands pelletiers, une paroisse fut créée à la fin du moyen âge.
On a longtemps pu lire une inscription en latin sur la tombe commune des trois premiers curés de Ste-Croix-des-Pelletiers, issus de la même famille, celle des Brèvedent : Qu’il est doux pour des frères d’habiter ensemble... Trois noms et quelques dates étaient gravés dans la pierre, à moitié effacés : “Gilles de Brèvedent (curé de 1492 à 1500), Guillaume de Brèvedent (curé de 1500 à 1518) et Richard de Brèvedent (curé de 1518 à ...)”.
L’église, désormais dénommée Ste-Croix-des-Pelletiers, fut dédiée le 8 mai 1533 par Jean de la Massonnaye, évêque d’Hippone, suffragant du cardinal-archevêque Georges II d’Amboise. La nef du XV^e siècle avait été prolongée par un chœur au XVI^e siècle. Ce chœur était flanqué de deux chapelles simples, consacrées seulement en mai 1536.

Ste-Croix-des-Pelletiers fut pillée par les Huguenots en 1562. Ils lui enlevèrent vint-six marcs d’argent.
Dans la seconde moitié du XVII^e siècle, de 1669 à 1672, furent aménagées six chapelles dans le monument, tout autour d’un chœur remanié.
D’après Farin, l’une d’elle, la chapelle du “Verbe Incarné”, avait été bâtie par un Espagnol dénommé Delos Angelos, natif de la Nouvelle-Espagne (devenue le Mexique). Il rapporte qu’on y voyait un tableau représentant une Vierge des Amériques, Notre-Dame-de-Guadalupe.
Au XVII^e siècle, on procéda  à de nombreux embellissements.
L’église Ste-Croix-des-Pelletiers consiste en une nef unique, voûtée en bois.
La charpente d’origine possède toujours des poutres apparentes où l’on discerne encore, au centre, les armes de Brézé et de Clères, ainsi qu’aux extrémités des entraits, des “rageurs” ou “engoulants” (têtes de monstres semblant « avaler » l’extrémité de ces pièces de charpente).
La façade occidentale qui donne sur la rue Ste-Croix-des-Pelletiers est percée d’un portail très simple surmonté par une fenêtre ogivale éclairant la nef. Le pignon est soutenu par deux gros contreforts.
Un petit clocheton en charpente, recouvert d’ardoises, était à cheval sur le fait, non loin de la façade.
Devant l’église subsiste une curieuse échoppe conforme à celles fréquemment accolées autrefois aux flancs des bâtiments religieux depuis le XVIème siècle. Elles étaient édifiées essentiellement pour procurer des ressources financières aux paroisses. Il s’agit de la boutique de l’écrivain public. Ce rare spécimen de construction adventice a radicalement disparu autour des églises rouennaises.