C'est en 1835 que l'abbé Lefebvre, vicaire de la Madeleine s'intéressa aux sourds muets. Il avait créé, rue de Buffon, une modeste école pour eux. En 1852, il devint aumônier de l'école Normale, mais se vit contraint de démissionner peu après pour se consacrer à son établissement. A sa mort, en 1862, l'établissement passa à sa collaboratrice, M^elle Lefebvre.
Il acheta trois maisons contigües sur la rampe Saint-Gervais. C'est au numéro 104 de la rue que l'institution avait son adresse.
La chapelle est située dans le jardin. Elle possédait deux entrées (une pour les filles, l'autre pour les garçons). Elle a été bénie en 1873 par Mgr de Bonnechose.

Après le départ de l'institution, elle a appartenu à une école pour petites filles.
La construction est modeste. Elle ne comporte que quatre travées et un chevet circulaire. Une croix orne le pignon.
Depuis 2010, elle sert d'atelier pour des artistes : "les ateliers de la chapelle".