Le Monument Juif à été découvert fortuitement en 1976, lors de travaux.
Une première campagne de fouille, jusqu'en octobre 1976 a permis de dégager les trois quarts du bâtiment. Devant l'intérêt de la découverte, les autorités ont décidé la conservation des vestiges par la construction d'une crypte archéologique. Une deuxième campagne de fouille, à Pâques 1977 a permis de compléter l'exploration.
Le quartier où se trouve le Monument est connu depuis longtemps pour avoir été le quartier des juifs de Rouen. La rue qui longe la cour du Palais de Justice porte encore le nom de 'Rue aux Juifs'. Le quartier est connu pour s'appeler au moyen-age le 'vicus judeorum'. Sa proximité de la porte ouest de la ville (Porte Massacre, notre gros Horloge actuel) est facile à comprendre, car c'est là que devait se trouver le quartier commerçant.
On a retrouvé d'autres vestiges de ce passé juif de Rouen. Juste avant la découverte du Monument, une cave située dans la même cour indique une autre maison de pierre. De même, pour une des caves médiévales conservées sous l'aile nord du Palais de Justice. Enfin, une maison a été retrouvée de l'autre côté de la Rue aux Juifs (désignée comme ayant appartenue à un juif du nom de Bonnevie).
Des documents d'archive ont aussi permis de mieux connaître le passé de ce quartier. C'est l'accumulation de ces éléments qui permettent d'attribuer le Monument aux juifs (son style est parfaitement roman normand).
L'histoire des juifs de Rouen a fait l'objet de nombreuses études, en particulier celle du Pr. Norman Golb.
On ne sait pas quand les premiers juifs se sont installés à Rouen, peut-être dès la période gallo-romaine. On les trouve biens installés au XIè siècle. Ils se sont considérablement enrichis par la conquête de l'Angleterre. Guillaume le Conquérant les a installés à Londres. Ils resteront florissants pendant toute la période anglo-normande. Après une première alerte au moment du départ de la première croisade, ils subiront les expulsions de Philippe Auguste et surtout de Philippe le Bel (1306). Ils reviendront ensuite à Rouen pour en être chassés périodiquement.