C’est la présence d’un ermite dans cette rue jusqu’à la Révolution qui a donné ce nom à cette rue. Dans les registres des naissances, mariages, décès de l’année 1723, il est fait mention d’une inhumation en la chapelle de l’ermitage. Il paraît certain que plusieurs ermitages existaient dans la forêt de Bohain et de l’Arrouaise.