À 32 ans, saint Jean Eudes devient missionnaire paroissial et acquiert une réputation de prédicateur et de confesseur exceptionnel. Au cours de la décennie suivante, durant ses nombreuses missions dans diverses régions de France, il est profondément ému par le sort des femmes en situation de prostitution. Contraintes par la pauvreté, beaucoup d’entre elles ont trouvé que c’était le seul moyen de gagner leur vie et celle de leur famille. Mis au défi par une femme, Madame Madeleine Lamy, de répondre de manière proactive à la situation de ces femmes, Saint Jean Eudes s'est mis au travail pour créer des refuges qui leur offraient un abri sûr et une opportunité de se libérer de leur sort.

En 1641, avec des personnes partageant ses idées, il achète à Caen une maison adaptée à cet usage qu'il confie à des femmes qui souhaitent partager avec lui ce service de miséricorde et de charité. C'est le début de ce qui deviendra Notre-Dame de Charité du Refuge. Pour témoigner de la compassion et de la miséricorde dans un monde en proie à l'exploitation et à la douleur, saint Jean Eudes donne aux sœurs un quatrième vœu de zèle – en plus de ceux de pauvreté, de chasteté et d'obéissance. Ce vœu les pousse à s'efforcer de rester engagées et fidèles à la mission.

D'autres maisons de refuge sont fondées à la demande des évêques et l'œuvre des sœurs se répand au-delà de Caen. Chaque communauté est indépendante mais entretient des contacts avec les autres, notamment avec Caen.