Visto entrare addirittura in bordelli per convertire le prostitute, Roberto sembrava mettercela tutta per creare inimicizie nei suoi confronti. Tuttavia se tali avversioni verso di lui provenivano tutte (o quasi) dalle classi sociali più alte, le amicizie venivano invece dal basso, dalla classe sociale artigiana e lavoratrice, e anche e soprattutto dal ceto povero.
Tali asprezze provocarono non pochi disagi per il monaco tanto da costringerlo ad isolarsi in una vita eremitica nel “deserto” delle foreste francesi.
Gran parte dei suoi seguaci, accesi nel loro cuore dalle parole di Roberto, intendevano entrare nel convento di la Roë, monastero di canonici. Tuttavia l’attrazione che esercitava sulle persone non aveva effetto solo sugli uomini. Ben presto infatti si trovarono nel suo gruppo un gran numero di donne. Nonostante le continue pressioni esercitate dal monaco Roberto, i monaci del convento non si muovevano di un soffio riguardo la loro convinzione di non accettare le donne nel monastero: tutte le regole monastiche sostenevano infatti che era impossibile a chiunque stare vicino ad una donna senza essere incendiati dal fuoco del peccato. Per questo Roberto decise di fondare una comunità slegata dall’ambiente monastico nel quale si trovava a vivere. Intorno al 1100 infatti stabilì a Fontevraud la sede della comunità da lui aggregata. Ivi pose all’interno della stessa abbazia uomini e donne, collocati certamente in ambienti separati ma sottostanti ad un’unica badessa, la prima delle quali fu Hersende. Usualmente vedove, le badesse del convento erano scelte per la loro “esperienza della vita”. Esse erano infatti ritenute sicuramente più esperte della vita rispetto alle vergini. Tra queste troviamo sicuramente la nobile Pétronille de Chemillé, eletta nell’ottobre 1115.
Riguardo tale disposizione del monaco di non eleggere al rango di badessa alcuna vergine vediamo nel 1149, alla morte di Pétronille, una contravvenzione a tale ordine con l’elezione di Matilde d’Angiò. Ella era al contempo sia vergine che vedova: il marito, Guglielmo Adelino erede al trono d’Inghilterra, morì infatti in un tragico naufragio nel 1120 prima che il matrimonio potesse essere consumato.
Tuttavia tale spostamento nel monastero di Fontevraud non fu portatore di tranquillità. L’abate di Vendôme non esitò infatti a manifestare le sue rimostranze, ammonendo don Roberto del fatto che, gira voce, si trattenga fino a tardi nei dipartimenti dell’abbazia riservati alle sole donne. Addirittura, per dar prova della sua perseveranza nel resistere al desiderio che indubbiamente esse provocavano negli uomini, sembra si trattenesse con loro per tutta la notte, condividendo persino lo stesso giaciglio.
L’ammonimento sembra trovare in Roberto accoglimento: nel monastero vengono fatte costruire solide strutture in muratura per separare gli ambienti maschili da quelli femminili.
Tale ossessione per le donne, come si scoprirà dopo la sua morte, non era però ordinata al riscatto del mondo femminile, quanto più alla sua personale ascesi. La propria umiliazione, infatti, nel dover sottostare a delle donne, avrebbe portato lui ed i suoi confratelli ad una maggior probabilità di varcare le soglie del Paradiso. Con il passaggio a “miglior vita” del monaco protagonista di tali vicende (se a miglior vita in effetti sia passato), si scatenarono numerose lotte. A Berri, luogo del decesso avvenuto nel febbraio 1116, per strappare le sue spoglie mortali dagli abitanti del luogo, la popolazione non esitò a manifestare con alquanto fervore il proprio attaccamento a quest’uomo. Riportate a Fontevraud, le spoglie vennero sepolte dietro l’altare maggiore del convento. Ritrovato una prima volta nel XVII secolo, il corpo del monaco tornò poi nel dimenticatoio fino al XIX secolo, nel quale si tentò la canonizzazione del prete, senza però alcun esito positivo. Il dossier che lo riguarda viene infatti ogni volta per pudore richiuso. Ad oggi gode dell’appellativo di beato e viene ricordato il 25 Febbraio.