La Vergine sarebbe apparsa,secondo la leggenda,a due pastorelle del paese di L'ago che pascolavano il loro gregge sul Monte Roverano,da cui prese il nome  il Santuario.Una delle due fanciulle era muta,e dopo la visione riacquistò la parola.La notizia dell'evento miracoloso arrivò in paese e fece accorrere la popolazione sul luogo dell'apparizione,dove fu trovato,appeso ad una pianta di ulivo,un dipinto con l'immagine della Vergine.Inutilmente il quadro fu riportato nella Chiesa di L'ago:ritornava sempre sul Monte Roverano.Si costruì allora una Cappella dedicata alla Vergine.Del Santuario si comincia  a parlare nel 1518,anno della visita del Vescovo di Brugnato.

Nel XIX secolo l'edificio fu ampliato per accogliere un maggior numero di fedeli.Nel 1875 l'antica immagine miracolosa,una tavola cinquecentesca della Madonna con bambino,fu posta nel nuovo edificio,al centro di una radura fra ulivi e castagni.

Racconta una leggenda che per la ricorrenza annuale della festa (7-8-9- settembre) avvenga la prodigiosa fioritura degli ulivi intorno alla chiesa.