No fio da história, na imaginação das lendas e no testemunho do patrimônio edificado há um ponto comum: as pedras. A pedra nas paredes da capela e do colégio, a pedra que nos purifica e a pedra, em forma de lapa, que de modo invulgar está no altar-mor da capela, por ter servido de abrigo da imagem da Senhora. 

Segundo a lenda, relatada por Ana Nunes, que trabalha no Santuário, nas invasões árabes, em 982, Almansor passou pelo caminho de Santiago de Compostela e destruiu o Convento de Sisimiro. Na altura, alguém terá escondido uma imagem da Senhora debaixo de um penedo.

510 anos depois a imagem foi descoberta por Joana, uma pastora muda, e fez despoletar o santuário.

Chegou a ser um dos maiores da península Ibérica, a par de Santiago de Compostela.

Foi fortemente impulsionado por jesuítas que construíram a maior parte do património que ainda se pode ver, embora algumas partes tenham sido reconstruídas. Outras mudaram de função.

São os casos da antiga cadeia e Câmara, que nos últimos anos foi adaptada a Museu, e o antigo colégio jesuíta que agora é uma casa de apoio ao peregrino.

Foi onde andou a estudar Aquilino Ribeiro. Entrou com 10 anos de idade, em 1895, e frequentou o colégio durante cinco anos.

O colégio é referência em algumas obras literárias e uma das mais marcantes é Uma Luz ao Longe.