Lá pelo século XVI, ainda não existia uma ermida nos Anjos, local de desembarque dos descobridores da ilha.
A população decidiu que o melhor sítio era em lugar baixo, mas os responsáveis pela construção não deram ouvidos e começaram a juntar o material num local mais elevado.
Misteriosamente, as pedras para construção apareciam todos os dias de manhã no local desejado pela população, sendo esta acusada de tal facto.
Certa noite, um pescador, ao passar pelo local da obra, viu as pedras a moverem-se sozinhas pela encosta abaixo até ao local inicial da obra. Depois de ninguém acreditar nele, reuniu um grupo de pessoas e, durante a noite, todos viram as pedras a moverem-se sozinhas. Atribuíram este milagre a Nossa Senhora e, por isso, decidiram construir a ermida no local inicialmente designado.
Para assinalar o local que era para ser construída a ermida, e que fora rejeitado por Nossa Senhora, foi colocada uma cruz de pedra, podendo ainda hoje ser encontrada.
