Les légendes locales du Puy-en-Velay évoluent autour d'un dolmen qui occupait depuis plusieurs millénaires, sans doute, l'emplacement actuel de la cathédrale. Il reste de cette pierre basaltique une partie conservée dans une chapelle du Saint-Crucifix connue sous le nom de Pierre des Fièvres ou Pierre des Apparitions, sorte de dalle de 3 m de longueur sur 2 m de largeur. C'est sur ce dolmen que serait apparue au iiie siècle la Vierge à une matrone du Puy souffrant d’une fièvre quarte, lui annonçant qu'elle serait guérie en allant s'étendre sur le dolmen. À la suite de la guérison, la dame serait allée voir l'évêque Georges du Velay, considéré comme le premier apôtre du Velay, qui marque les plans d'un modeste oratoire à la Vierge sur l'emplacement décrit par un cerf. Deux siècles plus tard, une autre guérison est mentionnée à l'évêque Vosy qui obtient de Rome l'autorisation de transférer le siège de l'évêché de Ruessio (capitale vellave gallo-romaine) à Anicium (nom gallo-romain du Puy-en-Velay, dont le radical « an » signifie en langue celtique « cercle, circuit, enceinte ») et décide de construire une église-cathédrale. la construction débute avec son successeur l'évêque Scutaire. Selon la tradition locale, l'église angélique est sanctifiée par des anges qui transfèrent de Rome des reliques[2].
En réalité, ces légendes sont formées à partir de la toponymie du rocher qui surplombe l'emplacement du sanctuaire actuel et qui porte le nom de Corneille dont l'étymologie dérive du cerf Cernunnos, dieu gaulois, le site étant un ancien souvenir du culte de cette divnité. Le sanctuaire marial devient rapidement le siège d'un pèlerinage.
Avec cette légende, le Puy-en-Velay est, avec Chartres, le plus ancien sanctuaire marial de la Gaule chrétienne. On a retrouvé sous le pavé du chœur les fondations de cette première église qui mesurait 12 m × 24 m. De nos jours encore, des pèlerins s'allongent sur la pierre pour en recevoir les bienfaits.
Si l'origine du culte de Notre-Dame-de-l'Annonciation se trouve dans la Pierre aux Fièvres, le Moyen Âge et les temps modernes vénèrent surtout la Vierge noire.