L'Abbaye a été fondée par le roi Mérovingien Childebert (un fils de Clovis) dans les années 540, il souhaite y abriter la Tunique de Saint Vincent obtenue des Arabes lors de la prise de Saragosse en 542. L'Abbaye est alors dédiée à la Sainte Croix et à Saint Vincent.
Il y fait venir des moines de l'Abbaye Saint Symphorien d'Autun. Les travaux de construction sont conduits par l'évêque de Paris Germain à partir de 557. En 558, le roi Childebert y est enterré, il en sera de même de ses successeurs jusqu'à Childéric II en 673. L'église est ainsi devenue la nécropole des rois Mérovingiens.
Quand l'Evêque Germain meurt, dans la deuxième moitié du VIème siècle, il est lui aussi inhumé dans l'église et à sa mort sa tombe devient un lieu de pélerinage. Elle prend le nom de Saint Germain (des Prés) au VIIIème siècle. Charlemagne lui des privilèges et immunités qui la rendent indépendante de autorités civiles et religieuses de Paris.