Il a cinq ans quand son père décède. Jeune, il est attiré par les arts plastiques, les lettres et la musique. Il entre au Lycée Saint-Louis en 1829 et obtient son baccalauréat en 1835. Malgré l'insistance de sa mère en faveur d'études de droit, il décide de devenir musicien.
A Partir de 1838 il suit des cours avec Reicha, Halévy et Lesueur (à la mort de Lesueur en 1737, avec Paër). A la troisième tentative, il obtient le premier Grand prix de Rome en 1839.
Le 5 décembre 1839, il part pour l'Italie en compagnie d'Hector le Fuel, lauréat du Prix de Rome en architecture. Ils arrivent à Rome le 27 janvier 1840, où la Villa Médicis est dirigée par Ingres.
Pendant son séjour, il rencontre Fanny Hensel, la sœur de Félix Mendelssohn, et Henri Lacordaire, ancien avocat parisien entré en 1840 au couvent des dominicains de Rome (Mineva), qui œuvre à la restauration de l'Ordre. Sous son influence, Gounod compose une messe (Messe de Rome) dans le style de Palestrina et un Requiem. La Messe est jouée 1er mai 1841 à l'église Saint-Louis-des-Français à Rome pour la fête du roi Louis-Philippe.
En 1842 il est à Vienne, sa Messe de Rome est jouée à la Karlskirche sous l'autorité du comte Stockhausen qui préside l'active association des amis de la musique ( Gesellschaft für Musikfreunde ). A la fin d'avril 1843, il rencontre Mendelssohn à Leipzig.