L’image du père est pourtant là : c’est son grand-père, Charles Schweitzer, homme à la personnalité imposante, qui l’éduque avant qu’il n'entre à l’école publique à dix ans. De 1907 à 1917, le petit « Poulou », comme on l’appelle, va donc vivre avec sa mère chez les parents de celle-ci. Il y passe dix années heureuses. Le petit Poulou va être adoré, choyé, félicité tous les jours, ce qui va sans doute construire chez lui un certain narcissisme. Dans la grande bibliothèque de la maison Schweitzer il découvre très tôt la littérature, et préfère lire plutôt que de fréquenter les autres enfants (enfance évoquée dans son autobiographie Les Mots).