L'embryon du palais Renaissance est édifié de 1515 à 1522 par un haut fonctionnaire royal, sur l'emplacement d'une forteresse médiévale dont il subsiste une tour. Racheté par la couronne en 1535, il est donné par Henri II à sa maîtresse, la belle Diane de Poitiers. Un pont est alors construit pour relier la résidence à la rive opposée du Cher. Catherine de Médicis ordonne en 1576 l'agrandissement du château. Le projet, immense, se limitera finalement à la construction d'une magnifique galerie sur le pont.