Catherine de Bueil est détentrice du fief de Valmer en 1434. Par acte du 23 juillet 1461, Jacques Binet, gouverneur du château de Tours et maître d’hôtel du roi et de la reine de Navarre, devient propriétaire de Valmer. La famille Binet reste propriétaire du domaine pendant près d’un siècle. C’est à Jean Binet IV, maire de Tours et maître d’hôtel du roi de Navarre, que l’on attribue la construction du château Renaissance, entre 1524 et 1529. Les douves et un escalier en vis reliant les douves à la terrasse de Léda sont les derniers témoignages de cette forteresse primitive, ainsi que la chapelle troglodytique aménagée en 1525 et consacrée en 1529. Les jardins en terrasses datent de cette époque.
Jean Coustely, maire de Tours et président de la Chambre des Comptes, est le nouveau seigneur de Valmer en 1562. Le 23 mai 1640, Thomas Bonneau, conseiller d’État et secrétaire du roi, en acquiert la propriété : il agrandit le château et le domaine en rachetant des parcelles avoisinantes. Il est à l’origine de la construction du Petit Valmer en 1647 pour servir de logement au régisseur du château. Ce logis sert actuellement de demeure aux propriétaires. Il fait édifier les communs, la nouvelle chapelle, la Haute terrasse et aménage le grand canal et le parc. Un plan daté de 1695 présente le domaine de Valmer dont la composition est globalement conservée.
La plupart des vases présents dans les jardins datent des 17ème et 18ème siècles, les statues des 18ème et 19ème siècles. La statue de Léda, présente au 17ème siècle et jusqu’au début du 20ème siècle, est aujourd'hui conservée au Metropolitan Museum of art de New York. Le vase dit "vase de Lorraine", date du 18ème siècle, rapporté probablement dans la seconde partie du 19e siècle, proviendrait de la région de Metz. Trois colonnes provenant de Chanteloup (Amboise, Indre-et-Loire) sont installées sur la Haute terrasse et dans le parc au 19e siècle. Deux fabriques ornent le parc : le "vide-bouteille" est représenté dans le cadastre ancien (1816). Le "belvédère" du parc est érigé au 19ème siècle. Enfin, les fontaines originaires d’Italie sont exposées sur la terrasse des Fontaines florentines à la demande du propriétaire Paul Lefèvre vers 1920.
Plusieurs propriétaires se succèdent aux 18ème et 19ème siècles. L'escalier reliant la terrasse de Léda au potager est ajouté au 18e siècle, tout comme l’entrelac de charmille plantée sur la Haute terrasse. Les deux Sophora japonica 'Pendula' de la terrasse des Fontaines florentines qui surplombent les douves sont probablement plantés entre la fin du 18e et le début du 19ème siècle. Le grand cèdre, situé au nord de l’ancien château, semble avoir été planté au début du 19ème siècle. Au cours du 19ème siècle, des changements sont réalisés : l'avant-cour est un espace sans végétation, des vignes puis des pelouses sont présentes sur la terrasse de Léda.
Le renouveau des jardins est dû aux propriétaires actuels, qui entreprennent leur réhabilitation à partir des années 1970. Détruit en 1948 par un incendie, le château est suggéré par une structure d’ifs plantés dans les années 1990, au même emplacement. Entre 1979 et 2007, les douves sont aménagées en jardin, de nouvelles plantations sont réalisées sur les terrasses ; des liquidambars, des cyprès chauves et un double demi-cercle de charmes pyramidaux sont plantés, hors les murs, entre le potager et le grand canal. Depuis 1980, une collection de chênes est constituée par les propriétaires.
Les structures du potager sont reprises dans les années 1980 sur le modèle du potager figuré sur le plan de 1695. De 2001 à 2015, Alix de Saint Venant et Sébastien Verdière (jardinier en chef) restaurent le potager et créent le potager-conservatoire dans le but de faire découvrir la diversité des plantes et des graines oubliées. A l’aide du catalogue Vilmorin de 1891, ils tentent de retrouver les plantes et légumes disparus.
Les jardins sont ouverts à la visite depuis le milieu des années 1980.