Plusieurs familles se succèdent jusqu’en 1852, date à laquelle la terre d’Azay-le-Ferron revient par héritage à la famille Luzarche d’Azay. Il semble que la création d’un parc paysager remonte au 18ème siècle, bien qu’il garde les vestiges de plantations plus anciennes, tel un chêne datant du milieu du 17ème siècle (abattu et remplacé en 1994).
Le parc s’insère alors dans un domaine agricole et forestier de 1000 ha. La grande perspective nord-sud est un témoignage des aménagements du 18ème siècle. En 1856, Denis Bühler propose à Alfred Luzarche un plan d’aménagement du parc qui modifie la disposition originelle connue par des gravures anciennes, précisant les essences d’arbres à y introduire (Wellingtonia, tilleuls argentés, châtaigniers, chênes rouges, etc.). Le projet présente les caractéristiques des travaux de Denis et de son frère Eugène : équilibre et ampleur des plantations, alternance d’espaces dégagés de grandes prairies et de bouquets d’arbres, travail entre les masses sombres des conifères et celles verdoyantes de feuillus, création de points de vue et effets de surprise sur les lointains. Les travaux sont achevés en 1872.
Dans les années 1920, Marthe Luzarche fait aménager des parterres de broderies dits "à la française" et des groupes de buis et d’ifs taillés, au pied des façades sud du château. Un buffet d’eau est également associé à la pièce d’eau créée par les frères Bühler.
En 1951, sans héritier direct, elle lègue le domaine à la ville de Tours avec pour clause la conservation du château et des jardins, ainsi que leur ouverture au public. Le jardin fleuriste est réaménagé dans les années 1990 par un paysagiste tourangeau, Daniel Jud, à partir d’une photographie prise dans les années 1950 par Sylvain Knecht. A la même époque, il remanie également le potager qui met en valeur des légumes méconnus et présente deux conservatoires : légumes anciens et vigne. Une roseraie présentant des hybrides de la fin du 19ème siècle est plantée à l’initiative du Parc Naturel Régional de la Brenne. En 1996, un verger conservatoire de fruitiers est planté dans le parc.