La Vallière (Valleria dans une charte de 1236) est un fief relevant de la châtellenie de Rochecorbon à foi et hommage lige. Le plus ancien seigneur connu est Jacques de La Vallière, écuyer, cité dans un aveu de 1451.
En 1542, suite à une saisie sur les héritiers de René Morin, La Vallière est adjugée à Laurent Le Blanc, écuyer originaire du Bourbonnais, maire de Tours en 1558-1559. A sa mort en 1589, c'est son fils Jean, écuyer, conseiller du roi, général de ses finances en Languedoc, maître d'hôtel ordinaire de la reine-mère puis du roi, premier président au bureau des finances de Tours, puis maire de cette ville en 1575-1576 et 1589 qui hérite du fief. Il achète en 1591 la terre de Reugny. Mort sans descendant en 1621, sa veuve Charlotte Adam, laisse La Vallière en 1626 à son beau-frère Laurent II Le Blanc. Le fils de celui-ci, Jean, obtient de Louis XIII en 1635 le droit de s'appeler La Baume Le Blanc, la branche ainée étant éteinte et la terre de La Baume détenue par un autre seigneur. Jean et son épouse Françoise Beauvau eurent de nombreux enfants parmi lesquels l'ainé Laurent III de La Baume Le Blanc, obtient, en 1649, l'érection de La Vallière en châtellenie regroupant les fiefs de La Vallière, Boissay, Orfeuille, Le Puy, et une partie de Vaux et Montperthuy. Il est le père de Françoise Louise de La Baume Le Blanc, dite Mademoiselle de La Vallière, en faveur de laquelle est constitué en 1667 un duché-pairie composé des terres de Vaujours, Saint-Christophe, Châteaux, Courcelles et La Vallière. A sa mort en 1710, le château passe aux mains de sa fille Marie-Anne de Bourbon, princesse de Conti, fille naturelle et légitimée de Louis XIV, et les terres à son frère Jean-François de La Baume Le Blanc, capitaine lieutenant de cavalerie légère, gouverneur de la forteresse d'Amboise. Le château de La Vallière reste dans la famille la Baume le Blanc et leurs descendants (du Crussol d'Uzès, Rougé) jusqu'en 1872 date à laquelle le château est vendu à Mme Charlier de Gerson. Le château appartient ensuite successivement aux familles de Montessuy, Manjot de Dammartin, Millon de la Verteville, Bazin de Jessey et Lecerf.
De la forteresse médiévale le château a conservé son portail d'entrée encadré de deux tours remanié dans le dernier quart du 16e siècle par Jean Le Blanc, le seigneur de Rochecorbon ayant autorisé ce dernier à faire clore à fossés et pont-levis sa maison de La Vallière en 1578. La tour, située à l'ouest de l'entrée, servait de pigeonnier. Une autre tour située à l'est de l'entrée, abritant une chapelle, est mentionnée comme "démolie depuis 18 ans" en 1782.
Le château aurait été reconstruit par Laurent Le Blanc, puis son fils Jean dans la seconde moitié du 16e siècle. La tour d'escalier pourrait avoir été initialement une tour hors-oeuvre avant que les deux pavillons au nord et au sud de la tour ne soient ajoutés dans la seconde moitié du 16e siècle. En 1847, une annexe servant de cuisine est construite au sud du logis. L'aile prolongeant le logis vers le nord, construite en harmonie avec le style du château, date de 1885.
Au nord-ouest de la cour principale, on trouve un bâtiment du 17e siècle ayant servi de logis du garde composé de deux chambres et cellier. Au nord-est, un autre bâtiment est construit au 17e siècle, abritant une chambre et une écurie, il est agrandi vers le sud en 1875. Placé en retour d'équerre vers le nord et donnant sur la basse-cour, se situe un bâtiment du 17e siècle ayant servi d'écurie et de grange. Au nord de la basse-cour, se trouve un bâtiment ayant abrité un fenil datant du 17e siècle, et une porcherie et un chenil du 19e siècle. La grange ayant abrité le pressoir daterait du 15e ou 16e siècle. Situé à l'est du pressoir, un dernier bâtiment abritant une chambre et un cabinet du 17e siècle.