Une mare à l'ouest du logis constitue un vestige des douves primitives. Quatre corps de bâtiments accolés et orientés nord-est/sud-ouest constituent ce que l’on appelle communément le château de Brosse. Au nord, un petit bâtiment en moellons et pan de bois en grille date vraisemblablement du 18e siècle. Élevé d’un rez-de-chaussée et couvert d’un toit à deux pans, il s’appuie sur le pignon de l’ancien corps de logis du 15e siècle. Ce corps de logis est parfois désigné par certains auteurs comme le logis du métayer ; si cela a pu être le cas au 19e siècle, il est vraisemblable que ce bâtiment corresponde au premier logis seigneurial. Construit en moellons enduits et chaînés aux angles, il est éclairé à l’ouest par plusieurs demi-croisées qui ont perdu leur croisillon. Une tour hors-œuvre de plan carré forme un retour d’équerre à l’est. Accolé au pignon sud de ce logis, un second bâtiment a été très transformé, mais la base des murs qui donnaient directement dans les douves est conservée. Ce corps de logis comprend deux étages carrés dont les ouvertures (encadrements harpés des baies) ont été profondément remaniées à l’ouest. La partie méridionale de ce corps de logis possède trois baies superposées à moulures en arc segmentaire ; une tourelle d’angle la relie avec une aile en retour d’équerre, création du 19e siècle. A l’intérieur (non vu) se trouve un bel escalier en vis, dont le noyau est orné de trois grosses nervures tournantes. Cette aile bâtie en moellons enduits comprend un sous-sol voûté sur croisée d’ogives, un rez-de-chaussée surélevé et un étage carré ; la façade orientale possède quatre travées. Dans le parc, à l’ouest, un colombier en moellons enduits d’environ 9 m de diamètre intérieur, est ceinturé à mi-hauteur par un bandeau en pierre de taille et par deux bandeaux enserrant la corniche en pierre de taille.