Le château primitif comprenait, à l'est, sur un niveau de soubassement prolongé aux angles par des terrasses talutées, un long corps de logis formé d'un pavillon central, deux ailes, et aux extrémités de celles-ci, deux pavillons. Alors que l'ensemble de la construction était en granit rose et gris, les encadrements des baies et les modillons des corniches soutenant les toits, au-dessus d'une série de meurtrières, étaient en bois de chêne. Ce qui aurait nécessité la coupe d'une forêt. Seuls les pavillons d'angle sont restés intacts, toute la partie centrale ayant été réduite au seul rez-de-chaussée, de même qu'ont été en partie abattus les communs, qui, à l'ouest, cernaient la cour dans laquelle on pénètre encore, au sud, par un portail en plein cintre que surmonte un écusson aux armes des Berthet avec la date de 1707 et la devise «Qui s'y frotte, s'y pique».
XVIesiècle: le domaine échoit à la nièce du précédent, Jeanne de Moles, épouse de Jean Berthet, notaire à Beaujeu
1671: début de la construction du château de Philibert Berthet, sur des plans de l'architecte d'origine provençale Paul de Royers de La Valfenière, auteur des deux ailes du palais Saint-Pierre à Lyon
1707: la seigneurie est érigée en marquisat, avec celles de Nagu, de Combes, de Germolles et de Nay
1776: Claude-Philibert de la Vernette succède aux Berthet