En 1556, Jean de Verges cède ses terres et l’ancien château à Antoine de l’Aubespin. Deux ans après, la propriété est revendue à Philibert de Vautravers, capitaine gouverneur du Val de Voiteur et Domblans, gentilhomme de la Chambre de Charles Quint, dont la famille est originaire du haut Jura. C’est ce denier qui construit l’actuel château en 1562. Il meurt avant la fin des travaux qui sont achevés par sa femme en 1593 ,si l’on en croit une plaque qui se trouve au bas de l’escalier principal, plaque qui signale la fin des travaux. Philibert de Vautravers était le fils de Claude de Vautravers, seigneur de Charrin et d’Henriette de Binans. Il épousa Jeanne de la Chambre, originaire de Savoie et cousine de Catherine de Médicis.

Nous n’avons malheureusement aucun plan du château initial. Ce qui est certain c’est qu’il était de plan rectangulaire, flanqué de quatre grosses tours et entouré de fossés profonds mais secs. Il devait y avoir un pont levis mais à ce jour, on n’en a pas retrouvé de trace. L’entrée principale devait être sur la façade ouest, à l’intérieur d’une petite cour. Son aspect défensif était plus proche de forteresses du moyen âge que du style des châteaux de la Loire, ses contemporains ! Après la mort de Philibert de Vautravers et de sa femme, le château passe à la famille de Montrichard. En 1639, il est assiégé par la troupe de Bernard de Saxe Weimar à la tête de Suédois mercenaires du roi de France, et après une résistance honorable, le capitaine de Montrichard dût se rendre, tandis que le village était mis à sac, et les habitants massacrés, du moins ceux qui ne s’étaient pas réfugiés sur la côte de l’Heute (la colline à côté). Selon l’usage des armées de l’époque, le château est rendu inoffensif par les assaillants : deux tours et le mur qui fermait la cour sont abattus : la forteresse n’est plus formée que de deux corps de bâtiment qui servent alors d’habitation civile.

La famille de Montrichard vendit la terre de Verges en 1720 à la famille d’Aubarède, laquelle revendit en 1727 à Jean Baptiste Chaillet de Grandfontaine, originaire de Rochejean, avocat au parlement de Besançon. Sa petite fille ayant épousé André de Chomereau; officier de cavalerie, la propriété est restée dans cette famille jusqu’en 1988, date à laquelle elle fut vendue aux propriétaires actuels. Dans la nuit du 31 août 1746, un incendie ravageait une grande partie du château. L’intérieur des tours ayant été épargné a conservé son style d’origine, tout comme le rez de chaussée qui est totalement vouté. Les autres niveaux ont été aménagés dans l’esprit du XVIII° avec de plus grandes ouvertures, notamment au 1er étage. Les fossés ont été en partie comblés permettant un accès direct au jardin. En 2000, un programme de fouilles archéologiques a mis à jour la base d’une des tours abattues dont la pièce souterraine, encore dans son état initial, montre le système de défense du château : des bouches à feu de forme ronde peuvent être obstruées par un système de cylindre en pierre pivotant autour d’un axe en fer, une particularité très rare qui peut être observée dans trois autres châteaux en France (en Lorraine, en Bretagne et dans le Rouergue. La fenêtre permettait aux fumées des canons de s’échapper, évitant l’asphyxie des combattants. Dans la cour, des morceaux du pavage initial sont encore en place, ainsi que les traces d’un corps de bâtiment (empreinte de cheminée sur la gauche).