Le XVIe et le XVIIe siècle. Les derniers changements apportés au château

Après la mort, en 1513, de Humbert - le neveu d'Aymon II -, le fief et le château de Fénis furent recueillis par ses fils: Gaspard, l'aîné, hérita du fief français de Montbreton, tandis que Charles reçut le fief valdôtain de Fénis.

Grâce à la descendance de Charles, deux branches de la famille Challant survirent jusqu'à la fin du XVIIe siècle.

Le fils aîné de Charles, François, succéda à son père en 1556 et il administra le fief de Fénis, dont il était propriétaire, jusqu'à 1606, c'est à dire pendant presque un demi-siècle.

Après la mort de François, lui succédèrent son fils, Jean Prospère, jusqu'à 1630, son neveu Claude Léonard, qui mourut en 1650, et son arrière-neveu Antoine Gaspard Félicie, qui mourut en 1705.

Les travaux réalisés dans le château par toutes ces personnes furent vraiment exigus et ils se limitèrent à quelques petites décorations isolées, éparpillées dans les différentes salles de l'édifice.

Il paraît que l'arbre généalogique peint au deuxième étage, sur la façade qui donne sur la cour, ainsi que les fresques représentant des paysages locaux, réalisés dans la partie supérieure de la salle basse du côté du levant, remontent au XVIIe siècle.