Le début du déclin. Fénis à l'époque de Boniface II et d'Aymon II

Les seigneuries d'Aymon et de son fils Boniface, dit le "Maréchal", furent tellement longues que si l'on additionne leur durée on découvre qu'elles se prolongèrent pendant plus d'un siècle. Sans aucun doute, cette époque coïncide avec l'apogée économique et politique de Fénis et elle compte aussi parmi les périodes les plus glorieuses de l'histoire de cette communauté.

Après la mort de Boniface I, le patrimoine de la lignée des Challant qui était propriétaire du château diminua considérablement.

Boniface II, qui succéda à son père en 1426, gouverna le fief pendant presque cinquante ans, jusqu'à 1469. Il paraît, cependant, qu'il ait joué un rôle de second plan et que, malgré ses grandes ambitions, il n'ait pas acquis de très bonnes capacités politiques. De plus, la vie de Boniface II semble avoir été minée par des problèmes et des disputes en famille. En effet, outre la guerre de succession entre les Challant, il dut faire face aux divergences d'opinion qui l'opposaient à ses nombreux fils légitimes et naturels (treize, d'après les documents).

Jean, le fils qu'il aima probablement le plus, fut le premier mari de la célèbre Catherine de Challant et il mourut peut-être d'épilepsie en 1446; Guillaume, qui au début fut nommé son successeur, fut ensuite déshérité et il mourut très tôt, en 1457. Le fief fut donc hérité par l'autre fils, Aymon (le deuxième avec ce prénom), qui l'administra jusqu'à 1486.

A sa mort, comme il n'avait pas de descendants, le fief et le château furent recueillis par Humbert, le fils aîné de Guillaume, qui les gouverna jusqu'à 1513.

Les murs du château témoignent clairement du déclin de la famille: aucun travail de restauration ou de reconstruction ne fut plus (ou presque plus) réalisé.