Il Settecento e la prima metà dell'Ottocento:
dal declino al degrado, da castello a casa colonica

Quello che appare certo è che, a parte i limitati interventi decorativi citati, il XVI e il XVII secolo per il castello dovettero segnare un lungo periodo forse non di degrado ma quanto meno di stasi e di amministrazione assolutamente ordinaria.

Il degrado vero e proprio iniziava dopo, con il XVIII secolo.

Alla morte di Antonio Gaspare Felice, nel 1705, Fénis passava al ramo cadetto degli Challant Châtillon, in particolare a Giorgio Francesco che, però, oberato di debiti, era costretto a venderlo per il prezzo di 90.000 lire, nel 1716, ai Saluzzo Paesana.

Le condizioni del castello più o meno testimoniate nel corso del secolo successivo lasciano intendere che non se ne sarebbe fatto nulla. Anzi, è molto probabile che la relazione sullo stato dell'edificio sia stata ben presente ai proprietari quando, una ventina d'anni più tardi, decidevano di liberarsene rivendendolo. Un certificato catastale redatto al momento dell'ultima vendita di fine Ottocento allo Stato, riassume brevemente un secolo di passaggi di proprietà. Il castello restava in proprietà ai Saluzzo Paesana fino al 23 maggio 1798, giorno in cui veniva acquistato da Pietro Gaspare Ansermin. Questi lo lasciava in eredità al figlio Costantino Ansermin il 3 giugno 1810. A sua volta, questi, morendo il 12 agosto 1837, lo lasciava alla propria figlia Maria Genoveffa. Questa lo deteneva fino al 1863. Quell'anno, in data 3 agosto, lo vendeva a Michele Baldassarre Rosset, di Quart.

L'ultimo passaggio di proprietà è datato 21 maggio 1894, quando il Rosset, "per anticipazione di eredità" donava il castello ai suoi figli Cesare e Michele. Successivamente, il 2 settembre 1895 "il medesimo castello colle sue adiacenze" entrava in proprietà di un terzo figlio del Rosset, Giuseppe, diplomatico che allora rivestiva il ruolo di console italiano ad Odessa. Doveva però trattarsi di un semplice passaggio di comodo perché il giorno dopo, 3 settembre dello stesso 1895, il console Giuseppe Rosset vendeva il castello allo Stato italiano "a mezzo del sig. comm. d'Andrade".

Ridotto, già al tempo dei Paesana, al ruolo di casa colonica, il castello era stato davvero privato - in quasi tutte le sue parti - anche dell'ordinaria manutenzione. Pavimenti e soffitti erano pericolanti o del tutto scomparsi. Fatiscenti quasi tutti i tetti. Crollate o in via di crollo diverse tratte delle cinte murarie e crollata almeno una torre, quella adiacente all'ingresso esterno.