Risalente al XIV secolo, il castello innalza le sue quattro torri circolari su un dosso morenico allo sbocco della valle di Cogne. Scomparsa la cinta muraria, fu trasformato in dimora residenziale nel 1728 da Joseph-Felix de Challant, suscitando l'indignazione dei viaggiatori ottocenteschi.
Nel 1804 vi si spense l'ultimo discendente dell'illustre famiglia. Conserva numerosi quadri di membri della casata, con un arredamento di stile impero. Dal 1970 è proprietà dell'Amministrazione regionale valdostana ed è visitabile solo dall'esterno.
Il Castello di Rivoli Museo d’Arte Contemporanea annuncia l’apertura di COSMO DIGITALE, nuova sede virtuale del Museo contenente creazioni artistiche, conferenze in streaming e documentazioni che integrano la fisicità del percorso di visita al Museo.
Visto il gradimento del pubblico, all'appuntamento Sabato mattina a Palazzo, tutti i sabati del mese di dicembre 2019 si aggiunge una seconda proposta di visita guidata alle ore 11.45 presso il Battistero degli Ariani
La Sala delle Asse di Leonardo torna visibile al pubblico grazie a una passerella si potranno ammirare da vicino il cosiddetto Monocromo e i disegni preparatori emersi sulle pareti dopo il restauro.