Il Palazzo si sviluppa sui resti dell'anfiteatro romano ed ha subito vari interventi architettonici nel XVII secolo. Il suo fronte monumentale è allineato con la cinta muraria medioevale e con la porta urbica chiamata "dei Vibi". L'interno richiama una stratificazione di epoche storiche varie, mentre gli affreschi sono di epoca neoclassica. Dal 1874 il Palazzo ospitò una delle più pregiate raccolte d'arte di Perugia che comprendeva opere di Barocchi, Bassano, Bellini, Bronzino, Canaletto, Caravaggio, Carracci, Pietro da Cortona, Giorgione, Guercino, Michelangelo, Perugino, Poussin, Raffaello, Reni, Rosa e Signorelli. La collezione fu successivamente messa in vendita da Fabrizio Ricci delle Penna, a seguito di alcune vicende giudiziarie.
Attualmente il Palazzo della Penna è sede di numerose mostre temporanee ed ospita due collezioni permanenti.
Il Castello di Rivoli Museo d’Arte Contemporanea annuncia l’apertura di COSMO DIGITALE, nuova sede virtuale del Museo contenente creazioni artistiche, conferenze in streaming e documentazioni che integrano la fisicità del percorso di visita al Museo.
Visto il gradimento del pubblico, all'appuntamento Sabato mattina a Palazzo, tutti i sabati del mese di dicembre 2019 si aggiunge una seconda proposta di visita guidata alle ore 11.45 presso il Battistero degli Ariani
La Sala delle Asse di Leonardo torna visibile al pubblico grazie a una passerella si potranno ammirare da vicino il cosiddetto Monocromo e i disegni preparatori emersi sulle pareti dopo il restauro.
