Il Palazzo si sviluppa sui resti dell'anfiteatro romano ed ha subito vari interventi architettonici nel XVII secolo. Il suo fronte monumentale è allineato con la cinta muraria medioevale e con la porta urbica chiamata "dei Vibi". L'interno richiama una stratificazione di epoche storiche varie, mentre gli affreschi sono di epoca neoclassica. Dal 1874 il Palazzo ospitò una delle più pregiate raccolte d'arte di Perugia che comprendeva opere di Barocchi, Bassano, Bellini, Bronzino, Canaletto, Caravaggio, Carracci, Pietro da Cortona, Giorgione, Guercino, Michelangelo, Perugino, Poussin, Raffaello, Reni, Rosa e Signorelli. La collezione fu successivamente messa in vendita da Fabrizio Ricci delle Penna, a seguito di alcune vicende giudiziarie.
Attualmente il Palazzo della Penna è sede di numerose mostre temporanee ed ospita due collezioni permanenti.
Dal 30 giugno al 4 luglio 2025 l'Accademia di Belle Arti di Lecce ospita la mostra Levante Prize con 28 opere di giovani talenti italiani e cinesi. Vernissage lunedì 30 giugno alle ore 11 con ingresso gratuito.
Il 18 giugno 2025 la Villa medicea della Petraia ospita l'evento "Homme Plissé Issey Miyake" per la 108° edizione di Pitti Uomo. Una collaborazione tra il brand giapponese e il Museo delle Ville fiorentine con mostra fino al 22 giugno.
Dal 4 al 6 ottobre 2024 torna Milano Scultura; l’unica fiera italiana dedicata alle arti plastiche si trasferisce tra gli splendori sette-ottocenteschi di Villa Bagatti Valsecchi a Varedo (MB).
