Il Palazzo è costituito da due grandi blocchi uniti dal duca Pietro Farnese verso il 1625 fino a formare un unicum
Il primo risale all'Alto Medioevo, ed è stato ampliato e restaurato da Ranuccio Farnese il Vecchio dopo il 1408, anno della sua investitura a Vicario e Governatore del Castello di Latera.
È composto da tre piani: il piano terra era adibito a carcere giudiziario, nel primo c'erano gli uffici delle cariche civili e nel terzo gli appartamenti ducali e lo studiolo del Duca.
Il secondo blocco fu commissionato dal duca Pier Bertoldo Farnese al celebre architetto Iacopo Barozzi il Bello detto il Vignola, e fu terminato nel 1550, in pieno Rinascimento come si può capire ammirando la sua splendida facciata che da su Piazza della Rocca e il suo cortile interno, composto da arcate e dalla scalata nobile.
I due blocchi furono uniti dal duca Pietro Farnese verso il 1625 fino a formare un unicum, come lo si può ammirare ancora oggi. Il tutto è collegato con la bellissima Pieve di San Clemente, che si fregia anche del titolo di Collegiata grazie alla disposizione testamentaria del cardinale Girolamo Farnese.
Infatti all'interno del Palazzo è presente un locale ove si trova il cosiddetto Coretto con la grata, dal quale i Farnese si affacciavano per ascoltare la Santissima Messa senza essere visti dal popolo. Da un'altra stanza i duchi entravano direttamente nella chiesa, che è di doppio ius patronatus (dei duchi e della comunità).
