También conocido como Palacio del Conde Gondomar, fue construido en 1540. El palacio original fue ampliado para albergar la biblioteca del de su propietario, una de las más grandes y ricas del reino. Aquellos libros fueron vendidos en 1802, y la mayor parte se conservan en la Biblioteca Nacional. Tras pasar por las monjas oblatas y los mercedarios descalzos, en 1999 fue adquirido por el Ministerio de Cultura para ampliar el Museo Nacional de Escultura.