Tras la compra de la Villa por Doña Ana de la Cerda en 1541, se da comienzo a la construcción del palacio proyectado por el arquitecto Alonso de Covarrubias. Por diversos motivos legales, el palacio nunca se finalizó,  En la torre de levante, estuvo retenida y prisionera la princesa de Éboli, doña Ana de Mendoza y de la Cerda, entre 1581 y 1592, por orden de Felipe II

Fundado por Santa Teresa de Jesús, al llamado de los primeros duques de Pastrana, en 1569. Entre sus religiosos destaca la figura de San Juan de la Cruz que fue maestro de novicios. Estuvo ocupado por Frailes Carmelitas hasta la desamortización de Mendizábal (1836). Más tarde, en 1855, fue ocupado por la Orden Franciscana, que lo utilizó como seminario para formar a los misioneros que enviaban a extremo oriente. Actualmente acoje el museo de Santa Teresa de Jesus