En 1.437, Lorenzo II Suárez de Figueroa, dos años después de su matrimonio con María Manuel, descendiente de la realeza castellana, inició la construcción de un Alcázar en PalacioDuquesdeFeriaZafra. Las obras, concluidas en 1.443, dieron como fruto un edificio en el que se buscaba más que la fábrica de un baluarte, la consecución de una residencia señorial. Su regularidad y precisión edificatoria concuerda con las construcciones palaciales góticas del siglo XV, si bien en cuanto a la decoración responde al gusto mudéjar. Muy interesantes son las pinturas de la cámara de los esposos, situadas en la torre del Homenaje, así como los techos holladeros del salón principal de la planta baja. En época del segundo conde de Feria se completó el edificio con las techumbres dispuestas en la sala Dorada y en la capilla.

En torno a 1.600, en tiempos ya del segundo duque de Feria Lorenzo IV Suárez de Figueroa y Córdoba, el viejo Alcázar medieval, obsoleto y limitado, fue sometido a una profunda remodelación. Las reformas, encomendadas al Maestro Mayor de las obras ducales, Francisco de Montiel, consistieron en la construcción de un patio de mármol de líneas clasicistas, de dos nuevas alas con azoteas adosadas a ambos lados de la puerta principal y de otras tantas galerías abiertas a un nuevo jardín, que vendrían a complementar a la vieja Huerta Honda como escenario de fiestas y juegos a imitación de la corte. El jardín y la huerta se abastecían del agua proveniente del gótico Pilar del Duque.
Enseguida, entre los años 1.605 y 1.609, se construyó un pasadizo para unir el palacio a la vecina iglesia conventual de Santa Marina, que fue reedificada al tiempo, con la intención de que formase cuerpo con la resistencia nobiliaria. La iglesia y el pasadizo fueron ejecutados por maestros alarifes madrileños y por canteros extremeños, que siguieron las directrices estéticas de Juana Dormer, primera duquesa de Feria. Completaba el conjunto un patio de armas (hoy convertido en plaza pública), al que se accedía por la puerta del Acebuche, acceso principal del palacio en la época. En la iglesia, convertida en Centro Cultural, se conserva la escultura orante de Margarita Harrington, cuyo legado testamentario sirvió para financiar parte de las obras.