En el flanco occidental se disponía el Palacio de Don Juan de Zúñiga, construido en el último cuarto del siglo XV. Actualmente sólo se conserva la fachada, que la forman una puerta (que es el acceso actual al Castillo) con arco escarzado y moldura gótica, dos plantas de vanos rebajados, disponiendo uno de ellos asientos de piedra embutidos, rematada el coronamiento una cornisa en bocel y el escudo de los Zúñiga.
Don Juan de Zúñiga ya libre de sus ocupaciones militares se instala en Zalamea de la Serena, donde construyó un fastuoso palacio adosado al castillo, el que convirtió en Corte Literaria, a la que acudieron figuras eminentes como Fray Gutierrez de trejo, jurista y Caballero de la Orden de Alcántara, Gray Domingo, teólogo de la Oden de Predicadores, Abasurto, astrólogo que escribió en esta academia uno de sus mejores libros, el “Tratado de las influencias del cielo” (1486); el maestro de Capilla Salórzano, el mayor músico que conocieron aquellos siglos.
El astrólogos Abasurto le enseñó todo lo que era lícito sobre la astrología y era tan aficionado que ordenó que le pintasen en el aposento más alto del palacio, el cielo con sus planetas, astros y signos del Zodiaco.
De esta nómina de personajes ilustres que conformaban la corte literaria destaca con singular relieve, Antonio de Nebrija, que permaneció al lado de Don Juan de Zúñiga en su palacio durante largas temporadas entre los años 1485 y 1503, y donde escribió la primera gramática de la lengua Castellana y el primer diccionario de nuestra lengua, ambas obras impresas en 1492.