El monumento más distintivo de la localidad es su castillo, en el que residieron los Señores de Feria hasta su traslado al Alcázar de Zafra a mediados del siglo XV. Fue edificado en piedra sobre un asentamiento llano, en 1.418, por Don Gómez Suárez de Figueroa, aprovechando una fortificación anterior de origen árabe. Se sitúa en un extremo del poblado, al que domina con su enorme presencia.
Consta de reciento exterior o barbacana de planta cuadrangular y otro central de mayor altura con cubos adosados, organizado en torno a un angosto patio de armas, destacándose en el conjunto un potente torreón cuadrangular al que se adosan otros semicilíndricos.