Construido con mampuesto y sillarejos, en sus partes más nobles, constituye uno de los bastiones medievales más formidables de los que se conservan en Extremadura y en la raya ibérica y uno de los mejores exponentes de la arquitectura medieval. Declarado Monumento Nacional en 1924.
El Castillo y las áreas defensivas, que se van escalonando a lo largo de la ladera del cerro sobre el que se asienta comenzaron a construirse en el siglo XIII.
Álvaro de Luna y Beltrán de la Cueva realizaron importantes reformas en el castillo a lo largo del siglo XV, como es su potente torre del Homenaje y la torre de los Cinco Picos, ambas comunicadas a través de un gran arco ojival con puente levadizo.
Diversas dependencias rodean sus patios de armas como la iglesia de Santa María del Castillo, de origen románico tardío, hoy sin culto.