Su construcción, debió realizarse en torno a la primera mitad del siglo XIII. Los Caballeros Templarios construyen sus muros hasta el punto que ya en 1283 se hace mención expresa del castillo jerezano, e incluso, de dos maestres templarios. Pero el trabajo templario desaparece con la extinción de la orden en 1312 y sus posesiones pasan a la corona castellana. Básicamente, la Fortaleza de Jerez, es una construcción realizada alrededor de un gran patio central, con forma de pentágono pero irregular en su parte suroeste. Es una obra de mampostería con refuerzos angulares de sillería en sus torres cuadradas de jalonamiento y cubos estratégicos con alturas variables en sus lienzos entre ocho y doce metros. El conjunto estaba flanqueado por 26 torreones; destacando la Torre del Homenaje o, la de mayores medidas y la más robusta. Al igual que las restantes, está construida con sillarejo y mampostería y sólo tiene sillares en los ángulos. La Torre de Armas, la de la Veleta o del Reloj, y la del Carbón completan las cinco torres de la fortaleza.