La Puerta del Pilar es una de las entradas a la fortificación abaluartada de la ciudad y fue levantada a finales del siglo XVII frente al fuerte de Pardaleras, cerca de otra anterior llamada de Jerez o Santa Marina; finalizándose su construcción en 1692. Recibe su denominación de una pequeña imagen de tal advocación que su benefactor, el Capitán General de Extremadura, Conde de Montijo, hizo colocar en una pequeña hornacina.
Como resulta habitual en este tipo de obras, la fachada interior es muy sencilla, destacando la pequeña capilla que contiene la imagen y algunos esgrafiados. La interior es de gran elegancia; está fabricada con sillares de piedra, destacando bajo un pequeño frontón el escudo Real de los Austrias y el del propio Conde de Montijo.
Originariamente contó con un puente levadizo para salvar el foso que rodeaba la ciudad.