El edificio actual data del siglo XVIII, pero según los libros de Ordenanzas de la Cofradía de los Santos Mártire , en 1.574 se reúnen los hermanos para redactar una nueva ordenanza; por tanto, nos indica de la existencia de la ermita ya en la segunda mitad del siglo XVI con una cofradía perfectamente organizada.
Sus titulares son los Santos Mártires San Fabián y San Sebastián, protectores contra la peste. Esta ermita fue construida siguiendo los consejos de los Reyes Católicos, que dictaron la orden de construir ermitas en todas las poblaciones para protegerse del terrible mal, que para entonces no podía combatirse de otra manera.
Durante los siglos XVII y XVIII la antigua capilla fue cubierta con bóvedas y se realizó una media naranja con linterna para la entrada de luz al altar y se construyeron los portales. En el siglo XVII fue introducido el culto a la Virgen de Consolación, perdiéndose poco a poco la devoción a los Santos Mártires.