Las ermitas eran en su origen edificaciones pequeñas situadas en lugares despoblados habitados por un ermitaño o eremita cuya misión principal era el cuidado y protección de la misma, que estaba dedicada a algún santo o virgen donde el retiro del ermitaño era considerado parte de su vida espiritual y de su entrega cristiana. Muchas de ellas terminaron formando parte de conventos. La Ermita de San José, está en el barrio de El Rabal, construida en 1605 según figura en la clave del arco adintelado de la puerta de acceso La fiesta en honor a San José es el 19 de marzo.
En la actualidad tienen lugar en el barrio una gran cantidad de actos y celebraciones. La semana previa a San José se desarrollan las fiestas del medievo (mercado medieval, con actividades, cuentacuentos, teatros, bodas medievales,). Se han implantado los desfiles de gigantes y cabezudos y en la víspera del día de San José, la noche de los correfuegos.
De la mano de José Navarro, conocemos como se llevó a cabo su rehabilitación.