Parece ser que el origen fue una ermita de fines del siglo XIV, de la hoy quedan restos en la cripta. Según la tradición, en 1474 los vecinos de Villena huyeron a la Fuente del Chopo durante una epidemia de peste y allí proclamaron a la Virgen de las Virtudes como nueva patrona y «abogada contra la peste». La leyenda cuenta lo siguiente:
En 1474 llegó una asoladora peste sobre la villa y gran parte de la población huyó a la Fuente del Chopo, donde levantaron barracas para cobijarse. Como continuaban los estragos de la peste, decidieron elegir un patrón o patrona para confiar en su intercesión. Para ello depositaron en un cántaro los nombres de santos y santas que cada uno prefería y eligieron a un niño para que sacase uno de los nombres. El elegido fue el de Virgen de las Virtudes, que nadie había escrito. Se repitió dos veces más y volvió a salir este nombre, con lo que se dieron cuenta de que la Virgen quería que la veneraran bajo esa advocación. Así pues, encargaron a dos villenenses que partieran a diversos pueblos y ciudades a fin de adquirir una imagen de la patrona. Apenas se habían alejado unos metros cuando vieron a dos jóvenes con un arca que contenía la imagen de la Virgen. Se la entregaron y, antes de poder mediar palabra, desaparecieron. Desde entonces, se levantó un santuario y se hicieron dos votos a la Virgen, que se cumplen cada año en marzo y en septiembre.[