El origen de este santuario data del año 1648, cuando los pobladores de San Miguel solicitaron al obispo permiso para construir un hospital bajo la advocación de Nuestra Señora de la Concepción, cuya capilla se sitúa donde ahora está el santuario. Para el año 1805 se autorizó una nueva advocación para el templo, hecho que coincidió con las obras de ampliación y remodelación de la capilla, iniciadas por el presbítero Pedro Carrillo Dávila. Dicho cambio de advocación respondió al interés de los jerezanos por construir un santuario donde se pudiera albergar la imagen de la Soledad, que se encontró en el lugar. Las obras de construcción del inmueble duraron hasta el año 1902, cuando se tallaron e instalaron el altar y los retablos.
Cabe mencionar que, por su historia, este es el templo que posee la mayor afluencia de feligreses en Jerez, a pesar de que la parroquia se encuentra a unos cuantos metros. Actualmente, es considerado el edificio religioso emblemático de Jerez y, sin duda, no solo es por su historia, sino también por su valor arquitectónico.
