El origen de este Santuario data del año 1648 cuando los pobladores de San Miguel solicitaron al obispo permiso para construir un hospital bajo la advocación de Nuestra Señora de La Concepción, del cual la capilla se sitúa donde ahora está el Santuario. Para el año 1805 se autorizó una nueva advocación para el templo, hecho que coincidió con las obras de ampliación y remodelación de la capilla iniciadas por el presbítero Pedro Carrillo Dávila. Dicho cambio de advocación respondió al interes de los jerezanos por construir un Santuario donde se pudiera albergar la imagen de La Soledad que se encontró en el lugar. Las obras de construcción del inmueble duraron hasta el año 1902, cuando se tallaron e instalaron el altar y los retablos.
Cabe mencionar que por su historia éste es el templo que posee la mayor afluencia de feligreses en Jerez, a pesar que la Parroquia se encuentra a unos cuantos metros. Actualmente es considerado el edificio religioso emblemático de Jerez y sin duda no sólo es por su historia, sino también por su valor arquitectónico.
