La Archicofradía de Nuestra Señora del Carmen se fundó el 17 de enero de 1638 en el Convento de Santo Domingo, a iniciativa de un grupo de devotos apoyados por el carmelita fray Nicolás Naranjos. El 15 de septiembre de 1763 el provincial de los carmelitas de Andalucía, fray José Velasco, concedió al prior de los dominicos la facultad de imponer el escapulario del Carmen, y el 25 de noviembre de 1776 el general de los carmelitas descalzos, fray Francisco de la Presentación, le concedió carta de hermandad. Los carmelitas descalzos llegan a Cádiz en 1690, iniciando la obra de su iglesia en 1743, siendo colocada la primera piedra por el Obispo fray Tomás del Valle.
En 1758, a punto de concluirse las obras, la Archicofradía inicia los trámites para trasladarse a la nueva iglesia. El traslado se produjo en solemne procesión en la tarde del 23 de marzo de 1761. La imagen de la Virgen pasó a presidir el retablo principal del templo carmelitano desde aquel momento. El 22 de julio de 2007, y después de un largo proceso, fue coronada canónicamente por el obispo de Cádiz, Antonio Ceballos, en la Catedral de Cádiz.