Las primeras referencias con la imagen o semblanza de la Virgen del Carmen de Barbate las encontramos en el archivo parroquial de San Paulino, según consta en el inventario realizado el 4 de julio de 1879 por el Cura de la aldea D. Juan López, cita la existencia de siete cuadros de lienzos con marcos de dorados, uno de ello con una tabla de luces y con la figura de la Virgen del Carmen. En otro inventario realizado esta vez por el Cura-coadjuntor D. Manuel Avalo Muñoz en el año 1883, nos habla sobre un vestido de lana carmelitano para una Virgen de talla, donada por D. José Pérez. Este vestido se utilizaba exclusivamente para la novena y procesión. (esto no quiere decir que existiera una Virgen del Monte Carmelo, sino que se utilizaba una talla de una Virgen de vestir, y dependiendo la fecha, se vestía con el traje de lana carmelitana o un vestido negro de dolorosa, para la Semana Santa).
Las mismas crónicas especifican que el cuadro con tablas de luces, al que hacía referencia el inventario de 1879. Aducía a las lamparillas de aceite que se colocaban delante de la Virgen del Carmen (según crónica transmitida de padres a hijos y siguiendo la costumbre arraigada en la localidad).
En el año 1908, según crónicas del Padre Avalo, nos afirma que el día 24 de enero se bendice en Barbate la primera imagen de la Virgen del Carmen, imagen regalada por el Capitán de la almadraba barbateña D. Juan Bautista Pérez y su esposa Dª Vicenta Pérez, ambos de Isla Cristina (Huelva). Continúa el inventario aclarando que esta Virgen está ubicada en el lateral izquierdo del altar mayor y en el interior de una hornacina.
Según contaba Felipa Varo Muñoz, más conocida por la Tolica (Nacida en el año 1845 y fallecida en 1951), esta imagen salía en procesión en un bote de la Jábega, propiedad de la familia Valle, haciendo el recorrido desde la desembocadura del río Barbate hasta las piedras del castillo, es decir, hasta el faro situado en la playa del Carmen. También aclaraba que esta procesión tenía lugar a las seis de la tarde y que todo el pueblo marchaba a la orilla de la playa. Así continuó hasta que se concluyó la lonja pesquera del río.
El 14 de diciembre de 1938 se bendice la actual talla de Nuestra Señora del Carmen, tallada por D. Eduardo Espinosa Cuadros. Dicha imagen se adquiere por suscripción popular. Tras esto, el 31 de diciembre del mismo año se constituye la Hermandad del Carmen. En el año 1939 procesiona por primera vez por el río Barbate en una barcaza propiedad del Consorcio Nacional Almadrabero, llamada La Micaela, y en el año 1940 ya lo hizo en una traíña, en el Virgen de los Desamparados popularmente conocido como El carbonero. Así se año tras año, hasta que en el 1961, que es cuando se inaugura el puerto de la Albufera y se deja el río para hacerlo por la dársena del Puerto Pesquero. El barco que tuvo la dicha de portar a la sagrada imagen ese año fue Yo te esperaba. Durante los primeros años el barco que portaba a la Virgen solo recorría la dársena del puerto, dando varias vueltas por el interior del mismo y para finalizar la procesión se acercaba a la bocana del puerto en donde se arrojaba una corona de flores por los difuntos.
Se tiene conocimiento a través de los libros de actas de la hermandad que el primer “panegírico”, exaltador o pregonero a la Virgen del Carmen se hace en el año 1941 por el propio párroco de la Hermandad, y ya en el año 1942 lo hace el cura de Alcalá de los Gazules el Reverendo D. José Mainez Vaca. Y como curiosidad a apuntar ese año, es el cambio de hora de salida de la procesión pues esta se venia celebrando sobre las diez de la noche y ese día se cambia, por la de la una de la madrugada, evidentemente este cambio horario obedeció a que la marea del río era a esa hora, aprovechando la oscuridad para darle un mayor y realce al acto pues fue alumbrado por las escandalosas y por antorchas.
Decir que la historia de la hermandad camina paralela a la de la localidad de Barbate, no es ningún artificio, pues mientras la hermandad se funda, la localidad se segrega del municipio matriz de Vejer de la Frontera. Comenzando ambos su caminar por la vida. Y aunque según comentan los más ancianos del lugar que mucho antes, se veneraba a la Virgen del Carmen como patrona del pueblo, pues Barbate, nacido y alimentado del mar, buscó y sigue buscando su protección en María Santísima, en su advocación del Monte Carmelo, más conocida como la Madre de los marineros. No es hasta el año 2011 cuando se oficializa este patronazgo.