Andrés Fuster, director del proyecto Deepfish 2: "La obtención de datos automáticos de capturas permitirá mejorar y abaratar la gestión de las lonjas, reduciendo costes y mejorando la calidad de los datos”

Andrés Fuster, director del proyecto Deepfish 2

Deepfish es uno de los proyectos impulsados en el eje de Innovación pesquera que mejor ejemplariza las posibilidades de la inteligencia artificial para impulsar una pesca más sostenible. Una iniciativa que están contando con la colaboración proactiva de varias lonjas del Mediterráneo para testear su dispositivo.

Cada vez más proyectos incorporan tecnologías inteligentes. Para el científico, estas aplicaciones y herramientas son todo ventajas, ¿no?

La Inteligencia Artificial (IA) está atravesando una etapa de expansión no sólo en los centros de investigación, sino en el tejido social y empresarial donde se observa una creciente presencia de productos y servicios basados en esta tecnología. Informes prospectivos de consultoras como “Accenture o Deloitte” y organismos como la WIPO (Organización Mundial de la Propiedad Intelectual) coinciden en afirmar el importante incremento del impacto económico de la IA a nivel mundial. Este hecho ha propiciado que los gobiernos se planteen estrategias para la IA, como es el caso del “Libro Blanco sobre Inteligencia Artificial de la Comisión Europea” o “la Estrategia Española en IA” publicados en 2020, que plantean la importancia de adelantarse a un escenario donde la IA transformará nuestras vidas de una forma totalmente transversal. En este escenario el proyecto Deepfish2 es un ejemplo de aplicación de técnicas de inteligencia artificial y visión por computador para contribuir a la mejora de la gestión del sector pesquero, facilitando la monitorización automática en lonja de las especies capturadas y su biomasa.

Sin embargo, más allá de la tecnología, la colaboración y el intercambio de conocimiento sigue siendo clave. De ahí, ¿el objetivo de creación de un foro para investigadores en Deepfish 2?

Esta transversalidad de la IA abre un importante abanico de posibilidades interdisciplinares de investigación e innovación que están por explorar. En esta línea interdisciplinar se encuadra el proyecto Deepfish2, donde colaboran expertos en IA, científicos marinos y agentes del sector pesquero para la consecución de los objetivos del proyecto. Existen diferentes grupos de investigación que trabajan con el objetivo de facilitar la monitorización de las capturas, tanto en barcos como en lonjas de diferentes tipologías, mediante el uso de técnicas de visión por computador e inteligencia artificial. En este marco, Deepfish2 quiere impulsar un foro de colaboración entre estos grupos interdisciplinares para aunar esfuerzos y alinear estrategias facilitando la transferencia de resultados de investigación al sector pesquero. Este foro aglutinará expertos de universidades (Universidad Politécnica de Cataluña, Universidad Politécnica de Valencia, Universidad de Murcia, Universidad de Cádiz y la Universidad de Alicante) y de centros de investigación (Instituto de Investigaciones Marinas del CSIC en Vigo, el IMEDEA -Institut Mediterrani d’Estudis Avançats- del CSIC y de la Universidad de las Islas Baleares y el Instituto de Investigaciones Marinas de El Campello). En este foro también participarán las Cofradías de pescadores que colaboran en el proyecto Deepfish2: El Campello, Altea, Torrevieja y Moraira.

El sistema recoge datos a partir de imágenes y, posteriormente, viene la explotación de esta información, ¿qué podrá obtenerse de estos datos?

La obtención de datos de las capturas en el sector pesquero, tanto en los barcos como en las lonjas, se aborda normalmente de forma completamente manual. La monitorización manual en cualquier industria supone un proceso costoso económicamente y con errores consecuencia del necesario muestreo de procesos masivos y factores como el cansancio humano. Por ese motivo, los sistemas de monitorización automática en contextos de industria 4.0 se implantan con éxito, reduciendo costes y mejorando la calidad de la información. La obtención de datos automáticos de capturas de forma masiva y precisa, incorporando datos de especie, talla, biomasa y trazabilidad podrá tener beneficios a dos niveles. Por un lado, permitirá mejorar y abaratar la gestión de las lonjas reduciendo los costes de monitorización manual y mejorando la calidad de los datos. Además, estos datos podrían ser explotados en lonja mediante diversas visualizaciones y estadísticas (filtros de capturas por especie, talla, barcos, secuencias temporales, así como sistemas GIS con información de trazabilidad). Por otro lado, la combinación de datos precisos procedentes de diferentes lonjas a nivel masivo podría permitir realizar análisis de datos de los que hoy en día se carece. Los análisis en este nivel de gestión pesquera podrían permitir mejorar los modelos de planificación.

Para quien no lo sepa: ¿por qué es tan importante conocer el tallaje de las especies en lonja?

El tallaje de los peces en lonja es un factor importante que, combinado con la identificación de la especie, permite determinar la biomasa. La información de especie y biomasa es clave tanto por su repercusión en el precio de venta, como por su interés desde el punto de vista de la planificación y análisis de stock de interés pesquero. Además, el tallaje es un proceso que abordado manualmente resulta muy costoso al requerir instrumental e intervención humana, por este motivo se suele recurrir a la medición de pequeñas muestras representativas con el correspondiente sesgo en los datos obtenidos. Mediante el uso de visión por computador y técnicas de inteligencia artificial en Deepfish2 se está estimando automáticamente la talla con precisiones altas, si bien problemas como el alto nivel de apilamiento y oclusiones de peces en las bandejas debe ser abordado adecuadamente para garantizar la precisión de las medidas.

Pero, además, el sistema aporta otros datos sobre las especies a partir de su visión artificial. ¿Cuáles son? ¿Van a ampliarse en esta segunda fase?

El sistema que se está desarrollando en Deepfish2 tiene como objetivo principal obtener automáticamente información precisa de especie, talla y biomasa a partir de las imágenes obtenidas en lonjas. Estos datos pueden combinarse con información de trazabilidad de las capturas, incorporando fechas, barcos, sus rutas, artes de pesca, … La combinación de toda esta información podría utilizarse para realizar análisis estadísticos, que permitan visualizar rápidamente la intensidad de capturas en relación con diferentes factores: por especie, talla, periodos temporales, comparación de series temporales, artes de pesca, zonas de captura, etc. Estas visualizaciones podrían hacerse en gráficos y, adicionalmente, a modo de GIS para permitir la representación geográfica de la intensidad de capturas. Estas visualizaciones se abordan en el proyecto Deepfish2 a nivel de prototipo de cuadro de mando.

¿El trabajo en esta segunda fase conlleva muchas horas de programación, ¿cuáles son las prioridades de mejora del sistema y de qué manera trabajáis para avanzar en su perfeccionamiento?

Las prioridades de mejora del sistema en Deepfish2 son su escalabilidad que permita su implantación en diferentes tipos de lonjas. La versatilidad incorporando una casuística mayor de tipos de imágenes de diferentes lonjas, lo que implica más especies y más tipos de bandejas. La autonomía, que permita su instalación en la lonja de forma desasistida. Finalmente, la explotación y visualización de los datos obtenidos por el sistema. En relación con la escalabilidad, se han identificado diferentes tipologías de lonjas en lo que se refiere a su proceso de preparación y comercialización del producto, desde lonjas pequeñas donde no disponen de cámaras (El Campello, Moraira); hasta lonjas mayores que suelen abordar la venta mediante sistema en línea (Altea), en cuyo caso disponen de cámaras. El sistema se ha diseñado con una estrategia de servicios “cloud”, de esta forma las imágenes obtenidas en las lonjas son remitidas por internet para su procesamiento en la nube. En relación con la autonomía, para las lonjas que no disponen de sistema de cámaras, se ha diseñado un dispositivo con filosofía IoT que realiza la adquisición automática de las imágenes y una parte del procesamiento. Este dispositivo se ha diseñado con las características necesarias (impermeabilidad, conectividad, automatismo…) para poder ser instalado de forma desasistida en las lonjas. En relación con la versatilidad, las diferentes tipologías de lonjas implican más especies y formatos de bandejas con distintos niveles de apilamiento de peces. Esto requiere de incrementar los datasets de imágenes que se utilizan en el aprendizaje de los modelos de redes neuronales profundas, así como de la adaptación y parametrización de los modelos de red. Finalmente, la explotación y visualización de los datos requiere de la implantación de un sistema GIS basado en web cuya base tecnológica requiere de un diseño modular adecuado.

Para testar estas mejoras, ¿cómo vais a trabajar con las lonjas?

En el proyecto Deepfish2 estamos contando con la valiosa colaboración de las Cofradías de pescadores de El Campello, Altea, Torrevieja y Moraira.

La lonja de la Cofradía de pescadores de “El Campello” está siendo clave para la prueba del dispositivo de adquisición mejorado de Deepfish2. En el proyecto previo (Deepfish) se abordó la funcionalidad básica de etiquetado y tallado de imágenes. El nuevo dispositivo Deepfish2 incorpora las características necesarias para dotarlo de autonomía. En la actualidad, está siendo instalado en El Campello para el testeo de su funcionamiento autónomo. El sistema adquiere las imágenes durante el proceso de pesado de las bandejas de la forma más transparente posible para el usuario. El sistema reconoce los códigos QR de las bandejas, adquiere la imagen y la remite al servidor para su etiquetado, avisando al usuario rápidamente mediante un leve pitido para la colocación de la siguiente bandeja. Este sistema está preparado para instalarlo en otras lonjas de la misma tipología, como puede ser la de Moraira, que nos está ayudando en el proceso de adquisición de imágenes manualmente.

La colaboración de la Cofradía de Pescadores de Altea está siendo fundamental para abordar la problemática de las lonjas con venta online. Esta lonja dispone de un sistema de venta online con cámaras cuyas imágenes tienen la calidad necesaria. La lonja de Altea está proporcionándonos un importante número de imágenes que estamos etiquetando manualmente con metadatos para el posterior proceso de entrenamiento de los sistemas de aprendizaje profundo. En la actualidad, las redes neuronales profundas diseñadas para la lonja de Altea están dando buenos resultados de etiquetado y tallaje. El modelo de etiquetado de imágenes como servicio en la nube y el gran número de lonjas que disponen de venta online con formatos similares en la zona mediterránea permite ver una línea de transferencia interesante.

En relación con la Cofradía de Pescadores de Torrevieja su colaboración está siendo muy importante para permitir la diversidad de las especies del dataset, aportando un importante número de imágenes de especies como la sardina (Sardina pilchardus) y el boquerón (Engraulis encrasicolus).

En su opinión, ¿cómo valora la introducción de nuevas tecnologías y digitalización de procesos en el sector pesquero? ¿Vamos bien o aún queda mucho por hacer?

En general, la incorporación de tecnología y sistemas basados en IA suele ocurrir a distintas velocidades, dependiendo del volumen de los sectores industriales, observándose sectores altamente tecnificados en grandes industrias y sectores incipientes de perfil más tradicional. En este sentido, el sector pesquero es muy diverso según las zonas, si bien en la zona mediterránea es frecuente la presencia de lonjas de tamaño medio-pequeño. En este tipo de lonjas se identifica una oportunidad de incorporación de nuevas tecnologías que pueden contribuir a mejorar la gestión. Este es precisamente el propósito de Deepfish.

¿Y después? ¿Qué futuro le espera al sistema Deepfish?

Como suele ocurrir en toda nueva línea, a medida que vas resolviendo problemas vas intuyendo los nuevos. Deepfish2 nos está permitiendo conocer diversos tipos de lonjas y abrirnos a nuevos problemas más complejos. Algunas de las propuestas de solución que estamos desarrollando en Deepfish2 están a nivel de prototipo: la adopción de un modelo cloud para mejorar la escalabilidad, la adaptación del sistema para la integración de lonjas de venta online, o la visualización mediante GIS de datos de capturas. Por lo tanto, requerirán de un nivel mayor de profundización en un futuro para abordar problemas en entornos reales. Para el grupo de investigación los siguientes pasos del proyecto Deepfish2 serán un reto ilusionante.