RETORNO: Operacionalización y explotación de la información obtenida de imágenes de pescado en lonja mediante inteligencia artificial

Los proyectos FOTOPEIX y FOTOPEIX 2.0, beneficiarios de anteriores convocatorias del Programa Pleamar, han permitido desarrollar las herramientas de inteligencia artificial necesarias para generar automáticamente datos de la talla, de hasta cuatro especies, a partir de imágenes de cajas de pescado. Ambos proyectos no solo han propiciado un cambio metodológico, sino que ha permitido afianzar una estrecha colaboración con la empresa que comercializa las capturas de la flota de Mallorca, OPMALLORCAMAR, estableciéndose un sólido canal de colaboración que permite la transmisión de conocimiento bidireccional entre el sector pesquero y el científico.

El proyecto RETORNO pretende cerrar el marco conceptual y práctico que comenzó con la concesión de los proyectos FOTOPEIX y devolver a las instituciones y empresas implicadas información útil tanto para el seguimiento y evaluación de las poblaciones como para posibles mejoras internas en el proceso de primera venta.

El proyecto RETORNO se centra en el caso de los datos de tallas únicamente como prueba de concepto, es decir, para verificar que el concepto o teoría subyacentes son susceptibles de ser explotados de una manera útil. En esencia, RETORNO pretende desarrollar el núcleo básico de un sistema integral que pueda crecer y evolucionar en el futuro. El objetivo fundamental del sistema integral RETORNO, modular y dinámica, es estructurar y automatizar el flujo de información entre las observaciones y la información demandada por el usuario final, necesaria para resolver cada problema concreto. Para canalizar el flujo de información se han identificado cuatro fases:

1. Obtención de datos: se articulará un protocolo de control de calidad de la toma de imágenes, junto con muestreos periódicos en lonja para validar las estimas de tallas 
2. Procesado: aplicación de las herramientas de deep learning desarrolladas en los proyectos FOTOPEIX para la extracción de tallas.
3. Generación de nueva información: se mantendrá una serie temporal a largo plazo, con cadencia semanal, de la talla media de cada una de las especies consideradas. Asimismo, se implementará un modelo predictivo a corto plazo (a una semana vista). En este segundo caso, se pretende demostrar que una de las potencialidades más relevantes de RETORNO es la actualización iterativa y automatizada de los modelos a medida que pasa el tiempo. Finalmente, se implementará una Bayesian Belief Network para una de las especies consideradas (Coryphaena hippurus). Este tipo de modelo permite relacionar series temporales de desembarcos, tallas, precios, costes de producción y otras variables de carácter económico, junto con variables ambientales.
4. Almacenamiento en tres niveles: imágenes (todas las imágenes de las cajas de pescado vendidas cada día), datos de tallas (talla de cada pescado medido, con identificador de caja, día, especie...) y output generado en la tercera fase (modelos y la serie temporal semanal). Los repositorios en los que se almacenará la información serán los propios del centro de investigación (IMEDEA) y el acceso estará restringido a los participantes del proyecto. Esta fase es de vital importancia, ya que permitirá revisar retrospectivamente la información.

El proyecto ha permitido la edición de un boletín de tallas, distribuido entre los pescadores, consensuando el formato final y contenido exacto con OPEMALLORCAMAR. Como actividad complementaria, también se celebraron reuniones con otras lonjas y organizaciones de pescadores de fuera de Mallorca para mostrar las ventajas de un sistema integral como el implementado en RETORNO. El sistema integral está estructurado en lenguaje R, emulando una propuesta reciente (White et. al, 2019), aunque se han explorado las ventajas e inconvenientes de lenguajes alternativos.

Un ejemplo de flujo de información en el caso de las tallas de los peces se iniciaría con la obtención automática de imágenes (Fase 1) siempre que se produzca alguna venta en lonja. Cada imagen es evaluada y, si contiene algún ejemplar de alguna de las cuatro especies consideradas, se extrae la talla de esos individuos (Fase 2). Cada día se almacenan las tallas obtenidas junto con un identificador de caja, especie y fecha (Fase 4) para mantener una serie temporal a largo plazo. Estos datos son procesados automáticamente una vez por semana para actualizar la serie temporal de talla media para cada especie y la predicción de distribución de tallas esperadas para la semana siguiente (Fase 3). Asimismo, se realiza un control de calidad automático, comparando las estimas y las observaciones de cada semana. El modelo predictivo que se implementa como prueba de concepto es un proceso autoregresivo de primer orden, pero en este módulo pueden integrarse tantos modelos alternativos como sea conveniente. Asimismo, el módulo de control de calidad permite comparar el histórico de las predicciones de los diferentes modelos. En paralelo, para los modelos que impliquen variables predictivas, se articula un proceso automático para incorporar nuevos valores de estas variables.