SICAPTOR 2.0 - Nuevas tecnologías de visión aplicadas al desarrollo de sistemas estandarizados de monitorización electrónica de la captura total más compactos y flexibles

Temática:

Eje 1.1 Innovación pesca

Objetivos:

Objetivo general:

Rediseñar el sistema iObserver de cara a minimizar su tamaño y maximizar sus prestaciones de funcionamiento a fin de aumentar la viabilidad de su instalación generalizada a bordo y, con ello, su aceptación por armadores y tripulación en todo tipo de flotas, no solo arrastre, como dispositivo de referencia para la monitorización electrónica remota de las capturas (REM en inglés).

Objetivos específicos:

Rediseñar el sistema iObserver para su compactación/miniaturización mediante la separación del sistema de visión (cámara) del de procesado (ordenador), el cual se integrará como un instrumento más en el puente de mando;
Analizar y evaluar otras tecnologías de visión de menor tamaño y/o con menores requerimientos lumínicos, tales como cámaras lineales y cámaras inteligentes y seleccionar aquella que permita obtener mejores resultados en la identificación;
Adaptar y re-entrenar los algoritmos de reconocimiento y cuantificación de especies basados en deep learning y redes neuronales;
Desarrollar la sensórica que permita una correcta sincronización del nuevo sistema con la cinta transportadora en los parques de pesca;
Calibrar el nuevo sistema diseñado durante pruebas realizadas a bordo de buques oceanográficos y
Probar la eficiencia del nuevo sistema iObserver a bordo de barcos pesqueros (arrastreros, palangre, etc.)

Descripción:

Uno de los mayores desafíos al que se enfrentan las políticas de gestión sostenible de la actividad pesquera es la obtención de datos reales de capturas (tanto retenidas como descartadas) realizadas por las diversas flotas pesqueras, así como de la calidad y la disponibilidad de métodos automatizados de recopilación y tratamiento de datos de capturas y descartes en un tiempo razonable y de fácil implantación en el sector pesquero.

El sistema iObserver es un dispositivo que permite cuantificar, de forma automática, la captura total a bordo de buques comerciales. Dicho dispositivo toma fotografías del pescado que pasa por la cinta de triado, e identifica la especie a la que pertenece cada uno de los ejemplares en cada una de las fotografías. Además, hace una estimación de talla y peso de cada individuo y de la cantidad total de biomasa capturada. Durante el proyecto LIFE iSEAS se desarrolló un prototipo que sirvió de punto de partida para el proyecto SICAPTOR. Fue este último el que permitió una mejora significativa tanto del software como del hardware del sistema mediante el desarrollo de nuevos algoritmos de reconocimiento de especies usando técnicas de deep learning, la ampliación del catálogo de especies, la automatización del sistema, así como la mejora de la iluminación y de la sensórica para la captura de imágenes, evitando duplicidades y sobreestimaciones en la cuantificación de la captura.

En esta nueva etapa del proyecto, denominado ahora SICAPTOR 2.0, se pretende realizar un rediseño del sistema iObserver de cara a minimizar su tamaño y maximizar sus prestaciones de funcionamiento, a fin de aumentar la viabilidad de su instalación generalizada a bordo y, con ello, su aceptación por armadores y tripulación en todo tipo de flotas, no solo arrastre, como dispositivo de referencia REM.

Resultados del proyecto

Resultados:

Con los resultados del proyecto SICAPTOR 2.0 se concluye que, a pesar de los avances logrados desde sus inicios, siguen existiendo importantes desafíos para garantizar el pleno cumplimiento de los objetivos de la PPC. Entre ellos, se debe mejorar la disponibilidad y calidad de los datos pesqueros, siendo necesarios protocolos y estándares para garantizar que estos datos se compartan sistemáticamente entre todas las entidades pertinentes, incluidos los científicos pesqueros. La digitalización y las herramientas avanzadas aplicadas a la pesca, junto con la información de diferentes sensores, tienen un enorme potencial para optimizar las operaciones de pesca y mejorar nuestra capacidad para recopilar y analizar datos y, en última instancia, apoyar una gestión sostenible de los recursos marinos. En este marco, el objetivo de SICAPTOR 2.0 ha sido realizar un ejercicio de rediseño del sistema EM iObserver, que permita acercarlo al mercado y generalizar su uso por parte de la flota española en el corto-medio plazo:

Se han desarrollado dos dispositivos a partir del sistema iObserver, con una reducción muy significativa de sus dimensiones y peso, facilitando su instalación y uso:

a) iObserver 2.0 Lineal, basado en la nueva cámara lineal.

b) iObserver 2.0 Matricial, basado en las cámaras matriciales reconfiguradas para un trabajo híbrido entre captura lineal y matricial.

En ambos casos, la ubicación del hardware de procesamiento y comunicación se sitúa en el puente (se pueden aprovechar para otras tareas, ya que no requieren de un hardware especializado, lo que implica menores costes), dejando sobre la cinta del parque de pesca la cámara y el sistema de iluminación, cuyo número de focos se ha reducido de cuatro a dos, pero multiplicando la luminosidad por ocho.

Se han realizado mejoras en la sensórica para la captura de imágenes, evitando sobreestimaciones/duplicidades en la cuantificación de la captura mediante dos soluciones:

Un sistema de sensores físicos (encoders) que permiten la perfecta sincronización entre el movimiento de la cinta y la toma de imágenes de los iObserver2.0.

Un sistema software que, a partir de un algoritmo de análisis de flujo creado ad hoc, determina el avance de la cinta y reconstruye las imágenes mediante la captura consecutiva de franjas transversales a la cinta, sin la necesidad de usar los sensores físicos (encoders) en la cinta, siendo de gran utilidad para casos con instalaciones complejas.

Se desarrollaron nuevos algoritmos de identificación y cuantificación de la captura, basados en el seguimiento de objetos, conocidos como MOTS (Multiple Object Tracking and Segmentation), mucho más potentes, debido a que permiten diferenciar más del doble de especies que en SICAPTOR (31 en lugar de 15); trabajan indistintamente con las imágenes del iObserver y de los iObservers 2.0, y el conjunto de test generado tiene un mayor número de imágenes complejas con múltiples peces y solapamiento. Todo ello sin perder capacidad en términos de precisión y sensibilidad total, que alcanzan el 96% y el 92%, respectivamente.

Productos obtenidos en el proyecto:

Informes:
- Nuevo diseño del iObserver2.0, incluyendo comparativas detalladas de los diferentes tipos de cámaras empleadas, sus ventajas e inconvenientes, los requerimientos en cuanto iluminación y trabajos de rediseño de este sistema.
- Trabajos de adaptación y re-entrenamiento del software desarrollado para la cámara matricial en SICAPTOR, incluyendo comparativas detalladas con la versión inicial en términos de porcentaje de acierto en la identificación y cuantificación de especies, número de individuos empleados en el entrenamiento de cada especie, automatización del equipo, etc.
- Resultados de la utilización del iObserver2.0 a bordo.
- Feedback obtenido de los patrones de los diferentes segmentos de la flota de arrastre analizados de las potencialidades de uso, en un entorno de actividad pesquera, de este nuevo dispositivo desarrollado en base a sus características técnicas y de cara a la mejora e implementación real del mismo.
Entrevista realizada al coordinador del proyecto, Luis Taboada Antelo, disponible en la web Pleamar.
Vídeo sobre la implementación y uso a bordo de buques oceanográficos del iObserver2.0, disponible en el canal de Youtube.
Foro en Inteligencia Artificial Aplicada al Sector Pesquero celebrado en el mes de octubre de 2021.
Dos artículos en revistas científicas de alto impacto (Q1):
- On the use of deep learning for fish species recognition and quantification on board fishing vessels. En la revista Marine Policy (Editorial Elsevier)
- Deep Learning techniques applied to the photo identification of fish individuals of undulate skate (Raja undulata) within a Few-Shot Learning context, en la revista científica Methods in Ecology and Evolution (Editorial Wiley)
Cuatro reportajes en revistas sectoriales:
- Pesca inteligente (Revista Mar – octubre 2020)
- Las nuevas tecnologías y la interdisciplinaridad marcan el rumbo de la ciencia pesquera (Revista Industrias pesqueras - abril 2021)
- Datos para gestionar mejor (Revista Mar - febrero 2022)
- La inteligencia artificial llega a la pesca (Revista Industrias pesqueras - febrero 2022).
Celebración de dos jornadas de presentación de resultados. Una en la sede de la Secretaría General de Pesca en Madrid y otra en Vigo.
Material de difusión:
- Cartelería para las jornadas
- 250 unidades del folleto inicial de presentación del proyecto
- 250 unidades del folleto final de presentación de resultados
- 250 libretas y 250 bolígrafos