Una aplicación con Inteligencia Artificial y Realidad Aumentada que redefine la gestión de aeronavegabilidad y las inspecciones técnicas.

Autores: Smartech Cluster, Innovasturias, Indaer Europe, Innoarea y Skylife.

[Descárgalo en PDF]

El proyecto CAM-SmartTool 4.0, liderado por Smartech Cluster y con la participación del clúster de Innovasturias, Indaer Europe, Innoarea y Skylife, ha consistido en el desarrollo de  un sistema para la gestión de información de aeronavegabilidad y la evaluación del estado de aeronaves, asistido por medio de visión artificial y realidad mixta, con el objetivo de permitir a las empresas dedicadas a la gestión de la aeronavegabilidad reducir la carga de trabajo durante la realización de inspecciones físicas y revisiones de aeronavegabilidad, tanto de aeronaves que se encuentran en línea de vuelo, como aeronaves que se encuentran en mantenimiento o que están en proceso de preservación.

Es importante comentar que el tipo de inspecciones que normalmente se realizan en el ámbito aeronáutico, para empresas de Leasing, CAMO, entre otras, presentan una diversidad de retos que las convierten en escenarios desafiantes para los inspectores. Entre estas limitaciones se incluyen horarios reducidos (de entre dos y tres horas por aeronave), entornos con iluminación poco adecuada y sujetos a las condiciones meteorológicas del lugar donde se encuentre la aeronave.

Esta aplicación, en su fase inicial, permite a los usuarios la recolección de información de campo de manera ordenada y segura, siguiendo los requerimientos y estándares establecidos por cada uno de sus clientes. A su vez, el sistema provee a los usuarios con un sistema automatizado de identificación de daños a partir de las memorias gráficas obtenidas en campo, simplificando de esta manera el proceso de inspección de las aeronaves y optimizando el tiempo que cada inspector dedica a recolección y organización de la información de cada inspección. Uno de los pilares tecnológicos para la identificación de defectos, es el uso de algoritmos de Computer Vision, en relación con el tratamiento avanzado de imágenes. El proyecto trabajará en dos líneas de investigación respecto al uso de algoritmos de Computer Vision basados en redes neuronales convolucionales (CNN), aplicados a imágenes.

Técnicas de reconocimiento de caracteres mediante CNN

Este proceso denominado OCR (Optical Character Recognition) tiene como punto principal la identificación de zonas de interés y posterior reconocimiento de caracteres. El proceso completo está compuesto por algoritmos y modelos de deep learning como CRAFT (Character Region Awareness for Text detection) para el reconocimiento de zonas de texto, el cual explora los caracteres y valora la afinidad entre ellos; o modelos de redes neuronales (CRNN - Convolutional Recurrent Neural Network) para el reconocimiento, dividido a su vez en extracción de características mediante ResNets (Residual Networks), distribución de secuencias mediante un algoritmo LTSM (Long Short-Term Memory) y decodificación mediante un algoritmo de entrenamiento CTC (Connectionist Temporal Classification).

Como resultado actual del proyecto, identificamos bounding boxes y caracteres de etiquetas aeronáuticas previamente identificadas por interés, parámetros y rango de valores.

Técnicas de detección y clasificación de defectos mediante CNN

Basándonos en estudios previos sobre algoritmos de computer vision disponibles en el mercado como Faster R-CNN, SSD (Single Shot Multibox Detector) y YOLO (You Only Look Once) para la detección y clasificación de objetos, se identificó YOLO, basado en una arquitectura de red neuronal convolucional profunda (CNN), como la mejor solución debido a su método de detección en una sola etapa, diseñado para detectar objetos en tiempo real y con gran precisión. A diferencia de los modelos de detección en dos etapas, como R-CNN, que primero proponen regiones de interés y luego las clasifican.

De igual forma, el sistema que acompaña a esta aplicación permite a los usuarios un almacenamiento ordenado de la información de cada inspección, así como su descarga, incluyendo los datos y las alertas recolectadas a través de inteligencia artificial durante y después de las inspecciones.

Estos datos incluyen información sobre los posibles defectos encontrados, su ubicación de acuerdo con la lista de verificación personalizada por el cliente e información relevante de placas de datos que se encuentran a lo largo de las aeronaves. Una vez completados todos los pasos necesarios de la inspección, la aplicación permite almacenar informes  parciales y finales y compartirlos con cada uno de los clientes.

A su vez, como parte de la aplicación, se tiene la opción de proporcionar soporte remoto en tiempo real a los inspectores, con el fin de complementar su trabajo en campo y resolver posibles problemas durante las inspecciones. Este soporte remoto incluye la opción de compartir audio y video en tiempo real con quien esté brindando soporte, así como anotaciones virtuales sobre el sistema mediante realidad mixta. Este proceso facilita la resolución de dudas y aumenta la calidad de la información recopilada durante las inspecciones.

En una segunda fase, se incluyen capacidades de realidad aumentada en tiempo real durante las inspecciones, a través del uso de la pantalla del móvil o de gafas de realidad  aumentada, así como la generación automatizada de recomendaciones al inspector, basadas en los hallazgos que se presenten en las diferentes fases de las inspecciones. De forma paralela, es posible incluir un módulo de manejo documental y extracción de datos, con el objetivo de simplificar las labores de revisión documental que suelen acompañar este tipo de inspecciones.

Más información del proyecto de I+D

El proyecto CAM-SmartTool 4.0 (Continuing Airworthiness Management Smart Tool) es un proyecto de innovación financiado por el Ministerio de Industria, Comercio y Turismo con fondos NextGeneration de la Unión Europea. En su desarrollo participan un consorcio liderado por Smartech Cluster y con la participación del clúster de Innovasturias, Indaer  Europe, Innoarea y Skylife Engineering.