A mosaicing approach for vessel visual inspection using a micro-aerial vehicle

Abstract

[eng] Vessel maintenance entails periodic visual inspections of internal and external parts of the hull in order to detect the typical defective situations affecting metallic structures. Nowadays, robots are becoming more and more important regarding these inspection tasks, since they can collect the requested information and, thus, prevent humans from performing tedious, and even dangerous tasks because of places hard to reach for humans. A Micro Aerial Vehicle (MAV) fitted with vision cameras can be used as part of an automated or semi-automated inspection strategy. The resulting collection of individual images, however, does not permit the surveyor to get a global overview of the state of the surface under inspection, apart from the fact that the defects can be separated into different consecutive images. Image mosaicing can certainly help in this case. To this end, in this paper, we propose a novel image mosaicing approach able to deal with this kind of scenarios. Our solution employs a graph-based registration method from which relevant topological relationships between (overlapping) images are found. This graph is built according to a visual index based on a Bag-of-Words (BoW) scheme making use of binary descriptors for speeding up the image description process. At the end of the paper, we report about the results of a number of experiments that validate our approach, including the outcome of defect detectors working directly over the mosaic.

[cat] El manteniment de l'embarcació implica inspeccions visuals periòdiques de les parts internes i externes del casc per detectar les situacions de defectuoses típiques que afecten les estructures metàl·liques. Avui en dia, els robots adquireixen cada cop més importància en aquestes tasques d'inspecció, ja que poden recollir la informació sol·licitada i, d'aquesta manera, evitar que els humans realitzin tasques tedioses, i fins i tot perilloses, a causa dels llocs de difícil accés per als humans. Un microvehicle aeri (MAV) equipat amb càmeres de visió es pot utilitzar com a part d'una estratègia d'inspecció automatitzada o semiautomatitzada. La col·lecció resultant d'imatges individuals, però, no permet a l'agrimensor obtenir una visió global de l'estat de la superfície sota inspecció, a part del fet que els defectes es poden separar en diferents imatges consecutives. El mosaic d'imatges certament pot ajudar en aquest cas. Amb aquesta finalitat, en aquest article, proposem un nou enfocament de mosaic d'imatges capaç de fer front a aquest tipus d'escenaris. La nostra solució utilitza un mètode de registre basat en gràfics a partir del qual es troben relacions topològiques rellevants entre imatges (superposades). Aquest gràfic es construeix d'acord amb un índex visual basat en un esquema Bag-of-Words (BoW) que utilitza descriptors binaris per accelerar el procés de descripció de la imatge. Al final de l'article, informem sobre els resultats d'una sèrie d'experiments que validen el nostre enfocament, inclòs el resultat dels detectors de defectes que treballen directament sobre el mosaic.

[spa] El mantenimiento de los buques implica inspecciones visuales periódicas de las partes internas y externas del casco con el fin de detectar las típicas situaciones defectuosas que afectan a las estructuras metálicas. Hoy en día, los robots cobran cada vez más importancia en estas tareas de inspección, ya que pueden recopilar la información solicitada y, así, evitar que los humanos realicen tareas tediosas, e incluso peligrosas, por encontrarse en lugares de difícil acceso para los humanos. Se puede utilizar un microvehículo aéreo (MAV) equipado con cámaras de visión como parte de una estrategia de inspección automatizada o semiautomática. Sin embargo, la colección resultante de imágenes individuales no permite al topógrafo obtener una visión global del estado de la superficie bajo inspección, aparte del hecho de que los defectos se pueden separar en diferentes imágenes consecutivas. El mosaico de imágenes ciertamente puede ayudar en este caso. Con este fin, en este artículo proponemos un novedoso enfoque de mosaico de imágenes capaz de abordar este tipo de escenarios. Nuestra solución emplea un método de registro basado en gráficos a partir del cual se encuentran relaciones topológicas relevantes entre imágenes (superpuestas). Este gráfico se construye según un índice visual basado en un esquema de bolsa de palabras (BoW) que utiliza descriptores binarios para acelerar el proceso de descripción de la imagen. Al final del artículo, informamos sobre los resultados de una serie de experimentos que validan nuestro enfoque, incluido el resultado de los detectores de defectos que trabajan directamente sobre el mosaico.