Fast and accurate image registration applications to on-board satellite imaging

Abstract

[eng] This thesis starts with an in-depth study of fast and accurate sub-pixel shift estimation methods. A full comparison is performed based on the common shift estimation problems occurring in real-life applications, namely, varying SNR conditions, different displacement magnitudes, non-preservation of the brightness constancy constraint, aliasing, and most importantly, limited computational resources. Based on this study, in collaboration with CNES (the French space agency), two problems that are crucial for the digital optics of earth-observation satellites are analyzed. Numerical Wavefront estimation. We first study the wavefront correction problem in an active optics context. We propose a fast and accurate algorithm to measure the wavefront aberrations on a Shack-Hartmann Wavefront Sensor (SHWFS) device observing the earth. We give here a review of state-of-the-art methods for SHWFS used on extended scenes (such as the earth) and devise a new method for improving wavefront estimation, based on a carefully refined approach based on the optical flow equation. This method takes advantage of the small shifts observed in a closed-loop wavefront correction system, yielding improved accuracy using fewer computational resources. We also propose two validation methods to ensure a correct wavefront estimation on extended scenes. While the first one is based on a numerical adaptation of the (theoretical) lower bounds of image registration, the second method rapidly discards landscapes based on the gradient distribution, inferred from the Eigenvalues of the structure tensor. Registration-based time delay integration.The second satellite-based application that we address is the numerical design of a new generation of Time Delay Integration (TDI) sensor. In this new concept, active real-time stabilization of the TDI is performed to extend considerably the integration time, and therefore to boost the images SNR. The stripes of the TDI cannot be fused directly by addition because their position is altered by microvibrations. These must be compensated in real time using limited onboard computational resources with high subpixel accuracy. We study the fundamental performance limits for this problem and propose a real-time solution that nonetheless gets close to the theoretical limits. We introduce a scheme using temporal convolution together with online noise estimation, gradient-based shift estimation and a non-conventional multiframe method for measuring global displacements. The obtained results are conclusive on the fronts of accuracy and complexity and have strongly influenced the final decisions on the future configurations of Earth observation satellites at CNES. Improving image registration by a new RANSAC method. For more complex transformation models, a new image registration method performing accurate robust model estimation through point matches between images is proposed here. The difficulty coming from the presence of outliers causes the failure of traditional regression methods. In computer vision, RANSAC is definitely the most renowned method that overcomes such difficulties. It discriminates outliers by randomly generating minimalist sampled hypotheses and verifying their consensus over the input data. However, its response is based on the single iteration that achieved the largest inlier support, while discarding all other generated hypotheses. We show here that the resulting accuracy can be improved by aggregating all hypotheses. We also propose a simple strategy that allows to rapidly average 2D transformations, leading to an almost negligible extra computational cost. We give practical applications to the estimation of projective transforms and homography+distortion transforms. By including a straightforward adaptation of the locally optimized RANSAC in our framework, the proposed approach improves over every other available state-of-the-art method. A complete analysis of the proposed approach is performed, demonstrating its improved accuracy, stability and versatility.

[fra] Cette thèse commence par une étude approfondie des méthodes d'estimation de décalage sous-pixeliques rapides et précises. Une comparaison complète est effectuée prenant en compte problèmes d'estimation de décalage existant dans des applications réelles, à savoir, avec différentes conditions de SNR, différentes grandeurs de déplacement, la non préservation de la contrainte de luminosité constante, l'aliasing et, surtout, la limitation des ressources de calcul. Sur la base de cette étude, en collaboration avec le CNES (l'agence spatiale française), deux problèmes qui sont cruciaux pour l'optique numérique des satellites d'observation de la terre sont analysés. Estimation numérique du front d'onde. Nous étudions d'abord le problème de correction de front d'onde dans le contexte de l'optique actif. Nous proposons un algorithme rapide et précis pour mesurer les aberrations de front d'onde sur un senseur de type Shack-Hartmann (SHWFS en anglais) en observant la terre. Nous proposons ici une revue de l'état de l'art des méthodes pour le SHWFS utilisé sur des scènes étendues (comme la terre) et concevons une nouvelle méthode pour améliorer l'estimation de front d'onde, en utilisant une approche basée sur l'équation du flot optique soigneusement raffiné. Cette méthode profite des petits décalages observés dans un système de correction de front d'onde en boucle fermée, ce qui améliore la précision tout en minimisant les ressources de calcul. Nous proposons également deux méthodes de validation afin d'assurer une estimation correcte du front d'onde sur les scènes étendues. Tandis que la première est basée sur une adaptation numérique des bornes inférieures (théoriques) pour le recalage d'images, la seconde méthode défausse rapidement les paysages en se basant sur la distribution des gradients. Intégrateur numérique basé sur le recalage. La deuxième application de satellite abordée est la conception numérique d'une nouvelle génération de senseur du type Time Delay Integration (TDI). Dans ce nouveau concept, la stabilisation active en temps réel du TDI est réalisée pour étendre considérablement le temps d'intégration, et donc augmenter le RSB des images. Les lignes du TDI ne peuvent pas être fusionnées directement par addition parce que leur position est modifiée par des microvibrations. Celles-ci doivent être compensées en temps réel en utilisant des ressources de calcul limitées sur le satellite, avec une précision sous-pixellique. Nous étudions les limites fondamentales théoriques de ce problème et proposons une solution en temps réel qui s'en approche. Nous présentons un système utilisant la convolution temporelle conjointement à une estimation en ligne du bruit de capteur, à une estimation de décalage basée sur les gradients et à une méthode multiimage non conventionnelle pour mesurer les déplacements globaux. Les résultats obtenus sont concluants sur les fronts de la précision et de la complexité et ont fortement influencé les décisions finales sur les futures configurations des satellites d'observation de la Terre au CNES. Amélioration du recalage d'images par une nouvelle méthode de RANSAC. Pour des modèles de transformation plus complexes, une nouvelle méthode effectuant l'estimation précise et robuste des modèles de mise en correspondance des points d'intérêt entre images est proposée. La difficulté provenant de la présence de fausses correspondances et de mesures bruitées conduit à un échec des méthodes de régression traditionnelles. En vision par ordinateur, RANSAC est certainement la méthode la plus utilisée pour surmonter ces difficultés. RANSAC est capable de discriminer les fausses correspondances en générant de façon alétaoire des échantillons d'hypothèses minimalistes et en vérifiant leur consensus sur les données d'entrée. Cependant, sa réponse est basée sur la seule itération qui a obtenu le consensus le plus large, et elle ignore toutes les autres hypothèses. Nous montrons ici que la précision obtenue peut être améliorée en agrégeant toutes les hypothèses envisagées. Nous proposons également une stratégie simple qui permet de moyenner rapidement des transformations 2D, ce qui réduit le coût supplémentaire de calcul à quantité négligeable. Nous donnons des applications réelles pour estimer les transformations projectives et les transformations homographie + distorsion. En incluant une adaptation simple de LO-RANSAC dans notre cadre, l'approche proposée bat toutes les méthodes de l'état de l'art. Une analyse complète de l'approche proposée est réalisée, et elle démontre un net progrès en précision, stabilité et polyvalence.

[spa] La presente tesis comienza con un estudio en profundidad de métodos rápidos y precisos de estimation de translación sub-pixelicos. El rendimiento de los métodos es evaluada ante la presencia de problemas que suelen ocurrir en aplicaciones reales donde se involucra la estimación de translación, en particular, bajo diferentes niveles de señal/ruido, translaciones de diversas magnitudes, ante la no preservación de luminosidad, la presencia de aliasing, y sobre todo, bajo límites estrictos de capacidad de cálculo. Sobre la base de dicho estudio, en colaboración con la CNES (la agencia espacial francesa), dos problemas cruciales para la óptica digital de satélites de observación de la tierra son analizados. Estimación digital del frente de onda. Estudiamos primero el problema de la corrección del frente de onda en un contexto de óptica activa. Proponemos un método rápido y preciso para medir las aberraciones del frente de onda utilizando un sensor Shack-Hartmann (SHWFS en inglés) observando la tierra. Presentamos una revisión de métodos usados por SHWFS sobre escenas extendidas (como la tierra) y diseñamos un nuevo método que mejora la estimación del frente de onda, utilizando un enfoque cuidadosamente refinado basado en la ecuación de flujo óptico. El método propuesto se aprovecha de las pequeñas translaciones observadas en un sistema de corrección de frente de onda de lazo cerrado para mejorar la precision usando una menor cantidad de recursos computacionales. También proponemos dos métodos de validación para asegurarnos una estimación correcta sobre escenas extendidas. Mientras el primero está basado en una adaptación numérica de los límites inferiores teóricos de registro de imágenes, el segundo descarta rápidamente paisajes basándose en su distribución de gradientes, inferida de los valores propios del tensor de estructura. Time delay integration basado en el registro de imágenes. La segunda aplicación de satélites abordada es la concepción digital de una nueva generación de sensores de tipo Time Delay Integration (TDI). En este nuevo concepto, se realiza la estabilización en tiempo real del TDI para extender considerablemente el tiempo de integración, y por lo tanto mejorar la relación señal/ruido resultante. Las lineas del TDI no puede ser fusionadas directamente debido a que su posición es alterada por microvibraciones. Estas deben ser compensadas con precisión sub-pixelica en tiempo real utilizando los recursos computacionales limitados existentes en el satélite. Estudiamos los límites fundamentales teóricos de registro de imágenes para este problema y proponemos una solución que los aproxima. El esquema presentado utiliza la convolución temporal conjuntamente con una estimación de ruido en línea, un método de estimación de translación basado en gradientes, y un método no convencional multi-imágen para medir desplazamientos globales. Los resultados son concluyentes tanto en precisión como en cuanto a la complejidad y han fuertemente influenciado las decisiones finales sobre las futuras configuraciones de satélites de observación de la tierra de la CNES. Mejorando el registro de imágenes mediante una nueva variante de RANSAC. Para transformaciones entre imágenes más complejas, proponemos un nuevo algoritmo de registro de imágenes a partir de pares de puntos coincidentes. La presencia de pares de puntos ajenos al modelo, llamados outliers, hacen que los métodos de regresión tradicionales fallen. En visión por ordenador, RANSAC es definitivamente el método más popular para lidiar con outliers. Es capaz de discriminarlos generando hipótesis aleatorias tomando muestras minimales y luego verificando su consenso sobre los datos de entrada. Sin embargo, su respuesta está basada en la única iteración que obtuvo el mayor consenso, descartando el resto de las hipótesis generadas. Mostramos aquí que la precisión del método puede ser mejorada agregando todas dichas hipótesis. Proponemos además una simple estrategia que nos permite rápidamente promediar transformaciones 2D, lo cual conduce a un incremento del costo computacional total prácticamente nulo. Damos aplicaciones reales para estimar transformaciones proyectivas y para transformaciones de tipo homografía+distorsión. Incluyendo una adaptación directa del método LO-RANSAC en nuestro esquema, el método propuesto mejora todo método disponible del estado del arte. Realizamos un análisis completo del método, demostrando su precisión, estabilidad y versatilidad.

[cat] Aquesta tesi comença amb un estudi en profunditat dels mètodes ràpids i precisos d'estimació de desplaçament subpíxel. Hom realitza una comparació completa de tots els mètodes coneguts sobre els problemes típics que apareixen a les aplicacions; és a dir, diferents nivells de soroll, diferents mides del desplaçament, canvis d'intensitat en les imatges, aliasing i, el que és més important, recursos computacionals limitats. A partir d'aquest estudi, en col•laboració amb el CNES (l'agència espacial francesa), hom ha estudiat dos problemes crucials en l'òptica digital dels satèl•lits d'observació terrestre moderns. Estimació numèrica de fronts d'ona. En primer lloc, estudiem el problema de l'estimació del front d'ona en el context de l'òptica activa. Proposem un algoritme ràpid i precís per mesurar la forma del front d'ona en un dispositiu tipus Shack-Hartmann (SHWFS) dedicat a l'observació de la terra. Fem una revisió dels mètodes actuals per SHWFS utilitzats en les escenes grans i ideem un nou mètode per millorar l'estimació de front d'ona, basat en l'equació de flux òptic. Aquest mètode analitza els petits canvis observats en el sistema de correcció de front d'ona en un bucle tancat, cosa que permet obtenir una millor precisió i utilitzar menys recursos computacionals. També proposem dos mètodes de validació per assegurar una bona estimació global del front d'ona en imatges grans. Mentre que el primer mètode es basa en una adaptació numèrica dels (teòrics) límits inferiors del registrat de la imatge, el segon mètode descarta ràpidament les escenes segons la distribució dels gradients, deduïda dels valors propis del tensor d'estructura. Time Delay Integration basada en registrat. La segona aplicació que presentem per l'òptica dels satèl•lits és el disseny numèric d'una nova generació d'Integració Temps de retard (TDI) del sensor. En aquest nou concepte, hom realitza una estabilització en temps real de les imatges per tal d'ampliar considerablement el temps d'integració, i per tant per reduir el soroll de les imatges. Les línies de la TDI no es poden fusionar directament mitjançant l'addició, ja que la seva posició s'altera per microvibracions i pel propi desplaçament del satèl•lit. Aquest moviment, doncs, ha de ser compensat en temps real utilitzant els pocs recursos computacionals disponibles a bord, i alhora es requereix una bona precisió sub-pixèlica. Estudiem els límits de rendiment fonamentals d'aquest problema i proposem una solució en temps real que s'acosta a aquests límits teòrics. Per estimar aquest desplaçaments, introduïm un algoritme basat en la convolució temporal juntament amb l'estimació del soroll, l'estimació de canvi basat en la pendent i en l'ús no convencional d'un gran conjunt de línies. Els resultats obtinguts són concloents en els fronts de precisió i complexitat i han influït molt en les decisions finals del CNES sobre les futures configuracions de satèl•lits d'observació de la Terra. Millora de registrat d'imatges mitjançant un nou mètode RANSAC. Finalment, per models de transformació més complexos, hom proposa un nou mètode d'enregistrat d' imatges a partir de correspondències robustes entre punts d'interès. La dificultat prové de la l'existència habitual d'algunes correspondències incorrectes, que provoquen el fracàs dels mètodes de regressió tradicionals. En visió per ordinador, RANSAC és sens dubte el mètode més conegut que resol aquestes dificultats. És capaç de descartar les correspondències incorrectes mitjançant la generació d'hipòtesis a l'atzar, i verificant llur consens sobre les dades d'entrada. No obstant això, la resposta es basa únicament en la hipòtesi que aconsegueix el major suport, mentre es descarten totes les altres hipòtesis generades. Aquí mostrem com es pot millorar la precisió de RANSAC mitjançant l'agregació ponderada de totes les hipòtesis. També proposem una estratègia simple que permet calcular la mitjana de moltes transformacions 2D, a canvi d'un increment gairebé negligible del cost computacional. Com a aplicació pràctica d'aquesta idea, proposem algoritmes per estimar transformacions projectives amb i sense distorsió òptica radial. Gràcies a la nostra adaptació de RANSAC, els mètodes proposats milloren tots els altres mètodes de l'estat de l'art. Per justificar aquesta millora, fem una anàlisi completa dels resultats que demostra l'increment de precisió, estabilitat i versatilitat.