Super-résolution non supervisée d'images hyperspectrales de télédétection utilisant un entraînement entièrement synthétique

TL;DR

Ce travail adresse la SISR d’images hyperspectrales sans accès à des vérités terrain haute résolution. Il propose une approche entièrement non supervisée qui démarre par un démélage hyperspectral pour obtenir des endmembers $\mathbf{S}$ et des abondances $\mathbf{A}_{LR}$, puis génère des abondances synthétiques via le modèle feuilles mortes et entraîne un réseau MCNet sur des paires $(\mathbf{A}_{DL,HR}, \mathbf{A}_{DL,LR})$ afin de prédire $\mathbf{A}_{SR}$; l’image finale est reconstruite par $HSI_{SR}(l,i,j)=\sum_{n=1}^{N} S(l,n)\cdot A_{SR}(n,i,j)$. L’intégration explicite du démélage et l’usage de données synthétiques permettent d’obtenir des résultats compétitifs par rapport à des méthodes supervisées sur le dataset Urban HYDICE, démontrant l’utilité et la faisabilité des données synthétiques pour la formation en SISR hyperspectral. Cette approche offre une solution pratique pour des scénarios réels où les ground-truth haute résolution manque, tout en conservant l’information spectrale riche des HSIs. Les résultats soulignent l’importance des modèles de génération de données synthétiques comme moyen de combler le manque de données étiquetées dans l’imagerie hyperspectrale.

Abstract

Hyperspectral single image super-resolution (SISR) aims to enhance spatial resolution while preserving the rich spectral information of hyperspectral images. Most existing methods rely on supervised learning with high-resolution ground truth data, which is often unavailable in practice. To overcome this limitation, we propose an unsupervised learning approach based on synthetic abundance data. The hyperspectral image is first decomposed into endmembers and abundance maps through hyperspectral unmixing. A neural network is then trained to super-resolve these maps using data generated with the dead leaves model, which replicates the statistical properties of real abundances. The final super-resolution hyperspectral image is reconstructed by recombining the super-resolved abundance maps with the endmembers. Experimental results demonstrate the effectiveness of our method and the relevance of synthetic data for training.

Figures (4)

• Figure 1: Structure de la méthode proposée: Le réseau de super-résolution est entraîné avec des paires synthétiques $(A_{DL,SR},A_{DL,LR})$ puis est utiliser pour super-résoudre $A_{LR}$ en $A_{SR}$
• Figure 2: Une illustration de génération d'abondances synthétiques à la sélection de la $i^{ème}$ colonne de valeur $v_{extrait}$ pour les $A_{DL,HR}$.
• Figure 3: Comparaison entre les cartes d'abondances réelles d'urban (Haut) et les cartes d'abondances synthétiques de feuilles mortes (Bas).
• Figure 4: Comparaison visuelle entre la vérité terrain, LR, Bicubic, MCNet, SSPSR, HSISR et MCNet-DL sur un patch d'Urban à la bande n°1, 50 et 100