近期，中國科學(xué)院合肥物質(zhì)院智能所謝成軍與張潔團隊將 Mamba 模型引入遙感圖像全色銳化領(lǐng)域，提出了一種名為Pan-Mamba的網(wǎng)絡(luò)框架。相關(guān)研究成果發(fā)表在計算機科學(xué)和人工智能領(lǐng)域國際頂尖權(quán)威刊物、中科院1區(qū)Top期刊Information Fusion上。

全色銳化是一項關(guān)鍵的遙感圖像處理技術(shù)，旨在通過融合低分辨率的多光譜圖像和高分辨率的全色圖像，生成高分辨率的多光譜圖像。近年來，Mamba模型在長程依賴建模方面取得了突破性進展，它能夠以線性復(fù)雜度實現(xiàn)對長距離關(guān)系的建模，并且在眾多領(lǐng)域展現(xiàn)出的效果與計算復(fù)雜度更高的 Transformer 架構(gòu)相近。受此啟發(fā)，研究團隊將 Mamba 模型引入全色銳化領(lǐng)域，期望挖掘其在該領(lǐng)域的潛在價值。

Pan-Mamba的核心創(chuàng)新點在于定制了兩個關(guān)鍵組件：通道交換Mamba和跨模態(tài)Mamba。具體而言，通道交換Mamba在網(wǎng)絡(luò)的早期階段引入了部分全色和多光譜特征通道的交互，使得模型能夠在早期就捕捉到不同模態(tài)間的相關(guān)性，從而提高了信息傳遞的效率。跨模態(tài)Mamba在網(wǎng)絡(luò)的后期階段進一步加強了多光譜和全色圖像特征之間的信息融合，通過多層的跨模態(tài)交互，確保了模型能夠充分利用兩種模態(tài)的信息，生成高質(zhì)量的融合圖像。這種設(shè)計不僅促進了不同模態(tài)間的信息交流與融合，還保證了模型的計算效率，使其在處理大尺度遙感圖像時仍能保持高性能。

為了驗證Pan-Mamba的有效性，研究團隊進行了廣泛的實驗，涵蓋多種不同的數(shù)據(jù)集，包括WorldView-III、WorldView-II和GaoFen-2等。實驗結(jié)果顯示，Pan-Mamba在全色銳化任務(wù)中顯著超越了現(xiàn)有最先進方法，無論是在定量指標(biāo)還是定性視覺效果上都表現(xiàn)出色。在WorldView-II和WorldView-III數(shù)據(jù)集上，相比次優(yōu)方法在峰值信噪比指標(biāo)上取得了0.38dB和0.31dB的提升。

目前，Pan-Mamba的源代碼已對外公開，可供相關(guān)領(lǐng)域的研究者和開發(fā)者使用，訪問網(wǎng)址為：https://github.com/alexhe101/Pan-Mamba。

碩士生何炫華為論文第一作者，張潔副研究員為論文通訊作者。該項工作得到了安徽省自然科學(xué)基金項目的支持。

文章鏈接：https://www.sciencedirect.com/science/article/abs/pii/S1566253524005578

圖 1Pan-Mamba 網(wǎng)絡(luò)結(jié)構(gòu)圖

表 1Pan-Mamba模型在不同數(shù)據(jù)集下的實驗結(jié)果

圖 2 不同全色銳化模型在全分辨率WorldView-II數(shù)據(jù)集下可視化結(jié)果比較