基于视觉大模型的高光谱遥感处理研究取得进展

与传统光学遥感相比，高光谱遥感图像具有数百个独立光谱波段，能够更精确地识别地表物质。然而，标注样本稀缺长期以来严重制约了其实际应用。现有研究普遍采用少样本学习范式，虽在一定程度上缓解了样本不足的问题，但由于缺乏对跨域光谱信息的一致性约束，加之数据稀缺导致模型规模难以扩展，其跨域泛化能力仍然受限。

针对上述问题，中国科学院西安光学精密机械研究所团队，创新性地提出了一种基于视觉大模型的高光谱少样本分类框架SpectralDINO。该框架通过源域光谱对齐模块统一各数据域的光谱信息，增强模型学习跨域通用特征能力。团队同时设计了一种新型低秩适应（LoRA）模块，并使用交替训练策略对视觉大模型进行微调，通过双混合子空间的设计，解决了原始LoRA无法区分跨域数据的结构性问题。

SpectralDINO模型框架

实验显示，该方法有效提升了模型从少量样本提取特征的泛化能力，提高了模型在高光谱少样本分类任务中的表现，在多个公开数据集上超越现有先进方法并实现了最佳分类准确率，为环境检测、精准农业等遥感应用提供新的技术路径。

不同方法在Pavia University数据集上的分类结果

相关研究成果发表在《IEEE地球科学与遥感学报》（IEEE Transactions on Geoscience and Remote Sensing）上。研究工作得到国家自然科学基金、陕西省自然科学基础研究计划、陕西省重点研发计划等的支持。

来源： 西安光学精密机械研究所

论文链接：点击查看