中国科学院西安光机所光谱大模型实现小样本精准识别

 作者：李媛  来源：中国科学报

近日，中国科学院西安光机所在高光谱数据智能处理算法与视觉大模型应用研究方面取得重要进展，相关成果发表于《IEEE地球科学与遥感技术杂志》。

与传统光学遥感相比，高光谱遥感图像具有数百个独立光谱波段，能够更精确地识别地表物质。然而，标注样本稀缺长期以来严重制约了其实际应用。现有研究多采用少样本学习范式，虽在一定程度上缓解了样本不足的问题，但由于缺乏对跨域光谱信息的一致性约束，加之数据稀缺导致模型规模难以扩展，其跨域泛化能力仍然受限。

针对上述问题，研究团队创新性地提出了一种基于视觉大模型的高光谱少样本分类框架SpectralDINO。该框架通过源域光谱对齐模块统一各数据域的光谱信息，增强模型学习跨域通用特征能力。

团队同时设计了一种新型低秩适应（Low-Rank Adaptation, LoRA）模块，并使用交替训练策略对视觉大模型进行微调，通过双混合子空间的设计，解决了原始LoRA无法区分跨域数据的结构性问题。

不同方法在Pavia University数据集上的分类结果。西安光机所供图

实验显示，该方法有效提升了模型从少量样本提取特征的泛化能力，提高了模型在高光谱少样本分类任务中的表现，在多个公开数据集上超越现有先进方法并实现了最佳分类准确率，为环境检测、精准农业等遥感应用提供新的技术路径。

相关论文信息 :https://ieeexplore.ieee.org/document/11192579