高光谱成像仪光谱数据的预处理与波长筛选方法

高光谱成像仪在成像的过程中，其采集的光谱信息会受到仪器本身和试验环境产生的噪声干扰、基线漂移、光程变化、样品厚度分布不均以及光散射等因素影响。因此，就需要对光谱数据进行预处理和筛选有效波长。本文对高光谱成像仪光谱数据的预处理与波长筛选方法做了介绍。

光谱数据的预处理方法：

在样品光谱获取过程中，光谱可能会受到仪器本身和试验环境产生的噪声干扰、基线漂移、光程变化、样品厚度分布不均以及光散射等因素影响。因此，有必要结合化学计量法对原始光谱进行预处理以消除负面影响。常用的8种光谱预处理方法包括：多元散射校正（MSC）、标准正态变量校正（SNV）、基线校正（BC）、移动平均值平滑（MAS）、卷积平滑（SGS）、中值滤波平滑（MFS）、高斯滤波平滑（GFS）、和归一化校正（NC）。

MSC是一种用于补偿光谱数据中的加性和/或乘性效应的光谱转换方法，可有效消除光谱散射、基线漂移和偏移、样品颗粒大小和表面光斑分布不均等物理影响。该方法是通过将所有样品的平均光谱作为标准光谱，探究每条谱线与平均线之间的线性关系，从而得到较理想的光谱信息，此变换后的光谱与原始光谱相似。SNV旨在基于所有光谱的平均值和标准偏差达到消除光谱散射和样品颗粒大小倍增干扰，以及校正光照效应的目的。SNV预处理计算方式是每个波长对应的原始反射率减去平均反射率后，其与该光谱反射率的标准偏差的比值。BC是一种常用的光谱预处理方法，可以消除仪器背景噪声或光谱基线漂移对信号质量的影响。MAS、SGS、MFS和GFS均属于平滑预处理，能够有效消除由基线漂移、倾斜、反转等造成的随机噪音。NC目的是识别和去除光谱变量间的系统差异来源，例如样品中随时间变化的化学成分的变化或者仪器检测器灵敏度的变化等。

光谱数据波长筛选方法：

高光谱信息具有波长分辨率高的优点，可以在很大程度上提高模型的预测性能，然而在全波段光谱信息中含有一定的冗余信息，极大的影响了预测模型的运行速度和预测精度。虽然不同的预处理方法可以消除原始数据中系统带来的负面影响，但仍然不能完全剔除冗余信息。因此，利用合适的化学计量学算法对高光谱信息进行最优波长的筛选对提高模型的预测准确性和稳定性是十分有必要的。4种常用的最优波长筛选方法是：回归系数（RC）法、逐步回归（SR）法、连续投影（SPA）算法和竞争性自适应重加权取样（CARS）法。

RC法的运算原理是以回归系数绝对值的大小为依据，捕捉特征变量（光谱信息）与目标变量（硬度、弹性、内聚性）之间的线性关系，从而提取出最优波长来简化全波段PLS预测模型。一般来说，回归系数绝对值越大，对应的波长有效信息越多，模型的预测效果越好。

SR法是一种正向添加、反向删除变量的多元线性回归方法。每当添加一个变量时，总是使用F临界值来确定它的资格。当然，个体变量的有效性并不意味着所有变量累加模型的预测性能都会提高，这时就应该采用步进准则。如果一个变量无关紧要，则删除模式在建模之前由系统启动，最终筛选出最优的波长。

SPA运行步骤包括候选子集的投影操作、根据预测残差平方和（PRESS）准则对候选子集进行评价、最后用F检验准则对变量进行消除三个阶段。SPA 是一种能有效解决光谱共线性问题的变量选择方法，在光谱信息的重复性高、冗余度最小方面具有很大的优势，这是通过找到最小的PRESS值和相应的最优波长的最小数目来实现的。

CARS是又一种基于回归系数绝对值的变量筛选方法，首先采用蒙特卡罗采样法选择固定比例的样本作为标定模型，其次采用指数递减函数进行波长选择，去掉系数低的变量，然后采用自适应重加权抽样选择重要变量。选择基于它们的权重值，对遗漏的变量以类似的方式进行进一步处理，以找到下一组信息变量。该方法主要是依据“适者生存”的原则，挑选出一组回归系数绝对值较大的、交叉验证均方根误差最低的变量，从而达到优化模型的目的。