近年来,自注意力机制在计算机视觉和自然语言处理中取得巨大成功,其通过一种利用输入元素间相关性加权的特征提取机制,大大提升了特征的表征能力^[

经典自注意力机制被用于对长度不等的元素序列进行处理。它首先通过计算序列中元素之间的依赖关系确定一组权矢量,然后使用这些权矢量对输入元素进行加权组合以获得输出元素。如Bert中的注意力机制^[

图4  注意力自相关运算细节和注意力自相关层网络结构

下载:  原图 | 高精图 | 低精图

相较于传统注意力机制,注意力自相关机制更注重输入序列整体及其各个元素之间的相互关系特征,如图4(a)所示,该机制直接将输入序列的相互关系作为特征输出。在图中,可训练的原始变换矩阵W_o∈R^R×M×N和关键值变换矩阵W_k∈R^N×M×R分别对输入序列进行投影,并通过维度扩展提升数据的表征能力。为了提取更丰富的相关性特征,注意力自相关机制将传统注意力机制中的变换矩阵扩展为3维,引入特征维度R。其中,维度为M×N的矩阵可以将维度为N的向量线性变换到M维特征空间,当M>N时,矩阵变换将输入向量投影到高维特征空间,从而提高向量的表征能力。同时,R个维度M×N的变换矩阵可以将输入序列变换为R个高维特征向量,丰富了特征信息提取的多样性。当任务复杂时,多样的信息特征是必要的。变换后的原始矩阵O∈R^R×M和关键值矩阵K∈R^M×R可由下式获得:

原始矩阵O中每一个行向量和关键值矩阵K中每一个列向量都代表着输入序列的一个高维表征。注意力自相关通过矩阵相乘获得综合特征矩阵,其表达式为

其中,AAC(O,K)∈R^R×R,矩阵中的每一项都是通过原始回波数据高维表征向量的内积获得的,其包含了输入序列相互关系的深层特征。在剩余杂波抑制中,特征维度R与自相关函数的长度或短时傅里叶变换的时间维度有相近的意义,维度越高,越可以保证特征矩阵中深层特征的有效性。但与输入序列自相关不同的是,注意力自相关操作使用变换矩阵提取了与任务有关的输入序列中更丰富的信息,这使得综合特征矩阵中用于区分杂波和目标的特征更加丰富和高效。

下面的例子详细说明注意力自相关操作提取输入序列的综合特征矩阵的性能潜力。假设输入为x=[x(1),x(2),x(3)]^T,不妨设变换矩阵中M=N=3,R=3。假设训练后的变换矩阵可以实现移位功能,则这种特殊的变换矩阵可以表示为

其中, $W_o^i$和 $W_k^i$分别代表第i个原始变换矩阵和关键值变换矩阵,i=1,2,…,R。经过变换后的原始矩阵和关键值矩阵分别为

其中,原始矩阵O的行向量和关键值矩阵K的列向量是由输入向量经过移位获得的。在此基础上,综合特征矩阵C为

其中,综合特征矩阵中的元素为输入向量x的自相关函数值。即使相关函数自变量相同(序列位移差相同),由于计算相关函数的序列长度和元素不同,相关函数值含义也有对应的差异,这里使用上标来区分具有相同位移差但序列长度不同的相关函数,这能更进一步反映输入序列元素之间的相互关系。对于目标和杂波的综合特征矩阵,其差异性不仅体现在自相关函数不同,还体现在不同序列组合的相关函数上,也就是目标与杂波在不同脉冲间的相关差异性,能反映此回波的“瞬态”多普勒信息。可以发现,在特殊的移位变换矩阵假设下,注意力自相关机制不仅提取输入向量自相关函数值,综合特征矩阵中还包含更多的信息。需要说明的是,在本例中,特征矩阵中自相关函数值的精度受信号长度和相关函数截断长度限制,相对于基于传统功率谱估计的方法,其无法带来明显的性能提升。在实际应用中,需要提高变换矩阵维度和特征维度,同时充分利用神经网络的拟合能力,获得适应剩余杂波抑制任务的变换矩阵。提高变换矩阵的维度就是将输入序列映射到高维特征空间,避免信号长度对特征精度的直接影响,而提高特征维度R意味着提高特征综合矩阵中的特征容量,获得更多有效的用于杂波与目标分类任务的特征,从而提升特征对输入信号的表征能力,得到更丰富信息的用于区分目标和杂波的特征矩阵,提升剩余杂波抑制能力。

注意力自相关机制提取的综合特征矩阵维度较高,难免存在冗余信息,因此直接利用综合特征矩阵进行分类会增加分类器的实现复杂度,但对性能提升帮助有限。对于多维输入数据,卷积神经网络^[

图5  卷积神经网络处理流程

下载:  原图 | 高精图 | 低精图

其中,Γ为非线性激活函数,i∈[1,w/N_s],j∈[1,h/N_s],n∈[1,d_o]。经过卷积运算后的多维矩阵特征拉伸成为一维向量。

全连接网络在处理基于特征的分类任务时具有较大优势,其将向量化的特征作为输入,通过非线性拟合,结合逻辑回归,输出类型判别结果,是常用的分类网络。全连接神经网络由输入层、隐藏层和输出层构成,每层包含多个神经元。假设第l层全连接网络的输入为x^l-1∈ ${\mathrm{R}}^{N_{l-1}}$,其包含N_l个神经元,则该层网络的输出为

其中,w^l∈ ${\mathrm{R}}^{N_l\times N_{l-1}}$为可以训练的神经网络权,b^l为可训练偏差,Γ是为神经网络带来非线性的激活函数。在分类任务中,输出层激活函数往往使用SoftMax函数^[

其中,N_o为输出节点数,由所需分类的类别数量决定,由于讨论的是目标和杂波二分类问题,因此将其设置为2; $x_i^o$代表输出层x^o的第i个元素。

神经网络的参数决定了神经网络的能力和所能完成的任务,而神经网络的参数通常需要通过训练或者学习获得。在对网络参数进行训练时,需要构建测量真实值和神经网络预测值之间差距的损失函数,并通过优化器调整网络参数使得损失函数最小化。采用如下交叉熵损失函数^[

其中,y^o为神经网络的输出,且 $y_1^o$+ $y_2^o$=1,y为真实标签。最小化式(12)是高度非凸优化问题,无法获得解析解,但是可以通过构建特征-标签对(x,y)作为训练数据集,采用误差逆传播(Error Back-Propagation)算法在多层神经网络中传递误差和梯度,利用随机梯度下降法迭代更新网络参数,使得损失越来越小。算法预测结果与真实值越来越匹配。

为了避免过拟合,神经网络的训练过程通常需要大量的训练或学习样本。由于可以通过计算机仿真获得质量较高的目标回波信号和杂波回波信号,为弥补实测数据的不足,采用仿真数据作为训练样本,仿真和实测数据作为测试样本。其中,实测数据是采用载频为9.39 GHz的IPIX雷达在加拿大东海岸采集的,该数据被公布于加拿大McMaster大学网站上。仿真数据同样按照该雷达实验参数设置,具体如表1。文中采用一种基于传统特征提取和全连接网络的剩余杂波抑制算法作为对照算法。该算法利用参数化谱估计方法获得回波序列的功率谱估计,并将估计得到的杂波功率谱作为分类器的输入,从而得到分类结果。功率谱密度蕴含了雷达回波大量的信息,图2显示了目标和杂波回波在功率谱密度上具有明显差异,从输入角度来看,该算法和文中提出的算法的输入数据维度和信息量具有相似性,并且采用功率谱密度作为输入能在一定程度上避免特征提取方法造成的信息损失,因此可以作为对照实验方法。

表1  雷达数据描述

参数	取值
雷达载频/GHz	9.39
雷达带宽/MHz	10
采样频率/MHz	80
脉冲重复周期/s	1×10-3
脉冲宽度/s	2×10-7
脉冲数	128

下载:  CSV

算法的训练数据按照式(1)的模型产生,训练集大小为1×10⁷,其中目标与杂波各占50%。算法输入是过门限点迹对应慢时间回波序列,且高信噪比的训练样本可以减小网络的训练难度,使得网络更容易学到从数据中提取有效特征的能力,因此信号的信噪比和杂噪比均匀分布于5~25 dB。但是,网络的有效性测试会涉及不同的信杂噪比区间。文中采用实数神经网络,由于复数的乘法和加法均可以用复数实部和虚部之间的乘法和加法表示,因此在AANN方法中,将复数的实部与虚部拼接为一维实向量作为网络输入。AANN中特征维度为32,卷积神经网络卷积核尺寸为3,激活函数为线性整流单元(Rectified Linear Unit,ReLU)^[

图6  训练过程损失值与准确率变化趋势

下载:  原图 | 高精图 | 低精图

采用与训练数据相同的参数设置,产生10 000个测试数据,并分别使用文中所提的两种方法进行验证。表2为实验结果。

表2  基于仿真数据的传统方法和AANN算法分类准确率

	传统方法		分类别准确率/%	准确率/%	AANN		分类别准确率/%	准确率/%
	判定为目标	判定为杂波			判定为目标	判定为杂波
实际为目标	4 548	437	91.23	90.15	4 730	255	94.88	92.15
实际为杂波	548	4 467	89.07		475	4 540	89.71

下载:  CSV

从表2可以看出,两种算法均具有较好的目标和杂波分类性能,准确率都达到了90%以上,这表明回波序列的相互关系可以作为区分目标与杂波的重要特征。而文中所提出的是基于注意力自相关机制和神经网络的AANN,性能比基于参数化功率谱估计和全连接网络的传统方法提升了2%。表格中杂波准确率没有目标准确率高的原因是仿真数据中杂波的参数允许在一定范围内随机变化,验证集中一部分仿真杂波数据功率谱谱宽处于目标与杂波中间区域,从而影响了杂波的识别率。

信杂比和脉冲积累数对目标判别准确率的影响结果如图7所示。从图中可以看出,对于所提算法,无论脉冲积累数是32、64还是128,信杂比对目标判别准确率的影响趋势相同,即信杂比越高,目标判别准确率越高。同时,随着脉冲积累数的减少,所提两种算法的目标判别准确率都有所下降,其中传统方法性能下降更为明显,当信杂比大于0 dB时,其准确率损失最高可达到30%。而AANN在高信杂比情况下,判别准确率并没有随脉冲积累数下降而明显下降。在低信杂比情况下,两种算法都有一定的性能下降,但是传统方法性能损失更严重,其算法性能对脉冲积累数更敏感。这是由于随着脉冲积累数的减少,基于参数化模型频谱估计方法的估计精度下降,从而导致传统方法性能下降。而AANN直接利用注意力自相关机制提取综合特征,其引入了变换矩阵提高数据的表征能力和特征的挖掘能力,因此算法性能受积累脉冲数的影响较小。整体来看,基于注意力自相关网络的AANN对于信杂比变化和脉冲积累数变化的鲁棒性更高。从图7中还可以看到,当信杂比大于6 dB时,所提AANN算法的目标判别准确率都超过了90%,这说明了文中所提方法的有效性。

图7  目标判别准确率随信杂比 和信号长度的变化曲线

下载:  | 高精图 |

为在实测数据上验证该算法的有效性及所提方法的泛化能力,不失一般性,选择文件名为“19980226_215751_ANTSTEEcdf”的数据,该数据具有28个距离单元,目标所在的距离单元为20,其余距离单元仅包含杂波和噪声,每个距离单元有60 000个脉冲周期。文中构建的测试数据集是在经过门限筛选的实测数据上产生的,在无目标的距离单元中随机选择5 000个长度为128的连续序列和在包含目标的第20个距离单元选择5 000个长度为128的连续序列,分别代表杂波和目标回波序列,表 3为基于实测数据的实验结果。

表3  基于实测数据的传统方法和AANN算法分类准确率

	传统方法		分类别准确率/%	准确率/%	AANN		分类别准确率/%	准确率/%
	判定为目标	判定为杂波			判定为目标	判定为杂波
实际为目标	4 148	852	82.96	87.76	4 443	557	88.86	92.98
实际为杂波	372	4 628	92.56		145	4 855	97.10

下载:  CSV

从表3可以看出实测数据中杂波分类准确率均超过92%,且基于注意力自相关的AANN杂波分类准确率达到了97%。与此同时,针对实测数据的目标分类准确率相对于仿真数据有所下降,这是因为实测数据的目标属于静止目标,受到海浪的影响,目标信号受海杂波影响较大。从该试验结果可以看出,基于仿真数据集训练的AANN在实测数据上依旧具备良好性能,不仅证明了雷达回波序列相互关系作为区分目标和杂波深层特征的有效性,也证明了所提方法的实用性、鲁棒性以及良好的泛化能力。

消融实验是机器学习领域常用的验证实验,其通过对比增加某个特殊结构前后的算法性能来说明新增结构对性能的影响。文中针对所提基于注意力自相关机制和神经网络的剩余杂波抑制算法进行了消融实验。对照组采用去除注意力自相关机制的卷积神经网络和全连接网络,将原始雷达回波数据作为输入,并输出目标与杂波的分类结果。对照组训练过程和算法表现如图8所示。与AANN(图6)相比,只使用卷积神经网络和全连接网络在算法损失收敛和训练集、测试集准确率方面表现较差。在IPIX数据集上,对照算法的准确率为52.2%,相对于文中所提算法降低了约40%。这说明仅仅使用卷积神经网络和全连接网络的剩余杂波抑制算法几乎不能从测试集中训练出区分实测数据中目标和杂波回波的能力,而文中所提的注意力自相关机制提升了算法在测试数据和实测数据上的泛化能力。

图8  消融实验训练过程损失值与测试集准确率变化趋势

下载:  原图 | 高精图 | 低精图

算法复杂度也是衡量算法效率的指标,这里采用平均分类时间来对时间复杂度进行衡量。两种方法的数据预处理使用CPU,涉及网络的部分分别使用CPU和GPU。表4为1 000个分类样本的平均分类时间。从表4可以看出,所提方法可以较快地分类杂波和目标,具有较高的实时性。传统方法需要进行功率谱估计,其算法时间复杂度较高。同时,AANN可以利用GPU并行运算加速运算,相比于传统方法,其运算效率在CPU和CPU+GPU上分别约提升至6倍和159倍。

表4  算法复杂度分析 ms/次

	CPU	CPU+GPU
传统方法	1.917 77	1.898 992
AANN	0.316 548	0.011 944

下载:  CSV

神经网络的可解释性一直是学者们关注的重要领域。Grad-CAM算法^[

图9  不同层的平均梯度加权特征图

下载:  | 高精图 |