注意力机制

首先就人工智能的定义、发展历程、关键技术进行综合性阐述。其次就传统巡检图像缺陷监测技术进行深入探讨。全面介绍了基于R-FCN的航拍巡检图像目标监测方法。最后分享了细粒度缺陷、可变形卷积、异物类缺陷识别、自注意力机制、防震锤滑移等最新研究成果。

电力人员行为识别是电力系统安全运维的重要环节，现有的人员行为识别算法主要采用支持向量机和多层感知机进行行为分类，存在识别精度低、未考虑人体骨架之间交互关系、迁移性、通用性差等问题。针对上述问题，提出一种基于自注意力与交叉注意力机制的行为分类解码器，充分考虑了人体骨架之间的关联。其分类精度相比传统分类方法提升10%~20%，较深度学习多层感知机（multilayer perceptron，MLP）分类方法提升2%以上。该方法运用编码器-解码器架构的二阶段方法进行行为识别，使得解码器可以适用于任意姿态估计，网络后端具有很强的可扩展性。此外，采用分组解码的方式克服了注意力机制带来的二次方复杂度，使得该解码器可以扩展到更多行为类别，具有更好的普适性。该行为识别算法能够在基于变电站工作场景下的人员图像数据集验证中达到优异的识别效果，综合识别率达91.1%，验证了所提电力人员行为分类方法的有效性和适用性。

为提高风电功率预测精度，提出了一种有机融合深度反馈学习与注意力机制的短期风电功率预测方法。首先，以风电场数值天气预报(numerical weather prediction, NWP)为原始输入，基于双层长短期记忆网络(long short-term memory, LSTM)模型对风电功率进行初步预测。其次，利用极端梯度提升(eXtreme gradient boosting, XGBoost)算法构建误差估计模型，以便在给定未来一段时间内NWP数据的情况下对初步预测误差进行快速估计。然后，利用自适应白噪声完备集成经验模态分解法(complete ensemble empirical mode decomposition with adaptive noise, CEEMDAN)将初步预测误差分解为不同频段的误差序列，并将其作为附加性反馈输入，对风电功率进行二次预测。进一步在二次预测模型中引入注意力机制，为风电功率预测序列与误差序列动态分配权重，由此引导预测模型在学习过程中充分挖掘学习与误差相关的关键特征。最后，仿真结果表明所提方法可显著提高短期风电功率预测的可靠性。

电网在运行过程中会产生大量的设备缺陷文本记录,针对变电设备缺陷文本的特点,文章提出了基于注意力机制的混合神经网络(hybrid neural network based on attention mechanism,HNNA)电力设备缺陷文本挖掘方法。首先在总结电力设备缺陷文本特点的基础上,参考中文文本分类的一般流程,结合自主编写的词典和停用词表对缺陷文本进行预处理;利用Word2vec模型将词语映射到高维空间;使用卷积神经网络(convolution neural network,CNN)和双向长短期记忆网络(bidirectional long short term memory,BiLSTM)提取文本局部特征和上下文特征;将提取的特征进行融合,最后采用Attention实现特征权重的分配,增强关键特征对分类效果的影响,并从多个评价维度与传统机器学习模型、深度学习模型对比。算例结果表明,提出的模型具有更好的分类效果,可以实现电力设备缺陷等级的高效准确划分。

网络流量的异常检测对于保护电力信息系统安全具有重要意义。目前深度学习等人工智能技术在入侵检测中表现出良好的性能,但由于电力流量数据中类别不平衡以及噪声含量高等问题,严重影响入侵检测模型的准确率。针对以上问题,文章提出了一种深度残差收缩网络(deep residual shrinkage networks,DRSN)-双向长短时记忆网络(bi-directional long short-term memory,BiLSTM)混合深度学习模型实现及时有效的多矢量攻击威胁识别与检测。首先采用条件生成对抗网络模型生成少数类数据,构造平衡数据集,然后使用DRSN-BiLSTM模型进行特征提取,DRSN中的残差项可以解决网络退化与过拟合问题,注意力机制降低了噪声对异常流量检测的影响,同时基于BiLSTM进行流量时序特征提取,最后用softmax分类器进行流量分类,实现网络入侵检测。该模型在电力信息系统数据集上进行了测试,结果显示,提出的混合深度学习模型在检测准确性、精确度、召回率和F1分数指标均优于比较算法。

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题，提出一种基于集群辨识和卷积神经网络(convolutional neural networks，CNN)−双向长短期记忆网络(bi-directional long short-term memory，BiLSTM)−时序模式注意力机制(temporal pattern attention, TPA)的预测方法。首先，将用电模式和天气作为影响因素，基于二阶聚类算法对区域内的负荷节点进行集群辨识，再从每个集群中挑选代表特征作为深度学习模型的输入，这样既能减少输入特征维度，降低计算复杂度，又能综合考虑预测区域的整体特征，提升预测精度。然后，针对区域电力负荷时序性的特点，用CNN-BiLSTM-TPA模型完成训练和预测，该模型能提取输入数据的双向信息生成隐状态矩阵，并对隐状态矩阵的重要特征加权，从多时间步上捕获双向时序信息用于预测。最后，在美国加利福尼亚州实例上分析验证了所提方法的有效性。

对油中溶解气体浓度进行预测，可提前掌握变压器运行趋势。提出一种基于混合模态分解和LSTM-CNN（long short-term memory network-convolution network）网络的预测方法，实现精准的气体浓度预测。首先，为消除分解中模态混叠和残余白噪声的影响，对气体序列进行ICEEMDAN分解，以削弱序列的非平稳性；然后，使用VMD对聚合重构后的高频分量进行二次分解，降低高频分量的复杂度；最后，为了增强模型对序列时间特征和空间特征的拟合，采用结合时间注意力机制的LSTM-CNN网络对分解分量分别进行预测并重构气体浓度数据。算例验证表明，所提出的模型相比其他模型具有更强的预测性能，为后续故障预测提供有力支撑。

为提高变压器故障诊断的准确性，提出一种基于数据增强和特征注意力机制的灰狼优化算法（grey wolf optimization，GWO）−残差神经网络（residual neural network，ResNet）故障诊断方法。针对变压器不平衡数据集对故障诊断模型产生的影响，利用带梯度惩罚的Wasserstein生成对抗网络（generative adversarial network with gradient penalty ，WGANGP）对变压器数据进行数据增强。其次，在诊断模型的输入侧引入特征注意力机制，提升模型对平衡数据集中关键特征的敏感性。然后，为加速模型的收敛性，在训练的早期利用GWO-ResNet。最后基于某实测变压器数据集对所提出WGANGP-ATT-GWO-ResNet故障诊断模型的有效性进行验证。

近年来风电并网比例大幅提高，由此引发的次/超同步振荡的发生概率也大大提高，严重威胁系统的安全稳定性。准确辨识次/超同步振荡参数是抑制振荡的基础，提出基于注意力机制的残差卷积神经网络的辨识方法。卷积神经网络的局部相关性和权值共享决定了其具有更强的特征学习和表达能力，通过结合注意力机制可以更准确地辨识振荡参数。同时，引入残差连接，用以解决深层卷积神经网络存在的梯度消失和网络退化问题。仿真结果表明：相较于传统方法，该方法不仅能在较短时间窗数据上完整地辨识次/超同步振荡的参数，且能规避传统方法因主观因素带来的辨识误差，降低振荡参数辨识的复杂度。

克尔效应和色散对相干光纤通信系统的传输距离和数据容量有极大限制。为了补偿光纤传输中的非线性损伤，结合卷积神经网络(convolutional neural network，CNN)、双向长短期记忆网络(bi-directional long short-term memory，BiLSTM)和注意力机制(attention)的特点，提出了一种基于CNN-BiLSTM-Attention模型的光纤非线性损伤补偿算法，并在DP-16QAM 30Gbaud的相干光通信系统中进行了仿真。仿真结果表明，与CNN-BiLSTM模型相比，在1200 km的传输距离下，该算法以降低0.03~0.23 dB的Q因子为代价，使复杂度降低了约31.6%；在相似复杂度下，该算法在最佳传输功率下的Q因子提高了0.43 dB。