强化学习

一、技术概述 二、研究现状 三、应用案例

给出电力人工智能的概念和核心技术分层架构，分析梳理了电网安全与控制、输变电、配用电、新能源、企业经营管理等重点领域的人工智能需求，重点阐述了中国电科院针对实际业务痛点所做的人工智能应用实践，包括基于深度强化学习的电网紧急控制策略、输电线路智能巡检、基于集成学习的电力设备状态评价、低压配电台区拓扑智能识别、基于聚类算法的用电行为分析等研究与应用，并对电力人工智能的发展趋势和应用前景进行了总结与展望。

随着人工智能技术特别是强化学习在能源优化调度领域的深入研究，将系统状态表示为向量用于学习的模式，其训练效率与信息利用率较低。针对这一问题，提出了一种融合图神经网络模型与强化学习的综合能源系统优化调度方法。首先，将电-热-气综合能源系统建模为图结构数据，充分利用系统的拓扑信息。其次，提出了基于图神经网络架构的强化学习模型，使其可以充分利用图结构信息实现更快的训练速度，获得更大的探索空间。最后，将表示系统状态的图结构信息送入该模型进行训练，算例仿真验证了该方法的训练效率与探索能力。

为解决电力系统中可能发生的协同攻击事件,文章提出包含单点防御、级联防御和全局防御的三级联合防御模型,配合攻防推演模块和策略规约模块,能够实现针对电力系统协同攻击的有效防御。三级防御分析器分别基于攻击防御树、连锁故障和深度强化学习实现,其核心为基于多智能体行动者-注意力-评论家框架(multi-agent actor attention critic,MAAC)的全局防御分析模型,MAAC能够考虑攻击者与防御者之间的竞争协作关系进而给出防御策略,使其更加适合电力信息物理系统(cyber physical systems,CPS)复杂的攻防场景分析。实验采用IEEE总线系统为基础构造电力CPS,环境中的数据从实际电力系统引入,使MAAC的训练学习面向真实环境。实验结果表明,该模型在收敛速度和防御性能上均优于其他模型,证明所提出的联合防御模型能够有效提升电力CPS面对复杂协同攻击场景的防御能力。

建筑减排已成为中国达到“双碳”目标的重要途径，智慧楼宇作为多能流网络耦合的综合能源主体，面临碳排放量较多、多能流网络耦合程度高、负荷用能行为动态特性明显等问题。针对这一问题，提出基于深度强化学习的多能流楼宇低碳调度方法。首先，根据智慧楼宇的实际碳排放量，建立了一种奖惩阶梯型碳排放权交易机制。其次，面向碳市场和多能流耦合网络，以最小化运行成本为目标函数，建立多能流低碳楼宇调度模型，并将该调度问题转换为马尔可夫决策过程。然后，利用Rainbow算法进行优化调度问题的求解。最后，通过仿真分析验证了优化调度模型的可行性及有效性。 Building emissions reduction has become a crucial pathway for China to achieve its 'dual-carbon' goals.As an integrated energy entity coupled with multi-energy flow networks, smart buildings face challenges such as high carbon emissions, a high degree of coupling in multi-energy flow networks, and distinct dynamic characteristics in load energy consumption behavior. In response to these challenges, a low-carbon scheduling method for multienergy flow buildings based on deep reinforcement learning(deep RL) is proposed. Firstly, a reward and punishment ladder-type carbon emissions trading mechanism is established based on the actual carbon emissions of smart buildings. Secondly, targeting the carbon market and multi-energy flow coupling networks, a low-carbon scheduling model for multi-energy flow buildings is developed, aiming to minimize operating costs as the objective function, and the scheduling is transformed into a Markov decision process(MDP). Subsequently, the Rainbow algorithm is employed to solve the optimal scheduling. Finally, the feasibility and effectiveness of the optimal scheduling model are verified through simulation analysis.

虚拟电厂(virtual power plant,VPP)作为多能流互联的综合能源网络，已成为中国加速实现双碳目标的重要角色。但VPP内部资源协同低碳调度面临多能流的耦合程度紧密、传统碳交易模型参数主观性强、含高维动态参数的优化目标在线求解困难等问题。针对这些问题，文中提出一种融合注意力机制(attention mechanism,AM)与柔性动作评价(soft actor-critic,SAC)算法的VPP多能流低碳调度方法。首先，根据VPP的随机碳流特性，面向动态参数建立基于贝叶斯优化的改进阶梯型碳交易机制。接着，以经济效益和碳排放量为目标函数构建含氢VPP多能流解耦模型。然后，考虑到该模型具有高维非线性与权重参数实时更新的特征，利用融合AM的改进SAC深度强化学习算法在连续动作空间对模型进行求解。最后，对多能流调度结果进行仿真分析和对比实验，验证了文中方法的可行性及其相较于原SAC算法较高的决策准确性。

人工智能(ArtificialIntelligence，AI)是一门研究如何使计算机能够模拟人类智能行为的科学和技术，目标在于开发能够感知、理解.学习、推理、决策和解决问题的智能机器。人工智能的概念主要包含以下几个方面:(1)人工智能的目标是模拟人类的智能行为。人工智能致力于使计算机能够像人类一样感知世界、理解信息、进行学习和决策，涵盖视觉、语音、自然语言处理、机器学习等领域的研究和应用。(2)人工智能的学习能力。人工智能强调计算机能够从数据中学习，并根据学习的结果不断优化自己的性能。机器学习是人工智能的重要分支，涉及到许多算法和模型，如监督学习、无监督学习、强化学习等。(3)人工智能可以解决问题。人工智能的一个主要目标是使计算机能够解决各种复杂问题，包括图像识别、语音识别、自然语言处理、自动驾驶、医疗诊断等。通过深度学习等技术，计算机可以从大量数据中提取有用的信息，从而实现更高效的问题解决方法。(4)人工智能的自主性与多样性。理想的人工智能系统应该能够独立地进行学习、决策和行动，而不需要持续的人类干预。人工智能涉及到多个子领域，包括机器学习、计算机视觉、自然语言处理专家系统、智能控制等。这些子领域有着不同的研究方法和技术，共同构成了人工智能的多样性。人工智能的发展不仅涉及到理论研究，还需要大量的实践和应用,随着计算能力和数据量的增加，人工智能在各个领域都有了显著的应用，包括自动驾驶、智能语音助手、推荐系统、医疗诊断、金融风控等。人工智能的发展将深刻地影响人类社会的方方面面，同时也带来了一系列的伦理和社会问题，需要人们共同思考和解决。

提出一种基于离线策略的安全强化学习方法，通过离线训练大量配电网历史运行数据，摆脱了传统优化方法对完备且准确模型的依赖。首先，结合配电网络参数信息，建立了基于约束马尔可夫决策过程的有功无功优化模型；其次，基于原始对偶优化法设计了新型安全强化学习方法，该方法在最大化未来折扣奖励的同时最小化成本函数；最后，在配电系统上进行仿真。仿真结果表明：所提方法能够根据配电网实时观测信息，在线生成满足复杂约束条件且具有经济效益的调度策略。

针对电力线信道阻抗变化复杂、负载阻抗不匹配造成通信质量差等问题，提出一种基于深度强化学习的Π型阻抗匹配网络多参数最优求解方法，并验证分析了深度强化学习对于寻找最优匹配参数的可行性。首先，建立Π型网络结构，推导窄带匹配和宽带匹配场景下的最优匹配目标函数。其次，采用深度强化学习，利用智能体的移动模拟实际匹配网络的元件参数变化，设置含有理论值与最优匹配值参数的公式作为奖励，构建寻优匹配模型。然后，分别仿真验证了窄带匹配和宽带匹配两种应用场景并优化模型的网络参数。最后，仿真结果证明，经过训练后的最优模型运行时间较短且准确度较高，能够较好地自动匹配电力线载波通信负载阻抗变化，改善和提高电力线载波通信质量。

华清起航深度融合三维高斯泼溅与人工智能技术，着力推动数字孪生体的范式跃迁，致力于打造一系列具有颠覆性的智能化应用。基于前沿的三维场景重建与渲染技术，构建照片级实景模型，开发B/S架构高效八叉树空间索引3DGS图形渲染引擎，实现海量数据在PC/移动端跨平台流畅运行，可与变电专业主流B/S系统无缝整合。着力打造两项智能应用：1）近电施工作业安全监测预警系统：提供厘米级精确勘察、施工方案模拟验证、人员及机械安全距离实时监测预警功能，防范安全事故，实现近电作业安全管控智能全域感知；2）变电站无人机智能巡视系统：深度融合三维空间导航与强化学习路径规划技术，自动推荐最优巡视路径，实现多感知端融合的三维空间一体化智能巡视。