多模态

当前电网设备的智能巡维还未能实现真正“无人化”，机器人等智能终端还存在个体能力有限、智能程度偏低、系统孤岛运行等问题，基于智慧物联的立体巡检是解决上述问题的关键，广东电网能源技术公司围绕电网场景高精度建模与重构，移动式终端个体智能自治技术提升，分布式终端物联互动，多模态数据融合贯通等四项关键技术开展系统攻关，为实现电网设备智慧运行做出了积极探索。

面对信息网络与经济社会各领域深度融合发展需求，现有网络发展范式在应对人-机-物大规模组网、服务性能确保、高效能网络处理等方面面临诸多困境。本报告创新网络发展范式，提出网络技术体系与支撑环境分离的多模态网络，支持多种网络技术体系在同一基础环境内的共生共存、独立演进与变革发展，降低创新网络技术体系应用和市场部署的门槛，为数字化社会发展提供专业化、高质量的网络能力支撑。

安徽明生恒卓科技有限公司研发了基于Transformer架构的以视觉网络为骨干网络的多模态大模型，将视觉大模型技术应用到配网领域，实现了人工智能技术与无人机巡检业务的有机结合，构建了对巡检图片5层200余类数据的挖掘能力，综合检出率达94%。解决了配网无人机巡检图片信息挖掘不充分、数据提炼不准确等问题，助力配电网数智化精益管理。

本项目针对这些挑战，研发了创新的侧方仿线飞行技术。该技术源于电力行业对高效、精准、智能化巡检的迫切需求。国际上，无人机电力巡检技术正朝着自主化、智能化方向发展，但大多数解决方案仍依赖高成本的激光雷达系统和复杂的前期规划。国内虽有多家企业和研究机构在探索相关技术，但普遍存在操作复杂、实时性差等问题。本项目通过自研低成本雷达系统和智能算法，实现了导地线的实时检测、跟踪和自动拍摄，大幅提升了巡检效率和智能化水平，为电网智能巡检技术的发展提供了新的解决方案。

我们将使用紧密结合实际业务场景，构建算力、训练/推理框架、算法全栈国产化适配的输电运检场景多模态大模型。输电多模态大模型通过海量场景多模态数据进行训练学习，模型参数量大和泛化能力强。在视觉识别能力方面和传统小模型相比，输电人工智能大模型在准确率、泛化能力、识别效率等方面表现优越。另外，以输电运检场景多模态大模型为基础构建的输电场景数字员工，能够基于可视化设备拍摄的场景图像信息，端到端的输出隐患信息、防护区信息、天气场景信息、高层语义信息、运检报告等，人机交互友好，业务流程无缝衔接，改变了传统运检软件系统工作范式。

介绍了新型电力系统与大电网智能运维的发展现状，3D数智化电网巡检总体框架、电网3D孪生的应用。

基于多模态感知混合增强的电网设备状态评价关键技术是一个复杂且前沿的研究领域，它结合了多模态感知、混合增强智能以及电网设备状态评价等多个方面的技术。

基于多模态感知混合增强的电网设备状态评价关键技术是一个复杂且前沿的研究领域，它结合了多模态感知、混合增强智能以及电网设备状态评价等多个方面的技术。

随着电网规模扩大和智能化发展，复杂的电力场对电力机器人技术提出了更亮的要求，促使其向多模态融合发展，报告介绍了电力协作机器人(和无人机)应用中常见传感器类型及多模态融合趋势，分析介绍了协作机器人与无人机的应用研究案例，以及广西电网的输电和配电机器人研究规划，指出电力协作机器人应该突破工业机器人研究范式，从医疗机器人和家务机器人研究领域吸收前沿技术。

项目针对的是电力安监及基建现场作业环境的智能监督需求，通过引入多模态大模型技术，成功打破了传统精度上的瓶颈，并结合生成式大模型的交互优势，实现了大小模型的深度融合，形成了全新的安监管控技术方案，有效降低了电网安全生产风险，为行业的数字化智能化发展提供了值得借鉴与推广的典型案例。