多模态

当前电网设备的智能巡维还未能实现真正“无人化”，机器人等智能终端还存在个体能力有限、智能程度偏低、系统孤岛运行等问题，基于智慧物联的立体巡检是解决上述问题的关键，广东电网能源技术公司围绕电网场景高精度建模与重构，移动式终端个体智能自治技术提升，分布式终端物联互动，多模态数据融合贯通等四项关键技术开展系统攻关，为实现电网设备智慧运行做出了积极探索。

针对输电线路巡检中小目标识别难、缺陷形态多变、误检率高等痛点，提出"多模态融合+大小模型协同"的技术路径，构建基于千亿级电力专业大模型的智能识别体系。三大突破：通过构建8万余张高质量标注样本库，训练出14类缺陷识别，准确率达86%的细分场景多模态模型；"大模型任务调度+小模型精准定位"协同机制，实现导地线松股等危急缺陷的精准定级与描述生成；完成国产昇思框架与寒武纪等芯片适配，在25省部署中验证模型泛化能力。报告强调破解"视觉理解与专家认知差距"是提升实用化水平的关键根源，该技术将巡检效率提升显著，建议深化审图智能体研发以模拟人类专家决策逻辑，并探索类脑计算在多源数据融合中的应用，推动输电运维向"全场景认知+自主推理"转型。

面对信息网络与经济社会各领域深度融合发展需求，现有网络发展范式在应对人-机-物大规模组网、服务性能确保、高效能网络处理等方面面临诸多困境。本报告创新网络发展范式，提出网络技术体系与支撑环境分离的多模态网络，支持多种网络技术体系在同一基础环境内的共生共存、独立演进与变革发展，降低创新网络技术体系应用和市场部署的门槛，为数字化社会发展提供专业化、高质量的网络能力支撑。

本项目针对这些挑战，研发了创新的侧方仿线飞行技术。该技术源于电力行业对高效、精准、智能化巡检的迫切需求。国际上，无人机电力巡检技术正朝着自主化、智能化方向发展，但大多数解决方案仍依赖高成本的激光雷达系统和复杂的前期规划。国内虽有多家企业和研究机构在探索相关技术，但普遍存在操作复杂、实时性差等问题。本项目通过自研低成本雷达系统和智能算法，实现了导地线的实时检测、跟踪和自动拍摄，大幅提升了巡检效率和智能化水平，为电网智能巡检技术的发展提供了新的解决方案。

安徽明生恒卓科技有限公司研发了基于Transformer架构的以视觉网络为骨干网络的多模态大模型，将视觉大模型技术应用到配网领域，实现了人工智能技术与无人机巡检业务的有机结合，构建了对巡检图片5层200余类数据的挖掘能力，综合检出率达94%。解决了配网无人机巡检图片信息挖掘不充分、数据提炼不准确等问题，助力配电网数智化精益管理。

我们将使用紧密结合实际业务场景，构建算力、训练/推理框架、算法全栈国产化适配的输电运检场景多模态大模型。输电多模态大模型通过海量场景多模态数据进行训练学习，模型参数量大和泛化能力强。在视觉识别能力方面和传统小模型相比，输电人工智能大模型在准确率、泛化能力、识别效率等方面表现优越。另外，以输电运检场景多模态大模型为基础构建的输电场景数字员工，能够基于可视化设备拍摄的场景图像信息，端到端的输出隐患信息、防护区信息、天气场景信息、高层语义信息、运检报告等，人机交互友好，业务流程无缝衔接，改变了传统运检软件系统工作范式。

随着电网规模扩大和智能化发展，复杂的电力场对电力机器人技术提出了更亮的要求，促使其向多模态融合发展，报告介绍了电力协作机器人(和无人机)应用中常见传感器类型及多模态融合趋势，分析介绍了协作机器人与无人机的应用研究案例，以及广西电网的输电和配电机器人研究规划，指出电力协作机器人应该突破工业机器人研究范式，从医疗机器人和家务机器人研究领域吸收前沿技术。

介绍了新型电力系统与大电网智能运维的发展现状，3D数智化电网巡检总体框架、电网3D孪生的应用。

项目针对的是电力安监及基建现场作业环境的智能监督需求，通过引入多模态大模型技术，成功打破了传统精度上的瓶颈，并结合生成式大模型的交互优势，实现了大小模型的深度融合，形成了全新的安监管控技术方案，有效降低了电网安全生产风险，为行业的数字化智能化发展提供了值得借鉴与推广的典型案例。

针对人工智能在电力领域深化应用的问题，依托光明电力大模型构建大小模型协同机制，建立了覆盖规划建设、电网运行等六大场景的智能体系。分享单智能体如主变转供方案和多智能体协同如电网风险分析的应用实践，以及拓扑语义对齐、GraphRAG等关键技术。下阶段融合电力领域多模态数据，借助大模型跨模态理解能力，打破数据表征壁垒，支撑复杂场景下的精准认知。建立知识库自动更新机制，保障知识底座与电网实际运行同步演进，为上层应用提供准确的知识支撑。拓展跨行业知识融合，构建弹性可扩展的电力智算平台，基于大模型优化计算流程，对传统电力算法进行模型化封装。构建电力场景专属算力调度体系，优化算力资源配置。拓展电力大模型的应用广度和应用边界，开展多元探索标准化接口与算法封装。