数据治理

数字信息时代，数据对经济建设、社会生活和企业管理等产生了重要影响。根据高德纳（Gartner）公司分析，企业近80%的数据为非结构化数据。随着数据爆炸式增长，非结构化数据将成为数据增长主力。实施非结构化数据治理、提升数据质量、挖掘数据价值是企业迈入数字化时代的关键。对电网企业而言，海量智能终端所生成的文档、图像、语音、视频等非结构化数据量已达到PB级

10月26日，国网天津市电力公司完成天津电网主网及中压配电网资源数据治理，累计治理字段不完整、信息录入不规范等问题数据3.6万余条，完成问题整改88项，相关“站-线-变-户”全链条数据准确率达100%，进一步提升了设备专业基础台账数据质量。

生态环境大数据平台是基于AI+大数据+云计算全栈先进技术，集数据采、存、管、用为一体，面向实施人员的、智能化、敏捷化的数据全生命周期管理应用平台；将生态环境全业务、多终端、多形态的数据汇聚融合，经过统一规范、标准化的全链路数据治理流程，为数据共享交换、数据应用奠定安全、高质效的数据支撑，贯通生态环境全域数据，最终实现生态环境数据价值的深度萃取。

泛在物联是指任何时间、任何地点、任何人、任何物之间的信息连接和交互。泛在电力物联网是泛在物联网在电力行业的具体表现形式和应用落地；不仅是技术的变革，更是管理思维的提升和管理理念的创新，对内重点是质效提升，对外重点是融通发展。 泛在电力物联网将电力用户及其设备，电网企业及其设备，发电企业及其设备，供应商及其设备，以及人和物连接起来，产生共享数据，为用户、电网、发电、供应商和政府社会服务；以电网为枢纽，发挥平台和共享作用，为全行业和更多市场主体发展创造更大机遇，提供价值服务。

数据泄露是数据安全领域的核心问题。在2023年全球公开报道的246起数据安全事件中，数据泄露事件占比高达67.5%，泄露数据超过51.8TB，共计103.8亿条。不过，媒体公开报道的数据泄露事件可能只是数据泄露问题的冰山一角。奇安信威胁情报中心监测显示，2023年1~11月，仅在暗网及黑产平台上交易的境内机构泄露数据就多达60.8TB，共计720.4亿条，两项指标双双超过全球媒体公开报道事件的统计数据。?数据勒索的高额收益可能进一步推高政企机构数据泄露安全风险。研究显示，越来越多的勒索团伙正在抛弃“加密勒索”这种传统攻击方式，而是转向单纯的“数据勒索”，即单纯的以窃取机密数据并威胁将之公开的方式向政企机构进行勒索。2023年，全球赎金最高的10起勒索组织攻击事件，平均勒索赎金高达2397万美元，其中7起事件都是单纯的数据勒索事件。数据勒索带来的巨大收益很有可能会吸引越来越多的黑产团伙参与其中。?个人信息是数据泄露和黑产交易的主要数据类型，严重危害公民和社会安全。在境内机构泄露的数据中，涉及个人信息的数据多达586.8亿条，相当于14亿中国人平均每人泄露了约42条个人信息数据。其中，互联网、IT信息技术和能源行业是泄露数据量最多的行业。?网盘、文库、代码托管等互联网知识共享平台也是数据泄露的重要渠道，但尚未得到绝大多数政企机构的充分重视。其中，金融行业对此类问题最为重视，而医疗卫生、互联网和教育行业，通过互联网知识共享平台泄露数据的风险相对于其他行业更高。研究显示，合作伙伴和内部人员是互联网知识共享平台数据泄露事件的主要“元凶”，二者之和占比达到54.6%。加强合作伙伴管理和员工安全意识培训，是数据安全的重要保障。?API安全是数据安全的重要一环，平均每家机构约有206个API接口会用来传输敏感数据。汽车制造业的“潜在”数据安全风险最大，其传输敏感数据的API接口数平均超过900个，传输敏感字段多达332个，这两项指标均是其他行业的3~7倍。同时，汽车制造业API接口传输的个人信息也最多，其中涉及的自然人的数量，是金融、能源、医疗等行业的30~70倍，可谓“遥遥领先”。由此可见，在智能网联汽车的发展中，数据安全至关重要。?解决数据跨境流转问题，需要科学的规划和必要的技术手段。调查显示，尽管很多存在海外业务的机构已经在积极开展跨境数据流转的治理工作，但仍普遍缺乏科学的、整体的数据安全规划，特别是严重缺乏必要的技术手段。而对于绝大多数没有海外分支机构的政企单位而言，往往没有意识到其可能存在的跨境数据流转风险。?数据安全建设，应当遵循内生安全原则，从设计规划之初就把数据分类分级、数据防泄露、防勒索、API安全、跨境数据治理等关键问题列入整体规划，确保数据安全工作与数字化建设同步规划、同步建设、同步运行，用系统性的方法解决数字系统的安全问题。

他表示随着电力数据的开放共享和电网的数字化转型，电力行业面临着数据安全缺乏监管、数据流通安全防护薄弱等问题，应建立电力企业的数据安全治理体系。首先完善分级保护策略，实现不同安全等级数据的精细化防护；其次构建数据安全基础架构组件，实现技术层面的安全策略联动，打造数据安全技术底座。再次通过建立数据全生命周期的安全保护流程，实现数据安全流转管控无缝衔接。最后建设数据安全风险监测预警平台，实现数据安全风险的预警监测、风险动态展示与及时处置。

数字经济日益成为经济发展新动能，数字应用成为新常态，在经营管理等方面带来更便捷、高效的应用价值。本项目是基于人力资源各业务信息系统汇聚的海量数据，研究开发的以“智能、开放、共享、连接”为特点的大数据驱动型信息服务平台。平台以“提供人资全量数据服务”为宗旨，以“智能化体验”为核心，以敏捷应用和持续改善为支撑两翼，面向全员提供人员信息便捷检索服务，面向人资专业部门提供人才甄别、多维统计等自定义场景服务，面向管理层提供数据决策分析服务，充分借助大数据先进技术，探索数据在管理服务中的创新应用，推进人资管理模式向数字化管理转型升级。 本项目运用大数据处理及人工智能技术，一是基于人资大数据管理特点，创新研发分级赋权算法，实现贴合业务意图导向的异构系统全量数据检索；二是采取选择屏幕配置方法，实现多维度数据即时统计和分析，极大减少专业分析工作强度；三是利用经验归纳和分析学习等人工智能方法，让搜索引擎能够持续自我完善，增强用户体验，提供高效的数据服务；四是利用正向迭代最细粒度切分算法，解决了多个异构系统无耦合集成模式下数据查询性能瓶颈问题。本项目自应用以来，一直作为重要工具，常态化支撑全省各单位信息系统实用化评价、数据治理等专项工作，同时也作为典型应用场景，纳入到全国网推广应用计划。本项目在大数据和人工智能技术应用方面与人力资源管理进行了研究探索，将数据服务管理进行了落地实践，助推了电力企业人资管理方式变革和企业数字化转型，在其他行业中也具有极高的通用推广价值。

十八届五中全会，国务院印发《促进大数据发展行动纲要》等政策文件，从数据资源开放共享、大数据关键技术及产品研发、网络和大数据安全等方面系统部署大数据发展工作。南方电网公司“十三五”规划中明确了数据资产管理的总体思路，着眼于多元异构的内外部数据融合，以资产管理的理念为指引，重点建设“数据供给、运营管理和价值可视”三个能力，为南方电网其他企业级应用提供数据服务和支撑，最终通过数据和服务的内外循环，实现数据资产的“内增效”和“外增值”。 在探索企业数据资产管理的道路上，一直有 3 个难以绕过的难题：1、 资产在哪 里，如何梳理、如何管控;2、 数据管理涉及方方面面，如何实现全生命周期管理;3、 数据资产管理平台技术和运营如何结合，确保落地。南方电网秉持先进的管理理念，一直坚持放眼海内外，积极吸收借鉴外部先进管理理论和方法，经过多年摸索探讨公司数据资产管理平台创新的突破了难题：1、通过构建并完善数据管理制度体系，保障各分子公司及部门资源投入，全面梳理各系统各部门的数据，形成较完善的数据资产清单，同时，结合技术手段，保障平台内资产目录及卡片及时更新。2、平台通过事前模型审核、事中元数据标准稽核及事后元数据监控通报整改，实现数据全生命周期管理。3、数据资产管理工作由公司高层牵头，各分子公司配合专门的实施运维团队及专责，组建一支点面结合，高效推进的数据治理团队，从而确保数据管控工作能够长期、持续、高效的落地。 南方电网公司依托原有数据资源管理平台中实用效果较好的功能基础之上，升级建设数据资产管理平台，新建或加强元数据、数据质量、数据开发、数据运维、数据共享、数据开放等各方面的管理支撑能力，形成科学化、体系化、实用化的数据资产管理技术支撑，覆盖数据资产全生命周期，为公司数据资产管理提供坚实的技术保障，同时，加强创新技术研究，有效推动数据资产管理平台架构演进及管理能力提升，加速推进了公司的“三商”转型工作。数据资产平台对内在公司总部及下属分子公司已全面推广应用，确保数据高效应用、用数据讲话。对外已形成了一套行之有效的设计和产口，可以复制到行业上下游，形成能源生态系统服务。全国数据中心联盟-中国信息通信研究院，在完成南方电网数据资产管理平台大数据产品能力评测后，邀请南方电网数据资产团队参与行业数据资产管理平台标准的制定，对数据资产管理行业的进步起到了非常积极的作用。

狭义来看，数据中台是一套实现数据资产化和服务复用的工具；广义来看，数据中台是一套运用数据推动企业数字化转型升级的机制和方法论。数据中台始于业务数据的沉淀积累，用于数据的收集、整合、分析及应用，循环往复，形成生态闭环。2021年数据中台市场规模达到96.9亿元。在供给侧，行业的生态化合作趋势明显；在需求侧，企业对数据中台的关注点从中台本身转向了最终的数据变现能力。行业集中度和成熟度持续上升，整体规模稳步增长，增速趋于平稳，预计将在2024年达到187.4亿元。当前数据中台的行业集中度仍保持较低水平，行业的活跃参与者大致分为平台生态厂商、解决方案厂商和独立中台厂商三类，行业格局由竞争转向竞合，以协同生态为核心，集众所长，将成熟的技术方案与行业服务经验结合，协同拓展应用解决方案的广度和深度，深耕于金融、泛零售、政务、制造、工业等多行业应用场景。云原生是当下最为确定的技术趋势，存算分离、微服务、ServerLess等核心技术要素驱动数据中台走向云原生。数智融合理念将AI算法模型植入数据治理，高质量数据反哺AI开发能力，让数据和AI开发高效互通。泛中台化趋势明显，业务场景需求的解决方案/产品趋于“中台化”，以数据中台为基础的中台体系不断丰富。

随着电网建设的深入开展，数据治理流程愈发复杂，异构部门间数据交互愈发频繁，对调控业务系统数据的安全可靠交互构成一定的威胁。文章利用区块链技术防篡改、可追溯、共识机制等特征，研究基于区块链的电网调控数据溯源管理技术，解决调控数据治理过程中可能出现的误操作问题，为调控运行提供统一、可追溯的链上数据。首先设计了调控数据溯源与管理的区块链整体架构，其次对调控模型数据协同管理、模型数据上链存储及链上数据查询等环节进行了详细设计，最后通过实验对其应用特点和应用性能进行了验证分析，结果表明提出的基于区块链的电网调控数据追溯与管理技术可实现数据的通用、高效存储，有效提升调控数据管理水平。