1. 住房和城乡建设部科技与产业化发展中心；2. 珠海卓邦科技有限公司；3. 上海勘测设计研究院有限公司
摘要：当前我国智慧水务的发展由建设营收、GIS、SCADA 等MIS系统为主的业务数据化，逐步转变为以数据治理和管理为主的数据业务化。目前，国内有很多水务企业启动了数据治理和大数据中心建设项目。水务行业数字化转型进入新的发展阶段。本文结合国内水务企业开展水务系统数据管理面临的挑战和存在的主要问题，进行分析探讨，提出城镇水务系统数据管理体系构建模式，阐述数据管理的实施路径和多场景应用价值。本文可为水务企业数字化建设和发展提供参考和借鉴。
关键词：城镇水务；智慧水务；数据管理体系；数据治理
当前我国正步入数字化发展新时期。习近平总书记指出，要充分发挥我国海量数据和丰富应用场景优势，促进数字技术与实体经济深度融合，赋能传统产业转型升级，催生新产业、新业态、新模式，不断做强、做优、做大我国数字经济。近年来，以数字技术为支撑、数据资源为关键要素的数字经济蓬勃兴起，正在成为重塑各国经济竞争力和全球竞争格局的关键力量。数字经济发展的核心，是要充分发挥数据作为新型生产要素的重要作用。
我国智慧水务发展正处于由“业务数据化”逐步转为“数据业务化”的过渡阶段。多数水司已经完成了水务系统信息化基础建设、基于网络和物联感知的系统平台建设，实现了建设营收、GIS、SCADA 等MIS系统为主的业务数据化，逐步转变为以数据治理和管理为主的数据业务化。对于水务企业而言，水务系统的数字化发展可以提升水务管理的精细化，为智慧化发展奠定良好的基础，提升水务企业社会服务能力，并成为未来市场竞争的核心基础资源。经过近些年的发展，水务系统的大数据管理已经初步形成了一个较为完整的产业链，包括数据采集、整理、传输、存储、分析、呈现和应用。众多企业开始参与到大数据产业链中，并形成了一定的产业规模。水务企业也不断加大数据收集、管理、应用的投入力度，逐步形成数据分析、数据诊断、数据决策的大数据发展生态。
1 城镇水务系统数据管理面临的挑战
水务企业面向海量基础数据，其工作重心逐步由“注重数据生产和收集”转为“注重数据资源管理和数据资产化”。但是，在数据管理和应用过程中，很多企业面临巨大挑战，主要包括以下几个方面：
（1）数据种类多。水务数据的来源多样，包括了勘测、规划、设计、施工、管理等多种渠道的数据源。同时，其形式多样，包括了水务企业长期积累的结构化、半结构化数据和大量非结构化数据。一个公司的数据量级通常在数百TB或PB以上，并且随着各工作环节和应用领域的信息化程度不断增加、监测密度及指标不断提升、数据增加速度不断加快，数据量呈现持续高速增长态势。
（2）数据质量差。水务企业的数据管理，数据质量差是一个非常严重的问题。水务企业大多已历经十余年的信息化建设，系统中已存储了海量数据，包括客户信息、水表信息、历史水量、水质、水压数据等。其中一些系统数据年代久远，标准化程度不高，改造成本大，给数据集成应用带来很大困难。如果数据质量达不到要求，则会导致水务企业对业务管理的评估和预测不准确，甚至会导致整个系统决策失败。
（3）数据标准不统一。水务信息化发展的初期阶段，水务企业不同部门的信息化系统分散管理和无序开发，数据采集和管理难以在标准和规则层面达成一致，致使数据标准不统一，跨部门信息共享困难。且由于缺乏统一标准和数据关联，大量的数据清洗依靠人为判断，数据清洗难度大、风险高。另外，由于业务分散在多个部门，信息系统功能重叠，数据重复录入，数据冗余问题严重，数据使用效率低下。
（4）决策支持作用不足。一些企业智慧水务建设由于缺乏顶层设计和总体部署，决策层、管理层和业务层等不同层级对数据管理缺少完整、统一的思路。智慧水务初期发展阶段的系统平台缺少有效的数据挖掘与分析功能，导致数据过于死板僵化，难以发挥数据对业务管理的追溯，无法对现在及未来的业务管理进行指导，对水务企业的业务管控和决策分析的支撑效果不明显。
2 城镇水务系统数据管理体系构建模式
城镇水务系统数据管理体系是对水务企业海量数据进行管理的一种工作手段。通过数据管理体系的构建，可以汇聚城镇水系统全过程、全要素的各个主题领域内的数据，形成统一集中的数据资源中心，并对数据资源进行有效治理和管理，同时充分利用大数据分析等技术，挖掘数据价值，服务于水务企业的管控、决策、生产、运营、客服等各个环节。
2.1 城镇水务数据管理体系
城镇水务数据管理体系主要包含数据抽取、数据存储、数据挖掘、数据管理、数据可视化和智能算法六部分内容。
2.2.1 数据抽取
数据抽取是数据管理体系构建的重要一环，运用数据提取工具，从数据源抽取出所需的数据，经过数据处理，最终按照预先定义好的数据模型，将数据加载到大数据中心中去，从而实现以下功能：对不同来源不同种类的数据进行融合；针对数据进行清洗加工，形成主题库；把数据分析能力作为服务提供给上层应用。
2.2.2 数据存储
数据存储建议采用分布式文件系统，相较于传统的存储方式，成本更低，且具备良好的扩展性、安全性和可靠性，能够满足数据平台海量的存储需求。大数据中心能够将传统的结构化数据存储技术和非结构化数据存储技术相结合，满足数据存储和处理的灵活性，实现对海量数据的存储与计算分析。
2.2.3 数据挖掘
数据挖掘技术可提供多种监督和非监督学习算法，应用于结构化和非结构化数据，如聚类、主成分分析、线性和非线性回归、逻辑回归、分位数回归、决策树、随机森林、梯度提升、神经网络、支持向量机、因子分解机等。数据挖掘过程中，可通过图论和网络分析算法进行数据拓展，通过交互式界面进行模型创建。数据挖掘技术，能够完成数据融合汇聚，通过数据挖掘建模和深度学习框架，让系统具有“自己思考”能力，形成具有智慧决策的人工智能大脑。
2.2.4 数据管理
通过抽取、存储和挖掘后的海量数据，需要通过科学的数据管理，使之能够更好地服务于水务生产及业务决策。数据管理主要包括数据分类、数据服务和数据接口管理等。数据分类主要包括对元数据、主数据及不同类型数据交换的管理；数据服务是基于数据形态演变的一种信息技术驱动服务，包括数据采集、数据传输、数据存储、数据处理（包括计算、分析、可视化等）、数据交换、数据销毁等。数据接口管理可对数据接口进行定义、配置、查询、授权等操作，管理所有的业务接口，实时增加或者删减服务器，并对单个服务器的接口服务进行配置，向外提供优质的数据接口服务等。
2.2.5 数据可视化
数据可视化及交互技术，主要是利用二维、三维地图引擎、时空分析引擎、图文交互引擎等，实现人机交互界面的可视化。该技术通过有效融合计算机的计算能力和人的认知能力，获得对于大规模复杂数据集的洞察力，从而实现多维数据管理、多维数据分析、多维数据展现等功能，为数据分析的实效性提供强有力的保证。
2.2.6 数据智能算法
基于大数据的人工智能技术，可对数据资源进行深层次的分析和挖掘，在智慧客服、故障诊断、工艺调控、设备管控等方面做出更准确的预测和判断，辅助管理层进行科学决策。通过基础算法库、组合算法库和定制算法库等 AI 算法库的建立，灵活运用多种类型智能算法，构建数据模型，如分区计量数据模型、管道泄漏定位模型、用水量实时预测模型、智能加药模型等，加强工况预测、优化工艺调控，提高水务管理水平。
2.2 城镇水务数据管理体系平台架构
图1 城镇水务数据管理体系平台架构图
城镇水务系统数据管理体系平台，其功能为向下接入业务系统数据，向上对业务应用系统提供数据支持，中间为大数据中心核心能力支持。其架构主要包含数据接入层、数据加工层和数据服务层。其中，数据接入层负责从各业务系统及数据源头接入数据，数据加工层负责对接入的数据进行数据治理及加工处理，数据服务层负责将加工好的数据提供给各应用系统。城镇水务数据管理体系平台架构图，如图 1 所示。
2.3 城镇水务数据管理体系构建重点任务
为了做好对城镇水务智慧管理系统的应的支撑，数据管理体系建设的重点任务主要包括：标准中心、应用中心、大数据中心、能力共享中心、物联感知中心以及资源中心等六大板块。其中，大数据中心作为核心组成部分，与其他各板块有机紧密结合。标准中心确保大数据中心获取规范统一的标准化数据；应用中心、能力中心和物联感知中心分别向大数据中心提供应用系统、生产监测、事件等场景实时数据；大数据中心则向其他板块提供统一的数据服务、主数据管理等功能。各板块的逻辑关系，如图 2 所示。
图2 城镇水务系统数据管理体系建设重点任务
3 城镇水务系统数据管理体系建设实施路径
科学的实施路径是保障城镇水务数据管理体系建设的必要条件。不同水务企业数据基础不同，需求也有所差异。因此，水务企业在构建数据管理体系时，需要结合企业自身实际情况，进行顶层设计和系统部署。但是总体而言，数据管理体系的建设，需要注重摸现状、理需求、绘蓝图、定设计、制标准、搭基座、治数据、建数仓、布应用、守运营这 10 项工作内容。
3.1 摸现状
在前期广泛开展业务现状调研的基础上，通过对业务模式加以分析，结合数据管理成熟度评价指标与评估模型，评估水务企业数据资产管理现状。其中，数据管理成熟度评估可参考《数据管理能力成熟度评估模型》（GB/T 36073-2018）。评估内容主要包括数据战略、数据治理、数据架构、数据标准、数据质量、数据安全、数据应用、数据生命周期管理等。通过对系统数据管理成熟度评估，评判企业数据管理能力水平，发现存在的主要问题，明确未来数据管理能力提升的路径。
3.2 理需求
水务企业在数据管理体系构建过程中，面向众多业务方向，需同时结合“自上而下”和“自下而上”的建设思路，理清业务架构，掌握业务痛点，确定业务范围，明确建设程度。具体需要明确的内容包括数据范围、硬件资源数量、数据标准数量、平台集群规模、数据治理范围、数据仓库范围、数据应用类型等。数据管理的核心是数据应用，这项工作是为业务管理进行服务的，也是数据管理体系建设工作获得投资回报的最重要途径。因此，其他数据建设内容都是在为数据应用提供支撑。
3.3 绘蓝图
数据管理体系建设是一项周期长、投入大、实施复杂的工程，需要进行全盘考虑，做好整体规划设计。水务企业可以大数据中心建设为核心内容，在此基础上，逐步建设管理管控业务平台、营销客服业务平台、生产运营业务集成管理平台等其他业务平台。大数据平台的建设，可实现对各条业务线的基础数据、财务、人力、物资、资产设备等进行集中管控、统一授权，并通过直观的展现方式，让不同层级的管理人员得到不同的管控指标及管控信息。
3.4 定设计
在以上各项工作基础上，数据管理体系建设的目标、要求和总体架构已经基本清晰明确。水务企业管理层和信息化技术人员共同商讨，确定数据管理体系和大数据平台的设计方案。方案可包含数据管理体系建设实施方案、大数据平台规划设计方案、数据仓库构建模式，数据支撑业务范围和内容，数据应用场景等等。设计方案和实施方案，是水务企业数据管理、数据治理、系统平台开发等各项智慧水务建设的总体纲领，长期指导水务企业的数字化建设和管理工作。
3.5 制标准
水务企业在数据管理体系构建过程中，应该采纳行业内部通识的数据标准，或建立企业自身的数据标准体系。数据标准一般包括基础标准、业务体系标准、应用体系标准、数据资源标准、IT 基础设施标准、信息安全标准、信息化管理标准和系统评价标准等。标准建设可促进智慧水务建设按照一定模式有序进行，对大量的看似无序的数据资源进行提前约定，从而消除数据孤岛，并在一定程度上避免投资浪费，使数据资源具有可持续发展的生命力。
3.6 搭基座
采用成熟的商用大数据平台软件、主流的大数据技术手段或工具，如HDFS、HBase、Hive等，通过多模块、多组件搭建大数据平台，作为整个数据管理体系的基础底座。数据存储可采用基于分布式存储方式，支持水平扩容，支持多种存储数据类型。数据平台提供结构化、半结构化、非结构化数据的存储解决方案。前期架构设计应能够实现数据整合、存储、计算、分析等多种功能。在此基础上配置数据质量管理、数据安全管理、数据资产管理、数据服务等模块。另外，数据平台基座也可借助云平台进行灵活部署。云平台的应用可有效应对突发状况下计算能力不足的问题，保障数据管理系统安全稳定运行。
3.7 治数据
数据治理包括数据管控机制和管控手段两大模块。管控机制由管控组织、管控政策、管控流程及技术支撑四个方面组成。管控手段指实施数据治理所采取的技术手段，包括数据架构、主数据、数据标准、元数据、数据质量、数据安全等。数据治理主要是通过组织、管理、技术三者相互协作，提高数据质量，保证数据安全性、保密性、完整性和可用性，实现数据资源在各单位的共享，推进数据资源的整合、对接和共享，从而提升水务企业信息化水平。
3.8 建数仓
数据仓库是指对各类数据资源进行集中、集成、共享、分析的场地。数据仓库是数据中心的核心组成部分，具备数据抽取、转换与加载能力，能够高效地将前端业务分析所需的各类数据移动到数据仓库内，根据预先制定的业务规则对数据进行处理转换使其符合目标数据格式，并根据前端展现需求提供高性能数据加载机制。通过数据仓库，帮助水务企业实现按业务主题进行数据集中存储，完成对分散数据的集成整合工作，形成企业内部“唯一事实”。
3.9 布应用
智慧水务系统的应用场景包括安全保障、管理增效、优质服务、节能降耗、企业形象、管理创新、应急指挥、智能决策等多个方向，内容涉及水厂、管网、水环境、客户服务等多个领域。智慧水务建设，应面向各类应用场景，基于大数据中心数据治理和管理，开展系统平台建设。不同的应用系统平台与大数据平台进行深度数据交换，进行分析和模拟。平台建设的出发点，要以数据驱动的精细化管理为目标，提升运营效率，预见潜在风险。
3.10 守运营
数据管理体系和大数据中心建设完成后，需要保持数据的持续更新，并确保数据的真实、稳定、准确、可用和高效，以实现数据资产价值最大化。在数据中心运营管理过程中，工作人员需定期检查数据资产当前的状态，尤其是数据质量和安全情况，如更新频率、合规性、空值率等；同时，从数据采集到数据应用，对数据管理全过程进行监控，及时发现和排除故障，保障数据资产的稳定性。
