Page 21 - 水利学报2021年第52卷第2期
P. 21
息形式响应、可视化反馈与业务操作等人机交互需求。
(3)3L 与 4C 之间任务协同:整合数据-模型-控制-客服 4 个中心的软硬件资源,布置于云端-边
缘端-终端的 3 层云架构中,将大体量多学科融合的数据模型和控制中心的宏观决策功能布设在云
端,短历时重要数据模型和客服中心的边缘决策功能布设在边缘端,数据的原始采集与客服中心的
最终服务发布在终端完成。边缘端作为云端与终端之间的媒介进行局部个性化的数据、模型与服务
集总,通过选择性的消息传递、分发来减轻网络和云端的传输、计算负载,以简单的模型计算承担
起数据集成预处理、数据结果后处理及业务服务定制的角色。基于 3L4C 任务协同模式,应用环境模
型耦合集成技术以及信息化平台的自我学习和修正技术,可以实现全流域的环境智慧感知、数值模
拟仿真、计算、存储和网络资源统一调配及个性化功能服务发布。
基于 3L4C 云平台系统架构,可以实现支撑水质预报、风险预警、污染溯源和生态调度等功能的
海量数据融合集成、“空-地-水”一体化复杂模型体系布设及其高性能并行计算,融合“云边终”协同
的工作模式,实现流域水环境水生态的高效智慧化管理。以水质预报功能为例:云端布置高效的多
模型并行算法,进行顶层核心模拟计算,得到流域全局全时段的流场与浓度场模拟结果;边缘端布
置个性化的预报技术满足分类管理需求,结合云端传输的基础模拟结果,根据小范围的应用区域设
置不同的预报模式与预警等级,同时承担相关水文水质数据集成与信息通讯的职责;终端结合物联
网技术完成底层的水文水质监控数据实时采集、上传和最终预报信息的推送和发布。
4 核心支撑技术
4.1 分布式大数据融合集成技术 本文提出的智慧化管理云平台采用了“云边终”协同的分布式大数
据融合集成技术。在平台的初步数据融合集成过程中,由于不同部门收集的同类数据单位和时间跨
度不一等差别而对数据进行标准化处理,实现多个数据源到统一数据视图的整合,涉及多级别、多
方面、多层次的信息检测、相关、估计和综合,并可以获得目标信息状态和特征估计及态势。为服
务于云端模型计算,平台进行了数据的二次集成处理,根据“空-地-水”一体化模型所需要的输入条
件,在边缘端构建相应的数据整合模型,提取、转化并精炼初次融合集成的标准化数据,提供可以
集成在云端模型中使用的核心层数据。
通过终端的流量传感器、水质监测仪、空间扫描仪和全球定位系统等物联网设备组成通信系
统,借助多个边缘节点和雾节点之间的智能协作,实现现场级、实时级、短周期级的数据即时提
取,以及多源大数据的清洗、分类与互馈。采用数据仓库的集成模式,设计通用数据库引擎中间
件,采取列-行数据转换方式,根据映射配置关系,将异构数据统一转换为行存储模式,借助结构查
询语句实现源数据库到目的数据库的信息融合集成,采用 Web Service 数据接口,集成了涵盖 8 大类
型 50 余项指标的边缘端生态环境大数据库(图 2)。
依托消息中心进行数据分层分类调度,采用聚合传输方式,将边缘端的核心层数据传输到云端
进 行 处 理 和 分 析 , 节 约 的 数 据 传 输 量 超 过 90% , 由 网 络 传 输 协 议 带 来 的 额 外 耗 时 从 4% 降 低 到
2.74%,大大减轻了网络和服务器上的负载。该技术实现了数据的智慧感知、即时处理、经济存储、
高效传输及网络融合,推进了多源异构数据协同共享,为平台实现多元化功能提供气象、水文、水
质、生态、社会、经济等基础数据来源。
4.2 “空-地-水”一体化模型高性能并行计算技术 面向以分布式单元或分块空间网格为基础的气
象、陆地面源、水动力、水质和水生态等大尺度流域模型,建立了布设在云端的“空-地-水”一体化
模型高性能并行算法(图 3)。考虑并行计算的负载均衡,进行均匀化分块处理,设置边界条件节点;
基于模型之间的强弱耦合关系,根据逻辑先后顺序设置模型应用节点,建立数值模拟区域分割方式
和功能分解方式的分布式通讯基础。通过云端集群系统的中央管理服务器完成节点任务的动态分配
与监控,借助消息传递接口(Message passing interface,MPI)实现命令传达、数据交互和任务控制,
基于共享内存并行与不共享内存并行的混合处理手段,设置线程并行、核并行与多节点并行的“三并
— 145 —