智慧城市公共服务中台建设投标方案
目录
第一章
建设背景
4
第一节
编制依据
4
第一条
政策文件依据
4
第二条
技术标准规范
6
第二章
项目建设方案
9
第一节
总体框架
9
第二节
主要建设内容
9
第三节
数据平台
10
第一条
数据汇聚
10
第二条
数据治理
17
第三条
数据质量管理
25
第四条
数据分析
40
第四节
技术平台
48
第一条
分布式计算引擎
48
第二条
分布式NewSQL数据库
51
第三条
大规模搜索引擎
52
第四条
实时流处理引擎
52
第五条
分布式交易数据库
54
第六条
分布式闪存数据库
56
第七条
分布式图数据库
59
第五节
人工智能平台
60
第一条
智能汇聚模块
61
第二条
智能赋能模块
63
第三条
智能研判模块
65
第四条
运行智能模块和一脸通模块
68
第六节
业务平台
74
第一条
业务平台概述
74
第二条
统一身份认证
75
第三条
虚拟卡包平台
92
第四条
聚合支付平台
106
第五条
即时通讯平台
110
第六条
搜索与推送平台
119
第七条
应用整合网关
122
第八条
数据共享服务网关
127
第九条
基础支撑平台
131
第十条
统一运营平台
133
第十一条
统一运维平台
141
第七节
区块链平台
168
第一条
建设内容
168
第二条
区块链基础支撑平台
171
第三条
区块链应用支撑平台
190
第八节
精准时空大数据平台
195
第一条
时空平台
196
第九节
数字孪生
234
第一条
物联感知操控能力
234
第二条
全要素数字化表达能力
235
第三条
可视化呈现能力
237
第四条
数据融合供给能力
238
第五条
空间分析计算能力
240
第六条
模拟仿真推演能力
243
第七条
虚实融合互动能力
245
第八条
自学习自优化能力
247
第九条
众创扩展能力
248
建设背景
编制依据
政策文件依据
(1)国务院办公厅印发的(国办发〔2014〕66号)《国务院办公厅关于促进电子政务协调发展的指导意见》。
(2)国务院办公厅关于印发的(国发〔2015〕5号)《国务院关于促进云计算创新发展培育信息产业新业态的意见》。
(3)中央网信办发布的(中网办发文〔2015〕14号)《关于加强党政部门云计算服务网络安全管理的意见》。
(4)国务院办公厅关于印发的(国发〔2015〕50号)《促进大数据发展行动纲要》。
(5)2016年07月27日,中共中央办公厅、国务院办公厅印发《国家信息化发展战略纲要》。
(6)国家发改委印发(发改办高技(2016)42号)《关于组织实施促进大数据发展重大工程的通知》。
(7)国务院办公厅关于印发的(国办发〔2016〕47号)《关于促进和规范健康医疗大数据应用发展的指导意见》。
(8)国务院办公厅关于印发的(国发(2016)51号)《政
务信息资源共享管理暂行办法》。
(9)国务院办公厅关于印发的(国发〔2016〕55号)《国务院关于加快推进“互联网+政务服务”工作的指导意见》。
(10)国务院印发的(国办函〔2016〕108号)《“互联网十政务服务”技术体系建设指南的通知》提出:“优化政务服务供给的信息化解决路径和操作方法,为构建统一、规范、多级联动的‘互联网十政务服务’技术和服务体系提供保障。”
(11)工业和信息化部关于印发(工信部规〔2016〕412号)《大数据产业发展规划(2016—2020年)》。
(12)2016年,中共中央、国务院发布的《国家创新驱动发展战略纲要》。
(13)国务院办公厅印发的(国办发(2017)39号)《国务院办公厅关于印发政务信息系统整合共享实施方案的通知》指出:“按照‘内外联动、点面结合、上下协同’的工作思路,一方面着眼长远,做好顶层设计,促进‘五个统一’,统筹谋划,锐意改革;另一方面立足当前,聚焦现实问题,抓好‘十件大事’,重点突破,尽快见效。”
(14)国务院印发的(国发〔2018〕27号)《国务院关于加快推进全国一体化在线政务服务平台建设的指导意见》提出:“各地区各部门要认真贯彻落实党中央、国务院部署,把加快全国一体化在线政务服务平台建设作为深化‘放管服’改革、推进政府治理现代化的重要举措,制定具体实施方案,明确时间表、路线图,加大政策支持力度,强化工作责任,确保各项任务措施落实到位。”
(15)国务院办公厅印发的(国办发〔2019〕57号)《国家政务信息化项目建设管理办法》提出:“国家政务信息化建设管理应当坚持统筹规划、共建共享、业务协同、安全可靠的原则。”
(16)国家发展改革委制定的(发改规划(2019)617号)《2019年新型城镇化建设重点任务》。
(17)农业农村部中央网络安全和信息化委员会办公室关于印发的(农规发〔2019〕33号)《数字农业农村发展规划(2019-2025年)》。
(18)2019年十九届四中全会通过的《中共中央关于坚持和完善中国特色社会主义制度、推进国家治理体系和治理能力现代化若干重大问题的决定》。
(19)两会授权发布的2021年3月13日《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》。
(20)2021年3月5日李克强总理代表国务院在十三届全国人大四次会议上作2021年《政府工作报告》。
(21)2021年中央一号文件《中共中央、国务院关于全面推进乡村振兴加快农业农村现代化的意见》。
技术标准规范
1.1.2.1.国家标准
《信息技术大数据存储与处理系统功能要求》GB/T37722-2019
《信息技术大数据分析系统功能要求》GB/T37721-2019
《信息安全技术网络安全等级保护基本要求》GB/T22239-2019
《信息安全技术网络安全等级保护测评要求》GB/T28448-2019
《信息安全技术网络安全等级保护安全设计技术要求》GB/T25070-2019
《信息安全技术大数据安全管理指南》GB/T37973-2019
《信息安全技术大数据服务安全能力要求》GB/T35274-2017
《信息安全技术智慧城市安全体系框架》GB/T37971-2019
《信息安全技术政府网站云计算服务安全指南》GB/T38249-2019
《信息安全技术个人信息去标识化指南》GB/T37964-2019
《信息安全技术移动终端安全管理平台技术要求》GB/T37952-2019
《信息安全技术网络安全等级保护实施指南》GB/T25058-2019
《信息安全技术网络安全等级保护测评过程指南》GB/T28449-2018
《信息安全技术网络安全等级保护安全管理中心技术要求》GB/T36958-2018
《信息安全技术网络安全等级保护测试评估技术指南》GB/T36627-2018
《信息安全技术物联网感知终端应用安全技术要求》GB/T
《信息安全技术灾难恢复服务要求》GB/T36957-2018
《信息安全技术灾难恢复服务能力评估准则》GB/T37046-2018
《信息安全技术信息系统安全运维管理指南》GB/T36626-2018
《智慧城市公共信息与服务支撑平台》系列GB/T36622-2018
《智慧城市领域知识模型核心概念模型》GB/T36332-2018
《面向智慧城市的物联网技术应用指南》GB/T36620-2018
《智慧城市软件服务预算管理规范》GB/T36334-2018
《智慧城市信息技术运营指南》GB/T36621-2018
《智慧城市数据融合》系列GB/T36625-2018
《智慧城市顶层设计指南》GB/T36333-2018
《智慧城市术语》GB/T37043-2018
《云计算文件服务应用接口》GB/T36623-2018
《云计算云服务级别协议基本要求》GB/T36325-2018
《云计算平台即服务(PaaS)应用程序管理要求》GB/T36327-2018
《云计算数据中心基本要求》GB/T34982-2017
《信息技术大数据术语》GB/T35295-2017
《信息技术大数据技术参考模型》GB/T35589-2017
《智慧城市技术参考模型》GB/T34678-2017
《智慧城市评价模型及基础评价指标体系》GB/T34680-2017
《电子政务标准化指南》
第4部分:信息共享GB/T30850.4-2017
《信息技术科学数据引用》GB/T35294-2017
《基于云计算的电子政务公共平台管理规范
第1部分:服务质量评估》GB/T34077.1-2017
《信息安全技术电子政务移动办公系统安全技术规范》GB/T35282-2017
《信息技术云计算参考架构》GB/T32399-2015
《信息技术云计算概览与词汇》GB/T32400-2015
《信息技术云数据存储和管理》GB/T31916-2015
《云资源管理技术要求》GB/T31916-2015
项目建设方案
总体框架
智慧城市综合管理应用服务平台全面提升数据汇聚、算力、人工智能等基础能力。城市智能中枢包括数据平台、技术平台、业务平台、人工智平台、数据资源中心、区块链平台、精准时空大数据平台、数字孪生、城市大脑。
主要建设内容
以打造新型智慧城市标杆为目标,遵从国家提出的新型智慧城市总体技术标准、共性支撑标准、管理保障标准、安全保密等标准规范,结合社会特点和治理需求,形成新型智慧城市建设管理规定、总体技术标准框架、各领域基础数据标准、数据安全保密实施细则和数据共享交换标准。
数据平台
数据汇聚
2.3.1.1.1.按接汇聚方式
2.3.1.1.1.1.库表接入
数据在提供方以数据库表结构化方式存储,并以库表方式进
行全量或增量数据的接入。通过前置数据库表进行数据交换,各接入单位通过桥接方式获取前置数据库表内容,向前置数据库表目录推送数据。
2.3.1.1.1.2.文件接入
适用于非结构化资源或更新频率较缓慢的结构化资源的接入。通过前置机文件目录进行数据接入和交换,各接入单位通过桥接方式获取前置机的文件,向前置机文件目录推送数据。
2.3.1.1.1.3.服务接口
以Web服务作为平台与各接入单位之间数据获取和推送的接口,在平台中代理业务系统提供的Web服务,对外隐藏该Web服务的真实URL,使用代理的URL即可访问业务系统真实的Web服务,以达到数据接入和交换的目的。
2.3.1.1.1.4.数据库直连
支持使用DBlink方式进行实时连接将关系型数据库中的数据抽取到离线数据库,同时支持过滤条件下推,在关系型数据库上进行过滤以后再进行抽取,加速抽取和计算的效率。对于原来存储在关系型数据库中的维度表/码表,可以使用dblink的方式进行实时连接计算。
2.3.1.1.2.按数据量分类
2.3.1.1.2.1.全量接入
一次性将数据库表中的所有数据交换到目标节点的接入方式。全量接入的优点是交换效率较高,缺点是不能很好的处理增量数据。全量接入要求业务库表应具有主键标识。
全量接入适用于低频率(天、周、月)的,对数据变更时效性不敏感的接入场景,用于在平台建设完成初期进行历史数据的迁移,将大量的基础数据和历史数据导入平台集群。
2.3.1.1.2.2.增量接入
周期性从数据库表中获取最新数据并交换到目标节点的接入方式。增量接入适用于高频率(秒、分)的、对数据变更时效性敏感的接入场景,用于系统上线后将指定周期时间间隔内的数据导入平台。增量接入的优点是即时接入、增量处理,但需要根据业务场景配置相应的接入策略。增量接入主要有下列三种策略:
1.时间戳交换:根据业务数据的时间戳变化获取增量数据,并将增量数据交换到目标节点。交换效率高,对前置库性能影响小,但要求业务表必须存在一个时间戳字段,且每次操作数据要对该字段时间戳进行更新。
2.标识位交换:根据业务表中的标识字段值的变化获取增量数据并将增量数据交换到目标节点。交换效率高,对前置库性能影响小,但要求业务表必须存在标识位字段,业务系统和平台都要维护此字段值的变化。
3.触发器交换:利用数据库触发器获取增量数据并将增量数据交换到目标节点。数据获取实时性高,能够交换删除操作的数据,但需要在源表上建立触发器,对前置库性能有一定影响。
2.3.1.1.3.按时延分类
2.3.1.1.3.1.1.准实时接入
针对于T+1模式无法满足业务系统的需求,需要进行准实时同步。准实时同步是指将数据从传统的关系型数据库准实时同步到大数据平台,并对数据进行实时或者准实时分析。借助OralceGoldenGate(0GG)、IBMDatastageDataReplication(CDC)等软件可以实时地读取关系数据库的日志记录,将这些日志记录写成文件记录到本地,再头通过数据迁移工具进行秒级同步和解析。
2.3.1.1.3.1.2.实时接入
针对如物联数据、视频数据等具有数据量大、文件数量多、实时产生等特性的数据,有高吞吐、低时延的要求,可通过分布式日志实时采集工具Flume或分布式消息队列工具Kafka实时接入到大数据平台。
2.3.1.1.4.按数据类型
2.3.1.1.4.1.政务数据汇聚
主要是库表接入和文件接入两类。过渡阶段,政务委办局数据由委办局侧业务库推送至部门前置机,再通过数据共享交换系统进入作为原始数据存储。逐步根据需求,将数据接入城市进行治理和建设主题库,实时、主动地读取业务库数据变化,数据再同步至城市。
2.3.1.1.4.2.物联数据汇聚
智慧城市物联感知设备产生的实时物联数据经过物联平台以API接口方式接入Kafka分布式消息队列系统,再通过实时计算平台进行实时研判、展示,或直接归集入。
2.3.1.1.4.3.互联数据汇聚
互联网数据服务平台承载互联网数据,互联网区无法访问政务外网。可通过接口方式与政务外网的平台对接,由平台主动抽取互联网区数据,或将互联网区数据推送至互联网区的前置机,再由资源平台通过库表或文件方式主动抽取。
2.3.1.1.4.4.视频图片汇聚
视频数据主要包括部门影像、非公安影像、公安视频半结构化数据、视频大图小图等,以接口方式接入Kafka分布式消息队列系统,再通过实时计算平台进行实时研判、展示,或直接以归集入NoSQL数据库进行大对象存储。
2.3.1.1.4.5.地图数据汇聚
栅格数据、矢量数据、空间地理底图、各类图层信息、各类城市运行管理要素数据等。
2.3.1.1.5.数据开发
2.3.1.1.5.1.标准SQL开发
(一)概述
标准SQL开发工具是为数据开发人员和数据库管理人员提供的数据库管理工具,它能够进行跨中台管理,可作为大数据计算服务客户端,也支持兼容其余多种数据库。中台提供的SQL开发工具是辅助进行数据集成开发的图形化工具。
(二)数据库导航
需提供数据库导航栏,可查看当前存在的连接,以及各个连接所提供的的内容,包括元数据对象,如数据库、表、列、分区、桶、视图、存储过程、包等,并通过层级反映元信息结构。可实现查看元数据信息、创建元数据、指定默认数据库、刷新元数据对象、对比元数据对象、对象重命名、添加书签等功能。
(三)SQL编辑器
SQL编辑器主要用于SQL语句的编辑,功能包括:1.支持SQL单步调试与异常告警功能
2.支持SQL代码语法高亮、语法检查3.支持SQL代码缩进
4.支持计算结果输出展示
5.支持界面编辑修改数据
6.支持命令行
(四)SQL执行器
需提供SQL编辑器模块用于执行SQL语句的功能;需支持执行各种语句,将结果和错误分别显示在结果窗口和问题窗口;需支持查看以往执行过的所有SQL语句,以及执行时间。
(五)数据编辑器
通过数据编辑器提供多种数据管理接口,方便用户对数据进行查看和编辑。
2.3.1.1.5.2.数据ETL开发
(一)概述
中台需提供可视化数据ETL工具用以数据从多源数据库向数据平台的ETL过程。
(二)数据接入
1.可直接从Oracle/DB2等传统关系数据库将数据导入至大数据服务中台,可在不失效率的情况下避免使用Sqoop带的步骤繁琐、类型转换复杂等应用场景。
2.支持CSV,定长文件,JSON,XML等文件的导入。
3.支持导入0GG、Shareplex、Datastage产生的增量文件导入,实现准实时的数据同。
4.支持通过Kafka等方式读入流数据。5.支持跨集群的数据导入。
(三)数据导出
1.可以直接导出数据至传统关系数据库
2.导出多种数据格式,支持大数据服务中台中所有类型的表,普通ORC,ORC交易表,HBase,ES表等。
3.支持跨集群导出
(四)数据转换
实现数据的清洗,加工,包括但不限于字段映射功能、数据关联、集合操作、聚合操作、过滤、去重等。
2.3.1.1.5.3.工作流调度
(一)概述
提供可视化工作流调度工具以进行数据迁移开发过程中的工作流DAG设计、工作流调度与任务管理。工作流调度工具本身不做数据流的计算,而是将工作任务提交到中台的分布式计算引擎来完成。相比开源调度工具,中台提供的工作流调度工具需要提供更强大的功能,更方便的操作和更高的可用性。
(二)图形化操作
需提供图形化的操作中台,为用户提供设计任务流、调试任务、触发和调度策略等功能。并且具有丰富的分析能力,通过提供依赖关系、执行历史、甘特图等图表,帮助诊断作业流的执行状况。
操作中台的功能整体划分为四部分,包括仪表盘、作业流设计、监控界面、分析界面。
1.仪表盘
提供今日作业流整体状态以及作业流实时信息的概览。仪表盘上可以浏览到当天所有作业流的状态统计和作业流状态列表。同时可以接收到作业流状态改变实时通知。
2.作业流设计
能够设计作业流并完成调试,每一个作业流都是一组任务的有序排列。
3.监控界面
可查看作业流列表,点击作业流名称,可进入对作业流内任务执行情况的监控页面,以不同角度查看对该作业流执行情况的统计。
4.分析界面
用于作业流执行情况的统计以及可视化分析,包括作业流的执行时长、失败原因、调度准时性、任务完成比、作业流统计、当日增减作业流、当日变慢作业流。
(三)多任务类型
需支持Shell、SQL、JDBC、HTTP等任务类型,并且允许用
户写自定义Java任务。
数据治理
2.3.2.1.1.数据标准管理
2.3.2.1.1.1.导入外部标准
提供以Excel模板方式,导入外部国家标准或行业标准,支持数据项、数据字典、指标等类型的标准导入,并支持按元模型进行扩展。
2.3.2.1.1.2.数据标准映射
建立数据库系统到数据标准的映射关系,保证数据标准的落地与执行。
2.3.2.1.1.3.数据标准编目
支持自定义数据标准目录结构以及内容,并提供相应的查询,浏览和使用页面,对数据编目标准对智慧城市各类数据进行统一编目。
2.3.2.1.1.4.数据资源关联
支持将数据标准与任意资源进行关联。提供数据标准与元数据、数据资源的关联分析,分析引用指定标准的数据资源分布
,
以及标准的引用统计。
2.3.2.1.1.5.数据标准维护
实现标准的维护功能,包括标准新增、变更、审核等功能,支持标准版本管理和比对功能,对标准变更情况进行记录。
2.3.2.1.1.6.标准格式配置
支持自定义数据标准的存储和展示格式、类型。
数据质量管理是依据数据质量管理规范,为数据质量管理过程提供支持,使得能够根据数据标准匹配检核规则,根据元数据自动匹配检核对象。数据质量管理主要过程包括质量规则配置和数据质量检核,能够解决数据完整性、唯一性、权威性、一致性、合法性等问题。
2.3.2.1.2.元数据管理
整合中台各个环节的元数据资产,以便进行元数据的浏览和分析,也是形成数据资源管理门户的来源。中台需提供可视化元数据管理工具,满足进行库表元数据的查看,数据之间血缘关系与影响的查看,以及数据之间依赖关系的分析。
2.3.2.1.2.1.元数据采集
支持自动采集、同步更新元数据,自动化编目和分类组织中
日益分散和无序的数据资产,大大降低元数据管理的成本;支持采集和展示主流关系型数据库、分布式数据库、NoSQL数据库和BI等业务系统元数据。
2.3.2.1.2.2.元数据存储
元数据是中台各组件(HDFS、分析型数据仓库、分布式NoSQL数据库、数据检索组件、实时计算组件等)存放有关数据信息的地方,其用途是用来描述数据,包括创建信息、所属空间、访问权限、类型描述等等。中台需要提供高可用数据库为所有组件提供元数据统一管理存储。
1.HDFS元数据
包含文件名、目录名、父目录信息、文件大小、创建时间、修改时间等文件属性信息,还需包含文件分块情况、复本个数、每个复本所在节点等存储相关信息。
记录数据所属关系,提供用户所属用户、用户组信息,可以标记用户和用户组的权限。
2.分析型数据库元数据
1)库级元信息
包含库名、描述信息、创建者、创建时间、库内建表查表权
限等。
2)表级元信息
包含表名、描述信息、创建者、创建时间、所属库、表内字段、表内增删改查权限、删除表权限等。
3)字段元信息
包含字段名、描述信息、字段类型、默认值、是否为空、用户访问权限等。
3.分布式NoSQL数据库元数据
指分析型数据库中NoSQL数据库映射表的元数据。类似分析型数据库表级和字段权限,包含表名、表描述信息、创建者、创建时间、所属库、表内字段、表内增删改查权限、删除表权限、字段名、字段描述信息、字段类型、用户访问权限等。
4.数据检索组件元数据
指分析型数据库中数据检索引擎映射表的元数据。类似分析型数据库表级和字段权限,包含表名、表描述信息、创建者、创建时间、所属库、表内字段、表内增删改查权限、删除表权限、字段名、字段描述信息、字段类型、用户访问权限等。
5.实时流计算组件元数据
实时流计算有三个核心的概念:流、流任务和流应用。流即数据流,流任务是对一个或多个流数据进行计算并将结果写进一张表的任务,流应用是一个或多个流任务的集合。
1)流元信息
需包含流名、描述信息、创建者、创建时间、所属库、流内字段、流内增删改查权限、删除流权限等。
2)流任务元信息
需包含任务名、描述信息、创建者、启动时间、所属库、任务逻辑、启停权限等。
3)流应用元信息
需包含应用名、描述信息、创建者、创建时间、所属库、应用内流任务信息等。
2.3.2.1.2.3.元数据操作
通过对元数据库的增、删、改、查操作,为元数据的应用提供各种功能(如数据血缘关系查询等)。
1.元数据查询
支持对元数据基本信息进行查询与检索,如查询数据库表的数据字典等;
2.元数据统计
提供元数据统计信息,如元数据使用情况分析、元数据变更、元数据版本和生命周期变化情况等。
3.元数据稽核
为保证元数据质量,对元数据进行稽核,保证元数据信息的完整性,合理性。
4.权限管理
负责权限分配、审批,实现对元数据管理模块的数据访问和功能的使用进行有效访问控制。
2.3.2.1.2.4.元数据维护
提供元数据常规管理能力,包括基本信息、关系、版本的管理维护,以及元数据检核。
2.3.2.1.2.5.元数据应用
提供多种元数据应用方式,包括元数据检索、查看、历史、变更订阅下载。
2.3.2.1.2.6.元数据浏览
支持多数据源的资产浏览:HDFS、Mysql、0racle、DB2、Hive、TeraData、Hbase、Teradata以及第三方报表工具。
2.3.2.1.2.7.数据地图
通过图形化方式从宏观角度展示企业数据资产系统的关系,有利于用户更好理解系统之间关系。
支持对数据流转情况的展现,展现数据在各层间流转的情况。
实现数据资产总体展现,展示模型总数、存储总量、记录总数、字段数等关键指标,实现层层下钻,从宏观换到微观各个层次的展示数据资产的基本信息,如存储周期、字段数、数据量、数据来源占比和变化趋势等。
2.3.2.1.2.8.系统管理
为应用提供可靠的基础管理服务,保证上层应用的正常运行。包括系统基本配置管理、权限管理、角色管理等。
2.3.2.1.2.9.数据血源管理
通过整合分散在各个系统、应用、数据库等不同数据源中的元数据,将它们集中在一起,提供统一的元数据查询管理接口。通过追踪元数据,记录每次元数据转化的输入与输出,能够从表级和列级两个粒度上,描述多表间的关系,为中台中的元数据勾勒出一幅完整的数据流动变化关系图谱,使用户更全面的掌握数
据,把握数据变化,从而实现元数据血缘关系分析功能。
提供数据治理子系统,可以实现数据血缘关系分析。数据血缘图以目标对象的第一代祖先为起点,以目标分析对象为终点,按照转化关系逐层扩展。血缘图直观的展示了目标对象的产生过程,包括从哪些表转换而来,经历了哪些转换,从而帮助推测出它在此过程中被赋予的含义,以及会受到的潜在影响。当某数据出现错误或者异常时,我们可通过血缘关系图向上分析锁定问题产生的源头;当对某些数据进行修改时,可通过影响关系图向下分析,得到哪些数据实体中的数据会受到影响。还通过提供列级的访问,将追踪的粒度精确到字段。充分理解并运用这两种图表,将帮助用户在对海量数据进行分析时,降低排查错误的难度,预测并控制即将造成的影响,最终达到提升数据质量的效果。
2.3.2.1.2.10.视图血缘
支持和主题库的视图的血缘影响分析(包括展示已delete删除的表和视图,支持指定深度展示)。
2.3.2.1.2.11.表及字段血缘
支持和主题库中各数据库表和字段的血缘分析和影响分析。
2.3.2.1.2.12.报表血缘
支持对电子表格和仪表盘的血缘和影响分析。2.3.2.1.2.13.ETL血缘
支持对ETL流程的血缘、影响分析。支持跨数据库实例ETL血缘,支持ETL工具血缘;
2.3.2.1.2.14.手动编辑血缘信息
支持手动对血缘信息进行增加,删除,修改等操作。2.3.2.1.2.15.实时更新血缘信息
自动化实时同步更新血缘、影响数据。
2.3.2.1.3.数据生命周期管理
数据如同企业任何其他资产一样,也具有生命周期。企业进行大数据治理,就需要管理数据资产,也就是要管理数据的生命周期。数据生命周期管理,需要对数据从产生、存储、维护、使用到消亡的整个过程进行监控和管理。例如,企业数据管理人员需要决定数据如何被创建、如何被修改、如何演变、何种数据应保留在运营和分析系统中、何种数据要予以存档、何种数据要予以删除。数据生命周期管理需要对压缩和存档的政策、工具进行平衡,以降低存储成本,提高绩效。最后,需要结合企业当前业
务的需求合理摒弃不再需要的数据。数据先被创建,然后存储、维护和使用,最终被销毁。在其生命周期中,数据可能被提取、导入、导出、迁移、验证、编辑、更新、清洗、转型、转换、整合、隔离、汇总、引用、评审、报告、分析、挖掘、备份、恢复、归档和检索,最终被删除。数据的价值通常体现在使用中,也可能是在未来才有用。数据生命周期的所有阶段都有相关的成本和风险,但只有在“使用”阶段,数据才能够带来商业价值。
基于大数据环境下数据在组织机构业务中的流转情况,定义了数据生命周期的6个阶段,具体各阶段的定义如下:
数据采集:指新的数据产生或现有数据内容发生明显改变或更新的阶段。对于组织机构而言,数据的待机既包含在
智慧城市公共服务中台建设投标方案(249页)(2024年修订版).docx