文库 货物类投标方案 系统集成

企业大数据智能管理与治理平台建设投标方案(110页)(2024年修订版).docx

DOCX   114页   下载273   2024-09-09   浏览28   收藏25   点赞974   评分-   38103字   56积分
温馨提示:当前文档最多只能预览 15 页,若文档总页数超出了 15 页,请下载原文档以浏览全部内容。
企业大数据智能管理与治理平台建设投标方案(110页)(2024年修订版).docx 第1页
企业大数据智能管理与治理平台建设投标方案(110页)(2024年修订版).docx 第2页
企业大数据智能管理与治理平台建设投标方案(110页)(2024年修订版).docx 第3页
企业大数据智能管理与治理平台建设投标方案(110页)(2024年修订版).docx 第4页
企业大数据智能管理与治理平台建设投标方案(110页)(2024年修订版).docx 第5页
企业大数据智能管理与治理平台建设投标方案(110页)(2024年修订版).docx 第6页
企业大数据智能管理与治理平台建设投标方案(110页)(2024年修订版).docx 第7页
企业大数据智能管理与治理平台建设投标方案(110页)(2024年修订版).docx 第8页
企业大数据智能管理与治理平台建设投标方案(110页)(2024年修订版).docx 第9页
企业大数据智能管理与治理平台建设投标方案(110页)(2024年修订版).docx 第10页
企业大数据智能管理与治理平台建设投标方案(110页)(2024年修订版).docx 第11页
企业大数据智能管理与治理平台建设投标方案(110页)(2024年修订版).docx 第12页
企业大数据智能管理与治理平台建设投标方案(110页)(2024年修订版).docx 第13页
企业大数据智能管理与治理平台建设投标方案(110页)(2024年修订版).docx 第14页
企业大数据智能管理与治理平台建设投标方案(110页)(2024年修订版).docx 第15页
剩余99页未读, 下载浏览全部
企业大数据智能管理与治理平台项目 目录 第一章 项目需求分析 5 第一节 项目建设目标 5 第二节 项目建设内容 5 第一条 数据管理 5 第二条 数据智能 21 第三节 平台性能需求 24 第四节 验收文档要求 25 第二章 项目技术方案 25 第一节 项目建设方案 25 第一条 现状问题分析 25 第二条 项目建设目标 27 第三条 平台建设方案 27 第四条 方案核心价值 47 第二节 服务场景设计 49 第一条 数据资产管理 49 第二条 数据开发管理 51 第三条 数据全生命周期管理 54 第四条 数据管理大屏 56 第三节 信息安全保障 56 第一条 总体方案 56 第二条 系统安全 58 第三条 数据安全 59 第四条 应用安全 60 第三章 项目建设方案 62 第一节 项目实施方案 62 第一条 项目实施地点 62 第二条 项目实施工期 62 第三条 项目实施过程 62 第四条 项目实施文档 67 第二节 项目验收方案 68 第一条 项目验收标准 68 第二条 项目验收方法 69 第三条 验收签收流程 73 第三节 项目管理方案 73 第一条 项目进度管理 73 第二条 项目质量管理 74 第三条 项目风险管理 75 第四条 项目沟通管理 76 第四章 项目服务方案 78 第一节 项目资源投入 78 第一条 项目人员管理 78 第二节 售后服务承诺 80 第三节 免费维保期限 80 第四节 售后服务方案 81 第一条 维保服务方案 81 第二条 培训服务方案 89 第三条 应急处理预案 91 第五节 服务质量保障 95 第一条 质量管理方法 95 第二条 质量管控思路 96 第三条 质量管理计划 98 第四条 质量保障措施 102 第五章 类似案例介绍 105 第一节 禅城区大数据统筹局数据管理项目 105 第一条 项目概述 105 第二条 项目方案 106 第三条 项目价值 106 第二节 某市智慧房管数据分析项目 107 第一条 业务需求 107 第二条 项目方案 108 第三条 项目特点 109 第四条 项目价值 109 第三节 信用信息汇集系统 109 第一条 项目概述 109 第二条 项目方案 110 第三条 项目价值 110 项目需求分析 项目建设目标 城市大数据及大数据中心的运营成果要让决策者、行业用户和社会公众“看得见、看得清、看得懂”,因此需要实现大屏可视化,把区域内的静态和动态数据能够360度完美表现、采用易懂的表现形式和生动震撼的视觉传达,让人更容易记忆、理解和学习,从而实现企业大数据中心运行情况一套图展示。 项目建设内容 数据管理 数据资产管理 数据资产管理平台主要负责对数据资产进行统一注册和管理,实现数据资产体系化管控。主要包括数据资产注册管理、数据资产分类管理、数据资产查询、数据地图、数据资产分析、数据资产版本管理、数据资产变更管理、资产运行审计管理、资产统计分析,接口管理、数据质量等功能。 √数据资产注册管理 平台提供数据源管理、数据资产注册管理、数据资产注册审核、生成数据库管理等功能。提供采集器、在线维护、自动注册接口等方式来注册数据资产。 ●数据源管理 平台提供对数据源注册管理的功能,主要是对数据提供者所在数据库、Hadoop库的注册管理。 1.数据库注册管理,主要负责数据库基本信息的注册配置,包含但不限于以下内容: ●数据库类型 ●数据库版本 ●数据库服务IP ●数据库服务端口 ●数据库SID ●数据库表空间 ●… 2.Hadoop库注册管理,主要负责Hive库基本信息、HDFS文件信息的注册配置,包含但不限于以下内容: ●HIVE数据库服务IP ●HIVE数据库服务端口 ●HDFS文件系统服务IP ●HDFS文件系统服务端口 ●数据资产注册管理 平台提供对数据资产注册管理的功能,主要包括对表、视图、序列、文件、ETL过程、Hadoop等进行注册管理。 1)业务系统信息收集与资产注册,包含但不限于以下内容: ◆业务系统名称 ◆业务系统描述 ◆业务系统服务IP ◆业务系统服务端口 2)数据库信息采集与资产注册,包含但不限于以下内容: ◆数据库类型 ◆数据库版本 ◆数据库服务IP ◆数据库服务端口 ◆数据库SID ◆数据库表空间 3)表结构信息采集与资产注册,包含但不限于以下内容: ◆表名称 ◆表中文名称 ◆业务信息描述 ◆表结构定义 ◆表数据处理逻辑 4)视图信息采集与资产注册,包含但不限于以下内容: ◆视图名称 ◆视图中文名称 ◆业务信息描述 ◆视图结构定义 5)字段信息采集与资产注册,包含但不限于以下内容: ◆字段名称 ◆字段中文名称 ◆字段详细描述 ◆字段类型定义 6)指标信息采集与资产注册,包含但不限于以下内容: ◆指标名称 ◆指标中文名称 ◆指标业务描述 ◆指标统计口径 ◆指标统计周期 7)报表信息采集与资产注册,包含但不限于以下内容: ◆报表名称 ◆报表中文名称 ◆报表业务描述 ◆报表格式 报表统计周期 8)hadoop平台信息采集与资产注册,包含但不限于以下内容: ◆Hadoop集群名称 ◆Hadoop集群描述 ◆Hadoop集群主节点IP ◆Hadoop集群从节点IP 9)hadoophive库表信息采集与资产注册,包含但不限于以下内容: ◆Hive数据库服务IP ◆Hive数据库服务端口 ◆Hive表名称 ◆Hive表中文名称 ◆Hive表业务描述信息◆Hive表结构定义 10)ETL过程信息采集与资产注册,包含但不限于以下内容: ◆ETL作业名称 ◆ETL作业业务描述信息 ◆ETL过程处理逻辑 ◆ETL作业运行周期 ◆ETL来源表名称 ◆ETL来源文件路径 ◆ETL目标表名称 ◆ETL目标文件路径 11)文件接口信息采集与资产注册,包含但不限于以下内容: ◆接口文件名称 ◆接口文件业务描述信息 ◆接口文件路径 ◆接口文件大小 ◆接口内容与表字段映射关系12)OLAP信息采集与资产注册; 13)webservice接口信息采集与资产注册,包含但不限于以下内容: ◆webservice接口名称 ◆webservice接口描述 ◆webservice接口负责人 ●数据资产注册审核 平台提供对数据资产注册的审核功能,通过在平台中定义数据资产的相关命名规范,可实现对数据资产的自动审核,主要包括对表/视图、文件等数据资产进行审核分析。当数据资产命名不符合规范时,平台会提示错误信息,并阻止资产的注册操作,当数据资产命名审核通过后,交由相应的审核人进行审核,保障数据资产的完整和规范性。 ●生成数据库管理 平台可基于数据资产(表),通过在平台中指定生成表的数据库及表空间等信息后自动生成相应数据库的建表脚本 并在数据库中生成数据表,如下图所示:√数据资产分类管理 平台提供对数据资产的分类管理功能,在数据资产注册同时或注册后,可在数据资产上标识不同的属性标签,通过属性标签完成对数据资产的分类整理,为资产查询、资产统计、资产盘点等功能提供支撑。 常见的属性标签包括: 资产类型:数据表、文件、接口、指标、报表等数据来源:B域、0域、M域等 主题域:参与人、服务、资源、事件、市场营销、企业管理、公共。 所属层级:接口层、轻度汇总层、中度汇总层、高度汇总层、应用层等 存储周期:按年、按季度、按月、按周、按日等数据资产分类体系 在数据资产的分类管理中,平台按照数据资产的生命周期对数据资产进行分层,即输入层、加工层和输出层。输入层是指数据从各个数据源抽取到大数据平台,输出层是指大数据 平台数据输出到外部渠道或内部渠道,加工层指数据在大数据平台内进行加工处理的过程。 数据资产分类查询 平台提供数据资产分类查询功能,可通过选取分类标签中具体的属性标签对数据资产进行筛查。 数据资产分类统计 平台提供数据资产分类统计功能,可对各种标签属性的数据资产进行分类统计,并形成统计报表,供使用人员查询不同属性数据资产的整体统计情况。 √数据资产目录管理 ●数据资产目录 资产目录是对平台元数据的有序组织,是记录数据体系的保障数据类目是目录信息与服务、保障与支撑所组成的一个整体针对资产的合理组织,需要对资产进行对应分类,如部门类目、主题类目、行业类目等,可对该类目下资产数据进行搜索、展现以及权限申请。 ●数据资产查询 平台提供数据资产查询功能,主要分为通用查询和高级查询两种方式。 1.通用查询:通过在通用查询搜索框中输入查询关键字,可对数据资产进行模糊查询。 2.高级查询:根据指定数据资产属性信息的具体值对数据资产进行精确查询,包括数据资产名称、资产编码、资产分类标签等属性。 √数据资产地图管理 平台提供数据地图功能,通过可视化的图形界面,对大数据平台各系统、各层次之间的脉络关系进行全面、多层次的展示,并提供从系统、数据库、表间以及字段级的关联关系下钻分析功能,帮助用户从不同粒度了解数据资产之间的关联情况,同时可动态了解数据资产的执行情况。 √数据资产版本管理 平台提供数据资产版本管理功能,主要包括版本发布、版本查看、版本比对、版本恢复等功能。 1.版本发布,通过版本发布功能提供对数据资产信息的版本更新和固化; 2.版本查看,可查看数据资产的版本变更历史; 版本比对,通过选择历史版本可与当前发布的数据资产版本进行差异比较; 1)版本恢复功能,支持恢复到以前历史版本的资产信息; √数据资产变更管理 平台提供数据资产变更管理功能,可对数据资产信息中除定义名称以外的其他信息进行变更,并提供在变更发布前的数据资产信息规范审核。 √数据资产审计管理 平台提供资产运行审计管理功能,主要包括数据资产模型审计、数据资产表数据审计等部分。 1)数据资产模型审计:可对表、视图、文件、Hadoop等静态结构进行审计,根据元数据的配置,与数据库内实际的表/视图信息、实际生成的文件信息以及Hadoop中实际的结构信息进行比对,实现数据资产定义在整个应用中的一致性检查。 2)数据资产表数据审计:可对数据资产中的表数据进行审计,包括元数据表字段上的空值、字典值等。 √数据资产统计管理 平台提供数据资产统计分析功能,主要包括统计综合查询、数据资产一致性检查、数据资产更变统计、数据资产属性检查、数据资产空值检查、数据资产字典值检查等功能。 ●数据资产统计分析 1、统计综合查询,可通过数据资产的各种属性标签,如资产类型、数据源、主题域、所属层次等,以及数据资产的其他资产信息如数据库类型、应用等,对数据资产进行查询。2、数据资产一致性检查,平台提供以报表的形式,将元数据的配置与数据库内实际的表/视图信息、实际生成的文件信息、Hadoop中实际的结构信息等内容进行比对并输出差异分析结果,在分析结果不一致的情况下给出提醒,并将分析结果作为《数据资产规范性检查报告》的组成部分。 3、数据资产变更统计,可通过数据资产的各种属性标签,如资产类型、数据源、主题域、所属层次等,以及数据资产的其他资产信息如数据库类型、应用等,对数据资产变更历 史进行统计查询。 4、数据资产属性检查,平台提供以报表的形式,将元数据的配置与数据库内实际的表/视图的属性信息、与实际生成的文件内的属性信息、与Hadoop中实际的结构信息进行比对并输出差异分析结果,在分析结果不一致的情况下给出提醒,并将分析结果作为《数据资产规范性检查报告》的组成部分。5、数据资产空值检查,平台提供以报表的形式,对元数据表字段上的空值配置进行检查,在检查结果不一致的情况下给出提醒,并输出《数据资产空值检查报告》。 6、数据资产字典值检查,平台提供以报表的形式,对元数据表字段上的字典值配置进行检查,在检查结果不一致的情况下给出提醒,并输出《数据资产字典值检查报告》。 ●数据资产报告 针对整体平台上的对应数据,提供定周期了解其对应资产情况,对总体资产情况进行分析。 ●数据资产盘点 平台提供数据负资产盘点功能,通过分析系统中孤立未使用的库表,即数据负资产,并以报表形式输出分析结果,为 用户清除数据负资产或转存提供帮助。 数据异常管理√异常对接管理 开发可以对接数据交换总线、数据集成总线、数据服务总线系统中异常日志模块的功能。 √异常问题列表 开发展示异常问题信息,按等级进行分类或主动推送,同时对异常问题进行归类整理,并定义规则进行选择性忽略或提醒的功能。 √人工处理管理 开发人工处理管理是记录针对异常信息,人工处理所登记的台账信息,可按照异常分类进行分类授权,实现指定问题的指定人员处理的功能。 √系统处理管理 开发统处理管理是针对异常信息集成的各子平台系统处理结果的收集,该类信息往往不需要人工干预的功能。 √实时数据质量管理 针对实时流数据需要提供数据质量管理功能,即提供对实时 流的数据质量规则的设置、维护、调度、优化等规则的管理功能,以及对实时流数据源接口关键数据、数据实体和处理过程的监控告警,辅助数据质量管理人员快速定位问题的原因及处理方案,并定期生成针对实时流数据的数据质量评估报告的功能。 √数据质量定制化开发 通过自定义扩展规则能力,灵活方便的自定义扩展能力,可以灵活定制质量监控的规则、问题数据的检测规则和问题数据的清洗回收的方式。 √异常数据分析 基于集成方案,反馈统计分析集成过程中不符合方案中各字段清洗规则的异常数据结果,同时支持多维度的问题分析以及排查。 √异常处理统计分析 开发按照异常分类、处理情况、时间、等级等维度进行分类统计,以图表的形式展现便于管理人员汇总分析的功能。 数据架构管理 平台支持定义全企业的数据架构,包括数据的主题、层次 , 所涉及的部门、所用到的数据库类型。功能包括数据架构节点的增加,删除。 √业务架构管理 从数据架构中选择适合团队的数据架构,并绑定到团队,以约束开发团队在开发过程中选择数据架构。 √存储架构管理 在异构数据库的环境下,不同的数据库有不同的参数设置,为减少开发人员在模型开发过程中的操作,同时也保障模型在落地到物理环境的正确性,通过在存储架构中设置默认的参数配置来保障开发的准备性。 数据开发管理√流数据处理 平台支持对流数据的处理与管理,流数据的处理过程为数据实时采集-->数据实时计算-->数据实时查询服务。 ●实时采集 主要应对海量数据进行高性能的实时数据采集处理,以实时、高效、低延迟为核心驱动点,具备毫秒级数据触发能力,实现秒级单位时间窗口的数据统计分析能力。需要支持的数据 源类型可以分为以下四类: 网络协议数据源,包括Socket、JMS、HTTP、HTTPS等常见类型的网络协议。 本/异地文件数据源,包括目录扫描、文本文件,FTP,SDTP等数据。 分布式文件系统数据源,包括HDFS,HBase,Hive等数据。 关系型数据库数据源,包括DB2,Teradata,vertica等数据。支持物联网网关采集:将物联网数据从物联网网关接入,提供协议适配和标准化处理,以及满足海量物联网数据的入湖。来自多种数据源的实时信息,因为其时效性高,数据的有效期短暂,需要实时提取和分析来自各种分布式系统的信息 , 并分发到不同的应用中进行处理。同时,系统必须高效、可靠、可管理、可监控并且具有一定的对外开放能力。 ●流数据引擎 开发提供数据融合,统计,分析的高速处理能力,对于实时性要求较高的数据计算提供支撑的功能 ●流数据计算模型管理 开发提供对已设计完成的数据计算模型进行申请,注册,提 交,执行,监控的统一管理的功能 ●流数据计算公共模型开发 开发提供对于场景需求较多的数据模型可开发公共模型的 功能,公共模型可以供其他用户调用,可重复使用的功能●流数据计算结果接口开发 开发提供对流数据计算结果接口开发功能和计算结果数据可通过接口形式供可视化调用或其他应用的功能 ●流数据计算模型查询 开发提供流数据计算模型查询功能,通过对流数据计算模型发布可以是其他用户查看计算模型逻辑,进行模型再利用,减少其他用户开发工作量的功能。 √数据开发平台 数据开发完成多种环境的全量与增量数据处理能力,简化开发过程。统一数据开发入口,支持可视化开发和原生态开发两种开发模式,实现原生态开发与可视化编排的互相转换,提升开发效率。 支持可视化开发 开发空间基于脱敏数据开发和验证,通过验证后的工作流再 发布到生产空间,生产空间基于实际的数据来调度工作流进 行数据生产。 支持原生态开发√统一调度管理 平台支持对数据开发与管理任务的统一调度,包括流程设计与管理、调度策略管控、任务调度控制、标准化控件等功能模块,通过作业/任务管理、作业/任务调度、作业/任务执行实现对采集、转换、加载、调度、监控,从而形成统一的调度与管理。 以一个业务量生产过程为例。传统做法是通过接口通信表或时序依赖进行协同生产。在统一调度平台中以数据流作为驱动,通过控制中心进行作业命令下发,状态收集进行控制,达到各个异构系统,多个子系统的协同调度。 数据智能 数据血缘 平台提供血缘分析功能,通过可视化的图形界面,对数据资产及所有来源的关联数据资产进行展示,可帮助用户分析数据来源和定位数据质量问题。 √元数据血缘分析 元数据分析算法包括以网状模式展示对象等血缘关系和以父子依赖关系展示对象等有向血缘关系。 ●影响性分析 包括血统分析和影响分析两类,以便于掌握和追溯对象变更时的缘由和影响关系。血缘分析是元数据分析中重要的分析应用,以图形方式清晰的展现出元数据(表、视图、字段、指标)每一步数据的来源情况,数据的来源情况包括该元数据的直接或间接使用到的其他元数据和加工该元数据所使用的加工规则。元数据对象和对象之间以连线方式表现出血缘分析的结果。 ●重要性分析 分析各元数据对象之间的关联密集度,分析数据资源平台中各层次的包、表等对象的重要程度,指导数据资源平台开发和维护团队对重点元数据进行重点关注和质量监控。 ●无关性分析 与重要性分析相反,随着数据资源平台系统的规模不断扩大,业务需求的日益变化,会产生一定数量的无关数据 、 信息和报表,找出这些无关的内容,结合业务需求分析其产生的根源,从而为用户简化工作负载,降低项目总拥有成本,为用户提供可信赖的数据和分析能力。 智能标签 在数据资源的分类管理中,平台按照数据资源的生命周期对数据资源进行分层,即输入层、加工层和输出层。输入层是指数据从各个数据源抽取到大数据平台,输出层是指大数据平台数据输出到外部渠道或内部渠道,加工层指数据在大数据平台内进行加工处理的过程。 √数据标签管理 平台提供数据标签管理功能,可对已导入的数据资产标签进行增加、修改、删除以及分类标签的导入导出功能,满足数据资产业务属性随业务发生变化时数据资产标签能够灵活变化。 √标签模板管理 平台提供数据标签模板管理功能,可通过下载功能将标签模板导出为Excel文件格式,对数据标签进行编辑整理后批量导入到平台中,并提供对标签模版的增加、修改、删除等操 作。 √基础标签管理 开发以列表形式和智能推荐形式将平台中设置的基础标签进行呈现列表形式是将所有的基础标签——列出,并可以按照热度进行排序智能推荐形式是指根据最近时间段内的标签的访问频率、搜索频率等,以轮播的形式循环展现热门标签的功能。 √标签关系展现 开发通过标签将相关联的数据目录关联在动图中展现给用户,形成丰富数据盛筵的展示效果,做到通过一张图就可以将某一条数据的关联数据、以及数据之间的关系全部展示出来的功能。 开发通过标签访问次数统计出热门标签,让平台运维人员了解哪些标签是访问频率高的、是符合用户访问习惯的,并结合用户的搜索记录,优化标签设置,使之更通用和人性化的功能。 数据探索 平台提供了数据探索工具,支持用户通过数据探索工具对拥有权限的数据进行在线自助数据查询,工具记录访问日志。在平台上用户可以在此页面通过各种过滤条件查询出自己权限范围内满足条件的报表,并进行对应的设为首页及关注操作。 画像分析 画像分析是面向业务的标签和画像管理中台,整合了多类型存储资源的数据,能够帮助企业构建业务标签体系。 平台中的画像分析功能同时内置完善的标签运营机制和灵活的圈群分析模版,适用于用户行为、设备管理、企业档案、地理分布等数据分析场景。 √影响分析 平台提供影响分析功能,通过可视化的图形界面,对数据资产及所有后续影响的关联数据资产进行展示,可帮助用户分析数据流向和定位数据出错时影响的关联数据资产。 √全链分析 平台提供全链分析功能,通过可视化的界面,对数据资产所有来源和后续影响的关联数据资产进行展示,可帮助用户分析数据来源和定位数据质量问题及后续影响的数据资 产。 √表关联度分析 平台提供表关联度分析功能,通过分析数据库表数据资产与其他资产的的关系出现次数情况,如表与ETL程序、表与OLAP、表与指标等关系,并以报表形式输出分析结果,帮助用户分析数据资产之间的关联程度。 平台性能需求 数据融合计算(百万级数据)执行效率达到分钟级别最大开发团队管理数≤100个 系统数据开发人员并发访问≤200个服务响应时间≤3s 调度执行器在线数据任务的调度管理和执行数量≤2000个 验收文档要求 概要设计书 概要设计专家评审详细设计说明书 架构设计说明书 数据设计说明书项目实施方案 测试方案测试用例测试报告部署方案 非功能性能指标源代码 系统使用说明(规范)、运维说明书系统培训资料和培训记录 项目总结报告 项目技术方案 项目建设方案 现状问题分析 2.1.1.1业务系统之间缺少统一标准 √数据多样化缺少数据标准,对表字段的命名随意性强,定义混乱; √同一英文字段名对应多个中文名,反之也存在着中文的一对多; √同一业务元素对应多种数据类型和长度。 2.1.1.2系统之间数据变更对应的影响分析困难 √历史数据庞大复杂,表关系不清晰; √表结构变更、系统改造时,对应造成的影响难于甚至无法评估; √已然形成大量数据,系统悠久,找不到接口人,针对其应用困难。 2.1.1.3数据质量差,错误发现不及时 √数据质量低下,统计不准确,许多预期需求无法实现、造成决策失误; √数据错误的发现不及时; √数据处理过程中的问题未及时纠正,导致更多的后续错误。 2.1.1.4数据价值低 √数据表和模型繁多,价值未最大释放。 2.1.1.5业务系统之间数据资产分散,共享性差 √DB、数据模型、应用程序、数据标准、数据质量等信息分散; √政务数据资产无法集中管理和展现,共享性差。 2.1.1.6数据安全得不到保障 √数据权限划分不清;√敏感数据得不到监控; √账号和权限无法追踪-非正常的访问行为无法捕捉。 2.1.1.7管理体系不完善,已有标准落实差 √标准管理体系不完善;√管理角色分工不清晰; √标准管理系统不完善,标准管理软件易用性差,落实效果差; √出了问题再补漏,数据管理部门和生产部门相互推脱责任。 项目建设目标 基于上述问题分析,因此本次企业大数据智能管理与治理平台项目的建设的目标就是要让城市大数据及大数据中心的运营成果要让决策者、行业用户和社会公众“看得见、看得清、看得懂”,因此需要实现大屏可视化,把区域内的静态和动态数据能够360度完美表现、采用易懂的表现形式和生动震撼的视觉传达,让人更容易记忆、理解和学习,从而实现企业运行情况一套图展示。 平台建设方案 2.1.3.1平台架构设计 我公司大数据管理平台以元数据为基础,所有模块并不是串连,每个模块都可以单独或与其他模块组合使用。本平台建设方案可以为各类客户提供全面的数据管理解决方案,同时平台可在本地或云上使用。 2.1.3.2数据管理建设 2.1.3.2.1数据资产管理 数据资产管理平台主要负责对数据资产进行统一注册和管理,实现数据资产体系化管控。主要包括数据资产注册管理、数据资产分类管理、数据资产查询、数据地图、数据资产分析、数据资产版本管理、数据资产变更管理、资产运行审计管理、资产统计分析,接口管理、数据质量等功能。 2.1.3.2.1.1数据资产注册管理 平台提供数据源管理、数据资产注册管理、数据资产注册审 核、生成数据库管理等功能。提供采集器、在线维护、自动注册接口等方式来注册数据资产。 2.1.3.2.1.1.1数据源管理 平台提供对数据源注册管理的功能,主要是对数据提供者所在数据库、Hadoop库的注册管理。 数据库注册管理,主要负责数据库基本信息的注册配置,包含但不限于以下内容: ●数据库类型 ●数据库版本 ●数据库服务IP ●数据库服务端口 ●数据库SID ●数据库表空间 3.Hadoop库注册管理,主要负责Hive库基本信息、HDFS文件信息的注册配置,包含但不限于以下内容: ●HIVE数据库服务IP ●HIVE数据库服务端口 ●HDFS文件系统服务IP ●HDFS文件系统服务端口 ● 2.1.3.2.1.1.2数据资产注册 平台提供对数据资产注册管理的功能,主要包括对表、视图、序列、文件、ETL过程、Hadoop等进行注册管理。 1)业务系统信息收集与资产注册,包含但不限于以下内容: ◆业务系统名称 ◆业务系统描述 ◆业务系统服务IP ◆业务系统服务端口 2)数据库信息采集与资产注册,包含但不限于以下内容: ◆数据库类型 ◆数据库版本 ◆数据库服务IP ◆数据库服务端口 ◆数据库SID ◆数据库表空间 3)表结构信息采集与资产注册,包含但不限于以下内容:◆表名称 ◆表中文名称 ◆业务信息描述 ◆表结构定义 ◆表数据处理逻辑 4)视图信息采集与资产注册,包含但不限于以下内容: ◆视图名称 ◆视图中文名称 ◆业务信息描述 ◆视图结构定义 5)字段信息采集与资产注册,包含但不限于以下内容: ◆字段名称 ◆字段中文名称 ◆字段详细描述 ◆字段类型定义 6)指标信息采集与资产注册,包含但不限于以下内容: ◆指标名称 ◆指标中文名称 ◆指标业务描述 ◆指标统计口径 ◆指标统计周期 7)报表信息采集与资产注册,包含但不限于以下内容: ◆报表名称 ◆报表中文名称 ◆报表业务描述 ◆报表格式 ◆报表统计周期 8)hadoop平台信息采集与资产注册,包含但不限于以
企业大数据智能管理与治理平台建设投标方案(110页)(2024年修订版).docx
下载提示

如果下载遇到任何问题,请联系客服专员!

微信公众号
微信客服