基于数据云平台的数据资产管理技术支撑方案
所属单位:北京银行
参与奖项:最佳金融数字化创新奖
评委评分:
热度 (转发微信朋友圈或群可以帮助增加热度)
微信扫码分享此评选

近年来,随着大数据时代支撑数据交换共享和数据服务应用的技术发展,数据的价值是有目共睹的,在国家将‘数据’提升为生产要素之后,数据资产的理念应运而生。然而,针对数据资产的管理机制目前仍处于起步阶段,元数据、数据标准、数据检核、数据安全、数据目录等精细管理、价值挖掘和持续运营也较为薄弱。传统的烟囱式系统管理模式也加剧了数据孤岛的问题。

北京银行为此基于行内的数据云平台之上,构建了一套支撑数据全生命周期的管理的资产应用技术支撑方案,支持行内数据从产生到整合、加工、使用的端到端价值实现过程中,将数据采集、数据治理、数据脱敏、数据目录等管理模块,集中统一管理,从而促进数据在银行端的使用,提升数据价值释放。

方案背景

1. 政策

信息大爆炸的时代,数据赋能金融业务创新,数据资产管理逐渐成为数字金融科技发展的重要课题。数据治理的发展也随着时代的变迁,从局部数据管理、统筹数据治理发展到如今的以释放数据价值为核心的数据资产运营。2020年3月30日国务院首次将数据要素作为生产要素,上升到国家政策层面,2020年5月15日,国务院在此提出加快培育数据要素市场,并将其纳入到“顶层设计”,数据资产管理已然成为国家数字化进程和行业发展的必然趋势。

2. 现状

数据作为越来越重要的生产要素,将成为比土地、石油等更为核心的生产资源,如何加工利用数据,释放数据价值,实现企业数据化转型,是各企业面临的重要课题。虽然充分有效挖掘数据价值的过程中充满了障碍,但是数据资产管理逐步扫平了这些障碍。数据价值难以有效发挥的原因如下:

(1)缺乏统一数据视图:企业的数据资源散落在多个业务系统中,技术和业务人员无法及时感知到数据的分布与更新情况,无法快速找到符合自己需求的数据,也无法发现和识别有价值的数据并纳入数据资产。

(2)数据孤岛普遍存在:企业都存在数据孤岛问题,造成数据孤岛的原因既包括技术上的,也包括标准和管理制度上的,这阻碍了业务系统之间顺畅的数据共享,降低了资源利用率和数据的可得性。

(3)数据质量低下:数据质量影响着业务决策,将直接导致数据统计分析不准确、监管业务难、高层领导难以决策等问题。而数据能够被当做资产,并发挥越来越大的价值,其前提是数据质量的不断提升。

(4)缺乏安全的数据环境:数据安全造成的风险主要包括数据泄露与数据滥用。一旦发生数据安全时间,其对企业经营和用户利益的危害性将越来越大,束缚数据价值的释放。

(5)缺乏数据价值管理体系:企业还没有建立起一个有效管理和应用数据的模式,包括数据价值评估、数据成本管理等,对数据服务和数据应用也缺乏合规性的指导,没有找到一条释放数据价值的“最优路径”。

方案目标

1. 存储标准数据,形成大数据资产层:

实现源系统贴源层数据质量管控,形成标准数据后再进行存储。这样的模式能够有效防止数据污染造成的数据质量治理难定位的问题。此时,标准化的数据可以被看作是我行业务数据的沉淀,能够有效的实现数据的重复使用,在后续每一次数据消费的过程中,持续创造价值,最终形成大数据资产层。

2. 打破数据孤岛,提升数据交换能力:

数据共享能力是基于标准的数据能够被其他业务场景高效的利用、服务,从而降低重复建设,减少数据间互联互通的成本,达到打破数据孤岛的目的。

3.灵活化运营,提升数据服务化能力:

分析整理数据资产,形成数据地图,概览全行数据资产情况,了解整体数据流向并能逐步钻取,提升数据影响分析能力,提供数据资产全方位视图,并逐步完善数据释义等功能,提供数据服务化基础。

方案特点

主要有以下三个应用创新:

1. 全面:通过数据资产管理平台建设,实现内部数据和外部数据、基础数据、加工数据和大数据的多维度,全方位管理并以此为基础支持全行数据资产全景视图的构建,为全行数据共享渠道的建立奠定数据基础。

2. 智能:北京银行将机器学习,算法处理等智能化技术引入数据资产管理与运营中,提供了智能搜索,智能推荐等服务,降低了数据使用门槛,支撑业务个性化、场景化的业务创新。通过智能化算法进行分类,将行业模型和知识图谱应用到企业的数据发现过程中,自动盘点数据,改善用户体验,真正实现数据资产管理一站式管理。

3. 提升:北京银行通过数据资产管理建立一套切实可行的数据质量监控体系,设计数据质量检核规则,从数据源头提升控制数据质量,形成覆盖数据生命周期的数据质量管理;采取机器学习等自动化技术,将数据准备时间和交付项目的时间缩短,提升数据获取和服务效率,加快数据价值释放;采取标签体系和自然语言处理等智能化技术。

方案业务流程图

1.业务架构图

构建企业级数据资产目录,在数据资产平台形成完整的数据资产目录,围绕各业务领域的数据资产进行归口管理,形成完整的数据资产管理体系。

2.系统物理架构图

平台应用服务采用负载均衡策略,通过F5负载均衡设备提供链路负载均衡,从而提高应用系统持续服务能力和并发能力。通过多台物理主机和高可用集中存储建立虚拟化平台,实现物理架构的冗余提高系统的高可用性。

3.数据功能架构图

数据资产资源层:

该层面向各种外部数据源,负责将源系统的元数据信息,业务元数据信息,外部数据统一、安全、规范的引入到行里,并对业务系统提供标准的数据服务。平台能够屏蔽各个数据厂商的数据结构差异、接入技术实现差异,保证获取数据是一致的、透明的,系统具备良好的扩展性。

数据资产集中层:

该层提供各种数据资产应用的相关功能,包含业务技术元数据,数据质量,数据标准,数据资产目录展示等功能,如自动采集元数据信息、外部数据信息视图展示、数据质量驾驶舱展示、生产数据质量检查报告等。此外还提供各类配置和管理界面,如系统任务配置,用户管理配置等。

数据资产服务层:

该层面向业务人员、技术人员针对数据资产操作实施具体的应用场景,平台对外提供数据资产服务,提供数据分析能力,提供可视化应用功能。

实现功能展示

数据资产目录:

数据目录是指在数据资产管理平台上提供数据或数据分析结果的服务,包括企业内部数据共享和外部数据流通,通过构建服务目录、授权数据服务等有效完整的记录数据服务信息,展示数据服务的价值。能够精确的展示各目录下能够提供的数据服务类型、服务流程、数据资产目录等,能够按照业务要求和企业标准,自定义构建数据资产目录层级,并描述数据资产相关属性,包括表级属性(如表名、目录、更新周期、业务类别等)和字段结构(如字段名称、字段类型、字段长度等);同时可利用知识图谱等相关技术挖掘数据价值,不断完善数据资产。

数据资产标签:

标签管理支持用户设置标签体系并维护管理归属于该标签的数据资产,用户设置标签的识别规则,启动标签识别功能后系统可以实现周期扫描数据并打上符合识别规则的标签。

数据质量驾驶舱:

以仪表盘形式多角度展示数据质量的运行情况和可视化的展示新增和修复的质量问题;先进个人排行榜以及质量问题列表及趋势分析。

数据地图:

根据数据资产间的关联关系,数据服务中的数据源头方跟数据使用方展示数据,用数据资产地图展示组织范围内的数据申请和调用。

数据资产发现:

通过智能算法,自动解析数据标准中文名称和英文名称,智能识别数据标准并给出落标推荐意见。

数据资产概要:

从整体展现数据资产概要展示,包含业务系统,数据源,数据标准,质量规则等信息。

方案案例及效果

1. 构建全行数据全景视图,提升数据资产管理能力

覆盖全部数据资产类型、系统和平台,构建数据资产全景视图,方便数据标准、数据质量等管理要求的统一落地。数据资产纳入了包含内部数据和外部数据,结构化数据和非结构化(大数据云平台)、基础数据和加工数据等。

2. 智能化场景服务,提供一站式数据资产应用

打通全行各部门的数据资产共享,提供了智能搜索,智能推荐等一站式服务,降低了数据使用门槛,提高了数据服务效率,改善用户体验,真正实现数据资产的应用。

方案未来展望

数据资产作为生产要素推进市场化,需要关注数据资产运营和确权。北京银行正加速推进数据化转型,智能化数据资产管理平台的投产大大提升了我行数据资产管理水平,未来将对区块链,数据安全等技术进行研究,在保证数据信息安全的前提下,积极拓展新技术实践和业务场景的应用,为实现我行数据资产价值化、资产化,释放数据赋能效应奠定基础。