数据研发工作站是北京银行基于微服务架构自主研发的一站式数据开发运营平台。该平台的目标是建立高效数据智能研发流水线，在数据研发过程中降成本、增能效、提质量，促进自主掌握。平台的技术架构主要分为数据来源层、批数据处理工具层、微服务架构基础支持层、微服务架构业务服务层、前端展示层、外部对接层六个层次。为顺应银行数字化转型趋势，该平台设计了管理中心、开发中心、质量中心、资产中心、监控中心五大中心模块，打通了行内数据研发人员贯穿分析、设计、开发、测试、交付于一体的数据研发流水线，通过流程化、标准化、自动化，缩短整体研发与交付周期，有效提升数据及代码质量，实现数据项目快速交付与规模化输出。

方案背景

在经济新常态下，银行正面临持续加深的市场化改革和互联网金融大潮的双重挑战。《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》中要求：健全安全高效的金融科技创新体系，搭建业务、技术、数据融合联动的一体化运营中台，建立智能化风控机制，全面激活数字化经营新动能。因此，为响应国家号召，银行业需要从以下两方面来提高自身金融科技创新能力：

第一，在科技管理层面，银行需要建立统一管控体系，实现项目集中化管理、提升自主掌控能力，降低系统运行和维护风险；

第二，在架构层面，银行需要统一的技术路线、技术架构和数据标准，不断积累可复用的企业资产，提升系统快速交付能力。

方案目标

该通过创建稳定的交付体系，实现数据交付过程的标准化和自动化，提升交付质量和交付效率。

一、标准化数据交付流程：优化数据交付流程，制定统一的源系统调研模板、模型映射模板、数据测试标准。打通数据交付全生命周期，形成标准化数据交付流水线。

二、线上化数据交付工具：整合数据研发工具，对接元数据管理系统、数据资产管理平台，实现模型设计、ETL程序开发调试、调度程序开发、数据测试、程序打包等环节的线上化。

三、自动化数据交付过程：支持贴源层数据的自动入湖、模型模板化导入导出、ETL和调度程序的配置化开发、程序自动化打包和一键部署，减少人工处理环节，提高交付效能。

四、形成研发过程资产沉淀：对数据标准、调研结果、模型设计、指标规则、元数据进行系统化记录，实现研发过程资产沉淀，便于管理和复用。

方案特点

该平台功能覆盖数据交付全生命周期，包括任务管理、数据调研、模型设计、数据开发、数据测试、打包投产。各环节特点如下：

一、任务管理：支持数据研发任务登记和工单分配，提供任务管理看板，支持任务状态的监控和跟踪。

二、数据调研：统一数据调研模板，支持表级和字段级调研结果的维护，支持项目组间共享调研结果。

三、模型设计：对接数据资产管理平台，支持数据标准的落地和校验；支持线上模型设计，以及模型映射模板的导入导出；支持模型的审核和发布。

四、数据开发：对接元数据管理平台，支持贴源基础数据的自动入湖；支持根据模型映射自动生成数据加工ETL程序，支持程序的线上调试和修改；支持调度程序的配置化开发。

五、数据测试：支持包括空值率、主键校验、结果集记录数校验等单元测试，并自动生成测试案例。实现自动化数据准备、自动化数据检查、测试案例沉淀。

六、数据交付：支持程序自动化打包和版本管理。

方案业务流程图

一、业务架构图

该平台遵循行内顺天技术平台技术规范，采用微服务的架构，利用一致的可共享的数据模型，致力于提高系统的灵活性、可扩展性、安全性以及并发处理能力。

二、功能架构图

该平台面向行内数据湖基础区、集市区的数据加工，服务于相应区域的模型人员、开发人员、及总分行科技人员。通过创建稳定的交付体系，实现数据交付过程的标准化和自动化，提升交付质量和交付效率。

实现功能展示

一、管理者视图

提供管理者视图看板，可视化展示当前项目组进度、任务审批、数据统计、需求统计等。

二、灵活化数据建模
 

提供线上化、线下Excel、DDL语句等多种建模方式，同时，研发工作站有统一词根库，支持自动化词根匹配。

三、便捷化数据开发

支持可视化开发、Mapping开发、IDE等多种开发方式，并设有固定的算法模板供开发人员直接引用。

四、保障性数据质量

支持数据质量检核，包括主键校验、空值校验、长度检验等。

五、共享化数据资产

支持湖上数据资产全局展示，资产共享，支持表级字段级全链路分析。

方案案例及效果

一、总行数据湖系统的应用

该平台已支持总行数据湖系统自动化入湖的开发，累计实500+自动化入湖任务。从之前的手动写脚本、手动验证到现在的自动对接行内元数据管理平台生成存储函数，也将支持生成从业务系统数据库落文件的脚本及从业务系统数据库直接落到行云库的脚本，提升了数据湖系统的整体开发效能。

二、总行数据服务集市的应用

该平台已支持总行数据服务集市的全生命周期开发，累计实现存量及新增5+项目需求，为下游询证函、管理驾驶舱等应用项目提供有力的数据支撑。

三、总行零售数据集市的应用

该平台已支持总行零售数据集市的全生命周期开发，累计实现存量及新增3+项目需求，为下游零售客户标签池、多维计算系统、掌上银行家等应用项目提供有力的数据支撑。

方案未来展望

为健全安全高效的金融科技创新体系，该平台未来将会是一站式全生命周期的开发运营平台，实现开发过程可跟踪，运行状态可追溯，开发过程的资产沉淀，投产过程的一站式部署。实现研发过程的全流程标准化和自动化，提升全生命周期开发效率。同时，通过自动化和配置化，提升整体交付效能30%以上。