移动端软件一体化质量保障方案及平台
所属单位:中金金融认证中心有限公司
参与奖项:最佳金融科技安全奖
评委评分:
热度 (转发微信朋友圈或群可以帮助增加热度)
获奖评语:App已经成为了金融业接触客户开展服务的一线,面对形形色色的不同客户,面对不同的环境,是App和柜台工作人员同样面对的问题。移动端软件一体化质量保障方案及平台在解决这个问题的同时,实现了分段自动化测试方案,适用于各类复杂测试场景,专为金融行业设计,是针对行业痛点的优秀解决方案。
微信扫码分享此评选

中金金融认证中心有限公司(即中国金融认证中心,简称CFCA)的移动端软件一体化质量保障方案及平台采用B/S架构,通过浏览器登陆,可远程控制连接在服务器端的移动设备,进行APP的安装卸载,并针对APP进行兼容性测试、自动化测试、性能稳定性测试。平台服务端支持分布式部署,实现了对大量移动设备的高效控制。

本方案结合了多种自动化测试技术,如Appium、Adb、Monkey、Macaca、Airtest等,同时为了更加适用于实际测试场景,提高测试效率,创新性设计开发了测试脚本切割分段,自动化测试过程随时可控的方案,很好的解决了当今移动客户端功能复杂多样、不易自动化测试的问题。本项目涉及的所有信息技术均采用前沿技术,将传统的以人工为主的测试手段改变为以自动化在线测试工具与人工评估相结合的测试手段,实现测试的“工具服务化”与“服务平台化”。目前,该方案已在多家银行成功实施,反响良好,处于行业领先地位。

方案背景

随着互联网的深入发展,银行业在线下网点渠道之外,逐渐形成了一套完备的线上渠道,包括网上银行、手机银行、微信银行、直销银行以及小程序、门户网站等。各渠道均有自身独特的价值,在差异化的基础上,也形成了协同线上线下、全天候实时为客户提供所需服务的能力。在诸多渠道中,移动客户端已经成为最重要的获渠道,成为银行互联网竞争的主战场。

但随着用户量持续提升、功能不断丰富,移动客户端在各类移动设备中运行的兼容性、适配性及性能问题日益凸显,例如闪退、UI异常、无法安装、卡顿、响应时间过长等。这些问题具有隐蔽性强、测试成本高、问题影响严重等特点,已经成为当前客户端研发亟待解决的难题。

为解决上述问题,CFCA以国际质量模型为基础、系统工程思想为依托、国家政策行业规范为指导,有针对性的提出了全方位的移动端软件一体化质量保证方案,内容涵盖了功能测试、性能测试、兼容性测试、稳定性测试等,并以此为基础研发了移动端软件一体化质量保障方案及平台,力争为中国移动互联网信息产业化发展保驾护航。

方案目标

在当今竞争激烈的移动应用领域,一个移动客户端的质量直接影响着其用户量和市场份额。移动客户端应具有高质量,并与所有硬件、软件、操作系统和平台兼容。移动端软件一体化质量保障方案及平台能够涵盖以下各个方面的测试,便于找出各质量属性间动态平衡,以达到最佳的客户体验。

1)兼容性测试

通过本平台,移动客户端研发单位可以便捷快速的完成上百台设备的兼容性测试,快速发现适配问题,尽可能达到平台无关性,进一步提高产品的质量。

2)性能测试

移动客户端研发单位可以获得软件在各类设备中运行的性能指标,为APP进行实时“体检”,有效的帮助企业优化APP性能,提升客户体验。

3)功能测试

本平台可自动对APP进行UI测试、安装与卸载测试、登录运行测试、升级更新等功能性测试,并收集测试结果生成测试报告,快速发现功能缺陷。

方案特点

目前国内外虽提供了较多的同类平台,但解决的问题集中而局限,没有一种平台能够集中为银行等金融行业服务,提供适应于行业特点的移动客户端检测。针对金融行业移动客户端软件安全控件多、生物活体检测过程多、安全认证多的特点,本方案创新设计了基于复杂测试场景的分段自动化测试方案,支持自动化测试流程的人工干预,将测试脚本按需求划分成脚本片段,并以每个片段为单位进行脚本的执行,各片段执行间隔可随时进行人工干预。方案适用于存在生物识别、安全控件等认证方式的各类复杂测试场景。

方案业务流程图

实现功能展示

移动端软件一体化质量保障方案及平台实现了APP兼容性测试、功能测试、性能稳定性测试等几大功能的集成。平台采用B/S架构设计,通过浏览器登陆,可远程控制连接在服务器端的移动设备,进行APP的安装卸载及远程测试。平台服务端支持分布式部署,实现了对大量移动设备的高效控制。同时,为了更加适用于实际测试场景,提高测试效率,创新性设计开发了测试脚本切割分段、自动化测试过程随时可控的方案,解决了当今移动客户端功能复杂多样、不易自动化测试的问题。

1. 兼容性测试:可自动在设备中安装被测APP,进行指定时间内的随机点击或者依照测试脚本测试,并收集测试结果生成测试报告。测试报告包含测试过程中所有测试步骤设备截屏,以及运行时错误日志数据。通过兼容性测试模块可以有效掌握APP在各类移动设备中运行的适配情况。

2. 性能&稳定性测试:平台通过模拟用户自主行为,在指定时间内连续运行自动化测试场景,得出被测APP在不同机型不同操作系统版本的性能指标,包括:APP的上行、下行网络流量统计,APP的安装、启动、卸载用时,运行时设备CPU占用情况,内存占用情况,电池耗电量和电池温度统计,设备GPU占用情况,FPS帧率统计,ANR崩溃次数统计等。稳定性测试通过模拟APP连续运行24小时、72小时等超长时间用户使用行为,考察被测APP在手机上的稳定、持久表现,得出APP健壮性指标。

3. 功能测试:可自动在设备中安装被测APP,进行指定时间内的随机点击或者依照测试脚本自动对APP进行UI测试、安装与卸载测试、登录运行测试、升级更新等功能性测试,并收集测试结果生成测试报告。测试报告包含测试过程中所有测试步骤设备截屏,以及运行时错误日志数据。

本项目主要包括云平台、自动化测试服务端以及手机端框架,系统版本号为V1.0。云平台提供了被测APP安装包管理、测试脚本录制及管理、测试任务创建和执行、测试报告查询和导出等功能;自动化测试服务端主要负责自动化测试执行、手机端性能数据收取、测试结果校验保存等;手机端框架主要负责自动化测试命令发送操作、性能数据收集等功能。涉及的所有信息技术均采用前沿技术,成功实现了移动客户端的一体化检测。截至2019年底,该方案已在多家银行成功实施,反响良好,处于行业领先地位。

方案案例及效果

本方案目前已经在中国银行、中国农业银行、交通银行、浦东发展银行、北京银行、长沙银行、上海农商银行、大丰农商行、苏州银行、花旗银行、广发银行、秦皇岛银行、安徽农信、亿联银行等机构上线使用。

中国农业银行使用移动端软件一体化质量保障方案及平台进行手机银行质量检测,特别是开放了银行SDK的检测后,移动客户端的质量得到显著提升,保障了农行客户的正常使用。

北京银行手机银行、小程序、公众号使用了移动端软件一体化质量保障方案及平台后,在生产运行过程中,未出现过由于兼容性问题导致的客户投诉,有效的确保了移动客户端的正常运行。

由于平台反响良好,2018年起,CFCA与新浪财经开始合作,成为新浪财经年度金融客户端评比的指定评估单位,每年为新浪财经提供各银行手机银行、直销银行和城商行在内的近百家银行APP在200款不同系统版本、不同分辨率、不同品牌的主流设备上的运行情况及性能数据。CFCA与新浪财经的合作,不仅给各银行的用户展示了直观的数据分析结果,更能协助各个银行发现并分析问题所在,使银行APP的兼容性问题得到真正的优化。这种兼顾测试场景设计、性能数据分析、兼容问题定位的思维过程,也充分展示了CFCA软件测评团队成员所考虑内容的广度和深度。

本项目不仅能够解决移动客户端的适配难题,更能够产生巨大的经济效益和社会效益,主要体现在以下几个方面。

1) 经济效益

本项目采用自动化测试手段代替了传统手工测试方式来解决客户端兼容性问题,节约了大量的测试人力和时间成本。据不完全统计,截至2019年底,平台已为移动客户端开发方节省测试设备费及测试人力成本费用百余万元,大大降低了企业成本。

2) 行业效益

当前,优质运营已经成为各个金融机构的核心任务,移动客户端是各金融机构开展运营工作的重要前沿阵地及核心抓手。移动客户端的质量在某种程度上对金融机构的声誉具有重要的影响。本项目可以高效检测出APP的兼容性问题和功能问题,并能够收集移动客户端在运行中的状态数据,实现运行时质量态势感知,有效的协助开发商高效、快速的对移动客户端进行优化,创造出稳定、优质的APP。这种稳定和优质的产品反过来也提高了金融机构的声誉,推动金融机构取得成功。

3) 社会效益

本项目服务于众多银行等金融机构,已形成比较完整的行业数据库,并逐渐形成了银行等金融行业标准数据,一方面对于促进金融行业尤其是银行业移动客户端的质量保证与科学运维管理具有重要的作用,另一方面能够为金融监管机构提供大量有效数据,有助于监管机构对金融机构的经营行为实施有效约束,确保金融体系的安全稳健运行。

方案未来展望

一场突如其来的全球疫情加速了金融业务线上化和远程办公等应用的发展,也带来了诸多挑战。“移动端软件一体化质量保障方案及平台”在这次疫情下的远程办公过程中发挥了巨大作用,测试人员可以通过平台远程进行测试任务的创建、发起及自动化测试等操作,并能够通过远程真机的方式为移动客户端开发方提供机器的使用,有效保障了测试服务的高效高质量实施。

通过“移动端软件一体化质量保障方案及平台”,我们能够把测试服务以云服务的模式提供各类企业,帮助他们提高生产效率,降低成本,对企业减负赋能将起到不可小觑的推动意义,势必能够被越来越多的企业所选择和信赖。

近两年来,国家开始对移动客户端检测提出了更加多元化的要求,以期满足各类人群对移动客户端的使用需求,例如:适老化、无障碍等。我司作为金融行业信息安全服务提供商,多年来一直秉承“满足监管要求,服务客户需要”的原则,致力于为企业提供更加便捷优质的服务,定会积极响应国家政策,致力于适老化、无障碍等检测服务的研究和集成,将“移动端软件一体化质量保障方案及平台”打造成为更加一体化、更加多元化的服务平台,力争为企业提供越来越全面的质量保障服务,推动企业取得成功。