当前银行网点营销手段较为单一，营销内容缺乏针对性，在物理区域布局上，缺乏有效的VIP客户分析和电子导引；在展示内容上，缺乏面向客户的个性化定制内容。

为改善这一现状，提高用户体验及银行的效益，依托人工智能技术，应用人脸检测与识别、人体外形特征和运动特征算法，并应用轨迹合并、位置映射算法，从摄像枪机、广角摄像机、鱼眼摄像机的非结构化视频数据中提取人脸、客户轨迹、客户停留时间等结构化数据建立用户画像系统。系统可以完整还原客户个体在场景中的行为数据，并结合场景3D模型进行轨迹展现。系统通过对基础数据的汇总统计，显示相关网点人流属性分布和热力分布，为网点商业决策提供依据。本项目的研究成果具有很好的扩展性，可方便地推广至智能小区的安防等相关领域。

方案背景

1. VIP客户现状

• VIP客户排队取贵宾号到VIP柜台办理业务；
• 业务推销途径被动；
• 推销产品针对性差，效果欠佳；
• 网点视频监控以标清摄像机居多，高清摄像机少的特点，无法实现在重点区域的精确人脸识别任务。

2. 亟需解决或优化的问题：

• 利用复杂场景人脸及行人重识别(ReID)，以及客户历史数据，重构客户精准画像，建立营销模型；
• 根据识别到的VIP客户，实现针对性营销，以及产品信息的精准推送；
• 有效利用现有的监控摄像机 。 

国内外研究/技术发展现状和趋势

目前，识别客户，对客户的建档，在应用人工智能技术上，一般只基于人脸识别技术，或只基于单纯的SSD、Faster-RCNN等深度学习目标检测与追踪技术。

单一的人工智能技术，例如人脸识别技术，或SSD目标检测技术，无法很好的解决精准客户识别与追踪问题。针对上述问题，提出了应用人脸检测与识别、人体跟踪与动线分析等先进的算法和技术，系统可以完整还原客户个体在场景中的行为数据，并结合场景3D模型进行轨迹展现。

国内知名的人脸识别公司，如商汤、依图等，目前主要在安防领域做人脸识别应用，比如用在火车站等场所辅助抓逃犯；云从在金融领域做人脸识别的后台比对。本公司是传统的金融机具公司，长期为银行网点提供机具等设备和相关软件，而银行网点如何精准推送银行的理财等各种产品，涉及公司不多，即使涉及，也是根据摄像机的物理位置进行简单的轨迹绘制，只能定位客户出现在哪个摄像机拍摄的区域，无法精确定位客户在该区域中的3D位置，且基于人脸识别，拍摄角度满足要求才能检测识别人员，容易出现漏识，仅能完成客户信息与摄像机编号的关联。

方案目标

1. 技术目标如下：

1）客流人次统计识别准确率95%以上；客流人数统计识别准确率95%以上；

2）客户轨迹分析位置偏差50厘米内；

3）在人脸库5万样本的情况下，人脸识别准确率99%以上；人体识别跟踪准确率93%以上。

2. 落地目标

在全国落地10个以上的银行网点。

方案特点

1. 多路摄像头视频智能融合的人脸检测技术。解决单摄像头拍摄的人脸，因遮挡、侧脸、低分辨率等造成检测不准确或无法识别问题。

2. 鱼眼摄像机可以独立实现大范围无死角监控，但分辨率不高，项目提出了基于人体外形特征和运动特征的行人重识别，来对客户进行准确识别与追踪。

3. 智能融合不同摄像机信息，利用广角摄像机和鱼眼摄像机的特点，多通道叠加认证，实现客户位置的精准定位。

4. 通过数据挖掘和数据展现技术进行数据分析，建立用户画像系统，基于线下客户行为实现精准推荐，提升销售转化。

方案业务流程图

1. 网络摄像机

• 集成人脸抓拍算法，具备对运动人脸进行检测、跟踪、抓拍、评分、筛选，输出最优的人脸抓图；
• 集成人脸跟踪及评分算法，多帧识别，自动筛选输出最优人脸，并减少重复抓拍；
• 抓图分辨率（1920*1080/1280*720）及质量（最好/较好/一般）适应网传。

2. 服务器

Intel Xeon 4116 * 2 / 64GB RAM / 480G SSD * 2/ ST 8T * 3 / LSI9361-8I(2G) /4卡GPU服务器（配技嘉1080TI * 4)。

3. 服务器

Intel Xeon 4116 / 128GB RAM / 480G SSD * 2 /960G SSD * 3 / LSI9361-8I(2G)。

各模块说明：

1.鱼眼枪机：用以在广角/鱼眼枪机图像中进行行人检测和行人空间位置的计算；

2.数个广角摄像机/球机/枪机（以下简称摄像机）：用以根据目标行人的位置，由位置对应的摄像机对目标行人进行实时跟踪和人脸图像提取；

3.算法引擎：用以根据鱼眼枪机确定的目标行人位置将跟踪任务实时分配到位置对应的摄像机，以及利用摄像机提取的人脸图像进行人脸识别。

4.智能画像后台：对其他模块过来的数据进行大数据挖掘和数据展现技术进行数据分析以实现商业价值。

实现功能展示

1. 贵宾客户实时到达提醒；

2. 网点客户行为分析与推荐；

3. 精准化营销服务策略；

4. 提升销售转化率和运营效率；

5. 网点客户和理财产品、智能设备等多维度数据全量匹配；

6. 精准识别“客户-产品”关联关系，全面覆盖线下触点；

7. 建立高维度高精度用户画像，实现一人一档；

8. 全量识别、追踪到达网点的顾客；

9. 全面数字化顾客线下行为；

10. 实现网点级别的用户画像。

方案案例及效果

建行房金中心，武汉建行金库智能轨迹，南航郑州E行馆寻人项目。

方案未来展望

智慧网点陆续上线客户画像大数据，后续该技术可以应用适合如下特点的场所，如：商超/博物馆/机场等等场所等等。

1. 人流量大；

2. 面部遮挡识别难；

3. 同行人员追溯难；

4. 重点人员轨迹查询难；

5. 实时轨迹无法追踪。