项目背景：
目前，该银行已经汇集了近30年的历史数据，但是核心业务系统只能提供短则几个月的客户历史交易明细，且单次查询时间段跨度不能超过一年；
一年前的交易数据以光盘库、磁带库等形式存放，导致查询效率低查询成本高。
解决方案：
- 采用Hubble分布式数据存储的方案，搭建高性能、可扩展的实时数仓。
- 将过往存储在不同的介质上的结构化、半结构化和非结构化数据数据导入Hubble数据库的TP库，通过SQL语句实现数据编码格式转换、字段分隔符、校验等清洗及加工，通过AP库为查询分析系统提供查询服务。
- 通过优化+索引的数据字段定义格式存储，提升查询速度。
- 流处理方式将在业务系统数据进行实时同步。
- 定制开发可通过前端界面查询的分析系统，提升业务处理能力。
- 提供全量数据在线备份，保证数据完整性。提供完整的数据入库流程检查，后续如果出现数据问题轻松查明产生原因。同时，为了应对银行的主备集群灾备策略，提供增量数据备份功能。
项目成果
- 该项目实现了该银行全量积累的近40亿笔交易数据在线实时、异步长时间跨度的查询功能。
- 实时查询交平均响应时在200毫秒左右，异步查询交易平均完成时间在1分钟左右。
- 定制开发的查询分析系统，能同时实现对公活期定期历史交易明细查询、内部帐历史交易明细查询等十余种大批量查询。
- 采用分布式架构，解决海量据在线服务问题，稳定性提高至原来的300%、处理效率提高了1186%。
- 本项目不仅实现了该银行业务目标，同时也助力该银行获得了同年度中国金融行业最佳创新项目奖。
