01问题
- 现代金融应用中基于大数据的推荐系统日益重要,能够满足实时联机性能,是关键要求。
- 业务需要每天从全部历史交易中,选出1000万目标客户,并可按不同的字段查询,并在5秒内必须返回全部结果。
- 传统数据库无法处理这么大的数据量,HBase又无法提供灵活查询的能力,需要新的解决方案。
02方案
- Hadoop/Storm每日离线计算客户的交易流水,根据一定的规则,每日选取1000万的用户数据;
- Storm将这1000万数据,以及不同的业务数据集,写入MongoDB以供查询;
- 前端应用直接从MongoDB查询这些数据集实现实时返回。
03收益
- MongoDB与大数据平台集成后,实现了5秒必须返回的性能要求;
- 目前支持1000万客户营销,未来将增加到2000到3000万客户营销。









