中国太平保险集团有限责任公司

挑战

开门红大屏，预计峰值10W消息/秒，数据量大，实时性要求高，原有基于Oracle的方案存在以下不足：

- 延迟大，无法满足实时性要求

- 存储过程的并发计算限制

- 对Oracle核心库资源争用

- 系统缺乏水平扩展性

方案

利用MongoDB加SparkStreaming的高速流式数据处理架构：

- 业务数据改造写入MQ；

- Spark与MongoDB双向读写，统计排名写入MongoDB。

效果

实时性：数据刷新从4分钟减少到2秒。

扩展性：MongoDB和Spark都是水平横向扩展的架构，简单添加节点即可扩展集群的整理处理能力。

简化架构：不再依赖触发器、存储过程和数据复制软件这些复杂的数据处理机制。降低了核心Oracle数据库的压力，降低平台的维护复杂度。