01挑战
开门红大屏,预计峰值10W消息/秒,数据量大,实时性要求高,原有基于Oracle的方案存在以下不足:
- 延迟大,无法满足实时性要求
- 存储过程的并发计算限制
- 对Oracle核心库资源争用
- 系统缺乏水平扩展性
02方案
利用MongoDB加SparkStreaming的高速流式数据处理架构:
- 业务数据改造写入MQ
- Spark与MongoDB双向读写,统计排名写入MongoDB
03效果
- 实时性:数据刷新从4分钟减少到2秒。
- 扩展性:MongoDB和Spark都是水平横向扩展的架构,简单添加节点即可扩展集群的整体处理能力。
- 简化架构:不再依赖触发器、存储过程和数据复制软件这些复杂的数据处理机制。降低了核心Oracle数据库的压力,降低平台的维护复杂度。






