全业务数据中心项目
2020-03-21

用户痛点:

 

  • 百TB历史业务数据,一次性量导入耗时耗力
  • 现有ETL工具种类繁多,使用效果都不理想
  • 数据快速查询和复杂join运算场景,查询性能低下
  • 业务变化快,需要提供扩展能力
  • 需要提供自动故障切换和集群监控告警功能
  • 需要覆盖全国27个省部署运维支持

 

解决方案:

 

  部署GreatDB Cluster分布式集群并基于业务定制数据流转接入方案

 

 

 

成果展示:

 

全国27个网省约250台x86服务器搭建行式事务数据库集群

•存储上游数十个业务系统数百TB数据,数据压缩比高达7:1

•集成基于zabbix的集群监控管理平台,按需扩展集群

•高度兼容上下游增量同步工具与ETL工具

•实时抓取同步数十个源端系统数十万张表的所有变更事务同步

•集群对外提供业务标准SQL数据查询访问

•通过跨节点join功能满足业务轻量AP需求,通过分布式并行查询满足ETL数据大批量抽取需求