CloudCanal 免费社区版是由 ClouGence 公司推出的一款全自研的可视化、自动化数据迁移同步工具。它具备结构迁移、数据迁移、数据同步、数据校验和数据订正等核心功能,支持超过30款流行数据库之间的数据互通,包括国产数据库如OceanBase、PolarDB、TiDB等。此外,结合开源项目CloudCanalProcess,用户可以轻松实现数据的打宽表处理、通用转换、汇聚、对比和业务告警等功能。

CloudCanal 社区版支持的数据库
CloudCanal 社区版支持的数据库

新功能与优化

新链路

  • 支持 MySQL 到 AutoMQ 的结构迁移、全量同步和增量同步。
  • 支持 AutoMQ 到 MySQL 的增量同步。
  • 支持 MongoDB 到 Oracle 的全量同步和增量同步。
  • 支持 Oracle 到 ElasticSearch 的结构迁移、全量同步、增量同步、数据校验和DDL同步(加列)。
  • 支持 OceanBase 到 ElasticSearch 的结构迁移、全量同步、增量同步、数据校验和DDL同步(加列)。
  • 支持 PolarDbX 到 PostgreSQL 的结构迁移、全量同步、增量同步、数据校验与订正。

新特性

  • 支持 PostgreSQL 源端分区表的数据同步。
  • 支持 Redis 双向同步的特定命令。
  • 引入 MySQL 目标端的写入策略,解决唯一键字段更新导致的数据冲突问题。
  • 支持增量、全量同步数据按行打印到日志中,便于问题排查。
  • 支持 ElasticSearch/MongoDB 的二次数据校验。
  • 支持自建 RocketMQ 的 AK/SK 鉴权模式。
  • 支持 PostgreSQL 到 ElasticSearch 的 DDL 同步(加列)。
  • 支持 SQLServer 到 StarRocks 的 DDL 同步。
  • 支持 MySQL 8.4.x 版本的元数据查询语句差异适配。
  • 支持自动安装/升级 Sidecar 的自定义功能。
  • 支持通过 Open API 迁移任务,方便业务安全、平滑升级。
  • 支持批量对目标表增加表前缀、后缀。
  • 支持数据校验的浮点类型精度和时间精度设置。
  • 支持数据校验最大差异数量阈值设置。
  • 支持任务退出不自动重启的设置。

优化

  • 优化 Oracle 源端日志文件连续性检查,避免延迟。
  • 优化多种数据库到 ElasticSearch 的结构迁移和DDL同步架构。
  • 优化 MySQL 源端订阅时的 binlog 事件过滤。
  • 优化多种数据库的时间类型时区同步。
  • 优化 SQLServer 到 MySQL 的 DDL 同步架构。
  • 优化 PostgreSQL 到 StarRocks/Doris/MySQL/Oceanbase 的类型映射。
  • 优化 MySQL/PolarDbMySQL 源端 float/double 类型映射和数据校验。
  • 优化 cloudcanal-openapi-sdk 和 cloudcanal-sdk 的功能。
  • 优化 Docker 版 CloudCanal 的安装脚本。
  • 优化 Console 控制台页面的启动提示。

CloudCanal 社区版以其强大的功能和不断的优化,为开发、DBA或运维人员提供了快速构建在线数据应用的有力支持,其产品功能可与阿里云 DTS、亚马逊 DMS、StreamSets、AirByte 等相媲美。