跳到主要内容
版本: 最新版本-3.5

使用工具加载数据

StarRocks 及其生态系统合作伙伴提供以下工具来帮助您将 StarRocks 与外部数据库无缝集成。

SMT​

SMT (StarRocks Migration Tool) 是 StarRocks 提供的数据迁移工具，旨在优化复杂的数据加载管道：源数据库（例如 MySQL、Oracle、PostgreSQL）---> Flink ---> 目标 StarRocks 集群。 其主要功能如下

  • 简化 StarRocks 中的表创建：基于来自外部数据库和目标 StarRocks 集群的信息，生成在 StarRocks 中创建表的语句。
  • 简化数据管道中的完整或增量数据同步过程：生成可以在 Flink 的 SQL 客户端中运行的 SQL 语句，以提交用于同步数据的 Flink 作业。

以下流程图说明了通过 Flink 将数据从源数据库 MySQL 加载到 StarRocks 的过程。

img

DataX​

DataX 是一种离线数据同步工具，由阿里巴巴开源。 DataX 可以在各种异构数据源之间同步数据，包括关系数据库（MySQL、Oracle 等）、HDFS 和 Hive。 DataX 提供 StarRocks Writer 插件，用于将 DataX 支持的数据源中的数据同步到 StarRocks。

CloudCanal​

CloudCanal 社区版是 ClouGence Co., Ltd 发布的免费数据迁移和同步平台，集成了模式迁移、全量数据迁移、验证、更正和实时增量同步。 您可以直接在 CloudCanal 的可视化界面中添加 StarRocks 作为数据源，并创建任务以自动将数据从源数据库（例如 MySQL、Oracle、PostgreSQL）迁移或同步到 StarRocks。

Kettle 连接器​

Kettle 是一款具有可视化图形界面的 ETL（提取、转换、加载）工具，允许用户通过拖动组件和配置参数来构建数据处理工作流程。 这种直观的方法大大简化了数据处理和加载的过程，使用户能够更方便地处理数据。 此外，Kettle 提供了丰富的组件库，允许用户根据需要选择合适的组件并执行各种复杂的数据处理任务。

StarRocks 提供 Kettle 连接器以与 Kettle 集成。 通过将 Kettle 强大的数据处理和转换能力与 StarRocks 的高性能数据存储和分析能力相结合，可以实现更灵活、更高效的数据处理工作流程。