跳到主要内容
版本: 最新版本-3.5

BladePipe

简介​

BladePipe 是一个实时端到端数据复制工具，可在 30 多个数据库、消息队列、搜索引擎、缓存系统、实时数据仓库、数据湖等之间移动数据，具有超低延迟的特点。它具有高效、稳定和可扩展性，兼容各种数据库引擎、一站式管理、增强的安全性以及复杂的数据转换。 BladePipe 帮助打破数据孤岛，增加数据的价值。

image.png

功能​

BladePipe 提供了一个可视化管理界面，让您可以轻松创建 DataJob 以实现模式迁移、数据迁移、同步、验证和更正等。此外，它还支持通过参数设置进行更精细和定制的配置。现在，BladePipe 支持将数据从以下来源 DataSources 移动到 StarRocks

源 DataSource模式迁移数据迁移数据同步验证与更正
MySQL/MariaDB/AuroraMySQL是是是是
Oracle是是是是
PostgreSQL/AuroraPostgreSQL是是是是
SQL Server是是是是
Kafka否否是否
AutoMQ否否是否
TiDB是是是是
Hana是是是是
PolarDB for MySQL是是是是
Db2是是是是
信息

有关支持的功能和参数设置的更多信息，请参阅BladePipe 连接。

安装​

按照安装 BladePipe Worker (Docker)或安装 BladePipe Worker (Binary)中的说明下载并安装 BladePipe Worker。

示例​

以下部分以 MySQL 实例为例，介绍如何将数据从 MySQL 迁移到 StarRocks。

添加 DataSources​

  1. 登录到BladePipe Cloud。单击 DataSource > 添加 DataSource。

  2. 选择 StarRocks 作为 类型，并填写设置表单。

    • 客户端地址：StarRocks 提供给 MySQL 客户端的端口。 BladePipe 通过它查询数据库中的元数据。
    • 帐户：StarRocks 数据库的用户名。 需要 INSERT 权限才能将数据写入 StarRocks。 按照GRANT中提供的说明授予数据库用户 INSERT 权限。
    • Http 地址：用于接收来自 BladePipe 的请求以将数据写入 StarRocks 的端口。

    image.png

  3. 单击 测试连接。 连接成功后，单击 添加 DataSource 以添加 DataSource。

  4. 按照上述步骤添加 MySQL DataSource。

创建 DataJob​

  1. 单击 DataJob > 创建 DataJob。

  2. 选择源和目标 DataSources，然后单击 测试连接 以确保与源和目标 DataSources 的连接都成功。

    image.png

  3. 对于 DataJob 类型，选择 增量，以及 全量数据 选项。

    image.png

  4. 选择要复制的表。 请注意，模式迁移后自动创建的目标 StarRocks 表具有主键，因此目前不支持没有主键的源表。

    image.png

  5. 选择要复制的列。

    image.png

  6. 确认 DataJob 创建。

    image.png

  7. DataJob 自动运行。 BladePipe 将自动运行以下 DataTasks

    • 模式迁移：源表的模式将迁移到目标实例。
    • 全量数据：源表的所有现有数据将完全迁移到目标实例。
    • 增量：正在进行的数据更改将持续同步到目标实例（延迟小于一分钟）。

image.png