StarRocks Flink Connector 版本发布说明
通知
用户指南
源代码: starrocks-connector-for-apache-flink
JAR 文件命名格式
- Flink 1.15 及以上版本：
flink-connector-starrocks-${connector_version}_flink-${flink_version}.jar - Flink 1.15 之前版本：
flink-connector-starrocks-${connector_version}_flink-${flink_version}_${scala_version}.jar
获取 JAR 文件的方法
- 直接从 Maven Central 仓库 下载 Flink 连接器 JAR 文件。
- 在您的 Maven 项目的
pom.xml文件中添加 Flink 连接器作为依赖并下载。有关具体说明，请参阅 用户指南。 - 将源代码编译成 Flink 连接器 JAR 文件。有关具体说明，请参阅 用户指南。
版本要求
| 连接器 | Flink | StarRocks | Java | Scala |
|---|---|---|---|---|
| 1.2.12 | 1.16,1.17,1.18,1.19,1.20 | 2.1 及更高版本 | 8 | 2.11,2.12 |
| 1.2.11 | 1.15,1.16,1.17,1.18,1.19,1.20 | 2.1 及更高版本 | 8 | 2.11,2.12 |
| 1.2.10 | 1.15,1.16,1.17,1.18,1.19 | 2.1 及更高版本 | 8 | 2.11,2.12 |
| 1.2.9 | 1.15,1.16,1.17,1.18 | 2.1 及更高版本 | 8 | 2.11,2.12 |
| 1.2.8 | 1.13,1.14,1.15,1.16,1.17 | 2.1 及更高版本 | 8 | 2.11,2.12 |
| 1.2.7 | 1.11,1.12,1.13,1.14,1.15 | 2.1 及更高版本 | 8 | 2.11,2.12 |
注意
一般来说，最新版本的 Flink 连接器仅保持与最近三个 Flink 版本的兼容性。
发布说明
1.2
1.2.12
发布日期：2025 年 9 月 19 日
改进
Bug 修复
已修复以下问题：
1.2.11
发布日期：2025 年 6 月 3 日
功能
改进
- 添加了一个禁用将 JSON 包装到 JSON 数组中的选项。 #344
- 更新了 FastJSON 以解决 CVE-2022-25845。 #394
- 从警告日志中移除了数据行指标，以避免在日志中暴露有效负载。 #420
Bug 修复
- StarRocksDynamicTableSource 的影子克隆导致的错误下推结果（修复后，将使用 StarRocksDynamicTableSource 的深拷贝）。 #421
1.2.10
功能
- 支持读取 JSON 列。 #334
- 支持读取 ARRAY、STRUCT 和 MAP 列。 #347
- 支持在以 JSON 格式下沉数据时使用 LZ4 压缩。 #354
- 支持 Flink 1.19。 #379
改进
- 支持配置套接字超时。 #319
- Stream Load 事务接口支持异步
prepare和commit操作。 #328 - 支持将 StarRocks 表中的部分列映射到 Flink 源表。 #352
- 使用 Stream Load 事务接口时支持设置特定仓库。 #361
Bug 修复
修复了以下问题
StarRocksDynamicLookupFunction中的StarRocksSourceBeReader在数据读取完成后未关闭。 #351- 将空的 JSON 字符串加载到 JSON 列时抛出异常。 #380
1.2.9
本次发布包含一些新功能和错误修复。最显著的改进是 Flink 连接器与 Flink CDC 3.0 集成，可以轻松地从 CDC 源（如 MySQL 和 Kafka）构建到 StarRocks 的流式 ELT 管道。您可以在 使用 Flink CDC 3.0 同步数据（支持 Schema 变更） 中找到详细信息。
功能
- 实现 Catalog 以支持 Flink CDC 3.0。 #295
- 在 FLIP-191 中实现新的 Sink API，以支持 Flink CDC 3.0。 #301
- 支持 Flink 1.18。 #305
Bug 修复
1.2.8
本次发布包含一些改进和错误修复。主要变更如下：
- 支持 Flink 1.16 和 1.17。
- 建议在配置 Sink 时设置
sink.label-prefix以保证 exactly-once 语义。有关具体说明，请参阅 Exactly Once。
改进
- 支持配置是否使用 Stream Load 事务接口来保证 at-least-once。 #228
- 为 Sink V1 添加了重试指标。 #229
- 当 EXISTING_JOB_STATUS 为 FINISHED 时，无需获取 LabelState。 #231
- 移除 Sink V1 的无用堆栈跟踪日志。 #232
- [重构] 将 StarRocksSinkManagerV2 移至 stream-load-sdk。 #233
- 根据 Flink 表的 Schema 自动检测部分更新，而不是用户显式指定的
sink.properties.columns参数。 #235 - [重构] 将 probeTransactionStreamLoad 移至 stream-load-sdk。 #240
- 为 stream-load-sdk 添加 git-commit-id-plugin。 #242
- 使用 info 日志记录 DefaultStreamLoader#close。 #243
- 支持生成不含依赖项的 stream-load-sdk JAR 文件。 #245
- 在 stream-load-sdk 中将 fastjson 替换为 jackson。 #247
- 支持处理 update_before 记录。 #250
- 将 Apache 许可证添加到文件中。 #251
- 支持在 stream-load-sdk 中获取异常。 #252
- 默认启用
strip_outer_array和ignore_json_size。 #259 - 当 Flink 作业恢复且 Sink 语义为 exactly-once 时，尝试清理遗留的事务。 #271
- 重试失败后返回第一个异常。 #279
Bug 修复
测试
- 添加了从 Kafka 加载到 StarRocks 的测试框架。 #249
文档
