StarRocks Spark Connector 版本发布说明
通知
用户指南
源码: starrocks-connector-for-apache-spark
JAR 文件命名格式: starrocks-spark-connector-${spark_version}_${scala_version}-${connector_version}.jar
获取 JAR 文件的方法
- 直接从 Maven Central Repository 下载 Spark Connector JAR 文件。
- 在 Maven 项目的
pom.xml文件中添加 Spark Connector 作为依赖项并下载。具体说明请参阅 用户指南。 - 将源代码编译成 Spark Connector JAR 文件。具体说明请参阅 用户指南。
版本要求
| Spark Connector | Spark | StarRocks | Java | Scala |
|---|---|---|---|---|
| 1.1.1 | 3.2、3.3 或 3.4 | 2.5 及更高版本 | 8 | 2.12 |
| 1.1.0 | 3.2、3.3 或 3.4 | 2.5 及更高版本 | 8 | 2.12 |
版本说明
1.1
1.1.3
此版本主要包括一些功能和改进。
功能
- Sink 支持 LZ4 压缩。 #110
改进
Bug 修复
- 由用作列名的关键字引起的解析错误。（在错误修复后，引号被添加到 BuildScan 中的列名。） #103
- 由
java.lang.String不是 DATE/TIMESTAMP 的有效外部类型引起的异常。 #111 - JSON 类型写入不正确。 #115
1.1.2
功能
- 支持 Spark v3.5。 #89
- 当使用 Spark SQL 从 StarRocks 读取数据时，支持
starrocks.filter.query参数。 #92 - 支持从 StarRocks 读取 JSON 类型的列。 #100
改进
- 优化了错误消息。当 Spark Connector 从 StarRocks 读取数据，并且
starrocks.columns参数中指定的列在 StarRocks 表中不存在时，返回的错误消息会明确显示不存在的列的名称。 #97 - 如果 Spark Connector 通过 HTTP 从 StarRocks FE 请求查询计划时发生异常，FE 将通过 HTTP 状态和实体将异常信息返回给 Spark Connector。 #98
1.1.1
此版本主要包括一些将数据加载到 StarRocks 的功能和改进。
注意
请注意将 Spark Connector 升级到此版本时的一些更改。有关详细信息，请参阅 升级 Spark Connector。
功能
改进
- 删除无用的依赖项，使 Spark Connector JAR 文件轻量级。 #55 #57
- 将 fastjson 替换为 jackson。 #58
- 添加缺失的 Apache 许可证标头。 #60
- 不要将 MySQL JDBC 驱动程序打包在 Spark Connector JAR 文件中。 #63
- 支持配置时区参数，并兼容 Spark Java8 API datetime。 #64
- 优化行字符串转换器以降低 CPU 成本。 #68
starrocks.fe.http.url参数支持添加 http 方案。 #71- 实现了接口 BatchWrite#useCommitCoordinator 以在 DataBricks 13.1 上运行 #79
- 在错误日志中添加了检查权限和参数的提示。 #81
Bug 修复
- 解析 CSV 相关参数
column_separator和row_delimiter中的转义字符。 #85
文档
- 重构文档。 #66
- 添加将数据加载到 BITMAP 和 HLL 列的示例。 #70
- 添加用 Python 编写的 Spark 应用程序的示例。 #72
- 添加加载 ARRAY 类型数据的示例。 #75
- 添加对主键表执行部分更新和条件更新的示例。 #80
1.1.0
功能
- 支持将数据加载到 StarRocks。
1.0
功能
- 支持从 StarRocks 卸载数据。