SHOW LOAD
SHOW LOAD 显示数据库中所有或者指定导入作业的信息。该语句只能显示通过 Broker Load、INSERT 和 SPARK_LOAD 创建的导入作业。您也可以通过 curl 命令查看导入作业信息。自 v3.1 起,我们建议您使用 SELECT 语句从 information_schema 数据库的 loads 表中查询 Broker Load 或 Insert 作业的结果。更多信息,请参见 数据导入。
除了上述导入方法,StarRocks 支持使用 Stream Load 和 Routine Load 导入数据。Stream Load 是一种同步操作,将直接返回 Stream Load 作业的信息。Routine Load 是一种异步操作,您可以使用 SHOW ROUTINE LOAD 语句来显示 Routine Load 作业的信息。
语法
SHOW LOAD [ FROM db_name ]
[
WHERE [ LABEL { = "label_name" | LIKE "label_matcher" } ]
[ [AND] STATE = { "PENDING" | "ETL" | "LOADING" | "FINISHED" | "CANCELLED" } ]
]
[ ORDER BY field_name [ ASC | DESC ] ]
[ LIMIT { [offset, ] limit | limit OFFSET offset } ]
注意
您可以添加
\G选项到语句(例如SHOW LOAD WHERE LABEL = "label1"\G;),以垂直显示输出,而不是通常的水平表格格式。更多信息,请参见 示例 1。
参数
| 参数 | 必需 | 描述 |
|---|---|---|
| db_name | 否 | 数据库名称。如果未指定此参数,则默认使用当前数据库。 |
| LABEL = "label_name" | 否 | 导入作业的标签。 |
| LABEL LIKE "label_matcher" | 否 | 如果指定此参数,则返回标签包含 label_matcher 的导入作业的信息。 |
| AND | 否 |
|
| STATE | 否 | 导入作业的状态。状态根据导入方法而异。
STATE 参数,则默认返回所有状态的导入作业的信息。如果指定了 STATE 参数,则仅返回给定状态的导入作业的信息。例如,STATE = "PENDING" 返回 PENDING 状态的导入作业的信息。 |
| ORDER BY field_name [ASC | DESC] | 否 | 如果指定此参数,则输出将按字段升序或降序排序。支持以下字段:JobId、Label、State、Progress、Type、EtlInfo、TaskInfo、ErrorMsg、CreateTime、EtlStartTime、EtlFinishTime、LoadStartTime、LoadFinishTime、URL 和 JobDetails。
JobId 升序对输出进行排序。 |
| LIMIT limit | 否 | 允许显示的导入作业的数量。如果未指定此参数,则显示与筛选条件匹配的所有导入作业的信息。如果指定了此参数,例如 LIMIT 10,则仅返回与筛选条件匹配的 10 个导入作业的信息。 |
| OFFSET offset | 否 | offset 参数定义要跳过的导入作业的数量。例如,OFFSET 5 跳过前五个导入作业并返回其余的作业。offset 参数的值默认为 0。 |
输出
+-------+-------+-------+----------+------+---------+----------+----------+------------+--------------+---------------+---------------+----------------+-----+------------+
| JobId | Label | State | Progress | Type | Priority | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+-------+-------+----------+------+---------+----------+----------+------------+--------------+---------------+---------------+----------------+-----+------------+
此语句的输出根据导入方法而异。
| 字段 | Broker Load | Spark Load | INSERT |
|---|---|---|---|
| JobId | StarRocks 分配的唯一 ID,用于标识 StarRocks 集群中的导入作业。 | 该字段在 Spark Load 作业中的含义与在 Broker Load 作业中的含义相同。 | 该字段在 INSERT 作业中的含义与在 Broker Load 作业中的含义相同。 |
| Label | 导入作业的标签。导入作业的标签在数据库中是唯一的,但在不同的数据库中可以重复。 | 该字段在 Spark Load 作业中的含义与在 Broker Load 作业中的含义相同。 | 该字段在 INSERT 作业中的含义与在 Broker Load 作业中的含义相同。 |
| State | 导入作业的状态。
| 导入作业的状态。
| 导入作业的状态。
|
| 进度 | 导入作业的阶段。Broker Load 作业只有 LOAD 阶段,范围从 0% 到 100%,用于描述该阶段的进度。当导入作业进入 LOAD 阶段时,State 参数返回 LOADING。Broker Load 作业没有 ETL 阶段。ETL 参数仅对 Spark Load 作业有效。注意
| 导入作业的阶段。Spark Load 作业有两个阶段
ETL 阶段时,State 参数返回 ETL。当导入作业移动到 LOAD 阶段时,State 参数返回 LOADING。注意 与 Broker Load 的相同。 | 导入作业的阶段。INSERT 作业只有 LOAD 阶段,范围从 0% 到 100%,用于描述该阶段的进度。当导入作业进入 LOAD 阶段时,State 参数返回 LOADING。INSERT 作业没有 ETL 阶段。ETL 参数仅对 Spark Load 作业有效。注意 与 Broker Load 的相同。 |
| 类型 | 导入作业的方法。此参数的值默认为 BROKER。 | 导入作业的方法。此参数的值默认为 SPARK。 | 导入作业的方法。此参数的值默认为 INSERT。 |
| Priority | 导入作业的优先级。有效值:LOWEST、LOW、NORMAL、HIGH 和 HIGHEST。 | - | - |
| EtlInfo | 与 ETL 相关的指标。
max-filter-ratio 参数的值:dpp.abnorm.ALL/(unselected.rows + dpp.abnorm.ALL + dpp.norm.ALL)。 | 该字段在 Spark Load 作业中的含义与在 Broker Load 作业中的含义相同。 | 与 ETL 相关的指标。INSERT 作业没有 ETL 阶段。因此,返回 NULL。 |
| TaskInfo | 创建导入作业时指定的参数。
| 创建导入作业时指定的参数。
| 创建导入作业时指定的参数。
|
| ErrorMsg | 导入作业失败时返回的错误消息。当导入作业的状态为 PENDING、LOADING 或 FINISHED 时,ErrorMsg 字段返回 NULL。当导入作业的状态为 CANCELLED 时,ErrorMsg 字段返回的值由两部分组成:type 和 msg。
| 导入作业失败时返回的错误消息。当导入作业的状态为 PENDING、LOADING 或 FINISHED 时,ErrorMsg 字段返回 NULL。当导入作业的状态为 CANCELLED 时,ErrorMsg 字段返回的值由两部分组成:type 和 msg。
| 导入作业失败时返回的错误消息。当导入作业的状态为 FINISHED 时,ErrorMsg 字段返回 NULL。当导入作业的状态为 CANCELLED 时,ErrorMsg 字段返回的值由两部分组成:type 和 msg。
|
| CreateTime | 导入作业创建的时间。 | 该字段在 Spark Load 作业中的含义与在 Broker Load 作业中的含义相同。 | 该字段在 INSERT 作业中的含义与在 Broker Load 作业中的含义相同。 |
| EtlStartTime | Broker Load 作业没有 ETL 阶段。因此,此字段的值与 LoadStartTime 字段的值相同。 | ETL 阶段开始的时间。 | INSERT 作业没有 ETL 阶段。因此,此字段的值与 LoadStartTime 字段的值相同。 |
| EtlFinishTime | Broker Load 作业没有 ETL 阶段。因此,此字段的值与 LoadStartTime 字段的值相同。 | ETL 阶段完成的时间。 | INSERT 作业没有 ETL 阶段。因此,此字段的值与 LoadStartTime 字段的值相同。 |
| LoadStartTime | LOAD 阶段开始的时间。 | 该字段在 Spark Load 作业中的含义与在 Broker Load 作业中的含义相同。 | 该字段在 INSERT 作业中的含义与在 Broker Load 作业中的含义相同。 |
| LoadFinishTime | 导入作业完成的时间。 | 该字段在 Spark Load 作业中的含义与在 Broker Load 作业中的含义相同。 | 该字段在 INSERT 作业中的含义与在 Broker Load 作业中的含义相同。 |
| URL | 用于访问在导入作业中检测到的不合格数据的 URL。您可以使用 curl 或 wget 命令访问 URL 并获取不合格数据。如果未检测到不合格数据,则返回 NULL。 | 该字段在 Spark Load 作业中的含义与在 Broker Load 作业中的含义相同。 | 该字段在 INSERT 作业中的含义与在 Broker Load 作业中的含义相同。 |
| JobDetails | 与导入作业相关的其他信息。
| 该字段在 Spark Load 作业中的含义与在 Broker Load 作业中的含义相同。 | 该字段在 INSERT 作业中的含义与在 Broker Load 作业中的含义相同。 |
使用说明
-
SHOW LOAD 语句返回的信息从导入作业的
LoadFinishTime起 3 天内有效。3 天后,信息将无法显示。您可以使用label_keep_max_second参数修改默认有效期。ADMIN SET FRONTEND CONFIG ("label_keep_max_second" = "value"); -
如果
LoadStartTime字段的值长时间为N/A,则表示导入作业大量堆积。我们建议您降低创建导入作业的频率。 -
导入作业消耗的总时间段 =
LoadFinishTime-CreateTime。 -
导入作业在
LOAD阶段消耗的总时间段 =LoadFinishTime-LoadStartTime。
示例
示例 1:垂直显示当前数据库中的所有导入作业。
SHOW LOAD\G
*************************** 1. row ***************************
JobId: 976331
Label: duplicate_table_with_null
State: FINISHED
Progress: ETL:100%; LOAD:100%
Type: BROKER
Priority: NORMAL
EtlInfo: unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546
TaskInfo: resource:N/A; timeout(s):300; max_filter_ratio:0.0
ErrorMsg: NULL
CreateTime: 2022-10-17 19:35:00
EtlStartTime: 2022-10-17 19:35:04
EtlFinishTime: 2022-10-17 19:35:04
LoadStartTime: 2022-10-17 19:35:04
LoadFinishTime: 2022-10-17 19:35:06
URL: NULL
JobDetails: {"Unfinished backends":{"b90a703c-6e5a-4fcb-a8e1-94eca5be0b8f":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"b90a703c-6e5a-4fcb-a8e1-94eca5be0b8f":[10004]},"FileNumber":1,"FileSize":548622}
示例 2:显示当前数据库中标签包含字符串 null 的两个导入作业。
SHOW LOAD
WHERE LABEL LIKE "null"
LIMIT 2;
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10082 | duplicate_table_with_null | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:N/A; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:53:27 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:31 | NULL | {"Unfinished backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[10002]},"FileNumber":1,"FileSize":548622} |
| 10103 | unique_table_with_null | FINISHED | ETL:100%; LOAD:100% | SPARK | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:test_spark_resource_07af473a_1230_11ed_b483_00163e0e550b; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:06 | 2022-08-02 14:56:19 | 2022-08-02 14:56:41 | 2022-08-02 14:56:41 | 2022-08-02 14:56:44 | http://emr-header-1.cluster-49091:20888/proxy/application_1655710334658_26391/ | {"Unfinished backends":{"00000000-0000-0000-0000-000000000000":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"00000000-0000-0000-0000-000000000000":[-1]},"FileNumber":1,"FileSize":8790855} |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
示例 3:显示 example_db 中标签包含字符串 table 的导入作业。此外,返回的导入作业按 LoadStartTime 字段降序显示。
SHOW LOAD FROM example_db
WHERE LABEL Like "table"
ORDER BY LoadStartTime DESC;
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10103 | unique_table_with_null | FINISHED | ETL:100%; LOAD:100% | SPARK | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:test_spark_resource_07af473a_1230_11ed_b483_00163e0e550b; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:06 | 2022-08-02 14:56:19 | 2022-08-02 14:56:41 | 2022-08-02 14:56:41 | 2022-08-02 14:56:44 | http://emr-header-1.cluster-49091:20888/proxy/application_1655710334658_26391/ | {"Unfinished backends":{"00000000-0000-0000-0000-000000000000":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"00000000-0000-0000-0000-000000000000":[-1]},"FileNumber":1,"FileSize":8790855} |
| 10082 | duplicate_table_with_null | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:N/A; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:53:27 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:31 | NULL | {"Unfinished backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[10002]},"FileNumber":1,"FileSize":548622} |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
示例 4:显示 example_db 中标签为 duplicate_table_with_null 且状态为 FINISHED 的导入作业。
SHOW LOAD FROM example_db
WHERE LABEL = "duplicate_table_with_null" AND STATE = "FINISHED";
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+----------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+----------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10082 | duplicate_table_with_null | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:N/A; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:53:27 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:31 | NULL | {"Unfinished backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[10002]},"FileNumber":1,"FileSize":548622} |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+----------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
示例 5:跳过第一个导入作业并显示接下来的两个导入作业。此外,这两个导入作业按升序排序。
SHOW LOAD FROM example_db
ORDER BY CreateTime ASC
LIMIT 2 OFFSET 1;
或
SHOW LOAD FROM example_db
ORDER BY CreateTime ASC
LIMIT 1,2;
上述语句的输出如下所示。
+-------+---------------------------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10103 | unique_table_with_null | FINISHED | ETL:100%; LOAD:100% | SPARK | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:test_spark_resource_07af473a_1230_11ed_b483_00163e0e550b; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:06 | 2022-08-02 14:56:19 | 2022-08-02 14:56:41 | 2022-08-02 14:56:41 | 2022-08-02 14:56:44 | http://emr-header-1.cluster-49091:20888/proxy/application_1655710334658_26391/ | {"Unfinished backends":{"00000000-0000-0000-0000-000000000000":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"00000000-0000-0000-0000-000000000000":[-1]},"FileNumber":1,"FileSize":8790855} |
| 10120 | insert_3a57b595-1230-11ed-b075-00163e14c85e | FINISHED | ETL:100%; LOAD:100% | INSERT | NULL | resource:N/A; timeout(s):3600; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | | {"Unfinished backends":{},"ScannedRows":0,"TaskNumber":0,"All backends":{},"FileNumber":0,"FileSize":0} |
+-------+---------------------------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+