SHOW LOAD
SHOW LOAD 显示数据库中所有或者指定导入作业的信息。该语句只能显示通过 Broker Load、INSERT 和 SPARK_LOAD 创建的导入作业。您也可以通过 curl
命令查看导入作业信息。自 v3.1 起,我们建议您使用 SELECT 语句从 information_schema
数据库的 loads
表中查询 Broker Load 或 Insert 作业的结果。更多信息,请参见 数据导入。
除了上述导入方法,StarRocks 支持使用 Stream Load 和 Routine Load 导入数据。Stream Load 是一种同步操作,将直接返回 Stream Load 作业的信息。Routine Load 是一种异步操作,您可以使用 SHOW ROUTINE LOAD 语句来显示 Routine Load 作业的信息。
语法
SHOW LOAD [ FROM db_name ]
[
WHERE [ LABEL { = "label_name" | LIKE "label_matcher" } ]
[ [AND] STATE = { "PENDING" | "ETL" | "LOADING" | "FINISHED" | "CANCELLED" } ]
]
[ ORDER BY field_name [ ASC | DESC ] ]
[ LIMIT { [offset, ] limit | limit OFFSET offset } ]
注意
您可以添加
\G
选项到语句(例如SHOW LOAD WHERE LABEL = "label1"\G;
),以垂直显示输出,而不是通常的水平表格格式。更多信息,请参见 示例 1。
参数
参数 | 必需 | 描述 |
---|---|---|
db_name | 否 | 数据库名称。如果未指定此参数,则默认使用当前数据库。 |
LABEL = "label_name" | 否 | 导入作业的标签。 |
LABEL LIKE "label_matcher" | 否 | 如果指定此参数,则返回标签包含 label_matcher 的导入作业的信息。 |
AND | 否 |
|
STATE | 否 | 导入作业的状态。状态根据导入方法而异。
STATE 参数,则默认返回所有状态的导入作业的信息。如果指定了 STATE 参数,则仅返回给定状态的导入作业的信息。例如,STATE = "PENDING" 返回 PENDING 状态的导入作业的信息。 |
ORDER BY field_name [ASC | DESC] | 否 | 如果指定此参数,则输出将按字段升序或降序排序。支持以下字段:JobId 、Label 、State 、Progress 、Type 、EtlInfo 、TaskInfo 、ErrorMsg 、CreateTime 、EtlStartTime 、EtlFinishTime 、LoadStartTime 、LoadFinishTime 、URL 和 JobDetails 。
JobId 升序对输出进行排序。 |
LIMIT limit | 否 | 允许显示的导入作业的数量。如果未指定此参数,则显示与筛选条件匹配的所有导入作业的信息。如果指定了此参数,例如 LIMIT 10 ,则仅返回与筛选条件匹配的 10 个导入作业的信息。 |
OFFSET offset | 否 | offset 参数定义要跳过的导入作业的数量。例如,OFFSET 5 跳过前五个导入作业并返回其余的作业。offset 参数的值默认为 0 。 |
输出
+-------+-------+-------+----------+------+---------+----------+----------+------------+--------------+---------------+---------------+----------------+-----+------------+
| JobId | Label | State | Progress | Type | Priority | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+-------+-------+----------+------+---------+----------+----------+------------+--------------+---------------+---------------+----------------+-----+------------+
此语句的输出根据导入方法而异。
字段 | Broker Load | Spark Load | INSERT |
---|---|---|---|
JobId | StarRocks 分配的唯一 ID,用于标识 StarRocks 集群中的导入作业。 | 该字段在 Spark Load 作业中的含义与在 Broker Load 作业中的含义相同。 | 该字段在 INSERT 作业中的含义与在 Broker Load 作业中的含义相同。 |
Label | 导入作业的标签。导入作业的标签在数据库中是唯一的,但在不同的数据库中可以重复。 | 该字段在 Spark Load 作业中的含义与在 Broker Load 作业中的含义相同。 | 该字段在 INSERT 作业中的含义与在 Broker Load 作业中的含义相同。 |
State | 导入作业的状态。
| 导入作业的状态。
| 导入作业的状态。
|
进度 | 导入作业的阶段。Broker Load 作业只有 LOAD 阶段,范围从 0% 到 100%,用于描述该阶段的进度。当导入作业进入 LOAD 阶段时,State 参数返回 LOADING 。Broker Load 作业没有 ETL 阶段。ETL 参数仅对 Spark Load 作业有效。注意
| 导入作业的阶段。Spark Load 作业有两个阶段
ETL 阶段时,State 参数返回 ETL 。当导入作业移动到 LOAD 阶段时,State 参数返回 LOADING 。注意 与 Broker Load 的相同。 | 导入作业的阶段。INSERT 作业只有 LOAD 阶段,范围从 0% 到 100%,用于描述该阶段的进度。当导入作业进入 LOAD 阶段时,State 参数返回 LOADING 。INSERT 作业没有 ETL 阶段。ETL 参数仅对 Spark Load 作业有效。注意 与 Broker Load 的相同。 |
类型 | 导入作业的方法。此参数的值默认为 BROKER 。 | 导入作业的方法。此参数的值默认为 SPARK 。 | 导入作业的方法。此参数的值默认为 INSERT 。 |
Priority | 导入作业的优先级。有效值:LOWEST、LOW、NORMAL、HIGH 和 HIGHEST。 | - | - |
EtlInfo | 与 ETL 相关的指标。
max-filter-ratio 参数的值:dpp.abnorm.ALL /(unselected.rows + dpp.abnorm.ALL + dpp.norm.ALL )。 | 该字段在 Spark Load 作业中的含义与在 Broker Load 作业中的含义相同。 | 与 ETL 相关的指标。INSERT 作业没有 ETL 阶段。因此,返回 NULL 。 |
TaskInfo | 创建导入作业时指定的参数。
| 创建导入作业时指定的参数。
| 创建导入作业时指定的参数。
|
ErrorMsg | 导入作业失败时返回的错误消息。当导入作业的状态为 PENDING 、LOADING 或 FINISHED 时,ErrorMsg 字段返回 NULL 。当导入作业的状态为 CANCELLED 时,ErrorMsg 字段返回的值由两部分组成:type 和 msg 。
| 导入作业失败时返回的错误消息。当导入作业的状态为 PENDING 、LOADING 或 FINISHED 时,ErrorMsg 字段返回 NULL 。当导入作业的状态为 CANCELLED 时,ErrorMsg 字段返回的值由两部分组成:type 和 msg 。
| 导入作业失败时返回的错误消息。当导入作业的状态为 FINISHED 时,ErrorMsg 字段返回 NULL 。当导入作业的状态为 CANCELLED 时,ErrorMsg 字段返回的值由两部分组成:type 和 msg 。
|
CreateTime | 导入作业创建的时间。 | 该字段在 Spark Load 作业中的含义与在 Broker Load 作业中的含义相同。 | 该字段在 INSERT 作业中的含义与在 Broker Load 作业中的含义相同。 |
EtlStartTime | Broker Load 作业没有 ETL 阶段。因此,此字段的值与 LoadStartTime 字段的值相同。 | ETL 阶段开始的时间。 | INSERT 作业没有 ETL 阶段。因此,此字段的值与 LoadStartTime 字段的值相同。 |
EtlFinishTime | Broker Load 作业没有 ETL 阶段。因此,此字段的值与 LoadStartTime 字段的值相同。 | ETL 阶段完成的时间。 | INSERT 作业没有 ETL 阶段。因此,此字段的值与 LoadStartTime 字段的值相同。 |
LoadStartTime | LOAD 阶段开始的时间。 | 该字段在 Spark Load 作业中的含义与在 Broker Load 作业中的含义相同。 | 该字段在 INSERT 作业中的含义与在 Broker Load 作业中的含义相同。 |
LoadFinishTime | 导入作业完成的时间。 | 该字段在 Spark Load 作业中的含义与在 Broker Load 作业中的含义相同。 | 该字段在 INSERT 作业中的含义与在 Broker Load 作业中的含义相同。 |
URL | 用于访问在导入作业中检测到的不合格数据的 URL。您可以使用 curl 或 wget 命令访问 URL 并获取不合格数据。如果未检测到不合格数据,则返回 NULL 。 | 该字段在 Spark Load 作业中的含义与在 Broker Load 作业中的含义相同。 | 该字段在 INSERT 作业中的含义与在 Broker Load 作业中的含义相同。 |
JobDetails | 与导入作业相关的其他信息。
| 该字段在 Spark Load 作业中的含义与在 Broker Load 作业中的含义相同。 | 该字段在 INSERT 作业中的含义与在 Broker Load 作业中的含义相同。 |
使用说明
-
SHOW LOAD 语句返回的信息从导入作业的
LoadFinishTime
起 3 天内有效。3 天后,信息将无法显示。您可以使用label_keep_max_second
参数修改默认有效期。ADMIN SET FRONTEND CONFIG ("label_keep_max_second" = "value");
-
如果
LoadStartTime
字段的值长时间为N/A
,则表示导入作业大量堆积。我们建议您降低创建导入作业的频率。 -
导入作业消耗的总时间段 =
LoadFinishTime
-CreateTime
。 -
导入作业在
LOAD
阶段消耗的总时间段 =LoadFinishTime
-LoadStartTime
。
示例
示例 1:垂直显示当前数据库中的所有导入作业。
SHOW LOAD\G
*************************** 1. row ***************************
JobId: 976331
Label: duplicate_table_with_null
State: FINISHED
Progress: ETL:100%; LOAD:100%
Type: BROKER
Priority: NORMAL
EtlInfo: unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546
TaskInfo: resource:N/A; timeout(s):300; max_filter_ratio:0.0
ErrorMsg: NULL
CreateTime: 2022-10-17 19:35:00
EtlStartTime: 2022-10-17 19:35:04
EtlFinishTime: 2022-10-17 19:35:04
LoadStartTime: 2022-10-17 19:35:04
LoadFinishTime: 2022-10-17 19:35:06
URL: NULL
JobDetails: {"Unfinished backends":{"b90a703c-6e5a-4fcb-a8e1-94eca5be0b8f":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"b90a703c-6e5a-4fcb-a8e1-94eca5be0b8f":[10004]},"FileNumber":1,"FileSize":548622}
示例 2:显示当前数据库中标签包含字符串 null
的两个导入作业。
SHOW LOAD
WHERE LABEL LIKE "null"
LIMIT 2;
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10082 | duplicate_table_with_null | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:N/A; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:53:27 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:31 | NULL | {"Unfinished backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[10002]},"FileNumber":1,"FileSize":548622} |
| 10103 | unique_table_with_null | FINISHED | ETL:100%; LOAD:100% | SPARK | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:test_spark_resource_07af473a_1230_11ed_b483_00163e0e550b; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:06 | 2022-08-02 14:56:19 | 2022-08-02 14:56:41 | 2022-08-02 14:56:41 | 2022-08-02 14:56:44 | http://emr-header-1.cluster-49091:20888/proxy/application_1655710334658_26391/ | {"Unfinished backends":{"00000000-0000-0000-0000-000000000000":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"00000000-0000-0000-0000-000000000000":[-1]},"FileNumber":1,"FileSize":8790855} |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
示例 3:显示 example_db
中标签包含字符串 table
的导入作业。此外,返回的导入作业按 LoadStartTime
字段降序显示。
SHOW LOAD FROM example_db
WHERE LABEL Like "table"
ORDER BY LoadStartTime DESC;
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10103 | unique_table_with_null | FINISHED | ETL:100%; LOAD:100% | SPARK | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:test_spark_resource_07af473a_1230_11ed_b483_00163e0e550b; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:06 | 2022-08-02 14:56:19 | 2022-08-02 14:56:41 | 2022-08-02 14:56:41 | 2022-08-02 14:56:44 | http://emr-header-1.cluster-49091:20888/proxy/application_1655710334658_26391/ | {"Unfinished backends":{"00000000-0000-0000-0000-000000000000":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"00000000-0000-0000-0000-000000000000":[-1]},"FileNumber":1,"FileSize":8790855} |
| 10082 | duplicate_table_with_null | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:N/A; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:53:27 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:31 | NULL | {"Unfinished backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[10002]},"FileNumber":1,"FileSize":548622} |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
示例 4:显示 example_db
中标签为 duplicate_table_with_null
且状态为 FINISHED
的导入作业。
SHOW LOAD FROM example_db
WHERE LABEL = "duplicate_table_with_null" AND STATE = "FINISHED";
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+----------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+----------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10082 | duplicate_table_with_null | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:N/A; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:53:27 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:31 | NULL | {"Unfinished backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[10002]},"FileNumber":1,"FileSize":548622} |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+----------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
示例 5:跳过第一个导入作业并显示接下来的两个导入作业。此外,这两个导入作业按升序排序。
SHOW LOAD FROM example_db
ORDER BY CreateTime ASC
LIMIT 2 OFFSET 1;
或
SHOW LOAD FROM example_db
ORDER BY CreateTime ASC
LIMIT 1,2;
上述语句的输出如下所示。
+-------+---------------------------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10103 | unique_table_with_null | FINISHED | ETL:100%; LOAD:100% | SPARK | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:test_spark_resource_07af473a_1230_11ed_b483_00163e0e550b; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:06 | 2022-08-02 14:56:19 | 2022-08-02 14:56:41 | 2022-08-02 14:56:41 | 2022-08-02 14:56:44 | http://emr-header-1.cluster-49091:20888/proxy/application_1655710334658_26391/ | {"Unfinished backends":{"00000000-0000-0000-0000-000000000000":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"00000000-0000-0000-0000-000000000000":[-1]},"FileNumber":1,"FileSize":8790855} |
| 10120 | insert_3a57b595-1230-11ed-b075-00163e14c85e | FINISHED | ETL:100%; LOAD:100% | INSERT | NULL | resource:N/A; timeout(s):3600; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | | {"Unfinished backends":{},"ScannedRows":0,"TaskNumber":0,"All backends":{},"FileNumber":0,"FileSize":0} |
+-------+---------------------------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+