SHOW LOAD
説明
データベース内のすべてのロードジョブまたは指定されたロードジョブの情報を表示します。このステートメントは、Broker Load、INSERT、および SPARK_LOAD を使用して作成されたロードジョブのみを表示できます。curl
コマンドを使用してロードジョブ情報を表示することもできます。v3.1以降、information_schema
データベースの loads
テーブルから Broker Load または Insert ジョブの結果をクエリするために SELECT ステートメントを使用することをお勧めします。詳細については、Loadingを参照してください。
前述のロード方法に加えて、StarRocks は Stream Load および Routine Load を使用してデータをロードすることをサポートしています。Stream Load は同期操作であり、Stream Load ジョブの情報を直接返します。Routine Load は非同期操作であり、SHOW ROUTINE LOAD ステートメントを使用して Routine Load ジョブの情報を表示できます。
構文
SHOW LOAD [ FROM db_name ]
[
WHERE [ LABEL { = "label_name" | LIKE "label_matcher" } ]
[ [AND] STATE = { "PENDING" | "ETL" | "LOADING" | "FINISHED" | "CANCELLED" } ]
]
[ ORDER BY field_name [ ASC | DESC ] ]
[ LIMIT { [offset, ] limit | limit OFFSET offset } ]
Note
ステートメントに
\G
オプションを追加することで、通常の横方向のテーブル形式ではなく、縦方向に出力を表示できます(例:SHOW LOAD WHERE LABEL = "label1"\G;
)。詳細については、Example 1を参照してください。
パラメータ
パラメータ | 必須 | 説明 |
---|---|---|
db_name | No | データベース名。このパラメータが指定されていない場合、デフォルトで現在のデータベースが使用されます。 |
LABEL = "label_name" | No | ロードジョブのラベル。 |
LABEL LIKE "label_matcher" | No | このパラメータが指定されている場合、ラベルに label_matcher を含むロードジョブの情報が返されます。 |
AND | No |
|
STATE | No | ロードジョブの状態。状態はロード方法に応じて異なります。
STATE パラメータが指定されていない場合、デフォルトで全ての状態のロードジョブの情報が返されます。STATE パラメータが指定されている場合、指定された状態のロードジョブの情報のみが返されます。例えば、STATE = "PENDING" は PENDING 状態のロードジョブの情報を返します。 |
ORDER BY field_name [ASC | DESC] | No | このパラメータが指定されている場合、フィールドに基づいて昇順または降順で出力がソートされます。サポートされているフィールドは次のとおりです: JobId , Label , State , Progress , Type , EtlInfo , TaskInfo , ErrorMsg , CreateTime , EtlStartTime , EtlFinishTime , LoadStartTime , LoadFinishTime , URL , および JobDetails 。
JobId の昇順で出力がソートされます。 |
LIMIT limit | No | 表示されるロードジョブの数。このパラメータが指定されていない場合、フィルタ条件に一致するすべてのロードジョブの情報が表示されます。このパラメータが指定されている場合、例えば LIMIT 10 の場合、フィルタ条件に一致する10個のロードジョブの情報のみが返されます。 |
OFFSET offset | No | offset パラメータはスキップされるロードジョブの数を定義します。例えば、OFFSET 5 は最初の5つのロードジョブをスキップし、残りを返します。offset パラメータの値はデフォルトで 0 です。 |
出力
+-------+-------+-------+----------+------+---------+----------+----------+------------+--------------+---------------+---------------+----------------+-----+------------+
| JobId | Label | State | Progress | Type | Priority | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+-------+-------+----------+------+---------+----------+----------+------------+--------------+---------------+---------------+----------------+-----+------------+
このステートメントの出力は、ロード方法に応じて異なります。
フィールド | Broker Load | Spark Load | INSERT |
---|---|---|---|
JobId | StarRocks が StarRocks クラスター内のロードジョブを識別するために割り当てた一意の ID。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 |
Label | ロードジョブのラベル。ロードジョブのラベルはデータベース内で一意ですが、異なるデータベース間で重複することがあります。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 |
State | ロードジョブの状態。
| ロードジョブの状態。
| ロードジョブの状態。
|
Progress | ロードジョブのステージ。Broker Load ジョブは LOAD ステージのみを持ち、このステージの進捗を 0% から 100% で表します。ロードジョブが LOAD ステージに入ると、State パラメータには LOADING が返されます。Broker Load ジョブには ETL ステージはありません。ETL パラメータは Spark Load ジョブにのみ有効です。Note
| ロードジョブのステージ。Spark Load ジョブには 2 つのステージがあります:
ETL ステージに入ると、State パラメータには ETL が返されます。ロードジョブが LOAD ステージに移行すると、State パラメータには LOADING が返されます。Note は Broker Load と同じです。 | ロードジョブのステージ。INSERT ジョブは LOAD ステージのみを持ち、このステージの進捗を 0% から 100% で表します。ロードジョブが LOAD ステージに入ると、State パラメータには LOADING が返されます。INSERT ジョブには ETL ステージはありません。ETL パラメータは Spark Load ジョブにのみ有効です。Note は Broker Load と同じです。 |
Type | ロードジョブの方法。このパラメータの値はデフォルトで BROKER です。 | ロードジョブの方法。このパラメータの値はデフォルトで SPARK です。 | ロードジョブの方法。このパラメータの値はデフォルトで INSERT です。 |
Priority | ロードジョブの優先度。有効な値: LOWEST, LOW, NORMAL, HIGH, および HIGHEST。 | - | - |
EtlInfo | ETL に関連するメトリクス。
max-filter-ratio パラメータの値を超えているかどうかを計算できます: dpp.abnorm.ALL /(unselected.rows + dpp.abnorm.ALL + dpp.norm.ALL )。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | ETL に関連するメトリクス。INSERT ジョブには ETL ステージがありません。したがって、NULL が返されます。 |
TaskInfo | ロードジョブを作成する際に指定されたパラメータ。
| ロードジョブを作成する際に指定されたパラメータ。
| ロードジョブを作成する際に指定されたパラメータ。
|
ErrorMsg | ロードジョブが失敗したときに返されるエラーメッセージ。ロードジョブの状態が PENDING 、LOADING 、または FINISHED の場合、ErrorMsg フィールドには NULL が返されます。ロードジョブの状態が CANCELLED の場合、ErrorMsg フィールドに返される値は type と msg の2つの部分で構成されます。
| ロードジョブが失敗したときに返されるエラーメッセージ。ロードジョブの状態が PENDING 、LOADING 、または FINISHED の場合、ErrorMsg フィールドには NULL が返されます。ロードジョブの状態が CANCELLED の場合、ErrorMsg フィールドに返される値は type と msg の2つの部分で構成されます。
| ロードジョブが失敗したときに返されるエラーメッセージ。ロードジョブの状態が FINISHED の場合、ErrorMsg フィールドには NULL が返されます。ロードジョブの状態が CANCELLED の場合、ErrorMsg フィールドに返される値は type と msg の2つの部分で構成されます。
|
CreateTime | ロードジョブが作成された時間。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 |
EtlStartTime | Broker Load ジョブには ETL ステージがありません。したがって、このフィールドの値は LoadStartTime フィールドの値と同じです。 | ETL ステージが開始された時間。 | INSERT ジョブには ETL ステージがありません。したがって、このフィールドの値は LoadStartTime フィールドの値と同じです。 |
EtlFinishTime | Broker Load ジョブには ETL ステージがありません。したがって、このフィールドの値は LoadStartTime フィールドの値と同じです。 | ETL ステージが終了した時間。 | INSERT ジョブには ETL ステージがありません。したがって、このフィールドの値は LoadStartTime フィールドの値と同じです。 |
LoadStartTime | LOAD ステージが開始された時間。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 |
LoadFinishTime | ロードジョブが終了した時間。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 |
URL | ロードジョブで検出された不適格データにアクセスするために使用される URL。curl または wget コマンドを使用して URL にアクセスし、不適格データを取得できます。不適格データが検出されない場合、NULL が返されます。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 |
JobDetails | ロードジョブに関連するその他の情報。
| Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 |
使用上の注意
-
SHOW LOAD ステートメントによって返される情報は、ロードジョブの
LoadFinishTime
から3日間有効です。3日後、この情報は表示できなくなります。label_keep_max_second
パラメータを使用して、デフォルトの有効期間を変更できます。ADMIN SET FRONTEND CONFIG ("label_keep_max_second" = "value");
-
LoadStartTime
フィールドの値が長時間N/A
の場合、ロードジョブが大量に積み重なっていることを意味します。ロードジョブの作成頻度を減らすことをお勧めします。 -
ロードジョブに消費された総時間 =
LoadFinishTime
-CreateTime
。 -
LOAD
ステージでロードジョブに消費された総時間 =LoadFinishTime
-LoadStartTime
。
例
例 1: 現在のデータベース内のすべてのロードジョブを縦方向に表示します。
SHOW LOAD\G
*************************** 1. row ***************************
JobId: 976331
Label: duplicate_table_with_null
State: FINISHED
Progress: ETL:100%; LOAD:100%
Type: BROKER
Priority: NORMAL
EtlInfo: unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546
TaskInfo: resource:N/A; timeout(s):300; max_filter_ratio:0.0
ErrorMsg: NULL
CreateTime: 2022-10-17 19:35:00
EtlStartTime: 2022-10-17 19:35:04
EtlFinishTime: 2022-10-17 19:35:04
LoadStartTime: 2022-10-17 19:35:04
LoadFinishTime: 2022-10-17 19:35:06
URL: NULL
JobDetails: {"Unfinished backends":{"b90a703c-6e5a-4fcb-a8e1-94eca5be0b8f":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"b90a703c-6e5a-4fcb-a8e1-94eca5be0b8f":[10004]},"FileNumber":1,"FileSize":548622}
例 2: 現在のデータベース内でラベルに文字列 null
を含む2つのロードジョブを表示します。
SHOW LOAD
WHERE LABEL LIKE "null"
LIMIT 2;
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10082 | duplicate_table_with_null | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:N/A; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:53:27 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:31 | NULL | {"Unfinished backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[10002]},"FileNumber":1,"FileSize":548622} |
| 10103 | unique_table_with_null | FINISHED | ETL:100%; LOAD:100% | SPARK | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:test_spark_resource_07af473a_1230_11ed_b483_00163e0e550b; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:06 | 2022-08-02 14:56:19 | 2022-08-02 14:56:41 | 2022-08-02 14:56:41 | 2022-08-02 14:56:44 | http://emr-header-1.cluster-49091:20888/proxy/application_1655710334658_26391/ | {"Unfinished backends":{"00000000-0000-0000-0000-000000000000":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"00000000-0000-0000-0000-000000000000":[-1]},"FileNumber":1,"FileSize":8790855} |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
例 3: example_db
内でラベルに文字列 table
を含むロードジョブを表示します。さらに、返されるロードジョブは LoadStartTime
フィールドの降順で表示されます。
SHOW LOAD FROM example_db
WHERE LABEL Like "table"
ORDER BY LoadStartTime DESC;
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10103 | unique_table_with_null | FINISHED | ETL:100%; LOAD:100% | SPARK | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:test_spark_resource_07af473a_1230_11ed_b483_00163e0e550b; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:06 | 2022-08-02 14:56:19 | 2022-08-02 14:56:41 | 2022-08-02 14:56:41 | 2022-08-02 14:56:44 | http://emr-header-1.cluster-49091:20888/proxy/application_1655710334658_26391/ | {"Unfinished backends":{"00000000-0000-0000-0000-000000000000":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"00000000-0000-0000-0000-000000000000":[-1]},"FileNumber":1,"FileSize":8790855} |
| 10082 | duplicate_table_with_null | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:N/A; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:53:27 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:31 | NULL | {"Unfinished backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[10002]},"FileNumber":1,"FileSize":548622} |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
例 4: example_db
内でラベルが duplicate_table_with_null
で状態が FINISHED
のロードジョブを表示します。
SHOW LOAD FROM example_db
WHERE LABEL = "duplicate_table_with_null" AND STATE = "FINISHED";
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+----------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+----------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10082 | duplicate_table_with_null | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:N/A; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:53:27 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:31 | NULL | {"Unfinished backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[10002]},"FileNumber":1,"FileSize":548622} |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+----------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
例 5: 最初のロードジョブをスキップし、次の2つのロードジョブを表示します。さらに、これらの2つのロードジョブは昇順でソートされます。
SHOW LOAD FROM example_db
ORDER BY CreateTime ASC
LIMIT 2 OFFSET 1;
または
SHOW LOAD FROM example_db
ORDER BY CreateTime ASC
LIMIT 1,2;
上記のステートメントの出力は次のとおりです。
+-------+---------------------------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10103 | unique_table_with_null | FINISHED | ETL:100%; LOAD:100% | SPARK | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:test_spark_resource_07af473a_1230_11ed_b483_00163e0e550b; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:06 | 2022-08-02 14:56:19 | 2022-08-02 14:56:41 | 2022-08-02 14:56:41 | 2022-08-02 14:56:44 | http://emr-header-1.cluster-49091:20888/proxy/application_1655710334658_26391/ | {"Unfinished backends":{"00000000-0000-0000-0000-000000000000":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"00000000-0000-0000-0000-000000000000":[-1]},"FileNumber":1,"FileSize":8790855} |
| 10120 | insert_3a57b595-1230-11ed-b075-00163e14c85e | FINISHED | ETL:100%; LOAD:100% | INSERT | NULL | resource:N/A; timeout(s):3600; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | | {"Unfinished backends":{},"ScannedRows":0,"TaskNumber":0,"All backends":{},"FileNumber":0,"FileSize":0} |
+-------+---------------------------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+