ファイルマネージャー
ファイルマネージャーを使用すると、外部データソースにアクセスするために使用されるファイル、例えば公開鍵ファイル、秘密鍵ファイル、証明書ファイルなどを作成、表示、削除できます。作成したファイルはコマンドを使用して参照またはアクセスできます。
基本概念
ファイル: StarRocks に作成され保存されたファイルを指します。ファイルが StarRocks に作成され保存されると、StarRocks はそのファイルに一意の ID を割り当てます。データベース名、catalog、ファイル名に基づいてファイルを見つけることができます。データベース内では、管理者ユーザーのみがファイルを作成および削除でき、データベースにアクセスする権限を持つすべてのユーザーがそのデータベースに属するファイルを使用できます。
始める前に
- 各 FE に対して次のパラメータを設定します。
small_file_dir: アップロードされたファイルが保存されるパス。デフォルトのパスはsmall_files/で、FE のランタイムディレクトリにあります。このパラメータを fe.conf ファイルで指定し、変更を有効にするために FE を再起動する必要があります。max_small_file_size_bytes: 単一ファイルの最大サイズ。このパラメータのデフォルト値は 1 MB です。ファイルのサイズがこのパラメータの値を超える場合、そのファイルは作成できません。このパラメータは ADMIN SET CONFIG ステートメントを使用して指定できます。max_small_file_number: クラスター内で作成できるファイルの最大数。このパラメータのデフォルト値は 100 です。作成したファイルの数がこのパラメータの値に達すると、ファイルを作成し続けることはできません。このパラメータは ADMIN SET CONFIG ステートメントを使用して指定できます。
注: 2 つのパラメータの値を増やすと、FE のメモリ使用量が増加します。そのため、必要がない限り、2 つのパラメータの値を増やさないことをお勧めします。
- 各 BE に対して次のパラメータを設定します。
small_file_dir: ダウンロードされたファイルが保存されるパス。デフォルトのパスは lib/small_files/ で、BE のランタイムディレクトリにあります。このパラメータは be.conf ファイルで指定できます。
ファイルを作成する
CREATE FILE ステートメントを実行してファイルを作成できます。詳細については、CREATE FILE を参照してください。ファイルが作成されると、そのファイルは StarRocks にアップロードされ永続化されます。
ファイルを表示する
SHOW FILE ステートメントを実行して、データベースに保存されているファイルの情報を表示できます。詳細については、SHOW FILE を参照してください。
ファイルを削除する
DROP FILE ステートメントを実行してファイルを削除できます。詳細については、DROP FILE を参照してください。
FE と BE がファイルを使用する方法
- FE: SmallFileMgr クラスは、指定されたディレクトリにファイルに関連するデータを保存します。その後、SmallFileMgr クラスは FE がファイルを使用するためのローカルファイルパスを返します。
- BE: BE は /api/get_small_file API (HTTP) を呼び出して、ファイルを指定されたディレクトリにダウンロードし、ファイルの情報を記録します。BE がファイルを使用するよう要求すると、BE はファイルがダウンロードされているかどうかを確認し、その後ファイルを検証します。ファイルが検証に合格すると、ファイルのパスが返されます。ファイルが検証に失敗した場合、ファイルは削除され、FE から再ダウンロードされます。BE が再起動すると、ダウンロードされたファイルをメモリにプリロードします。