Drylab

コンピュート

サーバーと HPC の接続

クラウド、デスクトップ、CLI の構成から選び、SSH で Drylab をサーバー、HPC、Slurm クラスターに接続します。

まず第 1 節で構成を選びます。次に、デスクトップなら第 2 節、CLI なら第 3 節の手順に進みます。手順はどちらか一方だけで十分です。

デスクトップでは SSH/Slurm を設定画面で構成します。CLI ではインストール中に SSH/Slurm を構成します。どちらの手順も最後に接続を確認し、そのあとファイルとジョブに関する共通の説明に進みます。

CLI の手順ではデスクトップアプリを使いません。サーバーにローカルランタイムをインストールし、ブラウザの Drylab からそのサーバーを使います。

1. 構成を選ぶ

ファイルの置き場所と使えるマシンに合う行から始めます。そのうえで、第 2 節のデスクトップか第 3 節の CLI のどちらか一方の手順を選びます。

ファイルの置き場所と使えるマシン別の構成

ここでいうサーバーには、HPC システムやクラスターも含まれます。制限のないサーバーとは、Drylab ランタイムのインストールと必要な通信が許可されているサーバーです。制限付きサーバーとは、SSH でアクセスし、インストールやネットワーク接続が制限されている場合があるサーバーです。

分析が実行される場所

分析が実行される場所

クラウドでは Drylab が管理する計算資源を使います。デスクトップではノートパソコンで、CLI では制限のないサーバーで実行されます。

制限付きサーバーや HPC に接続する

制限付きサーバーや HPC に接続する

デスクトップ + SSH ではノートパソコンから、CLI + SSH ではランタイムを動かすサーバーから接続します。

接続経路を確認してください。デスクトップ + SSH ではノートパソコンから、CLI + SSH ではランタイムのサーバーから、接続先に到達できる必要があります。CLI + SSH を使う場合は、ノートパソコンのファイルをアクセス可能なサーバーに転送しておきます。

Slurm は任意です。通常のサーバーには SSH を、Slurm の計算ジョブにはスケジューラーを使います。SSH で接続するだけなら、制限付きの接続先に Drylab をインストールする必要はありません。

接続経路の早見表

接続経路の早見表

デスクトップ + CLI では、制限のないサーバーにランタイムをインストールして接続しておく必要があります。ノートパソコンのファイルをデスクトップで扱いたいが、そのサーバーに直接 SSH できない場合にこの構成を使います。分析を実行する前に、入力ファイルがサーバーから使えることを確認してください。

手順を 1 つ選ぶ

  • クラウド: ブラウザで Drylab を開きます。ランタイムのインストールは不要です。
  • デスクトップ、またはデスクトップ + SSH: 第 2 節に従います。リモートアクセスが必要なら SSH/Slurm の設定も行います。
  • CLI、または CLI + SSH: 第 3 節に従います。リモートアクセスが必要なら、インストール中に SSH/Slurm を構成します。
  • デスクトップ + CLI: 第 3 節でサーバーにランタイムをインストールし、デスクトップでそのランタイムを選びます。

2. デスクトップの手順

デスクトップ、およびデスクトップ + SSH の場合はこの手順を使います。この節の作業はすべて、ノートパソコン上かデスクトップアプリの中で行います。

始める前に

  • Drylab アカウントにアクセスでき、デスクトップアプリに対応したノートパソコンを用意します。
  • SSH を使う場合は、接続先のホスト名、ユーザー名、既定以外ならポート番号、そしてノートパソコン上の認可済み SSH 認証情報を用意します。
  • 必要な VPN を通して、ノートパソコンから接続先に到達できることを確認します。
  • Slurm を使う場合は、ジョブ投入ノード、アカウント、パーティション、リソース上限を確認しておきます。

A. デスクトップアプリをインストールして開く

  1. Drylab デスクトップアプリのダウンロードページからデスクトップアプリをダウンロードしてインストールします。デスクトップアプリのインストールをご覧ください。
  2. アプリを開いてサインインし、使える状態になったことを確認します。
ノートパソコンだけで作業しますか?それならセットアップは完了です。残りの手順は、SSH/Slurm でリモートサーバーや HPC に接続するためのものです。

B. ノートパソコンから SSH を確認する

ノートパソコンでターミナルを開き、許可されたログインを試します。次の例は、自分の接続先か設定済みのエイリアスに置き換えてください。

ssh your-user@cluster.example.edu

初回接続時は、ホスト鍵のフィンガープリントが正しいかを管理者に確認してください。ログイン後にホスト名とユーザー名を確認し、ログアウトします。接続エラーがあれば、先に進む前に解決してください。

SSH で接続するだけなら、リモートの接続先に Drylab や Docker は不要です。ただし、分析に必要なソフトウェアと権限は接続先に必要です。

C. 設定を開いて SSH を有効にする

  1. デスクトップアプリでプロフィールメニューを開き、設定 を選びます。

    プロフィールメニューから設定を開く

  2. サイドバーで SSH と Slurm を選びます。この項目はデスクトップアプリにだけ表示されます。見当たらない場合は、アプリを再起動して最新のアップデートを適用してください。

  3. トグルをオンにしてアクセスを有効にします(初期状態はオフです)。

    SSH と Slurm を有効にする

デスクトップアプリは、ノートパソコンの SSH 設定とエージェントを使います。ノートパソコンから接続先に到達できる状態を保ってください。

D. SSH ホストを追加する

  1. サーバー の下で + ホストを追加 を選びます。

  2. your-user@server-ip のような接続文字列を入力し、追加 を選びます。

  3. 想定した鍵が 鍵 の下に 利用可能 の状態で表示されていることを確認します。鍵がパスフレーズで保護されている場合は、ロック解除 をクリックしてパスフレーズを入力します。パスフレーズはこのセッションの間だけ記憶され、ディスクには一切書き込まれないため、あとで再度ロック解除が必要になることがあります。スキップするには 後で をクリックします。

    鍵 には ~/.ssh で見つかった鍵が表示されます。鍵はノートパソコンから外に出ません。システムの ssh-agent がすでに鍵を保持している場合、サンドボックスはそのエージェントを使い、~/.ssh の鍵は参考として表示されるだけです。すべての鍵がエージェントから提供される場合、一覧は空になり「鍵はシステムの ssh-agent から提供されます。」と表示されますが、問題ありません。

ホストを追加し、使える SSH 鍵を確認する

E. 必要なら Slurm を設定する

通常の SSH サーバーでは、Slurm クラスター を無効のままにします。Slurm クラスターの場合は有効にし、スケジューラーのコマンドを受け付けるヘッドノード(ログインノード)を選びます。

F. 保存して適用する

作業中の内容を保存してから 保存して適用 を選び、適用して再起動 で確定します。これによりサンドボックスマネージャーと実行中のサンドボックスが再起動します。プロジェクトを開いていない場合、ボタンは 保存 と表示され、変更は次にプロジェクトを開いたときに適用されます。ノートパソコンで SSH 設定や鍵を変更したら、再読み込み で読み込み直してください。

G. 接続を確認する

Drylab でノートパソコンの環境を使い、次のように依頼します。

設定済みの SSH 接続先でホスト名とユーザー名を報告し、プロジェクトディレクトリのファイルを一覧表示してください。分析はまだ始めないでください。

確認がうまくいったら、ファイル、コマンド、ジョブ、結果について第 4 節に進みます。CLI の手順を行う必要はありません。

3. CLI の手順

CLI、および CLI + SSH の場合はこの手順を使います。サーバーでインストールコマンドを実行し、ブラウザで app.thedrylab.com の Drylab を開いて、そのランタイムに接続します。

始める前に

  • サーバーのターミナルか許可されたコンソールと、ランタイムをインストールする権限を用意します。
  • サーバーから Drylab のサービスに到達でき、書き込み可能なワークスペースがあることを確認します。
  • SSH を使う場合は、このサーバー上で認可済みの認証情報と必要な VPN を設定します。
  • このサーバーから接続先への SSH が使えることを確認します。ノートパソコンからしか接続できない状態では不十分です。
  • Slurm を使う場合は、ジョブ投入ノード、アカウント、パーティション、リソース上限を確認しておきます。
SSH/Slurm は CLI のインストール中に構成してください。デスクトップアプリの「SSH と Slurm」設定画面では CLI のランタイムを構成できません。インストーラーを起動する前に、接続先の情報を用意しておきましょう。

リモートアクセスを使う場合は、インストールの前にサーバーのターミナルで SSH ログインを試します。

ssh your-user@cluster.example.edu

例は自分の接続先かエイリアスに置き換えてください。初回接続時にホスト鍵のフィンガープリントを確認し、ホスト名とユーザー名を確かめてからログアウトします。

SSH で接続するだけなら、リモートの接続先に Drylab をインストールする必要はありません。Drylab ランタイムはあなたのサーバーにインストールされ、そこから接続先に接続します。

デスクトップ + CLI: 同じサーバーへのインストール手順を行い、そのあとデスクトップで接続済みのランタイムを選びます。ノートパソコンから直接 SSH できない場合でも、あなたか管理者がサーバーでインストーラーを実行できる手段が必要です。

A. 設定を開く

  1. ブラウザで Drylab を開き、左サイドバーの一番下にあるワークスペースをクリックします。
  2. 設定 を選びます。

プロフィールメニューから設定を開く

B. ローカルコンピュートを開く

  1. 設定のサイドバーで ローカルコンピュート を選びます。
  2. 新規作成 をクリックして ローカルランタイムを作成 を開きます。

ローカルコンピュートの設定

C. インストールコマンドを生成してコピーする

  1. Lab Server のような マシン名 を入力します。
  2. Dockerイメージ を選びます。Drylab Notebook、または NVIDIA GPU を搭載した Linux サーバーなら Drylab Notebook GPU です。
  3. サーバーに CUDA GPU があれば、GPU マシンを選択 を はい にします。
  4. インストールスクリプトを生成 をクリックします。
  5. ターミナルでインストールコマンドを実行します の下にあるコマンドの横のコピーアイコンをクリックします。

インストールスクリプトを生成する

コマンドは自分の設定画面からコピーしてください。スクリーンショットの値は例です。画像を見てコマンドを入力しないでください。

D. サーバーでコマンドを実行する

  1. サーバーでターミナルを開きます。
  2. 手順 C でコピーしたコマンドを貼り付けて実行します。
  3. インストーラーのチェックに従い、Workspace path として、そのサーバー上の書き込み可能なフォルダーを入力します。

インストーラーのチェック

付属の Linux インストーラーは、Docker、Docker Compose、接続状況をチェックします。失敗したチェックは、先に進む前に解決してください。ワークスペースはこのサーバーのものであり、ノートパソコンや別の SSH 接続先のものではありません。

SSH/Slurm はインストール中に設定します。 インストーラーの実行中に、手順 E と F を続けます。SSH の接続先がない CLI の場合は、SSH と Slurm の質問に No と答え、手順 G に進みます。

E. SSH を有効にしてホストを選ぶ

  1. Allow sandboxes to reach SSH hosts via a scoped agent? で Yes を選びます。

    サンドボックスから SSH ホストへのアクセスを許可する

  2. Select SSH hosts to allow で、Space を押して必要な接続先を選びます。

  3. 接続先が一覧にない場合は + Add a host not in ~/.ssh/config… を使い、Connection string(例:your-user@cluster.example.edu)を入力します。

  4. Tab を押して先に進みます(Space か Enter で、カーソルのあるホストのオン・オフを切り替えます)。

    許可する SSH ホストを選ぶ

これらのホスト、鍵、SSH エージェントは、サーバー上でランタイムを動かすアカウントのものです。ノートパソコンの鍵が自動的にそこで使えるわけではありません。

F. 必要なら Slurm を設定する

通常の SSH サーバーでは、Slurm の質問で No を選び、手順 G に進みます。

  1. Slurm クラスターの場合は、Enable Slurm integration? で Yes を選びます。

    Slurm 連携を有効にする

  2. Slurm connection mode で、Drylab がスケジューラーとやり取りする方法を選びます。

    • SSH to head node:ログインノード上で SSH 経由で Slurm コマンドを実行します。
    • REST API:クラスターの Slurm REST API を使います。Slurm REST API URL と Slurm User Token の入力を求められます。
  3. SSH モードの場合は、Select Slurm head node(s) で Space を押し、スケジューラーのコマンドを受け付けるノードを選びます。

  4. Tab を押して確定します。

    Slurm のヘッドノードを選ぶ

G. インストールを完了してランタイムを選ぶ

  1. インストーラーの残りの質問に答えます。
  2. Drylab の ローカルコンピュート に戻ります。
  3. 既存のコンピュート の下にあるサーバーが、disconnected から pending、さらに active に変わることを確認します。
  4. 分析画面でマシンボタンをクリックして マシンを選択 を開き、ローカルランタイム の下からそのサーバーを選びます。

H. 接続を確認する

SSH を使わない CLI の場合は、ランタイム自体を確認します。

選択中のランタイムでホスト名と作業ディレクトリを報告し、ワークスペースのファイルを一覧表示してください。分析はまだ始めないでください。

CLI + SSH の場合は、設定した接続先を確認します。

設定済みの SSH 接続先でホスト名とユーザー名を報告し、プロジェクトディレクトリのファイルを一覧表示してください。分析はまだ始めないでください。

確認がうまくいったら、ファイル、コマンド、ジョブ、結果について第 4 節に進みます。デスクトップの手順を行う必要はありません。

4. サーバーや HPC で作業する

タスクを始めるたびに、どこで作業するかを Drylab のエージェントにはっきり伝えてください。たとえば次のように伝えます。

  • この作業はノートパソコンで行ってください。
  • この作業は選択中のサーバーランタイムで行ってください。
  • この作業は設定済みの SSH 接続先で行ってください。
  • この作業を設定済みの Slurm クラスターに投入してください。

5. トラブルシューティング

デスクトップ

起きたこと確認すること
SSH ホストが表示されない「サーバー」の下で追加します。ノートパソコンで SSH 設定を変更したら「再読み込み」を使います。
鍵が表示されない、または「利用可能」にならないノートパソコンの SSH 鍵とエージェントを確認し、「再読み込み」します。
設定の変更が反映されない作業中の内容を保存してから「保存して適用」を選びます。これによりサンドボックスマネージャーと実行中のサンドボックスが再起動します。

CLI

起きたこと確認すること
ランタイムが pending または disconnected のままインストール時の出力と、サーバーから Drylab のサービスへの接続を確認します。
SSH がノートパソコンからしか使えないサーバーから試します。そのサーバーのネットワーク経路、SSH 設定、エージェントを確認します。
SSH/Slurm が設定されていない設定できるのは CLI のインストール中です。デスクトップアプリの設定画面では CLI のランタイムを構成できません。
コマンドが別のマシンで実行される選択中のランタイムを確認し、ホスト名を報告させます。

接続とジョブの共通チェック

起きたこと確認すること
Permission deniedDrylab を動かしているマシンから SSH を試します。ユーザー名と、認可された公開鍵を確認します。
SSH がタイムアウトするそのマシンから見た VPN、ファイアウォール、ホスト名、ポートを確認します。
Slurm のコマンドやジョブが失敗するジョブ投入ノード、スケジューラーの環境、アカウント、パーティション、リソース上限、ログを確認します。
ファイルが見つからないそのパスがノートパソコン、ランタイムのサーバー、SSH 接続先のどれのものかを確認します。必要ならファイルを転送します。

アクセスと認証情報

Drylab は、既存の SSH アカウントの権限とネットワーク経路を使います。認可が必要な場合は、公開鍵を管理者に渡してください。秘密鍵は配布したり、チャットに貼り付けたりしないでください。

Drylab の設定からホストを削除すると Drylab のアクセスは制限されますが、SSH 認証情報そのものを無効にするには、接続先で認可を変更する必要があります。

このページの内容