> ## Documentation Index
> Fetch the complete documentation index at: https://wb-21fd5541-sdk-testing-latest.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.
> モデルのハイパーパラメーターと 出力メトリクスの関係を可視化します
# パラメーター重要度
パラメーター重要度パネルを使用すると、どのハイパーパラメーターが望ましいメトリクス値を最もよく予測し、かつ強く相関しているかを把握できます。このパネルを使って、今後のハイパーパラメーター探索では、モデル性能に最も大きく影響するパラメーターに注力してください。
**相関** は、ハイパーパラメーターと選択したメトリクス (この場合は `val_loss`) の線形相関を表します。相関が高い場合、ハイパーパラメーターの値が大きいほどメトリクスの値も大きくなり、その逆も成り立ちます。相関は有用なメトリクスですが、入力同士の二次的な相互作用は捉えられず、範囲の異なる入力を比較すると解釈が難しくなることがあります。
W\&B は **重要度** メトリクスも計算します。W\&B は、ハイパーパラメーターを入力、メトリクスをターゲット出力としてランダムフォレストをトレーニングし、そのランダムフォレストの特徴量重要度を報告します。
この手法は、[Jeremy Howard](https://twitter.com/jeremyphoward) との会話から着想を得たものです。Jeremy は [Fast.ai](https://fast.ai) で、ランダムフォレストの特徴量重要度を使ってハイパーパラメーター空間を探索する手法を切り開きました。この分析の背景にある意図について詳しくは、[Fast.ai lesson 4 lecture](https://course18.fast.ai/lessonsml1/lesson4.html) と [Fast.ai lesson 4 forum notes](https://forums.fast.ai/t/wiki-lesson-thread-lesson-4/7540) を参照してください。
ハイパーパラメーター重要度パネルは、強く相関したハイパーパラメーター間の複雑な相互作用を整理します。これにより、モデル性能の予測においてどのハイパーパラメーターが最も重要かを示し、ハイパーパラメーター探索をさらに適切に調整するのに役立ちます。
## ハイパーパラメーター重要度パネルの作成
Workspace にハイパーパラメーター重要度パネルを追加するには、次の手順を実行します。
1. W\&B プロジェクトにアクセスします。
2. **Add panels** ボタンをクリックします。
3. **CHARTS** ドロップダウンを展開し、ドロップダウンから **Parallel coordinates** を選択します。
空のパネルが表示される場合は、runs がグループ化されていないことを確認してください
パラメーターマネージャーでは、表示するパラメーターと非表示にするパラメーターを手動で設定できます。
## ハイパーパラメーター重要度パネルの見方
以下のセクションでは、次回の sweep で活用できるように、パネルに表示される重要度と相関の値の見方を説明します。
このパネルには、トレーニングスクリプトで [`wandb.Run.config`](/ja/models/track/config/) オブジェクトに渡されたすべてのパラメーターが表示されます。また、選択したモデルのメトリクス (この場合は `val_loss`) に対する、これらの設定パラメーターの特徴量重要度と相関が表示されます。
### 重要度
重要度列には、選択したメトリクスの予測に対して各ハイパーパラメーターがどの程度有効だったかが表示されます。多数のハイパーパラメーターのチューニングを始め、このプロットを使ってさらに調べる価値のあるものに注目する場面を想像してみてください。そうすることで、その後の Sweeps を最も重要なハイパーパラメーターに絞り、より良いモデルをより速く、低コストで見つけられます。
W\&B では、重要度の計算に線形モデルではなく木ベースのモデルを使用します。木ベースのモデルのほうが、カテゴリカルデータと正規化されていないデータの両方に対してより強いためです。
前の画像では、`epochs`、`learning_rate`、`batch_size`、`weight_decay` が重要だったことがわかります。
### 相関
相関は、個々のハイパーパラメーターとメトリクス値の間の線形な関係を捉えます。これは、SGD オプティマイザーのようなハイパーパラメーターの使用と `val_loss` の間に関係があるかどうか、という問いに答えるものです (この場合、答えは「はい」です) 。相関値は -1 から 1 の範囲を取り、正の値は正の線形相関、負の値は負の線形相関、0 は相関がないことを表します。一般に、正負いずれの方向でも 0.7 を超える値は強い相関を示します。
このグラフを使用すると、メトリクスとの相関が高い値をさらに詳しく調べられます (この場合は、`rmsprop` や `nadam` ではなく、確率的勾配降下法または `adam` を選択したり、より多くのエポックでトレーニングしたりすることが考えられます) 。
* 相関は関連性を示す証拠ではありますが、必ずしも因果関係を示すものではありません。
* 相関は外れ値の影響を受けやすく、特に試したハイパーパラメーターのサンプル数が少ない場合、強い関係が中程度の関係に見えることがあります。
* 相関で捉えられるのは、ハイパーパラメーターとメトリクスの間の線形関係のみです。強い多項式的な関係は捉えられません。
重要度と相関に差が生じるのは、重要度はハイパーパラメーター間の相互作用を考慮する一方、相関は個々のハイパーパラメーターがメトリクス値に与える影響だけを測定するためです。また、相関が捉えるのは線形関係のみですが、重要度はより複雑な関係も捉えられます。
重要度と相関をあわせて見ることで、ハイパーパラメーターがモデル性能にどのような影響を与えるかを理解しやすくなります。