", job_type="worker", group="experiment_1") as run:
# 트레이닝 코드
```
노드에 `job_type`을 설정한 후에는 워크스페이스에서 [저장된 뷰](/ko/models/track/workspaces/#create-a-new-saved-workspace-view)를 만들어 run을 정리할 수 있습니다. 오른쪽 상단의 **action ()** 메뉴를 클릭한 다음 **Save as new view**를 클릭합니다.
예를 들어, 다음과 같은 저장된 뷰를 만들 수 있습니다:
* **기본 뷰**: 워커 노드를 필터링해 노이즈 줄이기
* **Filter**를 클릭한 다음 **Job Type**을 `worker`로 설정합니다.
* 리포팅 노드만 표시합니다
* **디버그 뷰**: 문제 해결을 위해 워커 노드에 집중
* **Filter**를 클릭한 다음 **Job Type**을 `==` `worker`로 설정하고 **State**를 `IN` `crashed`로 설정합니다.
* 비정상 종료되었거나 오류 상태인 워커 노드만 표시합니다
* **모든 노드 뷰**: 전체 노드를 함께 보기
* 필터 없음
* 전체적인 모니터링에 유용합니다
저장된 뷰를 열려면 프로젝트 사이드바에서 **Workspaces**를 클릭한 다음 메뉴를 클릭합니다. Workspaces는 목록 상단에 표시되고 저장된 뷰는 하단에 표시됩니다.
### 모든 프로세스를 단일 run에 추적하기
`x_` 접두사가 붙은 파라미터(`x_label` 등)는 공개 프리뷰 상태입니다. 피드백을 제공하려면 [W\&B 저장소에 GitHub issue](https://github.com/wandb/wandb)를 생성하세요.
**Requirements**
여러 프로세스를 단일 run에 추적하려면 다음이 필요합니다.
* W\&B Python SDK `v0.19.9` 이상
* W\&B Server v0.68 이상
이 방식에서는 기본 노드 하나와 하나 이상의 워커 노드를 사용합니다. 기본 노드에서 W\&B run을 초기화합니다. 각 워커 노드에서는 기본 노드가 사용한 run ID를 사용해 run을 초기화합니다. 트레이닝 중에는 각 워커 노드가 기본 노드와 동일한 run ID에 로깅합니다. W\&B는 모든 노드의 메트릭을 집계해 W\&B App UI에 표시합니다.
기본 노드에서는 [`wandb.init()`](/ko/models/ref/python/functions/init)으로 W\&B run을 초기화합니다. `settings` 파라미터에 `wandb.Settings` 객체를 전달하고(`wandb.init(settings=wandb.Settings()`) 다음을 설정합니다.
1. 공유 모드를 활성화하려면 `mode` 파라미터를 `"shared"`로 설정합니다.
2. [`x_label`](https://github.com/wandb/wandb/blob/main/wandb/sdk/wandb_settings.py#L638)에 고유한 레이블을 지정합니다. `x_label`에 지정한 값은 W\&B App UI의 로깅과 시스템 메트릭에서 데이터가 어느 노드에서 왔는지 파악하는 데 사용됩니다. 지정하지 않으면 W\&B가 호스트 이름과 임의의 해시를 사용해 레이블을 생성합니다.
3. 이 노드가 기본 노드임을 나타내려면 [`x_primary`](https://github.com/wandb/wandb/blob/main/wandb/sdk/wandb_settings.py#L660) 파라미터를 `True`로 설정합니다.
4. 선택적으로 GPU 인덱스 목록(\[0,1,2])을 `x_stats_gpu_device_ids`에 전달해 W\&B가 메트릭을 추적할 GPU를 지정할 수 있습니다. 목록을 제공하지 않으면 W\&B는 머신의 모든 GPU에 대한 메트릭을 추적합니다.
기본 노드의 run ID를 기록해 두세요. 각 워커 노드에는 기본 노드의 run ID가 필요합니다.
`x_primary=True`는 기본 노드와 워커 노드를 구분합니다. 기본 노드만 설정 파일, 텔레메트리 등 노드 간에 공유되는 파일을 업로드합니다. 워커 노드는 이러한 파일을 업로드하지 않습니다.
각 워커 노드에서는 [`wandb.init()`](/ko/models/ref/python/functions/init)으로 W\&B run을 초기화하고 다음을 제공합니다.
1. `settings` 파라미터에 `wandb.Settings` 객체를 전달합니다(`wandb.init(settings=wandb.Settings()`). 포함할 항목은 다음과 같습니다.
* 공유 모드를 활성화하려면 `mode` 파라미터를 `"shared"`로 설정합니다.
* `x_label`에 고유한 레이블을 지정합니다. `x_label`에 지정한 값은 W\&B App UI의 로깅과 시스템 메트릭에서 데이터가 어느 노드에서 왔는지 파악하는 데 사용됩니다. 지정하지 않으면 W\&B가 호스트 이름과 임의의 해시를 사용해 레이블을 생성합니다.
* 이 노드가 워커 노드임을 나타내려면 `x_primary` 파라미터를 `False`로 설정합니다.
2. 기본 노드가 사용한 run ID를 `id` 파라미터에 전달합니다.
3. 선택적으로 [`x_update_finish_state`](https://github.com/wandb/wandb/blob/main/wandb/sdk/wandb_settings.py#L772)를 `False`로 설정합니다. 이렇게 하면 기본 노드가 아닌 노드가 [run 상태](/ko/models/runs/run-states#run-states)를 너무 일찍 `finished`로 업데이트하는 것을 방지하여, run 상태가 일관되게 유지되고 기본 노드에서 관리되도록 할 수 있습니다.
* 모든 노드에서 동일한 entity와 프로젝트를 사용하세요. 이렇게 하면 올바른 run ID를 찾는 데 도움이 됩니다.
* 각 워커 노드에서 기본 노드의 run ID를 설정하는 환경 변수를 정의하는 것도 좋습니다.
다음 샘플 코드는 여러 프로세스를 단일 run에 추적하기 위한 상위 수준 요구 사항을 보여줍니다.
```python theme={null}
import wandb
entity = ""
project = ""
# 기본 노드에서 run 초기화
run = wandb.init(
entity=entity,
project=project,
settings=wandb.Settings(
x_label="rank_0",
mode="shared",
x_primary=True,
x_stats_gpu_device_ids=[0, 1], # (선택) GPU 0과 1의 메트릭만 추적
)
)
# 기본 노드의 run ID를 기록해 두세요.
# 각 워커 노드에 이 run ID가 필요합니다.
run_id = run.id
# 기본 노드의 run ID를 사용하여 워커 노드에서 run 초기화
run = wandb.init(
entity=entity, # 기본 노드와 동일한 entity 사용
project=project, # 기본 노드와 동일한 프로젝트 사용
settings=wandb.Settings(x_label="rank_1", mode="shared", x_primary=False),
id=run_id,
)
# 기본 노드의 run ID를 사용하여 워커 노드에서 run 초기화
run = wandb.init(
entity=entity, # 기본 노드와 동일한 entity 사용
project=project, # 기본 노드와 동일한 프로젝트 사용
settings=wandb.Settings(x_label="rank_2", mode="shared", x_primary=False),
id=run_id,
)
```
실제 환경의 예에서는 각 워커 노드가 서로 다른 머신에 있을 수 있습니다.
GKE의 멀티노드 및 멀티 GPU Kubernetes 클러스터에서 모델을 트레이닝하는 방법에 대한 엔드 투 엔드 예시는 [Distributed Training with Shared Mode](https://wandb.ai/dimaduev/simple-cnn-ddp/reports/Distributed-Training-with-Shared-Mode--VmlldzoxMTI0NTE1NA) report를 참조하세요.
run이 로깅하는 프로젝트에서 멀티노드 프로세스의 콘솔 로그를 보려면 다음과 같이 하세요:
1. run이 포함된 프로젝트로 이동합니다.
2. 프로젝트 사이드바에서 **Runs** 탭을 클릭합니다.
3. 보려는 run을 클릭합니다.
4. 프로젝트 사이드바에서 **Logs** 탭을 클릭합니다.
콘솔 로그 페이지 상단의 UI 검색 표시줄에서 `x_label`에 지정한 레이블을 기준으로 콘솔 로그를 필터링할 수 있습니다. 예를 들어, 다음 이미지는 `rank0`, `rank1`, `rank2`, `rank3`, `rank4`, `rank5`, `rank6` 값을 `x_label`에 제공한 경우 콘솔 로그를 필터링할 때 사용할 수 있는 옵션을 보여줍니다.
자세한 내용은 [Console logs](/ko/models/app/console-logs/)를 참조하세요.
W\&B는 모든 노드의 시스템 메트릭을 집계해 W\&B App UI에 표시합니다. 예를 들어, 다음 이미지는 여러 노드의 시스템 메트릭이 포함된 샘플 대시보드를 보여줍니다. 각 노드에는 `x_label` 매개변수로 지정한 고유한 레이블(`rank_0`, `rank_1`, `rank_2`)이 있습니다.
선형 플롯 패널을 사용자 지정하는 방법은 [Line plots](/ko/models/app/features/panels/line-plot/)를 참조하세요.
## 사용 사례 예시
다음 코드 스니펫은 고급 분산 사용 사례의 일반적인 시나리오를 보여줍니다.
### 프로세스 생성
생성된 프로세스에서 run을 시작하는 경우 main 함수에서 `wandb.setup()`를 사용하세요:
```python theme={null}
import multiprocessing as mp
def do_work(n):
with wandb.init(config=dict(n=n)) as run:
run.log(dict(this=n * n))
def main():
wandb.setup()
pool = mp.Pool(processes=4)
pool.map(do_work, range(4))
if __name__ == "__main__":
main()
```
### run 공유하기
프로세스 간에 run을 공유하려면 run 객체를 인수로 전달합니다:
```python theme={null}
def do_work(run):
with wandb.init() as run:
run.log(dict(this=1))
def main():
run = wandb.init()
p = mp.Process(target=do_work, kwargs=dict(run=run))
p.start()
p.join()
run.finish() # run을 완료로 표시
if __name__ == "__main__":
main()
```
W\&B는 로깅 순서를 보장할 수 없습니다. 동기화는 스크립트 작성자가 직접 수행해야 합니다.
## 문제 해결
W\&B와 분산 트레이닝을 사용할 때 흔히 겪을 수 있는 문제는 두 가지입니다:
1. **트레이닝 시작 시 멈춤** - `wandb`의 멀티프로세싱이 분산 트레이닝의 멀티프로세싱과 간섭하면 `wandb` 프로세스가 멈출 수 있습니다.
2. **트레이닝 종료 시 멈춤** - `wandb` 프로세스가 언제 종료되어야 하는지 알지 못하면 트레이닝 작업이 멈출 수 있습니다. Python 스크립트 끝에서 `wandb.Run.finish()` API를 호출해 W\&B에 run이 종료되었음을 알려주세요. `wandb.Run.finish()` API는 데이터 업로드를 완료하고 W\&B를 종료합니다.
W\&B는 분산 작업의 안정성을 높이기 위해 `wandb service` 명령어를 사용할 것을 권장합니다. 앞서 설명한 두 가지 트레이닝 문제는 모두 wandb service를 사용할 수 없는 버전의 W\&B SDK에서 흔히 발생합니다.
### W\&B Service 활성화
사용 중인 W\&B SDK 버전에 따라 W\&B Service가 기본적으로 이미 활성화되어 있을 수 있습니다.
#### W\&B SDK 0.13.0 이상
W\&B SDK `0.13.0` 이상 버전에서는 W\&B Service가 기본적으로 활성화됩니다.
#### W\&B SDK 0.12.5 이상
W\&B SDK 버전 0.12.5 이상에서 W\&B Service를 활성화하려면 Python 스크립트를 수정하세요. `wandb.require()` 방법을 사용하고, 메인 함수 내에 문자열 `"service"`를 전달하세요:
```python theme={null}
if __name__ == "__main__":
main()
def main():
wandb.require("service")
# 나머지-스크립트-내용-여기에-작성
```
최적의 사용 환경을 위해 최신 버전으로 업그레이드하는 것을 권장합니다.
**W\&B SDK 0.12.4 이하**
W\&B SDK 버전 0.12.4 이하를 사용하는 경우, 대신 멀티스레딩을 사용하려면 `WANDB_START_METHOD` 환경 변수를 `"thread"`로 설정하세요.
하지만 에포크와 배치 크기에 따른 손실값은 단일 GPU에서만 로깅되었습니다.
위 이미지는 W\&B App UI 대시보드를 보여줍니다. 사이드바에는 두 개의 실험이 있습니다. 하나는 'null'로 표시되고, 다른 하나는(노란색 상자로 강조된) 'DPP'입니다. 그룹을 확장하면(Group 드롭다운을 선택) 해당 실험에 연결된 W\&B Runs를 볼 수 있습니다.