minotrey

Multi-GPU를 가진 서버에서accelerate 를 사용하여 DDP 방식으로 학습을 시도했다.다른 서버에서는 발생하지 않은 에러가 발생했다. 에러메세지-----------------------------------------------------------------Watchdog caught collective operation timeout: WorkNCCL...Some NCCL operations have failed or timed out. Due to the asynchronous nature of CUDA kernels, subsequent GPU operations might run on corrupted/incomplete data....---------------------------..

- 현상 Batch 크기가 2 이상일 경우 발생 - 해결 방법 1. num_workers=0 으로 설정 해결 방법중에 하나이긴 하지만 바보같은 답변이다. 근원을 파악하지 않고 넘어가면 되는 줄 아는 사람들인가? 2. input data 해상도 일치 data loader에서 뭔가 잘못됐기 때문에 나타나는 현상이다. 하나씩 차근차근 점검해봐야한다. KITTI dataset은 해상도가 제각각이다. 이를 간과해서 발생한 오류다. 해상도를 일치시키면 문제 없다. 해상도를 일치시키면서 calibration parameter도 바뀌는 것에 유의해야한다. focal length, principal point 좌표 등. 이런 간단한 오류들이 생각보다 원인 분석까지 닿기 어렵다. 데이터 셋의 해상도가 모두 같을거라고 간과..

* 윈도우 PC에서 Ubuntu 20.04.5(LTS) 부팅 USB 만들기 매번 검색해서 원하는 내용을 찾기가 번거로워서 만들게 되었다. 0. 설치 환경 Windows 10 4GB USB 1. Ubuntu 20.04.5 LTS (Focal Fossa) ISO 다운로드 20.04 버전 중에 가장 안전한 버전인 LTS(Long Term Support)버전으로 ISO를 다운로드한다. https://releases.ubuntu.com/focal/ Ubuntu 20.04.5 LTS (Focal Fossa) Select an image Ubuntu is distributed on three types of images described below. Desktop image The desktop image allow..