minotrey

Multi-GPU를 가진 서버에서accelerate 를 사용하여 DDP 방식으로 학습을 시도했다.다른 서버에서는 발생하지 않은 에러가 발생했다. 에러메세지-----------------------------------------------------------------Watchdog caught collective operation timeout: WorkNCCL...Some NCCL operations have failed or timed out. Due to the asynchronous nature of CUDA kernels, subsequent GPU operations might run on corrupted/incomplete data....---------------------------..

(2024.03.14) “도로아미타불” [읽기 전] 한 번도 생각해본적이 없었다. 사랑을 주기도, 받기도 했지만 느낌으로만 알고 왜, 언제, 어떻게 사랑이 오고 가는지 이해해보려 하지 않았다. 사랑이 뭐라고 생각하냐는 물음에 대답을 할 수 없었다는게 부끄러웠다. 지금까지 내가 하던 사랑은 사랑이 아니었나 싶기도 하고, 여태까지 내가 느끼던 사랑이 뭔지 알고싶어서 이런 저런 생각을 해봤다. 사랑을 정의할 수 없는 이유는 저마다 다른 인격체를 가지고 있기도 하고 사랑의 종류가 다양하기 때문이라고 생각한다. 사랑의 종류에 대해 먼저 생각해보자면 그 대상에 따라 달라진다. 그 대상은 어떤 사물이 될 수도, 반려 동물이 될 수도, 어떤 음식이 될 수도 있을 만큼 다양하다. 나는 가족, 친구, 연인을 대할 때 다른..

대화의 정석 - 정흥수 (2024.01.30) “현명하게 말하는 기술: 경청” [Intro] 책을 통해서 어떤 지식이나 삶의 지혜를 얻는 것을 좋아한다. 그러다보니 자기계발서를 많이 찾게 되었고, 실제로 내가 읽은 책들은 내 삶에 많은 영향을 주고있다. 이 책은 제목에서도 볼 수 있듯이 대화의 방법에 대한 내용이 들어있다. 하루에도 상당 시간을 대화를 하며 지내지만 항상 의문이었던 것이 있다. 첫 번째는 ‘대화가 왜 이렇게 내 마음대로 흘러가지 않을까?’ 이고, 두 번째는 ‘왜 나는 이때 현명하게 말을 하지 못했을까?’ 이다. 대화를 잘 했을 때 돌아오는 이점에 대해 나는 무의식적으로 알고있었다. 비단 살아가면서 일상적인 대화 뿐만 아니라 면접, 비즈니스와 같이 경제적인 성격을 띈 부분에서도 잘하면 대박..

GRIT - 앤젤라 더크워스 “열정과 끈기를 지속하는 능력 : 흥미있는 일을 꾸준히 노력하라” (2023.06.05) One thing 과 함께 추천되고있는 도서라서 리스트에 올려놓았다가 이제서야 펼쳐본다. 그릿이라는 단어가 어떤 문장의 줄임말인줄 알았는데 알고보니 노력과 열정을 지속할 수 있는 능력이라고 한다. 성공하는 사람들은 공통적으로 대단한 회복력, 나아가야할 방법이 무엇인지 앎, 결단력을 가지고 있다고 하는데 이 모든 말이 Grit이라는 단어에 함축된다. Grit은 노력과 열정을 지속할 수 있는 능력이지만 그 능력을 척도로 분류하기도 한다. 5점 만점에 몇 점인지 평가할 수 있는 항목들도 구체적으로 나눠져있다. 간단히 10가지 항목에 대해 점수를 매겨봤는데 약식일 거라고 생각한다. 아무튼 이 1..

(2023.05.26) "내 생각이 곧 현실이 된다." 사람이 어떤 생각을 할 때 뇌파가 생긴다고한다. 뇌파는 하나의 전자파다. 이 전자파는 눈에 보이지 않지만 현실에 적용되고 있다. 즉, 사람의 생각은 생각만으로 그치지 않고 현실에 영향을 미친다는 뜻이다. 어떻게 보면 미친 논리다. 그런데 어떻게 보면 맞는 말이다. 그래서 내 생각에 이건 믿고 안믿고의 영역인 것 같다. 어떤 사람은 코웃음 칠 것이고 어떤 사람은 맹신할 것이다. 실제 내 친구의 후기는 이 책을 읽은 시간이 자기 인생에서 가장 아깝다고 할 정도로 쓰레기같은 책이라고 했다. 과연 그정도로 나쁜 책이었을까? 우주의 기운이 하면서 무슨 헛소리를 하는거냐고 엄청난 비난을 했다. 아직 읽지도 않았는데 읽고싶은 마음이 팍 상할 정도였다. 그런데 읽..

(2023.05.23) "인지의 재구성, 생각을 행동으로. 불확실성에 도전하라." 세이노의 가르침을 읽은 뒤, 얇고 쉬운 책을 읽고싶엇다. 책을 고르는 안목이 생기고있는 것 같다. 표지와 책을 보고 난이도를 예상하고, 목차를 보면 더 확실해진다. 어떤 내용일지 예상이 된다고 해야할까? 이 책은 난이도가 정말 쉽긴 했다. 글의 간격, 여백의 크기, 그림, 적은 페이지 수, 그리고 이해하기 편한 내용들이 독서 시간을 줄여줬다. 책의 내용은 전반적으로 생산성에 대한 이야기이다. 가만히 기다리면 안되고, 편하면 안되고, 문제를 직면해야 문제를 해결할 수 있다는 뭐 그런 내용. 그런데 특히 저자가 강조한 부분은 불확실성이었다. 좀 더 쉽게 말하자면 두려움을 대하는 태도에 대한 내용이다. 어떤 일이든 시작하기 전에..

(2023.04.14) "한국인의 성공 지침서" 한국에 살고있는 한국인이라면 반드시 읽어야 되는 책이다. 세이노 아저씨의 가시같은 말들이 따끔하지만 한편으로는 따뜻하다. 책의 가격만 봐도 그의 진정성이 느껴진다. 자신의 스토리를 돈받고 팔지 않겠다는 굳은 의지를 초반부에 강조하고 이야기를 시작한다. 이 책에는 세이노 아저씨가 경험했던 일들을 아끼는 후배에게 알려주는 듯이 담았다. 그 내용들은 사소한 것일 수도 있지만 어마어마하다. 읽는 내내 이렇게 지혜로우면 성공하는구나 하는 생각이 들었다. 토씨하나 버릴 게 없었다. 심지어 상스럽게 욕을 담기도 했는데 그것 마저도 상스럽지 않고 속시원함을 전달했다. 거의 800페이지 정도 되는 분량에 독서 시간이 꽤나 걸렸지만 양이 많아서 오히려 행복했던 책이었다. 그..

(2023.04.09) "빠르고 크게 벌어야 부를 이룰 수 있다." 오래전부터 익히 들어온 책이었지만 제목에서 거부감이 들어서 읽기를 포기했었다. 용기가 없었다랄까? 부자가 되고싶지만 될 수 있을까에 대한 막연한 두려움도 있고 스스로에 대한 확신이 부족했다. 독서에 재미를 붙이기 시작하면서 생긴 관성으로 이 책을 읽어봤다. 돈에 관한 이야기라면 더 재미있게 봤을 지도 모르겠지만 내 선택에 대한 부정적인 이야기로 시작돼서 빠르게 읽혔다. 결과적으로 내 선택이 틀리지 않았고 나는 추월차선으로 가기 위해 서행차선에서 방향지시등을 켜놓은 상태다. 티끌 모아 태산이라는 말이 있다. 어린시절 돼지 저금통에 10원, 100원, 500원 동전을 모으면서 이미 무의식적으로 깨달았던 것 같다. 티끌 모아 티끌이다. 작은 ..

2023.03.23 "신호-반복행동-보상 사이클의 이해" 책을 주기적으로 읽기 시작하면서 '습관 이라는 것에 호기심이 생겼다. 무의식적으로 행했던 습관들 중에 고치고싶은 것도 있었고 생산적인 습관을 만들고싶기도 했다. 부자의 독서법 맨 마지막장에서 찾은 추천도서로 이 책을 찾게 되었다. 400페이지 정도 되는 분량에 당황했다. 바쁜 일상에 언제쯤 완독할 지 걱정이 앞섰지만 한 줄, 한 줄 읽어내려갔다. 수천개에 달하는 인터뷰 자료와 논문을 참조한 책이라서 그런지 읽는 내내 답답함이 고구가 2천개 정도 먹은 느낌이었다. 결국 하나로 이어지는 내용을 지루하고 시시한 사례들을 내놓으며 반복했다. 요약하자면 습관이라는 것은 신호-반복행동-보상 이 세 가지의 반복되는 사이클을 말한다. 이 사이클을 바라보는 관점을..

- 현상 Batch 크기가 2 이상일 경우 발생 - 해결 방법 1. num_workers=0 으로 설정 해결 방법중에 하나이긴 하지만 바보같은 답변이다. 근원을 파악하지 않고 넘어가면 되는 줄 아는 사람들인가? 2. input data 해상도 일치 data loader에서 뭔가 잘못됐기 때문에 나타나는 현상이다. 하나씩 차근차근 점검해봐야한다. KITTI dataset은 해상도가 제각각이다. 이를 간과해서 발생한 오류다. 해상도를 일치시키면 문제 없다. 해상도를 일치시키면서 calibration parameter도 바뀌는 것에 유의해야한다. focal length, principal point 좌표 등. 이런 간단한 오류들이 생각보다 원인 분석까지 닿기 어렵다. 데이터 셋의 해상도가 모두 같을거라고 간과..