공부해볼라는 스토리

바야흐로 Bert pretrainig을 진행하기 위해 tensorflow 기반 코드를 써서 tfrecord로 사전학습 데이터를 저장하는 상황이었따,, 근데 자꾸 'invalid argument: ~~~ Key: ~~. can't parse serialized example' 이딴 오류가 나온다 진짜 분명 잘됐는데 뭐가 문제지???했다 알고보니 아주 아주 간단한 상황,,, pretrianing_data 생성할 때랑, pretraining 할 때랑 max_length가 달랐음. 사실 코드에선 같게 입력했는데 안에서 자체적으로 다른 길이로 바뀌는 상황이었음,, 다들 max_length를 확인잘하자 ㅠ_ㅠ

이건 해커톤 중에 데이터 프레임 사용해서 LSTM 학습시킬려고 dataloader하는 과정에서 난 오류다. 일단 우선 이해가 잘안되는게 세 가지 데이터 프레임이 있었다. 얘네가 가지고 있는건 다 int, float, np.float, np.int 이런 종류에 종종 tensor가 들어가기도 했는데, 오류는 여기까지는 다 수용이 된단말이지? 그럼 뭐가 문제지. 그래서 진짜 겁나게 애먹었는데, 만약 이 글을 보는 사람이 있다면 내 해결법이 대안 중 하나가 될 수 있을 것 같다. (해결이 안될 수도 있음,,) 우선 나는 모든 데이터 프레임의 데이터를 확인가능한 사이즈여서 다 돌아봤는데, 각 셀의 데이터 형식에는 문제가 없었다. (아까 언급한 것처럼) 아씨 그럼 뭐가 문제야!!! 하고 컬럼채로 뜯어봤다. 그랬더니..

정말 왜 이런 오류가 떠서 날 괴롭히는지 첨엔 인자 설정을 잘못했나, 코드를 잘못건드렸나 싶었는데 구글링 해보니까 다들 requires_grad=True 설정 얘기 자주하고, 챗지피티도 그거나 아니면 뭐 데이터형태가 잘못나왔다 이런얘기만 하길래 어떻게 해야하나 했는데 사실 간단한 해결이었다. requirements.txt 파일보고 내 가상환경 버전을 보게됐는데 너무 오버스펙이었다,,,,,,,,,,,,, ㅠㅠ 나같은 경우는 pytorch-lightning 버전을 다운그레이드 하니까 되었다. 혹시 보시는 분들은 저처럼 삽질하지마시고 빠르게 해결하시길,,

여느때와 같이 논문을 쓰기 위해 실험을 하던 어느 날,, (대략 이틀전 요새 torch만 쓰다가 tensorflow 1.15로 작성된 코드를 돌려보기 위해 돌렸는데!!!!!!! 두둥 상당히 열받는 상황 발생이다 ㅋㅋ 텐서 버전때매 cuda 10.0을 써야하는데 자꾸 libcudart.so.10.0이랑 기타 cuda를 인식못하고 있네? 하지만 또 cudnn은 잘 인식하고 있다. 흠,, 왜지 하면서 cuda 10.0이 설치가 안되어있나? 하기에는 ㅋㅋ 아주 잘있다 아주!!!!!! 왜그럼 구동이 안되는거야ㅜㅜ 일단 현재 시스템에서 가용가능한 모든 cuda를 확인하기 위해 입력했더니 헤에엑,,!!!!!!!!!! 10.1만 주르륵 점철된 상황 ㅋ,,,, 이 뭔상황이지 제대로 인식을 못하는거 같다 그래서 설치는 된..

모델 학습할 때, 아주 여러가지 형태로 numpy array를 다룰 수 밖에 없는데, 이런 에러가 자주 발생한다. 하지만 아주 간단하게 해결가능하다. 왜냐면 넘파이 버전이 안맞아서 그런거거든>_0 numpy ==1.19.5 로 하거나 혹은 그 이하로 맞춰도 되는걸로 안다. 토치든, 텐서든 참 버전 호환성 다루기가 힘들다~~~

코드 돌리다가 이런 에러가 나왔는데,, 뭔가 구글링을 해보면서 느낀게 AttributeError: '~~~' object has no attribute '~~~' 이런 종류의 에러는 버전이 안맞는 경우가 많은? 케이스인 것 같다. (그,, 혹시 나만 몰랏나,,,,,? ㅋ.ㅋ...😅) 나는 오류 중에 한 번 등장했떤 pytorch-lightning이 문젠가 했는데 찾아보니 importlib-metadata 가 없거나/버전이 높은거 같앗다! 나는 일단 설치가 안되어 있었음,, 허헣 이 오류는 일단 5.0.0 밑으로 설치해야 하는 것 같아서 $ pip install improtlib-metadata==4.13.0 이렇게 설치하고 돌리니까 잘돌아간다~~~~ 굿 https://stackoverflow.com/qu..

github에서 git clone으로 파일을 가져온 뒤에, 준비된 requirements.txt를 다운받으려고 pip install -r requirements.txt 하니까 바로 위에 "ERROR: torch has an invalid wheel, .dist-info directory not found" 오류가 나와버렷따,, 그래서 구글링을 하니 대부분의 글에서 torch 버전이랑 뒤의 아이템들 버전이랑 다맞춰서 CUDA installation이 필요하면 pip install torch===1.7.0 torchvision===0.8.1 torchaudio===0.7.0 -f https://download.pytorch.org/whl/torch_stable.html 필요없으면 pip install tor..

딥러닝 모델을 구축하면서 내가 오류가 나왔던 부분인데,, 음 내 상황은 일단 모델 학습 시에 batch_size를 설정하고 그만큼 계속 받으려는데 batch_size에 input data가 딱 나눠떨어지지 않아서 받는 사이즈가 틀렸다고 계속 나왔다 ㅋㅋㅋ ㅠㅠ ㅋ,,, embedding = self.embedding(ids).reshape(cfg['batch_size'], N) 약간 이런 코드로 썼는데 batch_size만큼 input이 크지 않아서 계속 오류가 떴다 흐으으음 이때 try~catch문으로 사이즈 조절할 수 있게 하거나 찾아보니까 transforms.Resize하는 방법도 있다는데 좀 더 방법이 생기면 추가해야겠다

원래 LINUX 서버에서 파이참킬때는,,, cd 경로가서 sudo sh pycharm.sh 해서 들어갔는데 그게,, 안될때가 생겼다,,ㅜㅜ (왜,,,, why,,,,) 그래서 sudo chown -R (권한계정) ~경로 로 파일 자체에 권한을 부여해준다음 이제 pycharm.sh가 있는 경로가서 bash pycharm.sh 로 실행해주자,,,