Python/Error

[Error] tfrecord 파일 'can't parse serialized example' 오류

메린지 2023. 10. 21. 18:05

바야흐로 Bert pretrainig을 진행하기 위해 tensorflow 기반 코드를 써서 tfrecord로 사전학습 데이터를 저장하는 상황이었따,, 

 

근데 자꾸 'invalid argument: ~~~ Key: ~~.  can't parse serialized example' 이딴 오류가 나온다

진짜 분명 잘됐는데 뭐가 문제지???했다

 

알고보니 아주 아주 간단한 상황,,,

pretrianing_data 생성할 때랑, pretraining 할 때랑 max_length가 달랐음.

사실 코드에선 같게 입력했는데 안에서 자체적으로 다른 길이로 바뀌는 상황이었음,,

 

다들 max_length를 확인잘하자 ㅠ_ㅠ