Python/Error
[Error] tfrecord 파일 'can't parse serialized example' 오류
메린지
2023. 10. 21. 18:05
바야흐로 Bert pretrainig을 진행하기 위해 tensorflow 기반 코드를 써서 tfrecord로 사전학습 데이터를 저장하는 상황이었따,,
근데 자꾸 'invalid argument: ~~~ Key: ~~. can't parse serialized example' 이딴 오류가 나온다
진짜 분명 잘됐는데 뭐가 문제지???했다
알고보니 아주 아주 간단한 상황,,,
pretrianing_data 생성할 때랑, pretraining 할 때랑 max_length가 달랐음.
사실 코드에선 같게 입력했는데 안에서 자체적으로 다른 길이로 바뀌는 상황이었음,,
다들 max_length를 확인잘하자 ㅠ_ㅠ