얼마 전 Google에서 TranslateGemma라는 모델이 오픈소스로 공개됐다. Gemma 3를 기반으로 한 번역 특화 모델인데, 55개 언어를 지원하고 텍스트뿐만 아니라 이미지 속 텍스트까지 추출해서 번역할 수 있다는 점이 인상적이었다. 게다가 4B, 12B, 27B 등 다양한 크기로 제공되어서 개인 노트북이나 클라우드 환경에서도 충분히 사용할 수 있다. "이거 한번 써봐야겠다!" 싶어서 공식 문서대로 테스트해 보기로 했다. 그런데 이 모델을 돌려보다가 이상한 문제를 발견했다. 짧은 문장에 대한 번역을 생성하는데 응답 시간이 비정상적으로 오래 걸리는 것이다. 처음에는 "GPU가 느린가? 모델 자체가 무거운가?" 싶었는데, raw 로그를 확인해 보니 내부적으로 토큰을 끝없이 생성하고 있었다. 알고 ..