DeepSeek이 7월 31일 공개한 V4-Flash는 재학습만으로 성능을 획기적으로 끌어올렸다. Terminal Bench 2.1에서 82.7점을 기록해 자사 V4-Pro-Preview 72.1점을 앞질렀고, 가격은 동일(입력 $0.14·출력 $0.28/1M 토큰)하게 유지했다.
Terminal Bench 82.7…파라미터는 그대로 성능만
Terminal Bench 2.1에서의 성능 향상은 명확하다. 4월 초기 버전 56.9에서 출발한 점수가 Flash Preview 61.8을 거쳐 V4-Pro-Preview 72.1을 뛰어넘어 82.7에 도달했다. 4개월간 45% 상승한 셈이다.
이 벤치마크는 Terminal Bench 운영진이 “89가지 실제 워크플로우에 기반한 터미널 작업을 평가하며, AI 에이전트의 진정한 역량을 측정하는 도전적 평가 기준”이라고 정의했다. V4-Flash가 82.7을 기록한 것은 이 높은 기준에서 새로운 수위를 세운 것이다.
중요한 점은 구조 변화 없이 재학습만으로 달성됐다는 것이다. DeepSeek 개발팀은 “구조와 크기를 유지하면서 재학습만으로 성능을 획기적으로 향상시켰으며, 9가지 에이전트 벤치마크에서 자사 V4-Pro-Preview를 앞질렀다”고 밝혔다. 총 파라미터 284억(28.4B), 토큰당 활성 파라미터 130억(13B), 컨텍스트 윈도우 1M 토큰 — 전부 Preview와 동일하다.
DeepSWE는 645%…복잡한 작업에서 극적으로
재학습의 효과가 가장 극적으로 드러나는 벤치마크는 복잡한 소프트웨어 엔지니어링 작업을 평가하는 DeepSWE다. Flash Preview에서 7.3에 불과하던 점수가 V4-Flash-0731에서 54.4로 급상승했다. 645% 개선이다. TechTimes 기술 분석은 “재학습만으로 9가지 에이전트 벤치마크에서 자사 Pro 모델을 초과하는 성능을 달성했으며, 특히 복잡한 소프트웨어 엔지니어링 작업(DeepSWE)에서 645% 개선을 이루었다”고 평가했다.
다만 모든 영역에서 균일한 개선이 일어난 것은 아니다. 벤치마크별 결과를 보면 편차가 뚜렷하다. 복잡한 소프트웨어 엔지니어링 작업(DeepSWE)과 풀스택 프로젝트(DSBench-FullStack)에서는 극적인 개선이 일어났다. DeepSWE는 7.3에서 54.4로 645% 상승했고, DSBench-FullStack은 37.0에서 68.7로 +31.7점 개선됐다.
다만 다른 벤치마크들은 이전 수치가 공개되지 않았다. NL2Repo는 54.2, Cybergym은 76.7, Toolathlon은 70.3을 기록했지만, 이들이 이전 버전(Flash Preview)에서 얼마였는지는 알려지지 않았다. 그래서 이 셋에 대해서는 절대 점수만 알 수 있을 뿐, 재학습이 얼마나 개선을 이뤘는지는 확인할 수 없다. DeepSWE와 DSBench-FullStack에서만 개선 효과가 실제로 입증된 것이다.
원점을 다시 정리하면, DeepSeek이 공개한 9가지 벤치마크 중 이전 수치를 함께 제시한 것은 Terminal Bench와 DeepSWE, DSBench-FullStack 셋뿐이다. NL2Repo·Cybergym·Toolathlon은 현재 점수만 있을 뿐 이전값이 공개되지 않았다. 이는 회사가 공개한 자료만으로는 재학습의 개선이 전체 영역에서 균일하게 일어난 것인지, 아니면 일부 특정 영역에 집중된 것인지 확인할 수 없다는 뜻이다.
28.4B 총 파라미터, 13B 활성 + 1M 컨텍스트…구조 동일의 의미
V4-Flash는 Mixture-of-Experts(MoE) 구조로 설계됐다. 총 284억 파라미터 중 토큰당 130억만 활성화되는 효율적 구조다. 이 구조 자체는 Flash Preview와 동일하므로, 재학습의 성과는 학습 데이터와 학습 방법의 개선에서 비롯된 것이다.
API 수준에서의 개선도 눈에 띈다. DeepSeek은 추론 속도를 위해 Speculative Decoding 모듈을 탑재했고, OpenAI Responses API 형식을 네이티브로 지원하며, Codex 호환성을 우선 최적화했다. TechNode 평가에 따르면 “공식 공개 베타 API는 OpenAI Responses 형식을 네이티브로 지원하며 Codex 호환성을 우선 최적화했으므로 개발자 통합 편의성을 크게 향상시켰다”고 밝혔다. 개발자 입장에서의 통합 편의성이 크게 개선된 것이다.
가격 동일, 성능만 올렸다…개발 전략의 전환
가격 정책이 더욱 눈에 띈다. V4-Flash-0731은 Flash Preview와 동일한 요금(입력 토큰당 $0.14, 출력 토큰당 $0.28, 1M 토큰 기준)을 유지했다. 성능은 Terminal Bench 기준 45% 상승, DeepSWE 기준 645% 상승했는데 비용은 그대로인 것이다. 기존 V4-Pro-Preview 사용자 입장에서는 동일한 가격에 더 나은 성능의 모델을 사용할 수 있게 된 상황이다.
이는 AI 개발 전략의 전환을 시사한다. 파라미터를 늘려 새 모델을 만드는 것보다 재학습만으로 성능을 개선하는 방식이 비용 효율성에서 우위라는 뜻이다. 이런 접근이 지속적으로 성공한다면, 단순 모델 크기 경쟁이 아니라 학습 데이터와 학습 방법의 질로 성능을 결정하는 새로운 경쟁 구도가 나타날 수 있다는 의미다.
연관 기사
