BullshitBench v2: 추론 모델이 오히려 성능 저하…Anthropic 압도적 1위
'추론 강화'가 항상 더 나은 결과를 낳지 않는다는 벤치마크 결과가 나왔다. 코딩·의료·법률·금융·물리 등 100개 문항을 평가한 BullshitBench v2에서 추론(Reasoning) 모드가 성능을 오히려 떨어뜨리는 경우가 확인됐으며, Anthropic 모델이 전 분야에서 압도적 우위를 기록했다. OpenAI와 Google은 이전 버전 대비 유의미한 개선이 없었다.
배경
BullshitBench v2는 AI 모델의 실제 도메인 활용 능력을 측정하는 커뮤니티 주도 벤치마크다. 이번 업데이트에서는 단순 정보 처리를 넘어 코딩·의료·법률·금융·물리 분야의 100개 전문 문항이 추가됐다. 주목할 점은 별도의 추론 모드(Chain-of-Thought 등)를 활성화했을 때 일부 모델에서 기본 모드 대비 오히려 정확도가 낮아지는 현상이 관측됐다는 것이다. 같은 기간 에이전트 생태계에서는 리포지터리 그래프 도구, Stripe LLM 과금 프록시, LangChain 대규모 리프레시 등 다수의 툴체인이 릴리즈됐다.
의미와 전망
이번 결과는 'Reasoning 모드 = 고품질'이라는 업계 통념에 균열을 냈다. 추론 강화가 지식 정확도보다 복잡한 논리 추론에 집중하기 때문에, 사실 기반 도메인 전문 질문에서는 오히려 과잉 추론이 오류를 유발할 수 있다는 해석이 나온다. Anthropic의 독주는 Claude 3 시리즈의 훈련 방식이 사실 정확도를 중심에 뒀기 때문으로 분석된다.
🎓 에듀테크 시사점
학습 플랫폼에서 AI 채점·피드백·Q&A 기능을 구축할 때, '추론 모드 기본 활성화'가 정확도를 보장하지 않는다는 점을 유념해야 한다. 특히 의학·법학·공학 등 전문직 교육 콘텐츠에서는 모델별 도메인 정확도를 실제 문항으로 검증한 뒤 도입 여부를 결정하는 것이 중요하며, Anthropic 계열 모델이 현재 기준에서 강점을 보인다.
📎 원문: Latent Space — AINews
본 기사는 AI가 작성했습니다 (AI 기본법 제31조)
