AIGeekNews··원문 약 4분
MaxxBench - “DeepSWE 점수는 좋네요. 그런데 진짜인가요?”
MaxxBench는 코딩 벤치마크 DeepSWE의 과제 89개를 조금씩 바꿔, 에이전트가 익숙한 정답 대신 달라진 작업에 적응하는지 평가함.
핵심 요약
자동 요약- 1MaxxBench는 코딩 벤치마크 DeepSWE의 과제 89개를 조금씩 바꿔, 에이전트가 익숙한 정답 대신 달라진 작업에 적응하는지 평가함.
- 2테스트 보고서 파일명을 소문자로 바꾸는 식 참조 패치는 17줄(3.5%) 늘었지만, DeepSWE 공개 점수가 둘 다 약 74%였던 Claude Opus 5.5와…
- 3예를 들어 큰 정수의 정밀도가 깨지는 걸 알면서도 테스트에 나오지 않을 것으로 보고 그대로 구현함 메모리 …
전체 내용이 궁금하다면
GeekNews 원문에서 이어 읽기
