在编码评估中将信号与噪声分离

原文出处: OpenAI Blog (openai.com)

原文链接: https://openai.com/index/separating-signal-from-noise-coding-evaluations

内容摘要

OpenAI 的一项新分析揭示了流行的编码基准 SWE-Bench Pro 中的问题,引发了人们对评估 AI 模型的可靠性和准确性的担忧。