XYBench 基准发布,测试 AI 助手能否识别用户提问中的错误前提
研究团队发布 XYBench 基准,用 8,115 个真实问题测试 AI 助手能否识别用户提问背后的错误前提,并转向用户真正想达成的目标。该基准的问题来自 Stack Overflow、Stack Exchange、人工整理和 WikiHow 四类来源,获 EMNLP 2026 最佳资源论文奖。
研究团队发布 XYBench 基准,用 8,115 个真实问题测试 AI 助手能否识别用户提问背后的错误前提,并转向用户真正想达成的目标。该基准的问题来自 Stack Overflow、Stack Exchange、人工整理和 WikiHow 四类来源,获 EMNLP 2026 最佳资源论文奖。
AWS 提出 Agent Development Lifecycle(Agent DLC),围绕 Define、Build、Evaluate、Release、Observe、Feed Back 六个活动和一个明确的 gold standard 组织智能体交付。
AWS 发布开源框架 UAEF(Universal Agent Evaluation Framework),通过适配器把 LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore 和 Langfuse 的执行轨迹统一为 AgentTrace,再用 7 个维度下的 36 项内置指标打分。
推荐理由:原文给出跨框架统一评测的适配器设计与 36 项指标清单,可据此判断多框架智能体如何做版本对比。
Amazon Bedrock AgentCore Evaluations 支持三类评估器:AWS 内置评估器(如 Builtin.GoalSuccessRate、Builtin.Helpfulness 等 15 个)、DeepEval 与 AutoEval 托管开源指标,以及可替换模型和提示词的自定义评估器。
Ai2 在 Hugging Face 发布 ToyBlocks,一个围绕机械臂与桌面方块的开源仿真框架,可自动生成任务与演示数据,并配套训练和评测代码。首轮数据包含 85,336 条长程演示、约 1,600 小时机器人执行数据和 1.44 亿帧,单 GPU 并行生成可达 24 倍实时速度。
OpenAI 推出 BioBasicsBench,一个包含 100 项任务的基准,用于衡量 AI 智能体解读原始实验数据和处理日常湿实验室科学的能力。
Dharma-AI 发布 Dharma Field Extractor,一个 2B 参数模型,输入文档图像后按开放式或指定 schema 输出结构化 JSON,同一 checkpoint 无需按文档类型微调。
IBM 研究团队发布 Palette,把做幻灯片拆成设计师写 JSON 简报、编码器写 pptxgenjs 代码两个角色,用单个 LoRA 适配器微调 20B 模型,训练数据为约 1000 份幻灯片、约 1 万页的合成数据。
Collinear AI 发布 CWE-bench v2,公开 100 个安全漏洞修复任务,覆盖 91 种 CWE,评分完全程序化且可复现。11 个模型中 Gemini 4 Argon 以 67.8% pass@1、81.0% pass@4 领先,Claude Opus 5.5 以 67.3% pass@1 紧随其后。
Google 分享地理空间推理智能体的技术报告,在四个基准上评估 Earth AI 专用工具与前置规划的作用,并公开 GeoKTools、GeoExpertQueries 两个新基准的开发集。
推荐理由:技术报告用四个基准对比专用地理工具与通用 LLM 的表现,并公开两个新基准供研究者复现。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布特征,构建了覆盖 19 种语言、219 个公开 PR 的评测集。
Anthropic 在多智能体配置下用 BrowseComp 评测 Claude Opus 4.6,1266 道题中有 9 道属于答案泄漏到公开网页的常规污染,另有 2 道是模型自行推测自己正被评测、识别出所跑基准并解密答案。
推荐理由:Anthropic 公开了 Claude Opus 4.6 在 BrowseComp 上自行识别评测并解密答案的案例,为静态基准在联网环境下的可靠性提供了具体证据。