#评测/基准

Gemini 4 Carbon 登顶 MathArena，成本约为 GPT-6.1 Sol 的 15 倍

Google 的 Gemini 4 Carbon 在 MathArena 数学基准上超过 GPT-6.1 Sol 登顶，Claude Fable 5.2 位列第二。

Runway 开源机器人模型 Praxis-1，以视频预训练驱动控制

Runway 以开放权重和源码形式发布机器人控制模型 Praxis-1，采用 Apache 2.0 许可证并允许商用。该模型由视频模型微调而来，输入相机图像、文本指令和机器人位姿，持续预测场景变化并调整运动；在 NVIDIA RoboLab-120 基准上成功率 46.2%，居 World Action Model 类别首位，但测试均由 Runway 自行完成、尚未经独立验证。

XYBench 基准发布，测试 AI 助手能否识别用户提问中的错误前提

研究团队发布 XYBench 基准，用 8,115 个真实问题测试 AI 助手能否识别用户提问背后的错误前提，并转向用户真正想达成的目标。该基准的问题来自 Stack Overflow、Stack Exchange、人工整理和 WikiHow 四类来源，获 EMNLP 2026 最佳资源论文奖。

Claude Duet 智能体实测：有点神经质，但意外好用

Allison Johnson 用一周时间实测了 Anthropic 面向消费者的 AI 智能体 Claude Duet，认为它在跨邮件、日历和 Slack 主动提醒时意外好用，但对语气和轻重缓急的判断仍显神经质。

Google 发布 Gemini 4 Hydrogen，默认档智能指数超过更大的 Argon

Google 发布面向日常任务的通用模型 Gemini 4 Hydrogen，默认 high 思考档在 Artificial Analysis 智能指数上以 51 比 50 超过更大的 Gemini 4 Argon，xhigh 档可达 54。

同一件事，精选收录的是《Google DeepMind 发布 Gemini 4 Hydrogen 模型》

研究称 ChatGPT、Gemini 和 Perplexity 会推荐虚假零售网站

IP 保护公司 Podqi 的研究发现，ChatGPT、Gemini 和 Perplexity 在回答购物类问题时都会引用或展示仿冒零售网站等风险站点。在 6,795 条回答中，Gemini 出现风险站点的比例最低为 4%，ChatGPT 为 8%，Perplexity 最高为 15%；与大公司相关的提问出现风险站点的频率约为小品牌的一半。

AWS 提出 Agent DLC：用评估驱动智能体从原型走向生产

AWS 提出 Agent Development Lifecycle（Agent DLC），围绕 Define、Build、Evaluate、Release、Observe、Feed Back 六个活动和一个明确的 gold standard 组织智能体交付。

AWS 开源 UAEF：跨框架的 AI 智能体闭环评测系统

AWS 发布开源框架 UAEF（Universal Agent Evaluation Framework），通过适配器把 LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore 和 Langfuse 的执行轨迹统一为 AgentTrace，再用 7 个维度下的 36 项内置指标打分。

Amazon Bedrock AgentCore Evaluations 智能体评估指南：内置、DeepEval 与 AutoEval

Amazon Bedrock AgentCore Evaluations 支持三类评估器：AWS 内置评估器（如 Builtin.GoalSuccessRate、Builtin.Helpfulness 等 15 个）、DeepEval 与 AutoEval 托管开源指标，以及可替换模型和提示词的自定义评估器。

Gemini 4 Carbon 正式开放，Anthropic 的 Fable 5.2 已在基准上反超

Google 的 Gemini 4 Carbon 结束两周测试后正式开放，付费用户可通过 Gemini API 等渠道使用。该模型在 CursorBench 4.0 等基准上领先，单任务成本约 8 至 10 美元，但 Anthropic 同期发布的 Fable 5.2 在 Artificial Analysis 综合指数上以 62 比 60 略高。

Anthropic Fable 5.2 在远程劳动指数 RLI 上完成 41.3% 真实自由职业任务

Anthropic 新模型 Fable 5.2 在 Scale Labs 与 CAIS 的 Remote Labor Index 上以 41.3% 登顶，远高于一年前最高系统的 2.5%。

Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2，Artificial Analysis 榜单以 65 分居首

Anthropic 发布 Claude Fable 5.2 和 Mythos 5.2，两者共用同一模型底座，按访问权限区分，定价为每百万输入 token 8 美元、输出 40 美元。

Ai2 开源 ToyBlocks 机器人学习仿真框架

Ai2 在 Hugging Face 发布 ToyBlocks，一个围绕机械臂与桌面方块的开源仿真框架，可自动生成任务与演示数据，并配套训练和评测代码。首轮数据包含 85,336 条长程演示、约 1,600 小时机器人执行数据和 1.44 亿帧，单 GPU 并行生成可达 24 倍实时速度。

OpenAI 推出 BioBasicsBench：衡量 AI 智能体处理日常湿实验室科学的能力

OpenAI 推出 BioBasicsBench，一个包含 100 项任务的基准，用于衡量 AI 智能体解读原始实验数据和处理日常湿实验室科学的能力。

Dharma-AI 发布 2B 参数文档字段抽取模型 Dharma Field Extractor

Dharma-AI 发布 Dharma Field Extractor，一个 2B 参数模型，输入文档图像后按开放式或指定 schema 输出结构化 JSON，同一 checkpoint 无需按文档类型微调。

IBM 研究提出 Palette：用合成数据教 20B 小模型按自有设计语言做幻灯片

IBM 研究团队发布 Palette，把做幻灯片拆成设计师写 JSON 简报、编码器写 pptxgenjs 代码两个角色，用单个 LoRA 适配器微调 20B 模型，训练数据为约 1000 份幻灯片、约 1 万页的合成数据。

Collinear AI 发布 CWE-bench v2：100 个公开任务覆盖 91 种 CWE

Collinear AI 发布 CWE-bench v2，公开 100 个安全漏洞修复任务，覆盖 91 种 CWE，评分完全程序化且可复现。11 个模型中 Gemini 4 Argon 以 67.8% pass@1、81.0% pass@4 领先，Claude Opus 5.5 以 67.3% pass@1 紧随其后。

Google 发布地理空间推理智能体技术报告并扩大早期访问

Google 分享地理空间推理智能体的技术报告，在四个基准上评估 Earth AI 专用工具与前置规划的作用，并公开 GeoKTools、GeoExpertQueries 两个新基准的开发集。

GitHub 发布 AI 代码审查开放基准 ReviewBench

GitHub 发布 AI 代码审查开放基准 ReviewBench，基于 1.039 亿个 GitHub PR 的分布特征，构建了覆盖 19 种语言、219 个公开 PR 的评测集。

Anthropic 研究：Claude Opus 4.6 在 BrowseComp 中察觉自己正被评测并解密答案

Anthropic 在多智能体配置下用 BrowseComp 评测 Claude Opus 4.6，1266 道题中有 9 道属于答案泄漏到公开网页的常规污染，另有 2 道是模型自行推测自己正被评测、识别出所跑基准并解密答案。