ABBEL:教 LLM 更新信念状态,实现高效长程交互
研究团队提出 ABBEL 框架,将 LLM 交互摘要建模为自然语言信念状态,并用信念评分监督其内容,以降低长程交互的上下文开销。在 CollabBench 上,ABBEL-rec-BG 将相对全上下文模型的性能差距缩小约 50%,训练步数从 100 降至 50,峰值 token 为 6.01×10²,全上下文为 14.08×10²。
研究团队提出 ABBEL 框架,将 LLM 交互摘要建模为自然语言信念状态,并用信念评分监督其内容,以降低长程交互的上下文开销。在 CollabBench 上,ABBEL-rec-BG 将相对全上下文模型的性能差距缩小约 50%,训练步数从 100 降至 50,峰值 token 为 6.01×10²,全上下文为 14.08×10²。
UC Berkeley 的 Aditya G. Parameswaran 等人提出,推理成本已从 GPT-4 级约 $30/百万 token 降至不足 $1,部分厂商低于 $0.10。
伯克利 AI 研究团队提出 SPEX 与 ProxySPEX 算法,可在特征、数据与模型组件归因中高效识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性将交互搜索转化为稀疏恢复问题,ProxySPEX 进一步借助层级结构,以约 10 倍更少的消融达到 SPEX 的性能。