Hugging Face Blog·· 6 天前AI 评分54
HOPE 提出考虑专家协作的 MoE 二阶剪枝方法,50% 剪枝率下 SWE-Bench Pro 追平未剪枝模型
Your Experts Have Partners. There's HOPE for Keeping Them Together
AI 导读
HOPE 是一种把专家两两协作项纳入优化目标的 MoE 二阶剪枝方法,论文在 Qwen3.5-122B、Qwen3.5-35B 和 GLM-4.5-Air 上与 REAP、MAN、EAN、Frequency 四种一阶方法对比。
来源:Hugging Face Blog · huggingface.co