如何在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏

AWS 发布教程，介绍如何在 Amazon SageMaker HyperPod 上通过训练循环内的三项检查检测静默数据损坏，并把可疑 GPU 定位到节点后替换。三项检查分别是梯度 NaN/Inf 检查、环形重放审计和权重指纹比对，作者在 32 块 H100 上用注入故障做了验证。文中测得每 100 步做一次确定性审计约增加 10% 单步耗时，并给出定位、隔离、确认与替换节点的完整流程。