原路径:/SSD2/yangzijing/v9_stereo_demo_runs_20260909/20260907-171916_jitter_source_experiment/RESULTS_ZH.md
SHA256:c8168924320bae6a05003b27f7d5443b07b11f7e0ca28d84bc130a12953f4b87
1 # 纯 FoundationHand 源头抖动实验(2026-09-09) 2 3 模型固定为 FoundationHand-S9L10 (1e-6),checkpoint SHA256 为 4 `29018790a9c72454dd41b088d910ecd7488f4eaa85b9675e67d16f6ef139bf24`。 5 所有真实视频实验均覆盖 1131 帧、30 FPS,不使用 HaWoR/V7 几何,且不平滑输出网格。 6 7 ## 实测结果 8 9 下表的手形指标为去腕部平移后的网格二阶差分,单位 mm/frame²。它仍包含真实旋转和关节运动,并非 GT 抖动。 10 图像低运动样本由同一份 MMPose 参考预先选定:连续两步均有至少 10 个置信度不低于 0.5 的关键点,平均移动不超过 2 个原图像素,共 92 个手部三帧样本。 11 12 | 配置 | 手形 p90 | 手形最大值 | 低运动样本 p90 | MMPose 投影中位误差(px) | 判定 | 13 | --- | ---: | ---: | ---: | ---: | --- | 14 | 原始 BF16,T8/stride4 | 13.624 | 70.278 | 7.401 | 49.073 | 对照 | 15 | BF16,T8/stride1 | 12.781 | 73.668 | 7.305 | 49.069 | 接缝有改善,但极端值退化 | 16 | 全 FP32,T8/stride1 | 12.773 | 73.972 | 7.752 | 48.586 | 不是有效的额外抖动修复 | 17 | BF16,关闭 depth,T8/stride1 | 13.200 | 65.322 | 5.882 | 65.310 | 贴合明显变差,不采用 | 18 | BF16,T16/stride1 | 12.772 | 72.920 | 8.059 | 49.285 | 低运动样本更差,不采用 | 19 | 固定全部预测参数,仅 FP32 MANO 解码 | 12.796 | 73.798 | 7.438 | 49.039 | 没有有效改善 | 20 | 固定全部预测参数,稳定旋转转换 + FP32 MANO | 12.796 | 73.798 | 7.439 | 49.039 | 没有有效改善 | 21 22 全 FP32、RGB-only、T16 是本轮新增的完整模型实际推理;两组 MANO 解码控制只重算几何层,保持预测的旋转、形状和根位置逐字节不变。原始 stride4/stride1 对照复用此前同视频、同权重的实际推理产物,并验证输入哈希。 23 24 三个新增完整推理分支均做了固定输入探针:同一帧重复填入窗口并重复运行,网格/关节/手腕的重复差异和窗口位置差异均为 0 mm。该结果仅证明探针下的确定性,不代表真实视频输入变化时预测连续。 25 26 stride1 的 p90 改善为 6.19%,图像低运动样本仅改善 1.29%。固定交替五秒块中,development 的 p90 为 13.436 → 12.625,holdout 为 13.711 → 12.884;它们都来自同一视频,不能作为跨数据集验证。 27 28 各分支相对 MMPose 手腕速度的相关性峰值均在 0 帧偏移。它只能排查粗略动作拖尾,不能当作有 GT 的延迟测量。MMPose 也不是 GT;此视频不能提供 Abs MPJPE 或 Root Z 绝对误差。 29 30 ## 结论与边界 31 32 窗口切换是可修复的一部分,但本轮没有找到“整体更稳、极端值不退化、贴合不变差”的完整纯基模修复。不能把 6.19% 的 p90 改善包装成全部抖动已经消除。计算精度、MANO 旋转数值和简单扩大上下文都没有通过这一综合标准。 33 34 连续窗口模式使用固定 T=8、stride=1、官方 center stitching;内段每帧来自窗口位置 4,不做网格平均或输出滤波。其缓存与旧 stride4 隔离,避免拿旧结果冒充新推理。模型权重和训练配置保持原样。 35 36 当前本地 V9 的 FoundationHand 提供器已接入这一有限窗口修复。新提供器实际重新运行了完整 1131 帧并通过严格模型、输入和输出校验,所有输出数组与此前 stride1 控制实验逐字节一致。因此复用几何相同且已经抽帧检查的完整 stride1 视频,并重新生成本轮双路慢放对照,不冒充重新渲染。此修复不能宣称极端抖动变好,也没有重新运行全 V9 融合并声称最终 V9 demo 已改善。 37 38 Focused tests:143 passed,覆盖模型/输入/缓存合同、真实官方窗口拼接器的固定中心位置、短视频无漏帧重复帧、不可变原始几何和数值控制。默认提供器本轮实际推理耗时 278.64 秒;此时 GPU 与其他任务共享,不能与前一次 135.25 秒直接作为算法速度对比。stride1 比 stride4 需要更多窗口计算,尚未实现特征复用加速。 39 40 另外,之前 V9 的 2249 个有效槽位均由 V7 回退提供,纯基模分支的修复不能自动改变这些最终手部。基模本身也没有存在性判定能力,仍需检测模块处理出画。 41 42 ## 文件 43 44 - `window_baseline_metrics.json`:stride4/stride1,同有效支持、低运动样本、固定分块及响应相关性。 45 - `precision_control_metrics.json`:FP32 与 MANO 数值控制。 46 - `depth_control_metrics.json`:关闭 depth 控制。 47 - `context_control_metrics.json`:T16 上下文控制。 48 - 各实验子目录的 `predictions.npz`、`report.json`:实际预测、身份、输入、参数、耗时和固定输入探针。 49 - `production_fixed/`:连续窗口提供器的独立实际运行缓存;是否可用以其严格校验后的报告为准。 50 51 代码:`v9_benchmark/s9l10_source_ablation.py`、`s9l10_decode_ablation.py`、`s9l10_source_eval.py`。实验中的稳定旋转算法位于 `v9_fusion/s9l10_geometry.py`,未被默认手部推理调用。