原路径:/SSD2/yangzijing/v9_p3r2_ego0824_08479125_20260915/rgb_demo_release/README_ZH.md
SHA256:efdf3a9e63a8b0814712ff07e08cecba91f465888fa3c1d4064d1a7797e79ff9
1 # ego0824 V9-P3R2 纯 RGB 双栏最终交付 2 3 全部 8 段已完成,共 4408 帧、146.933333 秒,2562×720 / 30 fps。完成完整解码、帧数、时间映射、两侧有效性和坐标往返检查,并实际查看最终视频的 293 个不同序列帧(均匀、出入画、遮挡、搬箱、异常分数和修复邻帧)。这是抽帧视觉验收,不是逐帧穷举全部错误;本次交付保留以下已知问题。 4 5 手部继续使用 FoundationHand-S9L10 (1e-6) 和 V9-P3R2。仅此批次按用户新授权恢复历史 RGB 的 DA3Metric + ViPE 场景路线,未修改生产默认配置,未使用 HaWoR 3D 融合,未上传 HF。 6 7 | 视频(点击相对路径) | 帧 / 秒 | 有效左 / 右手帧 | 复查帧 | 已知问题 | 8 |---|---:|---:|---:|---| 9 | [20000101T080048.619358+0800__source_00000](final/20000101T080048.619358+0800__source_00000__V9P3R2_RGB_two_column.mp4) | 720 / 24.000 | 416 / 292 | 42 | 已修复 f680/682/683/684 重复手分配。仍有 f100 近景右手轮廓偏差、f174 近景截断左手膨胀感、f175 模糊漏检,以及下缘遮挡空缺。 | 10 | [20000101T080134.889593+0800__source_00000](final/20000101T080134.889593+0800__source_00000__V9P3R2_RGB_two_column.mp4) | 900 / 30.000 | 361 / 358 | 51 | 已去掉 f331/332、f590/591 弱证据两帧片段造成的深度跳变。搬箱时仍有明显漏检,例如 f220/239/299/303/479/494/539/544/659;隐藏手指和接触姿态不准确。 | 11 | [20000101T080134.889593+0800__source_00001](final/20000101T080134.889593+0800__source_00001__V9P3R2_RGB_two_column.mp4) | 5 / 0.167 | 0 / 0 | 5 | 仅 5 帧,无有效手部输出;抽看全部帧未见可完整重建的手。点云和相机仅覆盖该极短片段,不能评估稳定轨迹。 | 12 | [20260818T165923.310573+0800__source_00000](final/20260818T165923.310573+0800__source_00000__V9P3R2_RGB_two_column.mp4) | 900 / 30.000 | 243 / 283 | 41 | 线缆遮挡和下缘裁切仍造成漏检,例如 f434 可见部分右手但无 mesh;f246 近景姿态及 f859/860 快速运动形状有偏差。手—场景尺度对齐被一致性检查拒绝,保留 DA3 原预测尺度;接触关系未验证。 | 13 | [20260818T165923.310573+0800__source_00001](final/20260818T165923.310573+0800__source_00001__V9P3R2_RGB_two_column.mp4) | 80 / 2.667 | 0 / 0 | 16 | 80 帧无有效手部输出;均匀抽帧未见可完整重建的手。完整交付场景和相机视图,短序列尺度缺少手部约束。 | 14 | [20260818T170110.207199+0800__source_00000](final/20260818T170110.207199+0800__source_00000__V9P3R2_RGB_two_column.mp4) | 873 / 29.100 | 283 / 251 | 40 | 已去掉 f706/707 弱证据右手片段的深度跳变。f153/159 右手与 f193/194 左手转动时仍有轮廓/关节偏差;搬箱与下缘例如 f571/607/707 仍有漏检,线缆会遮挡手。 | 15 | [20260824T160047.570868+0800__source_00000](final/20260824T160047.570868+0800__source_00000__V9P3R2_RGB_two_column.mp4) | 900 / 30.000 | 532 / 593 | 82 | 已复核 f326–366 侧别分配修复及 f543 重复手修复;f837 只有两个可靠关节的左手保持无效,不再生成跳深度的完整手。f659 搬箱左手漏检、f711 模糊漏检、f737 隐藏手指姿态偏差、f888 下缘右手无效仍存在。 | 16 | [20260824T160047.570868+0800__source_00001](final/20260824T160047.570868+0800__source_00001__V9P3R2_RGB_two_column.mp4) | 30 / 1.000 | 0 / 0 | 16 | 30 帧无有效手部输出;后半段左下角可见极小的局部手/持物,证据不足保留无效,不能称已恢复。完整保留画面及时间轴。 | 17 18 有效手帧数不是召回率:没有人工逐帧 GT,不能将无效帧一律视作漏检,或将自动异常标记数当作坏结果总数。三个短尾段均无可靠手重建,仍完整交付其 RGB、点云及有效相机画面。 19 20 ## 来源与尺度 21 22 输入 ZIP SHA256:`08479125572fb4eda5acaaf900aa800f60fd8b1e3f781c4910f6725d51987934`。完整 CRC、稳定大小和重复 SHA256 校验已通过,独立解压。包内实际为 8 个 3840×1080 SBS 视频及 5 个 segments.csv;本路线使用每帧左眼 1920×1080。没有实测内参、双目标定/米制基线、深度、IMU 或相机轨迹;视频 PTS 与分段时间表可用,不能当作 IMU 同步证明。 23 24 逐视频完整 SHA256 核实与历史来源字节一致后,复用同源 DA3 深度和 ViPE 位姿缓存;缓存各项文件也逐项核实 SHA256。没有按同名假定来源,没有复用历史手重建或历史融合点云。复用本次 S9L10、SAM3、检测、MMPose 与有效跟踪,重新完成 MANO 拟合、场景重建和最终双栏渲染。 25 26 内参固定为 fx=fy=960,cx=960,cy=540,来源是历史 RGB 焦距假设,非设备标定。DA3METRIC-LARGE 的预测 Z 深度与 ViPE 的 RGB 相机位姿均非 GT。DA3 历史 batch=16、process_resolution=504,缓存实际深度栅格 280×504;变换使用该栅格对应 K。ViPE 使用共享 DA3 深度、固定 K 与 RGB 人体排除掩码,不使用 IMU。 27 28 手部尺度来自 MANO 人体尺寸先验及假设焦距。先撤销历史手驱动的场景缩放,再用当前手拟合每段唯一标量,同时应用于 DA3 深度和相机平移,不逐帧缩放、不独立挪动左右栏。所有手使用同帧 T_wc 变换到同一估计世界系;坐标一致不代表实际米制精度或物体接触正确。 29 30 | 序列 | 整段尺度因子 | 对齐状态 | 31 |---|---:|---| 32 | 20000101T080048.619358+0800__source_00000 | 0.8006 | accepted | 33 | 20000101T080134.889593+0800__source_00000 | 0.8138 | accepted | 34 | 20000101T080134.889593+0800__source_00001 | 1.0000 | insufficient_surface_slots | 35 | 20260818T165923.310573+0800__source_00000 | 1.0000 | sequence_log_mad_above_threshold | 36 | 20260818T165923.310573+0800__source_00001 | 1.0000 | insufficient_surface_slots | 37 | 20260818T170110.207199+0800__source_00000 | 0.7406 | accepted | 38 | 20260824T160047.570868+0800__source_00000 | 0.7578 | accepted | 39 | 20260824T160047.570868+0800__source_00001 | 1.0000 | insufficient_surface_slots | 40 41 **165923 主段的尺度对齐未通过一致性检查**,保留原始 DA3 预测尺度 1.0;另外三个短段没有足够手表面约束,也保留 1.0。这是尺度不确定性,未伪造标定补齐。ViPE 未提供可用逐帧置信度,返回有效状态也不是可靠度 GT。 42 43 右侧为整段融合的静态点云,移动箱/罐存在残影、边缘噪声或孔洞;手与场景的物理尺度、接触精度和相机漂移未由 GT 验证。 44 45 ## 修复与对照 46 47 保留 R2 的轨迹边界、局部遮挡初始化、掌部置信度保护及分割约束。侧别与重复手修复经过六种跟踪消融和实际看图,影响两个序列共 45 帧。RGB 可观测性检查先去掉不足四个可靠关节的手槽,再去掉缺少可靠掌部、少于 12 个可靠关节的 1–2 帧短轨迹;使用统一输入规则,未按输出速度删帧或添加平滑。 48 49 完整拟合对照保留在 observability_control_comparison.json 和任务根目录 rgb_demo/。短轨迹规则额外拒绝 45 个手帧槽、没有新增手:080134 主段最大连续有效手根速度从 10.209 降至 2.880,170110 从 4.138 降至 2.526(估计尺度单位/s,不是 GT 精度指标)。代表片段此前 f837 的不充分证据问题也通过四关节门控去除。这些修复以保留空缺换取不生成错误完整手,不声称召回率已修好。 50 51 ## 源视频末帧损坏及时间轴 52 53 严格解码报错的零基帧:080048 主段 f719;080134 尾段 f4;165923 尾段 f79;170110 主段 f872;160047 尾段 f29。容错解码保留原帧号与 PTS,保留源画面并显示 SOURCE DECODE DAMAGE;该帧的左右手和相机重建均无效,不显示当前相机及轨迹标注。静态背景点云仍显示。没有挪动后续时间轴或伪造有效重建。 54 55 metadata/<sequence>/frame_time_validity.csv 提供所有帧的源 PTS、片段时间、原录制偏移时间及有效性。 56 57 ## 文件 58 59 - final/:仅 8 个最终双栏 MP4。 60 - PER_VIDEO_REVIEW.csv / delivery_manifest.json:逐视频结论、实际路径、SHA256。 61 - RUN_CONFIG_AND_SOURCES.json、metadata/:模型、参数、深度/内参/位姿/尺度来源及时间映射。 62 - qa/:本地保留抽帧、自动量化结果和实际视觉复查记录;自动指标不等于 GT 错误计数。 63 - work/:本地保留 fitted.npz、final_hand_camera.npz、world_reconstruction.npz、语义观测与表面约束,可复查;大体积中间数据不放最终视频 ZIP。 64 - provenance/history_before_RGB_authorization/:此前要求标定时的历史阻塞记录,已被本次 RGB 授权覆盖,不代表当前交付状态。原始 raw_s9_receipt 的 accepted=false 指未拟合模型先验,当次最终验收见 delivery_manifest。 65 66 服务器完整结果目录:`/SSD2/yangzijing/v9_p3r2_ego0824_08479125_20260915/rgb_demo_release`。最终包:`/SSD2/yangzijing/v9_p3r2_ego0824_08479125_20260915/ego0824_V9P3R2_RGB_Demos_20260915.zip`。该包不包含 NOT_FINAL 诊断视频。