项目三：Physical Intelligence：LiDAR 3D World Model Data Collection

一句话介绍

建立一条从 LiDAR 点云采集、时间同步、标注、质量检查到 3D 世界模型训练/评测的数据管线，为 Physical Intelligence 提供可信的空间数据。

背景

具身 AI 与自动驾驶系统需要理解三维空间：哪里有障碍物、物体如何移动、可通行区域在哪里，以及传感器何时看不清。LiDAR 通过发射和接收激光获得深度点云，能直接提供几何信息，但原始点云稀疏、受天气和反射率影响，还会受到运动畸变、时间戳误差与坐标系标定误差影响。

3D 世界模型的性能很大程度取决于数据，而不是只取决于网络结构。因此本项目重点是数据采集与数据工程：定义场景、记录传感器元数据、建立坐标系统、完成可追溯标注，并证明数据质量会怎样影响下游 3D 感知或预测任务。

没有真实 LiDAR 时，学生可以使用公开数据集或仿真器生成点云。课程不要求采购车辆、无人机或昂贵传感器。

项目问题

选择一个明确场景，例如校园步道、仓库、室内走廊、停车场或小型机器人工作区，完成一套 LiDAR 数据卡和数据管线。使用采集或公开的多帧点云，完成至少一个下游任务：3D 检测、语义分割、占据栅格、scene flow、短时轨迹预测或 NeRF/3DGS 风格场景重建。

最小版本

• 一个场景定义和采集计划，包括地点、时间、运动方式和安全边界。
• 至少 5 段或 100 帧带时间戳的 LiDAR 序列；公开数据或仿真数据可用。
• 明确的坐标系、传感器外参/内参或仿真参数。
• 一个数据 schema：点坐标、强度、时间戳、位姿、天气/光照或场景标签。
• 可视化工具，能展示单帧、累计点云和轨迹。
• 一个质量控制流程和一个下游基线任务。

推荐技术路线

1. 先选择数据来源：公开数据、CARLA/Isaac Sim 仿真、课程 LiDAR，或经批准的小型静态采集。
2. 定义坐标系并验证变换：传感器坐标、机体坐标、世界坐标和地图坐标必须可追溯。
3. 保存原始数据，不直接覆盖；生成去畸变、体素下采样、地面分割等派生数据。
4. 用 Open3D 或等价工具可视化每段数据，检查空帧、重复帧、漂移和异常反射。
5. 选取少量关键帧进行人工标注或核验；记录标注规范和标注者一致性。
6. 建立一个简单的下游基线，例如地面分割、3D occupancy 或预训练 3D 检测模型，比较清洗前后的结果。

必须回答的问题

• 数据要支持哪个下游行为或世界模型能力？
• 每个点、每一帧和每个片段的来源、时间、坐标系和许可证是否可追溯？
• 传感器移动时，如何处理点云内部的运动畸变？
• LiDAR 与相机/IMU 的时间不同步会如何影响融合与标注？
• 数据集在哪些天气、距离、材质、遮挡或速度条件下失效？

评测指标

• 数据完整率：有效帧比例、时间戳连续性和传感器覆盖率。
• 几何质量：配准误差、轨迹漂移、点密度和空洞比例。
• 标注质量：抽样准确率、标注者一致性或与公开真值的匹配度。
• 下游指标：mIoU、3D detection mAP、occupancy IoU、轨迹误差或重建误差，按任务选择。
• 清洗/标定前后下游指标的变化，以及每小时数据的存储和人工标注成本。

数据、隐私与安全边界

不在未经许可的私有场所采集数据；不采集可识别的人脸、车牌、住址或敏感区域。真实采集必须遵守校园/场地规定，设备应由两人操作，不将 LiDAR 对准眼睛、反光镜面或道路交通参与者。公开发布前应执行隐私审查，并附带许可证、采集范围与删除政策。

进阶方向

• 融合相机、IMU 和 LiDAR，并估计时间偏移。
• 对点云进行主动采样：优先采集罕见、困难或不确定场景。
• 构建多帧 occupancy 或动态对象预测世界模型。
• 比较真实、仿真和合成数据的 domain gap。
• 训练能根据下游错误提出下一轮采集计划的 data agent。

交付物

数据卡、采集/仿真协议、点云数据 schema、坐标系与标定说明、可视化 notebook 或应用、质量检查报告、下游基线结果、至少三个数据失败案例，以及明确的数据许可证和隐私声明。

参考资源

• Open3D：点云处理、可视化和配准工具。
• KITTI Vision Benchmark：经典自动驾驶相机与 LiDAR 数据集。
• nuScenes：多传感器自动驾驶数据集与标注规范。
• Waymo Open Dataset：大规模自动驾驶 LiDAR 数据与基准。
• CARLA：可生成带标注传感器数据的开源驾驶仿真器。
• Isaac Sim：机器人仿真与合成传感器数据工具。

常见误区

下载一个点云数据集并训练模型，不等于完成“数据采集”项目。核心证据是完整的数据谱系、可检查的坐标与时间同步、质量控制，以及数据处理如何影响下游世界模型。

> 外部代码、模型、数据集和平台的使用须遵守其对应许可证、服务条款及适用法律；课程不授予第三方资源额外的再分发或商业使用权。