4DGS A卡训练与VisionPro渲染
赛博朋克 2027-超梦体验
背景
现在的基于 3D GS 的改进方法和工具大量出现，近期 vision os 27 甚至推出了官方基于 metal 的GS 渲染 API。 于是想尝试使用 A 卡训练+vision pro 渲染 的方式来玩 GS。
先看上的是这篇复旦大学的 4dgs， 看起来加入了时间维度(3d+time=4d？)，看起来很科幻，感觉如果能在 Vision Pro 里面用 VR 的方式查看一定很酷炫，就像赛博朋克 2077 里面的超梦一样。
目标是能够用我手机采集的视频，用我家里的台式机训练，用 vision pro 渲染(直接利用 M5 芯片的算力，而不是串流)
实现流程
使用 GPT Pro 辅助开发，架构设计上采用 Client Server 设计，我的windows 7900XTX 主机作为 Server，Vision Pro 作为 Client。
具体技术路线上，
A 卡 Server 使用4DGS 原论文代码接上基于 ROCM的开源 gsplat渲染器(因为A 卡无法跑 CUDA)
Client 端，Vision Pro 使用 Metal Shader 自定义实现了 GS 渲染(之前尝试使用 Apple 官方 API 发现它在 GS 球太多的情况下无法正常显示故放弃)
效果演示
Vision Pro 渲染 4DGS 实机演示-初次训练
如视频所示，采用 4dgs 论文中的样例视频进行训练，Vision Pro 进行渲染，初次训练结果看起来能看出人的轮廓，但是 gs 球颗粒感比较明显， PSNR 仅有 24 db 左右。
经过 调整参数 专门针对 GS 球大小、透明度和颜色进一步专门优化后 PSNR 指标来到了 30db 左右，接近论文中提到的 33db。
调参后的效果，看起来更清晰一些
参考
fudan-zvg
Guanjun Wu
https://cyberpunk.huijiwiki.com/wiki/%E8%B6%85%E6%A2%A6
