NeRF/3DGaissian与人体重建

Share

NeRF代表"Neural Radiance Fields",是一种用于三维场景重建和渲染的计算机图形学技术。它是由Benjamin Mildenhall等人于2020年提出的一篇论文中引入的。NeRF旨在解决传统基于多视角图像的三维重建方法中存在的一些问题,例如视角依赖性和合成新视角时的不真实感。

NeRF与人体重建总结ppt

下面是结合网络上的资料和我自己的理解写了一个ppt:

📁 File: NeRFDigitalHuman Download
📁 File: NeRFDigitalHuman Download

Instant Volumetric Head Avatars 论文解析

概述

本篇论文介绍了一种使用Instant-ngp加速的NeRF与人体参数化模型结合的工作。
本文将会尝试介绍它的原理以及运行作者提供的代码。
INSTA parper主页https://zielon.github.io/insta/
code https://github.com/Zielon/INSTA

原理解析

结合网络上的资料和自己的理解,写了一个解析ppt:

📁 File: Instant Volumetric Head Acatars Download
📁 File: Instant Volumetric Head Acatars Download

编译 instant-ngp

https://blog.csdn.net/zfjbit/article/details/129918801

原理

deformation gradient
https://www.continuummechanics.org/deformationgradient.html

CUDA调用RT核心进行加速:
GTC 2020: Working with Tensor Cores and RTCore for compute

代码

我将会尝试在WSL2 中运行
配置vulkan 环境
https://zhuanlan.zhihu.com/p/576320322
最后使用windows 运行了

参考资料

NeRF是什么

https://zhuanlan.zhihu.com/p/380015071

体渲染 Volume Rendering

NeRF入门之体渲染 (Volume Rendering)
https://zhuanlan.zhihu.com/p/260540982

Instant NGP

从NeRF到Instant-NGP
https://zhuanlan.zhihu.com/p/575269971

NeRF在人体重建的应用

INSTA

https://zielon.github.io/insta/
https://zhuanlan.zhihu.com/p/590379734

3D 高斯

3d高斯源码解读

https://blog.csdn.net/Sakuya__/article/details/135376331
训练
https://blog.csdn.net/gootyking/article/details/134762792

Read more

可多路视频播放的VisionOS 媒体查看器开发

可多路视频播放的VisionOS 媒体查看器开发

开发一款能够同时播放多个视频的vision pro媒体查看器。 0:00 /0:40 1× 缘起 Vision Pro 发布时我就特别想买,毕业工作后终于有资金购入并加入Apple开发者计划,从今年五月到现在也用了快小半年,用起来确实挺爽。 但是有些痛点还是很难受,其中一个痛点就是无法同时播放多个视频音频(实际上VisionOS提供了同时播放音频的API,但是似乎我用的APP都是不遵守🤣 导致都在抢占),因此为了满足我自己的这个痛点,也学习一下Vision OS 的应用开发,甚至完成度足够的话考虑上架App Store,便有了这个目标是多视频同时播放的媒体查看器项目。 现有工作 我购买了4XVR、Infuse、Moon Player、ES 文件助手(这款只有iPad OS版,不是专供Vision OS的),这几个月体验下来,全都存在我提到的和其他APP抢占音频通道,无法同时播放的问题,其他的我的主观的体验如下: 4XVR:使用最多,用起来最舒服,格式支持很全,VR视频也能看,号称全v

By Feiran Yu