可多路视频播放的VisionOS 媒体查看器开发
开发一款能够同时播放多个视频的vision pro媒体查看器。
视频1 三路视频同时播放以及图片查看器 文本阅读器
缘起
Vision Pro 发布时我就特别想买,毕业工作后终于有资金购入并加入Apple开发者计划,从今年五月到现在也用了快小半年,用起来确实挺爽。
但是有些痛点还是很难受,其中一个痛点就是无法同时播放多个视频音频(实际上VisionOS提供了同时播放音频的API,但是似乎我用的APP都是不遵守🤣 导致都在抢占),因此为了满足我自己的这个痛点,也学习一下Vision OS 的应用开发,甚至完成度足够的话考虑上架App Store,便有了这个目标是多视频同时播放的媒体查看器项目。
现有工作
我购买了4XVR、Infuse、Moon Player、ES 文件助手(这款只有iPad OS版,不是专供Vision OS的),这几个月体验下来,全都存在我提到的和其他APP抢占音频通道,无法同时播放的问题,其他的我的主观的体验如下:
4XVR:使用最多,用起来最舒服,格式支持很全,VR视频也能看,号称全vision os 唯一能看蓝光iso的软件,也有几个3D沉浸背景。缺点:UI有点不太适配Vision OS,拖动进度条的滑条很容易误触到Vision OS 窗口底部的控制条。
Infuse:中规中矩,感觉格式更新很全,基本就是iPad版本,没什么印象,我也没怎么用。
Moon Player: 感觉就是Infuse加上支持2D视频转3D视频的功能,现在很多AR眼镜也有这个功能,比如我之前用过的XRAL 1S,不太喜欢用这个功能,也没什么印象。同时3D的沉浸背景也比较多。
ES文件管理器:可以看视频 图片 文本 无法看vr视频,其实就是iPad版本上的完全没改,我在iPad上用了很久,连会员都可以到Vision OS 共用,我个人的体验不爽点只有没有适配Vision OS的多窗口,键盘控制不好用,我的这个软件基本目标是ES文件管理器适配Vision OS的特性。
综上所诉,其实4XVR、Infuse、Moon Player 都是很优秀的观影软件,其实是我的需求比较大小众、导致它们可能没有动力去做。看大片就是要全身贯注 再来个沉浸式背景对吧 !
而ES文件管理器就更工具一些,可以在一个软件里面看目录里面的大部分文件(文本 图像 音频 视频 pdf 甚至好像还能看ppt excel),前面几款连音频都无法查看。
Vision Pro标榜自己有生产力,但感觉真就是绑了一个iPad到脸上,甚至原生的软件比iPad还缺少…更核心的是缺少很多macOS / Windows这些系统级的API比如:多应用的混音管理,方便切换窗口的任务栏。
因此,我希望能搓一个稍微有点生产力的媒体查看器,反正先满足我的需求,如果能碰巧满足有类似需求的人就更好了。
目标
核心目标: 支持多路播放音视频,并且不要和别的应用抢占系统级唯一音视频播放栏目。
核心原理就是利用Apple的这个API 来进行开发: https://developer.apple.com/documentation/avkit/creating-a-multiview-video-playback-experience-in-visionos?utm_source=chatgpt.com
主要目标:
- 支持音视频(包含VR视频)、图片、文本的同时多窗口查看;
- 扎实的文件管理(增删改查、路径显示、远程协议SMB等支持)。
可选目标:
- 实现类似Windows的系统音频合成器界面来管理我APP内部的混音(如图1所示);
- 实现web浏览器套壳 让B站 YouTube X等网站也可以同时播放不抢占;
- 加上之前开发的4D/3D GS查看器模块以及实现传统mesh的查看器;
- 充分利用m5 性能加入端测AI 实现模糊搜索or视频超分。

不做什么:
- 不要私有link软件,不要云服务,不要太花哨的沉浸背景(可以开放接口让用户自定义,我没有精力做)
设计
采用模块化设计, 分为以下几个模块:
- 资源管理器 核心模块,增删改查文件,支持缩略图,排序,连接smb、webdev等远程资源
- 音视频播放器 根据资源管理器传入的路径,读取播放视频/音频流,默认采用硬件解码,不支持的小众格式如VMV使用FFMPEG CPU软解作为fallback,同时支持VR的双目播放
- 文本查看器 txt/pdf 查看,能解析pdf目录,能编辑txt
- 图片查看器 能看整个路径里的图片 方便键盘控制,可能要支持动图和透明图
- 3D查看器 查看3D/4D GS资产和.stl .obj等常见3D格式
开发
26/10/6 MVP版本, 初步能够实现核心目标:同时播放最多五路视频 如开头的视频和下图所示,多路视频是真的可以同时播放的!视频中展示了三路视频播放和一个文件管理器(中)和一个图片查看器(左)

开发流程:国庆假期在玩群星的时候突然想法成型,vibecoding了接近半天时间,使用GPT PRO 100刀会员 6.1 sol 极高,消耗周额度约30% 完成🤣 GPT大人还是太强大了。
未完待续...