Virtual Reality

我博客中VR相关的文章:

GIST NOTES

注意:使用GIST管理的笔记,在国内网络可能会无法显示。

Holo SDK

开发基于红蓝眼镜的3D内容:HOLO-SDK UNITY PLUGIN FOR DESKTOP AR,但是只有Unity的SDK,不能在UE中进行开发。

预览视频地址:

MocapForAll

日本人做了一个基于计算机视觉,使用几个普通的摄像头来进行全身追踪的方案:MocapForAll (Free Trial)GPU版をインストールする

Twitter演示:

使用Virtual Motion tracker可以用在OpenVR定位的方案中。

Arkit Body Tracking

想法:能否利用iphone的人体追踪和Virtual Motion tracker实现OpenVR设备的全身追踪呢?

可以利用Oculus Quest获取设备的Transform+ARKit的Body Tracking实现坐标系的统一,但是得到的结果只是近似上,会存在抖动问题。

WWDC发布的ARKit5 body tracking看起来比ARKit4更加稳定,对于转身的支持更好。Apple ARKit 5 — augmented reality for iOS

Oculus for M1 Mac

M1 Mac可以安装Oculus App进行投屏:

VR与现实混合

Oculus在v28更新里也增加了添加现实中桌面、键盘的功能:VR Office

Clash For Android

可以在Quest中安装Kr328/ClashForAndroid,配置代理之后就可以和普通的Android设备一样通过代理在Quest中上网了。

Google开源Tilt Brush

无HMD使用Vive Tracker

步骤:

  • 安装SteamVR、htc vive硬件和驱动
  • 编辑SteamVR/resources/settings,把requirehmd改为false,保存后重启SteamVR
  • 开启tracker,重启steamvr,可以看到基站和tracker了
  • Clonepyopenvr仓库,并通过pip安装openvr
  • 使用pyopenvr可以获取设备的信息

教程:单独使用tracker

虚拟制片的流程

最近想业余研究一下虚拟制片的工作流程,准备研究一下弄个个人版的方案玩玩,收集一些资料。

硬件要求:

  • Valve的定位基站(HTC Vive)
  • Vive Tracker一个
  • 相机+视频采集卡/网络摄像头
  • 绿幕

软件要求:

  • Unreal Engine- SteamVR
  • OBS

额外注意事项:

  • 拍摄时应该要和引擎内的帧率同步(高级点的相机
  • 拍摄时人物不应离绿幕太近会有反光的问题

离线更新Oculus Quest2

  1. 将Quest关机
  2. 同时按住Power+音量-键,可进入festboot模式
  3. 通过音量加减键选择sideload Mode,按电源键确认
  4. PC上通过USB连接Quest
  5. 使用adb命令检测是否连接成功
  6. 使用adb sideload命令刷入新固件
  7. 等待刷入成功,会自动重启

工具下载:

Oculus Quest

自从Oculus发布了Quest1,真正把All-in-One VR带入了6DoF时代,3DoF的产品要成为历史的尘埃了。