Meta展示基于人工智能驅(qū)動的身體姿勢系統(tǒng)最新成果|全球播報
Meta研究人員展示了基于人工智能驅(qū)動的身體姿勢系統(tǒng)最新成果。
目前的VR系統(tǒng)開箱即用，卻只能追蹤頭部和手部位置。盡管基于稱為逆運動學(IK)的算法可估計肘部、軀干和腿部位置，但有時僅對肘部準確，而對腿部則很少正確。對于每組給定的頭部和手部位置，都有太多潛在的解決方案，考慮到IK的局限性，現(xiàn)在的一些VR應用程序僅顯示手部，更多的應用程序僅顯示上半身。
如今，智能手機應用已能基于計算機視覺進行VR身體追蹤，但這需要將手機安裝在角落，并且只有當用戶面對它時才能正常工作；采用SteamVR追蹤的PC VR頭顯基于額外追蹤器（例如HTC Vive Tracker）支持更高質(zhì)量的身體追蹤，但購買足夠多的身體追蹤設備需要花費數(shù)百美元。
(資料圖片僅供參考)
去年，三名Meta研究人員展示了QuestSim，這是一種強化學習模型，可以僅使用Meta Quest 2及其手柄追蹤數(shù)據(jù)來估計合理的全身姿勢。不需要額外的追蹤器或外部傳感器，生成的化身運動與用戶的真實運動相當接近。研究人員甚至聲稱，由此產(chǎn)生的精度和抖動優(yōu)于IMU追蹤器，例如索尼Mocopi。
但導致QuestSim失靈的一個極端情況是，當用戶與現(xiàn)實世界交互時，例如坐在椅子或沙發(fā)上時。處理這個問題，尤其是坐姿和站立之間的過渡，對于社交VR中的逼真完整身體至關(guān)重要。
在一篇名為Quest Env Sim的新論文中，這三位研究人員和另外兩位研究人員提出了一個更新的模型，并考慮了環(huán)境中的家具和其他物體：
盡管研究結(jié)果令人印象深刻。但是，QuestEnvSim不會很快兼容Quest 2，與最初的QuestSim一樣，這里有幾個重要的注意事項。
首先，本文沒有提及所描述系統(tǒng)的運行時性能。機器學習研究論文往往以相對較低的幀率在功能強大的PC GPU上運行。
其次，對家具和物品進行人工掃描，并在虛擬環(huán)境中進行定位。雖然Quest 3也許能夠通過深度傳感器自動掃描家具，但Quest 2和Quest Pro沒有關(guān)鍵的傳感器數(shù)據(jù)。
最后，這些系統(tǒng)旨在產(chǎn)生合理的整體全身姿勢，而不是與你雙手的確切位置相匹配。系統(tǒng)的延遲也相當于VR中的許多幀。因此，即使這些方法可以實時運行，但在VR中俯視自己身體時效果并不理想。
但是，假設系統(tǒng)最終能夠得到優(yōu)化，那么看到其他人化身的全身運動將比Meta當前無腿上半身化身要好得多。
來源：UploadVR
metaQuest 2Quest 3Quest Env Sim標簽：
