微軟MR總監(jiān)：Mesh將成為AR開(kāi)發(fā)的底層架構(gòu)

2021-04-01 18:43:39

字體：大中小

供稿：網(wǎng)友

三月初，微軟重磅推出支持云計(jì)算的AR開(kāi)發(fā)平臺(tái)Mesh，為普及多人跨平臺(tái)AR應(yīng)用帶來(lái)可能。Mesh技術(shù)的應(yīng)用場(chǎng)景有很多，包括遠(yuǎn)程協(xié)作、會(huì)議、虛擬網(wǎng)課、社交、多人游戲、LBS AR、Metaverse、AR云渲染等等。

武林網(wǎng)(Vevb.com)在此前的文章中曾詳細(xì)解釋Mesh平臺(tái)的多種功能，比如：1）降低逼真AR形象開(kāi)發(fā)所需的時(shí)間和資源；2）讓多人AR內(nèi)容更穩(wěn)定，不受延遲和跨平臺(tái)影響；3）支持更多或統(tǒng)一導(dǎo)入至AR平臺(tái)的3D文件格式；4）支持流暢同步的遠(yuǎn)程多人AR體驗(yàn)。

那么，關(guān)于這個(gè)AR云平臺(tái)還有哪些細(xì)節(jié)？到底如何使用？以及為什么微軟決定為AR開(kāi)發(fā)一個(gè)專(zhuān)門(mén)的開(kāi)發(fā)平臺(tái)？帶著這些問(wèn)題，近期外媒NextReality對(duì)微軟MR總監(jiān)Greg Sullivan進(jìn)行了采訪(fǎng)。感興趣請(qǐng)一起來(lái)看一下，也許你們關(guān)注的一些問(wèn)題可以得到解答。

NextReality：能否更加準(zhǔn)確的描述一下Mesh的功能，以及它是什么嗎？

Greg Sullivan：簡(jiǎn)單來(lái)講，Mesh平臺(tái)可以讓你通過(guò)逼真的虛擬形象來(lái)體驗(yàn)沉浸的AR場(chǎng)景，為了增加3D虛擬形象的逼真感，你可能需要使用額外的傳感器/定位器。除此之外，也可以通過(guò)簡(jiǎn)單基礎(chǔ)的虛擬形象來(lái)代表自己，比如微軟團(tuán)隊(duì)就將AltspaceVR的虛擬形象系統(tǒng)移植到Azure，為企業(yè)提供更簡(jiǎn)單的方案。

如果你是HoloLens用戶(hù)，那么便可以使用頭顯的位置追蹤和環(huán)境追蹤傳感器，體驗(yàn)更沉浸的內(nèi)容。此外，你還可以利用HoloLens的手勢(shì)識(shí)別功能來(lái)控制Mesh應(yīng)用和虛擬形象。這是其中一種簡(jiǎn)單的解決方案。

不過(guò)HoloLens只能定位你的頭部和手勢(shì)，并不能追蹤全身。在Mesh宣傳視頻中，曾經(jīng)提到使用Azure Kinect開(kāi)發(fā)者套件和傳感器來(lái)進(jìn)行3D測(cè)量。HoloLens 2采用和Kinect相同的傳感器，額外的Kinect可用于追蹤全身姿態(tài)。除此之外，也可以使用搭載LiDAR傳感器的iPhone、iPad Pro等設(shè)備。

Next Reality：如果HoloLens 2，用戶(hù)如何去控制AR虛擬形象呢？

Sullivan：首先我想說(shuō)明一下Mesh平臺(tái)和服務(wù)的區(qū)別，Mesh服務(wù)值得是一種開(kāi)發(fā)者工具和云服務(wù)的集合，也可以看作是一種沉浸式協(xié)作云服務(wù)。就像是為Xbox開(kāi)發(fā)應(yīng)用，開(kāi)發(fā)者利用Mesh則可以開(kāi)發(fā)沉浸式、協(xié)作的MR應(yīng)用，插入Mesh SDK后，便可為你開(kāi)發(fā)的應(yīng)用加入跨平臺(tái)多人互動(dòng)功能，并在WMR、HoloLens、Oculus、PC、Mac、智能手機(jī)等終端應(yīng)用。

總之，Mesh的愿景是不管你用什么設(shè)備，都能或多或少使用利用Mesh開(kāi)發(fā)的功能或內(nèi)容，與其他3D 虛擬終端互動(dòng)。那么，如何在筆記本或是PC等客戶(hù)端實(shí)現(xiàn)姿態(tài)追蹤呢？

一種方式是通過(guò)鼠標(biāo)來(lái)控制虛擬形象。未來(lái)，微軟將推出支持Mesh的微軟Teams版本，盡管目前還不能確定時(shí)間。

如果是在蘋(píng)果或安卓系統(tǒng)的手機(jī)上運(yùn)行Mesh，開(kāi)發(fā)者可以向根據(jù)ARCore或ARKit架構(gòu)開(kāi)發(fā)AR應(yīng)用，然后再加入Mesh功能。如此一來(lái)，Mesh可服務(wù)于各種各樣的終端設(shè)備，讓更多人可以體驗(yàn)。

Next Reality：Mesh這個(gè)名字背后有什么意思？

Sullivan：它指的并不是3D掃描技術(shù)會(huì)用到的網(wǎng)格，而是指一種讓人們建立聯(lián)系，帶來(lái)臨場(chǎng)感的底層架構(gòu)。

Next Reality：Mesh的功能是否與AR協(xié)作應(yīng)用《Spatial》有所重疊？

Sullivan：微軟，尤其是HoloLens發(fā)明者Alex Kipman與《Spatial》團(tuán)隊(duì)有著緊密的合作關(guān)系，他認(rèn)為《Spatial》只是一個(gè)應(yīng)用，而Mesh是一個(gè)大規(guī)模解決跨平臺(tái)多人AR場(chǎng)景的平臺(tái)。而對(duì)于《Spatial》開(kāi)發(fā)者來(lái)講，他們可以與微軟合作，維護(hù)Mesh平臺(tái)，與此同時(shí)也可以將更多精力和資源用于優(yōu)化自身服務(wù)和應(yīng)用內(nèi)容的特色。

Next Reality：這是否意味著，Mesh的誕生，讓更多開(kāi)發(fā)者可以開(kāi)發(fā)像《Spatial》那樣的應(yīng)用。

Sullivan：是的，而《Spatial》團(tuán)隊(duì)比其他人先一步開(kāi)始，他們已經(jīng)有清晰的價(jià)值定位。也就是說(shuō)，他們可以將更多精力用于優(yōu)化服務(wù)和內(nèi)容，解決更多問(wèn)題，幫其他開(kāi)發(fā)者探路。

Next Reality：Mesh是不是更像是AR的瀏覽器，可以讓大家開(kāi)發(fā)多種不同的AR“網(wǎng)頁(yè)”（內(nèi)容）？

Sullivan：Mesh差不多就像是一種底層標(biāo)準(zhǔn)，為開(kāi)發(fā)者們提供底層基礎(chǔ)問(wèn)題的解決方案，讓他們可以將更多精力用于進(jìn)一步開(kāi)發(fā)和優(yōu)化。

Next Reality：Mesh的收費(fèi)標(biāo)準(zhǔn)是什么？是否分為開(kāi)發(fā)者、專(zhuān)業(yè)、企業(yè)等不同等級(jí)？推出計(jì)劃是什么？

Sullivan：Mesh SDK將免費(fèi)供開(kāi)發(fā)者使用。

Next Reality：既然Mesh支持云端服務(wù)，那么應(yīng)該會(huì)有一些相關(guān)收費(fèi)吧？

Sullivan：差不多，不過(guò)目前還未公布任何相關(guān)細(xì)節(jié)。目前，通過(guò)向開(kāi)發(fā)者提供Mesh預(yù)覽版，就是為了收集反饋，通過(guò)開(kāi)發(fā)者的各種創(chuàng)意，幫助我們了解Mesh潛在的使用方法。

Next Reality：Mesh和Azure都是與云計(jì)算相關(guān)的服務(wù)，那么他們的區(qū)別是什么？

Sullivan：實(shí)際上，Mesh屬于Azure中的一種服務(wù)，是一種基于Azure技術(shù)的沉浸式協(xié)作開(kāi)發(fā)平臺(tái)。Mesh會(huì)用到Azure的遠(yuǎn)程渲染，以及身份管理、安全保護(hù)等企業(yè)級(jí)功能。

Next Reality：可以談?wù)勎④泴?duì)于《Altspace VR》的規(guī)劃嗎？

Sullivan：很多人說(shuō)，現(xiàn)在終于明白為什么微軟要收購(gòu)《Altspace VR》了，它確實(shí)有很多應(yīng)用場(chǎng)景，比如虛擬人像等等。而這還只是開(kāi)始，未來(lái)還將有更多發(fā)展。對(duì)于微軟來(lái)講，從Kinect開(kāi)始Alex Kipman就一直在構(gòu)思虛實(shí)結(jié)合的長(zhǎng)遠(yuǎn)目標(biāo)，因此多人AR是微軟的戰(zhàn)略之一。隨著技術(shù)逐漸成熟，終于決定推出Mesh預(yù)覽版，將WMR、HoloLens等等一系列硬件平臺(tái)聯(lián)系起來(lái)，實(shí)現(xiàn)可供更多人分享的虛擬場(chǎng)景和內(nèi)容。

總之，多人協(xié)作一直是微軟的戰(zhàn)略之一，從推出Kinect開(kāi)始，然后推出HoloLens、HoloLens 2、云服務(wù)、Azure、Spacial Anchor、Remote Rendering等等一系列功能。同時(shí)，這些功能也是Mesh平臺(tái)的一些核心功能，在微軟逐步推進(jìn)后不斷完善。實(shí)際上，在今年MWC上微軟就計(jì)劃展示Mesh，不過(guò)由于疫情原因會(huì)議取消了，于是經(jīng)過(guò)一系列優(yōu)化后，終于正式發(fā)布。

Next Reality：作為微軟AR業(yè)務(wù)多年從事者，這些年都獲取了哪些經(jīng)驗(yàn)，或許可以啟發(fā)未來(lái)的AR應(yīng)用？

Sullivan：郵件、視頻解決了遠(yuǎn)程辦公的許多問(wèn)題，可以看到科技在提升人們工作的方式。不用通勤就能上班，為生活帶來(lái)很大改變，而AR技術(shù)將有望進(jìn)一步優(yōu)化遠(yuǎn)程辦公，模擬面對(duì)面辦公的沉浸感和臨場(chǎng)感。經(jīng)過(guò)去年的疫情，AR與遠(yuǎn)程辦公得到了加速發(fā)展，不過(guò)這些技術(shù)本身也是注定會(huì)實(shí)現(xiàn)。

上一篇：李彥宏：百度汽車(chē)最遲2024年量產(chǎn) Apollo將高速增長(zhǎng)

下一篇：小米自研芯片曝光：5G頻段今年發(fā)布