文 | 史中

來源 | 淺黑科技

如果我們的后代站在未來回望，很可能會把60后、70后、80后、90后、00后、10后，都?xì)w為“同一代人”，這個(gè)時(shí)代就叫“像素時(shí)代”。

而從“20后”開始，新一代人出現(xiàn)了，他們的時(shí)代叫作“體素時(shí)代”。

此時(shí)此刻，我們也許正站在歷史的轉(zhuǎn)折點(diǎn)上，少數(shù)人歡欣鼓舞，而多數(shù)人懵然無知。

我厚顏無恥地希望，這篇文章也許能成為大家理解未來的一個(gè)小小扳手。

（一）像素時(shí)代的“黃昏”

用輕松的方式開場吧，來回顧一下俺們的共同回憶。

比如，我們一起經(jīng)歷過戰(zhàn)爭與和平。

體驗(yàn)過愛與死。

見證了榮耀與夢想。

也品嘗過柴米油鹽、江湖恩怨。

但是，你有沒有發(fā)現(xiàn)一個(gè)問題——無論如何努力回想，這些經(jīng)典的畫面都只能以“平面”的方式在我們腦海里放映：

魂斗羅、坦克大戰(zhàn)當(dāng)然本身就是平面游戲；

《大話西游》、“奧運(yùn)開幕”也是同樣，我們只能站在攝影師的角度去還原當(dāng)時(shí)的場景，至于鏡頭里恰好背對我們的人，當(dāng)時(shí)他們有怎樣的表情、狀態(tài)，將成為一個(gè)謎，重溫者永遠(yuǎn)不得而知。

網(wǎng)頁就更是平面的了，一般人根本不會提出“網(wǎng)頁的背面長什么樣”這種蛇精病問題——它就沒有背面。

平面信息是如此深刻地滲入我們的生活，以至于萬物都離不開一個(gè)關(guān)鍵詞：“像素”。

屏幕要看像素，攝像頭要看像素，照片、視頻都要看像素。仔細(xì)想想，世界上沒有任何一個(gè)專業(yè)技術(shù)詞匯能像“像素”這樣被普通大眾所理解，普及到一個(gè)農(nóng)村阿姨也能脫口而出。

看到這兒，你也許有點(diǎn)摸不著頭腦——像素有啥不好？我從小喝到大，生活中一切需求都能滿足啊。。。

你看，有人把電影的演職員表展開，就是一大張圖片。

這里按下暫停鍵，我必須強(qiáng)行問你一句：真的是這樣么？

如果把“像素”換成“體素”呢？

1、防止有淺友不知道，我先解釋一下什么是“體素”。

其實(shí)很容易理解：在平面空間組成信息的元素叫像素，在立體空間里組成信息的元素就叫體素。（一個(gè)像素包含xy兩個(gè)參數(shù)，而一個(gè)體素包含xyz三個(gè)參數(shù)。）

比如：《仙劍奇?zhèn)b傳》里李逍遙就是用“像素”拼成的，而在《我的世界》里，主角史蒂夫就是由體素組成的。

2、再解釋一下什么是“體素時(shí)代”。

當(dāng)日常生活中的大多數(shù)信息都以體素來“標(biāo)記”和“傳遞”的時(shí)候，我們就四舍五入邁進(jìn)了體素時(shí)代。

舉個(gè)簡單的例子：

你拼了一個(gè)很好看的汽車模型，想跟朋友顯擺一下。

今天的操作是，你選一個(gè)（或幾個(gè)）角度拍 “照片”發(fā)到朋友圈，大家可以放大、縮小，隨便看；

但未來很可能是，你用手機(jī)環(huán)繞模型拍一圈，它就會在三維世界自動(dòng)生成一個(gè)立體的模型，你把這個(gè) “影像”發(fā)到朋友圈，大家就可以隨意 轉(zhuǎn)動(dòng)，相當(dāng)于從無數(shù)個(gè)角度無死角欣賞你的作品。

當(dāng)然，你有沒有勇氣讓別人無死角欣賞自己的作品是另一個(gè)問題，但這里我想說明的是：

“體素時(shí)代”能夠傳遞的信息，比“像素時(shí)代”要完整和豐富得多。

就像這樣↓↓↓

你還記得《三體》的結(jié)尾有一個(gè)經(jīng)典情節(jié)不？

太陽系被未知文明的二向箔從3D狀態(tài)“拍”成2D狀態(tài)?！俺绦穆眯袌F(tuán)”一行在冥王星上目睹了地球“躺平”的全過程。

文中描述，三維世界的地球內(nèi)部有豐富的結(jié)構(gòu)，在不損失信息的情況下變成二維的，面積就會變得巨大，像一張宇宙烙餅。

難以想象么？沒關(guān)系，在B站上有同學(xué)（@Ele實(shí)驗(yàn)室）用數(shù)學(xué)方法模擬了這個(gè)過程，就如下圖：

地球的故事告訴我們，如果“體素時(shí)代”的信息量是“弱水三千”，像素時(shí)代就只是“取了一瓢飲”。那，有沒有一種可能：踏進(jìn)體素時(shí)代，就像一個(gè)人住過別墅花園，再也回不去鴿籠蝸居？

體素時(shí)代早有征兆：

比如，《黑客帝國》開創(chuàng)的“子彈時(shí)間”和《阿凡達(dá)》開創(chuàng)的“3D 電影”；比如，以《絕地求生》《堡壘之夜》為代表的第一人稱游戲；

比如，Oculus VR 眼鏡、正在趕來的蘋果 AR 眼鏡和各路牛鬼蛇神的元宇宙雛形。

Meta 的“VR 社交平臺”Horizon Worlds

這些嘗試的意義在于，它們?yōu)槭澜绶e累了“3D建模系統(tǒng)”、“虛擬渲染引擎”、“頭顯硬件”等諸多技術(shù)。這些技術(shù)，可以看做是涓滴細(xì)水，而它們終究會匯在一起，成為“時(shí)代的泥石流”。

現(xiàn)在，泥石流近在眼前。

最先進(jìn)入體素時(shí)代的將會是我們生活的哪個(gè)部分呢？

我盲猜有三個(gè)：電商、社交、搜索。

這三個(gè)領(lǐng)域，熟不熟悉？夢回2000年，互聯(lián)網(wǎng)的流金歲月，我們的生活不恰恰也是從這三個(gè)領(lǐng)域開始變革的嗎？

如果，我們20年前經(jīng)歷的那一波以“像素”為代表的的科技浪潮，在今天以同樣摧枯拉朽的姿勢重新席卷一遍——我們也許將看到體素時(shí)代的淘寶、微信和百度。

這不是在憑空想象，端倪已經(jīng)出現(xiàn)。

就在前兩天，我和淘寶的幾個(gè)前沿技術(shù)團(tuán)隊(duì)聊了聊。在他們眼里，體素時(shí)代正如黎明一般迫近。而這群技術(shù)理想主義者，趁其他人還沒睡醒，就已經(jīng)背上行囊向星辰大海進(jìn)發(fā)了。

（二）前輩們留下的“兩把鑰匙”

說實(shí)話，現(xiàn)在為“體素時(shí)代”擂鼓助威，我心里也有點(diǎn)發(fā)虛。

為啥呢？因?yàn)闅v史上，這個(gè)時(shí)代四舍五入已經(jīng)“來”過一次，而且又走了。。。

那是遙遠(yuǎn)的2016年，還沒有國際形勢的劍拔弩張，只有人們對愛與科技的幻想。

那一年，谷歌地球的創(chuàng)始人，整天幻想怪物出沒的老男孩漢克搞出了《PokémonGo》（寶可夢Go），人們拿著手機(jī)對準(zhǔn)無趣的草叢和平常巷陌，就能發(fā)現(xiàn)寵物小精靈隱藏其中，一個(gè)精靈球甩過去，捕獲神獸，爽點(diǎn)爆棚。

《PokémonGo》和漢克

VR/AR 的熱潮就這么出現(xiàn)了。

彼時(shí)尚未嗅到命運(yùn)血腥的暴風(fēng)影音信心滿懷推出 VR 眼鏡；光線傳媒、愛奇藝這樣的頂級內(nèi)容制作商也開始重金制作 VR 影片；明星初創(chuàng)公司 MagicLeap 在網(wǎng)上強(qiáng)推了一個(gè)短片——籃球場的木地板上，一只鯨魚騰空躍起，收獲四座尖叫。

當(dāng)時(shí)的淘寶也深受鼓舞，在2016年的“淘寶造物節(jié)”上推出了VR購物模塊——“Buy+”。人們不用買VR眼鏡，也能在手機(jī)屏幕上體驗(yàn)到“3D購物”的樂趣。

現(xiàn)在說起“Buy+”，其實(shí)很多人都不太記得。

這是因?yàn)椋珺uy+本身就是實(shí)驗(yàn)性的。雖然大家第一感覺很驚艷，但在那個(gè)技術(shù)尚不成熟的世界里，要把“腦袋”轉(zhuǎn)到對準(zhǔn)地上的箭頭才能走路，可以說“舉步維艱”；好不容易走到貨架前，商品種類也是有限的，還不能享受和店家講價(jià)的快感。體驗(yàn)并不完善。

所以，嘗鮮之后，大多數(shù)人也就淡忘了。

但從歷史的角度看，Buy+ 意義重大。

因?yàn)樗C明了“體素時(shí)代”雖好，但沒辦法跑步進(jìn)入。而且，它還用自己的經(jīng)驗(yàn)教訓(xùn)給后人留下了進(jìn)入體素時(shí)代的“兩把鑰匙”：

第一把鑰匙：人人都得用得起；

這里的人人包括兩個(gè)，賣家和買家。

當(dāng)時(shí)為一套洗發(fā)水3D建模所花的錢，恨不得能買半車洗發(fā)水，除了大廠，又有幾家公司用得起呢？而且，如果模型稍微精細(xì)一點(diǎn)，一般的手機(jī)就跑不起來，得用上專業(yè)的“頭顯設(shè)備”，這又有幾個(gè)用戶愿意用呢？

所以， 大幅降低“建模建設(shè)”和“模型渲染”的成本，就是必要條件。

第二把鑰匙：體驗(yàn)不能凹造型。

還拿洗發(fā)水舉例，這類生活用品人人都熟悉，連質(zhì)感氣味形狀都知道，好像不必通過3D模型了解。。。這樣的場景就很難給人提供新的刺激。

所以， 找到能發(fā)揮3D模型功能的獨(dú)特場景，也是必要條件。

2016年的那波 AR/VR 熱潮很快就過去了。但“降低成本”和“尋找場景”這兩把鑰匙卻傳給了后來人。（這兩把鑰匙我用綠色字體表示，后面說到鑰匙的時(shí)候，我還會用綠色標(biāo)注。）

灰燼之下，開始有了新芽。

（三）體素時(shí)代的“商品詳情頁”

不妨把進(jìn)度條拉到2021年，也就是我們今天故事的前夜。

你會發(fā)現(xiàn)，那時(shí)的“淘寶App”就像一個(gè)大逃殺戰(zhàn)場：很多當(dāng)年大開大合的 VR/AR 功能都已殘血進(jìn)入了蟄伏期，而一些實(shí)用的小功能，反而因?yàn)橛脩舻闹С帧捌垺弊×恕?/span>

比如，“AR試”。

也就是通過攝像頭來試鞋、試妝、試表和試眼鏡。

“AR試”之所以能通過大逃殺活下來，恰恰是因?yàn)槭治漳莾砂?/span>鑰匙：1）一目了然就能看到商品上身的效果，給用戶提供了很實(shí)在的參考，這是場景合適；2）運(yùn)用了一種名叫 WebXR 的輕量化技術(shù)，幾乎所有手機(jī)都能無壓力地運(yùn)行3D計(jì)算，這是成本低廉。

注意，剛才我提到一個(gè)生詞，WebXR。

多介紹幾句，WebXR 最早是2016年由 Mozilla（就是做火狐瀏覽器那個(gè)）的幾位技術(shù)宅提出的框架，它的理想就是：手機(jī)上不用下載任何軟件，僅僅打開瀏覽器就能進(jìn)入3D世界。（XR的意思就是AR、VR、MR，什么R都行）

那幾年，雖然 XR 產(chǎn)業(yè)遭遇了血雨腥風(fēng)，但 WebXR 技術(shù)本身卻在社區(qū)的貢獻(xiàn)之下日益精進(jìn)，越來越輕量化，越來越親民。

好了，有了這些鋪墊，現(xiàn)在請上我們今天第一位主角，承越。

承越是個(gè)資深 XR 愛好者，2016年的時(shí)候就吃了螃蟹——當(dāng)時(shí)他看完 HTC Vive 頭顯的發(fā)布會，直接上頭，下單剁手。

2021年時(shí)，他在淘寶的技術(shù)團(tuán)隊(duì)負(fù)責(zé)會場、頻道的開發(fā)，一方面看到“AR試”很受歡迎，一方面看到 WebXR 在互動(dòng)技術(shù)上有了新進(jìn)步，他又有點(diǎn)上頭：

既然手表、鞋，這種東西能在線試，那么更復(fù)雜的東西，例如小家電的拆裝和使用，能不能在線試呢？

想到這，他坐不住了，帶著幾位同學(xué)成立了一個(gè)“f(x)團(tuán)隊(duì)”，嘗試把 WebXR 這幾年的最新技術(shù)推進(jìn)實(shí)戰(zhàn)。

調(diào)研了半天，他們決定先做一個(gè)“商品說明書”。

啥是說明書？

我們分析發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：人們?yōu)g覽淘寶商品的時(shí)候，通常會在“物品+場景”那張圖上停留很長時(shí)間，這說明人們不止關(guān)心商品本身，更關(guān)心商品和環(huán)境在一起的信息。也就是， “商品應(yīng)該用在哪里”。

比如一個(gè)吸塵器，有很多組件、吸頭，它們怎么裝配才能吸地毯，怎么裝配才能吸瓷磚呢？

這些信息雖然在家電說明書里都有記載，但人們看上去不直觀，我們就把這些組件都做成3D模型，用戶在3D空間里拆裝、使用，很快就能明白它的用法，這就是“商品說明書”啦。

承越說。

我仔細(xì)體會了一下，這么說來，要想做出一個(gè)好的“商品說明書”，承越他們不僅需要把“商品本身”變成“可拆裝的3D模型”，還得把“商品使用的場景”變成“3D空間”。

但這件事兒沒有說起來那么容易——在商品過剩的時(shí)代，用戶是很挑剔的，你這說明書但凡“不流暢”或者“不真實(shí)”，大家就會覺得沒必要在這浪費(fèi)時(shí)間，轉(zhuǎn)頭就走。。。

于是，第一個(gè)坑來了。

悖論擺在面前：要保證流暢，3D模型就要精簡；可模型一精簡，就會失真，變成五毛特效。

思來想去，承越他們只好對模型分情況“雕刻”——用戶可以互動(dòng)的地方，模型就盡量做得精細(xì)，用戶不互動(dòng)的地方，就盡量把模型做小。

說到互動(dòng)，第二個(gè)坑來了。

如果想實(shí)現(xiàn)“互動(dòng)”功能，就必須往這些模型里注入“靈魂”，也就是“功能代碼”。但這些代碼也會占很大一部分空間。。。

承越告訴我，標(biāo)準(zhǔn)的 WebXR 框架包括很細(xì)致的交互動(dòng)作。比如，你的手放到一個(gè)物體上，可以觸發(fā)一個(gè)命令；手指移動(dòng)，也會觸發(fā)命令；移動(dòng)停止也能觸發(fā)命令，抬起手指還會觸發(fā)一個(gè)命令。

作為一個(gè)框架，設(shè)計(jì)的時(shí)候當(dāng)然要考慮所有情況，無可厚非。但如果直接拿來就用，就會讓最終的成品充滿無用代碼，變得很臃腫。直接表現(xiàn)就是——用戶點(diǎn)開之后，要看著進(jìn)度條加載半天。

所以，要想做出好東西，精簡“WebXR”的框架是不可省略的動(dòng)作。

承越說，為了搞清楚一堆代碼之間的調(diào)用關(guān)系，他們把所有功能都畫在墻上，然后用“連連看”把不同模塊的關(guān)系搞清楚，最后，再一根根剪斷。

有點(diǎn)像拆彈部隊(duì)，面對一堆雜亂無章的線，卻不能犯錯(cuò)誤。一旦把有用的功能給剪掉，就會“爆炸”。

他笑。

從2022年春節(jié)開始，雕刻了兩個(gè)月，成果斐然，f(x)團(tuán)隊(duì)總算把這套 Demo 從最初的幾百M(fèi)精簡到了10M以內(nèi)。這就已經(jīng)相當(dāng)于一個(gè)短視頻的大小了，普通手機(jī)、普通網(wǎng)速下載起來也沒壓力。

至此，不妨再跟著我想象一下這個(gè)說明書的樣子：

1）一個(gè)3D小房間，里面有一個(gè)（或多個(gè)）商品。

2）你可以進(jìn)入這個(gè)房間，仔細(xì)研究商品的功能，而商品各個(gè)部位的屬性、參數(shù)，也都用懸浮泡泡的方式展示在旁邊。

3）賽博空間里，這樣的3D小房間還可以有很多，無窮無盡，他們之間相互連通，你可以走來走去。

你有沒有發(fā)現(xiàn)：這個(gè)商品的3D小房間，有點(diǎn)像我們熟悉的“商品詳情頁”。而如果布置妥當(dāng)，小房間能給你傳達(dá)的信息，其實(shí)比詳情頁更多、更直接。

也就是說，“3D商品說明書”只是這個(gè)設(shè)想的初級階段，未來它很有可能成為新一代的“3D商品詳情頁”。

說到這，你可能就明白了， 承越他們正是在為“體素時(shí)代”的到來尋找那把鑰匙——合適的場景。（注意，是綠色字體）

承越幫我設(shè)想了一個(gè)標(biāo)準(zhǔn)場景：

未來朋友分享給我一個(gè)商品，很可能不是商品詳情頁，而是一個(gè)“3D房間”的鏈接，我只要點(diǎn)擊，一秒就能進(jìn)入這個(gè)3D房間，在里面體驗(yàn)過商品的詳細(xì)功能，如果覺得好，就能直接下單購買！

這聽上去還挺酷的。

好，我們繼續(xù)。如果你接受了“體素時(shí)代會有很多3D房間”這個(gè)設(shè)定，就一定會想到：未來這些房間里恐怕需要大量的“3D商品”來填充。

于是，這些3D商品怎么才能“低成本”、“大量地”建模制作出來，就成了迫切需要解決的問題。

巧了，在淘寶技術(shù)團(tuán)隊(duì)，恰好有一群大牛在研究這個(gè)問題。

（四）“侵略者”和“造物者”

2021年春天，友聞開心地一蹦三尺。

纏繞在他心頭的一團(tuán)亂麻，被一把利劍劈開。

這團(tuán)“亂麻”是啥呢？

多介紹一句背景：友聞帶領(lǐng)一群技術(shù)宅，服務(wù)于“每平每屋”。應(yīng)該有不少人用過“每平每屋”，就是阿里巴巴旗下的家居平臺，可以在上面買家具，也可以請?jiān)O(shè)計(jì)師幫你搞家居設(shè)計(jì)和裝修。

然鵝，賣家居是個(gè)很費(fèi)勁的事兒，因?yàn)榧揖呖钍胶脱b修風(fēng)格各有不同，顧客很難想象出一個(gè)沙發(fā)放到一種裝修風(fēng)格里的樣子。。。想象不出來，就不敢買嘛。

所以，最好的辦法就是“先嘗后買”——下單之前，讓設(shè)計(jì)師先幫你做出一套“3D設(shè)計(jì)圖”瞧瞧。

就像這樣???

但設(shè)計(jì)師干活兒是要錢的。一個(gè)裝修方案的3D設(shè)計(jì)最少也得1000塊，一個(gè)沙發(fā)的手繪3D模型最便宜也要200塊。一般人看到這么貴，就打退堂鼓了，我還不如去線下家具店看看實(shí)物呢。。。

所以，友聞和團(tuán)隊(duì)的任務(wù)就是：找到一種方法，用計(jì)算機(jī)來代替人類進(jìn)行“建?！焙汀霸O(shè)計(jì)”，大大降低“試”的成本。

但是這件事兒談何容易。2020年，友聞和團(tuán)隊(duì)研究了一年，嘗試了三種不同的技術(shù)路線，全都沒能成功。。。

友聞

就在這時(shí)，那支“利劍”橫空出世。

這就是谷歌發(fā)表在機(jī)器視覺頂級會議 ECCV 上的一種算法：NeRF。

看到這，可能有的淺友心中一驚：頂級會議的學(xué)術(shù)研究，估計(jì)完全看不懂吧。。。放心，后面我會用特別簡單的例子來給你說明白。

NeRF 的核心奧義就是一句話：原本需要“手繪”的3D建模，用“拍照”的方式來實(shí)現(xiàn)。

NeRF 建模就像這樣???

當(dāng)然，建模的話，用一張照片肯定不夠，得從不同角度多拍幾張（或是繞著主體拍一段視頻）——只要角度足夠豐富，就能靠“想象力”把平面上的“像素”還原成空間里的“體素”。

這個(gè)想象的過程，靠的當(dāng)然不是人腦，而是人工智能。

NeRF 有牛呢？它被技術(shù)宅們形容為：人工智能對圖形渲染的一次“侵略”。

還是用實(shí)力說話吧。你看，給我?guī)讖?span id="7cv38ze8gk" class="candidate-entity-word" data-gid="11755762">谷歌街景的照片，就能還你一個(gè)3D世界的舊金山。。。

連一座城市都能還原出來，還原一個(gè)椅子和柜子，還不是小菜一碟么？淘寶商家自己繞著椅子拍一段視頻，就能還原出椅子的3D模型，這簡直是生產(chǎn)力的史詩級飛躍啊。。。

想到這里，友聞激動(dòng)萬分。

但很快，問題出現(xiàn)了：

NeRF的論文只是理論上可行，但真按照論文的方法做出來一個(gè)模型，要消耗大量計(jì)算力，渲染一幀就要20多秒；

有一種叫做 FastNeRF 的改良技術(shù)可以解決這個(gè)問題，但做出來的模型大小超過1G，完全沒辦法大規(guī)模實(shí)戰(zhàn)。。。

但作為算法界的老炮，他是不會輕易認(rèn)輸?shù)摹?/span>

一個(gè)三維模型，只有表面這一層體素是最有意義的，至于物體的內(nèi)部和外部的體素，其實(shí)并不包含重要信息。

舉個(gè)例子：西瓜之所以看上去是西瓜，不是因?yàn)椤拔鞴先俊保且驗(yàn)椤拔鞴掀ぁ?。你看不到西瓜?nèi)部，并不影響你判斷它是個(gè)西瓜。

所以，在3D建模過程中，內(nèi)部體素就可以大幅刪減。

當(dāng)然，舉西瓜的例子只是為了說明模型精簡的思路。整個(gè)2021年春天，團(tuán)隊(duì)都在研究一件事情，怎么像修剪樹木一樣，既不影響模型表達(dá)效果，又能把 NeRF 算法的計(jì)算量簡化到最小。

兩個(gè)月后，他們成功地把模型的大小從1G壓縮到了70M，計(jì)算效率也比論文中提升了10000倍。

技術(shù)宅們趕緊找來一堆桌椅板凳，準(zhǔn)備自己用手機(jī)拍的視頻渲染一個(gè)模型。

新問題很快出現(xiàn)了：這套系統(tǒng)要求拍攝者必須是人肉三腳架、人肉穩(wěn)定儀。稍微手抖一下，人工智能就會“想象不出來”，換句話說，就是建模失敗。。。

即便建模成功，也有可能出現(xiàn)一個(gè)詭異的情況，那就是：從某個(gè)刁鉆的角度看，3D物體會出現(xiàn)缺損。。。

就像這樣???

這是為啥呢？

說到這，看來我還得科普一下 NeRF 進(jìn)行“想象”時(shí)候的基本原理。

首先，系統(tǒng)會射出無數(shù)根“光線”穿過物體；

然后，通過不同光線上同一個(gè)點(diǎn)的坐標(biāo)，反推計(jì)算，就能還原出3D模型中體素的準(zhǔn)確位置。

在 NeRF 原版的設(shè)計(jì)中，從一個(gè)點(diǎn)射出的光線都是平行的，就像電影《英雄》里，秦國士兵射出的箭那樣。結(jié)果，就會造成前文所說的“刁鉆角度”下模型缺損的問題。

就像這樣???

友聞他們眉頭一皺，計(jì)上心來，做了一個(gè)小改動(dòng)，把平行的箭改成了“亂箭”——讓每一條光線隨機(jī)選擇角度。這樣，在完全沒有增加計(jì)算量的前提下，卻一下子解決了建模質(zhì)量的問題。

就像這樣???

當(dāng)然，類似這樣的改進(jìn)，他們還做了好多，就不一一詳解了。這些改進(jìn)綜合起來，就大大提高了建模的成功率。

就像這樣???

到了2021年10月，他們已經(jīng)能做到：一個(gè)普通人，用普通手機(jī)，學(xué)習(xí)拍攝10次就能學(xué)會建模。

這時(shí)，友聞他們才覺得時(shí)機(jī)成熟了。

他們給這套系統(tǒng)起名叫做“Object Drawer”，在淘寶內(nèi)部正式發(fā)布。

說到這，這個(gè)故事就和我們今天的主題聯(lián)系起來了：因?yàn)橛崖勊麄冏龅?，恰恰就是尋找“體素時(shí)代”的那一把鑰匙——“降低成本”。

你看，視頻抖成這樣也沒問題。

說到這我還得提醒你注意：要想真正進(jìn)入“體素時(shí)代”，降低成本絕不能靠粗制濫造的“五毛特效”，華麗逼真的模型是首要前提。

這不，“Object Drawer” 剛剛發(fā)布，就有一些商家申請內(nèi)測，但是他們用過之后，給出了“吐槽”：

“形狀嘛倒是還原得還可以，但是表面紋理為啥有點(diǎn)模糊啊。。?！?/span>

友聞?dòng)悬c(diǎn)撓頭：“紋理”二字，可擊中了人工智能的軟肋。

因?yàn)槿斯ぶ悄艿倪\(yùn)算過程的本質(zhì)是概率推理，這必然會造成相鄰體素的參數(shù)有一定的相似性。換句話說，模糊就是人工智能甩不掉的內(nèi)在缺陷。。。

但眼看萬里長征已經(jīng)走了一大半，不能功敗垂成。友聞他們只好研究了另一種方案，把傳統(tǒng)算法生成的紋理疊加在 NeRF 的模型之上。這樣一來，在計(jì)算成本不提升的前提下，一下子就讓表面紋理從“模棱兩可”變成了“高清畫質(zhì)”。

至此，“Object Drawer” 被封裝成了一個(gè)非常好用的“攝像頭建模工具”。

雖然在友聞他們看來，Object Drawer 還有很大的進(jìn)步空間，但不可否認(rèn)，一個(gè)虛擬世界的“模型生產(chǎn)線”已經(jīng)雛形初現(xiàn)！

注意，3D模型生產(chǎn)線和實(shí)物生產(chǎn)線有所不同：

一個(gè)以原子為基礎(chǔ)的“物理商品”會隨著時(shí)間損壞、變質(zhì)；但以代碼為基礎(chǔ)的“3D模型”一旦被制作出來，就永遠(yuǎn)光鮮如初。

這些模型會成為賽博世界里的“基石”，永遠(yuǎn)堅(jiān)硬，而且不斷堆壘。

你有沒有發(fā)現(xiàn)，這個(gè)過程很像淘寶過去的發(fā)展歷程。無數(shù)商家們不斷把自己的商品拍照上傳，這些數(shù)以億計(jì)的照片積累起來，就成為蘊(yùn)含數(shù)據(jù)價(jià)值的金礦——可以通過人工智能學(xué)習(xí)服務(wù)商家，也可以用于未來虛擬空間的設(shè)計(jì)和搭建。

從這個(gè)角度理解，3D模型的價(jià)值，比圖片的價(jià)值只多不少。

當(dāng)然，這些設(shè)想都是后話。眼下，在這些模型積累的過程中，它們能發(fā)揮什么價(jià)值呢？

起碼有一條路，已經(jīng)能走通了：一群技術(shù)大牛，正在把這些3D模型塞進(jìn)主播們的帶貨直播間，把“普通直播間”升級成“3D直播間”。

（五）3D直播間

經(jīng)?？粗辈ベ徫锏臏\友可能知道，現(xiàn)在的直播已經(jīng)非?！熬怼绷耍鞑児馐窃阽R頭前耍嘴皮子已經(jīng)遠(yuǎn)遠(yuǎn)不夠了。

他們得搞些大場面。

比如李佳琦，他的直播間就會在大促的時(shí)候，租下一個(gè)巨大的演播室，然后聘請晚會級的燈光、舞美團(tuán)隊(duì)。幾百號人共同協(xié)作，才能完成一場直播狂歡。

這是李佳琦日常直播，也需要40-60人的團(tuán)隊(duì)。

但講真，這樣的大場面確實(shí)費(fèi)錢，沒個(gè)幾百萬是搞不下來的，不是頭部主播根本不敢這樣玩。

在長孫泰眼里，這樣的實(shí)景直播好是好。。。但也。。。不是很有必要。。。

因?yàn)樗蛨F(tuán)隊(duì)可以用一整套3D技術(shù)，實(shí)現(xiàn)虛擬場景直播——人只要站在綠幕前，就可以被傳送到一個(gè)盛大的舞臺中央。

這個(gè)舞臺可以在深山老林，也可以在古堡花園，可以漫天飛著鯨魚，也可以建在月球的環(huán)形山里，總之，壓根不用受物理定律的限制。。。

這不，2021年的“618 大促”，小米在天貓進(jìn)行了一場盛大的帶貨直播。

他們使用的技術(shù)就是“3D直播間”。

注意，這些舞臺元素不是隨便“Ctrl+V”過來的妖艷賤貨，而是專門為這場直播從頭設(shè)計(jì)的。但即便是專門團(tuán)隊(duì)制作了整套舞臺3D形象，成本也只是幾萬元量級，比搭建實(shí)景舞臺便宜得多。

這是小米的直播間

長孫泰伸出三個(gè)指頭，給我科普：“凡是賣貨的場景，都分為三個(gè)要素：人、貨、場?！?/span>

所謂人，就是主播，用綠幕摳圖的方法來捕捉影像。（當(dāng)然也可以是數(shù)字人，這里篇幅有限不討論了。）

所謂貨，就是要賣的東西，它可以是主播手上拿著實(shí)物，也可以以“3D模型”的方式出現(xiàn)在主播身邊的“虛空”中。

所謂場，就是舞臺。

對于“3D直播間”來說，場，也就是舞臺是最復(fù)雜的。

之所以復(fù)雜，還是因?yàn)橐蟾摺?/span>由于直播效果是要和專業(yè)的舞臺相對標(biāo)的，所以這些背景模型沒辦法做到像友聞他們用 Object Drawer 掃描出來的模型那么小。

這就造成兩個(gè)結(jié)果：

1、舞臺目前還需要專業(yè)團(tuán)隊(duì)來制作；

2、要想把這個(gè)舞臺運(yùn)行起來，需要一個(gè)配置非常好的電腦。（手機(jī)暫時(shí)不行）

退回到2021年夏天，如果你想搞一個(gè)3D直播，需要有一個(gè)小團(tuán)隊(duì)去到你家輔助你：

一部分人負(fù)責(zé)支綠幕、打光；一部分人操作電腦，在旁邊把人物影像和虛擬背景合成起來。

估計(jì)你也感受到了，這樣的操作臨時(shí)搞一兩次還可以，但好像不能作為標(biāo)準(zhǔn)方法大量推廣。

原因就是——這樣的成本太高。

這么高昂的成本，是無法帶領(lǐng)廣大主播進(jìn)入“體素時(shí)代”的。

于是，整個(gè)2021年下半年，長孫泰和團(tuán)隊(duì)就在嘗試把這一整套系統(tǒng)搬到云端。

他們要達(dá)到的目標(biāo)就是：

1、主播只需要像平常一樣直播，可以有綠幕也可以沒有綠幕，打光更好不打光也行，系統(tǒng)都能自動(dòng)把他們的人像摳出來。

2、3D舞臺和3D商品的計(jì)算全部在云端運(yùn)行。主播的人像傳到云端，和背景疊加之后，直接傳輸?shù)角f剁手黨的手機(jī)上。

這樣一來，不用專人去現(xiàn)場輔助直播，成本直接大幅降低——無論是大主播還是小主播，就都能方便地搞出自己的“3D直播間”。

這是云上XR直播的全流程

長孫泰提醒我：“虛擬商品”這樣的資產(chǎn)可以積累，“虛擬舞臺”這樣的資產(chǎn)也是可以積累的。

不妨拿樂高積木打比方：

樂高積木生產(chǎn)的過程固然比較復(fù)雜，需要在工廠里實(shí)現(xiàn)；

但是一旦生產(chǎn)出來，再用這些積木拼插出無數(shù)有趣的場景，就變得簡單了，普通人也能玩得轉(zhuǎn)。

主播可以買來“積木”自己拼搭，這就是它私有的直播間（不與別人分享）；主播也可以選擇在淘寶上直接使用公共3D直播間，在上面做個(gè)性化微調(diào)。

這樣，使用“公共3D直播間”的主播越多，平攤下來，制作成本就越低。

假如制作一個(gè)精美的舞臺用了5萬塊，結(jié)果有5萬個(gè)主播都選擇共用，那就相當(dāng)于每人眾籌1塊錢。

長孫泰

說到這兒，我們不妨回到歷史的上空，俯視現(xiàn)在這個(gè)時(shí)間點(diǎn)已有的一切：

我們正在擁有價(jià)格低廉的“3D模型”，也有了價(jià)格低廉的“3D房間”和“3D直播間”，它們共同構(gòu)成了“體素世界”的雛形。

接下來，終于到了靈魂拷問：

普通人（也就是你和我）目前只能隔著手機(jī)屏幕*觀察*和*控制*這個(gè)世界，但不能方便地“置身其中”。

之所以這樣，是因?yàn)槲覀冞€缺乏一個(gè)成本低廉，表現(xiàn)穩(wěn)定的“任意門”，這個(gè)任意門，就是“XR 眼鏡”。

當(dāng)然，無數(shù)技術(shù)人曾經(jīng)和正在嘗試造出這扇門，比如“先烈” Google Glass，當(dāng)紅小生 Meta 的 VR 眼鏡 Oculus，微軟的 VR眼鏡 Hololens，國產(chǎn) VR 眼鏡 Pico，還有萬眾期待的“蘋果眼鏡”。（哦還有羅永浩老師即將推出的AR眼鏡）

看架勢，這將是一個(gè)史詩級的科技賽道。

從左至右：Hololens、Oculus、Google Glass

但問題在于：在殺手級的“XR 眼鏡”普及之前，寫軟件代碼的技術(shù)宅們不能閑著。他們必須提前“搶跑”，一旦硬件具備，軟件要馬上能安裝進(jìn)去。

豪贊，就是搶跑的大牛中的一位。

（六）兩個(gè)世界間的“掛鉤”

很多人應(yīng)該都用過淘寶里的“拍立淘”功能。

你對著一個(gè)東西拍張照片，立刻就能搜索到相關(guān)商品。

2019年的拍立淘

在普通人眼里，這只是一個(gè)輔助購物的小特性，可是在豪贊眼里，這卻是通往未來的絕佳入口。

因?yàn)椤芭牧⑻浴边@個(gè)場景，把“現(xiàn)實(shí)世界”和“體素世界”聯(lián)系起來了。（注意，我用了綠色字體，說明這是一個(gè)合適的場景。）

為什么這么說呢？最近，豪贊他們?yōu)榕牧⑻陨壛艘粋€(gè)“XR看世界”的新功能，從中可以看出端倪。

過去你需要拍一張照片上傳，它才啟動(dòng)搜索；現(xiàn)在不用了，你只要拿攝像頭對著世界，系統(tǒng)就實(shí)時(shí)工作，幫你識別視野里一切物品，然后跳轉(zhuǎn)到商品詳情。（這個(gè)光說你感受不強(qiáng)，你可以現(xiàn)在就打開拍立淘感受一下。）

“XR看世界”，從本質(zhì)上來講，就相當(dāng)于做出了很多包含信息的“3D泡泡”，追蹤在實(shí)體物品之上。

你想想看，如果這時(shí)把“手機(jī)”換成“XR 眼鏡”，會發(fā)生什么呢？

沒錯(cuò)，你眼前世界的一切物體，都可以被附加上“3D泡泡”：“

路邊不認(rèn)識的花，上面有泡泡會顯示它的名稱、習(xí)性。

路邊不認(rèn)識的車，上面有泡泡會顯示它的品牌、價(jià)格。

路人穿的衣服很好看， 系統(tǒng)也能在淘寶商品庫里給你找出來一模一樣的。

怎么樣，瞬間有了科幻電影里的感覺了吧？

這一整套技術(shù)，有一個(gè)名字——XR 互動(dòng)技術(shù)。

豪贊就是這方面的專家。

人們通過拍立淘找到了想要的商品，就會購買。在我看來，這些購買就是對我們 “XR 互動(dòng)技術(shù)”的認(rèn)可，是“點(diǎn)贊”。將來，大家不僅可以通過 AR 買東西，還可以通過 AR 看世界，我們就會得到更多的贊，所以我的花名就是“豪贊”！

豪贊老師有理有據(jù)給我解釋。

豪贊

你有沒有發(fā)現(xiàn)，XR互動(dòng)技術(shù)就像“物理世界”和“體素世界”的掛鉤，把兩個(gè)原本沒有關(guān)系的世界給聯(lián)系起來了。

不過，要獲得“豪贊”并不是那么容易的事情，因?yàn)檫@個(gè)“掛鉤”背后的技術(shù)還是挺復(fù)雜的。

我們來拆解一下步驟：

1、要把攝像頭采集的視頻切分為一幀一幀的靜態(tài)圖片；

2、用人工智能找到靜態(tài)圖片里究竟包含哪些物體；

3、去云端的數(shù)據(jù)庫里找到和這些物體相關(guān)的信息，然后顯示在物體旁邊的“泡泡”上；

4、運(yùn)用影像追蹤技術(shù)，識別出相鄰兩幀畫面中“同一個(gè)物體”，就可以讓“泡泡”在動(dòng)態(tài)視頻中跟隨同一個(gè)主體移動(dòng)了。

這一套流程跑下來，計(jì)算量可小不了。

實(shí)際上，這么大的計(jì)算量，靠手機(jī)或AR眼鏡中的小芯片來搞定，確實(shí)是力不從心。。。

所以，豪贊他們處理這個(gè)問題的核心思路就是：在整個(gè)流程中適當(dāng)?shù)奈恢每车舨槐匾挠?jì)算邏輯。

比如，我們發(fā)現(xiàn)人們經(jīng)常會把A物體放在大腿上。畫面實(shí)際上出現(xiàn)了兩個(gè)東西：“A物體”和“大腿”。但人工智能會老老實(shí)實(shí)進(jìn)行一系列的計(jì)算，然后給出答案：畫面里有“A物體”和“大腿”。

但你有沒有發(fā)現(xiàn)，整個(gè)流程里，識別大腿的計(jì)算完全是不需要的？

豪贊解釋。

所以，更好的做法是，畫面里對“桌面、大腿、手、墻壁”之類的識別動(dòng)作根本不應(yīng)該被拉起，這個(gè)計(jì)算流越早被“壓制”掉，就能越省計(jì)算力。

但是，靠技術(shù)宅們手動(dòng)定義哪些東西不應(yīng)該被識別，這既不準(zhǔn)確，效率也不高。

這里涉及到人工智能改進(jìn)的一個(gè)通用方法，就是：通過用戶對每次搜索的點(diǎn)擊行為，來修正系統(tǒng)的行為。

比如，最開始系統(tǒng)經(jīng)常都能搜出“大腿”，但絕大多數(shù)用戶不會點(diǎn)擊“大腿”，更不會購買“大腿”（也就是不給“大腿”點(diǎn)贊），這個(gè)動(dòng)作就被稱為“負(fù)樣本”。

在人們使用“XR 看世界”的功能時(shí)，“負(fù)樣本”會源源不斷傳送給人工智能用來學(xué)習(xí)。

很快，系統(tǒng)就知道大腿是不用識別的，從而越來越精簡，計(jì)算量不斷變小。

這就是系統(tǒng)“剪枝”的過程。

不過，僅僅靠“剪枝”，剩下的“主干”還是太大，沒辦法把計(jì)算量控制在設(shè)備的能力范圍。

于是，豪贊他們必須做得更多：能不能在不影響AI模型效果的前提下，把“模型的主干”變小呢？

目測，這種既讓馬兒跑又不讓馬吃草的操作還真能實(shí)現(xiàn)。這里給你隆重介紹一個(gè)逆天的“推理引擎”——MNN。

啥是“推理引擎”呢？

我們不妨拿汽車引擎來類比。

同樣是98號汽油，用A引擎就能跑到200km每小時(shí)，且油耗很低；用B引擎只能跑到100km每小時(shí)，且油耗很高。

這里的汽油就是前文所說的“AI模型”，用同樣的模型，卻能跑得更快，更省計(jì)算力，就是“推理引擎”的職責(zé)了。

“用 MNN 引擎，不損失精度的情況下，至少可以把模型減小一半。如果把精度犧牲一點(diǎn)，還可以小得多?！焙蕾澱f。

這么神奇的嘛？我趕緊給 MNN 的負(fù)責(zé)人呂行打電話，請他幫我科普其中的黑科技。

呂行

呂行驕傲地告訴我，MNN 的絕招簡單來說可以分為三層：

1、向上看，市面上存在很多人工智能訓(xùn)練框架，他們訓(xùn)練出來的模型各不相同，但是 MNN 可以把這些模型都統(tǒng)一成 MNN 格式。

2、向下看，市面上存在很多手機(jī)芯片類型，MNN 為不同的芯片類型搞出了最適合的算子運(yùn)行模式。提前預(yù)制好。

3、在中間，人工智能模型運(yùn)行時(shí)，程序會自動(dòng)探測自己跑在哪一類芯片上，然后就切換到最合適的預(yù)制模式來運(yùn)行。

這張圖詳細(xì)解釋了 MNN 面臨的挑戰(zhàn)，點(diǎn)擊可以放大。

聽完他的介紹，我感覺 MNN 有點(diǎn)像一個(gè)自動(dòng)駕駛汽車：走平路就用高檔位，遇到上坡就自動(dòng)切換成低檔位，路滑就不急踩剎車。

和發(fā)動(dòng)機(jī)一樣，推理引擎背后的技術(shù)細(xì)節(jié)是極其精細(xì)的，精細(xì)到 MNN 團(tuán)隊(duì)已經(jīng)有很多世界級的論文產(chǎn)出，被頂級會議收錄。限于篇幅，今天我們沒辦法展開了，后面我會找機(jī)會專門寫文章討論。

呂行自豪地告訴我，目前阿里巴巴已經(jīng)有30多個(gè) App 都內(nèi)置了 MNN 的模塊。

目前，MNN加持的輕量級人工智能可以進(jìn)行語音識別、視頻內(nèi)容理解，當(dāng)然也幫助把“XR 看世界”這把鉤子做得更小巧堅(jiān)固；未來，如果出現(xiàn)殺手級的“XR 眼鏡”，MNN 肯定也會第一時(shí)間適配，把更多普通人拉進(jìn)體素世界。

（七）數(shù)字資產(chǎn)和“淘寶叛軍”

因?yàn)檎幰咔槠陂g，所以和這些淘寶技術(shù)大牛的聊天都是在線上進(jìn)行的。

掛斷和大牛們的視頻電話，從“體素世界”的想象中抽離回來，我看看窗外熟悉到有些膩味的風(fēng)景，總有一種肉身沉重的感覺。

估計(jì)很多淺友也開始質(zhì)疑：

你說得這么熱鬧，但我們現(xiàn)在不還活在無聊的現(xiàn)實(shí)中么？體素時(shí)代到底什么時(shí)候來呢？

我必須承認(rèn)，客觀上來說，沒有人能精確預(yù)言一個(gè)時(shí)代的到來。

而且，對于一項(xiàng)技術(shù)的過度關(guān)注，反而會消磨大家對它的善意，2016年的”VR熱潮”和如今如出一轍的“元宇宙騙局”已經(jīng)證明了這一點(diǎn)。

所以，我只想小心翼翼地客觀呈現(xiàn)這些大牛們的努力：

他們只是從自己熟悉的家園出發(fā)，用各自的方式開始了遠(yuǎn)征，為體素時(shí)代悄悄準(zhǔn)備“磚石”—— 一旦未來降臨，我們手中不至于赤手空拳。

承越告訴我，他們的“3D說明書”正在努力從“小家電”拓展出去，很快，大家就能看到冰箱、洗衣機(jī)這樣大家電的3D說明書。他們也在嘗試做出3D世界的“穿鞋帶說明書”，甚至還有美妝產(chǎn)品的說明書——讓大家在虛擬世界就能體會到各種化妝品的使用順序和使用效果。

“這些嘗試未必都能成功，但值得嘗試?！彼f。

長孫泰告訴我，他希望不久的將來，每個(gè)大小商家，甚至夫妻店都能擁有自己的3D直播間。

商家可以像裝修房子那樣，不斷修改、豐富云上直播間的樣子，還可以添加新的3D擺件。不僅如此，還能根據(jù)直播的主題在各個(gè)直播間之間切換，就像一個(gè)人在全國每個(gè)城市都有別墅，想住哪套住哪套，土豪得不要不要的。

就像這樣，每個(gè)商家都可以有好多不同主題的直播間。

友聞告訴我，他們還在奮力改進(jìn)算法，讓 Object Drawer 繪制出來的 3D模型平均大小從20m縮小到5m。

未來，商家上架一個(gè)商品，就像現(xiàn)在拍一張照片那么簡單。每一個(gè)淘寶上的商品都可以有配套的3D模型。

他說。

這樣一來，我們買一個(gè)椅子，就同時(shí)在虛擬世界得到一個(gè)“數(shù)字椅子”，買一個(gè)水壺，就在虛擬世界得到一個(gè)“數(shù)字水壺”。

于是，我們裝點(diǎn)自己家的時(shí)候，也能裝點(diǎn)自己數(shù)字世界的另一個(gè)家：

我們在真實(shí)的家里，得到的是真實(shí)生活品質(zhì)的提升，而在虛擬房間里，得到的是突破物理定律的自由想象——我們可以讓水杯懸在半空，我們可以讓屋頂閃耀璀璨銀河。

我們可以邀請朋友到真實(shí)的家，也可以邀請朋友的數(shù)字分身到我們的數(shù)字莊園。

數(shù)字藝術(shù)家 Krista Kim 做了一個(gè) Mars House（火星屋）。他把一片豪宅建設(shè)在了荒涼的火星上，使之充滿了對于物理定律的挑釁。

所以，我愿意把這些淘寶大牛稱為“叛軍”。他們反叛的不是任何人，而是像素時(shí)代的種種限制，種種無趣。他們相信，人們的3D數(shù)字世界里不應(yīng)一片荒蕪，而創(chuàng)造必須始于今天，始于腳下。

也許未來的某一天，我們回望那個(gè)像素時(shí)代的黃昏，也許會對當(dāng)年的先行者們致以微笑。

因?yàn)樗麄冊鴪?jiān)信，對未來最大的慷慨，就是把一切獻(xiàn)給現(xiàn)在。

參考文章：

《一種降維打擊的可視化方案》

https://www.bilibili.com/video/BV1Sf4y147J9?share_source=copy_web