這不是夢(mèng)想。

　　一場(chǎng)由自然用戶(hù)界面帶來(lái)的革命，

　　不僅改變我們和計(jì)算機(jī)交互的方式，

　　更將徹底變革計(jì)算機(jī)的未來(lái)。

    想想當(dāng)你拿起鋼筆記筆記、拿起鉛筆畫(huà)素描、拿起刀刻下字母的時(shí)候，手里怎么握觸這些工具？微軟亞洲研究院的年輕研究員曹翔發(fā)現(xiàn)其中的差異很有門(mén)道，人們使用不同工具的握姿各不相同，有可能改變長(zhǎng)期以來(lái)困擾計(jì)算機(jī)輸入的一個(gè)問(wèn)題。

　　這位專(zhuān)門(mén)從事人機(jī)交互研究的小伙子制造了一個(gè)數(shù)字筆，上面附加了多點(diǎn)觸摸和方向感應(yīng)，可以識(shí)別用戶(hù)握持筆的方式。于是，在用戶(hù)變換握持?jǐn)?shù)字筆的方式時(shí)，這支筆可以根據(jù)其手勢(shì)，自然而然地實(shí)現(xiàn)鋼筆、畫(huà)筆、素描鉛筆、刀和圓規(guī)等不同工具、不同功能之間的切換，無(wú)需切換按鈕，如同使用實(shí)際工具一樣自然。

　　在一年一度素有“計(jì)算機(jī)研究領(lǐng)域的盛宴”之稱(chēng)的微軟技術(shù)節(jié)上，計(jì)算機(jī)領(lǐng)域內(nèi)的各路專(zhuān)家圍著曹翔這個(gè)簡(jiǎn)單又巧妙的項(xiàng)目嘖嘖稱(chēng)贊。曹翔則稱(chēng)自己的點(diǎn)子來(lái)自人們的實(shí)際需求。盡管如曹自己坦承，這個(gè)被稱(chēng)為“所握即所得的數(shù)字筆”的小項(xiàng)目尚不能被稱(chēng)為“革命”，但是無(wú)數(shù)類(lèi)似的，從人的本身需求出發(fā)、強(qiáng)調(diào)人與計(jì)算機(jī)進(jìn)行更自然互動(dòng)的交互方式，正推動(dòng)計(jì)算機(jī)科學(xué)處在一場(chǎng)徹底變革的前夕。

　　感同身受

　　“計(jì)算機(jī)領(lǐng)域的下一個(gè)重大趨勢(shì)和革命將會(huì)是自然用戶(hù)界面(Natural User Interface，簡(jiǎn)稱(chēng)NUI)。”微軟首席研究及戰(zhàn)略官Craig Mundie最近在清華大學(xué)發(fā)表演講時(shí)指出。Mundie所言的“自然用戶(hù)界面”，其宗旨是讓計(jì)算機(jī)用戶(hù)能夠綜合地使用語(yǔ)音、觸摸和手勢(shì)等行為與計(jì)算機(jī)進(jìn)行更自然的交互。

　　這確實(shí)是一場(chǎng)歷時(shí)長(zhǎng)久的發(fā)展。計(jì)算機(jī)行業(yè)一直積極開(kāi)發(fā)一種更加自然的用戶(hù)界面，來(lái)取代統(tǒng)治這個(gè)行業(yè)已十多年的圖形用戶(hù)界面(GUI)。在圖形界面時(shí)代，人們利用鍵盤(pán)和鼠標(biāo)實(shí)現(xiàn)與計(jì)算機(jī)間的互動(dòng)。而在自然用戶(hù)界面時(shí)代，人們與計(jì)算機(jī)的互動(dòng)，應(yīng)該像人與人打交道一樣親切而自然，可以是手勢(shì)、語(yǔ)音或者簡(jiǎn)單的觸摸。

　　Mundie在清華大學(xué)演講時(shí)，現(xiàn)場(chǎng)布置了一臺(tái)演示樣機(jī)。Mundie通過(guò)樣機(jī)演示了在自然用戶(hù)界面下，未來(lái)的建筑設(shè)計(jì)師的工作界面：建筑設(shè)計(jì)圖紙投影在桌面，設(shè)計(jì)師可以用手隨意翻動(dòng)投影在桌面的“圖紙”，用手撥動(dòng)圖紙上的線條來(lái)改變?cè)O(shè)計(jì)，甚至可以隨手“拽取”部分?jǐn)?shù)據(jù)，組成圖表，用三維的形式投影在工作臺(tái)上。一切宛如《少數(shù)派報(bào)告》里的場(chǎng)景。

　　盡管這臺(tái)樣機(jī)更多用于虛擬演示，但其中很多技術(shù)已經(jīng)得以實(shí)現(xiàn)。Mundie訪問(wèn)中國(guó)前不久，微軟剛剛慶祝體感游戲設(shè)備Kinect銷(xiāo)售突破1000萬(wàn)臺(tái)，成為微軟旗下新的一個(gè)銷(xiāo)售額超過(guò)10億美元的產(chǎn)品，也是迄今為止整個(gè)科技行業(yè)銷(xiāo)售速度最快的消費(fèi)類(lèi)電子產(chǎn)品。

　　Kinect體感控制游戲（圖片來(lái)自網(wǎng)絡(luò)）

　　這個(gè)產(chǎn)品突破了以往的游戲機(jī)都要求游戲人通過(guò)手柄控制游戲的模式，轉(zhuǎn)而讓游戲參與者通過(guò)簡(jiǎn)單的手勢(shì)與動(dòng)作參與游戲。例如，在賽車(chē)游戲中，游戲人只需模擬握著方向盤(pán)，做出相應(yīng)的轉(zhuǎn)動(dòng)方向盤(pán)的動(dòng)作，就可實(shí)現(xiàn)在游戲中操控汽車(chē)的轉(zhuǎn)向；在球類(lèi)游戲中，游戲人只需做出撲地動(dòng)作，便可以在游戲中救起排球，或揮動(dòng)手臂，便可以在游戲中舉拍擊球。

　　利用手勢(shì)和語(yǔ)音這種自然的行為控制游戲機(jī)，顯然已經(jīng)是人機(jī)互動(dòng)一個(gè)巨大的突破。Kinect采用的自然用戶(hù)界面技術(shù)不僅能夠運(yùn)用到各種類(lèi)型的產(chǎn)品中，而且也能實(shí)現(xiàn)計(jì)算機(jī)感知、互動(dòng)和預(yù)測(cè)的新方式。

　　從“感”到“知”

　　讓計(jì)算機(jī)擁有像人類(lèi)一樣的“感覺(jué)”，只是自然用戶(hù)界面需要解決的一部分內(nèi)容。更關(guān)鍵的，是計(jì)算機(jī)如何對(duì)從各種傳感器獲得的信息進(jìn)行分析，從而像人類(lèi)一樣可以“識(shí)別”和“理解”各種信息。

　　“以Kinect為例，最困難的部分不是獲取3D圖像信息，而是如何處理這些信息，如何界定這些3D信息代表什么意思。”微軟高級(jí)副總裁、微軟研究院院長(zhǎng)Rick Rashid對(duì)《周末畫(huà)報(bào)》說(shuō)，“人們往往把目光集中到Kinect的3D攝像頭上，但這個(gè)攝像頭是不能獨(dú)立工作的。”在他看來(lái)，Kinect這種用手勢(shì)及體感與計(jì)算機(jī)交互的方式，實(shí)質(zhì)是一種實(shí)時(shí)3D計(jì)算機(jī)視覺(jué)技術(shù)。

　　幾年前，來(lái)自微軟Xbox游戲機(jī)產(chǎn)品組的同事找到Rashid。他們希望利用微軟研究院的一些技術(shù)雛形，把3D攝像頭投入使用，使之成為游戲控制器，開(kāi)發(fā)一種新型的體感游戲機(jī)。但他們面對(duì)一個(gè)難題：如何將來(lái)自3D攝像頭的原始圖像信息轉(zhuǎn)化成可靠的控制器用于視頻游戲，而且下至兒童上至老人都能使用。

　　這其中的技術(shù)難點(diǎn)在于，如何界定這些3D信息：是誰(shuí)站在3D信息系統(tǒng)之前？他身體的哪一部分在做何種動(dòng)作？如果家里的小狗突然跳到游戲者面前，系統(tǒng)能否正確判斷它是不是游戲者身體的一部分？如果只考察其底層的3D信息，是無(wú)法區(qū)分各種情景的。“這實(shí)際上是一個(gè)非常復(fù)雜的機(jī)器學(xué)習(xí)問(wèn)題。”Rashid介紹說(shuō)，因?yàn)樗仨氉R(shí)別身體的不同部分、處于游戲場(chǎng)景中的玩家身份、連續(xù)不斷地實(shí)時(shí)跟蹤身體各個(gè)部位的運(yùn)動(dòng)狀態(tài)，并且不被其他物體干擾。

　　例如，微軟亞洲研究院在身份識(shí)別方面的技術(shù)，讓3D攝像頭識(shí)別出游戲人成為可能。“其中不僅靠人臉來(lái)識(shí)別，我們還要考慮到穿著的衣服、身高等信息。”微軟亞洲研究院院長(zhǎng)洪小文介紹說(shuō)，目前正式發(fā)布的Kinect已經(jīng)可以在同一場(chǎng)景下識(shí)別出4個(gè)不同的游戲者，但實(shí)際上，微軟亞洲研究院的技術(shù)可以讓同一場(chǎng)景下識(shí)別8個(gè)不同人成為可能。

　　“我們大量運(yùn)用機(jī)器學(xué)習(xí)的技術(shù)才能讓Kinect如此成功。而也正是這些能夠讓計(jì)算機(jī)像人類(lèi)一樣看得見(jiàn)、聽(tīng)得到的技術(shù)讓計(jì)算機(jī)識(shí)別出不同的場(chǎng)景和情境，從而讓計(jì)算機(jī)擁有人類(lèi)的感官，能夠像我們一樣互動(dòng)和思考。”Rashid說(shuō)。

　　“想”你所想

　　從“識(shí)別”和“感知”出發(fā)，計(jì)算機(jī)除了能提供自然互動(dòng)之外，微軟的研究團(tuán)隊(duì)希望走得更遠(yuǎn)，讓計(jì)算機(jī)的角色越來(lái)越多地從“執(zhí)行你的命令”，轉(zhuǎn)變?yōu)?ldquo;代表你來(lái)工作”。

　　Eric Horvitz是微軟研究院從事人工智能研究的工程師，在他位于微軟總部雷德蒙的辦公室外有一個(gè)機(jī)器“助理”。那看上去是一臺(tái)顯示器，顯示的是一個(gè)3D模擬的女性形象——關(guān)鍵是，“她”可以和前來(lái)拜訪Horvitz博士的每個(gè)人自如對(duì)話，和你談?wù)撎鞖狻⒋_認(rèn)與Horvitz博士約定的會(huì)議是否準(zhǔn)時(shí)。更神奇的是，如果是多人一同到達(dá)前臺(tái)，“她”甚至可以從人們的行為舉止判斷出其中幾個(gè)人是否是同伴，把來(lái)客區(qū)分成不同的組別，依次問(wèn)候并安排相應(yīng)的事務(wù)——這儼然具有人類(lèi)的模糊判斷能力。

　　“很多人一談到自然用戶(hù)界面，就認(rèn)為他們需要明確地指示計(jì)算機(jī)去做某些事情，或者去控制什么設(shè)備。一直以來(lái)，計(jì)算機(jī)的主要任務(wù)是執(zhí)行人們的直接命令。”微軟高級(jí)副總裁Rashid說(shuō)，“實(shí)際上，我們可以通過(guò)提高計(jì)算機(jī)對(duì)人類(lèi)意圖的理解能力，使它們的行為更像人類(lèi)的‘助手’，甚至接近人類(lèi)本身——能夠了解人們的想法，預(yù)測(cè)人們的需求，并妥善執(zhí)行任務(wù)。”而這一切隨著計(jì)算機(jī)計(jì)算能力的極大提升，以及云計(jì)算和社交計(jì)算的普及而成為可能。

　　微軟亞洲研究院院長(zhǎng)洪小文指出，計(jì)算機(jī)有可能從收集到的大量用戶(hù)行為、習(xí)慣信息和數(shù)據(jù)上進(jìn)行分析和判斷，從而識(shí)別出特定請(qǐng)求是在何種情境下提出的，并根據(jù)這種情境，預(yù)想到用戶(hù)的需要，做出適當(dāng)?shù)姆磻?yīng)。

　　“人機(jī)一體”正逐漸成為現(xiàn)實(shí)。微軟有一個(gè)研究小組專(zhuān)門(mén)考察人們的駕駛習(xí)慣。研究人員發(fā)給測(cè)試者GPS定位器，用于跟蹤他們駕駛汽車(chē)的動(dòng)向等信息。在獲得這些信息的基礎(chǔ)上，研究人員開(kāi)發(fā)出了一套系統(tǒng)，當(dāng)用戶(hù)啟動(dòng)車(chē)輛后，系統(tǒng)就能迅速推測(cè)出用戶(hù)想去的地方。其實(shí)原理并不復(fù)雜，就如同一對(duì)夫婦共乘一輛汽車(chē)，即便開(kāi)車(chē)的丈夫不告訴乘車(chē)的妻子汽車(chē)開(kāi)向何方，通過(guò)汽車(chē)經(jīng)過(guò)的橋梁、高速公路等標(biāo)志性地標(biāo)，并結(jié)合丈夫的駕車(chē)習(xí)慣，妻子通常可以推測(cè)出目的地是哪里。

　　研究人員開(kāi)發(fā)的這套系統(tǒng)正是這樣，通過(guò)各種信息及用戶(hù)習(xí)慣判斷出用戶(hù)想去的地方。在分析出目的地這個(gè)關(guān)鍵信息之后，系統(tǒng)很容易根據(jù)實(shí)時(shí)交通信息，向駕駛者推薦最佳路線——在今天顯然是種非常成熟的應(yīng)用，但是對(duì)于主動(dòng)判斷出目的地方向，則是一個(gè)極大的進(jìn)步。

　　在Rashid看來(lái)，“如果我們能夠讓系統(tǒng)更聰明地理解用戶(hù)，并建立良好的人類(lèi)行為模型，系統(tǒng)就能夠更好地執(zhí)行使命，為人類(lèi)服務(wù)，這樣自然用戶(hù)界面也會(huì)有更顯著的現(xiàn)實(shí)意義。