TW201626166A - 以手勢爲基礎之三維影像操控技術 - Google Patents

Abstract

此處揭示之實施例係有關於回應於使用者手勢而操控三維影像。實施例包括以三維影像資料為基礎而渲染三維影像，接收相對應於一使用者手勢的感測器資料，及基於該感測器資料而識別該使用者手勢。基於該經識別的使用者手勢及該三維影像資料，決定及執行一功能用以更新該相對應的三維影像資料，及因而變更該經渲染的三維影像。該三維影像資料可藉耦合至與渲染該等三維影像所使用的相同計算裝置之一感測器產生。

Description

以手勢為基礎之三維影像操控技術

本發明係有關於以手勢為基礎之三維影像操控技術。

發明背景

許多計算系統包括至少一個顯示器及至少一個輸入裝置。該顯示器可包括例如一監視器、一螢幕等。輸入裝置實例包括一滑鼠、一鍵盤、一觸控板等。有些計算系統包括一觸敏顯示器用於顯示該計算系統之輸出及接收實體(例如，觸控)輸入兩者。

依據本發明之一實施例，係特地提出一種計算系統，其包含：一投影機總成用以投射相對應於三維影像資料的三維影像至一表面上；一感測器，指向該表面，用以產生在該相機與該表面間之一區域中檢測得的一物件之移動的感測器資料；及一3D影像操控引擎用以基於該感測器資料而識別手勢及用以基於該等手勢及在該三維影像資料中界定的脈絡而決定欲在該等三維影像上執行的功能。

15‧‧‧支持表面

25‧‧‧觸控筆

35‧‧‧手

40‧‧‧物件

100‧‧‧計算系統

110‧‧‧支持結構

120‧‧‧底部

120A‧‧‧前端

120B‧‧‧後端

122‧‧‧凸部

140‧‧‧直立構件

140A‧‧‧上端

140B‧‧‧下端

140C、150C‧‧‧前側

140D、150D‧‧‧後側

150、350‧‧‧計算裝置

150A‧‧‧頂側

150B‧‧‧底側

152‧‧‧顯示器

154‧‧‧相機

155、205‧‧‧中線、中軸

160‧‧‧頂部

160A‧‧‧近端

160B‧‧‧遠端

160C‧‧‧頂面

160D‧‧‧底面

162‧‧‧摺疊鏡

162A‧‧‧高度反射性表面

164‧‧‧感測器束

164A‧‧‧RGB相機

164B‧‧‧IR相機

164C‧‧‧深度相機

164D‧‧‧周圍光感測器

165‧‧‧視野

166‧‧‧IR光投射器

167‧‧‧IR光

170‧‧‧3D操控引擎

172‧‧‧3D影像資料分析引擎

174‧‧‧感測器資料分析引擎

180‧‧‧投影機單元

182‧‧‧殼體

182A、184A‧‧‧上端

182B、184B‧‧‧下端

183‧‧‧內腔

184‧‧‧投影機總成

186‧‧‧耦聯構件或安裝構件

187‧‧‧可見光

188‧‧‧投影機顯示空間

188L‧‧‧長度

188W‧‧‧寬度

189‧‧‧區域

200‧‧‧觸敏表面

202‧‧‧觸敏區域

310‧‧‧處理資源

320‧‧‧機器可讀取儲存媒體

321-326‧‧‧指令

340‧‧‧應用程式

344‧‧‧3D影像渲染功能

380‧‧‧3D影像資料

382‧‧‧渲染指令

501-503‧‧‧位置

510‧‧‧物件之3D影像、物件

520、521‧‧‧路徑

1000‧‧‧方法

1010-1060‧‧‧方塊

後文詳細說明部分參考附圖，附圖中：圖1為包含一三維(3D)操控引擎之計算系統實例的示意透視圖；圖2為圖1之計算系統實例的另一幅示意透視圖；圖3為圖1之計算系統實例的示意側視圖；圖4為圖1之計算系統實例的示意前視圖；圖5為圖1之計算系統實例於一操作實例期間的示意側視圖；圖6為圖1之計算系統實例於另一個操作實例期間的示意前視圖；圖7為圖1之計算系統實例於另一個操作實例期間的示意側視圖；圖8A為用於以使用者手勢為基礎操控3D影像之一計算裝置實例的方塊圖；圖8B為用於以使用者手勢為基礎操控3D影像之一計算裝置實例的方塊圖；圖9為用於以使用者手勢為基礎操控3D影像之一具體實施例的資料流；及圖10為用於以使用者手勢為基礎操控3D影像之一方法實例的流程圖。

較佳實施例之詳細說明

於包括用於擷取與顯示三維(3D)資訊之功能的 一計算系統中，一使用者與三維物件之渲染影像互動或操控的能力可能受傳統使用者輸入裝置所限。鍵盤、滑鼠、觸控筆、及其它類型的機械式使用者輸入裝置用於選取、操控、及移動呈現給使用者占有3D空間的3D影像極為笨拙且無效。舉例言之，於一電腦系統中，如此處描述，其可投射一影像至一表面上使得其呈現占有在該計算裝置前方的一特定3D區域，可能受傳統使用者輸入裝置所限。使用栓鎖在二維(2D)平面的鍵盤或滑鼠可能使得難以選取，更不用說移動、旋轉、或放大占有該3D區域之一位置的虛擬物件。

在傳統使用者輸入裝置與3D定義域間搭橋之技術，使用各種補充性圖形使用者介面控制，諸如滑塊、旋轉點、備忘錄等，為一使用者提供渲染3D物件的定位、大小、放大、方向性等的控制。然而，此等技術不僅導致過度複雜令人困惑的使用者介面，同時對使用者而言也經常反直覺。據此，為了改進使用者經驗及為了讓3D影像及潛在3D影像資料之操控更加有效，本文揭示之實施例包括用於檢測在投影區的使用者手勢之裝置及方法，其指示可用以改變渲染3D影像以及潛在資料的各項功能。此等用來與渲染3D影像互動的手勢可包括自然地發自使用者的移動，原因在於其係類似一使用者直覺觸摸或操控一實體物件之方式。於本文揭示之具體實施例中，一使用者可能使用操控一實體物件的模仿動作的手勢，諸如抓取、推進、轉動等，也可用以操控該物件之一渲染3D影像。

於若干具體實施例中，功能可與一經識別手勢相關聯，及以該影像在空間的視在(apparent)位置附近欲測得的手勢為基礎，施加至一物件的一3D影像，或至少其中該3D影像投影的或以其它方式被顯示的該3D區域。舉例言之，某個物件的3D影像可與在潛在資料中之一特定位置相關聯。當在該投影區或顯示區中之該特定位置檢測得一特定手勢時，與該手勢相關聯的功能可被施用至該物件的3D影像(例如，在一球或接近一球的3D渲染的指向移動將指示使用者希望啟動一選取功能來選取該球的3D影像及/或該球的潛在3D影像資料)。該手勢及所得功能可能無法施用至該手勢被識別為與該位置不相關聯的3D影像。於此處描述之各種實施例中，手勢之識別及該等手勢與位置、3D影像、及指示功能之連結可由在各型計算系統中呈軟體與硬體的任何組合實現的一3D操控引擎處理。

現在參考附圖，圖1-7為包含一3D操控引擎170之一計算系統100實例之示意圖。於圖1-7之實施例中，系統100通常包含一支持結構110、一計算裝置150、一投影機總成184、及一觸敏表面200。計算裝置150可包括3D操控引擎170用以決定由該投影機總成184回應於由感測器束184中的感測器所檢測的手勢及相對應於3D影像之3D影像資料所渲染的一3D影像上的操控功能。

計算裝置150可包含依從此處揭示之原理的任何合宜計算裝置。如此處使用，「計算裝置」可包含電子顯示裝置、智慧型電話、平板、晶片組、一體機電腦(例如，包 含一顯示裝置的裝置其也罩住該電腦之處理資源)、桌上型電腦、筆記型電腦、工作站、伺服器、任何其它處理裝置或設備、或其組合。於本實施例中，裝置150為一體機電腦，具有一中軸或一中線155、第一側或頂側150A、與該頂側150A軸向相對的第二側或底側150B、軸向延伸於兩側150A及150B間之一前側150C、也軸向延伸於兩側150A及150B間且與前側150C概略地徑向相對之一後側150D。一顯示器152係沿前側150C設置及界定系統100的一觀看表面用以顯示影像以供由系統100之一使用者觀看。於此處描述之實施例中，一顯示器可包括適用於顯示影像、視訊等的任何技術之組件。

於若干實施例中，顯示器152可以是觸敏顯示器。於此處描述之實施例中，一觸敏顯示器可包括例如，用於顯示影像、視訊等的任何合宜技術(例如，組件)，且可包括用於檢測實體接觸(例如，觸控輸入)的任何合宜技術(例如，組件)，諸如，電阻式、電容式、表面聲波、紅外線(IR)、應變計、光學成像、聲波脈衝識別、分散式信號感測、或胞元內系統等。於此處描述之實施例中，顯示器152可指一觸敏顯示器152。裝置150可進一步包括一相機154，例如可以是網路相機。於若干實施例中，相機154可擷取位在顯示器152前方的一使用者的影像。於若干實施例中，裝置150也可包括麥克風或其它裝置用以接收聲音輸入(例如，來自一使用者的語音輸入)。

於圖1-7之實施例中，支持結構110包括一底部 120、一直立構件140、及一頂部160。底部120包括第一端或前端120A、及第二端或後端120B。底部120可接合一支持表面15以支承系統100之至少部分組件(例如構件140、單元180、裝置150、頂部160等)的重量。於若干實施例中，當系統100經組配用於操作時，底部120可以此種方式接合支持表面15。於圖1-7之實施例中，當底部120係設置於支持表面15上時，例如圖2中例示，底部120之前端120A包括一凸部122，該凸部122可設置於支持表面15上方且與其分開(在凸部122與表面15間形成一間隔或一餘隙)。於此等實施例中，觸敏表面200之一側的部分可位在(例如，容納於)凸部122與表面15間所形成的該空間內部。於此等實施例中，將表面200之一部分置於由凸部122與表面15間所形成的該空間內部可協助表面200的妥為對齊。於其它實施例中，其它合宜方法或裝置可使用來協助表面200的對齊。

直立構件140包括第一端或上端140A、與該上端140A相對的第二端或下端140B、延伸於該等末端140A與140B間之第一側或前側140C、及與前側140C相對的也延伸於該等末端140A與140B間之第二側或後側140D。構件140之下端140B係耦聯至底部120之後端120B，使得構件140實質上從支持表面15向上延伸。

頂部160包括第一端或近端160A、與該近端160A相對之一第二端或遠端160B、延伸於該等末端160A與160B間之頂面160C、及與頂面160C相對的也延伸於該等末端160A與160B間之底面160D。頂部160之近端160A係耦聯至 直立構件140的上端140A使得遠端160B從直立構件140的上端140A向外延伸。如此，於圖2顯示之實施例中，頂部160係只支承在末端160A(而非在末端160B)，因而於此處稱作懸臂式頂部。於若干實施例中，底部120、構件140、及頂部160全部係一體成形。於其它實施例中，底部120、構件140、及頂部160可分開形成(亦即非為一體成形)。

觸敏表面200可包括一中軸或一中線205、一第一側或前側200A、及與該前側200A軸向相對之一第二側或後側200B。觸敏表面200可包含任何合宜技術用於檢測由一物件與表面200之實體接觸作為觸控輸入。舉例言之，觸敏表面200可包含任何合宜技術用於檢測(及於若干實施例中追蹤)由一使用者的一或多個觸控輸入，用以許可該使用者透過此種觸控輸入，而與由裝置150或其它計算裝置執行的軟體互動。於此處描述之實施例中，觸敏表面200可以是任何合宜觸敏平面(或實質上平面)物件，諸如觸敏板、桌面、片材等。於若干實施例中，觸敏表面200可水平(或近似或實質上水平)設置。舉例言之，表面200可設置於支持表面15上，其可以是水平(或近似或實質上水平)。

於若干實施例中，全部或實質上全部表面200能檢測如前文描述之觸控輸入。於其它實施例中，少於全部表面200能檢測如前文描述之觸控輸入。舉例言之，表面200可包含一觸敏區域202，延伸歷經少於全部表面200，其中區域202能檢測如前文描述之觸控輸入。於其它實施例中，區域202延伸遍歷實質上全部表面200(例如，實質上可與表 面200享有共同邊界)。區域202可實質上對齊軸205。

如前文描述，表面200可對齊結構110的底部120用以輔助表面200的適當對齊(例如，至少於系統100之操作期間)。於圖1-7之實施例中，表面200之後側200B可設置於底部120之凸部122與支持表面15間，使得後端200B對齊底部120的前側120A用以輔助表面200與系統100之其它組件的適當總體對齊(及特別，區域202的適當對齊)。於若干實施例中，表面200可對齊裝置150使得裝置150之中線155實質上對齊表面200之中線205。於其它實施例中，表面200可以其它方式對齊裝置150。

於若干實施例中，表面200與裝置150可彼此通訊連結(例如，電氣耦合)使得由表面200接收的使用者輸入可通訊給裝置150。表面200與裝置150可透過任何合宜有線或無線通訊技術或機制而彼此通訊，諸如WI-FI、藍牙、超音波技術、電纜、電線、電導體、具有磁性固定力的電氣載荷彈簧伸縮接腳、或其類、或其組合。於圖1-7之實施例中，配置於表面200之後側200B上的暴露電氣接點接合底部120之凸部122內部相對應的電氣伸縮接腳引線，以於系統100之操作期間在裝置150與表面200間通訊資訊(亦即轉移信號)。於此等實施例中，該等電氣接點係藉(位在底部120之凸部122與支持表面15間之間隙中的)相鄰磁鐵固定結合在一起，以藉磁力吸引與固定(例如機械方式)沿表面200之後側200B配置的一相對應鐵磁材料及/或磁性材料。

參考圖3，投影機單元180包含一外部殼體182， 及設置於殼體182內部之一投影機總成184。殼體182包括一第一端或上端182A、與該上端182A相對之一第二端或下端182B、及一內腔183。於圖3之實施例中，殼體182進一步包括一耦聯構件或安裝構件186，以接合及支承裝置150(例如，至少於系統100之操作期間)。構件186可為用以懸吊及支承如前文描述之任何合宜計算裝置150之任何合宜機制或裝置。舉例言之，構件186可包含一鉸鏈，其包括一轉軸，使得裝置150可環繞該轉軸旋轉(例如，由一使用者)而達成觀看顯示器152之一最佳視角。於若干實施例中，裝置150可持久地或半持久地附接至單元180之殼體182。於若干實施例中，殼體180及裝置150可一體成形地及/或單塊地形成為單一單元。

參考圖4，於若干實施例中，當裝置150透過殼體182上的安裝構件186而從結構110懸吊時，當系統100係從前方觀看(亦即實質上面對設置在裝置150的前側150C上的顯示器152)時，投影機單元180(亦即殼體182及總成184兩者)可實質上係隱藏在裝置150後方。此外，如圖4顯示，當裝置150係如前文描述從結構110懸吊時，投影機單元180(亦即殼體182及總成184兩者)及任何藉此投射的影像可實質上相對於裝置150之中線155對準或對中。

再度參考圖3，投影機總成184係大致上設置於殼體182的內腔183內部，及包括一第一端或上端184A、與該上端184A相對之一第二端或下端184B。上端184A係鄰近殼體182的上端182A，而下端184B係鄰近殼體182的下端182B。 投影機總成184可包含任何合宜數位光投影機總成用以接收來自計算裝置(例如裝置150)之光，及投射2D及/或3D影像(例如從上端184A射出)。舉例言之，於若干實施例中，投影機總成184包含一或多個數位光處理(DLP)投影機或一矽上液晶(LCoS)投影機，其為優異的輕薄短小的高能效投影引擎，具有多重顯示解析度及尺寸，例如，標準XGA解析度(1024x768像素)具有4：3縱橫比，或標準WXGA解析度(1280x800像素)具有16：10縱橫比。

於實施例中於其中該投影機總成184能夠渲染3D影像至觸敏表面200上，或顯示裝置152能夠渲染3D影像，一使用者可觀看經渲染3D影像而有或無借助於相對應光學濾波器或裝置(例如，3D眼鏡或護目鏡)。當渲染3D影像時，裝置150可追蹤在該3D影像中描繪的物件之所在位置及方向性。於若干實施例中，裝置150可針對該3D影像中之各個個別或複合物件維持更新的3D影像資料。於此等實施例中，在該3D影像中之各個物件或圖形(例如，球、盒子、樹木、人等)可自一相對應集合的3D影像資料渲染。於其它實施例中，裝置150可維持單一集合的3D影像資料，其相對應於3D影像中的每個東西(例如，前景中之物件、背景、使用者介面控制、及主動物件)。維持相對應3D影像資料可包括回應於使用者輸入，其移動、旋轉、或以其它方式改變在該3D影像中描繪的該等物件之大小、方向性、組態、所在位置、或其它特性而對該3D影像資料作改變。

於若干實施例中，使用者輸入可經由觸敏表面 200、滑鼠、觸控筆、或感測器束164接收。使用者輸入可指示所在位置、方向性、旋轉、大小、扭斜、形狀等的改變給在該3D影像中的該等物件。本文揭示之各種具體實施例包括下述功能，檢測在觸敏表面200與感測器束164間該區域之手及/或手指的手勢，其指示期望的改變給3D影像。此等具體實施例提供直覺的自然的使用者介面，用於快速有效地與物件的3D影像互動及控制3D影像。

於若干實施例中，為了觀看渲染3D影像，一使用者可使用一副眼鏡，該副眼鏡係相對應於由投影機總成164用於渲染3D影像所使用的該3D投影類型。舉例言之，針對使用交錯或同時投射偏振光的3D方法，3D眼鏡可包括適當的線或圓偏振濾波器。此種3D眼鏡可以是被動式。另外，於呈時間之函數變化而交錯投射右及左透射影像的系統中，3D眼鏡可根據在該特定時間被渲染的影像而同步阻擋來自一眼或另一眼的視覺。此種3D眼鏡典型地為主動式，且需要電源來交錯地許可哪一眼在一特定時間觀看及與裝置150同步。

投影機總成184進一步通訊式連結(例如，電氣耦接)至裝置150以便從其中接收資料用以基於所接收的資料而從上端184A產生(例如，投射)光及影像。投影機總成184可透過任何合宜型別之電氣耦合，例如，或此處描述之任何其它合宜通訊技術或機制而通訊式連結至裝置150。於若干實施例中，總成184可透過電氣導體、WI-FI、藍牙、光學連結、超音波連結、或其組合而通訊式連結至裝置150。 於圖1-7之實施例中，裝置150係透過設置於安裝構件186內部之電氣引線或導體(例如，關聯表面200及底部120如前文描述)通訊式連結至總成184，使得當裝置150透過構件186而從結構110懸吊時，設置於構件186內部之電氣引線接觸設置於裝置150上的相對應引線或導體。

仍然參考圖3，頂部160進一步包括一摺疊鏡162及一感測器束164。鏡162包括一高度反射性表面162A，其係沿頂部160之底面160D設置，且係定位以於操作期間反射從投影機總成184之上端184A投射的光、影像等朝向表面200。鏡162可包含任何合宜型別之反射鏡或反射面。於圖1-7之實施例中，摺疊鏡162可包含一標準前表面經真空金屬化鍍鋁之玻璃鏡，其係作用以將從總成184發射之光摺疊向下朝向表面200。於其它實施例中，鏡162可具有複合非球面曲率，以用作為反射透鏡元件而提供額外聚焦倍率或光學矯正。

感測器束164包括至少一個感測器(例如，相機或其它類型的感測器)用以基於感測器束164與表面200間之一區域的狀態(例如，出現在該區的活動)而檢測、測量、或以其它方式獲得資料。感測器束164與表面200間之該區域的狀態可包括在表面200上及/或上方之物件，或發生在表面200上及/或上方之活動。於圖3之實施例中，束164包括一紅綠藍(RGB)相機164A(或另一型彩色相機164A)、一IR相機164B、一深度相機(或深度感測器)164C、及一周圍光感測器164D。於此處描述之實施例中，相機可稱作為「感 測器」。

於若干實施例中，RGB相機164A可以是擷取彩色影像(例如，靜像及視訊中之至少一者)的相機。於若干實施例中，RGB相機164A可以是根據RGB顏色模型擷取影像的相機，其可於此處稱作為「RGB影像」。於若干實施例中，RGB相機164A可以相當高解析度擷取影像，諸如約數百萬像素(MP)之解析度。舉個實例，RGB相機164A可以14MP之解析度擷取彩色(例如，RGB)影像。於其它實施例中，RGB相機164A可以不同解析度擷取影像。於若干實施例中，RGB相機164A可指向表面200且可擷取表面200、設置於表面200與RGB相機164A間(例如，表面200上或上方)之物件、或其組合的影像。

IR相機164B可以是檢測在相機164B的視野中多個點的IR光強度之相機。於此處描述之實施例中，IR相機164B可結合系統100之IR光投射器166(參考圖7)操作用以擷取IR影像。於此等實施例中，各個IR影像可包含多個像素，各自表示在由該像素表示之一點檢測得的IR光強度。於若干實施例中，系統100之頂部160可包括一IR光投射器166(參考圖7)用以投射IR光167朝向表面200，及IR相機164B可指向表面200。於此等實施例中，IR相機164B可檢測由表面200、設置於表面200與IR相機164B間(例如，表面200上或上方)之物件、或其組合所反射的IR光強度。於若干實施例中，IR相機164B可排它地檢測由IR光投射器166所投射的(例如，自表面200、物件等反射的，或直接接收 的)IR光167。

深度相機164C可以是用以檢測於深度相機164C之視野內的物件各部分個別的距離(或深度)之相機(感測器等)。如此處使用，由深度相機檢測得的資料於此處可稱作為「距離」或「深度」資料。於此處描述之實施例中，深度相機164C可擷取多-像素深度影像(例如，深度映射圖)，其中各個像素之資料表示在由該像素表示之一點一物件之一部分的距離或深度(自相機164C測量)。深度相機164C可使用任何合宜技術具體實施，諸如立體視覺相機、具有均一IR光流之單IR相機、具有均一IR光流之雙IR相機、結構化光深度感測器技術、飛行時間(TOF)深度感測器技術、或其組合。於若干實施例中，深度感測器164C可指示何時一物件(例如，3D物件)係在表面200上。於若干實施例中，深度感測器164C可檢測位在表面200上的一物件(或其部分)之存在、形狀、輪廓、移動、及個別距離中之至少一者。

周圍光感測器164D可配置用以測量於系統100周圍環境中之光強度。於若干實施例中，系統100可運用感測器164D之測量值以調整系統100之其它組件，諸如系統100之感測器或相機(例如，相機164A-164C)的曝光設定值、自系統100之光源(例如，投影機總成184、顯示器152等)發射之光強度、或其類。

於若干實施例中，感測器束164可刪除感測器164A-164D中之至少一者。於其它實施例中，除了感測器164A-164D之外，或替代感測器164A-164D中之至少一者， 感測器束164可包含其它相機、感測器等。舉例言之，感測器束164可包括一使用者介面感測器，包含用於追蹤一使用者輸入裝置諸如手、觸控筆、指標裝置等的任何合宜裝置(例如，感測器、相機)。於若干實施例中，使用者介面感測器可包括一對相機其係配置用以立體鏡方式追蹤一使用者輸入裝置(例如，觸控筆)由一使用者環繞表面200(例如，環繞表面200之區域202)的移動。於其它實施例中，使用者介面感測器可額外或另外包括IR相機或感測器配置用以檢測由一使用者輸入裝置所發射的或所反射的紅外光。於若干實施例中，感測器束164可包括一手勢相機用以檢測由物件(例如，手等)打出預定手勢。於若干實施例中，手勢相機可包含一深度相機及額外功能用以隨著時間之推移而檢測、追蹤等相關於感測器束164的不同類型的移動。

於此處描述之實施例中，束164的感測器164A-164D中之各者係通訊式連結(例如，耦合)至裝置150使得感測器束164內部產生的資料(例如，由相機擷取的影像)可提供給裝置150，裝置150可提供指令給感測器束164的感測器及相機。束164的感測器164A-164D可透過任何合宜有線或無線通訊技術或機制而通訊式連結至裝置150，其實例描述如前。於圖1-7之實施例中，電氣導體可自束164，經由頂部160、直立構件140、及投影機單元180，通過設置於安裝構件186(如前文描述)內部的引線而路由至裝置150內部。

參考圖5及圖6，於系統100之操作期間，投影機 總成184可投射可見光187用以反射偏離鏡162朝向表面200，藉此顯示可見2D及3D影像於表面200的一投影機顯示空間188上。於圖5-6之實施例中，顯示空間188可以是實質上矩形，具有長度188L及寬度188W。於若干實施例中，長度188L可約為16吋，而寬度188W可約為12吋。於其它實施例中，長度188L及寬度188W可具有不同值。

於若干實施例中，感測器束164之相機(例如，相機164A-164C)係配置於系統100內部使得各個相機之視野包括表面200之一空間168，該空間可重疊部分或全部顯示空間188，或可與顯示空間188享有共同邊界。於此處描述之實施例中，感測器束164之相機(例如，相機164A-164C)的視野可謂包括空間168，但偶爾表面200可能至少被表面200上或上方的物件部分阻擋。於此等實施例中，表面200上或上方的物件可以在相機164A-164C中之至少一者的視野內。於此等實施例中，感測器束164之感測器可根據感測器束164與表面200之空間168間的一區域的狀態(例如，發生其中的活動，設置其中的物件)而獲得資料。於若干實施例中，空間188與空間168重合或相對應於表面200之區域202，使得觸敏區域202、投影機總成184、及感測器束164的功能全部皆相關於相同界定區執行。感測器束164之相機(例如，相機164A-164C)的一視野165示意例示於圖7。於若干實施例中，感測器束164之相機(例如，相機164A-164C)中之各者可具有略為不同的視野。

參考圖5-7，裝置150可導引投影機總成184投射 影像至表面200上(例如，至區域202上)。裝置150也可顯示影像於顯示器152上(該影像可以是與藉投影機總成184投射至區域202上的影像相同或相異)。藉總成184投射的影像可包含由藉裝置150執行的軟體所產生的資訊及/或影像。於若干實施例中，一使用者可以任何合宜方式，諸如使用使用者的手35(例如，透過觸摸、輕敲、手勢、或其它觸控輸入)、使用觸控筆、或透過任何其它合宜使用者輸入裝置，藉由實體接合觸敏表面200而與投射在表面200上的且顯示在顯示器152上的影像互動。如前文描述，觸敏表面200可透過實體接合表面200而檢測此種互動。又，於若干實施例中，投影機總成184也可投射影像(至少部分)至設置於表面200上的物件上(例如，手35，如圖5顯示)。於其它實施例中，使用者可藉由在感測器束164中的相機視野內部打單手或兩手手勢而與投射在表面200上的且顯示在顯示器152上的該(等)影像互動。於此等實施例中，於感測器束中之該等相機中之一或多者可隨著時間之推移而成像一使用者的單手或雙手的客觀相對3D定位及/或組態(例如，手指指向、掌心向上相較於掌心向下等)。如此處使用，「手」一詞可指一使用者可用來打手勢的任何物件。例如，一手可包括指標器、觸控筆、義肢、手指、或任何其它合宜四肢或工具。

然後，裝置150可分析該等影像用以識別、定位、及/或追蹤手的各個元件(例如，指尖、手背、手掌等)而辨識由一使用者所打出的手勢。舉例言之，裝置150可執行指令其使得3D操控引擎170在裝置150上具體實施用以識別及 定位指尖的位置，及然後，辨識食指與拇指間之一掐取移動手勢。取決於經辨識的手勢係關聯哪個或哪些功能，3D操控引擎170可變更一被顯示影像的影像資料及然後，指示投影機總成184相對應於已變更的影像資料而變更該渲染影像。舉例言之，掐取手勢可指示該使用者想要選擇相對應於該手勢之3D定位之一3D定位中被渲染的一物件之一特定影像。此種指示可與一選擇功能相關聯，其指示該經渲染的3D物件現在被選取，及指示任何進一步使用者輸入係導向該經選取的物件。舉例言之，只要食指與拇指係在掐取位置，則3D操控引擎170可辨識與其它脈絡指標相關聯的(例如，與使用者、物件、或使用場景相關聯的)其它手勢。舉例言之，當掐取手勢經識別且與所選取物件相關聯時，3D操控引擎170可辨識整隻手35的移動須執行一移動功能以變更影像資料，使得所選取物件之經渲染影像係根據手35的移動(例如，左右或上下移位或換位、旋轉等)而予移動。一旦掐取手勢經識別為解除時，3D操控引擎170可關聯隨後識別的手勢為與其它經渲染3D影像相關聯。此等例示具體實施例及其它將於後文參考圖5-7以進一步細節描述。

圖5-6描繪一個例示實例，其中3D操控引擎170識別手35之手勢用以操控一物件510之3D影像及其相對應的影像資料。如圖顯示，投影機總成184能投射物件510(例如，3D矩形稜鏡)之影像至觸敏表面200或其它表面上，使得在區域187內部的第一位置501呈現3D影像。經渲染3D影像510之位置可與某個集合的3D座標(例如，x-y-z座標)相關 聯，及或該位置501可由相對應於影像510的影像資料界定。一旦影像510或其它影像經投射，使用者可把手35放入於感測器束164之該等感測器由區域189界定的視野內。

如前文描述，於感測器束164之感測器中之一或多者可檢測手35。手35的檢測可包括產生感測器資料其相對應於手35的大小、位置、方向性、及組態。於本特定實施例中，手35係顯示為食指伸直而其它手指蜷曲在拇指下方。基於感測器資料，3D操控引擎170可決定該手35，及更特別該手35的手指在接近物件510的位置501做出「指標手勢」。根據在物件510的位置501附近辨識出的指標手勢，3D操控引擎170可決定一或多個預定的或脈絡決定的功能或運算元，其可在相對應於物件510的影像上執行。如圖顯示，當手35的手指經辦識出朝向物件510移動時，3D操控引擎170可辨識一「推進手勢」，其可指示使用者想要將物件510推送至另一個位置。

於圖5及6顯示之場景中，3D操控引擎170可啟動功能，諸如啟動一功能調用裝置150中的一或多個其它引擎或模組，當藉感測器束164之感測器檢測得沿路徑520移動時，沿手35的手指移動物件510之影像從位置501到503。如圖顯示，基於辨識出推進手勢，當物件510移動時或當在位置503時，物件510也可改變方向性(例如，旋轉、自旋等)。舉例言之，當手指的指標手勢決定為於一方向移動而其可能對矩形稜鏡物件510梢端或邊緣產生扭力時，則相對應的功能或運算元可變更潛在影像資料，使得矩形稜鏡物件510 環繞一或多個軸旋轉。

圖5及6例示參考相對應於由投影機總成184或顯示器152渲染的3D影像之影像資料，由3D操控引擎170檢測出與辦識出的手勢。圖7描繪一種場景，其中3D操控引擎170可識別與影像資料獨立無關的手勢，或參考3D使用者介面控制元件(例如，按鈕、滑塊、單選按鈕等)其顯然出現在環繞觸敏表面200的周圍空間。雖然參考使用者介面控制元件的識別手勢係類似參考影像資料的識別手勢，但其為特例。

舉例言之，使用者介面控制元件可能不被變更，但某些手勢當被識別在使用者介面控制元件附近時可被解讀為指示操作控制。舉例言之，如上描述的推進手勢，當識別在特定使用者介面按鈕附近時，可使得3D操控引擎170啟動操作按鈕的功能。於另一個實施例中，若3D操控引擎170識別一圓形運動手勢，其中手35的手指在按鈕或滑杆(圖中未顯示)附近沿著路徑521移動，則可啟動某個特定控制元件功能，諸如復置按鈕，或沿滑杆移動滑塊。於替代場景中，當3D操控引擎170識別一手35之手指的圓形運動手勢沿著路徑521在一區域內，但該區域係不落入於距物件510的影像或使用者介面控制元件的一臨界值距離以內時，則3D操控引擎170可解讀該手勢指示應啟動某個其它特定手勢控制功能。舉例言之，沿路徑521的圓形手指手勢可指示執行儲存功能或須啟動一新3D物件的掃描。

雖然圖5-7中只描繪一手35，但本文揭示之具體 實施例可擴充到檢測與識別使用多手接觸或不接觸觸敏表面200的手勢。感測器束中之感測器可即時更新感測器資料用以追蹤隨著時間之推移手35的移動。3D操控引擎170可分析感測器資料用以檢測或識別由手35打出的手勢。當識別一手勢時，3D操控引擎170可啟動或執行功能其使得潛在影像資料改變，及所得渲染影像被更新或變更。於若干實施例中，得自觸敏表面200的觸控輸入資訊可提供給3D操控引擎170(或藉或針對對3D操控引擎170實現的應用程式或服務)其可解讀觸控輸入結合由感測器束164之感測器檢測得的感測器資料及/或識別手勢，及/或發送觸控輸入給在裝置150上執行的作業系統(OS)。於若干實施例中，OS可發送已接收的觸控輸入及/或感測器資料給在裝置150上執行的另一個應用程式(例如，程式等)。回應之，執行OS或應用程式可變更藉投影機總成184投射的影像、顯示在顯示器152上的影像、或其組合。如此處使用，「應用程式」、「電腦應用程式」、或「服務」為可由一處理資源執行的機器可讀取指令之一集合。於若干實施例中，一使用者可以類似方式與顯示在顯示器152(其可以是觸敏顯示器)上的影像、或裝置150的任何其它輸入裝置(例如，鍵盤、滑鼠等)互動。

於若干實施例中，感測器束164之感測器(或相機)可產生系統輸入，其可提供給裝置150用於進一步處理。舉例言之，系統100可利用束164之相機來檢測一特定使用者的手35或觸控筆的存在及位置中之至少一者，及提供表示經檢測的資訊之系統輸入資訊給裝置150其可識別該使用 者。

所提供的系統輸入資訊可傳送給由裝置150所執行的OS及應用程式中之至少一者，且可變更由系統100所顯示的影像，如前文關聯觸控輸入或連結經識別的使用者經識別的手勢描述。舉例言之，束164可包括一對相機或感測器，其係經配置以執行(例如，觸控筆之)觸控筆識別及立體鏡觸控筆追蹤。於其它實施例中，觸控筆包括一筆尖經以紅外線逆反射塗覆層(例如，塗料)塗覆，使得筆尖可作為紅外線逆反射鏡。此種逆反射塗覆層可包括一可區別的圖案或識別符，裝置150可使用該圖案或識別符用以識別一使用者輪廓概況或預設集合，其可用以辨識特定手勢及/或啟動使用者偏好的功能。於若干實施例中，感測器束164之感測器可藉由檢測特定使用者手勢、熱簽章、指紋碼等而被用以識別一特定使用者的手。

於此等實施例中，束164可包括IR相機(或感測器)，如前文描述，其檢測反射偏離觸控筆或手35的IR光而使得裝置150能追蹤橫跨區域202的所在位置。於若干實施例中，表面200(具有影像藉總成184投射其上)可用作為系統100內部的第二或替代觸敏顯示器。此外，檢測與顯示在表面200上的影像互動可透過使用如前文描述之感測器束164之感測器而予提升。

於若干實施例中，系統100可擷取一實體物件的2D影像或產生其3D掃描，使得該物件之影像然後能夠投射至表面200上用於其進一步使用及操控。舉例言之，如圖5 及6顯示，一物件40可置於表面200上，使得束164之感測器(例如，相機164A-164C中之至少一者)可檢測物件40之位置、維度、及顏色中之至少一者，用以提升其2D影像或產生其3D掃描。於此等實施例中，由束164之感測器收集的資訊可提供給裝置150(例如，裝置150之OS、應用程式、服務等)，如前文描述。由束164之感測器收集的資訊可經處理且儲存為2D或3D影像資料於各種開放來源及專屬檔案格式。經儲存的影像資料可即刻使用，或本地或遠端儲存供未來使用。於若干實施例中，由感測器束164獲得的且藉裝置150處理的影像資料可單獨使用，或結合先前得自感測器束164或若干其它來源(例如，在本地或遠端資料儲存裝置上的一影像資料之儲存庫)的其它資料使用。於又其它實施例中，無需使用感測器束以獲得任何影像資料。反而，先前儲存的影像資料檔案可經取回及載入至裝置150的記憶體中。

於若干實施例中，接收影像資料之後，裝置150(例如，OS、應用程式、服務等)可渲染及指示投影機總成184投射物件40的2D或3D影像510至表面200上。物件40可以是例如智慧型電話、書本、文件、照片、或任何其它實體物件。於若干實施例中，一旦物件由束164之感測器掃描，則表示該物件的影像之背景可被去除(例如，透過後述分段方法)，及所得前景物件的影像可被投射至表面200上(或顯示在顯示器152上)。於此等實施例中，實體物件(例如，物件40)的影像可經擷取、處理、及顯示在表面200上用以快速容易地產生實體物件的一數位版本許可其進一步操 控。

圖8A為包含3D操控引擎170之圖1之計算系統100之一部分的方塊圖。更明確言之，圖8A例示包含3D操控引擎170的計算裝置150之一例且係通訊式連結至感測器束164(如前文描述)之至少一個相機(例如，相機164A)，及投影機總成184，如前文描述。雖然未顯示於圖8A，但計算裝置150也可通訊式連結至系統100之其它組件，如前文描述。

計算裝置150(或實現3D操控引擎170的任何其它計算裝置)可包括至少一個處理資源。於此處描述之實施例中，一個處理資源可包括例如，一個處理器或多個處理器可含括於單一計算裝置中或分散橫跨多個計算裝置。如此處使用，「處理器」可以是下列中之一或多者：中央處理單元(CPU)、以半導體為基礎之微處理器、圖形處理單元(GPU)、經組配以取回及執行指令的可現場程式規劃閘陣列(FPGA)、適合用以取回及執行儲存在機器可讀取儲存媒體上的指令的其它電子電路、或其組合。

如前記，於圖8A之實施例中，計算裝置150包含3D操控引擎170。於其它實施例中，3D操控引擎170可包含額外引擎。於圖8B之實施例中，舉例言之，3D操控引擎170包含一3D影像資料分析引擎172及一感測器資料分析引擎174。於若干實施例中，3D操控引擎170可包括圖8B中未顯示的額外引擎。包括3D操控引擎170的計算裝置150也可通訊式連結至觸敏表面200。

於此處描述之實施例中，計算裝置150的任何引擎(例如，引擎170、172、174等)可以是硬體與程式設計之任何組合用以實現個別功能。此種硬體與程式設計之組合可以多種不同的方式實現。舉例言之，程式設計可以是儲存於一非暫態機器可讀取儲存媒體上的處理器可執行指令，及硬體可包括用以執行該等指令的一處理資源。於此等實施例中，機器可讀取儲存媒體可儲存指令，其當由處理資源執行時實現了引擎。儲存指令的機器可讀取儲存媒體可整合於處理資源的相同計算裝置(例如，裝置150)中用以執行指令，或機器可讀取儲存媒體可分開但可存取計算裝置及處理資源。處理資源可包括一個處理器或多個處理器含括於單一計算裝置中或分散橫跨多個計算裝置。

於若干實施例中，指令可以是安裝包之部分，其當安裝時可由處理資源執行而實現系統100之引擎。於此等實施例中，機器可讀取儲存媒體可以是可攜式媒體，諸如光碟、DVD、或快閃驅動裝置、或由一伺服器維持的一記憶體，自其中可下載及安裝安裝包。於其它實施例中，指令可以是已經安裝於包括處理資源的計算裝置(例如，裝置150)上的一應用程式或多應用程式之部分。於此等實施例中，機器可讀取儲存媒體可包括記憶體，諸如硬碟驅動裝置、固態驅動裝置等。

如此處使用，「機器可讀取儲存媒體」可以是用以含有或儲存資訊諸如可執行指令、資料等的任何電子式、磁學、光學、或其它實體儲存裝置。舉例言之，此處描述 之任何機器可讀取儲存媒體可以是儲存裝置驅動裝置(例如，硬碟驅動裝置)、快閃記憶體、隨機存取記憶體(RAM)、任何類型的儲存碟(例如，光碟、DVD等)及其類、或其組合中之任一者。又，此處描述之任何機器可讀取儲存媒體可以是非暫態。

計算系統100之實施例包含觸敏表面200用以檢測在觸敏表面200之位置的觸控輸入，如前文描述。如此處使用，「觸控輸入」可以是可藉一觸敏表面檢測的在一觸敏表面與一物件(例如，手指、觸控筆等)間之至少一個實體接觸(或其它實體互動)。觸控輸入可由一手35與一表面200間之實體接觸提供。於其它實施例中，觸控輸入可由任何其它合宜物件35之接觸提供。

如前文描述，計算系統100可包含感測器束164，包括指向觸敏表面200的至少一個相機。於圖7之實施例中，計算系統100可包括指向表面200的RGB相機164A(例如，RGB相機164A)。相機164A可擷取表示落入於相機164A之視野165內而位在相機164A與觸敏表面200間之一物件35(例如，一手)的影像。

於圖5-7之實施例中，3D操控引擎170可識別至少一個物件及/或檢測至少一個手勢其可與藉投影機總成184投射的一或多個2D或3D影像相關聯。如此處使用，「手勢」可包括物件諸如手、手指、觸控筆等的可識別的移動，其係經預先決定或動態決定互動或以其它方式操控由裝置150在顯示器152上渲染的或使用投影機總成184基於影像 資料渲染的一或多個影像。

如前文描述，計算系統100可包含於感測器束164之多個不同類型的相機。於若干實施例中，計算系統100可利用不同類型的相機以擷取多個影像，各自表示位在觸敏表面200與用以擷取影像的個別相機間之一物件。於若干實施例中，該等多個相機中之各者可以是RGB相機164A、IR相機164B、深度相機164C、手勢相機、或若干其它類型的相機中之一者。舉例言之，如圖8B顯示，計算系統100可包含計算裝置150通訊式連結至RGB相機164A、IR相機164B、深度相機164C、及觸敏表面200中之各者。於此等實施例中，相機164A-164C中之各者可指向表面200，且可擷取表示位在個別相機與表面200間之一物件的一個別影像。

圖9為用以識別手勢而與3D影像互動及操控3D影像之計算裝置350之另一實例之方塊圖。計算裝置350可以是前文關聯圖1-8描述的裝置150之另一具體實施例。於圖9之實施例中，計算裝置350可通訊式連結至觸敏表面200及相機164A-164C。相機164A-164C中之各者可設置於表面200上方且指向表面200。計算裝置350可進一步包括一處理資源310及一機器可讀取儲存媒體320包含(例如，編碼以)指令321-326。於若干實施例中，儲存媒體320可包括額外指令。於其它實施例中，指令321-326及此處關聯儲存媒體320描述的任何其它指令可儲存於遠離但可存取計算裝置350及處理資源310的一機器可讀取儲存媒體上。處理資源310可提取、解碼、及執行儲存於儲存媒體320上的指令用 以實現此處描述之功能。於其它實施例中，儲存媒體320之指令中之任一者的功能可以電子電路形式、以編碼於機器可讀取儲存媒體上之可執行指令形式、或其組合具體實施。機器可讀取儲存媒體320可以是非暫態機器可讀取儲存媒體。

於圖9之實施例中，指令321可接收或以其它方式取得3D影像資料。該3D影像資料可自儲存媒體320或若干其它儲存媒體取回，或自相機164A-164C中之一或多者或自另一應用程式340直接接收3D影像資料。指令322可基於3D影像資料渲染一3D物件之影像，且顯示該3D影像於顯示器152上，或使用投影機總成164投射在觸敏表面200上。指令323接收及/或分析得自相機164A-164C中之一或多者的感測器資料用以識別手勢。指令324將經識別手勢與3D資料中之資訊交互關聯。更明確言之，指令324可基於經識別手勢與一或多個3D影像之視在(apparent)位置的鄰近度或距離，如3D影像資料界定，而關聯一經識別手勢與一特定功能。

舉例言之，經識別手勢可識別為一特定移動手勢，其包括手35及/或手的個別組件(例如，手指、手掌等)的移動。經識別手勢可與特定識別符或功能識別符相關聯。於若干實施例中，與經識別手勢相關聯的識別符可具有一通用意義，而與該手勢係在感測器束164與觸敏表面200間之一區的哪一處檢測得獨立無關。於其它實施例中，手勢被識別的位置可決定被指示或被執行哪個功能或哪個功能識別符。於此等實施例中，手勢經識別之位置可與被渲染的 3D影像獨立無關。舉例言之，靠近感測器束164的打開手掌的35之一刷動作可與「再新」指令相關聯，而靠近觸敏表面200之表面手握拳一刷可指令或與「儲存」指令相關聯。據此，此等指令可以是特定位置但與3D影像資料獨立無關。

於其它實施例中，指示的功能不僅基於感測器束164與觸敏表面200間之一區域內部經識別手勢的位置，同時也如由一使用者觀看的3D影像在相同區域之視在位置，如前文描述。於此等實施例中，3D影像於感測器束164與觸敏表面200間之該區域內的視在位置可由相對應的3D影像資料之目前狀態指示。此種3D影像資料可包括一特定3D影像目前或可能潛在被渲染在顯示器152上或由投影機總成184投影的位置、方向性、及放大倍率。舉例言之，當一特定手勢，諸如手心全開放的一刷在與該3D影像資料中之一特定3D影像相關聯的一位置或一區域經識別時，其可指示一功能(例如，一刪除功能)其係與相同手勢出現在不與特定3D影像相關聯的一位置或一區域時的功能不同。於若干實施例中，任何手勢-功能聯結可以是情境特異性。據此，任何手勢-功能聯結可以取決於特定位置、特定3D影像、及/或打出該手勢的特定使用者，以及任何其它脈絡指標(例如，時間、日期、電腦系統、使用者偏好、習得的手勢等)。任何手勢-功能聯結可以界定一特定手勢場景。

如此處使用，「手勢識別場景」為一種模式用以透過計算系統之一或多個感測器提供基於手勢的使用者輸 入給一計算系統。於此處描述之實施例中，若一計算系統係用以針對各個手勢識別場景差異處理手勢識別，則手勢識別場景為不同(可於此處稱作「不同」手勢識別場景)。於若干實施例中，針對計算系統100的多個不同手勢識別場景可包括例如單手手勢場景、雙手手勢場景、觸控筆手勢場景、物件手勢場景、及一指或多指手勢場景，如後述。各個此種手勢識別場景及所得功能可取決於位置、3D影像資料、及/或使用者。

各個手勢識別場景可以相異，導致識別欲執行一特定功能或運算元。據此，指令325可回應於相關手勢從事操作。舉例言之，起始操作可包括產生由經識別手勢指示的功能及識別的情境相關聯的一指令或一功能調用。於若干實施例中，該指令或功能調用可包括資訊其識別一目標3D影像及/或相對應的3D影像資料(例如，影像資料檔名或物件識別符)。

指令326可使得裝置350或處理資源310渲染經變更的3D影像資料，或發送帶有經變更的3D影像資料之功能調用給一3D影像渲染功能344或若干其它應用程式340。於若干實施例中，發送根據指令326所簽發的指令可包括發送指令382給3D影像渲染功能344，其可以是應用程式340之一組件或計算裝置350的一作業系統。據此，渲染指令382可包括特定影像資料之指示及一或多個功能或操作，當影像資料被渲染為一影像之時或之前可在該影像資料上執行。舉例言之，渲染指令382可識別與投影的3D房子相關聯的一 特定3D影像資料檔案，因而出現在感測器束184與觸敏表面200間之區域的右下象限。除了識別與3D房子相關聯的3D影像資料檔案之外，渲染指令382可包括識別放大功能及置中功能，該等功能用以執行使得房子的3D影像在感測器束184與觸敏表面200間之區域內被放大且置中，讓使用者能夠看到更多細節。

一旦3D影像渲染功能344處理渲染指令382，則可產生經渲染的3D影像及資料且提供給一或多個應用程式340或作業系統，使其可發送給投影機總成184及/或顯示器152用以顯示給一使用者。

圖10為方法1000之一例之流程圖，用來運用基於手勢之指令在具有3D顯示能力的系統100中與3D影像資料互動或操控之。雖然方法1000之執行於後文係參考圖1-8及圖9之計算裝置150描述，但可運用其它合宜系統(例如，具有計算裝置350之系統100)用於方法1000之執行。此外，方法1000之執行並不限於此等實施例。

於方法1000之方塊1010，計算系統100可自一或多個來源接收3D影像資料。於一個實施例中，3D資料可包括得自先前產生的且儲存的影像資料檔案之影像資料，及/或由感測器束164之一或多個相機檢測得的影像資料。如此處描述，於方塊1020，3D影像資料可包括資訊，其由計算系統100用以使用一或多個3D顯示技術，利用顯示器152或投影機總成184渲染一相對應影像，使得該影像呈現占據感測器束164與觸敏表面200間之該空間的一特定位置。

於方塊1030，計算裝置150或其某個組件可自感測器束164之一或多個相機接收感測器資料。感測器資料可包括在感測器束164與觸敏表面200間之該空間內一使用者手勢的存在、位置、及/或移動有關的顏色、IR、及/或距離資料之任何組合。

於方塊1040，計算裝置150可識別感測器資料中之手勢。於若干實施例中，感測器資料可包括以時間順序組織的影像資料框。此種影像資料可包括於可見光、IR、UV、及電磁頻譜之其它寬及窄頻帶中的影像。計算裝置可比較影像資料中之各框間的增量差以區別物件諸如手、手臂、手指手勢等的移動。然後，計算裝置150可使用物件的移動來識別手勢。於若干實施例中，感測器資料可包括位置資料。此種位置資料可包括一或多個座標，其界定一經檢測物件在該感測器束164之視野中的定位。計算裝置150可分析位置資料變化用以決定一經識別手勢之3D方向性。據此，有關一經識別手勢之資訊可包括移動之定義以及檢測得該手勢之3D定位之定義，如前文描述。

於方塊1050，計算裝置150可基於有關在3D影像資料之情境中有關經識別手勢之資訊而決定一指令。據此，當一手勢被識別為接近3D影像資料中界定的一特定物件時，相關聯的指令可用以啟動一項功能，而一相同手勢被識別為接近另一個物件則可與另一項功能相關聯。於若干實施例中，各個可識別手勢可指示一特定功能，該功能可取決於該手勢被識別的位置及3D影像脈絡。如此，針對與由計 算裝置150提供的3D影像之一或多個面向互動或操控的各個功能或運算元可與一集合之資訊相關聯，該集合之資訊可包括手勢識別符、位置、及/或物件識別符。

於方塊1060，計算裝置150可簽發一指令給一或多個其它裝置用以起始與經識別手勢相關聯的功能。舉例言之，於方塊1020，3D操控引擎170之功能可被致動而變更或更新潛在3D影像資料，及然後簽發適當指令用以使用投影機總成184渲染/更新該已更新的3D影像。如圖10指示，方塊1020至1060可視需要重複用以回應於持續識別手勢其指示特定功能，用以與3D影像互動或操控而處理3D影像的即時或接近即時變化。

雖然圖10之流程圖顯示某些功能執行之特定順序，但方法1000並不限於該順序。舉例言之，該流程圖中接續顯示的功能可以不同順序進行，可同時或部分同時進行，或其組合。於若干實施例中，此處關聯圖10描述之特徵及功能可組合此處關聯圖1-9中之任一者描述之特徵及功能一起提供。

此等及其它變更、修改、添加、及改良可落入於隨附之申請專利範圍之範疇內。如於此處詳細說明部分及後文申請專利範圍全文中使用，除非脈絡另行明白指示否則「一(a)」、「一(an)」、及「該」包括複數形。又，如於此處詳細說明部分及後文申請專利範圍全文中使用，除非脈絡另行明白指示否則「於」之意義包括「於其內」及「於其上」。

150‧‧‧計算裝置

164A‧‧‧RGB相機

164B‧‧‧IR相機

164C‧‧‧深度相機

170‧‧‧3D操控引擎

172‧‧‧3D影像資料分析引擎

174‧‧‧感測器資料分析引擎

184‧‧‧投影機總成

200‧‧‧觸敏表面

Claims (15)

1. 一種計算系統，其包含：一投影機總成用以投射相對應於三維影像資料的三維影像至一表面上；一感測器，指向該表面，用以產生在該相機與該表面間之一區域中檢測得的一物件之移動的感測器資料；及一3D影像操控引擎用以基於該感測器資料而識別手勢及用以基於該等手勢及在該三維影像資料中界定的脈絡而決定欲在該等三維影像上執行的功能。
2. 如請求項1之計算系統，其中該感測器資料包含相對應於在該相機與該表面間檢測得該移動的一位置的座標。
3. 如請求項1之計算系統，其中該脈絡包含相對應於該等三維影像投射在該相機與該表面間之一區域中的位置的資訊。
4. 如請求項3之計算系統，其中該等三維影像包含使用者介面控制元件及影像其表示由該感測器所擷取的三維物件。
5. 如請求項4之計算系統，其中該感測器包含一彩色相機、一紅外線相機、及一深度相機。
6. 如請求項1之計算系統，其中該3D影像操控引擎進一步根據該感測器資料而決定一使用者識別符，其中為了決 定該欲執行的該等功能係進一步根據該使用者識別符。
7. 如請求項1之計算系統，其中該物件為一手，該等手勢包含手的手勢，該表面包含一觸敏表面，及該感測器資料進一步包含相對應於該手觸摸該觸敏表面之觸控輸入。
8. 一種包含可由一計算系統之一處理資源執行的指令之非暫態機器可讀取儲存媒體，該計算系統包含指向一觸敏表面的一投影機總成及位在其上方及指向該觸敏表面的一感測器，該等指令可執行用以：接收三維影像資料；使用該投影機總成渲染相對應於該三維影像資料的三維影像，其中該等三維影像呈現占據該相機與該觸敏表面間之一三維區域；自該感測器接收相對應於該相機與該觸敏表面間之該三維區域中檢測得的一物件之移動的感測器資料；基於該感測器資料識別手勢；及關聯識別手勢與該三維影像資料；及基於該等相關的識別手勢與三維影像資料而決定一操作用以變更該三維影像資料。
9. 如請求項8之儲存媒體，其進一步包含指令可執行用以：在該三維影像資料上執行該操作用以產生經變更 的三維影像資料；及使用該投影機總成基於該經變更的三維影像資料而渲染已更新的三維影像。
10. 如請求項8之儲存媒體，其中用以接收該三維影像資料之該等指令包含用以使用該感測器總成擷取三維影像資料之指令。
11. 如請求項8之儲存媒體，其中用以接收該三維影像資料之該等指令包含用以自在該處理資源上執行的一應用程式接收該三維影像資料之指令。
12. 如請求項8之儲存媒體，其中用以接收該三維影像資料之該等指令包含用以自先前決定的影像資料之一資料儲存器取回該三維影像資料之指令。
13. 一種處理器執行的方法，其包含：基於三維影像資料渲染三維影像；接收相對應於一使用者手勢的感測器資料；基於該感測器資料識別該使用者手勢；基於該經識別的使用者手勢及該三維影像資料決定一功能；及啟動該功能用以更新該三維影像資料。
14. 如請求項13之方法，其中該三維影像資料包含相對應於該等三維影像中表示的物件之物件定位資訊，該感測器資料包含相對應於該使用者手勢之使用者手勢定位資訊，及決定該功能係進一步基於該物件定位資訊與該使用者手勢定位資訊間之一相關性
15. 如請求項13之方法，其進一步包含使用一感測器掃描一物件用以產生該三維影像資料。