TW201351210A - 操作區的決定方法與系統 - Google Patents

Abstract

一種操作區的決定方法與系統。在此方法中，在多個時間點建立目標場景的多張深度圖。比較上述深度圖的至少其中兩張特定深度圖之間的差異，以識別目標場景中的移動物體，並將移動物體在目標場景中的位置定義為參考點。根據參考點與參考點所對應的特定深度來取得目標場景中的基準點，以及利用參考點與基準點決定目標場景中能對電子裝置進行控制的有效操作區。

Description

操作區的決定方法與系統

本發明是有關於一種辨識操作者的方法與系統，且特別是有關於一種辨識目標場景中的操作者並決定有效操作區的方法與系統。

隨著顯示技術的進步，顯示器不再侷限於只能呈現二維(2-dimensional，2D)影像畫面，市面上已有越來越多能支援立體(3-dimensional，3D)影像畫面的顯示器產品可提供使用者更多元化的影音感受。此外，遙控器也不再是唯一用來對顯示器產品進行操控的裝置，只要在顯示器產品中搭配使用動作感測系統，便可藉由偵測使用者的手勢或體感來控制顯示器產品做出回應。在支援上述技術的產品中，又以智慧型電視(Smart TV)最受到消費者的青睞，而在市場上逐漸嶄露頭角。

以配置有動作感測系統的智慧型電視為例，動作感測系統在運作時必須先根據資料庫中的臉部特徵資訊，在整個背景中搜尋出人物來做為操作者，爾後再偵測操作者的動作以對智慧型電視進行控制。但當背景同時存在二個以上的人物時，一般的動作感測系統則無法有效判斷何者才是操作者。

為了解決上述問題，市面上許多智慧型電視產品會根據人物的距離來選擇操作者，例如將距離智慧型電視較近 的人物定義為操作者。或者，將所有偵測到的人物皆定義為操作者。然而，以距離定義操作者的方法相當容易產生不精確的結果，好比當路人從實際操作者的前方經過時，由於其比操作者更接近智慧型電視，因此會干擾系統運作而導致非預期的操作結果。至於將所有人物皆定義為操作者的方法，則由於後續追蹤使用者動作的運作複雜度龐大，會造成系統需求過高。據此，如何有效地確定操作者便是所有相關業者所致力研發的技術。

本發明提供一種操作區的決定方法與系統，可準確地辨識出目標場景中的主要操作者。

本發明提出一種操作區的決定方法，此方法包括以下步驟。在多個時間點建立目標場景的多張深度圖。比較深度圖的至少其中兩張特定深度圖之間的差異，以識別目標場景中的移動物體，並將移動物體在目標場景中的位置定義為參考點。根據參考點與參考點所對應的特定深度取得目標場景中的基準點。利用參考點與基準點決定目標場景中能對電子裝置進行控制的有效操作區。

在本發明之一實施例中，上述在時間點建立目標場景之深度圖的步驟包括針對各時間點，透過至少一影像擷取裝置擷取目標場景的至少一影像。分析至少一影像中的至少一物體分別與觀察位置之間的距離，以建立在時間點下目標場景的深度圖。

在本發明之一實施例中，其中在比較深度圖的至少其中兩張特定深度圖之間的差異，以識別目標場景中之移動物體的步驟中，包括由特定深度圖中根據一動作特徵找出有移動且符合預設之操作物體種類的移動物體。

在本發明之一實施例中，上述之操作物體種類包括使用者的手部、遙控器、指揮棒。

在本發明之一實施例中，上述在根據參考點與參考點所對應的特定深度取得基準點的步驟包括取得特定深度圖其中之一。在所取得的特定深度圖中，以參考點為中心向外搜尋基準物體，其中基準物體對應的深度與特定深度之間的差距不超過預設值。將基準物體在目標場景中的位置定義為基準點。

在本發明之一實施例中，上述在所取得的特定深度圖中以參考點為中心向外搜尋基準物體的步驟包括以參考點為中心向一特定方向搜尋基準物體。

在本發明之一實施例中，上述之基準物體為使用者的臉部。

在本發明之一實施例中，上述在利用參考點與基準點決定有效操作區的步驟之後，還可令有效操作區與電子裝置的顯示畫面相互對應。

本發明提出一種操作區的決定系統，其包括至少一影像擷取裝置、深度單元以及處理單元。深度單元耦接至少一影像擷取裝置，深度單元根據至少一影像擷取裝置提供的拍攝結果建立目標場景的多張深度圖，其中各深度圖分 別對應一時間點。處理單元耦接深度單元，處理單元比較些深度圖的至少其中兩張特定深度圖之間的差異，以識別目標場景中的移動物體，將移動物體在目標場景中的位置定義為參考點，根據參考點與參考點所對應的特定深度取得目標場景中的基準點，以及利用參考點與基準點決定目標場景中能對電子裝置進行控制的有效操作區。

在本發明之一實施例中，上述之深度單元在各時間點取得上述影像擷取裝置對目標場景進行擷取的至少一影像，並分析上述影像中的上述物體分別與觀察位置之間的距離，以建立在時間點下目標場景的深度圖。

在本發明之一實施例中，上述之處理單元由特定深度圖中根據一動作特徵找出有移動且符合預設之操作物體種類的移動物體。

在本發明之一實施例中，上述之操作物體種類包括使用者的手部、遙控器、指揮棒。

在本發明之一實施例中，上述之處理單元取得特定深度圖其中之一，在所取得的特定深度圖中，以參考點為中心向外搜尋基準物體，其中基準物體對應的深度與特定深度之間的差距不超過預設值，且將基準物體在目標場景中的位置定義為基準點。

在本發明之一實施例中，上述之處理單元以參考點為中心向一特定方向搜尋基準物體。

在本發明之一實施例中，上述之基準物體為使用者的臉部。

在本發明之一實施例中，上述之處理單元令有效操作區與電子裝置的顯示畫面相互對應。

基於上述，藉由建立目標場景在不同時間下的多張深度圖，可從至少其中兩張特定深度圖識別出目標場景中的特定移動物體來做為參考點，並依據參考點來取得基準點，進而利用參考點與基準點定義出目標場景中的有效操作區。如此一來，即便在目標場景中存在多個使用者，此操作區的決定方法與系統亦能有效地識別出哪個使用者在進行控制，並據以決定出有效操作區。後續亦只需要針對有效操作區來辨識及追蹤使用者的操作動作，據此可大幅增加操作效率。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

隨著電子裝置所支援的功能種類日益繁多，若能識別目標場景中主要進行控制的使用者，並根據此使用者來定義出操作區，使操作區與電子裝置的顯示畫面呼應，勢必能提升正確辨識使用者之操控行為的效率。本發明便是基於上述觀點而提出的操作區的決定方法與系統。為了使本發明之內容更為明瞭，以下特舉實施例做為本發明確實能夠據以實施的範例。

圖1是依照本發明之一實施例所繪示之操作區的決定系統方塊圖。請參照圖1，操作區決定系統100包括n個 影像擷取裝置(即，影像擷取裝置110_1至110_n，n為正整數)、深度單元120以及處理單元130。其中深度單元120分別耦接於影像擷取裝置110_1至110_n與處理單元130。以下將分別針對操作區決定系統100中各元件的功能進行說明。

影像擷取裝置110_1至110_n用以對一目標場景進行拍攝而取得目標場景的影像。拍攝動作例如會定期不斷進行，或因應操作區決定系統100的控制而進行。各影像擷取裝置可以是採用電荷耦合元件(Charge coupled device，CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors，CMOS)鏡頭，或紅外線鏡頭的攝影機、照相機，但本發明並不以此為限。必須說明的是，本發明並不對n的大小加以限制。當n大於1(例如n為2)時，影像擷取裝置110_1至110_n可組成陣列式攝影機，亦即影像擷取裝置110_1至110_n係平行擺設而沒有垂直位移，且裝置間的距離會符合人類的雙眼距離。而當n等於1時，影像擷取裝置110_1例如是深度攝影機。影像擷取裝置110_1至110_n可透過有線或無線的方式，將所擷取的影像傳送至深度單元120以進行後續處理。為了方便說明，以下將影像擷取裝置110_1至110_n統稱為影像擷取設備110。

深度單元120用以根據影像擷取設備110提供的拍攝結果建立目標場景的多張深度圖，其中各深度圖分別對應一時間點。詳言之，深度圖是以不同的灰階值表示不同深 度，舉例來說，對於距離影像擷取設備110較近的第一物體而言，深度單元120判定第一物體具有較低的深度值，而對於距離影像擷取設備110較遠第二物體而言，深度單元120判定第二物體具有較高的深度值。在本實施例中，具有較低深度值的物體在深度圖中會以較高的灰階值來表示，具有較高深度值的物體在深度圖中則會以較低的灰階值來表示。亦即，距離影像擷取設備110越遠的物體在深度圖中越接近黑色，而越接近影像擷取設備110的物體在深度圖中則越接近白色。但本發明並不對深度值與灰階值的對應關係加以限制，於其他實施例中，亦可在深度圖中以較高的灰階值來表示具有較高深度值的物體，並以較低的灰階值來表示具有較低深度值的物體，或者根據深度值的漸層而以不同的顏色來表示。

處理單元130可以是具備處理能力的硬體(例如晶片組、處理器等)、軟體元件(例如作業系統、應用程式等)，或硬體及軟體元件的組合。處理單元130用以根據深度單元120所建立的深度圖來決定目標場景中的有效作用區。進一步來說，本實施例之操作區決定系統100可與一電子裝置(例如智慧型電視，但本發明並不以此為限)搭配使用，例如整合至電子裝置中、透過特殊介面及傳輸線外接於電子裝置，或經由無線傳輸的方式與電子裝置溝通。在目標場景包括多個使用者的情況下，唯有位於有效作用區內的使用者所做出的動作才會被視為是對電子裝置進行操作的指令。

底下即搭配上述操作區決定系統100來說明本實施例之操作區決定方法的各步驟。圖2是依照本發明一實施例所繪示之操作區的決定方法流程圖。圖3A是依照本發明一實施例所繪示之目標場景的示意圖，須說明的是，雖然在本實施例中目標場景300僅包括兩使用者310及320，但本發明並不對目標場景300中的物體數量與種類加以限制。且在本實施例中，假設使用者320在目標場景300中左右來回地揮動其右手32。

請同時參照圖1、圖2及圖3A，首先如步驟S201所示，深度單元120在多個時間點建立目標場景300的多張深度圖。具體而言，欲建立目標場景300在時間點T的深度圖時，深度單元120首先取得影像擷取設備110在時間點T對目標場景300進行擷取的一或多張影像，並分析上述影像中各物體與影像擷取設備110之間的距離，以建立出深度圖。

舉例來說，在影像擷取設備110僅包括一台影像擷取裝置110_1(例如為深度攝影機)的情況下，影像擷取裝置110_1在時間點T對目標場景300進行拍攝時可利用如紅外線反射原理來獲得其中使用者310及320的深度信息(即，使用者310、320個別與影像擷取裝置110_1之間的距離)，而深度單元120能進一步根據上述深度信息來建立出目標場景300在時間點T的深度圖。此外，在影像擷取設備110包括多台影像擷取裝置(例如，影像擷取裝置110_1與110_2)的情況下，深度單元120取得影像擷取裝 置110_1與110_2同樣在時間點T分別對目標場景300進行拍攝的影像I_1及I_2，並根據影像I_1及I_2分析使用者310及320個別與一觀察位置(例如，影像擷取裝置110_1、110_2)之間的距離，並據此建立目標場景300在時間點T的深度圖。

圖3B是依照本發明一實施例所繪示之特定深度圖的示意圖。請參照圖3B，在深度圖302中，由於用來標示使用者310的灰階值較高(較接近白色)，而用來標示使用者320的灰階值較低(較接近黑色)，因此可根據深度圖302判斷使用者310較接近影像擷取設備110。

接著如步驟S203所示，處理單元130從深度單元120所建立的數張深度圖中取得至少兩張特定深度圖，並比較所取得之特定深度圖之間的差異來識別出目標場景300中的移動物體，並將移動物體在目標場景300中的位置定義為參考點。上述各特定深度圖所對應的時間點可以彼此相鄰或相距一段預設時間。且在本實施例中，處理單元130所識別出的移動物體必須符合預設的操作物體種類，例如為使用者的手部、遙控器，或指揮棒等。

具體來說，假設特定深度圖的數量為2，處理單元130係在兩張特定深度圖中根據動作特徵找出有移動且符合操作物體種類的移動物體。其中，動作特徵會與操作物體種類有關，假設操作物體種類為使用者的手部，動作特徵可以是手勢的晃動程度或形狀變化等。舉例而言，處理單元130可在兩張特定深度圖中比較具有相同或相似灰階值且 形狀類似之區域的位置，若此區域在兩張特定深度圖之間的移動變化大於一門檻值，表示此區域包括正在移動的物體。處理單元130可以藉由檢測建構出特定深度圖的原始二維影像來判斷此物體的種類是否符合預設的操作物體種類。例如，假設在使用者320左右揮動其右手32的同時，使用者310亦在左右搖晃其頭部，因此處理單元130會找到兩個正在移動的物體，基此，只要再取得原始二維影像並對其進行例如人臉特徵或手部特徵等辨識程序，便可正確找出符合操作物體種類的移動物體。在另一實施例中，深度單元120在建立深度圖時亦可先確定出各區域的物體種類，而處理單元130在找移動物體時則可直接排除不符合預設操作物體種類的區域。

值得一提的是，倘若處理單元130識別出兩個以上符合預設操作物體種類的移動物體，處理單元130例如會選擇較靠近影像擷取設備110的移動物體來定義參考點並進行後續步驟。

接著，如步驟S205所示，處理單元130根據參考點與參考點所對應的特定深度，取得目標場景300中的基準點。舉例來說，處理單元130會利用在步驟S203所取得的其中一張特定深度圖(例如最新的特定深度圖)來取得基準點的位置。假設圖3B所示之深度圖302為處理單元130所取得之最新的特定深度圖，且處理單元130已透過偵測動作特徵等方式識別出目標場景300中的移動物體為使用者320的右手32，並且以右手32的中心點做為參考 點R。接著，處理單元130會以參考點R為中心向外搜尋基準物體，在本實施例中假設基準物體為使用者的臉部34，但本發明並不以此為限。然而必須特別說明的是，基準物體所對應的深度與右手32所對應之特定深度之間的差距不超過一預設值。舉例來說，假設預設值為3(本發明並不以此為限)，若以灰階值30表示右手32對應的特定深度，則基準物體所對應的深度必須介於灰階值27至33之間。處理單元130在以參考點R為中心並向外搜尋到深度符合上述範圍的物體(即，使用者的臉部34)時，便以該物體作為基準物體，並且將基準物體在目標場景中的位置定義為基準點。舉例來說，處理單元130例如是以臉部34的中心點作為基準點S。

由於大多數的使用者習慣以右手進行操作，因此為了提升找出基準物體的效率，處理單元130在特定深度圖302中會以參考點R為中心向右來搜尋使用者320的臉部34。在其他實施例中，處理單元130也可根據基準物體與移動物體在真實環境下的位置對應關係，朝其他預設的特定方向來搜尋基準物體。

最後如步驟S207所示，處理單元130利用參考點R與基準點S決定目標場景300中能對電子裝置進行控制的有效操作區350。在一實施例中，有效操作區350的長寬比會符合電子裝置之螢幕的長寬比，且有效操作區350會涵蓋移動物體與基準物體(即，使用者的右手32及臉部34)。

在決定有效操作區350後，處理單元130令有效操作區350與電子裝置的顯示畫面相互對應。圖4是依照本發明一實施例所繪示之有效操作區與電子裝置之顯示畫面相互對應的示意圖。請參照圖4，在經過如圖2所示之流程後，當深度單元120再根據影像擷取設備110提供的拍攝結果來建立目標場景300的深度圖410時，處理單元130可跟據先前找尋有效操作區所得到的資訊，直接在深度圖410中決定有效操作區350，而僅有在有效操作區350內的動作才會被視為是對電子裝置的操作。進一步來說，處理單元130將有效操作區350對應至電子裝置的顯示畫面420，因此當使用者320將右手32移動到有效操作區350的左上角，顯示畫面420上的指標430也將對應地移動到顯示畫面420的左上角，使用者320便能據此對電子裝置進行各種操控，例如選擇選單中的選項等等。

綜上所述，本發明所述之操作區的決定系統與方法是在建立目標場景的深度圖後，根據動作特徵找出參考點與基準點，再利用參考點與基準點決定有效的操作區域。如此一來，即便目標場景中出現多個使用者，本發明亦能有效地從所有使用者中辨識出實際在進行操作的操作者，並將有效操作區鎖定在操作者的所在位置。爾後便只需要針對有效操作區來分析與追蹤操作者的動作，據此降低系統運算複雜度，並增加操作效率。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離 本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100‧‧‧操作區決定系統

110_1、110_n‧‧‧影像擷取裝置

110‧‧‧影像擷取設備

120‧‧‧深度單元

130‧‧‧處理單元

300‧‧‧目標場景

302、410‧‧‧深度圖

310、320‧‧‧使用者

32‧‧‧右手

34‧‧‧臉部

350‧‧‧有效操作區

420‧‧‧顯示畫面

430‧‧‧指標

R‧‧‧參考點

S‧‧‧基準點

S201~S207‧‧‧本發明之一實施例所述之操作區的決定方法的各步驟

圖1是依照本發明之一實施例所繪示之操作區的決定系統方塊圖。

圖2是依照本發明一實施例所繪示之操作區的決定方法流程圖。

圖3A是依照本發明一實施例所繪示之目標場景的示意圖。

圖3B是依照本發明一實施例所繪示之特定深度圖的示意圖。

圖4是依照本發明一實施例所繪示之有效操作區與電子裝置之顯示畫面相互對應的示意圖。

S201~S207‧‧‧本發明之一實施例所述之操作區決定方法的各步驟

Claims (16)

1. 一種操作區的決定方法，該方法包括：在多個時間點建立一目標場景的多張深度圖；比較該些深度圖的至少其中兩張特定深度圖之間的差異，以識別該目標場景中的一移動物體，並將該移動物體在該目標場景中的位置定義為一參考點；根據該參考點與該參考點所對應的一特定深度取得該目標場景中的一基準點；以及利用該參考點與該基準點決定該目標場景中能對一電子裝置進行控制的一有效操作區。
2. 如申請專利範圍第1項所述之操作區的決定方法，其中在該些時間點建立該目標場景之該些深度圖的步驟包括：針對各該時間點，透過至少一影像擷取裝置擷取該目標場景的至少一影像；以及分析該至少一影像中的至少一物體分別與一觀察位置之間的一距離，以建立在該時間點下該目標場景的該深度圖。
3. 如申請專利範圍第1項所述之操作區的決定方法，其中比較該些深度圖的該至少其中兩張特定深度圖之間的差異，以識別該目標場景中之該移動物體的步驟包括：由該些特定深度圖中根據一動作特徵找出有移動且符合預設之一操作物體種類的該移動物體。
4. 如申請專利範圍第3項所述之操作區的決定方 法，其中該操作物體種類包括使用者的手部、遙控器、指揮棒。
5. 如申請專利範圍第1項所述之操作區的決定方法，其中根據該參考點與該參考點所對應的該特定深度取得該基準點的步驟包括：取得該些特定深度圖其中之一；在所取得的特定深度圖中，以該參考點為中心向外搜尋一基準物體，其中該基準物體對應的一深度與該特定深度之間的差距不超過一預設值；以及將該基準物體在該目標場景中的位置定義為該基準點。
6. 如申請專利範圍第5項所述之操作區的決定方法，其中在所取得的特定深度圖中以該參考點為中心向外搜尋該基準物體的步驟包括：以該參考點為中心向一特定方向搜尋該基準物體。
7. 如申請專利範圍第5項所述之操作區的決定方法，其中該基準物體為使用者的臉部。
8. 如申請專利範圍第1項所述之操作區的決定方法，其中在利用該參考點與該基準點決定該有效操作區的步驟之後，該方法更包括：令該有效操作區與該電子裝置的一顯示畫面相互對應。
9. 一種操作區的決定系統，包括：至少一影像擷取裝置； 一深度單元，耦接該至少一影像擷取裝置，該深度單元根據該至少一影像擷取裝置提供的拍攝結果建立一目標場景的多張深度圖，其中各該些深度圖分別對應一時間點；以及一處理單元，耦接該深度單元，該處理單元比較該些深度圖的至少其中兩張特定深度圖之間的差異，以識別該目標場景中的一移動物體，將該移動物體在該目標場景中的位置定義為一參考點，根據該參考點與該參考點所對應的一特定深度取得該目標場景中的一基準點，以及利用該參考點與該基準點決定該目標場景中能對一電子裝置進行控制的一有效操作區。
10. 如申請專利範圍第9項所述之操作區的決定系統，其中該深度單元在各該時間點取得該至少一影像擷取裝置對該目標場景進行擷取的至少一影像，並分析該至少一影像中的至少一物體分別與一觀察位置之間的一距離，以建立在該時間點下該目標場景的該深度圖。
11. 如申請專利範圍第9項所述之操作區的決定系統，其中該處理單元由該些特定深度圖中根據一動作特徵找出有移動且符合預設之一操作物體種類的該移動物體。
12. 如申請專利範圍第11項所述之操作區的決定系統，其中該操作物體種類包括使用者的手部、遙控器、指揮棒。
13. 如申請專利範圍第9項所述之操作區的決定系統，其中該處理單元取得該些特定深度圖其中之一，在所 取得的特定深度圖中，以該參考點為中心向外搜尋一基準物體，其中該基準物體對應的一深度與該特定深度之間的差距不超過一預設值，且將該基準物體在該目標場景中的位置定義為該基準點。
14. 如申請專利範圍第13項所述之操作區的決定系統，其中該處理單元以該參考點為中心向一特定方向搜尋該基準物體。
15. 如申請專利範圍第13項所述之操作區的決定系統，其中該基準物體為使用者的臉部。
16. 如申請專利範圍第9項所述之操作區的決定系統，其中該處理單元令該有效操作區與該電子裝置的一顯示畫面相互對應。