TW201145070A - Manual human machine interface operation system and method thereof - Google Patents

Description

201145070 六、發明說明： 【發明所屬之技術領域】 [_1] 本發明是有關於一種徒手人機介面操作系統及其方法， 特別是有關於一種利用使用者的手臂及手掌影像來操作 具有深度參數的物件的人機介面操作技術。 [先前技術3 '[0002]使用者對視覺化人機介面的操作要求越來越高，希望能 更簡化操作流程，讓介面操作更直覺化。目前，人機介 面的操作機制大多為鍵盤操作、滑鼠操作、觸控操作以 及遙控器操作等四種機制。鍵盤操作適合於輸入文字， 但是在渗!覽網頁上效果不佳；滑鼠操作或遙控器操作雖 然可提供不錯的便利性，但是使用者必須依賴—外部裝 置來進订操作’尚有改進的空間。而觸控操作則限制使 用者必須在手指可觸碰螢幕的範圍内來操作人機介面。 因此，如何提供❹者—可兼顧操作空間自由性以及徒 手操作的人機介面系統’是-項亟待解決的問題。 【發明内容】 [0003] 有鑑於上述習知技藝之問題，本發明之其中-目的就是 在提供-種徒手人機介面操作系統及其方法以提高介 面操作之便利性。 [0004] 根據本發明之目的，提出—種徒手人機介面操作系統， 包含一顯示單元、一資料處理單元、複數個影像掏取單 兀、一影像分析單元、-座標計算單元及一手勢 兀:貧料處理單聽產生—具有複數個物件的人機介面 ’母-物件係具有-深度參數，資料處理單元係控制顯 099118816 表單編號A0I01 第4頁/共2〇頁 0992033303-0 201145070 Ο [0005] [0006]Ο [0007] 示單元顯示人機介面。複數個影像擷取單元係擷取複數 張手部影像，每一複數個影像擷取單元係具有複數個内 4參數及複數個外部參數。影像分析單元係分析複數張 手部影像轉得複數個手臂影像及複數個手掌影像。座 標計算單元係根據每—複數個影像操取單元之複數個内 林數及複數俯卜部參數，以及複數個手臂影像，計算 複數個手臂座標點、減辦臂隸點所形成的一手臂 延伸線以及-手臂移動量^手勢賴單元係根據複數個 手掌影像辨識出—手勢m料處理單元根據手臂 延伸線、手臂移動量以及複數個物件之深度參數，從複 數個物件中料—所選物件，並較—對應手勢之指令 ，對所選物件執行指令。 、 手勢辨識單•係辨識此手勢為-指向手勢時， 資料處理單^執行選擇複數個物件之其—的動作。 、*手勢辨識單疋係辨識此手勢為-抓取（Grab)手 勢時’資料處理單元設輯職件為—被抓取狀態 (Grabbed) ’並根據手臂移動量移動所選物件。 其中田手勢辨識單元係辨識此手勢為-釋放 手㈣，M處理單元解除所勒件之被抓 取狀態。 [0008] ΪΙ度資=ΓΓ係根據複數個手臂座標點計算-手 麻的又物件ϋ +臂長度與手臂移動量之比例計算相對 應的一物件顯_度，再㈣物件顯謂度蚊所選物 件 099118816 表單編號Α0101 第5頁/共20頁 0992033303-0 201145070 [0009] [0010] [0011] [0012] [0013] [0014] 其中’所選物件㈣I_(highlight)於人機介面。 根據本發明之目的，再描Ψ 们贿出—種徒手人機介面操作 件=-具有複數個物件的人機介面，每一複數個物 有—深度參數，徒手人機介面操作方法包含下列 步驟。使用複數㈣像魏單元齡複數㈣部影像， 每一複數㈣像触單元料有複數個㈣參數及複數 個外。卩參數，分析複數張手部影像L得複數個手臂影 像及複數個手掌影像；根據每-複數㈣㈣取單元之 ί 複數個内部參數及複數個外部參數，以及複數個手臂影 像，計算複數個手臂座標點、-由複數個手臂座標點所 形成的手臂延伸線以及-手臂移動量；根據手臂延伸線 、手臂移動量以及複數個物件之深度參數，選擇複數個 物件之其-作為-所選物件；根據複數個手掌影像辨識 出一手勢；對所選物件執行此手勢所相對應的一指令。 其中’當此手勢被辨識為-指向手勢時，係執行選擇複 數個物件之其一的動作。

其中，當此手勢被辨識為一抓取（Grab)手勢時，係設定 所選物件為一被抓取狀態（Grabbed)，並根據手臂移動 量移動所選物件。 其中’當此手勢被辨識為一釋放（release)手勢時，係 解除所選物件之被抓取狀態。 其中，更根據複數個手臂座標點計算一手臂長度，再根 據手臂長度與手臂移動量之比例計算相對應的一物件顯 示深度’並根據物件顯示深度決定所選物件。 099118816 表單編號Α0101 第6頁/共20頁 0992033303-0 201145070 [0015] I [0016] 其中，所選物件係明顯顯示（ lghl ight)於人機介面。 ‘實施方式】 請參閱第1圖’其係為本發明 實施方塊®。在第1®巾，徒手人機介面操作系統之 顯示單元11、-資料處理單元^機介面操作系統包含一 、第二影賴取單心2、—㈣、第1像擷取單元131 笪JI-1C ^ ~像分析單元14、一座桿計 算早7〇15、一手勢辨識單元a : 知冲 面121的相關程式係健存、：~儲存單元Π。人機介 Ο —物件181及第二物件18 ;错存單7017中，其至少包含第 元17讀取人機介面l2l、資料處理單元12係從儲存單 介面121之顯示資料，的相關程式並執行之，以產生人機 12卜而視覺化顯示控軸7^單7011顯示人機介面 及第二物件182，其八人機介面121係具有第一物件181 數192。深度參數^別具有—深度參_及一深度參 件181及第二物件182木度參數192係用以標示第一物 第3圖，第2圖、♦示太之間的顯示關係。請續參閱第2圖及 〇 發明之徒手人機介面操作系統之實 施不意圖，而第3圖值^ 一 糸繪不人機介面I2l顯示於顯示單元 Π之虛擬側視圖。當、听 水度參數192大於深度參數191時， 如第2圖所示，在人地 機幻面121中第一物件181係顯示覆蓋 於第二物件182，而/ s 一 叩在顯示單元丨丨的座標系統中第一物件 181及第二物件1826^ 匕的位置關係如第3圖所示。 [0017] 第一影像擷取單元# 及第二影像擷取單元132係分別擷 取使用者=部影像133及手部影像134 。由於^用者大 多在顯示單元11前谁人 堤订介面操作，所以第一影像擷取單 元131及第二影像掏m Dn _ 取早元132較佳為配置在顯示單元η 099118816 表單編號A0101 頁/共20頁 ...... 第7在一— 0992033303-0 201145070 附近，以便於取使用者的手部影像。當第一影像擷取單 元131及第二影像擷取單元132設置完成後，需進行校正 ，以決定其擷取的影像内容的像素位置與顯示單元11的 座標系統之間的轉換關係。經過校正後，第一影像擷取 單元131具有複數個内部參數1311及複數個外部參數 1312，而第二影像擷取單元132係具有複數個内部參數 1321及複數個外部參數1 322。其中，上述内部參數較佳 為影像擷取單元的物理參數，例如焦距或影像尺寸；而 外部參數較佳為影像擷取單元與顯示單元11之間的座標 系統轉換矩陣。 [0018] 如第3圖所示，為了供使用者可徒手操作人機介面121， 手部影像133及手部影像134之影像内容較佳包含使用者 之手掌20以及手臂21的影像。影像分析單元14係分析手 部影像133以取得手臂影像1411及手掌影像1421，以及 分析手部影像134以取得手臂影像1412及手掌影像1422 。由於第一影像擷取單元131及第二影像擷取單元132已 經過校正，所以座標計算單元15可根據内部參數1311、 1321及複數個外部參數1312、1 322，以及手臂影像 1411、1412，計算出複數個手臂座標點151，如第3圖所 示。實施上，座標計算單元15係先判斷手臂影像1411、 1412中共有的手臂特徵，再利用三角定位法計算出複數 個手臂座標點151。 [0019] 座標計算單元15係計算複數個手臂座標點151所形成之一 手臂延伸線152。資料處理單元12根據第一物件181及第 二物件182的尺寸、深度參數191及深度參數192，可判 099118816 表單編號A0101 第8頁/共20頁 0992033303-0 201145070 斷手臂延伸線152是否有穿透第-物件181或第二物件 182。 闺儲存單元π係儲存複數個指令193，每一指令193係對應 —預設手勢。手勢辨識單元16係根據複數個手掌影像 421 1422辨識出-手勢161。資料處理單以2係判斷 手勢m是否符合任一指令192對應的預設手勢若有’ _處理單元12便執行手勢161所對應的指令。其中， 指令193較佳包含一選擇指令、-抓取指令及-釋放指令 Ο ’其分別對應—指向手勢、—抓取手勢及-釋放手勢。 當手勢辨識單心辨識手勢161為—指向手勢時表示使 用者欲選擇第-物件181或第二物件182，則資料處理單 凡12係將與手臂延伸線152相交的物件視為一所選物件。 例如在第3圖中，第二物件182為此所選物件。若手臂延 伸線152與複數㈣件相交，則資料纽單元12係根據複 數個手臂座標點151計算出一手臂移動量153，再根據手 臂移動量153以及此些相交物件之深度參數從此些相交 ° 物件中決定其所選物件。例如手臂移動量153說明了 手臂21往顯示單元11的方向移動，則資料處理單元12則 決定具有較大深度參數的物件為此所選物件^在實施上 ，資料處理單元12較佳為根據複數辦臂座標點i5i計算 -手臂長度，再根據此手臂長度與手臂移動量153之比例 來計算一對應於手臂移動量153的物件顯示深度，再根據 物件顯示深度決定此所選物件。如此可解決不同使用者 的手臂差異的影響。所選物件較佳的是明顯顯示 (highlight)於人機介面121。 099118816 表單編號A0101 第9頁/共20頁 0992033303-0 201145070 [0021]當一所選物件已決定，接著手勢辨識單元16辨識手勢ΐ6ι 為一抓取手勢時，則資料處理單元12設定此所選物件為 —被抓取狀態（Grabbed)，並根據手臂移動量153移動此 所選物件。當所選物件為被抓取狀態，接著手勢辨識單 元161辨識出手勢161為—釋放（reiease)手勢時，則資 料處理單元12解除所選物件之被抓取狀態。如此，使用 者可透過手臂、手掌以及三種手勢執行對物件的移動操 作。此外，除了上述操作外，使用者亦可設定其手勢的 對應指令；例如當所選物件為被抓取狀態時，使用者亦 可擺出一開啟手勢來執行物件；或是一刪徐手勢來刪除 物件。 _]料閱第4圖’其係為本發明之徒手人機介面操作方法之 第一實施流程圖。圖中，此實施例係適用於一具有複數 個物件的人機介面，每一複數個物件係具有一深度參數 。人機介面係顯示於—顯示單元上。徒手人機介面操作 方法包含下列步驟》在步驟41，使用複數個影像擷取單 元擷取複數張手部影像，每一银數個影像擷取單元係具 有複數個内部參數及複數個外部參數◊其中，内部參數 及外部參數係為影像擷取單元經過校正後所產生的參數 ，其用以表示擷取影像内容的像素位置與顯示單元的座 標系統之間的轉換關係。在步驟42，分析複數張手部影 像以取得複數個手臂影像及複數個手掌影像。在步驟“ ，根據每一影像擷取單元之複數個内部參數及複數個外 部參數，以及複數個手臂影像，計算複數個手臂座標點 、一由複數個手臂座標點所形成的手臂延伸線以及—手 099118816 表單編號A0101 第10頁/共20頁 0992033303-0 201145070 臂移動量》 [0023] 在步驟44，根據手⑽伸線、手臂移動量以及複數個物 件之深度參數，選擇複數個物件之其—作為—所選物件 °在步驟45,根據複數個手掌影像辨識出—手勢。在步 驟46，對所選物件執行此手勢所相對應的-指令。例如 ’指向手勢對應-選擇指令，简擇物件；抓取手勢對 應-抓取齡，將-所選物件設“被抓取狀態；釋放 手勢係對應-釋放指令，用轉除所選物件之被抓取狀 Ο [0024] 態。

I 請參閱第5®，其«本糾之徒手人齡面操作方法之 第二實施流程圖。在步驟5(Π，對設置於顯示單元左上角 及右上角的兩個影像娜單元進行校正，以取得兩個影 像掏取單元的内部參數及外部參數。在步驟聊，使用兩 個影像擷取單元齡手部影像，且所絲的手部影像之 ’從所擷取的 Ο 手部影像中分析出手娜像，並辨識_手掌影像所代 表的手勢。在步驟504，判斷此手％是否為一指向手勢。 若是，則執行步驟505 ;否則執行步驟5〇2。在步驟5〇5 ，使用兩個影像擷取單元擷取手部影像。在步驟5〇6，從 所擷取的手部影像中分析出手臂影像，並計算出複數個 手臂座標點以及複數個手臂座標點所形成的手臂延伸線 。在步驟507，並計算手臂延伸線與人機介面顯示的物件 的相交點，如第3圖所示，並將一與射線相交的物件作為 一所選物件。若與射線相交的物件有複數個，則根據手 臂移動量來選擇。 099118816 表單編號A0101 第〗1頁/共20頁 0992033303-0 201145070 [0025] [0026] [0027] 在步驟508，從所擷取的手部影像中分析出手掌影像，並 辨識出此手掌影像所代表的手勢。在步驟50Θ，判斷此手 勢疋否為一抓取手勢。若是，執行步驟51〇 ;否則執行步 驟505。在步驟510 ’將所選物件設定為被抓取狀態。在 步驟511，使用兩個影像擷取單元擷取手部影像，並從所 操取的手部影像巾分析出手臂影像，並計算出複數個手 臂座標點，並根據複數個手臂座標點計算出一手臂移動 量。在步驟512，根據手臂移動量移動選物件。在步驟 513 ’從所榻取的影像内容中分析出手掌影像並辨識出 此手掌影像所代表的手勢。在步驟514，判斷此手勢是否 為一釋放手勢，若是，則在步驟515解除該所選物件之該 被抓取狀態，並接續執行步驟5〇2。若此手勢非一釋放手 勢，則執行步驟511。 其中’上述顯示單元較佳為—二維影像顯示器或-三維 影像顯示器。影像操取單元較佳為—電㈣合元件、互 補式金屬-氧化層-半導體元件（c〇mpleinentary心卜 a卜Oxide-Seiniconduct〇r，CM〇s)或一視訊攝影機。 以上所述僅為舉例性，轉為限舰者。㈣未脫離本 發明之精神與_ ’而對其進行之等效修改或變更均 應包含於後附之申請專利範圍中。 【圖式簡單說明】 幻圖係為本發明之徒手人機介面操作系統之實施方塊圖 第2圖係為本發明之徒手人機介面操作系統之實施示意圖 099118816 表單編號A0101 第12頁/共20頁 0992033303-0 [0028] 201145070 第3圖係為本發明之人機介面顯示於顯示單元之虛擬側視 圖； 第4圖係為本發明之徒手人機介面操作方法之第一實施流 程圖；以及 第5圖係為本發明之徒手人機介面操作方法之第二實施流 程圖。 【主要元件符號說明】 - [0029] Ο 〇 099118816 11 :顯示單元 12 :資料處理單元 121 :人機介面 131 :第一影像擷取單元 132 :第二影像擷取單元 1311、 1321 :内部參數 1312、 1322 :外部參數 133、134 :手部影像 14:影像分析單元 1411、1412 :手臂影像 1421、1422 :手掌影像 15:座標計算單元 151 :手臂座標點 152 :手臂延伸線 153 :手臂移動量 16 :手勢辨識單元 161 :手勢 17 :儲存單元 181 :第一物件 表單編號Α0101 第13頁/共20頁 0992033303-0 201145070 182 :第二物件 191、192 :深度參數 193 :指令 20 :手掌 21 :手臂 41〜46 :步驟流程 5 01〜51 5 :步驟流程 099118816 表單編號A0101 第14頁/共20頁 0992033303-0

Claims (1)

1. 201145070 七、申請專利範圍： 一種徒手人機介面操作系統，其包含： 一顯示單元； 一資料處理單元，係產生具有複數個物件的—人機介面， 每-該複數個物件係具有—深度參數，該資料處理單元係 控制該顯示單元顯示該人機介面； 複數個影像棘單元，侧取複數張手部影像，每一該複 數個影像擷取單元係、具有複數個内部參數及複數個外部參

   Ο 一影像分析單元，係分析該複數張手部影像以取得複數個 手臂影像及複數個手掌影像； 個 座“计算單70 ’係根據每—該複數個影像齡單元之該 複數個㈣錄及該複數個料讀，从該複數個手^ 影像，計算魏㈣臂錢點、職數個㈣座標點所形 成的-手臂延伸線以及一手臂移動量：以芩 :手勢辨識單元’係根據該複數料掌影像辨識出一手勢 其中’《料處理單元根據該手臂延伸線、該手臂移 以及該複數個物件之該深度參數，從該複數個物件中決定 -所選物件’並衫對賴手勢之—齡，對物 執行該指令。 什 2. 如申請專利範圍第1項所述之徒手人機介面操作系統’ Α 中當該手勢辨識單元係辨識該手勢為一指向手勢時，該次 料處理單元執行選擇該複數個物件之其一的動作。“貝 3. 如申請專利範圍第i項所述之徒手人機介面操作系統，其 099118816 表單編號A0101 第15頁/共20頁 0992033303-0 201145070 中當遠手勢辨識單元係辨識該手勢為一抓取（Grab)手勢 時，该貢料處理單元設定該所選物件為—被抓取狀態 (Grabbed Status)，並根據該手臂移動量移動該所選物 件。 如申凊專利範圍第3項所述之徒手人機介面操作系統，其 中當該手勢辨識單元係辨識該手勢為一釋放（release)手 勢時’該資料處理單元解除該所選物件之該被抓取狀態。 如申凊專利範圍第1項所述之徒手人機介面操作系統，其 中該資料處理單元係根據該複數個手臂座標點計算一手臂 長度，再根據該手臂長度與該手臂移動量之比例計算相對 應的一物件顯不深度，再根據該物件顯示深度決定該所選 物件。 如申清專利範園第1項所述之徒手人機介面操作系統，其 中違所選物件係明顯顯示（highl ight)於該人機介面。 種徒手人機介面操作方法，適用於具有複數個物件的— 人機"面，每—該複數個物件餘具有一深度參數，該徒手 人機介面操作方法包含下列步驟： 使用複數姆像綠單元娜複驗手部影像每一該複 數個影像棘單元係具有減㈣部參數及魏個外部參 數； 分析該複數張手部影細取得複數個手臂f彡像及複數個手 掌影像； 根據每-該複數㈣像娜單元之職數個㈣參數及該 複數個外部參數，以及該複數個手臂影像，計算複數個手 臂座標點、該複數個手臂座漏所形成的-手f延伸線以 及一手臂移動量； 099118816 表單編號A0101 第16頁/共20頁 0992033303-0 201145070 根據該手臂延n該手臂移動量錢該複數個物件之該 深度參數，選擇該複數個物件之其-作為-所選物件.Χ 根據該複數個手掌影像辨識出一手勢；以及 對該所L物件執行該手勢所相對應的一指令。 8 . 如申請專利範固第7項所述之徒手人機介面操作方法 包含： 田該手勢被_為_指向手勢時’執行轉該複數個物件 之其一的動作。 9 . Ο 如申請專利範園第7項所述之徒手人機介面操作方法，更 包含： 备β亥手勢被辨識為_抓取手勢時，設定該所選物件為一被 抓取狀態’並根㈣手臂移動量移動制選物件。 ίο . 如申μ專利目第9項所m手人機介賴作方法 包含： 當該手勢被辨識為-釋放手勢時，解除該所選物件之該被 抓取狀態。 11 . 〇 如申4專利範圍第7項所述之徒手人機介面操作方法 包含： 根據該複數個手臂座標點計算-手臂長度，再根據該手臂 長度與該手臂移動量之比例計算㈣應的-物件顯示深度 ;以及 根據該物件顯示深度決定該所選物件。 如申請專利_第7項所述之徒手人機介面操作方法，其 中該所選物件係明顯顯示（highlight)於該人機介面。 099118816 表單編號A0101 第《·Π頁/共20頁 0992033303-0 12