TWI403922B - 徒手人機介面操作系統及其方法 - Google Patents

徒手人機介面操作系統及其方法 Download PDF

Info

Publication number
TWI403922B
TWI403922B TW099118816A TW99118816A TWI403922B TW I403922 B TWI403922 B TW I403922B TW 099118816 A TW099118816 A TW 099118816A TW 99118816 A TW99118816 A TW 99118816A TW I403922 B TWI403922 B TW I403922B
Authority
TW
Taiwan
Prior art keywords
arm
gesture
machine interface
human
selected object
Prior art date
Application number
TW099118816A
Other languages
English (en)
Other versions
TW201145070A (en
Inventor
Chung Cheng Lou
Jing Wei Wang
Original Assignee
Acer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acer Inc filed Critical Acer Inc
Publication of TW201145070A publication Critical patent/TW201145070A/zh
Application granted granted Critical
Publication of TWI403922B publication Critical patent/TWI403922B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

徒手人機介面操作系統及其方法
本發明是有關於一種徒手人機介面操作系統及其方法，特別是有關於一種利用使用者的手臂及手掌影像來操作具有深度參數的物件的人機介面操作技術。
使用者對視覺化人機介面的操作要求越來越高，希望能更簡化操作流程，讓介面操作更直覺化。目前，人機介面的操作機制大多為鍵盤操作、滑鼠操作、觸控操作以及遙控器操作等四種機制。鍵盤操作適合於輸入文字，但是在瀏覽網頁上效果不佳；滑鼠操作或遙控器操作雖然可提供不錯的便利性，但是使用者必須依賴一外部裝置來進行操作，尚有改進的空間。而觸控操作則限制使用者必須在手指可觸碰螢幕的範圍內來操作人機介面。因此，如何提供使用者一可兼顧操作空間自由性以及徒手操作的人機介面系統，是一項亟待解決的問題。
有鑑於上述習知技藝之問題，本發明之其中一目的就是在提供一種徒手人機介面操作系統及其方法，以提高介面操作之便利性。
根據本發明之目的，提出一種徒手人機介面操作系統，包含一顯示單元、一資料處理單元、複數個影像擷取單元、一影像分析單元、一座標計算單元及一手勢辨識單元。資料處理單元係產生一具有複數個物件的人機介面，每一物件係具有一深度參數，資料處理單元係控制顯示單元顯示人機介面。複數個影像擷取單元係擷取複數張手部影像，每一複數個影像擷取單元係具有複數個內部參數及複數個外部參數。影像分析單元係分析複數張手部影像以取得複數個手臂影像及複數個手掌影像。座標計算單元係根據每一複數個影像擷取單元之複數個內部參數及複數個外部參數，以及複數個手臂影像，計算複數個手臂座標點、複數個手臂座標點所形成的一手臂延伸線以及一手臂移動量。手勢辨識單元係根據複數個手掌影像辨識出一手勢。其中，資料處理單元根據手臂延伸線、手臂移動量以及複數個物件之深度參數，從複數個物件中決定一所選物件，並決定一對應手勢之指令，對所選物件執行指令。
其中，當手勢辨識單元係辨識此手勢為一指向手勢時，資料處理單元執行選擇複數個物件之其一的動作。
其中，當手勢辨識單元係辨識此手勢為一抓取(Grab)手勢時，資料處理單元設定所選物件為一被抓取狀態(Grabbed)，並根據手臂移動量移動所選物件。
其中，當手勢辨識單元係辨識此手勢為一釋放(release)手勢時，資料處理單元解除所選物件之被抓取狀態。
其中，資料處理單元係根據複數個手臂座標點計算一手臂長度，再根據手臂長度與手臂移動量之比例計算相對應的一物件顯示深度，再根據物件顯示深度決定所選物件。
其中，所選物件係明顯顯示(highlight)於人機介面。
根據本發明之目的，再提出一種徒手人機介面操作方法，適用於一具有複數個物件的人機介面，每一複數個物件係具有一深度參數，徒手人機介面操作方法包含下列步驟。使用複數個影像擷取單元擷取複數張手部影像，每一複數個影像擷取單元係具有複數個內部參數及複數個外部參數；分析複數張手部影像以取得複數個手臂影像及複數個手掌影像；根據每一複數個影像擷取單元之複數個內部參數及複數個外部參數，以及複數個手臂影像，計算複數個手臂座標點、一由複數個手臂座標點所形成的手臂延伸線以及一手臂移動量；根據手臂延伸線、手臂移動量以及複數個物件之深度參數，選擇複數個物件之其一作為一所選物件；根據複數個手掌影像辨識出一手勢；對所選物件執行此手勢所相對應的一指令。
其中，當此手勢被辨識為一指向手勢時，係執行選擇複數個物件之其一的動作。
其中，當此手勢被辨識為一抓取(Grab)手勢時，係設定所選物件為一被抓取狀態(Grabbed)，並根據手臂移動量移動所選物件。
其中，當此手勢被辨識為一釋放(release)手勢時，係解除所選物件之被抓取狀態。
其中，更根據複數個手臂座標點計算一手臂長度，再根據手臂長度與手臂移動量之比例計算相對應的一物件顯示深度，並根據物件顯示深度決定所選物件。
其中，所選物件係明顯顯示(highlight)於人機介面。
請參閱第1圖，其係為本發明之徒手人機介面操作系統之實施方塊圖。在第1圖中，徒手人機介面操作系統包含一顯示單元11、一資料處理單元12、第一影像擷取單元131、第二影像擷取單元132、一影像分析單元14、一座標計算單元15、一手勢辨識單元16及一儲存單元17。人機介面121的相關程式係儲存於儲存單元17中，其至少包含第一物件181及第二物件182。資料處理單元12係從儲存單元17讀取人機介面121的相關程式並執行之，以產生人機介面121之顯示資料，並控制顯示單元11顯示人機介面121。而視覺化顯示的人機介面121係具有第一物件181及第二物件182，其分別具有一深度參數191及一深度參數192。深度參數191及深度參數192係用以標示第一物件181及第二物件182之間的顯示關係。請續參閱第2圖及第3圖，第2圖繪示本發明之徒手人機介面操作系統之實施示意圖，而第3圖係繪示人機介面121顯示於顯示單元11之虛擬側視圖。當深度參數192大於深度參數191時，如第2圖所示，在人機介面121中第一物件181係顯示覆蓋於第二物件182，而在顯示單元11的座標系統中第一物件181及第二物件182的位置關係如第3圖所示。
第一影像擷取單元131及第二影像擷取單元132係分別擷取使用者的手部影像133及手部影像134。由於使用者大多在顯示單元11前進行介面操作，所以第一影像擷取單元131及第二影像擷取單元132較佳為配置在顯示單元11附近，以便於取使用者的手部影像。當第一影像擷取單元131及第二影像擷取單元132設置完成後，需進行校正，以決定其擷取的影像內容的像素位置與顯示單元11的座標系統之間的轉換關係。經過校正後，第一影像擷取單元131具有複數個內部參數1311及複數個外部參數1312，而第二影像擷取單元132係具有複數個內部參數1321及複數個外部參數1322。其中，上述內部參數較佳為影像擷取單元的物理參數，例如焦距或影像尺寸；而外部參數較佳為影像擷取單元與顯示單元11之間的座標系統轉換矩陣。
如第3圖所示，為了供使用者可徒手操作人機介面121，手部影像133及手部影像134之影像內容較佳包含使用者之手掌20以及手臂21的影像。影像分析單元14係分析手部影像133以取得手臂影像1411及手掌影像1421，以及分析手部影像134以取得手臂影像1412及手掌影像1422。由於第一影像擷取單元131及第二影像擷取單元132已經過校正，所以座標計算單元15可根據內部參數1311、1321及複數個外部參數1312、1322，以及手臂影像1411、1412，計算出複數個手臂座標點151，如第3圖所示。實施上，座標計算單元15係先判斷手臂影像1411、1412中共有的手臂特徵，再利用三角定位法計算出複數個手臂座標點151。
座標計算單元15係計算複數個手臂座標點151所形成之一手臂延伸線152。資料處理單元12根據第一物件181及第二物件182的尺寸、深度參數191及深度參數192，可判斷手臂延伸線152是否有穿透第一物件181或第二物件182。
儲存單元17係儲存複數個指令193，每一指令193係對應一預設手勢。手勢辨識單元16係根據複數個手掌影像1421、1422辨識出一手勢161。資料處理單元12係判斷手勢161是否符合任一指令192對應的預設手勢，若有，則資料處理單元12便執行手勢161所對應的指令。其中，指令193較佳包含一選擇指令、一抓取指令及一釋放指令，其分別對應一指向手勢、一抓取手勢及一釋放手勢。當手勢辨識單元16辨識手勢161為一指向手勢時，表示使用者欲選擇第一物件181或第二物件182，則資料處理單元12係將與手臂延伸線152相交的物件視為一所選物件。例如在第3圖中，第二物件182為此所選物件。若手臂延伸線152與複數個物件相交，則資料處理單元12係根據複數個手臂座標點151計算出一手臂移動量153，再根據手臂移動量153以及此些相交物件之深度參數，從此些相交物件中決定其一為所選物件。例如手臂移動量153說明了手臂21往顯示單元11的方向移動，則資料處理單元12則決定具有較大深度參數的物件為此所選物件。在實施上，資料處理單元12較佳為根據複數個手臂座標點151計算一手臂長度，再根據此手臂長度與手臂移動量153之比例來計算一對應於手臂移動量153的物件顯示深度，再根據物件顯示深度決定此所選物件。如此可解決不同使用者的手臂差異的影響。所選物件較佳的是明顯顯示(highlight)於人機介面121。
當一所選物件已決定，接著手勢辨識單元16辨識手勢161為一抓取手勢時，則資料處理單元12設定此所選物件為一被抓取狀態(Grabbed)，並根據手臂移動量153移動此所選物件。當所選物件為被抓取狀態，接著手勢辨識單元161辨識出手勢161為一釋放(release)手勢時，則資料處理單元12解除所選物件之被抓取狀態。如此，使用者可透過手臂、手掌以及三種手勢執行對物件的移動操作。此外，除了上述操作外，使用者亦可設定其手勢的對應指令；例如當所選物件為被抓取狀態時，使用者亦可擺出一開啟手勢來執行物件；或是一刪除手勢來刪除物件。
請參閱第4圖，其係為本發明之徒手人機介面操作方法之第一實施流程圖。圖中，此實施例係適用於一具有複數個物件的人機介面，每一複數個物件係具有一深度參數。人機介面係顯示於一顯示單元上。徒手人機介面操作方法包含下列步驟。在步驟41，使用複數個影像擷取單元擷取複數張手部影像，每一複數個影像擷取單元係具有複數個內部參數及複數個外部參數。其中，內部參數及外部參數係為影像擷取單元經過校正後所產生的參數，其用以表示擷取影像內容的像素位置與顯示單元的座標系統之間的轉換關係。在步驟42，分析複數張手部影像以取得複數個手臂影像及複數個手掌影像。在步驟43，根據每一影像擷取單元之複數個內部參數及複數個外部參數，以及複數個手臂影像，計算複數個手臂座標點、一由複數個手臂座標點所形成的手臂延伸線以及一手臂移動量。
在步驟44，根據手臂延伸線、手臂移動量以及複數個物件之深度參數，選擇複數個物件之其一作為一所選物件。在步驟45，根據複數個手掌影像辨識出一手勢。在步驟46，對所選物件執行此手勢所相對應的一指令。例如，指向手勢對應一選擇指令，以選擇物件；抓取手勢對應一抓取指令，將一所選物件設定為被抓取狀態；釋放手勢係對應一釋放指令，用以解除所選物件之被抓取狀態。
請參閱第5圖，其係為本發明之徒手人機介面操作方法之第二實施流程圖。在步驟501，對設置於顯示單元左上角及右上角的兩個影像擷取單元進行校正，以取得兩個影像擷取單元的內部參數及外部參數。在步驟502，使用兩個影像擷取單元擷取手部影像，且所擷取的手部影像之內容包含使用者的手臂及手掌。在步驟503，從所擷取的手部影像中分析出手掌影像，並辨識出此手掌影像所代表的手勢。在步驟504，判斷此手勢是否為一指向手勢。若是，則執行步驟505；否則執行步驟502。在步驟505，使用兩個影像擷取單元擷取手部影像。在步驟506，從所擷取的手部影像中分析出手臂影像，並計算出複數個手臂座標點以及複數個手臂座標點所形成的手臂延伸線。在步驟507，並計算手臂延伸線與人機介面顯示的物件的相交點，如第3圖所示，並將一與射線相交的物件作為一所選物件。若與射線相交的物件有複數個，則根據手臂移動量來選擇。
在步驟508，從所擷取的手部影像中分析出手掌影像，並辨識出此手掌影像所代表的手勢。在步驟509，判斷此手勢是否為一抓取手勢。若是，執行步驟510；否則執行步驟505。在步驟510，將所選物件設定為被抓取狀態。在步驟511，使用兩個影像擷取單元擷取手部影像，並從所擷取的手部影像中分析出手臂影像，並計算出複數個手臂座標點，並根據複數個手臂座標點計算出一手臂移動量。在步驟512，根據手臂移動量移動選物件。在步驟513，從所擷取的影像內容中分析出手掌影像，並辨識出此手掌影像所代表的手勢。在步驟514，判斷此手勢是否為一釋放手勢，若是，則在步驟515解除該所選物件之該被抓取狀態，並接續執行步驟502。若此手勢非一釋放手勢，則執行步驟511。
其中，上述顯示單元較佳為一二維影像顯示器或一三維影像顯示器。影像擷取單元較佳為一電荷耦合元件、互補式金屬-氧化層-半導體元件（Complementary Metal-Oxide-Semiconductor, CMOS）或一視訊攝影機。
以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。
11‧‧‧顯示單元
12‧‧‧資料處理單元
121‧‧‧人機介面
131‧‧‧第一影像擷取單元
132‧‧‧第二影像擷取單元
1311、1321‧‧‧內部參數
1312、1322‧‧‧外部參數
133、134‧‧‧手部影像
14‧‧‧影像分析單元
1411、1412‧‧‧手臂影像
1421、1422‧‧‧手掌影像
15‧‧‧座標計算單元
151‧‧‧手臂座標點
152‧‧‧手臂延伸線
153‧‧‧手臂移動量
16‧‧‧手勢辨識單元
161‧‧‧手勢
17‧‧‧儲存單元
181‧‧‧第一物件
182‧‧‧第二物件
191、192‧‧‧深度參數
193‧‧‧指令
20‧‧‧手掌
21‧‧‧手臂
41~46‧‧‧步驟流程
501~515‧‧‧步驟流程
第1圖係為本發明之徒手人機介面操作系統之實施方塊圖；
第2圖係為本發明之徒手人機介面操作系統之實施示意圖；
第3圖係為本發明之人機介面顯示於顯示單元之虛擬側視圖；
第4圖係為本發明之徒手人機介面操作方法之第一實施流程圖；以及
第5圖係為本發明之徒手人機介面操作方法之第二實施流程圖。
11‧‧‧顯示單元
12‧‧‧資料處理單元
121‧‧‧人機介面
131‧‧‧第一影像擷取單元
132‧‧‧第二影像擷取單元
1311、1321‧‧‧內部參數
1312、1322‧‧‧外部參數
133、134‧‧‧手部影像
14‧‧‧影像分析單元
1411、1412‧‧‧手臂影像
1421、1422‧‧‧手掌影像
15‧‧‧座標計算單元
151‧‧‧手臂座標點
152‧‧‧手臂延伸線
153‧‧‧手臂移動量
16‧‧‧手勢辨識單元
161‧‧‧手勢
17‧‧‧儲存單元
181‧‧‧第一物件
182‧‧‧第二物件
191、192‧‧‧深度參數
193‧‧‧指令

Claims (12)

  1. 一種徒手人機介面操作系統，其包含：
    一顯示單元；
    一資料處理單元，係產生具有複數個物件的一人機介面，每一該複數個物件係具有一深度參數，該資料處理單元係控制該顯示單元顯示該人機介面；
    複數個影像擷取單元，係擷取複數張手部影像，每一該複數個影像擷取單元係具有複數個內部參數及複數個外部參數；
    一影像分析單元，係分析該複數張手部影像以取得複數個手臂影像及複數個手掌影像；
    一座標計算單元，係根據每一該複數個影像擷取單元之該複數個內部參數及該複數個外部參數，以及該複數個手臂影像，計算複數個手臂座標點、該複數個手臂座標點所形成的一手臂延伸線以及一手臂移動量；以及
    一手勢辨識單元，係根據該複數個手掌影像辨識出一手勢；
    其中，該資料處理單元根據該手臂延伸線、該手臂移動量以及該複數個物件之該深度參數，從該複數個物件中決定一所選物件，並決定對應該手勢之ㄧ指令，對該所選物件執行該指令。
  2. 如申請專利範圍第1項所述之徒手人機介面操作系統，其中當該手勢辨識單元係辨識該手勢為一指向手勢時，該資料處理單元執行選擇該複數個物件之其一的動作。
  3. 如申請專利範圍第1項所述之徒手人機介面操作系統，其中當該手勢辨識單元係辨識該手勢為一抓取(Grab)手勢時，該資料處理單元設定該所選物件為一被抓取狀態(Grabbed Status)，並根據該手臂移動量移動該所選物件。
  4. 如申請專利範圍第3項所述之徒手人機介面操作系統，其中當該手勢辨識單元係辨識該手勢為一釋放(release)手勢時，該資料處理單元解除該所選物件之該被抓取狀態。
  5. 如申請專利範圍第1項所述之徒手人機介面操作系統，其中該資料處理單元係根據該複數個手臂座標點計算一手臂長度，再根據該手臂長度與該手臂移動量之比例計算相對應的一物件顯示深度，再根據該物件顯示深度決定該所選物件。
  6. 如申請專利範圍第1項所述之徒手人機介面操作系統，其中該所選物件係明顯顯示(highlight)於該人機介面。
  7. 一種徒手人機介面操作方法，適用於具有複數個物件的一人機介面，每一該複數個物件係具有一深度參數，該徒手人機介面操作方法包含下列步驟：
    使用複數個影像擷取單元擷取複數張手部影像，每一該複數個影像擷取單元係具有複數個內部參數及複數個外部參數；
    分析該複數張手部影像以取得複數個手臂影像及複數個手掌影像；
    根據每一該複數個影像擷取單元之該複數個內部參數及該複數個外部參數，以及該複數個手臂影像，計算複數個手臂座標點、該複數個手臂座標點所形成的一手臂延伸線以及一手臂移動量；
    根據該手臂延伸線、該手臂移動量以及該複數個物件之該深度參數，選擇該複數個物件之其一作為一所選物件；
    根據該複數個手掌影像辨識出一手勢；以及
    對該所選物件執行該手勢所相對應的一指令。
  8. 如申請專利範圍第7項所述之徒手人機介面操作方法，更包含：
    當該手勢被辨識為一指向手勢時，執行選擇該複數個物件之其一的動作。
  9. 如申請專利範圍第7項所述之徒手人機介面操作方法，更包含：
    當該手勢被辨識為一抓取手勢時，設定該所選物件為一被抓取狀態，並根據該手臂移動量移動該所選物件。
  10. 如申請專利範圍第9項所述之徒手人機介面操作方法，更包含：
    當該手勢被辨識為一釋放手勢時，解除該所選物件之該被抓取狀態。
  11. 如申請專利範圍第7項所述之徒手人機介面操作方法，更包含：
    根據該複數個手臂座標點計算一手臂長度，再根據該手臂長度與該手臂移動量之比例計算相對應的一物件顯示深度；以及
    根據該物件顯示深度決定該所選物件。
  12. 如申請專利範圍第7項所述之徒手人機介面操作方法，其中該所選物件係明顯顯示(highlight)於該人機介面。
TW099118816A 2010-06-04 2010-06-09 徒手人機介面操作系統及其方法 TWI403922B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/793,702 US8416189B2 (en) 2010-06-04 2010-06-04 Manual human machine interface operation system and method thereof

Publications (2)

Publication Number Publication Date
TW201145070A TW201145070A (en) 2011-12-16
TWI403922B true TWI403922B (zh) 2013-08-01

Family

ID=45052363

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099118816A TWI403922B (zh) 2010-06-04 2010-06-09 徒手人機介面操作系統及其方法

Country Status (3)

Country Link
US (1) US8416189B2 (zh)
CN (1) CN102270037B (zh)
TW (1) TWI403922B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646313B2 (en) * 2011-12-13 2017-05-09 Microsoft Technology Licensing, Llc Gesture-based tagging to view related content
CN102637116B (zh) * 2012-03-20 2016-05-25 Tcl集团股份有限公司 3d场景交互方法、装置及碰撞检测方法、装置
TWI471814B (zh) * 2012-07-18 2015-02-01 Pixart Imaging Inc 降低背景干擾的手勢判斷方法及其裝置
US9734582B2 (en) 2013-02-21 2017-08-15 Lg Electronics Inc. Remote pointing method
CN104007808B (zh) * 2013-02-26 2017-08-29 联想(北京)有限公司 一种信息处理方法及电子设备
CN104714728B (zh) * 2013-02-28 2018-10-12 联想(北京)有限公司 一种显示方法和设备
TW201500968A (zh) * 2013-06-21 2015-01-01 Utechzone Co Ltd 三維互動系統及其互動感測方法
KR101844278B1 (ko) * 2014-01-23 2018-04-02 삼성전자주식회사 관절식 객체의 자세를 추정하기 위한 파라미터 학습 방법 및 관절식 객체의 자세 추정 방법
CN109542654A (zh) * 2018-11-23 2019-03-29 京东方科技集团股份有限公司 自动贩卖机和确定用户选定商品的方法
CN110936797B (zh) * 2019-12-02 2021-08-27 恒大恒驰新能源汽车科技(广东)有限公司 一种汽车天窗控制方法及电子设备
CN111601129B (zh) * 2020-06-05 2022-04-01 北京字节跳动网络技术有限公司 控制方法、装置、终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200512652A (en) * 2003-09-26 2005-04-01 Jia-Zhang Hu Cursor simulator using limbs to control cursor and method for simulating the same
US20070283296A1 (en) * 2006-05-31 2007-12-06 Sony Ericsson Mobile Communications Ab Camera based control
TW200900123A (en) * 2007-06-18 2009-01-01 Ailive Inc Self-contained inertial navigation system for interactive control using movable controllers
US20090217211A1 (en) * 2008-02-27 2009-08-27 Gesturetek, Inc. Enhanced input using recognized gestures

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8760400B2 (en) * 2007-09-07 2014-06-24 Apple Inc. Gui applications for use with 3D remote controller
JP4568357B2 (ja) * 2008-06-30 2010-10-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 動画データから検索対象である動画コンテンツを含むシーンを検索するためのコンピュータ・システム、並びにその方法及びコンピュータ・プログラム
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US8523667B2 (en) * 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
US8457353B2 (en) * 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US8416187B2 (en) * 2010-06-22 2013-04-09 Microsoft Corporation Item navigation using motion-capture data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200512652A (en) * 2003-09-26 2005-04-01 Jia-Zhang Hu Cursor simulator using limbs to control cursor and method for simulating the same
US20070283296A1 (en) * 2006-05-31 2007-12-06 Sony Ericsson Mobile Communications Ab Camera based control
TW200900123A (en) * 2007-06-18 2009-01-01 Ailive Inc Self-contained inertial navigation system for interactive control using movable controllers
US20090217211A1 (en) * 2008-02-27 2009-08-27 Gesturetek, Inc. Enhanced input using recognized gestures

Also Published As

Publication number Publication date
CN102270037B (zh) 2014-02-05
US8416189B2 (en) 2013-04-09
US20110298698A1 (en) 2011-12-08
CN102270037A (zh) 2011-12-07
TW201145070A (en) 2011-12-16

Similar Documents

Publication Publication Date Title
TWI403922B (zh) 徒手人機介面操作系統及其方法
US9329691B2 (en) Operation input apparatus and method using distinct determination and control areas
JP5167523B2 (ja) 操作入力装置および操作判定方法並びにプログラム
JP5515067B2 (ja) 操作入力装置および操作判定方法並びにプログラム
TWI464640B (zh) 手勢感測裝置及具有手勢輸入功能的電子系統
CN102508546A (zh) 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
JP6350772B2 (ja) 情報処理システム、情報処理装置、制御方法、及びプログラム
WO2016026365A1 (zh) 实现非接触式鼠标控制的人机交互方法和系统
JP2016224686A (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
WO2013149475A1 (zh) 一种用户界面的控制方法及装置
JP2012238293A (ja) 入力装置
WO2014146516A1 (zh) 一种左右手交互装置及方法
US9525906B2 (en) Display device and method of controlling the display device
TWI499938B (zh) 觸控系統
JP6579866B2 (ja) 情報処理装置とその制御方法、プログラム、記憶媒体
JP2013109538A (ja) 入力方法及び入力装置
JP5675196B2 (ja) 情報処理装置及びその制御方法
KR20110033318A (ko) 영상인식을 이용한 가상마우스 시스템
JP2015122124A (ja) 仮想マウスによるデータ入力機能を有する情報装置
JP5733056B2 (ja) 仮想マウスによるデータ入力方法
JP6400110B2 (ja) カーソル制御装置及びカーソル制御方法
JP2012243172A (ja) 電子機器の情報入力装置及び方法
TW201426430A (zh) 觸控系統及觸控方法
JP2014219879A (ja) 情報処理装置、情報処理方法及びプログラム