TWI788607B

TWI788607B - 人機交互系統和人機交互方法

Info

Publication number: TWI788607B
Application number: TW108144998A
Authority: TW
Inventors: 林彥宏; 王玠凱; 柯士豪; 嚴偉齊
Original assignee: 未來市股份有限公司
Priority date: 2019-11-05
Filing date: 2019-12-09
Publication date: 2023-01-01
Also published as: CN112783318A; US11029753B2; EP3819747A1; TW202119175A; JP2021077311A; US20210132684A1

Abstract

本發明提供一種人機交互系統和人機交互方法。人機交互系統包含第一感測器、第二感測器以及處理器。處理器從第一感測器中取得第一操作部位的第一動作感測資料，從第二感測器中取得不同於第一操作部位的第二操作部位的第二動作感測資料，且根據第一動作感測資料和第二動作感測資料觸發事件。藉此，可提供用於使用者的多個操作部位的混合動作追蹤方法。

Description

人機交互系統和人機交互方法

本發明是有關於一種用於追蹤使用者的動作的方法，且特別是有關於一種使用者的人機交互系統和人機交互方法。

為了在電子設備（諸如遊戲機、電腦、智慧手機、智慧電器等）上提供直觀的操作，可偵測使用者的動作，以根據使用者的動作直接操作電子設備。

在傳統方法中，一些電子設備可允許使用者的多個人體部位（諸如手、腿、頭等）來控制這些電子設備的操作，且可追蹤這些人體部位的動作。然而，這些電子設備僅提供一種同時偵測多個人體部位的動作的方式。舉例來說，虛擬實境（virtual reality；VR）產品提供手持控制器，且每一手持控制器包含慣性測量單元（inertial measurement unit；IMU）以追蹤使用者的手的動作。有時，由於習慣或需要，一種動作追蹤方式對於一些使用者來說可能是限制。

僅有單一感測器將難以估測人體部位的動作。有鑑於此，本發明實施例提供一種人機交互系統和人機交互方法。

本發明實施例的人機交互方法包含（但不限於）以下步驟。取得第一動作感測資料，且此第一動作感測資料與使用者的第一操作部位相關，且基於第一感測器所產生。取得第二動作感測資料，且此第二動作感測資料與不同於第一操作部位的使用者的第二操作部位相關且基於第二感測器所產生。根據第一動作感測資料和第二動作感測資料觸發事件。

本發明實施例的人機交互系統包含（但不限於）第一感測器、第二感測器以及處理器。第一感測器取得與使用者的第一操作部位相關的第一動作感測資料。第二感測器取得與不同於第一操作部位的使用者的第二操作部位相關的第二動作感測資料。處理器從第一感測器取得第一操作部位的第一動作感測資料，基於第二感測器的動作取得第二操作部位的第二動作感測資料，且根據第一動作感測資料和第二動作感測資料觸發事件。

基於上述，根據本發明實施例的人機交互系統和人機交互方法，使用者的操作部位的動作可藉由第一感測器追蹤，其另一操作部位的動作可藉由第二感測器追蹤。即，可使用不同感測器追蹤不同人體部位。藉此，可提供彈性且方便的方式來操作電子裝置。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

現將詳細參考本發明的優選實施例，其實例在附圖中示出。只要可能，相同元件符號在附圖和描述中用以代表相同或相似部件。

圖1是根據本發明的示例性實施例中的一個的人機交互系統100的方塊圖。參看圖1，人機交互系統100包含（但不限於）一個或多個第一感測器110、一個或多個第二感測器120、記憶體130以及處理器150。在一個實施例中，人機交互系統100可適用於VR、AR、MR、XR或其它現實相關技術。在一些實施例中，人機交互系統100可適用於操作外部設備（諸如電腦、遊戲機、智慧手機、內置式系統、智慧電器等）。

在一個實施例中，第一感測器110可以是相機，諸如單色相機或彩色相機、深色相機、錄影機或其它能夠擷取影像的影像感測器。

在一些實施例中，第一感測器110可用於擷取朝向使用者的一個或多個操作部位，以產生包含使用者的操作部位的影像資料。舉例來說，一個或多個操作部位可包含使用者的臉、手、頭、腳踝、腿、腰或其它人體部位。

在一個實施例中，人機交互系統100更包含頭戴式顯示器（head-mounted display；HMD），且第一感測器110內嵌於HMD中。在一些實施例中，第一感測器110可放置在第一感測器110可擷取目標操作部位的任何位置處。

在另一實施例中，第一感測器110可以是加速計、陀螺儀、磁強計、雷射感測器、慣性測量單元（IMU）、紅外線（infrared ray；IR）感測器或前述動作感測器的任何組合。第一感測器110用於感測自身動作，且與自身所處的操作部位一同行動。舉例來說，第一感測器110偵測三維空間中的位置和自身旋轉情況。

在一些實施例中，人機交互系統100更包含一個或多個控制器（例如，手持控制器、可穿戴設備（諸如可穿戴控制器、智慧手錶、腳踝感測器、HMD或類似物）），且第一感測器110內嵌於控制器中。使用者的操作部位可握持、佩戴或攜帶控制器。第一感測器110可隨著使用者的操作部位移動或旋轉。因此，第一感測器110的動作可表示操作部位的動作。

再一實施例中，第一感測器110可包含前述的影像感測器和動作感測器。

類似地，第二感測器120可以是任何類型的前述影像感測器或任何類型的前述動作感測器。在一些實施例中，第二感測器120可包含影像感測器和動作感測器。應注意，第二感測器120與第一感測器110之間的差別為第二感測器120用於感測不同於由第一感測器110所感測的操作部位的使用者的另一操作部位的動作。

記憶體130可以是任何類型的固定或可移動隨機存取記憶體（Random-Access Memory；RAM）、唯讀記憶體（Read-Only Memory；ROM）、快閃記憶體記憶體或類似裝置或以上裝置的組合。記憶體130可用於儲存程式碼、裝置配置、緩衝器資料或永久性資料（諸如動作感測資料、影像資料、操作命令等），且隨後會介紹這些資料。

處理器150耦接到記憶體130，且處理器150經配置用以載入儲存在所述記憶體130中的程式碼，從而執行本發明的示例性實施例的程式。在一些實施例中，處理器150的功能可透過使用可程式化單元諸如中央處理單元（central processing unit；CPU）、微處理器、微控制器、數位信號處理（digital signal processing；DSP）晶片、現場可程式設計閘陣列（field programmable gate array；FPGA）等來實施。在一個實施例中，處理器150的功能也可透過獨立電子裝置或積體電路（integrated circuit；IC）來實施，且處理器150的操作也可由軟體來實施。

應注意，處理器150可或可不與第一感測器110或第二感測器120安置在相同的設備上。然而，分別裝配有第一感測器110、第二感測器120以及處理器150的設備可更包含具有相容通訊技術的通訊收發器，諸如藍芽、Wi-Fi、IR或實體傳輸線路，以彼此傳輸/接收資料。

為了更好理解在本發明的一個或多個實施例中提供的操作流程，在下文將舉例說明若干實施例以詳細解釋人機交互系統100的操作流程。在以下實施例中施加人機交互系統100中的裝置和模組以解釋本文所提供的控制方法。控制方法的每一步驟可根據實際實施情況調整，且不應限於本文描述的內容。

圖2是根據本發明的示例性實施例中的一個的人機交互方法的流程圖。參看圖2，處理器150可取得來自第一感測器110的第一動作感測資料（步驟S210）。確切地說，第一動作感測資料與使用者的第一操作部位相關，且基於第一感測器110所產生。處理器150可預定義使用者的一個或多個人體部位，或根據使用者的選擇選擇一個或多個人體部位，以判斷為第一操作部位的類型。舉例來說，右手將是預設的第一操作部位。又例如，人機交互系統100提供顯示器以呈現使用者介面（UI），UI顯示若干人體部位，且UI上的使用者的選擇可判斷為第一操作部位。

在一個實施例中，在接收從第一感測器110中取得的影像（可包含在不同時間點所擷取的擷取的影像序列）及/或資料（可包含在不同時間點取得的感測資料序列）之後，處理器150可偵測在影像或資料中是否偵測到第一操作部位。在一些實施例中，影像中的第一操作部位將透過機器學習技術（諸如深度學習、人工神經網路（artificial neural network；ANN）或支持向量機（support vector machine；SVM）等）來辨識。在另一實施例中，第一操作部位可透過其它物件辨識技術，諸如二進位分類器、自我調整促進（adaptive boosting；Adaboost）等來辨識。再一實施例中，可判斷在不同時間點從動作感測器取得的資料的變化。如果兩個時間點之間的變化的值大於預定義門檻值，那麼處理器150可判斷第一操作部位正在移動。另一方面，處理器150可判斷第一操作部位沒有移動或第一感測器110已從第一操作部位中離開。

在一個實施例中，反應於在影像中偵測到第一操作部位，處理器150可根據影像中的第一操作部位的動作產生第一動作感測資料。在一些實施例中，對應於影像中的第一操作部位的感測強度和畫素位置可用於估計第一操作部位的深度資訊（即，相對於第一感測器110或其它參考設備的距離）且估計第一操作部位在平行於第一感測器110的平面上的2D位置。處理器150可根據第一操作部位的距離和2D位置在預定義坐標系統中產生3D位置。處理器150可根據在不同時間點處的多個位置進一步估計第一操作部位的位移和旋轉資料，以產生6自由度（6-degree of freedom；6-DOF）資料（所述資料將視為第一動作感測資料）。在一些實施例中，2D/3D空間中的第一操作部位的3-DoF資料、相對位置及/或位移可為第一動作感測資料。

在另一實施例中，基於從其中第一感測器110為動作感測器的第一感測器110中取得的資料，第一動作感測資料可為3-DoF資料、6-DOF資料、第一操作部位在2D/3D空間中的相對位置及/或位移。

再一實施例中，第一感測器110包含影像感測器和動作感測器，且第一動作感測資料可基於來自影像感測器中的影像的影像和來自動作感測器的資料產生。舉例來說，影像可用於估計第一操作部位的位置，且資料可用於估計第一操作部位的旋轉情況。又例如，影像和資料都可用於判斷第一操作部位的位置。

另一方面，處理器150可取得第二動作感測資料（步驟S230）。確切地說，第二動作感測資料與不同於第一操作部位的使用者的第二操作部位相關。舉例來說，第一操作部位為右手，且第二操作部位為左手。在一個實施例中，來自第二感測器120的第二動作感測資料的產生方式可參考自第一感測器110的第一動作感測資料的產生方式。這意味著可基於從第二感測器120中取得的影像及/或資料來產生第二動作感測資料。舉例來說，第二感測器120為IMU且內嵌於左手手持控制器中，且IMU可取得加速度、旋轉（可包含方向和角速度）以及磁場。IMU的感測結果可用於估計左手的姿勢和旋轉資料，以作為第二動作感測資料。

圖3A是根據本發明的示例性實施例中的一個的人機交互系統200的示意圖。參看圖3A，人機交互系統200包含右手的HMD 140和手持控制器160。立體相機115（即第一感測器110及/或第二感測器120）和處理器150內嵌於HMD 140中，且立體相機115可經配置用以朝向操作部位B1（即使用者的左手）和操作部位B2（即使用者的右手）擷取相機影像，以判斷操作部位B1的動作感測資料及/或操作部位B2的動作感測資料。另外，IMU 121（即第二感測器120）內嵌於手持控制器160中，以取得操作部位B2的動作感測資料。

圖3B是根據本發明的示例性實施例中的一個的另一人機交互系統300的示意圖。參看圖3B，人機交互系統300包含HMD 140和用於兩個腳踝的兩個腳踝感測器180。立體相機115可經配置用以朝向操作部位B3和操作部位B4（即使用者的左手和右手）擷取相機影像，以分別判斷操作部位B3和操作部位B4的動作感測資料。IMU 123（即第一感測器110及/或第二感測器120）內嵌於腳踝感測器180中，以分別取得操作部位B5和操作部位B6（即使用者的右腳踝和左腳踝）的動作感測資料。

應注意，可基於實際要求改變透過第一感測器110或第二感測器120追蹤的操作部位。

在一個實施例中，人機交互系統100可提供分別內嵌有第一感測器110及/或第二感測器120的多於一個控制器。處理器150可判斷使用者使用哪個控制器，以判斷將追蹤使用者的哪個操作部位。處理器150可根據第一感測器110及/或第二感測器120的感測結果來判斷來自影像感測器的影像及/或來自動作感測器的資料是否可靠。

在一個實施例中，處理器150可判斷與使用者的第一操作部位/第二操作部位的動作相關的影像分析結果是否可靠。基於從第一感測器110/第二感測器120的影像感測器中所擷取的影像來判斷影像分析結果。在一個實施例中，如果第一操作部位/第二操作部位存在於從第一感測器110/第二感測器120所擷取的影像中，那麼處理器150可判斷影像感測器的影像分析結果為可靠的，以將從影像感測器中所擷取的影像作為第一動作感測資料/第二動作感測資料。另一方面，在一個實施例中，如果第一操作部位/第二操作部位不存在於從影像感測器中所擷取的影像中，那麼處理器150可判斷影像感測器的影像分析結果為不可靠的，以將從第一感測器110/第二感測器120的動作感測器中取得的資料作為第一動作感測資料/第二動作感測資料。

在另一實施例中，處理器150可判斷與使用者的第一操作部位/第二操作部位的動作相關的資料分析結果是否可靠。基於從第一感測器110/第二感測器120的動作感測器中取得的資料來判斷資料分析結果。在一個實施例中，如果動作感測器（即感測結果）的位置和方向是不相同的或其變化在一段時期內大於門檻值，那麼處理器150可判斷動作感測器的資料分析結果為可靠的，以將從動作感測器中取得的資料作為第一動作感測資料/第二動作感測資料，或以使用來自動作感測器的資料和來自影像感測器的影像來判斷第一動作感測資料/第二動作感測資料。另一方面，在一個實施例中，如果動作感測器的位置和方向是相同的或其變化在一段時期內小於門檻值，那麼處理器150可判斷動作感測器的資料分析結果為不可靠的，以將從第一感測器110/第二感測器120的影像感測器中所擷取的影像作為第一動作感測資料/第二動作感測資料。

在一些實施例中，處理器150可判斷與使用者的第一操作部位的動作相關的影像分析結果為可靠的，且判斷與使用者的第二操作部位的動作相關的資料分析結果是否可靠。在一些實施例中，處理器150可判斷與使用者的第一操作部位的動作相關的資料分析結果為可靠的，且判斷與使用者的第二操作部位的動作相關的影像分析結果是否可靠。

在一個實施例中，處理器150可判斷是否在內嵌有第一感測器110/第二感測器120的控制器上偵測到操作。控制器可包含諸如按鈕、開關、觸控面板等的輸入裝置。控制器可向處理器150回報由輸入裝置接收的使用者操作的輸入事件。輸入事件可為例如按壓按鈕，推按開關或使用者手指觸摸觸控面板上的特定位置。如果處理器150在第二時間段內沒有接收輸入事件，且第二時間段超過第二閒置時間門檻值，那麼處理器150可判斷沒有偵測到使用者的操作，以判斷動作感測器的資料分析結果為不可靠的。另一方面，如果第二時間段小於第二閒置時間門檻值，那麼處理器150可判斷偵測到使用者的操作，以判斷動作感測器的資料分析結果為可靠的。

在一個實施例中，反應於動作感測器的資料分析結果為可靠的，處理器150可判斷與動作感測器一同行動的使用者的操作部位為追蹤目標。另一方面，反應於動作感測器的資料分析結果為不可靠的，處理器150可判斷內嵌有第一感測器110/第二感測器120的動作感測器的控制器目前沒有使用者使用，且處理器150可基於從第一感測器110/第二感測器120的影像感測器中取得的影像來取得第一動作感測資料/第二動作感測資料。

應注意，在一些實施例中，即使第一感測器110/第二感測器120的動作為不活動的或在內嵌有第一感測器110/第二感測器120的控制器上有一段時間沒有偵測到操作（諸如時間超過第一閒置時間門檻值或第二閒置時間門檻值），處理器150仍可基於第一感測器110/第二感測器120的動作取得第一動作感測資料/第二動作感測資料。

返回到圖2，處理器150可根據第一動作感測資料和第二動作感測資料觸發事件（步驟S250）。在一個實施例中，事件與用於控制虛擬環境中的虛擬物件或真實環境中的真實物件相關的一個或多個命令。命令可以是化身（avatar）的對應身體部位的移動命令、與虛擬環境中的一個或多個虛擬物件的互動行為（諸如接觸、投擲、擊打行為等），或真實環境中的外部設備（諸如電腦、遊戲機、智慧手機、車機系統、智慧電器等）的操作功能（諸如關機、翻頁、導航等）。

以圖3A為例，化身的左手和右手可分別基於立體相機115的影像資料和IMU 121的動作，根據操作部位B1和操作部位B2的動作感測資料移動或旋轉。以圖3B為例，化身的左手和右手可分別基於立體相機115的影像資料，根據操作部位B3和操作部位B4的動作感測資料移動或旋轉。另外，化身的左腳踝和右腳踝可分別基於IMU 123的動作，根據操作部位B5和操作部位B6的動作感測資料移動或旋轉。因此，可同時實施兩種動作追蹤方式（影像感測和動作感測）。

應注意，多於一個命令可用於觸發事件。舉例來說，左手的揮動動作可分別對應於五個命令，以在VR模式中按順序從虛擬環境中移除五個虛擬物件，可對應於在AR模式中同時控制兩個真實物件的兩個命令（例如，打開真實電視和關閉真實電腦），或可對應於一連串命令（例如，打開真實記錄器、等待十秒以及關閉真實記錄器）。

在另一實施例中，事件與用於控制處理器150執行的應用或作業系統的設置、中斷及/或操作相關的一個或多個命令。舉例來說，事件可為場景的變化、操作模式的變化、離開遊戲中、終止遊戲、關閉人機交互系統100等。然而，事件將基於實際需求而適用於其它應用，且本發明並不限於此。

綜上所述，在本發明實施例的人機交互系統和人機交互方法中，可基於影像感測器的影像及/或動作感測器的資料分別追蹤不同身體部位的動作。在同一時間，可基於兩種動作追蹤手段的動作感測資料來觸發事件。藉此，使用者可基於他/她的需求或習慣選擇內嵌有感測器的控制器，以透過對應於一個或更多個身體部位的控制器來操作。在同一時間，使用者亦可在沒有控制器的情況下使用其他身體部位來產生指令。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100、200、300:人機交互系統 110:第一感測器 115:立體相機 120:第二感測器 121、123:IMU 130:記憶體 140:HMD 150:處理器 160:手持控制器 180:腳踝感測器 S210、S230、S250:步驟 B1、B2、B3、B4、B5、B6:操作部位

圖1是根據本發明的示例性實施例中的一個的人機交互系統的方塊圖。圖2是根據本發明的示例性實施例中的一個的人機交互方法的流程圖。圖3A是根據本發明的示例性實施例中的一個的人機交互系統的示意圖。圖3B是根據本發明的示例性實施例中的一個的另一人機交互系統的示意圖。

S210~S250:步驟

Claims

一種人機交互方法，包括：基於一第一感測器取得第一動作感測資料，其中所述第一動作感測資料與一使用者的第一操作部位相關並基於一決定所產生，所述決定為基於一第一動作感測器及一第一影像感測器中的一者的所述第一操作部位的動作的分析結果是否可靠，所述第一感測器包括所述第一動作感測器及所述第一影像感測器，所述第一動作感測器與所述使用者的所述第一操作部位一同行動，且所述第一影像感測器擷取所述使用者的所述第一操作部位的影像，且取得所述第一動作感測資料的步驟更包括：反應於基於所述第一影像感測器的所述使用者的所述第一操作部位的所述分析結果為可靠的，將從所述第一影像感測器中所擷取的所述影像作為所述第一動作感測資料；以及反應於基於所述第一影像感測器的所述使用者的所述第一操作部位的所述分析結果為不可靠的，將從所述第一動作感測器中取得的資料作為所述第一動作感測資料；取得第二動作感測資料，其中所述第二動作感測資料與不同於所述第一操作部位的所述使用者的一第二操作部位相關，且基於一第二感測器所產生；以及根據所述第一動作感測資料和所述第二動作感測資料觸發一事件。
如申請專利範圍第1項所述的人機交互方法，其中所述第二感測器為一第二影像感測器，且所述第二感測器擷取所述使用者的所述第二操作部位的影像。
如申請專利範圍第1項所述的人機交互方法，其中從所述第一影像感測器中所擷取的影像和從所述第一動作感測器中取得的資料都作為所述第一動作感測資料。
如申請專利範圍第3項所述的人機交互方法，其中所述第二感測器包括一第二動作感測器和一第二影像感測器，所述第二動作感測器與所述使用者的所述第二操作部位一同行動，所述第二影像感測器擷取所述使用者的所述第二操作部位的影像，且從所述第二影像感測器中所擷取的影像和從所述第二動作感測器中取得的資料都作為所述第二動作感測資料。
如申請專利範圍第1項所述的人機交互方法，其中所述分析結果包括一第一影像分析結果，且取得所述第一動作感測資料的步驟包括：判斷該第一影像分析結果是否為可靠的，其中所述第一影像分析結果與所述使用者的所述第一操作部位的動作相關且基於從所述第一影像感測器中所擷取的所述影像而判斷；反應於所述使用者的所述第一操作部位的所述第一影像分析結果為可靠的，將從所述第一影像感測器中所擷取的所述影像作為所述第一動作感測資料；以及反應於所述使用者的所述第一操作部位的所述第一影像分析結果為不可靠的，將從所述第一動作感測器中取得的資料作為所述第一動作感測資料。
如申請專利範圍第5項所述的人機交互方法，其中所述第二感測器包括一第二動作感測器和一第二影像感測器，所述第二動作感測器與所述使用者的所述第二操作部位一同行動，所述第二影像感測器擷取所述使用者的所述第二操作部位的影像，且取得所述第二動作感測資料的步驟包括：判斷一第二影像分析結果是否為可靠的，其中所述第二影像分析結果與所述使用者的所述第二操作部位的所述動作相關且基於從所述第二影像感測器中所擷取的所述影像而判斷；反應於所述使用者的所述第二操作部位的所述第二影像分析結果為可靠的，將從所述第二影像感測器中所擷取的所述影像作為所述第二動作感測資料；以及反應於所述使用者的所述第二操作部位的所述第二影像分析結果為不可靠的，將從所述第二動作感測器中取得的資料作為所述第二動作感測資料。
如申請專利範圍第5項所述的人機交互方法，其中所述第二感測器包括一第二動作感測器和一第二影像感測器，所述第二動作感測器與所述使用者的所述第二操作部位一同行動，所述第二影像感測器擷取所述使用者的所述第二操作部位的影像，且取得所述第二動作感測資料的步驟包括：判斷一第一資料分析結果是否為可靠的，其中所述第一資料影像分析結果與所述使用者的所述第二操作部位的所述動作相關且基於從所述第二影像感測器中所擷取的所述影像而判斷；反應於所述使用者的所述第二操作部位的所述第一資料分析結果為可靠的，將從所述第二動作感測器中所擷取的所述資料作為所述第二動作感測資料；以及反應於所述使用者的所述第二操作部位的所述第一資料分析結果為不可靠的，將從所述第二影像感測器中所擷取的所述影像作為所述第二動作感測資料。
如申請專利範圍第1項所述的人機交互方法，其中所述分析結果包括一第二資料分析結果，且取得所述第一動作感測資料的步驟包括：判斷所述第二資料分析結果是否為可靠的，其中所述第二資料分析結果與所述使用者的所述第一操作部位的所述動作相關且基於從所述第一動作感測器中取得的資料而判斷；反應於所述使用者的所述第一操作部位的所述第二資料分析結果，將從所述第一動作感測器中取得的所述資料作為所述第一動作感測資料；以及反應於所述使用者的所述第一操作部位的所述第二資料分析結果為不可靠的，將從所述第一影像感測器中所擷取的所述影像作為所述第一動作感測資料。
如申請專利範圍第8項所述的人機交互方法，其中所述第二感測器包括一第二動作感測器和一第二影像感測器，所述第二動作感測器與所述使用者的所述第二操作部位一同行動，所述第二影像感測器擷取所述使用者的所述第二操作部位的影像，且取得所述第二動作感測資料的步驟包括：判斷一第三資料分析結果是否為可靠的，其中所述第三資料分析結果與所述使用者的所述第二操作部位的所述動作相關且基於從所述第二動作感測器中取得的資料而判斷；反應於所述使用者的所述第二操作部位的所述第三資料分析結果為可靠的，將從所述第二資料感測器中取得的資料作為所述第二動作感測資料；以及反應於所述使用者的所述第二操作部位的所述第三資料分析結果為不可靠的，將從所述第二影像感測器中所擷取的所述影像作為所述第二動作感測資料。
如申請專利範圍第1項所述的人機交互方法，其中所述事件與用於控制一虛擬環境中的一虛擬物件或一真實環境中的一真實物件的至少一個命令相關。
一種人機交互系統，包括：一第一感測器，包括一第一影像感測器及一第一動作感測器，其中該第一動作感測器與一使用者的一第一操作部位一同行動，且所述第一影像感測器擷取所述使用者的所述第一操作部位的影像；一第二感測器；以及一處理器，經配置用以執行：從所述第一感測器中取得所述第一操作部位的第一動作感測資料，其中相關於所述第一操作部位的所述第一動作感測資料是基於一決定所產生，所述決定為基於所述第一動作感測器及所述第一影像感測器中的一者的所述第一操作部位的動作的分析結果是否可靠，且所述處理器更經配置用以執行：反應於基於所述第一影像感測器的所述使用者的所述第一操作部位的所述分析結果為可靠的，將從所述第一影像感測器中所擷取的所述影像作為所述第一動作感測資料；以及反應於基於所述第一影像感測器的所述使用者的所述第一操作部位的所述分析結果為不可靠的，將從所述第一動作感測器中取得的資料作為所述第一動作感測資料；從所述第二感測器中取得不同於所述第一操作部位的一第二操作部位的第二動作感測資料；以及根據所述第一動作感測資料和所述第二動作感測資料觸發一事件。
如申請專利範圍第11項所述的人機交互系統，其中所述第二感測器為一第二影像感測器，且所述第二感測器擷取所述使用者的所述第二操作部位的影像。
如申請專利範圍第11項所述的人機交互系統，其中從所述第一影像感測器中所擷取的影像和從所述第一動作感測器中取得的資料都作為所述第一動作感測資料。
如申請專利範圍第13項所述的人機交互系統，其中所述第二感測器包括一第二動作感測器和一第二影像感測器，所述第二動作感測器與所述使用者的所述第二操作部位一同行動，所述第二影像感測器擷取所述使用者的所述第二操作部位的影像，且從所述第二影像感測器中所擷取的影像和從所述第二動作感測器中取得的資料都作為所述第二動作感測資料。
如申請專利範圍第11項所述的人機交互系統，其中所述分析結果包括一第一影像分析結果，且所述處理器經配置用以執行：判斷所述第一影像分析結果是否為可靠的，其中所述第一影像分析結果與所述使用者的所述第一操作部位的所述動作相關且基於從所述第一影像感測器中所擷取的所述影像而判斷；反應於所述使用者的所述第一操作部位的所述第一影像分析結果為可靠的，將從所述第一影像感測器中所擷取的所述影像作為所述第一動作感測資料；以及反應於所述使用者的所述第一操作部位的所述第一影像分析結果為不可靠的，將從所述第一動作感測器中取得的資料作為所述第一動作感測資料。
如申請專利範圍第15項所述的人機交互系統，其中所述第二感測器包括一第二動作感測器和一第二影像感測器，所述第二動作感測器與所述使用者的所述第二操作部位一同行動，所述第二影像感測器擷取所述使用者的所述第二操作部位的影像，且所述處理器經配置用以執行：判斷一第二影像分析結果是否為可靠的，其中所述第二影像分析結果與所述使用者的所述第二操作部位的所述動作相關且基於從所述第二影像感測器中所擷取的所述影像而判斷；反應於所述使用者的所述第二操作部位的所述第二影像分析結果為可靠的，將從所述第二影像感測器中所擷取的所述影像作為所述第二動作感測資料；以及反應於所述使用者的所述第二操作部位的所述第二影像分析結果為不可靠的，將從所述第二動作感測器中取得的資料作為所述第二動作感測資料。
如申請專利範圍第15項所述的人機交互系統，其中所述第二感測器包括一第二動作感測器和一第二影像感測器，所述第二動作感測器與所述使用者的所述第二操作部位一同行動，所述第二影像感測器擷取所述使用者的所述第二操作部位的影像，且所述處理器經配置用以執行：判斷一第一資料分析結果是否為可靠的，其中所述第一資料影像分析結果與所述使用者的所述第二操作部位的所述動作相關且基於從所述第二影像感測器中所擷取的所述影像而判斷；反應於所述使用者的所述第二操作部位的所述第一資料分析結果為可靠的，將從所述第二動作感測器中所擷取的所述資料作為所述第二動作感測資料；以及反應於所述使用者的所述第二操作部位的所述第一資料分析結果為不可靠的，將從所述第二影像感測器中所擷取的所述影像作為所述第二動作感測資料。
如申請專利範圍第11項所述的人機交互系統，其中所述分析結果包括一第二資料分析結果，且所述處理器經配置用以執行：判斷所述第二資料分析結果是否為可靠的，其中所述第二資料分析結果與所述使用者的所述第一操作部位的所述動作相關且基於從所述第一動作感測器中取得的資料而判斷；反應於所述使用者的所述第一操作部位的所述第二資料分析結果，將從所述第一動作感測器中取得的所述資料作為所述第一動作感測資料；以及反應於所述使用者的所述第一操作部位的所述第二資料分析結果為不可靠的，將從所述第一影像感測器中所擷取的所述影像作為所述第一動作感測資料。
如申請專利範圍第18項所述的人機交互系統，其中所述第二感測器包括一第二動作感測器和一第二影像感測器，所述第二動作感測器與所述使用者的所述第二操作部位一同行動，所述第二影像感測器擷取所述使用者的所述第二操作部位的影像，且所述處理器經配置用以執行：判斷一第三資料分析結果是否為可靠的，其中所述第三資料分析結果與所述使用者的所述第二操作部位的所述動作相關且基於從所述第二動作感測器中取得的資料而判斷；反應於所述使用者的所述第二操作部位的所述第三資料分析結果為可靠的，將從所述第二資料感測器中取得的資料作為所述第二動作感測資料；以及反應於所述使用者的所述第二操作部位的所述第三資料分析結果為不可靠的，將從所述第二影像感測器中所擷取的所述影像作為所述第二動作感測資料。
如申請專利範圍第11項所述的人機交互系統，其中所述事件與用於控制一虛擬環境中的一虛擬物件或一真實環境中的一真實物件的至少一個命令相關。