TWI748299B

TWI748299B - 動作感測資料產生方法和動作感測資料產生系統

Info

Publication number: TWI748299B
Application number: TW108144470A
Authority: TW
Inventors: 黃靖甯; 呂華綸; 謝毅剛
Original assignee: 未來市股份有限公司
Priority date: 2019-12-05
Filing date: 2019-12-05
Publication date: 2021-12-01
Also published as: TW202122972A

Abstract

本發明提供一種動作感測資料產生方法和動作感測資料產生系統。動作感測資料產生系統包含動作感測設備和處理器。處理器分析是否在第一動作感測資料中偵測到動作感測設備。動作感測設備與使用者的人體部位一同行動，第一動作感測資料基於第一感測器來產生，且動作感測設備包含不同於第一感測器的第二感測器。處理器根據分析結果判斷是否基於第一感測器和第二感測器兩者來產生第二動作感測資料。因此，可透過多個感測器來增強動作感測資料的內容。

Description

動作感測資料產生方法和動作感測資料產生系統

本發明是有關於一種感測資料的產生，且特別是有關於一種動作感測資料產生方法和動作感測資料產生系統。

為了在電子設備（例如遊戲機、電腦、智慧手機、智慧電器等）上提供直觀的操作，可偵測使用者的動作，以根據使用者的動作直接操作電子設備。

在常規途徑中，一些電子設備可允許使用者的人體部位（例如手部、腿部、頭部等）控制這些電子設備的操作。舉例來說，提供手持控制器以用於控制虛擬實境（virtual reality；VR）產品，且每一手持控制器包含感測器以追蹤使用者的手部的動作。然而，動作感測資料的產生可能受感測器類型的限制。舉例來說，一些感測器的感測結果僅可用於產生與三個垂直軸上的位置平移相關的動作感測資料，且不會產生關於旋轉情況的動作感測資料。

動作感測資料的內容恐受限於動作感測設備的功能。有鑑於此，本發明實施例提供一種動作感測資料產生方法和動作感測資料產生系統。

本發明實施例的動作感測資料產生方法包含但不限於以下步驟。分析是否在第一動作感測資料中偵測到動作感測設備。動作感測設備與使用者的人體部位一同行動，第一動作感測資料基於第一感測器來產生，且動作感測設備包含不同於第一感測器的第二感測器。根據分析結果判斷是否基於第一感測器和第二感測器兩者來產生第二動作感測資料。

本發明實施例的動作感測資料產生系統包含但不限於動作感測設備和處理器。處理器分析是否在第一動作感測資料中偵測到動作感測設備。動作感測設備與使用者的人體部位一同行動，第一動作感測資料基於第一感測器來產生，且動作感測設備包含不同於第一感測器的第二感測器。處理器根據分析結果判斷是否基於第一感測器和第二感測器兩者來產生第二動作感測資料。

基於上述，根據本發明實施例的動作感測資料產生方法及動作感測資料產生系統，分析第一感測器是否能夠偵測到包括第二感測器的動作感測設備，且可依據分析結果產生人體部位的動作感測資料。藉此，可藉由多個感測器增進動作感測資料的內容，且提供彈性且方便的方式來增進動作感測資料的內容。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

現將詳細地對本發明的本優選實施例進行參考，所述實施例的範例在附圖中示出。只要可能，相同附圖符號在附圖和描述中用以代表相同或相似部件。

圖1是示出根據本發明的示範性實施例中的一個的動作感測資料產生系統100的方塊圖。參考圖1，動作感測資料產生系統100包含（但不限於此）一或多個動作感測設備110、記憶體130以及處理器150。在一個實施例中，動作感測資料產生系統100可適用於VR、AR、MR、XR或其它現實相關性技術。在一些實施例中，動作感測資料產生系統100可經調適用於操作外部設備（例如電腦、遊戲機、智慧手機、內置式系統、智慧電器等）。

動作感測設備110可以是手持控制器或可穿戴設備，例如可穿戴控制器、智慧手錶、腳踝感測器、腰帶或類似物。在一個實施例中，每一動作感測設備110可穿戴在使用者的一個人體部位上。舉例來說，所述人體部位可以是左手或右手、頭部、左腳踝或右腳踝、左腿或右腿、腰或其它部分。

在一個實施例中，動作感測設備110包含感測器111。感測器111可以是動作感測器，例如加速計、陀螺儀、磁強計、雷射感測器、慣性測量單元（inertial measurement unit；IMU）、紅外（infrared ray；IR）感測器，或前述動作感測器的任何組合。感測器111用於感測自身動作，且與自身所處的人體部位一同行動。舉例來說，動作感測器偵測3維空間中的位置和/或自身旋轉情況。使用者的人體部位可握持、穿戴或攜帶動作感測設備110，使得動作感測器與人體部位一同行動。因此，動作感測器的動作可表示人體部位的動作。

在另一實施例中，感測器111可以是影像感測器、其它類型的感測器或多個感測器的組合。

在一個實施例中，動作感測資料產生系統100可進一步包含一或多個動作感測設備120。動作感測設備120可以是頭戴式顯示器（head-mounted display；HMD）、智慧手機、相機、筆記型電腦、定位設備或類似物。在一個實施例中，動作感測設備120包含感測器121。感測器121可以是影像感測器，例如相機（例如單色相機或彩色相機）、深度相機、錄影機或能夠擷取影像的其它影像感測器。

在一些實施例中，感測器121可用於接近使用者的一個或多人體部位進行擷取，以產生包含使用者的一個或多個人體部位的影像。

在另一實施例中，感測器121可以是動作感測器、其它類型的感測器或多個感測器的組合。

記憶體130可以是任何類型的固定或可移動隨機存取記憶體（Random-Access Memory；RAM）、唯讀記憶體（read-only memory；ROM）、快閃記憶體或類似裝置或以上裝置的組合。在一些實施例中，記憶體130可用於存儲程式碼、裝置配置、緩衝資料或永久資料（例如動作感測資料、影像、動作感測結果等），且這些資料將在稍後介紹。

處理器150耦接記憶體130，且處理器150經配置用以載入存儲在記憶體130中的程式碼，以進行本發明的示範性實施例的過程。在一些實施例中，處理器150的功能可透過使用可程式設計單元來實施，所述可程式設計單元例如中央處理單元（central processing unit；CPU）、微處理器、微控制器、數位信號處理（digital signal processing；DSP）晶片、現場可程式設計閘陣列（field programmable gate array；FPGA）等。在一個實施例中，處理器150的功能也可透過獨立電子裝置或積體電路（integrated circuit；IC）來實施，且處理器150的操作也可透過軟體來實施。

應注意，處理器150可以或可以不設置有動作感測設備110和動作感測設備120。然而，動作感測設備110和動作感測設備120以及處理器150可進一步包含通信收發器或用相容通信技術（例如藍牙、Wi-Fi、IR或實體傳輸線路）與所述通信收發器連接，以彼此傳輸/接收資料。

圖2是示出根據本發明的示範性實施例中的一個的動作感測資料產生系統200的示意圖。參考圖2，動作感測資料產生系統200包含動作感測設備110（所述動作感測設備是例如手持控制器）和動作感測設備120（所述動作感測設備是例如HMD）。感測器121（所述感測器是例如立體相機）和處理器150嵌入在HMD中，且感測器121可經配置用以接近人體部位B1（也就是使用者的左手）和人體部位B2（也就是使用者的右手）以擷取相機影像。此外，感測器111（所述感測器是例如IMU）嵌入在手持控制器中，以取得人體部位B2的動作感測結果。

應注意，將存在設置於動作感測資料產生系統100或動作感測資料產生系統200中的更多動作感測設備110。舉例來說，動作感測資料產生系統200進一步包含兩個腳踝感測器和腰帶。然而，動作感測設備110的數目不限於此。

為了更好地理解在本發明的一個或多實施例中提供的操作過程，將在下文例示若干實施例以詳細解釋動作感測資料產生系統100的操作過程。在以下實施例中應用動作感測資料產生系統100中的裝置和模組以解釋本文中所提供的產生方法。可根據實際實施情況調整產生方法的每一步驟，且不應限於本文中所描述的內容。

圖3是示出根據本發明的示範性實施例中的一個的動作感測資料產生方法的流程圖。參考圖3，處理器150分析是否在第一動作感測資料中偵測到動作感測設備110（步驟S310）。具體來說，使用者可握持、穿戴或攜帶動作感測設備110。具體來說，第一動作感測資料與人體部位和/或動作感測設備110的動作相關，其中動作感測設備110與人體部位一同行動。第一動作感測資料基於感測器121來產生。

在一個實施例中，感測器121是影像感測器，且處理器150基於由動作感測設備120的影像感測器所擷取的影像來產生第一動作感測資料。在一個實施例中，處理器150可判斷存在於影像中的人體部位的動作，以產生分析結果。這意味著人體部位的動作與分析結果相關。

在一些實施例中，處理器150可偵測是否在影像中偵測到與動作感測設備120一同行動的人體部位。在一個實施例中，將透過機器學習技術（例如深度學習、人工神經網路（artificial neural network；ANN）或支援向量機（SVM）等）辨識影像中的人體部位。在另一實施例中，可透過其它物件辨識技術（例如二進位分類器、自我調整增強（adaptive boosting；Adaboost）等）來辨識人體部位。

舉例來說，圖4是示出根據本發明的示範性實施例中的一個的動作追蹤方法的示意圖。參考圖4，握持動作感測設備110的人體部位B2存在於動作感測設備120的影像感測器的視場FOV中。對於另一範例，圖5是示出根據本發明的示範性實施例中的一個的動作追蹤方法的示意圖。參考圖5，握持動作感測設備110的人體部位B2不存在於動作感測設備120的影像感測器的視場FOV中。

在另一實施例中，處理器150可比較基於第一動作感測資料的人體部位的位移或軌跡與一個或多預定義軌跡和/或位移。在一些實施例中，對應於影像中的人體部位的感測強度和圖元位置可用於估測人體部位的深度資訊（即，相對於動作感測設備120或其它參考設備的距離）且估測人體部位在平行於動作感測設備120的平面處的2D位置。處理器150可根據人體部位的距離和2D位置來在預定義坐標系中產生3D位置，以便判斷人體部位的位移。在一個實施例中，如果第一動作感測資料符合預定義軌跡和/或位移，那麼處理器150可判斷動作感測設備110與人體部位一同行動且判斷分析結果是在第一動作感測資料中偵測到動作感測設備110。另一方面，處理器150可判斷未在第一動作感測資料中偵測到動作感測設備110。

在又一實施例中，感測器110是動作感測器，感測器120是影像感測器，且處理器150可判斷人體部位的動作在從動作感測器取得的動作感測結果和由影像感測器所擷取的影像兩者中是否相同。關於不同類型的感測器110，動作感測結果可以是加速度、旋轉、磁力、朝向、距離和/或（其後稱為）位置且可用於產生位置、位移和/旋轉資料。舉例來說，可透過對在三個軸上偵測到的感測器110的加速度進行二重積分來估測人體部位的位移。可比較動作感測結果與影像之間的位移、位置和/或旋轉。如果比較結果相同，那麼處理器150判斷分析結果是在第一動作感測資料中偵測到動作感測設備110。另一方面，如果比較結果不相同，那麼處理器150判斷未在第一動作感測資料中偵測到動作感測設備110。

在一些實施例中，處理器150可進一步辨識影像中的手部的手勢。舉例來說，會將握持手勢視為使用者的手部正握持動作感測設備110。

應注意，在處理器150判斷分析結果之前，處理器150可檢查動作感測設備110是否啟動。基於感測器110的偏差、位移和/或旋轉情況將用於確認動作感測設備110不是靜止的。如果動作感測設備110啟動，那麼處理器150將判斷分析結果。

在判斷分析結果之後，處理器150可根據分析結果判斷是否基於感測器111和感測器121兩者來產生第二動作感測資料（步驟S330）。具體來說，如果在第一動作感測資料中偵測到動作感測設備110，那麼這意味著第一動作感測資料可用於判斷動作感測設備110或對應人體部位的動作。另一方面，如果未在第一動作感測資料中偵測到動作感測設備110，那麼第一動作感測資料可能是無用的。

在一個實施例中，如果分析結果是在第一動作感測資料中偵測到動作感測設備110，那麼處理器150可基於感測器111和感測器121兩者來產生第二動作感測資料。換句話說，基於感測器111的動作感測結果和由感測器121所擷取的影像兩者來產生第二動作感測資料。動作感測設備110的動作感測器可在一時間段內感測使用者的對應人體部位（所述人體部位攜帶動作感測設備110）的動作，且處理器150可根據所述時間段內的多個時間點處的動作感測器的動作感測結果（例如所感測強度值、程度等）來產生序列的第三動作感測資料。例如，第三動作感測資料包含3自由度（3-degree of freedom；3-DoF）資訊。又一範例，第一動作感測資料包含人體部位在2D/3D空間中的相對位置和/或位移。

在一個實施例中，第二動作感測資料可以是第一動作感測資料與第三動作感測資料的組合。舉例來說，基於動作感測器和影像感測器的旋轉資料與位置資料的加權組合。位置資料或旋轉資料的值將具有權重，且第二動作感測資料基於從兩個感測器取得的位置資料或旋轉資料的加權計算來產生。因此，可提高第二動作感測資料的準確性。

在另一實施例中，第一動作感測資料包含3-DoF資訊，且第二動作感測資料包含6-DoF資訊。以圖4作為範例，將根據在人體部位B2上所感測的加速度、旋轉以及磁力來估測人體部位B2的姿態，且可基於感測器110的動作感測結果來判斷人體部位B2在預定義坐標系中的旋轉資訊。加速度資料可用以估測人體部位B2的位移（即，3-DoF資訊）。另一方面，由感測器121所擷取的影像中的對應於人體部位B2的感測強度和圖元位置可用於估測人體部位B2的深度資訊（即，相對於動作感測設備120的距離）且估測人體部位B2在平行於感測器121的平面處的2D位置，且根據人體部位B2的距離和2D位置來在預定義坐標系中進一步產生3D位置。接著，可融合人體部位B2在預定義坐標系中的旋轉和3D位置以產生6-DoF資訊。

在另一實施例中，如果分析結果是未在第一動作感測資料中偵測到動作感測設備110，那麼處理器150可僅基於感測器111來產生第二動作感測資料。在一個實施例中，第二動作感測資料可包含基於感測器111的動作感測結果的3-DoF資訊但不包含6-DoF資訊。在另一實施例中，第二動作感測資料可以是加速度、旋轉、磁力、位置或僅基於第一動作感測資料的其它資料。

以圖5作為範例，將不存在僅基於動作感測設備120的人體部位B2的動作感測資料，在所述動作感測設備中，人體部位B2不在動作感測設備120的影像感測器的視場FOV中。然而，動作感測設備110可保持追蹤人體部位B2的動作。

應注意，在一些實施例中，不管分析結果是什麼，處理器150都可僅基於感測器110來產生第二動作感測資料。

綜上所述，在本發明實施例的動作感測資料產生方法及動作感測資料產生系統中，判斷利用第一動作感測資料決定人體部位的動作是否可靠，並基於兩個感測器或僅一個感測器來產生第二動作感測資料。藉此，可增進第二動作感測資料的內容。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100、200:動作感測資料產生系統 110、120:動作感測設備 111、121:感測器 130:記憶體 150:處理器 B1、B2:人體部位 FOV:視場 S310、S330:步驟

圖1是示出根據本發明的示範性實施例中的一個的動作感測資料產生系統的方塊圖。圖2是示出根據本發明的示範性實施例中的一個的動作感測資料產生系統的示意圖。圖3是示出根據本發明的示範性實施例中的一個的動作感測資料產生方法的流程圖。圖4是示出根據本發明的示範性實施例中的一個的動作追蹤方法的示意圖。圖5是示出根據本發明的示範性實施例中的一個的動作追蹤方法的示意圖。

S310~S330:步驟

Claims

一種動作感測資料產生方法，包括：分析是否在第一動作感測資料中偵測到一動作感測設備，其中所述動作感測設備與一使用者的一人體部位一同行動，所述第一動作感測資料基於一第一感測器產生，且所述動作感測設備包括不同於所述第一感測器的一第二感測器；以及根據一分析結果判斷是否基於所述第一感測器和所述第二感測器兩者來產生第二動作感測資料，其中所述第一動作感測資料及所述第二動作感測資料皆是相關於與所述動作感測設備一同行動的所述身體部位的動作。
如申請專利範圍第1項所述的動作感測資料產生方法，其中根據所述分析結果判斷是否基於所述第一感測器和所述第二感測器兩者來產生所述第二動作感測資料的步驟包括：反應於所述分析結果是在所述第一動作感測資料中偵測到所述動作感測設備而基於所述第一感測器和所述第二感測器兩者來產生所述第二動作感測資料；以及反應於所述分析結果是未在所述第一動作感測資料中偵測到所述動作感測設備而僅基於所述第二感測器來產生所述第二動作感測資料。
如申請專利範圍第1項所述的動作感測資料產生方法，其中所述第一感測器包括一影像感測器，所述第一動作感測資料基於由所述影像感測器所擷取的影像來產生，且分析是否在所述第一動作感測資料中偵測到所述動作感測設備的步驟包括：判斷存在於所述影像中的所述人體部位的動作，且所述人體部位的所述動作與所述分析結果相關。
如申請專利範圍第1項所述的動作感測資料產生方法，其中所述第一感測器包括一影像感測器，所述第二感測器包括一動作感測器，且分析是否在所述第一動作感測資料中偵測到所述動作感測設備的步驟包括：辨識與所述動作感測設備一同行動的所述人體部位；以及判斷所述人體部位的所述動作在從所述動作感測器取得的動作感測結果和由所述影像感測器所擷取的影像兩者中是否相同。
如申請專利範圍第2項所述的動作感測資料產生方法，其中反應於所述分析結果是在所述第一動作感測資料中偵測到所述動作感測設備，所述第二動作感測資料包括6自由度(DoF)資料；且反應於所述分析結果是未在所述第一動作感測資料中偵測到所述動作感測設備，所述第二動作感測資料包括3自由度資訊。
一種動作感測資料產生系統，包括：一動作感測設備；以及一處理器，經配置用以進行：分析是否在第一動作感測資料中偵測到所述動作感測設備，其中所述動作感測設備與一使用者的一人體部位一同行動，所述第一動作感測資料基於一第一感測器產生，且所述動作感測設備包括不同於所述第一感測器的一第二感測器；以及根據一分析結果判斷是否基於所述第一感測器和所述第二感測器兩者來產生第二動作感測資料，其中所述第一動作感測資料及所述第二動作感測資料皆是相關於與所述動作感測設備一同行動的所述身體部位的動作。
如申請專利範圍第6項所述的動作感測資料產生系統，其中所述處理器經配置用以進行：反應於所述分析結果是在所述第一動作感測資料中偵測到所述動作感測設備而基於所述第一感測器和所述第二感測器兩者來產生所述第二動作感測資料；以及反應於所述分析結果是未在所述第一動作感測資料中偵測到所述動作感測設備而僅基於所述第二感測器來產生所述第二動作感測資料。
如申請專利範圍第6項所述的動作感測資料產生系統，其中所述第一感測器包括影像感測器，所述第一動作感測資料基於由所述影像感測器所擷取的影像來產生，且所述處理器經配置用以進行：判斷存在於所述影像中的所述人體部位的動作，且所述人體部位的所述動作與所述分析結果相關。
如申請專利範圍第6項所述的動作感測資料產生系統，其中所述第一感測器包括影像感測器，所述第二感測器包括動作感測器，且所述處理器經配置用以進行：辨識與所述動作感測設備一同行動的所述人體部位；以及判斷所述人體部位的所述動作在從所述動作感測器取得的動作感測結果和由所述影像感測器所擷取的影像兩者中是否相同。
如申請專利範圍第6項所述的動作感測資料產生系統，其中反應於所述分析結果是在所述第一動作感測資料中偵測到所述動作感測設備，所述第二動作感測資料包括6自由度(DoF)資料；且反應於所述分析結果是未在所述第一動作感測資料中偵測到所述動作感測設備，所述第二動作感測資料包括3自由度資訊。