TWI467418B - 效率高的姿勢處理方法及電腦程式產品 - Google Patents

效率高的姿勢處理方法及電腦程式產品 Download PDF

Info

Publication number
TWI467418B
TWI467418B TW100124609A TW100124609A TWI467418B TW I467418 B TWI467418 B TW I467418B TW 100124609 A TW100124609 A TW 100124609A TW 100124609 A TW100124609 A TW 100124609A TW I467418 B TWI467418 B TW I467418B
Authority
TW
Taiwan
Prior art keywords
gesture
data
algorithms
computer program
program product
Prior art date
Application number
TW100124609A
Other languages
English (en)
Other versions
TW201218023A (en
Inventor
Giuseppe Raffa
Lama Nachman
Jinwon Lee
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of TW201218023A publication Critical patent/TW201218023A/zh
Application granted granted Critical
Publication of TWI467418B publication Critical patent/TWI467418B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Description

效率高的姿勢處理方法及電腦程式產品
本發明實施例大體上係有關於電子裝置，特別是有關於姿勢辨識系統。
應用例如加速度計及陀螺儀之類埋設於小形狀因子裝置(例如說感測器致動型手持裝置或手錶)內之慣性感測器的姿勢介面，在使用者裝置中已逐漸變成常見的，例如智慧型手機、遙控器、及遊戲機。
在行動空間中，姿勢互動相對於習用的介面是一種具有吸引力的替代，因為其不含有例如鍵盤及滑鼠及螢幕等習用輸入裝置的形狀因子縮小。另外，姿勢互動對於行動性更具支持度，因為使用者可以輕易地在他們走動時或開車時做出巧妙的姿勢。
“動態3D姿勢”係根據使用者微小動作，利用慣性感測器而得的，例如應用微機電系統(MEMS)的加速度計及陀螺儀。統計式辨識演算法，例如隱藏式馬可夫模型演算法(HMM)，係被廣泛應用於姿勢及語言辨識及許多其他的機器學習作業上。研究結果顯示HMM在辨識複雜姿勢及進行多姿勢輸入語彙上是極為有效的。
在將HMM應用於行動裝置內的姿勢辨識上有數項困難。HMM是有高度計算上需求(例如O(num_of_samples*HMM_num_states^2))。再者，為得到極準確的結果，在HMM的輸出機率上通常要採用連續高斯混合，其機率密度函數估算在計算上是相當昂貴的。將一進入信號與數種模型(通常是每一訓練姿勢一種模型)相配對，以找出最佳匹配(例如說在HMM中使用維特比解碼)在計算上也是很密集的。
在資源受限裝置中，行動裝置的低等待時間需求對於即時姿勢辨識會有問題，特別是當使用改善準確度的技術時，例如說改變姿勢“文法”或即時處理的統計模型。
另外，對於高階的使用性而言，姿勢應該是很容易使用的。一般使用壓按/鬆開按鈕來做姿勢定位的技術應該要避免。僅因依賴搖動/劈擊姿勢的不準確互動會限制使用者感受。最後，採用可簡易辨識之姿勢來啟動姿勢辨識，在複雜而長期的姿勢應用式使用者互動中會變得相當麻煩。
解決這些問題的直接了當方法即是使用連續HMM(CHMM)來做姿勢定位辨識。但是，這會造成許多錯誤判正(false positive)，且對於電力消耗及處理而言，效率不足。
現有的姿勢介面通常也會根據預期的使用者姿勢型態來選用單一種演算法辨識所有的姿勢。例如說，動態動作循跡是智慧手機應用中所一般會採用的，而連續循跡則是動作偵測式遊戲機所會使用的。因此，姿勢辨識裝置通常是組構成僅能辨識及處理一種特定型式的姿勢。
 【發明內容】及【實施方式】
下面的說明包含有對於圖式的討論，其等具有對於本發明實施例實施方式舉例說明的圖示。可以理解，這些圖式僅是例示，並非做為限制之用。本文中所用的，對於一或多個“實施例”的引用，可以理解是用來說明包含於本發明之至少一種實施內的特定特點、結構、或特性。因此，例如“在一實施例中”或“在一替代性實施例中”等出現在本文的語句，係描述本發明的各種實施例及實施方式，而並不一定全都是指同一實施例。但是，它們也並不一定要是互相排除的。
下面將說明一些細節及實施，包括對於圖式的說明，其等顯示出下面所描述的一些或全部的實施例，也討論本文所提出之發明概念的其他可能實施例或實施方式。下面將先提供本發明實施例的概述，接著再配合圖式做更詳細的說明。
本發明的實施例描述一種可以有效率地執行姿勢辨識演算法的系統。本發明的實施例另外亦說明一種依任何特定狀況所需之姿勢的型式而適用於許多型式的演算法之系統。這些辨識演算法的例子包括但並不限於供複雜動態姿勢(例如說在空氣中寫一個數字)用的HMM、供靜態姿勢用的決策樹(DT)、供粗略搖動/劈擊用姿勢的峰值檢測、或供俯仰/滾動偵測用的慣性方法(INS)。
統計式辨識演算法，例如隱藏式馬可夫模型演算法(HMM)，被廣泛應用於姿勢及語言辨識及許多其他的機器學習作業上。這些演算法係傾向於資源(例如說計算資源、頻寬)密集。持繼執行HMM演算法在大部份的姿勢辨識情境中是沒有效率的，在該等情境中絕大部份被捕捉到的感測器資料與姿勢動作無關。再者，持續執行姿勢辨識演算法可能會在使用一裝置時導致產生非姿勢動作的錯誤判正(例如在對話時的使用者手部動作通常不是用來通知一裝置執行一指令)。
減低姿勢辨識演算法資源使用的方案包括縮減這些演算法的實施；但是這亦會造成姿勢辨識準確度的降低，且因之而排除讓使用者能配合一裝置來使用多姿勢語彙的機會。
其他的方案可以處理一組靜態(亦即預定)的姿勢，其等係供做為姿勢訓練及辨識所用的語彙。此方案因無法允許在不同時間內(例如說在不同背景或地點或活動中)使用不同的姿勢而排除豐富行動體驗的機會。
為能在裝置內提供有效率的姿勢辨識而不會有限制可能之姿勢輸入的作用，本發明的實施例描述一種節省電力的階段式姿勢辨識管線，包括多模形態互動偵測、背景最佳化辨識、以及背景最佳化訓練與連續式學習。
可以理解，使用多計算階段之管線來設計一姿勢辨識系統，而每一階段都具有較高之複雜度，可以改善系統的計算及功率效率。在一實施例中，低準確度低計算量階段是由一低功率感測器(LPSU)加以執行，以連續地分析一裝置感測器的資料流。LPSU可實體地結合至一主行動裝置上(例如說一感測器次系統)或是包含於一周邊裝置(例如手錶)內並做無線聯結。當一個可能的類似姿勢之信號被粗略地辨識出後，一事件即可喚醒一主處理器單元(MPU)來進行計算密集的階段(例如說特徵擷取、正規化、以及使用HMM做資料流統計式分析)。
本發明實施例可透過利用使用者背景及簡單/容易偵測之姿勢決定使用者要進行之姿勢互動的時段，以進一步地減少不必要地應用姿勢辨識演算法。例如說，如果有一通電話進到一應用本發明實施例的行動裝置內，特定的姿勢即可啟來“拒絕”、“接聽”、或“轉接”該通電話。在另一實施例中，如果使用者係位在一朋友旁邊，則姿勢可被啟動來“傳送”及“接收”聯絡資料。簡單/容易偵測之姿勢(例如說“搖動”)亦可用來做為一種通知機制，用以開始被啟用之姿勢的姿勢辨識作業。
在一實施例中，當姿勢互動被確認，且相關背景被偵測到，姿勢辨識模型即可僅依據被啟用的姿勢來載入。可以理解，選擇性地載入特定的姿勢辨識模型可減少錯誤的判正，因其僅會啟用可用姿勢的子集合，而不是整個的輸入語彙。另外，可以根據不使用的姿勢來建構一填料模型，用以拒絕偽誤的姿勢，以增進系統的精確度。即時的需求可能無法允許填料模型能立即產生，因此所需要的填料模型可以根據可能的使用背景事先預編輯完成。由於姿勢的數量是有限的，所有可能的姿勢組合都可以加以預編輯做為填料模型。如果組合只有一個子集合被應用於特定的以背景為基準的互動(例如說應用於打電話及社交互動的二組特定的姿勢)中，則只有這些特定的組合會被用於預編輯所需的填料模型。
實施本發明一實施例的一姿勢辨識系統可進一步使用背景及活動資訊，如果可為該系統取得的話，來將訓練及辨識加以最佳化。演算法，例如HMM，通常要依靠加以註解的訓練樣本來以已知的演算法(例如Baum-Welch)產生該等模型。姿勢係強烈地依賴諸如例如使用者姿態、移動雜訊、及身體活動等數種因子。這些因子的差異並不容易只以數學或統計工具來加以消除。因此，為能改善姿勢辨識演算法的性能，本發明的實施例可進一步針對每一種姿勢訓練樣本使用一“標籤”。這些標籤不僅可以標識姿勢的型式(例如說“觸耳”)，亦可識別其已進行的活動(例如說“在火車上”或“行走”)。以此方式，該訓練程序即可針對每一對姿勢/活動配對產生一個別的模型，而不是針對每一種姿勢。在辨識的階段中，背景資訊會被用來以和訓練模型相同的方式選取正確的姿勢/活動模型。
在本發明另一實施例中，一種容易使用的連續學習模組被用於收集足夠的資料，以供製做出一系統中的可靠HMM模型，並可考量到使用者姿勢隨著時間的變化。該連續學習模組係採用一種二姿勢確認/略去通知。例如說，就在採取一姿勢後，使用者可透過執行簡單但一定可偵測到的姿勢(例如說手部的二種姿勢或劈擊姿勢)來指示說該姿勢適合於包含在訓練組內(或不包含)。因此，新的訓練樣本資料以及被偵測到的活動即可用來產生新的姿勢/活動模型或改進現有者。
因此，透過應用一階段式管線姿勢辨識程序並且利用使用者背景，其能以一種省電的方式以高準確度來進行姿勢辨識。
第1A圖是使用本發明一實施例之程序的流程圖。本文中所示的流程圖提供各種程序動作序列的例子。雖然是以特定序列或次序來加以顯示，但除非另外註明，這些動作的次序是可以修改的。因此，所示的實施應理解為僅係範例而已，而所示的程序則可以不同的次序來進行之，且有些動作可以平行進行。另外，在本發明的多種實施例中，可以將一個或多個動作加以省略；因此，在每一種實施中，並非所有的動作都是必要的。其他的程序流程亦是可行的。
資料是由至少一個感測器(例如說3D加速度計或陀螺儀)加以收集的(100)。在一實施例中，感測器是與一行動處理裝置分開的，並經由此技藝中已知的無線協定(例如說WiFi、藍芽)來傳遞資料。在另一實施例中，感測器是包含於行動處理裝置內。在此實施例中，來自感測器的資料代表使用者有一個動作。
使用者背景亦可擷取自行動裝置(105)。使用者背景可用以判斷，例如說，該行動裝置正在執行的應用軟體或是該裝置/使用者的位置。該使用者裝置接著可存取將背景及活動資訊輸入加以聯結於可在任何時間點進行的姿勢與可用來偵測這些姿勢之演算法的資料庫。因此，使用者背景係用以做為一過濾器，以供進行一子集合的姿勢(例如說在一行動裝置執行電話應用時的“觸耳”)。使用者活動可進一步在辨識時得以進行正確模型的選擇(例如說“觸耳”模型係標識為“行走”是為活動)。背景以及活動更新的頻率會是相當的低，因為其係對應於每日生活中使用者的背景變動事件。
在給定使用者背景(例如說使用者正將該行動裝置當做電話使用，因此姿勢會無法使用)下確認可能做出一個或多個姿勢時，及/或使用者已做出一個簡單/容易偵測的姿勢(例如說搖動手錶或在該裝置上做出劈擊姿勢)(110)，則整個姿勢辨識處理管線即會啟動(112)。否則，感測器資料即會被放棄(111)。有限狀態自動機(Finite State Automata)可以程式規劃成具有所需的行為。
本發明實施例也可以依據資料的能量準位在間隔的時間內進行感測器資料的分割(115)。此分割作作業可以是“無按鈕式”，因不需要使用者輸入來將該感測器資料分割成“移動視窗(Movement Window)”。可以使用適當的延滯來使能量值的高頻率變化變的平順。舉一例來說，能量可以透過評估一感測器在一移動視窗上的標準差而加以度量。發生在“移動視窗”外的資料會被加以拋棄，111，而在移動視窗內進行的資料即會接著被加以處理。
一個完整的資料區段可以接著加以處理。在一實施例中，可以透過將要加以分析的現時串流的特性(例如說信號長度、總能量、信號長度及能量準位的最小及最大值)與由“容許姿勢”的所有訓練樣本得到的單一模板加以比較而執行低計算量的模板匹配作業(120)。以此方式，例如說，異常長或低能量的姿勢在該管線開始之時即會被拋棄，而不會在MPU上做計算上昂貴的HMM演算法。
在一實施例中，“容許姿勢”要進一步建立在訓練樣本及每一訓練樣本用來辨識該姿勢的適當使用者背景的“標籤”上。例如說，一使用者可以執行一個僅能使用特定“搖動”式姿勢的應用軟體(例如說遊戲)。因此，未能展現出類似之信號特性(亦即高的最大能量值)的移動將會被拋棄，因為這些移動在使用者背景下是無法使用的。
應該要理解到，決策動作110、115、及120可以透過在前面例子中所描述的低複雜度演算法來加以決定，且作業100-120可以由一低功率處理單元加以執行。因此，本發明實施例可以使用連續的感測器資料處理，而讓主處理器做工作循環。如果現行信號匹配於該等模板中的至少一者，則該姿勢的信號就會“通過”至主處理單元(在必要時喚醒主處理器)(125)。否則，該信號就會被拋棄(111)。因此，與姿勢辨識處理有關的工作負荷在低功率處理單元及主處理器之間即可平衡。
第1B圖是感測器資料流的例子。假設使用者背景允許使用姿勢(如作業110中所描述)，則互動1000可分割成三個資料區段(如作業115中所描述)--可能的姿勢1100、1200、及1300。在此例中，可能的姿勢1200是異常地長，因此會被拋棄(如作業120中所描述)。可能的姿勢1100及1300會通過至MPU，只要他們與容許姿勢模板相匹配(如作業125中所描述)。
回到第1A圖，如果有需要的話，可以由適當的姿勢演算法(例如說HMM)對通過的姿勢信號進行正規化以及特徵擷取(130)。在另一實施例中，如果允許計算量的需求的話，則此作業也可以由LPSU來進行之。正規化程序可以包括例如重取樣、振幅正規化、以及傾斜修正用的平均移除(供加速度計用)。過濾作業可以包括例如指數移動平均(Exponential Moving Average)低通過濾作業。
本發明的實施例可進一步將來自105的使用者背景做為輸入，並產生一模型姿勢資料組做為輸出(135)。例如說，為能進行無按鈕式互動，可以使用一個能配合每一種容許姿勢的模型，再加上一個用以濾除不在輸入語彙內的偽誤姿勢的填料(Filler)模型。如果無法取得背景的話，則現行的HMM“文法”將會允許所有的姿勢。
類似於語言辨識，填料模型可以使用整個樣本組或是不在已辨識之姿勢組內的“垃圾”姿勢來加以建構。一實施例中係僅採用“不容許”姿勢(也就是說是整個姿勢語彙減掉容許姿勢)來產生可針對特定狀況最佳化的填料模型(因其不含有容許姿勢而得以最佳化)。例如說，如果整個姿勢組是A-Z的姿勢，而一特定的互動僅容許A-D的姿勢，則E-Z的姿勢將可用來建構填料模型。如果一系統具有低等待時間需求的話，則以即時方式訓練一填料模型可能並不可行，因此可以列舉該組可能的背景，並預先計算自並儲存相關的填料模型。如果不可行的話(例如說所有的姿勢均可能)，則可使用一預設的填料模型。
在本發明的一實施例中，姿勢辨識的結果是使用模型姿勢及填料演算法自感測器資料中產生的(140)。可進一步進行模板匹配，以進一步減少因使用者進行而不在現行容許姿勢輸入語彙內的姿勢而致的錯誤的判正(145)。類似於作業120，處理作業係進行來將已辨識出的姿勢資料流度量值(例如說時間長度、能量)與所儲存的候選姿勢模板(由訓練資料中得到)相匹配，但不是如同作業120一樣對整組的容許姿勢進行。如果候選姿勢的度量值與該模板相匹配，則會啟動一姿勢事件至一上層系統(例如說一作業系統(OS)(150)。否則，該姿勢即加以拋棄(155)。在一實施例中，其係假設此部份處理作業(亦即MPU處理作業)中的拒絕，係代表使用者事實上是意圖對系統做出輸入指令的姿勢；因此，使用者會被告知該姿勢係被拒絕。
本發明實施例可進一步啟用對於多姿勢偵測演算法的支持。系統會需要對於多姿勢演算法的支持，因為單一種姿勢辨識演算法可能無適切而正確地橫跨不同型式的姿勢。例如說，姿勢可以分組成多種型式，包括動態姿勢(例如說在空氣中寫一個字)、靜態姿勢(例如說舉手向上)、以及搖動/劈擊姿勢。對於這些姿勢型式每一者而言，會有特定的辨識演算法對於該種型式最為有效。因此，必須要有一種機制來選取適當的演算法。平行的執行所有的演算法，並且根據某些度量指標來選取“最佳輸出”很顯然的，在計算上不是有效率的，特別是對於屬於計算密集的演算法，如同HMM。因此，本發明的實施例加入一選擇器系統，以供依據感測器資料特徵及使用者背景，以即時方式事先選取適當的姿勢辨識演算法。選擇器系統可以包含有一種二階段辨識器選擇器，其可在任何給定時間根據信號特徵來決定要執行那一種演算法。
第一階段根據能夠在可以得到完整的姿勢原始資料區段之前加以測量的信號特徵，進行一種或多種演算法的最佳努力選擇。例如說，其選擇可立基於瞬間能量強度、信號的尖峰、或信號的時間長度。第一階段可以將這些特徵與一模板匹配資料庫相比較，並啟用訓練姿勢的信號特徵與輸入信號的特徵相匹配的演算法。
在啟用時，每一種演算法均要確認原始資料流中的候選姿勢。一般而言，一姿勢的資料流會短於該演算法能使用的整個時段；再者，該演算法可在整個時間視窗內確認多個姿勢(亦即多個“搖動”姿勢或一系列的姿勢)。每一種被啟用的演算法均會透過決定姿勢的末端點(例如說HMM)或在信號內找到特定型樣(例如說峰值檢測)而對於原始資料流做內部分割。因此，某些信號特徵(例如其頻譜特徵或總能量含量)僅能在一姿勢已暫時辨識出，且其相關的資料流可以取得之後才加以分析的。
在後續的處理作業中，第二階段會對與每一候選姿勢相關的資料流加以分析，將計算出的特徵(例如說頻譜內容、能量含量)與一模板匹配資料庫相比較，並在這演算法選出最佳的匹配，並將辨識出的姿勢提供做為輸出。
第2圖是本發明之一實施例的方塊圖。RSPre 210是相對於姿勢辨識器220-250位在上游側，其以即時方式饋入感測器290的原始資料流。RSPre可根據得自感測器290原始信號的度量值及根據使用者背景的容許演算法而啟用一個或多個姿勢辨識器220-250。在一實施例中，使用者背景過濾器(UCF)200會擷取出經由資料庫205映射至背景的演算法。任何演算法的信號模板可自模板匹配資料庫215中取得，並可進行一模板匹配程序；因此，只有與進入之信號特徵相匹配的姿勢辨識器220-250子集合會被啟用。在一實施例中，模板匹配作業會針對每一種演算法產生相似度度量值，且如果相似度滿足於預定的相似度臨限值，最前面的N個最佳演算法會被選取而啟動。
使用者背景過濾器(UCF)200會追蹤目前的使用者背景，例如位置、社會背景及身體活動、系統及應用軟體事件(例如說有電話進來)。UCF 200會追蹤給定背景下的容許姿勢並以即時方式以辨識容許姿勢辨識器所需的演算法來更新RSPre 210。UCF 200係使用一姿勢至演算法映射資料庫205，其包含有自每一姿勢ID至所用演算法的特有映射。例如說，姿勢“0”至“9”(在空中揮手)可以在資料庫205內靜態地映射至HMM(由辨識器220加以使用)，而“手掌向下/向上”姿勢則可映射至決策樹(由辨識器230使用)。UCF 200係由外部應用軟體加以饋入，其會告知那一種姿勢對於實際的使用者背景而言是目前有意義的。例如說，如果電話應用是有作用時，“0”至“9”的姿勢會被啟動，而UCF 200則將只啟動HMM。UCF 200的輸出(容許的演算法)會被RSPre 210加以使用。此過濾器可以在使用者做出“背景以外”的姿勢而被感測器290加以偵測到時，減少錯誤的判正。
RSPre 210可提供適當的延滯機制，以將來自感測器290的資料流以有意義的區段加以分割，例如說使用一有限狀態自動機，而轉換則是根據來自感測器290之資料與資料庫215的模板之間的相似度臨限值。
RSPost 260是在姿勢辨識器220-250的下游，並以即時的方式饋入辨識出的姿勢事件，再加上來自感測器290的原始資料流。在同一時段內有一個以上的姿勢被辨識出做為候選者的情形中，RSPost 260將會進行模板匹配(存取資料庫265內的模板)，並會輸出最可能的辨識出姿勢。RSPost 260提供適當的啟發機制，以供在模板匹配作業輸出一個以上之姿勢ID時選取單一個姿勢。例如說，相似度度量值可由模板匹配演算法針對每一種匹配的演算法加以產生，而最佳匹配則會被選用。
資料庫265包含有針對每一個姿勢辨識器220-250的信號“模板”(例如說能量準位的最小值-最大值或信號快速傅立葉變換(FFT)特徵)。例如說，對於由HMM辨識出的動態移動，平均的姿勢_能量可以是
能量_臨限值_最小值<姿勢_能量<能量_臨限值_最大值
以及其FFT具有頻率~20Hz的分量。搖動姿勢能被偵測到，如果能量是
姿勢_能量>能量_臨限值_最大值
以及其FFT在高頻具有重大分量。信號模板可以由訓練姿勢中自動得到。
第3圖是說明本發明之一實施例的流程圖。在此例中，在一系統內存在有著四種演算法(HMM 310、決策樹320、峰值檢測330、以及俯仰/滾動慣性340)。使用者背景會被加以分析，以決定適當的演算法來考量感測器資料，350。在此例中，使用者背景會將俯仰/滾動慣性340免除於適合做為處理來自系統感測器之任何進入信號的演算法。
該進入信號會被加以分析(經由RSPre)，以啟動該系統內所存在的某些演算法(360)。在此例中，RSPre會啟動HMM 310及峰值檢測320來執行。這二種演算法會平行地執行，而結果會被由RSPost加以分析，以決定要使用的正確演算法(如果一種以上被RSPre加以啟動)及來自進入信號的姿勢(370)。在此例中，RSPost選擇HMM 310，以及由HMM辨識的姿勢。由RSPre及RSPost使用的模板匹配演算法可以使用例如說感測器資料的時間長度、能量強度、以及頻譜特徵。在一實施例中，RSPre是使用進入信號的時間長度或能量強度特徵來分析該進入信號，而RSPost則使用進入信號的頻譜特徵來分析該進入信號。
第4圖是RSPre及RSPost中所用之模板匹配演算法所使用之時域信號特徵的流程圖，例如執行移動能量平均(在此是由該信號的標準差來代表)或大小來決定例如說要進行一姿勢(區段410、430、及450)、動態姿勢(區段420)、或搖動(區段440)，係根據資料流在不動、動態、或高能量時段來分割。在不動的時段中，例如說，一決策樹演算法會被啟用做為針對靜態“姿勢”410、430、以及450選取的演算法。對於動作振幅高於某一限臨值，但小於“高能量”的時段而言(例如說區段420)，一統計式的HMM演算法會被啟用，如同習用技藝針對動態姿勢的演算法。對於動作振幅為“高能量”的時段(例如說區段440)，一峰值檢測演算法會被啟用。
RSPre及RSPost所用的模板匹配演算法係依賴例如說在信號的一滑動視窗內計算出的特徵的最小值一最大值比較，例如平均值、標準差、以及頻譜分量能量。
模板匹配演算法可以應用至個別的每一信號或應用至由這些信號推得出的合併度量值。例如說，“移動強度”度量值可由一3D加速度計推得知。
該等模板可用訓練資料來加以產生。例如說，如果是用加速度計來辨識姿勢的話，則所有以HMM為基礎之姿勢的訓練資料可以提供HMM演算法在X、Y、Z軸的最小值一最大值及頻譜內容以及整體強度。
背景亦可透過指示出容許或不容許的姿勢而對可能的姿勢及演算法子集合的選擇加以限制。例如說，一應用軟體可以定義二種可由二不同演算法加以辨識不同姿勢，用以拒絕或接受一通電話：一種“手掌向上”的姿勢用以拒絕打進來的電話，而一種朝向使用者耳朵的移動用以接受該電話。在此種特定情形下，UCF將僅會啟用決策樹及HMM，因為僅有二種演算法有需要用來辨識容許姿勢。因此，RSPre及RSPost將只會在此演算法子集合內做模板匹配的計算。
第5圖顯示出根據本發明一實施例的系統的高階架構。系統500是一種可擴充而通用型的系統，可以辨別出自動態“高能量”姿勢至靜態姿勢。如前面所描述，姿勢處理是以即時方式進行的，依信號特徵及使用者背景而定。系統500包含感測器550、通訊單元530、記憶體520、以及處理單元510，其每一者在操作上均是透過系統匯流排540連接在一起。應理解到，系統500的每一組件均可包含於單一個或多個裝置內。
在一實施例中，系統500是使用包含有前述功能的姿勢處理模組525。姿勢處理模組525係包含於記憶體520的儲存區域內，並係由處理單元510加以執行。在一實施例中，處理單元510包含一低處理副單元及一主處理副單元，每一者均能執行前面所述之一特定的姿勢處理模組。
感測器550可以有線及/或無線方式透過通訊單元530傳達資料給姿勢處理模組525。有線通訊的裝置的範例可包括但不限於電線、電纜、匯流排、印刷電路板(PCB)、乙太網路聯結、底板、交換器編織、半導體材料、雙絞線、同軸電纜、光纖聯結等等。無線通訊的裝置可包括但不限於無線電頻道、衛星頻道、電視頻道、廣播頻道紅外線頻道、射頻(RF)頻道、無線保真度(WiFi)頻道、RF頻譜的一部份、及/或一種或多種有執照或免執照頻帶。感測器550可包含可以提供用以度量線性加速度及感測器方向之三度空間讀數(沿著x、y、及z軸)的任何裝置(例如說加速度計)。
前面所提及的各種組件，例如本文中所描述的處理器、伺服器、工具，可以是能執行前面所述功能的裝置。本文中所描述的每一組件可包含有軟體或硬體，或其組合。這些組件可以實施為軟體模組、硬體模組、特殊功能硬體(例如說特定應用硬體、ASIC、DSP等等)、內嵌式控制器、固線式電路等等。軟體內容(例如說資料、指令、以及組態)可經由一種包括電腦可讀取儲存媒體在內的製造物來加以提供，其可提供代表能被執行的指令的內容。該內容可為電腦執行本文所述各種功能/作業而得的結果。電腦可讀取儲存媒體包括任何能提供(亦即儲存及/或傳送)形式可為電腦(例如說計算裝置、電子系統等等)存取之資訊的機制，例如可記錄/不可記錄媒體(例如說唯讀記憶體(ROM)、隨機存取記憶體(RAM)、磁碟儲存媒體、光儲存媒體、快閃記憶體裝置等等)。該內容可以是能夠直接執行者(“目標碼”或“可執行”形式)、原始碼、或差異編碼(Difference Code)(“(Delta)差分”或“區塊(Patch)”編碼)。電腦可讀取儲存媒體亦可包括可供內容下載的儲存裝置或資料庫。電腦可讀取媒體亦可包括在銷售或運送時具有內容儲存於其內的裝置或產品。因此，運送具有儲存在其內之內容的裝置或是提供可供經由通訊媒體下載之內容，可以理解係提供一種具有本文中所述之內容的製造物。
100．．．自感測器收集資料
105．．．擷取使用者背景
110．．．姿勢互動
111．．．拋棄
112．．．啟動管線
115．．．在動作區段內
120．．．模板匹配
125．．．信號通過至MPU
130．．．正規化及特徵擷取
135．．．輸出模型姿勢
140．．．使用模型演算法產生姿勢辨識結果
145．．．結果匹配於模型姿勢
150．．．啟動姿勢事件
155．．．錯誤時拋棄
200．．．使用者背景過濾器
205．．．資料庫
210．．．RSpre
215．．．資料庫
220．．．辨識器
230．．．辨識器
240．．．辨識器
250．．．辨識器
260．．．RSPost
265．．．資料庫
290．．．感測器
310．．．隱藏式馬可夫模型
320．．．決策樹
330．．．峰值檢測
340．．．慣性方法
350．．．啟用依據使用者背景的演算法
360．．．啟用依據RSPre的演算法
370．．．啟用依據RSPost的演算法
410．．．區段
420．．．區段
430．．．區段
440．．．區段
450．．．區段
1100．．．可能的姿勢
1200．．．可能的姿勢
1300．．．可能的姿勢
第1A圖是應用本發明一實施例之程序的流程圖。
第1B圖是一範例的感測器資料流。
第2圖是本發明一實施例的方塊圖。
第3圖是描述本發明一實施例的流程圖。
第4圖是可為本發明一實施例採用的時域信號特性的圖式。
第5圖是根據本發明一實施例之系統的高階架構。
100．．．自感測器收集資料
105．．．擷取使用者背景
110．．．姿勢互動
111．．．拋棄
112．．．啟動管線
115．．．在動作區段內
120．．．模板匹配
125．．．信號通過至MPU
130．．．正規化及特徵擷取
135．．．輸出模型姿勢
140．．．使用模型演算法產生姿勢辨識結果
145．．．結果匹配於模型姿勢
150．．．啟動姿勢事件
155．．．錯誤時拋棄

Claims (24)

  1. 一種電腦程式產品，包含一提供指令的機器可讀取儲存媒介，該等指令在一機器上執行時會使該機器進行作業，該等作業包含：自一感測器接收代表一動作的資料，該感測器具有一加速度計；由一第一組的一個或多個演算法來依據該資料之時間長度及該資料之能量準位中至少一者而決定該動作是否為的一姿勢動作；以及因應決定該動作為一姿勢動作的決定，由一第二組的一個或多個演算法來根據該資料決定一候選姿勢，該第二組演算法包含一姿勢辨識演算法。
  2. 如申請專利範圍第1項之電腦程式產品，該等作業進一步包含：因應決定該動作不是一姿勢動作的決定而拋棄該資料。
  3. 如申請專利範圍第1項之電腦程式產品，其中該第一組演算法包含一個或多個低複雜度演算法，而該機器包含一低功率處理器及一主處理單元，該第一組演算法係要由該低功率處理器加以執行，而該第二組演算法則是要由該主處理單元加以執行。
  4. 如申請專利範圍第1項之電腦程式產品，其中該姿勢辨識演算法是根據一隱藏式馬可夫模型(HMM)。
  5. 如申請專利範圍第4項之電腦程式產品，其中決定 一候選姿勢包含：使用一系統使用者的背景來選取具有一個或多個容許姿勢的子集合；以及將該HMM演算法載入的姿勢模型限制為該容許姿勢的子集合。
  6. 如申請專利範圍第4項之電腦程式產品，其中決定一候選姿勢包含：使用一系統使用者的背景來拒絕一個或多個不容許姿勢的子集合；以及選取一HMM填充模型，其會拋棄該不容許姿勢的子集合。
  7. 如申請專利範圍第4項之電腦程式產品，其中一HMM訓練組及一個或多個姿勢模型是根據該機器之一使用者的身體活動。
  8. 如申請專利範圍第4項之電腦程式產品，該姿勢拒絕演算法係藉由將該姿勢動作的時間長度及能量與自訓練資料的一資料庫取得的時間長度及能量的一個或多個最小及最大值加以比較，來驗證由該HMM演算法所辨識的一姿勢。
  9. 如申請專利範圍第1項之電腦程式產品，其中該感測器係包含於該機器內，該機器包含一行動裝置，而經由該第一演算法決定該動作是否為一姿勢動作，是進一步根據該行動裝置的一使用者背景及來自該使用者而代表一個時段的姿勢指令的外部動作中的至少一者。
  10. 如申請專利範圍第1項之電腦程式產品，其中根據該資料決定一候選姿勢包含存取一個或多個範例性姿勢輸入的一資料庫，該範例性姿勢輸入是包含一最小及一最大時間長度；以及驗證該姿勢動作的該時間長度是在一範例性姿勢輸入的該最小及最大時間長度內。
  11. 如申請專利範圍第1項之電腦程式產品，其中來自該感測器的該資料係包含於一系列的資料區段內，一個或多個的區段代表由一能量臨限值加以定義的一動作，自該感測器接收該資料係因應於該資料超出該能量臨限值。
  12. 一種電腦程式產品，包含一提供指令的機器可讀取儲存媒介，該等指令若由一機器執行時會使該機器進行作業，該等作業包含：自一感測器接收代表一動作的資料，該感測器具有一加速度計；由多個至少部份依據該資料之一個或多個信號特徵的姿勢辨識演算法中決定出一個或多個姿勢辨識演算法的一子集合；以及至少部份地依據將該姿勢辨識演算法的子集合應用至該資料上而由來自該感測器的該資料決定出一姿勢。
  13. 如申請專利範圍第12項之電腦程式產品，其中該資料的該信號特徵包含該資料的能量強度。
  14. 如申請專利範圍第13項之電腦程式產品，其中決定該姿勢辨識演算法的子集合是至少部份地依據將該資料 的該能量強度與相關於該等多個姿勢演算法中之一者的一個或多個強度值相比較。
  15. 如申請專利範圍第12項之電腦程式產品，其中該資料的該信號特徵包含該資料的時間長度。
  16. 如申請專利範圍第15項之電腦程式產品，其中決定該姿勢辨識演算法的子集合是至少部份地依據將該資料的該時間長度與相關於該等多個姿勢演算法中之一者的一個或多個時間值相比較。
  17. 如申請專利範圍第12項之電腦程式產品，其中該資料的該信號特徵包含該資料的頻譜。
  18. 如申請專利範圍第17項之電腦程式產品，其中決定該姿勢辨識演算法的子集合是至少部份地依據將該資料的該頻譜與相關於該等多個姿勢演算法中之一者的一個或多個儲存之頻譜圖案相比較。
  19. 一種效率高的姿勢處理方法，包含：一感測器接收代表一動作的資料，該感測器具有一加速度計；由一第一組的一個或多個演算法來依據該資料之時間長度及該資料之能量準位中至少一者而決定該動作是否為的一姿勢動作；以及因應該動作為一姿勢動作的決定，由一第二組的一個或多個演算法來根據該資料決定一候選姿勢，該第二組演算法包含一姿勢辨識演算法。
  20. 根據申請專利範圍第19項的方法，該第一組演算 法包含一個或多個低複雜度演算法，要由一低功率處理器加以執行，而該第二組演算法則是要由一主處理單元加以執行。
  21. 根據申請專利範圍第19項的方法，其中該第二組演算法包含一隱藏式馬可夫模型(HMM)姿勢拒絕演算法，而決定一候選姿勢則包含：使用一系統使用者的背景來選取具有一個或多個容許姿勢的子集合；以及將該HMM演算法所使用的姿勢限制為該容許姿勢的子集合。
  22. 一種效率高的姿勢處理方法，包含：自一感測器接收代表一動作的資料，該感測器具有一加速度計；由多個至少部份依據該資料之一個或多個信號特徵的姿勢辨識演算法中決定出一個或多個姿勢辨識演算法的一子集合；以及至少部份地依據將該姿勢辨識演算法的子集合應用至該資料上而由來自該感測器的該資料決定出一姿勢。
  23. 根據申請專利範圍第22項的方法，其中該資料的該等一個或多個信號特徵包含以下至少一者該資料的能量強度，該資料的時間長度，以及該資料的頻譜。
  24. 根據申請專利範圍第23項的方法，其中決定該姿 勢辨識演算法的子集合是至少部份地依據以下至少一者如果該資料的該信號特徵包含該資料的一能量強度，將該資料的該能量強度與相關於該等多個姿勢演算法中之一者的一個或多個強度值相比較，如果該資料的該信號特徵包含該資料的一時間長度，將該資料的該時間長度與相關於該等多個姿勢演算法中之一者的時間值相比較，以及如果該資料的該信號特徵包含該資料的一頻譜，將該資料的該頻譜與相關於該等多個姿勢演算法中之一者的頻譜圖案相比較。
TW100124609A 2010-07-13 2011-07-12 效率高的姿勢處理方法及電腦程式產品 TWI467418B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/835,079 US20120016641A1 (en) 2010-07-13 2010-07-13 Efficient gesture processing

Publications (2)

Publication Number Publication Date
TW201218023A TW201218023A (en) 2012-05-01
TWI467418B true TWI467418B (zh) 2015-01-01

Family

ID=45467621

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100124609A TWI467418B (zh) 2010-07-13 2011-07-12 效率高的姿勢處理方法及電腦程式產品

Country Status (4)

Country Link
US (3) US20120016641A1 (zh)
CN (1) CN102985897B (zh)
TW (1) TWI467418B (zh)
WO (1) WO2012009214A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109100537A (zh) * 2018-07-19 2018-12-28 百度在线网络技术（北京）有限公司 运动检测方法、装置、设备和介质

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5489572B2 (ja) * 2009-07-29 2014-05-14 キヤノン株式会社 加速度検出装置及びその制御方法、プログラム
US20120016641A1 (en) * 2010-07-13 2012-01-19 Giuseppe Raffa Efficient gesture processing
US20120038555A1 (en) * 2010-08-12 2012-02-16 Research In Motion Limited Method and Electronic Device With Motion Compensation
WO2012087309A1 (en) * 2010-12-22 2012-06-28 Intel Corporation Touch sensor gesture recognition for operation of mobile devices
US9785335B2 (en) * 2010-12-27 2017-10-10 Sling Media Inc. Systems and methods for adaptive gesture recognition
US20130077820A1 (en) * 2011-09-26 2013-03-28 Microsoft Corporation Machine learning gesture detection
US9811255B2 (en) 2011-09-30 2017-11-07 Intel Corporation Detection of gesture data segmentation in mobile devices
CN103164049A (zh) * 2011-12-09 2013-06-19 捷达世软件（深圳）有限公司 手持行动电子装置摆动识别控制系统及方法
US9189062B2 (en) * 2012-03-07 2015-11-17 Google Technology Holdings LLC Portable electronic device and method for controlling operation thereof based on user motion
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
DE202013100255U1 (de) * 2012-06-20 2013-04-12 Samsung Electronics Co. Ltd. Anzeigevorrichtung, Fernbedienungsvorrichtung sowie Bedienungsfunktion derselben
US9147057B2 (en) 2012-06-28 2015-09-29 Intel Corporation Techniques for device connections using touch gestures
JP2014029522A (ja) * 2012-07-06 2014-02-13 Funai Electric Co Ltd 電子情報端末および電子情報端末の表示方法
CN103685208B (zh) * 2012-09-25 2017-07-14 华为技术有限公司 用户数据标注方法、终端设备及服务器
US9367236B2 (en) 2012-10-05 2016-06-14 Google Inc. System and method for processing touch actions
TWI497424B (zh) * 2012-12-14 2015-08-21 Univ Tajen 人體姿態動作辨識系統
US9746926B2 (en) 2012-12-26 2017-08-29 Intel Corporation Techniques for gesture-based initiation of inter-device wireless connections
US20140208333A1 (en) 2013-01-22 2014-07-24 Motorola Mobility Llc Initialize a Computing Device to Perform an Action
FR3002338A1 (fr) * 2013-02-15 2014-08-22 France Telecom Procede de segmentation temporelle d'un geste instrumente, dispositif et terminal associes
US9442570B2 (en) * 2013-03-13 2016-09-13 Google Technology Holdings LLC Method and system for gesture recognition
WO2014143032A1 (en) * 2013-03-15 2014-09-18 Intel Corporation Continuous interaction learning and detection in real-time
JP2014182452A (ja) * 2013-03-18 2014-09-29 Fujitsu Ltd 情報処理装置及びプログラム
US9213403B1 (en) 2013-03-27 2015-12-15 Google Inc. Methods to pan, zoom, crop, and proportionally move on a head mountable display
US9507426B2 (en) * 2013-03-27 2016-11-29 Google Inc. Using the Z-axis in user interfaces for head mountable displays
EP2979477B1 (en) 2013-03-29 2020-07-08 Orange Method to unlock a screen using a touch input
FR3007859A1 (fr) * 2013-06-27 2015-01-02 France Telecom Procede de reconnaissance d'un geste instrumente, dispositif, terminal d'utilisateur et programme d'ordinateur associes
US10402060B2 (en) 2013-06-28 2019-09-03 Orange System and method for gesture disambiguation
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US9477314B2 (en) 2013-07-16 2016-10-25 Google Technology Holdings LLC Method and apparatus for selecting between multiple gesture recognition systems
CN103345627B (zh) * 2013-07-23 2016-03-30 清华大学 动作识别方法和装置
WO2015021223A1 (en) 2013-08-07 2015-02-12 Nike Innovate C.V. Wrist-worn athletic device with gesture recognition and power management
US9423946B2 (en) 2013-08-12 2016-08-23 Apple Inc. Context sensitive actions in response to touch input
US9582737B2 (en) * 2013-09-13 2017-02-28 Qualcomm Incorporated Context-sensitive gesture classification
FR3014216B1 (fr) * 2013-12-03 2016-02-05 Movea Procede de reconnaissance continue de gestes d'un utilisateur d'un terminal mobile prehensible muni d'un ensemble capteur de mouvement, et dispositif associe
US9971412B2 (en) * 2013-12-20 2018-05-15 Lenovo (Singapore) Pte. Ltd. Enabling device features according to gesture input
US9513703B2 (en) * 2013-12-27 2016-12-06 Intel Corporation Gesture-based waking and control system for wearable devices
US10307086B2 (en) * 2014-02-17 2019-06-04 Hong Kong Baptist University Gait measurement with 3-axes accelerometer/gyro in mobile devices
CN103941856B (zh) * 2014-02-19 2017-12-26 联想(北京)有限公司 一种信息处理方法及电子设备
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9811311B2 (en) 2014-03-17 2017-11-07 Google Inc. Using ultrasound to improve IMU-based gesture detection
US9639231B2 (en) * 2014-03-17 2017-05-02 Google Inc. Adjusting information depth based on user's attention
US9417704B1 (en) * 2014-03-18 2016-08-16 Google Inc. Gesture onset detection on multiple devices
WO2015148591A1 (en) 2014-03-25 2015-10-01 Analog Devices, Inc. Optical user interface
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9740839B2 (en) 2014-08-13 2017-08-22 Google Technology Holdings LLC Computing device chording authentication and control
US9996109B2 (en) 2014-08-16 2018-06-12 Google Llc Identifying gestures using motion data
US10660039B1 (en) 2014-09-02 2020-05-19 Google Llc Adaptive output of indications of notification data
US9746929B2 (en) 2014-10-29 2017-08-29 Qualcomm Incorporated Gesture recognition using gesture elements
WO2016100368A1 (en) 2014-12-16 2016-06-23 Somatix, Inc. Methods and systems for monitoring and influencing gesture-based behaviors
US11347316B2 (en) 2015-01-28 2022-05-31 Medtronic, Inc. Systems and methods for mitigating gesture input error
US10613637B2 (en) * 2015-01-28 2020-04-07 Medtronic, Inc. Systems and methods for mitigating gesture input error
US9804679B2 (en) 2015-07-03 2017-10-31 Google Inc. Touchless user interface navigation using gestures
KR102354330B1 (ko) * 2015-07-31 2022-01-21 삼성전자주식회사 스마트 디바이스 및 그 동작 방법
US20170060864A1 (en) * 2015-08-26 2017-03-02 Quixey, Inc. Action Recommendation System for Focused Objects
CN106610716B (zh) 2015-10-21 2019-08-27 华为技术有限公司 一种手势识别方法和装置
US9654629B1 (en) 2015-10-26 2017-05-16 At&T Intellectual Property I, L.P. Telephone user interface providing enhanced call blocking
DE112015007219T5 (de) * 2015-12-23 2021-09-09 Intel Corporation Berührungsgestenerkennungs-Bewertung
US10429935B2 (en) * 2016-02-08 2019-10-01 Comcast Cable Communications, Llc Tremor correction for gesture recognition
US10824955B2 (en) 2016-04-06 2020-11-03 International Business Machines Corporation Adaptive window size segmentation for activity recognition
US10802572B2 (en) * 2017-02-02 2020-10-13 Stmicroelectronics, Inc. System and method of determining whether an electronic device is in contact with a human body
WO2018149030A1 (zh) * 2017-02-16 2018-08-23 华为技术有限公司 一种检测电子设备接近人体的方法、装置及设备
CN107346207B (zh) * 2017-06-30 2019-12-20 广州幻境科技有限公司 一种基于隐马尔科夫模型的动态手势切分识别方法
US10984341B2 (en) * 2017-09-27 2021-04-20 International Business Machines Corporation Detecting complex user activities using ensemble machine learning over inertial sensors data
CN108537147B (zh) * 2018-03-22 2021-12-10 东华大学 一种基于深度学习的手势识别方法
CN109460260B (zh) * 2018-10-24 2021-07-09 瑞芯微电子股份有限公司 一种快速开机的方法和装置
CN110336768B (zh) * 2019-01-22 2021-07-20 西北大学 一种基于联合隐马尔可夫模型与遗传算法的态势预测方法
CN110032932B (zh) * 2019-03-07 2021-09-21 哈尔滨理工大学 一种基于视频处理和决策树设定阈值的人体姿态识别方法
IT201900013440A1 (it) 2019-07-31 2021-01-31 St Microelectronics Srl Sistema e metodo di riconoscimento di gesti per un dispositivo del tipo a penna digitale e corrispondente dispositivo del tipo a penna digitale
US11429604B2 (en) 2019-09-10 2022-08-30 Oracle International Corporation Techniques of heterogeneous hardware execution for SQL analytic queries for high volume data processing
IT201900019037A1 (it) * 2019-10-16 2021-04-16 St Microelectronics Srl Metodo perfezionato per rilevare un gesto di inclinazione del polso e unita' elettronica e dispositivo elettronico indossabile che implementano il medesimo
DE102021208686A1 (de) * 2020-09-23 2022-03-24 Robert Bosch Engineering And Business Solutions Private Limited Steuerung und verfahren zur gestenerkennung und gestenerkennungsvorrichtung
US11348442B2 (en) * 2020-10-14 2022-05-31 12180502 Canada Inc. Hygiene detection devices and methods
CN111964674B (zh) * 2020-10-23 2021-01-15 四川写正智能科技有限公司 一种结合加速度传感器判断读写状态的方法及移动终端
CN113918019A (zh) * 2021-10-19 2022-01-11 亿慧云智能科技（深圳）股份有限公司 终端设备的手势识别控制方法、装置、终端设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5319747A (en) * 1990-04-02 1994-06-07 U.S. Philips Corporation Data processing system using gesture-based input data
TWM361902U (en) * 2009-01-22 2009-08-01 Univ Lunghwa Sci & Technology Framework with human body posture identification function
US7627142B2 (en) * 2004-04-02 2009-12-01 K-Nfb Reading Technology, Inc. Gesture processing with low resolution images with high resolution processing for optical character recognition for a reading machine

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6304674B1 (en) * 1998-08-03 2001-10-16 Xerox Corporation System and method for recognizing user-specified pen-based gestures using hidden markov models
US6466198B1 (en) 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7321854B2 (en) * 2002-09-19 2008-01-22 The Penn State Research Foundation Prosody based audio/visual co-analysis for co-verbal gesture recognition
EP1408443B1 (en) * 2002-10-07 2006-10-18 Sony France S.A. Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition
FI20022282A0 (fi) 2002-12-30 2002-12-30 Nokia Corp Menetelmä vuorovaikutuksen mahdollistamiseksi elektronisessa laitteessa ja elektroninen laite
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
FI117308B (fi) * 2004-02-06 2006-08-31 Nokia Corp Eleohjausjärjestelmä
US7730335B2 (en) * 2004-06-10 2010-06-01 Marvell World Trade Ltd. Low power computer with main and auxiliary processors
GB2419433A (en) * 2004-10-20 2006-04-26 Glasgow School Of Art Automated Gesture Recognition
KR100597798B1 (ko) 2005-05-12 2006-07-10 삼성전자주식회사 휴대용 단말기에서 동작인식을 위한 정보를 사용자에게제공하기 방법
US9910497B2 (en) * 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8537112B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US20090265671A1 (en) * 2008-04-21 2009-10-22 Invensense Mobile devices with motion gesture recognition
US7884805B2 (en) * 2007-04-17 2011-02-08 Sony Ericsson Mobile Communications Ab Using touches to transfer information between devices
US8253770B2 (en) * 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
US9198621B2 (en) * 2007-06-18 2015-12-01 University of Pittsburgh—of the Commonwealth System of Higher Education Method, apparatus and system for food intake and physical activity assessment
US9261979B2 (en) * 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
US8325978B2 (en) * 2008-10-30 2012-12-04 Nokia Corporation Method, apparatus and computer program product for providing adaptive gesture analysis
JP2010262557A (ja) 2009-05-11 2010-11-18 Sony Corp 情報処理装置および方法
US8145594B2 (en) * 2009-05-29 2012-03-27 Microsoft Corporation Localized gesture aggregation
KR100981200B1 (ko) 2009-06-02 2010-09-14 엘지전자 주식회사 움직임 센서를 장착한 이동 단말기 및 제어 방법
US8674951B2 (en) 2009-06-16 2014-03-18 Intel Corporation Contoured thumb touch sensor apparatus
US8907897B2 (en) 2009-06-16 2014-12-09 Intel Corporation Optical capacitive thumb control with pressure sensor
WO2011005865A2 (en) * 2009-07-07 2011-01-13 The Johns Hopkins University A system and method for automated disease assessment in capsule endoscopy
KR20110069476A (ko) 2009-12-17 2011-06-23 주식회사 아이리버 사용자 그립 상태를 반영하여 조작가능한 핸드헬드 전자기기 및 조작방법
US8390648B2 (en) * 2009-12-29 2013-03-05 Eastman Kodak Company Display system for personalized consumer goods
US8432368B2 (en) * 2010-01-06 2013-04-30 Qualcomm Incorporated User interface methods and systems for providing force-sensitive input
US9477324B2 (en) * 2010-03-29 2016-10-25 Hewlett-Packard Development Company, L.P. Gesture processing
US20120016641A1 (en) 2010-07-13 2012-01-19 Giuseppe Raffa Efficient gesture processing
US8929600B2 (en) * 2012-12-19 2015-01-06 Microsoft Corporation Action recognition based on depth maps

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5319747A (en) * 1990-04-02 1994-06-07 U.S. Philips Corporation Data processing system using gesture-based input data
US7627142B2 (en) * 2004-04-02 2009-12-01 K-Nfb Reading Technology, Inc. Gesture processing with low resolution images with high resolution processing for optical character recognition for a reading machine
TWM361902U (en) * 2009-01-22 2009-08-01 Univ Lunghwa Sci & Technology Framework with human body posture identification function

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109100537A (zh) * 2018-07-19 2018-12-28 百度在线网络技术（北京）有限公司 运动检测方法、装置、设备和介质

Also Published As

Publication number Publication date
US10353476B2 (en) 2019-07-16
US9535506B2 (en) 2017-01-03
CN102985897B (zh) 2016-10-05
TW201218023A (en) 2012-05-01
US20170220122A1 (en) 2017-08-03
US20120016641A1 (en) 2012-01-19
WO2012009214A2 (en) 2012-01-19
WO2012009214A3 (en) 2012-03-29
US20140191955A1 (en) 2014-07-10
CN102985897A (zh) 2013-03-20

Similar Documents

Publication Publication Date Title
TWI467418B (zh) 效率高的姿勢處理方法及電腦程式產品
US9484028B2 (en) Systems and methods for hands-free voice control and voice search
US9355637B2 (en) Method and apparatus for performing speech keyword retrieval
US10490184B2 (en) Voice recognition apparatus and method
US9063704B2 (en) Identifying gestures using multiple sensors
KR101939683B1 (ko) 사용자 행동 실시간 인식장치 및 방법
CN112970059B (zh) 用于处理用户话语的电子装置及其控制方法
US9746929B2 (en) Gesture recognition using gesture elements
US10991372B2 (en) Method and apparatus for activating device in response to detecting change in user head feature, and computer readable storage medium
US20180293220A1 (en) Method and device for generating natural language expression by using framework
WO2019105376A1 (zh) 手势识别方法、终端及存储介质
US20190205786A1 (en) Method and system for classifying time-series data
US20150254575A1 (en) Learn-by-example systems and methos
US20210151052A1 (en) System for processing user utterance and control method thereof
CN113330392A (zh) 用于确定包括多个动作的任务的电子装置和方法
US20180059797A1 (en) User command determination based on a vibration pattern
WO2020030018A1 (en) Method for updating a speech recognition model, electronic device and storage medium
CN108595013B (zh) 握持识别方法、装置、存储介质及电子设备
US10374982B2 (en) Response retrieval using communication session vectors
CN111344781A (zh) 音频处理
US11670294B2 (en) Method of generating wakeup model and electronic device therefor
CN111627422B (zh) 语音加速检测方法、装置、设备及可读存储介质
Zhou et al. Pre-classification based hidden Markov model for quick and accurate gesture recognition using a finger-worn device
CN112948763B (zh) 件量预测方法、装置、电子设备及存储介质
Marasović et al. User-dependent gesture recognition on Android handheld devices

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees