TW201535168A - 可訓練的基於感測器之姿勢辨識 - Google Patents

可訓練的基於感測器之姿勢辨識 Download PDF

Info

Publication number
TW201535168A
TW201535168A TW104101352A TW104101352A TW201535168A TW 201535168 A TW201535168 A TW 201535168A TW 104101352 A TW104101352 A TW 104101352A TW 104101352 A TW104101352 A TW 104101352A TW 201535168 A TW201535168 A TW 201535168A
Authority
TW
Taiwan
Prior art keywords
gesture
sensor
identified
sensor output
user
Prior art date
Application number
TW104101352A
Other languages
English (en)
Inventor
meng-ke Li
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of TW201535168A publication Critical patent/TW201535168A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在許多計算方案中,裝置包含至少一個感測器,裝置並經配置以根據感測器的感測器輸出辨識使用者表現的姿勢,裝置並經配置以在辨識到姿勢時執行特定動作。然而,許多裝置被由此種姿勢預配置,而辨識係特定於裝置的感測器且不特定於特定使用者表現姿勢的方式。在此呈現的技術,讓裝置能夠藉由在使用者表現姿勢時監測裝置提供的任何感測器的感測器輸出來辨識新姿勢,且可選地要求重複表現姿勢直到到達辨識信心度為止。在經訓練為根據裝置特定感測器的感測器輸出來辨識姿勢之後,裝置隨後可辨識使用者表現的姿勢並執行配對的動作。

Description

可訓練的基於感測器之姿勢辨識
本發明係關於可訓練的基於感測器之姿勢辨識。
在計算領域內,許多方案涉及由使用者表現、並由裝置感測器辨識的姿勢。在許多此種方案中,裝置具有一或更多個感測器,諸如加速度計、麥克風及(或)觸控感應顯示器。裝置可由生產者預編程,以辨識使用者表現的數個姿勢,諸如將電話舉到耳邊;在觸控感應顯示器上表現「捏合(pinch)」姿勢;以及將電話正面朝下放置在水平表面上。可例如在通常使用者表現姿勢時,識別感測器的感測器輸出模型以編程裝置,使得在特定使用者由類似於通常使用者的方式表現姿勢時,裝置能夠藉由比較感測器輸出與代表姿勢的感測器輸出模型來辨識姿勢。
提供此【發明內容】以由簡化形式介紹一些概念選擇,這些概念將於下面的【實施方式】中進一步說明。此【發明內容】並非意為識別所請發明主題的關鍵因素或必要特徵,亦 不意為用於限制所請發明主題的範圍。
雖然具有預編程姿勢組的裝置配置可致能方便的使用者輸入模式,然而此種裝置辨識特徵時常不為可顯著地配置的,且特定言之,不為可對使用者調適的。例如,許多此種辨識件被靜態地訓練為偵測近似於通常姿勢範例的感測器輸出,而產生對於錯誤否定(例如因為使用者以不同於通常使用者的方式表現姿勢,而無法辨識所表現的姿勢)與錯誤肯定(例如使相關聯於姿勢的感測器輸出範圍太過寬廣,而使非姿勢性變化被不正確地解譯為姿勢)兩者皆不精確的辨識程序。再者,使用者的姿勢偏好時常不能被攜帶至使用者的其他裝置中,也無法對裝置可用的感測器組的變化調適。
本文呈現的技術,讓使用者能夠配置裝置以辨識新姿勢,並將新姿勢分配至在辨識模式中偵測到姿勢時執行的動作。根據這些技術,在辨識模式中時,裝置在使用者表現姿勢時監測裝置的一或更多個感測器的感測器輸出,並識別對應於姿勢的所識別感測器輸出組。隨後,裝置可接受姿勢與在裝置偵測到感測器的所識別感測器輸出時要執行之動作的配對。以此方式,根據本文所呈現的技術,裝置可讓使用者能夠指明新姿勢、根據使用者表現的特定方式來校正姿勢、及(或)配置姿勢與裝置可執行的動作的配對。
為了實現前述和相關目的,下列說明與附加圖式闡述一些說明性態樣與實施例。這些說明性態樣與實施例指示各種可利用一或更多個態樣於其中的方式中的一些方式。在閱讀下列詳細說明並結合考慮附加圖式後,將可顯然明瞭本 公開內容的其他態樣、優點以及新穎特徵。
100‧‧‧示例性方案
102‧‧‧使用者
104‧‧‧裝置
106‧‧‧感測器
108‧‧‧感測器輸出
110‧‧‧姿勢
112‧‧‧感測器輸出模型
114‧‧‧動作組
116‧‧‧使用期間
200‧‧‧示例性方案
202‧‧‧訓練模式
204‧‧‧姿勢表現
208‧‧‧所識別感測器輸出
210‧‧‧辨識模式
300‧‧‧示例性方法
302-320‧‧‧程序步驟
400‧‧‧示例性方案
402‧‧‧裝置
404‧‧‧處理器
406‧‧‧記憶體
408‧‧‧系統
410‧‧‧姿勢訓練件
412‧‧‧動作配對件
414‧‧‧姿勢辨識器
500‧‧‧實施例
502‧‧‧電腦可讀取記憶體裝置
504‧‧‧電腦可讀取資料
506‧‧‧電腦指令
508‧‧‧方法
510‧‧‧計算裝置
600‧‧‧示例性方案
602‧‧‧耳機裝置
604‧‧‧外殼
606‧‧‧揚聲器
608‧‧‧麥克風
610‧‧‧慣性感測器
612‧‧‧頭部
614‧‧‧耳部
700‧‧‧範例方案
702‧‧‧姿勢設定檔
704‧‧‧姿勢設定檔服務
706‧‧‧感測器
800‧‧‧示例性方案
900‧‧‧示例性方案
902‧‧‧姿勢表現
904‧‧‧排除的感測器輸出
1000‧‧‧示例性方案
1002‧‧‧手指
1100‧‧‧系統
1102‧‧‧計算裝置
1104‧‧‧計算裝置配置
1106‧‧‧處理單元
1108‧‧‧記憶體
1110‧‧‧存儲器
1112‧‧‧輸出裝置
1114‧‧‧輸入裝置
1116‧‧‧通訊連結
1118‧‧‧網路
1120‧‧‧計算裝置
第1圖圖示說明具有一裝置的示例性方案,該裝置經配置以識別一組姿勢,並在偵測到使用者表現姿勢時執行此種姿勢。
第2圖圖示說明根據本文所呈現的技術的具有一裝置的示例性方案,該裝置經配置以識別感測器的所識別感測器輸出,該所識別感測器輸出與使用者所表現的姿勢配對,該姿勢將與動作配對,該裝置並在偵測到使用者表現該姿勢時執行該動作。
第3圖圖示說明根據本文所呈現的技術的第一示例性方法,該第一示例性方法配置裝置以辨識姿勢並執行所配對的動作。
第4圖圖示說明根據本文所呈現的技術的圖示說明示例性裝置的部件方塊圖,該示例性裝置包含用於辨識姿勢並執行所配對的動作的系統。
第5圖圖示說明示例性電腦可讀取媒體,該電腦可讀取媒體包含處理器可執行指令,該等處理器可執行指令經配置以實施本文所闡述的內容的一或更多者。
第6圖圖示說明示例性行動裝置,可在該行動裝置中利用本文所提供的技術。
第7圖圖示說明根據本文所呈現的技術的具有姿勢設定檔服務的示例性方案,該姿勢設定檔服務致能在使用者利用的複數個裝置之間共享姿勢資訊。
第8圖圖示說明根據本文所呈現的技術的示例性方案,該方案具有在偵測到裝置執行的新姿勢時,調用訓練模式的技術。
第9圖圖示說明根據本文所呈現的技術的示例性方案,該方案能夠從感測器集合識別所識別感測器輸出,該所識別感測器輸出識別使用者所表現的姿勢。
第10圖圖示說明根據本文所呈現的技術的示例性方案,該方案能夠回應於姿勢而執行動作,其中該動作在背景內容上相關於偵測到姿勢的感測器。
第11圖圖示說明示例性計算環境,可在該環境中實施及(或)利用本技術的部分。
現在參照圖式以說明所請發明主題,在全體圖式中使用類似的元件符號以代表類似的元件。在下文說明中,為了解釋而闡述數種特定細節,以期通透瞭解所請發明主題。然而應顯然而知,所請發明主題的實施不需要這些特定的細節。在其他實例中,以方塊圖形式圖示結構與裝置,以協助說明所請發明主題。
A.緒論
第1圖圖示說明示例性方案100,方案100具有裝置104使用者102,裝置104經配置以偵測使用者102表現的姿勢110並回應於姿勢而執行動作114。在此示例性方案100中,裝置104具有第一感測器106與第二感測器106,第一感測器106包含能夠偵測裝置指向及(或)動作的加速度計, 第二感測器106包含能夠偵測環境聲音的麥克風。裝置104被預配置為藉由比較感測器輸出108以及與每一姿勢110配對的感測器輸出模型112,來偵測使用者所表現的姿勢110。感測器輸出模型112可例如包含在通常使用者表現姿勢110時各別感測器106之感測器輸出108的模型,或可例如包含經合成為近似於姿勢110表現期間之感測器輸出108的抽象化或樣板。亦由動作組114預配置裝置104,動作組114由裝置104的開發者或生產者選擇,且在偵測到每一姿勢110時欲執行動作組114。例如,在偵測到第一姿勢110時(其中使用者102將裝置104舉到他(或她)的耳邊並開始朝麥克風說話),裝置104可執行接收來自使用者102的詢問的動作114。在偵測到第二姿勢110時(其中使用者102搖動裝置),裝置102可執行在可聽見的設定與靜音設定之間切換裝置104音量的動作114。在偵測到第三姿勢110時(其中使用者102將裝置102正面朝下放置在水平表面上),裝置104可執行啟動裝置104之鎖定功能的動作114。此外,可將裝置104預配置為對於每一姿勢110僅使用特定的感測器106;例如,可藉由比較感測器106兩者之感測器輸出108與感測器輸出模型112,來偵測第一姿勢110,但可僅使用第一感測器106的感測器輸出108來偵測第二姿勢110。
因此,在使用期間116,使用者102可表現姿勢110,諸如搖動裝置104。裝置104可監測各別感測器106的感測器輸出108,並可比較感測器輸出模型112與各別感測器106的感測器輸出108,以偵測姿勢110。在此種偵測後,裝置104 可執行與所表現姿勢108配對的動作114。以此方式,裝置104可讓使用者102能夠表現姿勢110,以控制裝置104的作業。
然而可理解到,在由生產者或開發者根據第1圖的示例性方案100預配置裝置102,以辨識使用者102所表現的姿勢時,可存在各式各樣的缺點。
作為第一範例,通常使用者表現姿勢110的方式,可不對應於特定使用者102表現姿勢110的方式。例如,對於姿勢110(諸如搖動裝置104),不同的使用者102可由不同的持續期間、頻率、強度與方向表現搖動。可難以在不提高辨識程序中錯誤肯定產生率的情況下,將裝置104配置為辨識由任何使用者102表現的「搖動」姿勢110(例如,單純地將任何搖動裝置104的方式解譯為姿勢110,可造成裝置104在其他事件期間內(諸如裝在口袋中時裝置的震動)執行動作114)。
作為第二範例,使用者102可想要產生可讓裝置104的感測器106辨識的新姿勢110。然而,如第1圖示例性方案100圖示說明般配置的裝置104,可僅能夠辨識特定的預定義姿勢110組,而可無法提供讓使用者104能夠定義並說明新姿勢110的能力。此外,使用者102可想要將新的(或先前所辨識的)姿勢110與特定動作114配對,但裝置104可無法強健地准許使用者102指明姿勢110與動作114之間的配對;例如,可將裝置104預編程為使基於觸控的「捏合」姿勢110僅與「縮小」動作114配對,而可不准許使用者102 將此姿勢110重分配至另一動作114。
作為第三範例,使用者102可使用裝置104組,或可從第一裝置104切換至第二裝置104。使用者102仍可想要在使用第二裝置104時利用在第一裝置102上定義的姿勢110,但第二裝置104上的所辨識姿勢110與配對動作114的預編程組,可不同於第一裝置104提供的預編程組。換言之,裝置104彼此通常不交換關於使用者102利用的姿勢110以及回應於此種姿勢110的動作114的資訊。
作為第四範例,特定裝置104上的感測器106組可改變,或在使用者102的第一裝置104與第二裝置104之間可為不同。因此,裝置104可難以將使用第一感測器106或感測器組的對於姿勢110的辨識,轉譯成使用第二感測器106或感測器組的對於姿勢110的辨識,即使是第二感測器106辨識姿勢110的能力與第一感測器106相同。由於這些與其他的理由,裝置生產者或開發者所提供的用於辨識姿勢的裝置104預配置,在沒有讓使用者102能夠調整所辨識的姿勢108與所執行的動作114的顯著能力的情況下,可對裝置104對於使用者102的可用性造成限制。
B.所呈現的技術
第2圖圖示說明示例性方案200,示例性方案200具有裝置104,裝置104能夠依照使用者102的偏好,來調整對於姿勢110的辨識與動作114的執行。在此示例性方案200中,裝置104可提供訓練模式202,其中使用者102可訓練裝置104辨識新姿勢110或使用者102表現已知姿勢110的特 定方式。例如,裝置104可包含第一感測器106與第二感測器106,第一感測器106包含加速度計,而第二感測器106包含麥克風。裝置104可要求使用者102表現姿勢110的一或更多個姿勢表現204,並可在每一姿勢表現204期間內監測每一感測器106的感測器輸出108。於在姿勢110的姿勢表現204期間內在一或更多個感測器106的感測器輸出108中偵測到對應性時,裝置104可識別與姿勢110配對的一或更多個感測器108的所識別感測器輸出208。例如,在使用者102表現姿勢110(諸如搖動裝置)時,裝置104在每一此種姿勢表現204期間內可判定加速度計提供了一致的感測器輸出108組,但可不能夠偵測到來自麥克風的此種一致的感測器輸出108。因此,裝置104可將來自第一感測器106的所識別感測器輸出208識別為識別姿勢110。裝置104亦可在偵測到使用者102的姿勢110表現時,允許使用者102選擇要由裝置104執行的動作114,並可儲存對於姿勢110、所識別感測器輸出208以及動作114的配對。
如進一步圖示說明於第2圖的示例性方案200,在辨識模式210期間內,使用者102可表現姿勢110。裝置104可比較感測器108的感測器輸出108與(如在訓練模式202期間所判定的)配對至每一姿勢110的所識別感測器輸出208。在偵測到匹配時,裝置104可判定姿勢110已被表現,並可執行配對至姿勢110的動作114。以此方式,根據本文所呈現的技術,裝置104讓使用者102能夠使裝置104學會新姿勢110,並訓練裝置104辨識使用者102表現已知姿勢的特 定方式。
C.示例性具體實施例
第3圖圖示說明本文所呈現的技術的示例性第一具體實施例,將第一具體實施例圖示說明為示例性方法300,方法300讓包含一或更多個感測器的裝置104能夠在偵測到使用者102表現的姿勢110時執行動作114。示例性第一方法300可例如被實施為儲存在具有處理器的裝置的記憶體部件(例如記憶體電路、硬碟機磁盤、固態儲存裝置、或磁碟或光碟)中的一組指令,其中該等指令在被執行於處理器上時,使裝置根據本文所呈現的技術來操作。示例性第一方法300開始於302,並涉及在裝置的處理器上執行304指令。詳言之,在處理器執行指令,使裝置104在訓練模式202期間內306,在使用者102表現姿勢110的同時監測308感測器106,以偵測識別姿勢110的所識別感測器輸出208。在處理器104上執行指令,亦使得裝置在訓練模式202期間內306,將感測器106的所識別感測器輸出208與姿勢110配對310,將動作與姿勢110配對312。在處理器上執行指令,亦使得裝置104在辨識模式210期間內314,監測316感測器106的感測器輸出108;以及在偵測到感測器輸出106與配對至姿勢110的所識別感測器輸出208匹配時,執行318配對至姿勢110的動作114。以此方式,示例性第一方法300根據本文所呈現的技術,使裝置辨識姿勢110並執行配對至姿勢110的動作114,並結束於320。
第4圖圖示說明示例性方案440,方案440具有本 文所呈現的技術的第二具體實施例,第二具體實施例被圖示說明為包含示例性系統408的示例性裝置402,示例性系統408使示例性裝置402能夠執行與使用者102表現的姿勢110配對的動作114。示例性裝置402亦包含處理器404、記憶體406以及提供感測器輸出108的至少一個感測器106。示例性系統406的一或更多個部件,可例如被實施為儲存在示例性裝置402的記憶體部件中的指令,該等指令在執行於處理器404上時,使示例性裝置402執行本文所呈現的技術的至少一部分。或者(雖然未圖示),示例性系統406的一或更多個部件可例如被實施為執行本文所呈現技術的至少一部分的揮發性或非揮發性邏輯電路,諸如經特定設計的晶片上半導體(semiconductor-on-a-chip;SoC)或可程式邏輯陣列(field-programmable gate array;FPGA),使得部件的交互作業完成本文所呈現的技術的變異的工作。示例性系統406包含姿勢訓練件410,在使用者102表現姿勢110時,姿勢訓練件410監測感測器106的感測器輸出108,以偵測識別姿勢110的所識別感測器輸出208,並將對於姿勢110的所識別感測器輸出208儲存在示例性裝置402的記憶體406中。示例性系統408亦包含動作配對件412,在從使用者102接收到要配對至姿勢110的動作114時,動作配對件412在示例性裝置402的記憶體406中儲存動作114與姿勢110的配對。示例性系統408亦包含姿勢辨識器414,姿勢辨識器414監測感測器106的感測器輸出108以偵測識別姿勢110的所識別感測器輸出208,使示例性裝置402執行在記憶體406中與配對 至所識別感測器輸出208的姿勢110配對的動作114。以此方上,根據本文所呈現的技術,示例性系統408使示例性裝置402回應於使用者102的姿勢110表現而執行動作114。
另一具體實施例涉及包含處理器可執行指令的電腦可讀取媒體,該等處理器可執行指令經配置以應用本文所呈現的技術。此種電腦可讀取媒體可例如包含涉及於有形裝置的電腦可讀取記憶體裝置,諸如編碼一組電腦可讀取指令的記憶體半導體(例如利用靜態隨機存取記憶體(static random access memory;SRAM)、動態隨機存取記憶體(dynamic random access memory;DRAM)及(或)同步動態隨機存取記憶體(synchronous dynamic random access memory;SDRAM)科技的半導體)、硬碟機的磁盤、快閃記憶體裝置、或磁碟或光碟(諸如CD-R、DVD-R或磁片),該組電腦可讀取指令在由裝置處理器執行時,使裝置實施本文所呈現的技術。此種電腦可讀取媒體亦可包含各種類型的通訊媒體(作為排除電腦可讀取記體裝置的科技類別),諸如可透過各種實體現象(例如電磁訊號、聲波訊號或光學訊號)並於各種有線方案(例如經由乙太網路或光纖纜線)及(或)無線方案(例如無線本地區域網路(wireless local area network;WLAN)(諸如WiFi)、個人區域網路(personal area network;PAN)(諸如Bluetooth)或蜂巢式或無線電網路)中傳遞的訊號,該訊號編碼一組電腦可讀取指令,該組電腦可讀取指令在由裝置的處理器執行時,使裝置實施本文所呈現的技術。
第5圖圖示說明可由這些方式發想的示例性電腦可 讀取媒體,其中實施例500包含電腦可讀取記憶體裝置502(例如CD-R、DVD-R或硬碟機的磁盤),電腦可讀取記憶體裝置502上編碼有電腦可讀取資料504。此電腦可讀取資料504相應地包含一組電腦指令506,該組電腦指令506可執行在裝置104的處理器404上,並在執行時使裝置104根據本文闡述的原理來操作。在第一個此種具體實施例中,在裝置104的處理器404上執行指令506可使裝置執行方法508,方法508回應於偵測到使用者102表現的姿勢110而配置裝置以執行動作114,諸如第3圖的示例性方法300。在第二個此種具體實施例中,在處理器404上執行指令506,可實施用於回應於使用者102表現的姿勢110而執行動作114的系統的一或更多個部件,諸如第4圖的示例性裝置402的示例性系統408。在本發明所屬技術領域中具有通常知識者,可發想許多經配置以根據本文所呈現的技術來操作的此種電腦可讀取媒體。
D.變異
本文所討論的技術,可由在許多方面的變異來發想,且一些變異對於這些與其他技術的其他變異,可呈現額外優點及(或)減少缺點。再者,可結合實施一些變異,且透過協同合作,一些變異可具有額外優點及(或)減少缺點。變異可被併入許多具體實施例中(例如第3圖的示例性第一方法300;第4圖的示例性裝置402及(或)示例性系統408;以及第5圖的示例性電腦可讀取記憶體裝置502)以在此種具體實施例中賦予個人優勢及(或)協同優勢。
D1.方案
可在這些技術的具體實施例之間變化的第一態樣,相關於可在其中利用此等技術的方案。
作為此第一態樣的第一變異,可在各種裝置104上實施本文所提供的技術,諸如工作站;伺服器;膝上型電腦;平板與掌上型因素行動裝置;行動電話;可攜式遊戲裝置;可攜式媒體播放器;媒體顯示裝置(諸如電視);家電;家庭自動化裝置;醫療裝置;以及可穿戴式計算裝置(諸如眼鏡、耳機、聽筒以及手錶)。
作為此第一態樣的第二變異,本文所提供的技術可由提供許多類型感測器輸出108的許多類型感測器106來使用,諸如提供靜態或動態影像的攝影機;取樣環境聲音的麥克風;讓使用者102經由手指或觸控筆提供觸控輸入的觸控感應顯示器;偵測動作的動作偵測器;提供溫度讀數的溫度感測器;提供激光資料的激光偵測器;提供使用者102的生物識別符的生物感測器;提供裝置104的指向及(或)動作的讀數的加速度計或陀螺儀;以及提供裝置104的方向性指向的指南針。
作為此第一態樣的第三變異,本文所呈現的技術使裝置104能夠偵測許多類型的姿勢110,包含對於裝置104指向及(或)動作的操縱;使用者對裝置104的實體互動,諸如在裝置104的觸控感應顯示器上畫出姿勢,或按壓裝置104的壓力感應元件;以使用者102的手或手臂表現的手動姿勢(諸如手勢);使用者102表現的聲音(諸如傳入裝置104 的麥克風);以及使用者102的臉部表情、姿態或步態。
作為此第一態樣的第四變異,本文所呈現的技術使裝置104能夠回應於此種姿勢110而執行各種動作114,諸如調用應用程式;傳送訊息;在裝置402的顯示器上顯示影像或文字;或啟動周邊設備裝置,諸如附接至裝置402的發光二極體(light-emitting diode;LED)。
第6圖圖示說明具有一個此種裝置的示例性方案600,該裝置包含耳機裝置602,耳機裝置602包含外殼604,外殼604可穿戴在使用者102頭部612的耳部614上,耳機裝置602並包含揚聲器606、麥克風608與慣性感測器610(例如加速度計),揚聲器606可定位在使用者102的耳部614旁邊。在使用者102穿戴期間內,裝置104可偵測使用者102頭部612表現的一或更多個姿勢110,諸如向左搖頭與向右搖頭,或向上點頭或向下點頭。可藉由監測每一感測器106的感測器輸出108來偵測此種姿勢110,例如可根據慣性感測器610的感測器輸出108的改變,來偵測耳機裝置604指向的改變。根據本文所呈現的技術,耳機裝置640可讓使用者102能夠指明可由使用者102頭部612表現的新姿勢110(諸如將頭部612傾向一側或在說話時朝下看),並可允許使用者102指明在偵測到使用者102的此種姿勢110時要由耳機裝置604表現的動作114。本文所呈現的技術的具體實施例中可包含許多此種變異。
D2.姿勢設定檔
第8圖圖示說明具有第二態樣的示例性方案,第二 態樣可在本文所呈現的技術的具體實施例之間變化,涉及於產生姿勢設定檔702,姿勢設定檔702儲存由使用者102定義並由裝置104應用以執行動作114的一組姿勢110。在此範例方案700中,使用者102擁有三個裝置104,每一裝置104具有提供各種形式的感測器輸出108的一組感測器106,諸如電話裝置與平板裝置,電話裝置與平板裝置之每一者利用加速度計106偵測裝置104的指向及(或)動作中的改變,並利用包含能夠偵測裝置104方位的指南針106的地理定位裝置。利用本文所提供的技術,使用者102配置第一裝置104以根據加速度計感測器106的所識別感測器輸出208來辨識一組姿勢110,諸如搖動第一裝置104以及將第一裝置104正面朝下放置在水平表面上,並亦指明在使用者102對第一裝置104表現每一姿勢110時要執行的動作114。然而,使用者102亦可想要對第二裝置104與第三裝置104使用此種姿勢110,而不需重新訓練每一裝置104以辨識姿勢110以及將動作114配對至姿勢110;亦即,使用者102可單純地想要使姿勢資訊同步於裝置104之間,以提供一致的姿勢介面。
如第7圖進一步圖示說明的示例性方案700,可提供姿勢設定檔服務704,以儲存第一裝置104的姿勢設定檔704並將姿勢設定檔704傳遞至其他裝置104,其他裝置104之每一者可使用每一裝置104的感測器106來應用姿勢設定檔702。第二裝置104亦可具有加速度計感測器106,並可能夠利用由第一裝置104的加速度計感測器106識別的所識別感測器輸出208。然而,第三裝置104可僅具有無法利用加速 度計感測器106的所識別感測器輸出208偵測姿勢110的指南針感測器106。因此,第三裝置706可要求使用者102重新訓練裝置104以辨識姿勢110,且在接收到來自使用者104的認可時,可進入訓練模式202以識別指南針感測器106的所識別感測器輸出208來偵測姿勢110。或者,第三裝置104及(或)姿勢設定檔服務704可偵測第三裝置104的指南針感測器106與第一裝置104的加速度計感測器106之間的失配,並可試圖將對於加速度計感測器106的每一姿勢110的所識別感測器輸出208,轉譯成指南針感測器106的所識別感測器輸出208,以供第三裝置104使用。以此方式,根據本文所呈現的技術,姿勢設定檔服務704可讓使用者102的裝置組104能夠辨識並回應使用者102所表現的姿勢110。
D3.起始訓練模式
可在本文所呈現的技術的具體實施例之間變化的第三態樣,涉及起始裝置104的訓練模式202,以對於使用者102要表現的各自姿勢110,識別裝置104的各自感測器106的所識別感測器輸出208。
作為此第三態樣的第一變異,裝置104可在使用者102要求之下,或在裝置104初始啟動時(諸如新獲得的裝置104的設定程序),轉變至訓練模式202。
作為此第三態樣的第二變異,裝置104可在偵測到裝置104可存取的感測器組106中的改變時(諸如增加的感測器增加至裝置104中),轉變至訓練模式202。感測器106的增加、改變及(或)移除,可改變裝置104偵測使用者102 表現的姿勢110的方式;例如,裝置104可由第一感測器106的所識別姿勢輸出208適當地偵測姿勢110,但亦可使用增加的第二感測器106的所識別姿勢輸出208更精確地偵測姿勢110。因此,在此種偵測發生時,裝置104可在使用者102表現姿勢110時,轉變至訓練模式202以偵測增加感測器的所識別感測器輸出208。
第8圖圖示說明具有此第三態樣的第三變異的示例性方案800,其中裝置104偵測指示使用者102表現了未與所識別感測器輸出208配對的姿勢110的感測器輸入108。作為第一範例,使用者102可正表現尚未被裝置104辨識過的新姿勢110。作為第二範例,使用者102可正表現被裝置104辨識過,但係由使用者102以不同於裝置104當前在辨識信心度臨限內辨識的方式而表現,使得裝置104時常無法辨識姿勢110。在偵測到指示使用者104正表現(或已表現)未經辨識的姿勢110的感測器輸出108時,裝置104可選擇對於姿勢110的所識別感測器輸出208,並可轉變至訓練模式202,以允許使用者102將姿勢110分配至動作114。
作為此第三態樣的第四變異,裝置104可偵測到裝置104的一或更多個感測器106校準錯誤(例如,攝影機可稍微轉離先前的指向)。例如,感測器106可正提供與其他感測器106的感測器資料108不一致的感測器資料108,與來自相同感測器106的先前感測器資料108不一致的感測器資料108,或與在特定背景內容中的預期結果不一致的感測器資料。儘管此種校準錯誤可改變感測器資料108並可妨礙對於 與所識別感測器輸出208匹配的偵測,然而若重新訓練裝置102,則裝置102即可保持能夠使用感測器106以偵測姿勢110。因此,在偵測到感測器106的此種校準錯誤時,裝置104可轉變至訓練模式202以重新訓練裝置104,以辨識姿勢110。
作為此第三態樣的第五變異,裝置104可接收指明姿勢110的姿勢設定檔702(例如從第二裝置104或姿勢設定檔服務704),而此姿勢110被根據與第一裝置104的感測器106不相容的所識別感測器輸出208來識別(諸如第7圖示例性方案700中的第三裝置104)。因此,裝置104可轉變至訓練模式202以訓練感測器106辨識姿勢110。根據本文所呈現的技術,可利用這些與其他的變異,以提示裝置104轉變至訓練模式202以偵測新姿勢110,或調整對於已知姿勢110的偵測或回應。
D4.訓練模式
可在本文所呈現的技術的具體實施例之間變化的第四態樣,涉及配置裝置104的訓練模式202以識別對於各自姿勢110的所識別感測器輸出208,以及要回應於各自姿勢110而執行的動作114。
作為此第四態樣的第一變異,訓練模式202可包含許多類型的學習技術,以在使用者102表現姿勢110時,從一或更多個感測器106的一或更多個感測器輸出108識別能夠識別姿勢110的所識別感測器輸出208。此種學習技術可例如包含藉由統計技術的估算,諸如算數平均數、中位數、眾數以及標準差;貝氏演算法(Bayesian algorithms);模糊邏 輯;人工神經網路;以及基因演算法。
作為此第四態樣的第二變異,訓練模式202可涉及使用者102對於姿勢110的兩個或更多個姿勢表現702;例如,使用者102可重複表現姿勢110以致能較高的辨識精確度。在使用者102對於姿勢110的至少兩個姿勢表現702的各自期間內,裝置104可監測感測器106以在姿勢表現702期間內偵測識別姿勢110的所識別感測器輸出208,並根據姿勢表現702各自的所識別感測器輸出208來判定所識別感測器輸出208(例如作為所識別感測器輸出208的統計平均數,且精確辨識臨限識別所識別感測器輸出208中的離差範圍)。在一個此種變異中,裝置104可在姿勢表現902各自的期間內比較所識別感測器輸出208以判定辨識信心度,並可在辨識信心度超出辨識信心度臨限時指示使用者102重複進行姿勢表現902;且在判定辨識信心度位於辨識信心度臨限內時,裝置104可將所識別感測器輸出208配對至姿勢110。
作為此第四態樣的第三變異,使用者102可調用訓練模式202,而裝置104可假定使用者102正於訓練開始要求與訓練完成要求之間表現姿勢110。因此,裝置104可在此訓練週期期間內分析感測器106各自的感測器輸出108,以判定對於姿勢110的感測器106的所識別感測器輸出208,並可在完成此種辨識時轉變回辨識模式210。作為進一步的變異,在使用者102正表現姿勢110時,裝置104可在訓練週期期間內識別至少一個受限週期(亦即短於訓練週期整體)。例如,在訓練週期202期間內,裝置104可偵測在使用者102表現 姿勢110之前在訓練週期開始處的暫停;在姿勢110的各自姿勢表現702之間的暫停;及(或)在使用者102已完成表現姿勢110之後在訓練週期結束處的暫停。因此,裝置104可僅選擇在受限週期期間內的所識別感測器輸出208。
作為此第四態樣的第四變異,其中裝置104包含至少兩個感測器106,訓練模式202可涉及使用感測器106各自的感測器輸出108來判定所識別感測器輸出208。作為一個此種變異,裝置104可一起利用感測器106兩者以偵測姿勢110;例如,在使用者102搖動裝置104時,加速度計可偵測裝置104動作的改變,同時揚聲器偵測在移動通過揚聲器的空氣聲音中、與加速度計偵測到的動作改變同時發生的擾動。根據此變異,在使用者102表現姿勢時,裝置104可監測各自感測器106,以偵測一起識別姿勢110的感測器108的所識別感測器輸出208,並可將每一感測器106的所識別感測器輸出208儲存在裝置104的記憶體中。在辨識模式210期間內,裝置104可監測至少兩個感測器108的感測器輸出108,以與對應的多個所識別感測器輸出208比較,以偵測姿勢110。
第9圖圖示說明具有此第四態樣的第五變異的示例性方案900,其中在訓練模式202期間內,裝置104將至少兩個感測器106辨別為能夠判定特定姿勢110的辨識感測器以及無法判定特定姿勢110的非辨識感測器。在此示例性方案900中,裝置104包含加速度計感測器106、麥克風感測器106以及光感測器106,每一感測器106提供不同實體領域上的感 測器輸出108(例如動作、聲音與光)。在使用者102完成姿勢110的一組姿勢表現902時(諸如搖動裝置104),感測器106各自可不同地回應;例如,加速度計感測器106可展示一致地指示搖動動作中的變異的感測器輸出108,而麥克風感測器106可展示一致地指示移動通過麥克風的空氣聲音中的改變的感測器輸出108。然而,在每一姿勢表現902期間內,光感測器106可不反映一致的感測器輸出108型樣。因此,裝置104可識別提供所識別感測器輸出208(識別姿勢110)的至少一個辨識感測器(例如加速度計感測器106與麥克風感測器106),與不提供所識別感測器輸出208(識別姿勢110)的至少一個非辨識感測器(例如光感測器106)。裝置可儲存辨識感測器的所識別感測器輸出208,並可可選地將對於姿勢表現902的此種感測器106的感測器輸出108標準化,以提供應用至所有此種姿勢表現902的所識別感測器輸出208,同時排除904非識別感測器的所識別感測器輸出28。
作為此第四態樣的第六變異,在訓練模式202期間內,裝置104可要求使用者102識別能夠偵測特定姿勢110的感測器106。例如,使用者102可瞭解加速度計感測器106能夠比光感測器106更輕易地偵測特定姿勢110(諸如搖動裝置104),並可指明此分異,以協助裝置104的訓練模式。在從使用者102接收到至少一個所選擇的感測器106時,在使用者102表現姿勢110時裝置104可僅監測所選擇的感測器106,以偵測識別姿勢110的所識別感測器輸出208,並可僅儲存所選擇感測器106的所識別感測器輸出208。
作為此第四態樣的此第六變異的進一步的範例,裝置104的感測器106各自配對至一或更多個感測器模態(modalities)(例如,光感測器106可偵測光位準的改變;動作感測器106可偵測接近裝置的動作;生物感測器可偵測使用者102的生物特徵,諸如臉部表情;而靜態攝影機可偵測光位準、附近的動作、以及使用者102生物特徵的改變)。裝置104可因此識別感測器106各自的感測器模態,並可向使用者102呈現對於使用者102想要辨識的對應於姿勢110的感測器模態的類型的選項(例如辨識基於動作的姿勢、基於光的姿勢或生物姿勢)。在使用者102表現姿勢110時,裝置104可僅監測配對至所選擇感測器模態的感測器104,並可僅將此種感測器106的所選擇感測器輸出208儲存在記憶體中。根據本文所呈現的技術,裝置104的訓練模式202可包含許多此種變異,以判定能夠辨識姿勢110的所識別感測器輸出208。
D5.執行動作
可在本文所呈現的技術的具體實施例之間變化的第五態樣,涉及於回應於辨識姿勢110而執行動作114的方式。
作為此第六態樣的第一變異,動作102可被配對至裝置104的背景內容,諸如裝置104的執行模式、應用程式或應用程式狀態。例如,所識別的姿勢110在裝置104正執行第一應用程式時可使第一動作114被執行,而在裝置104正執行第二應用程式時可使第二動作114被執行(例如,在使用電子郵件應用程式時搖動裝置104造成電子郵件應用程 式取得新郵件,而在使用媒體播放應用程式時搖動裝置104造成媒體播放應用程式跳至播放清單中的下一媒體物件)。因此,回應於偵測到姿勢110,裝置104可偵測當前的裝置背景內容,並可執行配對至姿勢110與裝置104的當前裝置背景內容兩者的動作114。
第10圖圖示說明具有此第五態樣的第二變異的示例性方案1000,其中回應於姿勢110所執行的動作114相關於偵測到姿勢110的感測器106。在此示例性方案1000中,裝置104可能夠辨識涉及搖動裝置104的第一姿勢110與涉及使用者102以手指1002點擊裝置104的麥克風感測器106的第二姿勢110,第一姿勢110可根據加速度計感測器104的感測器輸入108而被偵測。姿勢1000兩者皆可造成起始對於裝置104的電子郵件用戶端的動作114,諸如選擇電子郵件用戶端通知使用者102新訊息的方式。然而,執行動作114的特定方式(例如通知類型)可相關於偵測到動作110的特定感測器106。例如,搖動裝置104的動作114可被解讀為觸覺輸入,而可造成裝置104以觸覺方式提供此種通知(諸如經由震動模組);而點擊麥克風感測器106的動作114可被解讀為聲音輸入,而可造成裝置104以可聽見的方式提供此種通知(諸如經由音頻提示)。本文所呈現的技術的變異,可包含回應於姿勢110而執行動作114的這些與其他的變異。
E.計算環境
可在許多方面對本文所討論的技術設計變異,且一些變異相對於這些與其他技術的其他變異,可呈現額外的優 點及(或)減少缺點。再者,一些變異可被結合以實施,且一些結合透過協同合作可具有額外的優點及(或)減少的缺點。變異可被併入各種具體實施例,以將個別優點及(或)協同優點授予此種具體實施例。
第11圖與下列討論提供對於適合的計算環境的簡短的一般性說明,該計算環境適合用於實施本文所闡述的規範之一或更多者的具體實施例。第11圖的操作環境僅為適合的操作環境的一種範例,而不意為作為對於操作環境的使用或功能性的範圍的任何限制。範例計算裝置包含(但不限於)個人電腦、伺服器電腦、手持式裝置或膝上型裝置、行動裝置(諸如行動電話、個人數位助理(Personal Digital Assistants;PDA)、媒體播放器與類似者)、多處理器系統、消費者電子產品、迷你電腦、大型主機電腦、包含前述系統或裝置之任意者的分散式計算環境、以及類似者。
雖然並非需要,但係由以一或更多個計算裝置執行的「電腦可讀取指令」之一般背景內容來說明具體實施例。電腦可讀取指令可經由電腦可讀取媒體來散佈(討論於下文)。電腦可讀取指令可被實施為執行特定工作或實施特定抽象資料類型的程式模組,諸如函式、物件、應用程式介面(Application Programming Interfaces;API)、資料結構以及類似者。通常而言,電腦可讀取指令的功能性可依各種環境所需來被結合或散佈。
第11圖圖示說明包含計算裝置1102的系統1100的範例,計算裝置1102經配置以實施本文所提供的一或更多個 具體實施例。在一個配置中,計算裝置1102包含至少一個處理單元1106與記憶體1108。根據計算裝置的實際配置與類型,記憶體1108可為揮發性(例如,諸如RAM)、非揮發性(例如,諸如ROM、快閃記憶體等等)、或此兩者的一些組合。此配置由虛線1104圖示說明於第11圖中。
在其他具體實施例中,裝置1102可包含額外的特徵及(或)功能性。例如,裝置1102亦可包含額外的存儲器(例如為可移除式及(或)不可移除式),包含(但不限於)磁性存儲器、光學存儲器、以及類似者。此種額外的存儲器由存儲器1110圖示說明於第11圖中。在一個具體實施例中,實施本文所提供的一或更多個具體實施例的電腦可讀取指令可位於存儲器1110中。存儲器1110亦可儲存其他電腦可讀取指令以實施作業系統、應用程式、以及類似者。電腦可讀取指令可例如被裝載於記憶體1108中以供處理單元1106執行。
本文所使用的用詞「電腦可讀取媒體」包含電腦儲存媒體。電腦儲存媒體包含由任何用於儲存資訊(諸如電腦可讀取指令或其他資料)的方法或科技所實施的揮發性與非揮發性的、可移除式與不可移除式的媒體。記憶體1108與存儲器1110為電腦儲存媒體的範例。電腦儲存媒體包含(但不限於)RAM、ROM、電子可抹除可規劃唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體科技、CD-ROM、數位多媒體光碟(Digital Versatile Disks;DVD)或其他光學存儲器、磁匣、磁帶、磁碟存儲器或其他磁性儲存裝置、或任 何其他可用以儲存所需資訊並可由裝置1102存取的媒體。任何此種電腦儲存媒體可為裝置1102的部分。
裝置1102亦可包含允許裝置1102與其他裝置通訊的通訊連結1116。通訊連結1116可包含(但不限於)數據機、網路介面卡(Network Interface Card;NIC)、整合式網路介面、射頻發送器/接收器、紅外線埠、USB連結、或其他用於將計算裝置1102連接至其他計算裝置的介面。通訊連結1116可包含有線連結或無線連結。通訊連結1116可發送及(或)接收通訊媒體。
用詞「電腦可讀取媒體」可包含通訊媒體。通訊媒體通常將電腦可讀取指令或其他資料體現於「調變資料訊號」中(諸如載波或其他運輸機制),通訊媒體並包含任何資訊傳遞媒體。用詞「調變資料訊號」可包含訊號,該訊號的特性的一或更多者,被由在訊號中編碼資訊的方式設定或改變。
裝置1102可包含輸入裝置1114,諸如鍵盤、滑鼠、筆、語音輸入裝置、觸控輸入裝置、紅外線攝影機、視頻輸入裝置及(或)任何其他輸入裝置。輸出裝置1112,諸如一或更多個顯示器、揚聲器、印表機及(或)任何其他輸出裝置,亦可被包含在裝置1102中。輸入裝置1114與輸出裝置1112可被經由有線連結、無線連結或此兩者之結合者連接至裝置1102。在一個具體實施例中,可將來自另一計算裝置的輸入裝置或輸出裝置,作為計算裝置1102的輸入裝置1114或輸出裝置1112。
可由各種內連線(諸如匯流排)連接計算裝置1102 的部件。此種內連線可包含周邊組件互連(Peripheral Component Interconnect;PCI),諸如PCI Express、通用串列匯流排(Universal Serial Bus;USB)、Firewire(IEEE 1394)、光學匯流排結構、以及類似者。在另一具體實施例中,可由網路將計算裝置1102的部件交互連接。例如,可由位於由網路交互連接的不同實體位置中的多個實體記憶體組成記憶體1108。
在本發明所屬技術領域中具有通常知識者將理解到,用於儲存電腦可讀取指令的儲存裝置,可分散在網路中。例如,可經由網路1118存取的計算裝置1120,可儲存用於實施本文所提供的一或更多個具體實施例的電腦可讀取指令。計算裝置1102可存取計算裝置1120,並下載電腦可讀取指令的部分或全部以供執行。或者,計算裝置1102可下載所需要的電腦可讀取指令的片段,或可在計算裝置1102執行一些指令並可在計算裝置1120執行一些指令。
F.用詞使用
雖然已由特定於結構性特徵及(或)方法步驟的語言說明了發明主題,但應瞭解到,界定在附加申請專利範圍中的發明主題並不必需受限於上文所說明的特定特徵或步驟。更確切地說,上文所說明的特定特徵與步驟,係揭示為實施申請專利範圍的範例形式。
在此申請案中使用的用詞「部件」、「模組」、「系統」、「介面」與類似者,一般而言意為代表相關於電腦的實體,如硬體、硬體與軟體之結合、軟體、或在執行中的軟 體。例如,部件可為(但不限於)執行在處理器上的程序、處理器、物件、執行檔、執行線程、程式及(或)電腦。作為說明,執行在控制器上的應用程式與控制器兩者皆可為部件。一或更多個部件可位於程序及(或)執行線程內,而部件可被本地化於一個電腦上及(或)分散在兩或更多個電腦之間。
再者,可使用產生軟體、韌體、硬體或以上之結合者的標準編程及(或)工程技術,將所請發明主題實施為方法、設備或製品,來控制電腦以實施所揭示的發明主題。本文所使用的用詞「製品」,意為包含可從任何電腦可讀取裝置、載波或媒體存取的電腦程式。當然,在本發明所屬技術領域中具有通常知識者將認知到,可對此配置進行許多修改,而不脫離所請發明主題的範圍或精神。
本文提供具體實施例的各種作業。在一個具體實施例中,所說明的作業的一或更多者可構成儲存在一或更多個電腦可讀取媒體上的電腦可讀取指令,該等電腦可讀取指令在由計算裝置執行時將使計算裝置執行所說明的作業。所說明的作業的一些或全部的順序,不應被解讀為隱含代表這些作業必需根據此等順序。在本發明所屬技術領域中具有通常知識者在考量本說明的益處之下,將可理解到替代性的順序。再者,將瞭解到不是所有的作業都必需存在本文所提供的每一具體實施例中。
再者,本文所使用的字詞「示例性」,表示作為範例、實例或圖示說明。本文所說明的任何「示例性」的態樣 或設計,不必需被解讀為比其他態樣或設計更具有優勢。更確切地說,使用示例性字詞,意為以具體的方式呈現概念。在本申請案中所使用的用詞「或」,意為表示包含性的「或」,而非排他性的「或」。換言之,除非特別指明或根據背景內容清楚可知,否則「X利用A或B」意為表示自然包含性排列組合的任意者。換言之,若X利用A;X利用B;或X利用A與B兩者,則「X利用A或B」皆滿足前述實例的任意者。此外,本申請案與附加申請專利範圍中使用的冠詞「一」,一般而言可被解讀為表示「一或更多個」,除非特別指明或根據背景內容清楚可知為針對單數形式。
再者,雖然係對於一或更多個實施例來圖示與說明本公開內容,但基於閱讀並瞭解本說明書與附加圖式,其他在本發明所屬技術領域中具有通常知識者將會想到均等的變化與修改。本公開內容包含所有此種修改與變化,且僅受限於下列申請專利範圍的範圍。特別關於由上文所說明的部件(例如元件、資源等等)的執行的各種功能,用於說明此種部件的用詞,除非另外指明,否則意為對應於執行所說明部件的所指明功能(例如為功能性均等)的任何部件,即使這些部件未結構性地均等於所揭示之執行本文圖示說明的本公開內容的示例性實施例中的功能的結構。此外,儘管可已僅針對數個實施例的一者揭示本公開內容的特定特徵,但可在需要時以及對於任何給定或特定應用具有優勢時,將此種特徵可與其他實施例的一或更多個其他特徵結合。再者,對於在實施方式或申請專利範圍中使用的用詞「包括」、「具有」、 「擁有」、「一起」或以上之變異者,這些用詞意為包含性的(與用詞「包含」的方式相同)。
300‧‧‧示例性方法
302-320‧‧‧程序步驟

Claims (20)

  1. 一種執行一動作的方法,該動作與一裝置的一使用者表現的一姿勢配對,該裝置具有一處理器與提供一感測器輸出的一感測器,該方法包含以下步驟:在該處理器上執行使該裝置進行以下步驟的指令:在一訓練模式期間:在該使用者表現該姿勢的同時監測該感測器,以偵測識別該姿勢的一所識別感測器輸出;將該感測器的該所識別感測器輸出與該姿勢配對;以及將一動作與該姿勢配對;以及在一辨識模式期間:監測該感測器的該感測器輸出;以及在偵測到該感測器輸出匹配與該姿勢配對的該所識別感測器輸出時,執行與該姿勢配對的該動作。
  2. 如請求項1所述之方法,其中在該處理器上執行該等指令進一步使該裝置進行以下步驟:在偵測到一增加感測器加入該裝置時,將該裝置轉變至該訓練模式,以在使用者表現該姿勢的同時偵測該增加感測器的該所識別感測器輸出。
  3. 如請求項1所述之方法,其中在該處理器上執行該等指令進一步使該裝置進行以下步驟:在偵測到未在一辨識信心度臨限內與一感測器的一所識別感測器輸出配對的一姿勢 時,將該裝置轉變至該訓練模式,以重新訓練該感測器以辨識該姿勢。
  4. 如請求項1所述之方法,其中在該處理器上執行該等指令進一步使該裝置進行以下步驟:在偵測到一感測器的一校準錯誤時,將該裝置轉變至該訓練模式,以重新訓練該感測器以辨識該姿勢,該校準錯誤減少對於與該姿勢配對的該所識別感測器輸出的一辨識精確度。
  5. 如請求項1所述之方法,其中在該處理器上執行該等指令進一步使該裝置進行以下步驟:在接收到一姿勢設定檔時,將該裝置轉變至該訓練模式,以重新訓練該感測器以辨識該姿勢,該姿勢設定檔指明與不相容於該裝置的該感測器的一所識別感測器輸出配對的一所選擇姿勢。
  6. 如請求項1所述之方法,其中在該處理器上執行該等指令進一步使該裝置進行以下步驟:在偵測到識別未與一動作配對的一所偵測姿勢的該感測器的一感測器輸出時,要求該使用者將該所偵測姿勢與至少一個動作配對。
  7. 如請求項1所述之方法,其中在該處理器上執行該等指令進一步使該裝置進行以下步驟:在接收到來自該使用者的一訓練開始要求時,將該裝置轉變至該訓練模式;以及 在接收到來自該使用者的一訓練完成要求時,將該裝置轉變至該辨識模式。
  8. 如請求項7所述之方法,其中:監測該感測器以偵測該所識別感測器輸出之步驟,進一步包含以下步驟:在該使用者表現該姿勢的同時,在一訓練週期期間內監測該感測器以偵測識別該姿勢的一所識別感測器輸出,該訓練週期係於該訓練開始要求與該訓練完成要求之間;以及配對該所識別感測器輸出之步驟,進一步包含以下步驟:在該訓練週期期間內識別一受限週期,該受限週期短於該訓練週期,且在該受限週期期間內該所識別感測器輸出識別該姿勢;以及將該姿勢與在該受限週期期間內該感測器的該所識別感測器輸出配對。
  9. 如請求項1所述之方法,其中監測該感測器以偵測該所識別感測器輸出之步驟,進一步包含以下步驟:在該使用者對於該姿勢的各別至少兩個姿勢表現期間內,監測該感測器以偵測在該姿勢表現期間內識別該姿勢的該所識別感測器輸出;以及根據該等至少兩個姿勢表現各別的該等所識別感測器輸出,決定該所識別感測器輸出。
  10. 如請求項9所述之方法,其中決定該所識別感測器輸出之步驟,進一步包含以下步驟:比較在該等至少兩個姿勢表現各別期間內的該等所識別感測器輸出,一決定一辨識信心度;在該辨識信心度超出一辨識信心度臨限的同時,指示該使用者重複該姿勢表現;以及在決定位於該辨識信心度臨限內的該辨識信心度時,將該所識別感測器輸出與該姿勢配對。
  11. 一種執行動作的裝置,該等動作與一使用者表現的姿勢配對,該裝置包含:一記憶體;一感測器,該感測器提供一感測器輸出;一姿勢訓練件,該姿勢訓練件:在該使用者表現該姿勢的同時,監測該感測器以偵測識別該姿勢的一所識別感測器輸出,以及在該記憶體中對該姿勢儲存該所識別感測器輸出;一動作配對件,在接收到來自該使用者的要與該姿勢配對的一動作時,在該記憶體中儲存該動作與該姿勢的一配對;以及一姿勢辨識件,該姿勢辨識件:監測該感測器的該感測器輸出,以偵測識別該姿勢的該所識別感測器輸出;以及執行在該記憶體中與該姿勢配對的該動作,該姿勢並 與該所識別感測器輸出配對。
  12. 如請求項11所述之裝置,其中:該裝置包含至少兩個感測器,該等至少兩個感測器各別包含一感測器輸出;偵測識別該姿勢的該所識別感測器輸出進一步包含:在該使用者表現該姿勢的同時,各別監測該等至少兩個感測器,以偵測識別該姿勢的該感測器的該所識別感測器輸出;在該記憶體中儲存該所識別感測器輸出進一步包含:在該記憶體中儲存一起識別該姿勢的該等各別至少兩個感測器的該等所識別感測器輸出;以及在該辨識模式期間內監測該感測器輸出進一步包含:監測該等個別至少兩個感測器的該等感測器輸出。
  13. 如請求項12所述之裝置,其中偵測識別該姿勢的該所識別感測器輸出進一步包含:在該使用者表現該姿勢的同時,在該等至少兩個感測器中:識別至少一個辨識感測器,該至少一個辨識感測器提供識別該姿勢的一所識別感測器輸出,以及識別至少一個非辨識感測器,該至少一個非辨識感測器未提供識別該姿勢的一所識別感測器輸出;以及在該記憶體中儲存該所識別感測器輸出進一步包含:將該至少一個辨識感測器的該等識別感測器輸出在該記憶體中 儲存為與該姿勢配對,並排除該至少一個非辨識感測器的該等所識別感測器輸出。
  14. 如請求項12所述之裝置,其中:偵測識別該姿勢的該所識別感測器輸出進一步包含:要求該使用者在該等至少兩個感測器中,識別識別該姿勢的至少一個所選擇感測器;在該使用者表現該姿勢的同時,僅監測該至少一個所選擇感測器,以偵測識別該姿勢的一所識別感測器輸出;以及在該記憶體中儲存該所識別感測器輸出進一步包含:在該記憶體中僅各別儲存該至少一個所選擇感測器的該等所識別感測器輸出。
  15. 如請求項14所述之裝置,其中:該等各別裝置與至少一個感測器模態配對;要求該使用者識別該至少一個所選擇感測器進一步包含:要求該使用者在各別與該裝置的至少一個感測器配對的至少兩個感測器模態中,識別識別該姿勢的至少一個所選擇感測器模態;偵測該所識別感測器輸出進一步包含:在該使用者表現該姿勢的同時,僅監測與至少一個所選擇感測器模態配對的該至少一個感測器,以偵測識別該姿勢的一所識別感測器輸出;以及 在該記憶體中儲存該所識別感測器輸出進一步包含:在該記憶體中僅儲存與至少一個所選擇感測器模態配對的該至少一個感測器的該等所識別感測器輸出。
  16. 一種儲存指令的電腦可讀取記憶體裝置,該等指令在執行在具有一感測器的一計算裝置的一處理器上時,藉由以下以使該計算裝置執行與一使用者表現的姿勢配對的動作:在一訓練模式期間內:在該使用者表現該姿勢的同時,監測該感測器以偵測識別該姿勢的一所識別感測器輸出;使該感測器的該所識別感測器輸出與該姿勢配對;以及在一辨識模式期間內:監測該感測器的該感測器輸出;以及在偵測到該感測器輸出匹配與該姿勢配對的該所識別感測器輸出時,執行與該姿勢配對的該動作。
  17. 如請求項16所述之電腦可讀取記憶體裝置,其中在該處理器上執行該等指令進一步使該計算裝置:將該姿勢與該動作及該感測器之該所識別感測器輸出的一配對,儲存在一姿勢設定檔中;以及將該姿勢設定檔傳送至一姿勢設定檔服務。
  18. 如請求項16所述之電腦可讀取記憶體裝置,其中在該處 理器上執行該等指令進一步使該計算裝置從一姿勢設定檔服務取得一姿勢設定檔,該姿勢設定檔包含一姿勢與一感測器之一所識別感測器輸出以及一動作的至少一個配對。
  19. 如請求項16所述之電腦可讀取記憶體裝置,其中:該動作進一步與該計算裝置的一裝置背景內容配對;以及執行該動作進一步包含:在於該計算裝置的一當前裝置背景內容匹配與該動作配對的該裝置背景內容的同時,偵測到該感測器輸出匹配與該姿勢配對的該所識別感測器輸出時,執行與該姿勢配對的該動作。
  20. 如請求項16所述之電腦可讀取記憶體裝置,其中:該計算裝置包含至少兩個感測器;該動作進一步與提供該所識別感測器輸出的該感測器配對,該所識別感測器輸出與該姿勢配對;以及執行該動作進一步包含:在偵測到該感測器輸出匹配與該姿勢配對的該所識別感測器輸出時,執行與該姿勢以及提供該感測器輸出的該感測器配對的該動作。
TW104101352A 2014-03-15 2015-01-15 可訓練的基於感測器之姿勢辨識 TW201535168A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/214,707 US9405377B2 (en) 2014-03-15 2014-03-15 Trainable sensor-based gesture recognition

Publications (1)

Publication Number Publication Date
TW201535168A true TW201535168A (zh) 2015-09-16

Family

ID=52774570

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104101352A TW201535168A (zh) 2014-03-15 2015-01-15 可訓練的基於感測器之姿勢辨識

Country Status (6)

Country Link
US (1) US9405377B2 (zh)
EP (1) EP3120222B1 (zh)
KR (1) KR102334272B1 (zh)
CN (1) CN106104424B (zh)
TW (1) TW201535168A (zh)
WO (1) WO2015142593A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI722674B (zh) * 2019-11-21 2021-03-21 國立雲林科技大學 姿態影像訊號與運動訊號之訊號匹配系統以及訊號匹配方法

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR20150104615A (ko) 2013-02-07 2015-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
US20150283703A1 (en) * 2014-04-03 2015-10-08 Brain Corporation Apparatus and methods for remotely controlling robotic devices
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9811352B1 (en) 2014-07-11 2017-11-07 Google Inc. Replaying user input actions using screen capture images
US9571913B2 (en) 2014-10-30 2017-02-14 Smartear, Inc. Smart flexible interactive earplug
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10078803B2 (en) * 2015-06-15 2018-09-18 Google Llc Screen-analysis based device security
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US9633495B2 (en) * 2015-08-03 2017-04-25 Caterpillar Inc. System and method for wirelessly authenticating a device having a sensor
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
USD794611S1 (en) 2016-01-19 2017-08-15 Smartear, Inc. In-ear utility device
USD798843S1 (en) 2016-01-19 2017-10-03 Smartear, Inc. In-ear utility device
USD795224S1 (en) 2016-03-08 2017-08-22 Smartear, Inc. In-ear utility device
US20170347177A1 (en) 2016-05-25 2017-11-30 Smartear, Inc. In-Ear Utility Device Having Sensors
US10045130B2 (en) 2016-05-25 2018-08-07 Smartear, Inc. In-ear utility device having voice recognition
US9838771B1 (en) 2016-05-25 2017-12-05 Smartear, Inc. In-ear utility device having a humidity sensor
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10852829B2 (en) 2016-09-13 2020-12-01 Bragi GmbH Measurement of facial muscle EMG potentials for predictive analysis using a smart wearable system and method
US10535005B1 (en) 2016-10-26 2020-01-14 Google Llc Providing contextual actions for mobile onscreen content
EP3340103A1 (en) * 2016-12-21 2018-06-27 Axis AB Method for identifying events in a motion video
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
WO2018141409A1 (en) * 2017-02-06 2018-08-09 Telefonaktiebolaget Lm Ericsson (Publ) Initiating a control operation in response to a head gesture
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10410634B2 (en) 2017-05-18 2019-09-10 Smartear, Inc. Ear-borne audio device conversation recording and compressed data transmission
CN109519079B (zh) * 2017-09-18 2022-08-30 法雷奥舒适驾驶助手公司 交通工具的机载系统和发送命令到停靠区接入系统的方法
USD883491S1 (en) 2017-09-30 2020-05-05 Smartear, Inc. In-ear device
US10582285B2 (en) 2017-09-30 2020-03-03 Smartear, Inc. Comfort tip with pressure relief valves and horn
GB2574786B (en) * 2017-10-12 2020-12-02 Wexler David Electronic body percussion
CN108227924A (zh) * 2018-01-02 2018-06-29 联想(北京)有限公司 用于电子设备的方法及电子设备
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
GB2572437A (en) * 2018-03-29 2019-10-02 Francisca Jones Maria Display apparatus
CN110415386A (zh) 2018-04-27 2019-11-05 开利公司 基于姿势的进入控制系统的预编程场景数据的建模
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
KR102449905B1 (ko) 2018-05-11 2022-10-04 삼성전자주식회사 전자 장치 및 이의 제어 방법
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2021016484A1 (en) * 2019-07-25 2021-01-28 Apple Inc. Machine-learning based gesture recognition
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11714544B2 (en) * 2020-06-25 2023-08-01 Microsoft Technology Licensing, Llc Gesture definition for multi-screen devices
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11789542B2 (en) * 2020-10-21 2023-10-17 International Business Machines Corporation Sensor agnostic gesture detection
DE102022126772A1 (de) 2022-10-13 2024-04-18 Bayerische Motoren Werke Aktiengesellschaft Anwenderschnittstelle, Fortbewegungsmittel und Verfahren zur Interaktion mit einem Fortbewegungsmittel

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7321854B2 (en) * 2002-09-19 2008-01-22 The Penn State Research Foundation Prosody based audio/visual co-analysis for co-verbal gesture recognition
US8952895B2 (en) 2011-06-03 2015-02-10 Apple Inc. Motion-based device operations
EP2191397B1 (en) * 2007-08-20 2019-01-23 Qualcomm Incorporated Enhanced rejection of out-of-vocabulary words
US9261979B2 (en) 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
US8187182B2 (en) 2008-08-29 2012-05-29 Dp Technologies, Inc. Sensor fusion for activity identification
US20100064261A1 (en) * 2008-09-09 2010-03-11 Microsoft Corporation Portable electronic device with relative gesture recognition mode
US8704767B2 (en) * 2009-01-29 2014-04-22 Microsoft Corporation Environmental gesture recognition
US7996793B2 (en) * 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US10277479B2 (en) 2010-05-11 2019-04-30 Nokia Technologies Oy Method and apparatus for determining user context
US8253684B1 (en) 2010-11-02 2012-08-28 Google Inc. Position and orientation determination for a mobile computing device
WO2012093393A1 (en) 2011-01-07 2012-07-12 Seal Mobile Id Ltd Method and system for unobtrusive mobile device user recognition
US8756173B2 (en) 2011-01-19 2014-06-17 Qualcomm Incorporated Machine learning of known or unknown motion states with sensor fusion
CN103105926A (zh) * 2011-10-17 2013-05-15 微软公司 多传感器姿势识别
US9189252B2 (en) 2011-12-30 2015-11-17 Microsoft Technology Licensing, Llc Context-based device action prediction
US8429103B1 (en) 2012-06-22 2013-04-23 Google Inc. Native machine learning service for user adaptation on a mobile platform
US9785217B2 (en) * 2012-09-28 2017-10-10 Synaptics Incorporated System and method for low power input object detection and interaction
US9104417B2 (en) * 2013-05-08 2015-08-11 Cywee Group Limited Electronic apparatus capable of being waked up through detecting motions
JP6539272B2 (ja) * 2013-08-07 2019-07-03 ナイキ イノベイト シーブイ コンピュータにより実現される方法、非一時的かつコンピュータが読み取り可能な媒体、および単一装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI722674B (zh) * 2019-11-21 2021-03-21 國立雲林科技大學 姿態影像訊號與運動訊號之訊號匹配系統以及訊號匹配方法

Also Published As

Publication number Publication date
WO2015142593A1 (en) 2015-09-24
EP3120222A1 (en) 2017-01-25
US20150261298A1 (en) 2015-09-17
EP3120222B1 (en) 2018-06-27
US9405377B2 (en) 2016-08-02
CN106104424B (zh) 2019-04-30
KR102334272B1 (ko) 2021-12-01
KR20160132988A (ko) 2016-11-21
CN106104424A (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
TW201535168A (zh) 可訓練的基於感測器之姿勢辨識
US20200312335A1 (en) Electronic device and method of operating the same
KR102607666B1 (ko) 전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치
TWI613562B (zh) 用於解鎖另一裝置之認證裝置
US20190013025A1 (en) Providing an ambient assist mode for computing devices
US10020835B2 (en) Wearable device and method of transmitting message from the same
KR102616403B1 (ko) 전자 장치 및 그의 메시지 전달 방법
KR102517228B1 (ko) 사용자의 입력에 대한 외부 전자 장치의 응답 시간에 기반하여 지정된 기능을 제어하는 전자 장치 및 그의 방법
US11972761B2 (en) Electronic device for sharing user-specific voice command and method for controlling same
WO2020211607A1 (zh) 生成视频的方法、装置、电子设备及介质
KR20200094396A (ko) 전자 장치 및 복수의 액션들을 포함하는 태스크를 결정하는 방법
CN111344660A (zh) 用于操作应用的电子设备
KR102592907B1 (ko) 텍스트 입력 디바이스 및 그 방법
US11817097B2 (en) Electronic apparatus and assistant service providing method thereof
WO2016206646A1 (zh) 使机器装置产生动作的方法及系统
KR102620967B1 (ko) 전자 장치 및 그의 자세 교정 방법
US20190163436A1 (en) Electronic device and method for controlling the same
US11341965B2 (en) System for processing user utterance and operating method thereof
TWI672612B (zh) 可穿戴式裝置、產生編碼密鑰的方法以及非暫時性電腦可讀記錄媒體
KR102616156B1 (ko) 컨텐츠를 생성하기 위한 전자 장치
US10600417B2 (en) Wearable human interface devices and systems
US11997445B2 (en) Systems and methods for live conversation using hearing devices
EP3757818B1 (en) Systems and methods for automatic service activation on a computing device
US11803393B2 (en) Systems and methods for automatic service activation on a computing device
KR20220121637A (ko) 전자 장치 및 그 동작방법