TWI675687B - 一種儀器和由用戶控制儀器之方法 - Google Patents

一種儀器和由用戶控制儀器之方法 Download PDF

Info

Publication number
TWI675687B
TWI675687B TW104118216A TW104118216A TWI675687B TW I675687 B TWI675687 B TW I675687B TW 104118216 A TW104118216 A TW 104118216A TW 104118216 A TW104118216 A TW 104118216A TW I675687 B TWI675687 B TW I675687B
Authority
TW
Taiwan
Prior art keywords
event
user
instrument
devices
scope
Prior art date
Application number
TW104118216A
Other languages
English (en)
Other versions
TW201605521A (zh
Inventor
文森 艾略米
Vincent Alleaume
卡洛琳 貝拉德
Caroline Baillard
皮埃瑞克 喬伊特
Pierrick Jouet
Original Assignee
法商內數位Ｃｅ專利控股公司
Interdigital Ce Patent Holdings
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 法商內數位Ｃｅ專利控股公司, Interdigital Ce Patent Holdings filed Critical 法商內數位Ｃｅ專利控股公司
Publication of TW201605521A publication Critical patent/TW201605521A/zh
Application granted granted Critical
Publication of TWI675687B publication Critical patent/TWI675687B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)

Abstract

本案擬議一種儀器和由用戶控制儀器之方法。擬議之儀器包括：檢測單元，供檢測用戶關於包含儀器在內的複數裝置所執行第一事件；控制單元，按照檢測單元所檢測第一事件，產生第二事件；輸出單元，向用戶呈現第二事件，其中控制單元產生命令，以用戶對檢測單元所檢測第二事件之回應為函數，在儀器上執行第一事件。擬議之儀器和方法，適於在用戶執行相當於第一事件的命令之前，提供第二事件，供用戶確認第一事件之意圖。

Description

一種儀器和由用戶控制儀器之方法
本案一般係關於人機介面(HMI)。具體而言，本案係關於一種儀器和由用戶控制儀器之方法。
本節旨在向讀者介紹各項技術面向，會與本案下述和/或所請求諸要旨相關。此處討論相信有助於向讀者提供背景資訊，以便更佳明白本案諸要旨。因此，須知此等陳述由此觀點閱讀，而非納入先前技術。
在人機介面(HMI)領域內，基於手勢辨識和/或聲音辨識過程之系統，近來在分別具有家用控制台和導航服務之視訊遊戲機應用情況，證明有些好用。例如，新的微軟控制台XBOX One遊戲機，透過簡單的聲音開始命令(利用「Xbox開機」句)，永遠不需完全關機，等待啟動。
隨著上述趨勢，人們容易想像到，未來在同一位置(家庭、公共運輸工具等)，會有許多裝置可經由聲頻或成像感測器，接收語音或手勢的命令。例如在家裡，會變成一種通常情況，即同一型有多種產品，具備這種能力在近旁操作。再以XBOX One為例，在很近區域內，可有二種相似的控制台可選用。
以用戶在房間內和其裝置之一(例如在同一房間內)常見的聲頻/視頻互動性而言，可能需要或是考慮如下功能或情境：(1)用戶想利用聲音或手勢，與其身旁裝置之一互動；(2)用戶對預期的裝置執行命令(語音或手勢)，假設是開啟互動(例如設置裝置之表單呼叫、媒體選擇等)；(3)用戶之觸發命令會開啟與多個裝置之互動，無消除模糊操作，會引起衝突和不需要的情況(例如二個靠近的XBOX One會因捕獲同樣語音命令而開啟)。
觸發互動事件，即檢測到特殊手勢或特殊聲音命令時，可能 會有無意且出於使用文脈的裝置以外在執行。但若非所要，應不會導致此等互動性對話之真正啟動。於此預期要有些雙重核對程序。
簡言之，根據手勢辨識和/或聲音辨識的人機互動，有時有若干裝置要在有限面積內控制。有模糊不清問題存在，因為可能難以確定要控制的是哪一個裝置(幾個裝置可能同時對命令回應)。
所以，亟需有消除模糊系統，容許語音/手勢控制的裝置，在附近操作，諸如在家裡場所。
上述因接近引起模糊不清的問題，在家庭娛樂系統中已知，並且在使用具有一個或多個控制台的無線遊戲機槳之文脈內討論過。已知解決方案試圖以初始(單發)配對法解決此問題，此法界定各槳和選用控制台之間，透過由最後用戶明顯處理的互動配對法連結(PS3和Wii控制台被認為使用此策略)。然而，此等解決方案預料不會常用，因通常會要求用戶與事關配對法的裝置之實體互動，所以最後不易延伸到日常語音/手勢複數裝置之控制用。此外，在有些情況下，用戶會離開要控制的裝置有些距離，此時傳統的按鈕介面即無法用來控制。
因此，仍然亟需改進人機介面之消除模糊系統，至少對於根據手勢辨識和/或聲音辨識的系統。
本案記載一種儀器和由用戶控制儀器之方法。擬議之儀器和方法適於在由用戶執行相當於第一事件的命令之前，提供第二事件，使用戶確認第一事件之意圖。本發明具體例係在系統內，以根據手勢辨識和/或聲音辨識之HMI實施。本發明具體例對根據手勢辨識和/或聲音辨識之系統，可改進人機介面之消除模糊系統。
按照本案第一要旨，倡議一種儀器。此儀器包括：檢測單元，供檢測用戶關於包含儀器再內的複數裝置所執行第一事件；控制單元，按照檢測單元所檢測第一事件，產生第二事件；輸出單元，向用戶呈現第二事件，其中控制單元產生命令，以用戶對檢測單元所檢測第二事件之回應為函數，在儀器上執行第一事件。
在一具體例中，檢測單元檢測第一事件，以手勢和/或聲音的形式。
在一具體例中，第一事件為觸發事件，啟動儀器和用戶間之互動對話。
在一具體例中，第二事件為驗證事件，供用戶驗證啟動互動對話的意圖。
在一具體例中，驗證事件包括正文訊息，供用戶重複口述。
在一具體例中，驗證事件包括查詢正文、影像、聲頻或視頻之形式，要求用戶進行活動。
在一具體例中，控制單元傳輸命令至執行第一事件所需組件和相關裝置。
在一具體例中，輸出單元以第二事件形式確定之方式，向用戶呈現第二事件。
按照本案第二要旨，擬議由用戶控制儀器之方法。此方法在儀器位階包括：接收用戶關於包含儀器在內的複數裝置所執行之第一事件；以觸發事件為函數，產生第二事件；向用戶呈現第二事件；以用戶對第二事件回應為函數，執行相當於儀器上第一事件之命令，代替複數裝置當中之其他裝置。
在一具體例中，第一事件為手勢和/或聲音之形式。
在一具體例中，第二事件包括正文訊息，供用戶重複口述。
在一具體例中，第二事件包括查詢正文、影像、聲頻或視頻之形式，要求用戶進行活動。
按照本案第三要旨，擬議一種電腦程式製品，可從通訊網路下載和/或錄製於電腦可讀式媒體和/或處理器可執行媒體。電腦程式包括程式碼指令，供實施本案第二要旨之方法步驟。
按照本案第四要旨，擬議非暫態電腦可讀式媒體，包括其上所錄製電腦程式製品，能夠由處理器運作。非暫態電腦可讀式媒體，包含程式碼指令，供實施本案第二要旨之方法步驟。
須知本發明進一步要旨和優點，由本發明如下所述，即可明白。
1,2..n‧‧‧儀器
100‧‧‧系統
201‧‧‧檢測單元
202‧‧‧控制單元
203‧‧‧輸出單元
401‧‧‧媒體裝置
402‧‧‧LCD面板顯示器
S301‧‧‧由用戶利用儀器接收第一事件
S302‧‧‧儀器以觸發事件為函數產生第二事件
S303‧‧‧儀器向用戶呈現第二事件
S304‧‧‧儀器於接到用戶對第二事件之正確回應時執行相當於第一事件之命令
第1圖為本案可按照本發明具體例之系統方塊圖；第2圖為第1圖所示本發明具體例系統中儀器結構之方塊圖；第3圖為本發明具體例由用戶控制儀器之方法流程圖；第4圖為在經聲音命令控制的媒體裝置脈絡中實施之本發明具體例方法說明圖。
附圖包含在內，提供進一步瞭解本發明具體例，用來說明具體例原理。本發明不限於具體例。
茲參照附圖詳述本發明具體例。在以下說明中，已知功能和組態之一些詳細說明省略，力求簡明。
第1圖繪示舉例實施本案之系統100。此系統100可為基於手勢辨識和/或聲音辨識過程之任何種HMI系統，諸多微軟控制台XBOX One、PS3和任天堂Wii控制台。如第1圖所示，用戶可藉聲音或手勢與儀器1,2,..n之一互動。對系統100不進一步詳述。
第2圖為方塊圖，表示本發明具體例系統100內之儀器1結構。
如第2圖所示，儀器1包括檢測單元201，供檢測用戶關於儀器1所執行第一事件。第一事件可為各種形式之手勢和/或聲音，用戶可藉以與儀器1互動。在一具體例中，第一事件可為觸發事件，界定為特別手勢和/或語音事件，啟動用戶與儀器1間之互動對話。檢測單元201可用不同感測器和檢測技術。因技術專家所公知，且超出本案範圍，故不進一步詳述。
儀器1又包括控制單元202，按照檢測單元201所檢測第一事件，產生第二事件。由用戶檢測第一事件的第1圖所示系統100內之每一儀器，可按照儀器旨在驗證用戶啟動互動意圖之方式，產生個別第二事件。例如，以第一事件為觸發事件啟動互動對話之情況言，第二事件可為驗證事件，讓用戶驗證其啟動互動對話之意圖。
第二事件可採取下述形式：(1)正文訊息，諸如獨特字、數字碼，供用戶重複口述；(2)推敲查詢正文、影像、聲頻或視頻之形式，要求用戶進行活動， 諸如手勢。
對上述形式(1)，例如可為簡單獨特字，供用重複口述。
對上述形式(2)，例如可為正文查詢，諸如「用手劃圓圈」，供用戶進行活動，諸如手勢。亦可為聲音查詢，諸如「重複現時顯示號碼」，供用戶進行。查詢亦可為顯示影像/視訊形式。例如，可拍攝手勢之短視訊/動畫，供用戶模擬。
可知其他適當形式亦可應用於第二事件。不進一步詳述。
儀器1又包括輸出單元203，向用戶呈現第二事件。可知第二事件可按照第二事件之形式，以適當方式呈現。例如，若第二事件為正文訊息，可用前面板LCD以呈現第二事件。呈推敲查詢形式之第二事件，可在鏈接自動電視機上呈現給用戶。若第二事件為聲頻查詢，需要揚聲器，在此情況時，第二事件宜以隨機延遲呈現，以免與系統100可能有的其他儀器疊合。
呈現第二事件用之裝置，可為儀器1之一部份，或獨立於儀器1之裝置。
在一具體例中，輸出單元203容許用戶設定關於呈現第二事件的裝置之優先。例如，若有LCD前面顯示器和揚聲器輸出供呈現，則輸出單元203可容許用戶設定何者優先。
用戶可對儀器所呈現第二事件，正確回應其按照第二事件要求控制之真正意圖。
若第二事件為正文訊息，顯示在前面板LCD上，要求用戶讀出，用戶即可藉讀出所顯示正文字或碼字做回應。例如，第二事件可為正文訊息「重複現時顯示號碼：0011」。用戶即可藉讀出號碼「0011」，做正確回應。
若第二事件為推敲查詢，要求用戶做出額外手勢，用戶即可藉執行推敲查詢指示之額外手勢，做回應。例如，第二事件可為正文查詢「用手劃圓圈」。則用戶可藉執行第二事件要求之手勢，做正確回應。
若第二事件是問用戶聲頻形式，用戶可回答聲頻查詢做回應。
在一實施例中，輸出單元203容許用戶，視裝置互動容量， 以裝置有關回應型式列為優先。例如，用戶可在一種情況時，設定聲音回應優先，在另一情況時，則以手勢回應優先。
檢測單元201可檢測用戶的回應。檢測對第二事件正確回應時，控制單元202會產生命令，執行第一事件，並傳送命令至系統100內之必咬組件或裝置。在一實施例中，第一事件為觸發事件，啟動用戶和儀器1間之互動對話。在此情況時，若檢測單元201接到對第二事件之正確回應，控制單元202會開啟儀器1之必要組件，以啟動與用戶之互動對話。可知互動對話所需之系統100內其他裝置，亦可開啟和操作。
其他儀器，例如第1圖所示儀器2至n，於延遲至第二事件後，未檢測到正確回應或檢測到無效回應者，即不會啟動與用戶之互動對話。
第3圖為流動圖，表示本發明一具體例，由用戶控制儀器之方法。
如第3圖所示，方法包括接收步驟S301，利用儀器，由用戶接收第一事件。
在步驟S302，儀器以觸發事件為函數，產生第二事件。
在步驟S303，儀器向用戶呈現第二事件。
在步驟S304，儀器於接到用戶對第二事件正確回應時，執行相當於第一事件之命令。
實施例
其次，參見第4圖，於經由聲音命令控制之媒體裝置脈絡中，說明本發明具體例之方法。
在此實施例中，媒體裝置401裝設有擴音器，諸如增進具有LCD面板顯示器402之藍光閱讀機，並連接到第4圖上未示之外部顯示器(例如電視機)。就此而言，媒體裝置401受聲音控制。
用戶可在第4圖之步驟1中，執行觸發事件，啟動與媒體裝置401之互動對話。觸發事件可為特別字或手勢，視為來自藍光裝置之活化事件。例如，觸發事件之目的，在於讀取插入之碟片。
於接到觸發事件時，媒體裝置401會開始消除模糊程序，以核對用戶是否真正想要建立互動對話。
消除模糊程序包括，首先按照所接到觸發事件，產生特別挑戰查詢，如第4圖步驟2所示。在此實施例中，挑戰查詢是任意正文代碼。
任意正文代碼即以適當方式呈現給用戶。尤其是，若電視機未開，任意正文代碼可顯示於LCD面板顯示器上，否則就在電視機上，甚至二者兼用，連同裝置資訊(諸如裝置別名、模式等)。如第4圖所示，顯示任意正文代碼如下：DVD播放器TechniC對話Init構型請重複代碼1456
如下述，任意正文代碼有助於用戶確認其想要開始互動對話之裝置。
在此實施例中，如第4圖所示步驟3，做為對挑戰查詢之回應，用戶重複所顯示正文代碼，確認以此媒體裝置401啟動互動對話之意圖。
於第4圖步驟4接到回應時，媒體裝置401執行相當於觸發事件之命令，亦即啟動互動對話。為此目的，需涉及媒體裝置401之某些組件或系統內之裝置。例如，可能是電視機需要利用藍光閱讀機開啟，如果在消除模糊程序當中，是在睡眠模態，只用到LCD面板顯示器402。
本發明一具體例提供電腦程式製品，可從通訊網路下載和/或載錄於電腦可讀取和/或處理器可執行之媒體上，包括程式碼，以實施上述方法步驟。
本發明一具體例提供非暫態電腦可讀式媒體，包括錄製於上之電腦程式製品，能夠利用處理器運作，含有程式碼指令，以實施上述發明步驟。
須知本發明可以硬體、軟體、韌體、特別目的處理器之各種形式，或其組合方式實施。此外，軟體最好以應用程式實施，以可觸知方式在程式儲存裝置上具體化。應用程式可上載至包括任何適用結構之機器，並由此執行。機器最好在電腦平台上實施，具體硬體，諸如一個或多個中央處理單元(CPU)、隨機存取記憶器(RAM)，和輸出入(I/O)界 面。電腦平台亦含有操作系統和微指令碼。上述各種過程和功能，可為微指令碼之一部份或應用程式之一部份(或其組合)，經由操作系統執行。此外，各種其他週邊裝置可連接至電腦平台，諸如附加資料儲存裝置和印刷裝置。
又須知因附圖所示之一些構成系統組件和方法步驟，最好以軟體實施，故系統組件(或過程步驟)間之實際連接，因本發明程式規劃方法不同而異。據此處所揭示，相關技術之專家即可構想本發明此等所述和類似實施方式或組態。

Claims (15)

  1. 一種用於在複數其他裝置中選擇用於執行由用戶執行之事件的儀器(1)，該儀器包括：一檢測單元(201)，供檢測用戶關於包含儀器在內的複數裝置所執行之事件；其中該複數裝置一件以上有能力檢測該事件；一控制單元(202)，用於根據檢測單元(201)檢測到之事件，產生一任意正文詢問；一輸出單元(203)，用於由控制單元(202)生成的任意正文詢問呈現給用戶，其中在延遲之前，若由該檢測單位(201)檢測到用戶對該任意正文詢問有正確回應，該控制單元即產生命令，在儀器上執行該事件，容許用戶選擇該儀器，代替複數裝置中之其他裝置者。
  2. 如申請專利範圍第1項之儀器(1)，其中該檢測單元(201)以手勢和/或聲音之形式，檢測該事件者。
  3. 如申請專利範圍第1項之儀器(1)，其中該事件為觸發事件，供啟動儀器和用戶間之互動對話者。
  4. 如申請專利範圍第3項之儀器(1)，其中對該任意正文詢問，是確認供用戶意圖之驗證，以啟動互動對話者。
  5. 如申請專利範圍第4項之儀器(1)，其中該任意正文詢問包括正文訊息，供用戶重複口述者。
  6. 如申請專利範圍第4項之儀器(1)，其中該任意正文詢問包括要求用戶進行活動者。
  7. 如申請專利範圍第1項之儀器(1)，其中該控制單元(202)，傳送命令至執行事件所需之組件和相關裝置者。
  8. 如申請專利範圍第1至7項任一項之儀器，其中任意正文詢問是使用擴音器和隨機延遲呈現者。
  9. 一種由用戶控制儀器之方法，於儀器位階包括：接收(S301)由用戶關於包含儀器在內的複數裝置所執行一事件；其中該複數裝置一件以上有能力檢測該事件；按照事件，產生(S302)任意正文詢問；向用戶呈現(S303)任意正文詢問；在延遲之前，若檢測到用戶對任意正文詢問有正確回應，即在儀器上執行(S304)相當於事件之命令，容許用戶選擇該儀器，代替複數裝置當中之其他裝置者。
  10. 如申請專利範圍第9項之方法，其中該事件呈手勢和/或聲音之形式者。
  11. 如申請專利範圍第9項之方法，其中該任意正文詢問包括正文訊息，供用戶重複口述者。
  12. 如申請專利範圍第9至11項任一項之方法，其中任意正文詢問是使用擴音器和隨機延遲呈現者。
  13. 一種電腦程式，包括程式碼指令，可利用處理器執行，以實施申請專利範圍第9至12項至少一項方法之步驟者。
  14. 一種電腦程式製品，儲存於非暫態電腦可讀式媒體內，包括程式碼指令，可利用處理器執行，以實施申請專利範圍第9至12項至少一項方法之步驟者。
  15. 一種包括按照申請專利範圍第1至8項之任一項具有能力檢測同樣事件的複數儀器之系統。
TW104118216A 2014-06-20 2015-06-05 一種儀器和由用戶控制儀器之方法 TWI675687B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14305964.0 2014-06-20
EP14305964.0A EP2958010A1 (en) 2014-06-20 2014-06-20 Apparatus and method for controlling the apparatus by a user

Publications (2)

Publication Number Publication Date
TW201605521A TW201605521A (zh) 2016-02-16
TWI675687B true TWI675687B (zh) 2019-11-01

Family

ID=51178830

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104118216A TWI675687B (zh) 2014-06-20 2015-06-05 一種儀器和由用戶控制儀器之方法

Country Status (9)

Country Link
US (1) US10241753B2 (zh)
EP (2) EP2958010A1 (zh)
JP (1) JP2016009495A (zh)
KR (1) KR102504164B1 (zh)
CN (1) CN105320268B (zh)
AU (1) AU2015203024B2 (zh)
BR (1) BR102015014596B1 (zh)
HK (1) HK1216791A1 (zh)
TW (1) TWI675687B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2958010A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Apparatus and method for controlling the apparatus by a user
EP3113140A1 (en) * 2015-06-30 2017-01-04 Orange User input processing for controlling remote devices
EP3113138A1 (en) 2015-06-30 2017-01-04 Orange Remote control of an electronic device with a selectable element
US10032451B1 (en) * 2016-12-20 2018-07-24 Amazon Technologies, Inc. User recognition for speech processing systems
US10572107B1 (en) 2017-06-23 2020-02-25 Amazon Technologies, Inc. Voice communication targeting user interface
US11100146B1 (en) * 2018-03-23 2021-08-24 Amazon Technologies, Inc. System management using natural language statements
JP7001012B2 (ja) * 2018-07-30 2022-01-19 オムロン株式会社 サポート装置およびサポートプログラム
CN111968631B (zh) * 2020-06-29 2023-10-10 百度在线网络技术（北京）有限公司 智能设备的交互方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1019109B (zh) * 1986-03-04 1992-11-18 帝国化学工业公司 含二苯基醚衍生物的杀虫组合物
TW200741810A (en) * 2006-03-28 2007-11-01 Tokyo Electron Ltd Dynamic metrology sampling with wafer uniformity control
CN101103278A (zh) * 2004-11-22 2008-01-09 泰拉丁公司 具有同步仪器的自动测试系统
US20120089392A1 (en) * 2010-10-07 2012-04-12 Microsoft Corporation Speech recognition user interface
US20140007115A1 (en) * 2012-06-29 2014-01-02 Ning Lu Multi-modal behavior awareness for human natural command control

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7053752B2 (en) * 1996-08-06 2006-05-30 Intuitive Surgical General purpose distributed operating room control system
US5953541A (en) 1997-01-24 1999-09-14 Tegic Communications, Inc. Disambiguating system for disambiguating ambiguous input sequences by displaying objects associated with the generated input sequences in the order of decreasing frequency of use
US6353764B1 (en) * 1997-11-27 2002-03-05 Matsushita Electric Industrial Co., Ltd. Control method
JPH11327753A (ja) * 1997-11-27 1999-11-30 Matsushita Electric Ind Co Ltd 制御方法及びプログラム記録媒体
US20020193989A1 (en) * 1999-05-21 2002-12-19 Michael Geilhufe Method and apparatus for identifying voice controlled devices
JP2001296881A (ja) * 2000-04-14 2001-10-26 Sony Corp 情報処理装置および方法、並びに記録媒体
JP2002007240A (ja) * 2000-06-26 2002-01-11 Toshiba Corp 情報処理装置、電化製品管理システム及び情報制御方法
WO2002033541A2 (en) * 2000-10-16 2002-04-25 Tangis Corporation Dynamically determining appropriate computer interfaces
US7069215B1 (en) 2001-07-12 2006-06-27 At&T Corp. Systems and methods for extracting meaning from multimodal inputs using finite-state devices
US6868383B1 (en) 2001-07-12 2005-03-15 At&T Corp. Systems and methods for extracting meaning from multimodal inputs using finite-state devices
US20030055644A1 (en) 2001-08-17 2003-03-20 At&T Corp. Systems and methods for aggregating related inputs using finite-state devices and extracting meaning from multimodal inputs using aggregation
US20050027534A1 (en) 2003-07-30 2005-02-03 Meurs Pim Van Phonetic and stroke input methods of Chinese characters and phrases
JP4416643B2 (ja) 2004-06-29 2010-02-17 キヤノン株式会社 マルチモーダル入力方法
US20060069563A1 (en) 2004-09-10 2006-03-30 Microsoft Corporation Constrained mixed-initiative in a voice-activated command system
US20060059535A1 (en) * 2004-09-14 2006-03-16 D Avello Robert F Method and apparatus for playing content
US20060222210A1 (en) * 2005-03-31 2006-10-05 Hitachi, Ltd. System, method and computer program product for determining whether to accept a subject for enrollment
US8694322B2 (en) * 2005-08-05 2014-04-08 Microsoft Corporation Selective confirmation for execution of a voice activated user interface
ATE506811T1 (de) * 2006-02-06 2011-05-15 Koninkl Philips Electronics Nv Audio-video-schalter
JP5156013B2 (ja) * 2006-07-10 2013-03-06 アクセンチュア グローバル サービスィズ ゲーエムベーハー フィードバックを提供するための移動パーソナルサービスプラットフォーム
US20080022208A1 (en) * 2006-07-18 2008-01-24 Creative Technology Ltd System and method for personalizing the user interface of audio rendering devices
US7747446B2 (en) 2006-12-12 2010-06-29 Nuance Communications, Inc. Voice recognition interactive system with a confirmation capability
CA2591808A1 (en) * 2007-07-11 2009-01-11 Hsien-Hsiang Chiu Intelligent object tracking and gestures sensing input device
EP2037427A1 (en) * 2007-09-12 2009-03-18 Siemens Aktiengesellschaft Interface device for user communication with a controller and method for inputting commands to a controller
US8154381B2 (en) * 2007-12-31 2012-04-10 Universal Electronics Inc. System and method for interactive appliance control
US8099289B2 (en) * 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
JP5420261B2 (ja) * 2008-03-28 2014-02-19 シャープ株式会社 遠隔操作装置、操作対象装置、遠隔操作装置の制御方法、操作対象装置の制御方法、及び遠隔操作システム
US9123341B2 (en) 2009-03-18 2015-09-01 Robert Bosch Gmbh System and method for multi-modal input synchronization and disambiguation
US8232859B2 (en) * 2009-08-11 2012-07-31 Empire Technology Development Llc Multi-dimensional controlling device
US20120110456A1 (en) * 2010-11-01 2012-05-03 Microsoft Corporation Integrated voice command modal user interface
US9092132B2 (en) 2011-01-24 2015-07-28 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
WO2013101438A1 (en) * 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US20130197914A1 (en) * 2012-01-26 2013-08-01 Microtechnologies Llc D/B/A Microtech Voice activated audio control system and associated method of use
US20130238326A1 (en) * 2012-03-08 2013-09-12 Lg Electronics Inc. Apparatus and method for multiple device voice control
KR102019719B1 (ko) * 2013-01-17 2019-09-09 삼성전자 주식회사 영상처리장치 및 그 제어방법, 영상처리 시스템
US10255930B2 (en) 2013-06-28 2019-04-09 Harman International Industries, Incorporated Wireless control of linked devices
WO2015005927A1 (en) * 2013-07-11 2015-01-15 Intel Corporation Device wake and speaker verification using the same audio input
US9582246B2 (en) * 2014-03-04 2017-02-28 Microsoft Technology Licensing, Llc Voice-command suggestions based on computer context
US9489171B2 (en) * 2014-03-04 2016-11-08 Microsoft Technology Licensing, Llc Voice-command suggestions based on user identity
US9430186B2 (en) 2014-03-17 2016-08-30 Google Inc Visual indication of a recognized voice-initiated action
EP2958010A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Apparatus and method for controlling the apparatus by a user
US20150370272A1 (en) * 2014-06-23 2015-12-24 Google Inc. Intelligent configuration of a smart environment based on arrival time
US20160077793A1 (en) 2014-09-15 2016-03-17 Microsoft Corporation Gesture shortcuts for invocation of voice input
US9424841B2 (en) 2014-10-09 2016-08-23 Google Inc. Hotword detection on multiple devices
US10228904B2 (en) 2014-11-12 2019-03-12 Lenovo (Singapore) Pte. Ltd. Gaze triggered voice recognition incorporating device velocity

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1019109B (zh) * 1986-03-04 1992-11-18 帝国化学工业公司 含二苯基醚衍生物的杀虫组合物
CN101103278A (zh) * 2004-11-22 2008-01-09 泰拉丁公司 具有同步仪器的自动测试系统
TW200741810A (en) * 2006-03-28 2007-11-01 Tokyo Electron Ltd Dynamic metrology sampling with wafer uniformity control
US20120089392A1 (en) * 2010-10-07 2012-04-12 Microsoft Corporation Speech recognition user interface
US20140007115A1 (en) * 2012-06-29 2014-01-02 Ning Lu Multi-modal behavior awareness for human natural command control

Also Published As

Publication number Publication date
CN105320268B (zh) 2019-12-24
CN105320268A (zh) 2016-02-10
EP2958011B1 (en) 2018-11-14
EP2958011A1 (en) 2015-12-23
KR20150145709A (ko) 2015-12-30
BR102015014596A2 (pt) 2018-02-27
KR102504164B1 (ko) 2023-02-28
JP2016009495A (ja) 2016-01-18
US20150370319A1 (en) 2015-12-24
AU2015203024A1 (en) 2016-01-21
HK1216791A1 (zh) 2016-12-02
EP2958010A1 (en) 2015-12-23
AU2015203024B2 (en) 2019-09-26
BR102015014596B1 (pt) 2022-08-09
TW201605521A (zh) 2016-02-16
US10241753B2 (en) 2019-03-26

Similar Documents

Publication Publication Date Title
TWI675687B (zh) 一種儀器和由用戶控制儀器之方法
JP6630665B2 (ja) 生体ｉｄ、フィードバックおよびユーザインタラクション状態の相関表示
EP3211638B1 (en) Control device, control method, program and information storage medium
US20150278503A1 (en) Touchscreen unlocking method and apparatus
CN107050850A (zh) 虚拟场景的录制和回放方法、装置以及回放系统
CN113055629A (zh) 显示装置及其控制方法
WO2015100933A1 (zh) 一种实现多操作系统的数据处理方法及终端设备
US20170180807A1 (en) Method and electronic device for amplifying video image
US11769499B2 (en) Driving interaction object
US20180324703A1 (en) Systems and methods to place digital assistant in sleep mode for period of time
EP4443885A1 (en) Resource processing method and apparatus for live streaming studio, device, and storage medium
US10339928B2 (en) Control device, control method, program and information storage medium
WO2018077170A1 (zh) 虚拟导航栏的处理方法和终端
TWI729323B (zh) 互動式遊戲系統
US9872000B2 (en) Second screen device and system
WO2019137437A1 (zh) 视频播放方法及装置、终端设备及计算机可读存储介质
CN111167115A (zh) 交互式游戏系统
EP2876826A1 (en) Second screen device and system for displaying a playload of a watermark
US20170169852A1 (en) Method for resuming playing audio-video file after muting and electronic device
JP2021098045A (ja) ゲームプログラムおよびゲーム装置
US20140085187A1 (en) Display apparatus and control method thereof
JP2017016486A (ja) 情報処理装置、情報処理方法およびプログラム