TWI531927B - 用於一背景任務之互動輸入 - Google Patents

用於一背景任務之互動輸入 Download PDF

Info

Publication number
TWI531927B
TWI531927B TW103109151A TW103109151A TWI531927B TW I531927 B TWI531927 B TW I531927B TW 103109151 A TW103109151 A TW 103109151A TW 103109151 A TW103109151 A TW 103109151A TW I531927 B TWI531927 B TW I531927B
Authority
TW
Taiwan
Prior art keywords
application
background
foreground
touch gesture
input
Prior art date
Application number
TW103109151A
Other languages
English (en)
Other versions
TW201447645A (zh
Inventor
強那森Ｋ 凱司
法蘭西斯Ｂ 麥克道高爾
蘇薩那 艾瑞藍歐
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201447645A publication Critical patent/TW201447645A/zh
Application granted granted Critical
Publication of TWI531927B publication Critical patent/TWI531927B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Description

用於一背景任務之互動輸入
本發明的實施例大體上係關於使用者器件，且更特定而言係關於偵測非觸控互動輸入以影響任務或應用程式。
當前，使用者器件(例如，智慧型電話、平板電腦、膝上型電腦等)通常具有能夠同時執行一個以上應用程式或任務的計算器件處理器。為了控制應用程式或任務，使用者可能能夠導覽使用者想要控制的應用程式或任務，或替代地，使用者可能能夠「下拉」應用程式或任務的控制項選單或清單。
在一體式車載系統的實例中，語音控制項可允許使用者在對主任務首次進行語音輸入之後提供針對功能的輸入。舉例而言，當無線電正在播放時，使用者可按壓針對語音命令的按鈕。無線電接著靜音，且使用者可提供諸如「設定溫度為78度」的語音命令。改變溫度，且無線電接著取消靜音。因此，語音控制項在其對主任務進行時可允許使用者將輸入提供給應用程式。然而，此等可用控制項在其他情形下可不起作用。
因此，在此項技術中需要改良使用者器件上之多工。
提供根據一或多個實施例之系統及方法，其用於使用諸如非觸控示意動作的互動輸入作為輸入命令從而在不影響經聚焦之任務或應 用程式(例如，前景任務或應用程式)的情況下影響或控制應用程式或任務，例如，並非當前經聚焦之任務或應用程式的應用程式(例如，背景任務或應用程式)。
根據一實施例，一種用於控制一背景應用程式之方法包含偵測藉由一使用者器件接收之一非觸控示意動作輸入。該方法亦包含使該非觸控示意動作輸入與在一背景中執行之一應用程式相關聯，其中一不同經聚焦之應用程式正在一前景中執行。且方法進一步包含在不影響該前景應用程式的情況下藉由該關聯非觸控示意動作輸入控制該背景應用程式。
根據另一實施例，一種器件包含經組態以偵測非觸控示意動作輸入的輸入；及一或多個處理器，其經組態以：使該非觸控示意動作輸入與在一背景中執行之一應用程式相關聯，其中一不同經聚焦之應用程式正在一前景中執行；及在不影響該前景應用程式的情況下藉由該關聯非觸控示意動作輸入控制該背景應用程式。在一實施例中，處理器經進一步組態以在該使用者器件之該介面上將一覆疊顯示於該經聚焦之應用程式上方，其中該覆疊指示非觸控示意動作輸入可用來影響該背景應用程式。在另一實施例中，該非觸控示意動作輸入包含藉由一物件、凝視或眼睛追蹤進行之一姿勢或一運動。在另一實施例中，處理器經進一步組態以使用一全域查找表，該全域查找表指示指派給用於對應特定應用程式之對應命令的特定非觸控示意動作輸入。在另一實施例中，處理器經進一步組態以基於該使用者器件之一當前輸出狀態將非觸控示意動作輸入指派給用於應用程式之對應命令。在另一實施例中，處理器經進一步組態以：偵測向該前景應用程式及該背景應用程式登記之一非觸控示意動作輸入；及選擇用於應用該偵測到之非觸控示意動作輸入之一作用中非觸控示意動作輸入應用程式。在另一實施例中，處理器經進一步組態以偵測指定一背景應用程式以 進行控制且經維持歷時一預定時間段之一接洽姿勢，及提供允許一使用者切換對該背景應用程式之控制之一覆疊。在另一實施例中，處理器經進一步組態以偵測指定一背景應用程式以進行控制且經維持歷時一預定時間段之一接洽姿勢，及自動地切換至控制該背景應用程式而不失去對該前景應用程式之焦距。在另一實施例中，處理器經進一步組態以偵測表示一使用者想要與該背景應用程式接洽之一特定非觸控示意動作輸入。在另一實施例中，處理器經進一步組態以偵測經分配用於在兩個或兩個以上應用程式之間作出選擇之一單一非觸控示意動作輸入。在另一實施例中，處理器經進一步組態以啟用非觸控示意動作輸入接洽自動地連接至一最後選擇應用程式之一模式。在另一實施例中，處理器經進一步組態以當該背景應用程式啟動時向該背景應用程式登記特定非觸控示意動作輸入，及當該背景應用程式結束時向該背景應用程式取消登記該等特定非觸控示意動作輸入。在另一實施例中，在該經聚焦之應用程式正在一前景中執行時不顯示該背景應用程式之元素。
根據另一實施例，一種用於控制一背景應用程式的裝置，其包含：用於偵測藉由該裝置接收之一非觸控示意動作輸入的構件；用於使該非觸控示意動作輸入與在一背景中執行之一應用程式相關聯的構件，其中一不同經聚焦之應用程式正在一前景中執行；及用於在不影響該前景應用程式的情況下藉由該關聯非觸控示意動作輸入控制該背景應用程式的構件。在一實施例中，經聚焦之應用程式顯示於該裝置的顯示構件上。在另一實施例中，該裝置進一步包含用於在該裝置之該顯示構件上將一覆疊顯示於該經聚焦之應用程式上方的構件，其中該覆疊指示非觸控示意動作輸入可用來影響該背景應用程式。在另一實施例中，該非觸控示意動作輸入包含藉由一物件、凝視或眼睛追蹤進行之一姿勢或一運動。在另一實施例中，該裝置進一步包含用於使 用一全域查找表的構件，該全域查找表指示指派給用於對應特定應用程式之對應命令的特定非觸控示意動作輸入。在另一實施例中，該裝置進一步包含用於基於該使用者器件之一當前輸出狀態將非觸控示意動作輸入指派給用於應用程式之對應命令的構件。在另一實施例中，該裝置進一步包含用於偵測向該前景應用程式及該背景應用程式登記之一非觸控示意動作輸入的構件；及用於選擇用於應用該偵測到之非觸控示意動作輸入之一作用中非觸控示意動作輸入應用程式的構件。在另一實施例中，該裝置進一步包含用於偵測指定一背景應用程式以進行控制且經維持歷時一預定時間段之一接洽姿勢的構件，及用於提供允許一使用者切換對該背景應用程式之控制之一覆疊的構件。在另一實施例中，該裝置進一步包含用於偵測指定一背景應用程式以進行控制且經維持歷時一預定時間段之一接洽姿勢的構件，及用於自動地切換至控制該背景應用程式而不失去對該前景應用程式之焦距的構件。在另一實施例中，該裝置進一步包含用於偵測表示一使用者想要與該背景應用程式接洽之一特定非觸控示意動作輸入的構件。在另一實施例中，該裝置進一步包含用於偵測經分配用於在兩個或兩個以上應用程式之間作出選擇之一單一非觸控示意動作輸入的構件。在另一實施例中，該裝置進一步包含用於啟用非觸控示意動作輸入接洽自動地連接至一最後選擇應用程式之一模式的構件。在另一實施例中，該裝置進一步包含用於當該背景應用程式啟動時向該背景應用程式登記特定非觸控示意動作輸入的構件，及用於當該背景應用程式結束時向該背景應用程式取消登記該等特定非觸控示意動作輸入的構件。在另一實施例中，該裝置進一步包含在該經聚焦之應用程式正在一前景中執行時不顯示的該背景應用程式之元素。
根據另一實施例，一種儲存有電腦可讀指令之非暫時性電腦可讀媒體，該等電腦可讀指令在由一處理器執行時使得該處理器：偵測 藉由一使用者器件接收之一非觸控示意動作輸入，使該非觸控示意動作輸入與在一背景中執行之一應用程式相關聯，其中一不同經聚焦之應用程式正在一前景中執行；且在不影響該前景應用程式的情況下藉由該關聯非觸控示意動作輸入控制該背景應用程式。在一實施例中，該等指令經進一步組態以使得該處理器在該使用者器件之該介面上將一覆疊顯示於該經聚焦之應用程式上方，其中該覆疊指示非觸控示意動作輸入可用來影響該背景應用程式。在另一實施例中，該非觸控示意動作輸入包含藉由一物件進行的一姿勢或一運動。在另一實施例中，該等指令經進一步組態以使得該處理器使用一全域查找表，該全域查找表指示指派給用於對應特定應用程式之對應命令的特定非觸控示意動作輸入。在另一實施例中，該等指令經進一步組態以使得該處理器基於該使用者器件之一當前輸出狀態將非觸控示意動作輸入指派給用於應用程式之對應命令。在另一實施例中，該等指令經進一步組態以使得該處理器：偵測向該前景應用程式及該背景應用程式登記之一非觸控示意動作輸入；及選擇用於應用該偵測到之非觸控示意動作輸入之一作用中非觸控示意動作輸入應用程式。在另一實施例中，該等指令經進一步組態以使得該處理器偵測指定一背景應用程式以進行控制且經維持歷時一預定時間段之一接洽姿勢，及提供允許一使用者切換對該背景應用程式之控制之一覆疊。在另一實施例中，該等指令經進一步組態以使得該處理器偵測指定一背景應用程式以進行控制且經維持歷時一預定時間段之一接洽姿勢，及自動地切換至控制該背景應用程式而不失去對該前景應用程式之焦距。在另一實施例中，該等指令經進一步組態以使得該處理器偵測表示一使用者想要與該背景應用程式接洽之一特定非觸控示意動作輸入。在另一實施例中，處理器經進一步組態以偵測經分配用於在兩個或兩個以上應用程式之間作出選擇之一單一非觸控示意動作輸入。在另一實施例中，該等指令經進 一步組態以使得該處理器啟用非觸控示意動作輸入接洽自動地連接至一最後選擇應用程式之一模式。在另一實施例中，該等指令經進一步組態以使得該處理器當該背景應用程式啟動時向該背景應用程式登記特定非觸控示意動作輸入，及當該背景應用程式結束時向該背景應用程式取消登記該等特定非觸控示意動作輸入。在另一實施例中，在該經聚焦之應用程式正在一前景中執行時不顯示該背景應用程式之元素。
102‧‧‧區塊
104‧‧‧區塊
106‧‧‧區塊
108‧‧‧區塊
202‧‧‧區塊
204‧‧‧區塊
206‧‧‧區塊
208‧‧‧區塊
210‧‧‧區塊
212‧‧‧區塊
214‧‧‧區塊
216‧‧‧示意動作圖示
218‧‧‧區塊
220‧‧‧區塊
222‧‧‧區塊
224‧‧‧區塊
226‧‧‧區塊
302‧‧‧區塊
304‧‧‧區塊
306‧‧‧區塊
308‧‧‧區塊
310‧‧‧區塊
312‧‧‧區塊
314‧‧‧區塊
402‧‧‧區塊
404‧‧‧區塊
406‧‧‧區塊
408‧‧‧區塊
410‧‧‧區塊
412‧‧‧區塊
502‧‧‧區塊
504‧‧‧區塊
506‧‧‧區塊
508‧‧‧區塊
510‧‧‧區塊
512‧‧‧區塊
514‧‧‧區塊
602‧‧‧狀態A
604‧‧‧狀態B
606‧‧‧狀態C
802‧‧‧區塊
804‧‧‧區塊
806‧‧‧區塊
808‧‧‧區塊
1500‧‧‧系統
1502‧‧‧匯流排
1504‧‧‧處理組件
1506‧‧‧系統記憶體組件
1508‧‧‧靜態儲存組件
1510‧‧‧磁碟機組件
1512‧‧‧網路介面組件
1514‧‧‧顯示組件
1516‧‧‧輸入組件
1518‧‧‧游標控制組件
1520‧‧‧通信連結
圖1為根據本發明之實施例的說明用於使用者器件上之多工之方法的流程圖。
圖2為根據本發明之實施例的說明音樂控制項使用狀況的流程圖。
圖3為根據本發明之實施例的說明用於判定互動輸入應用至之應用程式的方法的流程圖。
圖4為根據本發明之實施例的說明用於使用經登記之非觸控示意動作來控制應用程式的方法的流程圖。
圖5為根據本發明之實施例的說明處置作用中示意動作應用程式選擇的方塊圖。
圖6為根據本發明之實施例的說明處置背景任務示意動作的實例的圖解。
圖7為根據本發明之實施例的說明用於實施器件之系統的方塊圖。
圖8為根據本發明之實施例的說明用於控制應用程式的方法的方塊圖。
提供根據一或多個實施例的系統及方法，其用於在不影響當前 經聚焦之任務或應用程式(亦即，前景任務或應用程式)情況下使諸如非觸控示意動作之互動命令或輸入與特定應用程式或任務相關聯，即使在應用程式或任務正在背景中執行時。
經聚焦之任務或應用程式可為(例如)當前顯示於使用者器件之介面上的應用程式。非觸控示意動作可用作針對並非當前經聚焦之或所顯示應用程式之應用程式的輸入。以此方式，在使用者器件上特別是在同時可顯示僅一個任務或應用程式的使用者器件上可允許真實多工。
參看其中展示係出於僅說明本發明之實施例之用途且並非出於限制該等實施例之用途的圖式，圖1為根據本發明之一實施例的說明用於使用者器件上之多工之方法的流程圖。
在區塊102中，作用中應用程式或任務(「前景應用程式」)可顯示於使用者器件介面上，例如說明於圖7中的顯示組件1514上。使用者器件通常可能能夠顯示無限類型之應用程式，諸如電子郵件、音樂、遊戲、電子商務，及許多其他合適應用程式。
在區塊104中，使用者器件可(例如)經由說明於圖7中的輸入組件1516接收至少一非觸控示意動作輸入或命令以影響或控制應用程式。非觸控互動示意動作輸入或命令可包括直接在使用者器件介面上方(例如，螢幕上)或者脫離使用者器件介面諸如在使用者器件之側面、頂部、底部或背部上(例如，離螢幕)使用諸如手、手指、筆等之物件的姿勢或運動。在各種實施例中，使用者器件可包括諸如凝視或眼睛追蹤之互動輸入能力(例如)作為說明於圖7中之輸入組件1516的部分。舉例而言，使用者器件可經由諸如攝影機之影像或視訊擷取能力來偵測使用者之面部凝視使用者器件或查看使用者器件。
在本文中之實施例中，使用者器件可包括行動器件、平板電腦、膝上型電腦、PC、電視、揚聲器、印表機、遊戲盒子等。一般 而言，使用者器件可包括或為任何器件的包括非觸控示意動作辨識的部分，即，非觸控示意動作可通常藉由不同於觸控式螢幕示意動作互動的感測器或技術擷取。舉例而言，非觸控示意動作辨識可經由以下各者來進行：超音波示意動作偵測、諸如攝影機(例如，可見光攝影機、諸如飛行時間攝影機的距離成像攝影機、結構化光攝影機、立體攝影機，或其類似者)的影像或視訊擷取組件、深度感測器、IR、超音波筆勢偵測等。即，器件可具有使用攝影機或其他影像追蹤技術來擷取使用者之不觸碰器件情況下的示意動作(亦即，諸如在攝影機前方之手姿勢的非觸控示意動作)的基於視覺之示意動作能力，或可具有不同於基於視覺之能力的偵測非觸控示意動作的能力。
又，非觸控示意動作擷取感測器或技術可為使用者器件之一部分，或位於使用者器件的各種表面上例如使用者器件的頂部、底部、左側、右側及/或背部上的系統，使得非觸控示意動作在其直接在使用者器件前部(螢幕上)以及脫離使用者器件之螢幕的直視視線執行時可被擷取。
在區塊106中，可使接收到之互動輸入與作用中應用程式例如與並非顯示於使用者器件介面上但替代地在背景中正在執行的作用中應用程式(「背景應用程式」)相關聯(例如，藉由說明於圖7中的處理組件1504)。在此方面，背景應用程式不同於所顯示前景應用程式。舉例而言，電子郵件應用程式可正在執行，且正顯示於使用者器件介面之前景中，而音樂應用程式可正在背景中執行。
在區塊108中，可將輸入命令(例如，如經由說明於圖7中之輸入組件1516所接收)應用(例如，藉由說明於圖7中之處理組件1504)至背景應用程式而不影響前景應用程式。舉例而言，在使用者正對所顯示電子郵件應用程式工作同時，使用者可使用示意動作來控制正在背景中執行之音樂應用程式，使得示意動作並不與電子郵件應用程式干 擾。
因此，根據一或多個實施例，使用者可具有自顯示不同前景應用程式之螢幕來控制在背景中執行之作用中應用程式的能力。又，在各種實施例中，使用者可具有將在背景中執行之作用中應用程式帶至前景中的能力。
本發明之實施例可應用至如下之許多使用狀況：其中使用者可使用互動輸入(例如，非觸控示意動作)，使得系統可將關聯互動輸入應用至除顯示於使用者器件上之應用程式的應用程式而不影響或中斷前景應用程式。使用狀況的實例可包括以下各者：使用狀況：電子郵件應用程式經顯示同時的音樂控制。
參看圖2，流程圖說明根據本發明之實施例的音樂控制項使用狀況。在區塊202中，使用者器件或系統可具有(例如)經由說明於圖7中的顯示組件1514顯示於使用者器件之介面上的作用中音樂控制項畫面。
在區塊204中，系統可提供如所請求之示意動作模式，其中使用者可經由非觸控示意動作控制音樂控制項畫面。在區塊206中，諸如超音波技術的非觸控示意動作擷取感測器或技術可經接通，且可為說明於圖7中之輸入組件1516中的一部分)。
在區塊208中，在接收到電子郵件後，且基於使用者之請求或輸入，系統就判定(例如，藉由說明於圖7中之處理組件1504)是否顯示電子郵件畫面。若系統接收到指示使用者並不想要檢視電子郵件畫面的輸入，則系統行進至區塊212，且音樂畫面繼續顯示於使用者器件介面上。
但若系統接收到指示使用者想要檢視電子郵件畫面的輸入(例如，因為使用者可想要回覆電子郵件)，則系統行進至區塊210，且電子郵件畫面經由(例如)說明於圖7中的顯示組件1514顯示於使用者器 件介面上。顯著地，音樂應用程式繼續在背景中執行。
在區塊214中，與音樂應用程式相關聯之示意動作圖示可(例如)藉由說明於圖7中之顯示組件1514顯示於電子郵件畫面上。在實施例中，諸如示意動作圖示216的示意動作圖示可浮動在電子郵件畫面之頂部上方，或以其他方式顯示於電子郵件畫面上。示意動作圖示216可指示繼續在背景中執行之音樂應用程式可與特定示意動作輸入相關聯並藉由特定示意動作輸入控制。一般而言，諸如示意動作圖示216的示意動作圖示可具有任何形式、大小或形狀以指示背景應用程式可與示意動作輸入相關聯並藉由示意動作輸入控制。在此實例中，示意動作圖示216包括張開的手與手之一部分上方的樂譜。在其他實施例中，當可使其他執行程式與特定示意動作輸入相關聯且藉由特定示意動作輸入控制時，樂譜可藉由另一執行程式(例如，車輛導航系統、無線電等)的指示替換。在各種實施例中，示意動作圖示216的手部分可用作示意動作的指示器，例如，其可指示握拳而非張開的手，或手與指示運動的箭頭，或示意動作的任何其他適當指示器。
在區塊218中，系統可判定使用者是否想要輸入針對背景應用程式的命令，例如，使用者可想要輸入針對音樂應用程式的跳過一首歌曲的命令(例如，經由說明於圖7中的輸入組件1516)。
在區塊222中，若使用者並不想要輸入針對音樂應用程式的諸如跳過一首歌曲的命令，則不存在動作。在區塊226中，系統可接著等待另一非觸控示意動輸入(例如，手示意動作)以控制音樂應用程式。
在區塊220中，若使用者想要輸入針對音樂應用程式的諸如跳過一首歌曲的命令，則使用者可使用特定非觸控示意動作輸入(例如，與跳過一首歌曲相關聯的手示意動作)(例如，經由說明於圖7中的輸入組件1516)。在接收到或偵測到特定非觸控示意動作輸入後，在區塊224中，音樂應用程式就播放下一首歌曲。
因此，在使用者係在電子郵件畫面上同時，使用者可使用非觸控示意動作輸入(例如，手姿勢及/或動態示意動作)來控制音樂應用程式並對諸如PandoraTM的音樂應用程式提供命令，諸如「喜歡」、「不喜歡」、「跳至下一首歌曲」、「是，我正在聽」等。按照慣例，使用者可繼續與電子郵件應用程式互動(例如，鍵打或讀取電子郵件)，同時聽音樂。
使用狀況：背景中的電話通話
在使用者器件上進行電話通話的使用者可轉至顯示於使用者器件上的聯繫人清單畫面以查找電話號碼，或為了另一用途轉至另一應用程式，例如轉至瀏覽器以審閱網際網路內容，或轉至訊息編排(message compose)畫面。自聯繫人清單畫面或其他應用程式，使用者器件可偵測諸如非觸控示意動作(例如，手姿勢)以輸入用於控制電話通話之命令的使用者輸入，從而(例如)使電話靜音、改變音量或轉變至揚聲器電話。因此，在聯繫人清單或其他應用程式顯示於使用者器件的畫面上同時，使用者器件可對控制在背景中執行之電話通話的使用者輸入作出回應。
存在背景任務或應用程式在執行作用中前景應用程式同時可受到控制的許多其他使用狀況。背景任務或應用程式的實例可包括：接通/關斷閃光燈；控制語音記錄器，例如記錄/播放；改變輸入模式，例如，語音、示意動作；藉由轉向導航控制轉向，例如，重放指令，下一指令等；控制器件狀態及設定，例如，控制音量、亮度等；及許多其他使用狀況。應瞭解，本發明的實施例可應用至許多使用狀況，包括本文中未描述的使用狀況。
參看圖3，流程圖說明根據本發明之實施例的用於判定互動輸入應用至之應用程式的方法。根據一或多個實施例，系統可具有判定諸如特定非觸控示意動作事件的特定互動輸入可應用至哪一作用中應用 程式(背景應用程式或前景應用程式)的能力。若干因數可判定諸如特定非觸控示意動作事件的特定互動輸入可應用至哪一作用中應用程式。舉例而言，因數可包括前景應用程式是否具有支援諸如非觸控示意動作事件之互動輸入的能力。
在區塊302中，如上文根據一或多個實施例所描述，使用者器件介面可執行(例如，諸如在說明於圖7中之顯示組件1514上顯示)作用中應用程式(「前景應用程式」)，同時另一應用程式正在背景中執行(「背景應用程式」)。在一些實施例中，背景應用程式之元素皆不被顯示，而前景應用程式係在聚焦或正藉由使用者器件進行顯示。
在區塊304中，系統判定(例如，使用說明於圖7中的處理組件1504)前景應用程式是否具有支援可被接收(例如，經由說明於圖7中之輸入組件1516)的諸如非觸控示意動作事件之互動輸入的能力。
在區塊306中，若系統判定前景應用程式自身並不支援諸如非觸控示意動作事件的互動輸入，則另一應用程式(例如，向示意動作解譯服務登記且具有支援非觸控示意動作事件之能力的最後應用程式)或(例如)背景應用程式可接收非觸控示意動作事件。在一或多個實施例中，如下文將更詳細地描述，服務或程序(例如，經由說明於圖7中之處理組件1504)可正執行以識別、解譯及/或指派示意動作事件。在一實施例中，(例如)如藉由以下表1及表2所說明的全域示意動作查找表可包括複數個示意動作以及對應應用程式及該應用程式的命令，(例如)以指示示意動作X對應於針對特定應用程式APP1的輸入命令X。在一些實施例中，某些應用程式可具有預先指派之示意動作以進行該應用程式的特定命令。
若系統判定前景應用程式經組態以(例如)經由說明於圖7中之輸入組件1516接收諸如非觸控示意動作事件的互動輸入，則可存在包括以下兩個可能性的各種可能性： 在區塊308中，可能性1可發生，其中相較於背景應用程式向前景應用程式登記非觸控示意動作事件之不同集合。即，特定非觸控示意動作可經登記，且僅結合特定應用程式或任務來使用。在此狀況下，在區塊312中，示意動作系統(例如，藉由說明於圖7中之處理組件1504)可將特定非觸控示意動作事件投送至適當應用程式從而允許兩個應用程式同時接收非觸控示意動作事件。下文根據本發明之實施例關於圖4來描述用於使用經登記之示意動作來控制應用程式的方法。在一實施例中，(例如)如藉由以下表1及表2所說明的全域示意動作查找表可包括複數個示意動作以及對應應用程式及該應用程式的命令，(例如)以指示示意動作X對應於針對特定應用程式APP1的輸入命令X。在一些實施例中，某些應用程式可具有預先指派之示意動作以進行該應用程式的特定命令。在一或多個實施例中，服務或程序(例如，經由說明於圖7中之處理組件1504)可正執行以識別、解譯及/或指派示意動作事件。又，示意動作事件可為獨特的，或者服務或程序可確保不向應用程式登記相同示意動作事件(例如，藉由不允許現有示意動作關聯的覆寫，或藉由警告使用者並讓使用者選擇哪一應用程式將由給定示意動作進行控制等)。當然，兩個應用程式詳言之可僅接受不同示意動作。在一實施例中，若前景應用程式支援示意動作，則前景應用程式可嘗試解譯偵測到之示意動作，且若前景應用程式並未辨識出偵測到之示意動作，則前景應用程式可將關於示意動作的資訊傳遞至另一應用程式，或至或可判定如何處置示意動作(例如，將資訊傳輸至另一應用程式、忽略資訊等)的服務或程序。或者，在另一實施例中，服務或程序可首先偵測運動，判定對應於運動的示意動作，且接著將示意動作資訊選擇性地投送至適當應用程式(前景應用程式，複數個背景應用程式中之一者等)。
在區塊310中，可能性2可發生，其中向前景應用程式登記與背 景應用程式相同之非觸控示意動作事件中之至少一者。在此狀況下，在區塊314中，可執行應用程式選擇程序(例如，經由說明於圖7中的處理組件1504)。即，可執行用於判定哪一應用程式應接收偵測到之示意動作事件的衝突解決方案，該偵測到之示意動作事件可向前景應用程式及一或多個背景應用程式登記。顯著地，可不需要前景應用程式失去焦距。下文描述之圖5為說明根據本發明之實施例的示意動作應用程式選擇程序的圖解。
現參看圖4，流程圖說明根據本發明之實施例的用於使用經登記的非觸控示意動作控制應用程式的方法。
在區塊402中，可在全域示意動作查找表(其可儲存於例如說明於圖7中的儲存組件1508中)中將非觸控示意動作指派給用於特定應用程式之對應命令或輸入。舉例而言，(例如)如藉由以下表1及表2所說明的全域示意動作查找表可包括複數個示意動作以及對應應用程式及該應用程式的命令，(例如)以指示示意動作X對應於針對特定應用程式APP1的輸入命令X。在一些實施例中，某些應用程式可具有預先指派之示意動作以進行該應用程式的特定命令。在一些實施例中，服務或模組(例如，經由說明於圖7中的處理組件1504)可管理示意動作、命令及應用程式之間的關聯，且可起作用解決任何衝突及/或潛在衝突。在一些實施例中，應用程式可在初始化後或在啟動系統1500時就向功能或模組登記，且應用程式或模組可判定是否可將特定示意動作指派給特定應用程式及/或命令。
表1說明根據本發明之實施例的實例示意動作與對應實例命令及應用程式指派。
全域示意動作查找表(例如，表1)可指示示意動作X經指派給或對應於特定應用程式APP1的輸入命令X。舉例而言，諸如呈「覆蓋」之形式的張開之手掌示意動作的手姿勢可對應於「靜音/取消靜音」的命令，且被指派給電話通話應用程式。「向右撥動」示意動作(例如，藉由張開之手的運動)可對應於「跳至下一首歌曲」的命令，且被指派給MP3播放器應用程式。「上方之一根手指」示意動作可對應於「開始/停止」命令，且經指派給語音記錄器應用程式，等等。
替代地，全域示意動作查找表(例如，表2)可基於使用者器件之當前輸出狀態指派命令，但可能並非是關於正受到影響之應用程式之焦距。
如表2中所說明，「覆蓋」示意動作基於使用者器件之當前輸出 視應用程式而可對應於「靜默」、「暫停」或「靜音」命令。舉例而言，若使用者器件並未正在執行電話通話應用程式，則「覆蓋」示意動作可應用至另一音訊播放應用程式，諸如，鈴聲、鬧鈴(應用「靜默」命令)或PandoraTM或MP3TM(應用「暫停」命令)。若使用者器件正在執行電話通話應用程式，則可應用「靜音」命令(如表1的實例中所說明)。
在一些實施例中，當已偵測到示意動作時，一或多個應用程式可存取查找表，諸如以上查找表中的一者或兩者。可(例如)經由應用程式設計介面(API)來執行此存取。可(例如)經由API向應用程式告知應用哪一示意動作命令。在一些實施例中，API亦可(例如)基於查找表指示是否存在與示意動作的衝突，且若存在衝突，則指示如何調解或解決衝突。
回看圖4，在區塊404中，系統可自使用者(例如，經由說明於圖7中的輸入組件1516)接收輸入以起始第一應用程式(例如，APP1)，該第一應用程式可具有全域示意動作查找表中之關聯示意動作。舉例而言，使用者可想要啟動具有關聯示意動作的電話通話，例如，如在表1之實例中所闡述，「覆蓋」示意動作可對應於電話通話的「靜音/取消靜音」。在一些實施例中，區塊402及404可以相反次序執行。舉例而言，替代首先在402處映射潛在示意動作至應用程式，可在404處初始化應用程式，且應用程式可向服務登記，該服務可將藉由應用程式接受的示意動作新增至堆疊、查找表、資料庫及/或可儲存示意動作、命令及應用程式之間的關聯的其他元件。在各種實施例中，在起始應用程式後，系統就可指示或驗證應用程式具有提供於諸如上文所描述之表1或表2的示意動作查找表中的關聯示意動作，示意動作查找表可儲存於(例如)說明於圖7中的儲存組件1508中。在一些實施例中，對全域示意動作查找表的存取可經由說明於圖7中的顯示組件 1514來提供，例如，以連結、圖示、快顯視窗之形式、在小視窗中，等等，使得使用者可判定哪些示意動作在任何給定時間可用，判定哪些映射已建立於查找表中，及/或編輯表中的關聯。然而，在一些實施例中，表對於使用者為不可存取的。在一些此等實施例中，表可僅藉由經組態以接受如上文所論述的示意動作及/或服務的應用程式或程式來存取，該服務可管理示意動作、命令及應用程式之間的關聯。在一些實施例中，基於表的使用者介面可顯示給使用者以允許使用者解決複數個示意動作命令關聯之間的衝突或潛在衝突。
在區塊406中，系統可自使用者接收輸入(例如，經由說明於圖7中的輸入組件1516)以起始第二應用程式(APP2)。第二應用程式(APP2)變為經聚焦之應用程式，且顯示於使用者器件介面上(例如，經由說明於圖7中的顯示組件1514)。APP2可自任何數目個模態接收輸入，包括觸控輸入及/或非觸控或示意動作輸入。
在區塊408中，視需要，使用者介面(例如，說明於圖7中的顯示組件1514)可指示示意動作可用，且其可影響第一應用程式APP1。舉例而言，標頭中之圖示可浮動，或經提供或顯示(例如)諸如說明於圖2之實例中的圖示216的圖示。
在區塊410中，可接收使用者輸入(例如，經由說明於圖7中的輸入組件1516)，其中使用者執行非觸控示意動作X(例如，根據實施例上文在表1或表2中列出的示意動作中的一者)。
在區塊412中，可偵測到對第一應用程式APP1執行之所指派輸入命令X，同時第二應用程式維持於聚焦中。舉例而言，可偵測到藉由使用者執行之「覆蓋」示意動作，且可應用「靜音」之對應命令(例如，經由說明於圖7中之處理組件1504)至電話通話(APP1)，同時使用者器件正顯示經聚焦之應用程式APP2(例如，經由說明於圖7中的顯示組件1514)。
現參看圖5，方塊圖說明根據本發明之實施例的處置作用中示意動作應用程式選擇。在向前景應用程式及背景應用程式登記諸如非觸控示意動作事件之至少一共同互動輸入事件的實施例中，可使得使用者能夠識別哪一應用程式應接收互動輸入(亦即，非觸控示意動作)事件。
在區塊502中，系統可開始處置向前景應用程式及背景應用程式登記至少一共同互動輸入(例如，非觸控示意動作)的作用中示意動作應用程式。
在區塊504中，系統判定是否已偵測到指定背景應用程式以進行控制之示意動作。使用者可想要控制背景任務或應用程式。舉例而言，如根據一或多個實施例在下文結合區塊508至514將更詳細地描述，可經由使用者器件介面(例如，經由說明於圖7中之輸入組件1516)接收輸入，從而指示背景應用程式將受到影響或控制。區塊508至514呈現判定是否已偵測到指定背景應用程式以進行控制的示意動作的不同實施例及用於對示意動作作出回應的實施例。然而，此等區塊既不必同時執行，亦不必包含相互排斥的實施例。另外，此等區塊並非為詳盡的，此係由於其他程序可用以判定是否已偵測到指定背景應用程式以進行控制的示意動作，及/或用以控制此應用程式。
在區塊506中，若未偵測到指定背景應用程式以進行控制的示意動作(例如，使用者並不想要控制背景任務)，則預設應用程式可發生，使得互動輸入連接(例如，示意動作連接)對於係在「聚焦」中的應用程式(例如，顯示於使用者器件介面上的應用程式)預設地具有優先權。舉例而言，若使用者使用諸如使用者以接洽姿勢升高其手的非觸控示意動作事件，則聚焦中之應用程式接收到該接洽姿勢且如應用程式正常地將作出回應一般作出回應而不考慮可被登記同一示意動作的背景任務。否則，若使用者想要控制背景任務，則可存在包括以下 各者的若干選項。
在區塊508中，若已偵測到使用者已維持接洽姿勢歷時預定時間段，則可顯示允許使用者切換至控制背景應用程式之覆疊系統。舉例而言，在互動輸入包括接洽示意動作之實施例中，系統可偵測到經維持歷時預定時間段例如關於針對前景應用程式之接洽需要的時間經延長的時間段的使用者之接洽示意動作姿勢(例如，張開的手保持於使用者介面前方歷時2至3秒)。因此，維持接洽姿勢歷時某時間段可接洽前景應用程式，而維持接洽姿勢歷時較長時間段可接洽背景應用程式。在各種實施例中，可提供用於接洽前景應用程式或背景應用程式的回饋；舉例而言，當接洽前景應用程式存在一個嗶聲，或當接洽背景應用程式時，可存在兩個嗶聲。在其他實施例中，當接洽前景應用程式時，可顯現一圖示；且當接洽背景應用程式時，該圖示可(例如)藉由樂譜(或正受到控制之應用程式的其他指示)擴增。即，在一實施例中，偵測到經維持歷時預定時間段的使用者之接洽示意動作姿勢(其可對應於背景應用程式之接洽)可繼之以進入顯示示意動作可選擇應用程式圖示的「系統模式」的示意動作覆疊系統，從而允許使用者切換示意動作系統以便控制背景應用程式。舉例而言，示意動作覆疊系統可包含(例如)疊加於使用者器件之螢幕上的輝光藍色圖示。覆疊之其他實例可包括諸如說明於圖2之實例中的示意動作圖示216的方框或圖示，該方框或圖示可顯現以浮動於使用者器件之介面或螢幕的頂部上。諸如示意動作圖示216的圖示可指示應用程式可繼續在背景中執行，且可與特定示意動作輸入(例如，音樂應用程式)相關聯。一般而言，示意動作覆疊系統可具有任何形式、大小或形狀，以指示背景應用程式可與示意動作輸入相關聯並藉由示意動作輸入控制。顯著地，語音或其他程序或類型之輸入可又用以選擇作用中示意動作應用程式。在一些實施例中，替代展示指示哪一背景應用程式正受到控制 的覆疊，複數個可選擇圖示(每一圖示對應於背景應用程式)可顯示於覆疊中，使得使用者可選擇哪一背景應用程式進行控制。
在區塊510中，若已偵測到使用者已維持接洽姿勢歷時預定時間段，則系統1500可切換至控制示意動作控制應用程式至背景應用程式而不失去對前景應用程式之焦距。在藉由使用者進行之互動輸入包括接洽示意動作之實施例中，系統可偵測到經維持歷時預定時間段或關於針對前景應用程式之接洽需要的時間經延長的時間段的使用者之接洽示意動作姿勢(例如，張開的手保持於使用者介面前方歷時2至3秒)。因此，偵測到經維持歷時某時間段的接洽姿勢可接洽前景應用程式，而偵測到經維持歷時較長時間段的接洽姿勢可接洽背景應用程式。在各種實施例中，可提供用於接洽前景應用程式或背景應用程式的回饋，舉例而言，當接洽前景應用程式存在一個嗶聲，或當接洽背景應用程式時，可存在兩個嗶聲。在其他實施例中，當接洽前景應用程式時，可顯現一圖示；且當接洽背景應用程式時，該圖示可(例如)藉由樂譜(或正受到控制之應用程式的其他指示)擴增。即，在一實施例中，偵測到經維持歷時延長時間段的使用者之接洽示意動作姿勢(其可對應於背景應用程式之接洽)可繼之以將系統自動地切換至背景任務中的示意動作應用程式。在此狀況下，使用者介面可改變以在不失去對前景應用程式之焦距情況下反映背景應用程式的覆疊，或其可反映控制項已使用另一類型之視覺或聽覺程序而改變。
在各種實施例中，覆疊系統可包含(例如)疊加於使用者器件之螢幕上的輝光圖示。覆疊之其他實例可包括諸如說明於圖2之實例中的圖示216的方框或圖示，該方框或圖示可顯現以浮動於使用者器件之介面或螢幕的頂部上。
在可存在被登記示意動作事件之若干背景應用程式的實施例中，若需要，則此等應用可經依序單步調試。替代地，「示意動作 輪」可顯現於使用者介面上，其可允許使用者更快速地選擇所要示意動作應用程式。舉例而言，呈輪或圓弧之形式的表示可顯現為浮動於畫面頂部上，且可被分成數個區段，每一區段對應於一背景應用程式，例如，一個區段中之樂譜可對應於音樂應用程式，另一區段中的電話圖示可對應於電話應用程式，等等。背景應用程式可藉由選擇對應區段例如藉由偵測手的撥動及/或位置來作出選擇。
在區塊512中，若已偵測到與背景應用程式相關聯之使用者姿勢，則可與背景應用程式接洽。在系統1500接受若干接洽示意動作姿勢的實施例中，例如，使用者之特定姿勢可經偵測以表示使用者希望與係與該特定姿勢相關聯之特定背景應用程式接洽。舉例而言，張開之手掌姿勢可一直接洽前景應用程式，而兩個手指擺出的勝利手姿勢在一些實施例中可直接接洽第一背景應用程式，且握拳示意動作可直接接洽第二背景應用程式。因此，特定應用程式可獨特地經登記以對應於某些手姿勢，使得特定應用程式在偵測到特定手姿勢時總是作出回應。此等背景特定示意動作可先驗地判定及/或可為持久的，或可在運轉時間被判定。
在區塊514中，若已偵測到用於在兩個或兩個應用程式之間作出選擇之示意動作，則系統1500可在應用程式之間進行切換。舉例而言，在系統1500支援複數個不同示意動作的實施例中，特定非觸控示意動作可經分配用於在兩個或兩個示意動作應用程式之間作出選擇。舉例而言，若順時針方向上之「圓形」示意動作單獨經分配用於此用途，則當偵測到「圓形」示意動作時，系統可選擇經登記示意動作應用程式清單中的另一示意動作應用程式或下一示意動作應用程式。
請注意，在用於處置其中根據一或多個實施例如上文所描述向前景應用程式及背景應用程式登記至少一共同示意動作事件的作用中示意動作應用程式的不同可能性中，若不存在背景示意動作應用程 式，則可藉由一隻手撥動的通用「系統示意動作選單」或「示意動作輪」可顯現，且可被用作應用程式啟動器或其他預設行為(例如，電話撥號盤、語音記錄器等)。
在一些實施例中，本文中被稱作背景任務的任務包含正執行及/或顯示於副器件或監視器上的任務。影響及/或控制副器件或顯示器的示意動作在一些此等實施例中可藉由系統1500偵測到，而不影響正執行及/或顯示於系統1500上的前景應用程式的操作。舉例而言，使用者可具有副任務正控制所顯示資料的副顯示器件。副顯示器件在一些實施例中可為整合至一副眼鏡中的題頭顯示器，或整合至腕錶中的顯示器，或至TV的無線連結或其他大型顯示器。在此實例中，主顯示器可用於使用者選擇的任何主任務，而又同時將使得使用者能夠經由示意動作控制副顯示器上的副任務。在一些此等實施中，用於示意動作偵測之硬體可與副顯示器相關聯或被整合至主器件中。系統可能能夠基於使用者示意動作來控制副任務，而不與主器件顯示器上的主任務的操作干擾。在一些實施例中，與示意動作相關聯之任何圖示或使用者介面組件可作為副顯示器而非主顯示器的部分而顯示，以進一步關於示意動作控制選項來導引使用者。
根據一或多個實施例，對於上文針對處置向前景應用程式及背景應用程式登記至少一共同示意動作事件的作用中示意動作應用程式選擇描述的可能性中的任一者，有可能的是使用可被稱作「黏性示意動作」的功能。在此方面，「黏性示意動作」可係指接收接洽之通知的應用程式可接收其他示意動作的個例，其他示意動作可藉由使用者以包括(例如)以下各者的不同方式來選擇：
A. 在一實施例中，使用者之識別哪一應用程式接收示意動作的一種方法可包括使應用程式明確組態為系統設定。作為實例，使用者可組態示意動作系統，使得「若吾人的音樂應用程式正在背景中執 行，則所有示意動作被投送至該音樂應用程式」。此情形可防止前景應用程式接收任何示意動作，除非使用者明確地改變模式。
B. 在另一實施例中，使用者之識別哪一應用程式接收非觸控示意動作的一種方法可包括只要示意動作接洽發生且存在經登記用於自示意動作系統接收事件的一個以上應用程式便使提示發生。在此點上，使用者可藉由使用諸如非觸控示意動作的互動輸入或經由任何所提供選擇程序來選擇背景應用程式或前景應用程式中的任一者。一旦使用者結束了與所選擇應用程式的示意動作互動，系統便可：i)啟用「黏性示意動作」，使得在示意動作接洽下次發生時，系統可自動地連接至最後選擇應用程式，或ii)其可經組態以每次進行提示，或iii)其可經組態以提示是否存在針對示意動作登記之應用程式之清單上的改變。
C. 在又一實施例中，使用者之識別哪一應用程式接收非觸控示意動作的另一方式可包括組合「經延長接洽」技術與「黏性示意動作」。在此實施例中，與新執行之應用程式的首次接洽可引出其自己的示意動作介面。若使用者延長接洽(例如，藉由將手保持為靜止)或以其他方式發信對切換模式的需要，則使用者可存取背景應用程式中之一者。在下次接洽時，「黏性示意動作」可係在操作中，且示意動作系統可直接連接至上一次所選擇的應用程式。使用者在此點上可選擇重複延長之接洽，且在需要時回復至前景應用程式。
現參看圖6，圖解說明根據本發明之實施例的處置背景任務示意動作的實例。此實施例可類似於說明於圖2之實施例中的方法而實施。舉例而言，在602處，在初始狀態A中，音樂應用程式可正在播放，且可被登記如下3個示意動作：向左、向右及向上。在此實施例中，向左可使得音樂應用程式後退一個曲目，向右可使得音樂應用程式前進一個曲目，且向上可使得音樂應用程式暫停音樂的播放。
在604處，在狀態B中，可接收電話通話。電話通話應用程式可佔據優先權，且被登記向左及向右示意動作。在此狀態B中，向左及向右示意動作可不再被轉遞並應用至音樂應用程式，而是可替代地用以接聽電話通話(向右示意動作)或將電話通話發送至語音郵件(向左示意動作)。若使用者在電話正在響鈴時作出向上示意動作，則音樂將暫停，此是因為向上示意動作仍被轉遞並應用至背景應用程式。一旦完成了電話通話，則系統返回至僅音樂應用程式被登記示意動作事件的狀態C 606，且因此向右、向左及向上示意動作可皆被轉遞並應用至音樂應用程式。
根據本發明之一或多個實施例，可實施可管理系統中之示意動作資料的示意動作服務。示意動作服務可追蹤哪些應用程式利用哪些示意動作及/或解決使用類似示意動作之應用程式之間的潛在衝突。示意動作服務可經組態以使特定非觸控示意動作與特定應用程式相關聯，或當每一應用程式啟動時向該應用程式登記特定非觸控示意動作，且當該應用程式結束時取消登記特定非觸控示意動作。
在僅一個示意動作應用程式正在執行的實施例中，服務可將所有訊息僅發送至已進行登記的該應用程式。在新應用程式啟動且變成背景應用程式且先前登記之示意動作應用程式繼續執行但現處於背景中(例如，音樂播放器應用程式)的另一實施例中，則前景應用程式針對與前景應用程式相關聯的所有示意動作事件可獲得優先權。因此，若已向背景應用程式登記了與前景應用程式登記之非觸控示意動作事件相同的非觸控示意動作事件，則前景應用程式而非背景應用程式可接收彼等非觸控示意動作事件。若存在向背景應用程式登記但未向前景應用程式登記的任何非觸控示意動作事件，則背景應用程式可繼續接收此等非觸控示意動作事件。若前景應用程式放棄或結束，則背景應用程式可經恢復作為彼等示意動作中之任一者的主接收器，該等示 意動作已藉由前景應用程式篡奪。在另一實施例中，登記示意動作之第一應用程式可維持對示意動作的控制。在又一實施例中，當存在衝突時，可提示使用者選擇哪一應用程式藉由某示意動作來控制。在另一實施例中，「擁有」示意動作的應用程式可基於應用程式之使用頻率而被指派重要性(例如，緊急回應功能相較於音樂為更重要的)或某類別的階層或優先權。
在使用者可想要輸入非觸控示意動作事件至背景應用程式且亦向前景應用程式登記非觸控示意動作事件的實施例中，(例如)如上文關於圖5之實施例所描述，接著服務可提供機制以實施示意動作訊息切換。用於實施此情形之一個實例可為使用延長之非觸控示意動作，例如，保持歷時延長之時間段的靜態手姿勢或諸如獨特手姿勢的習慣示意動作，或調用特殊「示意動作模式覆疊」的任何其他機制。覆疊可藉由服務繪製或浮動於當前在顯示器上的每一事件頂部上，而不影響當前前景應用程式。覆疊可指示哪一應用程式當前將接收示意動作輸入或受示意動作輸入影響，或可指示可經選擇以接收示意動作輸入的複數個複數個應用程式(背景及/或前景)。一旦系統係處於特殊示意動作模式覆疊狀態，便可提示使用者選擇哪一應用程式應接收示意動作。作為實例，兩個應用程式之圖示(前景及背景)可經展示，且使用者可藉由至一側或另一側的簡單示意動作來選擇該等圖示。替代地，大量選項可經展示，且使用者可在不觸控螢幕的情況下移動其手，並控制游標以選擇所要選項。一旦使用者已選擇了所要選項(例如，背景應用程式)，則服務可改變所登記示意動作的優先權以使得背景應用程式為較高優先權服務，且背景應用程式可開始接收藉由前景應用程式先前篡奪的示意動作訊息。此「黏性」示意動作模式可保持有效，直至使用者明確地使用示意動作模式覆疊改變「黏性」示意動作模式，或在應用程式中之一者結束情況下。
在一或多個實施例中，與應用程式相關聯之示意動作的清單、庫或詞彙可基於進行登記之應用程式而改變。舉例而言，可向音樂應用程式登記包括向左、向右運動的示意動作，其中向左可使得音樂應用程式後退一個曲目，且向右可使得音樂應用程式前進一個曲目。因此，亦可向電話應用程式登記包括向左、向右運動的示意動作，其中向左可使得電話應用程式發送通話至語音郵件，且向右可使得電話應用程式接聽電話通話。在一些實施例中，當電話應用程式進行登記時，與向左及向右相關聯之命令將改變。另外，若隨後向瀏覽器應用程式登記包括再新網頁之圓形示意動作及為網頁加書籤的向上運動的示意動作，則額外示意動作與登記僅音樂應用程式及電話應用程式時相比較可為可用的以供使用者使用。因此，示意動作之清單、庫或詞彙可基於所登記之應用程式(或其優先權)而改變。
根據本發明的一或多個實施例，系統可提供與應用程式相關聯之動作的通知，例如，當接收到新電子郵件時或當開始播放新歌曲時，可(例如)在顯示器之角落的邊緣附近將快顯通知顯示於使用者器件的螢幕上。在快顯通知顯現於螢幕上之後，或在快顯通知正經顯示同時，與快顯通知相關聯的應用程式對於示意動作可具有優先權歷時某時間量(例如，3至5秒)。使用者可具有藉由某示意動作解除快顯通知的選項，或以其他方式指示其並不想要控制與快顯通知相關聯的應用程式。
有利地，根據本發明的一或多個實施例，背景應用程式可受關聯命令控制，即使應用程式並非在聚焦中。此外，不同於使用諸如按鈕之專用介面或使用者可必須記住並說出語法命令之語音命令的典型系統，在本文中之實施例中，有限數目個示意動作可同時被指派至不同應用程式，此情形可使得示意動作對於使用者更易於記住。因此，即使在示意動作之可用詞彙為小之處，使用者仍可與數個應用程式有 效地互動。
現參看圖7，說明根據本發明之實施例的用於實施器件之系統的方塊圖。
應瞭解，本文中所揭示之方法及系統可藉由廣泛之多種電子系統或器件實施，或併入之該等電子系統或器件中。舉例而言，系統1500可用以實施包括有線或無線器件的任何類型之器件，諸如行動器件、智慧型電話、個人數位助理(PDA)、平板電腦、膝上型電腦、個人電腦、TV或其類似者。諸如音樂播放器、視訊播放器、通信器件、網路伺服器等的其他例示性電子系統亦可根據本發明進行組態。
系統1500可適合於實施本發明的實施例，包括各種使用者器件。諸如器件(例如，智慧型電話、平板電腦、個人電腦及/或網路伺服器)之部分的系統1500包括互連子系統及組件的匯流排1502，或用於傳達資訊的其他通信機制，該等子系統及組件包括以下各者中的一或多者：處理組件1504(例如，處理器、微控制器、數位信號處理器(DSP)等)、系統記憶體組件1506(例如，RAM)、靜態儲存組件1508(例如，ROM)、網路介面組件1512、顯示組件1514(或替代地至外部顯示器的介面)、輸入組件1516(例如，小鍵盤或鍵盤、諸如觸控式螢幕的互動輸入組件、示意動作辨識等)，及游標控制組件1518(例如，滑鼠墊)。如上文根據一或多個實施例所描述，可經由顯示組件1514顯示應用程式，而另一應用程式可(例如)藉由處理組件1504在背景中執行。可實施例於處理組件1504中的示意動作服務可管理與每一應用程式相關聯的示意動作，其中示意動作可經由輸入組件1516來偵測。在各種實施例中，諸如上文描述之表1及表2的示意動作查找表可儲存於儲存組件1508中。
根據本發明之實施例，系統1500藉由執行含有於系統記憶體組件1506中之一或多個指令之一或多個序列的處理組件1504執行特定操 作。此等指令可自諸如靜態儲存組件1508的另一電腦可讀媒體讀取至系統記憶體組件1506中。此等可包括指令以經由互動輸入控制應用程式或任務等。在其他實施例中，硬連線電路可替代用於實施本發明之一或多個實施例的軟體指令或結合該等軟體指令來使用。
邏輯可編碼於電腦可讀媒體中，該電腦可讀媒體可係指參與提供指令至處理組件1504以供執行的任何媒體。此媒體可採用許多形式，包括但不限於非揮發性媒體、揮發性媒體及傳輸媒體。在各種實施中，揮發性媒體包括諸如系統記憶體組件1506之動態記憶體，且傳輸媒體包括同軸纜線、銅導線及光纖，包括包含匯流排1502的導線。在實施例中，傳輸媒體可採用音波或光波之形式，諸如在無線電波及紅外線資料通信中產生的彼等。一些常見形式的電腦可讀媒體包括(例如)RAM、PROM、EPROM、FLASH-EPROM、任何其他記憶體晶片或匣、載波，或電腦經調適以進行讀取的任何其他媒體。電腦可讀媒體可為非暫時性的。
在本發明之各種實施例中，執行指令序列以實踐本發明可藉由系統1500來執行。在各種其他實施例中，藉由通信連結1520(例如，WiFi或各種其他有線或無線網路)耦接的複數個系統1500可執行指令序列以彼此配合實踐本發明。系統1500可經由通信連結1520及網路介面組件1512接收並擴展輸入、訊息、資料、資訊及指令，包括一或多個程式(亦即，應用程式碼)。所接收程式碼可如接收及/或儲存於磁碟機組件1510或某其他非揮發性儲存組件中以供執行一般藉由處理組件1504執行。
參看圖8，流程圖說明根據本發明之實施例的用於控制應用程式的方法。請注意，說明於圖8中的方法可藉由根據一實施例說明於圖7中的系統1500來實施。
在區塊802中，可為使用者器件之部分的系統1500可執行顯示於 使用者器件之介面上例如顯示組件1514上之前景應用程式。
在區塊804中，系統可在使用者器件上於背景中執行至少一應用程式。應用程式可在背景中執行，同時前景應用程式在聚焦中，例如，經由顯示組件1514顯示。
在區塊806中，系統可(例如)經由輸入組件1516自使用者器件之使用者偵測非觸控示意動作輸入。在各種實施例中，非觸控示意動作輸入可包括直接在使用者器件介面上方(例如，螢幕上)或者脫離使用者器件介面諸如在使用者器件之側面、頂部、底部或背部上(例如，離螢幕)使用諸如手、手指、筆等之物件的姿勢或運動。在各種實施例中，使用者器件可包括諸如凝視或眼睛追蹤的互動輸入能力。
在區塊808中，系統可判定(例如，藉由處理組件1504)偵測到之非觸控示意動作輸入應用至前景應用程式及背景中之至少一應用程式中哪一者。
如熟習此項技術者現將瞭解且視即將到來之特定應用而定，可在使用本發明之器件的材料、裝置、組態及方法上且對前面各者進行許多修改、取代及變化而不偏離本發明的精神及範疇。鑒於此此情形，本發明之範疇不應限於本文中所說明並描述的特定實施例之範疇，此係由於其係僅借助於其一些實例，但確切而言應與以下附加之申請專利範圍及其功能等效物的範疇完全相稱。
102‧‧‧區塊
104‧‧‧區塊
106‧‧‧區塊
108‧‧‧區塊

Claims (40)

  1. 一種用於控制一背景應用程式之方法，該方法包含：識別在一使用者器件之一背景中執行之一背景應用程式與在該使用者器件之一前景中執行之一不同前景應用程式，該前景應用程式係聚焦(in focus)且顯示於該使用者器件之一介面上，且該背景應用程式係失焦(out of focus)，其中可藉由該使用者器件接收之一非觸控示意動作輸入與該前景應用程式與該背景應用程式二者相關聯，使得一非觸控示意動作經組態以控制該前景應用程式與該背景應用程式二者之功能；在偵測到該背景應用程式被帶進該前景之焦距中之後，偵測藉由該使用者器件接收之該非觸控示意動作輸入；及在不影響該前景應用程式的情況下藉由該關聯非觸控示意動作輸入控制該背景應用程式。
  2. 如請求項1之方法，其中該非觸控示意動作輸入包含藉由一物件、凝視或眼睛追蹤進行之一姿勢或一運動。
  3. 如請求項1之方法，其中該關聯包含使用一全域查找表，該全域查找表指示指派給用於對應特定應用程式之對應命令的特定非觸控示意動作輸入。
  4. 如請求項1之方法，其進一步包含基於該使用者器件之一當前輸出狀態將非觸控示意動作輸入指派給用於應用程式之對應命令。
  5. 如請求項1之方法，其進一步包含：偵測向該前景應用程式及該背景應用程式登記之一非觸控示意動作輸入；及選擇用於應用該偵測到之非觸控示意動作輸入之一作用中非 觸控示意動作輸入應用程式。
  6. 如請求項5之方法，其中該偵測進一步包含偵測指定一背景應用程式以進行控制且經維持歷時一預定時間段之一接洽姿勢，及提供允許一使用者切換對該背景應用程式之控制之一不同覆疊。
  7. 如請求項5之方法，其中該偵測進一步包含偵測指定一背景應用程式以進行控制且經維持歷時一預定時間段之一接洽姿勢，及自動地切換至控制該背景應用程式而不失去對該前景應用程式之焦距。
  8. 如請求項5之方法，其中該偵測進一步包含偵測表示一使用者想要與該背景應用程式接洽之一特定非觸控示意動作輸入，該背景應用程式為複數個背景應用程式中之一者。
  9. 如請求項5之方法，其中該偵測進一步包含偵測經分配用於在兩個或兩個以上應用程式之間作出選擇之一單一非觸控示意動作輸入。
  10. 如請求項5之方法，其進一步包含啟用非觸控示意動作輸入接洽自動地連接至一最後選擇應用程式之一模式。
  11. 如請求項1之方法，其進一步包含當該背景應用程式啟動時向該背景應用程式登記特定非觸控示意動作輸入，及當該背景應用程式結束時向該背景應用程式取消登記該等特定非觸控示意動作輸入。
  12. 如請求項1之方法，其中在該經聚焦之應用程式正在一前景中執行時不顯示該背景應用程式之元素。
  13. 如請求項1之方法，其進一步包含：在偵測到該背景應用程式被帶出該前景之焦距中之後，偵測藉由該使用者器件接收之該非觸控示意動作輸入；及 在不影響該背景應用程式的情況下藉由該關聯非觸控示意動作輸入控制該前景應用程式。
  14. 如請求項1之方法，其中在該背景應用程式係顯示於與該前景應用程式同時存在之該前景中。
  15. 如請求項13之方法，其中該背景應用程式被帶進該前景之焦距中歷時一預定時間，在該預定時間之後，該前景應用程式被帶進該前景之焦距中。
  16. 如請求項1之方法，其進一步包含：在該偵測到該背景應用程式被帶進該前景之焦距中之後且在偵測到一預定時間量已過去之後：偵測藉由該使用者器件接收之該非觸控示意動作輸入；及在不影響該背景應用程式的情況下藉由該關聯非觸控示意動作輸入控制該前景應用程式。
  17. 一種用於控制一應用程式之方法，其包含：執行顯示於一使用者器件之一介面上之一前景應用程式；在該使用者器件上於一背景中執行至少一背景應用程式，其中當在該背景中執行時，該至少一背景應用程式沒有顯示於該介面上，及其中可藉由該使用者器件接收之一非觸控示意動作輸入與該前景應用程式與該至少一背景應用程式二者相關聯，使得一非觸控示意動作經組態以控制該前景應用程式與該至少一背景應用程式二者之功能；在偵測到該至少一背景應用程式係顯示於該使用者器件之該介面上之後，偵測藉由該使用者器件接收之該非觸控示意動作輸入；及在不影響該前景應用程式的情況下藉由該關聯非觸控示意動 作輸入控制該至少一背景應用程式。
  18. 如請求項17之方法，其進一步包含：判定是否向該前景應用程式及該背景應用程式登記非觸控示意動作輸入事件之一不同集合；在相較於該背景應用程式向該前景應用程式登記非觸控示意動作輸入事件之一不同集合的情況下將一偵測到之非觸控示意動作輸入投送至該非觸控示意動作輸入被登記之一應用程式；及在向該前景應用程式登記與針對該背景應用程式之一經登記輸入事件相同之至少一非觸控示意動作輸入事件的情況下在該前景應用程式與該背景應用程式之間作出選擇。
  19. 如請求項18之方法，其中該在該前景應用程式與該背景應用程式之間作出選擇進一步包含：偵測經維持歷時一預定時間段之一接洽姿勢，及提供允許一使用者切換對該背景應用程式之控制之一不同覆疊。
  20. 如請求項18之方法，其中該在該前景應用程式與該背景應用程式之間作出選擇進一步包含：偵測經維持歷時一預定時間段之一接洽姿勢，及自動地切換至控制該背景應用程式而不失去對該前景應用程式之焦距。
  21. 如請求項18之方法，其中該在該前景應用程式與該背景應用程式之間作出選擇進一步包含：偵測表示一使用者想要與該背景應用程式接洽之一特定非觸控示意動作輸入，該背景應用程式為複數個背景應用程式中之一者。
  22. 如請求項18之方法，其中該在該前景應用程式與該背景應用程式之間作出選擇進一步包含：偵測經分配用於在兩個或兩個以上應用程式之間作出選擇之一單一非觸控示意動作輸入。
  23. 如請求項17之方法，其進一步包含當該背景應用程式啟動時向 該背景應用程式登記特定非觸控示意動作輸入，及當該背景應用程式結束時取消登記該背景應用程式。
  24. 一種器件，其包含：一輸入，其經組態以偵測非觸控示意動作輸入；及一或多個處理器，其：執行顯示於該器件之一介面上之一前景應用程式；在該器件上於一背景中執行至少一背景應用程式，其中當在該背景中執行時，該至少一背景應用程式沒有顯示於該介面上，及其中可藉由該使用者器件接收之一非觸控示意動作輸入與該前景應用程式與該至少一背景應用程式二者相關聯，使得一非觸控示意動作經組態以控制該前景應用程式與該至少一背景應用程式二者之功能；在偵測到該至少一背景應用程式係顯示於該使用者器件之該介面上之後，偵測藉由該使用者器件接收之該非觸控示意動作輸入；及在不影響該前景應用程式的情況下藉由該關聯非觸控示意動作輸入控制該至少一背景應用程式。
  25. 如請求項24之器件，其中該一或多個處理器進一步：判定是否向該前景應用程式及該背景應用程式登記非觸控示意動作輸入事件之一不同集合；及在相較於該背景應用程式向該前景應用程式登記非觸控示意動作輸入事件之一不同集合的情況下將一偵測到之非觸控示意動作輸入投送至該非觸控示意動作輸入被登記之一應用程式；及在向該前景應用程式登記與針對該背景應用程式之一經登記輸入事件相同之至少一非觸控示意動作輸入事件的情況下在該 前景應用程式與該背景應用程式之間作出選擇。
  26. 如請求項25之器件，其中該一或多個處理器進一步：在向該前景應用程式登記與針對該背景應用程式之一經登記輸入事件相同之至少一非觸控示意動作輸入事件的情況下，偵測經維持歷時一預定時間段之一接洽姿勢，及提供允許一使用者切換對該背景應用程式之控制之一不同覆疊。
  27. 如請求項25之器件，其中該一或多個處理器進一步：在向該前景應用程式登記與針對該背景應用程式之一經登記輸入事件相同之至少一非觸控示意動作輸入事件的情況下，偵測經維持歷時一預定時間段之一接洽姿勢，及自動地切換至控制該背景應用程式而不失去對該前景應用程式之焦距。
  28. 如請求項25之器件，其中該一或多個處理器進一步：在向該前景應用程式登記與針對該背景應用程式之一經登記輸入事件相同之至少一非觸控示意動作輸入事件的情況下，偵測表示一使用者想要與該背景應用程式接洽之一特定非觸控示意動作輸入，該背景應用程式為複數個背景應用程式中之一者。
  29. 如請求項25之器件，其中該一或多個處理器進一步：在向該前景應用程式登記與針對該背景應用程式之一經登記輸入事件相同之至少一非觸控示意動作輸入事件的情況下，偵測經分配用於在兩個或兩個以上應用程式之間進行切換之一單一非觸控示意動作輸入。
  30. 如請求項24之器件，其中該一或多個處理器進一步：當該背景應用程式啟動時向該背景應用程式登記特定非觸控示意動作輸入，及當該背景應用程式結束時取消登記該背景應用程式。
  31. 如請求項24之器件，其中該輸入進一步包含以下各者中之至少一者：對超音波頻率敏感之一麥克風、一影像或視訊擷取組 件、一凝視或眼睛追蹤感測器、一紅外線偵測器、一深度感測器、一微機電系統器件感測器，及一電磁輻射偵測器，或其一組合。
  32. 如請求項31之器件，其中該輸入位於該器件之至少一表面上，且經組態以偵測直接在該器件前方執行之非觸控示意動作輸入，或經組態以偵測脫離該器件之一直視視線之非觸控示意動作輸入。
  33. 一種用於控制一應用程式之裝置，其包含：用於執行顯示於一使用者器件之一介面上之一前景應用程式的構件；用於在該使用者器件之一背景中執行至少一背景應用程式的構件，其中當在該背景中執行時，該至少一背景應用程式沒有顯示於該介面上，及其中可藉由該使用者器件接收之一非觸控示意動作輸入與該前景應用程式與該至少一背景應用程式二者相關聯，使得一非觸控示意動作經組態以控制該前景應用程式與該至少一背景應用程式二者之功能；用於在偵測到該至少一背景應用程式係顯示於該使用者器件之該介面上之後，偵測藉由該使用者器件接收之該非觸控示意動作輸入之構件；及用於在不影響該前景應用程式的情況下藉由該關聯非觸控示意動作輸入控制該至少一背景應用程式之構件。
  34. 如請求項33之裝置，其進一步包含：用於判定是否向該前景應用程式及該背景應用程式登記非觸控示意動作輸入事件之一不同集合的構件；用於在相較於該背景應用程式向該前景應用程式登記非觸控示意動作輸入事件之一不同集合的情況下將一偵測到之非觸控 示意動作輸入事件投送至該非觸控示意動作輸入被登記之一應用程式的構件；及用於在向該前景應用程式登記與針對該背景應用程式之一經登記輸入事件相同之至少一非觸控示意動作輸入事件的情況下在該前景應用程式與該背景應用程式之間作出選擇的構件。
  35. 如請求項34之裝置，其中用於在該前景應用程式與該背景應用程式之間作出選擇的該構件進一步包含：用於偵測經維持歷時一預定時間段之一接洽姿勢的構件，及用於提供允許一使用者切換對該背景應用程式之控制之一不同覆疊的構件。
  36. 如請求項34之裝置，其中用於在該前景應用程式與該背景應用程式之間作出選擇的該構件進一步包含：用於偵測經維持歷時一預定時間段之一接洽姿勢的構件，及用於自動地切換至控制該背景應用程式而不失去對該前景應用程式之焦距的構件。
  37. 如請求項34之裝置，其中用於在該前景應用程式與該背景應用程式之間作出選擇的該構件進一步包含：用於偵測表示一使用者想要與該背景應用程式接洽之一特定非觸控示意動作輸入的構件，該背景應用程式包含複數個背景應用程式中之一者。
  38. 如請求項34之裝置，其中用於在該前景應用程式與該背景應用程式之間作出選擇的該構件進一步包含：用於偵測經分配用於在兩個或兩個以上應用程式之間作出選擇之一單一非觸控示意動作輸入的構件。
  39. 如請求項34之裝置，其進一步包含用於當該背景中之該至少一應用程式中之一或多者啟動時向該背景中之該至少一應用程式中之該一或多者登記特定非觸控示意動作輸入的構件，及用於當該背景中之該至少一應用程式中之該一或多者結束時取消登記的構件。
  40. 一種儲存有電腦可讀指令之非暫時性電腦可讀媒體，該等電腦可讀指令在由一處理器執行時使得該處理器：執行顯示於一使用者器件之一介面上之一前景應用程式；在該使用者器件上於一背景中執行至少一背景應用程式，其中當在該背景中執行時，該至少一背景應用程式沒有顯示於該介面上，及其中可藉由該使用者器件接收之一非觸控示意動作輸入與該前景應用程式與該至少一背景應用程式二者相關聯，使得一非觸控示意動作經組態以控制該前景應用程式與該至少一背景應用程式二者之功能；在偵測到該至少一背景應用程式係顯示於該使用者器件之該介面上之後，偵測藉由該使用者器件接收之該非觸控示意動作輸入；及在不影響該前景應用程式的情況下藉由該關聯非觸控示意動作輸入控制該至少一背景應用程式。
TW103109151A 2013-03-15 2014-03-13 用於一背景任務之互動輸入 TWI531927B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/837,006 US20140282272A1 (en) 2013-03-15 2013-03-15 Interactive Inputs for a Background Task

Publications (2)

Publication Number Publication Date
TW201447645A TW201447645A (zh) 2014-12-16
TWI531927B true TWI531927B (zh) 2016-05-01

Family

ID=50424728

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103109151A TWI531927B (zh) 2013-03-15 2014-03-13 用於一背景任務之互動輸入

Country Status (7)

Country Link
US (1) US20140282272A1 (zh)
EP (1) EP2972670A1 (zh)
JP (1) JP6270982B2 (zh)
KR (1) KR20150129830A (zh)
CN (1) CN105009033A (zh)
TW (1) TWI531927B (zh)
WO (1) WO2014149698A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US20140082520A1 (en) * 2012-05-24 2014-03-20 Monir Mamoun Method and System for Gesture- and Animation-Enhanced Instant Messaging
US9035874B1 (en) 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US9832452B1 (en) 2013-08-12 2017-11-28 Amazon Technologies, Inc. Robust user detection and tracking
DE102013013698B4 (de) * 2013-08-16 2024-10-02 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille
KR101488193B1 (ko) * 2013-09-04 2015-01-30 에스케이 텔레콤주식회사 상황 인지 기반의 명령 수행 방법 및 장치
US11199906B1 (en) * 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
US10234988B2 (en) * 2013-09-30 2019-03-19 Blackberry Limited User-trackable moving image for control of electronic device with touch-sensitive display
US10218660B2 (en) * 2013-12-17 2019-02-26 Google Llc Detecting user gestures for dismissing electronic notifications
TWI616803B (zh) * 2013-12-27 2018-03-01 宏碁股份有限公司 螢幕畫面的縮放及操作方法、裝置與電腦程式產品
US20150185827A1 (en) * 2013-12-31 2015-07-02 Linkedln Corporation Techniques for performing social interactions with content
JP2015153195A (ja) * 2014-02-14 2015-08-24 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
GB201408751D0 (en) 2014-05-16 2014-07-02 Microsoft Corp Notifications
US10402079B2 (en) 2014-06-10 2019-09-03 Open Text Sa Ulc Threshold-based draggable gesture system and method for triggering events
EP2983080A1 (en) * 2014-08-07 2016-02-10 Nokia Technologies OY Audio source control
US9405967B2 (en) * 2014-09-03 2016-08-02 Samet Privacy Llc Image processing apparatus for facial recognition
KR102302721B1 (ko) 2014-11-24 2021-09-15 삼성전자주식회사 복수의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
US20160210109A1 (en) * 2015-01-19 2016-07-21 Mediatek Inc. Method for controlling audio playing of an electronic device, and associated apparatus and associated computer program product
US9639234B2 (en) 2015-09-10 2017-05-02 Qualcomm Incorporated Dynamic control schemes for simultaneously-active applications
US20170090606A1 (en) * 2015-09-30 2017-03-30 Polycom, Inc. Multi-finger touch
US10764860B2 (en) * 2015-10-27 2020-09-01 Blackberry Limited Monitoring resource access
WO2017075087A1 (en) 2015-10-27 2017-05-04 Blackberry Limited Detecting resource access
CN106169043A (zh) * 2016-06-30 2016-11-30 宇龙计算机通信科技(深圳)有限公司 应用程序的管理方法、管理装置和终端
JP6091693B1 (ja) * 2016-09-21 2017-03-08 京セラ株式会社 電子機器
US10536691B2 (en) * 2016-10-04 2020-01-14 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
JP6517179B2 (ja) 2016-11-15 2019-05-22 京セラ株式会社 電子機器、プログラムおよび制御方法
JP2018082275A (ja) * 2016-11-15 2018-05-24 京セラ株式会社 電子機器、プログラムおよび制御方法
US10775998B2 (en) * 2017-01-04 2020-09-15 Kyocera Corporation Electronic device and control method
DE102017000569A1 (de) * 2017-01-23 2018-07-26 e.solutions GmbH Verfahren, Computerprogrammprodukt und Vorrichtung zum Ermitteln von Eingabebereichen an einer grafischen Benutzeroberfläche
KR102389996B1 (ko) * 2017-03-28 2022-04-25 삼성전자 주식회사 전자 장치 및 이를 이용한 사용자 입력을 처리하기 위한 화면 제어 방법
CN107219972B (zh) * 2017-05-23 2021-01-01 努比亚技术有限公司 一种应用管理的方法、设备及计算机可读存储介质
CN108228073B (zh) * 2018-01-31 2021-06-15 北京小米移动软件有限公司 界面显示方法及装置
CN109144600B (zh) * 2018-06-21 2021-10-29 连尚（新昌）网络科技有限公司 一种应用程序的运行方法、设备及计算机可读介质
CN109857321A (zh) * 2019-01-23 2019-06-07 努比亚技术有限公司 基于屏幕投影的操作方法、移动终端、可读存储介质
US10751612B1 (en) * 2019-04-05 2020-08-25 Sony Interactive Entertainment LLC Media multi-tasking using remote device
US11442550B2 (en) * 2019-05-06 2022-09-13 Samsung Electronics Co., Ltd. Methods for gesture recognition and control
CN110489215A (zh) * 2019-06-29 2019-11-22 华为技术有限公司 一种应用程序中等待场景的处理方法和装置
CN110502108B (zh) * 2019-07-31 2021-08-17 Oppo广东移动通信有限公司 设备控制方法、装置以及电子设备
KR20210121923A (ko) * 2020-03-31 2021-10-08 삼성전자주식회사 백 그라운드 어플리케이션의 제어 방법 및 이를 지원하는 전자 장치
CN113821128B (zh) * 2020-06-18 2024-09-20 花瓣云科技有限公司 终端设备及其手势操作方法和介质
CN112306450A (zh) * 2020-10-27 2021-02-02 维沃移动通信有限公司 信息处理方法、装置
WO2022159639A1 (en) * 2021-01-20 2022-07-28 Apple Inc. Methods for interacting with objects in an environment
AU2022258962A1 (en) 2021-04-13 2023-10-19 Apple Inc. Methods for providing an immersive experience in an environment
US20230315208A1 (en) * 2022-04-04 2023-10-05 Snap Inc. Gesture-based application invocation
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
US12099653B2 (en) 2022-09-22 2024-09-24 Apple Inc. User interface response based on gaze-holding event assessment
US12108012B2 (en) 2023-02-27 2024-10-01 Apple Inc. System and method of managing spatial states and display modes in multi-user communication sessions
US12118200B1 (en) 2023-06-02 2024-10-15 Apple Inc. Fuzzy hit testing
US12099695B1 (en) 2023-06-04 2024-09-24 Apple Inc. Systems and methods of managing spatial groups in multi-user communication sessions

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233559B1 (en) * 1998-04-01 2001-05-15 Motorola, Inc. Speech control of multiple applications using applets
US6636763B1 (en) * 1998-12-10 2003-10-21 Andrew Junker Brain-body actuated system
US8312479B2 (en) * 2006-03-08 2012-11-13 Navisense Application programming interface (API) for sensory events
US8565535B2 (en) * 2007-08-20 2013-10-22 Qualcomm Incorporated Rejecting out-of-vocabulary words
JP2009112550A (ja) * 2007-11-07 2009-05-28 Sony Computer Entertainment Inc ゲーム装置、画像処理方法、プログラム及び情報記憶媒体
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
JP5136292B2 (ja) * 2008-08-26 2013-02-06 日本電気株式会社 情報処理端末のアプリケーション起動方法、情報処理端末及びプログラム
JP4591798B2 (ja) * 2008-10-23 2010-12-01 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 端末装置及びプログラム
KR101019335B1 (ko) * 2008-11-11 2011-03-07 주식회사 팬택 제스처를 이용한 이동단말의 어플리케이션 제어 방법 및 시스템
CN101437124A (zh) * 2008-12-17 2009-05-20 三星电子（中国）研发中心 面向电视控制的动态手势识别信号处理方法
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
KR101071843B1 (ko) * 2009-06-12 2011-10-11 엘지전자 주식회사 이동단말기 및 그 제어방법
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
JP5413673B2 (ja) * 2010-03-08 2014-02-12 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2011192081A (ja) * 2010-03-15 2011-09-29 Canon Inc 情報処理装置及びその制御方法
US9098333B1 (en) * 2010-05-07 2015-08-04 Ziften Technologies, Inc. Monitoring computer process resource usage
JP2012073658A (ja) * 2010-09-01 2012-04-12 Shinsedai Kk コンピュータシステム
CN101923437A (zh) * 2010-09-02 2010-12-22 宇龙计算机通信科技(深圳)有限公司 一种智能移动终端的屏幕提示方法及该智能移动终端
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US20120304131A1 (en) * 2011-05-27 2012-11-29 Jennifer Nan Edge gesture
US9104307B2 (en) * 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US20120304132A1 (en) * 2011-05-27 2012-11-29 Chaitanya Dev Sareen Switching back to a previously-interacted-with application
KR101841590B1 (ko) * 2011-06-03 2018-03-23 삼성전자 주식회사 멀티태스킹 인터페이스 제공 방법 및 장치
US9377867B2 (en) * 2011-08-11 2016-06-28 Eyesight Mobile Technologies Ltd. Gesture based interface system and method
KR101295709B1 (ko) * 2011-08-24 2013-09-16 주식회사 팬택 백그라운드 프로세스에 대한 보안 정보 제공 장치 및 방법
US20130106707A1 (en) * 2011-10-26 2013-05-02 Egalax_Empia Technology Inc. Method and device for gesture determination

Also Published As

Publication number Publication date
CN105009033A (zh) 2015-10-28
KR20150129830A (ko) 2015-11-20
EP2972670A1 (en) 2016-01-20
TW201447645A (zh) 2014-12-16
JP2016512357A (ja) 2016-04-25
JP6270982B2 (ja) 2018-01-31
US20140282272A1 (en) 2014-09-18
WO2014149698A1 (en) 2014-09-25

Similar Documents

Publication Publication Date Title
TWI531927B (zh) 用於一背景任務之互動輸入
JP6301530B2 (ja) タッチデバイスの機能運用方法及び装置
JP6553719B2 (ja) 画面分割表示方法および装置
KR102340795B1 (ko) 스타일러스 펜을 포함하는 모바일 디바이스 및 그 동작 방법
JP6211721B2 (ja) ボタンによるインタラクション方法、装置、プログラム及び記録媒体
CN113055629B (zh) 显示装置及其控制方法
EP4280040A2 (en) Multifunction device control of another electronic device
EP3279786A1 (en) Terminal control method and device, and terminal
JP6139397B2 (ja) マウス機能提供方法およびこれを具現する端末
US20150324087A1 (en) Method and electronic device for providing user interface
US11281313B2 (en) Mobile device comprising stylus pen and operation method therefor
US20160349946A1 (en) User terminal apparatus and control method thereof
KR101855141B1 (ko) 사용자 디바이스의 옵션 설정 방법 및 장치
EP3347805A1 (en) Dynamic control schemes for simultaneously-active applications
US10430071B2 (en) Operation of a computing device functionality based on a determination of input means
JP6134870B2 (ja) 説明情報の表示方法、説明情報の表示装置、電子装置、プログラム、及び記録媒体
JP2014229302A (ja) 電子装置の機能の実行方法及びその電子装置
KR20100070733A (ko) 아이템 표시방법 및 이를 적용한 디스플레이 장치
US20170180634A1 (en) Electronic device, method for controlling the same, and storage medium
JP2017049698A (ja) 入力装置、表示装置、入力装置の制御方法およびプログラム
KR20140103631A (ko) 유저 인터페이스를 통한 입력 처리 장치 및 방법
US20200225764A1 (en) Human interface device
CN116744067A (zh) 视频播放方法及装置
TW201812560A (zh) 行動裝置的控制方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees