TWI467415B - 姿勢輸入系統中推論導航意圖的方法 - Google Patents
姿勢輸入系統中推論導航意圖的方法 Download PDFInfo
- Publication number
- TWI467415B TWI467415B TW101118795A TW101118795A TWI467415B TW I467415 B TWI467415 B TW I467415B TW 101118795 A TW101118795 A TW 101118795A TW 101118795 A TW101118795 A TW 101118795A TW I467415 B TWI467415 B TW I467415B
- Authority
- TW
- Taiwan
- Prior art keywords
- current
- processing system
- input data
- user
- gesture input
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Input From Keyboards Or The Like (AREA)
Description
本發明之揭示係大致有關處理系統中之圖形使用者介面(Graphical User Interface;簡稱GUI)的領域。更具體而言,本發明之一實施例係有關一種推論處理系統的GUI中之使用者的姿勢輸入之導航意圖。
具有觸控及基於姿勢的使用者介面之處理系統沒有設有滑鼠或筆式輸入裝置的系統中所採用的精確之指向機構。在缺少此種絕對指向裝置時,使用者無法在相同的準確度下與圖形使用者介面(GUI)部分互動。該限制產生了一種直接影響到使用者在高精確度下進行諸如捲動、平移(panning)、及移動螢幕上之物件等的基本導航工作的能力之情況。
其他的一些重要因素也影響到此種不精確。第一,處理系統上的感測器系統可能沒有能夠保證順利的姿勢偵測之高準確度。第二,使用者可能有將會干擾到順利的姿勢偵測之諸如顫抖的手、形狀不規則的手指、或關節炎等的生理上的限制。第三,使用者可能有會干擾到順利的姿勢偵測之諸如在公共交通工具上旅行或在極端戶外的條件下使用該裝置等的環境限制。
目前對不精確的捲動問題有兩種解決方案。第一種解決方案是使捲動/導航使用者介面(UI)小工具(widget)變得
較大。例如,一應用可在一應用程式中顯示一特定類型的捲軸,且在另一應用程式中顯示另一被最佳化之捲軸。該方法的一例子被用於行動處理系統中之某些媒體播放器。可讓使用者選擇諸如電影中之一位置的捲軸由於其較大的尺寸而具有比網路瀏覽器中之捲軸高的精確度。
第二種解決方案是將UI小工具保持相同的尺寸,但是提供內容的過濾選項。過濾器限制了螢幕上可看見的內容,因而藉由限制使用者看見的選項,而增加了該捲動/導航機構的精確度。例如,行動處理系統中之通訊錄應用程式可讓使用者選擇一連絡人群組,且只顯示那些條目,而提供該最佳化。
該等現有的解決方案或是強制使用者學習使用新的控制,或是限制使用者可在螢幕上看到的內容。因而需要一種姿勢辨識的較佳解決方案。
本發明之實施例克服了現有處理系統中與姿勢偵測及處理有關的缺點。本發明之實施例在使用者使用手指、手、紅外線(IR)遙控器、或其他類型的姿勢輸入方法捲動直線、平面、或空間使用者介面時,增加使用者輸入資料的準確度。藉由根據該使用者的空間輸入而學習導航行為,且根據過去行為而推論該使用者的目前導航意圖,而執行該最佳化。本發明之實施例在辨識了類似的姿勢輸入資料時,至少部分地根據目前應用程式之目前被偵測的姿勢輸
入資料、過去姿勢輸入資料、以及該處理系統之目前及過去環境,而調整因偵測到一姿勢輸入而導致之輸出行動。
本發明之實施例可讓使用者保持看到所有的顯示內容,而無須依賴專用的UI小工具。此種最佳化減少了使用處理系統的學習曲線,這是因為使用者無須學習使用兩種不同之諸如捲動等的控制。此外,因為內容未被過濾,所以使用者可停留在相同的環境中,而可更迅速地且在較少的認知負擔下執行其工作。
在下文的說明中,述及了許多特定細節,以便提供對各實施例的徹底了解。然而,可在沒有這些特定細節的情形下實施本發明之各實施例。在其他的情形中,並未詳述習知的方法、程序、組件、及電路,以便不會模糊了本發明的特定實施例。此外,可使用諸如積體半導體電路("硬體")、被組織成電腦可讀取的儲存媒體中儲存的一或多個程式之電腦可讀取的指令("軟體")、或硬體及軟體的某一組合等的各種方式執行本發明的實施例之各種觀點。為了本發明揭示之目的,提及"邏輯"時,將意指硬體、軟體(包括諸如控制處理器的操作之微碼)、韌體、或以上各項之某一組合。
第1圖示出根據本發明的一實施例之一處理系統。在各實施例中,處理系統100可以是一智慧型手機、一個人電腦(Personal Computer;簡稱PC)、一膝上型電腦、一簡易筆記本電腦、一平板電腦、一手持電腦、一行動網際網路裝置(Mobile Internet Device;簡稱MID)、或其他固定
或行動處理裝置。如第1圖之簡圖所示,處理系統100包含硬體102(將參照第3及4圖而進一步說明該硬體)。應用程式104可以是將在該處理系統中執行的任何應用程式。在各實施例中,該應用程式可以是用來執行任何功能的一獨立程式、或用於諸如網路瀏覽器、影像處理應用、遊戲、或多媒體應用的另一程式(諸如一外掛程式(plug-in))之一部分。如所習知的,作業系統(Operating System;簡稱OS)106與應用程式104及硬體102互動,而控制該處理系統之操作。OS 106包含一圖形使用者介面(GUI)108,用以管理使用者與各種輸入及輸出裝置(圖中未示出)間之互動。處理系統100包含多個習知的輸入及輸出裝置(圖中未示出)。觸控式螢幕顯示器110可被包含在該系統,以便對使用者顯示輸出資料,且經由觸控式螢幕而接受來自使用者的輸入信號。在一實施例中,該OS可包括一顯示管理組件112,用以管理觸控式螢幕顯示器110之輸入資料及輸出資料。在另一實施例中,該處理系統可以用來偵測使用者在三維空間中之姿勢之一機構取代或增強該觸控式螢幕顯示器。
在一實施例中,GUI 108包含使用者輸入控制組件116,用以分析自該觸控式螢幕顯示器接收的姿勢輸入資料。使用者輸入控制組件116可直接自觸控式螢幕顯示器110接收姿勢輸入資料,或經由顯示管理組件112而間接地自觸控式螢幕顯示器110接收姿勢輸入資料。在一實施例中,使用者輸入控制組件116根據使用者正在使用該處
理系統之方式而影響在該觸控式螢幕顯示器上顯示資訊。在一實施例中,使用者輸入控制組件116以根據使用者對該處理系統的過去行為而推論的姿勢取代與一使用者的姿勢有關之被感測輸入資料。
第2圖是根據本發明的一實施例的姿勢辨識處理200之一流程圖。在方塊202中,使用者輸入控制組件116可接收一應用程式104之目前姿勢輸入資料。該目前姿勢輸入資料可包含隨著時間的經過而在該觸控式螢幕上感測到的一系列之觸控點、以及該等觸控點被感測到時的時戳。可回應該姿勢輸入資料的接收及處理,而產生一輸出行動。在方塊204中,該使用者輸入控制組件可至少部分地根據對該應用程式之目前姿勢輸入資料、已被該使用者輸入控制組件儲存的該應用程式之過去姿勢輸入資料、以及該處理系統之目前及過去環境資訊中之一或多項的分析,而產生該輸出行動。在一實施例中,該環境資訊可包含諸如當日目前時間、目前的時區、該處理系統之地理位置、該處理系統中現用的應用程式、使用者在一行事曆應用程式中之目前狀態(例如,有空的、會議中、離開了辦公室、或休假中等的狀態)。該過去及/或目前環境資訊亦可包含其他的項目。
該處理系統可根據該分析而在方塊206中執行該輸出行動。在一實施例中,該輸出行動可包含在觸控式螢幕顯示器110上顯示輸出資料(其中包括顯示一靜態影像、或圖符、及/或一視訊中之一或多項)。在另一實施例中,該
輸出行動可包含產生一可聽見的聲音。在另一實施例中,該輸出行動可包含產生該處理系統的振動。在本發明之實施例中,可將根據被接收的姿勢輸入資料而執行之該輸出行動推論為至少部分地根據該應用程式的先前姿勢輸入以及環境的使用者之目前導航意圖。
在一實施例中,可以GUI 108之使用者輸入控制組件116執行第2圖所示的該等處理步驟中之至少一處理步驟。
某些非限制性例示使用例子可示出可使用本發明的實施例實現的使用者互動之類型。在一例子中,使用者希望在該處理系統中使用一應用程式設定一鬧鐘,以便在早晨的慣常時間被喚醒。在先前技術的處理系統中,使用者需要使用觸控式螢幕顯示器分別捲動,而顯示多達60個數字(分鐘的值),且顯示多達12或24個數字(小時的值),以便設定鬧鐘時間。在本發明的一實施例中,該鬧鐘應用程式可經由該使用者輸入控制組件和緩地調整到過去一段時間(諸如一個月)最常被使用作為鬧鐘的小時及分鐘,而提高該使用者的捲動行為之準確度。此種方式可讓使用者以兩個一般姿勢的使用者輸入行動(一個行動用於小時,且另一個行動用於分鐘)設定時間,而不是小心地上下捲動每一小時及分鐘滾輪以特別尋找所欲之小時及分鐘。
在另一例子中,使用者使用一網路瀏覽器登入該處理系統中之一網頁式電子郵件。在一實施例中,該處理系統可具有尺寸較受限制的一顯示器(諸如智慧型手機上的顯示器)。該電子郵件應用程式的網頁載入,但是該使用者
開始時通常只在該顯示器上看到電子郵件登入網頁的左上部分。該使用者通常需要使用觸控式螢幕顯示器使該顯示器的畫面向右下平移,以便看到該電子郵件網頁的登入框。該使用者以姿勢使該網頁向右及向下平移數次,而使該登入框能夠在該顯示器上顯現。
在記錄了該使用者訪問該電子郵件網站的登入網頁時通常進行作為第一行動的該特定導航序列之後,在本發明的一實施例中,該使用者輸入控制組件可調整或客製化該網路瀏覽器應用程式對該特定網頁進行的導航行為。如果該使用者在該特定網頁上沿著右下方向輸入姿勢,則該瀏覽器中之平移機構撤銷該處理系統的觸控式螢幕及顯示管理組件所偵測到的速度及慣性,且和緩地調整而直接顯示所需的登入框區域。因此,該使用者以單一非精確的姿勢即可直接得到其感興趣的內容,而無須採用一系列預先計劃且精確的平移姿勢。
在一第三例子中,連絡人數目不斷增加時,將導致通訊錄應用程式中之很長的條目列表。為了開始一會談,該使用者需要在數目可能有數百個的條目中捲動且找到一特定的使用者。在本發明之實施例中,無須精確地捲動以便找到一連絡人,而是該通訊錄應用程式的一列表UI小工具可與其他的應用程式交換使用資料,而協助該使用者迅速且輕易地找到該長列表中之感興趣的一連絡人。例如,該通訊錄應用程式可改變捲動的速度,以便和緩地直接來到符合諸如下列準則中之一或多個準則的一些連絡人:(a)
最近曾經連繫該使用者的連絡人;(b)該使用者最近曾經連繫的連絡人;(c)經常來來回回地連繫的連絡人;(d)曾經於本機或雲端服務上的一感興趣之群組下被宣告的使用者(家庭或工作上的朋友等的使用者);(e)最近曾經在一社群網站上對該使用者發表過意見的連絡人;(f)目前在該使用者附近的連絡人;以及(g)與該使用者是相同的活動受邀者之連絡人。
第3圖示出根據本發明的一實施例之一使用者輸入控制組件116。在一實施例中,顯示管理組件112可包含一姿勢辨識引擎302。在另一實施例中,該姿勢辨識引擎可獨立於該顯示管理組件,但是在通訊上被耦合到該顯示管理組件。姿勢辨識引擎302根據該觸控式螢幕所感測的使用者觸控而取得原始輸入資料,且自該原始輸入資料偵測一或多個姿勢。所產生的姿勢輸入資料可描述與空間位置、平面位置、慣性、速度、距離、及時間中之一或多者有關的資訊。使用者輸入控制組件116包含一或多個報告小工具304。在一實施例中,該處理系統中之每一現用應用程式可以有一現用報告小工具。在偵測到一姿勢輸入之後,該姿勢辨識引擎將該姿勢輸入資料轉送到一或多個報告小工具。
接收到姿勢輸入資料之每一報告小工具可將該姿勢輸入資料傳送到一或多個聚合器306。一聚合器分析被接收的姿勢輸入資料,儲存該姿勢輸入資料,且尋找感興趣的型樣。在一實施例中,可以有多個聚合器,且每一聚合器
被配置成訓練該使用者的姿勢輸入行為中之一些被指定的樣子。由於該訓練,該聚合器產生及/或更新用來描述該使用者的姿勢輸入行為之一使用模型,且儲存該資訊。
在一實施例中,一聚合器306可產生及/或更新UI控制特定應用程式使用模型,且將該特定應用程式使用模型儲存在複數個UI控制應用程式資料庫308中之一UI控制應用程式資料庫。一UI控制特定應用程式使用模型可包含該使用者先前如何經由姿勢而與該處理系統中執行的一特定應用程式互動之描述。該特定應用程式使用模型可包含使用者過去對該特定應用程式輸入之姿勢。在一實施例中,該處理系統的每一使用者所執行之每一應用程式可以有一使用模型及一UI控制應用程式資料庫。
在一實施例中,環境訓練器307可產生及/或更新一UI控制環境使用模型,且將該環境使用模型儲存在一UI控制環境資料庫312。該環境使用模型可包含對該使用者先前使用姿勢與該處理系統互動的環境之描述。例如,環境可包括諸如地理位置、行事曆狀態、當日時間、及現用應用程式列表等的項目。
一旦該等使用模型被儲存在各別的資料庫之後,該歷史資訊可被用來根據該使用者的過去行為而預測該使用者的目前導航意圖。該等使用模型可指定使用者行為的頻繁性、機率、及程度、及/或某些觸發器。使用者輸入控制組件116包含一特定應用程式預測器310及一環境預測器314。特定應用程式預測器310將與目前與該使用者互動的應
用程式有關的特定應用程式使用模型及目前姿勢輸入資料用來決定是否應以被預測的值取代該目前姿勢輸入。環境預測器314將環境使用模型、目前環境、及目前姿勢輸入資料用來決定是否應以被預測的值取代該目前姿勢輸入。
修改小工具316可以一種預定的修先順序方式合併該等被預測的值(如果有該等被預測的值)。修改小工具可修改該等預測器中之一或兩個預測器指示的姿勢輸入資料,且將該被修改的姿勢輸入資料傳送到顯示管理組件112,以便顯示該被修改的使用者姿勢。如果沒有任何修改被指定,則修改小工具316將未被修改的姿勢輸入資料傳送到顯示管理組件112,以便顯示該未被修改的使用者姿勢。
第4圖是根據本發明的一實施例的一使用者輸入控制處理之一流程圖400。在一實施例中,可由GUI 108之使用者輸入控制組件116執行第4圖所示的該等處理步驟中之至少一處理步驟。在方塊402中,一報告小工具304可自姿勢辨識引擎302接收姿勢輸入資料。在方塊404中,該報告小工具將該姿勢輸入資料傳送到一或多個聚合器306。在方塊406中,每一聚合器可至少部分地根據對該使用者的目前姿勢輸入資料及過去姿勢輸入資料之分析,而產生及/或更新一特定應用程式使用模型。在方塊408中,環境訓練器307可至少部分地根據該處理系統的目前環境而產生及/或更新一環境使用模型。在一實施例中,可同時地執行方塊402、404、406、及408。
在方塊410中,特定應用程式預測器310及環境預測
器314至少部分地根據目前姿勢輸入資料、使用模型、及目前環境而預測姿勢輸入資料之修改(如果有該等修改)。在方塊412中,決定是否修改該姿勢輸入資料。如果確係如此,則在方塊414中,修改小工具316修改且轉送該姿勢輸入資料到顯示管理組件112。如果並非如此,則在方塊416中,修改小工具將未被修改的姿勢輸入資料轉送到該顯示管理組件。
當根據該等使用模型而修改姿勢輸入資料時,可將一改良式使用者介面(其中包括較佳的捲動行為)提供給處理系統中之觸控式螢幕顯示器的使用者。
第5圖示出一處理系統500的一實施例之一方塊圖。在各實施例中,可以能夠執行參照本發明的某些實施例而在本說明書中述及的一或多個操作之各種電子裝置提供系統500的一或多個組件。例如,可將系統500的一或多個組件用來藉由諸如根據本發明述及的操作處理指令或執行次常式等的方式而執行參照第1-4圖述及的該等操作。亦可將本發明述及的各種儲存裝置(例如,參照第5圖及/或第6圖)用來儲存資料及操作結果等的資訊。在一實施例中,可經由網路503(例如,經由網路介面裝置530及/或630)接收資料,且可將該資料儲存在處理器502(及/或第6圖所示之602)中存在的快取記憶體(例如,一實施例中之第1階(L1)快取記憶體)。這些處理器接著可應用根據本說明書中本發明各實施例述及的該等操作。
更具體而言,處理系統500可包含經由一互連網路(
或匯流排)504而通訊之一或多個中央處理單元502或處理器。因此,在某些實施例中,可由一處理器執行本發明述及的各種操作。此外,該等處理器502可包括一般用途處理器、(可處理經由一電腦網路503傳送的資料)之網路處理器、或其他類型之處理器(其中包括精簡指令集電腦(Reduced Instruction Set Computer;簡稱RISC)處理器或複雜指令集電腦(Complex Instruction Set Computer;簡稱CISC)處理器)。此外,該等處理器502可具有單一或多個核心的設計。具有多個核心設計之處理器502可將不同類型的處理器核心整合到相同的積體電路(Integrated Circuit;簡稱IC)晶粒中。此外,可將具有多個核心設計之處理器502實施為對稱式或非對稱式多處理器。此外,可由系統500的一或多個組件執行參照第1-4圖述及的該等操作。在一實施例中,一處理器(諸如處理器1502-1)可包含使用者輸入控制116、GUI 108、以及形式為固線式邏輯(例如,電路)或微碼之OS 106。
一晶片組506亦可與互連網路504通訊。晶片組506可包含一圖形及記憶體控制中心(Graphics and Memory Control Hub;簡稱GMCH)508。GMCH 508可包含與一記憶體512通訊之一記憶體控制器510。記憶體512可儲存資料及/或指令。該資料可包括被處理器502或處理系統500中包含的任何其他裝置執行的指令序列。此外,記憶體512可儲存諸如使用者輸入控制116、GUI 108、OS 106、以及對應於可執行檔或映射等的指令之本發明述及
的一或多個程式或演算法。可將該資料(其中包括指令及暫時性儲存陣列)的相同部分或至少一部分儲存在磁碟機528及/或處理器502內之一或多個快取記憶體。在本發明的一實施例中,記憶體512可包括一或多個諸如隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)、同步動態隨機存取記憶體(Synchronous DRAM;簡稱SDRAM)、靜態隨機存取記憶體(Static RAM;簡稱SRAM)、或其他類型的儲存裝置等的揮發性儲存(或記憶體)元件。亦可使用諸如硬碟等的非揮發性記憶體。諸如多個處理器及/或多個系統記憶體等的額外之裝置可經由互連網路504而通訊。
GMCH 508以可包含與觸控式螢幕顯示器110通訊之一圖形介面514。在本發明的一實施例中,圖形介面514可經由一加速圖形埠(Accelerated Graphics Port;簡稱AGP)而與觸控式螢幕顯示器110通訊。在本發明的一實施例中,顯示器110可以是經由諸如一信號轉換器而與圖形介面514通訊之一平板顯示器,其中該信號轉換器將諸如視訊記憶體或系統記憶體等的一儲存裝置中儲存的影像之數位表示法轉換為將被該顯示器110解譯及顯示之顯示信號。介面514產生的該等顯示信號可先通過各種控制裝置,然後才被解譯且隨即在顯示器110上被顯示。在一實施例中,可將使用者輸入控制組件116實施為圖形介面514內之或該晶片組內的其他位置之電路。
一控制中心介面518可使GMCH 508與一輸入/輸出控制中心(Input/output Control Hub;簡稱ICH)520通訊。ICH
520可將一介面提供給與處理系統500通訊之一些輸入/輸出(I/O)裝置。ICH 520可經由諸如一周邊組件互連(Peripheral Component Interconnect;簡稱PCI)橋接器、通用序列匯流排(Universal Serial Bus;簡稱USB)控制器、或其他類型的周邊裝置橋接器或控制器等的一周邊裝置橋接器(或控制器)524而與一匯流排522通訊。橋接器524可提供處理器502與各周邊裝間之一資料路徑。可使用其他類型的拓撲。此外,多個匯流排可諸如經由多個橋接器或控制器而與ICH 520通訊。此外,在本發明的各實施例中與ICH 520通訊的其他周邊裝置可包括整合式磁碟電子介面(Integrated Drive Electronics;簡稱IDE)或小型電腦系統介面(Small Computer System Interface;簡稱SCSI)硬碟機、USB埠、鍵盤、滑鼠、平行埠、序列埠、軟碟機、以及數位輸出支援(例如,數位視訊介面(Digital Video Interface;簡稱DVI)、或其他裝置。
匯流排522可與一些輸入裝置526(諸如軌跡板、滑鼠、或其他指向輸入裝置、或觸控式螢幕顯示器110)、一或多個磁碟機528、以及一網路介面裝置530通訊,其中該等裝置可經由電腦網路503(諸如網際網路)而通訊。在一實施例中,裝置530可以是能夠進行有線或無線通訊之一網路介面控制器(Network Interface Controller;簡稱NIC)。其他裝置可經由匯流排522而通訊。此外,在本發明的某些實施例中,各種組件(例如,網路介面裝置530)可與GMCH 508通訊。此外,處理器502、GMCH 508、及/或
圖形介面514可被合併,而構成一單晶片。
此外,處理系統500可包含揮發性及/或非揮發性記憶體(或儲存裝置)。例如,非揮發性記憶體可包括下列各項中之一或多項:唯讀記憶體(Read Only Memory;簡稱ROM)、可程式唯讀記憶體(Programmable ROM;簡稱PROM)、可抹除可程式唯讀記憶體(Erasable PROM;簡稱EPROM)、電氣可抹除可程式唯讀記憶體(Electrically EPROM;簡稱EEPROM)、磁碟機(例如528)、軟碟、唯讀光碟(Compact Disk ROM;簡稱CD-ROM)、數位多功能光碟(Digital Versatile Disk;簡稱DVD)、快閃記憶體、磁光碟、或可儲存電子資料(例如,其中包括指令)的其他類型之非揮發性機器可讀取的媒體。
在一實施例中,系統500之各組件可被配置成諸如參照第6圖所述的一點對點(Point-to-Point;簡稱PtP)組態。例如,各處理器、記憶體、及/或輸入/輸出裝置可被一些點對點介面互連。
更具體而言,第6圖示出根據本發明的一實施例而被配置成一點對點(PtP)組態之一處理系統600。第6圖尤其示出以一些點對點介面將各處理器、記憶體、及輸入/輸出裝置互連之一系統。系統600的一或多個組件可執行參照第1-4圖所述之操作。
如第6圖所示,系統600可包含數個處理器,而為了顧及圖式的清晰,圖中只示出兩個處理器602及604。處理器602及604可分別包含一本地記憶體控制中心
(Memory Controller Hub;簡稱MCH)606及608(在某些實施例中,其可相同於或類似於第5圖所示之GMCH 508),用以耦合到記憶體610及612。記憶體610及/或612可儲存諸如參照第5圖的記憶體512所述之那些資料等的各種資料。
處理器602及604可以是參照第5圖的處理器502述及的那些處理中之任何適當的處理器。處理器602及604可分別使用點對點介面電路616及618而經由一點對點介面(PtP)614交換資料。處理器602及604可分別使用點對點介面電路626、628、630、及632而經由個別的點對點介面622及624與一晶片組620交換資料。晶片組620亦可使用一點對點介面電路637經由一高效能圖形介面636而與一高效能圖形電路634交換資料。圖形電路634可被耦合到一觸控式螢幕顯示器110(第6圖中未示出)。
可利用處理器602及604而提供本發明之至少一實施例。例如,處理器602及/或處理器604可執行第1-4圖所示之一或多個操作。然而,本發明之其他實施例可存在於第6圖所示的系統600內之其他電路、邏輯單元、或裝置。此外,本發明之其他實施例可被散佈在第6圖所示之數個電路、邏輯單元、或裝置中。
可使用一點對點介面電路641將晶片組620耦合到一匯流排640。匯流排640可具有與其耦合之諸如一匯流排橋接器642及I/O裝置643等的一或多個裝置。匯流排橋接器642可經由一匯流排644而被耦合到諸如鍵盤/滑鼠/
軌跡板645、參照第5圖所述之網路介面裝置630(例如,可被耦合到電腦網路503的數據機、網路介面卡(Network Interface Card;簡稱NIC)、或其他類似裝置)、音訊I/O裝置647、及/或資料儲存裝置648等的其他裝置。在一實施例中,資料儲存裝置648可儲存處理器602及/或604可執行的使用者輸入控制指令649。
在本發明之各實施例中,可將本發明參照諸如第1-4圖所述之該等操作實施為硬體(例如,邏輯電路)、軟體(其中包括諸如用來控制諸如參照第5及6圖述及的該等處理器等的一處理器的操作之微碼)、韌體、或以上各項之組合,且可以電腦程式產品之形式提供以上各項或其組合,例如,該電腦程式產品包括儲存了用來將電腦(例如,運算裝置之處理器或其他邏輯)程式化成執行本發明述及的操作的指令(或軟體程序)之實體機器可讀取的或電腦可讀取的媒體。該機器可讀取的媒體可包括諸如本發明述及的那些儲存裝置等的儲存裝置。
在本說明書中提及"一個實施例"或"一實施例"時,意指參照該實施例述及的一特定的特性、結構、或特徵可被包含在至少一實施方式中。在本說明書的各處出現詞語"在一實施例中"時,可以或可以不都參照到相同的實施例。
此外,在本說明及申請專利範圍中,可使用術語"被耦合"及"被連接"以及其派生詞。在本發明之某些實施例中,"被連接"可被用來指示兩個或更多個元件相互在實體
上或電氣上直接接觸。"被耦合"可意指:兩個或更多個元件在實體上或電氣上直接接觸。然而,"被耦合"亦可意指:兩個或更多個元件可能沒有相互直接接觸,但仍然可相互配合或作用。
此外,可以電腦程式產品之方式下載此類電腦可讀取的媒體,其中可經由通訊鏈路(例如,匯流排、數據機、或網路連接)而經由資料信號將程式自遠端電腦(例如,伺服器)傳輸到提出要求的電腦(例如,用戶端裝置)。
因此,雖然已以與結構特徵及/或方法行動有關的語文說明了本發明之實施例,但是我們應可了解:申請專利範圍所主張的標的可不限於本說明書中述及的該等特定的特徵或行動。更確切地說,係以實施申請專利範圍所主張的標的之樣本形式之方式揭示該等特定的特徵或行動。
100,500,600‧‧‧處理系統
102‧‧‧硬體
104‧‧‧應用程式
106‧‧‧作業系統
108‧‧‧圖形使用者介面
110‧‧‧觸控式螢幕顯示器
112‧‧‧顯示管理組件
116‧‧‧使用者輸入控制組件
200‧‧‧姿勢辨識處理
302‧‧‧姿勢辨識引擎
304‧‧‧報告小工具
306‧‧‧聚合器
308‧‧‧使用者輸入控制應用程式資料庫
307‧‧‧環境訓練器
312‧‧‧使用者輸入控制環境資料庫
310‧‧‧特定應用程式預測器
314‧‧‧環境預測器
316‧‧‧修改小工具
503,603‧‧‧網路
530,630‧‧‧網路介面裝置
502,602,604‧‧‧處理器
504‧‧‧互連網路
506,620‧‧‧晶片組
508‧‧‧圖形及記憶體控制中心
510‧‧‧記憶體控制器
512,610,612‧‧‧記憶體
528‧‧‧磁碟機
514‧‧‧圖形介面
518‧‧‧控制中心介面
520‧‧‧輸入/輸出控制中心
524‧‧‧周邊裝置橋接器
522,640,644‧‧‧匯流排
526‧‧‧輸入裝置
606,608‧‧‧記憶體控制中心
614,622,624‧‧‧點對點介面
616,618,626,628,630,632,637,641‧‧‧點對點介面電路
636‧‧‧圖形介面
634‧‧‧圖形電路
642‧‧‧匯流排橋接器
643‧‧‧輸入/輸出裝置
645‧‧‧鍵盤/滑鼠/軌跡板
647‧‧‧音訊輸入/輸出裝置
648‧‧‧資料儲存裝置
649‧‧‧使用者輸入控制指令
前文中已參照各附圖而提供了實施方式。在不同的圖式中將使用相同的元件符號標示類似的或相同的項目。
第1圖示出根據本發明的一實施例之一處理系統。
第2圖是根據本發明的一實施例的姿勢辨識處理之一流程圖。
第3圖示出根據本發明的一實施例之一使用者輸入控制組件。
第4圖是根據本發明的一實施例的一使用者輸入控制處理之一流程圖。
第5及6圖示出可被用來實施本發明述及的某些實施例的處理系統的實施例之方塊圖。
Claims (16)
- 一種在具有觸控式螢幕顯示器的處理系統中推論使用者於該處理系統的姿勢輸入系統中之導航意圖之方法,該方法包含:自該觸控式螢幕顯示器接收該處理系統的一應用程式之目前姿勢輸入資料;根據過去姿勢輸入資料以及目前及過去環境資訊,產生代表導航意圖的預測值;根據關聯於目前進行互動之一應用程式的一先前使用模型,決定是否以該預測值來置換該目前姿勢輸入資料,其中該使用模型規定了使用者行為及觸發物的頻繁性、機率、及程度;如果是以該預測值來置換該目前姿勢輸入資料,則產生一輸出行動;以及執行該輸出行動。
- 如申請專利範圍第1項之方法,其中該目前及過去環境資訊包含當日目前時間、目前的時區、該處理系統之地理位置、該處理系統中現用的其他應用程式、以及使用者在一行事曆應用程式中的目前狀態中之至少一者。
- 一種非暫態機器可讀取的媒體,包含一或多個指令,該一或多個指令在包含一觸控式螢幕顯示器的一處理系統的一處理器中被執行時,將執行一或多個操作而執行:自該觸控式螢幕顯示器接收該處理系統的一應用程式之目前姿勢輸入資料;根據過去姿勢輸入資料以及目前及 過去環境資訊,產生代表導航意圖的預測值;根據關聯於目前進行互動之一應用程式的一先前使用模型,決定是否以該預測值來置換該目前姿勢輸入資料;以及如果是以該預測值來置換該目前姿勢輸入資料,則產生一輸出行動,其中該使用模型規定了使用者行為及觸發物的頻繁性、機率、及程度。
- 如申請專利範圍第3項之機器可讀取的媒體,其中該目前及過去環境資訊包含當日目前時間、目前的時區、該處理系統之地理位置、該處理系統中現用的其他應用程式、以及使用者在一行事曆應用程式中的目前狀態中之至少一者。
- 一種處理系統,包含:一觸控式螢幕顯示器;以及用來在將姿勢輸入資料提供給該觸控式螢幕顯示器時推論一使用者的導航意圖之一圖形使用者介面,該圖形使用者介面適應於執行:自該觸控式螢幕顯示器接收該處理系統的一應用程式之目前姿勢輸入資料;根據過去姿勢輸入資料以及目前及過去環境資訊,產生代表導航意圖的預測值;根據關聯於目前進行互動之一應用程式的一先前使用模型,決定是否以該預測值來置換該目前姿勢輸入資料;以及如果是以該預測值來置換該目前姿勢輸入資料,則產生一輸出行動。
- 如申請專利範圍第5項之處理系統,其中該目前及過去環境資訊包含當日目前時間、目前的時區、該處理系 統之地理位置、該處理系統中現用的其他應用程式、以及使用者在一行事曆應用程式中的目前狀態中之至少一者。
- 一種在具有觸控式螢幕顯示器的處理系統中推論使用者於該處理系統的姿勢輸入系統中之導航意圖之方法,該方法包含:自該觸控式螢幕顯示器接收該處理系統的一應用程式之目前姿勢輸入資料;將該目前姿勢輸入資料傳送到至少一聚合組件;該至少一聚合組件至少部分地根據該目前姿勢輸入資料、過去姿勢輸入資料、及該應用程式而執行一特定應用程式使用模型的產生及更新中之至少一者;至少部分地根據該處理系統的一目前環境而執行一環境使用模型的產生及更新中之至少一者;至少部分地根據該目前姿勢輸入資料、該目前環境、該特定應用程式使用模型、及該環境使用模型中之一或多者而預測對該目前姿勢輸入資料之修改;根據關聯於目前進行互動之一應用程式的一先前使用模型,決定是否以預測值來置換該目前姿勢輸入資料,其中該使用模型規定了使用者行為及觸發物的頻繁性、機率、及程度;以及至少部分地根據該等被預測之修改而修改該目前姿勢輸入資料。
- 如申請專利範圍第7項之方法,進一步包含:至少部分地根據該被修改之目前姿勢輸入資料而執行一輸出行 動。
- 如申請專利範圍第8項之方法,其中至少部分地根據該被修改之目前姿勢輸入資料而執行一輸出行動包含:提供該處理系統的一圖形使用者介面之改良式捲動行為。
- 一種處理系統,包含:一觸控式螢幕顯示器;至少一報告組件,用以自該觸控式螢幕顯示器接收一使用者的目前姿勢輸入資料,以便用於一應用程式;至少一聚合組件,用以自該至少一報告組件接收目前姿勢輸入資料,以與過去姿勢輸入資料有關之方式分析該目前姿勢輸入資料,且執行一特定應用程式使用模型的產生及更新中之至少一者;一環境訓練組件,用以至少部分地根據該處理系統之一目前環境而執行一環境使用模型的產生及更新中之至少一者;一特定應用程式預測組件,用以至少部分地根據該目前姿勢輸入資料及該特定應用程式使用模型而針對姿勢輸入預測該使用者的目前導航意圖;一環境預測組件,用以至少部分地根據該目前姿勢輸入資料及該環境使用模型而針對姿勢輸入預測該使用者的目前導航意圖;以及一修改組件,用以至少部分地根據來自該特定應用程式預測組件及該環境預測組件中之至少一組件的該等被預測的值而修改該目前姿勢輸入資料,其中該特定應用程式 使用模型規定了使用者行為及觸發物的頻繁性、機率、及程度。
- 如申請專利範圍第10項之處理系統,進一步包含該處理系統中現用的每一應用程式之一報告組件。
- 如申請專利範圍第11項之處理系統,其中該特定應用程式使用模型包含對該使用者先前如何經由姿勢而與該應用程式互動之一描述。
- 如申請專利範圍第11項之處理系統,其中該環境使用模型包含對該使用者先前使用姿勢而與該應用程式互動時所在的環境之一描述。
- 如申請專利範圍第13項之處理系統,其中該環境包含該處理系統的地理位置、行事曆狀態、當日時間、以及現用應用程式的一列表中之至少一者。
- 如申請專利範圍第11項之處理系統,包含該處理系統的每一使用者的每一應用程式之一特定應用程式使用模型。
- 如申請專利範圍第11項之處理系統,進一步包含執行自該被修改的目前姿勢輸入資料產生之一輸出行動。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/160,626 US20120324403A1 (en) | 2011-06-15 | 2011-06-15 | Method of inferring navigational intent in gestural input systems |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201312385A TW201312385A (zh) | 2013-03-16 |
TWI467415B true TWI467415B (zh) | 2015-01-01 |
Family
ID=47354792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW101118795A TWI467415B (zh) | 2011-06-15 | 2012-05-25 | 姿勢輸入系統中推論導航意圖的方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20120324403A1 (zh) |
TW (1) | TWI467415B (zh) |
WO (1) | WO2012173973A2 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5882779B2 (ja) * | 2012-02-15 | 2016-03-09 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法及びプログラム |
US8875060B2 (en) * | 2012-06-04 | 2014-10-28 | Sap Ag | Contextual gestures manager |
US20140258890A1 (en) * | 2013-03-08 | 2014-09-11 | Yahoo! Inc. | Systems and methods for altering the speed of content movement based on user interest |
US9405379B2 (en) | 2013-06-13 | 2016-08-02 | Microsoft Technology Licensing, Llc | Classification of user input |
US10613751B2 (en) * | 2014-06-27 | 2020-04-07 | Telenav, Inc. | Computing system with interface mechanism and method of operation thereof |
US20190155958A1 (en) * | 2017-11-20 | 2019-05-23 | Microsoft Technology Licensing, Llc | Optimized search result placement based on gestures with intent |
US11301128B2 (en) * | 2019-05-01 | 2022-04-12 | Google Llc | Intended input to a user interface from detected gesture positions |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050210417A1 (en) * | 2004-03-23 | 2005-09-22 | Marvit David L | User definable gestures for motion controlled handheld devices |
US20080178126A1 (en) * | 2007-01-24 | 2008-07-24 | Microsoft Corporation | Gesture recognition interactive feedback |
US20090243998A1 (en) * | 2008-03-28 | 2009-10-01 | Nokia Corporation | Apparatus, method and computer program product for providing an input gesture indicator |
US20100139990A1 (en) * | 2008-12-08 | 2010-06-10 | Wayne Carl Westerman | Selective Input Signal Rejection and Modification |
TW201104220A (en) * | 2009-07-27 | 2011-02-01 | Htc Corp | Method for operating naivgation apparatus, navigation apparatus and computer program product |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7006881B1 (en) * | 1991-12-23 | 2006-02-28 | Steven Hoffberg | Media recording device with remote graphic user interface |
US8460103B2 (en) * | 2004-06-18 | 2013-06-11 | Igt | Gesture controlled casino gaming system |
US7363398B2 (en) * | 2002-08-16 | 2008-04-22 | The Board Of Trustees Of The Leland Stanford Junior University | Intelligent total access system |
US20060267966A1 (en) * | 2005-05-24 | 2006-11-30 | Microsoft Corporation | Hover widgets: using the tracking state to extend capabilities of pen-operated devices |
EP1969456A4 (en) * | 2005-12-12 | 2015-11-04 | Tegic Comm Llc | APPARATUS FOR SEARCHING AND NAVIGATING A MOBILE DEVICE |
US9318108B2 (en) * | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8896470B2 (en) * | 2009-07-10 | 2014-11-25 | Blackberry Limited | System and method for disambiguation of stroke input |
US8432368B2 (en) * | 2010-01-06 | 2013-04-30 | Qualcomm Incorporated | User interface methods and systems for providing force-sensitive input |
-
2011
- 2011-06-15 US US13/160,626 patent/US20120324403A1/en not_active Abandoned
-
2012
- 2012-05-25 TW TW101118795A patent/TWI467415B/zh not_active IP Right Cessation
- 2012-06-12 WO PCT/US2012/042025 patent/WO2012173973A2/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050210417A1 (en) * | 2004-03-23 | 2005-09-22 | Marvit David L | User definable gestures for motion controlled handheld devices |
US20080178126A1 (en) * | 2007-01-24 | 2008-07-24 | Microsoft Corporation | Gesture recognition interactive feedback |
US20090243998A1 (en) * | 2008-03-28 | 2009-10-01 | Nokia Corporation | Apparatus, method and computer program product for providing an input gesture indicator |
US20100139990A1 (en) * | 2008-12-08 | 2010-06-10 | Wayne Carl Westerman | Selective Input Signal Rejection and Modification |
TW201104220A (en) * | 2009-07-27 | 2011-02-01 | Htc Corp | Method for operating naivgation apparatus, navigation apparatus and computer program product |
Also Published As
Publication number | Publication date |
---|---|
WO2012173973A3 (en) | 2013-04-25 |
US20120324403A1 (en) | 2012-12-20 |
WO2012173973A2 (en) | 2012-12-20 |
TW201312385A (zh) | 2013-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI467415B (zh) | 姿勢輸入系統中推論導航意圖的方法 | |
AU2018206772B2 (en) | Wellness data aggregator | |
EP2981104B1 (en) | Apparatus and method for providing information | |
US11880561B2 (en) | Systems and methods for generating and providing intelligent time to leave reminders | |
US10705707B2 (en) | User interface for editing a value in place | |
JP6602372B2 (ja) | コンテキスト情報に基づくタッチ表面の非アクティブ領域 | |
US10270898B2 (en) | Wellness aggregator | |
US10126847B2 (en) | Devices and methods for processing touch inputs | |
JP2019194892A (ja) | 着用可能電子機器のための竜頭入力 | |
EP3638108B1 (en) | Sleep monitoring from implicitly collected computer interactions | |
KR20130141378A (ko) | 컴퓨팅 디바이스 상에서의 그래픽 표현들 정리 | |
US20160259405A1 (en) | Eye Gaze for Automatic Paging | |
CN105556428A (zh) | 具有显示器的便携式终端及其操作方法 | |
AU2017287686B2 (en) | Electronic device and information providing method thereof | |
US10372294B2 (en) | Information processing apparatus and update information notification method | |
KR102370373B1 (ko) | 정보 제공하는 방법 및 이를 위한 전자기기 | |
US20170270418A1 (en) | Point in time predictive graphical model exploration | |
CN110110071B (zh) | 电子小说的推荐方法、设备及计算机可读存储介质 | |
TWI493434B (zh) | 電子裝置和應用軟體介面調整方法 | |
Singh | Smartwatch interaction techniques supporting mobility and encumbrance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |