TWI462003B - 用於整合手寫手勢之辨識與畫面讀取程式之裝置，方法及圖形使用者介面 - Google Patents

用於整合手寫手勢之辨識與畫面讀取程式之裝置，方法及圖形使用者介面 Download PDF

Info

Publication number
TWI462003B
TWI462003B TW102111570A TW102111570A TWI462003B TW I462003 B TWI462003 B TW I462003B TW 102111570 A TW102111570 A TW 102111570A TW 102111570 A TW102111570 A TW 102111570A TW I462003 B TWI462003 B TW I462003B
Authority
TW
Taiwan
Prior art keywords
touch
character
gesture
password
electronic device
Prior art date
Application number
TW102111570A
Other languages
English (en)
Other versions
TW201349078A (zh
Inventor
Christopher B Fleizach
Darren C Minifie
Gregory F Hughes
Ryan N Dour
Ian M Fisch
Da Silva Joel M Lopes
Michael M Ii Pedersen
Eric T Seymour
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201349078A publication Critical patent/TW201349078A/zh
Application granted granted Critical
Publication of TWI462003B publication Critical patent/TWI462003B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Description

用於整合手寫手勢之辨識與畫面讀取程式之裝置，方法及圖形使用者介面
所揭示實施例大體上係關於用於具有受損視力之人的電子裝置，且更特定而言，係關於使用諸如觸控式螢幕顯示器或軌跡墊之觸敏式表面提供協助工具的電子裝置。
近年來，觸敏式表面作為電腦及其他電子裝置之輸入裝置之使用已顯著增加。由於此等觸敏式表面之使用增加，因此對提供無障礙導覽回饋之基於觸碰之導覽方法的需要亦增加(例如，可聽回饋、觸覺回饋及/或點字輸出)，尤其是對於具有受損視力之人。舉例而言，低視力使用者、盲使用者、誦讀困難使用者或具有學習障礙之其他使用者或甚至僅想要或需要在操作期間在不查看裝置之情況下使用裝置的有視覺使用者可受益於准許裝置上之使用者介面元素之間的基於觸碰之導覽的協助工具使用者介面。詳言之，對於盲使用者，有效協助工具介面並非僅為一選項：需要該選項來在無來自有視覺使用者之輔助情況下使用此等裝置。
不幸地是，具有觸敏式表面之裝置上的現有協助工具介面仍為繁複的且低效的。使用者介面元素之導覽及啟動常常為困難的，藉此 對具有受損視力之使用者產生顯著認知負擔。另外，現有協助工具方法花費比必要時間長的時間，藉此浪費能量。此後一考慮事項在電池供電之裝置中為特別重要的。
因此，需要具有觸敏式表面(例如，觸控式螢幕顯示器及/或軌跡墊)與較快的更有效率之基於觸碰的協助工具方法及介面的電子裝置。此等方法及介面可補充或替換用於導覽使用者介面物件並與使用者介面物件互動的現有協助工具方法。此等方法及介面減少對具有受損視力之一使用者的認知負擔，且產生一更有效率之人機介面。對於電池供電之裝置而言，此等方法及介面節省電力且增加電池充電之間的時間。
與用於具有觸敏式表面之電子裝置之使用者介面相關聯的上述缺陷及其他問題藉由所揭示之裝置來減少或消除。在一些實施例中，該裝置為一桌上型電腦。在一些實施例中，該裝置為攜帶型裝置(例如，筆記型電腦、平板電腦，或手持型裝置)。在一些實施例中，該裝置具有一觸控板。在一些實施例中，該裝置具有一觸敏式顯示器(亦稱為「觸控式螢幕」或「觸控式螢幕顯示器」)。在一些實施例中，該裝置具有一圖形使用者介面(GUI)、一或多個處理器、記憶體，及儲存於該記憶體中以用於執行多個功能的一或多個模組、程式或指令集。在一些實施例中，該使用者主要經由該觸敏式表面上之手指接觸及手勢與該GUI互動。在一些實施例中，該等功能可包括影像編輯、繪圖、呈現、文書處理、網站建立、磁碟製作、試算表產生、遊戲玩樂、撥打電話、視訊會議、寄送電子郵件、即時訊息傳遞、健身支援、數位攝影、數位視訊製作(videoing)、網頁瀏覽、數位音樂播放，及/或數位視訊播放。用於執行此等功能之可執行指令可包括於一非暫時性電腦可讀儲存媒體或經組態以供一或多個處理器執行之 其他電腦程式產品中。
根據一些實施例，在具有一顯示器及一觸敏式表面之一電子裝置處執行一種方法。該方法包括：在該電子裝置藉由一開啟之畫面讀取程式協助工具模式而處於一鎖定之密碼保護狀態時，在該顯示器上顯示用於接收一密碼之一密碼畫面。該密碼包括一預定義字元序列，且該密碼畫面包括複數個字元圖示。該方法亦包括偵測該觸敏式表面上對應於字元之一手勢序列。該手勢序列中之對應於一各別字元的一各別手勢為一單一手指手勢，該單一手指手勢沿著對應於該各別字元之一各別路徑移動跨越該觸敏式表面。該方法進一步包括：判定該所偵測到之手勢序列是否對應於該密碼中之該預定義字元序列；及，回應於判定該所偵測到之手勢序列對應於該密碼中之該預定義字元序列：解鎖該電子裝置；及維持該電子裝置處於該畫面讀取程式協助工具模式。該方法進一步包括：回應於判定該所偵測到之手勢序列不對應於該密碼中之該預定義字元序列，藉由該開啟之畫面讀取程式協助工具模式維持該電子裝置處於該鎖定之密碼保護狀態。
根據一些實施例，在具有一顯示器及一觸敏式表面之一電子裝置處執行一種方法。該方法包括：在該電子裝置處於一畫面讀取程式協助工具模式時，在該顯示器上顯示一應用程式啟動程式畫面。該應用程式啟動程式畫面包括複數個應用程式圖示，且一各別應用程式圖示對應於儲存於該電子裝置中的一各別應用程式。該方法亦包括偵測該觸敏式表面上對應於一或多個字元的一或多個手勢之一序列。該一或多個手勢中之對應於該一或多個字元中之一各別字元的一各別手勢為一單一手指手勢，該單一手指手勢沿著對應於該各別字元之一各別路徑移動跨越該觸敏式表面。該方法進一步包括：判定一或多個手勢之該所偵測到之序列是否對應於該複數個應用程式圖示中的一各別應用程式圖示；及，回應於判定一或多個手勢之該所偵測到之序列對應 於該複數個應用程式圖示中的該各別應用程式圖示，執行與該各別應用程式圖示相關聯的一預定義操作。
根據一些實施例，在具有一顯示器及一觸敏式表面之一電子裝置處執行一種方法。該方法包括：在該電子裝置處於一畫面讀取程式協助工具模式時，在該顯示器上顯示一條目清單之至少一第一部分。該清單包括複數個條目。該方法亦包括偵測該觸敏式表面上對應於一或多個字元的一或多個手勢之一序列。該一或多個手勢中之對應於一各別字元的一各別手勢為一單一手指手勢，該單一手指手勢沿著對應於該各別字元之一各別路徑移動跨越該觸敏式表面。該方法進一步包括：判定一或多個手勢之該所偵測到之序列是否對應於該條目清單中的一各別條目；及，回應於判定一或多個手勢之該所偵測到之序列對應於該條目清單中之該各別條目，執行與該各別條目相關聯的一預定義操作。
根據一些實施例，在具有一顯示器及一觸敏式表面之一電子裝置處執行一種方法。該方法包括：在該電子裝置處於一畫面讀取程式協助工具模式時，在該顯示器上顯示一網頁之至少一部分。該網頁包括複數個使用者介面元素。該方法亦包括偵測該觸敏式表面上之一第一導覽手勢；及，回應於偵測到該觸敏式表面上之該第一導覽手勢，導覽至該複數個使用者介面元素中之對應於一當前可導覽單元類型的一或多個使用者介面元素之一第一集合。該當前可導覽單元類型經設定為選自複數個預定義可導覽單元類型之一第一可導覽單元類型。該方法進一步包括偵測該觸敏式表面上對應於一各別字元之一導覽設定手勢。對應於該各別字元之該導覽設定手勢為一單一手指手勢，該單一手指手勢沿著對應於該各別字元之一各別路徑移動跨越該觸敏式表面。該方法進一步包括：判定該導覽設定手勢是否對應於該複數個預定義可導覽單元類型中之一第二可導覽單元類型；及，回應於判定該 導覽設定手勢對應於該複數個預定義可導覽單元類型中之該第二可導覽單元類型：將該當前可導覽單元類型自該第一可導覽單元類型改變至該第二可導覽單元類型；及輸出指示已選擇該第二可導覽單元類型之可聽協助工具資訊。該方法進一步包括：在將該當前可導覽單元類型自該第一可導覽單元類型改變至該第二可導覽單元類型之後，偵測該觸敏式表面上之一第二導覽手勢；及，回應於偵測到該觸敏式表面上之該第二導覽手勢，導覽至該複數個使用者介面元素中之對應於該第二可導覽單元類型的一或多個使用者介面元素之一第二集合。
根據一些實施例，在具有一顯示器及一觸敏式表面之一電子裝置處執行一種方法。該方法包括：在該電子裝置處於一畫面讀取程式協助工具模式時，在該顯示器上顯示一字元輸入區域及一鍵盤。該鍵盤包括複數個鍵圖示。該方法亦包括偵測該觸敏式表面上對應於一或多個字元的一或多個手勢之一序列。該一或多個手勢中之對應於一各別字元之一各別手勢為一單一手指手勢，該單一手指手勢沿著對應於該各別字元之一各別路徑移動跨越該觸敏式表面，且該各別路徑橫越該觸敏式表面上對應於該複數個鍵圖示中之一或多個鍵圖示的一或多個位置，而不啟動該一或多個鍵圖示。該方法進一步包括回應於偵測到該各別手勢而在該顯示器之該字元輸入區域中鍵入該對應各別字元。
根據一些實施例，一種電子裝置包括一顯示器、一觸敏式表面、一或多個處理器、記憶體及一或多個程式；該一或多個程式儲存於該記憶體中且經組態以由該一或多個處理器執行，且該一或多個程式包括用於執行上文所描述之該等方法中之任一者的該等操作之指令。根據一些實施例，具有一顯示器、一觸敏式表面、一記憶體及執行儲存於該記憶體中之一或多個程式的一或多個處理器之一電子裝置上的一圖形使用者介面包括在上文所描述之該等方法中之任一者中顯 示的該等元素中之一或多者，該等元素係回應於輸入而更新，如該等上述方法中之任一者中所描述。根據一些實施例，一種電腦可讀儲存媒體上儲存有指令，該等指令在由具有一顯示器、一觸敏式表面之一電子裝置執行時使得該裝置執行上文所描述之該等方法中之任一者的該等操作。根據一些實施例，一種電子裝置包括：一顯示器；一觸敏式表面；及用於執行上文所描述之該等方法中之任一者的該等操作的構件。根據一些實施例，一種用於在具有一顯示器及一觸敏式表面之一電子裝置中使用的資訊處理設備包括用於執行上文所描述之該等方法中之任一者的該等操作的構件。
根據一些實施例，一種電子裝置包括一顯示單元，該顯示單元經組態以在該電子裝置藉由一開啟之畫面讀取程式協助工具模式而處於一鎖定之密碼保護狀態時，顯示用於接收一密碼的一密碼畫面。該密碼包括一預定義字元序列，該密碼畫面包括複數個字元圖示。該電子裝置亦包括一觸敏式表面單元，該觸敏式表面單元經組態以偵測該觸敏式表面單元上對應於字元之一手勢序列。該手勢序列中之對應於一各別字元的一各別手勢為一單一手指手勢，該單一手指手勢沿著對應於該各別字元之一各別路徑移動跨越該觸敏式表面單元。該電子裝置進一步包括耦接至該顯示單元及該觸敏式表面單元之一處理單元。該處理單元經組態以：判定該所偵測到之手勢序列是否對應於該密碼中之該預定義字元序列；及，回應於判定該所偵測到之手勢序列對應於該密碼中之該預定義字元序列：解鎖該電子裝置；及維持該電子裝置處於該畫面讀取程式協助工具模式。該處理單元亦經組態以：回應於判定該所偵測到之手勢序列不對應於該密碼中之該預定義字元序列，藉由該開啟之畫面讀取程式協助工具模式維持該電子裝置處於該鎖定之密碼保護狀態。
根據一些實施例，一種電子裝置包括一顯示單元，該顯示單元 經組態以在該電子裝置處於一畫面讀取程式協助工具模式時，顯示一應用程式啟動程式畫面。該應用程式啟動程式畫面包括複數個應用程式圖示。一各別應用程式圖示對應於儲存於該電子裝置中的一各別應用程式。該電子裝置亦包括一觸敏式表面單元，該觸敏式表面單元經組態以偵測該觸敏式表面單元上對應於一或多個字元的一或多個手勢之一序列。該一或多個手勢中之對應於該一或多個字元中之一各別字元的一各別手勢為一單一手指手勢，該單一手指手勢沿著對應於該各別字元之一各別路徑移動跨越該觸敏式表面單元。該電子裝置進一步包括耦接至該顯示單元及該觸敏式表面單元之一處理單元。該處理單元經組態以：判定一或多個手勢之該所偵測到之序列是否對應於該複數個應用程式圖示中的一各別應用程式圖示；及，回應於判定一或多個手勢之該所偵測到之序列對應於該複數個應用程式圖示中的該各別應用程式圖示，執行與該各別應用程式圖示相關聯的一預定義操作。
根據一些實施例，一種電子裝置包括一顯示單元，該顯示單元經組態以在該電子裝置處於一畫面讀取程式協助工具模式時，顯示一條目清單之至少一第一部分。該清單包括複數個條目。該電子裝置亦包括一觸敏式表面單元，該觸敏式表面單元經組態以偵測該觸敏式表面單元上對應於一或多個字元的一或多個手勢之一序列。該一或多個手勢中之對應於一各別字元的一各別手勢為一單一手指手勢，該單一手指手勢沿著對應於該各別字元之一各別路徑移動跨越該觸敏式表面單元。該電子裝置進一步包括耦接至該顯示單元及該觸敏式表面單元之一處理單元。該處理單元經組態以：判定一或多個手勢之該所偵測到之序列是否對應於該條目清單中的一各別條目；及，回應於判定一或多個手勢之該所偵測到之序列對應於該條目清單中之該各別條目，執行與該各別條目相關聯的一預定義操作。
根據一些實施例，一種電子裝置包括一顯示單元，該顯示單元 經組態以在該電子裝置處於一畫面讀取程式協助工具模式時，顯示一網頁之至少一部分。該網頁包括複數個使用者介面元素。該電子裝置亦包括一觸敏式表面單元，該觸敏式表面單元經組態以偵測該觸敏式表面單元上之一第一導覽手勢。該電子裝置進一步包括耦接至該顯示單元及該觸敏式表面單元之一處理單元。該處理單元經組態以回應於偵測到該觸敏式表面單元上之該第一導覽手勢，導覽至該複數個使用者介面元素中之對應於一當前可導覽單元類型的一或多個使用者介面元素之一第一集合。該當前可導覽單元類型經設定為選自複數個預定義可導覽單元類型之一第一可導覽單元類型。該處理單元亦經組態以偵測該觸敏式表面單元上對應於一各別字元之一導覽設定手勢。對應於該各別字元的該導覽設定手勢為一單一手指手勢，該單一手指手勢沿著對應於該各別字元之一各別路徑移動跨越該觸敏式表面單元。該處理單元經進一步組態以：判定該導覽設定手勢是否對應於該複數個預定義可導覽單元類型中之一第二可導覽單元類型；及，回應於判定該導覽設定手勢對應於該複數個預定義可導覽單元類型中之該第二可導覽單元類型：將該當前可導覽單元類型自該第一可導覽單元類型改變至該第二可導覽單元類型；及輸出指示已選擇該第二可導覽單元類型之可聽協助工具資訊。該處理單元經進一步組態以：在將該當前可導覽單元類型自該第一可導覽單元類型改變至該第二可導覽單元類型之後，偵測該觸敏式表面單元上之一第二導覽手勢；及，回應於偵測到該觸敏式表面單元上之該第二導覽手勢，導覽至該複數個使用者介面元素中之對應於該第二可導覽單元類型的一或多個使用者介面元素之一第二集合。
根據一些實施例，一種電子裝置包括一顯示單元，該顯示單元經組態以在該電子裝置處於一畫面讀取程式協助工具模式時，顯示一字元輸入區域及一鍵盤。該鍵盤包括複數個鍵圖示。該電子裝置亦包 括一觸敏式表面單元，該觸敏式表面單元經組態以偵測該觸敏式表面單元上對應於一或多個字元的一或多個手勢之一序列。該一或多個手勢中之對應於一各別字元的一各別手勢為一單一手指手勢，該單一手指手勢沿著對應於該各別字元之一各別路徑移動跨越該觸敏式表面單元，且該各別路徑橫越該觸敏式表面單元上對應於該複數個鍵圖示中之一或多個鍵圖示的一或多個位置，而不啟動該一或多個鍵圖示。該電子裝置進一步包括耦接至該顯示單元及該觸敏式表面單元之一處理單元。該處理單元經組態以回應於偵測到該各別手勢而在該顯示器之該字元輸入區域中鍵入該對應各別字元。
因此，具有顯示器及觸敏式表面之電子裝置具備整合手寫手勢之辨識與一畫面讀取程式的新的且改良之協助工具方法及使用者介面，藉此藉由此等裝置增加有效性、效率及使用者滿意度。此等方法及介面可補充或替換現有協助工具方法。
100‧‧‧攜帶型多功能裝置
102‧‧‧記憶體
103‧‧‧通信匯流排/信號線
104‧‧‧晶片
106‧‧‧輸入/輸出(I/O)子系統
108‧‧‧射頻(RF)電路
110‧‧‧音訊電路
111‧‧‧揚聲器
112‧‧‧觸敏式顯示器
113‧‧‧麥克風
116‧‧‧其他輸入或控制裝置
118‧‧‧周邊介面
120‧‧‧處理單元(CPU)
122‧‧‧記憶體控制器
124‧‧‧外部埠
126‧‧‧作業系統
128‧‧‧通信模組/指令集
130‧‧‧接觸/運動模組/指令集
132‧‧‧圖形模組/指令集
134‧‧‧文字輸入模組/指令集
135‧‧‧全球定位系統(GPS)模組/指令集
136‧‧‧應用程式/指令集
136-1‧‧‧應用程式
137‧‧‧聯繫人模組
138‧‧‧電話模組
139‧‧‧視訊會議模組
140‧‧‧電子郵件用戶端模組
141‧‧‧即時訊息傳遞(IM)模組
142‧‧‧健身支援模組
143‧‧‧相機模組
144‧‧‧影像管理模組
145‧‧‧視訊播放器模組
146‧‧‧音樂播放器模組
147‧‧‧瀏覽器模組
148‧‧‧行事曆模組
149‧‧‧介面工具集模組
149-1‧‧‧天氣介面工具集
149-2‧‧‧股票介面工具集
149-3‧‧‧計算器介面工具集
149-4‧‧‧鬧鐘介面工具集
149-5‧‧‧辭典介面工具集
149-6‧‧‧使用者建立之介面工具集
150‧‧‧介面工具集建立者模組
151‧‧‧搜尋模組
152‧‧‧視訊及音樂播放器模組
153‧‧‧備忘錄模組
154‧‧‧地圖模組
155‧‧‧線上視訊模組
156‧‧‧顯示控制器
157‧‧‧裝置/全域內部狀態
158‧‧‧光學感測器控制器
159‧‧‧個別設定檔
160‧‧‧輸入控制器
162‧‧‧電力系統
164‧‧‧光學感測器
166‧‧‧近接感測器
168‧‧‧加速度計
170‧‧‧事件排序程式
171‧‧‧事件監視器
172‧‧‧點擊視圖判定模組
173‧‧‧作用中事件辨識器判定模組
174‧‧‧事件分派器模組
176‧‧‧資料更新程式
177‧‧‧物件更新程式
178‧‧‧圖形使用者介面(GUI)更新程式
179‧‧‧事件資料
180‧‧‧事件辨識器
182‧‧‧事件接收器模組
183‧‧‧後設資料
184‧‧‧事件比較器
186‧‧‧事件定義
187-1‧‧‧事件1
187-2‧‧‧事件2
188‧‧‧事件遞送指令
190‧‧‧事件處理常式
191‧‧‧應用程式視圖
192‧‧‧應用程式內部狀態
200‧‧‧使用者介面(UI)
202‧‧‧手指
203‧‧‧手寫筆
204‧‧‧功能表按鈕
206‧‧‧按壓按鈕
208‧‧‧音量調整按鈕
210‧‧‧用戶識別模組(SIM)卡槽
212‧‧‧耳機插孔
300‧‧‧裝置
310‧‧‧處理單元(CPU)
320‧‧‧通信匯流排
330‧‧‧輸入/輸出(I/O)介面
340‧‧‧顯示器
350‧‧‧鍵盤/滑鼠/其他指標裝置
355‧‧‧觸控板
360‧‧‧網路/其他通信介面
370‧‧‧記憶體
380‧‧‧繪圖模組
382‧‧‧呈現模組
384‧‧‧文書處理模組
386‧‧‧網站建立模組
388‧‧‧磁碟製作模組
390‧‧‧試算表模組
400‧‧‧使用者介面
402‧‧‧信號強度指示符
404‧‧‧時間
405‧‧‧藍芽指示符
406‧‧‧電池狀態指示符
408‧‧‧系統匣
410‧‧‧指示符
414‧‧‧指示符
416‧‧‧圖示
418‧‧‧圖示
420‧‧‧圖示
422‧‧‧圖示
424‧‧‧圖示
426‧‧‧圖示
428‧‧‧圖示
430‧‧‧圖示
432‧‧‧圖示
434‧‧‧圖示
436‧‧‧圖示
438‧‧‧圖示
440‧‧‧圖示
442‧‧‧圖示
444‧‧‧圖示
446‧‧‧圖示
450‧‧‧顯示器
451‧‧‧觸敏式表面
452‧‧‧主座標軸
453‧‧‧主座標軸
460‧‧‧接觸
462‧‧‧接觸
468‧‧‧位置
470‧‧‧位置
502‧‧‧密碼輸入欄位
502-1‧‧‧密碼輸入欄位
502-2‧‧‧密碼輸入欄位
502-3‧‧‧密碼輸入欄位
502-4‧‧‧密碼輸入欄位
504-1‧‧‧字元圖示
504-2‧‧‧字元圖示
504-3‧‧‧字元圖示
504-4‧‧‧字元圖示
504-5‧‧‧字元圖示
504-6‧‧‧字元圖示
504-7‧‧‧字元圖示
504-8‧‧‧字元圖示
504-9‧‧‧字元圖示
504-10‧‧‧字元圖示
505‧‧‧觸碰手勢
506‧‧‧當前焦點
507‧‧‧觸碰手勢
508‧‧‧第一條目
509‧‧‧觸碰手勢
510‧‧‧搜尋條目區域
511‧‧‧觸碰手勢
511-A‧‧‧離散子路徑
511-B‧‧‧離散子路徑
512‧‧‧當前焦點
514‧‧‧字元輸入區域
515‧‧‧觸碰手勢
516‧‧‧游標
517‧‧‧手指手勢
518‧‧‧鍵盤
519‧‧‧觸碰手勢
521‧‧‧觸碰手勢
522‧‧‧當前焦點
523‧‧‧觸碰手勢
524‧‧‧索引
525‧‧‧手指接觸
527‧‧‧觸碰手勢
529‧‧‧觸碰手勢
531‧‧‧觸碰手勢
533‧‧‧觸碰手勢
535‧‧‧觸碰手勢
537‧‧‧觸碰手勢
539‧‧‧觸碰手勢
541‧‧‧觸碰手勢
543‧‧‧觸碰手勢
545‧‧‧觸碰手勢
547‧‧‧觸碰手勢
549‧‧‧觸碰手勢
551‧‧‧觸碰手勢
553‧‧‧觸碰手勢
555‧‧‧觸碰手勢
557‧‧‧觸碰手勢
559‧‧‧手指接觸
561‧‧‧手指接觸
563‧‧‧觸碰手勢
565‧‧‧觸碰手勢
567‧‧‧手指接觸
569‧‧‧手指接觸
571‧‧‧手指接觸
573‧‧‧手指接觸
575‧‧‧觸碰手勢
577‧‧‧觸碰手勢
600‧‧‧解鎖處於鎖定之密碼保護狀態之電子裝置之方法
700‧‧‧選擇應用程式圖示之方法
800‧‧‧選擇清單條目之方法
900‧‧‧導覽網頁之方法
1000‧‧‧接收手寫手勢之方法
1100‧‧‧電子裝置
1102‧‧‧顯示單元
1104‧‧‧觸敏式表面單元
1106‧‧‧處理單元
1108‧‧‧鎖定單元
1110‧‧‧偵測單元
1112‧‧‧判定單元
1114‧‧‧解鎖單元
1116‧‧‧協助工具單元
1118‧‧‧顯示停止單元
1120‧‧‧先行單元
1122‧‧‧顯示啟用單元
1124‧‧‧輸出單元
1126‧‧‧鍵入單元
1200‧‧‧電子裝置
1202‧‧‧顯示單元
1204‧‧‧觸敏式表面單元
1206‧‧‧處理單元
1208‧‧‧偵測單元
1210‧‧‧判定單元
1212‧‧‧執行單元
1214‧‧‧顯示啟用單元
1216‧‧‧輸出單元
1218‧‧‧鍵入單元
1220‧‧‧移動單元
1300‧‧‧電子裝置
1302‧‧‧顯示單元
1304‧‧‧觸敏式表面單元
1306‧‧‧處理單元
1308‧‧‧偵測單元
1310‧‧‧判定單元
1312‧‧‧執行單元
1314‧‧‧顯示替換單元
1316‧‧‧輸出單元
1318‧‧‧鍵入單元
1400‧‧‧電子裝置
1402‧‧‧顯示單元
1404‧‧‧觸敏式表面單元
1406‧‧‧處理單元
1408‧‧‧偵測單元
1410‧‧‧導覽單元
1412‧‧‧判定單元
1414‧‧‧改變單元
1416‧‧‧輸出單元
1418‧‧‧鍵入單元
1500‧‧‧電子裝置
1502‧‧‧顯示單元
1504‧‧‧觸敏式表面單元
1506‧‧‧處理單元
1508‧‧‧偵測單元
1510‧‧‧鍵入單元
1512‧‧‧輸出單元
1514‧‧‧刪除單元
為了更好地理解本發明之上述實施例以及本發明之額外實施例，應結合以下圖式參考以下【實施方式】，在該等圖式中，相似參考數字貫穿諸圖指代對應部分。
圖1A為說明根據一些實施例之具有觸敏式顯示器之攜帶型多功能裝置的方塊圖。
圖1B為說明根據一些實施例之用於事件處置之例示性組件的方塊圖。
圖2說明根據一些實施例之具有觸控式螢幕之攜帶型多功能裝置。
圖3為根據一些實施例之具有顯示器及觸敏式表面之例示性多功能裝置的方塊圖。
圖4A說明根據一些實施例之用於攜帶型多功能裝置上之應用程 式的功能表的例示性使用者介面。
圖4B說明根據一些實施例之用於具有與顯示器分離之觸敏式表面的多功能裝置之例示性使用者介面。
圖5A至圖5AO說明根據一些實施例之在接收手寫手勢的同時顯示的例示性使用者介面。
圖6A至圖6B為說明根據一些實施例之解鎖電子裝置之方法的流程圖。
圖7A至圖7C為說明根據一些實施例之選擇應用程式圖示之方法的流程圖。
圖8A至圖8B為說明根據一些實施例之選擇清單條目之方法的流程圖。
圖9A至圖9C為說明根據一些實施例之導覽網頁之方法的流程圖。
圖10A至圖10B為說明根據一些實施例之接收手寫手勢之方法的流程圖。
圖11為根據一些實施例之電子裝置的功能方塊圖。
圖12為根據一些實施例之電子裝置的功能方塊圖。
圖13為根據一些實施例之電子裝置的功能方塊圖。
圖14為根據一些實施例之電子裝置的功能方塊圖。
圖15為根據一些實施例之電子裝置的功能方塊圖。
下文描述整合手寫手勢之辨識與畫面讀取程式以使得基於觸碰之使用者介面對於具有受損視力之人而言更無障礙的裝置及方法。在裝置處於畫面讀取程式協助工具模式時執行本文中所描述之方法，本文中所描述之方法包括：．使用觸敏式表面上之手寫字元序列來解鎖電子裝置； ．使用觸敏式表面上之手寫字元序列來選擇應用程式圖示；．使用觸敏式表面上之手寫字元序列來選擇清單條目；．使用觸敏式表面上之手寫字元來導覽網頁；及．使用觸敏式使用者介面上之手寫手勢來鍵入字元。
此等方法使得在使用畫面讀取程式時，裝置解鎖、應用程式選擇、清單條目選擇、網頁導覽及字元輸入對於具有受損視力之使用者而言更有效率。
下文中，圖1A至圖1B、圖2及圖3提供例示性裝置之描述。圖4A至圖4B及圖5A至5AO說明在接收手寫手勢的同時顯示的例示性使用者介面。圖6A至圖6B為說明根據一些實施例之解鎖電子裝置之方法的流程圖。圖7A至圖7C為說明根據一些實施例之選擇應用程式圖示之方法的流程圖。圖8A至圖8B為說明根據一些實施例之選擇清單條目之方法的流程圖。圖9A至圖9C為說明根據一些實施例之導覽網頁之方法的流程圖。圖10A至圖10B為說明根據一些實施例之接收手寫手勢之方法的流程圖。圖5A至圖5AO中之使用者介面用以說明圖6A至圖6B、圖7A至圖7C、圖8A至圖8B、圖9A至圖9C及10A至圖10B中的處理程序。
例示性裝置
現將詳細參考實施例，實施例之數個實例說明於附圖中。在以下詳細描述中，闡述眾多特定細節以便提供對本發明之透徹理解。然而，對於一般熟習此項技術者而言將顯而易見，可在無此等特定細節之情況下實踐本發明。在其他例子中，未詳細描述熟知之方法、程序、組件、電路及網路，以便不會不必要地混淆實施例之數個態樣。
亦應理解，儘管本文中可能使用術語「第一」、「第二」等來描述各種元件，但此等元件不應受此等術語限制。此等術語僅用以區分一元件與另一元件。舉例而言，在不脫離本發明之範疇的情況下，第 一接點可被稱為第二接點，且，類似地，第二接點可被稱為第一接點。第一接點與第二接點兩者為接點，但其並非同一接點。
本文中的本發明之描述中所使用之術語僅為了描述特定實施例之目的，而並不意欲為本發明之限制。除非上下文清楚地另有指示，否則如在本發明之描述及附加申請專利範圍中所使用，單數形式「一」及「該」意欲亦包括複數形式。亦應理解，如本文中所使用之術語「及/或」指代且涵蓋相關聯之所列項目中之一或多者的任何及所有可能組合。應進一步理解，當用於本說明書中時，術語「包括」及/或「包含」指定所陳述特徵、整數、步驟、操作、元件及/或組件之存在，但並不排除一或多個其他特徵、整數、步驟、操作、元件、組件及/或其組群之存在或添加。
如本文中所使用，術語「若」可取決於內容脈絡而解釋成意謂「當......時」或「在......後」或「回應於判定......」或「回應於偵測到......」。類似地，片語「若判定......」或「若偵測到[所陳述之條件或事件]」可取決於內容脈絡而解釋為意謂「在判定......後」或「回應於判定......」或「在偵測到[所陳述之條件或事件]後」或「回應於偵測到[所陳述之條件或事件]」。
描述電子裝置、此等裝置之使用者介面及用於使用此等裝置之相關聯處理程序的實施例。在一些實施例中，裝置為諸如行動電話之攜帶型通信裝置，該裝置亦含有諸如PDA及/或音樂播放器功能之其他功能。攜帶型多功能裝置之例示性實施例包括(但不限於)可購自Apple Inc.(Cupertino,California)之iPhone®、iPod Touch®及iPad®裝置。亦可使用其他攜帶型電子裝置，諸如具有觸敏式表面(例如，觸控式螢幕顯示器及/或觸控板)之膝上型電腦或平板電腦。亦應理解，在一些實施例中，裝置並非攜帶型通信裝置，而是具有觸敏式表面(例如，觸控式螢幕顯示器及/或觸控板)之桌上型電腦。
在以下論述中，描述包括顯示器及觸敏式表面之電子裝置。然而，應理解，電子裝置可包括一或多個其他實體使用者介面裝置，諸如實體鍵盤、滑鼠及/或操縱桿。
該裝置通常支援諸如以下應用程式中之一或多者的多種應用程式：繪圖應用程式、呈現應用程式、文書處理應用程式、網站建立應用程式、磁碟製作應用程式、試算表應用程式、遊戲應用程式、電話應用程式、視訊會議應用程式、電子郵件應用程式、即時訊息傳遞應用程式、健身支援應用程式、照片管理應用程式、數位相機應用程式、數位視訊攝影機應用程式、網頁瀏覽應用程式、數位音樂播放器應用程式，及/或數位視訊播放器應用程式。
可在裝置上執行之各種應用程式可使用至少一共同實體使用者介面裝置，諸如觸敏式表面。觸敏式表面之一或多個功能以及顯示於裝置上之對應資訊可在應用程式之間加以調整及/或變化，及/或在各別應用程式內加以調整及/或變化。以此方式，裝置之共同實體架構(諸如，觸敏式表面)可藉由對於使用者而言直觀且透明之使用者介面支援多種應用程式。
現將注意力轉向具有觸敏式顯示器之攜帶型裝置之實施例。圖1A為說明根據一些實施例之具有觸敏式顯示器112之攜帶型多功能裝置100的方塊圖。為了便利起見，觸敏式顯示器112有時被稱作「觸控式螢幕」，且亦可被稱為或稱作觸敏式顯示器系統。裝置100可包括記憶體102(其可包括一或多個電腦可讀儲存媒體)、記憶體控制器122、一或多個處理單元(CPU)120、周邊介面118、射頻(RF)電路108、音訊電路110、揚聲器111、麥克風113、輸入/輸出(I/O)子系統106、其他輸入或控制裝置116，及外部埠124。裝置100可包括一或多個光學感測器164。此等組件可經由一或多個通信匯流排或信號線103通信。
應瞭解，裝置100僅為攜帶型多功能裝置之一實例，且裝置100 可具有比所展示組件多或少之組件，可組合兩個或兩個以上組件，或可具有組件之不同組態或配置。展示於圖1A中之各種組件可以硬體、軟體或硬體與軟體兩者之組合(包括一或多個信號處理及/或特殊應用積體電路)來實施。
記憶體102可包括高速隨機存取記憶體，且亦可包括非揮發性記憶體，諸如一或多個磁碟儲存裝置、快閃記憶體裝置，或其他非揮發性固態記憶體裝置。裝置100之其他組件(諸如，CPU 120及周邊介面118)對記憶體102之存取可由記憶體控制器122控制。
周邊介面118可用以將裝置之輸入及輸出周邊設備耦接至CPU 120及記憶體102。一或多個處理器120運行或執行儲存於記憶體102中之各種軟體程式及/或指令集，以執行裝置100之各種功能且處理資料。
在一些實施例中，周邊介面118、CPU 120及記憶體控制器122可實施於諸如晶片104之單一晶片上。在一些其他實施例中，周邊介面118、CPU 120及記憶體控制器122可實施於單獨晶片上。
射頻(RF)電路108接收並發送亦稱作電磁信號之RF信號。RF電路108將電信號轉換成電磁信號/將電磁信號轉換成電信號，且經由電磁信號與通信網路及其他通信裝置通信。RF電路108可包括用於執行此等功能之熟知電路，包括(但不限於)天線系統、RF收發器、一或多個放大器、調諧器、一或多個振盪器、數位信號處理器、編解碼器(CODEC)晶片組、用戶識別模組(SIM)卡、記憶體等。RF電路108可藉由無線通信與諸如亦稱作全球資訊網(WWW)的網際網路、企業內部網路及/或無線網路(諸如，蜂巢式電話網路、無線區域網路(LAN)及/或都會區域網路(MAN))的網路以及其他裝置通信。無線通信可使用複數個通信標準、協定及技術中之任一者，該等通信標準、協定及技術包括(但不限於)全球行動通信系統(GSM)、增強型資料GSM環境 (EDGE)、高速下行鏈路封包存取(HSDPA)、高速上行鏈路封包存取(HSUPA)、寬頻分碼多重存取(W-CDMA)、分碼多重存取(CDMA)、分時多重存取(TDMA)、唯資料演進(EV-DO)、HSPA、HSPA+、雙重小區HSPA(DC-HSPDA)、長期演進(LTE)、近場通信(NFC)、藍芽、無線局域網(Wi-Fi)(例如，IEEE 802.11a、IEEE 802.11b、IEEE 802.11g及/或IEEE 802.11n)、網際網路語音通信協定(VoIP)、Wi-MAX、電子郵件協定(例如，網際網路訊息存取通信協定(IMAP)及/或郵局通信協定(POP))、即時訊息傳遞(例如，可延伸性訊息傳遞與呈現協定(XMPP)、即時訊息傳遞及現狀資訊利用延伸之會期起始協定(SIMPLE)、即時訊息傳遞及現狀資訊服務(IMPS))及/或簡訊服務(SMS)，或包括截止此文件之申請日期為止尚未開發之通信協定的任何其他合適通信協定。
音訊電路110、揚聲器111及麥克風113提供使用者與裝置100之間的音訊介面。音訊電路110自周邊介面118接收音訊資料，將該音訊資料轉換成電信號，且將該電信號傳輸至揚聲器111。揚聲器111將電信號轉換成人類可聽到之聲波。音訊電路110亦接收由麥克風113自聲波轉換之電信號。音訊電路110將電信號轉換成音訊資料，且將音訊資料傳輸至周邊介面118以供處理。可藉由周邊介面118自記憶體102及/或RF電路108擷取音訊資料，及/或將音訊資料傳輸至記憶體102及/或RF電路108。在一些實施例中，音訊電路110亦包括耳機插孔(例如，圖2之212)。耳機插孔提供音訊電路110與抽取式音訊輸入/輸出周邊設備(諸如，僅有輸出之頭戴式耳機，或有輸出(例如，單耳或雙耳頭戴式耳機)與輸入(例如，麥克風)兩者之耳機)之間的介面。
I/O子系統106將裝置100上之輸入/輸出周邊設備(諸如，觸控式螢幕112及其他輸入控制裝置116)耦接至周邊介面118。I/O子系統106可包括顯示控制器156及其他輸入或控制裝置之一或多個輸入控制器 160。一或多個輸入控制器160自其他輸入或控制裝置116接收電信號/將電信號發送至其他輸入或控制裝置116。其他輸入控制裝置116可包括實體按鈕(例如，按壓按鈕、搖桿按鈕等)、撥號盤、滑動開關、操縱桿、點按式選盤(click wheel)等。在一些替代實施例中，(多個)輸入控制器160可耦接至以下各者中之任一者(或不耦接至以下各者中之任一者)：鍵盤、紅外線埠、USB埠，及諸如滑鼠之指標裝置。一或多個按鈕(例如，圖2之208)可包括用於揚聲器111及/或麥克風113之音量控制的增/減按鈕。一或多個按鈕可包括按壓按鈕(例如，圖2之206)。
觸敏式顯示器112提供裝置與使用者之間的輸入介面及輸出介面。顯示控制器156自觸控式螢幕112接收電信號及/或將電信號發送至觸控式螢幕112。觸控式螢幕112向使用者顯示視覺輸出。視覺輸出可包括圖形、文字、圖示、視訊及其任何組合(統稱為「圖形」)。在一些實施例中，一些或所有視覺輸出可對應於使用者介面物件。
觸控式螢幕112具有基於觸覺及/或觸感接觸而接受來自使用者之輸入之觸敏式表面、感測器或感測器集合。觸控式螢幕112及顯示控制器156(以及記憶體102中之任何相關聯模組及/或指令集)偵測觸控式螢幕112上之接觸(及接觸之任何移動或阻斷)，且將所偵測到之接觸轉換成與顯示於觸控式螢幕112上之使用者介面物件(例如，一或多個螢幕按鍵、圖示、網頁或影像)的互動。在例示性實施例中，觸控式螢幕112與使用者之間的接觸點對應於使用者之手指。
觸控式螢幕112可使用液晶顯示器(LCD)技術、發光聚合物顯示器(LPD)技術或發光二極體(LED)技術，但在其他實施例中可使用其他顯示技術。觸控式螢幕112及顯示控制器156可使用現已知或稍後開發的複數種觸碰感測技術(包括(但不限於)電容性、電阻性、紅外線及表面聲波技術)中之任一者以及用於判定與觸控式螢幕112之一或多個接觸點之其他近接感測器陣列或其他元件來偵測接觸及接觸之任何移 動或阻斷。在一例示性實施例中，使用投射互電容感測技術，諸如在來自Apple Inc.(Cupertino,California)的iPhone®、iPod Touch®及iPad®中所見的投射互電容感測技術。
觸控式螢幕112可具有超過100dpi之視訊解析度。在一些實施例中，觸控式螢幕具有大約160dpi之視訊解析度。使用者可使用任何合適物件或附件(諸如，手寫筆、手指等)與觸控式螢幕112接觸。在一些實施例中，使用者介面經設計成主要藉由基於手指之接觸及手勢起作用，歸因於手指在觸控式螢幕上之較大接觸面積，因此與基於手寫筆之輸入相比較，基於手指之接觸及手勢之精確度可能較低。在一些實施例中，裝置將粗略之基於手指之輸入轉譯成精確之指標/游標位置或命令，以用於執行使用者所要之動作。
在一些實施例中，除觸控式螢幕之外，裝置100亦可包括用於啟動或撤銷啟動特定功能之觸控板(未展示)。在一些實施例中，觸控板為裝置之觸敏式區域，不同於觸控式螢幕，該觸敏式區域不顯示視覺輸出。觸控板可為與觸控式螢幕112分離之觸敏式表面，或為由觸控式螢幕形成之觸敏式表面的延伸。
裝置100亦包括向各種組件供電之電力系統162。電力系統162可包括電力管理系統、一或多個電源(例如，電池、交流電(AC))、再充電系統、電力故障偵測電路、電力轉換器或反轉器、電力狀態指示符(例如，發光二極體(LED))，及與攜帶型裝置中之電力之產生、管理及分配相關聯的任何其他組件。
裝置100亦可包括一或多個光學感測器164。圖1A展示耦接至I/O子系統106中之光學感測器控制器158的光學感測器。光學感測器164可包括電荷耦合裝置(CCD)，或互補金氧半導體(CMOS)光電晶體。光學感測器164自環境接收經由一或多個透鏡投射之光，且將光轉換成表示影像之資料。結合成像模組143(亦稱作相機模組)，光學感測 器164可俘獲靜態影像或視訊。在一些實施例中，光學感測器位於裝置100之背面，與在裝置之正面之觸控式螢幕顯示器112相對，使得觸控式螢幕顯示器可用作靜態影像及/或視訊影像獲取之取景器。在一些實施例中，另一光學感測器位於裝置之正面，使得在使用者檢視觸控式螢幕顯示器上之其他視訊會議參與者時，可獲得該使用者之影像以用於視訊會議。
裝置100亦可包括一或多個近接感測器166。圖1A展示耦接至周邊介面118之近接感測器166。或者，近接感測器166可耦接至I/O子系統106中之輸入控制器160。在一些實施例中，當將多功能裝置接近使用者之耳朵置放時(例如，當使用者正撥打電話時)，近接感測器將關掉觸控式螢幕112且停用觸控式螢幕112。
裝置100亦可包括一或多個加速度計168。圖1A展示耦接至周邊介面118之加速度計168。或者，加速度計168可耦接至I/O子系統106中之輸入控制器160。在一些實施例中，基於對自一或多個加速度計所接收之資料的分析而以縱向視圖或橫向視圖將資訊顯示於觸控式螢幕顯示器上。除(多個)加速度計168之外，裝置100視情況亦包括用於獲得關於裝置100之位置及定向(例如，縱向或橫向)之資訊的磁力計(未展示)及GPS(或GLONASS或其他全球導航系統)接收器(未展示)。
在一些實施例中，儲存於記憶體102中之軟體組件包括作業系統126、通信模組(或指令集)128、接觸/運動模組(或指令集)130、圖形模組(指令集)132、文字輸入模組(或指令集)134、全球定位系統(GPS)模組(或指令集)135，及應用程式(或指令集)136。此外，在一些實施例中，如圖1A及圖3中所展示，記憶體102儲存裝置/全域內部狀態157。裝置/全域內部狀態157包括以下各者中之一或多者：作用中應用程式狀態，其指示哪些應用程式(若存在)當前在作用中；顯示狀態，其指示何應用程式、視圖或其他資訊佔用觸控式螢幕顯示器112 之各種區；感測器狀態，其包括自裝置之各種感測器及輸入控制裝置116獲得之資訊；及關於裝置之位置及/或姿態之位置資訊。
作業系統126(例如，Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS，或諸如VxWorks之嵌入式作業系統)包括用於控制及管理一般系統任務(例如，記憶體管理、儲存裝置控制、電力管理等)之各種軟體組件及/或驅動程式，且促進各種硬體與軟體組件之間的通信。
通信模組128促進經由一或多個外部埠124之與其他裝置之通信，且亦包括用於處置由RF電路108及/或外部埠124接收之資料的各種軟體組件。外部埠124(例如，通用串列匯流排(USB)、FIREWIRE等)經調適以用於直接耦接至其他裝置或經由網路(例如，網際網路、無線LAN等)間接地耦接至其他裝置。在一些實施例中，外部埠為與用於iPod(Apple Inc.之商標)裝置上之30-接腳連接器相同或類似及/或相容之多接腳(例如，30-接腳)連接器。
接觸/運動模組130可偵測與觸控式螢幕112(結合顯示控制器156)及其他觸敏式裝置(例如，觸控板或實體點按式選盤)之接觸。接觸/運動模組130包括用於執行與對接觸之偵測有關之各種操作的各種軟體組件，該等操作諸如判定是否發生了接觸(例如，偵測手指向下事件)、判定是否存在接觸之移動及追蹤跨越觸敏式表面之移動(例如，偵測一或多個手指拖曳事件)，及判定是否已停止接觸(例如，偵測手指向上事件或接觸之阻斷)。接觸/運動模組130自觸敏式表面接收接觸資料。判定藉由一系列接觸資料表示之接觸點之移動可包括判定接觸點之速率(量值)、速度(量值及方向)及/或加速度(量值及/或方向之改變)。此等操作可應用於單一接觸(例如，單手指接觸)或應用於多個同時接觸(例如，「多點觸碰」/多個手指接觸)。在一些實施例中，接觸/運動模組130及顯示控制器156偵測觸控板上之接觸。
接觸/運動模組130可偵測由使用者輸入之手勢。在觸敏式表面上之不同手勢具有不同接觸型樣。因此，可藉由偵測特定接觸型樣來偵測手勢。舉例而言，偵測手指輕觸手勢包括偵測手指向下事件，繼之偵測在與手指向下事件相同之位置(或實質上相同之位置)處(例如，在圖示之位置處)的手指向上(起離)事件。作為另一實例，偵測觸敏式表面上之手指撥動手勢包括偵測手指向下事件，繼之偵測一或多個手指拖曳事件，且隨後繼之偵測手指向上(起離)事件。
圖形模組132包括用於在觸控式螢幕112或其他顯示器上顯現及顯示圖形之各種已知軟體組件，包括用於改變所顯示之圖形之強度的組件。如本文中所使用，術語「圖形」包括可向使用者顯示之任何物件，包括(但不限於)文字、網頁、圖示(諸如，包括螢幕按鍵之使用者介面物件)、數位影像、視訊、動畫及其類似者。
在一些實施例中，圖形模組132儲存表示待使用之圖形的資料。可為每一圖形指派一對應碼。圖形模組132自應用程式等接收指定待顯示之圖形之一或多個碼以及(必要時)座標資料及其他圖形性質資料，且接著產生畫面影像資料以輸出至顯示控制器156。
可為圖形模組132之組件的文字輸入模組134提供用於在各種應用程式(例如，聯繫人137、電子郵件140、即時訊息傳遞(IM)141、瀏覽器147及需要文字輸入之任何其他應用程式)中鍵入文字之螢幕小鍵盤。
GPS模組135判定裝置之位置，且提供此資訊以用於在各種應用程式中使用(例如，提供至電話138以用於在基於位置之撥號中使用，提供至相機143作為圖片/視訊後設資料，且提供至提供基於位置之服務的應用程式，諸如天氣介面工具集、本地黃頁介面工具集及地圖/導航介面工具集)。
應用程式136可包括以下模組(或指令集)或其子集或超集： ．聯繫人模組137(有時稱作通訊錄或聯繫人清單)；．電話模組138；．視訊會議模組139；．電子郵件用戶端模組140；．即時訊息傳遞(IM)模組141；．健身支援模組142；．用於靜態及/或視訊影像之相機模組143；．影像管理模組144；．瀏覽器模組147；．行事曆模組148；．介面工具集模組149，其可包括以下各者中之一或多者：天氣介面工具集149-1、股票介面工具集149-2、計算器介面工具集149-3、鬧鐘介面工具集149-4、辭典介面工具集149-5，及由使用者獲得之其他介面工具集，以及使用者建立之介面工具集149-6；．用於製作使用者建立之介面工具集149-6的介面工具集建立者模組150；．搜尋模組151；．視訊及音樂播放器模組152，其可由視訊播放器模組及音樂播放器模組構成；．備忘錄模組153；．地圖模組154；及/或．線上視訊模組155。
可儲存於記憶體102中之其他應用程式136之實例包括其他文書處理應用程式、其他影像編輯應用程式、繪圖應用程式、呈現應用程式、JAVA啟用應用程式、加密、數位版權管理、語音辨識，及語音複製。
結合觸控式螢幕112、顯示控制器156、接觸模組130、圖形模組132及文字輸入模組134，聯繫人模組137可用以管理通訊錄或聯繫人清單(例如，儲存於記憶體102或記憶體370中之聯繫人模組137之應用程式內部狀態192中)，包括：將(多個)名稱新增至通訊錄；自通訊錄刪除(多個)名稱；使(多個)電話號碼、(多個)電子郵件地址、(多個)實體位址或其他資訊與一名稱相關聯；使一影像與一名稱相關聯；將名稱分類及排序；提供電話號碼或電子郵件地址以藉由電話138、視訊會議139、電子郵件140或IM 141起始及/或促進通信；等等。
結合RF電路108、音訊電路110、揚聲器111、麥克風113、觸控式螢幕112、顯示控制器156、接觸模組130、圖形模組132及文字輸入模組134，電話模組138可用以鍵入對應於電話號碼之字元序列，存取通訊錄137中之一或多個電話號碼，修改已鍵入之電話號碼，撥打各別電話號碼，進行交談，及在交談完成時中斷連接或掛斷。如上所註解，無線通信可使用複數種通信標準、協定及技術中之任一者。
結合RF電路108、音訊電路110、揚聲器111、麥克風113、觸控式螢幕112、顯示控制器156、光學感測器164、光學感測器控制器158、接觸模組130、圖形模組132、文字輸入模組134、聯繫人清單137及電話模組138，視訊會議模組139包括執行以下操作之可執行指令：根據使用者指令起始、進行及終止使用者與一或多個其他參與者之間的視訊會議。
結合RF電路108、觸控式螢幕112、顯示控制器156、接觸模組130、圖形模組132及文字輸入模組134，電子郵件用戶端模組140包括執行以下操作之可執行指令：回應於使用者指令而建立、發送、接收及管理電子郵件。結合影像管理模組144，電子郵件用戶端模組140使得非常易於建立及發送具有用相機模組143拍攝之靜態影像或視訊影像之電子郵件。
結合RF電路108、觸控式螢幕112、顯示控制器156、接觸模組130、圖形模組132及文字輸入模組134，即時訊息傳遞模組141包括執行以下操作之可執行指令：鍵入對應於即時訊息之字元序列，修改先前鍵入之字元，傳輸各別即時訊息(例如，針對基於電話之即時訊息使用簡訊服務(SMS)或多媒體訊息服務(MMS)協定，或針對基於網際網路之即時訊息使用XMPP、SIMPLE或IMPS)，接收即時訊息，及檢視所接收即時訊息。在一些實施例中，所傳輸及/或所接收即時訊息可包括圖形、照片、音訊檔案、視訊檔案及/或如MMS及/或增強型訊息傳遞服務(EMS)中支援之其他附加檔案。如本文中所使用，「即時訊息傳遞」指代基於電話之訊息(例如，使用SMS或MMS發送之訊息)及基於網際網路之訊息(例如，使用XMPP、SIMPLE或IMPS發送之訊息)兩者。
結合RF電路108、觸控式螢幕112、顯示控制器156、接觸模組130、圖形模組132、文字輸入模組134、GPS模組135、地圖模組154及音樂播放器模組146，健身支援模組142包括執行以下操作之可執行指令：建立健身計劃(例如，關於時間、距離及/或卡路里燃燒目標)；與健身感測器(運動裝置)通信；接收健身感測器資料；校準用以監視健身之感測器；選擇及播放用於健身之音樂；及顯示、儲存及傳輸健身資料。
結合觸控式螢幕112、顯示控制器156、(多個)光學感測器164、光學感測器控制器158、接觸模組130、圖形模組132及影像管理模組144，相機模組143包括執行以下操作之可執行指令：俘獲靜態影像或視訊(包括視訊串流)且將前述兩者儲存至記憶體102中，修改靜態影像或視訊之特性，或自記憶體102刪除靜態影像或視訊。
結合觸控式螢幕112、顯示控制器156、接觸模組130、圖形模組132、文字輸入模組134及相機模組143，影像管理模組144包括執行以 下操作之可執行指令：配置、修改(例如，編輯)或以其他方式操縱、標示、刪除、呈現(例如，以數位投影片放映或相簿)及儲存靜態及/或視訊影像。
結合RF電路108、觸控式螢幕112、顯示系統控制器156、接觸模組130、圖形模組132及文字輸入模組134，瀏覽器模組147包括執行以下操作之可執行指令：根據使用者指令瀏覽網際網路，包括搜尋、連結至、接收及顯示網頁或其部分以及連結至網頁之附加檔案及其他檔案。
結合RF電路108、觸控式螢幕112、顯示系統控制器156、接觸模組130、圖形模組132、文字輸入模組134、電子郵件用戶端模組140及瀏覽器模組147，行事曆模組148包括執行以下操作之可執行指令：根據使用者指令建立、顯示、修改及儲存行事曆及與行事曆相關聯之資料(例如，行事曆條目、待辦事項清單等)。
結合RF電路108、觸控式螢幕112、顯示系統控制器156、接觸模組130、圖形模組132、文字輸入模組134及瀏覽器模組147，介面工具集模組149為可由使用者下載及使用之迷你應用程式(例如，天氣介面工具集149-1、股票介面工具集149-2、計算器介面工具集149-3、鬧鐘介面工具集149-4及辭典介面工具集149-5)，或由使用者建立之迷你應用程式(例如，使用者建立之介面工具集149-6)。在一些實施例中，介面工具集包括超文字標記語言(HTML)檔案、階層式樣式表(CSS)檔案及JavaScript檔案。在一些實施例中，介面工具集包括可延伸性標記語言(XML)檔案及JavaScript檔案(例如，Yahoo！Widgets)。
結合RF電路108、觸控式螢幕112、顯示系統控制器156、接觸模組130、圖形模組132、文字輸入模組134及瀏覽器模組147，介面工具集建立者模組150可由使用者使用以建立介面工具集(例如，將網頁之使用者指定之部分變成介面工具集)。
結合觸控式螢幕112、顯示系統控制器156、接觸模組130、圖形模組132及文字輸入模組134，搜尋模組151包括執行以下操作之可執行指令：根據使用者指令搜尋記憶體102中之與一或多個搜尋準則(例如，一或多個使用者指定之搜尋項)匹配的文字、音樂、聲音、影像、視訊及/或其他檔案。
結合觸控式螢幕112、顯示系統控制器156、接觸模組130、圖形模組132、音訊電路110、揚聲器111、RF電路108及瀏覽器模組147，視訊及音樂播放器模組152包括允許使用者下載及播放以一或多個檔案格式(諸如，MP3或AAC檔案)儲存之已記錄音樂及其他聲音檔案之可執行指令，及顯示、呈現或以其他方式播放視訊(例如，在觸控式螢幕112上或在經由外部埠124連接之外部顯示器上)之可執行指令。在一些實施例中，裝置100可包括諸如iPod(Apple Inc.之商標)之MP3播放器的功能性。
結合觸控式螢幕112、顯示控制器156、接觸模組130、圖形模組132及文字輸入模組134，備忘錄模組153包括執行以下操作之可執行指令：根據使用者指令建立及管理備忘錄、待辦事項清單及其類似者。
結合RF電路108、觸控式螢幕112、顯示系統控制器156、接觸模組130、圖形模組132、文字輸入模組134、GPS模組135及瀏覽器模組147，地圖模組154可用以根據使用者指令接收、顯示、修改及儲存地圖及與地圖相關聯之資料(例如，駕駛方向；關於位於特定位置或其附近之商店及其他關注點之資料；及基於位置之其他資料)。
結合觸控式螢幕112、顯示系統控制器156、接觸模組130、圖形模組132、音訊電路110、揚聲器111、RF電路108、文字輸入模組134、電子郵件用戶端模組140及瀏覽器模組147，線上視訊模組155包括執行以下操作之指令：允許使用者存取、瀏覽、接收(例如，藉由 串流傳輸及/或下載)、播放(例如，在觸控式螢幕上，或在經由外部埠124連接之外部顯示器上)、發送具有至特定線上視訊之連結之電子郵件，及以其他方式管理呈一或多個檔案格式(諸如，H.264)之線上視訊。在一些實施例中，即時訊息傳遞模組141(而非電子郵件用戶端模組140)用以發送至特定線上視訊之連結。
上文所識別之模組及應用程式中之每一者對應於用於執行上文所描述之一或多個功能及本申請案中所描述之方法(例如，電腦實施之方法及本文中所描述之其他資訊處理方法)之一可執行指令集。此等模組(亦即，指令集)不需要實施為單獨的軟體程式、程序或模組，且因此在各種實施例中可組合或以其他方式重新配置此等模組之各種子集。在一些實施例中，記憶體102可儲存上文所識別之模組及資料結構之子集。此外，記憶體102可儲存上文未描述之額外模組及資料結構。
在一些實施例中，裝置100為經由觸控式螢幕及/或觸控板排他性地執行裝置上之預定義函式集合之操作的裝置。藉由使用觸控式螢幕及/或觸控板作為用於裝置100之操作之主要輸入控制裝置，可減少裝置100上之實體輸入控制裝置(諸如，按壓按鈕、撥號盤及其類似者)之數目。
可經由觸控式螢幕及/或觸控板排他性地執行之預定義函式集合包括使用者介面之間的導覽。在一些實施例中，在被使用者觸碰時，觸控板將裝置100自可顯示於裝置100上之任何使用者介面導覽至主功能表、首頁功能表或根功能表。在此等實施例中，觸控板可被稱作「功能表按鈕」。在一些其他實施例中，功能表按鈕可為實體按壓按鈕或其他實體輸入控制裝置，而非觸控板。
圖1B為說明根據一些實施例之用於事件處置之例示性組件的方塊圖。在一些實施例中，記憶體102(在圖1A中)或370(圖3)包括事件排 序程式170(例如，在作業系統126中)及各別應用程式136-1(例如，上述應用程式137至151、155、380至390中之任一者)。
事件排序程式170接收事件資訊，且判定將事件資訊遞送至之應用程式136-1及應用程式136-1之應用程式視圖191。事件排序程式170包括事件監視器171及事件分派器模組174。在一些實施例中，應用程式136-1包括應用程式內部狀態192，其指示在應用程式在作用中或正在執行時顯示於觸敏式顯示器112上之(多個)當前應用程式視圖。在一些實施例中，裝置/全域內部狀態157由事件排序程式170使用以判定哪一(哪些)應用程式當前在作用中，且應用程式內部狀態192由事件排序程式170使用以判定將事件資訊遞送至之應用程式視圖191。
在一些實施例中，應用程式內部狀態192包括額外資訊，諸如以下各者中之一或多者：待於應用程式136-1重新繼續執行時使用之重新繼續資訊、指示資訊正由應用程式136-1顯示或準備好由應用程式136-1顯示之使用者介面狀態資訊、用於使得使用者能夠返回至應用程式136-1之先前狀態或視圖的狀態佇列，及由使用者採取之先前動作之重做/復原佇列。
事件監視器171自周邊介面118接收事件資訊。事件資訊包括關於子事件(例如，作為多點觸碰手勢之部分的觸敏式顯示器112上之使用者觸碰)之資訊。周邊介面118傳輸其自I/O子系統106或感測器(諸如，近接感測器166)、(多個)加速度計168及/或麥克風113(經由音訊電路110)接收之資訊。周邊介面118自I/O子系統106接收之資訊包括來自觸敏式顯示器112或觸敏式表面之資訊。
在一些實施例中，事件監視器171以預定間隔將請求發送至周邊介面118。回應於此，周邊介面118傳輸事件資訊。在其他實施例中，僅在存在重大事件(例如，接收到高於預定雜訊臨限值之輸入及/或在多於預定持續時間內接收到輸入)時，周邊介面118才傳輸事件資訊。
在一些實施例中，事件排序程式170亦包括點擊視圖(hit view)判定模組172及/或作用中事件辨識器判定模組173。
點擊視圖判定模組172提供用於在觸敏式顯示器112顯示一個以上視圖時判定在一或多個視圖內之何處發生子事件的軟體程序。視圖係由控制項及使用者可在顯示器上見到之其他元素構成。
與應用程式相關聯之使用者介面之另一態樣為本文中有時被稱作應用程式視圖或使用者介面視窗之視圖集合，在該視圖集合中顯示資訊且發生基於觸碰之手勢。偵測到觸碰之應用程式視圖(各別應用程式之應用程式視圖)可對應於應用程式之程式設計或視圖階層架構內之程式設計層級。舉例而言，偵測到觸碰之最低層級視圖可被稱作點擊視圖，且可至少部分地基於開始基於觸碰之手勢的初始觸碰之點擊視圖來判定辨識為適當輸入之事件集合。
點擊視圖判定模組172接收與基於觸碰之手勢之子事件有關的資訊。當應用程式具有以階層組織之多個視圖時，點擊視圖判定模組172將點擊視圖識別為該階層中應處置該子事件之最低視圖。在多數情況下，點擊視圖為發生起始子事件(亦即，形成事件或潛在事件之子事件序列中的第一子事件)之最低層級視圖。一旦由點擊視圖判定模組識別點擊視圖，點擊視圖通常便接收與相同觸碰或輸入源(針對該觸碰或輸入源將該視圖識別為點擊視圖)有關之所有子事件。
作用中事件辨識器判定模組173判定視圖階層架構內之哪一或哪些視圖應接收特定子事件序列。在一些實施例中，作用中事件辨識器判定模組173判定僅點擊視圖應接收特定子事件序列。在其他實施例中，作用中事件辨識器判定模組173判定包括子事件之實體位置的所有視圖為正在涉及之視圖，且因此判定所有正在涉及之視圖應接收特定子事件序列。在其他實施例中，即使觸碰子事件完全侷限於與一特定視圖相關聯之區域，階層架構中較高之視圖仍將保持為正在涉及之 視圖。
事件分派器模組174將事件資訊分派至事件辨識器(例如，事件辨識器180)。在包括作用中事件辨識器判定模組173之實施例中，事件分派器模組174將由作用中事件辨識器判定模組173判定之事件資訊遞送至事件辨識器。在一些實施例中，事件分派器模組174將事件資訊儲存於事件佇列中，由各別事件接收器模組182擷取該事件資訊。
在一些實施例中，作業系統126包括事件排序程式170。或者，應用程式136-1包括事件排序程式170。在又其他實施例中，事件排序程式170為獨立模組或為儲存於記憶體102中之另一模組(諸如，接觸/運動模組130)的部分。
在一些實施例中，應用程式136-1包括複數個事件處理常式190及一或多個應用程式視圖191，其中之每一者包括用於處置在應用程式之使用者介面之各別視圖內發生的觸碰事件之指令。應用程式136-1之每一應用程式視圖191包括一或多個事件辨識器180。通常，各別應用程式視圖191包括複數個事件辨識器180。在其他實施例中，事件辨識器180中之一或多者為單獨模組之部分，單獨模組諸如使用者介面套件(未展示)或較高層級物件(應用程式136-1自該較高層級物件繼承方法及其他性質)。在一些實施例中，各別事件處理常式190包括以下各者中之一或多者：資料更新程式176、物件更新程式177、GUI更新程式178，及/或自事件排序程式170接收之事件資料179。事件處理常式190可利用或呼叫資料更新程式176、物件更新程式177或GUI更新程式178來更新應用程式內部狀態192。或者，應用程式視圖191中之一或多者包括一或多個各別事件處理常式190。又，在一些實施例中，資料更新程式176、物件更新程式177及GUI更新程式178中之一或多者包括於各別應用程式視圖191中。
各別事件辨識器180自事件排序程式170接收事件資訊(例如，事 件資料179)，且自事件資訊識別事件。事件辨識器180包括事件接收器182及事件比較器184。在一些實施例中，事件辨識器180亦包括以下各者之至少一子集：後設資料183，及事件遞送指令188(其可包括子事件遞送指令)。
事件接收器182自事件排序程式170接收事件資訊。事件資訊包括關於子事件(例如，觸碰或觸碰移動)之資訊。取決於子事件，事件資訊亦包括諸如子事件之位置的額外資訊。當子事件與觸碰之運動有關時，事件資訊亦可包括子事件之速率及方向。在一些實施例中，事件包括裝置自一定向旋轉至另一定向(例如，自縱向定向旋轉至橫向定向，或自橫向定向旋轉至縱向定向)，且事件資訊包括關於裝置之當前定向(亦稱作裝置姿態)之對應資訊。
事件比較器184比較事件資訊與預定義事件或子事件定義且，基於比較結果判定事件或子事件，或判定或更新事件或子事件之狀態。在一些實施例中，事件比較器184包括事件定義186。事件定義186含有事件之定義(例如，子事件之預定義序列)，例如，事件1(187-1)、事件2(187-2)及其他事件。在一些實施例中，事件187中之子事件包括(例如)觸碰開始、觸碰結束、觸碰移動、觸碰取消及多點觸碰。在一實例中，事件1(187-1)之定義為在所顯示物件上之雙輕觸。雙輕觸(例如)包含在預定階段內的在所顯示物件上之第一觸碰(觸碰開始)、在預定階段內之第一起離(觸碰結束)、在預定階段內的在所顯示物件上之第二觸碰(觸碰開始)，及在預定階段內之第二起離(觸碰結束)。在另一實例中，事件2(187-2)之定義為在所顯示物件上之拖曳。舉例而言，拖曳包含在預定階段內的對所顯示物件之觸碰(或接觸)、跨越觸敏式顯示器112之觸碰之移動，及觸碰之起離(觸碰結束)。在一些實施例中，事件亦包括一或多個相關聯事件處理常式190之資訊。
在一些實施例中，事件定義187包括關於各別使用者介面物件之 事件的定義。在一些實施例中，事件比較器184執行點擊測試以判定哪一使用者介面物件與子事件相關聯。舉例而言，在三個使用者介面物件顯示於觸敏式顯示器112上之應用程式視圖中，當偵測到觸敏式顯示器112上之觸碰時，事件比較器184執行點擊測試，以判定三個使用者介面物件中之哪一者與觸碰(子事件)相關聯。若每一所顯示之物件與各別事件處理常式190相關聯，則事件比較器使用點擊測試之結果來判定應啟動哪一事件處理常式190。舉例而言，事件比較器184選擇與觸發點擊測試之子事件及物件相關聯之事件處理常式。
在一些實施例中，關於各別事件187之定義亦包括經延遲動作，該等經延遲動作延遲事件資訊之遞送，直至已判定子事件序列確實對應於或不對應於事件辨識器之事件類型為止。
當各別事件辨識器180判定子事件系列不與事件定義186中之事件中的任一者匹配時，各別事件辨識器180鍵入事件不可能、事件失敗或事件結束之狀態，在此之後，各別事件辨識器180略過基於觸碰之手勢的後續子事件。在此情況下，對於點擊視圖而言仍在作用中之其他事件辨識器(若存在)繼續追蹤及處理正在進行之基於觸碰之手勢的子事件。
在一些實施例中，各別事件辨識器180包括後設資料183，後設資料183具有指示事件遞送系統應如何執行至正在涉及之事件辨識器之子事件遞送的可組態性質、旗標及/或清單。在一些實施例中，後設資料183包括指示事件辨識器可如何彼此互動之可組態性質、旗標及/或清單。在一些實施例中，後設資料183包括指示是否將子事件遞送至視圖或程式設計階層架構中之變化層級的可組態性質、旗標及/或清單。
在一些實施例中，當辨識事件之一或多個特定子事件時，各別事件辨識器180啟動與事件相關聯之事件處理常式190。在一些實施例 中，各別事件辨識器180將與事件相關聯之事件資訊遞送至事件處理常式190。啟動事件處理常式190相異於將子事件發送(及延期發送)至各別點擊視圖。在一些實施例中，事件辨識器180拋出(throw)與經辨識之事件相關聯之旗標，且與該旗標相關聯之事件處理常式190俘獲該旗標且執行預定義處理程序。
在一些實施例中，事件遞送指令188包括在不啟動事件處理常式之情況下遞送關於子事件之事件資訊的子事件遞送指令。實情為，子事件遞送指令將事件資訊遞送至與子事件系列相關聯之事件處理常式或將事件資訊遞送至正在涉及之視圖。與子事件系列相關聯或與正在涉及之視圖相關聯之事件處理常式接收事件資訊，且執行預定處理程序。
在一些實施例中，資料更新程式176建立及更新用於應用程式136-1中的資料。舉例而言，資料更新程式176更新用於聯繫人模組137中之電話號碼，或儲存用於視訊播放器模組145中之視訊檔案。在一些實施例中，物件更新程式177建立及更新用於應用程式136-1中之物件。舉例而言，物件更新程式176建立新的使用者介面物件，或更新使用者介面物件之位置。GUI更新程式178更新GUI。舉例而言，GUI更新程式178準備顯示資訊，且將顯示資訊發送至圖形模組132以用於顯示於觸敏式顯示器上。
在一些實施例中，(多個)事件處理常式190包括或能夠存取資料更新程式176、物件更新程式177及GUI更新程式178。在一些實施例中，資料更新程式176、物件更新程式177及GUI更新程式178包括於各別應用程式136-1或應用程式視圖191之單一模組中。在其他實施例中，該等更新程式包括於兩個或兩個以上軟體模組中。
應理解，關於觸敏式顯示器上之使用者觸碰之事件處置的前述論述亦適用於其他形式之使用者輸入以藉由輸入裝置操作多功能裝置 100(並非在觸控式螢幕上起始所有輸入裝置)，例如，協調滑鼠移動與滑鼠按鈕按下(具有或不具有在觸控板上之單一或多次鍵盤按下或按住、使用者移動輕觸、拖曳、捲動等、手寫筆輸入、裝置之移動、口頭指令、所偵測之眼睛移動、生物測定輸入，及/或其任何組合，該等動作可用作對應於定義待辨識之事件之子事件的輸入)。
圖2說明根據一些實施例之具有觸控式螢幕112之攜帶型多功能裝置100。觸控式螢幕可在使用者介面(UI)200內顯示一或多個圖形。在此實施例以及下文所描述之其他實施例中，使用者可藉由(例如)使用一或多個手指202(在圖中未按比例繪製)或一或多個手寫筆203(在圖中未按比例繪製)在圖形上做出手勢而選擇圖形中之一或多者。在一些實施例中，當使用者阻斷與一或多個圖形之接觸時，發生對該一或多個圖形之選擇。在一些實施例中，手勢可包括一或多個輕觸、一或多個撥動(自左至右、自右至左、向上及/或向下)及/或已與裝置100接觸之手指的捲動(自右至左、自左至右、向上及/或向下)。在一些實施例中，與圖形之無意接觸可能不選擇圖形。舉例而言，當對應於選擇之手勢為輕觸時，掃掠過應用程式圖示之撥動手勢可能不選擇對應應用程式。
裝置100亦可包括一或多個實體按鈕，諸如「首頁」或功能表按鈕204。如先前所描述，功能表按鈕204可用以導覽至可在裝置100上執行之應用程式集合中的任一應用程式136。或者，在一些實施例中，將功能表按鈕實施為顯示於觸控式螢幕112上之GUI中的螢幕按鍵。
在一實施例中，裝置100包括觸控式螢幕112、功能表按鈕204、用於對裝置通電/斷電及鎖定裝置之按壓按鈕206、(多個)音量調整按鈕208、用戶識別模組(SIM)卡槽210、耳機插孔212及銜接/充電外部埠124。按壓按鈕206可用以藉由壓下按鈕及在預定義時間間隔內使按 鈕保持處於壓下狀態來對裝置通電/斷電；藉由壓下按鈕及在經過預定義時間間隔之前釋放按鈕來鎖定裝置；及/或將裝置解鎖或起始解鎖處理程序。在替代性實施例中，裝置100亦可接受用於經由麥克風113啟動或撤銷啟動一些功能之口語輸入。
圖3為根據一些實施例之具有顯示器及觸敏式表面之例示性多功能裝置的方塊圖。裝置300無需為攜帶型的。在一些實施例中，裝置300為膝上型電腦、桌上型電腦、平板電腦、多媒體播放器裝置、導航裝置、教育裝置(諸如，兒童之學習玩具)、遊戲系統，或控制裝置(例如，家用或工業控制器)。裝置300通常包括一或多個處理單元(CPU)310、一或多個網路或其他通信介面360、記憶體370，及用於將此等組件互連之一或多個通信匯流排320。通信匯流排320可包括將系統組件互連且控制系統組件之間的通信之電路(有時稱作晶片組)。裝置300包括輸入/輸出(I/O)介面330，I/O介面330包含通常為觸控式螢幕顯示器之顯示器340。I/O介面330亦可包括鍵盤及/或滑鼠(或其他指標裝置)350及觸控板355。記憶體370包括高速隨機存取記憶體，諸如DRAM、SRAM、DDR RAM或其他隨機存取固態記憶體裝置；且可包括非揮發性記憶體，諸如一或多個磁碟儲存裝置、光碟儲存裝置、快閃記憶體裝置，或其他非揮發性固態儲存裝置。記憶體370可視情況包括位於該(等)CPU 310遠端之一或多個儲存裝置。在一些實施例中，記憶體370儲存與儲存於攜帶型多功能裝置100(圖1)之記憶體102中之程式、模組及資料結構類似的程式、模組及資料結構，或其子集。此外，記憶體370可儲存不存在於攜帶型多功能裝置100之記憶體102中的額外程式、模組及資料結構。舉例而言，裝置300之記憶體370可儲存繪圖模組380、呈現模組382、文書處理模組384、網站建立模組386、磁碟製作模組388及/或試算表模組390，而攜帶型多功能裝置100(圖1)之記憶體102可能不儲存此等模組。
圖3中之以上所識別之元件中的每一者可儲存於先前所敍述之記憶體裝置中之一或多者中。以上所識別之模組中之每一者對應於用於執行上文所描述之功能之指令集。以上所識別之模組或程式(亦即，指令集)無需實施為單獨軟體程式、程序或模組，且因此在各種實施例中，可組合或以其他方式重新配置此等模組之各種子集。在一些實施例中，記憶體370可儲存上文所識別之模組及資料結構之子集。此外，記憶體370可儲存上文未描述之額外模組及資料結構。
現將注意力轉向可在攜帶型多功能裝置100上實施之使用者介面(「UI」)之實施例。
圖4A說明根據一些實施例之用於攜帶型多功能裝置100上的應用程式之功能表之例示性使用者介面。類似使用者介面可實施於裝置300上。在一些實施例中，使用者介面400包括以下元素或其子集或超集：．用於無線通信之信號強度指示符402，諸如蜂巢式及Wi-Fi信號；．時間404；．藍芽指示符405；．電池狀態指示符406；．具有用於頻繁使用之應用程式的圖示之系統匣(tray)408，諸如：￮用於電話模組138之標示為「電話」之圖示416，其可包括未接來電或語音信箱訊息之數目的指示符414；￮用於電子郵件用戶端140之標示為「郵件」之圖示418，其可包括未讀取電子郵件之數目的指示符410；￮用於瀏覽器模組147之標示為「瀏覽器」的圖示420；及￮用於亦稱作iPod(Apple Inc.之商標)模組152之視訊及音樂播放 器模組152之標示為「iPod」的圖示422；及．用於其他應用程式之圖示，諸如：￮用於IM模組141之標示為「收發簡訊」的圖示424；￮用於行事曆模組148之標示為「行事曆」的圖示426；￮用於影像管理模組144之標示為「照片」的圖示428；￮用於相機模組143之標示為「相機」的圖示430；￮用於線上視訊模組155之標示為「線上視訊」的圖示432；￮用於股票介面工具集149-2之標示為「股票」的圖示434；￮用於地圖模組154之標示為「地圖」的圖示436；￮用於天氣介面工具集149-1之標示為「天氣」的圖示438；￮用於鬧鐘介面工具集149-4之標示為「時鐘」的圖示440；￮用於健身支援模組142之標示為「健身支援」的圖示442；￮用於備忘錄模組153之標示為「備忘錄」的圖示444；及￮用於設定應用程式或模組之圖示446，其提供對裝置100之設定及裝置100之各種應用程式136的存取。
請注意，圖4A中所說明之圖示標籤僅為例示性的。舉例而言，用於視訊及音樂播放器模組152之圖示422可經標示為「音樂」或「音樂播放器」。其他標籤可用於各種應用程式圖示。在一些實施例中，用於各別應用程式圖示之標籤包括對應於各別應用程式圖示之應用程式的名稱。在一些實施例中，用於特定應用程式圖示之標籤相異於對應於特定應用程式圖示之應用程式的名稱。
圖4B說明具有與顯示器450(例如，觸控式螢幕顯示器112)分離之觸敏式表面451(例如，圖3之平板或觸控板355)之裝置(例如，圖3之裝置300)上的例示性使用者介面。儘管將參考觸控式螢幕顯示器112(其中組合觸敏式表面與顯示器)上之輸入來給出以下許多實例，但在一些實施例中，如圖4B中所展示，裝置偵測與顯示器分離之觸敏式表 面上之輸入。在一些實施例中，觸敏式表面(例如，圖4B中之451)具有對應於顯示器(例如，450)上之主座標軸(例如，圖4B中之453)的主座標軸(例如，圖4B中之452)。根據此等實施例，裝置在對應於顯示器上之各別位置的位置處(例如，在圖4B中，460對應於468且462對應於470)偵測與觸敏式表面451之接觸(例如，圖4B中之460及462)。以此方式，當觸敏式表面(例如，圖4B中之451)與顯示器(例如，圖4B中之450)分離時，由裝置偵測到的在觸敏式表面上之使用者輸入(例如，接觸460及462，以及其移動)由裝置使用以操縱多功能裝置之顯示器上的使用者介面。應理解，類似方法可用於本文中所描述之其他使用者介面。
使用者介面及相關聯處理程序
現將注意力轉向可實施於具有顯示器及觸敏式表面之電子裝置(諸如，裝置300或攜帶型多功能裝置100)上的使用者介面(「UI」)及相關聯處理程序之實施例。
圖5A至圖5AO說明根據一些實施例之在接收手寫手勢之同時顯示的例示性使用者介面。此等圖中之使用者介面用以說明下文所描述之處理程序，包括圖6A至圖6B、圖7A至圖7C、圖8A至圖8B、圖9A至圖9C及10A至圖10B中之處理程序。
圖5A說明一密碼畫面，該密碼畫面包括複數個字元圖示504-1至504-10(例如，分別對應於數字1至9及0的數字鍵)及密碼輸入欄位502-1至502-4。在一些實施例中，圖5A亦說明：在觸控式螢幕112上偵測到觸碰手勢505(例如，雙輕觸手勢)。在一些實施例中，裝置100回應於偵測到觸碰手勢505而進入手寫手勢辨識模式。或者，裝置100可能已處於手寫手勢辨識模式而無關於觸碰手勢505。
圖5B說明在觸控式螢幕112上偵測到之觸碰手勢507。觸碰手勢507包括手指接觸沿著對應於字元「1」之路徑(例如，路徑對應於字 元「1」之形狀)跨越觸控式螢幕112的移動，藉此提供字元「1」(數字一)作為輸入。在圖5B中，觸碰手勢507橫越觸控式螢幕112上對應於字元圖示504-3、504-6及504-9之位置，而不啟動字元圖示504-3、504-6及504-9中之任一者。舉例而言，對應於字元圖示504-3、504-6及504-9之字元(例如，「3」、「6」及「9」)並不回應於偵測到觸碰手勢507而鍵入至密碼輸入欄位502中。
圖5C說明密碼輸入欄位502-1經更新(例如，在密碼輸入欄位502-1中顯示圓圈以指示對第一字元的接收)。圖5C亦說明在觸控式螢幕112上偵測到之觸碰手勢509。觸碰手勢509包括手指接觸沿著對應於字元「2」之路徑(例如，路徑對應於字元「2」之形狀)跨越觸控式螢幕112的移動，藉此提供字元「2」作為輸入。在圖5C中，觸碰手勢509橫越觸控式螢幕112上對應於字元圖示504-2及504-3之位置，而不啟動字元圖示504-2及504-3中之任一者。舉例而言，對應於字元圖示504-2及504-3之字元(例如，「2」及「3」)並不回應於偵測到觸碰手勢509而鍵入至密碼輸入欄位502中。
圖5D說明密碼輸入欄位502-2經更新(例如，在密碼輸入欄位502-2中顯示圓圈以指示對第二字元的接收)。圖5D亦說明在觸控式螢幕112上偵測到之觸碰手勢511。觸碰手勢511包括手指接觸沿著對應於字元「4」之路徑(例如，路徑對應於字元「4」之形狀)跨越觸控式螢幕112的移動，藉此提供字元「4」作為輸入。如圖5D中所說明，對應於字元「4」之觸碰手勢511的路徑通常包括兩個或兩個以上離散子路徑511-A及511-B。舉例而言，觸碰手勢511可包括沿著子路徑511-A移動跨越觸控式螢幕112之手指接觸，繼之以手指接觸脫離觸控式螢幕112的起離，及沿著子路徑511-B移動跨越觸控式螢幕112的後續手指接觸。類似地，對應於字母字元「A」、「B」、「E」、「F」、「G」、「H」、「K」、「M」、「N」、「P」、「Q」、「R」、「T」、「X」及「Y」之觸 碰手勢中的每一者可包括複數個子路徑。在圖5D中，觸碰手勢511橫越觸控式螢幕112上對應於字元圖示504-2、504-3、504-5、504-6、504-8、504-9及504-10之位置，而不啟動字元圖示504-2、504-3、504-5、504-6、504-8、504-9及504-10中之任一者。
圖5E說明密碼輸入欄位502-3經更新(例如，在密碼輸入欄位502-3中顯示圓圈以指示對第三字元的接收)。圖5E亦說明在觸控式螢幕112上偵測到之觸碰手勢515。觸碰手勢515包括手指接觸沿著對應於字元「0」之路徑(例如，路徑對應於字元「0」之形狀)跨越觸控式螢幕112的移動，藉此提供字元「0」作為輸入。在圖5E中，觸碰手勢515橫越觸控式螢幕112上對應於字元圖示504-1、504-2、504-4、504-5、504-7及504-8之位置，而不啟動字元圖示504-1、504-2、504-4、504-5、504-7及504-8中之任一者。或者，代替手寫手勢，可使用對應於字元圖示504-10之位置處的手指手勢517(例如，輕觸手勢)來提供字元「0」作為輸入。
圖5F說明：在一些實施例中，密碼輸入欄位502-4經更新(例如，在密碼輸入欄位502-4中顯示圓圈以指示對第四字元的接收)。在一些實施例中，回應於判定所接收字元序列與預定義密碼(例如，預定義字元序列)匹配，裝置100顯示應用程式啟動程式畫面(例如，圖5G)或來自在裝置經鎖定時使用之應用程式的畫面(未展示)，而不更新密碼輸入欄位502-4。
圖5G說明回應於判定所接收字元對應於預定義密碼而顯示的應用程式啟動程式畫面(例如，首頁畫面)。應用程式啟動程式畫面包括複數個應用程式圖示(例如，如上文關於圖4A所描述之圖示416、418、420、422、424、426、428、430、432、434、436、438、440、442、444及446)。
在圖5G中，當前焦點506顯示於對應於應用程式圖示424之位置 處。在一些實施例中，裝置100輸出可聽協助工具資訊，該資訊指示當前焦點506位於對應於應用程式圖示424之位置處(例如，對應應用程式之標籤「收發簡訊」的音訊輸出)。
圖5G亦說明在對應於應用程式圖示444之位置處偵測到觸碰手勢519(例如，輕觸手勢)。
圖5H說明：回應於觸碰手勢519(圖5G)，當前焦點506移動至對應於應用程式圖示444之位置。在一些實施例中，裝置100輸出可聽協助工具資訊，該資訊指示當前焦點506位於對應於應用程式圖示444之位置處(例如，對應應用程式之標籤「備忘錄」的音訊輸出)。
圖5I說明回應於判定在密碼畫面上所接收之字元(例如，如圖5B至圖5E中所說明之「1240」)並不對應於預定義密碼而顯示的密碼重試畫面。在顯示密碼重試畫面時，裝置100可再次接收手寫字元。
圖5J說明具有複數個應用程式圖示之應用程式啟動程式畫面(例如，首頁畫面)。在圖5J中，當前焦點506顯示於對應於應用程式圖示424之位置處。圖5J亦說明：在一些實施例中，在觸控式螢幕112上偵測到觸碰手勢521(例如，雙輕觸手勢)。在一些實施例中，裝置100回應於偵測到觸碰手勢521而進入手寫手勢辨識模式。或者，裝置100可能已處於手寫手勢辨識模式而無關於觸碰手勢521。
圖5K說明在觸控式螢幕112上偵測到之觸碰手勢523。觸碰手勢523包括手指接觸沿著對應於字元「c」之路徑(例如，路徑對應於字元「c」之形狀)跨越觸控式螢幕112的移動。在圖5K中，觸碰手勢523橫越觸控式螢幕112上對應於應用程式圖示434及440之位置，而不啟動應用程式圖示434及440中之任一者。
圖5K亦說明：在一些實施例中，藉由觸碰手勢523之至少一部分同時偵測到手指接觸525(例如，在偵測到觸碰手勢523之初始部分的同時，偵測到手指接觸525)。在一些實施例中，觸控式螢幕112上之 手指接觸525指示：同時的觸碰手勢523為手寫手勢。
在一些實施例中，回應於偵測到對應於字元「c」之觸碰手勢523(圖5K)，裝置100輸出可聽協助工具資訊，該資訊指示具有以字元「c」開始之各別標籤的應用程式之數目，該等應用程式之應用程式圖示顯示於觸控式螢幕112上。舉例而言，在圖5K中，裝置100可產生包括「三個應用程式」之語音輸出，此係因為存在具有以字元「c」開始之各別標籤的三個應用程式圖示，即「行事曆(calendar)」、「相機(camera)」及「時鐘(clock)」應用程式圖示。或者，在一些實施例中，裝置100輸出可聽協助工具資訊，該資訊指示裝置中具有以字元「c」開始之各別標籤之應用程式的數目，而無關於以字元「c」開始之彼等應用程式的應用程式圖示當前是否被顯示。
圖5L說明在觸控式螢幕112上偵測到之觸碰手勢527。觸碰手勢527包括手指接觸沿著對應於字元「a」之路徑跨越觸控式螢幕112的移動。在圖5L中，觸碰手勢527橫越觸控式螢幕112上對應於應用程式圖示434、436、442、444及446之位置，而不啟動應用程式圖示434、436、442、444及446中之任一者。在一些實施例中，回應於偵測到對應於字元「a」之觸碰手勢527(使得所接收字元對應於「ca」)，裝置100輸出可聽協助工具資訊，該資訊指示以字元「ca」開始之應用程式的數目，該等應用程式之應用程式圖示顯示於觸控式螢幕112上。舉例而言，在圖5L中，裝置100可產生包括「兩個應用程式」之語音輸出，此係因為存在具有以字元「ca」開始之各別標籤的兩個應用程式圖示，即「行事曆(calendar)」及「相機(camera)」應用程式圖示。或者，在一些實施例中，裝置100輸出可聽協助工具資訊，該資訊指示裝置中具有以字元「ca」開始之各別標籤之應用程式的數目，而無關於以字元「ca」開始之彼等應用程式的應用程式圖示當前是否被顯 示。
圖5M說明在觸控式螢幕112上偵測到之觸碰手勢529。觸碰手勢529包括手指接觸沿著對應於字元「m」之路徑(例如，路徑對應於字元「m」之形狀)跨越觸控式螢幕112的移動。在圖5M中，觸碰手勢529橫越觸控式螢幕112上對應於應用程式圖示434、436、442及444之位置，而不啟動應用程式圖示434、436、442及444中之任一者。
圖5N說明：在一些實施例中，回應於偵測到對應於字元「m」之觸碰手勢529(圖5M)(使得所接收字元對應於「cam」，其在此實例中對應於顯示器上之單一應用程式圖示或裝置中的單一應用程式)，應用程式之對應於所接收字元的使用者介面顯示於觸控式螢幕112上。圖5N中所說明之使用者介面係相機模組143(圖1A)之例示性使用者介面，該例示性使用者介面具有對應於所接收字元「cam」的標籤「相機(camera)」。
圖5O說明根據一些實施例之回應於偵測到觸碰手勢529(圖5M)而顯示之替代性使用者介面。圖5O說明：在一些實施例中，回應於偵測到對應於字元「m」之觸碰手勢529(使得所接收字元對應於「cam」)，並非啟動對應於所接收字元的應用程式，而是當前焦點506移動至對應於應用程式圖示430的位置。在圖5O中，應用程式圖示430對應於所接收字元「cam」，此係因為用於對應應用程式之標籤「相機(camera)」以字元「cam」開始。在一些實施例中，回應於偵測到對應於字元「m」之觸碰手勢529(圖5M)，裝置100產生包括以字母「cam」開始之單一應用程式之名稱的語音輸出，諸如輸出「相機(camera)」、「相機應用程式(camera application)」或「相機應用程式(camera application)、開啟相機應用程式之雙輕觸(double tap to open the camera application)」。
圖5O亦說明在觸控式螢幕112上偵測到之觸碰手勢531(例如，向 左撥動手勢)。在圖5O中，觸碰手勢531橫越觸控式螢幕112上對應於應用程式圖示442及444之位置，而不啟動應用程式圖示442及444中之任一者。
圖5P說明：回應於偵測到觸碰手勢531(圖5O)，當前焦點506移動至對應於位於鄰接應用程式圖示430處之應用程式圖示428的位置，在偵測到觸碰手勢531(圖5O)之前當前焦點506顯示於應用程式圖示430周圍。
圖5P亦說明在對應於應用程式圖示438之位置處偵測到的觸碰手勢533(例如，輕觸手勢)。
圖5Q說明：回應於偵測到觸碰手勢533(圖5P)，當前焦點506移動至對應於應用程式圖示438之位置。
圖5R至圖5V及圖5AM至5AO說明根據一些實施例之與一或多個條目清單相關聯的例示性使用者介面。
圖5R說明包括條目清單(例如，聯繫人或名稱清單)之一部分(例如，初始部分)的例示性使用者介面。圖5R亦說明在觸控式螢幕112上偵測到之觸碰手勢535(例如，雙輕觸手勢)。在一些實施例中，裝置100回應於偵測到觸碰手勢535而進入手寫手勢辨識模式。或者，裝置100可能已處於手寫手勢辨識模式而無關於觸碰手勢535。
圖5S說明在觸控式螢幕112上偵測到之觸碰手勢537。觸碰手勢537包括手指接觸沿著對應於字元「m」之路徑(例如，路徑對應於字元「m」之形狀)跨越觸控式螢幕112的移動。在圖5S中，觸碰手勢537橫越觸控式螢幕112上對應於複數個條目(例如，自「Grover Alexander」至「Howard Earl Averill」)之位置，而不啟動該複數個條目中之任一者。在一些實施例中，啟動各別條目起始顯示關於各別條目之額外資訊(例如，聯繫人資訊，諸如電話號碼、地址、電子郵件地址等)。
圖5T說明：回應於偵測到觸碰手勢537(圖5S)，條目清單之對應於字元「m」之第二部分顯示於觸控式螢幕112上。舉例而言，在條目清單中，「Connie Mack」係具有以字元「m」開始之姓氏的第一條目508。在圖5T中，條目清單之以「Connie Mack」開始的部分顯示於觸控式螢幕112上。
圖5T亦說明在觸控式螢幕112上偵測到之觸碰手勢539。觸碰手勢539包括手指接觸沿著對應於字元「c」之路徑跨越觸控式螢幕112的移動。在圖5T中，觸碰手勢539橫越觸控式螢幕112上對應於複數個條目(例如，自「Mickey Mantle」至「Edwin Mathews」)之位置，而不啟動該複數個條目中之任一者。
圖5U說明：在一些實施例中，回應於偵測到觸碰手勢539(圖5T)，條目清單之對應於字元「mc」之第三部分顯示於觸控式螢幕112上。舉例而言，在條目清單中，「Joseph McCarthy」係具有以字元「mc」開始之姓氏的第一條目508。在圖5U中，條目清單之以「Joseph McCarthy」開始的部分顯示於觸控式螢幕112上。如圖5U中所展示，在一些實施例中，在條目「Joseph McCarthy」之後的具有並非以「mc」開始之姓氏的一或多個條目亦顯示於觸控式螢幕112上(例如，「Joseph Medwick」、「Stanley Musial」、「Harold Newhouser」等)。
圖5V說明根據一些實施例之回應於偵測到觸碰手勢539(圖5T)而顯示之替代性使用者介面。在圖5V中，僅具有以所接收字元(例如，「mc」)開始之姓氏的條目清單顯示於觸控式螢幕112上。具有並非以所接收字元(例如，「mc」)開始之姓氏的條目未顯示於觸控式螢幕112上(例如，並未顯示「Joseph Medwick」)。
圖5AM至5AO說明根據一些實施例之與一或多個條目清單相關聯的替代性使用者介面。
圖5AM說明包括條目清單(例如，聯繫人或名稱清單)之一部分(例如，初始部分)及索引524的替代性使用者介面。在圖5AM中，當前焦點522顯示於詞「所有聯繫人」上。圖5AM亦說明在觸控式螢幕112上對應於索引524之位置處偵測到之觸碰手勢575(例如，輕觸手勢)。
圖5AN說明：當前焦點522移動至索引524。圖5AN亦說明在觸控式螢幕112上偵測到之觸碰手勢577。觸碰手勢577包括手指接觸沿著對應於字元「m」之路徑(例如，路徑對應於字元「m」之形狀)跨越觸控式螢幕112的移動。在圖5AN中，觸碰手勢577橫越觸控式螢幕112上對應於複數個條目(例如，自「Grover Alexander」至「Howard Earl Averill」)之位置，而不啟動該複數個條目中之任一者。在一些實施例中，啟動各別條目起始顯示關於各別條目之額外資訊(例如，聯繫人資訊，諸如電話號碼、地址、電子郵件地址等)。
圖5AO說明：回應於偵測到觸碰手勢577(圖5AN)，條目清單之對應於字元「m」之第二部分顯示於觸控式螢幕112上。舉例而言，在條目清單中，「Connie Mack」係具有以字元「m」開始之姓氏的第一條目。在圖5AO中，條目清單之以「Connie Mack」開始的部分顯示於觸控式螢幕112上。
圖5W至圖5Z說明根據一些實施例之與項目清單相關聯的例示性使用者介面。
圖5W說明用於項目選擇器之例示性使用者介面，其包括搜尋條目區域510及項目清單(例如，應用程式清單)。圖5W亦說明在觸控式螢幕112上偵測到之觸碰手勢541。觸碰手勢541包括手指接觸沿著對應於字元「c」之路徑跨越觸控式螢幕112的移動。在圖5W中，觸碰手勢541橫越觸控式螢幕112上對應於項目「遊戲中心(games center)」之位置，而不啟動項目「遊戲中心(games center)」。在一些實施例 中，啟動用於項目選擇器之使用者介面中之項目起始啟動對應於該項目的應用程式。舉例而言，啟動「遊戲中心(games center)」項目可起始啟動「遊戲中心(games center)」應用程式。
圖5X說明：回應於偵測到觸碰手勢541(圖5W)，對應於所接收字元「c」的項目清單顯示於觸控式螢幕112上(例如，「行事曆(calendar)」、「相機(camera)」及「時鐘(clock)」)。在一些實施例中，裝置100輸出可聽協助工具資訊，該資訊指示顯示於觸控式螢幕112上之項目的數目。舉例而言，在圖5X中，裝置100可產生包括「三個項目」之語音輸出。在一些實施例中，裝置100輸出可聽協助工具資訊，該資訊指示顯示於觸控式螢幕112上的項目(例如，陳述「行事曆(calendar)」、「相機(camera)」及「時鐘(clock)」之語音輸出)。
圖5X亦說明在觸控式螢幕112上偵測到之觸碰手勢543。觸碰手勢543包括手指接觸沿著對應於字元「a」之路徑跨越觸控式螢幕112的移動。在圖5X中，觸碰手勢543並不橫越觸控式螢幕112上對應於顯示於觸控式螢幕112上之項目中之任一者的位置。
圖5Y說明：回應於偵測到觸碰手勢543(圖5X)，對應於所接收字元「ca」的項目清單顯示於觸控式螢幕112上(例如，「行事曆(calendar)」及「相機(camera)」)。在一些實施例中，裝置100輸出可聽協助工具資訊，該資訊指示顯示於觸控式螢幕112上之項目的數目。舉例而言，在圖5Y中，裝置100可產生包括「兩個項目」之語音輸出。在一些實施例中，裝置100輸出可聽協助工具資訊，該資訊指示顯示於觸控式螢幕112上的項目(例如，陳述「行事曆(calendar)」及「相機(camera)」之語音輸出)。
圖5Y亦說明在觸控式螢幕112上偵測到之觸碰手勢545。觸碰手勢545包括手指接觸沿著對應於字元「m」之路徑跨越觸控式螢幕112的移動。在圖5Y中，觸碰手勢545橫越觸控式螢幕112上對應於顯示 於觸控式螢幕112上之項目(例如，「行事曆(calendar)」及「相機(camera)」)的位置，而不啟動所橫越之項目。
圖5Z說明：回應於偵測到觸碰手勢545(圖5Y)，對應於所接收字元「cam」的項目顯示於觸控式螢幕112上(例如，「相機(camera)」)。在一些實施例中，裝置100輸出可聽協助工具資訊，該資訊指示存在對應於所接收字元的一個項目。在一些實施例中，裝置100輸出可聽協助工具資訊，該資訊指示對應於所接收字元的項目(例如，「相機(camera)」之音訊輸出)。
在一些實施例中，回應於判定單一項目對應於所接收字元，裝置100啟動對應於單一項目之應用程式(例如，圖5N)。在一些實施例中，回應於接收到確認輸入而啟動應用程式(例如，在裝置輸出「相機(camera)」、「相機應用程式(camera application)」或「相機應用程式，開啟相機應用程式之雙輕觸(camera application,double tap to open the camera application)」之後的雙輕觸手勢)。
圖5AA至圖5AG說明根據一些實施例之與導覽結構化電子文件相關聯的例示性使用者介面。
圖5AA說明包括文件(例如，網頁)之一部分的例示性使用者介面。文件之所顯示部分包括兩個標題(例如，「視力(Vision)」及「VoiceOver」)及兩個段落。在圖5AA中，當前焦點512顯示於詞「視力(Vision)」上。吾人假定：在圖5AA中，當前可導覽單元類型經設定為「詞」。在一些實施例中，裝置100輸出對應於當前焦點512中之文字的可聽協助工具資訊(例如，詞「視力(vision)」之音訊輸出)。圖5AA亦說明在觸控式螢幕112上偵測到之觸碰手勢547(例如，向右撥動手勢)。
圖5AB說明：回應於偵測到觸碰手勢547(圖5AA)，當前焦點512移動至下一詞「The」。在一些實施例中，裝置100輸出對應於當前焦 點512中之文字的可聽協助工具資訊(例如，「the」之音訊輸出)。
圖5AB亦說明在觸控式螢幕112上偵測到之觸碰手勢549(例如，雙輕觸手勢)。在一些實施例中，回應於偵測到觸碰手勢549，裝置100進入手寫手勢辨識模式。或者，裝置100可能已處於手寫手勢辨識模式而無關於觸碰手勢549。
圖5AC說明在觸控式螢幕112上偵測到之觸碰手勢551。觸碰手勢551包括手指接觸沿著對應於字元「1」之路徑跨越觸控式螢幕112的移動。在圖5AC中，觸碰手勢551橫越觸控式螢幕112上對應於複數個所顯示詞之位置，而不啟動該複數個所顯示詞。在一些實施例中，回應於觸碰手勢551，裝置100將當前可導覽單元類型自「詞」改變為「行」，其以所接收字元「1」開始。在一些實施例中，回應於觸碰手勢551，裝置100輸出可聽協助工具資訊，該資訊指示當前可導覽單元類型已改變至「行」。
圖5AD說明在觸控式螢幕112上偵測到之觸碰手勢553(例如，向右撥動手勢)。
圖5AE說明：回應於偵測到觸碰手勢553(圖5AD)，當前焦點512擴展以包括文字行(或句子)。在一些實施例中，裝置100輸出對應於當前焦點512中之文字的可聽協助工具資訊(例如，當前焦點512中之文字的音訊輸出)。
圖5AE亦說明在觸控式螢幕112上偵測到之觸碰手勢555。觸碰手勢555包括手指接觸沿著對應於字元「c」之路徑跨越觸控式螢幕112的移動。在圖5AE中，觸碰手勢555橫越觸控式螢幕112上對應於複數個所顯示詞及句子之位置，而不啟動該複數個所顯示詞及句子。在一些實施例中，回應於觸碰手勢555，裝置100將當前可導覽單元類型自「行」改變為「字元」，其以自觸碰手勢555所接收之字元「c」開始。在一些實施例中，回應於觸碰手勢555，裝置100輸出可聽協助工 具資訊，該資訊指示當前可導覽單元類型已改變至「字元」。
圖5AF說明在觸控式螢幕112上偵測到之觸碰手勢557(例如，向右撥動手勢)。
圖5AG說明：回應於偵測到觸碰手勢557(圖5AF)，當前焦點512移動至「VoiceOver」中之下一字元「v」而非下一行，此係因為當前可導覽單元類型已自「行」改變至「字元」。在一些實施例中，裝置100輸出對應於當前焦點512中之字元「v」的可聽協助工具資訊(例如，字元「v」之音訊輸出)。
圖5AG亦說明：在觸控式螢幕112上偵測到包括手指接觸559及561的觸碰手勢。在一些實施例中，觸碰手勢包括轉輪(rotor)手勢，其中手指接觸559及561在觸控式螢幕112上圍繞一點旋轉。圖5AG說明：回應於包括手指接觸559及561之觸碰手勢，裝置100將當前可導覽單元類型改變為「段落」。
圖5AH至圖5AL說明根據一些實施例之與接收手寫字元輸入相關聯的例示性使用者介面。
圖5AH說明備忘錄應用程式之例示性使用者介面。使用者介面包括字元輸入區域514，及具有複數個鍵圖示(例如，字母鍵圖示、空格鍵圖示、退格鍵圖示等)的鍵盤518。在圖5AH中，字元輸入區域514包括字元「Mar」，及指示將執行下一文字鍵入/刪除操作之位置的游標516。
圖5AH亦說明在觸控式螢幕112上偵測到之觸碰手勢563(例如，雙輕觸手勢)。在一些實施例中，裝置100回應於偵測到觸碰手勢563而進入手寫手勢辨識模式。或者，裝置100可能已處於手寫手勢辨識模式而無關於觸碰手勢563。
圖5AI說明在觸控式螢幕112上偵測到之觸碰手勢565。觸碰手勢565包括手指接觸沿著對應於字元「c」之路徑跨越觸控式螢幕112的 移動。在圖5AI中，觸碰手勢565橫越觸控式螢幕112上對應於複數個鍵圖示(例如，「E」、「D」、「F」及「G」)之位置，而不啟動該複數個鍵圖示中之任一者。
圖5AJ說明：回應於偵測到觸碰手勢565(圖5AI)，在游標516之位置處將字元「c」鍵入至字元輸入區域514中。
圖5AJ亦說明：在觸控式螢幕112上偵測到包括手指接觸567及569之同時向下移動的觸碰手勢(例如，兩個手指向下撥動之手勢)。
圖5AK說明：回應於兩個手指向下撥動之手勢(圖5AJ)，在游標516之先前位置處(展示於圖5AJ中)將空格字元鍵入至字元輸入區域514中。儘管將空格字元說明為圖5AK中之底線，但可改為使用真實空格字元(「 」)。
圖5AK亦說明：在觸控式螢幕112上偵測到包括手指接觸571及573之同時向上移動的觸碰手勢(例如，兩個手指向上撥動之手勢)。
圖5AL說明：回應於兩個手指向上撥動之手勢，刪除了字元輸入區域514中在游標516之位置之前的字元(例如，空格字元)。
在一些實施例中，回應於偵測到對應於額外字元之額外觸碰手勢(未展示)而將額外字元鍵入至字元輸入區域514中。在一些實施例中，回應於偵測到兩個手指向上撥動之手勢的額外發生而刪除字元輸入區域514中之額外字元。
圖6A至圖6B為說明根據一些實施例的解鎖處於鎖定之密碼保護狀態之電子裝置之方法600的流程圖。方法600係在具有顯示器及觸敏式表面之電子裝置(例如，圖3之裝置300或圖1之攜帶型多功能裝置100)處執行。在一些實施例中，顯示器為觸控式螢幕顯示器，且觸敏式表面係在顯示器上。在一些實施例中，顯示器與觸敏式表面分離。可組合方法600中之一些操作，及/或可改變一些操作之次序。
如下文所描述，方法600使得具有有限視力之使用者能夠經由觸 敏式表面上之手寫手勢來提供密碼，而不需要找尋或使用密碼畫面上之虛擬鍵盤或小鍵盤上的正確鍵。當在觸敏式表面上提供密碼時，該方法減少對具有有限視力之使用者之認知負擔，藉此建立更有效率之人機介面。對於電池供電之電子裝置，使得具有有限視力之使用者能夠更快速且更有效率地在觸敏式表面上提供密碼節省了電力且增加了電池充電之間的時間。
在電子裝置藉由開啟之畫面讀取程式協助工具模式而處於鎖定之密碼保護狀態時，電子裝置在顯示器上顯示(602)用於接收密碼之密碼畫面(例如，圖5A)。密碼包括預定義字元序列，且密碼畫面包括複數個字元圖示(例如，圖5A中之圖示504-1至504-10)。
在一些實施例中，在電子裝置藉由開啟之畫面讀取程式協助工具模式而處於鎖定之密碼保護狀態時，在偵測觸敏式表面上對應於密碼中之字元的手勢序列之前，電子裝置偵測(604)預定義輸入(例如，圖示之選擇、轉輪手勢、雙輕觸(諸如，圖5A之觸碰手勢505等))，及，回應於偵測到預定義輸入而進入畫面讀取程式協助工具模式內的手寫手勢辨識模式。在一些實施例中，電子裝置根據預定設定(例如，使用者設定值)處於手寫手勢辨識模式，而無關於預定義輸入。
電子裝置偵測(606)觸敏式表面上對應於字元的手勢序列(例如，圖5B至圖5E之觸碰手勢507、509、511及515)。手勢序列中之對應於各別字元的各別手勢為單一手指手勢，該單一手指手勢沿著對應於各別字元之各別路徑移動跨越觸敏式表面。舉例而言，在圖5B中，觸碰手勢507沿著對應於字元「1」之路徑移動跨越觸敏式表面112。在圖5D中所說明之另一實例中，各別路徑包括複數個子路徑(例如，子路徑511-A及511-B對應於字元「4」)。
在一些實施例中，各別路徑橫越(608)觸敏式表面上對應於複數個字元圖示中之一或多個字元圖示之一或多個位置，而不啟動該一或 多個字元圖示。舉例而言，在圖5B中，觸碰手勢507橫越圖示504-3、504-6及504-9，而不鍵入對應於圖示504-3、504-6及504-9之字元。
在一些實施例中，各別路徑呈(610)各別字元之形狀(例如，圖5B之觸碰手勢507的路徑呈字元「1」之形狀)。
在一些實施例中，各別手勢獨立於(612)接觸觸敏式表面上對應於複數個字元圖示中之與各別字元相關聯的字元圖示之位置。舉例而言，在圖5B中，無關於觸碰手勢507是否橫越(例如，接觸)圖示504-1，認為觸碰手勢507對應於字元「1」。換言之，即使觸碰手勢507並不接觸圖示504-1，亦認為觸碰手勢507對應於字元「1」。
在一些實施例中，各別手勢獨立於(614)接觸觸敏式表面上對應於複數個字元圖示中之任一者之位置。舉例而言，對於手指在觸敏式顯示器上繪製字元，獨立於路徑是否碰巧接觸字元圖示中之任一者，裝置基於手指繪製之路徑判定字元。當正輸入手寫字元時，忽略(不考慮)字元圖示之位置。
在一些實施例中，在偵測觸敏式表面上對應於字元之手勢序列的同時，電子裝置先行(616)輸出對應於字元的可聽協助工具資訊。此情形防止使用者周圍之其他人基於可聽協助工具資訊發現密碼。
在一些實施例中，在電子裝置藉由開啟之畫面讀取程式協助工具模式而處於鎖定之密碼保護狀態時，電子裝置偵測(618)觸敏式表面上在對應於複數個字元圖示中之字元圖示的位置處之單一手指手勢；及，回應於偵測到觸敏式表面上在對應於字元圖示之位置處的單一手指手勢，鍵入對應於所接收密碼中之字元圖示的各別字元且先行輸出與各別字元相關聯的可聽協助工具資訊。舉例而言，在圖5E中，裝置100偵測到在對應於圖示504-10之位置處的觸碰手勢517，且回應於此，鍵入所接收密碼中的對應字元「0」。因此，雖然使用者可單獨使用手寫手勢輸入整個密碼，但使用者亦可使用密碼畫面上之字元圖 示鍵入密碼中的字元(若使用者選擇如此進行)。
電子裝置判定(620)所偵測到之手勢序列是否對應於(亦即，匹配)密碼中之預定義字元序列。
回應於判定所偵測到之手勢序列不對應於密碼中之預定義字元序列，電子裝置藉由開啟之畫面讀取程式協助工具模式維持(622)電子裝置處於鎖定之密碼保護狀態(例如，圖5I)。
回應於判定所偵測到之手勢序列對應於密碼中之預定義字元序列，電子裝置解鎖(624)且維持畫面讀取程式協助工具模式。舉例而言，在圖5G中，回應於判定所偵測到之手寫字元序列對應於密碼中之預定義字元序列，裝置100顯示呈畫面讀取程式協助工具模式之應用程式啟動程式畫面(例如，首頁畫面)。
在一些實施例中，回應於判定所偵測到之手勢序列對應於密碼中之預定義字元序列，電子裝置停止(626)顯示密碼畫面。舉例而言，在圖5G中，回應於判定所偵測到之手勢序列對應於密碼中之預定義字元序列，密碼畫面不再顯示於觸控式螢幕112上。
在一些實施例中，回應於判定所偵測到之手勢序列對應於密碼中之預定義字元序列，電子裝置停止(628)顯示密碼畫面，且顯示一應用程式啟動程式畫面，該應用程式啟動程式畫面包括複數個應用程式圖示(例如，圖5G之具有應用程式圖示416至446的首頁畫面)。
在一些實施例中，在顯示密碼畫面的同時，當鍵入各別字元時，電子裝置先行(630)輸出與各別字元相關聯之可聽協助工具資訊。另一方面，在電子裝置經解鎖且處於畫面讀取程式協助工具模式時，電子裝置偵測觸敏式表面上在對應於應用程式啟動程式畫面之各別應用程式圖示之位置處的單一手指手勢，及，回應於偵測到單一手指手勢，輸出與各別應用程式圖示相關聯的可聽協助工具資訊。舉例而言，在圖5G至圖5H中，回應於偵測到觸碰手勢519，當前焦點506 移動至對應於應用程式圖示444之位置，且裝置100輸出可聽協助工具資訊，該資訊指示當前焦點已移動至對應於應用程式圖示444的位置(例如，音訊輸出「備忘錄(notes)」)。
應理解，描述圖6A至圖6B中之操作的特定次序僅為例示性的，且並不意欲指示所描述次序為可執行操作的唯一次序。一般熟習此項技術者將認識到對本文中所描述之操作重新排序的各種方式。另外，應注意到，本文中關於方法700、800、900及1000(例如，分別關於圖7A至圖7C、圖8A至圖8B、圖9A至圖9C及圖10A至10B)所描述之其他處理程序的細節亦以類似於上文關於圖6A至圖6B所描述之方法600的方式適用。舉例而言，上文參考方法600所描述之應用程式啟動程式畫面可具有本文中參考方法700所描述之應用程式啟動程式畫面之特性中的一或多者。為了簡潔起見，此處不重複此等細節。
圖7A至圖7C為說明根據一些實施例之選擇應用程式圖示之方法700的流程圖。方法700係在具有顯示器及觸敏式表面之電子裝置(例如，圖3之裝置300或圖1之攜帶型多功能裝置100)處執行。在一些實施例中，顯示器為觸控式螢幕顯示器，且觸敏式表面在顯示器上。在一些實施例中，顯示器與觸敏式表面分離。可組合方法700中之一些操作，及/或可改變一些操作之次序。
如下文所描述，方法700使得具有有限視力之使用者能夠經由觸敏式表面上與畫面讀取程式協助工具模式中之其他手勢整合的手寫手勢來控制應用程式啟動程式。在藉由觸敏式表面上之觸摸式輸入控制應用程式啟動程式時，該方法減少對具有有限視力之使用者之認知負擔，藉此建立更有效率之人機介面。對於電池供電之電子裝置，使得具有有限視力之使用者能夠藉由觸敏式表面上之觸摸式輸入更快速且更有效率地控制應用程式啟動程式節省了電力且增加了電池充電之間的時間。
在具有顯示器及觸敏式表面之電子裝置處於畫面讀取程式協助工具模式時，該電子裝置在顯示器上顯示(702)應用程式啟動程式畫面(例如，圖5J)。應用程式啟動程式畫面包括複數個應用程式圖示(例如，圖5J之圖示416至446)。各別應用程式圖示對應於儲存於電子裝置中的各別應用程式。舉例而言，圖示424(圖5J)對應於即時訊息傳遞模組141(圖1A)。
在一些實施例中，在電子裝置處於畫面讀取程式協助工具模式時，在偵測觸敏式表面上對應於一或多個字元的一或多個手勢之序列之前，電子裝置偵測(704)預定義輸入(例如，圖示之選擇、轉輪手勢、雙輕觸(諸如，圖5J之觸碰手勢521等))，及，回應於偵測到預定義輸入，進入畫面讀取程式協助工具模式內的手寫手勢辨識模式。在一些實施例中，電子裝置根據預定設定(例如，使用者設定值)處於手寫手勢辨識模式而無關於預定義輸入。
電子裝置偵測(706)觸敏式表面上對應於一或多個字元的一或多個手勢之序列(例如，圖5K至圖5M之觸碰手勢523、527及529)。一或多個手勢中之對應於一或多個字元中之各別字元的各別手勢為單一手指手勢，該單一手指手勢沿著對應於各別字元之各別路徑移動跨越觸敏式表面。舉例而言，在圖5K中，觸碰手勢523沿著對應於字元「c」之路徑移動跨越觸敏式表面112。
在一些實施例中，各別路徑橫越(708)觸敏式表面上對應於複數個應用程式圖示中之一或多個應用程式圖示之一或多個位置，而不啟動該一或多個應用程式圖示。舉例而言，在圖5K中，觸碰手勢523橫越應用程式圖示434及440，而不將當前焦點506移動至對應於應用程式圖示434及440中之任一者的位置或不起始與應用程式圖示434及440中之任一者相關聯的任何操作。
在一些實施例中，各別路徑呈(710)各別字元之形狀。舉例而 言，圖5K之觸碰手勢523的路徑呈字元「c」之形狀。
在一些實施例中，各別手勢獨立於(712)接觸觸敏式表面上對應於複數個應用程式圖示中之任一者之位置。當正輸入手寫字元時，忽略應用程式圖示之位置。
在一些實施例中，在偵測一或多個手勢之序列的至少一部分的同時，電子裝置同時偵測(714)第二預定義輸入(例如，觸碰輔助按鍵，諸如按下預定義鍵或將手指置放於觸敏式表面上)。舉例而言，圖5K說明：在一些實施例中，裝置100在偵測觸碰手勢523之至少一部分的同時，同時偵測手指接觸525。在一些實施例中，第二預定義輸入指示同時觸碰手勢(例如，觸碰手勢523)係手寫手勢。
在一些實施例中，在電子裝置處於畫面讀取程式協助工具模式且顯示應用程式啟動程式畫面時，在判定一或多個手勢之所偵測到之序列對應於各別應用程式圖示之前，電子裝置輸出(716)可聽協助工具資訊，該資訊指示與對應於迄今所偵測到之各別手勢的字元一致之應用程式的數目。舉例而言，當三個字母唯一地識別裝置上之各別應用程式時，裝置回應於偵測到對應於第一字母之手勢而聽得見地輸出「5個應用程式」，接著回應於偵測到對應於第二字母之手勢而聽得見地輸出「3個應用程式」，且接著回應於偵測到對應於第三字母之手勢而輸出各別應用程式名稱。
電子裝置判定(718)一或多個手勢之所偵測到之序列是否對應於複數個應用程式圖示中的各別應用程式圖示。在一些實施例中，當用於各別應用程式圖示之標籤以對應於一或多個手勢之所偵測到之序列的一或多個各別字元開始時，認為各別應用程式圖示對應於一或多個手勢之所偵測到之序列。在一些實施例中，當用於各別應用程式圖示之標籤包括以對應於一或多個手勢之所偵測到之序列的一或多個各別字元開始之詞時，認為各別應用程式圖示對應於一或多個手勢之所偵 測到之序列。在一些實施例中，當一或多個手勢之所偵測到之序列對應於多個應用程式圖示時，選擇多個應用程式圖示中之第一應用程式圖示(例如，基於字母表次序、反字母表次序、最近使用、最頻繁使用等)。在一些實施例中，當一或多個手勢之所偵測到之序列對應於多個應用程式圖示時，在自接收到一或多個手勢中之最後手勢起經過預定義時間週期之後，選擇多個應用程式圖示中的第一應用程式圖示。舉例而言，當電子裝置偵測到如圖5K中所說明的對應於字元「c」之單一手勢且在預定義時間週期內無其他手勢時，選擇對應於對應於字元「c」之手勢的第一應用程式圖示(例如，關於圖5K中所說明的以字元「c」開始之三個應用程式(行事曆(calendar)、相機(camera)及時鐘(clock))，基於字母表次序選擇行事曆(calendar)應用程式)。
在一些實施例中，當一或多個手勢之所偵測到之序列並不與複數個應用程式圖示中之任一應用程式圖示確切匹配(例如，對應於說明於圖5K中之應用程式之字元「Q」的手勢)時，電子裝置識別最接近地匹配之應用程式(例如，照片(photo)應用程式，其名稱以在字母表次序上鄰接「Q」之字元「P」開始)。
在一些實施例中，各別手勢獨立於(720)接觸觸敏式表面上對應於複數個應用程式圖示中之各別應用程式圖示之位置。當正輸入手寫字元時，忽略各別應用程式圖示之位置。
回應於判定一或多個手勢之所偵測到之序列對應於複數個應用程式圖示中之各別應用程式圖示，電子裝置執行(722)與各別應用程式圖示相關聯之預定義操作(例如，輸出與各別應用程式圖示相關聯的可聽協助工具資訊，諸如提供各別應用程式圖示之標籤的音訊輸出)。
在一些實施例中，執行與各別應用程式圖示相關聯之預定義操 作包括(724)將當前焦點顯示於各別應用程式圖示上及輸出與各別應用程式圖示相關聯之可聽協助工具資訊。舉例而言，在圖5O中，回應於判定一或多個手勢之所偵測到之序列對應於相機應用程式圖示430，當前焦點506顯示於對應於相機應用程式圖示430的位置處。在一些狀況下，裝置100亦輸出關於相機應用程式圖示430之可聽協助工具資訊(例如，陳述「相機(camera)」之語音輸出)。
在一些實施例中，執行與各別應用程式圖示相關聯之預定義操作包括(726)顯示對應於各別應用程式圖示之各別應用程式的使用者介面(例如，啟動各別應用程式)。舉例而言，在圖5N中，回應於判定一或多個手勢之所偵測到之序列對應於相機應用程式圖示430，裝置100顯示相機應用程式之使用者介面。在一些實施例中，顯示對應於各別應用程式圖示之各別應用程式的使用者介面包括用各別應用程式之使用者介面替換複數個應用程式圖示的顯示。在一些實施例中，各別應用程式之使用者介面佔用整個顯示器(例如，圖5N)。
在一些實施例中，回應於判定一或多個手勢之所偵測到之序列不對應於複數個應用程式圖示中的任一者，裝置輸出(728)可聽協助工具資訊，該資訊指示複數個應用程式圖示中無一者對應於一或多個手勢之所偵測到的序列(例如，陳述「不存在與輸入匹配之應用程式」的語音輸出)。在一些實施例中，回應於判定一或多個手勢之所偵測到之序列不對應於複數個應用程式圖示中的任一者，電子裝置先行輸出對應於複數個應用程式圖示中之任一者的可聽協助工具資訊(例如，裝置保持靜默)。
在一些實施例中，在電子裝置處於畫面讀取程式協助工具模式且顯示應用程式啟動程式畫面時，電子裝置顯示(730)鄰接複數個應用程式圖示中之第二應用程式圖示的複數個應用程式圖示中之第一應用程式圖示；將當前焦點顯示於複數個應用程式圖示中之第一應用程 式圖示上；及偵測觸敏式表面上的手指手勢。手指手勢獨立於接觸觸敏式表面上對應於複數個應用程式圖示中之第二應用程式圖示之位置。回應於偵測到手指手勢，電子裝置將當前焦點自第一應用程式圖示移動至第二應用程式圖示(例如，當前焦點506)，且輸出與第二應用程式圖示相關聯的可聽協助工具資訊。舉例而言，在圖5O中，顯示鄰接彼此之圖示428及430，且當前焦點506顯示於對應於圖示430的位置處。回應於偵測到撥動手勢531(圖5O)，當前焦點506移動至對應於圖示428的位置。在一些實施例中，裝置100輸出與圖示428相關聯之可聽協助工具資訊(例如，陳述「照片(photos)」之語音輸出)。
在一些實施例中，在電子裝置處於畫面讀取程式協助工具模式且顯示應用程式啟動程式畫面時，電子裝置偵測(732)觸敏式表面上在對應於複數個應用程式圖示中之第三應用程式圖示之位置處的單一手指手勢(例如，圖5P之觸碰手勢533)；及，回應於偵測到觸敏式表面上在對應於第三應用程式圖示之位置處之單一手指手勢，執行與第三應用程式圖示相關聯的預定義操作(例如，如圖5Q中所說明，將當前焦點顯示於第三應用程式圖示上，且輸出與第三應用程式圖示相關聯的可聽協助工具資訊，或啟動對應於第三應用程式圖示的應用程式)。
因此，可使用手寫手勢快速地導覽至所要應用程式圖示，且接著可執行畫面讀取程式導覽模式中之其他手勢(例如，撥動手勢531或輕觸手勢533以進一步移動焦點且輸出可聽協助工具資訊)。當裝置上之應用程式的數目如此大以致需要在應用程式啟動程式畫面上之多個頁面上顯示複數個應用程式圖示時，使用手寫手勢以導覽至所要應用程式圖示可為特別有用的。(為易於解釋，圖5J至圖5M及圖5O至圖5Q展示具有單頁應用程式圖示之應用程式啟動程式畫面。)
應理解，描述圖7A至圖7C中之操作的特定次序僅為例示性的， 且並不意欲指示所描述次序係可執行操作的唯一次序。一般熟習此項技術者將認識到對本文中所描述之操作重新排序的各種方式。另外，應注意到，本文中關於方法600、800、900及1000(例如，分別關於圖6A至圖6B、圖8A至圖8B、圖9A至圖9C及圖10A至10B)所描述之其他處理程序的細節亦以類似於上文關於圖7A至圖7C所描述之方法700的方式適用。舉例而言，上文參考方法700所描述的對應於各別字元之各別路徑可具有本文中參考方法600、800、900及1000所描述的對應於各別字元之各別路徑的特性中之一或多者。在另一實例中，執行上文參考方法700所描述之預定義操作可具有執行本文中參考方法800所描述之預定義操作之特性中的一或多者。為了簡潔起見，此處不重複此等細節。
圖8A至圖8B為說明根據一些實施例之選擇清單條目之方法800的流程圖。方法800係在具有顯示器及觸敏式表面之電子裝置(例如，圖3之裝置300或圖1之攜帶型多功能裝置100)處執行。在一些實施例中，顯示器為觸控式螢幕顯示器，且觸敏式表面在顯示器上。在一些實施例中，顯示器與觸敏式表面分離。可組合方法800中之一些操作，及/或可改變一些操作之次序。
如下文所描述，方法800使得具有有限視力之使用者能夠經由觸敏式表面上與畫面讀取程式協助工具模式中之其他手勢整合的手寫手勢來選擇清單條目。在藉由觸敏式表面上之觸摸式輸入選擇清單條目時，該方法減少對具有有限視力之使用者的認知負擔。對於電池供電之電子裝置，使得具有有限視力之使用者能夠藉由觸敏式表面上之觸摸式輸入更快速且更有效率地選擇清單條目節省了電力且增加了電池充電之間的時間。
在電子裝置處於畫面讀取程式協助工具模式時，電子裝置將條目清單之至少一第一部分顯示(802)於顯示器上(例如，圖5R或圖 5W)。清單包括複數個條目。
在一些實施例中，在電子裝置處於畫面讀取程式協助工具模式時，在偵測觸敏式表面上對應於一或多個字元的一或多個手勢之序列之前，電子裝置偵測(804)預定義輸入(例如，圖示之選擇、轉輪手勢、雙輕觸(諸如，圖5R之觸碰手勢535等))，及，回應於偵測到預定義輸入，進入畫面讀取程式協助工具模式內的手寫手勢辨識模式。
電子裝置偵測(806)觸敏式表面上對應於一或多個字元的一或多個手勢之序列(例如，圖5S至圖5T之觸碰手勢537及539)。一或多個手勢中的對應於一或多個字元中之各別字元的各別手勢為單一手指手勢，該單一手指手勢沿著對應於各別字元之各別路徑移動跨越觸敏式表面。舉例而言，在圖5S中，觸碰手勢537沿著對應於字元「m」之路徑移動跨越觸敏式表面112。
在一些實施例中，各別路徑橫越(808)觸敏式表面上對應於條目清單中之一或多個條目之一或多個位置，而不啟動該一或多個條目。舉例而言，在圖5S中，觸碰手勢537橫越自「Grover Alexander」至「Howard Earl Averill」之多個條目，而不起始與此等條目相關聯之任何操作。
在一些實施例中，各別路徑呈(810)各別字元之形狀。舉例而言，圖5S之觸碰手勢537的路徑呈字元「m」之形狀。
在一些實施例中，各別手勢獨立於(812)接觸觸敏式表面上對應於複數個條目中之任一者之位置。當正輸入手寫字元時，忽略條目之位置。
電子裝置判定(814)一或多個手勢之所偵測到之序列是否對應於條目清單的各別條目。在一些實施例中，各別條目以對應於一或多個手勢之所偵測到之序列的一或多個字元開始(例如，針對「mc」之「McDonald Restaurant」)。在一些實施例中，各別條目包括以對應 於一或多個手勢之所偵測到之序列的一或多個字元開始之詞(例如，包括一或多個字元之詞可為各別條目之第二或後續詞)。在一些實施例中，各別條目包括對應於一或多個手勢之所偵測到之序列的一或多個字元(例如，針對「mc」之「Chuck Morris」，此係因為條目包括字元「m」與「c」兩者)。在一些實施例中，當各別條目為名稱時，各別條目包括以對應於一或多個手勢之所偵測到之序列的一或多個字元開始之姓氏。在一些實施例中，當各別條目為名稱時，各別條目包括以對應於一或多個手勢之所偵測到之序列的一或多個字元開始之名字。
在一些實施例中，各別手勢獨立於(816)接觸觸敏式表面上對應於複數個條目中之各別條目之位置。當正輸入手寫字元時，忽略各別條目之位置。
回應於判定一或多個手勢之所偵測到之序列對應於條目清單中之各別條目，電子裝置執行(818)與各別條目相關聯的預定義操作(例如，更新使用者介面以顯示各別條目或更新使用者介面以顯示關於各別條目之額外資訊)。
在一些實施例中，執行與各別條目相關聯之預定義操作包括(820)輸出與各別條目相關聯的可聽協助工具資訊。舉例而言，在圖5T中，裝置100可輸出與「Connie Mack」相關聯之可聽協助工具資訊(例如，「Connie Mack」之音訊輸出)。
在一些實施例中，執行與各別條目相關聯之預定義操作包括(822)用清單之第二部分的顯示來替換清單之第一部分的顯示。第二部分包括各別條目，且清單之第二部分相異於清單之第一部分。舉例而言，在一些實施例中，回應於偵測到觸碰手勢539(圖5T)，顯示清單之第二部分(清單之對應於字元「mc」的部分，圖5U)。
在一些實施例中，執行與各別條目相關聯之預定義操作包括 (824)用第二清單之至少一部分的顯示來替換清單之第一部分的顯示。第二清單包括條目清單中之對應於一或多個字元的一或多個各別條目，且第二清單包括各別條目。舉例而言，在一些實施例中，回應於偵測到觸碰手勢539(圖5T)，顯示第二清單或第二清單之一部分(圖5V)。如圖5V中所說明，在一些實施例中，第二清單並不包括不對應於一或多個字元的任何條目。
在一些實施例中，執行與各別條目相關聯之預定義操作包括(826)判定第二清單包括複數個條目；及，根據第二清單包括複數個條目的判定，輸出可聽協助工具資訊，該資訊指示第二清單中之條目的數目。舉例而言，回應於偵測到觸碰手勢541(圖5W)，可輸出指示對應於所接收觸碰手勢之條目之數目的可聽協助工具資訊(例如，陳述「三個項目」之音訊輸出)。在另一實例中，回應於偵測到觸碰手勢543(圖5X)，可輸出指示對應於所接收字元「ca」之條目之數目的可聽協助工具資訊(例如，陳述「兩個項目」之音訊輸出)。
在一些實施例中，僅在接收到對應於條目清單中之各別條目之一或多個手勢的序列同時當前焦點在索引上(例如，清單中之條目之字母索引)時，電子裝置執行與各別條目相關聯之預定義操作。舉例而言，在一些實施例中，如圖5AN至圖5AO中所說明，回應於偵測到觸碰手勢577同時當前焦點522在索引524上，電子裝置執行預定義操作(例如，更新使用者介面以顯示各別條目或更新使用者介面以顯示關於各別條目之額外資訊)。換言之，在一些實施例中，在當前焦點遠離索引時，電子裝置略過對應於條目清單之各別條目的一或多個手勢之序列。
在一些實施例中，執行與各別條目相關聯之預定義操作包括啟動對應於各別條目之應用程式。舉例而言，當各別條目為「相機(camera)」時，回應於偵測到觸碰手勢545(圖5Y)，裝置100可啟動相 機應用程式。在一些實施例中，回應於接收到確認輸入而啟動應用程式(例如，在裝置輸出「相機(camera)」、「相機應用程式(camera application)」或「相機應用程式，開啟相機應用程式之雙輕觸(camera application,double tap to open the camera application)」之後的雙輕觸手勢)。
在一些實施例中，電子裝置接收觸敏式螢幕上之兩個或兩個以上手勢。在接收該整個兩個或兩個以上手勢之前，對於該兩個或兩個以上手勢中的每一手勢，電子裝置判定手勢是否對應於各別字元，且執行第一預定義操作(例如，更新使用者介面以顯示對應於一或多個字元之序列的一或多個條目，該一或多個字元對應於一或多個所接收手勢)。在接收到整個兩個或兩個以上手勢之後，電子裝置判定該整個兩個或兩個以上手勢是否對應於各別條目，且執行關於各別條目之第二預定義操作(例如，更新使用者介面以顯示各別條目，諸如顯示清單之包括各別條目的一部分，或更新使用者介面以顯示關於各別條目之額外資訊)。
應理解，描述圖8A至圖8B中之操作的特定次序僅為例示性的，且並不意欲指示所描述次序係可執行操作的唯一次序。一般熟習此項技術者將認識到對本文中所描述之操作重新排序的各種方式。另外，應注意到，本文中關於方法600、700、900及1000(例如，分別關於圖6A至圖6B、圖7A至圖7C、圖9A至圖9C及圖10A至10B)所描述之其他處理程序的細節亦以類似於上文關於圖8A至圖8B所描述之方法800的方式適用。舉例而言，上文參考方法800所描述的對應於各別字元之各別路徑可具有本文中參考方法600、700、900及1000所描述的對應於各別字元之各別路徑的特性中之一或多者。在另一實例中，執行上文參考方法800所描述之預定義操作可具有執行本文中參考方法700所描述之預定義操作之特性中的一或多者。為了簡潔起見，此處不重複 此等細節。
圖9A至圖9C為說明根據一些實施例之導覽網頁之方法900的流程圖。方法900係在具有顯示器及觸敏式表面之電子裝置(例如，圖3之裝置300或圖1之攜帶型多功能裝置100)處執行。在一些實施例中，顯示器為觸控式螢幕顯示器，且觸敏式表面在顯示器上。在一些實施例中，顯示器與觸敏式表面分離。可組合方法900中之一些操作，及/或可改變一些操作之次序。
如下文所描述，方法900使得具有有限視力之使用者能夠經由觸敏式表面上與畫面讀取程式協助工具模式中之其他手勢整合的手寫手勢來導覽網頁。在藉由觸敏式表面上之觸摸式輸入導覽網頁時，該方法減少對具有有限視力之使用者之認知負擔，藉此建立更有效率之人機介面。對於電池供電之電子裝置，使得具有有限視力之使用者能夠藉由觸敏式表面上之觸摸式輸入更快速且更有效率地導覽網頁節省了電力且增加了電池充電之間的時間。
在電子裝置處於畫面讀取程式協助工具模式時，電子裝置將網頁之至少一部分(或其他結構化電子文件)顯示(902)於顯示器上(例如，圖5AA)。網頁包括複數個使用者介面元素(例如，標題、段落、句子、詞等)。
電子裝置偵測(904)觸敏式表面上之第一導覽手勢(例如，圖5AA之觸碰手勢547)。
回應於偵測到觸敏式表面上之第一導覽手勢，電子裝置導覽(906)至複數個使用者介面元素中之對應於當前可導覽單元類型的一或多個使用者介面元素的第一集合。當前可導覽單元類型經設定為選自複數個預定義可導覽單元類型之第一可導覽單元類型。舉例而言，在圖5AA至圖5AB中，當前可導覽單元類型經設定為「詞」，且當前焦點512回應於觸碰手勢547而自標頭「視力(Vision)」(圖5AA)移動至 下一詞「The」(圖5AB)。
在一些實施例中，在電子裝置處於畫面讀取程式協助工具模式時，在偵測觸敏式表面上之導覽設定手勢之前，電子裝置偵測(908)預定義輸入(例如，圖示之選擇、轉輪手勢、雙輕觸(諸如，圖5AB之觸碰手勢549等))，及，回應於偵測到預定義輸入，進入畫面讀取程式協助工具模式內的手寫手勢辨識模式。在一些實施例中，電子裝置處於手寫手勢辨識模式而無關於偵測預定義輸入。
電子裝置偵測(910)觸敏式表面上對應於各別字元之導覽設定手勢(例如，圖5AC之觸碰手勢551)。對應於各別字元的導覽設定手勢為單一手指手勢，該單一手指手勢沿著對應於各別字元之各別路徑移動跨越觸敏式表面。舉例而言，在圖5AC中，觸碰手勢551沿著對應於字元「1」之路徑移動跨越觸敏式表面112。
在一些實施例中，各別路徑橫越(912)觸敏式表面上對應於網頁中之複數個使用者介面元素中之一或多個使用者介面元素的一或多個位置，而不啟動該一或多個使用者介面元素。舉例而言，在圖5AC中，觸碰手勢551橫越多個詞，而不將當前焦點512移動至對應於該等經橫越詞中之任一者的位置。
在一些實施例中，各別路徑呈(914)各別字元之形狀。舉例而言，在圖5AC中，觸碰手勢551的路徑呈字元「1」之形狀。
在一些實施例中，各別手勢獨立於(916)接觸觸敏式表面上對應於複數個使用者介面元素中之任一者之位置。當正輸入手寫字元時，忽略使用者介面元素之位置。
電子裝置判定(918)導覽設定手勢是否對應於複數個預定義可導覽單元類型中的第二可導覽單元類型。舉例而言，「行」可導覽單元類型對應於針對字元「1」的觸碰手勢。或者，在一些實施例中，「行」可導覽單元類型對應於針對字元「i」之觸碰手勢，且「連 結」可導覽單元類型對應於針對字元「1」的觸碰手勢。在一些實施例中，電子裝置基於電子裝置之語言設定來判定導覽設定手勢是否對應於複數個預定義可導覽單元類型中的第二可導覽單元類型。舉例而言，當電子裝置處於西班牙語模式時，「連結」可導覽單元類型對應於針對字元「e」之觸碰手勢，此係因為(例如)連結在西班牙語中被稱作「enlaces」。
在一些實施例中，複數個預定義可導覽單元類型包括(920)呈循環序列之四個或四個以上可導覽單元類型，使得循環序列中具有第二位置的可導覽單元類型被認為是鄰近於循環序列中具有第一位置之可導覽單元類型，循環序列中具有第三位置之可導覽單元類型被認為是鄰近於循環序列中具有第二位置之可導覽單元類型，且循環序列中具有最後位置之可導覽單元類型被認為是鄰近於循環序列中具有第一位置之可導覽單元類型。第一可導覽單元類型並不鄰近於循環序列中之第二可導覽單元類型。換言之，導覽設定手勢使得能夠改變至並不鄰接當前可導覽單元類型之可導覽單元類型。比較而言，下文關於操作930所描述之第二導覽設定手勢允許改變至鄰接當前可導覽單元類型的可導覽單元類型。舉例而言，假定裝置具有五個預定義可導覽單元類型：「字元(c haracters)」、「詞(w ords)」、「連結(link s)」、「行(l ines)」及「段落(p aragraphs)」。「字元」可導覽單元類型被認為是鄰近於「詞」可導覽單元類型，「詞」可導覽單元類型被認為是鄰近於「連結」可導覽單元類型，「連結」可導覽單元類型被認為是鄰近於「行」可導覽單元類型，「行」可導覽單元類型被認為是鄰近於「段落」可導覽單元類型，且「段落」可導覽單元類型被認為是鄰近於「字元」可導覽單元類型。導覽設定手勢使得能夠將當前可導覽單元類型自一預定義可導覽單元類型改變至並不鄰近於該一預定義可導覽單元類型的另一預定義可導覽單元類型(例如，自並不鄰近於彼此之 「詞」至「行」；及自並不鄰近於彼此之「行」至「字元」)。
在一些實施例中，導覽設定手勢亦使得能夠將當前導覽單元類型自一預定義可導覽單元類型改變至鄰近於該一預定義可導覽單元類型的另一預定義可導覽單元類型。
在一些實施例中，用於第二可導覽單元類型之標籤以各別字元開始(922)。舉例而言，用於「行」可導覽單元類型之標籤以字元「1」開始。因此，在一些實施例中，裝置100判定針對字元「1」之觸碰手勢對應於「行」可導覽單元類型。在一些實施例中，用於第二可導覽單元類型之標籤包括各別字元。舉例而言，字元「k」可對應於「連結」可導覽單元類型。
回應於判定導覽設定手勢對應於複數個預定義可導覽單元類型中之第二可導覽單元類型，電子裝置將當前可導覽單元類型自第一可導覽單元類型改變(924)至第二可導覽單元類型，且輸出可聽協助工具資訊，該資訊指示已選擇了第二可導覽單元類型(例如，陳述「行」或「當前可導覽單元類型已改變至行」之音訊輸出)。
在一些實施例中，複數個可導覽單元類型包括字元、詞、句子、行及/或段落。在一些實施例中，關於第二可導覽單元類型之協助工具資訊為選自由「字元」、「詞」、「句子」、「行」及「段落」組成之群的口語用詞。在一些實施例中，複數個可導覽單元類型包括連結、標題、句子、行及/或段落。在一些實施例中，關於第二可導覽單元類型之協助工具資訊為選自由「連結」、「標題」、「句子」、「行」、「段落」及「表格」組成之群的口語用詞。
在將當前可導覽單元類型自第一可導覽單元類型改變至第二可導覽單元類型之後，電子裝置偵測(926)觸敏式表面上之第二導覽手勢(例如，圖5AD之觸碰手勢553)。
回應於偵測到觸敏式表面上之第二導覽手勢，電子裝置導覽 (928)至複數個使用者介面元素中之對應於第二可導覽單元類型的一或多個使用者介面元素之第二集合。舉例而言，在圖5AE中，當前焦點512經更新以包括網頁之一部分，該網頁部分相異於在偵測到觸碰手勢553(圖5AD)之前包括於當前焦點512中的網頁部分。
在一些實施例中，電子裝置偵測(930)觸敏式表面上之第二導覽設定手勢。第二導覽設定手勢係多手指手勢(例如，雙手指轉輪手勢)，且第二導覽設定手勢獨立於接觸觸敏式表面上對應於複數個使用者介面元素中之任一者的位置。回應於偵測到觸敏式表面上之第二導覽設定手勢，電子裝置將當前可導覽單元類型自第二可導覽單元類型改變至複數個可導覽單元類型之序列中的鄰近於第二可導覽單元類型之第三可導覽單元類型，且輸出關於第三可導覽單元類型的協助工具資訊。舉例而言，在圖5AG中，當前可導覽單元類型自「字元」可導覽單元類型改變至「段落」可導覽單元類型。請注意，在具有以下五個預定義可導覽單元類型之以上實例中，「字元」可導覽單元類型及「段落」可導覽單元類型鄰近於彼此：「字元」、「詞」、「連結」、「行」及「段落」。因此，在一些實施例中，第二導覽設定手勢使得能夠將當前焦點改變至鄰近可導覽單元類型(例如，自「字元」至「段落」)。
應理解，描述圖9A至圖9C中之操作的特定次序僅為例示性的，且並不意欲指示所描述次序係可執行操作的唯一次序。一般熟習此項技術者將認識到對本文中所描述之操作重新排序的各種方式。另外，應注意到，本文中關於方法600、700、800及1000(例如，分別關於圖6A至圖6B、圖7A至圖7C、圖8A至圖8B及圖10A至10B)所描述之其他處理程序的細節亦以類似於上文關於圖9A至圖9C所描述之方法900的方式適用。舉例而言，上文參考方法900所描述的對應於各別字元之各別路徑可具有本文中參考方法600、700、800及1000所描述的對應 於各別字元之各別路徑的特性中之一或多者。為了簡潔起見，此處不重複此等細節。
圖10A至圖10B為說明根據一些實施例之接收手寫手勢之方法1000的流程圖。方法1000係在具有顯示器及觸敏式表面之電子裝置(例如，圖3之裝置300或圖1之攜帶型多功能裝置100)處執行。在一些實施例中，顯示器為觸控式螢幕顯示器，且觸敏式表面在顯示器上。在一些實施例中，顯示器與觸敏式表面分離。可組合方法100中之一些操作，及/或可改變一些操作之次序。
如下文所描述，方法1000使得具有有限視力之使用者能夠經由觸敏式表面上與畫面讀取程式協助工具模式中之其他手勢整合的手寫手勢來提供字元輸入。在提供字元輸入時，該方法減少對具有有限視力之使用者之認知負擔，藉此建立更有效率之人機介面。對於電池供電之電子裝置，使得具有有限視力之使用者能夠更快速地且更有效率地提供字元輸入節省了電力且增加了電池充電之間的時間。
在具有顯示器及觸敏式表面之電子裝置處於畫面讀取程式協助工具模式時，電子裝置在顯示器上顯示(1002)字元輸入區域及鍵盤。鍵盤包括複數個鍵圖示。舉例而言，在圖5AH中，字元輸入區域514及具有複數個鍵圖示之鍵盤518顯示於觸控式螢幕112上。
在一些實施例中，在電子裝置處於畫面讀取程式協助工具模式時，在偵測觸敏式表面上對應於一或多個字元的一或多個手勢之序列之前，電子裝置偵測(1004)預定義輸入(例如，圖示之選擇、轉輪手勢、雙輕觸(諸如，觸碰手勢563等))，及，回應於偵測到預定義輸入，進入畫面讀取程式協助工具模式內的手寫手勢辨識模式。在一些實施例中，電子裝置處於手寫手勢辨識模式而無關於預定義輸入。
電子裝置偵測(1006)觸敏式表面上對應於一或多個字元的一或多個手勢之序列(例如，圖5AI之觸碰手勢565)。一或多個手勢中之對應 於各別字元的各別手勢為單一手指手勢，該單一手指手勢沿著對應於各別字元之各別路徑移動跨越觸敏式表面。各別路徑橫越觸敏式表面上對應於複數個鍵圖示中之一或多個鍵圖示之一或多個位置，而不啟動該一或多個鍵圖示。舉例而言，在圖5AI中，觸碰手勢橫越諸如「E」、「D」、「F」及「G」圖示之複數個鍵圖示，而不將對應於此等鍵之任何字元鍵入至字元輸入區域514中。
在一些實施例中，各別路徑呈(1008)各別字元之形狀。舉例而言，在圖5AI中，觸碰手勢565的路徑呈字元「c」之形狀。
在一些實施例中，各別手勢獨立於(1010)接觸觸敏式表面上對應於複數個鍵圖示中之與各別字元相關聯的鍵圖示之位置。當正輸入手寫字元時，忽略與各別字元相關聯之鍵圖示的位置。
在一些實施例中，各別手勢獨立於(1012)接觸觸敏式表面上對應於複數個鍵圖示中之任一者之位置。當正輸入手寫字元時，忽略鍵圖示之位置。
在一些實施例中，回應於偵測到各別手勢，電子裝置在顯示器之字元輸入區域中鍵入(1014)對應各別字元(例如，在字元輸入區域中之當前游標位置處插入並顯示對應字元)。舉例而言，在圖5AJ中，裝置100回應於偵測到觸碰手勢565(圖5AI)而鍵入字元「c」。在一些實施例中，裝置回應於偵測到一或多個手勢之序列之其餘部分中的每一手勢而鍵入對應各別字元。
在一些實施例中，回應於偵測到各別手勢，電子裝置輸出(1016)關於對應各別字元之可聽協助工具資訊(例如，語音輸出「c」)。在一些實施例中，在輸出關於對應各別字元之可聽協助工具資訊(例如，語音輸出「c」)且接收到確認輸入(例如，單一輕觸或雙輕觸手勢)之後，電子裝置在顯示器之字元輸入區域中鍵入對應各別字元。
在一些實施例中，電子裝置偵測(1018)觸敏式表面上之第一預定 義手指手勢(例如，雙手指向下撥動手勢)。第一預定義手指手勢橫越觸敏式表面上對應於複數個鍵圖示中之一或多個鍵圖示之一或多個位置，而不啟動該一或多個鍵圖示。回應於偵測到觸敏式表面上之第一預定義手指手勢，電子裝置在字元輸入區域中在游標之當前位置處鍵入空格，且輸出指示已鍵入空格的可聽協助工具資訊。舉例而言，在圖5AK中，裝置回應於包括手指接觸567及569之雙手指向下撥動手勢(圖5AJ)而在字元輸入區域514中鍵入了空格字元。
在一些實施例中，第一預定義手指手勢獨立於(1020)接觸觸敏式表面上對應於複數個鍵圖示中之空格鍵圖示之位置。當正輸入第一預定義手指手勢時，忽略空格鍵圖示之位置。
在一些實施例中，電子裝置偵測(1022)觸敏式表面上之第二預定義手指手勢(例如，雙手指向上撥動手勢)。第二預定義手指手勢橫越觸敏式表面上對應於複數個鍵圖示中之一或多個鍵圖示之一或多個位置，而不啟動該一或多個鍵圖示。回應於偵測到觸敏式表面上之第二預定義手指手勢，電子裝置在字元輸入區域中在游標之當前位置處刪除字元，且輸出指示已刪除了字元的可聽協助工具資訊。舉例而言，在圖5AL中，裝置刪除了先前位於游標516之前的空格字元(如圖5AK中所展示)。或者，可使用不同的預定義手指手勢來刪除字元輸入區域中的字元。舉例而言，在一些實施例中，電子裝置偵測拖動手勢(例如，在一些實施例中，拖動手勢對應在觸敏式表面上來回拖動一或多個手指)，且在字元輸入區域中在游標之當前位置處刪除字元。在一些實施例中，雙手指向上撥動手勢可用以起始不同操作而非刪除字元。舉例而言，在一些實施例中，電子裝置偵測觸敏式表面上之雙手指向上撥動手勢，且在游標之當前位置處插入可見或不可見之新的一行字元。在一些實施例中，電子裝置回應於偵測到雙手指向上撥動手勢而亦將游標移動至新行。
在一些實施例中，第二預定義手指手勢獨立於(1024)接觸觸敏式表面上對應於複數個鍵圖示中之退格鍵圖示之位置。當正輸入第二預定義手指手勢時，忽略退格鍵圖示之位置。
在一些實施例中，電子裝置具有複數個字元輸入模式(例如，以下各者中之兩者或兩者以上：小寫輸入模式、大寫輸入模式、數字輸入模式及符號輸入模式)。在一些實施例中，電子裝置偵測觸敏式表面上之第三預定義手指手勢(例如，三手指輕觸)，且指示當前字元輸入模式。舉例而言，電子裝置輸出指示當前字元輸入模式之可聽資訊(例如，在電子裝置處於小寫輸入模式時的語音輸出「小寫」)。在一些實施例中，電子裝置判定：觸敏式表面上之各別手勢根據當前字元輸入模式對應於各別字元。舉例而言，在一些實施例中，當電子裝置處於小寫輸入模式時，電子裝置試圖使各別手勢與小寫字元匹配。或者，在一些實施例中，電子裝置判定：觸敏式表面上之各別手勢對應於各別字元而無關於當前字元輸入模式，且使用與當前字元輸入模式匹配且對應於各別字元的字元。舉例而言，在一些實施例中，電子裝置在電子裝置處於大寫輸入模式時接收小寫字元「m」，且在顯示器之字元輸入區域中鍵入大寫字元「M」。
在一些實施例中，電子裝置偵測觸敏式表面上之第四預定義手指手勢(例如，三手指向上撥動手勢或三手指向下撥動手勢)，且將當前字元輸入模式自第一字元輸入模式(例如，小寫輸入模式)改變至相異於第一字元輸入模式的第二字元輸入模式(例如，大寫輸入模式)。類似地，使用者可藉由在觸敏式表面上重複第四預定義手指手勢來循環通過複數個字元輸入模式。舉例而言，當電子裝置具有四個字元輸入模式時，在一些實施例中，電子裝置回應於觸敏式表面上之第四預定義手指手勢的第二次發生而將當前字元輸入模式自第二字元輸入模式(例如，大寫輸入模式)改變至第三字元輸入模式(例如，數字輸入模 式)，且回應於觸敏式表面上之第四預定義手指手勢的第三次發生而將當前字元輸入模式自第三字元輸入模式(例如，數字輸入模式)改變至第四字元輸入模式(例如，符號輸入模式)。在一些實施例中，電子裝置將當前字元輸入模式自第四字元輸入模式(例如，符號輸入模式)改變至第一字元輸入模式(例如，小寫輸入模式)。
在一些實施例中，電子裝置偵測觸敏式表面上之相異於第四預定義手指手勢的第五預定義手指手勢(例如，三手指向下撥動手勢或三手指向上撥動手勢)，且以相反次序改變當前字元輸入。舉例而言，當電子裝置具有四個字元輸入模式時，回應於偵測到觸敏式表面上之第五預定義手指手勢，電子裝置將當前字元輸入自第一字元輸入模式(例如，小寫輸入模式)改變至第四字元輸入模式(例如，符號輸入模式)。
在一些實施例中，在電子裝置處於畫面讀取程式協助工具模式內之手寫手勢輸入模式時，電子裝置偵測預定義輸入(例如，圖示之選擇、轉輪手勢、雙輕觸(諸如，觸碰手勢563等))，及，回應於偵測到預定義輸入，退出手寫手勢辨識模式。在一些實施例中，當電子裝置退出手寫手勢辨識模式時，電子裝置保持處於畫面讀取程式協助工具模式。在一些實施例中，電子裝置在自接收到對應於字元之最後手勢輸入起經過預定義時間週期之後退出手寫手勢辨識模式，而無關於預定義輸入。
應理解，描述圖10A至圖10B中之操作的特定次序僅為例示性的，且並不意欲指示所描述次序係可執行操作的唯一次序。一般熟習此項技術者將認識到對本文中所描述之操作重新排序的各種方式。另外，應注意到，本文中關於方法600、700、800及900(例如，分別關於圖6A至圖6B、圖7A至圖7C、圖8A至圖8B及圖9A至9C)所描述之其他處理程序的細節亦以類似於上文關於圖10A至圖10B所描述之方法 1000的方式適用。舉例而言，上文參考方法1000所描述的對應於各別字元之各別路徑可具有本文中參考方法600、700、800及900所描述的對應於各別字元之各別路徑的特性中之一或多者。為了簡潔起見，此處不重複此等細節。
根據一些實施例，圖11展示根據如上文所描述之本發明之原理組態的電子裝置1100之功能方塊圖。裝置之功能區塊可藉由硬體、軟體或硬體與軟體之組合來實施以進行本發明的原理。熟習此項技術者應理解，可組合圖11中所描述之功能區塊或將其分離成子區塊以實施如上文所描述之本發明的原理。因此，本文中之描述可支援本文中所描述之功能區塊之任何可能組合或分離或其他定義。
如圖11中所展示，電子裝置1100包括顯示單元1102，顯示單元1102經組態以在電子裝置1100藉由開啟之畫面讀取程式協助工具模式而處於鎖定之密碼保護狀態時，顯示用於接收密碼的密碼畫面，密碼包括預定義字元序列，密碼畫面包括複數個字元圖示。電子裝置1100亦包括觸敏式表面單元1104，觸敏式表面單元1104經組態以偵測觸敏式表面單元1104上對應於字元的手勢序列，其中手勢序列中之對應於各別字元的各別手勢為單一手指手勢，該手指手勢沿著對應於各別字元之各別路徑移動跨越觸敏式表面單元1104。電子裝置1100進一步包括耦接至顯示單元1102及觸敏式表面單元1104的處理單元1106。在一些實施例中，處理單元1106包括鎖定單元1108、偵測單元1110、判定單元1112、解鎖單元1114、協助工具單元1116、顯示停止單元1118、先行單元1120、顯示啟用單元1122、輸出單元1124及鍵入單元1126。
處理單元1106經組態以判定所偵測到之手勢序列是否對應於密碼中之預定義字元序列(例如，藉由判定單元1112)；回應於判定所偵測到之手勢序列對應於密碼中之預定義字元序列：解鎖電子裝置1100(例如，藉由解鎖單元1114)；及維持電子裝置1100處於畫面讀取 程式協助工具模式(例如，藉由協助工具單元1116)；及，回應於判定所偵測到之手勢序列不對應於密碼中之預定義字元序列：藉由開啟之畫面讀取程式協助工具模式維持電子裝置1100處於鎖定之密碼保護狀態(例如，藉由鎖定單元1108及協助工具單元1116)。
在一些實施例中，各別路徑橫越觸敏式表面單元1104上對應於複數個字元圖示中之一或多個字元圖示之一或多個位置，而不啟動該一或多個字元圖示。
在一些實施例中，各別路徑呈各別字元之形狀。
在一些實施例中，各別手勢獨立於接觸觸敏式表面單元1104上對應於複數個字元圖示中之與各別字元相關聯的字元圖示之位置。
在一些實施例中，各別手勢獨立於接觸觸敏式表面單元1104上對應於複數個字元圖示中之任一者之位置。
在一些實施例中，處理單元1106經組態以回應於判定所偵測到之手勢序列對應於密碼中之預定義字元序列，停止顯示密碼畫面(例如，藉由顯示停止單元1118)。
在一些實施例中，處理單元1106經組態以在偵測到觸敏式表面單元1104上對應於字元之手勢序列(例如，藉由偵測單元1110)的同時，先行輸出對應於字元的可聽協助工具資訊(例如，藉由先行單元1120)。
在一些實施例中，處理單元1106經組態以回應於判定所偵測到之手勢序列對應於密碼中之預定義字元序列，停止顯示密碼畫面(例如，藉由顯示停止單元1118)；及啟用包括複數個應用程式圖示之應用程式啟動程式畫面的顯示(例如，藉由顯示啟用單元1122在顯示單元1102上)。
在一些實施例中，處理單元1106經組態以在啟用密碼畫面之顯示(例如，藉由顯示啟用單元1122)的同時，當鍵入各別字元時，先行輸 出與該各別字元相關聯的可聽協助工具資訊(例如，藉由先行單元1120)。處理單元1106亦經組態以在電子裝置1100經解鎖且處於畫面讀取程式協助工具模式時，偵測觸敏式表面單元1104上在對應於首頁畫面之各別使用者介面元素之位置處的單一手指手勢(例如，藉由偵測單元1110)；及，回應於偵測到單一手指手勢，輸出與各別使用者介面元素相關聯的可聽協助工具資訊(例如，輸出單元1124)。
在一些實施例中，處理單元1106經組態以在電子裝置1100藉由開啟之畫面讀取程式協助工具模式而處於鎖定之密碼保護狀態時，在偵測觸敏式表面單元1104上對應於密碼中之字元的手勢序列之前，偵測預定義輸入(例如，藉由偵測單元1110)；及，回應於偵測到預定義輸入，進入畫面讀取程式協助工具模式內的手寫手勢辨識模式(例如，藉由鍵入單元1126)。
在一些實施例中，處理單元1106經組態以在電子裝置1100藉由開啟之畫面讀取程式協助工具模式而處於鎖定之密碼保護狀態時：偵測觸敏式表面單元1104上在對應於複數個字元圖示中之字元圖示的位置處之單一手指手勢(例如，藉由偵測單元1110)；及，回應於偵測到觸敏式表面單元1104上在對應於字元圖示之位置處的單一手指手勢：鍵入對應於所接收密碼中之字元圖示的各別字元(例如，藉由鍵入單元1126)；及先行輸出與各別字元相關聯的可聽協助工具資訊(例如，藉由先行單元1120)。
根據一些實施例，圖12展示根據如上文所描述之本發明之原理組態的電子裝置1200之功能方塊圖。裝置之功能區塊可藉由硬體、軟體或硬體與軟體之組合來實施以進行本發明的原理。熟習此項技術者應理解，可組合圖12中所描述之功能區塊或將其分離成子區塊以實施如上文所描述之本發明之原理。因此，本文中之描述可支援本文中所描述之功能區塊之任何可能組合或分離或其他定義。
如圖12中所展示，電子裝置1200包括顯示單元1202，顯示單元1202經組態以在電子裝置1200處於畫面讀取程式協助工具模式時，顯示應用程式啟動程式畫面，該應用程式啟動程式畫面包括複數個應用程式圖示，其中各別應用程式圖示對應於儲存於電子裝置1200中的各別應用程式。電子裝置1200亦包括觸敏式表面單元1204，觸敏式表面單元1204經組態以偵測觸敏式表面單元1204上對應於一或多個字元的一或多個手勢之序列，其中一或多個手勢中之對應於一或多個字元中之各別字元的各別手勢為單一手指手勢，該單一手指手勢沿著對應於各別字元之各別路徑移動跨越觸敏式表面單元1204。電子裝置1200進一步包括耦接至顯示單元1202及觸敏式表面單元1204的處理單元1206。在一些實施例中，處理單元1206包括偵測單元1208、判定單元1210、執行單元1212、顯示啟用單元1214、輸出單元1216、鍵入單元1218及移動單元1220。
處理單元1206經組態以：判定一或多個手勢之所偵測到之序列是否對應於複數個應用程式圖示中之各別應用程式圖示(例如，藉由判定單元1210)；及，回應於判定一或多個手勢之所偵測到之序列對應於複數個應用程式圖示中之各別應用程式圖示，執行與各別應用程式圖示相關聯的預定義操作(例如，藉由執行單元1212)。
在一些實施例中，各別路徑橫越觸敏式表面單元1204上對應於複數個應用程式圖示中之一或多個應用程式圖示之一或多個位置，而不啟動該一或多個應用程式圖示。
在一些實施例中，各別路徑呈各別字元之形狀。
在一些實施例中，各別手勢獨立於接觸觸敏式表面單元1204上對應於複數個應用程式圖示中之各別應用程式圖示之位置。
在一些實施例中，各別手勢獨立於接觸觸敏式表面單元1204上對應於複數個應用程式圖示中之任一者之位置。
在一些實施例中，處理單元1206經組態以：啟用當前焦點在各別應用程式圖示上之顯示(例如，藉由顯示啟用單元1214在顯示單元1202上)；及輸出與各別應用程式圖示相關聯的可聽協助工具資訊(例如，藉由輸出單元1216)。
在一些實施例中，處理單元1206經組態以啟用對應於各別應用程式圖示之各別應用程式之使用者介面的顯示(例如，藉由顯示啟用單元1214在顯示單元1202上)。
在一些實施例中，處理單元1206經組態以在偵測一或多個手勢之序列的至少一部分的同時，同時偵測第二預定義輸入(例如，藉由偵測單元1208)。
在一些實施例中，處理單元1206經組態以回應於判定一或多個手勢之所偵測到之序列不對應於複數個應用程式圖示中的任一者，輸出可聽協助工具資訊，該資訊指示複數個應用程式圖示中無一者對應於一或多個手勢之所偵測到的序列(例如，藉由輸出單元1216)。
在一些實施例中，處理單元1206經組態以在電子裝置1200處於畫面讀取程式協助工具模式時，在偵測觸敏式表面單元1204上對應於一或多個字元的一或多個手勢之序列之前：偵測預定義輸入(例如，藉由偵測單元1208)；及，回應於偵測到預定義輸入，進入畫面讀取程式協助工具模式內的手寫手勢辨識模式(例如，藉由鍵入單元1218)。
在一些實施例中，處理單元1206經組態以在電子裝置處於畫面讀取程式協助工具模式且顯示應用程式啟動程式畫面時：啟用鄰接複數個應用程式圖示中之第二應用程式圖示的複數個應用程式圖示中之第一應用程式圖示之顯示(例如，藉由顯示啟用單元1214在顯示單元1202上)；啟用當前焦點在複數個應用程式圖示中之第一應用程式圖示上的顯示(例如，藉由顯示啟用單元1214在顯示單元1202上)；偵測 觸敏式表面單元1204上之手指手勢(例如，藉由偵測單元1208)，其中手指手勢獨立於接觸觸敏式表面單元1204上對應於複數個應用程式圖示中之第二應用程式圖示的位置；及，回應於偵測到手指手勢：將當前焦點自第一應用程式圖示移動至第二應用程式圖示(例如，藉由移動單元1220)；及輸出與第二應用程式圖示相關聯的可聽協助工具資訊(例如，藉由輸出單元1216)。
在一些實施例中，處理單元1206經組態以在電子裝置1200處於畫面讀取程式協助工具模式且顯示應用程式啟動程式畫面時：偵測觸敏式表面單元1204上在對應於複數個應用程式圖示中之第三應用程式圖示之位置處的單一手指手勢(例如，藉由偵測單元1208)；及，回應於偵測到觸敏式表面單元1204上在對應於第三應用程式圖示之位置處的單一手指手勢，執行與第三應用程式圖示相關聯的預定義操作(例如，藉由執行單元1212)。
在一些實施例中，處理單元1206經組態以在電子裝置1200處於畫面讀取程式協助工具模式且顯示應用程式啟動程式畫面時，在判定一或多個手勢之所偵測到之序列對應於各別應用程式圖示之前，輸出可聽協助工具資訊，該資訊指示與對應於迄今所偵測到之各別手勢的字元一致之應用程式的數目(例如，藉由輸出單元1216)。
根據一些實施例，圖13展示根據如上文所描述之本發明之原理組態的電子裝置1300之功能方塊圖。裝置之功能區塊可藉由硬體、軟體或硬體與軟體之組合來實施以進行本發明的原理。熟習此項技術者應理解，可組合圖13中所描述之功能區塊或將其分離成子區塊以實施如上文所描述之本發明之原理。因此，本文中之描述可支援本文中所描述之功能區塊之任何可能組合或分離或其他定義。
如圖13中所展示，電子裝置1300包括顯示單元1302，顯示單元1302經組態以在電子裝置1300處於畫面讀取程式協助工具模式時，顯 示條目清單之至少一第一部分，該清單包括複數個條目。電子裝置1300亦包括觸敏式表面單元1304，觸敏式表面單元1304經組態以偵測觸敏式表面單元1304上對應於一或多個字元的一或多個手勢之序列，其中一或多個手勢中之對應於各別字元的各別手勢為單一手指手勢，該單一手指手勢沿著對應於各別字元之各別路徑移動跨越觸敏式表面單元1304。電子裝置1300進一步包括耦接至顯示單元1302及觸敏式表面單元1304之處理單元1306。在一些實施例中，處理單元1306包括偵測單元1308、判定單元1310、執行單元1312、顯示替換單元1314、輸出單元1316及鍵入單元1318。
處理單元1306經組態以：判定一或多個手勢之所偵測到之序列是否對應於條目清單中之各別條目(例如，藉由判定單元1310)；及，回應於判定一或多個手勢之所偵測到之序列對應於條目清單中之各別條目，執行與各別條目相關聯的預定義操作(例如，藉由執行單元1312)。
在一些實施例中，各別路徑橫越觸敏式表面單元1304上對應於條目清單中之一或多個條目之一或多個位置，而不啟動該一或多個條目。
在一些實施例中，各別路徑呈各別字元之形狀。
在一些實施例中，各別手勢獨立於接觸觸敏式表面單元1304上對應於複數個條目中之各別條目之位置。
在一些實施例中，各別手勢獨立於接觸觸敏式表面單元1304上對應於複數個條目中之任一者之位置。
在一些實施例中，處理單元1306經組態以輸出與各別條目相關聯之可聽協助工具資訊(例如，藉由輸出單元1316)。
在一些實施例中，處理單元1306經組態以用清單之第二部分的顯示替換清單之第一部分的顯示(例如，藉由顯示替換單元1314在顯 示單元1302上)，第二部分包括各別條目，其中清單之第二部分相異於清單之第一部分。
在一些實施例中，處理單元1306經組態以用第二清單之至少一部分的顯示替換清單之第一部分的顯示(例如，藉由顯示替換單元1314在顯示單元1302上)，第二清單包括條目清單中之對應於一或多個字元的一或多個各別條目，其中第二清單包括各別條目。
在一些實施例中，處理單元1306經組態以：判定第二清單包括複數個條目(例如，藉由判定單元1310)；及，根據第二清單包括複數個條目之判定，輸出指示第二清單中之條目之數目的可聽協助工具資訊(例如，藉由輸出單元1316)。
在一些實施例中，處理單元1306經組態以在電子裝置1300處於畫面讀取程式協助工具模式時，在偵測觸敏式表面單元1304上對應於一或多個字元的一或多個手勢之序列之前：偵測預定義輸入(例如，藉由偵測單元1308)；及，回應於偵測到預定義輸入，進入畫面讀取程式協助工具模式內的手寫手勢辨識模式(例如，藉由鍵入單元1318)。
根據一些實施例，圖14展示根據如上文所描述之本發明之原理組態的電子裝置1400之功能方塊圖。裝置之功能區塊可藉由硬體、軟體或硬體與軟體之組合來實施以進行本發明的原理。熟習此項技術者應理解，可組合圖14中所描述之功能區塊或將其分離成子區塊以實施如上文所描述之本發明之原理。因此，本文中之描述可支援本文中所描述之功能區塊之任何可能組合或分離或其他定義。
如圖14中所展示，電子裝置1400包括：顯示單元1402，其經組態以在電子裝置1400處於畫面讀取程式協助工具模式時，顯示網頁之至少一部分，該網頁包括複數個使用者介面元素；觸敏式表面單元1404，其經組態以偵測觸敏式表面單元1404上之第一導覽手勢；及處 理單元1406，其耦接至顯示單元1402及觸敏式表面單元1404。在一些實施例中，處理單元1406包括偵測單元1408、導覽單元1410、判定單元1412、改變單元1414、輸出單元1416及鍵入單元1418。
處理單元1406經組態以回應於偵測到觸敏式表面單元1404上之第一導覽手勢，導覽至複數個使用者介面元素中之對應於當前可導覽單元類型的一或多個使用者介面元素之第一集合(例如，藉由導覽單元1410)，其中當前可導覽單元類型經設定為選自複數個預定義可導覽單元類型的第一可導覽單元類型。處理單元1406經組態以偵測觸敏式表面單元1404上對應於各別字元之導覽設定手勢(例如，藉由偵測單元1408)，其中對應於各別字元之導覽設定手勢係單一手指手勢，該單一手指手勢沿著對應於各別字元之各別路徑移動跨越觸敏式表面單元1404。處理單元1406經組態以判定導覽設定手勢是否對應於複數個預定義可導覽單元類型中之第二可導覽單元類型(例如，藉由判定單元1412)；及，回應於判定導覽設定手勢對應於複數個預定義可導覽單元類型中之第二可導覽單元類型：將當前可導覽單元類型自第一可導覽單元類型改變至第二可導覽單元類型(例如，藉由改變單元1414)；及輸出指示已選擇了第二可導覽單元類型之可聽協助工具資訊(例如，藉由輸出單元1416)。處理單元1406經組態以在將當前可導覽單元類型自第一可導覽單元類型改變至第二可導覽單元類型之後，偵測觸敏式表面單元1404上之第二導覽手勢(例如，藉由偵測單元1408)；及，回應於偵測到觸敏式表面單元1404上之第二導覽手勢，導覽至複數個使用者介面元素中之對應於第二可導覽單元類型的一或多個使用者介面元素之第二集合(例如，藉由導覽單元1410)。
在一些實施例中，各別路徑橫越觸敏式表面單元1404上對應於網頁中之複數個使用者介面元素中之一或多個使用者介面元素的一或多個位置，而不啟動該一或多個使用者介面元素。
在一些實施例中，各別路徑呈各別字元之形狀。
在一些實施例中，各別手勢獨立於接觸觸敏式表面單元1404上對應於複數個使用者介面元素中之任一者之位置。
在一些實施例中，複數個預定義可導覽單元類型包括呈循環序列之四個或四個以上可導覽單元類型，使得循環序列中具有第二位置之可導覽單元類型被認為是鄰近於循環序列中具有第一位置之可導覽單元類型，循環序列中具有第三位置之可導覽單元類型被認為是鄰近於循環序列中具有第二位置之可導覽單元類型，且循環序列中具有最後位置之可導覽單元類型被認為是鄰近於循環序列中具有第一位置之可導覽單元類型。第一可導覽單元類型並不鄰近於循環序列中之第二可導覽單元類型。
在一些實施例中，處理單元1406經組態以偵測觸敏式表面單元1404上之第二導覽設定手勢(例如，藉由偵測單元1408)，其中第二導覽設定手勢係多手指手勢，且第二導覽設定手勢獨立於接觸觸敏式表面單元1404上對應於複數個使用者介面元素中的任一者之位置。處理單元1406經組態以回應於偵測到觸敏式表面單元1404上之第二導覽設定手勢：將當前可導覽單元類型自第二可導覽單元類型改變至在複數個可導覽單元類型之序列中鄰近於第二可導覽單元類型的第三可導覽單元類型(例如，藉由改變單元1414)；及輸出關於第三可導覽單元類型之協助工具資訊(例如，藉由輸出單元1416)。
在一些實施例中，處理單元1406經組態以在電子裝置1400處於畫面讀取程式協助工具模式時，在偵測觸敏式表面單元1404上之導覽設定手勢之前：偵測預定義輸入(例如，藉由偵測單元1408)；及，回應於偵測到預定義輸入，進入畫面讀取程式協助工具模式內的手寫手勢辨識模式(例如，藉由鍵入單元1418)。
在一些實施例中，用於第二可導覽單元類型之標籤以各別字元 開始。
根據一些實施例，圖15展示根據如上文所描述之本發明之原理組態的電子裝置1500之功能方塊圖。裝置之功能區塊可藉由硬體、軟體或硬體與軟體之組合來實施以進行本發明的原理。熟習此項技術者應理解，可組合圖15中所描述之功能區塊或將其分離成子區塊以實施如上文所描述之本發明之原理。因此，本文中之描述可支援本文中所描述之功能區塊之任何可能組合或分離或其他定義。
如圖15中所展示，電子裝置1500包括顯示單元1502，顯示單元1502經組態以在電子裝置1500處於畫面讀取程式協助工具模式時，顯示字元輸入區域及鍵盤，鍵盤包括複數個鍵圖示。電子裝置1500亦包括觸敏式表面單元1504，觸敏式表面單元1504經組態以偵測觸敏式表面單元1504上對應於一或多個字元之一或多個手勢的序列，其中一或多個手勢中之對應於各別字元的各別手勢係單一手指手勢，該單一手指手勢沿著對應於各別字元之各別路徑移動跨越觸敏式表面單元1504，且各別路徑橫越觸敏式表面單元1504上對應於複數個鍵圖示中之一或多個鍵圖示之一或多個位置，而不啟動該一或多個鍵圖示。電子裝置進一步包括耦接至顯示單元1502及觸敏式表面單元1504之處理單元1506。在一些實施例中，處理單元1506包括偵測單元1508、鍵入單元1510、輸出單元1512及刪除單元1514。
處理單元1506經組態以回應於偵測到各別手勢，在顯示單元1502之字元輸入區域中鍵入對應各別字元(例如，藉由鍵入單元1510)。
在一些實施例中，各別路徑呈各別字元之形狀。
在一些實施例中，各別手勢獨立於接觸觸敏式表面單元1504上對應於複數個鍵圖示中之與各別字元相關聯的鍵圖示之位置。
在一些實施例中，各別手勢獨立於接觸觸敏式表面單元1504上 對應於複數個鍵圖示中之任一者之位置。
在一些實施例中，處理單元1506經組態以回應於偵測到各別手勢，輸出關於對應各別字元的可聽協助工具資訊(例如，藉由輸出單元1512)。
在一些實施例中，處理單元1506經組態以偵測觸敏式表面單元1504上之第一預定義手指手勢(例如，藉由偵測單元1508)，其中該第一預定義手指手勢橫越觸敏式表面單元1504上對應於複數個鍵圖示中之一或多個鍵圖示之一或多個位置，而不啟動該一或多個鍵圖示。處理單元1506亦經組態以回應於偵測到觸敏式表面單元1504上之第一預定義手指手勢：在字元輸入區域中在游標之當前位置處鍵入空格(例如，藉由鍵入單元1510)，且輸出指示已鍵入了空格之可聽協助工具資訊(例如，藉由輸出單元1512)。
在一些實施例中，第一預定義手指手勢獨立於接觸觸敏式表面單元1504上對應於複數個鍵圖示中之空格鍵圖示之位置。
在一些實施例中，處理單元1506經組態以偵測觸敏式表面單元1504上之第二預定義手指手勢(例如，藉由偵測單元1508)，其中該第二預定義手指手勢橫越觸敏式表面單元1504上對應於複數個鍵圖示中之一或多個鍵圖示之一或多個位置，而不啟動該一或多個鍵圖示。處理單元1506亦經組態以回應於偵測到觸敏式表面單元1504上之第二預定義手指手勢：在字元輸入區域中在游標之當前位置處刪除字元(例如，藉由刪除單元1514)，且輸出指示已刪除了字元之可聽協助工具資訊(例如，藉由輸出單元1512)。
在一些實施例中，第二預定義手指手勢獨立於接觸觸敏式表面單元1504上對應於複數個鍵圖示中之退格鍵圖示之位置。
在一些實施例中，處理單元1506經組態以在電子裝置1500處於畫面讀取程式協助工具模式時，在偵測觸敏式表面單元1504上對應於 一或多個字元的一或多個手勢之序列之前：偵測預定義輸入(例如，藉由偵測單元1508)；及，回應於偵測到預定義輸入，進入畫面讀取程式協助工具模式內的手寫手勢辨識模式(例如，藉由鍵入單元1510)。
可藉由在資訊處理設備(諸如，通用處理器或特殊應用晶片)中執行一或多個功能模組來實施上文所描述之資訊處理方法中的操作。此等模組、此等模組之組合及/或其與通用硬體之組合(例如，如上文關於圖1A及圖3所描述)皆包括於本發明之保護範疇內。
上文參看圖6A至圖6B、圖7A至圖7C、圖8A至圖8B、圖9A至圖9C及圖10A至圖10B所描述之操作可藉由描繪於圖1A至圖1B中的組件來實施。舉例而言，偵測操作606、判定操作620及解鎖操作624可藉由事件排序程式170、事件辨識器180及事件處理常式190來實施。事件排序程式170中之事件監視器171偵測觸敏式顯示器112上之接觸，且事件分派器模組174將事件資訊遞送至應用程式136-1。應用程式136-1之各別事件辨識器180比較事件資訊與各別事件定義186，且判定觸敏式表面上之第一位置處的第一接觸是否對應於預定義事件或子事件(諸如，使用者介面上之物件之選擇)。當偵測到各別預定義事件或子事件時，事件辨識器180啟動與事件或子事件之偵測相關聯的事件處理常式190。事件處理常式190可利用或呼叫資料更新程式176或物件更新程式177以更新應用程式內部狀態192。在一些實施例中，事件處理常式190存取各別GUI更新程式178以更新由應用程式顯示之內容。類似地，一般熟習此項技術者將顯而易見可基於圖1A至圖1B中所描繪之組件實施其他處理程序之方式。
出於解釋之目的，已參考特定實施例描述了前述描述。然而，上文之說明性論述並不意欲為詳盡的，或並不意欲將本發明限於所揭示之精確形式。鑒於以上教示內容，許多修改及變化係可能的。選擇 並描述該等實施例以便最佳地解釋本發明之原理及其實務應用，藉此使得熟習此項技術者能夠最佳地利用本發明及具有如適合於所預期之特定用途之各種修改的各種實施例。
100‧‧‧攜帶型多功能裝置
102‧‧‧記憶體
103‧‧‧通信匯流排/信號線
104‧‧‧晶片
106‧‧‧輸入/輸出(I/O)子系統
108‧‧‧射頻(RF)電路
110‧‧‧音訊電路
111‧‧‧揚聲器
112‧‧‧觸敏式顯示器
113‧‧‧麥克風
116‧‧‧其他輸入或控制裝置
118‧‧‧周邊介面
120‧‧‧處理單元(CPU)
122‧‧‧記憶體控制器
124‧‧‧外部埠
126‧‧‧作業系統
128‧‧‧通信模組/指令集
130‧‧‧接觸/運動模組/指令集
132‧‧‧圖形模組/指令集
134‧‧‧文字輸入模組/指令集
135‧‧‧全球定位系統(GPS)模組/指令集
136‧‧‧應用程式/指令集
137‧‧‧聯繫人模組
138‧‧‧電話模組
139‧‧‧視訊會議模組
140‧‧‧電子郵件用戶端模組
141‧‧‧即時訊息傳遞(IM)模組
142‧‧‧健身支援模組
143‧‧‧相機模組
144‧‧‧影像管理模組
147‧‧‧瀏覽器模組
148‧‧‧行事曆模組
149‧‧‧介面工具集模組
149-1‧‧‧天氣介面工具集
149-2‧‧‧股票介面工具集
149-3‧‧‧計算器介面工具集
149-4‧‧‧鬧鐘介面工具集
149-6‧‧‧使用者建立之介面工具集
150‧‧‧介面工具集建立者模組
151‧‧‧搜尋模組
152‧‧‧視訊及音樂播放器模組
153‧‧‧備忘錄模組
154‧‧‧地圖模組
155‧‧‧線上視訊模組
156‧‧‧顯示控制器
157‧‧‧裝置/全域內部狀態
158‧‧‧光學感測器控制器
159‧‧‧個別設定檔
160‧‧‧輸入控制器
162‧‧‧電力系統
164‧‧‧光學感測器
166‧‧‧近接感測器
168‧‧‧加速度計

Claims (21)

  1. 一種方法，其包含：在具有一顯示器及一觸敏式表面之一電子裝置藉由開啟之一畫面讀取程式協助工具模式而處於一鎖定之密碼保護狀態時：在該顯示器上顯示用於接收一密碼之一密碼畫面，該密碼包括一預定義字元序列，該密碼畫面包括複數個字元圖示；偵測該觸敏式表面上對應於字元之一手勢序列，其中：該手勢序列中之對應於一各別字元的一各別手勢為一單一手指手勢，該單一手指手勢沿著對應於該各別字元之一各別路徑移動跨越該觸敏式表面；判定該所偵測到之手勢序列是否對應於該密碼中之該預定義字元序列；回應於判定該所偵測到之手勢序列對應於該密碼中之該預定義字元序列：解鎖該電子裝置；及維持該電子裝置處於該畫面讀取程式協助工具模式；及，回應於判定該所偵測到之手勢序列不對應於該密碼中之該預定義字元序列：藉由該開啟之畫面讀取程式協助工具模式維持該電子裝置處於該鎖定之密碼保護狀態。
  2. 如請求項1之方法，其中：該各別路徑橫越該觸敏式表面上對應於該複數個字元圖示中之一或多個字元圖示之一或多個位置，而不啟動該一或多個字元圖示。
  3. 如請求項1之方法，其中該各別手勢獨立於接觸該觸敏式表面上對應於該複數個字元圖示中之與該各別字元相關聯的一字元圖示之一位置。
  4. 如請求項1之方法，其包括：回應於判定該所偵測到之手勢序列對應於該密碼中之該預定義字元序列：停止顯示該密碼畫面；及顯示包括複數個應用程式圖示之一應用程式啟動程式畫面。
  5. 如請求項4之方法，其包括：在顯示該密碼畫面的同時，當鍵入一各別字元時，先行輸出與該各別字元相關聯之可聽協助工具資訊；及在該裝置經解鎖且處於該畫面讀取程式協助工具模式時：偵測在該觸敏式表面上在對應於該應用程式啟動程式畫面之一各別應用程式圖示的一位置處的一單一手指手勢；及，回應於偵測到該單一手指手勢，輸出與該各別應用程式圖示相關聯的可聽協助工具資訊。
  6. 如請求項1之方法，其包括：在該電子裝置藉由該開啟之畫面讀取程式協助工具模式而處於該鎖定之密碼保護狀態時，在偵測該觸敏式表面上對應於該密碼中之字元的該手勢序列之前：偵測一預定義輸入；及，回應於偵測到該預定義輸入，進入該畫面讀取程式協助工具模式內之一手寫手勢辨識模式。
  7. 如請求項1之方法，其包括：在該電子裝置藉由該開啟之畫面讀取程式協助工具模式而處 於該鎖定之密碼保護狀態時：偵測該觸敏式表面上在對應於該複數個字元圖示中之一字元圖示的一位置處之一單一手指手勢；及，回應於偵測到該觸敏式表面上在對應於該字元圖示之該位置處之該單一手指手勢：鍵入對應於一所接收密碼中之該字元圖示的一各別字元；及先行輸出與該各別字元相關聯之可聽協助工具資訊。
  8. 一種電子裝置，其包含：一顯示器；一觸敏式表面；一或多個處理器；記憶體；及一或多個程式，其中該一或多個程式儲存於該記憶體中且經組態以由該一或多個處理器執行，該一或多個程式包括用於執行以下操作之指令：在該電子裝置藉由一開啟之畫面讀取程式協助工具模式而處於一鎖定之密碼保護狀態時：在該顯示器上顯示用於接收一密碼之一密碼畫面，該密碼包括一預定義字元序列，該密碼畫面包括複數個字元圖示；偵測該觸敏式表面上對應於字元之一手勢序列，其中：該手勢序列中之對應於一各別字元的一各別手勢為一單一手指手勢，該單一手指手勢沿著對應於該各別字元之一各別路徑移動跨越該觸敏式表面；判定該所偵測到之手勢序列是否對應於該密碼中之該預定義字元序列； 回應於判定該所偵測到之手勢序列對應於該密碼中之該預定義字元序列：解鎖該電子裝置；及維持該電子裝置處於該畫面讀取程式協助工具模式；及，回應於判定該所偵測到之手勢序列不對應於該密碼中之該預定義字元序列：藉由該開啟之畫面讀取程式協助工具模式維持該電子裝置處於該鎖定之密碼保護狀態。
  9. 如請求項8之電子裝置，其中：該各別路徑橫越該觸敏式表面上對應於該複數個字元圖示中之一或多個字元圖示之一或多個位置，而不啟動該一或多個字元圖示。
  10. 如請求項8之電子裝置，其中該各別手勢獨立於接觸該觸敏式表面上對應於該複數個字元圖示中之與該各別字元相關聯的一字元圖示之一位置。
  11. 如請求項8之電子裝置，該一或多個程式包括用於執行以下操作之指令：回應於判定該所偵測到之手勢序列對應於該密碼中之該預定義字元序列：停止顯示該密碼畫面；及顯示包括複數個應用程式圖示之一應用程式啟動程式畫面。
  12. 如請求項11之電子裝置，該一或多個程式包括用於執行以下操作之指令：在顯示該密碼畫面的同時，當鍵入一各別字元時，先行輸出 與該各別字元相關聯之可聽協助工具資訊；及在該裝置經解鎖且處於該畫面讀取程式協助工具模式時：偵測該觸敏式表面上在對應於該應用程式啟動程式畫面之一各別應用程式圖示的一位置處之一單一手指手勢；及，回應於偵測到該單一手指手勢，輸出與該各別應用程式圖示相關聯的可聽協助工具資訊。
  13. 如請求項8之電子裝置，該一或多個程式包括用於執行以下操作之指令：在該電子裝置藉由該開啟之畫面讀取程式協助工具模式而處於該鎖定之密碼保護狀態時，在偵測該觸敏式表面上對應於該密碼中之字元的該手勢序列之前：偵測一預定義輸入；及，回應於偵測到該預定義輸入，進入該畫面讀取程式協助工具模式內之一手寫手勢辨識模式。
  14. 如請求項8之電子裝置，該一或多個程式包括用於執行以下操作之指令：在該電子裝置藉由該開啟之畫面讀取程式協助工具模式而處於該鎖定之密碼保護狀態時：偵測該觸敏式表面上在對應於該複數個字元圖示中之一字元圖示的一位置處之一單一手指手勢；及，回應於偵測到該觸敏式表面上在對應於該字元圖示之該位置處之該單一手指手勢：鍵入對應於一所接收密碼中之該字元圖示的一各別字元；及先行輸出與該各別字元相關聯之可聽協助工具資訊。
  15. 一種儲存有一或多個程式之非暫時性電腦可讀儲存媒體，該一 或多個程式包含指令，該等指令在由具有一顯示器及一觸敏式表面之一電子裝置執行時使得該裝置：在該電子裝置藉由一開啟之畫面讀取程式協助工具模式而處於一鎖定之密碼保護狀態時：在該顯示器上顯示用於接收一密碼之一密碼畫面，該密碼包括一預定義字元序列，該密碼畫面包括複數個字元圖示；偵測該觸敏式表面上對應於字元之一手勢序列，其中：該手勢序列中之對應於一各別字元的一各別手勢為一單一手指手勢，該單一手指手勢沿著對應於該各別字元之一各別路徑移動跨越該觸敏式表面；判定該所偵測到之手勢序列是否對應於該密碼中之該預定義字元序列；回應於判定該所偵測到之手勢序列對應於該密碼中之該預定義字元序列：解鎖該電子裝置；及維持該電子裝置處於該畫面讀取程式協助工具模式；及，回應於判定該所偵測到之手勢序列不對應於該密碼中之該預定義字元序列：藉由該開啟之畫面讀取程式協助工具模式維持該電子裝置處於該鎖定之密碼保護狀態。
  16. 如請求項15之電腦可讀儲存媒體，其中：該各別路徑橫越該觸敏式表面上對應於該複數個字元圖示中之一或多個字元圖示之一或多個位置，而不啟動該一或多個字元圖示。
  17. 如請求項15之電腦可讀儲存媒體，其中該各別手勢獨立於接觸 該觸敏式表面上對應於該複數個字元圖示中之與該各別字元相關聯的一字元圖示之一位置。
  18. 如請求項15之電腦可讀儲存媒體，其包括在由該電子裝置執行時使得該裝置執行以下操作的指令：回應於判定該所偵測到之手勢序列對應於該密碼中之該預定義字元序列：停止顯示該密碼畫面；及顯示包括複數個應用程式圖示之一應用程式啟動程式畫面。
  19. 如請求項18之電腦可讀儲存媒體，其包括在由該電子裝置執行時使得該裝置執行以下操作的指令：在顯示該密碼畫面的同時，當鍵入一各別字元時，先行輸出與該各別字元相關聯之可聽協助工具資訊；及在該裝置經解鎖且處於該畫面讀取程式協助工具模式時：偵測該觸敏式表面上在對應於該應用程式啟動程式畫面之一各別應用程式圖示的一位置處之一單一手指手勢；及，回應於偵測到該單一手指手勢，輸出與該各別應用程式圖示相關聯的可聽協助工具資訊。
  20. 如請求項15之電腦可讀儲存媒體，其包括在由該電子裝置執行時使得該裝置執行以下操作的指令：在該電子裝置藉由該開啟之畫面讀取程式協助工具模式而處於該鎖定之密碼保護狀態時，在偵測該觸敏式表面上對應於該密碼中之字元的該手勢序列之前：偵測一預定義輸入；及，回應於偵測到該預定義輸入，進入該畫面讀取程式協助工具模式內之一手寫手勢辨識模式。
  21. 如請求項15之電腦可讀儲存媒體，其包括在由該電子裝置執行時使得該裝置執行以下操作的指令：在該電子裝置藉由該開啟之畫面讀取程式協助工具模式而處於該鎖定之密碼保護狀態時：偵測該觸敏式表面上在對應於該複數個字元圖示中之一字元圖示的一位置處之一單一手指手勢；及，回應於偵測到該觸敏式表面上在對應於該字元圖示之該位置處之該單一手指手勢：鍵入對應於一所接收密碼中之該字元圖示的一各別字元；及先行輸出與該各別字元相關聯之可聽協助工具資訊。
TW102111570A 2012-03-31 2013-03-29 用於整合手寫手勢之辨識與畫面讀取程式之裝置，方法及圖形使用者介面 TWI462003B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261618760P 2012-03-31 2012-03-31
US13/710,385 US8881269B2 (en) 2012-03-31 2012-12-10 Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader

Publications (2)

Publication Number Publication Date
TW201349078A TW201349078A (zh) 2013-12-01
TWI462003B true TWI462003B (zh) 2014-11-21

Family

ID=49236920

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102111570A TWI462003B (zh) 2012-03-31 2013-03-29 用於整合手寫手勢之辨識與畫面讀取程式之裝置，方法及圖形使用者介面

Country Status (3)

Country Link
US (3) US8881269B2 (zh)
TW (1) TWI462003B (zh)
WO (1) WO2013148526A2 (zh)

Families Citing this family (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8074172B2 (en) 2007-01-05 2011-12-06 Apple Inc. Method, system, and graphical user interface for providing word recommendations
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US8681106B2 (en) 2009-06-07 2014-03-25 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US9395800B2 (en) * 2011-09-30 2016-07-19 Qualcomm Incorporated Enabling instant handwritten input on mobile computing devices
TWI545495B (zh) * 2012-03-07 2016-08-11 群邁通訊股份有限公司 觸摸屏操作系統及方法
US8881269B2 (en) 2012-03-31 2014-11-04 Apple Inc. Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
TWI582682B (zh) * 2012-07-19 2017-05-11 群聯電子股份有限公司 密碼輸入方法、可攜式電子裝置、解鎖方法、資料驗 證方法
US20140046922A1 (en) * 2012-08-08 2014-02-13 Microsoft Corporation Search user interface using outward physical expressions
US20140130116A1 (en) * 2012-11-05 2014-05-08 Microsoft Corporation Symbol gesture controls
KR102013940B1 (ko) * 2012-12-24 2019-10-21 삼성전자주식회사 어플리케이션의 보안성 관리 방법 및 그 전자 장치
EP2954514B1 (en) 2013-02-07 2021-03-31 Apple Inc. Voice trigger for a digital assistant
US9003333B2 (en) * 2013-03-04 2015-04-07 Zynga Inc. Sequential selection of multiple objects
US8943092B2 (en) * 2013-03-04 2015-01-27 Microsoft Corporation Digital ink based contextual search
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
KR102203885B1 (ko) * 2013-04-26 2021-01-15 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
US9898187B2 (en) 2013-06-09 2018-02-20 Apple Inc. Managing real-time handwriting recognition
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR102214974B1 (ko) * 2013-08-29 2021-02-10 삼성전자주식회사 잠금 화면 상에서 필기 형태의 사용자 입력과 관련된 기능을 실행하기 위한 장치 및 방법
USD759044S1 (en) * 2013-12-16 2016-06-14 Tencent Technology (Shenzhen) Company Limited Display screen with animated graphical user interface
GB2522864A (en) * 2014-02-06 2015-08-12 Ibm User authentication using temporal knowledge of dynamic images
US10338793B2 (en) 2014-04-25 2019-07-02 Timothy Isaac FISHER Messaging with drawn graphic input
USD758387S1 (en) * 2014-05-05 2016-06-07 Tencent Technology (Shenzhen) Company Limited Portion of a display screen with animated graphical user interface
TWI509500B (zh) * 2014-05-13 2015-11-21 Wistron Neweb Corp 電子裝置以及應用程式執行方法
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US20150347364A1 (en) * 2014-06-03 2015-12-03 Lenovo (Singapore) Pte. Ltd. Highlighting input area based on user input
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US20160048319A1 (en) * 2014-08-18 2016-02-18 Microsoft Technology Licensing, Llc Gesture-based Access to a Mix View
US10055717B1 (en) 2014-08-22 2018-08-21 Snap Inc. Message processor with application prompts
USD762691S1 (en) * 2014-09-01 2016-08-02 Apple Inc. Display screen or portion thereof with graphical user interface
EP3964931A1 (en) 2014-09-02 2022-03-09 Apple Inc. Semantic framework for variable haptic output
KR102319803B1 (ko) * 2014-11-26 2021-11-01 삼성전자주식회사 전자 장치, 그 동작 방법 및 기록 매체
DE102014224676B4 (de) * 2014-12-02 2022-03-03 Aevi International Gmbh Benutzerschnittstelle und Verfahren zur geschützten Eingabe von Zeichen
TWI515595B (zh) * 2014-12-22 2016-01-01 緯創資通股份有限公司 手持式電子裝置及其密碼輸入方法
US11347316B2 (en) 2015-01-28 2022-05-31 Medtronic, Inc. Systems and methods for mitigating gesture input error
US10613637B2 (en) * 2015-01-28 2020-04-07 Medtronic, Inc. Systems and methods for mitigating gesture input error
CN107209593A (zh) * 2015-02-26 2017-09-26 惠普发展公司， 有限责任合伙企业 用于显示面板的输入设备控制
US10466883B2 (en) 2015-03-02 2019-11-05 Apple Inc. Screenreader user interface
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
USD771670S1 (en) 2015-03-09 2016-11-15 Apple Inc. Display screen or portion thereof with animated graphical user interface
US9472196B1 (en) * 2015-04-22 2016-10-18 Google Inc. Developer voice actions system
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9652125B2 (en) 2015-06-18 2017-05-16 Apple Inc. Device, method, and graphical user interface for navigating media content
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10509476B2 (en) * 2015-07-02 2019-12-17 Verizon Patent And Licensing Inc. Enhanced device authentication using magnetic declination
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9928029B2 (en) 2015-09-08 2018-03-27 Apple Inc. Device, method, and graphical user interface for providing audiovisual feedback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US9990113B2 (en) 2015-09-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for moving a current focus using a touch-sensitive remote control
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US9996254B2 (en) * 2015-09-23 2018-06-12 Samsung Electronics Co., Ltd. Hidden application icons
US9762781B2 (en) 2015-10-30 2017-09-12 Essential Products, Inc. Apparatus and method to maximize the display area of a mobile device by increasing the size of the display without necessarily increasing the size of the phone
US9525764B1 (en) 2015-10-30 2016-12-20 Essential Products, Inc. Co-mold features on a chassis shell of a mobile device
US9736383B2 (en) * 2015-10-30 2017-08-15 Essential Products, Inc. Apparatus and method to maximize the display area of a mobile device
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10719198B2 (en) * 2015-12-02 2020-07-21 Motorola Solutions, Inc. Method for associating a group of applications with a specific shape
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
JP6500830B2 (ja) * 2016-04-27 2019-04-17 京セラドキュメントソリューションズ株式会社 手書き文字入力装置、画像形成装置及び手書き文字入力方法
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670580A1 (en) 2016-06-12 2018-01-02 Apple Inc Wrist-based tactile time feedback for non-sighted users
DK201670737A1 (en) * 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
DK179329B1 (en) 2016-06-12 2018-05-07 Apple Inc Handwriting keyboard for monitors
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
USD822715S1 (en) * 2017-02-23 2018-07-10 Microsoft Corporation Display screen with icons
USD819661S1 (en) 2017-02-23 2018-06-05 Microsoft Corporation Display screen with animated graphical user interface
USD826983S1 (en) * 2017-03-24 2018-08-28 Brother Industries, Ltd. Display screen with a computer icon
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
USD842333S1 (en) 2017-06-04 2019-03-05 Apple Inc. Display screen or portion thereof with graphical user interface
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11922006B2 (en) 2018-06-03 2024-03-05 Apple Inc. Media control for screensavers on an electronic device
EP3798829A4 (en) 2018-06-25 2021-06-16 Huawei Technologies Co., Ltd. DISPLAY METHOD FOR USER INTERFACE OF A TERMINAL DEVICE AND TERMINAL DEVICE
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
TWI677818B (zh) * 2018-11-09 2019-11-21 華碩電腦股份有限公司 電子裝置及其控制方法
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US10996761B2 (en) 2019-06-01 2021-05-04 Apple Inc. User interfaces for non-visual output of time
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11270104B2 (en) 2020-01-13 2022-03-08 Apple Inc. Spatial and temporal sequence-to-sequence modeling for handwriting recognition
AU2021222310A1 (en) * 2020-02-17 2022-09-29 TK&H Holding AS A gesture detection system
US11595509B2 (en) 2020-03-05 2023-02-28 Avaya Management L.P. Telecommunications soft client having a GUI-less operating mode
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
TWI751711B (zh) * 2020-09-17 2022-01-01 元太科技工業股份有限公司 觸控顯示器及其顯示模式的控制方法
US11520687B2 (en) 2020-11-20 2022-12-06 Bank Of America Corporation System and method for automated testing of an accessibility feature of a user device by emulating actions of users
USD979587S1 (en) * 2021-01-18 2023-02-28 Kwai Games Pte. Ltd. Display screen or portion thereof with a graphical user interface
US11663302B1 (en) * 2021-12-22 2023-05-30 Devdan Gershon System and method for quickly accessing a locked electronic device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
EP1942398A1 (en) * 2005-10-21 2008-07-09 Sanyo Electric Co., Ltd. Input device for inputting password or the like and mobile telephone having the input device
US7418137B2 (en) * 2000-11-10 2008-08-26 Microsoft Corporation System and method for accepting disparate types of user input
US20090226091A1 (en) * 2008-03-04 2009-09-10 Apple Inc. Handwriting Recognition Interface On A Device

Family Cites Families (176)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4859100A (en) 1984-07-09 1989-08-22 Minolta Camera Kabushiki Kaisha Keyboard to prevent erroneous simultaneous activation of keys
US4746770A (en) 1987-02-17 1988-05-24 Sensor Frame Incorporated Method and apparatus for isolating and manipulating graphic objects on computer video monitor
JPS63271516A (ja) 1987-04-28 1988-11-09 Nec Corp グラフイツクデイスプレイデ−タ処理方式
US5053758A (en) 1988-02-01 1991-10-01 Sperry Marine Inc. Touchscreen control panel with sliding touch control
JPH01283621A (ja) 1988-05-11 1989-11-15 Mitsubishi Electric Corp 座標入力方式
JPH02244214A (ja) 1989-03-16 1990-09-28 Nec Corp 座標入力装置
JP2811501B2 (ja) 1990-08-30 1998-10-15 インターナショナル・ビジネス・マシーンズ・コーポレーション カーソル移動制御方法及び装置
US5119079A (en) 1990-09-17 1992-06-02 Xerox Corporation Touch screen user interface with expanding touch locations for a reprographic machine
US5347295A (en) 1990-10-31 1994-09-13 Go Corporation Control of a computer through a position-sensed stylus
US5347589A (en) * 1991-10-28 1994-09-13 Meeks Associates, Inc. System and method for displaying handwriting parameters for handwriting verification
US6046722A (en) 1991-12-05 2000-04-04 International Business Machines Corporation Method and system for enabling blind or visually impaired computer users to graphically select displayed elements
US5488204A (en) 1992-06-08 1996-01-30 Synaptics, Incorporated Paintbrush stylus for capacitive touch sensor pad
US5513309A (en) 1993-01-05 1996-04-30 Apple Computer, Inc. Graphic editor user interface for a pointer-based computer system
US5502803A (en) 1993-01-18 1996-03-26 Sharp Kabushiki Kaisha Information processing apparatus having a gesture editing function
DE4340679A1 (de) 1993-11-30 1995-06-01 Detecon Gmbh Sprachmodul für die akustische Wiedergabe von SAPI 3 Messages (Short Message Service) in einer Mobilstation (MS)
JPH07321889A (ja) 1994-05-25 1995-12-08 Hitachi Ltd 移動体通信端末装置
JPH10510639A (ja) * 1994-07-01 1998-10-13 パーム コンピューティング，インコーポレーテッド マルチペンストローク文字セット及び手書文書認識システム
US7181692B2 (en) 1994-07-22 2007-02-20 Siegel Steven H Method for the auditory navigation of text
US6442523B1 (en) 1994-07-22 2002-08-27 Steven H. Siegel Method for the auditory navigation of text
US5574840A (en) 1994-08-29 1996-11-12 Microsoft Corporation Method and system for selecting text utilizing a plurality of text using switchable minimum granularity of selection
JP2760289B2 (ja) 1994-09-14 1998-05-28 日本電気株式会社 視覚障害者向けグラフィカル・ユーザ・インタフェース操作装置
US5618232A (en) 1995-03-23 1997-04-08 Martin; John R. Dual mode gaming device methods and systems
US6496182B1 (en) 1995-06-07 2002-12-17 Microsoft Corporation Method and system for providing touch-sensitive screens for the visually impaired
US5649133A (en) 1995-06-13 1997-07-15 Apple Computer, Inc. Method for collision avoidance for user interface for object with multiple handles
US6384743B1 (en) 1999-06-14 2002-05-07 Wisconsin Alumni Research Foundation Touch screen for the vision-impaired
US6624803B1 (en) 1995-10-20 2003-09-23 Wisconsin Alumni Research Foundation Interface for electronic devices providing improved access for people with disabilities
JPH09146708A (ja) 1995-11-09 1997-06-06 Internatl Business Mach Corp <Ibm> タッチパネルの駆動方法及びタッチ入力方法
IL116103A0 (en) 1995-11-23 1996-01-31 Wireless Links International L Mobile data terminals with text to speech capability
US5761485A (en) 1995-12-01 1998-06-02 Munyan; Daniel E. Personal electronic book system
JPH09190436A (ja) 1996-01-12 1997-07-22 Toshiba Corp 情報処理装置及び範囲指定方法
US6115482A (en) 1996-02-13 2000-09-05 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
US6128007A (en) 1996-07-29 2000-10-03 Motorola, Inc. Method and apparatus for multi-mode handwritten input and hand directed control of a computing device
US6088023A (en) 1996-12-10 2000-07-11 Willow Design, Inc. Integrated pointing and drawing graphics system for computers
US6073036A (en) 1997-04-28 2000-06-06 Nokia Mobile Phones Limited Mobile station with touch input having automatic symbol magnification function
US6075537A (en) 1997-11-20 2000-06-13 International Business Machines Corporation Ease of use interface to hotspots in hypertext document pages in network display stations
US6088027A (en) 1998-01-08 2000-07-11 Macromedia, Inc. Method and apparatus for screen object manipulation
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6211856B1 (en) 1998-04-17 2001-04-03 Sung M. Choi Graphical user interface touch screen with an auto zoom feature
US6246983B1 (en) 1998-08-05 2001-06-12 Matsushita Electric Corporation Of America Text-to-speech e-mail reader with multi-modal reply processor
US7110945B2 (en) 1999-07-16 2006-09-19 Dreamations Llc Interactive book
US6396523B1 (en) 1999-07-29 2002-05-28 Interlink Electronics, Inc. Home entertainment device remote control
US6664989B1 (en) 1999-10-18 2003-12-16 Honeywell International Inc. Methods and apparatus for graphical display interaction
US6446041B1 (en) 1999-10-27 2002-09-03 Microsoft Corporation Method and system for providing audio playback of a multi-source document
US20020046195A1 (en) 1999-11-10 2002-04-18 Neopost Inc. Method and system for providing stamps by kiosk
JP2001147775A (ja) 1999-11-24 2001-05-29 Casio Comput Co Ltd 携帯端末装置及びそのプログラムを記憶した記憶媒体
US6707942B1 (en) * 2000-03-01 2004-03-16 Palm Source, Inc. Method and apparatus for using pressure information for improved computer controlled handwriting recognition, data entry and user authentication
US6765557B1 (en) 2000-04-10 2004-07-20 Interlink Electronics, Inc. Remote control having touch pad to screen mapping
US6897853B2 (en) 2000-11-10 2005-05-24 Microsoft Corp. Highlevel active pen matrix
US6717600B2 (en) 2000-12-15 2004-04-06 International Business Machines Corporation Proximity selection of selectable item in a graphical user interface
US7062437B2 (en) 2001-02-13 2006-06-13 International Business Machines Corporation Audio renderings for expressing non-audio nuances
JP3919210B2 (ja) 2001-02-15 2007-05-23 アルパイン株式会社 音声入力案内方法及び装置
US7194411B2 (en) 2001-02-26 2007-03-20 Benjamin Slotznick Method of displaying web pages to enable user access to text information that the user has difficulty reading
US6834373B2 (en) 2001-04-24 2004-12-21 International Business Machines Corporation System and method for non-visually presenting multi-part information pages using a combination of sonifications and tactile feedback
US8416266B2 (en) 2001-05-03 2013-04-09 Noregin Assetts N.V., L.L.C. Interacting with detail-in-context presentations
US7020841B2 (en) 2001-06-07 2006-03-28 International Business Machines Corporation System and method for generating and presenting multi-modal applications from intent-based markup scripts
US20050134578A1 (en) 2001-07-13 2005-06-23 Universal Electronics Inc. System and methods for interacting with a control environment
US20030020754A1 (en) 2001-07-26 2003-01-30 Berman Charles Leonard Method for improving accessibility of a computer display
US6690365B2 (en) 2001-08-29 2004-02-10 Microsoft Corporation Automatic scrolling
JP3951727B2 (ja) 2002-02-06 2007-08-01 松下電器産業株式会社 情報処理装置
JP2003256911A (ja) 2002-02-27 2003-09-12 Oki Electric Ind Co Ltd 自動サービス装置およびサービス選定方法
GB0206090D0 (en) 2002-03-15 2002-04-24 Koninkl Philips Electronics Nv Previewing documents on a computer system
JP2003316254A (ja) 2002-04-26 2003-11-07 Yazaki Corp 点字処理装置および該点字処理装置の動作制御を行なうための処理プログラムを記録したコンピュータ読み取り可能な記録媒体
CA2393887A1 (en) 2002-07-17 2004-01-17 Idelix Software Inc. Enhancements to user interface for detail-in-context data presentation
CA2406047A1 (en) 2002-09-30 2004-03-30 Ali Solehdin A graphical user interface for digital media and network portals using detail-in-context lenses
WO2004031937A1 (en) 2002-09-30 2004-04-15 Microsoft Corporation System and method for making user interface elements known to an application and user
US7187394B2 (en) 2002-10-04 2007-03-06 International Business Machines Corporation User friendly selection apparatus based on touch screens for visually impaired people
JP3986009B2 (ja) 2002-11-01 2007-10-03 日本放送協会 文字データ修正装置、その方法及びそのプログラム、並びに、字幕の生成方法
US6871149B2 (en) 2002-12-06 2005-03-22 New Transducers Limited Contact sensitive device
US7098896B2 (en) 2003-01-16 2006-08-29 Forword Input Inc. System and method for continuous stroke word-based text input
GB0303888D0 (en) 2003-02-19 2003-03-26 Sec Dep Acting Through Ordnanc Image streaming
JP4454958B2 (ja) 2003-04-30 2010-04-21 株式会社東芝 情報処理装置および機能選択方法
US20060242607A1 (en) 2003-06-13 2006-10-26 University Of Lancaster User interface
JP2005010894A (ja) 2003-06-17 2005-01-13 Oki Electric Ind Co Ltd 情報処理装置、ソフトキーボード表示プログラム及びその方法
US7164410B2 (en) 2003-07-28 2007-01-16 Sig G. Kupka Manipulating an on-screen object using zones surrounding the object
JP3734815B2 (ja) 2003-12-10 2006-01-11 任天堂株式会社 携帯ゲーム装置及びゲームプログラム
US7250938B2 (en) 2004-01-06 2007-07-31 Lenovo (Singapore) Pte. Ltd. System and method for improved user input on personal computing devices
US7559036B1 (en) 2004-03-05 2009-07-07 Trading Technologies International, Inc. System and method for displaying a constant time selection context menu interface
US7176888B2 (en) 2004-03-23 2007-02-13 Fujitsu Limited Selective engagement of motion detection
US8448083B1 (en) 2004-04-16 2013-05-21 Apple Inc. Gesture control of multimedia editing applications
CN103365595B (zh) 2004-07-30 2017-03-01 苹果公司 用于触敏输入设备的手势
EP1774427A2 (en) 2004-07-30 2007-04-18 Apple Computer, Inc. Mode-based graphical user interfaces for touch sensitive input devices
US7637421B1 (en) 2004-09-20 2009-12-29 Diebold Self-Service Systems Division Of Diebold, Incorporated Automated banking machine audible user interface system and method
US8744852B1 (en) 2004-10-01 2014-06-03 Apple Inc. Spoken interfaces
EP1645944B1 (en) 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
JP2006134090A (ja) 2004-11-05 2006-05-25 Matsushita Electric Ind Co Ltd 入力装置
KR100678945B1 (ko) 2004-12-03 2007-02-07 삼성전자주식회사 터치패드 입력 정보 처리 장치 및 방법
US7489306B2 (en) 2004-12-22 2009-02-10 Microsoft Corporation Touch screen accuracy
US7669149B2 (en) * 2004-12-30 2010-02-23 Sap Ag Matching user interface elements to screen reader functions
US20060189278A1 (en) 2005-02-24 2006-08-24 Research In Motion Limited System and method for making an electronic handheld device more accessible to a disabled person
US7631013B2 (en) 2005-04-06 2009-12-08 Sierra Interactive Systems, Inc. System and method for publishing, distributing, and reading electronic interactive books
CN101814005B (zh) 2005-07-22 2013-02-27 运行移动系统公司 最适宜拇指的触摸屏用户界面的系统和方法
US7900158B2 (en) 2005-08-04 2011-03-01 Microsoft Corporation Virtual magnifying glass with intuitive use enhancements
JP4031504B2 (ja) 2005-09-05 2008-01-09 謙太 中村 皮膚の触覚を伴う情報入力装置
US20070152980A1 (en) 2006-01-05 2007-07-05 Kenneth Kocienda Touch Screen Keyboards for Portable Electronic Devices
JP4163713B2 (ja) 2005-12-07 2008-10-08 株式会社東芝 情報処理装置およびタッチパッド制御方法
US20070132789A1 (en) 2005-12-08 2007-06-14 Bas Ording List scrolling in response to moving contact over list of index symbols
US8060821B2 (en) 2005-12-09 2011-11-15 Apple Inc. Enhanced visual feedback of interactions with user interface
US7657849B2 (en) * 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US7603621B2 (en) 2006-01-25 2009-10-13 Microsoft Corporation Computer interface for illiterate and near-illiterate users
US8930834B2 (en) 2006-03-20 2015-01-06 Microsoft Corporation Variable orientation user interface
US20070247422A1 (en) 2006-03-30 2007-10-25 Xuuk, Inc. Interaction techniques for flexible displays
US7792363B2 (en) 2006-03-30 2010-09-07 Benjamin Perkins Foss Use of level detection while capturing and presenting text with optical character recognition
US9395905B2 (en) 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
US8077153B2 (en) 2006-04-19 2011-12-13 Microsoft Corporation Precise selection techniques for multi-touch screens
US9063647B2 (en) 2006-05-12 2015-06-23 Microsoft Technology Licensing, Llc Multi-touch uses, gestures, and implementation
JP2007310496A (ja) 2006-05-16 2007-11-29 Alps Electric Co Ltd タッチ操作入力装置
US20070268317A1 (en) 2006-05-18 2007-11-22 Dan Banay User interface system and method for selectively displaying a portion of a display screen
US8411590B2 (en) 2006-07-27 2013-04-02 Mobitrum Corporation Mesh network remote control device
US20080027726A1 (en) 2006-07-28 2008-01-31 Eric Louis Hansen Text to audio mapping, and animation of the text
US7772965B2 (en) 2006-08-07 2010-08-10 Farhan Fariborz M Remote wellness monitoring system with universally accessible interface
US7571070B2 (en) 2006-08-30 2009-08-04 International Business Machines Corporation Measurement system fleet optimization
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US8564543B2 (en) 2006-09-11 2013-10-22 Apple Inc. Media player with imaged based browsing
WO2008032329A2 (en) 2006-09-13 2008-03-20 Alon Atsmon Providing content responsive to multimedia signals
US7856605B2 (en) 2006-10-26 2010-12-21 Apple Inc. Method, system, and graphical user interface for positioning an insertion marker in a touch screen display
US20080140413A1 (en) 2006-12-07 2008-06-12 Jonathan Travis Millman Synchronization of audio to reading
US7956847B2 (en) 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US20080165148A1 (en) 2007-01-07 2008-07-10 Richard Williamson Portable Electronic Device, Method, and Graphical User Interface for Displaying Inline Multimedia Content
US8689132B2 (en) 2007-01-07 2014-04-01 Apple Inc. Portable electronic device, method, and graphical user interface for displaying electronic documents and lists
US8650505B2 (en) 2007-02-28 2014-02-11 Rpx Corporation Multi-state unified pie user interface
US20080229206A1 (en) 2007-03-14 2008-09-18 Apple Inc. Audibly announcing user interface elements
US8219406B2 (en) 2007-03-15 2012-07-10 Microsoft Corporation Speech-centric multimodal user interface design in mobile technology
JP4468404B2 (ja) 2007-05-02 2010-05-26 キヤノン株式会社 情報処理装置の制御方法、情報処理装置及びプログラム
WO2008151212A1 (en) 2007-06-04 2008-12-11 Nexidia Inc. Speech skills assessment
KR101466872B1 (ko) 2007-06-08 2014-12-01 소니 가부시끼가이샤 정보 처리 장치, 입력 장치, 정보 처리 시스템 및 컴퓨터 판독가능한 기록 매체
US8059101B2 (en) 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
WO2009005150A1 (ja) 2007-07-04 2009-01-08 Sony Corporation 入力装置、制御装置、制御システム、制御方法及びハンドヘルド装置
US20090051671A1 (en) 2007-08-22 2009-02-26 Jason Antony Konstas Recognizing the motion of two or more touches on a touch-sensing surface
JP2009093291A (ja) 2007-10-04 2009-04-30 Toshiba Corp ジェスチャー判定装置及び方法
KR20090056469A (ko) 2007-11-30 2009-06-03 삼성전자주식회사 터치 스크린에서 터치 구동 장치 및 방법
JP4605478B2 (ja) 2007-12-19 2011-01-05 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
US8677285B2 (en) 2008-02-01 2014-03-18 Wimm Labs, Inc. User interface of a small touch sensitive display for an electronic data and communication device
US9092134B2 (en) 2008-02-04 2015-07-28 Nokia Technologies Oy User touch display interface providing an expanded selection area for a user selectable object
TW200937254A (en) 2008-02-29 2009-09-01 Inventec Appliances Corp A method for inputting control commands and a handheld device thereof
JP2009245423A (ja) 2008-03-13 2009-10-22 Panasonic Corp 情報機器およびウインドウ表示方法
US8468469B1 (en) 2008-04-15 2013-06-18 Google Inc. Zooming user interface interactions
US8456380B2 (en) 2008-05-15 2013-06-04 International Business Machines Corporation Processing computer graphics generated by a remote computer for streaming to a client computer
US20090313020A1 (en) 2008-06-12 2009-12-17 Nokia Corporation Text-to-speech user interface control
US8239201B2 (en) 2008-09-13 2012-08-07 At&T Intellectual Property I, L.P. System and method for audibly presenting selected text
US20100073303A1 (en) 2008-09-24 2010-03-25 Compal Electronics, Inc. Method of operating a user interface
KR101075728B1 (ko) 2008-09-25 2011-10-21 엘지전자 주식회사 영상표시장치 및 영상표시장치의 채널정보 표시방법
US8237666B2 (en) 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
JP2010152761A (ja) 2008-12-25 2010-07-08 Sony Corp 入力装置、制御装置、制御システム、電子機器及び制御方法
US8839154B2 (en) 2008-12-31 2014-09-16 Nokia Corporation Enhanced zooming functionality
US8498867B2 (en) 2009-01-15 2013-07-30 K-Nfb Reading Technology, Inc. Systems and methods for selection and use of multiple characters for document narration
US8280434B2 (en) 2009-02-27 2012-10-02 Research In Motion Limited Mobile wireless communications device for hearing and/or speech impaired user
US9927873B2 (en) 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8212788B2 (en) 2009-05-07 2012-07-03 Microsoft Corporation Touch input to modulate changeable parameter
US20100289757A1 (en) 2009-05-14 2010-11-18 Budelli Joey G Scanner with gesture-based text selection capability
US20100295793A1 (en) 2009-05-19 2010-11-25 Sudharshan Srinivasan Two stroke touch panel data entry system
KR101564222B1 (ko) 2009-05-26 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
US8681106B2 (en) 2009-06-07 2014-03-25 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US20120327009A1 (en) 2009-06-07 2012-12-27 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US8171401B2 (en) 2009-06-19 2012-05-01 Microsoft Corporation Resizing an editable area in a web page
US9262063B2 (en) 2009-09-02 2016-02-16 Amazon Technologies, Inc. Touch-screen user interface
US8438500B2 (en) 2009-09-25 2013-05-07 Apple Inc. Device, method, and graphical user interface for manipulation of user interface objects with activation regions
US8381118B2 (en) 2009-10-05 2013-02-19 Sony Ericsson Mobile Communications Ab Methods and devices that resize touch selection zones while selected on a touch sensitive display
US8957918B2 (en) 2009-11-03 2015-02-17 Qualcomm Incorporated Methods for implementing multi-touch gestures on a single-touch touch surface
US9678659B2 (en) 2009-12-31 2017-06-13 Verizon Patent And Licensing Inc. Text entry for a touch screen
US8103554B2 (en) 2010-02-24 2012-01-24 GM Global Technology Operations LLC Method and system for playing an electronic book using an electronics system in a vehicle
US8704783B2 (en) 2010-03-24 2014-04-22 Microsoft Corporation Easy word selection and selection ahead of finger
US20110264452A1 (en) 2010-04-27 2011-10-27 Ramya Venkataramu Audio output of text data using speech control commands
US8707195B2 (en) 2010-06-07 2014-04-22 Apple Inc. Devices, methods, and graphical user interfaces for accessibility via a touch-sensitive surface
US20110298723A1 (en) 2010-06-07 2011-12-08 Christopher Brian Fleizach Devices, Methods, and Graphical User Interfaces for Accessibility via a Touch-Sensitive Surface
US8452600B2 (en) 2010-08-18 2013-05-28 Apple Inc. Assisted reader
US9658732B2 (en) 2010-10-19 2017-05-23 Apple Inc. Changing a virtual workspace based on user interaction with an application window in a user interface
US20120098705A1 (en) 2010-10-22 2012-04-26 Palm, Inc. Use of heuristic data for sending message from mobile computing device
JP5789965B2 (ja) 2010-12-01 2015-10-07 富士通株式会社 画像送信方法、画像送信装置および画像送信プログラム
US9235340B2 (en) 2011-02-18 2016-01-12 Microsoft Technology Licensing, Llc Modal touch input
US8751971B2 (en) 2011-06-05 2014-06-10 Apple Inc. Devices, methods, and graphical user interfaces for providing accessibility using a touch-sensitive surface
US9372978B2 (en) 2012-01-20 2016-06-21 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
US8881269B2 (en) 2012-03-31 2014-11-04 Apple Inc. Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader
US8954890B2 (en) 2012-04-12 2015-02-10 Supercell Oy System, method and graphical user interface for controlling a game

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
US7418137B2 (en) * 2000-11-10 2008-08-26 Microsoft Corporation System and method for accepting disparate types of user input
EP1942398A1 (en) * 2005-10-21 2008-07-09 Sanyo Electric Co., Ltd. Input device for inputting password or the like and mobile telephone having the input device
US20090226091A1 (en) * 2008-03-04 2009-09-10 Apple Inc. Handwriting Recognition Interface On A Device

Also Published As

Publication number Publication date
WO2013148526A3 (en) 2013-12-05
US9633191B2 (en) 2017-04-25
US10013162B2 (en) 2018-07-03
WO2013148526A2 (en) 2013-10-03
US20170185285A1 (en) 2017-06-29
US20150040213A1 (en) 2015-02-05
TW201349078A (zh) 2013-12-01
US20130263251A1 (en) 2013-10-03
US8881269B2 (en) 2014-11-04

Similar Documents

Publication Publication Date Title
TWI462003B (zh) 用於整合手寫手勢之辨識與畫面讀取程式之裝置，方法及圖形使用者介面
US11947792B2 (en) Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input
JP6062548B2 (ja) 文字を入力するためのデバイス、方法、及びグラフィカルユーザインターフェース
TWI468957B (zh) 用於導覽一識別符清單之器件、方法及圖形使用者介面
US8826164B2 (en) Device, method, and graphical user interface for creating a new folder
US8621379B2 (en) Device, method, and graphical user interface for creating and using duplicate virtual keys
US8707195B2 (en) Devices, methods, and graphical user interfaces for accessibility via a touch-sensitive surface
KR102362589B1 (ko) 동시 오픈 소프트웨어 애플리케이션들을 관리하는 제스처 기반 그래픽 사용자 인터페이스
US8842082B2 (en) Device, method, and graphical user interface for navigating and annotating an electronic document
US9244606B2 (en) Device, method, and graphical user interface for navigation of concurrently open software applications
US20110242138A1 (en) Device, Method, and Graphical User Interface with Concurrent Virtual Keyboards
TWI448956B (zh) 用於條件啟動或停用軟式按鈕之裝置及方法
EP2610722A2 (en) Device, method and graphical user interface for configuring restricted interaction with a user interface
US20140006994A1 (en) Device, Method, and Graphical User Interface for Displaying a Virtual Keyboard
US20120240074A1 (en) Device, Method, and Graphical User Interface for Navigating Between Document Sections
US20110298723A1 (en) Devices, Methods, and Graphical User Interfaces for Accessibility via a Touch-Sensitive Surface
US20170357568A1 (en) Device, Method, and Graphical User Interface for Debugging Accessibility Information of an Application
US20180373409A1 (en) Device, Method, and Graphical User Interface for Managing Data Stored on a Device
WO2012088474A2 (en) Device, method, and graphical user interface for switching between two user interfaces
US11275499B2 (en) Device, method, and graphical user interface for changing a number of columns of an application region