TWI653545B - 用於即時手寫辨識之方法、系統及非暫時性電腦可讀媒體 - Google Patents

用於即時手寫辨識之方法、系統及非暫時性電腦可讀媒體 Download PDF

Info

Publication number
TWI653545B
TWI653545B TW103119279A TW103119279A TWI653545B TW I653545 B TWI653545 B TW I653545B TW 103119279 A TW103119279 A TW 103119279A TW 103119279 A TW103119279 A TW 103119279A TW I653545 B TWI653545 B TW I653545B
Authority
TW
Taiwan
Prior art keywords
handwriting
handwritten
user
input
strokes
Prior art date
Application number
TW103119279A
Other languages
English (en)
Other versions
TW201510775A (zh
Inventor
亞內斯Ｇ 多爾芬
杰后玫Ｒ 巴雷格達
尤里 米爾
萊恩Ｓ 迪克森
Original Assignee
美商蘋果公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商蘋果公司 filed Critical 美商蘋果公司
Publication of TW201510775A publication Critical patent/TW201510775A/zh
Application granted granted Critical
Publication of TWI653545B publication Critical patent/TWI653545B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/018—Input/output arrangements for oriental characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明揭示關於用於在一使用者裝置上提供手寫輸入功能性之技術的方法、系統及電腦可讀媒體。一手寫辨識模組經訓練以具有一字集，該字集包含多個非重疊筆跡且能夠使用一單一手寫辨識模型來辨識數萬個字元。該手寫輸入模組提供針對多字元手寫輸入的即時、與筆劃次序及筆劃方向獨立之手寫辨識。詳言之，提供即時、與筆劃次序及筆劃方向獨立之手寫辨識用於多字元或句子層級中文手寫辨識。亦揭示用於提供該手寫輸入功能性之使用者介面。

Description

用於即時手寫辨識之方法、系統及非暫時性電腦可讀媒體 相關申請案
本申請案主張2013年6月9日申請之美國專利臨時申請案第61/832,934號之優先權，該案之全文以引用之方式併入。
本說明書係關於在運算裝置上提供手寫輸入功能性，且更具體而言，係關於在運算裝置上提供即時、多筆跡、與筆劃次序獨立之手寫辨識及輸入功能性。
手寫輸入方法為用於配備有觸敏式表面(例如，觸敏式顯示幕或觸控板)之運算裝置的重要替代性輸入方法。許多使用者，特別是一些亞洲或阿拉伯國家中之使用者，習慣於以草書體樣式書寫，且與在鍵盤上進行鍵打相比可能對於以普通書法書寫感到舒適。
對於某些語標書寫系統，諸如漢字及日語漢字(亦被稱作中文字元)，儘管替代性字節輸入方法(例如，拼音或假名)可用於鍵入對應語標書寫系統之字元，但此等字節輸入方法在使用者並不知曉如何用語音拼寫語標字元且使用語標字元之不正確語音拼寫時為不適當的。因此，能夠在運算裝置上使用手寫輸入對於不能足夠良好地或根本不能對相關語標書寫系統的文字發音的使用者變得至關緊要。
儘管手寫輸入功能性在世界之某些區中已獲得一定風行性，但 仍需要改良。詳言之，人類手寫為高度可變的(例如，在筆劃次序、大小、書寫樣式等方面)，且高品質手寫辨識軟體為複雜的，且需要廣泛訓練。因此，在具有有限記憶體及運算資源之行動裝置上提供有效、即時之手寫辨識已變成挑戰。
此外，在現今多文化世界中，許多國家中之使用者為操多語言的，且可能頻繁地需要以一種以上筆跡書寫(例如，以中文書寫之提及呈英語之電影標題的訊息)。然而，在書寫期間手動地切換辨識系統至所要筆跡或語言為繁冗且低效的。此外，習知多筆跡手寫辨識技術之效用嚴重受限，此係因為提高裝置之辨識能力至同時處置多個筆跡使辨識系統之複雜性及對電腦資源的需求大大增加。
此外，習知手寫技術很大程度上依賴於語言或筆跡特定特性以達成辨識準確性。此等特性並非可易於用於其他語言或筆跡。因此，添加用於新語言或筆跡之手寫輸入能力為軟體及裝置之供應商承擔起來並不輕鬆的使人畏縮之任務。結果，許多語言之使用者喪失用於其電子裝置的重要替代性輸入方法。
用於提供手寫輸入之習知使用者介面包括用於接受來自使用者之手寫輸入的區域及用於顯示手寫辨識結果的區域。在具有小型外觀尺寸之攜帶型裝置上，仍需要使用者介面之顯著改良以大體上改良效率、準確性及使用者體驗。
本說明書描述用於使用通用辨識器來提供多筆跡手寫辨識的技術。使用呈不同語言及筆跡之字元的書寫樣本之大型多筆跡語料庫來訓練通用辨識器。通用辨識器之訓練為獨立於語言、獨立於筆跡、獨立於筆劃次序且獨立於筆劃方向。因此，同一辨識器能夠辨識混合式語言、混合式筆跡手寫輸入而不需要在使用期間在輸入語言之間的手動切換。此外，通用辨識器足夠輕量以作為獨立模組部署於行動裝置 上，以啟用呈用於不同世界性區中之不同語言及筆跡的手寫輸入。
此外，因為通用辨識器係經受關於獨立於筆劃次序且獨立於筆劃方向的空間導出特徵之訓練且不需要在筆劃層級的時間或順序資訊，所以通用辨識器提供優於習知基於時間之辨識方法(例如，基於隱式馬爾可夫方法(HMM)的辨識方法)的眾多額外特徵及優點。舉例而言，准許使用者以任何次序鍵入一或多個字元、片語及句子的筆劃且仍獲得相同辨識結果。因此，無序多字元輸入及較早鍵入字元之無序校正(例如，添加或重寫)現係可能的。
此外，通用辨識器用於即時手寫辨識，其中每一筆劃之時間資訊可用，且視需要用以在由通用辨識器執行字元辨識之前使手寫輸入消除歧義或進行分段。本文中所描述之即時、與筆劃次序獨立之辨識不同於習知離線辨識方法(例如，光學字元辨識(OCR))，且相較於習知離線辨識方法可給予更好效能。此外，本文中所描述之通用辨識器能夠於不在辨識系統中顯式地嵌入具有不同變化(例如，速度、節拍、筆劃次序、筆劃方向、筆劃連續性等的變化)的可區別特徵的情況下處置個人書寫習慣上之高變化性(例如，速度、節拍、筆劃次序、筆劃方向、筆劃連續性等的變化性)，藉此降低辨識系統的總體複雜性。
如本文中所描述，在一些實施例中，時間導出筆劃分佈資訊視需要被重新引入至通用辨識器中，以增強辨識準確性且在同一輸入影像之類似外觀辨識輸出之間消除歧義。時間導出筆劃分佈資訊之重新引入並不破壞通用辨識器的筆劃次序及筆劃方向獨立性，此係因為時間導出特徵及空間導出特徵係經由單獨訓練程序獲得，且僅在已完成單獨訓練之後在手寫辨識模型中進行組合。此外，時間導出筆劃分佈資訊經仔細設計，使得其捕獲類似外觀字元之可區別時間特性，而不依賴於關於類似外觀字元之筆劃次序上之差異的顯式知識。
本文中亦描述用於提供手寫輸入功能性之使用者介面。
在一些實施例中，一種提供多筆跡手寫辨識之方法包括：基於多筆跡訓練語料庫之空間導出特徵來訓練多筆跡手寫辨識模型，該多筆跡訓練語料庫包括對應於至少三個非重疊筆跡之字元的各別手寫樣本；及使用多筆跡手寫辨識模型來提供使用者之手寫輸入的即時手寫辨識，該多筆跡手寫辨識模型已經受關於多筆跡訓練語料庫的空間導出特徵之訓練。
在一些實施例中，一種提供多筆跡手寫辨識之方法包括：接收多筆跡手寫辨識模型，該多筆跡辨識模型已經受關於多筆跡訓練語料庫的空間導出特徵之訓練，該多筆跡訓練語料庫包括對應於至少三個非重疊筆跡之字元的各別手寫樣本；自使用者接收手寫輸入，該手寫輸入包含提供於耦接至使用者裝置之觸敏式表面上的一或多個手寫筆劃；及回應於接收到手寫輸入，基於多筆跡手寫辨識模型即時地提供一或多個手寫辨識結果至使用者，該多筆跡手寫辨識模型已經受關於多筆跡訓練語料庫的空間導出特徵之訓練。
在一些實施例中，一種提供即時手寫辨識之方法包括：自使用者接收複數個手寫筆劃，該複數個手寫筆劃對應於手寫字元；基於該複數個手寫筆劃產生輸入影像；提供輸入影像至手寫辨識模型以執行手寫字元的即時辨識，其中手寫辨識模型提供與筆劃次序獨立的手寫辨識；及在接收複數個手寫筆劃時即時地顯示等同之第一輸出字元而無關於自使用者接收到複數個手寫筆劃的各別次序。
在一些實施例中，該方法進一步包括：自使用者接收第二複數個手寫筆劃，該第二複數個手寫筆劃對應於第二手寫字元；基於第二複數個手寫筆劃產生第二輸入影像；提供第二輸入影像至手寫辨識模型以執行第二手寫字元的即時辨識；及在接收第二複數個手寫筆劃時即時地顯示對應於第二複數個手寫筆劃的第二輸出字元，其中第一輸 出字元與第二輸出字元以空間順序同時顯示，該空間順序獨立於由使用者提供第一複數個手寫輸入及第二複數個手寫輸入的各別次序。
在一些實施例中，第二複數個手寫筆劃沿著使用者裝置之手寫輸入介面的預設書寫方向在空間上跟隨第一複數個手寫筆劃，且第二輸出字元沿著預設書寫方向在空間順序上跟隨第一輸出字元，且該方法進一步包括：自使用者接收第三手寫筆劃以修訂手寫字元，該第三手寫筆劃在時間上係在第一及第二複數個手寫筆劃之後接收；回應於接收到第三手寫筆劃，基於第三手寫筆劃至第一複數個手寫筆劃之相對近接將手寫筆劃指派至與第一複數個手寫筆劃相同的辨識單元；基於第一複數個手寫筆劃及第三手寫筆劃產生經修訂輸入影像；提供經修訂輸入影像至手寫辨識模型以執行經修訂手寫字元的即時辨識；及回應於接收到第三手寫輸入而顯示對應於經修訂輸入影像的第三輸出字元，其中第三輸出字元替換第一輸出字元，且沿著預設書寫方向在空間順序上與第二輸出字元同時顯示。
在一些實施例中，該方法進一步包括：在第三輸出字元及第二輸出字元作為辨識結果顯示於手寫輸入介面的候選項顯示區域中之同時，自使用者接收刪除輸入；及回應於刪除輸入，自辨識結果刪除第二輸出字元，同時將第三輸出字元維持於辨識結果中。
在一些實施例中，隨著該等手寫筆劃中之每一者由使用者提供，於手寫輸入介面的手寫輸入區域中即時地顯現第一複數個手寫筆劃、第二複數個手寫筆劃及第三手寫筆劃；及回應於接收到刪除輸入，自手寫輸入區域刪除第二複數個手寫筆劃的各別顯現，同時維持第一複數個手寫筆劃及第三手寫筆劃於手寫輸入區域中的各別顯現。
在一些實施例中，一種提供即時手寫辨識之方法包括：自使用者接收手寫輸入，該手寫輸入包含提供於手寫輸入介面之手寫輸入區域中的一或多個手寫筆劃；基於手寫辨識模型，識別手寫輸入的複數 個輸出字元；基於預定歸類準則將複數個輸出字元劃分成兩個或兩個以上種類；在手寫輸入介面之候選項顯示區域的初始視圖中顯示呈兩個或兩個以上種類中之第一種類的各別輸出字元，其中候選項顯示區域之初始視圖同時具備用於調用候選項顯示區域之延伸視圖的可視線索；接收選擇用於調用延伸視圖的可視線索的使用者輸入；及回應於使用者輸入，在候選項顯示區域之延伸視圖中顯示第一種類之各別輸出字元及呈兩個或兩個以上種類中之至少一第二種類的各別輸出字元，該等輸出字元先前未顯示於候選項顯示區域的初始視圖中。
在一些實施例中，一種提供即時手寫辨識之方法包括：自使用者接收手寫輸入，該手寫輸入包含提供於手寫輸入介面之手寫輸入區域中的複數個手寫筆劃；基於手寫辨識模型自手寫輸入辨識複數個輸出字元，輸出字元包括至少一第一emoji字元，及來自自然人類語言之筆跡的至少一第一字元；及在手寫輸入介面之候選項顯示區域中顯示辨識結果，該辨識結果包含第一emoji字元及來自自然人類語言之筆跡的第一字元。
在一些實施例中，一種提供手寫辨識之方法包括：自使用者接收手寫輸入，該手寫輸入包含提供於耦接至裝置之觸敏式表面中的複數個手寫筆劃；在手寫輸入介面之手寫輸入區域中即時地顯現複數個手寫筆劃；接收在複數個手寫筆劃上的捏合示意動作輸入及展開示意動作輸入中的一者；在接收到捏合示意動作輸入之後，藉由將複數個手寫筆劃視為單一辨識單元而基於複數個手寫筆劃產生第一辨識結果；在接收到展開示意動作輸入之後，藉由將複數個手寫筆劃視為藉由展開示意動作輸入拉開之兩個單獨辨識單元而基於複數個手寫筆劃產生第二辨識結果；及在產生了第一及第二辨識結果中之一個別者之後，於手寫輸入介面之候選項顯示區域中顯示所產生辨識結果。
在一些實施例中，一種提供手寫辨識之方法包括：自使用者接 收手寫輸入，該手寫輸入包含提供於手寫輸入介面之手寫輸入區域中的複數個手寫筆劃；自複數個手寫筆劃識別複數個辨識單元，每一辨識單元包括複數個手寫筆劃的各別子集；產生包含自複數個辨識單元辨識出之各別字元的多字元辨識結果；於手寫輸入介面的候選項顯示區域中顯示多字元辨識結果；在多字元辨識結果顯示於候選項顯示區域中之同時，自使用者接收刪除輸入；及回應於接收到刪除輸入，自顯示於候選項顯示區域中之多字元辨識結果移除末端字元。
在一些實施例中，一種提供即時手寫辨識之方法包括：判定裝置之定向；根據裝置處於第一定向而以水平輸入模式在裝置上提供手寫輸入介面，其中在水平輸入模式中鍵入之各別行手寫輸入沿著水平書寫方向被分段成一或多個各別辨識單元；根據裝置處於第二定向而以垂直輸入模式在裝置上提供手寫輸入介面，其中於垂直輸入模式鍵入之各別行之手寫輸入沿著垂直書寫方向分段成一或多個各別辨識單元。
在一些實施例中，一種提供即時手寫辨識之方法包括：自使用者接收手寫輸入，該手寫輸入包含提供於耦接至裝置之觸敏式表面上的複數個手寫筆劃；在手寫輸入介面之手寫輸入區域中顯現複數個手寫筆劃；將複數個手寫筆劃分段成兩個或兩個以上辨識單元，每一辨識單元包含複數個手寫筆劃的各別子集；自使用者接收編輯請求；回應於編輯請求，視覺上區別手寫輸入區域中的兩個或兩個以上辨識單元；及提供用於自手寫輸入區域個別地刪除兩個或兩個以上辨識單元中之每一者的構件。
在一些實施例中，一種提供即時手寫辨識之方法包括：自使用者接收第一手寫輸入，該第一手寫輸入包含複數個手寫筆劃，且該複數個手寫筆劃形成沿著與手寫輸入介面之手寫輸入區域相關聯之各別書寫方向分佈的多個辨識單元；隨著手寫筆劃藉由使用者提供而在手 寫輸入區域中顯現複數個手寫筆劃中之每一者；在辨識單元完全顯現之後開始針對多個辨識單元中之每一者的各別漸淡程序，其中在各別漸淡程序期間，在第一手寫輸入中的辨識單元之顯現變得愈加漸淡；在手寫輸入區域之由多個辨識單元之經漸淡辨識單元佔用的區上接收來自使用者的第二手寫輸入；及回應於接收到第二手寫輸入：在手寫輸入區域中顯現第二手寫輸入，及自手寫輸入區域清除所有經漸淡辨識單元。
在一些實施例中，一種提供手寫辨識之方法包括：單獨地訓練一手寫辨識模型的一空間導出特徵集合及一時間導出特徵集合，其中：空間導出特徵集合經受關於訓練影像之語料庫之訓練，每一影像各自為輸出字元集合之各別字元之手寫樣本的影像，且時間導出特徵集合經受關於筆劃分佈型態之語料庫之訓練，每一筆劃分佈型態在數值上特徵化輸出字元集合之各別字元之手寫樣本中的複數個筆劃之空間分佈；及在手寫辨識模型中組合空間導出特徵集合及時間導出特徵集合；及使用手寫辨識模型提供對使用者之手寫輸入的即時手寫辨識。
本說明書中所描述之標的物之一或多項實施例的細節在以下隨附圖式及描述中進行闡述。標的物之其他特徵、態樣及優點自該描述、圖式及申請專利範圍將變得顯而易見。
100‧‧‧攜帶型多功能裝置
102‧‧‧記憶體
103‧‧‧通信匯流排或信號線
104‧‧‧晶片
106‧‧‧輸入/輸出(I/O)子系統
108‧‧‧RF電路
110‧‧‧音訊電路
111‧‧‧揚聲器
112‧‧‧觸敏式顯示器
113‧‧‧麥克風
116‧‧‧其他輸入或控制裝置
118‧‧‧周邊設備介面
120‧‧‧處理單元(CPU)
122‧‧‧記憶體控制器
124‧‧‧外部埠
126‧‧‧作業系統
128‧‧‧通信模組(或指令集)
130‧‧‧接觸/運動模組(或指令集)
132‧‧‧圖形模組(或指令集)
134‧‧‧文字輸入模組(或指令集)
135‧‧‧全球定位系統(GPS)模組(或指令集)
136‧‧‧應用程式(或指令集)
137‧‧‧連絡人模組
138‧‧‧電話模組
139‧‧‧視訊會議模組
140‧‧‧電子郵件模組
141‧‧‧即時傳訊(IM)模組
142‧‧‧健身支援模組
143‧‧‧用於靜態及/或視訊影像的攝影機模組
144‧‧‧影像管理模組
147‧‧‧瀏覽器模組
148‧‧‧行事曆模組
149‧‧‧介面工具集模組
149-1‧‧‧天氣介面工具集
149-2‧‧‧股票介面工具集
149-3‧‧‧計算器介面工具集
149-4‧‧‧鬧鈴介面工具集
149-5‧‧‧辭典介面工具集
149-6‧‧‧使用者建立的介面工具集
150‧‧‧介面工具集建立器模組
151‧‧‧搜尋模組
152‧‧‧視訊及音樂播放器模組
153‧‧‧備忘錄模組
154‧‧‧地圖模組
155‧‧‧線上視訊模組
156‧‧‧顯示控制器
157‧‧‧手寫輸入模組
158‧‧‧光學感測器控制器
160‧‧‧輸入控制器
162‧‧‧電力系統
164‧‧‧光學感測器
166‧‧‧近接感測器
168‧‧‧加速度計
200‧‧‧使用者介面(UI)
202‧‧‧手指
203‧‧‧手寫筆
204‧‧‧功能表按鈕
206‧‧‧推按鍵
208‧‧‧音量調整按鈕
210‧‧‧訂戶識別模組(SIM)卡槽
212‧‧‧耳機插孔
300‧‧‧裝置
310‧‧‧處理單元(CPU)
320‧‧‧通信匯流排
330‧‧‧輸入/輸出(I/O)介面
340‧‧‧顯示器
350‧‧‧鍵盤及/或滑鼠
355‧‧‧觸控板
360‧‧‧網路或其他通信介面
370‧‧‧記憶體
380‧‧‧繪圖模組
382‧‧‧呈現模組
384‧‧‧文書處理模組
386‧‧‧網站建立模組
388‧‧‧碟片創作模組
390‧‧‧試算表模組
450‧‧‧顯示器
451‧‧‧觸敏式表面
452‧‧‧主軸
453‧‧‧主軸
460‧‧‧接觸
462‧‧‧接觸
500‧‧‧I/O介面模組
502‧‧‧輸入處理模組
504‧‧‧手寫辨識模組
506‧‧‧結果產生模組
508‧‧‧分段模組
510‧‧‧正規化模組
512‧‧‧字根叢集模組
514‧‧‧語言模型
516‧‧‧手寫筆劃
518‧‧‧即時顯現/顯示器
520‧‧‧分段格
522‧‧‧第一辨識單元
524‧‧‧辨識單元
526‧‧‧第二辨識單元
528‧‧‧輸入影像
530‧‧‧候選項格
532‧‧‧圓弧
534‧‧‧圓弧
536‧‧‧圓弧
538‧‧‧圓弧
540‧‧‧圓弧
542‧‧‧經修訂候選項格
544‧‧‧字元序列
546‧‧‧字元序列
548‧‧‧經排名辨識結果
602‧‧‧迴旋神經網路
604‧‧‧多筆跡訓練語料庫
606‧‧‧輸入平面
608‧‧‧輸出平面
610a‧‧‧第一迴旋層
610n‧‧‧最後迴旋層
612a‧‧‧第一子取樣層
612n‧‧‧最後子取樣層
614‧‧‧輸入影像/隱藏層
616a‧‧‧第一核心層
616n‧‧‧最後核心層
618‧‧‧新書寫樣本
700‧‧‧程序
802‧‧‧手寫輸入介面
804‧‧‧手寫輸入區域
806‧‧‧候選項顯示區域
808‧‧‧文字輸入區域
810‧‧‧辨識結果
812‧‧‧辨識結果
813‧‧‧游標
814‧‧‧接觸
900‧‧‧程序
1000‧‧‧程序
1102‧‧‧控制元件
1104‧‧‧可視線索
1106‧‧‧筆劃
1108‧‧‧筆劃
1110‧‧‧筆劃
1112‧‧‧辨識結果
1114‧‧‧辨識結果
1116‧‧‧辨識結果
1118‧‧‧框/辨識結果/候選字元/第一代表性字元
1120‧‧‧辨識結果/候選字元
1122‧‧‧辨識結果/候選字元
1124‧‧‧辨識結果/候選字元
1126‧‧‧接觸
1128‧‧‧延伸候選項顯示區域
1130‧‧‧第一索引標籤式頁面
1132‧‧‧索引標籤式頁面
1134‧‧‧索引標籤式頁面
1136‧‧‧索引標籤式頁面
1138‧‧‧索引標籤式頁面
1140‧‧‧索引標籤式頁面
1142‧‧‧放大框
1144‧‧‧放大框
1146‧‧‧放大框
1200‧‧‧程序
1302‧‧‧對話面板
1304‧‧‧聊天訊息
1306‧‧‧手寫輸入
1308‧‧‧辨識結果/最高排名辨識結果
1310‧‧‧辨識結果
1312‧‧‧辨識結果
1314‧‧‧框
1316‧‧‧筆劃
1318‧‧‧第一辨識結果
1320‧‧‧第三辨識結果
1322‧‧‧第二辨識結果
1324‧‧‧額外手寫筆劃
1326‧‧‧經更新候選辨識結果
1330‧‧‧經更新候選辨識結果
1332‧‧‧訊息泡泡
1400‧‧‧程序
1502‧‧‧手寫筆劃
1504‧‧‧候選字元
1506‧‧‧候選字元
1508‧‧‧候選字元
1510‧‧‧額外筆劃
1512‧‧‧辨識結果
1514‧‧‧辨識結果
1516‧‧‧辨識結果
1518‧‧‧辨識結果
1520‧‧‧接觸
1522‧‧‧接觸
1524‧‧‧新候選字元
1526‧‧‧新候選字元
1528‧‧‧新候選字元
1530‧‧‧筆劃
1532‧‧‧辨識結果
1534‧‧‧辨識結果
1536‧‧‧筆劃
1538‧‧‧經修訂辨識結果
1540‧‧‧經修訂辨識結果
1542‧‧‧接觸
1544‧‧‧接觸
1546‧‧‧新辨識結果
1548‧‧‧新辨識結果
1550‧‧‧接觸
1600‧‧‧程序
1702‧‧‧手寫筆劃
1704‧‧‧結果
1706‧‧‧結果
1708‧‧‧結果
1710‧‧‧額外複數個筆劃
1712‧‧‧新辨識結果/部分辨識結果
1714‧‧‧新辨識結果
1716‧‧‧新辨識結果
1718‧‧‧額外手寫筆劃
1720‧‧‧新辨識結果/第一辨識結果
1722‧‧‧新辨識結果
1724‧‧‧新辨識結果
1726‧‧‧新筆劃
1728‧‧‧正確辨識結果
1730‧‧‧輕接觸
1732‧‧‧刪除按鈕
1734‧‧‧邊界/框
1736‧‧‧框
1738‧‧‧結果
1740‧‧‧接觸
1800‧‧‧程序
1902‧‧‧當前手寫輸入
1904‧‧‧辨識結果
1906‧‧‧部分辨識結果
1908‧‧‧專用輸入模式選擇可視線索
1910‧‧‧文字輸入
1912‧‧‧游標
1914‧‧‧新筆劃
1916‧‧‧辨識結果
1918‧‧‧辨識結果
1920‧‧‧手寫輸入
1922‧‧‧辨識結果
1924‧‧‧結果
2000‧‧‧程序
2102‧‧‧筆劃
2104‧‧‧筆劃
2106‧‧‧筆劃
2108‧‧‧辨識結果/框
2110‧‧‧辨識結果/框
2112‧‧‧辨識結果/可視線索
2114‧‧‧接觸
2116‧‧‧小刪除按鈕
2118‧‧‧小刪除按鈕
2120‧‧‧接觸/新辨識結果
2122‧‧‧新手寫筆劃
2124‧‧‧結果
2126‧‧‧結果
2128‧‧‧接觸
2200‧‧‧程序
2302‧‧‧手寫筆劃
2304‧‧‧手寫筆劃
2306‧‧‧手寫筆劃
2308‧‧‧接觸
2310‧‧‧刪除按鈕
2312‧‧‧筆劃
2314‧‧‧結果
2316‧‧‧筆劃
2318‧‧‧新筆劃
2320‧‧‧頂部辨識結果
2400‧‧‧程序
2500‧‧‧程序
2602‧‧‧迴旋網路
2604‧‧‧訓練語料庫
2606‧‧‧輸入層
2608‧‧‧輸出層
2610a‧‧‧第一迴旋層
2610n‧‧‧最後迴旋層
2612‧‧‧子取樣層
2614‧‧‧隱藏層/輸入影像
2616‧‧‧核心層
2620‧‧‧筆劃分佈型態
2622‧‧‧訓練語料庫
2624‧‧‧統計模型化程序
2626‧‧‧特徵向量
2628‧‧‧特徵向量
圖1為說明根據一些實施例之具有觸敏式顯示器之攜帶型多功能裝置的方塊圖。
圖2說明根據一些實施例之具有觸敏式顯示器的攜帶型多功能裝置。
圖3為根據一些實施例之具有顯示器及觸敏式表面之例示性多功能裝置的方塊圖。
圖4說明根據一些實施例之具有與顯示器分離之觸敏式表面的多功能裝置之例示性使用者介面。
圖5為根據一些實施例之手寫輸入系統之操作環境的方塊圖。
圖6為根據一些實施例之多筆跡手寫辨識模型的方塊圖。
圖7為根據一些實施例的用於訓練多筆跡手寫辨識模型之例示性程序的流程圖。
圖8A至圖8B展示根據一些實施例的展示攜帶型多功能裝置上之即時、多筆跡手寫辨識及輸入的例示性使用者介面。
圖9A至圖9B為用於在攜帶型多功能裝置上提供即時、多筆跡手寫辨識及輸入之例示性程序的流程圖。
圖10A至圖10C為根據一些實施例的用於在攜帶型多功能裝置上提供即時、與筆劃次序獨立之手寫辨識及輸入的例示性程序之流程圖。
圖11A至圖11K展示根據一些實施例的用於在候選項顯示區域之標準視圖中選擇性地顯示一個種類之辨識結果且在候選項顯示區域之延伸視圖中顯示其他種類之辨識結果的例示性使用者介面。
圖12A至圖12B為根據一些實施例的用於在候選項顯示區域之標準視圖中顯示一個種類之辨識結果且在候選項顯示區域之延伸視圖中顯示其他種類之辨識結果的例示性程序之流程圖。
圖13A至圖13E展示根據一些實施例之用於經由手寫輸入鍵入emoji字元的例示性使用者介面。
圖14為根據一些實施例的用於經由手寫輸入鍵入emoji字元之例示性程序的流程圖。
圖15A至圖15K展示根據一些實施例的用於使用捏合或展開示意動作來向手寫輸入模組告知將當前累積手寫輸入劃分成一或多個辨識單元之方式的例示性使用者介面。
圖16A至圖16B為根據一些實施例的用於使用捏合或展開示意動作來向手寫輸入模組告知將當前累積手寫輸入劃分成一或多個辨識單元之方式的例示性程序之流程圖。
圖17A至圖17H展示根據一些實施例的用於提供使用者之手寫輸入之逐字元刪除的例示性使用者介面。
圖18A至圖18B為根據一些實施例的用於提供使用者之手寫輸入之逐字元刪除的例示性程序之流程圖。
圖19A至圖19F展示根據一些實施例的用於在垂直書寫模式與水平書寫模式之間進行切換的例示性使用者介面。
圖20A至圖20C為根據一些實施例的用於在垂直書寫模式與水平書寫模式之間進行切換的例示性程序之流程圖。
圖21A至圖21H展示根據一些實施例的用於提供用以顯示並選擇性地刪除使用者之手寫輸入中識別出之個別辨識單元之構件的使用者介面。
圖22A至圖22B為根據一些實施例的用於提供用以顯示並選擇性地刪除使用者之手寫輸入中識別出之個別辨識單元之構件的例示性程序之流程圖。
圖23A至圖23L展示根據一些實施例的用於利用在手寫輸入區域中在現有手寫輸入上提供的新手寫輸入作為用於鍵入針對現有手寫輸入顯示之辨識結果的隱式確認輸入的例示性使用者介面。
圖24A至圖24B為根據一些實施例的用於利用在手寫輸入區域中在現有手寫輸入上提供的新手寫輸入作為用於鍵入針對現有手寫輸入顯示之辨識結果的隱式確認輸入的例示性程序之流程圖。
圖25A至圖25B為根據一些實施例的用於基於空間導出特徵在不破壞手寫辨識模型之筆劃次序及筆劃方向獨立性的情況下將時間導出筆劃分佈資訊整合至手寫辨識模型之例示性程序的流程圖。
圖26為根據一些實施例的說明例示性手寫辨識系統之空間導出特徵及時間導出特徵的單獨訓練及隨後整合的方塊圖。
圖27為說明用於計算字元之筆劃分佈型態的例示性方法之方塊圖。
貫穿圖式，類似參考數字指代對應部分。
許多電子裝置具有具用於字元鍵入之螢幕小鍵盤的圖形使用者介面。在一些電子裝置上，使用者亦可能能夠安裝或啟用手寫輸入介面，該手寫輸入介面允許使用者在觸敏式顯示幕上或耦接至裝置的觸敏式表面上經由手寫輸入字元。習知手寫辨識輸入方法及使用者介面具有數個問題及缺點。舉例而言，
●一般而言，習知手寫輸入功能性經逐語言或逐筆跡地啟用。每一額外輸入語言需要佔用單獨儲存空間及記憶體之單獨手寫辨識模型的安裝。藉由組合不同語言之手寫辨識模型提供很少協同，且混合式語言或混合式筆跡手寫辨識歸因於複雜之歧義消除程序習知地花費極長時間。
●此外，因為習知手寫辨識系統很大程度上依賴於用於字元辨識的語言特定或筆跡特定特性，所以混合式語言手寫輸入的辨識具有不良的準確性。此外，經辨識語言之可用組合非常有限。多數系統需要使用者於以每一非預設語言或筆跡提供手寫輸入之前手動地指定所要語言特定手寫辨識器。
●許多現有即時手寫辨識模型需要關於逐筆劃層級的時間或順序資訊，該資訊在處置可書寫字元之方式的高度可變性(例如，筆劃歸因於書寫樣式及個人習慣的在形狀、長度、節拍、分段、次序及方向上的高度可變性)時產生不準確的辨識結果。一些系統亦需要使用者在提供手寫輸入時遵守嚴格之空間及時間準則(例如，藉由關於每 一字元輸入之大小、順序及時間範圍的內建式假設)。自此等準則之任何導出引起難以校正的不準確辨識結果。
●當前，多數即時手寫輸入介面僅允許使用者一次鍵入幾個字元。長片語或句子之鍵入被斷成短區段，且經單獨地輸入。此僵化輸入不僅向使用者施加認知負擔以維持複合的流動，而且對於使用者使得校正或修訂較早鍵入之字元或片語為困難的。
下文所描述之實施例解決此等及相關問題。
以下圖1至圖4提供例示性裝置的描述。圖5、圖6及圖26至圖27說明例示性手寫辨識及輸入系統。圖8A-8B、圖11A至11K、圖13A至圖13E、圖15A至15K、圖17A至圖17H、圖19A至圖19F、圖21A至圖21H、圖23A至圖23L說明用於手寫辨識及輸入的例示性使用者介面。圖7、圖9A至圖9B、圖10A至圖10C、圖12A至圖12B、圖14、圖16A至圖16B、圖18A至圖18B、圖20A至圖20C、圖22A至圖22B、圖24A至圖24B及圖25為說明在使用者裝置上啟用手寫辨識及輸入的方法之流程圖，包括訓練手寫辨識模型、提供即時手寫辨識結果、提供用於輸入及修訂手寫輸入的構件，及提供用於鍵入辨識結果作為文字輸入的構件。圖8A-8B、圖11A至圖11K、圖13A至圖13E、圖15A至15K、圖17A至圖17H、圖19A至圖19F、圖21A至圖21H、圖23A至圖23L中的使用者介面用以說明圖7、圖9A至圖9B、圖10A至圖10C、圖12A至圖12B、圖14、圖16A至圖16B、圖18A至圖18B、圖20A至圖20C、圖22A至圖22B、圖24A至圖24B及圖25中的程序。
例示性裝置
現將詳細地參考實施例，實施例之實例說明於隨附圖式中。在以下詳細描述中，闡述了眾多特定細節以便提供對本發明之透徹理解。然而，對於一般熟習此項技術者而言將顯而易見，可在無此等特定細節之情況下實踐本發明。在其他例子中，未詳細描述熟知之方 法、程序、組件、電路及網路，以便不會不必要地混淆實施例之態樣。
亦應理解，儘管本文中可使用術語「第一」、「第二」等來描述各種元件，但此等元件不應受此等術語限制。此等術語僅用以將一元件與另一元件進行區別。舉例而言，在不偏離本發明之範疇的情況下，第一接觸可被稱為第二接觸，且類似地，第二接觸可被稱為第一接觸。第一接觸及第二接觸兩者皆為接觸，但其並非同一接觸。
本文中在本發明之描述中使用之術語僅係為了描述特定實施例之目的，且並不意欲限制本發明。如在本發明之描述及附加申請專利範圍中所使用，單數形式「一」及「該」意欲亦包括複數形式，除非上下文明確地另有指示。亦應理解，如本文中使用之術語「及/或」係指且涵蓋相關聯之列舉項目中之一或多者之任何及所有可能組合。應進一步理解，當用於本說明書中時，術語「包括」及/或「包含」指定所陳述特徵、整體、步驟、操作、元件及/或組件之存在，但並不排除一或多個其他特徵、整體、步驟、操作、元件、組件及/或其組群之存在或添加。
如本文中所使用，術語「若」取決於內容脈絡而可被解釋成意謂「當……時」或「在……後」或「回應於判定……而」或「回應於偵測……而」。類似地，片語「若判定……」或「若偵測到[所陳述之條件或事件]」取決於內容脈絡可被解釋為意謂「在判定……之後」或「回應於判定……而」或「在偵測到[所陳述之條件或事件]之後」或「回應於偵測到[所陳述之條件或事件]而」。
描述電子裝置、此等裝置之使用者介面及用於使用此等裝置之相關聯程序的實施例。在一些實施例中，裝置為諸如行動電話之攜帶型通信裝置，該裝置亦含有諸如PDA及/或音樂播放器功能之其他功能。攜帶型多功能裝置之例示性實施例包括(但不限於)可購自Apple Inc.(Cupertino,California)之IPHONE、IPOD TOUCH及IPAD裝置。亦可使用其他攜帶型電子裝置，諸如具有觸敏式表面(例如，觸控式螢幕顯示器及/或觸控板)之膝上型電腦或平板型電腦。亦應理解，在一些實施例中，裝置並非攜帶型通信裝置，而是具有觸敏式表面(例如，觸控式螢幕顯示器及/或觸控板)之桌上型電腦。
在以下論述中，描述包括顯示器及觸敏式表面之電子裝置。然而，應理解，電子裝置可包括一或多個其他實體使用者介面裝置，諸如實體鍵盤、滑鼠及/或操控桿。
該裝置通常支援諸如以下應用程式中之一或多者的多種應用程式：繪圖應用程式、呈現應用程式、文書處理應用程式、網站建立應用程式、磁碟撰寫應用程式、試算表應用程式、遊戲應用程式、電話應用程式、視訊會議應用程式、電子郵件應用程式、即時傳訊應用程式、健身支援應用程式、照片管理應用程式、數位攝影機應用程式、數位視訊攝影機應用程式、網頁瀏覽應用程式、數位音樂播放器應用程式，及/或數位視訊播放器應用程式。
在裝置上可執行之各種應用程式可使用至少一共同實體使用者介面裝置，諸如觸敏式表面。觸敏式表面之一或多個功能以及顯示於裝置上之對應資訊可在應用程式之間進行調整及/或發生變化，及/或在各別應用程式內進行調整及/或發生變化。以此方式，裝置之共同實體架構(諸如，觸敏式表面)可用對於使用者直觀且透明之使用者介面支援多種應用程式。
現將注意力指向具有觸敏式顯示器之攜帶型裝置的實施例。圖1為說明根據一些實施例之具有觸敏式顯示器112之攜帶型多功能裝置100的方塊圖。為了方便起見，觸敏式顯示器112有時被稱為「觸控式螢幕」，且亦可被稱作或稱為觸敏式顯示系統。裝置100可包括記憶體102(其可包括一或多個電腦可讀儲存媒體)、記憶體控制器122、一或 多個處理單元(CPU)120、周邊設備介面118、RF電路108、音訊電路110、揚聲器111、麥克風113、輸入/輸出(I/O)子系統106、其他輸入或控制裝置116，及外部埠124。裝置100可包括一或多個光學感測器164。此等組件可經由一或多個通信匯流排或信號線103來通信。
應瞭解，裝置100為攜帶型多功能裝置之僅一個實例，且裝置100可具有比所展示組件多或少之組件，可組合兩個或兩個以上組件，或可具有不同的組件組態或配置。展示於圖1中之各種組件可以硬體、軟體或硬體與軟體兩者之組合(包括一或多個信號處理電路及/或特殊應用積體電路)來實施。
記憶體102可包括高速隨機存取記憶體，且亦可包括非揮發性記憶體，諸如一或多個磁碟儲存裝置、快閃記憶體裝置，或其他非揮發性固態記憶體裝置。裝置100之其他組件(諸如，CPU 120及周邊設備介面118)對記憶體102之存取可由記憶體控制器122控制。
周邊設備介面118可用以將裝置之輸入及輸出周邊設備耦接至CPU 120及記憶體102。一或多個處理器120執行(run、execute)儲存於記憶體102中之各種軟體程式及/或指令集，以執行裝置100之各種功能且處理資料。
在一些實施例中，周邊設備介面118、CPU 120及記憶體控制器122可實施於諸如晶片104之單一晶片上。在一些其他實施例中，周邊設備介面118、CPU 120及記憶體控制器122可實施於單獨晶片上。
RF(射頻)電路108接收並發送亦稱為電磁信號之RF信號。RF電路108將電信號轉換成電磁信號/將電磁信號轉換成電信號，且經由電磁信號與通信網路及其他通信裝置通信。
音訊電路110、揚聲器111及麥克風113提供使用者與裝置100之間的音訊介面。音訊電路110自周邊設備介面118接收音訊資料，將該音訊資料轉換為電信號，且將該電信號傳輸至揚聲器111。揚聲器111將 電信號轉換為人類可聽到之聲波。音訊電路110亦接收由麥克風113自聲波轉換之電信號。音訊電路110將電信號轉換為音訊資料，且將音訊資料傳輸至周邊設備介面118以供處理。可藉由周邊設備介面118自記憶體102及/或RF電路108擷取音訊資料，及/或將音訊資料傳輸至記憶體102及/或RF電路108。在一些實施例中，音訊電路110亦包括耳機插孔(例如，圖2之212)。
I/O子系統106將裝置100上之輸入/輸出周邊設備(諸如，觸控式螢幕112及其他輸入控制裝置116)耦接至周邊設備介面118。I/O子系統106可包括顯示控制器156，及用於其他輸入或控制裝置之一或多個輸入控制器160。該一或多個輸入控制器160自其他輸入或控制裝置116接收電信號/將電信號發送至其他輸入或控制裝置116。其他輸入控制裝置116可包括實體按鈕(例如，推按鍵(push button)、搖桿按鈕等)、撥號盤、滑動開關、操控桿、點選式選盤(click wheel)等。在一些替代實施例中，(多個)輸入控制器160可耦接至以下各者中之任一者(或不耦接至以下各者)：鍵盤、紅外線埠、USB埠，及諸如滑鼠的指標裝置。一或多個按鈕(例如，圖2之208)可包括用於揚聲器111及/或麥克風113之音量控制的增/減按鈕。一或多個按鈕可包括推按鍵(例如，圖2之206)。
觸敏式顯示器112提供裝置與使用者之間的輸入介面及輸出介面。顯示控制器156自觸控式螢幕112接收電信號及/或將電信號發送至觸控式螢幕112。觸控式螢幕112向使用者顯示視覺輸出。視覺輸出可包括圖形、文字、圖示、視訊及其任何組合(統稱為「圖形」)。在一些實施例中，一些或所有視覺輸出可如對應於使用者介面物件。
觸控式螢幕112具有基於觸感及/或觸覺接觸而自使用者接受輸入之觸敏式表面、感測器或感測器集合。觸控式螢幕112及顯示控制器156(連同記憶體102中之任何相關聯模組及/或指令集)偵測觸控式螢 幕112上之接觸(及接觸之任何移動或中斷)，且將偵測到之接觸轉換為與顯示於觸控式螢幕112上之使用者介面物件(例如，一或多個螢幕按鍵、圖示、網頁或影像)的互動。在例示性實施例中，觸控式螢幕112與使用者之間的接觸點對應於使用者之手指。
觸控式螢幕112可使用LCD(液晶顯示器)技術、LPD(發光聚合物顯示器)技術，或LED(發光二極體)技術，但在其他實施例中可使用其他顯示器技術。觸控式螢幕112及顯示控制器156可使用現已知或稍後開發的複數種觸控感測技術(包括但不限於電容性、電阻性、紅外線及表面聲波技術)中之任一者以及用於判定與觸控式螢幕112之一或多個接觸之其他近接感測器陣列或其他元件來偵測接觸及其任何移動或中斷。在一例示性實施例中，使用投影式互電容感測技術，諸如在可購自Apple Inc.(Cupertino,California)的IPHONE、IPOD TOUCH及IPAD中所見的投影互電容式感測技術。
觸控式螢幕112可具有超過100dpi之視訊解析度。在一些實施例中，觸控式螢幕具有大約160dpi之視訊解析度。使用者可使用任何合適物件或附件(諸如，手寫筆、手指等)與觸控式螢幕112接觸。在一些實施例中，使用者介面經設計成主要藉由基於手指之接觸及示意動作起作用，歸因於手指在觸控式螢幕上之較大接觸面積，與基於手寫筆之輸入相比較，基於手指之接觸及示意動作的精確度可較低。在一些實施例中，裝置將粗略之基於手指之輸入轉譯為精確之指標/游標位置或命令，從而執行使用者所要之動作。手寫輸入可經由基於手指或基於手寫筆之接觸的位置及移動而提供於觸控式螢幕112上。在一些實施例中，觸控式螢幕112顯現基於手指或基於手寫筆的輸入作為對當前手寫輸入之瞬態視覺回饋，且提供藉由書寫器具(例如，筆)在書寫表面(例如，紙張)上進行實際書寫的視覺效應。
在一些實施例中，除觸控式螢幕外，裝置100亦可包括用於啟動 或撤銷啟動特定功能之觸控板(圖中未示)。在一些實施例中，觸控板為裝置之觸敏式區域，不同於觸控式螢幕，該觸敏式區域不顯示視覺輸出。觸控板可為與觸控式螢幕112單獨之觸敏式表面，或為由觸控式螢幕形成之觸敏式表面的擴展。
裝置100亦包括用於向各種組件供電之電力系統162。電力系統162可包括電力管理系統、一或多個電源(例如，電池、交流電(AC))、再充電系統、電力故障偵測電路、電力轉換器或反相器、電力狀態指示器(例如，發光二極體(LED))，及與攜帶型裝置中的電力之產生、管理及分配相關聯的任何其他組件。
裝置100亦可包括一或多個光學感測器164。圖1展示耦接至I/O子系統106中之光學感測器控制器158的光學感測器。光學感測器164視需要包括電荷耦合裝置(CCD)，或互補金氧半導體(CMOS)光電晶體。光學感測器164自環境接收經由一或多個透鏡投影之光，且將該光轉換成表示影像之資料。結合成像模組143(亦稱為攝影機模組)，光學感測器164可捕獲靜態影像或視訊。
裝置100亦可包括一或多個近接感測器166。圖1展示耦接至周邊設備介面118之近接感測器166。或者，近接感測器166可耦接至I/O子系統106中之輸入控制器160。在一些實施例中，當接近使用者之耳朵置放多功能裝置時(例如，當使用者正在進行電話通話時)，近接感測器將觸控式螢幕112關斷且停用觸控式螢幕112。
裝置100亦可包括一或多個加速度計168。圖1展示耦接至周邊設備介面118之加速度計168。或者，加速度計168可耦接至I/O子系統106中之輸入控制器160。在一些實施例中，基於對自一或多個加速度計接收之資料的分析而以縱向視圖或橫向視圖將資訊顯示於觸控式螢幕顯示器上。除(多個)加速度計168外，裝置100視需要亦包括用於獲得與裝置100之位置及定向(例如，縱向或橫向)有關之資訊的磁力計 (圖中未示)及GPS(或GLONASS或其他全球導航系統)接收器(圖中未示)。
在一些實施例中，儲存於記憶體102中之軟體組件包括作業系統126、通信模組(或指令集)128、接觸/運動模組(或指令集)130、圖形模組(或指令集)132、文字輸入模組(或指令集)134、全球定位系統(GPS)模組(或指令集)135，及應用程式(或指令集)136。此外，在一些實施例中，如圖1及圖3中所展示，記憶體102儲存手寫輸入模組157。手寫輸入模組157包括手寫辨識模型，且將手寫辨識及輸入功能提供給裝置100(或裝置300)的使用者。手寫輸入模組157之更多細節關於圖5至圖27及其隨附描述來提供。
作業系統126(例如，Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS，或諸如VxWorks之嵌入式作業系統)包括用於控制及管理通用系統任務(例如，記憶體管理、儲存裝置控制、電力管理等)之各種軟體組件及/或驅動程式，且促進各種硬體組件與軟體組件之間的通信。
通信模組128促進經由一或多個外部埠124與其他裝置的通信，且亦包括用於處置RF電路108及/或外部埠124所接收之資料的各種軟體組件。外部埠124(例如，通用串列匯流排(USB)、FIREWIRE等)經調適以用於直接耦接至其他裝置或經由網路(例如，網際網路、無線LAN等)間接地耦接至其他裝置。
接觸/運動模組130可偵測與觸控式螢幕112(結合顯示控制器156)及其他觸敏式裝置(例如，觸控板或實體點選式選盤)之接觸。接觸/運動模組130包括用於執行諸如以下各者的與接觸之偵測相關之各種操作的各種軟體組件：判定接觸是否已發生(例如，偵測手指向下事件)、判定是否存在接觸之移動並追蹤越過觸敏式表面之移動(例如，偵測一或多個手指拖曳事件)，及判定接觸是否已停止(例如，偵測手 指向上事件或接觸的中斷)。接觸/運動模組130自觸敏式表面接收接觸資料。判定由一系列接觸資料表示的接觸點之移動可包括判定接觸點的速率(量值)、速度(量值及方向)及/或加速度(量值及/或方向之改變)。此等操作可應用於單一接觸(例如，單手指接觸)或應用於多個同時接觸(例如，「多點觸摸」/多手指接觸)。在一些實施例中，接觸/運動模組130及顯示控制器156偵測觸控板上之接觸。
接觸/運動模組130可偵測由使用者輸入之示意動作。觸敏式表面上之不同示意動作具有不同接觸型樣。因此，可藉由偵測特定接觸型樣來偵測示意動作。舉例而言，偵測手指觸按示意動作包括偵測手指向下事件，繼之以在與手指向下事件相同之位置(或實質上相同之位置)(例如，在圖示之位置處)偵測手指向上(起離)事件。作為另一實例，偵測觸敏式表面上之手指撥動示意動作包括偵測手指向下事件，繼之以偵測一或多個手指拖曳事件，且隨後繼之以偵測手指向上(起離)事件。
接觸/運動模組130視需要由手指輸入模組157利用以在顯示於觸敏式顯示螢幕112上的手寫輸入介面之手寫輸入區域內(或對應於顯示於圖3中之顯示器340上的手寫輸入區域的觸控板355之區域內)登記手寫筆劃的輸入。在一些實施例中，在初始手指向下事件時、最終手指向上事件時、初始手指向下事件與最終手指向上事件之間的任何時間與接觸相關聯的位置、運動路徑及強度被記錄為手寫筆劃。基於此資訊，手寫筆劃可顯現於顯示器上作為對使用者輸入的回饋。此外，一或多個輸入影像可基於藉由接觸/運動模組130登記的手寫筆劃而產生。
圖形模組132包括用於在觸控式螢幕112或其他顯示器上顯現並顯示圖形的各種已知軟體組件，包括用於改變被顯示之圖形之強度的組件。如本文中所使用，術語「圖形」包括可向使用者顯示之任何物 件，包括(但不限於)文字、網頁、圖示(諸如，包括螢幕按鍵之使用者介面物件)、數位影像、視訊、動畫及其類似者。
在一些實施例中，圖形模組132儲存表示待使用之圖形的資料。可向每一圖形指派一對應碼。圖形模組132自應用程式等接收指定待顯示之圖形的一或多個碼連同座標資料及其他圖形特性資料(若必要)，且接著產生螢幕影像資料以輸出至顯示控制器156。
可為圖形模組132之一組件的文字輸入模組134提供用於在各種應用程式(例如，連絡人137、電子郵件140、IM 141、瀏覽器147及需要文字輸入之任何其他應用程式)中鍵入文字的螢幕小鍵盤。在一些實施例中，手寫輸入模組157視需要經由文字輸入模組134之使用者介面(例如，經由鍵盤選擇可視線索)來調用。在一些實施例中，相同或類似鍵盤選擇可視線索亦提供於手寫輸入介面中以調用文字輸入模組134。
GPS模組135判定裝置之位置，且提供此資訊以供各種應用程式使用(例如，提供至電話138以供在基於位置之撥號中使用，提供至攝影機143作為圖片/視訊後設資料，且提供至提供基於位置之服務的應用程式，諸如天氣介面工具集、本地黃頁介面工具集及地圖/導航介面工具集)。
應用程式136可包括以下模組(或指令集)或其子集或超集：連絡人模組137(有時稱為通訊錄或連絡人清單)；電話模組138；視訊會議模組139；電子郵件用戶端模組140；即時傳訊(IM)模組141；健身支援模組142；用於靜態及/或視訊影像的攝影機模組143；影像管理模組144；瀏覽器模組147；行事曆模組148；介面工具集模組149，其包括以下各者中的一或多者：天氣介面工具集149-1、股票介面工具集149-2、計算器介面工具集149-3、鬧鈴介面工具集149-4、辭典介面工具集149-5及由使用者獲得的其他介面工具集，以及使用者建立的介 面工具集149-6；用於製作使用者建立之介面工具集149-6的介面工具集建立器模組150；搜尋模組151；視訊及音樂播放器模組152，其可由視訊播放器模組及音樂播放器模組構成；備忘錄模組153；地圖模組154；及/或線上視訊模組155。
可儲存於記憶體102中之其他應用程式136之實例包括其他文書處理應用程式、其他影像編輯應用程式、繪圖應用程式、呈現應用程式、具JAVA能力之應用程式、加密、數位版權管理、語音辨識，及語音複製。
結合觸控式螢幕112、顯示控制器156、連絡人模組130、圖形模組132、手寫輸入模組157及文字輸入模組134，連絡人模組137可用以管理通訊錄或連絡人清單(例如，儲存於記憶體102或記憶體370中之連絡人模組137之應用程式內部狀態192中)，其包括：添加姓名至通訊錄；自通訊錄刪除姓名；使電話號碼、電子郵件地址、實體地址或其他資訊與姓名相關聯；使影像與姓名相關聯；對姓名歸類或排序；提供電話號碼或電子郵件地址以起始及/或促進電話138、視訊會議139、電子郵件140或IM 141的通信；等等。
結合RF電路108、音訊電路110、揚聲器111、麥克風113、觸控式螢幕112、顯示控制器156、接觸模組130、圖形模組132、手寫輸入模組157及文字輸入模組134，電話模組138可用於鍵入對應於電話號碼之字元序列、存取通訊錄137中之一或多個電話號碼、修改已鍵入之電話號碼、撥打各別電話號碼、進行交談，及在交談完成時斷開或掛斷。如上所指出，無線通信可使用複數種通信標準、協定及技術中之任一者。
結合RF電路108、音訊電路110、揚聲器111、麥克風113、觸控式螢幕112、顯示控制器156、光學感測器164、光學感測器控制器158、接觸模組130、圖形模組132、手寫輸入模組157、文字輸入模組 134、連絡人清單137及電話模組138，視訊會議模組139包括用以根據使用者指令而起始、進行及終止使用者與一或多個其他參與者之間的視訊會議之可執行指令。
結合RF電路108、觸控式螢幕112、顯示控制器156、接觸模組130、圖形模組132、手寫輸入模組157及文字輸入模組134，電子郵件用戶端模組140包括用以回應於使用者指令而建立、發送、接收並管理電子郵件之可執行指令。結合影像管理模組144，電子郵件用戶端模組140使得非常易於建立並發送具有用攝影機模組143拍攝之靜態影像或視訊影像的電子郵件。
結合RF電路108、觸控式螢幕112、顯示控制器156、接觸模組130、圖形模組132、手寫輸入模組157及文字輸入模組134，即時傳訊模組141包括執行以下操作之可執行指令：鍵入對應於即時訊息之字元序列、修改先前鍵入之字元、傳輸各別即時訊息(例如，針對基於電話之即時訊息使用短訊息服務(SMS)或多媒體訊息服務(MMS)協定，或針對基於網際網路之即時訊息使用XMPP、SIMPLE或IMPS)、接收即時訊息，及檢視所接收之即時訊息。在一些實施例中，所傳輸及/或接收之即時訊息可包括圖形、照片、音訊檔案、視訊檔案及/或如在MMS及/或增強型傳訊服務(EMS)中支援之其他附加檔案。如本文中所使用，「即時傳訊」係指基於電話之訊息(例如，使用SMS或MMS發送之訊息)及基於網際網路之訊息(例如，使用XMPP、SIMPLE或IMPS發送之訊息)兩者。
結合RF電路108、觸控式螢幕112、顯示控制器156、接觸模組130、圖形模組132、手寫輸入模組157、文字輸入模組134、GPS模組135、地圖模組154及音樂播放器模組146，健身支援模組142包括執行以下操作的可執行指令：建立健身計劃(例如，具有時間、距離及/或卡路里燃燒目標)；與健身感測器(運動裝置)通信；校準用以監視健身 的感測器；選擇並播放用於健身的音樂；及顯示、儲存並傳輸健身資料。
結合觸控式螢幕112、顯示控制器156、(多個)光學感測器164、光學感測器控制器158、接觸模組130、圖形模組132及影像管理模組144，攝影機模組143包括執行以下操作之可執行指令：捕獲靜態影像或視訊(包括視訊串流)且將前述兩者儲存至記憶體102中、修改靜態影像或視訊之特性，或自記憶體102刪除靜態影像或視訊。
結合觸控式螢幕112、顯示控制器156、接觸模組130、圖形模組132、手寫輸入模組157、文字輸入模組134及攝影機模組143，影像管理模組144包括執行以下操作之可執行指令：配置、修改(例如，編輯)或以其他方式操控、標示、刪除、呈現(例如，用數位投影片或相薄)及儲存靜態影像及/或視訊影像。
結合RF電路108、觸控式螢幕112、顯示系統控制器156、接觸模組130、圖形模組132、手寫輸入模組157及文字輸入模組134，瀏覽器模組147包括執行以下操作之可執行指令：根據使用者指令而瀏覽網際網路，包括搜尋、連結至、接收及顯示網頁或其部分以及連結至網頁之附加檔案及其他檔案。
結合RF電路108、觸控式螢幕112、顯示系統控制器156、接觸模組130、圖形模組132、手寫輸入模組157、文字輸入模組134、電子郵件用戶端模組140及瀏覽器模組147，行事曆模組148包括執行以下操作之可執行指令：根據使用者指令而建立、顯示、修改及儲存行事曆及與行事曆相關聯的資料(例如，行事曆項目、待辦事項清單等)。
結合RF電路108、觸控式螢幕112、顯示系統控制器156、接觸模組130、圖形模組132、手寫輸入模組157、文字輸入模組134及瀏覽器模組147，介面工具集模組149為可由使用者下載及使用之微型應用程式(例如，天氣介面工具集149-1、股票介面工具集149-2、計算器介面 工具集149-3、鬧鐘介面工具集149-4及辭典介面工具集149-5)，或由使用者建立之微型應用程式(例如，使用者建立之介面工具集149-6)。在一些實施例中，介面工具集包括HTML(超文字標記語言)檔案、CSS(級聯式樣表單)檔案及JavaScript檔案。在一些實施例中，介面工具集包括XML(可延伸性標記語言)檔案及JavaScript檔案(例如，Yahoo！介面工具集)。
結合RF電路108、觸控式螢幕112、顯示系統控制器156、接觸模組130、圖形模組132、手寫輸入模組157、文字輸入模組134，及瀏覽器模組147，介面工具集建立器模組150可由使用者使用以建立介面工具集(例如，將網頁之使用者指定部分轉換成介面工具集)。
結合觸控式螢幕112、顯示系統控制器156、接觸模組130、圖形模組132、手寫輸入模組157及文字輸入模組134，搜尋模組151包括執行以下操作的可執行指令：根據使用者指令搜尋記憶體102中與一或多個搜尋準則(例如，一或多個使用者指定之搜尋項)匹配的文字、音樂、聲音、影像、視訊及/或其他檔案。
結合觸控式螢幕112、顯示系統控制器156、接觸模組130、圖形模組132、音訊電路110、揚聲器111、RF電路108及瀏覽器模組147，視訊及音樂播放器模組152包括允許使用者下載及播放以一或多個檔案格式儲存之已記錄音樂及其他聲音檔案(諸如，MP3或AAC檔案)的可執行指令，及顯示、呈現或以其他方式播放視訊(例如，在觸控式螢幕112上或在經由外部埠124連接之外部顯示器上)的可執行指令。在一些實施例中，裝置100可包括諸如iPod(Apple Inc.之商標)之MP3播放器的功能性。
結合觸控式螢幕112、顯示控制器156、接觸模組130、圖形模組132、手寫輸入模組157及文字輸入模組134，備忘錄模組153包括用以根據使用者指令而建立及管理備忘錄、待辦事項清單及類似者之可執 行指令。
結合RF電路108、觸控式螢幕112、顯示系統控制器156、接觸模組130、圖形模組132、手寫輸入模組157、文字輸入模組134、GPS模組135及瀏覽器模組147，地圖模組154可用以根據使用者指令而接收、顯示、修改及儲存地圖及與地圖相關聯之資料(例如，駕駛方向；關於位於特定位置或其附近之商店及其他關注點的資料；及基於位置之其他資料)。
結合觸控式螢幕112、顯示系統控制器156、接觸模組130、圖形模組132、音訊電路110、揚聲器111、RF電路108、手寫輸入模組157、文字輸入模組134、電子郵件用戶端模組140及瀏覽器模組147，線上視訊模組155包括如下指令：允許使用者存取、瀏覽、接收(例如，藉由串流傳輸及/或下載)、播放(例如，在觸控式螢幕或經由外部埠124連接的外部顯示器上)特定線上視訊、發送具有至特定線上視訊之連結的電子郵件，且以其他方式管理呈一或多個檔案格式(諸如，H.264)的線上視訊。在一些實施例中，即時傳訊模組141而非電子郵件用戶端模組140用以發送至特定線上視訊的連結。
以上識別之模組及應用程式中之每一者對應於用於執行上文所描述之一或多個功能及在本申請案中描述之方法(例如，電腦實施之方法及本文中所描述之其他資訊處理方法)的可執行指令集。此等模組(亦即，指令集)不需要實施為單獨軟體程式、程序或模組，且因此在各種實施例中可組合或以其他方式重新配置此等模組之各種子集。在一些實施例中，記憶體102可儲存上文識別之模組及資料結構之子集。此外，記憶體102可儲存上文未描述之額外模組及資料結構。
在一些實施例中，裝置100為經由觸控式螢幕及/或觸控板排他地執行裝置上之預定義功能集合之操作的裝置。藉由使用觸控式螢幕及/或觸控板作為裝置100之操作的主要輸入控制裝置，可減少裝置100 上之實體輸入控制裝置(諸如，推按鍵、撥號盤及其類似者)之數目。
圖2說明根據一些實施例之具有觸控式螢幕112之攜帶型多功能裝置100。觸控式螢幕可在使用者介面(UI)200內顯示一或多個圖形。在此實施例以及下文所描述之其他實施例中，使用者可藉由(例如)用一或多個手指202(在該圖中未按比例繪製)或一或多個手寫筆203(在該圖中未按比例繪製)在圖形上做出示意動作而選擇圖形中之一或多者。在一些實施例中，當使用者中斷與一或多個圖形之接觸時，發生對該一或多個圖形之選擇。在一些實施例中，示意動作可包括一或多個觸按、一或多個撥動(自左至右、自右至左、向上及/或向下)及/或已與裝置100接觸之手指的捲動(自右至左、自左至右、向上及/或向下)。在一些實施或情況下，與圖形之無意接觸可並不選擇圖形。舉例而言，當對應於選擇之示意動作為觸按時，掃過應用程式圖示之撥動示意動作可不選擇對應應用程式。
裝置100亦可包括一或多個實體按鈕，諸如「首頁」或功能表按鈕204。如先前所描述，功能表按鈕204可用以導覽至可在裝置100上執行之應用程式集合中的任一應用程式136。替代地，在一些實施例中，將功能表按鈕實施為顯示於觸控式螢幕112上之GUI中的螢幕按鍵。
在一項實施例中，裝置100包括觸控式螢幕112、功能表按鈕204、用於對裝置通電/斷電及鎖定裝置之推按鍵206、(多個)音量調整按鈕208、訂戶識別模組(SIM)卡槽210、耳機插孔212及銜接/充電外部埠124。推按鍵206可用以藉由壓下按鈕及使按鈕保持於壓下狀態歷時預定義時間間隔來對裝置通電/斷電；藉由壓下按鈕及在預定義時間間隔已過去之前釋放按鈕來鎖定裝置；及/或將裝置解鎖或起始解鎖程序。在替代性實施例中，裝置100亦可經由麥克風113接受用於啟動或撤銷啟動一些功能之口頭輸入。
圖3為根據一些實施例之具有顯示器及觸敏式表面之例示性多功能裝置的方塊圖。裝置300無需為攜帶型。在一些實施例中，裝置300為膝上型電腦、桌上型電腦、平板電腦、多媒體播放器裝置、導航裝置、教育裝置(諸如，兒童之學習玩具)、遊戲系統，電話裝置，或控制裝置(例如，家用或工業控制器)。裝置300通常包括一或多個處理單元(CPU)310、一或多個網路或其他通信介面360、記憶體370，及用於將此等組件互連之一或多個通信匯流排320。通信匯流排320可包括將系統組件互連且控制系統組件之間的通信之電路(有時稱為晶片組)。裝置300包括包含顯示器340之輸入/輸出(I/O)介面330，該顯示器340通常為觸控式螢幕顯示器。I/O介面330亦可包括鍵盤及/或滑鼠(或其他指標裝置)350以及觸控板355。記憶體370包括諸如DRAM、SRAM、DDR RAM之高速隨機存取記憶體或其他隨機存取固態記憶體裝置；且可包括非揮發性記憶體，諸如一或多個磁碟儲存裝置、光碟儲存裝置、快閃記憶體裝置，或其他非揮發性固態儲存裝置。記憶體370視需要可包括位於該(等)CPU 310遠端之一或多個儲存裝置。在一些實施例中，記憶體370儲存與儲存於攜帶型多功能裝置100(圖1)之記憶體102中之程式、模組及資料結構類似的程式、模組及資料結構，或其子集。此外，記憶體370可儲存不存在於攜帶型多功能裝置100之記憶體102中的額外程式、模組及資料結構。舉例而言，裝置300之記憶體370可儲存繪圖模組380、呈現模組382、文書處理模組384、網站建立模組386、磁碟撰寫模組388及/或試算表模組390，而攜帶型多功能裝置100之記憶體102(圖1)可不儲存此等模組。
圖3中之以上識別之元件中的每一者可儲存於前述記憶體裝置中之一或多者中。以上識別之模組中之每一者對應於用於執行上述功能之指令集。以上識別之模組或程式(亦即，指令集)無需實施為單獨軟體程式、程序或模組，且因此在各種實施例中，此等模組之各種子集 可加以組合或以其他方式重新配置。在一些實施例中，記憶體370可儲存上文識別之模組及資料結構之子集。此外，記憶體370可儲存上文未描述之額外模組及資料結構。
圖4說明具有與顯示器450(例如，觸控式螢幕顯示器112)單獨之觸敏式表面451(例如，圖3之平板或觸控板355)之裝置(例如，圖3之裝置300)上的例示性使用者介面。儘管將參考觸控式螢幕顯示器112(其中組合觸敏式表面與顯示器)上之輸入來提供以下許多實例，但在一些實施例中，裝置偵測與顯示器單獨之觸敏式表面上的輸入，如圖4中所展示。在一些實施例中，觸敏式表面(例如，圖4中之451)具有對應於顯示器(例如，450)上之主軸(例如，圖4中之453)的主軸(例如，圖4中之452)。根據此等實施例，裝置偵測在對應於顯示器上之各別位置的位置處與觸敏式表面451之接觸(例如，圖4中之460及462)(例如，在圖4中，460對應於468，且462對應於470)。以此方式，當觸敏式表面(例如，圖4中之451)與顯示器(例如，圖4中之450)單獨時，該觸敏式表面上之藉由裝置偵測到的使用者輸入(例如，接觸460及462，以及其移動)藉由裝置使用以操控多功能裝置之該顯示器上的使用者介面。應理解，類似方法可用於本文中所描述之其他使用者介面。
現將注意力指向可在多功能裝置(例如，裝置100)上實施的手寫輸入方法及使用者介面(「UI」)之實施例。
圖5為說明根據一些實施例之例示性手寫輸入模組157的方塊圖，該例示性手寫輸入模組157與I/O介面模組500(例如，圖3中之I/O介面330或圖1中的I/O子系統106)互動以在裝置上提供手寫輸入能力。如圖5中所展示，手寫輸入模組157包括輸入處理模組502、手寫辨識模組504及結果產生模組506。在一些實施例中，輸入處理模組502包括分段模組508及正規化模組510。在一些實施例中，結果產生 模組506包括字根叢集模組512及一或多個語言模型514。
在一些實施例中，輸入處理模組502與I/O介面模組500(例如，圖3中之I/O介面330或圖1中的I/O子系統106)通信以自使用者接收手寫輸入。手寫為經由諸如圖1中之觸敏式顯示系統112及/或圖3中之觸控板355之任何合適構件的輸入。手寫輸入包括表示使用者在手寫輸入UI內之預定手寫輸入區域內提供之每一筆劃的資料。在一些實施例中，表示手寫輸入之每一筆劃的資料包括諸如以下各者的資料：手寫輸入區域內持續接觸(例如，使用者之手指或手寫筆與裝置之觸敏式表面之間的接觸)的開始及結束位置、強度型態及運動路徑。在一些實施例中，I/O介面模組500將手寫筆劃516之順序與相關聯時間及空間資訊即時地傳遞至輸入處理模組502。同時，I/O介面模組亦在手寫輸入使用者介面之手寫輸入區域內提供手寫筆劃的即時顯現518作為對使用者之輸入的視覺回饋。
在一些實施例中，隨著表示每一手寫筆劃之資料由輸入處理模組502接收到，亦記錄與多個連續筆劃相關聯的時間及順序資訊。舉例而言，資料視需要包括堆疊等，該堆疊藉由各別筆劃序號及筆劃沿著整個手寫輸入之書寫方向之相對空間位置來展示各別筆劃的形狀、大小、空間飽和度。在一些實施例中，輸入處理模組502將在裝置之顯示器518(例如，圖3中之顯示器340或圖1中的觸敏式顯示器112)上顯現所接收筆劃的指令提供回至I/O介面模組500。在一些實施例中，所接收筆劃之顯現經動畫表示以提供模擬藉由書寫器具(例如，筆)在書寫表面(例如，紙張)上書寫之實際進度的視覺效應。在一些實施例中，使用者視需要被允許指定所顯現筆劃的筆尖樣式、色彩、紋理等。
在一些實施例中，輸入處理模組502處理手寫輸入區域中當前累積之筆劃以將筆劃指派至一或多個辨識單元中。在一些實施例中，每 一辨識單元對應於待藉由手寫辨識模型504辨識的字元。在一些實施例中，每一辨識單元對應於待藉由手寫辨識模型504辨識的輸出字元或字根。字根為在多個複合語標字元中找到的重現組分。複合語標字元可包括根據常見佈局(例如，左右佈局、上下佈局等)配置的兩個或兩個以上字根。在一個實例中，單一中文字元「听」使用兩個字根(亦即，左字根「口」及右字根「斤」)構成。
在一些實施例中，輸入處理模組502依賴於分段模組以將當前累積之手寫筆劃指派或劃分成一或多個辨識單元。舉例而言，當對手寫字元「听」之筆劃進行分段時，分段模組508視需要將叢集於手寫輸入之左側的筆劃指派給一個辨識單元(亦即，對於左字根「口」)，且將叢集於手寫輸入之右側的筆劃指派給另一辨識單元(亦即，對於右字根「斤」)。替代地，分段模組508亦可將所有筆劃指派至單一辨識單元(亦即，對於字元「听」)。
在一些實施例中，分段模組508將當前累積之手寫輸入(例如，一或多個手寫筆劃)以若干不同方式分段成辨識單元群組以建立分段格520。舉例而言，假定到目前為止總計九個筆劃已累積於手寫輸入區域中。根據分段格520之第一分段鏈，將筆劃1、2、3分組成第一辨識單元522，且將筆劃4、5、6分組成第二辨識單元526。根據分段格520之第二分段鏈，將所有筆劃1至9分組成一個辨識單元526。
在一些實施例中，向每一分段鏈給予分段記分以量測特定分段鏈為當前手寫輸入之正確分段的可能性。在一些實施例中，視需要用以計算每一分段鏈之分段記分的因素包括：筆劃之絕對及/或相對大小、筆劃在各種方向(例如，x、y及z方向)上的相對及/或絕對跨距、筆劃之飽和度水準之平均值及/或變化、至相鄰筆劃之絕對及/或相對距離、筆劃之絕對及/或相對位置、鍵入筆劃之次序或順序、每一筆劃之持續時間、鍵入每一筆劃所用之速度(或節拍)的平均值及/或變 化，每一筆劃沿著筆劃之長度的強度型態等。在一些實施例中，一或多個功能或變換視需要應用至此等因素中之一或多者，以產生分段格520中不同分段鏈的分段記分。
在一些實施例中，在分段模組508已分段了接收自使用者之手寫輸入516之後，分段模組508將分段格520傳遞至正規化模組510。在一些實施例中，正規化模組510產生在分段格520中指定之每一辨識單元(例如，辨識單元522、524及526)的輸入影像(例如，輸入影像528)。在一些實施例中，正規化模組對輸入影像執行必要或所要之正規化(例如，拉伸、裁剪或增頻取樣)，使得輸入影像可提供至手寫辨識模型504作為輸入。在一些實施例中，每一輸入影像528包括指派至各別辨識單元的筆劃，且對應於由手寫辨識模組504將辨識出的一個字元或字根。
在一些實施例中，由輸入處理模組502產生之輸入影像並不包括與個別筆劃相關聯的任何時間資訊，且保留僅空間資訊(例如，藉由輸入影像中像素之位置及強度表示之資訊)於輸入影像中。純粹地在訓練手寫樣本之空間資訊上訓練的手寫辨識模型能夠單獨基於空間資訊進行手寫辨識。結果，手寫辨識模型與筆劃次序及筆劃方向獨立，而不必在訓練期間詳盡地枚舉其詞彙表(亦即，所有輸出類別)中之所有字元的筆劃次序及筆劃方向之所有可能置換。實際上，在一些實施例中，手寫辨識模組502並不區分輸入影像內屬於一個筆劃之像素與屬於另一筆劃的像素。
如稍後將更詳細地解釋(例如，關於圖25A至圖27)，在一些實施例中，某時間導出筆劃分佈資訊被重新引入至純粹空間手寫辨識模型，以在不損害辨識模型之筆劃次序及筆劃方向獨立性的情況下改良辨識準確性。
在一些實施例中，由輸入處理模組502針對一個辨識單元產生的 輸入影像並不與同一分段鏈中任何其他辨識單元的輸入影像重疊。在一些實施例中，針對不同辨識單元產生之輸入影像可具有一些重疊。在一些實施例中，輸入影像之間的一些重疊對於辨識以草書體書寫樣式書寫及/或包括連貫字元(例如，連接兩個相鄰字元的一個筆劃)的手寫輸入係准許的。
在一些實施例中，在分段之前執行某正規化。在一些實施例中，分段模組508及正規化模組510之功能可藉由同一模組或者兩個或兩個以上其他模組來執行。
在一些實施例中，隨著每一辨識單元之輸入影像528經提供至手寫辨識模型504作為輸入，手寫辨識模型504產生一輸出，該輸出由辨識單元係手寫辨識模型504之字集(repertoire)或詞彙表(亦即，藉由手寫辨識模組504可辨識之所有字元及字根的清單)中之各別輸出字元的不同可能性組成。如稍後將更詳細地解釋，手寫辨識模型504已經訓練以辨識多個筆跡(例如，已由Unicode標準編碼的至少三個非重疊筆跡)中的大量字元。非重疊筆跡之實例包括拉丁語筆跡、中文字元、阿拉伯字母、波斯語、西里爾字母，及諸如emoji字元的藝術筆跡。在一些實施例中，手寫辨識模型504產生針對每一輸入影像(亦即，針對辨識單元)的一或多個輸出字元，且基於與字元辨識相關聯的信賴等級而向每一輸出字元指派各別辨識記分。
在一些實施例中，手寫辨識模型504根據分段格520產生候選項格530，其中分段格520中之分段鏈中的每一圓弧(例如，對應於各別辨識單元522、524、526)被展開至候選項格530內的一或多個候選圓弧(例如，各自對應於各別輸出字元的圓弧532、534、536、538、540)。候選項格530內之每一候選鏈根據作為候選鏈基礎之分段鏈的各別分段記分且與字元鏈中之輸出字元相關聯的辨識記分來進行記分。
在一些實施例中，在手寫辨識模型504自辨識單元之輸入影像528產生輸出字元之後，候選項格530經傳遞至結果產生模組506以產生當前累積之手寫輸入516的一或多個辨識結果。
在一些實施例中，結果產生模組506利用字根叢集模組512來將候選鏈中之一或多個字根組合成複合字元。在一些實施例中，結果產生模組506使用一或多個語言模型514來判定候選項格530中之字元鏈是否係由語言模型表示之特定語言的可能序列。在一些實施例中，結果產生模組506藉由消除候選項格530中之特定圓弧或組合兩個或兩個以上圓弧來產生經修訂的候選項格542。
在一些實施例中，結果產生模組506基於字元序列中輸出字元的辨識記分而產生仍保持於經修訂候選項格542(例如，字元序列544及546)中的每一字元序列的經整合辨識記分，如由字根叢集模組512及語言模型514所修改(例如，擴增或減少)。在一些實施例中，結果產生模組506基於其整合辨識記分而對保持於經修訂候選項格542中的不同字元序列排名。
在一些實施例中，結果產生模組506將最高排名字元序列作為經排名辨識結果548發送至I/O介面模組500以顯示給使用者。在一些實施例中，I/O介面模組500將所接收辨識結果548(例如，「中国」及「帼」)顯示於手寫輸入介面的候選項顯示區域中。在一些實施例中，I/O介面模組向使用者顯示多個辨識結果(例如，「中国」及「帼」)，且允許使用者選擇辨識結果以作為文字輸入鍵入用於相關應用程式。在一些實施例中，I/O介面模組回應於其他輸入或辨識結果之使用者確認的指示而自動地鍵入最高排名辨識結果(例如「中国」)。最高排名結果之有效自動鍵入可改良輸入介面之效率且提供更好的使用者體驗。
在一些實施例中，結果產生模組506使用其他因素來變更候選鏈 之整合辨識記分。舉例而言，在一些實施例中，結果產生模組506視需要維持特定使用者或許多使用者之最頻繁使用字元的記錄。若特定候選字元或字元序列在最頻繁使用之字元或字元序列的清單中找到，則結果產生模組506視需要啟動特定候選字元或字元序列的整合辨識記分。
在一些實施例中，手寫輸入模組157提供顯示給使用者的辨識結果之即時更新。舉例而言，在一些實施例中，對於由使用者鍵入之每一額外筆劃，輸入處理模組502視需要重新分段當前累積之手寫輸入，且修訂提供至手寫辨識模型504的分段格及輸入影像。又，手寫辨識模型504視需要修訂提供給結果產生模組506的候選項格。結果，結果產生模組506視需要更新呈現給使用者的辨識結果。如本說明書中所使用，即時手寫辨識係指手寫辨識結果同時或在短時間段內(例如，數十毫秒至數秒內)呈現給使用者的手寫辨識。即時手寫辨識不同於離線辨識(例如，如在離線光學字元辨識(OCR)應用中)，不同之處在於，辨識經立即起始且與接收手寫輸入實質上同時執行，而非在來自經保存以供稍後擷取之所記錄影像的當前使用者會話之後的時間起始並執行。此外，離線字元辨識在無關於個別筆劃及筆劃順序的任何時間資訊的情況下執行，且因此分段在不利用此資訊的情況下執行。另外，類似外觀候選字元之間的歧義消除亦不利用此時間資訊。
在一些實施例中，手寫辨識模型504實施為習知迴旋神經網路(CNN)。圖6說明例示性迴旋神經網路602，其經受關於含有針對呈多個非重疊筆跡之字元之書寫樣本的多筆跡訓練語料庫604之訓練。
如圖6中所展示，迴旋神經網路602包括輸入平面606及輸出平面608。在輸入平面606與輸出平面608之間駐留有複數個迴旋層610(例如，包括第一迴旋層610a、零或零個以上中間迴旋層(圖中未示)及最後迴旋層610n)。每一迴旋層610後為各別子取樣層612(例如，第一子 取樣層612a、零或零個以上中間子取樣層(圖中未示)及最後子取樣層612n)。在迴旋層及子取樣層之後且就在輸出平面608之前駐留有隱藏層614。隱藏層614係輸出平面608之前的最後層。在一些實施例中，在每一迴旋層610之前核心層616(例如，包括第一核心層616a、零或零個以上中間核心層(圖中未示)，及最後核心層616n)插入以改良運算效率。
如圖6中所展示，輸入平面606接收手寫辨識單元(例如，手寫字元或字根)的輸入影像614，且輸出平面608輸出指示辨識單元屬於各別輸出類別(例如，神經網路經組態以辨識之輸出字元集合中的特定字元)之可能性的機率集合。神經網路的輸出類別整體上(或神經網路的輸出字元集合)亦被稱作手寫辨識模型的字集或詞彙表。本文中所描述之迴旋神經網路可經訓練以具有具數萬字元的字集。
當經由神經網路之不同層處理輸入影像614時，藉由迴旋層610擷取嵌入於輸入影像614中之不同空間特徵。每一迴旋層610亦被稱作特徵地圖集合，且充當用於挑選輸入影像614中之特定特徵，從而區分對應於不同字元之影像的篩選器。子取樣層612確保尺度愈加變大的特徵自輸入影像614捕獲。在一些實施例中，子取樣層612使用最大共用(max-pooling)技術來實施。最大共用層在較大局部區上產生位置不變性，且沿著每一方向藉由因數Kx及Ky來對先前迴旋層的輸出影像進行降頻取樣，Kx及Ky為最大共用矩形的大小。最大共用藉由選擇改良通用化效能的極佳不變特徵而導致較快收斂速率。在一些實施例中，使用其他方法來達成子取樣。
在一些實施例中，在迴旋層610n及子取樣層612n之最後集合之後且在輸出平面608之前駐留有充分連接層，即隱藏層614。充分連接之隱藏層614為充分連接最後子取樣層612n中之節點與輸出平面608中之節點的多層感知器。隱藏層614在邏輯回歸到達輸出層608中之輸出 字元中的一者之前且經由前述情形來獲取接收自層的輸出影像。
在訓練迴旋神經網路602期間，迴旋層610中之特徵及與該等特徵相關聯的各別權重以及與隱藏層614中之參數相關聯的權重經調諧，使得藉由訓練語料庫604中之已知輸出類別而針對寫入樣本最小化分類錯誤。一旦已訓練了迴旋神經網路602，且參數之最佳集合及相關聯權重已針對網路中之不同層而建立，迴旋神經網路602便可用以辨識新書寫樣本618，新書寫樣本618並非訓練語料庫604之部分，諸如基於接收自使用者之即時手寫輸入產生的輸入影像。
如本文中所描述，手寫輸入介面之迴旋神經網路使用多筆跡訓練語料庫來訓練以啟用多筆跡或混合式筆跡手寫辨識。在一些實施例中，迴旋神經網路經訓練以辨識三萬至六萬以上個字元的大字集(例如，藉由Unicode標準編碼的所有字元)。多數最新手寫辨識系統係基於與筆劃次序獨立之隱式馬爾可夫方法(HMM)。此外，多數現有手寫辨識模型為語言特定的，且包括具有數十個字元(例如，英語字母表、希臘字母表、所有十個數字等的字元)直至幾千個字元(例如，最常用之中文字元的集合)的小字集。因此，本文中所描述之通用辨識器相較於多數現有系統可處置更大數量級的字元。
一些習知手寫系統可包括若干經個別訓練的手寫辨識模型，其每一者針對特定語言或小字元集合而特製。書寫樣本經由不同辨識模型來傳播，直至可進行分類。舉例而言，手寫樣本可經提供至一系列級聯語言特定或筆跡特定字元辨識模型，若不可藉由第一辨識模型來結論性分類手寫樣本，則其經提供至下一辨識模型，該下一辨識模型試圖在其字集內對手寫樣本進行分類。用於分類之方法係耗時的，且記憶體要求隨著需要使用之每一額外辨識模型而快速地增加。
其他最新模型需要使用者指定慣用語言，且使用所選擇手寫辨識模式來對當前輸入分類。此等實施不僅對於使用及消耗有效記憶體 為繁冗的，而且不可用以辨識混合式語言輸入。需要使用者在輸入混合式語言或混合式筆跡輸入中間切換語言偏好為不切實際的。
本文中所描述之多筆跡或通用辨識器解決習知辨識系統的以上問題中的至少一些。圖7為用於使用大型多筆跡訓練語料庫訓練手寫辨識模組(例如，迴旋神經網路)使得手寫辨識模組可隨後用以提供針對使用者之手寫輸入的即時多語言及多筆跡手寫辨識的例示性程序700之流程圖。
在一些實施例中，手寫辨識模型之訓練在伺服器裝置上執行，且經訓練之手寫辨識模型接著被提供至使用者裝置。手寫辨識模型視需要在使用者裝置上本端地執行即時手寫辨識而不需要來自伺服器的進一步輔助。在一些實施例中，訓練及辨識兩者被提供於同一裝置上。舉例而言，伺服器裝置可自使用者裝置接收使用者之手寫輸入，執行手寫辨識，且將辨識結果即時發送至使用者裝置。
在例示性程序700中，在具有一或多個處理及記憶體的裝置處，裝置基於多筆跡訓練語料庫之空間導出特徵(例如，筆劃次序獨立特徵)而訓練(702)多筆跡手寫辨識模型。在一些實施例中，多筆跡訓練語料庫之空間導出特徵為(704)筆劃次序獨立且筆劃方向獨立的。在一些實施例中，多筆跡手寫辨識模型之訓練獨立於(706)與手寫樣本中各別筆劃相關聯的時間資訊。具體而言，手寫樣本之影像經正規化至預定大小，且影像並不包括關於個別筆劃經鍵入以形成影像之次序的任何資訊。此外，影像亦不包括關於個別筆劃經鍵入以形成影像所用之方向的任何資訊。實際上，在訓練期間，特徵擷取自手寫影像而無關於影像藉由個別筆劃暫時形成的影像。因此，在辨識期間，不需要關於個別筆劃的時間資訊。結果，辨識強健地提供一致辨識結果而無關於手寫輸入中經延遲之無序筆劃及任意筆劃方向。
在一些實施例中，多筆跡訓練語料庫包括對應於至少三個非重 疊筆跡之字元的手寫樣本。如圖6中所展示，多筆跡訓練語料庫包括收集自許多使用者的手寫樣本。每一手寫樣本對應於手寫辨識模型中表示之個別筆跡的一個字元。為了恰當地訓練手寫辨識模型，訓練語料庫包括針對在手寫辨識模型中表示之筆跡之每一字元的大量書寫樣本。
在一些實施例中，至少三個非重疊筆跡包括(708)中文字元、emoji字元及拉丁語筆跡。在一些實施例中，多筆跡手寫辨識模型具有(710)至少三萬個輸出類別，從而表示跨越至少三個非重疊筆跡的三萬個字元。
在一些實施例中，多筆跡訓練語料庫包括以Unicode標準編碼之所有中文字元(例如，所有CJK(中文-日語-韓文)統一象形文字的全部或實質部分)中之每一字元的各別書寫樣本。Unicode標準定義總計約7.4萬CJK統一象形文字。CJK統一象形文字之基本區塊(4E00-9FFF)包括20,941個基本中文字元，該等字元用於中文語言中以及用於日語、韓文及越南語中。在一些實施例中，多筆跡訓練語料庫包括CJK統一像形文字之基本區塊中的所有字元之書寫樣本。在一些實施例中，多筆跡訓練語料庫進一步包括可用以結構上構成一或多個複合中文字元的CJK字根之書寫樣本。在一些實施例中，多筆跡訓練語料庫進一步包括較不頻繁地使用之中文字元(諸如，以CJK統一像形文字擴充中之一或多者編碼的中文字元)的書寫樣本。
在一些實施例中，多筆跡訓練語料庫進一步包括由Unicode標準編碼的呈拉丁語筆跡之所有字元中的每一字元的各別書寫樣本。呈基本拉丁語筆跡之字元包括大寫及小寫拉丁字母，以及常用於標準拉丁鍵盤上的各種基本符號及數字。在一些實施例中，多筆跡訓練語料庫進一步包括呈經擴充拉丁語筆跡的字元(例如，基本拉丁字母的各種口音化形式)。
在一些實施例中，多筆跡訓練語料庫包括對應於並非與任何自然人類語言相關聯的藝術筆跡之每一字元的書寫樣本。舉例而言，在一些實施例中，emoji字元集合視需要以emoji筆跡來定義，且對應於emoji字元中之每一者的書寫樣本包括於多筆跡訓練語料庫中。舉例而言，手繪心形符號為訓練語料庫中針對emoji字元「」的手寫樣本。類似地，手繪微笑笑臉(例如，上翻圓弧上方兩點)為訓練語料庫中針對emoji字元「」的手寫樣本。其他emoji字元包括展示以下三者的多種種類之圖示：不同表情(例如，高興、傷心、生氣、尷尬、吃驚、大笑、哭泣、挫敗等)、不同物件及字元(例如，貓、狗、兔子、心臟、水果、眼睛、嘴唇、禮物、鮮花、蠟燭、月亮、星星等)，及不同動作(例如，握手、親吻、跑步、跳舞、跳躍、睡眠、進食、開會、戀愛、喜歡、投票等)。在一些實施例中，手寫樣本中對應於emoji字元的筆劃為形成對應emoji字元之實際線條的簡化及/或風格線。在一些實施例中，每一裝置或應用程式可將不同設計用於相同emoji字元。舉例而言，呈現給女性使用者之微笑emoji字元可不同於呈現給男性使用者的微笑emoji字元，即使接收自兩個使用者之手寫輸入為實質上相同的。
在一些實施例中，多筆跡訓練語料庫亦包括針對呈諸如以下各者之其他筆跡之字元的書寫樣本：希臘語筆跡(例如，包括希臘字母及符號)、西里爾語筆跡、希伯來語筆跡，及根據Unicode標準編碼的一或多個其他筆跡。在一些實施例中，包括於多筆跡訓練語料庫中之至少三個非重疊筆跡包括中文字元、emoji字元，及呈拉丁語筆跡的字元。中文字元、emoji字元及呈拉丁語筆跡的字元為天然非重疊筆跡。許多其他筆跡針對至少一些字元可彼此重疊。舉例而言，呈拉丁語筆跡之一些字元(例如，A、Z)可在許多其他筆跡(例如，希臘語及西里爾筆跡)中找到。在一些實施例中，多筆跡訓練語料庫包括中文 字元、阿拉伯語筆跡及拉丁語筆跡。在一些實施例中，多筆跡訓練語料庫包括重疊及/或非重疊筆跡的其他組合。在一些實施例中，多筆跡訓練語料庫包括針對由Unicode標準編碼之所有字元的書寫樣本。
如圖7中所展示，在一些實施例中，為了訓練多筆跡手寫辨識模型，裝置提供(712)多筆跡訓練語料庫之手寫樣本至具有單一輸入平面及單一輸出平面的單一迴旋神經網路。裝置使用迴旋神經網路判定(714)手寫樣本之空間導出特徵(例如，筆劃次序獨立特徵)，及用於區別在多筆跡訓練語料庫中表示之至少三個非重疊筆跡之字元的空間導出特徵之各別權重。多筆跡手寫辨識模型不同於習知多筆跡手寫辨識模型在於，具有單一輸入平面及單一輸出平面的單一手寫辨識模型使用多筆跡訓練語料庫中的所有樣本進行訓練。單一迴旋神經網路經訓練以區別多筆跡訓練語料庫中所表示之所有字元，而不依賴於各自處置訓練語料庫之小子集的個別子網路(例如，各自為了辨識特定筆跡之字元或用於特定語言中之字元而訓練的子網路)。此外，單一迴旋神經網路經訓練以區別跨越多個非重疊筆跡的大量字元，而非幾個重疊筆跡(諸如，拉丁語筆跡及希臘筆跡)的字元(例如，在重疊字母A、B、E、Z等情況下)。
在一些實施例中，裝置使用多筆跡手寫辨識模型提供(716)針對使用者之手寫輸入的即時手寫辨識，該多筆跡手寫辨識模型已經受關於多筆跡訓練語料庫之空間導出特徵之訓練。在一些實施例中，提供使用者之手寫輸入的即時手寫辨識包括隨著使用者繼續提供手寫輸入的添加及修訂而連續地修訂使用者之手寫輸入的辨識輸出。在一些實施例中，提供使用者之手寫輸入的即時手寫辨識進一步包括(718)提供多筆跡手寫辨識模型至使用者裝置，其中使用者裝置自使用者接收手寫輸入，且基於多筆跡手寫辨識模型對手寫輸入本端地執行手寫辨識。
在一些實施例中，裝置提供多筆跡手寫辨識模型至在各別輸入語言上不具有現有重疊的複數個裝置，且多筆跡手寫辨識模型用於複數個裝置中之每一者上用於與該每一使用者裝置相關聯之不同語言的手寫辨識。舉例而言，當多筆跡手寫辨識模型已經訓練以辨識呈許多不同筆跡及語言的字元時，相同手寫辨識模型可在世界範圍內使用以提供彼等輸入語言中之任一者的手寫輸入。用於僅希望以英語及希伯來語進行輸入之使用者的第一裝置可使用與用於僅希望以中文及emoji字元進行輸入之另一使用者的第二裝置相同之手寫辨識模型來提供手寫輸入功能性。替代需要第一裝置之使用者單獨地安裝英語手寫輸入鍵盤(例如，藉由英語特定手寫辨識模型實施)與單獨之希伯來語手寫輸入鍵盤(藉由希伯來語特定手寫辨識模型實施)，相同通用多筆跡手寫辨識模型可替代地在第一裝置上安裝一次，且用以提供用於英語、希伯來語以及以兩種語言之混合輸入的手寫輸入功能。此外，替代需要第二使用者安裝中文手寫輸入鍵盤(例如，藉由中文特定手寫辨識模型實施)與單獨之emoji手寫輸入鍵盤(藉由emoji特定手寫辨識模型實施)，相同通用多筆跡手寫辨識模型可在第二裝置上安裝一次，且用以提供用於中文、emoji以及以兩種筆跡之混合輸入的手寫輸入功能。使用相同多筆跡手寫模型來處置跨越多個筆跡的大型字集(例如，以幾乎一百個不同筆跡編碼之字元的實質部分或全部)改良辨識器之可用性而無對部分裝置供應商及使用者的實質負擔。
使用大型多筆跡訓練語料庫進行訓練之多筆跡手寫辨識模型不同於習知基於HMM的手寫辨識系統，且的確不依賴於與字元之個別筆劃相關聯的時間資訊。此外，多筆跡辨識系統之資源及記憶體要求並不隨著由多筆跡辨識系統涵蓋之符號及語言的增加而線性增加。舉例而言，在習知手寫系統中，增加語言之數目意謂添加另一獨立訓練之模型，且記憶體要求將至少加倍以適應手寫辨識系統的增加之能 力。相反，當多筆跡模型由多筆跡訓練語料庫進行訓練時，使語言涵蓋面增加需要藉由額外手寫樣本重新訓練手寫辨識模型，並使輸出平面之大小增大，但增大量為非常適中的。假定多筆跡訓練語料庫包括對應於 n 個不同語言的手寫樣本，且多筆跡手寫辨識模型佔用大小為 m 的記憶體，當使語言涵蓋面增加至N種語言(N>n)時，裝置基於第二多筆跡訓練語料庫之空間導出特徵重新訓練多筆跡手寫辨識模型，第二多筆跡訓練語料庫包括對應於 N 種不同語言的第二手寫樣本。 M/m 之改變在1至2之範圍內保持實質上恆定，其中 N/n 之改變係自1至100。一旦多筆跡手寫辨識模型已經重新訓練，裝置便可使用經重新訓練之多筆跡手寫辨識模型來提供用於使用者之手寫輸入的即時手寫辨識。
圖8A至圖8B展示用於提供攜帶型使用者裝置(例如，裝置100)上的即時多筆跡手寫辨識及輸入的例示性使用者介面。在圖8A至圖8B中，手寫輸入介面802顯示於使用者裝置的觸敏式顯示幕(例如，觸控式螢幕112)上。手寫輸入介面802包括手寫輸入區域804、候選項顯示區域806及文字輸入區域808。在一些實施例中，手寫輸入介面802進一步包括複數個控制元件，其中每一控制元件可經調用以使得手寫輸入介面執行預定功能。如圖8A中所展示，刪除按鈕、空格按鈕、換行或回車按鈕、鍵盤切換按鈕包括於手寫輸入介面中。其他控制元件為可能的，且可視需要提供於手寫輸入介面中以適宜於利用手寫輸入介面802的每一不同應用程式。手寫輸入介面802之不同組件的佈局僅為說明性的，且對於不同裝置及不同應用程式可發生變化。
在一些實施例中，手寫輸入區域804為用於自使用者接收手寫輸入的觸敏式區域。觸控式螢幕上在手寫輸入區域804內之持續接觸及其關聯運動路徑作為手寫筆劃進行登記。在一些實施例中，由裝置登記之手寫筆劃在藉由持續接觸回溯之相同位置處在手寫輸入區域804 內經視覺地顯現。如圖8A中所展示，在手寫輸入區域804中已向使用者提供了數個手寫筆劃，包括一些手寫中文字元(例如，「我很」)、一些手寫英語字母(例如，「Happy」)及手繪emoji字元(例如，微笑)。手寫字元在手寫輸入區域804中以多行(例如，兩行)分佈。
在一些實施例中，候選項顯示區域806顯示在手寫輸入區域804中當前累積之手寫輸入的一或多個辨識結果(例如，810及812)。一般而言，最高排名辨識結果(例如，810)顯示於候選項顯示區域中的第一位置中。如圖8A中所展示，由於本文中所描述之手寫辨識模型能夠辨識包括中文字元、拉丁語筆跡及emoji字元之多個非重疊筆跡的字元，因此由辨識模型提供之辨識結果(例如，810)正確地包括由手寫輸入表示的中文字元、英語字母及emoji字元。不需要使用者在書寫輸入中間停止以選定或切換辨識語言。
在一些實施例中，文字輸入區域808為顯示提供至使用手寫輸入介面之各別應用程式的文字輸入之區域。如圖8A中所展示，文字輸入區域808由備忘錄應用程式使用，且當前展示於文字輸入區域808內之文字(例如，「America很美丽」)為已提供至備忘錄應用程式的文字輸入。在一些實施例中，游標813指示文字輸入區域808中的當前文字輸入位置。
在一些實施例中，使用者可(例如)藉由以下兩者選擇顯示於候選項顯示區域806中的特定辨識結果：顯式選擇輸入(例如，所顯示辨識結果中之一者上的觸按示意動作)，或隱式確認輸入(例如，手寫輸入區域中的「回車」按鈕上之觸按示意動作或雙觸按示意動作)。如圖8B中所展示，使用者已使用觸按示意動作顯式選擇排名最高的辨識結果810(如藉由圖8A中辨識結果810上的接觸814所指示)。回應於選擇輸入，辨識結果810之文字在文字輸入區域808中由游標813指示的插入點處被插入。如圖8B中所展示，一旦所選擇辨識結果810的文字 已被鍵入至文字輸入區域808中，手寫輸入區域804及候選項顯示區域806便皆被清除。手寫輸入區域804現準備好接受新手寫輸入，且候選項顯示區域806現可用以顯示新手寫輸入的辨識結果。在一些實施例中，隱式確認輸入使得最高排名辨識結果被鍵入至文字輸入區域808而無需使用者停止並選擇最高排名的辨識結果。良好設計之隱式確認輸入改良文字鍵入速度且減少在文字合成期間施加於使用者上的認知負擔。
在一些實施例(圖8A至圖8B中未展示)中，當前手寫輸入之最高排名辨識結果視需要試驗性地顯示於文字輸入區域808中。展示於文字輸入區域808中的試驗性文字輸入(例如)藉由包圍試驗性文字輸入的試驗性輸入框來與文字輸入區域中的其他文字輸入在視覺上相區別。展示於試驗性輸入框中之文字尚未提交或提供至相關聯應用程式(例如，備忘錄應用程式)，且在最高排名辨識結果(例如)回應於當前手寫輸入的使用者修訂而藉由手寫輸入模組改變時被自動更新。
圖9A至圖9B為用於在使用者裝置上提供多筆跡手寫辨識之例示性程序900的流程圖。在一些實施例中，如圖900中所展示，使用者裝置接收(902)多筆跡手寫辨識模型，該多筆跡辨識模型已經受關於多筆跡訓練語料庫之空間導出特徵(例如，筆劃次序及筆劃方向獨立特徵)之訓練，多筆跡訓練語料庫包括對應於至少三個非重疊筆跡之字元的手寫樣本。在一些實施例中，多筆跡手寫辨識模型為(906)具有單一輸入平面及一單一輸出平面的單一迴旋神經網路，且包括空間導出特徵及用於區別多筆跡訓練語料庫中表示之至少三個非重疊筆跡之字元的空間導出特徵的各別權重。在一些實施例中，多筆跡手寫辨識模型經組態(908)以基於手寫輸入中識別出之一或多個辨識單元的各別輸入影像來辨識字元，且用於辨識之各別空間導出特徵獨立於手寫輸入中的各別筆劃次序、筆劃方向及筆劃的連續性。
在一些實施例中，使用者裝置自使用者接收(908)手寫輸入，手寫輸入包括提供於耦接至使用者裝置之觸敏式表面上的一或多個手寫筆劃。舉例而言，手寫輸入包括關於位置及手指或手寫筆與耦接至使用者裝置之觸敏式表面之間的接觸之移動的各別資料。回應於接收到手寫輸入，使用者裝置基於多筆跡手寫辨識模型即時地將一或多個手寫辨識結果提供(910)至使用者，該多筆跡手寫辨識模型已經受關於多筆跡訓練語料庫之空間導出特徵之訓練。
在一些實施例中，當提供即時手寫辨識結果至使用者時，使用者裝置將使用者之手寫輸入分段(912)成一或多個辨識單元，每一辨識單元包括由使用者提供之手寫筆劃中的一或多者。在一些實施例中，使用者裝置根據由使用者之手指或手寫筆與使用者裝置之觸敏式表面之間的接觸畫出之個別筆劃的形狀、位置及大小來對使用者之手寫輸入進行分段。在一些實施例中，手寫輸入之分段進一步考慮由使用者之手指或手寫筆與使用者裝置之觸敏式表面之間的接觸畫出之個別筆劃的相對次序及相對位置。在一些實施例中，使用者之手寫輸入呈草書體書寫樣式，且手寫輸入中之每一連續筆劃可對應於呈印刷形式之所辨識字元中的多個筆劃。在一些實施例中，使用者之手寫輸入可包括跨越呈印刷形式之多個所辨識字元的連續筆劃。在一些實施例中，手寫輸入之分段產生各自對應於各別辨識單元的一或多個輸入影像。在一些實施例中，輸入影像中之一些視需要包括一些重疊像素。在一些實施例中，輸入影像並不包括任何重疊像素。在一些實施例中，使用者裝置產生分段格，分段格之每一分段鏈表示對當前手寫輸入進行分段的各別方式。在一些實施例中，分段鏈中之每一圓弧對應於當前手寫輸入中的各別筆劃群組。
如圖900中所展示，使用者裝置提供(914)一或多個辨識單元中之每一者的各別影像作為至多筆跡辨識模型的輸入。對於一或多個辨識 單元中的至少一者，使用者裝置自多筆跡手寫辨識模型獲得(916)來自第一筆跡之至少一第一輸出字元及來自不同於第一筆跡之第二筆跡的至少一第二輸出。舉例而言，相同輸入影像可使得多筆跡辨識模型來輸出來自不同筆跡之兩個或兩個以上類似外觀輸出字元作為相同輸入影像的辨識結果。舉例而言，針對呈拉丁語筆跡之字母「a」與呈希臘筆跡之字元「α」的手寫輸入常常類似。此外，針對呈拉丁語筆跡之字母「J」與中文字元「丁」的手寫輸入常常類似。類似地，針對emoji字元「」之手寫輸入可類似於針對CJK字根「西」的手寫輸入。在一些實施例中，多筆跡手寫辨識模型常常產生很可能對應於使用者之手寫輸入的多個候選辨識結果，此係因為手寫輸入之視覺外觀甚至對於人類讀者都將難以解密。在一些實施例中，第一筆跡為CJK基本字元區塊，且第二筆跡為如藉由Unicode標準編碼的拉丁語筆跡。在一些實施例中，第一筆跡為CJK基本字元區塊，且第二筆跡為emoji字元集合。在一些實施例中，第一筆跡為拉丁語筆跡，且第二筆跡為emoji字元。
在一些實施例中，使用者裝置在使用者裝置之手寫輸入介面的候選項顯示區域中顯示(918)第一輸出字元及第二輸出字元兩者。在一些實施例中，使用者裝置基於第一及第二筆跡中之哪一者係用於當前安裝於使用者裝置上之各別筆跡而選擇性地顯示(920)第一輸出字元及第二輸出字元中的一者。舉例而言，假定手寫辨識模型已識別出了中文字元「入」及希臘字母「λ」作為當前手寫輸入的輸出字元，則使用者裝置判定使用者是否已在使用者裝置上安裝了中文螢幕小鍵盤(例如，使用拼音輸入方法的鍵盤)或希臘語輸入鍵盤。若使用者裝置判定已安裝了僅中文螢幕小鍵盤，則使用者裝置視需要顯示僅中文字元「入」且不顯示希臘字母「λ」作為辨識結果給使用者。
在一些實施例中，使用者裝置提供即時手寫辨識及輸入。在一 些實施例中，在使用者作出顯示給使用者之辨識結果的顯式或隱式選擇之前，使用者裝置回應於由使用者進行之手寫輸入的繼續添加或修訂而連續修訂(922)使用者之手寫輸入的一或多個辨識結果。在一些實施例中，回應於一或多個辨識結果之每一修訂，使用者在手寫輸入使用者介面之候選項顯示區域中顯示(924)各別一或多個經修訂辨識結果至使用者。
在一些實施例中，多筆跡手寫辨識模型經訓練(926)以辨識包括以下各者之至少三個非重疊筆跡的所有字元：中文字元、emoji字元及根據Unicode標準編碼的拉丁語筆跡。在一些實施例中，至少三個非重疊筆跡包括中文字元、阿拉伯語筆跡及拉丁語筆跡。在一些實施例中，多筆跡手寫辨識模型具有(928)至少三萬個輸出類別，從而表示跨越至少三個非重疊筆跡的至少三萬個字元。
在一些實施例中，使用者裝置允許使用者鍵入多筆跡手寫輸入，諸如包括呈一種以上筆跡之字元的片語。舉例而言，使用者可連續地書寫，且接收包括呈一種以上筆跡之字元的手寫辨識結果，而不在書寫中間停止以手動地切換辨識語言。舉例而言，使用者可在使用者裝置之手寫輸入區域中書寫多筆跡句子「Hello means你好in Chinese」，而不必在書寫中文字元「你好」之前將輸入語言自英語切換至中文或在書寫英語單詞「in Chinese」時將輸入語言自中文切換回至英語。
如本文中所描述，多筆跡手寫辨識模型用以提供使用者之輸入的即時手寫辨識。在一些實施例中，即時手寫辨識用以在使用者之裝置上提供即時多筆跡手寫輸入功能性。圖10A至圖10C為用於在使用者裝置上提供即時手寫辨識及輸入之例示性程序1000的流程圖。具體而言，即時手寫辨識在字元層級、片語層級及句子層級與筆劃次序獨立。
在一些實施例中，字元層級之與筆劃方向獨立的手寫辨識要求手寫辨識模型對於特定手寫字元提供相同辨識結果，而無關於特定字元之由使用者提供個別筆劃所用的順序。舉例而言，中文字元之個別筆劃通常以特定次序書寫。儘管中文之母語使用者常常在學校中經訓練而以特定次序書寫每一字元，但許多使用者後來已採用偏離習知筆劃次序的個人化樣式及筆劃順序。此外，草書體書寫樣式經高度個別化，且中文字元的呈印刷形式之多個筆劃常常經合併至扭轉並轉向且有時甚至繼續至下一字元的單一風格筆劃。與筆劃次序獨立之辨識模型基於無與個別筆劃相關聯之時間資訊的書寫樣本之影像來訓練。因此，辨識與筆劃次序資訊獨立。舉例而言，對於中文字元「十」，相同辨識結果「十」將由手寫辨識模型提供，而無關於使用者首先書寫水平筆劃抑或首先書寫垂直筆劃。
如圖10A中所展示，在程序1000中，使用者裝置自使用者接收(1002)複數個手寫筆劃，該複數個手寫筆劃對應於手寫字元。舉例而言，字元「十」的手寫輸入通常包括與實質上垂直手寫筆劃交叉的實質上水平手寫筆劃。
在一些實施例中，使用者裝置基於複數個手寫筆劃產生(1004)輸入影像。在一些實施例中，使用者裝置提供(1006)輸入影像至手寫辨識模型以執行手寫字元的即時手寫辨識，其中手寫辨識模型提供與筆劃次序獨立的手寫辨識。使用者裝置接著在接收複數個手寫筆劃時即時地顯示(1008)等同之第一輸出字元(例如，呈印刷形式之字元「十」)，而無關於自使用者接收複數個手寫筆劃(例如，水平筆劃及垂直筆劃)的各別次序。
儘管一些習知手寫辨識系統藉由具體而言將小數目個字元上的較小筆劃次序變化包括於手寫辨識系統的訓練中而准許此等變化。此等手寫辨識系統並不按比例縮放以適應大量複雜字元(諸如，中文字 元)上的任意筆劃次序變化，此係因為甚至適中複雜性之字元亦將引起筆劃次序的大量變化。此外，藉由僅包括特定字元之可接受筆劃次序的更多置換，習知辨識系統仍將不能處置以下手寫輸入：多個筆劃經組合成單一筆劃(例如，如在極佳草書體樣式之書寫中)的手寫輸入，或一個筆劃被打斷成多個子筆劃(例如，如在藉由輸入筆劃之極佳粗略取樣捕獲的字元中)。因此，如本文中所描述的經受關於空間導出特徵之訓練的多筆跡手寫系統提供優於習知辨識系統的優點。
在一些實施例中，與筆劃次序獨立之手寫辨識獨立於與每一手寫字元內之個別筆劃相關聯的時間資訊而執行。在一些實施例中，與筆劃次序獨立之手寫辨識結合筆劃分佈資訊來執行，該筆劃分佈資訊考慮個別筆劃在其被合併至平坦輸入影像之前的空間分佈。關於時間導出之筆劃分佈資訊用以擴增上文描述之與筆劃次序獨立之手寫辨識的方式的更多細節稍後在說明書中(例如，關於圖25A至圖27)來提供。關於圖25A至圖27描述之技術並不破壞手寫辨識系統的筆劃次序獨立性。
在一些實施例中，手寫辨識模型提供(1010)與筆劃方向獨立的手寫辨識。在一些實施例中，與筆劃方向獨立之辨識要求使用者裝置回應於接收到複數個手寫輸入而顯示等同之第一輸出字元，而無關於由使用者提供複數個手寫筆劃中之每一筆劃所用的各別筆劃方向。舉例而言，若使用者已在使用者裝置之手寫輸入區域中書寫了中文字元「十」，則手寫辨識模型將輸出相同辨識結果，而無關於使用者已自左向右抑或自右向左繪製出水平筆劃。類似地，手寫辨識模型將輸出相同辨識結果，而無關於使用者已在向下方向抑或在向上方向上繪製出垂直筆劃。在另一實例中，許多中文字元在結構上由兩個或兩個以上字根構成。一些中文字元各自包括左字根及右字根，且人們習慣上首先書寫左字根且接著書寫右字根。在一些實施例中，手寫辨識模型將 提供相同辨識結果，而無關於使用者首先書寫右字根抑或首先書寫左字根，只要所得手寫輸入在使用者完成手寫字元時展示左字根在右字根左側即可。類似地，一些中文字元各自包括上字根及下字根，且人們習慣上首先書寫上字根且最後書寫下字根。在一些實施例中，手寫辨識模型將提供相同辨識結果，而無關於使用者首先書寫上字根抑或下字根，只要所得手寫輸入展示上字根在下字根上方即可。換言之，手寫辨識模型並不依賴於使用者提供手寫字元之個別筆劃所用的方向來判定手寫字元之識別。
在一些實施例中，手寫辨識模型基於辨識單元之影像來提供手寫辨識，而無關於辨識單元已由使用者提供之子筆劃的數目。換言之，在一些實施例中，手寫辨識模型提供(1014)與筆劃計數獨立的手寫辨識。在一些實施例中，使用者裝置回應於接收到複數個手寫筆劃而顯示等同的第一輸出字元，而無關於多少個手寫筆劃用以形成輸入影像中的連續筆劃。舉例而言，若使用者已在手寫輸入區域中書寫了中文字元「十」，則手寫辨識模型輸出相同辨識結果，而無關於使用者是否已提供了四個筆劃(例如，兩個短水平筆劃及兩個短垂直筆劃以構成十字狀字元)或兩個筆劃(例如，L狀筆劃及7狀筆劃，或一水平筆劃及一垂直筆劃)或任何其他數目個筆劃(例如，數百個極短筆劃或點)來構成字元「十」的形狀。
在一些實施例中，手寫辨識模型不僅能夠辨識相同字元而無關於已書寫每一單一字元所用的筆劃次序、筆劃方向及筆劃計數，手寫辨識模型亦能夠辨識多個字元而無關於由使用者提供多個字元之筆劃所用的時間次序。
在一些實施例中，使用者裝置自使用者不僅接收第一複數個手寫筆劃，而且接收(1016)第二複數個手寫筆劃，其中第二複數個手寫筆劃對應於第二手寫字元。在一些實施例中，使用者裝置基於第二複 數個手寫筆劃產生(1018)第二輸入影像。在一些實施例中，使用者裝置提供(1020)第二輸入影像至手寫辨識模型以執行第二手寫字元的即時辨識。在一些實施例中，使用者裝置在接收第二複數個手寫筆劃時即時地顯示(1022)對應於第二複數個手寫筆劃的第二輸出字元。在一些實施例中，第二輸出字元及第一輸出字元獨立於第一複數個手寫筆劃及第二複數個手寫筆劃已由使用者提供所用之各別次序而以空間順序同時顯示。舉例而言，若使用者在使用者裝置之手寫輸入區域中已書寫了兩個中文字元(例如，「十」及「八」)，則使用者裝置將顯示辨識結果「十八」，而無關於使用者首先書寫字元「十」的筆劃抑或字元「八」的筆劃，只要同時累積於手寫輸入區域中之手寫輸入展示字元「十」的筆劃在字元「八」的筆劃左側即可。實際上，即使使用者已在字元「十」之一些筆劃(例如，垂直筆劃)之前書寫了字元「八」的一些筆劃(例如，左撇筆劃)，只要手寫輸入區域中手寫輸入的所得影像展示字元「十」之所有筆劃在字元「八」的所有筆劃左側，使用者裝置便將展示兩個手寫字元之呈空間順序的辨識結果「十八」。
換言之，如圖10B中所展示，在一些實施例中，第一輸出字元及第二輸出字元之空間順序對應於(1024)第一複數個手寫筆劃及第二複數個筆劃沿著使用者裝置之手寫輸入介面之預設書寫方向(例如，自左向右)的空間分佈。在一些實施例中，第二複數個手寫筆劃在時間上在第一複數個手寫筆劃之後被接收(1026)，且第二輸出字元在沿著使用者裝置之手寫輸入介面之預設書寫方向(例如，自左向右)的空間順序上先於第一輸出字元。
在一些實施例中，手寫辨識模型在句子至句子層級提供與筆劃次序獨立的辨識。舉例而言，即使手寫字元「十」係在第一手寫句子中，且手寫字元「八」在第二手寫句子中，且兩個手寫字元在手寫輸 入區域中藉由一或多個其他手寫字元及/或詞語分離，手寫辨識模型仍將提供展示呈空間順序「十…八」之兩個字元的辨識結果。兩個經辨識字元之辨識結果及空間順序保持相同，而無關於使用者提供兩個字元之筆劃所用的時間次序，其限制條件為兩個字元之辨識單元在使用者完成手寫輸入時空間上以順序「十…八」配置。在一些實施例中，第一手寫字元(例如，「十」)藉由使用者提供作為第一手寫句子(例如，「十is a number.」)的部分，且第二手寫字元(例如，「八」)藉由使用者提供作為第二手寫句子(例如「八is another number.」)的部分，且第一及第二手寫句子同時顯示於使用者裝置的手寫輸入區域中。在一些實施例中，當使用者確認辨識結果(例如，「十is a number.八is another number.」)為正確辨識結果時，兩個句子將被鍵入至使用者裝置的文字輸入區域中，且手寫輸入區域將被清除以供使用者鍵入另一手寫輸入。
在一些實施例中，由於手寫辨識模型不僅在字元層級而且在片語層級及句子層級與筆劃次序獨立，因此使用者在已書寫了後續字元之後可對先前未完成的字元進行校正。舉例而言，若使用者在移動以在手寫輸入區域中書寫一或多個後續字元之前已遺忘了書寫字元的特定筆劃，則使用者可仍在特定字元之正確位置處記下遺漏之筆劃以接收正確辨識結果。
在習知筆劃次序相依辨識系統(例如，基於HMM之辨識系統)中，一旦書寫了字元，字元便被提交，且使用者不可再對字元進行任何改變。若使用者希望作出任何改變，則使用者必須刪除字元，且所有後續字元再次全部開始。在一些習知辨識系統中，要求使用者在短預定時間窗內完成手寫字元，且在預定時間窗外部鍵入之任何筆劃將不包括於與在時間窗內提供之其他筆劃相同的辨識單元內。此等習知系統對於使用者難以使用且引起許多挫敗感。與筆劃次序獨立之系統 並不遭受此等缺點，且使用者可以使用者認為合適之任何次序及任何時框完成字元。使用者亦可在已隨後在手寫輸入介面中書寫了一或多個字元之後對較早書寫之字元進行校正(例如，添加一或多個筆劃)。在一些實施例中，使用者亦可個別地刪除(例如，使用稍後關於圖21A至圖22B描述的方法)較早書寫之字元，且在手寫輸入介面中於相同位置重寫該字元。
如圖10B至圖10C中所展示，第二複數個手寫筆劃沿著使用者裝置之手寫輸入介面的預設書寫方向在空間上跟隨(1028)第一複數個手寫筆劃，且第二輸出字元沿著手寫輸入介面之候選項顯示區域的預設書寫方向在空間順序上跟隨第一輸出字元。使用者裝置自使用者接收(1030)第三手寫筆劃以修訂第一手寫字元(亦即，由第一複數個手寫筆劃形成的手寫字元)，第三手寫筆劃時間上在第一複數個及第二複數個手寫筆劃之後被接收。舉例而言，使用者已在手寫輸入區域中在空間順序上自左向右書寫了兩個字元(例如，「人体」)。第一複數個筆劃形成手寫字元「人」。請注意，使用者實際上意欲書寫字元「个」，但遺漏了一個筆劃。第二複數個筆劃形成手寫字元「体」。當使用者稍後認識到其希望書寫「个体」而非「人体」時，使用者可簡單地在字元「人」之筆劃下方添加再一個垂直筆劃，且使用者裝置將把垂直筆劃指派給第一辨識單元(例如，「人」的辨識單元)。使用者裝置將輸出新輸出字元(例如，「人」)用於第一辨識單元，其中新輸出字元將替換辨識結果中的先前輸出字元(例如，「人」)。如圖10C中所展示，回應於接收到第三手寫筆劃，使用者裝置基於第三手寫筆劃至第一複數個手寫筆劃之相對近接而將第三手寫筆劃指派(1032)給與第一複數個手寫筆劃相同的辨識單元。在一些實施例中，使用者裝置基於第一複數個手寫筆劃及第三手寫筆劃產生(1034)經修訂之輸入影像。使用者裝置提供(1036)經修訂之輸入影像至手寫辨識模型以執行經修 訂之手寫字元的即時辨識。在一些實施例中，使用者裝置回應於接收到第三手寫輸入而顯示(1040)對應於經修訂之輸入影像的第三輸出字元，其中第三輸出字元替換第一輸出字元，且沿著預設書寫方向在空間順序上與第二輸出字元同時顯示。
在一些實施例中，手寫辨識模組辨識在自左向右之預設方向上書寫的手寫輸入。舉例而言，使用者可自左向右且以一或多個列書寫字元。回應於手寫輸入，手寫輸入模組呈現包括空間順序上自左向右且在必要時呈一或多個列的辨識結果。若使用者選擇辨識結果，則所選擇辨識結果被輸入至使用者裝置的文字輸入區域中。在一些實施例中，預設書寫方向為自上向下。在一些實施例中，預設書寫方向為自左向右。在一些實施例中，使用者視需要在已選擇了辨識結果且已清除了手寫輸入區域之後改變預設書寫方向至替代性書寫方向。
在一些實施例中，手寫輸入模組使用者允許在手寫輸入區域中鍵入多字元手寫輸入且允許一次刪除來手寫輸入之一個辨識單元的筆劃而非一次刪除所有辨識單元。在一些實施例中，手寫輸入模組允許一次自手寫輸入刪除一個筆劃。在一些實施例中，辨識單元之刪除在與預設書寫方向相反之方向上逐一進行，而無關於鍵入辨識單元或筆劃以產生當前手寫輸入所用的次序。在一些實施例中，筆劃之刪除以筆劃在每一辨識單元內已被鍵入之次序的相反次序逐一進行，且當一個辨識單元中之筆劃已皆被刪除時，筆劃之刪除在與預設書寫方向相反的方向上進行至下一辨識單元。
在一些實施例中，在第三輸出字元及第二輸出字元在手寫輸入介面之候選項顯示區域中同時顯示為候選辨識結果時，使用者裝置接收來自使用者的刪除輸入。回應於刪除輸入，使用者裝置自辨識結果刪除第二輸出字元，同時維持顯示於候選項顯示區域中之辨識結果中的第三輸出字元。
在一些實施例中，如圖10C中所展示，隨著第一複數個手寫筆劃、第二複數個手寫筆劃及第三手寫筆劃中之每一者由使用者提供，使用者裝置即時顯現(1042)該等手寫筆劃。在一些實施例中，回應於自使用者接收到刪除輸入，使用者裝置自手寫輸入區域刪除(1044)第二複數個手寫輸入(例如，對應於第二手寫字元)的各別顯現，同時在手寫輸入區域中維持第一複數個手寫筆劃及第三手寫筆劃(例如，一起對應於經修訂之第一手寫字元)的各別顯現。舉例而言，在使用者已提供字元序列「个体」中之遺漏垂直筆劃之後，若使用者鍵入了刪除輸入，則字元「体」之辨識單元中的筆劃自手寫輸入區域被移除，且字元「体」自使用者裝置之候選項顯示區域中的辨識結果「个体」被移除。在刪除之後，字元「个」之筆劃保持於手寫輸入區域中，同時辨識結果展示僅字元「个」。
在一些實施例中，手寫字元為多筆劃中文字元。在一些實施例中，第一複數個手寫輸入以草書體書寫樣式來提供。在一些實施例中，第一複數個手寫輸入以草書體書寫樣式提供，且手寫字元為多筆劃中文字元。在一些實施例中，手寫字元以草書體樣式以阿拉伯語書寫。在一些實施例中，手寫字元以草書體樣式以其他筆跡書寫。
在一些實施例中，使用者裝置建立對手寫字元輸入之可接受尺寸集合的各別預定約束，且基於該等各別預定約束將當前累積之複數個手寫筆劃分段成複數個辨識單元，其中各別輸入影像產生自辨識單元中之每一者，提供至手寫辨識模型且辨識為對應輸出字元。
在一些實施例中，使用者裝置在已分段了當前累積之複數個手寫筆劃之後自使用者接收額外手寫筆劃。使用者裝置基於額外手寫筆劃相對於複數個辨識單元的空間位置而將額外手寫筆劃指派給複數個辨識單元中的一個別者。
現將注意力轉向用於在使用者裝置上提供手寫辨識及輸入的例 示性使用者介面。在一些實施例中，例示性使用者介面基於多筆跡手寫辨識模型而提供於使用者裝置上，該多筆跡手寫辨識模型提供使用者之手寫輸入的即時、與筆劃次序獨立的手寫辨識。在一些實施例中，例示性使用者介面為例示性手寫輸入介面802(例如，展示於圖8A及圖8B中)的使用者介面，包括手寫輸入區域804、候選項顯示區域806及文字輸入區域808。在一些實施例中，例示性手寫輸入介面802亦包括複數個控制元件1102，諸如刪除按鈕、空格鍵、回車按鈕、鍵盤切換按鈕等。一或多個其他區域及/或元件可提供於手寫輸入介面802中以啟用下文所描述的額外功能性。
如本文中所描述，多筆跡手寫辨識模型能夠具有呈許多不同筆跡及語言的數萬字元的極大型字集。結果，極有可能的是，對於手寫輸入，辨識模型將識別皆具有係由使用者所要之字元的相當良好可能性的大量輸出字元。在使用者裝置具有有限顯示區域時，有利的是最初提供辨識結果之僅子集，同時在使用者請求之後保持其他結果可用。
圖11A至11G展示用於在候選項顯示區域之標準視圖中顯示辨識結果之子集連同可視線索的例示性使用者介面，該可視線索用於調用候選項顯示區域的用於顯示辨識結果之剩餘部分的延伸視圖。此外，在候選項顯示區域之延伸視圖內，辨識結果被劃分成不同種類，且在延伸視圖中顯示於不同索引標籤式頁面上。
圖11A展示例示性手寫輸入介面802。手寫輸入介面包括手寫輸入區域804、候選項顯示區域806及文字輸入區域808。一或多個控制元件1102亦包括於手寫輸入介面1002中。
如圖11A中所展示，候選項顯示區域806視需要包括用於顯示一或多個辨識結果及可視線索1104(例如，延伸視圖)的區域，該可視線索調用候選項顯示區域806的延伸版本。
圖11A至圖11C說明，隨著使用者在手寫輸入區域804中提供一或多個手寫筆劃(例如，筆劃1106、1108及1110)，使用者裝置識別並顯示對應於當前累積於手寫輸入區域804中的辨識結果之各別集合。如圖11B中所展示，在使用者已鍵入第一筆劃1106之後，使用者裝置識別並顯示三個辨識結果1112、1114及1116(例如，字元「/」、「1」及「,」)。在一些實施例中，小數目個候選字元以根據與每一字元相關聯之辨識信賴的次序顯示於候選項顯示區域806中。
在一些實施例中，最高排名候選結果(例如，「/」)試驗性地顯示於文字輸入區域808中，例如，框1118內。使用者可視需要藉由簡單確認輸入(例如，藉由按壓「回車」鍵，或在手寫輸入區域中提供雙觸按示意動作)確認，最高排名候選字元為所欲輸入。
圖11C說明，在使用者已選擇了任何候選辨識結果之前，隨著使用者在手寫輸入區域804中鍵入兩個或以上筆劃1108及1110，額外筆劃與初始筆劃1106一起顯現於手寫輸入區域804中，且候選結果經更新以反映對辨識單元之自當前累積手寫輸入識別出的改變。如圖11C中所展示，基於三個筆劃，使用者裝置已識別出單一辨識單元。基於單一辨識單元，使用者裝置已識別並顯示了數個辨識結果1118至1124。在一些實施例中，當前顯示於候選項顯示區域806中的辨識結果中之一或多者(例如，1118及1122)各自為選自當前手寫輸入中之多個類似外觀候選字元中的代表性候選字元。
如圖11C至圖11D中所展示，當使用者選擇可視線索1104(例如，使用藉由可視線索1104上之接觸1126的觸按示意動作)，候選項顯示區域自標準視圖(例如，展示於圖11C中)改變至延伸視圖(例如，展示於圖11D中)。在一些實施例中，延伸視圖展示針對當前手寫輸入已識別出之所有辨識結果(例如，候選字元)。
在一些實施例中，候選項顯示區域806之最初顯示的標準視圖僅 展示用於各別筆跡或語言中的最常用字元，而延伸視圖展示所有候選字元，包括在筆跡或語言中罕見地使用的字元。候選項顯示區域之延伸視圖可以不同方式來設計。圖11D至圖11G說明根據一些實施例之延伸候選項顯示區域的例示性設計。
如圖11D中所展示，在一些實施例中，延伸候選項顯示區域1128包括各自呈現各別種類之候選字元的一或多個索引標籤式頁面(例如，頁面1130、1132、1134及1136)。展示於圖11D中之索引標籤式設計允許使用者快速地找尋所要種類之字元，且接著找到其打算在對應索引標籤式頁面內鍵入的字元。
在圖11D中，第一索引標籤式頁面1130顯示針對當前累積之手寫輸入已識別的所有候選字元，包括常用字元以及罕見字元兩者。如圖11D中所展示，索引標籤式頁面1130包括展示於圖11C中之最初候選項顯示區域806中的所有字元，及未包括於初始候選項顯示區域806中的數個額外字元(例如，「丁」、「β」、「巾」等)。
在一些實施例中，顯示於初始候選項顯示區域806中的字元包括僅來自與筆跡相關聯之常用字元之集合的字元(例如，如根據Unicode標準編碼的CJK筆跡之基本塊中的所有字元)。在一些實施例中，顯示於延伸候選項顯示區域1128中的字元進一步包括與筆跡相關聯之罕見字元集合(例如，如根據Unicode標準編碼的CJK筆跡之延伸塊中的所有字元)。在一些實施例中，延伸候選項顯示區域1128進一步包括來自其他筆跡之使用者並不常用的候選字元，例如，希臘語筆跡、阿拉伯語筆跡及/或emoji筆跡。
在一些實施例中，如圖11D中所展示，延伸候選項顯示區域1128包括各別索引標籤式頁面1130、1132、1134及1138，其各自對應於各別種類之候選字元(例如，分別為所有字元、罕見字元、來自拉丁語筆跡之字元及來自emoji筆跡的字元)。圖11E至圖11G說明，使用者可 選擇不同索引標籤式頁面中之每一者以顯露對應種類中的候選字元。圖11E展示對應於當前手寫輸入的僅罕見字元(例如，來自CJK筆跡之延伸區塊的字元)。圖11F展示對應於當前手寫輸入的僅拉丁及希臘字母。圖11G展示對應於當前手寫輸入的僅emoji字元。
在一些實施例中，延伸候選項顯示區域1128進一步包括一或多個可視線索以基於各別準則(例如，基於語音拼字、基於筆劃之數目及基於字根等)對各別索引標籤式頁面中的候選字元排序。根據不同於辨識信賴記分之準則對每一種類中之候選字元排序的能力向使用者提供快速地找尋所要候選字元用於文字輸入的額外能力。
圖11H至圖11K說明，在一些實施例中，類似外觀候選字元可被分組，且僅來自類似外觀候選字元之每一群組的代表性字元呈現於初始候選項顯示區域806中。由於本文中所描述之多筆跡辨識模型可產生對於給定手寫輸入幾乎同等良好的許多候選字元，因此辨識模型不可總是以另一類似外觀候選字元之代價消除一個候選字元。在具有有限顯示區域之裝置上，同時顯示許多類似外觀候選者對於使用者選取正確字元並無幫助，此係因為精細區別可能不易於看到，且即使使用者可看到所要字元，仍可能難以使用手指或手寫筆自填充極滿的顯示器選擇所要字元。
在一些實施例中，為了解決以上問題，使用者裝置識別對於彼此具有大相似性的候選字元(例如，根據類似外觀字元之辭彙索引或辭典，或者某基於影像之準則)，且將其分組成各別群組。在一些實施例中，類似外觀字元之一或多個群組可自針對給定手寫輸入之候選字元集合識別出。在一些實施例中，使用者裝置自同一群組中之複數個類似外觀候選字元中識別出代表性候選字元，且於初始候選項顯示區域806中僅顯示代表性候選字元。若常用字元看起來並不足夠類似於任何其他候選字元，則該字元被單獨顯示。在一些實施例中，如圖 11H中所展示，每一群組之代表性候選字元(例如，候選字元1118及1122，「个」及「丁」)以不同於並不屬於任何群組之候選字元(例如，候選字元1120及1124，「乃」及「J」)的方式(例如，以粗體框)被顯示。在一些實施例中，用於選定群組之代表性字元的準則基於候選字元在群組中的相對使用頻率。在一些實施例中，可使用其他準則。
在一些實施例中，一旦代表性字元顯示給使用者，使用者便可視需要展開候選項顯示區域806，以在延伸視圖中展示類似外觀候選字元。在一些實施例中，特定代表性字元之選擇可使得延伸視圖具有僅與所選擇之代表性字元相同之群組中的彼等候選字元。
用於提供類似外觀候選字元之延伸視圖的各種設計為可能的。圖11H至圖11K說明如下一項實施例：具有代表性候選字元之延伸視圖藉由在代表性候選字元(例如，代表性字元1118)上偵測到的預定示意動作(例如，展開示意動作)來調用。用於調用延伸視圖之預定示意動作(例如，展開示意動作)不同於用於選擇代表性字元用於文字輸入的預定示意動作(例如，觸按示意動作)。
如圖11H至圖11I中所展示，當使用者在第一代表性字元1118上提供展開示意動作(例如，如由彼此遠離地移動之兩個接觸1138及1140所展示)時，顯示代表性字元1118的區域經展開，且三個類似外觀候選字元(例如，「个」、「亇」及「巾」)相較於並非處於同一展開群組中的其他候選字元(例如，「乃」)呈現於放大視圖中(例如，分別呈現於放大框1142、1144及1146中)。
如圖11I中所展示，當呈現於放大視圖中時，三個類似外觀候選字元(例如，「个」、「亇」及「巾」)的精細區別可更易於由使用者看出。若三個候選字元中之一者為所欲字元輸入，則使用者可(例如)藉由觸控顯示字元所再之區域而選擇候選字元。如圖11J至圖11K中所展示，使用者已選擇(藉由接觸1148)展示於延伸視圖中之框1144中的第 二字元(例如，「亇」)。作為回應，所選擇字元(例如，「亇」)在藉由游標指示之插入點處鍵入至文字輸入區域808中。如圖11K中所展示，一旦已選擇了字元，手寫輸入區域804中的手寫輸入及候選項顯示區域806(或候選項顯示區域之延伸視圖)中的候選字元便被清除以用於隨後手寫輸入。
在一些實施例中，若使用者並未在第一代表性候選字元1142之延伸視圖中看到所要候選字元，則使用者可視需要使用相同示意動作來展開顯示於候選項顯示區域806中的其他代表性字元。在一些實施例中，展開候選項顯示區域806中的另一代表性字元自動地恢復當前呈現之延伸視圖至標準視圖。在一些實施例中，使用者視需要使用收縮示意動作來將當前延伸視圖恢復至標準視圖。在一些實施例中，使用者可捲動候選項顯示區域806(例如，向左或向右)以顯露在候選項顯示區域806中不可見的其他候選字元。
圖12A至圖12B為例示性程序1200之流程圖，在該程序1200中，辨識結果之第一子集呈現於初始候選項顯示區域中，而辨識結果之第二子集呈現於自視圖隱藏的經延伸候選項顯示區域中，直至特定地被使用者調用。在例示性程序1200中，裝置自針對手寫輸入之複數個手寫辨識結果來識別具有超出預定臨限值之視覺類似性水準的辨識結果之子集。使用者裝置接著自辨識結果之子集選擇代表性辨識結果，且將所選擇代表性辨識結果顯示於顯示器的候選項顯示區域中。程序1200在圖11A至圖11K中說明。
如圖12A中所展示，在實例程序1200中，使用者裝置自使用者接收(1202)手寫輸入。手寫輸入包括提供於手寫輸入介面(例如，圖11C中之802中)之手寫輸入區域(例如，圖11C中的806)中的一或多個手寫筆劃(例如，圖11C中的1106、1108、1110)。使用者裝置基於手寫辨識模型來識別(1204)手寫輸入的複數個輸出字元(例如，展示於圖11C 之索引標籤式頁面1130中的字元)。使用者裝置基於預定歸類準則將複數個輸出字元劃分(1206)成兩個或兩個以上種類。在一些實施例中，預定歸類準則判定(1208)各別字元為常用字元抑或罕見字元。
在一些實施例中，使用者裝置在手寫輸入介面之候選項顯示區域(例如，如圖11C中所展示的806)的初始視圖中顯示(1210)兩個或兩個以上種類中之第一種類中的各別輸出字元(例如，常用字元)，其中候選項顯示區域之初始視圖同時具備用於調用候選項顯示區域之延伸視圖(例如，圖11D中的1128)的可視線索(例如，圖11C中的1104)。
在一些實施例中，使用者裝置接收(1212)選擇用於調用延伸視圖的可視線索的使用者輸入，(例如)如圖11C中所展示。回應於使用者輸入，使用者裝置在候選項顯示區域之延伸視圖中顯示(1214)先前未顯示於候選項顯示區域的初始視圖中的兩個或兩個以上種類中的第一種類中之各別輸出字元及至少一第二種類中的各別輸出字元，例如，如圖11D中所展示。
在一些實施例中，第一種類中之各別字元為在常用字元之辭典中找到的字元，且第二種類中之各別字元為在罕見字元之辭典中找到的字元。在一些實施例中，常用字元之辭典及罕見字元之辭典基於與使用者裝置相關聯的使用歷史來動態調整或更新。
在一些實施例中，使用者裝置自複數個輸出字元(1216)識別字元群組，該等字元根據預定類似性準則(例如，基於類似字元之辭典或基於一些空間導出特徵)視覺上類似於彼此。在一些實施例中，使用者裝置基於預定選擇準則(例如，基於歷史使用頻率)自視覺上類似之字元的群組選擇代表性字元。在一些實施例中，預定選擇準則基於群組中字元的相對使用頻率。在一些實施例中，預定選擇準則基於與裝置相關聯的慣用輸入語言。在一些實施例中，代表性候選字元基於指示每一候選字元係使用者之所欲輸入之可能性的其他因素來做出選 擇。此等因素包括(例如)候選字元是否屬於當前安裝於使用者之裝置上之螢幕小鍵盤的筆跡，或候選字元是否係在與使用者或使用者裝置相關聯之特定語言的最常用字元的集合中等。
在一些實施例中，替代視覺上類似之字元之群組中的其他字元(例如，「亇」、「巾」)，使用者裝置將代表性字元(例如，「个」)顯示(1220)於候選項顯示區域(例如，圖11H中的806)的初始視圖中。在一些實施例中，視覺指示(例如，選擇性視覺高亮顯示、特殊背景)提供於候選項顯示區域的初始視圖中以指示每一候選字元為群組之代表性字元抑或並非任何群組內的正常候選字元。在一些實施例中，使用者裝置自使用者接收(1222)針對顯示於候選項顯示區域之初始視圖中的代表性字元的預定展開輸入(例如，展開示意動作)，例如，如圖11H中所展示。在一些實施例中，回應於接收到預定展開輸入，使用者裝置同時顯示(1224)代表性字元的放大視圖，及視覺上類似之字元之群組中一或多個其他字元的各別放大視圖，例如，如圖11I中所展示。
在一些實施例中，預定展開輸入為在顯示於候選項顯示區域中之代表性字元上偵測到的展開示意動作。在一些實施例中，預定展開輸入為在顯示於候選項顯示區域中的代表性字元上偵測到且經持續長於預定臨限時間的接觸。在一些實施例中，用於展開群組之持續接觸相較於選擇代表性字元用於文字輸入的觸按示意動作具有較長臨限持續時間。
在一些實施例中，每一代表性字元與各別可視線索(例如，各別展開按鈕)同時顯示以調用其類似外觀候選字元之群組的延伸視圖。在一些實施例中，預定展開輸入為與代表性字元相關聯之各別可視線索的選擇。
如本文中所描述，在一些實施例中，多筆跡手寫辨識模型之字集包括emoji筆跡。手寫輸入辨識模組可基於使用者之手寫輸入來辨 識emoji字元。在一些實施例中，手寫辨識模組呈現直接自手寫識別的emoji字元及呈自然人類語言的表示所識別emoji字元的字元或詞語兩者。在一些實施例中，手寫輸入模組基於使用者之手寫輸入辨識呈自然人類語言的字元或詞語，且呈現所辨識字元或詞語以及對應於所辨識字元或詞語之emoji字元兩者。換言之，手寫輸入模組提供用於在不自手寫輸入介面切換至emoji鍵盤的情況下鍵入emoji字元的方式。此外，手寫輸入模組亦提供藉由用手繪製emoji字元以鍵入常規自然語言字元及詞語的方式。圖13A至圖13E提供說明鍵入emoji字元及常規自然語言字元之此等不同方式的例示性使用者介面。
圖13A展示在聊天應用程式下調用的例示性手寫輸入介面802。手寫輸入介面802包括手寫輸入區域804、候選項顯示區域806及文字輸入區域808。在一些實施例中，一旦使用者滿足於文字輸入區域808內之文字合成，使用者便可選定以發送文字組成至當前聊天會話的另一參與者。聊天會話之對話歷史展示於對話面板1302中。在此實例中，使用者已接收到顯示於對話面板1302中的聊天訊息1304(例如，「Happy Birthday 」)。
如圖13B中所展示，使用者已在手寫輸入區域804中提供了英語單詞「Thanks」的手寫輸入1306。回應於手寫輸入1306，使用者裝置已識別出了數個候選辨識結果(例如，辨識結果1308、1310及1312)。最高排名辨識結果1308已試驗性地在框1314內被鍵入於文字輸入區域808中。
如圖13C中所展示，在使用者已在手寫輸入區域804中鍵入手寫單詞「Thanks」之後，使用者接著在手寫輸入區域804中藉由筆劃1316(例如，狹長圓與其下方的圓圈)繪製風格化感嘆號。使用者裝置認識到，額外筆劃1316形成與自手寫輸入區域804中累積之手寫筆劃1306先前辨識出的其他辨識單元單獨的辨識單元。基於新鍵入之辨識 單元(亦即，由筆劃1316形成的辨識單元)，使用者裝置使用手寫辨識模型來識別emoji字元(例如，風格化「！」)。基於此辨識出之emoji字元，使用者裝置在候選項顯示區域806中呈現第一辨識結果1318(例如，具有風格化「！」的「Thanks！」)。此外，使用者裝置亦識別視覺上亦類似於新鍵入之辨識單元的數字「8」。基於此辨識出之emoji數字，使用者裝置在候選項顯示區域806中呈現第二辨識結果1322(例如，「Thanks 8」)。此外，基於所識別之emoji字元(例如，風格化「！」)，使用者裝置亦識別對應於emoji字元的常規字元(例如，常規字元「！」)。基於此間接識別出之常規字元，使用者裝置在候選項顯示區域806中呈現第三辨識結果1320(例如，具有常規「！」的「Thanks！」)。在此點上，使用者可選擇候選辨識結果1318、1320及1322中的任一者以將其鍵入至文字輸入區域808中。
如圖13D中所展示，使用者繼續在手寫輸入區域804中提供額外手寫筆劃1324。此時，使用者在風格化感嘆號之後已繪製出心形符號。回應於新手寫筆劃1324，使用者裝置認識到，新提供之手寫筆劃1324形成又一新辨識單元。基於新辨識單元，使用者裝置識別emoji字元「」，且替代地數字「0」作為新辨識單元的候選字元。基於自新辨識單元辨識出的此等新候選字元，使用者裝置呈現兩個經更新候選辨識結果1326及1330(例如，「Thanks！」及「Thanks 80」)。在一些實施例中，使用者裝置進一步識別對應於所識別emoji字元(例如，「」)的常規字元或單詞(例如，「Love」)。基於針對所辨識emoji字元之所識別常規字元或單詞，使用者裝置呈現所辨識emoji字元藉由常規字元或單詞替換的第三辨識結果1328。如圖13D中所展示，在辨識結果1328中，emoji字元「！」藉由標準感嘆號「！」替換，且emoji「」已藉由常規字元或單詞「Love」替換。
如圖13E中所展示，使用者已選擇了候選辨識結果中之一者(例 如，展示混合式筆跡文字「Thanks！」的候選結果1326)，且所選擇辨識結果之文字被鍵入至文字輸入區域808中，且隨後被發送至聊天會話的另一參與者。訊息泡泡1332將訊息之文字展示於對話面板1302中。
圖14為使用者使用手寫輸入鍵入emoji字元之例示性程序1400的流程圖。圖13A至13E說明根據一些實施例的例示性程序1400。
在程序1400中，使用者裝置自使用者接收(1402)手寫輸入。手寫輸入包括提供於手寫輸入介面之手寫輸入區域中的複數個手寫筆劃。在一些實施例中，使用者裝置基於手寫辨識模型自手寫輸入辨識(1404)出複數個輸出字元。在一些實施例中，輸出字元包括至少一第一emoji字元(例如，圖13D中之風格化感嘆號「！」或emoji字元「」)，及來自自然人類語言之筆跡的至少一第一字元(例如，圖13D中來自詞語「Thanks」的字元)。在一些實施例中，使用者裝置在手寫輸入介面之候選項顯示區域中顯示(1406)包含以下各者的辨識結果(例如，圖13D之結果1326)：第一emoji字元(例如，圖13D中之風格化感嘆號「！」或emoji字元「」)，及來自自然人類語言之筆跡的第一字元(例如，來自圖13D中之詞語「Thanks」的字元)，例如，如圖13D中所展示。
在一些實施例中，基於手寫辨識模型，使用者裝置視需要自手寫輸入辨識(1408)至少一第一語義單元(例如，單詞「thanks」)，其中第一語義單元包含各別字元、單詞，或能夠傳達呈各別人類語言之各別語義意義的片語。在一些實施例中，使用者裝置自識別(1410)與自手寫輸入辨識出之第一語義單元(例如，單詞「Thanks」)相關聯的第二emoji字元(例如，「handshake」emoji字元)。在一些實施例中，使用者裝置在手寫輸入介面之候選項顯示區域中顯示(1412)第二辨識結果(例如，展示「handshake」emoji字元繼之以「！」及「」emoji字元 的辨識結果)，該第二辨識結果至少包含自第一語義單元(例如，單詞「Thanks」)識別出的第二emoji字元。在一些實施例中，顯示第二辨識結果進一步包括同時顯示第二辨識結果與包含至少一第一語義單元(例如，單詞「Thanks」)的第三辨識結果(例如，辨識結果「Thanks！」)。
在一些實施例中，使用者接收選擇顯示於候選項顯示區域中的第一辨識結果的使用者輸入。在一些實施例中，回應於使用者輸入，使用者裝置在手寫輸入介面之文字輸入區域中鍵入所選擇第一辨識結果的文字，其中該文字包括至少一第一emoji字元及來自自然人類語言之筆跡的第一字元。換言之，使用者能夠於不在自然語言鍵盤與emoji字元鍵盤之間進行切換的情況下在手寫輸入區域中使用單一手寫輸入(儘管手寫輸入包含多個筆劃)鍵入混合式筆跡文字輸入。
在一些實施例中，手寫辨識模型已經受關於包含對應於至少三個非重疊筆跡之字元的書寫樣本之多筆跡訓練語料庫之訓練，且三個非重疊筆跡包括emoji字元、中文字元及拉丁語筆跡的一集合。
在一些實施例中，使用者裝置識別(1414)對應於直接自手寫輸入辨識出之第一emoji字元(例如，「」emoji字元)的第二語義單元(例如，單詞「Love」)。在一些實施例中，使用者裝置在手寫輸入介面之候選項顯示區域中顯示(1416)第四辨識結果(例如，圖13D中的1328)，該第四辨識結果至少包含自第一emoji字元(例如，「」emoji字元)識別出的第二語義單元(例如，單詞「Love」)。在一些實施例中，使用者裝置將第四辨識結果(例如，結果1328「Thanks！Love」)與第一辨識結果(例如，結果「Thanks！」)同時顯示於候選項顯示區域中，如圖13D中所展示。
在一些實施例中，使用者裝置允許使用者藉由繪製emoji字元來鍵入常規文字。舉例而言，若使用者並不知曉如何拼寫單詞 「elephant」，則使用者視需要在手寫輸入區域中繪製「elephant」的風格化emoji字元，且若使用者裝置可正確地辨識手寫輸入作為「elephant」的emoji字元，則使用者裝置視需要亦用正常文字呈現詞語「elephant」作為顯示於候選項顯示區域中的辨識結果中之一者。在另一實例中，取代書寫中文字元「貓」，使用者可在手寫輸入區域中繪製風格化貓。若使用者裝置基於由使用者提供之手寫輸入來識別「cat」的emoji字元，則使用者裝置視需要亦在候選辨識結果中以中文呈現意謂「cat」的中文字元「貓」連同「cat」的emoji字元。藉由呈現針對所辨識emoji字元之正常文字，使用者裝置提供使用通常與熟知emoji字元相關聯的幾個風格化筆劃鍵入複雜字元或詞語的替代性方式。在一些實施例中，使用者裝置儲存連結emoji字元與呈一或多個慣用筆跡或語言(例如，英語或中文)之對應正常文字(例如，字元、詞語、片語、符號等)的辭典。
在一些實施例中，使用者裝置基於emoji字元與產生自手寫輸入之影像的視覺類似性而辨識emoji字元。在一些實施例中，為了啟用emoji字元自手寫輸入辨識的辨識，用於使用者裝置上之手寫辨識模型使用包括以下兩者的訓練語料庫來訓練：對應於自然人類語言之筆跡之字元的手寫樣本，及又對應於人工設計之emoji字元集合的手寫樣本。在一些實施例中，關於相同語義概念之emoji字元在用於藉由不同自然語言之文字的混合式輸入中時可具有不同外觀。舉例而言，對於「Love」之語義概念的emoji字元在以一種自然語言(例如，日語)之正常文字呈現時可為「heart」emoji字元，且在以另一自然語言(例如，英語或法語)之正常文字呈現時為「kiss」emoji字元。
如本文中所描述，當執行多字元手寫輸入的辨識時，手寫輸入模組執行當前累積於手寫輸入區域中之手寫輸入的分段，且將所累積筆劃劃分成一或多個辨識單元。用以判定分段手寫輸入之方式的參數 中之一者可為筆劃在手寫輸入區域中如何進行叢集，及筆劃之不同叢集之間的距離。由於人們具有不同書寫樣式。一些人們傾向於在相同字元之筆劃或不同部分之間具有大距離的情況下極其稀疏地書寫，而其他人們傾向於在筆劃或不同字元之間具有極小距離的情況下極密集地書寫。甚至對於同一使用者，歸因於有缺點規劃，手寫字元可能偏離平衡化外觀，且可以不同方式而傾向一方、拉伸或擠壓。如本文中所描述，多筆跡手寫辨識模型提供獨立筆劃次序之辨識，因此使用者可亂序地書寫字元或字元的部分。結果，可能難以獲得手寫輸入中的字元之間的空間均一性及平衡。
在一些實施例中，本文中所描述之手寫輸入模型向使用者提供向手寫輸入模組通知將兩個相鄰辨識單元合併成單一辨識單元或將單一辨識單元劃分成兩個單獨辨識單元的方式。藉由使用者之幫助，手寫輸入模組可修訂初始分段，且產生使用者所欲的結果。
圖15A至圖15J說明使用者提供預定捏合及展開示意動作以修改由使用者裝置識別之辨識單元的一些例示性使用者介面及程序。
如圖15A至圖15B中所展示，使用者已在手寫輸入介面802之手寫輸入區域804中鍵入了複數個手寫筆劃1502(例如，三個筆劃)。使用者裝置基於當前累積之手寫筆劃1502已識別出了單一辨識單元，且在候選項顯示區域806中呈現了三個候選字元1504、1506及1508(例如，分別為「巾」、「中」及「币」)。
圖15C展示，使用者已進一步在手寫輸入區域606中在初始手寫筆劃1502右側鍵入了幾個額外筆劃1510。使用者裝置判定(例如，基於複數個筆劃1502及1510之尺寸及空間分佈)，筆劃1502及筆劃1510應被視為兩個單獨辨識單元。基於辨識單元之劃分，使用者裝置提供第一及第二辨識單元之輸入影像至手寫辨識模型，且獲得候選字元的兩個集合。使用者裝置接著基於所辨識字元的不同組合而產生複數個 辨識結果(例如，1512、1514、1516及1518)。每一辨識結果包括第一辨識單元的所辨識字元及第二辨識單元的所辨識字元。如圖15C中所展示，複數個辨識結果1512、1514、1516及1518各自包括兩個所辨識字元。
在此實例中，假定使用者實際上想要待辨識為單一字元的手寫輸入，但無意地在手寫字元(例如，「帽」)之左側部分(例如，左字根「币」)與右側部分(例如，右字根「冒」)之間留下過大空間。已看到呈現於候選項顯示區域806中之結果(例如，1512、1514、1516及1518)，使用者將認識到，使用者裝置已將當前手寫輸入不正確地分段成兩個辨識單元。儘管分段可基於物件標準，但對於使用者將非所要的是，刪除當前手寫輸入且在左側部分與右側部分之間的較小距離的情況下再次重寫整個字元。
替代地，如圖15D中所展示，使用者在手寫筆劃1502及1510之兩個叢集上使用捏合示意動作以向手寫輸入模組指示，由手寫輸入模組識別之兩個辨識單元應被合併為單一辨識單元。捏合示意動作藉由觸敏式表面上之朝向彼此移動的兩個接觸1520及1522來指示。
圖15E展示，回應於使用者之捏合示意動作，使用者裝置已修訂了當前累積手寫輸入(例如，筆劃1502及1510)之分段，且將手寫筆劃合併成單一辨識單元。如圖15E中所展示，使用者裝置已將基於經修訂之辨識單元的輸入影像提供至手寫辨識模型，且獲得針對經修訂辨識單元的三個新候選字元1524、1526及1528(例如，「帽」、「帼」及「搢」)。在一些實施例中，如圖15E中所展示，使用者裝置視需要調整手寫輸入在手寫輸入區域804內的顯現，使得手寫筆劃之左側叢集與右側叢集之間的距離得以減小。在一些實施例中，使用者裝置回應於捏合示意動作而並不變更展示於手寫輸入區域804中之手寫輸入的顯現。在一些實施例中，使用者裝置基於在手寫輸入區域804中偵測 到之兩個同時接觸(與一個單一接觸相對)而區別捏合示意動作與輸入筆劃。
如圖15F中所展示，使用者已在先前鍵入之手寫輸入(亦即，字元「帽」之筆劃)右側鍵入了兩個其他筆劃1530。使用者裝置判定新鍵入之筆劃1530為新辨識單元，且辨識新識別出之辨識單元的候選字元(例如，「子」)。使用者裝置接著組合新識別之字元(例如，「子」)與較早識別出之辨識單元的候選字元，且在候選項顯示區域806中呈現數個不同辨識結果(例如，結果1532及1534)。
在手寫筆劃1530之後，使用者繼續在筆劃1530右側書寫更多筆劃1536(例如，三個以上筆劃)，如圖15G中所展示。由於筆劃1530與筆劃1536之間的水平距離極小，因此使用者裝置判定，筆劃1530與筆劃1536屬於同一辨識單元，且將由筆劃1530及1536形成之輸入影像提供至手寫辨識模型。手寫辨識模型識別經修訂辨識單元之三個不同候選字元，且產生當前累積手寫輸入中的兩個經修訂辨識結果1538及1540。
在此實例中，假定筆劃1530及1536之最後兩個集合實際上意欲作為兩個單獨字元(例如，「子」及「土」)。在使用者看到使用者裝置已將筆劃1530及1536之兩個集合不正確地組合成單一辨識單元之後，使用者進行以提供展開示意動作以向使用者裝置通知，筆劃1530及1536之兩個集合不應被劃分成兩個單獨辨識單元。如圖15H中所展示，使用者在筆劃1530及1536周圍進行兩個接觸1542及1544，且接著在通常水平方向(亦即，沿著預設書寫方向)遠離彼此移動兩個接觸。
圖15I展示，回應於使用者之展開示意動作，使用者裝置修訂了當前累積手寫輸入之先前分段，且將筆劃1530及筆劃1536指派給兩個連續辨識單元。基於針對兩個單獨辨識單元產生的輸入影像，使用者裝置基於筆劃1530識別第一辨識單元的一或多個候選字元，且基於筆 劃1536識別第二辨識單元的一或多個候選字元。使用者裝置接著基於經辨識字元之不同組合來產生兩個新辨識結果1546及1548。在一些實施例中，使用者裝置視需要修改筆劃1536及1536的顯現，以反映先前識別之辨識單元的劃分。
如圖15J至圖15K中所展示，使用者已選擇(如由接觸1550所指示)了顯示於候選項顯示區域806中之候選辨識結果中的一者，且所選擇辨識結果(例如，結果1548)已鍵入於使用者介面的文字輸入區域808中。在所選擇辨識結果已鍵入於文字輸入區域808中之後，候選項顯示區域806及手寫輸入區域804皆被清除，且為顯示隨後使用者輸入做好準備。
圖16A至圖16B為例示性程序1600的流程圖，在該例示性程序1600中，使用者使用預定示意動作(例如，捏合示意動作及/或展開示意動作)來向手寫輸入模組通知如何對當前手寫輸入進行分段或對手寫輸入的現有分段進行修訂。圖15J及圖15K提供根據一些實施例之例示性程序1600的說明。
在一些實施例中，使用者裝置自使用者接收(1602)手寫輸入。手寫輸入包括提供於耦接至裝置之觸敏式表面中的複數個手寫筆劃。在一些實施例中，使用者裝置在手寫輸入介面之手寫輸入區域(例如，圖15A至圖15K之手寫輸入區域804)中即時顯現(1604)複數個手寫筆劃。使用者裝置接收複數個手寫筆劃上的捏合示意動作輸入及展開示意動作輸入中的一者，例如，如圖15D及圖15H中所展示。
在一些實施例中，在接收到捏合示意動作輸入之後，使用者裝置藉由將複數個手寫筆劃視為單一辨識單元而基於複數個手寫筆劃產生(1606)第一辨識結果，例如，如圖15C至圖15E中所說明。
在一些實施例中，在接收到展開示意動作輸入之後，使用者裝置藉由將複數個手寫筆劃視為藉由展開示意動作輸入拉開的兩個單獨 辨識單元而基於複數個手寫筆劃產生(1608)第二辨識結果，例如，如圖15G至圖15I中所說明。
在一些實施例中，在產生第一及第二辨識結果中之一個別者之後，使用者裝置將所產生之辨識結果顯示於手寫輸入介面的候選項顯示區域中，例如，如圖15E及圖15I中所展示。
在一些實施例中，捏合示意動作輸入包含觸敏式表面上的兩個同時接觸，該等接觸在藉由複數個手寫筆劃佔用之區域中朝向彼此會聚。在一些實施例中，展開示意動作輸入包含觸敏式表面上的兩個同時接觸，該兩個同時接觸在藉由複數個手寫筆劃佔用之區域中彼此發散。
在一些實施例中，使用者裝置自複數個手寫筆劃識別(例如，1614)兩個相鄰辨識單元。使用者裝置在候選項顯示區域中顯示(1616)包含自兩個相鄰辨識單元辨識出之各別字元的初始辨識結果(例如，圖15C中的結果1512、1514、1516及1518)，例如，如圖15C中所說明。在一些實施例中，當回應於捏合示意動作顯示第一辨識結果(例如，圖15E中的結果1524、1526或1528)時，使用者裝置用候選項顯示區域中之第一辨識結果替換(1618)初始辨識結果。在一些實施例中，使用者裝置在初始辨識結果顯示於候選項顯示區域中之同時接收(1620)捏合示意動作輸入，如圖15D中所展示。在一些實施例中，回應於捏合示意動作輸入，使用者裝置重新顯現(1622)複數個手寫筆劃以減小手寫輸入區域中的兩個相鄰辨識單元之間的距離，例如，如圖15E中所展示。
在一些實施例中，使用者裝置自複數個手寫筆劃識別(1624)單一辨識單元。使用者裝置在候選項顯示區域中顯示(1626)包含自單一辨識單元辨識出之字元(例如，「让」、「祉」)的初始辨識結果(例如，圖15G的結果1538或1540)。在一些實施例中，當回應於展開示意動作顯 示第二辨識結果(例如，圖15I中的結果1546或1548)時，使用者裝置用候選項顯示區域中之第二辨識結果(例如，結果1546或1548)替換(1628)初始辨識結果(例如，結果1538或1540)，例如，如圖15H至圖15I中所說明。在一些實施例中，使用者裝置在初始辨識結果顯示於候選項顯示區域中之同時接收(1630)展開示意動作輸入，如圖15H中所說明。在一些實施例中，回應於展開示意動作輸入，使用者裝置重新顯現(1632)複數個手寫筆劃以使指派給第一辨識單元之筆劃的第一子集與指派給第二辨識單元的手寫筆劃之第二子集之間的距離在手寫輸入區域中增大，如圖15H及圖15I所說明。
在一些實施例中，就在使用者已提供筆劃且基於標準分段程序認識到筆劃對於正確分段可能展開過大之後，使用者視需要提供捏合示意動作以向使用者裝置告知將複數個筆劃視為單一辨識單元。使用者裝置可基於在捏合示意動作中存在的兩個同時接觸而區別捏合示意動作與常規筆劃。類似地，在一些實施例中，就在使用者已提供筆劃且基於標準分段程序認識到筆劃對於正確分段可能過於靠近之後，使用者視需要提供展開示意動作以向使用者裝置告知將複數個筆劃視為兩個辨識單元。使用者裝置可基於在捏合示意動作中存在的兩個同時接觸而區別展開示意動作與常規筆劃。
在一些實施例中，捏合或展開示意動作之運動方向視需要用以提供關於在示意動作下如何分段筆劃的額外指導。舉例而言，若多行手寫輸入經啟用用於手寫輸入區域，則具有在垂直方向上移動之兩個接觸的捏合示意動作可向手寫輸入模組告知將兩個相鄰行中識別出的兩個辨識單元合併成單一辨識單元(例如，作為上字根及下字根)。類似地，具有在垂直方向上移動之兩個接觸的展開示意動作可向手寫輸入模組告知將單一辨識單元分段成兩個相鄰行中的兩個辨識單元。在一些實施例中，捏合及展開示意動作亦可在字元輸入之子部分中提供 分段指導(例如，合併兩個子組份或劃分複合字元(骂、螯、误、莰、鑫等)中的單一組份)，或在複合字元之不同部(例如，上、下、左或右部分)中提供指導。此情形對於辨識複雜之複合中文字元為特別有幫助的，此係因為使用者傾向於在用手書寫複雜之複合字元時失去正確比例及平衡。能夠(例如)憑藉捏合及展開示意動作調整手寫輸入的比例及平衡，在完成手寫輸入之後，對於使用者特別有幫助的是在不必進行若干嘗試以獲得正確比例及平衡的情況下輸入正確字元。
如本文中所描述，手寫輸入模組允許使用者鍵入多字元手寫輸入，且允許使用者在手寫輸入區域中鍵入在一字元內、越過多個字元且甚至越過多個片語、句子及/或行的多字元手寫輸入的無序筆劃。在一些實施例中，手寫輸入模組亦提供手寫輸入區域中之逐字元刪除，其中字元刪除之次序係呈反向書寫方向，且獨立於每一字元之筆劃已提供於手寫輸入區域中的時間。在一些實施例中，手寫輸入區域中每一辨識單元(例如，字元或字根)的刪除視需要逐筆劃執行，其中筆劃以其被提供於辨識單元內之反向時間次序來刪除。圖17A至圖17H說用用於對來自使用者之刪除輸入做出回應的例示性使用者介面，且提供多字元手寫輸入中的逐字元刪除。
如圖17A中所展示，使用者已在手寫輸入使用者介面802之手寫輸入區域804內提供了複數個手寫筆劃1702。基於當前累積之筆劃1702，使用者裝置在候選項顯示區域806中呈現三個辨識結果(例如，結果1704、1706及1708)。如圖17B中所展示，使用者已在手寫輸入區域804中提供了額外複數個筆劃1710。使用者裝置辨識三個新輸出字元，且用三個新辨識結果1712、1714及1716替換三個先前辨識結果1704、1706及1708。在一些實施例中，如圖17B中所展示，儘管使用者裝置已自當前手寫輸入(例如，筆劃1702及筆劃1710)識別出兩個單獨辨識單元，但筆劃1710之叢集並不良好對應於手寫辨識模組之字集 中的任何已知字元。結果，針對包含筆劃1710之辨識單元識別出的候選字元(例如，「亩」、「凶」)皆具有在預定臨限值以下的辨識信賴。在一些實施例中，使用者裝置呈現部分辨識結果(例如，結果1712)，該部分辨識結果在候選項顯示區域806中包括僅針對第一辨識單元的候選字元(例如，「日」)，但不包括針對第二辨識單元的任何候選字元。在一些實施例中，使用者裝置進一步顯示包括兩個辨識單元之候選字元的全部辨識結果(例如，結果1714或1716)，而無關於辨識信賴是否已通過預定臨限值。提供部分辨識結果向使用者通知手寫輸入之哪一部需要修訂。此外，使用者亦可選定首先鍵入手寫輸入之正確辨識部分，且接著重寫未經正確辨識的部分。
圖17C展示，使用者已繼續在筆劃1710左側提供額外手寫筆劃1718。基於筆劃1718之相對位置及距離，使用者裝置判定，新添加筆劃屬於與手寫筆劃1702之叢集相同的辨識單元。基於經修訂之辨識單元辨識出第一辨識單元的新字元(例如，「电」)，且產生新辨識結果1720、1722及1724的集合。再者，第一辨識結果1720為部分辨識結果，此係因為針對筆劃1710之所識別的候選字元皆不滿足預定信賴臨限值。
圖17D展示，使用者現已將複數個新筆劃1726鍵入於筆劃1702與筆劃1710之間。使用者裝置將新鍵入之筆劃1726指派給與筆劃1710相同的辨識單元。現在，使用者已完成了鍵入兩個中文字元(例如，「电脑」)的所有手寫筆劃，且正確辨識結果1728展示於候選項顯示區域806中。
圖17E展示，使用者已(例如)藉由在刪除按鈕1732上作出輕接觸1730而鍵入了刪除輸入的初始部分。若使用者維持與刪除按鈕1732的接觸，則使用者可逐字元(或逐辨識單元)刪除當前手寫輸入。並不同時對所有手寫輸入來執行刪除。
在一些實施例中，當使用者之手指首先觸控觸敏式螢幕上的刪除按鈕1732時，預設書寫方向(例如，自左向右)上之最後辨識單元(例如，字元「脑」之辨識單元)相對於同時顯示於手寫輸入區域804中的其他辨識單元視覺上經高亮顯示(例如，藉由邊界1734或加亮背景等而高亮顯示)，如圖17E中所展示。
在一些實施例中，當使用者裝置偵測到，使用者已維持刪除按鈕1732上之接觸1730歷時大於臨限持續時間時，使用者裝置自手寫輸入區域804移除高亮顯示的辨識單元(例如，框1734中)，如圖17F中所展示。此外，使用者裝置亦修訂展示於候選項顯示區域806中的辨識結果以刪除基於所刪除辨識單元產生的任何輸出字元，如圖17F中所展示。
圖17F進一步說明，若使用者在手寫輸入區域804中之最後辨識單元(例如，字元「脑」之辨識單元)已被刪除之後繼續維持刪除按鈕1732上的接觸1730，則相鄰於刪除辨識單元的辨識單元(例如，字元「电」的辨識單元)變為下一待刪除辨識單元。如圖17F中所展示，剩餘辨識單元已變得視覺上經高亮顯示(例如，在框1736中)，且為刪除做好準備。在一些實施例中，若使用者繼續維持與刪除按鈕的接觸，則辨識單元之視覺高亮顯示提供將被刪除之辨識單元的預覽。若使用者在達到臨限持續時間之前中斷與刪除按鈕的接觸，則自最後辨識單元移除視覺高亮顯示，且不刪除辨識單元。如熟習此項技術者將認識到，每當辨識單元已被刪除時，重設接觸得持續時間。此外，在一些實施例中，接觸強度(例如，使用者在觸敏式螢幕的情況下已施加接觸1730所用的壓力)視需要用以調整臨限持續時間以確認使用者之刪除當前高亮顯示辨識單元的意圖。圖17F及圖17G說明，使用者已在達到臨限持續時間之前中斷了刪除按鈕1732上的接觸1730，且字元「电」之辨識單元保存於手寫輸入區域804中。當使用者已選擇了(例 如，如由接觸1740所指示)辨識單元的第一辨識結果(例如，結果1738)時，且第一辨識結果1738中之文字已鍵入至文字輸入區域808中，如圖17G至圖17H中所展示。
圖18A至圖18B為使用者裝置提供多字元手寫輸入中之逐字元刪除的例示性程序1800的流程圖。在一些實施例中，手寫輸入之刪除在辨識自手寫輸入之字元已經確認且鍵入至使用者介面之文字輸入區域中之前執行。在一些實施例中，手寫輸入中字元之刪除根據識別自手寫輸入之辨識單元的反向空間准許進行，且獨立於形成辨識單元所用的時間順序。圖17A至17H說明根據一些實施例的例示性程序1800。
如圖18A中所展示，在例示性程序1800中，使用者裝置自使用者接收(1802)手寫輸入，手寫輸入包括提供於手寫輸入介面之手寫輸入區域(例如，圖17D中的區域804)中的複數個手寫筆劃。使用者裝置自複數個手寫筆劃(1804)識別複數個辨識單元，每一辨識單元包括複數個手寫筆劃的各別子集。舉例而言，如圖17D中所展示，第一辨識單元包括筆劃1702及1718，且第二辨識單元包括筆劃1710及1726。使用者裝置產生(1806)包含自複數個辨識單元辨識出之各別字元的多字元辨識結果(例如，圖17D中之結果1728)。在一些實施例中，使用者裝置在手寫輸入介面之候選項顯示區域中顯示多字元辨識結果(例如，圖17D中之結果1728)。在一些實施例中，在多字元辨識結果顯示於候選項顯示區域中之同時，使用者裝置自使用者接收(1810)刪除輸入(例如，刪除按鈕1732上的接觸1730)，例如，如圖17E中所展示。在一些實施例中，回應於接收到刪除輸入，使用者裝置自顯示於候選項顯示區域(例如，候選項顯示區域806)中的多字元辨識結果(例如，結果1728)移除(1812)末端字元(例如，顯現於空間順序「电脑」之末端處的字元「脑」)，例如，如圖17E至圖17F中所說明。
在一些實施例中，使用者裝置隨著複數個手寫筆劃由使用者即 時地提供而顯現(1814)複數個手寫筆劃於手寫輸入介面之手寫輸入區域中，例如，如圖17A至圖17D中所說明。在一些實施例中，回應於接收到刪除輸入，使用者裝置自手寫輸入區域(例如，圖17E中之手寫輸入區域804)移除(1816)對應於手寫輸入區域中藉由複數個辨識單元形成之空間順序上之末端辨識單元(例如，含有筆劃1726及1710的辨識單元)的複數個手寫筆劃之各別子集。末端辨識單元對應於多字元辨識結果(例如，圖17E中之結果1728)中的末端字元(例如，字元「脑」)。
在一些實施例中，末端辨識單元並不包括(1818)由使用者提供之複數個手寫筆劃中的時間上之最後手寫筆劃。舉例而言，若使用者已在其已提供了筆劃1726及1710之後提供筆劃1718，則包括筆劃1726及1710之末端辨識單元仍將被首先刪除。
在一些實施例中，回應於接收到刪除輸入之初始部分，使用者裝置視覺上區別(1820)末端辨識單元與在手寫輸入區域中識別出之其他辨識單元，例如，如圖17E中所說明。在一些實施例中，刪除輸入之初始部分為(1822)在手寫輸入介面中之刪除按鈕上偵測到的初始接觸，且刪除輸入在初始接觸經持續大於預定臨限時間量時被偵測到。
在一些實施例中，末端辨識單元對應於手寫中文字元。在一些實施例中，手寫輸入以草書體書寫樣式來書寫。在一些實施例中，手寫輸入對應於以草書體書寫樣式書寫之多個中文字元。在一些實施例中，手寫筆劃中之至少一者被劃分成複數個辨識單元的兩個相鄰辨識單元。舉例而言，有時，使用者可使用繼續至多個字元中之長筆劃，且在此等狀況下，手寫輸入模組之分段模組視需要將長筆劃劃分至若干辨識單元中。當手寫輸入之刪除經逐字元(或逐辨識單元)執行時，一次刪除長筆劃的僅一區段(例如，對應辨識單元內之區段)。
在一些實施例中，刪除輸入為(1824)在提供於手寫輸入介面中之 刪除按鈕上的持續接觸，且移除複數個手寫筆劃之各別子集進一步包括以手寫筆劃之子集已由使用者提供的反向時間次序逐筆劃地自手寫輸入區域移除末端辨識單元中的手寫筆劃之子集。
在一些實施例中，使用者裝置產生(1826)包含自複數個辨識單元辨識出之各別字元之子集的部分辨識結果，其中各別字元之子集中的每一者滿足預定信賴臨限值，例如，如圖17B及圖17C中所說明。在一些實施例中，使用者裝置在手寫輸入介面之候選項顯示區域中之同時顯示(1828)部分辨識結果(例如，圖17B中之結果1712及圖17C中的結果1720)與多字元辨識結果(例如，結果1714及1722)。
在一些實施例中，部分辨識結果並不包括多字元辨識結果中的至少末端字元。在一些實施例中，部分辨識結果並不包括多字元辨識結果中的至少初始字元。在一些實施例中，部分辨識結果並不包括多字元辨識結果中的至少中間字元。
在一些實施例中，刪除之最小單元為字根，且一次一個字根地刪除手寫輸入，只要字根剛好係仍保持於手寫輸入區域中之手寫輸入中的最後辨識單元。
如本文中所描述，在一些實施例中，使用者裝置提供水平書寫模式及垂直書寫模式兩者。在一些實施例中，使用者裝置在水平書寫模式中允許使用者在左右書寫方向且右左方向中之一者或兩者上鍵入文字。在一些實施例中，使用者裝置在垂直書寫模式中允許使用者在自頂向下書寫方向且自下向上方向中之一者或兩者上鍵入文字。在一些實施例中，使用者裝置在使用者介面上提供各種可視線索(例如，書寫模式或書寫方向按鈕)以調用各別書寫模式及/或書寫方向用於當前手寫輸入。在一些實施例中，文字輸入區域中之文字輸入方向與預設手寫輸入方向上之手寫輸入方向相同。在一些實施例中，使用者裝置允許使用者手動地設定文字輸入區域中之輸入方向及手寫輸入區域 中的書寫方向。在一些實施例中，候選項顯示區域中之文字顯示方向預設地與手寫輸入區域中之手寫輸入方向相同。在一些實施例中，使用者裝置允許使用者手動地設定文字輸入區域中之文字顯示方向獨立於手寫輸入區域中的書寫輸入方向。在一些實施例中，使用者裝置使手寫輸入介面之書寫模式及/或書寫方向與對應裝置定相關聯，且裝置定向之改變自動地觸發書寫模式及/或書寫方向上的改變。在一些實施例中，書寫方向之改變自動地引起最高排名辨識結果之項目被鍵入至文字輸入區域中。
圖19A至圖19F說明提供水平輸入模式及垂直輸入模式兩者之使用者裝置的例示性使用者介面。
圖19A展示處於水平輸入模式之使用者裝置。在一些實施例中，當使用者裝置係處於橫向定向時，提供水平輸入模式，如圖19A中所展示。在一些實施例中，當裝置以縱向定向操作時，水平輸入模式視需要經相關聯並提供。在不同應用中，裝置定向與書寫模式之間的關聯可不同。
在水平輸入模式中，使用者可在水平書寫方向上提供手寫字元(例如，其中預設書寫方向為自左向右，或預設書寫方向自右向左)。在水平輸入模式中，使用者裝置執行手寫輸入沿著水平書寫方向至一或多個辨識單元的分段。
在一些實施例中，使用者裝置僅准許手寫輸入區域中之單行輸入。在一些實施例中，如圖19A中所展示，使用者裝置允許手寫輸入區域中的多行輸入(例如，兩行輸入)。在圖19A中，使用者在手寫輸入區域804中已以若干列提供了複數個手寫筆劃。基於使用者已提供複數個手寫筆劃之順序以及複數個手寫筆劃之相對位置及之間的距離，使用者裝置判定，使用者已鍵入了兩行字元。在將手寫輸入分段成兩個單獨行之後，裝置判定每一行內之辨識單元。
如圖19A中所展示，使用者裝置已辨識出針對在當前手寫輸入1902中識別出之每一辨識單元的各別字元，且產生數個辨識結果1904及1906。如圖19A中進一步展示，在一些實施例中，若辨識單元(例如，由初始筆劃形成之辨識單元)之特定集合的輸出字元(例如，字母「I」)為低，則使用者裝置視需要產生僅展示具有足夠辨識信賴之輸出字元的部分辨識結果(例如，結果1906)。在一些實施例中，使用者可自部分辨識結果1906認識到，第一筆劃針對辨識模型可經修訂或個別地刪除或重寫，以產生正確辨識結果。在此特定實例中，第一辨識單元之編輯不必要，此係因為第一辨識單元1904並不展示第一辨識單元的所要辨識結果。
在此實例中，如圖19A至19B中所展示，使用者已將裝置旋轉至縱向定向(例如，展示於圖19B中)。回應於裝置定向之改變，手寫輸入介面自水平輸入模式改變至垂直輸入模式，如圖19B中所展示。在垂直輸入模式中，手寫輸入區域804、候選項顯示區域806及文字輸入區域808之佈局可不同於水平輸入模式中所展示的佈局。水平及垂直輸入模式之特定佈局可發生變化以適宜於不同裝置形狀及應用需要。在一些實施例中，藉由裝置定向之旋轉及輸入模式中的改變，使用者裝置將最高排名結果(例如，結果1904)作為文字輸入1910自動地鍵入至文字輸入區域808中。游標1912之定向及位置亦反映輸入模式及書寫方向的改變。
在一些實施例中，輸入模式之改變視需要藉由使用者觸控專用輸入模式選擇可視線索1908來觸發。在一些實施例中，輸入模式選擇可視線索為亦展示當前書寫模式、當前書寫方向及/或當前段落方向的圖形使用者介面元件。在一些實施例中，輸入模式選擇可視線索可循環通過由手寫輸入介面802提供的所有可用輸入模式及書寫方向。如圖19A中所展示，可視線索1908展示，當前輸入模式為水平輸入模 式，其中書寫方向為自左向右，且段落方向係自頂部至底部。在圖19B中，可視線索1908展示，當前輸入模式為垂直輸入模式，其中書寫方向為自頂向下，且段落方向係自右向左。根據各種實施例，書寫方向及段落方向之其他組合有可能。
如圖19C中所展示，使用者已以垂直輸入模式在手寫輸入區域804中鍵入了複數個新筆劃1914(例如，兩個中文字元「春晓」的手寫筆劃)。手寫輸入在垂直書寫方向上進行書寫。使用者裝置在垂直方向上將手寫輸入分段成兩個辨識單元，且顯示各自包括在垂直方向上佈局之兩個所辨識字元的兩個辨識結果1916及1918。
圖19C至19D說明，當使用者選擇所顯示之辨識結果(例如，結果1916)時，所選擇辨識結果在垂直方向上被鍵入至文字輸入區域808中。
圖19E至19F說明，使用者已在垂直書寫方向上鍵入了額外數行手寫輸入1920。行根據傳統中文書寫之段落方向自左向右進行。在一些實施例中，候選項顯示區域806亦展示處於與手寫輸入區域之書寫方向及段落方向相同的書寫方向及段落方向的辨識結果(例如，結果1922及1924)。在一些實施例中，其他書寫方向及段落方向可根據與使用者裝置相關聯之主要語言或安裝於使用者裝置上之螢幕小鍵盤的語言(例如，阿拉伯語、中文、日語、英語等)來預設地提供。
圖19E至圖19F亦展示，當使用者已選擇了辨識結果(例如，結果1922)時，所選擇辨識結果之文字被鍵入至文字輸入區域808中。如圖19F中所展示，當前在文字輸入區域808中之文字輸入因此包括在水平模式以自左向右之書寫方向書寫的文字以及在垂直模式以自頂向下書寫方向書寫的文字兩者。水平文字之段落方向為自頂向下，而垂直文字之段落方向係自右向左。
在一些實施例中，使用者裝置允許使用者針對手寫輸入區域 804、候選項顯示區域806及文字輸入區域808中之每一者單獨地建立慣用書寫方向、段落方向。在一些實施例中，使用者裝置允許使用者針對手寫輸入區域804、候選項顯示區域806及文字輸入區域808中之每一者建立慣用書寫方向及段落方向，以與每一裝置定向相關聯。
圖20A至圖20C為用於改變使用者介面之文字輸入方向及手寫輸入方向之例示性程序2000的流程圖。圖19A至圖19F說明根據一些實施例的程序2000。
在一些實施例中，使用者裝置判定(2002)裝置的定向。裝置之定向及裝置定向的改變可藉由使用者裝置中之加速度計及/或其他定向感側元件來偵測。在一些實施例中，使用者裝置根據裝置處於第一定向而在裝置上提供(2004)處於水平輸入模式的手寫輸入介面。在水平輸入模式中鍵入之各別行手寫輸入沿著水平書寫方向被分段成一或多個各別辨識單元。在一些實施例中，使用者裝置根據裝置處於第二定向而在裝置上提供(2006)處於垂直輸入模式的手寫輸入介面。在垂直輸入模式中鍵入之各別別行手寫輸入沿著垂直書寫方向被分段成一或多個各別辨識單元。
在一些實施例中，在以水平輸入模式操作之同時(2008)：裝置偵測(2010)裝置定向之自第一定向至第二定向的改變。在一些實施例中，回應於裝置定向之改變，裝置自水平輸入模式切換(2012)至垂直輸入模式。此情形說明於(例如)圖19A至圖19B中。在一些實施例中，在以垂直輸入模式操作之同時(2014)：使用者裝置偵測(2016)裝置定向之自第二定向至第一定向的改變。在一些實施例中，回應於裝置定向之改變，使用者裝置自垂直輸入模式切換(2018)至水平輸入模式。在一些實施例中，裝置定向與輸入模式之間的關聯可與上述關聯相對。
在一些實施例中，在以水平輸入模式操作之同時(2020)：使用者 裝置自使用者接收(2022)第一多詞語手寫輸入。回應於第一多詞語手寫輸入，使用者裝置根據水平書寫方向將第一多詞語辨識結果呈現(2024)於手寫輸入介面的候選項顯示區域中。此情形說明於(例如)圖19A中。在一些實施例中，在以垂直輸入模式操作之同時(2026)：使用者裝置自使用者接收(2028)第二多詞語手寫輸入。回應於第二多詞語手寫輸入，使用者裝置根據垂直書寫方向將第二多詞語辨識結果呈現(2030)於候選項顯示區域中。此情形說明於(例如)圖19C及圖19E中。
在一些實施例中，使用者裝置接收(2032)選擇第一多詞語辨識結果之第一使用者輸入，例如，如圖19A至19B中所展示，其中選擇藉由用於改變輸入方向之輸入(例如，裝置之旋轉或可視線索1908的選擇)隱式地作出。使用者裝置接收(2034)選擇第二多詞語辨識結果的第二使用者輸入，例如，如圖19C或圖19E中所展示。使用者裝置在手寫輸入介面之文字輸入區域中之同時顯示(2036)第一多詞語辨識結果及第二多詞語辨識結果的各別文字，其中第一多詞語辨識結果之各別文字根據水平書寫方向顯示，且第二多詞語辨識結果之各別文字根據垂直書寫方向顯示。舉例而言，此情形說明於圖19F中的文字輸入區域808中。
在一些實施例中，手寫輸入區域在水平書寫方向上接受多行手寫輸入，且具有預設自頂向下段落方向。在一些實施例中，水平書寫方向為自左向右。在一些實施例中，水平書寫方向為自右向左。在一些實施例中，手寫輸入區域在垂直書寫方向上接受多行手寫輸入，且具有預設自左向右段落方向。在一些實施例中，手寫輸入區域在垂直書寫方向上接受多行手寫輸入，且具有預設自右向左段落方向。在一些實施例中，垂直書寫方向為自頂向下。在一些實施例中，第一定向預設地為橫向定向，且第二定向預設地為縱向定向。在一些實施例 中，使用者裝置在手寫輸入介面中提供各別可視線索，從而在水平輸入模式與垂直輸入模式之間手動地切換而無關於裝置定向。在一些實施例中，使用者裝置在手寫輸入介面中提供各別可視線索從而在兩個替代性書寫方向之間手動地切換。在一些實施例中，使用者裝置在手寫輸入介面中提供各別可視線索從而在兩個替代性段落方向之間手動地切換。在一些實施例中，可視線索為在被連續調用一或多次時旋轉通過輸入及段落方向之每一可用組合的切換按鈕。
在一些實施例中，使用者裝置自使用者接收(2038)手寫輸入。手寫輸入包括提供於手寫輸入介面之手寫輸入區域中的複數個手寫筆劃。回應於手寫輸入，使用者裝置在手寫輸入介面之候選項顯示區域中顯示(2040)一或多個辨識結果。在一或多個辨識結果顯示於候選項顯示區域中之同時，使用者裝置偵測(2042)用於自當前手寫輸入模式切換至替代性手寫輸入模式的使用者輸入。回應於使用者輸入(2044)：使用者裝置自當前手寫輸入模式切換(2046)至替代性手寫輸入模式。在一些實施例中，使用者裝置自手寫輸入區域清除(2048)手寫輸入。在一些實施例中，使用者裝置將顯示於候選項顯示區域中之一或多個辨識結果中的最高排名辨識結果自動鍵入(2050)至手寫輸入介面的文字輸入區域中。此情形(例如)說明於圖19A至圖19B中，其中當前手寫輸入模式為水平輸入模式，且替代性手寫輸入模式為垂直輸入模式。在一些實施例中，當前手寫輸入模式為垂直輸入模式，且替代性手寫輸入模式為水平輸入模式。在一些實施例中，當前手寫輸入模式及替代性手寫輸入模式為提供任何兩個不同手寫輸入方向或段落方向所在的模式。在一些實施例中，使用者輸入為(2052)裝置之自當前定向至不同定向的旋轉。在一些實施例中，使用者輸入為手動地切換當前手寫輸入模式至替代性手寫輸入模式之可視線索的調用。
如本文中所描述，手寫輸入模組允許使用者以任何時間次序鍵 入手寫筆劃及/或字元。因此，刪除多字元手寫輸入中之個別手寫字元及在與所刪除字元之相同位置中重寫相同或不同手寫字元為有利的，此係因為其將幫助使用者修訂長的手寫輸入而不必刪除整個手寫輸入。
圖21A至圖21H說明用於視覺上高亮顯示及/或刪除在當前累積於手寫輸入區域中之複數個手寫筆劃中識別出的辨識單元的例示性使用者介面。允許使用者個別地選擇、檢視並刪除於複數個輸入中識別出之多個辨識單元中的任一者在在多字元且甚至多行手寫輸入被使用者裝置准許時為特別有用的。藉由允許使用者刪除在手寫輸入開始或中間處的特定辨識單元允許使用者對長的輸入進行校正，而不需要使用者刪除定位於非所要辨識單元之後的所有辨識單元。
如圖21A至圖21C中所展示，使用者已在手寫輸入使用者介面802之手寫輸入區域804中提供了複數個手寫筆劃(例如，筆劃2102、2104及2106)。在使用者繼續提供額外筆劃至手寫輸入區域804之同時，使用者裝置更新自當前累積於手寫輸入區域中之手寫輸入識別出的辨識單元，且根據自經更新辨識單元辨識出的輸出字元修訂辨識結果。如圖21C中所展示，使用者裝置已自當前手寫輸入識別出兩個辨識單元，且呈現各自包括兩個中文字元的三個辨識結果(例如，2108、2110及2112)。
在此實例中，在使用者已書寫了兩個手寫字元之後，使用者認識到，第一辨識單元被不正確書寫，且結果使用者裝置尚未識別出並呈現所要辨識結果於候選項顯示區域中。
在一些實施例中，當使用者在觸敏式顯示器上提供觸按示意動作(例如，繼之以同一位置處之立即起離的接觸)時，使用者裝置解譯觸按示意動作為輸入以引起於手寫輸入區域中當前識別出之個別辨識單元的視覺高亮顯示。在一些實施例中，另一預定示意動作(例如， 在手寫輸入區域上之多手持撥動示意動作)用以使得使用者裝置高亮顯示手寫輸入區域804中的個別辨識單元。觸按示意動作有時為較佳的，此係因為與手寫筆劃區別為相對容易的，與手寫筆劃區別通常涉及持續接觸，該接觸具較長持續時間且具有接觸在手寫輸入區域804內的移動。多點觸摸示意動作有時為較佳的，此係因為與手寫筆劃區別為相對容易的，與手寫筆劃區別通常涉及手寫輸入區域804內的單一接觸。在一些實施例中，使用者裝置在使用者介面中提供可視線索2112，該可視線索2112可由使用者調用(例如，經由接觸2114)以使得個別辨識單元經視覺高亮顯示(例如，如由框2108及2110所展示)。在一些實施例中，在存在足夠螢幕空間以容納此可視線索時，可視線索為較佳的。在一些實施例中，可視線索可由使用者連續調用多次，此情形使得使用者裝置視覺上高亮顯示根據分段格中之不同分段鏈識別的辨識單元，且對於高亮顯示在所有分段鏈已被展示時經關斷。
如圖21D中所展示，當使用者已提供必要示意動作以在手寫輸入區域804中高亮顯示個別辨識單元時，使用者裝置進一步在每一高亮顯示之辨識單元上顯示個別刪除可視線索(例如，小刪除按鈕2116及2118)。圖21E至圖21F展示，當使用者觸控(例如，經由接觸2120)各別辨識單元的刪除可視線索(例如，框2118中第一辨識單元的刪除按鈕2116)時，自手寫輸入區域804移除各別辨識單元(例如，框2118中)。在此特定實例中，所刪除辨識單元並非時間上最後鍵入之辨識單元，且辨識單元並非沿著書寫方向空間上的最後辨識單元。換言之，使用者可刪除任何辨識單元而無關於辨識單元已提供於手寫輸入區域中的時間及地方。圖21F展示，回應於刪除手寫輸入區域中之第一辨識單元，使用者裝置亦更新顯示於候選項顯示區域806中的辨識結果。如圖21F中所展示，使用者裝置亦已自辨識結果刪除了對應於所刪除辨識單元的候選字元。結果，新辨識結果2120展示於候選項顯 示區域806中。
如圖21G至圖21H中所展示，在第一辨識單元已自手寫輸入介面804移除之後，使用者已在先前由所刪除辨識單元佔用之區域中提供了複數個新手寫筆劃2122。使用者裝置已將手寫輸入區域804中之當前累積之手寫輸入予以重新分段。基於自手寫輸入識別出的辨識單元，使用者裝置在候選項顯示區域806中重新產生辨識結果(例如，結果2124及2126)。圖21G至圖21H展示，使用者已選擇了(例如，經由接觸2128)辨識結果中之一者(例如，結果2124)，且所選擇辨識結果之文字經鍵入至文字輸入區域808中。
圖22A至圖22B為例示性程序2200之流程圖，在該例示性程序2200中，在當前手寫輸入中識別出之個別辨識單元經視覺呈現，且可經個別刪除，而無關於形成辨識單元所用的時間次序。圖21A至圖21H說明根據一些實施例的程序2200。
在例示性程序2200中，使用者裝置自使用者接收(2202)手寫輸入。手寫輸入包括提供於耦接至裝置之觸敏式表面上的複數個手寫筆劃。在一些實施例中，使用者裝置在手寫輸入介面之手寫輸入區域(例如，手寫輸入區域804)中顯現(2204)複數個手寫筆劃。在一些實施例中，使用者裝置將複數個手寫筆劃分段(2206)成兩個或兩個以上辨識單元，每一辨識單元包含複數個手寫筆劃的各別子集。
在一些實施例中，使用者裝置接收(2208)來自使用者的編輯請求。在一些實施例中，編輯請求為(2210)在提供於手寫輸入介面中之預定可視線索(例如，圖21D中之可視線索2112)上偵測到的接觸。在一些實施例中，編輯請求為(2212)在手寫輸入介面中之預定區域上偵測到的觸按示意動作。在一些實施例中，預定區域係在手寫輸入介面之手寫輸入區域內。在一些實施例中，預定區域係在手寫輸入介面之手寫輸入區域外部。在一些實施例中，手寫輸入區域外部之另一預定 示意動作(例如，交叉示意動作、水平撥動示意動作、垂直撥動示意動作、斜撐撥動示意動作)可用作編輯請求。手寫輸入區域外部之示意動作可易於與手寫筆劃區別，此係由於示意動作提供於手寫輸入區域外部。
在一些實施例中，回應於編輯請求，使用者裝置(例如)使用圖21D中之框2108及2110視覺上區別(2214)手寫輸入區域中的兩個或兩個以上辨識單元。在一些實施例中，視覺上區別兩個或兩個以上辨識單元進一步包括(2216)高亮顯示手寫輸入區域中兩個或兩個以上辨識單元之間的各別邊界。在各種實施例中，可使用在視覺上區別在當前手寫輸入中識別出之辨識單元的不同方式。
在一些實施例中，使用者裝置提供(2218)用於自手寫輸入區域個別地刪除兩個或兩個以上辨識單元中之每一者的構件。在一些實施例中，用於個別地刪除兩個或兩個以上辨識單元中之每一者的構件為近接於每一辨識單元顯示的各別刪除按鈕，例如，如由圖21D中之刪除按鈕2116及2118所展示。在一些實施例中，用於個別地刪除兩個或兩個以上辨識單元中之每一者的構件為用於偵測在每一辨識單元上之預定刪除示意動作輸入的構件。在一些實施例中，使用者裝置並不在高亮顯示辨識單元上視覺地顯示個別個別刪除可視線索。替代地，在一些實施例中，使用者經允許以使用刪除示意動作來刪除在刪除示意動作下面的各別辨識單元。在一些實施例中，由於使用者裝置以視覺上高亮顯示之方式正顯示辨識單元，因此使用者裝置並不在手寫輸入區域中接受額外手寫筆劃。替代地，預定示意動作或在視覺上高亮顯示之辨識單元上偵測到的任何示意動作將使得使用者裝置自手寫輸入區域移除辨識單元，且因此修訂顯示於候選項顯示區域中的辨識結果。在一些實施例中，觸按示意動作使得使用者裝置視覺上高亮顯示在手寫辨識區域中識別出的個別辨識單元，且使用者可接著使用刪除按鈕 以反向書寫方向來逐一刪除個別辨識單元。
在一些實施例中，使用者裝置自使用者且經由所提供之構件接收(2224)用於自手寫輸入區域個別地刪除兩個或兩個以上辨識單元中之第一辨識單元的刪除輸入，例如，如圖21E中所展示。回應於刪除輸入，使用者裝置自手寫輸入區域移除(2226)第一辨識單元中手寫筆劃的各別子集，例如，如圖21F中所展示。在一些實施例中，第一辨識單元為兩個或兩個以上辨識單元中的空間初始辨識單元。在一些實施例中，第一辨識單元為兩個或兩個以上辨識單元間的空間上之中間辨識單元，例如，如圖21E至圖21F中所展示。在一些實施例中，第一辨識單元為兩個或兩個以上辨識單元間的空間上之末端辨識單元。
在一些實施例中，使用者裝置自複數個手寫筆劃產生(2228)分段格，分段格包括各自表示自複數個手寫筆劃識別出之辨識單元之各別集合的複數個替代性分段鏈。舉例而言，圖21G展示辨識結果2124及2126，其中辨識結果2124產生自具有兩個辨識單元的分段鏈，且辨識結果2126產生自具有三個辨識單元的另一分段鏈。在一些實施例中，使用者裝置自使用者接收(2230)兩個或兩個以上連續編輯請求。舉例而言，兩個或兩個以上連續編輯請求可為圖21G中可視線索2112上的若干連續觸按。在一些實施例中，回應於兩個或兩個以上連續編輯請求中之每一者，使用者裝置視覺上區別(2232)辨識單元之各別集合與手寫輸入區域中複數個替代性分段鏈中的不同分段鏈。舉例而言，回應於第一觸按示意動作，兩個辨識單元(例如，分別對於字元「帽」及「子」)在手寫輸入區域804經高亮顯示，且回應於第二觸按示意動作，高亮顯示三個辨識單元(例如，分別對於字元「巾」、「冒」及「子」)。在一些實施例中，回應於第三觸按示意動作，視覺高亮顯示視需要自所有辨識單元移除，且手寫輸入區域返回至正常狀態以為接受額外筆劃做好準備。在一些實施例中，使用者裝置提供(2234)用於 個別地刪除當前表示於手寫輸入區域中的各別辨識單元集合中每一辨識單元的構件。在一些實施例中，構件為用於每一高亮顯示辨識單元的個別刪除按鈕。在一些實施例中，構件為用於偵測每一高亮顯示辨識單元上之預定刪除示意動作且用於調用函數以在預定刪除示意動作下刪除高亮顯示辨識單元的構件。
如本文中所描述，在一些實施例中，使用者裝置在手寫輸入區域中提供連續輸入模式。由於手寫輸入區域之面積在攜帶型使用者裝置上受限，因此有時所要的是提供一種對由使用者提供之手寫輸入進行快取且允許使用者在不提交先前提供之手寫輸入的情況下重用螢幕空間的方式。在一些實施例中，使用者裝置提供捲動手寫輸入區域，其中當使用者正變得充分靠近手寫輸入區域之末端時，輸入區域逐漸移位某量(例如，一次一個辨識單元)。在一些實施例中，由於在手寫輸入區域中移位現有辨識單元可與使用者之書寫程序干擾，且可能與辨識單元之正確分段干擾，因此有時有利的是回收輸入區域之先前使用區而不動態地移位辨識單元。在一些實施例中，當使用者重用由尚未鍵入於文字輸入區域中之手寫輸入佔用的區域時，手寫輸入區域之最高排名辨識結果自動地鍵入至文字輸入區域中，使得使用者可繼續提供新手寫輸入而不顯式地選擇最高排名辨識結果。
在一些習知系統中，允許使用者在仍展示於手寫輸入區域中的現有手寫輸入上進行書寫。在此等系統中，時間資訊用以判定新筆劃為較早辨識單元抑或新辨識單元的部分。此等時間資訊相依系統對使用者提供手寫輸入所用之速度及節拍提出苛刻要求，其難以由許多使用者滿足。此外，手寫輸入之視覺顯露可為對於使用者難以解密的混亂。因此，書寫程序對於使用者可為挫敗且混淆的，從而導致不良的使用者體驗。
如本文中所描述，漸淡程序用以指示使用者可重用由先前書寫 辨識單元佔用之區域且繼續在手寫輸入區域中進行書寫的時間。在一些實施例中，漸淡程序逐漸減低已提供於手寫輸入區域中之每一辨識單元的可見性歷時臨限時間量，使得當新筆劃書寫於該辨識單元上方時，現有文字並不與新筆劃視覺上競爭。在一些實施例中，漸淡辨識單元上方之書寫自動地使得辨識單元之最高排名辨識結果被鍵入至文字輸入區域中，而不需要使用者停止書寫並顯式地提供用於最高排名辨識結果的選擇輸入。最高排名辨識結果之此隱式及自動確認改良手寫輸入介面的輸入效率及速度，且減少對使用者施加以維持當前文字合成的思維流程的認知負擔。在一些實施例中，漸淡辨識單元上方之書寫並不引起最高排名搜尋結果的自動選擇。替代地，漸淡辨識單元在手寫輸入堆疊中進行快取，且與新手寫輸入組合作為當前手寫輸入。使用者可看到在進行選擇之前基於累積於手寫輸入堆疊中的所有辨識單元而產生的辨識結果。
圖23A至圖23J說明例示性使用者介面及程序，在該例示性使用者介面及程序中，提供於手寫輸入區域之不同區中的辨識單元(例如)在預定時間量之後且在淡出已發生於特定區中之後自其個別區逐漸淡出，使用者經允許以在該區中提供新手寫筆劃。
如圖23A中所展示，使用者已在手寫輸入區域804中提供了複數個手寫筆劃2302(例如，大寫字母「I」的手寫筆劃)。手寫筆劃2302由使用者裝置識別為辨識單元。在一些實施例中，當前展示於手寫輸入區域804中之手寫輸入在使用者裝置之手寫輸入堆疊的第一層中進行快取。基於所識別之辨識單元產生的數個辨識結果提供於候選項顯示區域806中。
圖23B展示，當使用者繼續在筆劃2304右側書寫一或多個筆劃2302時，第一辨識單元中之手寫筆劃2302開始在手寫輸入區域804中逐漸淡出。在一些實施例中，動畫經顯示以模擬第一辨識單元之視覺 顯現的逐漸漸淡或消散。舉例而言，動畫可產生墨水自白板消失之視覺效應。在一些實施例中，辨識單元之漸淡越過整個辨識單元並不均一。在一些實施例中，辨識單元之漸淡隨時間增加，且最終辨識單元在手寫區域中完全不可見。然而，儘管辨識單元不再在手寫輸入區域804中可見，但在一些實施例中，不可見辨識單元保持於手寫輸入堆疊頂部，且自辨識單元產生之辨識結果繼續顯示於候選項顯示區域中。在一些實施例中，漸淡辨識單元並不完全自視圖移除，直至新手寫輸入已書寫於其上方。
在一些實施例中，使用者裝置允許就在漸淡動畫開始之後在藉由漸淡辨識單元佔用之區上提供新手寫輸入。在一些實施例中，僅在漸淡已進展至某階段(例如，達最微弱層級或直至辨識在區中完全不可見)之後，使用者裝置允許新手寫輸入提供於漸淡辨識單元佔用的區上方。
圖23C展示，第一辨識單元(亦即，筆劃2302)已完成了其漸淡程序(例如，墨水色彩已穩定於極淡層級或已變得不可見)。使用者裝置具有自由使用者提供之額外手寫筆劃而識別出的額外辨識單元(例如，手寫字母「a」及「m」的辨識單元)，及呈現於候選項顯示區域806中之經更新辨識結果。
圖23D至圖23F說明，隨著時間過去，且使用者已在手寫輸入區域804中提供了複數個添加手寫筆劃(例如，2304及2306)。同時，先前識別之辨識單元自手寫輸入區域804逐漸消失。在一些實施例中，對於每一辨識單元，花費預定時間量來在已識別出辨識單元之後開始其自己的漸淡程序。在一些實施例中，每一辨識單元之漸淡程序並不開始，直至使用者已開始輸入在該辨識單元下游的第二辨識單元。如圖23B至圖23F中所展示，當手寫輸入以草書體樣式提供時，單一筆劃(例如，筆劃2304或筆劃2306)可行進通過手寫輸入區域中的多個辨 識單元(例如，單詞「am」或「back」中每一手寫字母的辨識單元)。
圖23G說明，甚至在辨識單元已開始其漸淡程序之後，使用者可藉由預定復原輸入例如刪除按鈕2310上之觸按示意動作(例如，如藉由接觸2308繼之以立即起離所指示)將辨識單元帶回至非經漸淡狀態。當復原辨識單元時，其外觀返回至正常可見性層級。在一些實施例中，經漸淡辨識單元之復原在手寫輸入區域804中在反向書寫方向上逐字元地進行。在一些實施例中，經漸淡辨識單元之復原在手寫輸入區域804中逐字元地進行。如圖23G中所展示，對應於單詞「back」之辨識單元已自完全經漸淡狀態復原至完全非經漸淡狀態。在一些實施例中，在辨識單元復原至非經漸淡狀態時，開始漸淡程序之時脈對於每一辨識單元經重設。
圖23H展示，刪除按鈕上之持續接觸使得預設書寫方向上之最後辨識單元(例如，單詞「back」中之字母「k」的辨識單元)自手寫輸入區域804刪除。隨著刪除輸入經繼續維持，更多辨識單元(例如，單詞「back」中字母「c」、「a」、「b」的辨識單元)在反向書寫方向上被逐一刪除。在一些實施例中，辨識單元之刪除係逐單詞刪除，且自手寫輸入區域804刪除之手寫單詞「back」中之所有字母被同時移除。圖23H亦展示，隨著接觸2308在刪除了手寫詞語「back」中之字母「b」的辨識單元之後在刪除按鈕2310上維持，先前漸淡之辨識單元「m」又被復原。
圖23I展示，若刪除輸入在手寫單詞「am」中之經復原辨識單元「m」的刪除發生之前停止，則經復原之辨識單元逐漸再次漸淡。在一些實施例中，每一辨識單元之狀態(例如，選自一或多個漸淡狀態之集合及未經漸淡狀態中之一狀態)在手寫輸入中經維持並更新。
圖23J說明，當使用者已在手寫輸入區域中在由經漸淡辨識單元(例如，字母「I」的辨識單元)佔用之區域上方提供了一或多個筆劃 2312時，在一些實施例中，在筆劃2312被自動地鍵入至文字輸入區域808中之前，進行手寫輸入的最高排名辨識結果(例如，結果2314)之文字，如圖23I至圖23J中所描述。如圖23J中所展示，文字「I am」不再展示為試驗性的，而是替代地已在文字輸入區域808中予以提交。在一些實施例中，一旦已針對全部或部分漸淡手寫輸入進行了文字輸入，手寫輸入便自手寫輸入堆疊移除。新鍵入之筆劃(例如，筆劃2312)變為手寫輸入堆疊中的當前輸入。
如圖23J中所展示，文字「I am」不再展示為試驗性的，而是替代地已在文字輸入區域808中予以提交。在一些實施例中，一旦已針對全部或部分漸淡手寫輸入進行了文字輸入，手寫輸入便自手寫輸入堆疊移除。新鍵入之筆劃(例如，筆劃2312)變為手寫輸入堆疊中的當前輸入。
在一些實施例中，當筆劃2312已提供於手寫輸入區域中由經漸淡辨識單元(例如，字母「I」的辨識單元)佔用之區域上方時，在筆劃2312未被自動地鍵入至文字輸入區域808中之前，進行手寫輸入的最高排名辨識結果(例如，結果2314)之文字。替代地，手寫輸入區域804中之當前手寫輸入(漸淡手寫輸入及非漸淡手寫輸入兩者)被清除，且在手寫輸入堆疊中進行快取。新筆劃2312附加至手寫輸入堆疊中的經快取手寫輸入。使用者裝置基於當前累積於手寫輸入堆疊中之手寫輸入的整體來判定辨識結果。辨識結果顯示於候選項顯示區域中。換言之，儘管當前累積輸入之僅一部展示於手寫輸入區域804中，但辨識結果基於在手寫輸入堆疊中快取之整個手寫輸入(係可見之部分及不再可見的部分兩者)來產生。
圖23K展示，使用者已在手寫輸入區域804中鍵入了更多筆劃2316，該等筆劃2316隨時間而漸淡。圖23L展示，在漸淡筆劃2312及2316上方書寫之新筆劃2318已使得漸淡筆劃2312及2316的頂部辨識結 果2320之文字被鍵入至文字輸入區域808中。
在一些實施例中，使用者視需要以多行提供手寫輸入。在一些實施例中，當啟用多行輸入時，相同漸淡程序可用以清除新手寫輸入的手寫輸入區域。
圖24A至圖24B為用於在手寫輸入介面之手寫輸入區域中提供漸淡程序的例示性程序2400之流程圖。圖23A至圖23K說明根據一些實施例的程序2400。
在一些實施例中，裝置自使用者接收(2402)第一手寫輸入。第一手寫輸入包括複數個手寫筆劃，且複數個手寫筆劃形成沿著與手寫輸入介面之手寫輸入區域相關聯之各別書寫方向分佈的多個辨識單元。在一些實施例中，隨著手寫筆劃由使用者提供，使用者裝置在手寫輸入區域中顯現(2404)複數個手寫筆劃中之每一者。
在一些實施例中，使用者裝置在辨識單元經完全顯現之後開始(2406)多個辨識單元中之每一者的各別漸淡程序。在一些實施例中，在各別漸淡程序期間，辨識單元在第一手寫輸入中之顯現逐漸消失。此情形根據一些實施例說明於圖23A至圖23F中。
在一些實施例中，使用者裝置在由多個辨識單元之經漸淡辨識單元佔用的手寫輸入區域的區上自使用者接收(2408)第二手寫輸入，例如，如圖23I至圖23J且圖23K至圖23L中所說明。在一些實施例中，回應於接收到第二手寫輸入(2410)：使用者裝置於手寫輸入區域中顯現(2412)第二手寫輸入，且自手寫輸入區域清除(2414)所有漸淡辨識單元。在一些實施例中，在第二手寫輸入之前鍵入於手寫輸入區域中的所有辨識單元自手寫輸入區域被清除，而無關於辨識單元是否已開始其漸淡程序。舉例而言，此情形說明於圖23I至23J且圖23K至圖23L中。
在一些實施例中，使用者裝置產生(2416)第一手寫輸入的一或多 個辨識結果。在一些實施例中，使用者裝置於手寫輸入介面的候選項顯示區域中顯示(2418)一或多個辨識結果。在一些實施例中，回應於接收到第二手寫輸入，使用者裝置在無使用者選擇的情況下自動地鍵入(2420)顯示於候選項顯示區域中之最高排名辨識結果於手寫輸入介面的文字輸入區域中。舉例而言，此情形說明於圖23I至23J且圖23K至圖23L中。
在一些實施例中，使用者裝置儲存(2422)包括第一手寫輸入及第二手寫輸入的輸入堆疊。在一些實施例中，使用者裝置產生(2424)一或多個多字元辨識結果，其各自包含自第一手寫輸入及第二手寫輸入之級聯辨識出之各別空間字元序列。在一些實施例中，在第二手寫輸入之顯現已替換手寫輸入區域中第一手寫輸入的顯現的同時，使用者裝置於手寫輸入介面的候選項顯示區域中顯示(2426)一或多個多字元辨識結果。
在一些實施例中，當由使用者完成辨識單元之後已經過了預定時間段時，每一辨識單元之各別漸淡程序開始。
在一些實施例中，當使用者已開始輸入每一辨識單元之後的下一辨識單元之筆劃時，該辨識單元之漸淡程序開始。
在一些實施例中，每一辨識單元之各別漸淡程序的結束狀態為具有辨識單元之預定最小可見性的狀態。
在一些實施例中，每一辨識單元之各別漸淡程序的結束狀態為具有辨識單元之零可見性的狀態。
在一些實施例中，在第一手寫輸入中之最後辨識單元已變得漸淡之後，使用者裝置接收(2428)來自使用者的預定復原輸入。回應於接收到預定復原輸入，使用者裝置將最後辨識單元自經漸淡狀態(2430)恢復至非經漸淡狀態。舉例而言，此情形說明於圖23F至圖23H中。在一些實施例中，預定復原輸入係在提供於手寫輸入介面中之刪 除按鈕上偵測到的初始接觸。在一些實施例中，在刪除按鈕上偵測到之持續接觸自手寫輸入區域刪除最後辨識單元，且將第二至最後辨識單元自經漸淡狀態復原至非經漸淡狀態。舉例而言，此情形說明於圖23G至圖23H中。
如本文中所描述，多筆跡手寫辨識模型執行手寫字元的獨立於筆劃次序且獨立於筆劃方向的辨識。在一些實施例中，辨識模型經受關於僅含有於書寫樣本之平坦影像中的空間導出特徵之訓練，該等書寫樣本對應於手寫辨識模型之詞彙表中的不同字元。由於書寫樣本之影像不含有與含有於影像中之個別筆劃相關的任何時間資訊，因此所得辨識模型為獨立於筆劃次序且獨立於筆劃方向。
如上文所說明，與筆劃次序及筆劃方向獨立的手寫辨識提供優於習知辨識系統的許多優點，該等習知辨識系統依賴於與字元之時間產生(例如，字元中筆劃之時間順序)相關的資訊。然而，在即時手寫辨識情境下，與個別筆劃相關之時間資訊可用，且有時有益的是利用此資訊來改良手寫辨識系統的辨識準確性。以下內容描述將時間導出筆劃分佈資訊整合至手寫辨識模型之空間特徵擷取中的技術，其中時間導出筆劃分佈資訊的使用並不破壞手寫辨識系統的筆劃次序及/或筆劃方向獨立性。基於與不同字元相關的筆劃分佈資訊，藉由筆劃之與眾不同集合產生之類似外觀字元之間的歧義消除變得有可能。
在一些實施例中，當手寫輸入被轉換成用於手寫辨識模型(例如，CNN)的輸入影像(例如，輸入點陣圖影像)時，則丟失與個別筆劃相關聯的時間資訊。舉例而言，對於中文字元「国」，八個筆劃(例如，在圖27中標註為#1至#8)可用以寫出字元。字元之筆劃的順序及方向提供與字元相關聯的一些獨特特徵。在不破壞辨識系統之筆劃次序及筆劃方向獨立性的情況下捕獲筆劃次序及筆劃方向資訊的固有方式為顯式地枚舉訓練樣本中筆劃次序及筆劃方向的所有可能排列。但 甚至對於具有僅中等複雜性之字元，此將總計達十億個可能性，此情形在實際上不會不可能實施的情況下不可行。如本文中所描述，筆劃分佈型態針對每一書寫樣本產生，其抽象化筆劃產生的按時間次序態樣(亦即，時間資訊)。書寫樣本之筆劃分佈型態經訓練以擷取隨後與空間導出特徵(例如，來自輸入點陣圖影像)組合的時間導出特徵集合，改良辨識準確性而不影響手寫辨識系統的筆劃次序及筆劃方向獨立性。
如本文中所描述，藉由計算多種像素分佈以特徵化每一手寫筆劃來擷取與字元相關聯之時間資訊。字元之每一手寫筆劃在投影至給定方向上時引起確定性型樣(或型態)。雖然此型樣自身可能不足以無歧義地辨識出筆劃，但當與其他類似型樣組合時，其可足以捕獲對於此特定筆劃固有的某些特性。整合此種類之筆劃表示連同空間特徵擷取(例如，基於CNN中輸入影像的特徵擷取)又提供可用以在手寫辨識模型之字集中類似外觀字元之間消除歧義的正交資訊。
圖25A至圖25B為用於在手寫辨識模型之訓練期間整合手寫樣本之時間導出特徵與空間導出特徵的例示性程序2500之流程圖，其中所得辨識模型保持為與筆劃次序及筆劃方向獨立。在一些實施例中，例示性程序2500在將經訓練辨識模型提供至使用者裝置(例如，攜帶型裝置100)的伺服器裝置上執行。在一些實施例中，伺服器裝置包括一或多個處理器，及含有用於在由一或多個處理器執行時執行程序2500之指令的記憶體。
在例示性程序2500中，裝置單獨地訓練(2502)手寫辨識模型的空間導出特徵集合及時間導出特徵集合，其中空間導出特徵集合經受關於各自係輸出字元集合之各別字元之手寫樣本之影像的訓練影像之語料庫之訓練，且時間導出特徵集合經受關於筆劃分佈型態之語料庫之訓練，每一筆劃分佈型態數值上特徵化複數個筆劃在輸出字元集合之 各別字元之手寫樣本中的空間分佈。
在一些實施例中，單獨地訓練空間導出特徵集合進一步包括(2504)訓練具有以下各者的迴旋神經網路：輸入層，輸出層，及包括第一迴旋層、最後迴旋層、第一迴旋層與最後迴旋層之間的零或零個以上中間迴旋層的複數個迴旋層，以及最後迴旋層與輸出層之間的隱藏層。例示性迴旋網路2602展示於圖26中。例示性迴旋網路2602可以與展示於圖6中之迴旋網路602實質上相同的方式來實施。迴旋網路2602包括輸入層2606，輸出層2608，包括第一迴旋層2610a、零或零個以上中間迴旋層及最後迴旋層2610n的複數個迴旋層，以及最後迴旋層與輸出層2608之間的隱藏層2614。根據展示於圖6中之配置，迴旋網路2602亦包括核心層2616及子取樣層2612。迴旋網路之訓練基於訓練語料庫2604中之書寫樣本的影像2614。空間導出特徵經獲得，且藉由使訓練語料庫中之訓練樣本的辨識錯誤最小化來判定與不同特徵相關聯之各別權重。相同特徵及權重一旦經訓練便用於不存在於訓練語料庫中之新手寫樣本的辨識。
在一些實施例中，單獨地訓練時間導出特徵集合進一步包括(2506)提供複數個筆劃分佈型態至統計模型，以判定複數個時間導出參數及複數個時間導出參數之用於對輸出字元集合之各別字元進行分類的各別權重。在一些實施例中，如圖26中所展示，筆劃分佈型態2620自訓練語料庫2622中之每一書寫樣本導出。訓練語料庫2622視需要包括與語料庫2604相同之書寫樣本，而且包括與每一書寫樣本中之筆劃產生相關聯的時間資訊。筆劃分佈型態2622經提供至統計模型化程序2624，在該程序期間，時間導出特徵經擷取，且基於統計模型化方法(例如，CNN、K近鄰判定法等)藉由使辨識或分類錯誤最小化來判定不同特徵之各別權重。如圖26中所展示，時間導出特徵集合及各別權重經轉換成特徵向量(例如，特徵向量2626或特徵向量2628)集 合，且注入至迴旋神經網路2602中的各別層中。所得網路因此包括正交於彼此且一起有益於字元之辨識的空間導出參數及時間導出參數。
在一些實施例中，裝置在手寫辨識模型中組合(2508)空間導出特徵集合與時間導出特徵集合。在一些實施例中，在手寫辨識模型中組合空間導出特徵集合與時間導出特徵集合包括(2510)將複數個空間導出參數及複數個時間導出參數注入至迴旋神經網路的迴旋層或隱藏層中之一者中。在一些實施例中，複數個時間導出參數及複數個時間導出參數的各別權重被注入至用於手寫辨識的迴旋神經網路的最後迴旋層(例如，圖26中之最後迴旋層2610n)中。在一些實施例中，複數個時間導出參數及複數個時間導出參數的各別權重被注入至用於手寫辨識的迴旋神經網路的隱藏層(例如，圖26中之隱藏層2614)中。
在一些實施例中，裝置使用手寫辨識模型提供(2512)用於使用者之手寫輸入的即時手寫辨識。
在一些實施例中，裝置自複數個書寫樣本產生(2514)筆劃分佈型態的語料庫。在一些實施例中，複數個手寫樣本中之每一者對應於(2516)輸出字元集合中之一字元，且隨著手寫樣本被書寫而單獨地保存用於手寫樣本之每一構成筆劃的各別空間資訊。在一些實施例中，為了產生筆劃分佈型態之語料庫，裝置執行(2518)以下步驟： 對於複數個手寫樣本中之每一者(2520)：裝置識別(2522)手寫樣本中之構成筆劃；對於手寫樣本之所識別筆劃的每一者，裝置計算(2524)沿著複數個預定方向中之每一者的各別佔用比率，佔用比率為該每一筆劃方向之投影跨距與書寫樣本之最大投影跨距之間的比率；對於手寫樣本之所識別筆劃中的每一者，裝置基於該每一筆劃內之像素的各別數目與該書寫樣本內之像素之總數之間的比率亦計算(2526)該每一筆劃的各別飽和比。使用者裝置接著產生(2528)手寫樣本之特徵向量作為書寫樣本的筆劃分佈型態，特徵向量包括手寫樣本中至少 N個筆劃的各別佔用比率及各別飽和比，其中N為預定自然數。在一些實施例中，N小於複數個書寫樣本內任何單一書寫樣本中觀測到的最大筆劃計數。
在一些實施例中，對於複數個手寫樣本中的每一者：裝置以降序對在數個預定方向中之每一者上的所識別筆劃的各別佔用比率進行排序；且在書寫樣本之特徵向量中包括書寫樣本的僅N個最高排名佔用比率及飽和比。
在一些實施例中，複數個預定方向包括書寫樣本的水平方向、垂直方向、正45度方向及負45度方向。
在一些實施例中，為了使用手寫辨識模型提供使用者之手寫輸入的即時手寫辨識，裝置接收使用者之手寫輸入；且回應於接收到使用者之手寫輸入，與接收手寫輸入實質上同時地將手寫辨識輸出提供至使用者。
使用展示於圖27中之字元「国」，本文中為了說明性目的而描述例示性實施例。在一些實施例中，手寫字元之每一輸入影像視需要正規化為正方形。每一個別手寫筆劃(例如，筆劃#1、#2、……、及#8)的跨距在投影於正方形之水平、垂直、+45度對角線及-45度對角線上時予以量測。對於四個投影方向，每一筆劃Si之跨距分別記錄為xspan(i)、yspan(i)、cspan(i)及dspan(i)。此外，越過整個影像觀測到之最大跨距亦被記錄。對於四個投影方向，字元之最大跨距分別記錄為xspan、yspan、cspan及dspan。為了說明性目的，視需要在此處考慮四個投影方向，但原理上任何投影之任意集合可用於各種實施例中。字元「国」中之筆劃中的一者(例如，筆劃#4)的最大跨距(例如，指示為xspan、yspan、cspan及dspan)及四個投影方向上的跨距(例如，指示為xspan(4)、yspan(4)、cspan(4)及dspan(4))展示於圖27中。
在一些實施例中，一旦以上跨距已針對所有筆劃1至S進行了量 測，便計算沿著每一投影方向的各別佔用比率，其中S為與輸入影像相關聯的個別手寫筆劃的數目。舉例而言，筆劃S i 之沿著x方向的各別佔用率R x (i)計算為R x (i)=xspan(i)/xspan。類似地，沿著其他投影方向之各別佔用率可計算為R y (i)=yspan(i)/yspan，R c (i)=cspan(i)/cspan，R d (i)=dspan(i)/dspan。
在一些實施例中，所有筆劃在每一方向上的佔用比率以降序單獨地排序，且輸入影像中所有筆劃的各別排名因此依據該方向上之佔用比率針對每一投影方向而獲得。筆劃在每一投影方向上的排名反映每一筆劃沿著關聯投影方向的相對重要性。此相對重要性無關於筆劃在書寫樣本中產生所用的次序及方向。因此，基於佔用比率之此排名為與筆劃次序及筆劃方向獨立之時間導出資訊。
在一些實施例中，向每一筆劃提供相對權重，從而指示筆劃相對於整個字元的重要性。在一些實施例中，權重藉由每一筆劃中之像素的數目與字元中像素之總數的比率來量測。此比率被稱作與每一筆劃相關聯的飽和比。
在一些實施例中，基於每一筆劃之佔用比率及飽和比，可針對每一筆劃而產生特徵向量。對於每一字元，產生包括5S數目個特徵的特徵向量集合。此特徵集合被稱作字元之筆劃分佈型態。
在一些實施例中，僅預定數目個最高排名筆劃用於建構每一字元之筆劃分佈型態中。在一些實施例中，筆劃之預定數目為10。基於頂部十個筆劃，可針對每一字元產生50個筆劃導出特徵。在一些實施例中，此等特徵在迴旋神經網路之最後迴旋層處或在隨後隱藏層處被注入。
在一些實施例中，在即時辨識期間，辨識單元之輸入影像經提供至已藉由空間導出特徵及時間導出特徵兩者進行訓練的手寫辨識模式。輸入影像經由展示於圖26中之手寫辨識模型的每一層進行處理。 當輸入影像之處理到達需要筆劃分佈型態輸入所在之層(例如，最後迴旋層或隱藏層)時，辨識單元的筆劃分佈型態被投影至該層中。輸入影像及筆劃分佈型態的處理繼續，直至輸出分類(例如，一或多個候選字元)提供於輸出層2608中。在一些實施例中，所有辨識單元之筆劃分佈型態經計算，且連同辨識單元之輸入影像一起提供至手寫辨識模型作為輸入。在一些實施例中，辨識單元之輸入影像最初通過手寫辨識模型(而不利用時間訓練特徵)。當兩個或兩個以上類似外觀候選字元藉由緊密辨識信賴值而識別時，辨識單元之筆劃分佈型態接著在已藉由時間導出特徵訓練之層(例如，最後迴旋層或隱藏層)處被注入至手寫辨識模型中。當辨識單元之輸入影像及筆劃分佈型態通過手寫辨識模型的最後層時，兩個或兩個以上類似外觀候選字元歸因於其筆劃分佈型態中之差異可經更好區別。因此，與辨識單元如何由個別手寫筆劃形成之方式相關的時間導出資訊用以改良辨識準確性，而不損害手寫辨識系統的筆劃次序及筆劃方向獨立性。
出於解釋之目的，已參看特定實施例描述了上述描述。然而，上文之說明性論述並不意欲為詳盡的，或並不意欲將本發明限於所揭示之精確形式。鑒於以上教示內容，許多修改及變化係可能的。選定並描述該等實施例以便最佳地解釋本發明之原理及其實際應用，藉此使熟習此項技術者能夠最佳地利用本發明及具有如適合於所預期之特定用途之各種修改的各種實施例。

Claims (17)

  1. 一種上面儲存有指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時使得該等處理器執行包含以下各者的操作：自一使用者接收第一複數個手寫筆劃，其中該第一複數個手寫筆劃包括一第一手寫筆劃及一第二手寫筆劃且其中該第一複數個手寫筆劃對應於一第一手寫字元；在接收該第一手寫筆劃及該第二手寫筆劃之後：基於包括至少經接收之該第一手寫筆劃及經接收之該第二手寫筆劃之該第一複數個手寫筆劃來產生該第一手寫字元之一單一輸入影像，及在一手寫輸入區域中顯示該第一手寫字元；在產生該單一輸入影像之後，將該單一輸入影像提供至一手寫辨識模型以執行該第一手寫字元的即時辨識，其中該手寫辨識模型提供與筆劃次序獨立的手寫辨識；在接收該第一複數個手寫筆劃時，即時地在一候選顯示區域中與該第一手寫字元同時地顯示一第一輸出字元，而無關於該第一複數個手寫筆劃已接收自該使用者所用的一各別次序；顯示一刪除可視線索(affordance)；在接收了對應於該第一手寫字元之該第一複數個手寫筆劃之後，自該使用者接收第二複數個手寫筆劃，該第二複數個手寫筆劃對應於一第二手寫字元；在接收該第二複數個手寫筆劃之後：基於該第二複數個手寫筆劃產生一第二輸入影像，在該手寫輸入區域中，與該第一手寫字元及該第一輸出字 元同時地顯示一第二手寫字元；將該第二輸入影像提供至該手寫辨識模型以執行該第二手寫字元之即時辨識；在接收該第二複數個手寫筆劃時，即時地在該候選顯示區域中與該第一手寫字元、該第一輸出字元、及該第二手寫字元同時地且顯示對應於該第二複數個手寫筆劃之一第二輸出字元，其中該第一輸出字元及該第二輸出字元以一空間序列顯示，而獨立於該第一複數個手寫筆劃及該第二複數個手寫筆劃已由該使用者提供的一各別次序；在接收該第二複數個手寫筆劃之後，偵測該刪除可視線索之啟動；及回應於偵測該刪除可視線索之啟動，停止顯示該第一複數個手寫筆劃但維持該第二複數個手寫筆劃之顯示。
  2. 如請求項1之媒體，其中該手寫辨識模型提供與筆劃方向獨立之手寫辨識，且其中顯示該第一輸出字元進一步包含：回應於接收到該複數個手寫筆劃而顯示該第一輸出字元，而無關於該複數個手寫筆劃中之每一者已由該使用者提供所用的一各別筆劃方向。
  3. 如請求項1之媒體，其中該手寫辨識模型提供與筆劃計數獨立之手寫辨識，且其中顯示該第一輸出字元進一步包含：回應於接收到該複數個手寫筆劃而顯示該第一輸出字元，而無關於多少個手寫筆劃用以形成該單一輸入影像中的一連續筆劃。
  4. 如請求項1之媒體，其中與筆劃次序獨立之手寫辨識獨立於與該第一手寫字元及該第二手寫字元內之個別筆劃相關聯的時間資訊而執行。
  5. 如請求項1之媒體，其中該第一輸出字元及該第二輸出字元的該空間序列對應於該第一複數個手寫筆劃及該第二複數個筆劃沿著該使用者裝置之一手寫輸入介面之一預設書寫方向的一空間分佈。
  6. 如請求項1之媒體，其中藉由該使用者提供該手寫字元作為一第一手寫句子的部分，且藉由該使用者提供該第二手寫字元作為一第二手寫句子的部分，且其中該第一手寫句子及該第二手寫句子同時顯示於該使用者裝置的一手寫輸入區域中。
  7. 如請求項1之媒體，其中時間上在該第一複數個手寫筆劃之後接收該第二複數個手寫筆劃，且該第二輸出字元在沿著該使用者裝置之一手寫輸入介面之一預設書寫方向的一空間序列上先於該第一輸出字元。
  8. 如請求項1之媒體，其中該第二複數個手寫筆劃沿著該使用者裝置之一手寫輸入介面的一預設書寫方向空間上跟隨該第一複數個手寫筆劃，且該第二輸出字元沿著該預設書寫方向在一空間序列上跟隨該第一輸出字元，且其中該媒體包含指令，該等指令在由該一或多個處理器執行時使得該等處理器執行包含以下各者的操作：自該使用者接收一第三手寫筆劃以修訂該第一手寫字元，該第三手寫筆劃時間上在該第一複數個手寫筆劃及該第二複數個手寫筆劃之後被接收；回應於接收到該第三手寫筆劃，基於該第三書寫筆劃與該第一複數個手寫筆劃的相對近接而將該第三手寫筆劃指派至與該第一複數個手寫筆劃相同的一辨識單元；基於該第一複數個手寫筆劃及該第三手寫筆劃產生一經修訂之輸入影像； 將該經修訂之輸入影像提供至該手寫辨識模型以執行該經修訂之手寫字元的即時辨識；及回應於接收到該第三手寫輸入顯示對應於該經修訂之輸入影像的一第三輸出字元，其中該第三輸出字元替換該第一輸出字元，且在沿著該預設書寫方向的該空間序列上與該第二輸出字元同時被顯示。
  9. 如請求項8之媒體，其包含在由該一或多個處理器執行時使得該等處理器執行包含以下各者之操作的指令：在該第三輸出字元及該第二輸出字元作為一辨識結果同時顯示於該手寫輸入介面的一候選顯示區域中同時，自該使用者接收一刪除輸入；及回應於該刪除輸入，自該辨識結果刪除該第二輸出字元，同時在該辨識結果中維持該第三輸出字元。
  10. 如請求項9之媒體，其包含在由該一或多個處理器執行時使得該等處理器執行包含以下各者之操作的指令：隨著該第一複數個手寫筆劃、該第二複數個手寫筆劃及該第三手寫筆劃中之每一者由該使用者提供而即時於該手寫輸入介面的該手寫輸入區域中顯現該等手寫筆劃；及回應於接收到該刪除輸入，自該手寫輸入區域刪除該第二複數個手寫筆劃的一各別顯現，同時於該手寫輸入區域中維持該第一複數個手寫筆劃及該第三手寫筆劃的各別顯現。
  11. 如請求項1之媒體，其中該第一手寫字元為一多筆劃中文字元。
  12. 如請求項1之媒體，其中該第一複數個手寫筆劃以一草寫書寫樣式提供。
  13. 如請求項1之媒體，其中該第一複數個手寫筆劃以一草寫書寫樣式提供，且該第一手寫字元為一多筆劃中文字元。
  14. 如請求項8之媒體，其包含在由該一或多個處理器執行時使得該等處理器執行包含以下各者之操作的指令：建立對一手寫字元輸入之一可接受尺寸集合的各別預定約束；及基於該等各別預定約束將一當前累積之複數個手寫筆劃分割成複數個辨識單元，其中一各別輸入影像產生自該等辨識單元中的每一者，提供至該手寫辨識模型，且被辨識為一對應輸出字元。
  15. 如請求項14之媒體，其包含在由該一或多個處理器執行時使得該等處理器執行包含以下各者之操作的指令：在已分割了該當前累積之複數個手寫筆劃為該複數個辨識單元之後，自該使用者接收一額外手寫筆劃；及基於該額外手寫筆劃相對於該複數個辨識單元的一空間位置而將該額外手寫筆劃指派給該複數個辨識單元中的一各別辨識單元。
  16. 一種提供即時手寫辨識之方法，其包含：在具有一或多個處理器及記憶體的一裝置處：自一使用者接收第一複數個手寫筆劃，其中該第一複數個手寫筆劃包括一第一手寫筆劃及一第二手寫筆劃且其中該第一複數個手寫筆劃對應於一第一手寫字元；在接收該第一手寫筆劃及該第二手寫筆劃之後：基於包括至少經接收之該第一手寫筆劃及經接收之該第二手寫筆劃之該第一複數個手寫筆劃來產生該第一手寫字元之一單一輸入影像，及在一手寫輸入區域中顯示該第一手寫字元；在產生該單一輸入影像之後，將該單一輸入影像提供至一手 寫辨識模型以執行該第一手寫字元的即時辨識，其中該手寫辨識模型提供與筆劃次序獨立的手寫辨識；在接收該第一複數個手寫筆劃時，即時地在一候選顯示區域中與該第一手寫字元同時地顯示一第一輸出字元，而無關於該第一複數個手寫筆劃已接收自該使用者所用的一各別次序；顯示一刪除可視線索(affordance)；在接收了對應於該第一手寫字元之該第一複數個手寫筆劃之後，自該使用者接收第二複數個手寫筆劃，該第二複數個手寫筆劃對應於一第二手寫字元；在接收該第二複數個手寫筆劃之後：基於該第二複數個手寫筆劃產生一第二輸入影像，在該手寫輸入區域中，與該第一手寫字元及該第一輸出字元同時地顯示一第二手寫字元；將該第二輸入影像提供至該手寫辨識模型以執行該第二手寫字元之即時辨識；在接收該第二複數個手寫筆劃時，即時地在該候選顯示區域中與該第一手寫字元、該第一輸出字元、及該第二手寫字元同時地且顯示對應於該第二複數個手寫筆劃之一第二輸出字元，其中該第一輸出字元及該第二輸出字元以一空間序列顯示，而獨立於該第一複數個手寫筆劃及該第二複數個手寫筆劃已由該使用者提供的一各別次序；在接收該第二複數個手寫筆劃之後，偵測該刪除可視線索之啟動；及回應於偵測該刪除可視線索之啟動，停止顯示該第一複數個手寫筆劃但維持該第二複數個手寫筆劃之顯示。
  17. 一種用於即時手寫辨識之系統，其包含： 一或多個處理器；及上面儲存有指令的記憶體，該等指令在由該一或多個處理器執行時使得該等處理器執行包含以下各者之操作：自一使用者接收第一複數個手寫筆劃，其中該第一複數個手寫筆劃包括一第一手寫筆劃及一第二手寫筆劃且其中該第一複數個手寫筆劃對應於一第一手寫字元；在接收該第一手寫筆劃及該第二手寫筆劃之後：基於包括至少經接收之該第一手寫筆劃及經接收之該第二手寫筆劃之該第一複數個手寫筆劃來產生該第一手寫字元之一單一輸入影像，及在一手寫輸入區域中顯示該第一手寫字元；在產生該單一輸入影像之後，將該單一輸入影像提供至一手寫辨識模型以執行該第一手寫字元的即時辨識，其中該手寫辨識模型提供與筆劃次序獨立的手寫辨識；在接收該第一複數個手寫筆劃時，即時地在一候選顯示區域中與該第一手寫字元同時地顯示一第一輸出字元，而無關於該第一複數個手寫筆劃已接收自該使用者所用的一各別次序；顯示一刪除可視線索(affordance)；在接收了對應於該第一手寫字元之該第一複數個手寫筆劃之後，自該使用者接收第二複數個手寫筆劃，該第二複數個手寫筆劃對應於一第二手寫字元；在接收該第二複數個手寫筆劃之後：基於該第二複數個手寫筆劃產生一第二輸入影像，在該手寫輸入區域中，與該第一手寫字元及該第一輸出字元同時地顯示一第二手寫字元；將該第二輸入影像提供至該手寫辨識模型以執行該第二手寫 字元之即時辨識；在接收該第二複數個手寫筆劃時，即時地在該候選顯示區域中與該第一手寫字元、該第一輸出字元、及該第二手寫字元同時地且顯示對應於該第二複數個手寫筆劃之一第二輸出字元，其中該第一輸出字元及該第二輸出字元以一空間序列顯示，而獨立於該第一複數個手寫筆劃及該第二複數個手寫筆劃已由該使用者提供的一各別次序；在接收該第二複數個手寫筆劃之後，偵測該刪除可視線索之啟動；及回應於偵測該刪除可視線索之啟動，停止顯示該第一複數個手寫筆劃但維持該第二複數個手寫筆劃之顯示。
TW103119279A 2013-06-09 2014-06-03 用於即時手寫辨識之方法、系統及非暫時性電腦可讀媒體 TWI653545B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361832934P 2013-06-09 2013-06-09
US61/832,934 2013-06-09
US14/292,138 US20140361983A1 (en) 2013-06-09 2014-05-30 Real-time stroke-order and stroke-direction independent handwriting recognition
US14/292,138 2014-05-30

Publications (2)

Publication Number Publication Date
TW201510775A TW201510775A (zh) 2015-03-16
TWI653545B true TWI653545B (zh) 2019-03-11

Family

ID=52005040

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103119279A TWI653545B (zh) 2013-06-09 2014-06-03 用於即時手寫辨識之方法、系統及非暫時性電腦可讀媒體

Country Status (2)

Country Link
US (1) US20140361983A1 (zh)
TW (1) TWI653545B (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8074172B2 (en) 2007-01-05 2011-12-06 Apple Inc. Method, system, and graphical user interface for providing word recommendations
US9465985B2 (en) 2013-06-09 2016-10-11 Apple Inc. Managing real-time handwriting recognition
US9495620B2 (en) * 2013-06-09 2016-11-15 Apple Inc. Multi-script handwriting recognition using a universal recognizer
WO2015030461A1 (en) * 2013-08-26 2015-03-05 Samsung Electronics Co., Ltd. User device and method for creating handwriting content
US9224038B2 (en) * 2013-12-16 2015-12-29 Google Inc. Partial overlap and delayed stroke input recognition
US9733825B2 (en) * 2014-11-05 2017-08-15 Lenovo (Singapore) Pte. Ltd. East Asian character assist
US10095673B2 (en) * 2014-11-17 2018-10-09 Lenovo (Singapore) Pte. Ltd. Generating candidate logograms
US9910852B2 (en) * 2015-03-12 2018-03-06 Lenovo (Singapore) Pte. Ltd. Detecting cascading sub-logograms
US20170060407A1 (en) * 2015-08-27 2017-03-02 Kabushiki Kaisha Toshiba Electronic apparatus and method
US9916300B2 (en) * 2015-11-16 2018-03-13 Lenovo (Singapore) Pte. Ltd. Updating hint list based on number of strokes
WO2017120913A1 (zh) * 2016-01-15 2017-07-20 李强生 插入聊天表情时的数据传输方法和表情插入系统
WO2017120925A1 (zh) * 2016-01-15 2017-07-20 李强生 插入聊天表情的方法和表情插入系统
US10691885B2 (en) * 2016-03-30 2020-06-23 Evernote Corporation Extracting structured data from handwritten and audio notes
DK179329B1 (en) * 2016-06-12 2018-05-07 Apple Inc Handwriting keyboard for monitors
US10402740B2 (en) * 2016-07-29 2019-09-03 Sap Se Natural interactive user interface using artificial intelligence and freeform input
JP6859667B2 (ja) * 2016-11-10 2021-04-14 株式会社リコー 情報処理装置、情報処理プログラム、情報処理システム及び情報処理方法
US10318846B2 (en) * 2016-12-28 2019-06-11 Ancestry.Com Operations Inc. Clustering historical images using a convolutional neural net and labeled data bootstrapping
WO2018211350A1 (en) 2017-05-19 2018-11-22 Semiconductor Energy Laboratory Co., Ltd. Machine learning method, machine learning system, and display system
US10433108B2 (en) 2017-06-02 2019-10-01 Apple Inc. Proactive downloading of maps
US10067669B1 (en) * 2017-07-13 2018-09-04 King Fahd University Of Petroleum And Minerals Online character recognition
CN108875904A (zh) * 2018-04-04 2018-11-23 北京迈格威科技有限公司 图像处理方法、图像处理装置和计算机可读存储介质
US11089989B2 (en) 2018-09-14 2021-08-17 Avive Solutions, Inc. Shockable heart rhythm classifier for defibrillators
USD956087S1 (en) * 2019-04-23 2022-06-28 Bottomline Technologies, Inc Display screen or portion thereof with a payment transaction graphical user interface
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US10956016B1 (en) * 2019-11-14 2021-03-23 Rockwell Collins, Inc. No look touchscreen panel / CDU
USD971257S1 (en) * 2020-01-26 2022-11-29 Visualize K.K. Display screen with graphical user interface
US11587346B2 (en) * 2020-12-10 2023-02-21 Microsoft Technology Licensing, Llc Detecting ink gestures based on spatial and image data processing
US11514695B2 (en) * 2020-12-10 2022-11-29 Microsoft Technology Licensing, Llc Parsing an ink document using object-level and stroke-level processing
KR20220088166A (ko) * 2020-12-18 2022-06-27 삼성전자주식회사 복수의 사용자 환경에서 필기 입력 인식 방법 및 장치
JP1709248S (ja) * 2021-01-08 2022-03-09 板書表示用画像
CN113052002B (zh) * 2021-02-05 2024-05-14 广州八爪鱼教育科技有限公司 筛选笔迹采样点的方法、装置、设备及存储介质
CN112598768B (zh) * 2021-03-04 2021-05-25 中国科学院自动化研究所 常用字体汉字笔画拆解方法、系统、装置
CN113139435A (zh) * 2021-03-30 2021-07-20 北京思特奇信息技术股份有限公司 自学型签名笔迹深化识别方法及系统
CN113436298B (zh) * 2021-07-05 2023-09-19 深圳软牛科技有限公司 一种自动生成汉字笔顺动画的方法、装置及其相关组件
CN113642542B (zh) * 2021-10-14 2022-02-08 中国科学院自动化研究所 基于位置约束的手写汉字同名笔画提取方法
CN114153417B (zh) * 2021-12-10 2022-10-28 广州文石信息科技有限公司 屏幕更新方法、装置、存储介质及计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI286708B (en) 2002-03-15 2007-09-11 Microsoft Corp Pattern recognition system and method, system and method for training such system, and computer readable medium storing such system
TW201201113A (en) 2010-06-22 2012-01-01 Sharp Kk Handwriting recognition method and device
CN103294257A (zh) 2012-02-09 2013-09-11 三星电子株式会社 对于手写识别用于引导手写输入的装置和方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5827551B2 (ja) * 1979-05-18 1983-06-10 日本電信電話株式会社 オンライン手書き文字認識方式
JPS60217477A (ja) * 1984-04-12 1985-10-31 Toshiba Corp 手書き文字認識装置
JP2881866B2 (ja) * 1989-11-30 1999-04-12 ソニー株式会社 手書き文字の認識方法及び装置
JP2718485B2 (ja) * 1990-11-29 1998-02-25 株式会社リコー 文字認識方法
US5491758A (en) * 1993-01-27 1996-02-13 International Business Machines Corporation Automatic handwriting recognition using both static and dynamic parameters
US6011865A (en) * 1993-05-12 2000-01-04 International Business Machines Corporation Hybrid on-line handwriting recognition and optical character recognition system
US5500937A (en) * 1993-09-08 1996-03-19 Apple Computer, Inc. Method and apparatus for editing an inked object while simultaneously displaying its recognized object
US5438631A (en) * 1993-10-12 1995-08-01 Dai; Xiao-Wei Handwriting and character recognition system
US5812697A (en) * 1994-06-10 1998-09-22 Nippon Steel Corporation Method and apparatus for recognizing hand-written characters using a weighting dictionary
JP2944439B2 (ja) * 1994-12-27 1999-09-06 シャープ株式会社 手書き文字入力装置および方法
JP3437347B2 (ja) * 1995-09-08 2003-08-18 キヤノン株式会社 文字認識装置及びその方法及びコンピュータ
JPH09319829A (ja) * 1996-06-03 1997-12-12 Nec Corp オンライン文字認識装置
US5796867A (en) * 1996-06-12 1998-08-18 Industrial Technology Research Institute Stroke-number-free and stroke-order-free on-line Chinese character recognition method
US5926566A (en) * 1996-11-15 1999-07-20 Synaptics, Inc. Incremental ideographic character input method
WO1999064982A1 (en) * 1998-06-09 1999-12-16 Kent Ridge Digital Labs A recognition process
US6970599B2 (en) * 2002-07-25 2005-11-29 America Online, Inc. Chinese character handwriting recognition system
US7336827B2 (en) * 2000-11-08 2008-02-26 New York University System, process and software arrangement for recognizing handwritten characters
JP2003162687A (ja) * 2001-11-28 2003-06-06 Toshiba Corp 手書き文字入力装置、手書き文字認識プログラム
WO2006028438A1 (en) * 2004-09-01 2006-03-16 Hewlett-Packard Development Company, L.P. System, method, and apparatus for continuous character recognition
US7443386B2 (en) * 2004-11-01 2008-10-28 Nokia Corporation Mobile phone and method
US7496547B2 (en) * 2005-06-02 2009-02-24 Microsoft Corporation Handwriting recognition using a comparative neural network
US7720316B2 (en) * 2006-09-05 2010-05-18 Microsoft Corporation Constraint-based correction of handwriting recognition errors
US7983478B2 (en) * 2007-08-10 2011-07-19 Microsoft Corporation Hidden markov model based handwriting/calligraphy generation
US7502017B1 (en) * 2007-11-20 2009-03-10 International Business Machines Corporation Handwriting recognizer user interface methods
US8908973B2 (en) * 2008-03-04 2014-12-09 Apple Inc. Handwritten character recognition interface
US8610672B2 (en) * 2008-04-10 2013-12-17 Nokia Corporation Device and method for stroke based graphic input
CN101676838B (zh) * 2008-09-16 2012-05-23 夏普株式会社 输入装置
US20100104189A1 (en) * 2008-10-23 2010-04-29 Aravamudhan Bharath Handwriting Identification Method, Program And Electronic Device
US8175389B2 (en) * 2009-03-30 2012-05-08 Synaptics Incorporated Recognizing handwritten words
CN101930545A (zh) * 2009-06-24 2010-12-29 夏普株式会社 手写识别方法和设备
JP5487208B2 (ja) * 2009-08-27 2014-05-07 株式会社東芝 情報検索装置
US8310461B2 (en) * 2010-05-13 2012-11-13 Nuance Communications Inc. Method and apparatus for on-top writing
US20120216113A1 (en) * 2011-02-18 2012-08-23 Google Inc. Touch gestures for text-entry operations
JP6003047B2 (ja) * 2011-11-24 2016-10-05 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
KR101338397B1 (ko) * 2011-11-28 2013-12-10 장경호 사용자 고유의 필적 생성 시스템 및 그 방법
CN103186235B (zh) * 2011-12-31 2015-11-25 北大方正集团有限公司 一种手写输入的处理方法及装置
EP2828793A4 (en) * 2012-03-23 2015-07-01 Microsoft Technology Licensing Llc ROTATION-FREE DETECTION OF HAND-WRITTEN CHARACTERS
EP2851843A4 (en) * 2012-05-17 2016-04-27 Sharp Kk DISPLAY CONTROL DEVICE, CONTROL PROGRAM, AND DISPLAY DEVICE CONTROL METHOD
US10254952B2 (en) * 2012-09-26 2019-04-09 Google Llc Progress display of handwriting input
JP6003492B2 (ja) * 2012-10-01 2016-10-05 富士ゼロックス株式会社 文字認識装置及びプログラム
US9026428B2 (en) * 2012-10-15 2015-05-05 Nuance Communications, Inc. Text/character input system, such as for use with touch screens on mobile phones
JP2014102669A (ja) * 2012-11-20 2014-06-05 Toshiba Corp 情報処理装置、情報処理方法およびプログラム
JP6229303B2 (ja) * 2013-05-16 2017-11-15 富士通株式会社 プログラム、情報処理装置および文字認識方法
US9330331B2 (en) * 2013-11-11 2016-05-03 Wipro Limited Systems and methods for offline character recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI286708B (en) 2002-03-15 2007-09-11 Microsoft Corp Pattern recognition system and method, system and method for training such system, and computer readable medium storing such system
TW201201113A (en) 2010-06-22 2012-01-01 Sharp Kk Handwriting recognition method and device
CN103294257A (zh) 2012-02-09 2013-09-11 三星电子株式会社 对于手写识别用于引导手写输入的装置和方法

Also Published As

Publication number Publication date
TW201510775A (zh) 2015-03-16
US20140361983A1 (en) 2014-12-11

Similar Documents

Publication Publication Date Title
TWI653545B (zh) 用於即時手寫辨識之方法、系統及非暫時性電腦可讀媒體
TWI570632B (zh) 使用一通用辨識器之多筆跡手寫辨識
TWI564786B (zh) 管理即時手寫辨識
JP7361156B2 (ja) リアルタイム手書き認識の管理
TW201516887A (zh) 針對自動手寫辨識將筆劃分佈資訊整合到空間特徵擷取