TWI807181B - 手寫輸入裝置、手寫輸入方法及程式 - Google Patents
手寫輸入裝置、手寫輸入方法及程式 Download PDFInfo
- Publication number
- TWI807181B TWI807181B TW109111656A TW109111656A TWI807181B TW I807181 B TWI807181 B TW I807181B TW 109111656 A TW109111656 A TW 109111656A TW 109111656 A TW109111656 A TW 109111656A TW I807181 B TWI807181 B TW I807181B
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- input device
- control unit
- display
- handwriting input
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Character Discrimination (AREA)
- Processing Or Creating Images (AREA)
Abstract
一種手寫輸入裝置,用於基於一輸入裝置與一觸控面板接觸的一位置來顯示手寫筆觸資料,該手寫輸入裝置包括一控制資料儲存單元,被配置以儲存與從該輸入裝置所接收的該輸入裝置的識別資訊相關聯之關於該該輸入裝置的控制資料;以及一顯示控制單元,被配置以將與從該輸入裝置所接收之該輸入裝置的該識別資訊相關聯的該控制資料反映在該筆觸資料中,並在一顯示單元上顯示基於該筆觸資料的資訊。
Description
本發明涉及一種手寫輸入裝置、一種手寫輸入方法及一種程式。
在一般電腦控制的白板裝置或能夠接收手寫輸入的應用程式(下稱手寫輸入裝置)中,輸入裝置限於筆或手指。為此,用來變更字元顏色的筆功能選單與用來刪除字元的編輯功能選單等的操作選單是以切換方式提供給使用者來使用。通常,可以使用筆功能選單選取顏色、粗細等功能;可以使用編輯功能選單來選取刪除、移動、變更尺寸、旋轉、切割、複製、貼上等功能(例如,參見日本特開專利申請第2018-026185號)。
日本特開專利申請第2018-026185號揭露了一種手寫輸入裝置,其中顯示顏色設定、透明度設定、粗細設定、線條類型設定、標誌設定和操作設定的選單,以回應使用者按壓筆按鈕。
[本發明所欲解決的問題]
但存在一個問題,就是在筆的不同設定下難以進行手寫輸入。例如,複數個使用者可以將筆與手寫輸入裝置一同使用,但根據筆的不同設定可能無法讓每個使用者都能執行手寫。
鑒於上述問題,本發明的一個態樣旨在提供一種手寫輸入裝置,該手寫輸入裝置能根據筆的不同設定實施手寫輸入。
根據本發明的該態樣,一種用於基於一輸入裝置與一觸控面板接觸的位置來顯示手寫筆觸資料的手寫輸入裝置包括一控制資料儲存單元,被配置以儲存與從該輸入裝置所接收的該輸入裝置的識別資訊相關聯之關於該輸
入裝置的控制資料;以及一顯示控制單元,被配置以將與從該輸入裝置所接收的該輸入裝置的該識別資訊相關聯的該控制資料反映在該筆觸資料中,並在一顯示單元上顯示基於該筆觸資料的該資訊。
根據本發明的該態樣可提供該手寫輸入裝置,利用該手寫輸入裝置可根據筆的不同設定來實施手寫。
下文的詳細描述結合附圖將使本發明的其他目的、特徵和優點變得更加明顯。
2:手寫輸入裝置
8:防火牆
10:資訊處理系統
11a,11b,11c,11d:手寫物件
12a,12c,12d:手寫物件矩形區域
13a,13b,13c,13d,13e,13f:固定物件
21:手寫輸入單元
22:顯示單元
23:手寫輸入顯示控制單元
24:候選顯示計時器控制單元
25:手寫輸入儲存單元
26:手寫辨識控制單元
27:手寫辨識字典單元
28:字元串轉換控制單元
29:字元串轉換字典單元
30:預測轉換控制單元
31:預測轉換字典單元
32:操作命令辨識控制單元
33:操作命令定義單元
34:使用者認證單元
35:認證資訊獲取單元
36:筆ID控制資料儲存單元
37:使用者資訊資料庫
41:筆事件發送單元
42,43:通訊單元
44:顯示控制單元
100:手寫輸入系統
101:操作面板
102:筆功能選單
103:編輯功能選單
104:輸入/輸出功能選單
201:中央處理器(CPU)
202:唯讀記憶體
203:隨機存取記憶體
204:固態硬碟
210:匯流排
213:顯示控制器
215:觸控感測控制器
215a:通訊單元
216:觸控感測器
217:傾斜感測器
218:串列介面
219:揚聲器
220:顯示器
221:麥克風
222:無線通訊裝置
223:紅外線I/F
224:電源控制電路
225:變壓器
226:電池
227:電源開關
230:桌子
401:可選取候選顯示計時器
402:可選取候選顯示刪除計時器
403:手寫物件近似矩形區域
404:預估書寫方向和字元尺寸判定條件
405:預估字元尺寸
405a:較小字元
405b:中等字元
405c:較大字元
406:連接線判定條件
407:封閉線判定條件
411:投影機
412:伺服器
413:白板
430:選單
431:按鈕
500:操作指南
501:按鈕
502:按鈕
503:手寫物件矩形區域輪廓
504:手寫物件
505:按鈕
506:手寫辨識字元串候選
507:轉換的字元串候選
508:字元串/預測的轉換候選
509:按鈕
510:操作命令候選
511:符號/旋轉操作按鈕
511a,511b:操作命令
512a,512b:符號
520:操作標題
521:直線
522,523,524:按鈕
530:可選候選
531,532,533,534,535:按鈕
539:字元串候選
541,542:字元串
543,544,545:符號
550:主選單
551,552:符號
553,554:數字
555:字元
560:子選單
600:終端設備
601:中央處理器(CPU)
602:唯讀記憶體
603:隨機存取記憶體
604:硬碟
605:硬碟驅動控制器
606:顯示器
608:外部設備連接I/F
609:網路I/F
610:總線
611:鍵盤
612:指向裝置
613:DVD-RW
614:可讀寫DVD驅動器
615:紀錄媒體
616:媒體I/F
700A:影像投影機設備
701,702,703:操作命令定義資料
704,705,706:系統定義資料
707,708,709,710,711,712:操作命令定義資料
800:螢幕
800A:顯示器
801,802,803,804,805:手寫輸入儲存資料組
810:筆運動檢測器
820,820A,820B:電子筆
901,902,903,904:筆ID控制資料
1021:筆功能選單按鈕
1022:手寫輸入模式按鈕
1023:整理寫入輸入模式按鈕
1031:編輯功能選單按鈕
1032:刪除按鈕
1041:輸入/輸出功能選單按鈕
1042:選取模板按鈕
2500:筆
2501:電子筆
2600:USB記憶體
A,B,C,D,U:使用者
i:網際網路
N:網路
H1,H2:手寫平假名字元
H1:長度
H2:高度
W1:長度
C1~C4:中文字元
C11~C14:字元串
C31~C35:字元
C37~C49:字元
C101~C106,C111,C112:字元
d1:筆輸入
d2:筆操作資料
d3:繪圖資料
d4:計時器開始請求/計時器停止請求
d5:逾時事件
d6-1:使用者資料
d6-2:獲取請求
d7:使用者資料
d8-1:筆操作資料
d8-2:獲取請求
d9:儲存的手寫辨識字元串候選以及語言字元串候選
d10:手寫辨識字元串候選以及語言字元串候選
d11:手寫辨識字元串候選以及語言字元串候選
d12:手寫辨識字元串候選
d13:語言上可能的語言字元串候選
d14:獲取請求
d15:儲存的手寫辨識字元串候選
d16:轉換的字元串候選
d17:手寫辨識字元串候選以及語言字元串候選
d18:轉換的字元串候選
d19:獲取請求
d20:預測的手寫辨識字元串候選
d21:手寫辨識字元串候選以及轉換的字元串候選
d22:預測的字元串候選
d23:位置資訊獲取請求
d24-1:筆操作資料
d24-2:獲取請求
d25:儲存的所選物件
d26:操作命令轉換請求
d27:接收的操作命令候選
d28:轉換的字元串候選
d29:預測的字元串候選
d30:手寫辨識字元串候選以及語言字元串候選
d31:認證資訊
d32:認證資訊
d33:認證資訊
d34:使用者資訊
d35:使用者資訊
d36:固定物件的位置資訊
d41:筆ID控制資料
d42:筆ID控制資料
d43:角度資訊
d44:角度資訊
da:筆操作資料
db:筆觸
dc:筆操作資料
dd:顯示資料
de:顯示資料
df:筆操作資料
S1~S79:步驟
圖1A和圖1B係示出由手寫輸入裝置顯示的操作選單的比較示例;
圖2A和圖2B係示出使用手寫輸入裝置的示例;
圖3係示出手寫輸入裝置的處理的簡圖;
圖4係示出筆的示例的立體視圖;
圖5係示出手寫輸入裝置整體的示例;
圖6係示出手寫輸入裝置的硬體配置;
圖7A和圖7B係示出用於說明手寫輸入裝置的功能的示例的功能方塊圖;
圖8係示出用於說明由手寫輸入裝置提供之與使用者認證有關的功能的示例的功能方塊圖;
圖9係示出定義的控制資料的示例;
圖10係示出手寫辨識字典單元的字典資料的示例;
圖11係示出字元串轉換字典單元的字典資料的示例;
圖12係示出預測轉換字典單元的字典資料的示例;
圖13A和圖13B係示出由操作命令定義單元儲存的操作命令定義資料和系統定義資料的示例;
圖14係示出在具有利用手寫物件選取之所選物件的情況下,操作命令定義資料的示例;
圖15係示出由手寫輸入儲存單元儲存的手寫輸入儲存資料;
圖16A和圖16B係示出用於說明由筆ID控制資料儲存單元儲存的筆ID控制資料的示意圖;
圖17係示出操作指南和在該操作指南上顯示的可選候選的示例;
圖18A和圖18B係示出操作指南與手寫物件矩形區域輪廓之間的位置關係;
圖19係示出顯示在手寫物件矩形區域輪廓上方的操作指南;
圖20A至圖20D係示出判定所選物件的示例;
圖21A和圖21B係示出基於在具有手寫物件的情況下,操作命令定義資料顯示操作命令候選的示例;
圖22A和圖22B係示出基於在具有手寫物件的情況下,操作命令定義資料顯示操作命令候選的示例;
圖23A至圖23C係示出用於說明90度的角度資訊輸入方法的示意圖;
圖24A至圖24C係示出用於說明45度的角度資訊輸入方法的示意圖;
圖25係示出用於說明輸入角度資訊的另一輸入方法的示意圖;
圖26至圖32係示出用於說明出手寫輸入裝置顯示字元串候選和操作命令候選的處理序列圖;
圖33A和圖33B係示出用於說明在相同方向上顯示複數組文字資料的示例的示意圖;
圖34至圖37係示出用於說明手寫輸入裝置的其他配置示例的示意圖;
圖38係示出手寫輸入裝置的系統配置示例;
圖39係示出資訊處理系統的硬體配置的示例;
圖40係示出用於說明手寫輸入系統功能的功能方塊圖的示例;以及
圖41至圖48係示出用於說明手寫輸入裝置顯示字元串候選和操作命令候選的處理序列圖。
根據本發明的一態樣、一目的是允許手寫輸入裝置正確地辨識諸如相對於手寫輸入裝置由使用者手寫之在各個方向上的手寫字元之類的手寫物件,進而使這些由使用者手寫的手寫物件相對於手寫輸入裝置也處於各個方向上。
根據本發明的該態樣,考慮到因為由使用者相對於手寫輸入裝置在各個方向上手寫而指向各個方向的手寫物件,則允許使用者輸入角度資訊,該角度資訊允許手寫輸入裝置正確辨識在各個方向上手寫的手寫物件。
作為本發明的實施例的示例,將參考附圖描述手寫輸入裝置和由手寫輸入裝置實施的手寫輸入方法。
[第一實施例]
<用於手寫輸入裝置的比較示例>
為了方便描述根據本發明第一實施例的手寫輸入裝置,首先將簡要描述比較示例中的手寫輸入裝置的操作處理。
圖1A示出在比較示例中由手寫輸入裝置顯示的操作選單。在操作面板101上顯示用於顯示筆功能選單102的筆功能選單按鈕1021、用於顯示編輯功能選單103的編輯功能選單按鈕1031、以及用於顯示輸入/輸出功能選單104的輸入/輸出功能選單按鈕1041。
筆功能選單102允許使用者選取筆的顏色、粗細和操作模式。筆功能選單102包括手寫輸入模式按鈕1022和整理寫入輸入模式按鈕1023。編輯功能選單103允許使用者刪除(Delete)、選取(Select)、剪下(Cut)、複製(Copy)或貼上物件(Paste);而輸入/輸出功能選單104允許使用者讀取模板(Read a Template)、讀取檔案(Read a File)、儲存檔案(Save a File)、執行列印(Printing)等。
當按壓手寫輸入模式按鈕1022時,從由使用者手寫所獲取的資訊(筆的座標)依照原樣輸入。回應按壓整理寫入輸入模式按鈕1023,來顯示文字資料,該文字資料是因由使用者手寫的字元、數字、符號、英文字元等的結果而獲得、進行辨識並轉換(成為整理版本)。
作為在比較示例中之手寫輸入裝置的操作過程的示例,現將描述在使用者手寫直線或曲線(下稱筆觸)之後要執行的操作過程,以刪除筆觸以及使用筆重新寫入筆觸。除非另有說明,否則用筆按壓意指用筆尖按壓。
(A1)使用者用筆按壓編輯功能選單按鈕1031以使編輯功能選單103顯示出來。
(A2)回應使用者按壓編輯功能選單103的「刪除」(DELTE)按鈕1032,手寫輸入裝置自動刪除編輯功能選單103。
(A3)回應使用者用筆在要刪除的複數個筆觸上劃一條線,將筆觸刪除。
(A4)接著,使用者用筆按壓筆功能選單按鈕1021。
透過該處理,將要刪除的筆觸刪除,因此,允許使用者用筆重新手寫筆觸。因此,根據該比較示例,簡單地刪除筆觸要使用多達四個步驟。儘管步驟和螢幕轉換的數量不同,但是比較示例中的許多手寫輸入裝置具有相似的使用者操作系統。一般來說電腦產品中這種使用者操作系統均為常見,並且該系統是基於使用者操作系統來呼叫使用者想要利用的功能。根據這樣的使用者操作系統,因為使用者無法在不知道如何呼叫功能的情況下使用功能,所以對於手寫輸入裝置藉由使用新手教程功能或幫助功能向使用者提供呼叫功能的資訊是一種慣例。
類似地,如果使用者希望輸入或輸出例如歸檔或列印資訊之類的資訊,則使用者會讓輸入/輸出功能選單104顯示出來。例如,要讀取模板,請執行以下步驟。
(B1)回應使用者用筆按壓輸入/輸出功能選單按鈕1041,來顯示編輯功能選單104。
(B2)回應使用者用筆按壓輸入/輸出功能選單104中的「選取模板」(TEMPLATE SELECTION)按鈕1042,將輸入/輸出功能選單104刪除並顯示選取模板視窗。
(B3)使用者用筆按壓向左和向右按鈕以滾動一顯示影像,直到所需的模板顯示出來為止。
(B4)回應使用者用筆按壓所需模板,來讀取模板並刪除選取模板視窗。
類似地,為了將使用者寫入之例如字元轉換為文字資料,執行以下過程。
(C1)使用者用筆按壓筆功能選單按鈕1021。
(C2)使用者用筆按壓整理寫入輸入模式按鈕1023。
如圖1B所示,在按壓整理寫入輸入模式按鈕1023的狀態下,手寫字元「abcde」轉換為文字資料「abcde」。該文字資料以電腦字型顯示,因此是字元的整理版本。
因此,在比較示例中,在手寫輸入裝置中使用了逐步的使用者操作過程。換句話說,因為基本上使用了以說明性方式引導使用者進行下一步的使用者操作系統,因此使用者很難用直覺操作手寫輸入裝置。
<手寫輸入裝置的實際使用示例>
手寫輸入裝置2不僅可以在垂直於地面安裝的狀態下使用,也可以在水平於地面安裝的狀態下使用。
圖2A和圖2B用於說明手寫輸入裝置2的功能的示例的示意圖;在圖2A中,手寫輸入裝置2以顯示器朝上的方式安裝在桌子上(這種安裝類型稱為平面安裝)。位於手寫輸入裝置2周圍,坐在椅子上並面對彼此的使用者(在圖2A中面對面)執行手寫操作。
在這種情況下,通常,例如使用者在垂直方向上手寫每個字元則使用者可正常地讀取該字元(見圖2B)。然而,在整理寫入輸入模式中,僅當使用者在預設位置上(從手寫輸入裝置2觀看的預設方向上)手寫字元時,才可以正確地執行手寫辨識。假設使用者A是如圖2B所示的預設位置處的使用者,則手寫輸入裝置2並未正確地辨識例如由使用者B和使用者C寫入的字元,因為由使用者B或C手寫的字元「abc」對於由使用者A手寫的字元「abc」是反轉的。
這是因為一般的手寫辨識引擎只有當每個字元的手寫在預設方向上時,才能正確地辨識字元。正確辨識是指可以用實際辨識率(或辨識率)進行辨識。預設方向是例如當手寫輸入裝置2垂直於地面安裝時的垂直方向(在圖5的(a)的狀態中的垂直,稍後將描述)。
當在垂直於地面安裝的狀態下使用手寫輸入裝置2時(裝在牆壁上或架子上等的狀態),由於使用者不會顛倒著進行操作,所以不太可能會有任何不便。然而,如圖2A和圖2B的使用示例中,當從手寫辨識引擎觀看時,使用者B和使用者C的字元被旋轉180度(反轉或倒置),並且手寫字元無法被正確辨識。
根據電腦或操作系統,可以透過預設操作(例如,「Ctrl」+「Alt」+「箭頭」按鍵)將整個螢幕頁面旋轉90度。換句話說,使用者可以旋轉手寫辨識引擎的整個螢幕頁面以正確地辨識手寫物件,例如,由使用者手寫的字元。但是,該方法不允許進行手寫字元辨識,例如像是圖2A和圖2B的情況,辨識例如由彼此相對的使用者寫入的字元。
<實施例的手寫輸入裝置的處理概要>
因此,在根據本實施例的手寫輸入裝置2中,可以依據每個使用者以不同的設定來執行手寫輸入。
圖3說明手寫輸入裝置的處理簡圖的示例。在手寫輸入裝置2的周圍(四個側面)有四個使用者(A-D)。為了便於說明,假定為:
例如,從A的位置進行手寫時,字元的角度為0度;
例如,從B的位置進行手寫時,字元的角度為90度;
例如,從C的位置進行手寫時,字元的角度為180度;以及
例如,從D先生的位置進行手寫時,字元的角度為270度。
每個使用者握住筆2500並使用筆2500執行手寫。筆2500儲存識別資訊(以下稱為筆ID)。使用該ID,手寫輸入裝置2將筆ID與關於使用者手寫字元的方向的對應角度資訊相關聯。也就是說,當使用者開始使用手寫輸入裝置2時,在使用者使用筆2500手寫字元時,使用者輸入角度資訊(90度、180度或270度)(角度為0時,無需輸入)。如稍後將詳述的,可以通過簡單的操作來輸入關於例如字元寫入的角度資訊,並使筆ID與角度資訊相關聯。
在圖3中,每個使用者手寫例如字元「abc」。手寫輸入裝置2使用具有手寫「abc」的筆2500的筆ID來辨識角度資訊,利用角度資訊沿順時針方向旋轉手寫「abc」,然後執行字元辨識。旋轉是在內部執行的,顯示字元實際上並未旋轉。內部執行意味著是由手寫輸入裝置2處理資料。然而,以逆時針旋轉後,將顯示稍後將描述的操作指南。圖3示出了由使用者C寫入的字元「abc」被旋轉180度(不被顯示出來,因為字元僅在內部旋轉)的示例。由於透過旋轉使字元在圖3中直立(角度變為0度),因此手寫輸入裝置2可以正確地辨識字元。
如上所述,根據本實施例,可以根據筆(或使用者)以不同的設定(在這種情況下,是不同的角度資訊)來執行手寫輸入。因此,即使使用者在以平面安裝的手寫輸入裝置2周圍進行手寫,例如字元,該字元可被手寫輸入裝置2正確地辨識。除了上述角度資訊之外,還可以為每個使用者設定字型粗細、顏色、紋理等。
<術語>
作為「輸入裝置」,可以使用能夠在觸控面板上進行手寫的任何東西。示例包括筆、人的手指、人的手和桿狀構件。另外,也可用視線輸入。
筆觸資料代表指示自由手寫線條的資料。筆觸資料具有一組連續點,可以適當進行插值。
操作命令代表指示操作指南以執行準備操作手寫輸入裝置2的特殊處理的命令。根據本實施例,操作命令的示例例如是編輯系統、修改系統、輸入/輸出系統和筆狀態的操作命令。實際上,用於操作手寫輸入裝置2的所有命令,例如180度的影像旋轉、頁面切換、操作模式的設定等,都包括在操作命令的示例中。
關於輸入裝置的控制資料是有關如何處理由輸入裝置所輸入的筆觸資料的資訊。示例包括顏色、厚度、圖案和角度。在本實施例中,關於輸入裝置的控制資料被描述為筆ID控制資料。筆ID控制資料反映在筆觸資料中。
基於筆觸資料的資訊表示基於筆觸資料所產生的資訊。示例包括手寫辨識物件可被轉換的候選以及上述的操作命令。
<筆外觀的示例>
圖4示出筆2500的立體圖的示例。圖4描繪多功能筆2500的示例。具有內置電源並可將指令發送至手寫輸入裝置2的筆2500稱為主動式筆(沒有電源的筆稱為被動式筆)。圖4的筆2500在筆的尖端具有一個實體開關、在筆的後端具有一個實體開關、並且在筆的側面具有兩個實體開關。尖端開關用於寫入,後端開關用於刪除,而側面開關用於指派使用者功能。本實施例的筆2500設置有非揮發性記憶體,並儲存唯一在筆之間的筆ID。
藉由使用具有這些開關的筆,可以減少使用者操作手寫輸入裝置2的操作步驟。這種具有開關的筆主要是主動式筆。然而,即使不具有電磁感應型的內置電源的被動式筆也可以僅使用LC電路來產生電力,因此,這種電磁感應被動式筆也可被用為設置有上述開關的筆。除了這種電磁感應被動式筆之外,設置有光學、紅外線或電容開關的筆也是主動式筆的一種。
使用者可以將一個側面開關指派給筆功能選單102,並將另一個側面開關指派給編輯功能選單103。雖然藉由按壓主動式筆110的對應側面按鈕來顯示筆功能選單102或編輯功能選單103是讓使用者方便,但使用者每次欲更換想要的物件,就得藉由按壓側面按鈕來顯示筆功能選單102或編輯功能選單103而造成的麻煩,並沒有顯著地減少。
藉由使用筆後端刪除開關,可以省略上述(A1)、(A2)和(A4)的步驟,並且藉由在步驟(A3)中使用筆後端來替換筆尖,可以將刪除處理的步驟數量從4減少到1。
筆2500的硬體配置與一般包括通訊功能和微型電腦的控制系統相同。筆2500的座標輸入方法可以是例如電磁感應方法或主動式靜電耦合方法。筆2500可以具有例如寫入壓力檢測功能、傾斜檢測功能及/或懸浮功能(在筆接觸觸控面板之前的游標指示)。
<手寫輸入裝置的整體配置>
現在將參考圖5描述根據本實施例的手寫輸入裝置2的整體配置。圖5示出用於說明手寫輸入裝置2的整體配置的示意圖。在圖5的(a)中,作為手寫輸入裝置2的示例,手寫輸入裝置2是水平長度較長且垂直懸掛在牆上的電子黑板。
如圖5的(a)所示,在手寫輸入裝置2中安裝的顯示器220是顯示裝置的示例。使用者U使用筆2500在顯示器220上手寫(也就是輸入或繪製)例如字元。
圖5的(b)示出手寫輸入裝置2用為水平長度較長且垂直懸掛在牆上的電子黑板。
圖5的(c)示出手寫輸入裝置2平面安裝在桌子230上。因為手寫輸入裝置2的厚度約為1cm,所以即使將這種類型的手寫輸入裝置2平放在普通桌子上,也不必調節桌子的高度。另外,能夠輕鬆移動這種類型的手寫輸入裝置2。
<裝置的硬體配置>
現在將參考圖6描述本實施例的手寫輸入裝置2的硬體配置。手寫輸入裝置2具有如圖6所示之資訊處理裝置或電腦的配置。圖6示出手寫輸入裝置2的硬體配置的示例。如圖6所示,手寫輸入裝置2包括中央處理器(CPU)201、唯讀記憶體(ROM)202、隨機存取記憶體(RAM)203、以及固態硬碟(SSD)204。
CPU 201控制整體手寫輸入裝置2的操作。ROM 202儲存用於驅動CPU 201的程式,例如IPL(起始載入程式)。RAM 203用為CPU 201的工作區。SSD 204儲存諸如用於手寫輸入裝置2的程式的各種資料。
手寫輸入裝置2還包括顯示控制器213、觸控感測控制器215、觸控感測器216、顯示器220、電源開關227、傾斜感測器217、串列介面218、揚聲器219、麥克風221、無線通訊裝置222、紅外線I/F 223、電源控制電路224、變壓器225、以及電池226。
顯示控制器213控制和管理螢幕顯示以將輸出的影像輸出到顯示器220。觸控感測器216檢測筆2500、使用者的手等(筆或使用者的手作為輸入裝置)與顯示器220接觸。觸控感測器216也接收筆ID。
觸控感測控制器215控制觸控感測器216的處理。觸控感測器216實施座標的輸入和座標的檢測。用於輸入座標和檢測座標的方法例如是使用光學系統的方法,其中位於顯示器220的上端和下端的兩個發光和接收裝置發射平行於顯示器220的複數條紅外線,該些紅外線被設置在顯示器220周圍的反射構件反射,並且發光和接收裝置接收通過與由發光和接收裝置發射的光的光路相同的光路返回的光。觸控感測器216將由兩個發光和接收裝置發出並被觸控物體遮斷的紅外線的位置資訊輸出到觸控感測控制器215;觸控感測控制器215判定是物件的觸控位置的座標位置。觸控感測控制器215還包括可以與筆2500無線通訊的通訊單元215a。例如,當觸控感測控制器215根據諸如藍牙的標準執行通訊時,可以使用市售的筆。回應預先在通訊單元215a中註冊一支以上的筆2500,使用者不需執行讓筆2500能與手寫輸入裝置2進行通訊的連接設定。
電源開關227是開啟和關閉手寫輸入裝置2的電源的開關。傾斜感測器217是檢測手寫輸入裝置2的傾斜角度的感測器。傾斜感測器217主要用於檢測在圖5的(a)、(b)或(c)的安裝狀態下是否使用了手寫輸入裝置2;例如,字元的粗細可以根據安裝狀態自動更改。
串列介面218是用於諸如USB的外部裝置的通訊界面。串列介面218用於從外部裝置輸入資訊。揚聲器219用於聲音輸出,而麥克風221用於聲音輸入。無線通訊裝置222與由使用者持有的終端進行通訊,並且中繼連接到例如網際網路。無線通訊裝置222可以經由Wi-Fi、藍牙等進行通訊,並且還可以經由任何其他通訊標準進行通訊。無線通訊裝置222用作存取點;由於使用者設定了SSID(服務集辨識碼)和使用者持有的終端密碼,因此使用者可以將終端與存取點連接。
無線通訊裝置222可以具有以下兩個存取點:
a.存取點→網際網路
b.存取點→內部網路→網際網路
存取點「a」用於外部(訪客)使用者;訪客使用者無法存取內部網路,但可以使用網際網路。
存取點「b」用於內部使用者(也就是隸屬於公司的使用者);使用者可以使用內部網路和網際網路。
紅外線I/F 223檢測相鄰的手寫輸入裝置2。藉由使用紅外線的直線性僅可檢測到相鄰的手寫輸入裝置2。理想上,紅外線I/F 223在手寫輸入裝置2的每一側上一個接一個地設置,使得可以檢測到在手寫輸入裝置2的哪個方向上有另一個手寫輸入裝置2。結果,可以藉由使用兩個手寫輸入裝置2來擴大顯示螢幕,並且可以在相鄰的手寫輸入裝置2上顯示過去寫入的手寫資訊(手寫資訊的另一頁,假定一個顯示器220的尺寸為一頁尺寸)。
電源控制電路224控制作為手寫輸入裝置2的電源的變壓器225和電池226。變壓器225將商用電源供應的交流電轉換為直流電。
在顯示器220是所謂的電子紙的形式的情況下,顯示器220消耗很少的電力或不消耗電力來維持顯示影像,因此可以利用電池226來驅動顯示器220。因此即使在難以連接電源的地方,例如室外場所,也可以將手寫輸入裝置2用於數位看板等應用。
手寫輸入裝置2還包括匯流排210。匯流排210包括地址匯流排、資料匯流排等,用於電性連接諸如圖6所示的CPU 201之類的元件。
觸控感測器216不限於光學型感測器。可使用各種檢測系統,例如靜電電容型的觸控面板,其中藉由檢測電容的變化來判定觸控位置;電阻膜類型的觸控面板,其中透過兩個相互面對的電阻膜之間的電壓變化來判定觸控位置;以及電磁感應類型,其中檢測當觸控物件接觸顯示部分時所產生的電磁感應並判定觸控位置。觸控感測器216可以是不使用電子筆來檢測是否存在筆尖端觸控的系統。在這種情況下,可以使用指尖或筆形桿來進行觸控操作。注意的是筆2500不必具有細長的筆形。
<裝置功能>
現在將參考圖7A描述手寫輸入裝置2的功能。圖7A示出用於說明手寫輸入裝置2的功能的功能方塊圖的示例。手寫輸入裝置2包括手寫輸入單
元21、顯示單元22、手寫輸入顯示控制單元23、候選顯示計時器控制單元24、手寫輸入儲存單元25、手寫辨識控制單元26、手寫辨識字典單元27、字元串轉換控制單元28、字元串轉換字典單元29、預測轉換控制單元30、預測轉換字典單元31、操作命令辨識控制單元32、以及操作命令定義單元33。實施手寫輸入裝置2的這些功能是根據從SSD204讀取以及從RAM203寫入的程式而依據CPU201而來的指令操作圖6中所示的元件所得到的結果。
手寫輸入單元21由觸控感測器216等實施,接收使用者的手寫輸入,並接收筆ID。手寫輸入單元21將使用者的筆輸入d1轉換為筆操作資料d2(筆移除、筆觸控或筆座標資料),並將轉換的資料發送至手寫輸入顯示控制單元23。筆座標資料作為離散值定期發送,離散值之間的座標透過計算進行插值。
顯示單元22由顯示器220等實施以顯示手寫物件或操作選單。顯示單元22透過手寫輸入顯示控制單元23將寫入視訊記憶體中的繪圖資料d3轉換為與顯示器220的特性相對應的資料,並將轉換的資料發送至顯示器220。顯示單元22根據使用者的位置顯示基於筆觸資料的資訊。
手寫輸入顯示控制單元23執行關於手寫輸入和顯示的整體控制。手寫輸入顯示控制單元23處理來自手寫輸入單元21的筆操作資料d2,並藉由將筆操作資料d2發送至顯示單元22來顯示筆操作資料d2。稍後將參考圖26至圖32更詳細地描述筆操作資料d2的處理和筆觸的顯示。
候選顯示計時器控制單元24提供用於可選候選的顯示控制計時器,產生用於啟動和停止計時器的計時,以開始顯示可選候選並刪除該顯示。可選候選是手寫辨識的字元串/語言字元串候選、轉換的字元串候選、字元串/預測的轉換候選、以及在稍後將描述的操作指南中所顯示的操作命令候選。候選顯示計時器控制單元24從手寫輸入顯示控制單元23接收計時器開始請求d4或計時器停止請求d4,並將逾時事件d5發送至手寫輸入顯示控制單元23。
手寫輸入儲存單元25具有用於儲存使用者資料(手寫物件和字元串物件)的儲存功能。手寫輸入儲存單元25從手寫輸入顯示控制單元23接收使用者資料d6-1,並將該資料儲存在手寫輸入儲存單元25中。手寫輸入儲存單元25從手寫輸入顯示控制單元23接收獲取請求d6-2,並發送儲存在手寫輸入儲存單元25中的使用者資料d7。手寫輸入儲存單元25將固定物件的位置資訊d36發送至操作命令辨識控制單元32。
手寫辨識控制單元26是用於執行線上手寫辨識的辨識引擎。與普通的光學字元讀取器(Optical Character Reader)不同,辨識字元(多種語言不僅包括日語,還包括英語等)、數字、符號(%、$、&等)和幾何形式(線、圓、三角形,等)與使用者的筆操作併行。已經為辨識方法設計了各種算法;關於本實施例,由於可以使用習知技術,所以省略了詳細的辨識算法的描述。
手寫辨識控制單元26從手寫輸入顯示控制單元23接收筆操作資料d8-1,進行手寫辨識,並儲存由此獲取的手寫辨識字元串候選。手寫辨識控制單元26儲存透過使用手寫辨識字典單元27從手寫辨識字元串候選d12的轉換所獲取的語言字元串候選。回應從手寫輸入顯示控制單元23所接收的獲取請求d8-2,手寫辨識控制單元26將所儲存的手寫辨識字元串候選以及語言字元串候選d9發送至手寫輸入顯示控制單元23。
手寫辨識字典單元27具有用於手寫辨識語言轉換的字典資料。手寫辨識字典單元27從手寫辨識控制單元26接收手寫辨識字元串候選d12,將手寫辨識字元串候選轉換為語言上可能的語言字元串候選d13,並將轉換結果發送至手寫辨識控制單元26例如,在日語的情況下,手寫辨識字典單元27用於將平假名字元轉換為中文字元或平假名字元。
字元串轉換控制單元28控制轉換至候選字元串的轉換。「轉換的字元串」是可能被創建之包括手寫辨識的字元串或語言字元串的字元串。字元串轉換控制單元28從手寫辨識控制單元26接收手寫辨識字元串候選以及語言字元串候選d11,使用字元串轉換字典單元29將這些候選轉換為轉換字元串候選,並儲存轉換結果。回應從手寫輸入顯示控制單元23接收獲取請求d14,儲存的手寫辨識字元串候選d15發送至手寫輸入顯示控制單元23。
字元串轉換字典單元29具有用於字元串轉換的字典資料。字元串轉換字典單元29從手寫辨識控制單元28接收手寫辨識字元串候選以及語言字元串候選d17,並將轉換的字元串候選d18發送至字元串轉換控制單元28。
預測轉換控制單元30從手寫辨識控制單元26接收手寫辨識字元串候選以及語言字元串候選d10,並從字元串轉換控制單元28接收轉換的字元串候選d16。預測轉換控制單元30使用預測轉換字典單元31將手寫辨識的字元串候選、語言字元串候選d10和轉換的字元串候選d16轉換為預測的字元串候選。「預測的字元串」是可能被創建之包括手寫辨識的字元串候選、語言字元串或轉換
的字元串。回應從手寫輸入顯示控制單元23接收獲取請求d19,將預測手寫辨識字元串候選d20發送至手寫輸入顯示控制單元23。
預測轉換字典單元31具有用於預測轉換的字典資料。預測轉換字典單元31從預測轉換控制單元30接收手寫辨識字元串候選以及轉換的字元串候選d21,並將預測的字元串候選d22發送至預測轉換控制單元30。
操作命令辨識控制單元32從手寫辨識控制單元26接收手寫辨識字元串候選以及語言字元串候選d30,並從字元串轉換控制單元28接收轉換的字元串候選d28。操作命令辨識控制單元32從預測轉換控制單元30接收預測的字元串候選d29。關於這些候選字元串,操作命令辨識控制單元32將操作命令轉換請求d26發送至操作命令定義單元33,並從操作命令定義單元33接收操作命令候選d27。操作命令辨識控制單元32儲存所接收的操作命令候選d27。
在這點上,回應操作命令轉換請求d26與操作命令定義部分相同(即,部分或完全相同),操作命令定義單元33將操作命令候選d27發送至操作命令辨識控制單元32。
操作命令辨識控制單元32從手寫輸入顯示控制單元23接收筆操作資料d24-1,並將針對輸入並固定的固定物件的位置資訊獲取請求d23發送至手寫輸入儲存單元25。操作命令辨識控制單元32將由筆操作資料判定的固定物件儲存為所選物件(包括位置資訊)。操作命令辨識控制單元32利用筆操作資料d24-1的位置來辨識滿足預定標準的所選物件。回應從手寫輸入顯示控制單元23接收獲取請求d24-2,將辨識為操作命令候選之儲存的所選物件d25發送至手寫輸入顯示控制單元23。
筆ID控制資料儲存單元36(其可簡稱為儲存單元)儲存筆ID控制資料。在手寫輸入顯示控制單元23將顯示資料發送至顯示單元22之前,筆ID控制資料儲存單元36將筆ID控制資料d41發送至手寫輸入顯示控制單元23。手寫輸入顯示控制單元23基於在與筆ID相關聯地儲存的操作條件下的顯示資料來繪製例如字元。此外,在手寫辨識控制單元26執行手寫辨識之前,筆ID控制資料儲存單元36將筆ID控制資料的角度資訊d44發送至手寫辨識控制單元26,並且手寫辨識控制單元26利用對應於筆ID而儲存的角度資訊將筆觸旋轉並執行手寫辨識。
在當使用者手寫例如字元時手寫辨識控制單元26辨識用於設定角度資訊的直線之後,手寫辨識控制單元26將筆ID控制資料的角度資訊d43發送至筆ID控制資料儲存單元36以與筆ID相關聯地將角度資訊d43儲存在筆ID控制資料儲存單元36中。在手寫輸入顯示控制單元23執行了用於設定角度資訊的操作命令之後,手寫輸入顯示控制單元23將筆ID控制資料d42發送至筆ID控制資料儲存單元36,並與筆ID相關聯地將操作命令的執行結果(由使用者因此設定的角度資訊)儲存在筆ID控制資料儲存單元36中。然後,筆ID的筆觸隨著設定的角度資訊息旋轉,並執行手寫辨識。
圖7B示出筆2500的功能的功能方塊圖。筆2500包括筆事件發送單元41。筆事件發送單元41利用筆ID將諸如筆移除、筆觸控摸和筆座標之類的事件資料發送至手寫輸入裝置2。
<使用者認證>
在本實施例中,使用使用者認證的結果來執行控制,因此,期望手寫輸入裝置2具有認證使用者的功能。因此,將參考圖8描述與使用者認證有關的功能。
圖8示出用於說明與手寫輸入裝置2的使用者認證有關的功能方塊圖。在圖8中,對於與使用者認證單元34有關的功能,僅示出手寫輸入顯示控制單元23。然而,圖7中所示的每個功能都可採用使用者的認證結果。
認證資訊獲取單元35從使用者獲取認證資訊d31。認證資訊d31可以是IC卡的卡號、使用者ID和密碼、諸如指紋之類的生物資訊。使用者認證單元34從認證資訊獲取單元35獲取認證資訊d32,並在使用者資訊資料庫37中搜尋認證資訊d33。回應透過搜尋找到了對應的使用者,從使用者資訊資料庫37中檢索了對應的使用者資訊d34。使用者資訊可以是表示使用者屬性的資訊,例如,使用者名稱、使用者密碼、電腦名稱、部門、權限等。
在使用者認證單元34將使用者資訊d35發送至手寫輸入顯示控制單元23之後,手寫輸入顯示控制單元23可採用使用者資訊執行操作命令。將參考圖13A和圖13B描述採用使用者資訊的操作命令。
代替具有認證功能的手寫輸入裝置2,外部認證伺服器可以具有認證功能。在這種情況下,手寫輸入裝置2將認證資訊發送至認證伺服器,並從認證伺服器獲取認證結果和使用者資訊。
<定義的控制資料>
接下來,將參照圖9描述用於手寫輸入裝置2的各種處理之所定義的控制資料。圖9示出定義的控制資料的示例。圖8的示例示出以每個控制項目為基礎的控制資料。
可選取候選顯示計時器401定義出時間,可選候選在該時間過去之後(第一時間的一個示例)會被顯示。這是因為在手寫期間未顯示出可選候選。圖9示出了除非在從移除筆起算TimerValue=500ms內發生筆觸控,不然就會顯示可選候選。可選取候選顯示計時器401由候選顯示計時器控制單元24儲存。在圖28的步驟S18-2中,在可選取候選顯示計時器401的啟動處使用可選取候選顯示計時器401,這將稍後敘述。
可選取候選顯示刪除計時器402定義出時間,可選候選在該時間過去之後(第二時間的一個示例)會被刪除。這是因為將刪除可選候選以回應使用者並未從可選候選中選取。圖9示出了除非在TimerValue=5000ms內從顯示的可選候選中選取其中任一個,否則刪除可選取候選顯示。可選取候選顯示刪除計時器402由候選顯示計時器控制單元24儲存。在圖30的步驟S54中,在可選取候選顯示刪除計時器402的啟動處使用可選取候選顯示刪除計時器402。
手寫物件近似矩形區域403定義了被視為近似於手寫物件的區域的矩形區域。根據圖9的示例,手寫物件近似矩形區域403是一個比手寫物件矩形區域水平增大為預估字元尺寸的50%以及垂直增大為預估字元尺寸的80%的矩形區域。在圖9所示的示例中,使用了預估字元尺寸的百分比(%)。然而,在使用單位「mm」等的情況下,對應長度可以是固定長度。手寫物件近似矩形區域403由手寫輸入儲存單元25儲存。在圖27的步驟S10中使用預估字元尺寸405來判定手寫物件近似矩形區域與筆觸矩形區域之間的重疊條件。
預估書寫方向和字元尺寸判定條件404定義了用於判定書寫方向和字元尺寸測量方向的常數。根據圖9的示例,對於以下情況:(i)在手寫物件矩形區域的開始處添加筆觸的時間與最後一個筆觸添加的時間之間的差為MinTime=1000ms或更大、(ii)在手寫物件矩形區域的水平距離(寬度)與垂直距離(高度)之間的差為MinDiff=10mm或更大、以及(iii)水平距離大於垂直距離,將預估書寫方向判定為「水平書寫」,而將預估字元尺寸判定為垂直距離。對於水平距離小於垂直距離的情況,將預估書寫方向判定為「垂直」,
而將預估字元尺寸判定為水平距離。對於不滿足這些條件的情況,將預估字元方向判定為「水平書寫」(DefaultDir=“Horizontal”),並將水平和垂直距離中之較長距離判定為預估字元尺寸。預估書寫方向和字元尺寸判定條件404由手寫輸入儲存單元25儲存。在圖30的步驟S50中獲取預估書寫方向及在圖32的步驟S72中獲取字元串物件的字型時,使用預估書寫方向和字元尺寸判定條件404。
例如,預估字元尺寸405定義了用於預估尺寸字元的資料。根據圖9的示例,使用預估書寫方向和字元尺寸判定條件404所判定的預估字元尺寸與預估字元尺寸405的較小字元405a(以下稱為最小字型尺寸)和預估字元尺寸405的較大字元405c(以下稱為最大字型尺寸)進行比較。對於預估字元尺寸小於最小字型尺寸的情況,將預估字元尺寸判定為最小字型尺寸。對於預估字元尺寸大於最大字型尺寸的情況,將預估字元尺寸判定為最大字型尺寸。否則,將字元尺寸判定為中等字元405b。預估字元尺寸405由手寫輸入儲存單元25儲存。在圖32的步驟S72中,預估字元尺寸405用於獲取字元串物件字型。
實際上,手寫輸入儲存單元25從由使用預估書寫方向和字元尺寸判定條件404所判定的預估字元尺寸與預估字元尺寸405的字型尺寸進行比較而判定之預估字元尺寸405之中使用最接近尺寸的字型。例如,對於預估字元尺寸為25mm(較小字元的字型尺寸)或更小的情況,使用「較小字元」字型。對於預估字元尺寸為25mm以上且50mm(中等字元的字型尺寸)以下的情況,使用「中等字元」字型。對於預估字元尺寸大於100mm(較大字元的字型尺寸)的情況,將使用「較大字元」字型。「較小字元」字型405a使用細明體25mm字型(FontStyle=“Ming body”,FontSize=“25mm”);「中等字元」字型405b使用細明體50mm字型(FontStyle=“細明體”,FontSize=“50mm”);“較大字元”字型405c使用100mm Gothic body字型(FontStyle=“Gothic body”,FontSize=“100mm”)。對於要增加字型尺寸或樣式類型的數量的情況,可相應地增加預估字元尺寸405的數量。
連接線判定條件406定義了用於判定複數個物件是否已被使用者選取的資料。根據圖8的示例,對於以下情況:(i)手寫物件是單一筆觸、(ii)手寫物件的長邊的長度為100mm以上(MinLenLongSide=“100mm”)且短邊的長度為50mm或更短(MaxLenShortSide=“50mm”)、以及(iii)相對於手寫物件的長邊和短邊,存在物件具有重疊率80%或以上(MinOverLapRate=“80%”)
(亦即,該些重疊部分是一預設重疊百分比或以上),判定了所選複數個物件(selected objects)。操作命令辨識控制單元32儲存連接線判定條件406。連接線判定條件406用於圖29的步驟S41中所選物件的判定。
封閉線判定條件407定義了用於判定物件是否為封閉線的資料。根據圖9的示例,操作命令辨識控制單元32判定固定物件作為所選物件,該固定物件相對於手寫物件的長邊和短邊,具有重疊率100%或以上(MinOverLapRate =“100%”)(亦即,該重疊部分是一預設重疊百分比或以上)。封閉線判定條件407由操作命令辨識控制單元32儲存。於圖29的步驟S41中,在所選物件的判定中,封閉線判定條件407用於封閉線判定。
連接線判定條件406與封閉線判定條件407中之任一條件可使用於優先判定。例如,對於將連接線判定條件406設定為溫和條件(以便可以容易地將手寫物件判定為連接線)並且將手寫線判定條件407設定為嚴格條件的情況(以便可以將手寫物件判定為封閉線)的情況,最好讓操作命令辨識控制單元32將封閉線判定條件407優先用於判定。
<字典資料的示例>
接下來,將參考圖10至圖12描述字典資料。圖10示出手寫辨識字典單元27的字典資料的示例。圖11示出字元串轉換字典單元29的字典資料的示例。圖12示出預測轉換字典單元31的字典資料的示例。這些字典資料組用於圖29的步驟S24至S33中。
在本實施例中,使用圖10之手寫辨識字典單元27的字典資料的轉換結果將稱為「語言字元串候選」、使用圖11之字元串轉換字典單元29的字典資料的轉換結果將稱為「轉換的字元串候選」、以及使用圖12之預測轉換字典單元31的字典資料的轉換結果將稱為「預測的字元串候選」。
對於每一種字典類型的“轉換前”代表該字典資料中待搜尋的字元串;「轉換後」代表一個字元串結束對應於待搜尋的字元串所進行的轉換;「機率」代表被使用者選取的機率。根據使用者過去選取字元串的結果來計算機率。因此,可以基於每個使用者來計算機率。已設計出各種演算法來計算這樣的機率。實際上,可以用適當的方式來計算機率;因此將省略細節描述。根據本實施例,基於預估書寫方向的候選字元串以選取機率的降序來顯示。
在圖10之手寫識別詞典單元27的詞典資料中,具有發音「gi」的手寫「平假名」字元H1具有0.55的概率是具有相同發音「gi」的中文字元C1,0.45為具有相同發音「gi」的中文字元C2;具有發音「gishi」的手寫「平假名」字元H2具有0.55的概率是具有相同發音「gishi」的中文字元C3,而且具有0.45的概率是具有相同的發音「gishi」的中文字元C4。轉換前的其他字元串也同樣適用。在圖10中,「轉換前」的字元串是手寫平假名字元。平假名字元以外的字元串也可以註冊為「轉換前」的字元串。
在圖11的字元串轉換字典單元29的字典資料中,字元串C11(中文字元)轉換為C12(中文字元串)的機率為0.95、字元串C13(中文字元)轉換為C14(中文字元串)的機率為0.85。轉換前的其他字元串也同樣適用。
在圖12的預測轉換詞典單元31的詞典資料中,字元串C21(中文字元串)轉換為中文和平假名字元串C22的機率為0.65;而且將字元串C23(中文字元串)轉換為中文和平假名字元串C24的機率為0.75。在圖11的示例中,「轉換前」的所有字元串都是中文字元。但是,中文字元以外的其他字元也都能夠註冊。
詞典資料是與語言無關的,並且可以將任何字元串註冊為「轉換前」和「轉換後」的字元串。
<由操作命令定義單元儲存的操作命令定義資料>
接下來,將參考圖13A至圖14描述由操作命令辨識控制單元32使用的操作命令定義資料。圖13A和圖13B示出由操作命令定義單元33儲存的操作命令定義資料和系統定義資料的示例。
圖13A示出操作命令定義資料的示例。在圖13A中所示之操作命令定義資料為當使用手寫物件未選取任何所選物件時操作命令定義資料的示例。針對用於操作手寫輸入裝置2的所有操作命令準備這樣的操作命令定義資料。圖13A的操作命令具有操作命令名稱(Name)、與候選字元串(String)部分相同的字元串、以及要執行的操作命令的字元串(Command)。「%...%」在操作命令串中是變量,並且與系統定義資料相關聯,如圖13B所示。換句話說,「%...%」由圖13B中所示的系統定義資料替換。
操作命令定義資料701指示操作命令的名稱為字元C31(或「read meeting minutes template」)、與候選字元串部分相同的字元串為字元C32(或
「meeting minutes」)或字元C33(或「template」)、以及要執行的操作命令是“ReadFile https://%usemame%:%password%@server.com/templates/minutes.pdf”。在該示例中,系統定義資料「%...%」包含在要執行的操作命令中,而“%username%”和“%password%”分別由系統定義資料704和705替換。因此,最終的操作命令字元串為“ReadFile https://taro.tokkyo:x2PDHTyS@server.com/template/minutes.pdf”,指示將讀取檔案“https://taro.tokkyo:x2PDHTyS@server.com/minutes.pdf”(ReadFile)。
操作命令定義資料702指示操作命令的名稱為字元C34(或“save in a minutes folder”)、候選字元串部分相同的字元串為字元C32(或“meeting minutes”)或字元C35(或“save”)、以及要執行的操作命令是“WriteFile https:/%username%:%password%@server.com/minutes/%machinename%_%yyyyy-mm-dd.pdf”。與操作命令定義資料701相似,在操作命令字元串中的“%username%”、“%password%”和“%machinename%”將分別由系統定義資料704至706替換。請注意,“%yyyy-mm-dd%”將由目前日期替換。例如,對於目前日期是2018年9月26日的情況,“%yyyy-mm-dd%”將由“2018-09-26”替換。最終操作命令為“WriteFile https://taro.tokkyo:x2PDHTyS@server.com/mintes/%My-Machine_2018-09-26.pdf”,並指示meeting minutes要儲存在檔案“https://taro.tokkyo:x2PDHTyS@server.com/%Minutes/%My-Machine_2018-09-26.pdf”(WriteFile)中。
操作命令定義資料703指示操作命令的名稱是字元C37(或「to print」)、與候選字元串部分相同的字元串是字元C38(或「print」)或字元C39(或「print」)、以及要執行的操作命令是“PrintFile https:/%username%:%password%@server.com/print/%machiname%-%yyyy-mm-dd%.pdf”。由於針對操作命令定義資料702執行了操作命令字元串中的替換,因此要執行的最終操作命令是“PrintFile https://taro.tokkyo:x2PDHTyS@server.com/print/%My-Machine_2018-09-26.pdf”,指示要列印的檔案“https://taro.tokkyo:x2PDHTyS@server.com/print/%My-Machine_2018-09-26.pdf”(PrintFile)。亦即,將檔案傳送到伺服器。換句話說,當指示檔案時,使用者讓列印機與伺服器通訊,並且列印機將檔案的內容列印在紙張上。
因此,可以從候選字元串中辨識出操作命令定義資料701至703。因此,操作命令可作為使用者手寫物件的結果被顯示出來。此外,在使用者認證成功之後,操作命令定義資料的「%username%」、「%password%」等將在使用者資訊中替換,因此,可與使用者相關聯地執行檔案的輸入/輸出。
對於不執行使用者認證的情況(或者使用者認證失敗的情況、對於即使使用者認證失敗也可使用手寫輸入裝置2的情況),取而代之的是,使用先前設定在手寫輸入裝置2上的「%username%」、「%password%」等用於替換。因此,即使未有使用者認證,也可以與手寫輸入裝置2相關聯地執行檔案的輸入/輸出。
操作命令定義資料709、710和711是變更筆狀態的操作命令。筆狀態也可稱為筆類型。操作命令定義資料709、710和711指示操作命令的名稱分別由字元C40(或「fine pen」)、字元C43(或「bold pen」)、和字元C45(或「marker」)表示;與候選字元串部分相同的字元串分別由字元C41(或「fine」)或字元C42(或「pen」)表示;分別由字元C44(或「bold」)或字元C42(或「pen」)、和字元C45(或「marker」)或字元C42(或「pen」)表示;以及要執行的操作命令分別為「ChangePen fine」、「ChangePen bold」、和「ChangePen marking」。當執行這些操作命令時,筆狀態儲存在筆ID控制資料儲存單元36中,使得使用者就可以在這種設定的筆狀態下手寫筆觸。
操作命令定義資料712是用於將文字資料設定在預設方向上的操作命令。操作命令定義資料712指示操作命令的名稱由字元C46(或「set the orientation of text data to be the same as each other」)表示,與候選字元串部分相同的字元串由字元C47(或「text」)、或字元C48(或「orientation」)、或字元C49(或「direction」)表示,以及要執行的操作命令是「AlignTextDirection」。由使用者在手寫輸入裝置2的垂直方向以外的方向上寫入的文字資料具有各種方向,因此難以從一個方向來讀取這樣的文字資料。當使用者執行操作命令定義資料712時,手寫輸入裝置2在預設方向(例如,手寫輸入裝置2的垂直方向)上將手寫辨識字元串的方向設定為彼此相同。在這種情況下,“set the orientations to be the same as each other”意指根據角度資訊旋轉文字資料。
接下來,將描述具有手寫物件的情況下的操作命令定義資料,亦即,編輯系統和修改系統的操作命令定義資料。圖14示出對於具有利用手寫物
件選取之所選物件的情況下操作命令定義資料的示例;在圖14中所示之操作命令定義資料具有操作命令名稱(Name)、候選操作命令的群組名稱(Group)、以及要執行的操作命令的字元串。
操作命令定義資料707定義編輯系統(Group=“Edit”)的操作命令,並且是編輯系統的操作命令「delete」、「move」、「rotate」和「select」的定義資料的示例。也就是,針對所選物件顯示這些操作命令,以允許使用者選取所需的操作命令。
操作命令定義資料708定義修改系統的操作命令(Group=「Decorate」),並且將修改系統的操作命令定義為操作命令「make thicker”、「make thinner」、「make larger」、「make smaller」、以及「draw underline」的示例。針對所選物件顯示這些操作命令,以允許使用者選取所需的操作命令。此外,也可以顯示與顏色有關的操作命令。
因此,作為使用者使用手寫物件來選取所選物件的結果,辨識了操作命令定義資料707或708。因此,使用者可以使操作命令顯示作為執行手寫的結果。
<由手寫輸入儲存器儲存的手寫輸入儲存資料>
接下來,將參考圖15描述手寫輸入儲存資料。圖15示出由手寫輸入儲存單元25儲存的手寫輸入儲存資料;圖15中的一個字段代表一筆觸。手寫輸入儲存資料組具有以下各項:DataId、Type、PenId、Color、Width、Pattern、Angle、StartPoint、StartTime、EndPoint、EndTime、Point、以及Pressure,如圖15所示。
DataId是筆觸辨別。Type是筆觸類型。該筆觸類型包括「Stroke」、「Group」和「Text」。手寫輸入儲存資料組801和802的類型是Stroke;手寫輸入儲存資料組803的類型為Group,如圖15所示。Group是指創建包括其他筆觸的群組;具有「Group」類型的手寫輸入儲存資料用DataId指定要包含在群組中的筆觸。PenId、Color、Width、Pattern和Angle對應於將在下文描述的筆ID控制資料的PenId、Color、Width、Pattern和Angle。StartPoint是筆觸的起點座標,而StartTime是筆觸的開始時間。EndPoint是筆觸的終點座標,而EndTime是筆觸的終點時間。Point是從起點座標到終點座標的座標字元串,而Pressure是從起點座
標到終點座標的書寫壓力。如Angle所示,手寫輸入儲存資料組804和805指示在進行手寫辨識之前,筆觸分別順時針旋轉了180度和270度。
<儲存在筆ID控制資料儲存單元中的筆ID控制資料>
接下來,將參考圖16A和圖16B描述筆ID控制資料。圖16A和圖16B示出用於說明儲存在筆ID控制資料儲存單元36中的筆ID控制資料的示意圖。圖16A的一個欄位示出關於一支筆的筆ID控制資料。圖16B示出用於說明當使用者對手寫輸入裝置2進行手寫時的角度資訊的示意圖。角度資訊表示使用者所在方向的角度、使用筆的方向的角度、或關於使用者書寫的字元的旋轉角度。假設手寫輸入裝置2的預定方向(例如,垂直方向)是0度(參考角度),則圖16B中所示之各個使用者的角度資訊是逆時針旋轉45度、90度、135度、180度、225度、270度、和315度,如圖16B所示。
使用者的角度資訊指示出當手寫輸入裝置2處於平面安裝中時,使用者相對於手寫輸入裝置2的位置。亦即,使用者的角度資訊是位置資訊。從手寫輸入裝置2觀看時,可以辨別使用者所處的方向。替代這種角度資訊,從手寫輸入裝置2觀看的方向可用時鐘指針表示,因此可以表示如下:0度:6點鐘方向;45度:介於4點鐘方向與5點鐘方向之間的方向;90度:3點鐘方向;135度:介於1點鐘方向與2點鐘方向之間的方向;180度:12點鐘方向;225度:介於10點鐘與11點鐘之間的方向;270度:9點鐘方向;以及315度:介於7點鐘方向與8點鐘方向之間的方向。
角度資訊不是由使用者的位置自動判定的,而是由每個使用者輸入(指定)角度資訊。可以指定的角度資訊的分辨率(圖16A和圖16B中的45度)僅為示例,也可以更小,例如5度至30度。就這一點而言,如果將字元旋轉45度左右,則使用者似乎就能夠閱讀該字元。
筆ID控制資料包括PenId、Color、Width、Pattern、以及Angle。PenId是儲存在筆內的辨識碼。Color是為此筆設定的筆觸顏色(可由使用者更改)。Width是為此筆設定的筆觸寬度(可由使用者更改)。Pattern是設定到此筆的筆觸的線條類型(使用者可以自由更改)。Angle是為此筆設定的筆觸角度(使用者可以自由更改)。在圖16A的示例中,用於各個筆的角度資訊為逆時針0度、90度、180度、和270度。
筆ID控制資料901是筆ID為1的控制資料。顏色為黑色(Black)、粗細為1像素(1px)、圖案為填滿(Solid)、以及角度資訊為0度。類似地,筆ID控制資料902的筆ID為2、黑色、粗細為1像素、填滿圖案、以及角度資訊為90度。筆ID控制資料903的筆ID為3、黑色、粗細為10像素、填滿圖案、以及角度資訊為180度。筆ID控制資料904的筆ID為4、黑色、粗細為10像素、半色調網點圖案、以及角度資訊為270度。
筆ID控制資料用於圖26的步驟S5(獲取筆ID控制資料)、圖28的步驟S20(儲存筆ID控制資料的角度資訊)、圖30的步驟S51(獲取筆ID控制資料)、以及圖32的步驟S78(儲存筆ID控制資料的角度資訊)中。
<顯示可選候選的示例>
圖17示出操作指南500和顯示在操作指南500中的可選候選的示例。作為使用者手寫手寫物件504的結果(且在可選取候選顯示計時器逾時之後),則顯示出操作指南500。操作指南500包括操作標題520、操作命令候選510、手寫辨識字元串候選506、轉換字元串候選507、字元串/預測轉換候選508、以及手寫物件矩形區域輪廓503。可選候選530包括操作命令候選510、手寫辨識字元串候選506、轉換的字元串候選507、以及字元串/預測轉換候選508。儘管在該示例中未顯示出語言字元串候選,但是語言字元串候選是可以顯示的。除了操作命令候選510之外,可選候選530將稱為「字元串候選」539。
操作標題520具有按鈕501、509、502和505。按鈕501用於接收使用者在預測轉換與「假名」(Kana)轉換之間進行切換的操作。在圖17的示例中,作為使用者按壓指示「預測」的按鈕501的結果,手寫輸入單元21接收按壓操作並發送對應資訊至手寫輸入顯示控制單元23,並且顯示單元22將按鈕501的指示變更至「假名」。在變更該指示之後,以對應於「假名轉換」(Kena conversion)的機率順序來顯示候選字元串539。
按鈕502用於使用者操作候選顯示頁面。在圖17的示例中,候選顯示頁面是三個頁面,目前是顯示第一頁面。按鈕505用於接收使用者的操作以刪除操作指南500。回應使用者按壓按鈕505,手寫輸入單元21接收按壓操作並將對應的資訊發送至手寫輸入顯示控制單元23。結果,顯示單元22刪除手寫物件504(C101)之外的顯示。按鈕509用於接收使用者的集體顯示刪除的操作。回應使用者按壓按鈕509,手寫輸入單元21接收按壓操作並將對應的資訊發送至
手寫輸入顯示控制單元23。結果,顯示單元22刪除圖17中所示的所有顯示內容,包括手寫物件504。因此,允許使用者重新執行手寫。
手寫物件504是使用者手寫字元C101(平假名字元)。顯示了圍繞手寫物件504的手寫物件矩形區域輪廓503。稍後將參考圖26至圖32的序列圖描述對應的顯示過程。在圖17的示例中,手寫物件矩形區域輪廓503以虛線框的形式顯示。
手寫辨識字元串候選506以機率順序排列,轉換的字元串候選507以機率順序排列,並且字元串/預測轉換候選508以機率順序排列。手寫辨識字元串候選506(字元C102)是關於手寫物件504的辨識結果的候選。在該示例中,從手寫物件504正確地辨別字元C101(平假名字元)。
轉換的字元串候選507是透過從語言字元串候選的轉換而獲取的字元串候選。在此示例中,術語(即字元C104)中文字元串的縮寫,其表示「技術量產試作」。字元串/預測轉換候選508是從語言字元串候選或轉換的字元串候選轉換的預測的字元串候選。在該示例中,字元C105和字元C106顯示為字元串/預測轉換候選508。
操作命令候選510基於圖13A的操作命令定義資料701至703和709至712來選取。在圖17所示的示例中,「>>」開頭的符號511表示以下字元串是操作命令候選。圖17中,未使用手寫物件504(字元C101)已選取的所選資料;從手寫物件(字元C101)獲取的字元串候選字元C103與圖13A所示之的操作命令定義資料701和702部分相同。因此,字元C111和字元C112被顯示為操作命令候選510。
回應使用者選取操作命令候選字元C111(或「閱讀會議記錄模板」),執行由操作命令定義資料701定義的對應操作命令。回應使用者選取操作命令候選字元C112(或「保存在會議記錄檔案夾中」),執行由操作命令定義資料702定義的對應操作命令。因此,在找到包含轉換的字元串的操作命令定義資料的情況下,顯示操作命令候選。因此,候選操作命令並不會一直顯示。
如圖17所示,同時(共同)顯示候選字元串和操作命令候選。因此,使用者可以選取使用者欲輸入的字元串候選或操作命令候選。
<操作指南與手寫物件矩形區域輪廓之間的位置關係>
在對應於筆觸資料的位置處,顯示單元22顯示包含文字資料的操作指南500。實際上,顯示單元22顯示包含在基於筆觸資料的位置而位於顯示螢幕處的文字資料的操作指南500。因此,操作指南500的位置取決於筆觸資料的位置。
圖18A和圖18B示出用於說明操作指南的位置與手寫物件矩形區域輪廓之間的位置關係的示意圖。首先,操作指南500的寬度A和高度H1是固定的。手寫物件矩形區域輪廓503的右端與操作指南500的右端具有相同的x座標。
手寫物件矩形區域輪廓503的寬度B取決於使用者書寫的手寫物件504的長度。在圖18A中,因為手寫物件矩形區域輪廓503的水平寬度B對應於一個字元並且A>B,所以由以下公式計算操作指南500的左上角P的座標(x0,Y0)。就此而言,手寫物件矩形區域輪廓503的左上角Q的座標是(x1,Y1)。手寫物件矩形區域輪廓503的高度被假定為H2。
x0=x1-(A-B)
y0=y1+H2
如圖18B中所示,當手寫物件矩形區域輪廓的寬度B大於寬度A,由以下公式計算操作指南500左上角P的座標(x0,y0)。
x0=x1+(B-A)
y0=y1+H2
儘管在圖18A和圖18B中,操作指南500在手寫物件矩形區域輪廓503的下方,但是操作指南500也可以顯示在手寫物件矩形區域輪廓503的上方。
圖19示出顯示在手寫物件矩形區域輪廓503上方的操作指南500。x1的計算方法在這種情況下與圖18A和圖18B的情況相同,但是y0的計算方法則不同,如下述。
y0=y1-H1
替代地,操作指南500可以顯示在手寫物件矩形區域輪廓503的右側或左側。在例如使用者在顯示螢幕的一端手寫字元使得在預定側未操作指南500的顯示空間的情況,操作指南500顯示在手寫字元的任一側有顯示空間的地方。
<判定所選物件的示例>
根據本實施例的手寫輸入裝置2,藉由選取手寫固定物件,使用者可判定所選物件。該所選物件是要進行編輯或修改的物件。
圖20A至圖20D示出判定所選物件的示例。在圖20A至圖20D中,實線表示手寫物件11,半色調網點表示手寫物件矩形區域12,實線表示固定物件13,虛線表示所選物件矩形區域14。小寫英文字元附加在標號後面,以在它們之間做出區別。另外,作為用於判定固定物件是否為所選物件的判定條件(用於判定是否存在預設關係),使用圖9所示之定義的控制資料的連接線判定條件406或封閉線判定條件407。
圖20A描述使用者利用連接線(手寫物件11a)選取水平書寫的兩個固定物件13a和13b的示例。在此示例中,因為手寫物件矩形區域12a的短邊長度H1和長邊長度W1滿足連接線判定條件406,以及固定物件13a(三個中文字元)和13b(兩個平假名字元)的重疊率滿足連接線判定條件406,使得固定物件13a和13b兩者都被判定為所選物件。
圖20B是由封閉線(手寫物件11b)選取水平書寫的固定物件13c的例子。在該示例中,僅有固定物件13c(三個中文字元)被判定為所選物件,其中固定物件13c與手寫物件矩形區域12c之間的重疊率滿足封閉線判定條件407。
圖20C是使用連接線(手寫物件11c)選取垂直書寫的複數個固定物件13d和13e的示例。在此示例中,如圖20A所示,手寫物件矩形區域12d的短邊長度H1和長邊長度W1滿足連接線判定條件406,以及兩個固定物件13d和13e的重疊率滿足連接線判定條件406。因此,固定物件13d(三個中文字元)和13e(兩個平假名字元)都被判定為所選物件。
圖20D是由封閉線(手寫物件11d)選取垂直書寫的固定物件13f的示例。在該示例中,如圖20B所示,僅將固定物件13f(三個中文字元)判定為所選物件。
<顯示操作命令候選的示例>
圖21A和圖21B示出在具有圖14中所示之手寫物件的情況基於操作命令定義資料之操作命令候選的顯示示例。圖21A示出編輯系統的操作命令候選;圖21B示出修改系統的操作命令候選。圖21A示出如圖20A中使用手寫物件11a判定所選物件的示例。
如圖21A和圖21B所示,主選單550包括在行頭符號511「>>」之後顯示的操作命令候選。主選單550顯示操作命令定義資料中最後執行的操作命令名稱或第一操作命令名稱。操作命令候選「DELETE」的第一行(511a)是編輯操作命令;操作命令「MAKE THICKER」(511b)第二行是修改操作命令。
行尾的符號「>」512a和512b(子選單按鈕的示例)表示具有子選單。第一行符號「>」512a是顯示用於編輯系統的操作命令的子選單(最後選取的);符號「>」512b的第二行是顯示用於修改系統的操作命令的其餘子選單。回應使用者按壓符號「>」512a,在右側顯示子選單560。子選單560顯示在操作命令定義資料中所定義的所有操作命令。如上所述,從顯示主選單550或顯示子選單560的時間來顯示子選單560,以回應使用者按壓第一行符號「>」512a。
回應使用者用筆按壓所顯示的操作命令名稱中的任何一個,手寫顯示控制單元23執行與所選物件上之按壓的操作命令名稱相關聯的操作命令定義資料的「命令」(Command)(見圖14)。亦即,可以“刪除”所選物件,以回應被按壓的名稱「DELETE」521;可以「移動」所選物件,以回應被按壓的名稱「MOVE」522;可以「旋轉」所選物件,以回應被按壓的名稱「ROTATE」523;可以為所選物件「選取」另一操作,以回應被按壓的名稱「SELECT」524。
例如,回應使用者用筆按壓「DELETE」521,可以刪除所選物件13a(三個中文字元)和13b(兩個平假名字元)。回應按壓「MOVE」522、「ROTATE」523和「SELECT」524中的任何一個,可以顯示邊框(所選物件的外接矩形)。然後,透過使用筆的拖曳操作,在按壓「MOVE」522或「ROTATE」523的情況下,使用者可以移動或旋轉所選物件。在按壓「SELECT」524的情況下,使用者可以在邊框上執行另一操作。
除了操作命令候選之外的其他字元串候選,即,字元串541(中文字元)、542(中文字元和平假名字元)、「~」543、「→」544和「」545是關於連接線(手寫物件11a)的辨識結果。在使用者欲輸入這類字元串以替換非操作命令的情況下,允許使用者選取對應的字元串候選。
關於圖21B,顯示子選單560,以回應使用者按壓第二行符號「>」512b。與圖21A的情況一樣,主選單550和子選單560顯示在圖21B中所示的顯示示例中。基於圖14的操作命令定義資料,可使得手寫輸入顯示控制單元23讓所選物件的線條加粗,以回應按壓「MAKE THICKER」531;可使得手寫輸入顯
示控制單元23讓所選物件的線條變細,以回應按壓「MAKE THINNER」532;可使得手寫輸入顯示控制單元23將所選物件放大,以回應按壓「MAKE LARGER」533;可使得手寫輸入顯示控制單元23將所選物件的尺寸變小,以回應按壓「MAKE SMALLER」534;可使得手寫輸入顯示控制單元23對所選物件劃底線,以回應按壓「DRAW UNDERLINE」535。
此外,分別定義了以下數值:在按壓「MAKE THICKER」531的情況下,將所選物件的線加粗多少;在按壓「MAKE THINNER」532的情況下,將所選物件的線變細多少;在按壓「MAKE LARGER」533的情況下,將所選物件放大多少;在按壓「MAKE SMALLER」534的情況下,將所選物件的尺寸變小多少;在按壓「DRAW UNDERLINE」535的情況下,選取要劃哪種底線類型。更理想地,回應選取圖21B的子選單560中的任何選項,可進一步顯示對應的選取選單以讓使用者進行對應的調整。
更詳細地,回應使用者用筆按壓「MAKE THICKER」531,可使得手寫輸入顯示控制單元23加粗固定物件13a(三個中文字元)和13b(兩個平假名字元)的線條。回應使用者用筆按壓「MAKE THINNER」532,可使得手寫輸入顯示控制單元23將固定物件13a(三個中文字元)和13b(兩個平假名字元)的線條變細。回應使用者用筆按壓「MAKE LARGER」533,可使得手寫輸入顯示控制單元23將固定物件13a(三個中文字元)和13b(兩個平假名字元)放大。回應使用者用筆按壓「MAKE SMALLER」534,可使得手寫輸入顯示控制單元23將固定物件13a(三個中文字元)和13b(兩個平假名字元)的尺寸變小。回應使用者用筆按壓「DRAW UNDERLINE」535,可使得手寫輸入顯示控制單元23對固定物件13a(三個中文字元)和13b(兩個平假名字元)劃底線。
圖22A和圖22B示出在具有圖14中所示之手寫物件的情況下,基於操作命令定義資料的操作命令候選的顯示示例。不同於圖21A和圖21B之處在於,圖22A和圖22B示出使用圖20B的手寫物件11b(封閉線)判定所選物件的示例。從圖21A和圖21B與圖22A和圖22B之間的比較可以看出,無論用於判定所選物件的手寫物件是連接線或是封閉線,所顯示的操作命令候選都沒有區別。這是因為在任何一種情況下,手寫輸入顯示控制單元23都是在顯示單元22上顯示操作命令候選,以回應被判定的所選物件。在這方面,還可以根據手寫物件11a
或11b的辨識結果變更要顯示的操作命令候選的內容。在這種情況下,諸如圖14中所示之操作命令定義資料的操作命令定義資料會與已辨識的手寫物件相關聯(例如與數字「1」、符號「○」等對應的中文數字)。
在圖22A和圖22B中,符號「○」551和「∞」552、數字「0」553和「00」554、以及平假名字元555,是除了操作命令候選之外的字元串候選,為相對於封閉線(手寫物件11b)所獲取的辨識結果,並且在使用者想要輸入字元串而不是操作命令的情況下,使用者可以選取這些字元串候選中的任何一個。
<角度資訊輸入的示例>
接下來,將參考圖23A至圖23C描述用於輸入角度資訊的方法。圖23A至圖23C示出用於說明角度資訊的輸入方法的示例。圖23A至圖23C示出使用者在手寫輸入裝置2的三點鐘方向上輸入角度資訊的情況。因為在字元順時針旋轉90度時正確地辨識從三點鐘方向書寫的手寫字元,所以要輸入90度角度資訊。
圖23A示出在筆ID控制資料的角度資訊為0度(初始值)的狀態下,顯示操作指南500以回應使用者在手寫輸入裝置2的三點鐘方向上(即,圖23A的右側上)手寫平假名字元(手寫物件504)(發音為「gi」)的一種狀態。因為手寫輸入裝置2試圖辨識在角度資訊為0度時從三點鐘方向書寫的手寫平假名字元(手寫物件504)(具有發音「gi」),則顯示出由此獲取之與預期結果(即,正確的辨識結果)不同的可選候選530。
為了輸入角度資訊,如圖23B所示,使用者在操作指南500(預定區域中的一個例子)內手寫從上往下看的直線。圖23B示出了這樣的手寫直線521的示例。對應於0度角度資訊的6點鐘方向與線521之間的角度α是角度資訊。也就是說,從起點S沿6點鐘方向(即圖23B的下方)延伸至使用者手寫的直線521的直線522的逆時針角度α是角度資訊。簡而言之,線521的終點方向是角度資訊。因此,在圖23B中由使用者輸入的角度資訊是90度。
用於檢測這種直線521的實際方法例如是根據最小平方法將從起點S到終點E的座標轉換為直線,並得到相關係數的方法。將該相關係數與閾值進行比較來判定是否實際檢測到直線。
在使用者開始手寫直線521之後(緊接在筆2500觸控直線521的起點S後),手寫輸入裝置2將操作指南500刪除。在結束手寫直線521之後(緊接在使用者從直線521的端點E移開筆2500之後),手寫輸入裝置2立刻從45度、90度、135度、180度、215度、270度、315度和360度之中搜索並判定前述角度α的最接近值。可選地,角度α本身可以用作角度資訊。如此獲取的角度資訊被設定為筆ID控制資料的項目「Angle」。例如當為了手寫操作而按壓筆的尖端時,筆2500的筆事件發送單元41將筆ID發送至手寫輸入裝置2。因此,手寫輸入裝置2可以將角度資訊與筆ID控制資料相關聯。
在這方面,只有操作指南500能讓使用者用來手寫直線並輸入角度資訊。因此,當使用者在操作指南500外部手寫直線時,將這樣手寫的直線辨識為阿拉伯數字「1」、對應的中文數字等,而如圖23B所示,在操作指南500內部手寫直線時,可以輸入角度資訊。即,手寫辨識控制單元26從預設區域檢測直線,而手寫辨識控制單元26將預設區域外部的手寫筆觸資料轉換為文字資料。
圖23C示出在執行參照圖23B的上述操作後立即顯示的操作指南500。由於在筆ID控制資料中設定90度的角度資訊(Angle),因此將手寫物件(筆觸資料)沿順時針方向內部地旋轉90度,然後進行手寫物件辨識,則如圖23C所示,操作指南500沿逆時針方向旋轉90度並顯示出來。
圖24A至圖24C示出用於說明45度的角度資訊的輸入方法的示例。圖24A至圖24C示出使用者在手寫輸入裝置2的4點鐘方向與5點鐘方向之間的中間的方向上輸入角度資訊的情況。當將手寫字元順時針旋轉45度時,會正確地辨識從4點鐘方向與5點鐘方向之間的中間的方向上手寫的手寫字元。因此,在這種情況下,輸入了45度的角度資訊。
圖24A示出顯示操作指南500和可選候選,以回應使用者在手寫輸入裝置2的4點鐘方向與5點鐘方向之間的中間的方向上以角度資訊為0度來手寫字元(手寫物件504)的一種狀態。因為手寫輸入裝置2從在4點鐘方向與5點鐘方向之間的中間的方向上以角度資訊為0度手寫的手寫字元上進行手寫物件辨識操作,則顯示了與預期辨識結果(即,正確的辨識結果)不同的可選候選,如圖24A所示。
為了輸入角度資訊,使用者在操作指南500內手寫從使用者由上往下看的直線。圖24B示出這樣的手寫直線521的示例。由0度角度資訊的6點鐘
方向到直線521的角度α是角度資訊。因此,在圖24B中由使用者輸入的角度資訊是45度。該角度資訊(45度)被設定為筆ID控制資料的角度。
圖24C示出緊接在圖24B的操作之後的操作指南500。因為筆ID控制資料被設定為具有45度角資訊(Angle),所以手寫物件504在內部順時針旋轉45度以用於手寫物件辨識操作,並且操作指南500以逆時針方向旋轉45度並顯示出來。
圖25示出用於說明角度資訊的另一輸入方法的示例。在圖25中,使用者位於手寫輸入裝置2的3點鐘方向上。在圖25中,使用者在手寫輸入裝置2的3點鐘方向上以0度(初始值)的角度資訊手寫平假名字元(手寫物件504)(具有發音「gi」),因此將操作指南500顯示出來。圖25的操作指南500在操作標題520中包括旋轉操作按鈕511。旋轉操作按鈕511的圖示是圓形的,進而允許使用者容易地從任何方向辨識旋轉操作按鈕511。
使用者在每次按壓筆2500的旋轉操作按鈕511時添加90度到筆ID控制資料中,並把角度資訊變更為藉由將角度資訊(相加結果)除以360度所獲取的餘數值。餘數是角度資訊。就這一點而言,每次按壓旋轉操作按鈕511時要增加的角度可以是45度而不是90度。更理想地,每當按壓旋轉操作按鈕511時,就可以顯示目前角度資訊(例如,跳出角度資訊)。
<操作處理>
將參考圖26至圖32以及上述配置描述手寫輸入裝置2的操作。圖26至圖32示出用於說明手寫輸入裝置2顯示字元串候選和操作命令候選的處理示例的序列圖。當手寫輸入裝置2啟動時(當對應應用處理啟動時),開始進行圖26的處理。在圖26至圖32中,考慮到空間的限制,圖7的功能以對應標號表示。
S1:首先,手寫輸入顯示控制單元23將產生手寫物件的開始事件發送至手寫輸入儲存單元25。手寫輸入儲存單元25分配手寫物件區域(用於儲存手寫物件的記憶體區域)。使用者可能必須用筆觸控手寫輸入單元21以便分配手寫物件區域。
S2:然後,使用者用筆觸控手寫輸入單元21。手寫輸入單元21檢測筆觸控並將筆觸控事件發送至手寫輸入顯示控制單元23。
S3:手寫輸入顯示控制單元23將筆觸開始事件發送至手寫輸入儲存單元25,並且手寫輸入儲存單元25分配筆觸區域(記憶體區域)。
S4:回應使用者移動筆以與手寫輸入單元21接觸,手寫輸入單元21將對應的筆座標發送至手寫輸入顯示控制單元23。
S5:手寫輸入顯示控制單元23指示在輸入座標的同時從筆2500接收的筆ID,以獲取儲存在筆ID控制資料儲存單元36中的目前筆ID控制資料。由於在輸入座標時發送筆ID,使筆觸與筆ID相互關聯。筆ID控制資料儲存單元36將筆ID控制資料(顏色、粗細、圖案和角度資訊)發送至手寫輸入顯示控制單元23。角度資訊作為初始值仍為0。
S6:手寫輸入顯示控制單元23將筆座標內插顯示資料(用於內插離散筆座標的資料)發送至顯示單元22。顯示單元22藉由使用筆座標內插顯示資料內插筆座標來顯示一條線。
S7:手寫輸入顯示控制單元23將筆座標以及筆座標接收時間發送至手寫輸入儲存單元25。手寫輸入儲存單元25將筆座標添加至對應的筆觸資料。當使用者移動筆時,手寫輸入單元21以規則的間隔將對應的筆座標重複地發送至手寫輸入顯示控制單元23,進而重複步驟S4至S7,直到筆從手寫輸入單元21移除的情況發生為止。
S8:回應使用者從手寫輸入單元21移除筆,手寫輸入單元21將筆移除事件發送至手寫輸入顯示控制單元23。
S9:手寫輸入顯示控制單元23將筆觸結束事件發送至手寫輸入儲存單元25,且手寫輸入儲存單元25固定用於筆觸的筆座標。因此,就無法附加更多的筆座標至筆觸資料中。
S10:手寫輸入顯示控制單元23基於手寫物件近似矩形區域403將獲取手寫物件近似矩形區域與筆觸矩形區域之間的重疊狀態的請求發送至手寫輸入儲存單元25。手寫輸入儲存單元25計算該重疊狀態,並將該重疊狀態發送至手寫輸入顯示控制單元23。
然後,在手寫物件近似矩形區域與筆觸矩形區域彼此不重疊的情況下,執行步驟S11至S17。
S11:在手寫物件近似矩形區域與筆觸矩形區域彼此不重疊的情況下,固定一個手寫物件。因此,手寫輸入顯示控制單元23將清除儲存的資料的請求發送至手寫辨識控制單元26。
S12至S14:手寫辨識控制單元26將清除儲存的資料的請求發送至字元串轉換控制單元28、預測轉換控制單元30、以及操作命令辨識控制單元32。手寫辨識控制單元26、字元串轉換控制單元28、預測轉換控制單元30、以及操作命令辨識控制單元32清除與已儲存的候選字元串及操作命令有關的資料。清除資料時的最後手寫筆觸不會添加到手寫物件。
S15:手寫輸入顯示控制單元23將產生手寫物件的結束事件發送至手寫輸入儲存單元25。手寫輸入儲存單元25將手寫物件固定。結束產生手寫物件的事件意味著手寫物件已經完成(所以不會再有更多的筆觸添加到手寫物件)。
S16:手寫輸入顯示控制單元23將產生手寫物件的開始事件發送至手寫輸入儲存單元25。在準備開始下一個手寫物件的手寫(筆觸控)時,手寫輸入儲存單元25分配新的手寫物件區域。
S17:手寫輸入顯示控制單元23將關於步驟S9中筆觸結束的筆觸添加事件發送至手寫輸入儲存單元25。在已執行步驟S11至S17的情況下,要添加的筆觸是手寫物件的第一筆觸,並且手寫輸入儲存單元25將筆觸資料添加到手寫物件,進而開始產生手寫物件。在未執行步驟S11至S17的情況下,將附加筆觸添加到手寫物件,就進行了手寫物件的產生。
S18:手寫輸入顯示控制單元23將筆觸添加事件發送至手寫辨識控制單元26。手寫辨識控制單元26將筆觸資料添加到臨時儲存候選字元串的筆觸資料儲存區域。
S19:手寫辨識控制單元26在筆觸資料儲存區域上執行手勢手寫辨識。手勢手寫辨識是從直線辨識角度資訊。因為手勢手寫辨識利用操作指南500內部來執行,所以手寫辨識控制單元26檢測操作指南500內部的直線。在步驟S57中,將操作指南500的位置資訊發送至手寫辨識控制單元26,稍後將進行描述。
S20:當檢測到在操作指南500內部手寫的直線時,使用者手寫的直線521從直線521的起點朝6點鐘方向延伸出的角度α是以45度角為辨識單位。手寫辨識控制單元26相對於直線521的筆觸資料將辨識出的角度資訊與筆ID相關聯地儲存在筆ID控制資料儲存單元36中。當在操作指南500內檢測到直線時,執行步驟S20。
S21:接著,手寫辨識控制單元26表示從手寫輸入單元21接收到的筆ID,以從筆ID控制資料儲存單元36獲取筆ID控制資料的角度資訊。
S22:手寫辨識控制單元26利用所獲取的角度資訊順時針旋轉在筆觸資料儲存區域處的筆觸資料。
S23:因為筆觸資料因此從手寫輸入裝置2的垂直方向旋轉至0度方向,所以手寫辨識控制單元26對筆觸資料進行手寫辨識操作。
S24:手寫辨識控制單元26將作為手寫辨識結果的手寫辨識字元串候選發送至手寫辨識字典單元27。手寫辨識字典單元27將語言上可能的語言字元串發送至手寫辨識控制單元26。
S25:手寫辨識控制單元26將手寫辨識的字元串候選以及接收的語言字元串候選發送至字元串轉換控制單元28。
S26:字元串轉換控制單元28將手寫辨識的字元串候選以及語言字元串候選發送至字元串轉換字典單元29。字元串轉換字典單元29將轉換的字元串候選發送至字元串轉換控制單元28。
S27:字元串轉換控制單元28將接收之轉換的字元串候選發送至預測轉換控制單元30。
S28:預測轉換控制單元30將接收之轉換的字元串候選發送至預測轉換字典單元31。預測轉換字典單元31將預測的字元串候選發送至預測轉換控制單元30。
S29:預測轉換控制單元30將接收之預測的字元串候選發送至操作命令辨識控制單元32。
S30:操作命令辨識控制單元32將接收之預測的字元串候選發送至操作命令定義單元33。操作命令定義單元33將操作命令候選發送至操作命令辨識控制單元32。因此,操作命令辨識控制單元32可獲取操作命令候選,該操作命令候選對應於包含與預測的字元串候選相同的字元串(圖13A的「字元串」(String))的操作命令定義資料。
接著,以下述相同的方式執行步驟S31至S38直到發送操作命令候選為止。
S31:字元串轉換控制單元28將接收之轉換的字元串候選發送至操作命令辨識控制單元32。
S32:操作命令辨識控制單元32將接收之轉換的字元串候選發送至操作命令定義單元33。操作命令定義單元33將操作命令候選發送至操作命令辨識控制單元32。因此,操作命令辨識控制單元32可獲取操作命令候選,該操作命令候選對應於包含與預測的字元串候選相同的字元串(「String」)的操作命令定義資料。
S33:手寫辨識控制單元26將手寫辨識的字元串候選以及語言字元串候選發送至預測轉換控制單元30。
S34:預測轉換控制單元30將接收的手寫辨識字元串候選以及語言字元串候選發送至預測轉換字典單元31。預測轉換字典單元31將預測的字元串候選發送至預測轉換控制單元30。
S35:預測轉換控制單元30將接收之預測的字元串候選發送至操作命令辨識控制單元32。
S36:操作命令辨識控制單元32將接收之預測的字元串候選發送至操作命令定義單元33。操作命令定義單元33將操作命令候選發送至操作命令辨識控制單元32。因此,操作命令辨識控制單元32可獲取操作命令候選,該操作命令候選對應於包含與預測的字元串候選相同的字元串(「String」)的操作命令定義資料。
S37:手寫辨識控制單元26將手寫辨識字元串候選以及接收的語言字元串候選發送至字元串轉換控制單元32。
S38:操作命令辨識控制單元32將接收的手寫辨識字元串候選以及語言字元串候選發送至操作命令定義單元33。操作命令定義單元33將操作命令候選發送至操作命令辨識控制單元32。因此,操作命令辨識控制單元32可獲取操作命令候選,該操作命令候選對應於包含與語言字元串候選相同的字元串(「String」)的操作命令定義資料。
S39:手寫辨識控制單元26將筆觸添加事件發送至操作命令辨識控制單元32。
S40:操作命令辨識控制單元32將獲取固定物件資訊的請求發送至手寫輸入儲存單元25。手寫輸入儲存單元25將固定物件的位置資訊發送至操作命令辨識控制單元32。
S41:為了判定所選物件,操作命令辨識控制單元32基於連接線判定條件406和封閉線判定條件407,判定在關於筆觸添加事件的步驟S39中從手寫辨識控制單元26接收的筆觸位置資訊與從手寫輸入儲存單元25接收的固定物件的位置資訊之間是否具有預設關係;並儲存可被判定為被選取的固定物件,如果有。在這種情況下,因為判定了所選物件,所以從操作命令定義單元33獲取輸入/輸出系統的操作命令候選。
手寫辨識控制單元26、字元串轉換控制單元28、預測轉換控制單元30和操作命令辨識控制單元32儲存手寫辨識字元串候選、語言字元串候選、轉換的字元的資料候選字元串、預測的字元串候選、操作命令候選和所選物件的資料,因此可以在之後階段的步驟S46至S49中獲取該資料。
S18-2:在步驟S18中,緊接在手寫輸入顯示控制單元23將筆觸添加事件發送至手寫辨識控制單元26之後,手寫輸入顯示控制單元23將啟動可選取候選顯示計時器401的指令發送至候選顯示計時器控制單元24。候選顯示計時器控制單元24啟動可選取候選顯示計時器401。
然後,在一定時間過去之前(在可選取候選顯示計時器401結束之前),執行步驟S42至S44,以回應筆觸控的發生。
S42:回應使用者在可選取候選顯示計時器401結束之前用筆觸控手寫輸入單元21,手寫輸入單元21將筆觸控事件(與步驟S2的事件相同)發送至手寫輸入顯示控制單元23。
S43:手寫輸入顯示控制單元23將筆觸開始事件(與步驟S3的事件相同)發送至手寫輸入儲存單元25。接著,要執行的序列與在步驟S3之後執行的序列相同。
S44:手寫輸入顯示控制單元23將可選取候選顯示計時器停止指令發送至候選顯示計時器控制單元24。候選顯示計時器控制單元24將可選取候選顯示計時器401停止。這是因為已檢測到筆觸控,因此便不需要可選取候選顯示計時器401。
在一定時間過去之前(在可選取候選顯示計時器401期滿之前),執行步驟S45至S79,以回應未發生筆觸控。因此將顯示圖17所示之操作指南500。
S45:在可選取候選顯示計時器401的操作期間,回應使用者未用筆觸控手寫輸入單元21,候選顯示計時器控制單元24將逾時事件發送至手寫輸入顯示控制單元23。
S46:手寫輸入顯示控制單元23將獲取手寫辨識字元串候選以及語言字元串候選的請求發送至手寫辨識控制單元26。手寫辨識控制單元26將目前儲存的手寫辨識字元串候選以及語言字元串候選發送至手寫輸入顯示控制單元23。
S47:手寫輸入顯示控制單元23將獲取轉換的字元串候選的請求發送至字元串轉換控制單元28。字元串轉換控制單元28將目前儲存之轉換的字元串候選發送至手寫輸入顯示控制單元23。
S48:手寫輸入顯示控制單元23將獲取預測的字元串候選的請求發送至預測轉換控制單元30。預測轉換控制單元30將目前儲存之預測的字元串候選發送至手寫輸入顯示控制單元23。
S49:手寫輸入顯示控制單元23將獲取操作命令候選的請求發送至操作命令辨識控制單元32。操作命令辨識控制單元32將目前儲存的操作命令候選以及所選物件發送至手寫輸入顯示控制單元23。
S50:手寫輸入顯示控制單元23將獲取預估書寫方向的請求發送至手寫輸入儲存單元25。手寫輸入儲存單元25從筆觸添加時間以及手寫物件矩形區域的水平方向(寬度)和垂直方向(高度)判定預估書寫方向,並將判定的預估書寫方向發送至手寫輸入顯示控制單元23。
S51:接著,手寫輸入顯示控制單元23指出從手寫輸入單元21接收的筆ID,以從筆ID控制資料儲存單元36獲取目前筆ID控制資料的角度資訊,進而使可選候選和操作指南500旋轉。
S52:手寫輸入顯示控制單元32使用手寫辨識字元串候選(圖17的示例中,字元C102)、語言字元串候選(未示出在圖17的示例中,但如圖10中的字元C1)、轉換的字元串候選(圖17的示例中,字元S103和字元S104)、預測的字元串候選(圖17中的示例,字元S105和字元S106)、操作命令候選(圖17的示例中,字元C111和字元C112)、對應的選取機率、以及預估的書寫方向,來產生可選取候選顯示資料,例如圖17所示之可選取候選顯示資料。手寫輸入顯示控制單元23以在步驟S51中所獲取的角度資訊逆時針旋轉可選取候選顯示
資料(操作指南500)、將旋轉的可選取候選顯示資料(操作指南500)發送至顯示單元22、以及透過顯示單元22將可選取候選顯示資料(操作指南500)顯示出來。
S53:手寫輸入顯示控制單元23以在步驟S51中所獲取的角度資訊逆時針旋轉手寫物件的矩形區域輪廓資料(矩形框)(例如圖17中之手寫物件矩形區域輪廓503)以及所選物件,並將旋轉的矩形區域輪廓資料(矩形框)發送至顯示單元22,且透過顯示單元22將矩形區域輪廓資料顯示出來。
S54:為了在可選取候選顯示資料顯示過了一段時間之後刪除該資料,手寫輸入顯示控制單元23將啟動可選取候選顯示刪除計時器402的指令發送至候選顯示計時器控制單元24。候選顯示計時器控制單元24啟動可選取候選顯示刪除計時器402。
在可選取候選顯示刪除計時器402的操作期間,執行步驟S55至S60,以回應:(i)使用者刪除顯示在顯示單元22上的可選候選;(ii)發生在手寫物件中的變更(即,使用者添加、刪除、移動、變更形狀、或分割手寫物件的筆觸);或者(iii)在可選取候選顯示刪除計時器402逾時之前未選取候選。
執行步驟S55至S57,以回應:(i)刪除候選顯示或(ii)發生在手寫物件中的變更。
S55:手寫輸入單元21將顯示要刪除的可選候選的事件或發生在手寫物件中的變更發送至手寫輸入顯示控制單元23。
S56:手寫輸入顯示控制單元23發送停止可選取候選顯示刪除計時器402的指令。候選顯示計時器控制單元24停止可選取候選顯示刪除計時器402。這是因為由於例如使用者在一段時間內處理手寫物件所致之可選取候選顯示刪除計時器402變得沒有必要。
S57:手寫輸入顯示控制單元23將操作指南500的位置資訊儲存在手寫辨識控制單元26中,用於步驟S19的手勢手寫辨識中的手勢判定。位置資訊可以是例如左上角和右下角的座標或等效座標。因此,手寫辨識控制單元26可以判定用於輸入角度資訊的直線是否被手寫在操作指南500內。
S59:手寫輸入顯示控制單元23將刪除可選取候選顯示資料的指令發送至顯示單元22,以刪除可選候選的顯示。
S60:手寫輸入顯示控制單元23將用於刪除手寫物件以及所選物件的矩形區域輪廓資料的指令發送至顯示單元22,以刪除顯示的資料。因此,對於因為選取了除了任何操作命令候選之外的條件而刪除操作命令候選的顯示的情況,將手寫物件的顯示保留下來。
S58:在可選取候選顯示刪除計時器402的操作期間,回應既不刪除可選候選的顯示,也不在手寫物件中發生變更(即,回應使用者不進行任何筆操作),候選顯示計時器控制單元24將逾時事件發送至手寫輸入顯示控制單元23。
手寫輸入顯示控制單元23也在可選取候選顯示刪除計時器402逾時之後執行步驟S59和S60。這是因為在經過一定時間之後,手寫物件和所選物件的可選取候選顯示資料以及矩形區域輪廓資料可能會被刪除。
在可選取候選顯示刪除計時器402的操作期間,回應使用者選取可選候選,執行步驟S61至S79。
S61:在可選取候選顯示刪除計時器402的操作期間,回應使用者選取可選候選,手寫輸入單元21將字元串候選或操作命令候選的選取事件發送至手寫輸入顯示控制單元23。
S62:手寫輸入顯示控制單元23將停止可選取候選顯示刪除計時器402的指令發送至候選顯示計時器控制單元24。候選顯示計時器控制單元24停止可選取候選顯示刪除計時器402。
S63:手寫輸入顯示控制單元23將清除儲存的資料的指令發送至手寫辨識控制單元26。
S64:手寫辨識控制單元26將清除儲存的資料的指令發送至字元串轉換控制單元28。
S65:手寫辨識控制單元26將清除儲存的資料的指令發送至預測轉換控制單元30。
S66:手寫辨識控制單元26將清除儲存的資料的指令發送至操作命令辨識控制單元32。
手寫辨識控制單元26、字元串轉換控制單元28、預測轉換控制單元30和操作命令辨識控制單元32清除與儲存的候選字元串以及操作命令有關的資料。
S67:手寫輸入顯示控制單元23將刪除可選取候選顯示資料的指令發送至顯示單元22,以將顯示的可選取候選顯示資料刪除。
S68:手寫輸入顯示控制單元23將用於刪除手寫物件以及所選物件的矩形區域輪廓資料的指令發送至顯示單元22,以刪除資料的顯示。
S69:手寫輸入顯示控制單元23將在步驟S6中發送的刪除手寫物件顯示資料的指令以及刪除筆座標內插顯示資料的指令發送至顯示單元22,以刪除對應的顯示。這是因為已選取了字元串候選或操作命令候選,因此就不需要手寫物件等的顯示。
S70:手寫輸入顯示控制單元23將手寫物件刪除事件發送至手寫輸入儲存單元25。
回應被選取的候選字元串,執行步驟S71至S73。
S71:回應被選取的字元串候選,手寫輸入顯示控制單元23將添加字元串物件的事件發送至手寫輸入儲存單元25。
S72:手寫輸入顯示控制單元23也將獲取字元串物件字型的請求發送至手寫輸入儲存單元25。手寫輸入儲存單元25基於預估的手寫物件的字元尺寸選取一定義字型,並將所選字型發送至手寫輸入顯示控制單元23。
S73:手寫輸入顯示控制單元23藉由使用從手寫輸入儲存單元25接收的該定義字型將字元串物件顯示資料發送至顯示單元22,以在與手寫物件相同的位置處顯示字元串物件。
回應被選取的候選操作命令,執行步驟S74至S78。對於具有所選物件的情況,執行步驟S74至S76。
S74:回應被選取之用於所選物件的操作命令候選,手寫輸入顯示控制單元23將刪除所選物件顯示資料的指令發送至顯示單元22,以刪除所選物件顯示資料的顯示。這是因為此時將要刪除原始的所選物件的顯示。
S75:手寫輸入顯示控制單元23將在所選物件上執行對應操作命令的指令發送至手寫輸入儲存單元25。手寫輸入儲存單元25將新所選物件的顯示資料(即,根據操作命令進行編輯或修改所獲取的顯示資料)發送至手寫輸入顯示控制單元23。
S76:手寫輸入顯示控制單元23將所選物件顯示資料發送至顯示單元22,使得根據操作命令進行處理所獲取的所選物件又重新顯示。
對於未有所選物件的情況(即,對於已選取輸入/輸出操作命令的情況),則執行步驟S77和S78。
S77:回應被選取之輸入/輸出系統的操作命令,手寫輸入顯示控制單元23根據對應於被使用者選取的操作命令的操作命令定義資料的操作命令字元串(「Command」”)執行操作命令。對於使用者認證單元34已成功認證使用者的情況,手寫輸入顯示控制單元23將對應使用者的資訊設定為操作命令的區段「%...%」(參見圖13A)並執行該操作命令。
S78:當使用者按壓圖25所示的操作標題520的旋轉操作按鈕511時,手寫輸入顯示控制單元23根據旋轉操作按鈕511的按壓次數接收角度資訊。手寫輸入顯示控制單元23將接收的角度資訊與當按壓旋轉操作按鈕511時從筆2500接收的筆ID相互關連,並將接收的角度資訊儲存在筆ID控制資料儲存單元36中。
S79:手寫輸入顯示控制單元23將產生手寫物件的開始事件發送至下一個手寫物件的手寫輸入儲存單元25。手寫輸入儲存單元25分配手寫物件區域。接著重複步驟S2至S79的處理。
<在同一指向上顯示複數組文字資料>
當使用者從諸如圖17中所示之可選取候選顯示資料中的可選取候選顯示資料選取語言字元串候選、轉換的字元串候選、或字元串/預測的轉換字元時,顯示單元22將所選的語言字元串候選、轉換的字元串候選或、字元串/預測的轉換字元顯示為文字資料。
圖33A示出從轉換使用者在6點鐘方向、3點鐘方向、12點鐘方向、以及9點鐘方向手寫的筆觸資料所獲取的複數組文字資料的示例。在圖33A中,在每個位置(每個方向)上向使用者顯示文字資料「abc」。為了讓其中一個使用者能閱讀所顯示之複數組文字資料,將該些組的文字資料的方向設定為彼此相同是很方便的。因此,根據本實施例,在操作命令定義單元33中提供了具有文字方向被設定為彼此相同的操作命令定義資料712。當執行對應的操作命令時,手寫輸入顯示控制單元23使用相對於與儲存在手寫輸入儲存單元25中的字元串物件對應的手寫輸入儲存資料的角度(Angle)順時針旋轉每個筆觸。
圖33B示出順時針旋轉的每組文字資料。每組文字資料的角度相對於手寫輸入裝置2的垂直方向為零。因此,使用者A可以讀取每組文字資料,而無需移動使用者A的位置。
[摘要]
如上所述,根據本實施例的手寫輸入裝置2能夠允許每個使用者以不同的設定執行手寫。因此,當使用者在以平面安裝的手寫輸入裝置2周圍進行手寫,例如字元,該些字元可被手寫輸入裝置2正確地辨識。也就是說,即使複數個使用者同時執行筆2500的輸入和操作,這些操作也被獨立地反映在筆ID操作條件中,使得使用者可以專注於自己的筆操作而不被其他使用者的筆操作影響。每個使用者的位置(角度資訊)可以獨立地設定。因此,即使當每個使用者同時從不同的角度(方向)執行手寫時,如此一來像是手寫的字元也可以被正確地辨識,並且可適當地顯示對應的操作指南500。另外,角度資訊的設定可透過在操作指南500內手寫直線直覺地來實施。
此外,根據本實施例的手寫輸入裝置2不需要選取操作選單和從例如按鈕列表中選取操作,並且使用者可用與例如手寫字元的情況相同的方式來輸入操作命令。因為在操作指南500中同時顯示了操作命令候選510和可選候選530,所以使用者可以使用手寫輸入裝置2而無需使用不同的操作方式來輸入例如字元並選取操作命令。例如,可以使根據本實施例的手寫輸入裝置2顯示適當的操作命令候選,結果手寫了物件或者用線圍住固定物件。因此,可以立即從手寫狀態喚醒任何功能(例如編輯功能、輸入/輸出功能或筆功能)。換句話說,可以省略按壓選單按鈕以喚醒所需功能的逐步操作,並可以減少從手寫狀態到喚醒欲使用功能所需的操作過程。
<手寫輸入裝置配置的示例1>
描述根據本實施例的手寫輸入裝置為具有大觸控面板,但手寫輸入裝置不限於使用觸控面板。
圖34係用於說明手寫輸入裝置的另一個配置示例的示意圖;在圖34中,投影機411位於一般白板413的頂側。投影機411對應於手寫輸入裝置。一般白板413並非與觸控面板一體成形的平板,而是使用者可用馬克筆在上面直接手寫的白板。可以使用黑板代替白板,或者,可以使用足夠大到能投射影像的簡單平坦表面。
投影機411的光學系統具有超短焦距,使得投影機411可以將圖像以10cm為單位的距離投影到白板413上而幾乎沒有失真。與投影機411無線或有線連接的PC可以發送影像,或者可以儲存在投影機411。
使用者使用專用電子筆2501在白板413上執行手寫。電子筆2501在其尖端處具有發光單元,例如,當使用者將電子筆2501按壓在白板413上進行手寫時,該發光單元被開啟並發光。光的波長是近紅外線或紅外線,因此使用者不會看見光。投影機411具有照相機,該照相機獲取發光單元的影像並分析該影像以辨識電子筆2501的指向。電子筆2501在發光的同時發出聲波,並且投影機411根據聲波的到達時間計算距離。利用指向和距離便能夠計算電子筆2501的位置。根據計算出在白板413上之電子筆2501的位置繪製筆觸(藉由投影機411進行投影)。
投影機411投影出選單430,因此,當使用者用電子筆2501按壓選單430中的按鈕時,投影機411從電子筆2501的位置和開啟訊號中辨識該按鈕。例如,當按壓儲存按鈕431時,由使用者手寫的筆觸(座標集)被儲存在投影機411中。因此,投影機411將手寫資訊儲存在例如預設伺服器412或USB記憶體2600中。手寫資訊是以頁面儲存的。座標被儲存而不是影像資料,而允許使用者進行編輯。然而,在該示例中,因為可由手寫操作喚醒操作命令,所以不需要顯示選單430。
<手寫輸入裝置配置的示例2>
圖35示出用於說明手寫輸入裝置的另一個其他配置示例的示意圖。在圖35的示例中,手寫輸入裝置包括終端設備600、影像投影機設備700A、以及筆運動檢測器810。
終端設備600利用電線連接到影像投影機設備700A和筆運動檢測器810。影像投影機設備700A將從終端設備600輸入的影像資料投影到螢幕800。
筆運動檢測器810與電子筆820通訊,並檢測螢幕800附近的電子筆820的操作。更詳細地,電子筆820檢測在螢幕800上代表由電子筆820指示的點的座標資訊,並將該座標資訊發送至終端設備600。
終端設備600基於從筆運動檢測器810接收的座標資訊,產生由電子筆820輸入的筆觸影像的影像資料。影像投影機設備700A將該筆觸影像繪製到螢幕800上。
終端設備600產生疊加影像的疊加影像資料,該疊加影像取自於組合由影像投影機設備700A投射的背景影像和由電子筆820輸入的筆觸影像。
<手寫輸入裝置配置的示例3>
圖36示出用於說明手寫輸入裝置的配置的又另一個示例的示意圖。在圖36的示例中,手寫輸入裝置包括終端設備600、顯示器800A、以及筆運動檢測器810。
筆運動檢測器810位於顯示器800A附近。筆運動檢測器810檢測在顯示器800A上代表由電子筆820A指示的點的座標資訊,並將該座標資訊發送至終端設備600。在圖36的示例中,可經由USB連接器從終端設備600對電子筆820A充電。
終端設備600基於從筆運動檢測器810接收的座標資訊,產生由電子筆820A輸入的筆觸影像的影像資料。終端設備600將筆觸影像顯示在顯示器800A上。
<手寫輸入裝置配置的示例4>
圖37示出手寫輸入裝置的配置的再另一個示例的示意圖。在圖37的示例中,手寫輸入裝置包括終端設備600、以及影像投影機設備700A。
終端設備600與電子筆820B執行無線通訊(使用諸如藍牙的技術),並接收在螢幕800上代表由電子筆820B指示的點的座標資訊。終端設備600基於接收到的座標資訊,產生由電子筆820B輸入的筆觸影像的影像資料。終端設備600使影像投影機設備700A投影該筆觸影像。
終端設備600產生疊加影像的疊加影像資料,該疊加影像取自於組合由影像投影機設備700A投射的背景影像和由電子筆820輸入的筆觸影像。
如上所述,每個上述實施例可以應用於各種系統配置。
[第二實施例]
在本發明的第二實施例中,將描述一種手寫輸入系統,其中網路中的資訊處理系統執行諸如手寫辨識的處理並將處理結果回報給手寫輸入裝置2。
在本實施例的描述中,因為具有與第一實施例相同標號的元件或附圖內容也執行相同功能,因此可以省略曾描述的組件,或者可僅描述不同之處。
圖38示出根據本實施例之手寫輸入系統100的系統配置圖的示例。手寫輸入系統100包括能透過網路N彼此通訊的手寫輸入裝置2和資訊處理系統10。
手寫輸入裝置2位於諸如辦公室的設施中,並與提供在設施中的LAN或Wi-F進行連接。資訊處理系統10例如設置在資料中心。手寫輸入裝置2經由防火牆8連接到網際網路i,並且資訊處理系統10還經由資料中心中的高速LAN連接到網際網路i。
手寫輸入裝置2可以使用諸如電話線網路之類的無線通訊連接到網際網路。在這種情況下,無線通訊是3G(第三代)、4G(第四代)、5G(第五代)、LTE(長期演進技術)、WiMAX(全球互通微波存取)等。
資訊處理系統10包括一個以上的資訊處理設備。該一個以上的資訊處理設備提供服務給作為伺服器的手寫輸入裝置2。「伺服器」是一種電腦或軟體,其功能作用以提供資訊和處理結果以回應客戶的請求。如稍後將描述的,資訊處理系統10從手寫輸入裝置2接收筆座標,並將用於顯示圖17所示的操作指南500的資訊發送至手寫輸入裝置2。
伺服器端系統有時稱為雲端系統。雲端系統是使用雲端運算的系統。雲端運算的使用形式是在沒有專用硬體資源辨識的情況下使用網路資源。網際網路中不一定提供雲端系統。在圖38中,資訊處理系統10提供在網際網路中,但亦可提供在區域網路中(這種形式稱為內部部署)。
資訊處理系統10可以包括諸如伺服器群之類的複數個電腦設備。該複數個電腦設備被配置以經由包括網路、共享記憶體等任何類型的通訊鏈彼此通訊,並執行本文所揭露的處理方法。
手寫輸入裝置2的配置可與第一實施例中的相同。在本實施例中,在手寫輸入裝置2中至少提供觸控面板、顯示器和通訊功能。手寫輸入裝置2可以包括被配置以彼此通訊的複數個電腦設備。
在本實施例中,作為手寫輸入裝置2,諸如PC或平板電腦之典型的資訊處理設備可以執行網路瀏覽器或專用應用程式。網路瀏覽器或專用應用
程式與資訊處理系統10通訊。在操作網路瀏覽器的情況下,使用者輸入或選取資訊處理系統10的URL以將手寫輸入裝置2連接到資訊處理系統10。手寫輸入裝置2在網路瀏覽器中執行由資訊處理系統10提供的網路程式。網路應用程式是利用運行在網路瀏覽器中的程式語言(例如JavaScript)與運行在網路瀏覽中的程式透過程式協調,運行在網路瀏覽器中的軟體或機制。
在操作專用應用程式的情況下,手寫輸入裝置2連接到預先註冊的資訊處理系統10的URL。因為專用應用程式具有程式和使用者介面,所以該程式向資訊處理系統10發送資訊並從資訊處理系統10接收資訊,並利用使用者介面在資訊處理系統10上顯示資訊。
通訊方法可以是使用諸如HTTP、HTTP或WebSocket之類的通用通訊協議的方法,或者是使用專用通訊協議的方法。
<硬體配置的示例>
手寫輸入裝置2的硬體配置可與圖5中的硬體配置相同。關於本實施例,現在將描述資訊處理系統10的硬體配置示例。
圖39示出資訊處理系統10的硬體配置。如圖39所示,資訊處理系統10由電腦構成,並包括中央處理器(CPU)601、唯讀記憶體(ROM)602、隨機存取記憶體(RAM)603、硬碟(HD)604、硬碟驅動控制器(HDD controller)605、顯示器606、外部設備連接I/F(接口)608、網路I/F 609、總線610、鍵盤611、指向裝置612、可讀寫DVD驅動器614、以及媒體I/F 616。
CPU 601控制整體資訊處理系統10的操作。ROM 602儲存用於驅動CPU 601的程式,例如IPL。RAM 603作為CPU 601的工作區域。HD 604儲存各種資料,例如程式。HDD控制器605在CPU 601的控制下控制從HD 604讀取各種資料或向HD 604寫入各種資料。顯示器606顯示各種資訊,例如游標、選單、視窗、字元、以及影像。外部設備連接I/F 608是用於連接到各種外部設備的介面。在這種情況下,外部設備可以是例如USB(通用序列匯流排)記憶體或者印表機。網路I/F 609是用於使用通訊網路執行資料通訊的介面。匯流排610包括位址匯流排、資料匯流排等用於電性連接諸如圖39所示之CPU 601的元件。
鍵盤611具有用於輸入字元、數字、各種指令等的複數個鍵。指向裝置612是用於選取和執行各種指令、選取處理目標、移動游標等的另一種型式的輸入裝置。DVD-RW驅動器614控制從DVD-RW 613讀取各種資料以及將各
種資料寫入DVD-RW 613,作為可移動記錄媒體的示例。可以使用DVD-R等代替DVD-RW。媒體I/F 616控制從諸如快閃記憶體的記錄媒體615讀取資料以及將資料寫入(儲存至)記錄媒體615。
<系統功能>
現在將參考圖40描述手寫輸入系統100的功能。圖40示出用於說明手寫輸入系統100功能的功能方塊圖的示例。在圖40的描述中,將主要說明與圖6的區別。筆2500的功能可與第一實施例的筆2500的功能相同。
在本實施例中,手寫輸入裝置2包括顯示單元22、顯示控制單元44、手寫輸入單元21、以及通訊單元42。手寫輸入裝置2的每一功能被實施為根據從SSD 204寫入至RAM 203的程式操作圖39所示之對應元件的結果,該操作係透過來自CPU201的指令。
本實施例的手寫輸入單元21的功能可以與第一實施例中對應的功能相同。手寫輸入單元21將使用者的筆輸入d1轉換為筆操作資料da(筆移除、筆觸控或筆座標資料),並將轉換的資料發送至顯示控制單元44。
顯示控制單元44控制手寫輸入裝置2的顯示。首先,顯示控制單元44在具有離散值的筆座標資料的離散值之間內插座標,並將筆座標資料從筆觸控透過筆移除發送至顯示單元22作為單一筆觸db。
顯示控制單元44將筆操作資料dc發送至通訊單元42,並從通訊單元42獲取各種顯示資料dd。顯示資料包括用於顯示圖17的操作指南500的資訊。顯示控制單元44將顯示資料de發送至顯示單元22。
通訊單元42將筆操作資料dc發送至資訊處理系統10、從資訊處理系統10接收各種顯示資料dd、並將接收到的資料發送至顯示控制單元44。通訊單元42使用JSON格式或XML格式用於資料發送和資料接收。
顯示單元22的功能可以與第一實施例中對應的功能相同。顯示單元22顯示筆觸db和顯示資料de。顯示單元22透過顯示控制單元44將寫入視訊記憶體中的筆觸db或顯示資料de轉換成對應於顯示器220的字元的資料,並將該資料發送至顯示器220。
<資訊處理系統的功能>
資訊處理系統10包括顯示單元43、手寫輸入顯示控制單元23、候選顯示計時器控制單元24、手寫輸入儲存單元25、手寫辨識控制單元26、手寫
辨識字典單元27、字元串轉換控制單元28、字元串轉換字典單元29、預測轉換控制單元30、預測轉換字典單元31、操作命令辨識控制單元32、操作命令定義單元33、以及筆ID控制資料儲存單元36。執行手寫輸入裝置10的這些功能被實施為根據從HD604寫入至RAM603的程式操作圖39所示之對應元件的結果,該操作係依據來自CPU604的指令。
通訊單元43從手寫輸入裝置2接收筆操作資料dc,並將筆操作資料df發送至手寫輸入顯示控制單元23。通訊單元43從手寫輸入顯示控制單元23接收顯示資料dd,並將顯示資料dd發送至手寫輸入裝置2。通訊單元43使用JSON格式或XML格式用於資料發送及資料接收。
其他功能與第一實施例中對應的功能相同,或者即使功能不同,在本實施例的描述中也不會出現問題。
<操作程序>
現在將參考圖41至圖48描述手寫輸入系統100的操作。圖41至圖48示出用於說明手寫輸入裝置2顯示字元串候選以及操作命令候選的處理示例的序列圖。開始圖41的處理,以回應手寫輸入裝置2的啟動(即,網路瀏覽器或專用應用程式的啟動)以及與建立的資訊處理系統10通訊。圖41至圖48的整體流程可與上述圖30至圖36的整體流程相同。
S1:回應建立的通訊,為了在手寫輸入裝置2中分配記憶體區域,手寫輸入顯示控制單元23將開始產生手寫物件的事件發送至手寫輸入儲存單元25。手寫輸入儲存單元25分配手寫物件區域(用於儲存手寫物件的記憶體區域)。使用者可能必須用筆觸控手寫輸入單元21以分配手寫物件區域。
S2a:然後,使用者用筆觸控手寫輸入單元21。手寫輸入單元21檢測筆觸控並將筆觸控事件發送至顯示控制單元44。
S2b:顯示控制單元44將筆觸控事件發送至通訊單元42,以便向資訊處理系統10指示筆觸控。
S2c:通訊單元42將筆觸控事件發送至資訊處理系統10。
S2d:資訊處理系統10的通訊單元43接收筆觸控事件並將筆觸控事件發送至手寫輸入顯示控制單元23。
S3:手寫輸入顯示控制單元23將筆觸開始事件發送至手寫輸入儲存單元25,並且手寫輸入儲存單元25分配筆觸區域。
S4a:回應使用者移動筆以與手寫輸入單元21接觸,手寫輸入單元21將筆座標發送至手寫輸入顯示控制單元44。
S4b:顯示控制單元44將筆座標發送至通訊單元42,以便向資訊處理系統10指示筆座標。
S4c:通訊單元42將筆座標發送至資訊處理系統10。
S4d:資訊處理系統10的通訊單元43接收筆座標並向手寫輸入顯示控制單元23指示筆座標。
S5:顯示控制單元44將筆座標內插顯示資料(用於內插離散筆座標的資料)發送至顯示單元22。顯示單元22藉由使用筆座標內插顯示資料內插筆座標來顯示一條線。步驟S6的處理與上述第一實施例中之對應的處理相同。
S8a:回應使用者從手寫輸入單元21移除筆,手寫輸入單元21將筆移除事件發送至顯示控制單元44。
S8b:顯示控制單元44將筆移除事件發送至通訊單元42,以便向資訊處理系統10指示筆移除。
S8c:通訊單元42將筆移除事件發送至資訊處理系統10。
S8d:資訊處理系統10的通訊單元43接收筆移除事件並將筆移除事件發送至手寫輸入顯示控制單元23。
隨後的步驟S9至S17和步驟S18至S41與上述第一實施例中之對應的步驟相同。
S42a:在可選取候選顯示計時器401結束之前,回應使用者用筆觸控手寫輸入單元21,手寫輸入單元21將筆觸控事件(與步驟S2的事件相同)發送至顯示控制單元44。步驟S42b至S42d可以與上述步驟S2b至S2d相同。隨後的步驟S43至S51與上述第一實施例中之對應的步驟相同。
S52a:手寫輸入顯示控制單元23產生包含字元串候選、如圖17所示之操作命令候選的可選取候選顯示資料;選取機率;以及預估的書寫方向,並將包含字元串候選以及操作命令候選的可選取候選顯示資料發送至通訊單元43。
S52b:通訊單元43將可選取候選顯示資料發送至手寫輸入裝置2。
S52c:手寫輸入裝置2的通訊單元42接收可選取候選顯示資料,並將可選取候選顯示資料發送至顯示控制單元44。
S52d:顯示控制單元44接收可選取候選顯示資料,並將可選取候選顯示資料發送至顯示單元22,以使顯示單元22顯示可選取候選顯示資料。
S53a:手寫輸入顯示控制單元23將手寫物件以及所選物件的矩形區域輪廓資料(矩形框)(即,在圖17的示例中,手寫物件矩形區域輪廓503)發送至通訊單元43。
S53b:通訊單元43將矩形區域輪廓資料發送至手寫輸入裝置2。
S53c:手寫輸入裝置2的通訊單元42接收矩形區域輪廓資料,並將矩形區域輪廓資料發送至顯示控制單元44。
S53d:顯示控制單元44接收矩形區域輪廓資料,並將矩形區域輪廓資料發送至顯示單元22,以使顯示單元22顯示矩形區域輪廓資料。步驟S54與上述第一實施例中之對應的步驟相同。
S55a:回應使用者執行刪除可選取候選顯示或對手寫物件另外執行手寫的操作,手寫輸入單元21將刪除可選取候選顯示的事件或在手寫物件中的變更發送至顯示控制單元44。
S55b:顯示控制單元44將刪除可選取候選顯示的事件或手寫物件的變更發送至通訊單元42,以向資訊處理系統10指示刪除可選取候選顯示的事件或手寫物件的變更。
S55c:通訊單元42將刪除可選取候選顯示的事件或在手寫物件中的變更發送至資訊處理系統10。
S55d:資訊處理系統10的通訊單元43接收刪除可選取候選顯示的事件或在手寫物件中的變更,並將刪除可選取候選顯示或手寫物件中的變更的指令發送至手寫輸入顯示控制單元23。步驟S56至S58與上述第一實施例中之對應的步驟相同。
S59a:手寫輸入顯示控制單元23將刪除可選取候選顯示資料的指令發送至通訊單元43。
S59b:通訊單元43將刪除可選取候選顯示資料的指令發送至手寫輸入裝置2。
S59c:手寫輸入裝置2的通訊單元42接收刪除可選取候選顯示資料的指令,並將刪除可選取候選顯示資料的指令發送至顯示控制單元44。
S59d:顯示控制單元44接收刪除可選取候選顯示資料的指令,並將刪除可選取候選顯示資料的指令發送至顯示單元22,以使顯示單元22刪除可選候選的顯示。
S60a:手寫輸入顯示控制單元23將刪除手寫物件以及所選物件的矩形區域輪廓資料的指令發送至通訊單元43。
S60b:通訊單元43將刪除手寫物件以及所選物件的矩形區域輪廓資料的指令發送至手寫輸入裝置2。
S60c:手寫輸入裝置2的通訊單元42接收刪除手寫物件以及所選物件的矩形區域輪廓資料的指令,並將刪除手寫物件以及所選物件的矩形區域輪廓資料的指令發送至顯示控制單元44。
S60d:顯示控制單元44接收刪除手寫物件以及所選物件的矩形區域輪廓資料的指令,並因而將刪除手寫物件和所選物件的矩形區域輪廓資料的指令發送至顯示單元22,以使手寫物件以及所選物件的矩形區域輪廓資料被刪除。因此,對於由於除了選取任何操作命令候選的情況以外,刪除操作命令候選的顯示的情況,手寫物件的顯示將會被保留不變。
回應使用者在可選取候選顯示刪除計時器的操作期間選取任何可選候選,執行步驟S61至S79。
S61a:回應使用者在可選取候選顯示刪除計時器的操作期間選取可選候選,手寫輸入單元21將選取字元串候選或操作命令候選的事件發送至顯示控制單元44。
S61b:顯示控制單元44將選取字元串候選或操作命令候選的事件發送至通訊單元42,用於將該事件指示給資訊處理系統10。
S61c:通訊單元42將字元串候選或操作命令候選的選取事件發送至資訊處理系統10。
S61d:資訊處理系統10的通訊單元43接收選取字元串候選或操作命令候選的事件,並將選取字元串候選或操作命令候選的事件發送至手寫輸入顯示控制單元23。步驟S62至S66是上述第一實施例中之對應的步驟。
S67a:手寫輸入顯示控制單元23將刪除可選取候選顯示資料的指令發送至通訊單元43。
S67b:通訊單元43將刪除可選取候選顯示資料的指令發送至手寫輸入裝置2。
S67c:手寫輸入裝置2的通訊單元42接收刪除可選取候選顯示資料的指令,並將刪除可選取候選顯示資料的指令發送至顯示控制單元44。
S67d:顯示控制單元44接收刪除可選取候選顯示資料的指令,並使顯示單元22刪除可選候選。
S68a:手寫輸入顯示控制單元23將刪除手寫物件以及所選物件的矩形區域輪廓資料的指令發送至通訊單元43。
S68b:通訊單元43將刪除手寫物件以及所選物件的矩形區域輪廓資料的指令發送至手寫輸入裝置2。
S68c:手寫輸入裝置2的通訊單元42接收刪除手寫物件以及所選物件的矩形區域輪廓資料的指令,並將刪除手寫物件以及所選物件的矩形區域輪廓資料的指令發送至顯示控制單元44。
S68d:顯示控制單元44接收刪除手寫物件以及所選物件的矩形區域輪廓資料的指令,並因而使顯示單元22刪除手寫物件以及所選物件的矩形區域輪廓資料。
S69a:手寫輸入顯示控制單元23將刪除手寫物件顯示資料的指令發送至通訊單元43。
S69b:通訊單元43將刪除手寫物件顯示資料的指令發送至手寫輸入裝置2。
S69c:手寫輸入裝置2的通訊單元42接收刪除手寫物件顯示資料的指令,並將刪除手寫物件顯示資料的指令發送至顯示控制單元44。
S69d:顯示控制單元44接收刪除手寫物件顯示資料的指令,並因而使顯示單元22刪除手寫物件的顯示以及筆座標內插顯示資料。步驟S70與上述第一實施例中之對應的步驟相同。
回應選取字元串候選,執行步驟S71至S73。步驟S71和S72與上述第一實施例中之對應的步驟相同。
S73a:手寫輸入顯示控制單元23使用從手寫輸入儲存單元25接收的定義字型將欲顯示在與手寫物件相同位置的字元串物件顯示資料發送至通訊單元43。
S73b:通訊單元43將字元串物件顯示資料發送至手寫輸入裝置2。
S73c:手寫輸入裝置2的通訊單元42接收字元串物件顯示資料,並將字元串物件顯示資料發送至顯示控制單元44。
S73d:顯示控制單元44接收字元串物件顯示資料,並使顯示單元22顯示字元串物件。
回應選取候選操作命令,執行步驟S74至S78。對於具有所選物件的情況,執行步驟S74至S76。
S74a:回應選取用於所選物件的操作命令候選(對於存在所選物件的情況),手寫輸入顯示控制單元23將刪除所選物件顯示資料的指令發送至通訊單元43。這是因為此時將要刪除原始的所選物件的顯示。
S74b:通訊單元43將刪除所選物件顯示資料的指令發送至手寫輸入裝置2。
S74c:手寫輸入裝置2的通訊單元42接收刪除所選物件顯示資料的指令,並將刪除所選物件顯示資料的指令發送至顯示控制單元44。
S74d:顯示控制單元44接收刪除所選物件顯示資料的指令,並使顯示單元22刪除所選物件的顯示。
S75:接著,手寫輸入顯示控制單元23將在所選物件上執行操作命令的指令發送至手寫輸入儲存單元25。手寫輸入儲存單元25將新的所選物件的顯示資料(即,已根據操作命令進行編輯或修改而獲取的所選物件的顯示資料)發送至手寫輸入顯示控制單元23。
S76a:手寫輸入顯示控制單元23將所選物件顯示資料發送至通訊單元43。
S76b:通訊單元43將所選物件顯示資料發送至手寫輸入裝置2。
S76c:手寫輸入裝置2的通訊單元42接收所選物件顯示資料,並將所選物件顯示資料發送至顯示控制單元44。
S76d:顯示控制單元44接收所選物件顯示資料,並因而根據該操作命令進行處理之後使顯示單元22重新顯示所選物件。步驟S77至S79與上述第一實施例中之對應的步驟相同。
如上所述,即使在本實施例的系統配置中,手寫輸入裝置2與資訊處理系統10彼此通訊,也可獲取與第一實施例相同的有益效果。圖41至圖48
的處理流程僅為示例,並可包括或省略要執行之關於彼此進行通訊的手寫輸入裝置2和資訊處理系統10的處理。由資訊處理系統10執行的一些處理可以替代地由手寫輸入裝置2執行。例如,手寫輸入裝置2可以執行關於刪除的處理。
<其他應用>
因此,已經參考具體實施例描述了手寫輸入裝置、手寫輸入方法、程式、以及記錄媒體。然而,本發明不限於特定實施例,並且可以在不脫離所要求保護的發明的範圍的情況下進行各種修改、替換等。
例如,儘管在實施例中已描述了作為示例的電子黑板,但也可適當地使用具有觸控面板的資訊處理設備。具有觸控面板的資訊處理設備例如可以是諸如PJ(投影儀)或數位標牌的輸出設備、HUD(抬頭顯示器)、工業機器、成像設備、聚音器、醫療設備、網路家電、筆記型電腦(個人電腦)、行動電話、智慧手機、平板終端機、遊戲機、PDA(個人數位助理)、數位相機、可穿戴式電腦、或桌上型電腦。
在實施例中,由觸控面板檢測筆尖的座標,但也可以由超音波檢測筆尖的座標。在這種情況下,筆會同時發射超音波及光,並且手寫輸入裝置2根據超音波的到達時間計算距離。可以從方向和距離判定筆的位置。投影機繪製(投影)筆移動的路徑作為筆觸。
在實施例中,對於具有所選物件的情況,會顯示編輯系統和修改系統的操作命令候選,而對於不具有所選物件的情況,則顯示輸入/輸出系統的操作命令候選。然而,也可以同時顯示編輯系統和修改系統的操作命令候選以及輸入/輸出系統的操作命令候選。
例如,圖7的配置示例是為了便於理解由手寫輸入裝置2執行處裡的示例,其中基於每個主要功能而進行功能分類。然而,本發明的實施例不限於對處理單元進行分類的特定方法或處理單元的特定名稱。可以根據實際的處理內容對手寫輸入裝置2的處理進行更精細的分類。替代地,可針對每個處理單元包括更多處理的方式來進行功能分類。
上述實施例的每個功能可以由一個以上的處理電路來實現。在此描述的「處理電路」或「處理單元」可以是被編程為由軟體執行每個功能的處理器,例如實施在電子電路中的處理器、設計成執行上述每個功能的裝置,例
如ASIC(特殊應用積體電路)、數位訊號處理器(DSP),現場可程式化邏輯閘陣列(FPGA)、或習知電路模組。
筆ID控制資料儲存單元36是控制資料儲存單元的示例。手寫輸入顯示控制單元23是顯示控制單元的示例。手寫辨識控制單元26是手寫辨識控制單元的示例。通訊單元42是第一通訊單元的示例。通訊單元43是第二通訊裝置的示例。
鑒於以上教示,許多附加的修改和變化是可能的。因此,應當理解,在所附請求項的範圍內,本專利說明書的揭露內容可以不同於本文具體描述的方式而實施。
如電腦領域的技術人員可以理解的,可使用根據本說明書教示的習知通用數位電腦編程來實施本發明。對軟體領域的技術人員顯而易見的是,熟練程式設計師可基於本發明教示輕易準備適當的軟體編碼。如相關領域的技術人員將容易理解的,還可以藉由準備特殊應用積體電路或藉由和習知組件電路的合適網路互連來實施本發明。
可以由一個以上的處理電路執行上述實施例的每個功能。處理電路包括編程處理器。處理電路還包括諸如專用積體電路(ASIC)之類的裝置和佈置成執行所列舉的功能的常規電路組件。
處理電路被實施為微處理器的至少一部分。可以使用一個以上的電路、一個以上的微處理器、微控制器、特殊應用積體電路、專用硬體、數位訊號處理器、微型電腦、中央處理器、現場可程式化邏輯閘陣列、可程式化邏輯裝置、狀態機、超級電腦或其任何組合來執行處理電路。而且,處理電路可以包括在一個以上的處理電路內可執行的一個以上的軟體模組。處理電路還可以包括記憶體,該記憶體配置以儲存使處理電路執行功能的指令及/或代碼。
如果以軟體實施,則每個方塊可以代表程式模組、區段或部分,其中包括執行特定邏輯功能的程式指令。程式指令的實施例包括以程式語言或機器碼寫成的人類可讀描述的原始碼形式,其包括以適當的執行系統(例如電腦系統或其他系統中的處理器)可辨識的數位指令。機器代碼可由原始碼等轉換。如果以硬體實施,則每個方塊可以代表一個電路或多個互連電路,以執行指定的邏輯功能。
上述實施例適用於除日語之外諸如英語、中文、德語、葡萄牙語等其他語言的字元和字元串。
本申請基於並要求2019年4月11日提交的日本專利申請第2019-075825號和2020年3月23日提交的日本專利申請第2020-051620號的優先權。日本專利申請第2019-075825號和日本專利申請第2020-051620號的全部內容通過引用合併於此。
2:手寫輸入裝置
101:操作面板
102:筆功能選單
103:編輯功能選單
104:輸入/輸出功能選單
1021:筆功能選單按鈕
1022:手寫輸入模式按鈕
1023:整理寫入輸入模式按鈕
1031:編輯功能選單
1032:刪除按鈕
1041:輸入/輸出功能選單按鈕
1042:選取模板按鈕
Claims (15)
- 一種手寫輸入裝置,用於基於與一觸控面板接觸的一輸入裝置的位置來顯示手寫筆觸資料,該手寫輸入裝置包括:一控制資料儲存單元,被配置以儲存與從該輸入裝置所接收的該輸入裝置的識別資訊相關聯之關於該輸入裝置的控制資料;一顯示控制單元,被配置以將與從該輸入裝置所接收的該輸入裝置的該識別資訊相關聯的該控制資料反映在該筆觸資料中,並在一顯示單元上顯示基於該筆觸資料的資訊;以及一手寫辨識控制單元,被配置以辨識該筆觸資料並將該筆觸資料轉換為一組以上的文字資料,其中,該控制資料儲存單元被配置以儲存一使用者使用相關於該手寫輸入裝置的一預定方向的該輸入裝置的角度資訊作為該控制資料,該顯示控制單元被配置以反映該筆觸資料中的該角度資訊,並顯示基於該筆觸資料的該資訊,該手寫辨識控制單元被配置以基於該角度資訊旋轉該筆觸資料,然後辨識該筆觸資料,並將該筆觸資料轉換為該一組以上的文字資料,以及該顯示控制單元被配置以顯示該一組以上的文字資料為基於該筆觸資料的該資訊。
- 如請求項1所述之手寫輸入裝置,其中,該顯示控制單元被配置以根據該使用者的一位置顯示基於該筆觸資料的該資訊。
- 如請求項1所述之手寫輸入裝置,其中,該控制資料儲存單元將關於使用該輸入裝置的該使用者的該位置的資訊儲存為該控制資料,以及該顯示控制單元被配置以反映關於該筆觸資料中該使用者的該位置的該資訊,並顯示基於該筆觸資料的該資訊。
- 如請求項1所述之手寫輸入裝置,其中,該顯示控制單元被配置以基於該角度資訊旋轉該一組以上的文字資料,並將所旋轉之該一組以上的文字資料顯示為基於該筆觸資料的該資訊。
- 如請求項4所述之手寫輸入裝置,其中,該顯示控制單元被配置以: 與該一組以上的文字資料一起顯示被配置以接收該使用者的操作的一操作標題,以及顯示該一組以上的文字資料和基於該角度資訊旋轉的該操作標題為基於該筆觸資料的該資訊。
- 如請求項1所述之手寫輸入裝置,其中,該手寫辨識控制單元被配置以使該控制資料儲存單元儲存基於由一預定區域中手寫的一行所形成的一角度而判定的該角度資訊和當該行的該筆觸資料是手寫時與從該輸入裝置接收的該輸入裝置的該識別資訊相關聯的該預定方向。
- 如請求項1所述之手寫輸入裝置,其中,該手寫辨識控制單元被配置以使基於一預定區域中手寫的一行的一端點方向而決定的該角度資訊與當該行的該筆觸資料為手寫時從該輸入裝置接收的該輸入裝置的該識別資訊相關聯。
- 如請求項7所述之手寫輸入裝置,其中,該預定區域是顯示從轉換獲得的該一組以上的文字資料的一區域,以及該手寫辨識控制單元被配置以從該預定區域檢測該行,以將在該預定區域外部手寫的該筆觸資料轉換為該一組以上的文字資料。
- 如請求項1所述之手寫輸入裝置,其中,該顯示控制單元被配置以顯示一操作標題,該操作標題被配置以接收與該一組以上的文字資料一起顯示的該使用者的操作,且該操作標題包含被配置以接收該角度資訊的一旋轉操作按鈕,以及該控制資料儲存單元被配置以當按下該旋轉操作按鈕時儲存與從該輸入裝置接收的該輸入裝置的該識別資訊相關聯的該角度資訊。
- 如請求項1所述之手寫輸入裝置,其中,該手寫辨識控制單元被配置至少一個處理器,還被配置以90度或45度為單位設定該角度資訊。
- 如請求項1所述之手寫輸入裝置,其中,該顯示控制單元被配置以:顯示由該使用者從旋轉和顯示的該一組以上的文字資料中所選擇的一組文字資料,顯示分別由複數個使用者所選擇的複數組文字資料,以及回應偵測一使用者預定操作,以相同的方向一起顯示該複數組文字資料。
- 如請求項1所述之手寫輸入裝置,其中,該顯示控制單元被配置以在根據該筆觸資料的位置的一位置處顯示包含該一組以上的文字資料的一操作指南。
- 如請求項1所述之手寫輸入裝置,其中,該顯示控制單元被配置以在基於該筆觸資料的位置所判定的一顯示螢幕中的一位置處顯示包含該一組以上的文字資料的一操作指南。
- 一種手寫輸入方法,用於基於與一觸控面板接觸的一輸入裝置的一位置透過一手寫輸入裝置顯示手寫筆觸資料,該手寫輸入方法包括:透過一顯示控制單元,從一控制資料儲存單元獲得關於該輸入裝置的控制資料,該控制資料與輸入裝置的識別資訊相關聯;透過該顯示控制單元,將與從該輸入裝置接收的該輸入裝置的該識別資訊相關聯的該控制資料反映在該筆觸資料中,並在一顯示單元上顯示基於該筆觸資料的資訊;以及透過一手寫辨識控制單元,辨識該筆觸資料並將該筆觸資料轉換為一組以上的文字資料,其中,該控制資料儲存單元被配置以儲存一使用者使用相關於該手寫輸入裝置的一預定方向的該輸入裝置的角度資訊作為該控制資料,該顯示控制單元被配置以反映該筆觸資料中的該角度資訊,並顯示基於該筆觸資料的該資訊,該手寫辨識控制單元被配置以基於該角度資訊旋轉該筆觸資料,然後辨識該筆觸資料,並將該筆觸資料轉換為該一組以上的文字資料,以及該顯示控制單元被配置以顯示該一組以上的文字資料為基於該筆觸資料的該資訊。
- 一種程式,使被配置以基於與一觸控面板接觸的一輸入裝置的一位置顯示手寫筆觸資料的一手寫輸入裝置進行以下:執行與該輸入裝置的通訊;從一控制資料儲存單元獲取關於該輸入裝置的一控制資料,該控制資料與該輸入裝置的識別資訊相關聯;將與從該輸入裝置接收的該輸入裝置的該識別資訊相關聯的該控制資料反映在筆觸資料中,並在一顯示單元上顯示基於該筆觸資料的資訊;以及 透過一手寫辨識控制單元,辨識該筆觸資料並將該筆觸資料轉換為一組以上的文字資料,其中,該控制資料儲存單元被配置以儲存一使用者使用相關於該手寫輸入裝置的一預定方向的該輸入裝置的角度資訊作為該控制資料,一顯示控制單元被配置以反映該筆觸資料中的該角度資訊,並顯示基於該筆觸資料的該資訊,該手寫辨識控制單元被配置以基於該角度資訊旋轉該筆觸資料,然後辨識該筆觸資料,並將該筆觸資料轉換為該一組以上的文字資料,以及該顯示控制單元被配置以顯示該一組以上的文字資料為基於該筆觸資料的該資訊。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019075825 | 2019-04-11 | ||
JP2019-075825 | 2019-04-11 | ||
JP2020051620A JP7452155B2 (ja) | 2019-04-11 | 2020-03-23 | 手書き入力装置、手書き入力方法、プログラム |
JP2020-051620 | 2020-03-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202040351A TW202040351A (zh) | 2020-11-01 |
TWI807181B true TWI807181B (zh) | 2023-07-01 |
Family
ID=72831447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW109111656A TWI807181B (zh) | 2019-04-11 | 2020-04-07 | 手寫輸入裝置、手寫輸入方法及程式 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7452155B2 (zh) |
CN (1) | CN111813254B (zh) |
TW (1) | TWI807181B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220197429A1 (en) * | 2020-12-22 | 2022-06-23 | Egalax_Empia Technology Inc. | Electronic system and integrated apparatus for setup touch sensitive area of electronic paper touch panel and method thereof |
TWI806579B (zh) * | 2022-04-29 | 2023-06-21 | 聯詠科技股份有限公司 | 觸控裝置及偵測方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI511028B (zh) * | 2013-06-19 | 2015-12-01 | Kye Systems Corp | 座標對應方法 |
JP2015230497A (ja) * | 2014-06-03 | 2015-12-21 | シャープ株式会社 | 入力表示装置 |
US9304681B2 (en) * | 2013-03-14 | 2016-04-05 | Nuance Communications, Inc. | Recognizing handwriting input using rotatable support lines |
TW201638763A (zh) * | 2015-04-20 | 2016-11-01 | 宏碁股份有限公司 | 電子裝置及觸控偵測方法 |
TWI609317B (zh) * | 2012-12-11 | 2017-12-21 | 微軟技術授權有限責任公司 | 智慧型白板互動 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3161794B2 (ja) * | 1992-03-05 | 2001-04-25 | 松下電器産業株式会社 | ペン入力装置及びペン入力方法 |
JP3239457B2 (ja) * | 1992-08-07 | 2001-12-17 | 富士ゼロックス株式会社 | 電子情報描画装置 |
JP4844896B2 (ja) | 2007-03-30 | 2011-12-28 | アイシン・エィ・ダブリュ株式会社 | ナビゲーション装置 |
JP2012174112A (ja) | 2011-02-23 | 2012-09-10 | Nec Casio Mobile Communications Ltd | 画像表示装置、画像表示方法およびプログラム |
CN102156585B (zh) * | 2011-04-27 | 2013-01-02 | 段西京 | 手写输入控制方法及具有鼠标操作功能的手写输入装置 |
JP6092418B2 (ja) | 2013-10-23 | 2017-03-08 | 株式会社東芝 | 電子機器、方法及びプログラム |
JP2018054880A (ja) | 2016-09-29 | 2018-04-05 | セイコーエプソン株式会社 | 表示装置、情報処理装置および情報処理方法 |
US10324544B2 (en) * | 2016-12-27 | 2019-06-18 | Wacom Co., Ltd. | Hand-written information process apparatus, hand-written information processing method and hand-written information processing program |
-
2020
- 2020-03-23 JP JP2020051620A patent/JP7452155B2/ja active Active
- 2020-04-07 TW TW109111656A patent/TWI807181B/zh active
- 2020-04-09 CN CN202010274952.8A patent/CN111813254B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI609317B (zh) * | 2012-12-11 | 2017-12-21 | 微軟技術授權有限責任公司 | 智慧型白板互動 |
US9304681B2 (en) * | 2013-03-14 | 2016-04-05 | Nuance Communications, Inc. | Recognizing handwriting input using rotatable support lines |
TWI511028B (zh) * | 2013-06-19 | 2015-12-01 | Kye Systems Corp | 座標對應方法 |
JP2015230497A (ja) * | 2014-06-03 | 2015-12-21 | シャープ株式会社 | 入力表示装置 |
TW201638763A (zh) * | 2015-04-20 | 2016-11-01 | 宏碁股份有限公司 | 電子裝置及觸控偵測方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111813254A (zh) | 2020-10-23 |
CN111813254B (zh) | 2024-03-19 |
JP7452155B2 (ja) | 2024-03-19 |
TW202040351A (zh) | 2020-11-01 |
JP2020173794A (ja) | 2020-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112825022B (zh) | 显示装置、显示方法、介质 | |
EP3722995A1 (en) | Handwriting input apparatus, handwriting input method, and program | |
WO2021070972A1 (en) | Display apparatus, color supporting apparatus, display method, and program | |
JP2023175845A (ja) | 手書き入力装置、手書き入力方法、プログラム、入力システム | |
TWI807181B (zh) | 手寫輸入裝置、手寫輸入方法及程式 | |
JP7456287B2 (ja) | 表示装置、プログラム、表示方法 | |
CN112805664A (zh) | 输入装置、输入方法、程序和输入系统 | |
CN111814530B (zh) | 手写输入装置、手写输入方法、程序以及输入系统 | |
EP3825868A1 (en) | Display apparatus, display method, and program | |
JP7259828B2 (ja) | 表示装置、表示方法、プログラム | |
WO2020080300A1 (en) | Input apparatus, input method, program, and input system | |
JP7508766B2 (ja) | 入力装置、入力方法、プログラム、入力システム | |
EP3825831A1 (en) | Display apparatus, display method, and program | |
WO2022045177A1 (en) | Display apparatus, input method, and program | |
EP3882757A1 (en) | Display device, display method, and program | |
JP2021064366A (ja) | 表示装置、カラー対応装置、表示方法、プログラム | |
JP2021096844A (ja) | 表示装置、表示方法、プログラム | |
JP2021152884A (ja) | 表示装置、表示方法、プログラム、情報処理装置 |