JP2700130B2 - 手書き文字の認識システム及び認識方法 - Google Patents
手書き文字の認識システム及び認識方法Info
- Publication number
- JP2700130B2 JP2700130B2 JP6059239A JP5923994A JP2700130B2 JP 2700130 B2 JP2700130 B2 JP 2700130B2 JP 6059239 A JP6059239 A JP 6059239A JP 5923994 A JP5923994 A JP 5923994A JP 2700130 B2 JP2700130 B2 JP 2700130B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- stroke information
- list
- stroke
- handwritten
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/333—Preprocessing; Feature extraction
- G06V30/347—Sampling; Contour coding; Stroke extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/36—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Character Discrimination (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、手書き文字（characte
r）（文字とは、可視的なすべての文字及び記号を意味す
る）の認識システム及びその方法に関する。
r）（文字とは、可視的なすべての文字及び記号を意味す
る）の認識システム及びその方法に関する。
【０００２】
【従来の技術】コンピユータ・ベースの手書き文字認識
に関する２つの基本的なアプローチは、オンライン手書
き文字認識（handwriting recognition-hardware）とオ
フライン・ハードウエアとして知られている。また、オ
フライン・ハードウエアのアプローチは、光学文字認識
（ＯＣＲ）とも呼ばれている。一般論として言えば、オ
ンライン・ハードウエア技術は動的な手書き文字情報を
用いているのに反して、オフライン・ハードウエア技術
は静的な手書き文字情報を用いている。これら２つのア
プローチは、歴史的に言えば、手書き文字の異なつた環
境において用いるために夫々別個に開発されてきた。
に関する２つの基本的なアプローチは、オンライン手書
き文字認識（handwriting recognition-hardware）とオ
フライン・ハードウエアとして知られている。また、オ
フライン・ハードウエアのアプローチは、光学文字認識
（ＯＣＲ）とも呼ばれている。一般論として言えば、オ
ンライン・ハードウエア技術は動的な手書き文字情報を
用いているのに反して、オフライン・ハードウエア技術
は静的な手書き文字情報を用いている。これら２つのア
プローチは、歴史的に言えば、手書き文字の異なつた環
境において用いるために夫々別個に開発されてきた。
【０００３】与えられた入力文字の組に対して、オンラ
イン・ハードウエアは通常、オフライン・ハードウエア
技術よりも、より良い文字認識の精度を与えるので、手
書き文字の入力装置がストローク（運筆）の方向及びス
トロークの順序のような動的な情報を与える場合につい
ては、オンライン・ハードウエア技術の使用が元来好ま
れていた。一体化されたデジタイザ・タブレツトからの
ストロークを獲得するスタイラス・ベース（またはペン
・ベース）のコンピユータは、オンライン・ハードウエ
アの使用からの利益を享受する１つの例である。
イン・ハードウエアは通常、オフライン・ハードウエア
技術よりも、より良い文字認識の精度を与えるので、手
書き文字の入力装置がストローク（運筆）の方向及びス
トロークの順序のような動的な情報を与える場合につい
ては、オンライン・ハードウエア技術の使用が元来好ま
れていた。一体化されたデジタイザ・タブレツトからの
ストロークを獲得するスタイラス・ベース（またはペン
・ベース）のコンピユータは、オンライン・ハードウエ
アの使用からの利益を享受する１つの例である。
【０００４】他方、オフライン・ハードウエア技術は、
通常、デイジタイザからの動的な情報が入手できない場
合のアプリケーシヨンに対して用いられてきた。１例を
挙げると、文書がスキヤナから走査される時に、入力デ
ータ・ストリームは動的な手書き文字情報を含んでいな
い。このような場合には、オンライン・ハードウエアア
プローチは使用するのに不適当であり、オフライン・ハ
ードウエアアプローチは有用な代替方法を与える。
通常、デイジタイザからの動的な情報が入手できない場
合のアプリケーシヨンに対して用いられてきた。１例を
挙げると、文書がスキヤナから走査される時に、入力デ
ータ・ストリームは動的な手書き文字情報を含んでいな
い。このような場合には、オンライン・ハードウエアア
プローチは使用するのに不適当であり、オフライン・ハ
ードウエアアプローチは有用な代替方法を与える。
【０００５】動的なストローク情報が利用可能な場合に
は、オンライン・ハードウエア技術は秀れた結果を与え
るけれども、これは同時に欠点を持つている。例えば、
オンライン・ハードウエア技術は、文字の形成がユーザ
に依存するので、認識処理の結果が左右される。これを
換言すると、オンライン・ハードウエア技術は文字や、
数字の構成ストロークを良好に形成した表示に対して最
高の認識を与えるということである。従つて、オンライ
ン・ハードウエア技術は、文字形成の順序と、構成スト
ロークの数とに対して認識結果が影響されることにな
る。例えば、代表的なオンライン・ハードウエア技術
は、ユーザが文字「Ｃ」を書く場合に、紙上からペンを
離すことのない一筆書き（１ストローク書き）と、反時
計方向のストロークとをユーザに期待する。然しなが
ら、これは、ユーザが文字「Ｃ」を書く場合に生じる１
つの可能性しか与えていない。例えば、他のユーザが文
字「Ｃ」を書く場合、複数のストロークを用いるかも知
れないし、ペンの運びを時計方向にするかも知れない。
は、オンライン・ハードウエア技術は秀れた結果を与え
るけれども、これは同時に欠点を持つている。例えば、
オンライン・ハードウエア技術は、文字の形成がユーザ
に依存するので、認識処理の結果が左右される。これを
換言すると、オンライン・ハードウエア技術は文字や、
数字の構成ストロークを良好に形成した表示に対して最
高の認識を与えるということである。従つて、オンライ
ン・ハードウエア技術は、文字形成の順序と、構成スト
ロークの数とに対して認識結果が影響されることにな
る。例えば、代表的なオンライン・ハードウエア技術
は、ユーザが文字「Ｃ」を書く場合に、紙上からペンを
離すことのない一筆書き（１ストローク書き）と、反時
計方向のストロークとをユーザに期待する。然しなが
ら、これは、ユーザが文字「Ｃ」を書く場合に生じる１
つの可能性しか与えていない。例えば、他のユーザが文
字「Ｃ」を書く場合、複数のストロークを用いるかも知
れないし、ペンの運びを時計方向にするかも知れない。
【０００６】ユーザに依存する文字形成によつて与えら
れる問題をしばしば複雑にするものは、通常のスタイラ
ス及びデイジタイザ・タブレツトによりユーザが書き込
む場合に多くのユーザが経験する不自然さである。デイ
ジタイザ・タブレツトの表面と接触するスタイラスの感
触は、紙上に接触するペン、または鉛筆の感触をそのま
ま引き写したものではなく、ユーザの視覚によるフイー
ドバツクは、ユーザが普段見馴れている文字とは異なつ
ているから、結果の入力文字は、形が悪く形成されるこ
とになるか、あるいは、通常でないストローク順序及び
／またはストローク方向によつて形成されることにな
る。ユーザによつてストロークを再度重ね書きすること
は、動的なハードウエア技術を適正に取り扱うために特
に困難な問題を生じる。その結果、オンライン・ハード
ウエア技術を使用する場合、認識エラーを生じることに
なる。
れる問題をしばしば複雑にするものは、通常のスタイラ
ス及びデイジタイザ・タブレツトによりユーザが書き込
む場合に多くのユーザが経験する不自然さである。デイ
ジタイザ・タブレツトの表面と接触するスタイラスの感
触は、紙上に接触するペン、または鉛筆の感触をそのま
ま引き写したものではなく、ユーザの視覚によるフイー
ドバツクは、ユーザが普段見馴れている文字とは異なつ
ているから、結果の入力文字は、形が悪く形成されるこ
とになるか、あるいは、通常でないストローク順序及び
／またはストローク方向によつて形成されることにな
る。ユーザによつてストロークを再度重ね書きすること
は、動的なハードウエア技術を適正に取り扱うために特
に困難な問題を生じる。その結果、オンライン・ハード
ウエア技術を使用する場合、認識エラーを生じることに
なる。
【０００７】動的なストローク情報が考慮されていない
オフライン・ハードウエア技術は、このような規則から
外れた手書き文字を与えられた場合、認識の精度がより
良いことが分つている。然しながら、上述したように、
オフライン・ハードウエア技術の全体の認識精度は、通
常、オンライン・ハードウエア技術を用いた時に得られ
る精度よりも低い。
オフライン・ハードウエア技術は、このような規則から
外れた手書き文字を与えられた場合、認識の精度がより
良いことが分つている。然しながら、上述したように、
オフライン・ハードウエア技術の全体の認識精度は、通
常、オンライン・ハードウエア技術を用いた時に得られ
る精度よりも低い。
【０００８】
【発明が解決しようとする課題】本発明の目的は、オン
ライン・ハードウエア及びオフライン・ハードウエアの
いずれか一方を使用した時に、両方の技術の何れかを使
用した場合を越えて向上した認識精度を達成したオンラ
イン・ハードウエア及びオフライン・ハードウエアの両
方を用いた手書き文字認識システム及びその方法を提供
することにある。
ライン・ハードウエア及びオフライン・ハードウエアの
いずれか一方を使用した時に、両方の技術の何れかを使
用した場合を越えて向上した認識精度を達成したオンラ
イン・ハードウエア及びオフライン・ハードウエアの両
方を用いた手書き文字認識システム及びその方法を提供
することにある。
【０００９】本発明の他の目的は、動的な文字表示が静
的な文字表示に変換され、動的及び静的な表示が並列に
処理され、かつ、認識される文字として最も可能性の高
い文字を選択するために動的及び静的な文字表示が、組
合わせられる手書き文字認識システムを提供することに
ある。
的な文字表示に変換され、動的及び静的な表示が並列に
処理され、かつ、認識される文字として最も可能性の高
い文字を選択するために動的及び静的な文字表示が、組
合わせられる手書き文字認識システムを提供することに
ある。
【００１０】
【課題を解決するための手段】手書き文字の認識システ
ムを動作する方法及び本発明の方法に従つて動作する手
書き文字の認識システムによつて、上述の問題及び他の
問題を解決することができる。本発明の方法は、（ａ）
ユーザからの手書き文字入力に応答して、時間的に順序
付けられた動的なストローク情報を与えるステツプと、
（ｂ）時間的に順序付けられた動的なストローク情報が
表示しようと意図している少なくとも１つの可能性ある
文字を含む第１のリストを決定するステツプと、（ｃ）
時間的に順序付けられた動的なストローク情報を静的な
ストローク情報に変換するステツプと、（ｄ）静的なス
トローク情報が表わす少なくとも１つの可能性ある文字
を含む第２のリストを決定するステツプと、（ｅ）時間
的に順序付けられた動的なストローク情報が、表わそう
と意図している最も可能性の高い文字を表わす少なくと
も１つのエレメントを含む第３の均等化リストを与える
ために、第１のリスト及び第２のリストを併合するステ
ツプとを含んでいる。
ムを動作する方法及び本発明の方法に従つて動作する手
書き文字の認識システムによつて、上述の問題及び他の
問題を解決することができる。本発明の方法は、（ａ）
ユーザからの手書き文字入力に応答して、時間的に順序
付けられた動的なストローク情報を与えるステツプと、
（ｂ）時間的に順序付けられた動的なストローク情報が
表示しようと意図している少なくとも１つの可能性ある
文字を含む第１のリストを決定するステツプと、（ｃ）
時間的に順序付けられた動的なストローク情報を静的な
ストローク情報に変換するステツプと、（ｄ）静的なス
トローク情報が表わす少なくとも１つの可能性ある文字
を含む第２のリストを決定するステツプと、（ｅ）時間
的に順序付けられた動的なストローク情報が、表わそう
と意図している最も可能性の高い文字を表わす少なくと
も１つのエレメントを含む第３の均等化リストを与える
ために、第１のリスト及び第２のリストを併合するステ
ツプとを含んでいる。
【００１１】変換するステツプは、ストローク情報の筆
跡の方向に基づいて１つ、またはそれ以上の第１のスト
ローク・フイーチヤを発生するステツプを含んでいる。
また、例えば凸形状及び凹形状のストローク情報に基づ
くフイーチヤのような他のタイプのストローク・フイー
チヤを発生し、使用することも本発明の技術的範囲に属
している。
跡の方向に基づいて１つ、またはそれ以上の第１のスト
ローク・フイーチヤを発生するステツプを含んでいる。
また、例えば凸形状及び凹形状のストローク情報に基づ
くフイーチヤのような他のタイプのストローク・フイー
チヤを発生し、使用することも本発明の技術的範囲に属
している。
【００１２】更に、変換するステツプは、時間的に順序
付けられた動的なストローク情報をＮ×Ｍビツト・マツ
プされた表示にマツプする開始ステツプを含んでいる。
マツプするステツプは、ストロークがＮ×Ｍビツト・マ
ツプされた表示の中に完全に含まれるように、時間的に
順序付けられた動的なストローク情報を縮小するステツ
プを含んでいる。
付けられた動的なストローク情報をＮ×Ｍビツト・マツ
プされた表示にマツプする開始ステツプを含んでいる。
マツプするステツプは、ストロークがＮ×Ｍビツト・マ
ツプされた表示の中に完全に含まれるように、時間的に
順序付けられた動的なストローク情報を縮小するステツ
プを含んでいる。
【００１３】第２のリストを決定するステツプは、少な
くとも第１のストローク・フイーチヤを受け取るための
複数個の入力ノードを有する少なくとも１つの神経系的
ネツトワーク（neural network）で行なうことができ
る。更に、少なくとも１つの神経系的ネツトワークは第
１のストローク・フイーチヤに応答して、可能性ある少
なくとも１つの文字を出力するための少なくとも１つの
出力ノードを持つている。
くとも第１のストローク・フイーチヤを受け取るための
複数個の入力ノードを有する少なくとも１つの神経系的
ネツトワーク（neural network）で行なうことができ
る。更に、少なくとも１つの神経系的ネツトワークは第
１のストローク・フイーチヤに応答して、可能性ある少
なくとも１つの文字を出力するための少なくとも１つの
出力ノードを持つている。
【００１４】
【実施例】図１は本発明に従つて構成された実施例を示
す図であつて、オンライン・ハードウエア・サブシステ
ム１６及びオフライン・ハードウエア・サブシステム２
２を含む手書き文字認識システム１０が示されている。
手書き文字認識システム１０は、全体としてデイジタイ
ザ・タブレツト１２及びスタイラス、またはペン１４と
して示された手書き文字変換装置を含んでいる。デイジ
タイザ・タブレツト１２の出力はフイーチヤ・ベクトル
（ＦＶ）である。換言すれば、これは、アルフアベツト
の組の中の文字、数字、または、他の記号を構成するス
トロークの時間的に順序付けられた列である。１つのス
トロークは、ペン１４の筆跡を表わすＸ−Ｙ座標値のア
レイである。１つのストロークはペンをタブレツト上に
降した時に開始し、ペンを持ち上げた時に終了する。
す図であつて、オンライン・ハードウエア・サブシステ
ム１６及びオフライン・ハードウエア・サブシステム２
２を含む手書き文字認識システム１０が示されている。
手書き文字認識システム１０は、全体としてデイジタイ
ザ・タブレツト１２及びスタイラス、またはペン１４と
して示された手書き文字変換装置を含んでいる。デイジ
タイザ・タブレツト１２の出力はフイーチヤ・ベクトル
（ＦＶ）である。換言すれば、これは、アルフアベツト
の組の中の文字、数字、または、他の記号を構成するス
トロークの時間的に順序付けられた列である。１つのス
トロークは、ペン１４の筆跡を表わすＸ−Ｙ座標値のア
レイである。１つのストロークはペンをタブレツト上に
降した時に開始し、ペンを持ち上げた時に終了する。
【００１５】手書き文字変換装置の出力は、オンライン
・ハードウエアエンジン、即ちオンライン・ハードウエ
ア・サブシステム１６に接続されている。オンライン・
ハードウエア・サブシステム１６はデイジタイザ・タブ
レツト１２の出力から、動的な手書き文字情報（フイー
チヤ・ベクトル）を受け取り、そして、入力ストローク
を表わす最も可能性の高い文字、即ち候補文字のリスト
を得るために、ストローク数及びストローク方向のよう
なこの動的な情報を処理する。オンライン・ハードウエ
ア・サブシステムは幾つかの適当なオンライン・ハード
ウエア装置及び方法によつて実行することができる。オ
ンライン・ハードウエア技術の１例は米国特許第５０２
９２２３号に開示されており、本発明の実施例において
参照されている。
・ハードウエアエンジン、即ちオンライン・ハードウエ
ア・サブシステム１６に接続されている。オンライン・
ハードウエア・サブシステム１６はデイジタイザ・タブ
レツト１２の出力から、動的な手書き文字情報（フイー
チヤ・ベクトル）を受け取り、そして、入力ストローク
を表わす最も可能性の高い文字、即ち候補文字のリスト
を得るために、ストローク数及びストローク方向のよう
なこの動的な情報を処理する。オンライン・ハードウエ
ア・サブシステムは幾つかの適当なオンライン・ハード
ウエア装置及び方法によつて実行することができる。オ
ンライン・ハードウエア技術の１例は米国特許第５０２
９２２３号に開示されており、本発明の実施例において
参照されている。
【００１６】本発明に従つて、・ハードウエアシステム
１０はベクトル複製装置１８、ベクトルからラスタへの
変換器２０及びオフライン・ハードウエアエンジン、即
ちオフライン・ハードウエア・サブシステム２２を含ん
でいる。複製装置１８はデイジタイザ・タブレツト１２
によつて出力されたフイーチヤ・ベクトルを複製する、
即ちコピーするためのデータ・バツフアと同じ態様で動
作する。次に、動的なストローク情報をエンコードする
複製されたフイーチヤ・ベクトル（ＲＦＶ）は、オフラ
イン・ハードウエア・サブシステム２２へ入力するため
に、コンバータ２０により静的な文字表示に変換され
る。本発明のこの良好な実施例において、オフライン・
ハードウエア・サブシステム２２は３つのサブシステ
ム、即ち、大文字の英字を認識するためのオフライン・
ハードウエア・サブシステム２２ａと、小文字の英字を
認識するためのオフライン・ハードウエア・サブシステ
ム２２ｂと、数字及び特殊記号を認識するためのオフラ
イン・ハードウエア・サブシステム２２ｃとを含んでい
る。オフライン・ハードウエア・サブシステム２２の出
力は静的な文字情報を表わす可能性の高い文字、即ち候
補文字のリストである。
１０はベクトル複製装置１８、ベクトルからラスタへの
変換器２０及びオフライン・ハードウエアエンジン、即
ちオフライン・ハードウエア・サブシステム２２を含ん
でいる。複製装置１８はデイジタイザ・タブレツト１２
によつて出力されたフイーチヤ・ベクトルを複製する、
即ちコピーするためのデータ・バツフアと同じ態様で動
作する。次に、動的なストローク情報をエンコードする
複製されたフイーチヤ・ベクトル（ＲＦＶ）は、オフラ
イン・ハードウエア・サブシステム２２へ入力するため
に、コンバータ２０により静的な文字表示に変換され
る。本発明のこの良好な実施例において、オフライン・
ハードウエア・サブシステム２２は３つのサブシステ
ム、即ち、大文字の英字を認識するためのオフライン・
ハードウエア・サブシステム２２ａと、小文字の英字を
認識するためのオフライン・ハードウエア・サブシステ
ム２２ｂと、数字及び特殊記号を認識するためのオフラ
イン・ハードウエア・サブシステム２２ｃとを含んでい
る。オフライン・ハードウエア・サブシステム２２の出
力は静的な文字情報を表わす可能性の高い文字、即ち候
補文字のリストである。
【００１７】オフライン・ハードウエア・サブシステム
２２は幾つかの適当なオフライン・ハードウエア（ＯＣ
Ｒ）装置及び方法によつて実行することができる。この
良好な実施例は、公知の神経系的ネツトワークを用いて
おり、これは、１９９１年フランスのサン・マロ（Sain
t-Malo）における文書分析及び認識の第１回国際会議
（First International Conference for Document Anal
ysis and Recognition）の会報中の高橋（H.Takahasi）
による「A Neural Net OCR Using Geometrical and Zon
al-pattern Features」と題する論文の８２１頁乃至８
２８頁に記載されたＯＣＲ技術に或る意味で類似するも
のである。
２２は幾つかの適当なオフライン・ハードウエア（ＯＣ
Ｒ）装置及び方法によつて実行することができる。この
良好な実施例は、公知の神経系的ネツトワークを用いて
おり、これは、１９９１年フランスのサン・マロ（Sain
t-Malo）における文書分析及び認識の第１回国際会議
（First International Conference for Document Anal
ysis and Recognition）の会報中の高橋（H.Takahasi）
による「A Neural Net OCR Using Geometrical and Zon
al-pattern Features」と題する論文の８２１頁乃至８
２８頁に記載されたＯＣＲ技術に或る意味で類似するも
のである。
【００１８】本発明の技術範囲における「オフライン」
ハードウエア技術は、動的な（オンライン）手書き文字
情報の処理とは逆に、静的な手書き文字情報が処理され
ることを表わすために意図されていることには注意を払
う必要がある。後述されるように、「オフライン」・ハ
ードウエア・サブシステム２２は、本質的に実時間の態
様でユーザの手書き文字を処理し、認識するために、オ
ンライン・ハードウエア・サブシステム１６と並列に動
作する能力を持つている。従つて、オンライン・ハード
ウエア及びオフライン・ハードウエアという術語を用い
ることは、処理の速度とか、情報が処理される時点とか
に基づく区別をするためではなく、処理される情報のタ
イプに基づいて一方の情報と他方の情報（静的な情報と
動的な情報）とを区別することを意図している。
ハードウエア技術は、動的な（オンライン）手書き文字
情報の処理とは逆に、静的な手書き文字情報が処理され
ることを表わすために意図されていることには注意を払
う必要がある。後述されるように、「オフライン」・ハ
ードウエア・サブシステム２２は、本質的に実時間の態
様でユーザの手書き文字を処理し、認識するために、オ
ンライン・ハードウエア・サブシステム１６と並列に動
作する能力を持つている。従つて、オンライン・ハード
ウエア及びオフライン・ハードウエアという術語を用い
ることは、処理の速度とか、情報が処理される時点とか
に基づく区別をするためではなく、処理される情報のタ
イプに基づいて一方の情報と他方の情報（静的な情報と
動的な情報）とを区別することを意図している。
【００１９】オンライン・ハードウエア・サブシステム
１６の出力及びオフライン・ハードウエア・サブシステ
ム２２の出力は、併合処理装置２４に接続されており、
併合処理装置２４は候補文字のリストを併合するのに動
作し、そしてまた、システム１０の認識処理の結果とし
て可能性の高い１つ以上の文字を選択することができ
る。その後、認識処理の結果はストアされるか、あるい
は、ワード処理プログラムか、またはユーザ・インター
フエース・プログラムのような認識文字の処理装置に与
えられる。認識文字の処理装置の細部は本発明に直接関
係がないので、これ以上の説明は省略する。
１６の出力及びオフライン・ハードウエア・サブシステ
ム２２の出力は、併合処理装置２４に接続されており、
併合処理装置２４は候補文字のリストを併合するのに動
作し、そしてまた、システム１０の認識処理の結果とし
て可能性の高い１つ以上の文字を選択することができ
る。その後、認識処理の結果はストアされるか、あるい
は、ワード処理プログラムか、またはユーザ・インター
フエース・プログラムのような認識文字の処理装置に与
えられる。認識文字の処理装置の細部は本発明に直接関
係がないので、これ以上の説明は省略する。
【００２０】図１の手書き文字認識システム１０は図３
に示された第１のタイプの書き込み（記号Ｗ１で示され
ている）を認識するのに特に有利である。このタイプの
書き込みは、個々の文字が個々の領界、即ちボツクス中
に形成され、これにより文字のセグメント化の処理を単
純化するボツクス分離型（box discrete）として知られ
ている。つまり、与えられたボツクスの中で形成された
すべてのストロークは単一の文字の形成ストロークであ
ると見做される。第２のタイプの書き込み（図３中の記
号Ｗ２で示されている）は、文字が相互に接触しないよ
うにユーザが各文字を意識的に形成するタイプの間隔分
離型（spaced discrete）と呼ばれている。第３のタイ
プの手書き（図３中の記号Ｗ３で示されている）は、ユ
ーザが相互に接触した文字、または「重なつた（run-o
n）」文字を形成することができるランオン分離型（run
-on discrete）と呼ばれている。
に示された第１のタイプの書き込み（記号Ｗ１で示され
ている）を認識するのに特に有利である。このタイプの
書き込みは、個々の文字が個々の領界、即ちボツクス中
に形成され、これにより文字のセグメント化の処理を単
純化するボツクス分離型（box discrete）として知られ
ている。つまり、与えられたボツクスの中で形成された
すべてのストロークは単一の文字の形成ストロークであ
ると見做される。第２のタイプの書き込み（図３中の記
号Ｗ２で示されている）は、文字が相互に接触しないよ
うにユーザが各文字を意識的に形成するタイプの間隔分
離型（spaced discrete）と呼ばれている。第３のタイ
プの手書き（図３中の記号Ｗ３で示されている）は、ユ
ーザが相互に接触した文字、または「重なつた（run-o
n）」文字を形成することができるランオン分離型（run
-on discrete）と呼ばれている。
【００２１】第２及び第３のタイプの手書き文字は図２
に示された手書き文字認識システム１０'により処理さ
れるのが好ましい。システム１０'は、手書き文字認識
システムのタブレツトと他の部分との間にセグメント化
プロセツサ２６が接続されているのを除けば、図１の手
書き文字認識システム１０の構成及び動作と本質的には
同じである。セグメント化プロセツサ２６の目的は、１
つ、またはそれ以上のストロークのフイーチヤ・ベクト
ルを、文字を表示するビツト集合にグループ化すること
にある。例えば、隔離分離型の手書き（Ｗ２）に対し
て、セグメント化プロセツサ２６は、接触するすべての
ストローク、または、所定の距離内に相互に接近してい
るすべてのストロークを識別する。接触し、または殆ど
接触しているストロークは同じ文字の構成ストロークで
あると見做され、関連するフイーチヤ・ベクトルは、認
識するためにシステム１０'の残りの部分に通される。
に示された手書き文字認識システム１０'により処理さ
れるのが好ましい。システム１０'は、手書き文字認識
システムのタブレツトと他の部分との間にセグメント化
プロセツサ２６が接続されているのを除けば、図１の手
書き文字認識システム１０の構成及び動作と本質的には
同じである。セグメント化プロセツサ２６の目的は、１
つ、またはそれ以上のストロークのフイーチヤ・ベクト
ルを、文字を表示するビツト集合にグループ化すること
にある。例えば、隔離分離型の手書き（Ｗ２）に対し
て、セグメント化プロセツサ２６は、接触するすべての
ストローク、または、所定の距離内に相互に接近してい
るすべてのストロークを識別する。接触し、または殆ど
接触しているストロークは同じ文字の構成ストロークで
あると見做され、関連するフイーチヤ・ベクトルは、認
識するためにシステム１０'の残りの部分に通される。
【００２２】図１及び図２に示したオフライン・ハード
ウエアプロセツサ２２の細部を以下に説明すると、複製
装置１８は文字のストロークのＲＦＶ表示を、オフライ
ンの手書き文字のフイーチヤの取り出しに適したＮ×Ｍ
ビツト・マツプに変換する動作を行なう。このビツト・
マツプから取り出された静的なフイーチヤに基づいて、
オフライン・ハードウエア・サブシステム２２は入力の
認識処理を遂行し、オフラインの候補文字リストを与え
る。オフライン及びオンラインの候補文字リストは、一
体化された認識結果を発生するために併合処理装置２４
に入力される。
ウエアプロセツサ２２の細部を以下に説明すると、複製
装置１８は文字のストロークのＲＦＶ表示を、オフライ
ンの手書き文字のフイーチヤの取り出しに適したＮ×Ｍ
ビツト・マツプに変換する動作を行なう。このビツト・
マツプから取り出された静的なフイーチヤに基づいて、
オフライン・ハードウエア・サブシステム２２は入力の
認識処理を遂行し、オフラインの候補文字リストを与え
る。オフライン及びオンラインの候補文字リストは、一
体化された認識結果を発生するために併合処理装置２４
に入力される。
【００２３】上述の説明に基いて、本発明の手書き文字
の認識システム１０は、相互に並列に動作する能力を有
する複数個の・ハードウエアエンジン、即ち・ハードウ
エア・サブシステムを含んでいることが分る。本発明の
良好な実施例において、並列に動作することのできる４
つの・ハードウエアエンジンがある。それらは、 ａ．オンライン・ハードウエア・サブシステム１６と、 ｂ．大文字の英字を認識するためのオフライン・ハード
ウエア・サブシステム２２ａと、 ｃ．小文字の英字を認識するためのオフライン・ハード
ウエア・サブシステム２２ｂと、 ｄ．数字及び特殊記号を認識するためのオフライン・ハ
ードウエア・サブシステム２２ｃとである。
の認識システム１０は、相互に並列に動作する能力を有
する複数個の・ハードウエアエンジン、即ち・ハードウ
エア・サブシステムを含んでいることが分る。本発明の
良好な実施例において、並列に動作することのできる４
つの・ハードウエアエンジンがある。それらは、 ａ．オンライン・ハードウエア・サブシステム１６と、 ｂ．大文字の英字を認識するためのオフライン・ハード
ウエア・サブシステム２２ａと、 ｃ．小文字の英字を認識するためのオフライン・ハード
ウエア・サブシステム２２ｂと、 ｄ．数字及び特殊記号を認識するためのオフライン・ハ
ードウエア・サブシステム２２ｃとである。
【００２４】手書き文字変換器の出力、つまりデイジタ
イザ・タブレツト１２の出力はストロークのアレイであ
る。このアレイは「Ｅ」、「ａ」及び「７」などのよう
な文字を表示するようにされている。ストローク・アレ
イの各エレメントは文字の構成ストロークに対応してい
る。文字が単一のストロークで書かれているとき、スト
ローク・アレイのデメンシヨンは１である。転じて、各
ストロークはＸ及びＹ座標のアレイによつて表わされ
る。Ｘ及びＹ座標値の対は、時間的に順序付けられてお
り、そして、ペン１４がデイジタイザ・タブレツト１２
の表面に押付けられている間か、または、タブレツト１
２の表面に接触している間におけるデイジタイザ・タブ
レツト１２に対するペン１４の筆跡を表わしている。デ
イジタイザ・タブレツト１２によるペンの位置のＸ及び
Ｙ座標値のサンプル動作は、例えば１０ミリ秒毎の時間
間隔で発生する。
イザ・タブレツト１２の出力はストロークのアレイであ
る。このアレイは「Ｅ」、「ａ」及び「７」などのよう
な文字を表示するようにされている。ストローク・アレ
イの各エレメントは文字の構成ストロークに対応してい
る。文字が単一のストロークで書かれているとき、スト
ローク・アレイのデメンシヨンは１である。転じて、各
ストロークはＸ及びＹ座標のアレイによつて表わされ
る。Ｘ及びＹ座標値の対は、時間的に順序付けられてお
り、そして、ペン１４がデイジタイザ・タブレツト１２
の表面に押付けられている間か、または、タブレツト１
２の表面に接触している間におけるデイジタイザ・タブ
レツト１２に対するペン１４の筆跡を表わしている。デ
イジタイザ・タブレツト１２によるペンの位置のＸ及び
Ｙ座標値のサンプル動作は、例えば１０ミリ秒毎の時間
間隔で発生する。
【００２５】ストローク・アレイの出力は、ストローク
のアレイにおいて検出された筆跡のＸ−Ｙ座標値に最も
近似しているＡＳＣＩＩコードを決定するために、オン
ライン・ハードウエア・サブシステム１６に入力され
る。オンライン・ハードウエア・サブシステム１６の動
作の詳細は、上述の米国特許第５０２９２２３号に記載
されているので、ここでは説明しない。
のアレイにおいて検出された筆跡のＸ−Ｙ座標値に最も
近似しているＡＳＣＩＩコードを決定するために、オン
ライン・ハードウエア・サブシステム１６に入力され
る。オンライン・ハードウエア・サブシステム１６の動
作の詳細は、上述の米国特許第５０２９２２３号に記載
されているので、ここでは説明しない。
【００２６】オンライン・ハードウエア・サブシステム
１６により処理されると、オンライン候補文字リストが
オンライン・ハードウエア・サブシステム１６によつて
出力される。この候補文字リストはペンの筆跡に対して
可能性ある（可能性の高い）１つ、またはそれ以上の候
補文字を含んでいる。候補文字は尤度の順序でストアさ
れており、各候補文字は尤度に関連したスコア（点数）
を持つている。スコアが高ければ高い程、候補文字が正
しい文字である可能性が高くなる。
１６により処理されると、オンライン候補文字リストが
オンライン・ハードウエア・サブシステム１６によつて
出力される。この候補文字リストはペンの筆跡に対して
可能性ある（可能性の高い）１つ、またはそれ以上の候
補文字を含んでいる。候補文字は尤度の順序でストアさ
れており、各候補文字は尤度に関連したスコア（点数）
を持つている。スコアが高ければ高い程、候補文字が正
しい文字である可能性が高くなる。
【００２７】次に、オフライン・ハードウエア（ＯＣ
Ｒ）サブシステム２２を参照すると、ベクトルからラス
タ変換器２０はストローク・アレイからＮ行×Ｍ列のビ
ツト・マツプを発生する。本発明の良好な実施例におい
ては、Ｎ＝２４でＭ＝１６である（図９参照）。また、
変換器２０は２４×１６ビツト・マツプ中に文字のサイ
ズを縮小して平均化するよう動作する。
Ｒ）サブシステム２２を参照すると、ベクトルからラス
タ変換器２０はストローク・アレイからＮ行×Ｍ列のビ
ツト・マツプを発生する。本発明の良好な実施例におい
ては、Ｎ＝２４でＭ＝１６である（図９参照）。また、
変換器２０は２４×１６ビツト・マツプ中に文字のサイ
ズを縮小して平均化するよう動作する。
【００２８】これに関連して、図１０乃至図１２を参照
すると、図１０は１つ、またはそれ以上のストロークが
適合される取り囲みボツクス、即ち領界ボツクス（boun
dingbox）の２つの変形（Ａ及びＢ）を示している。領
界ボツクスは、領界ボツクスの形状比（高さ対幅）に制
限されるが、すべてのストロークを収容するために、必
要に応じて、伸長（Ａ）または縮小（Ｂ）がある。本発
明の実施例では、形状比は２４／１６、または３／２で
ある。図１１は、ストロークが領界ボツクスの上限及び
下限に接触するように領界ボツクス中に置かれた文字
「Ｉ」を表わすストロークを示している。ストローク
は、ストロークの重心（ＣＧ）が領界ボツクスの形状の
中心と一致するように水平（Ｘ軸）方向に沿つて整置さ
れる。図１２は文字「Ｗ」の場合を示す図であつて、領
界ボツクスの左側及び右側が文字の左側及び右側に接触
し、そして、ストロークの重心が領界ボツクスの形状の
中心と一致するように垂直（Ｙ軸）方向に沿つて整置さ
れている。
すると、図１０は１つ、またはそれ以上のストロークが
適合される取り囲みボツクス、即ち領界ボツクス（boun
dingbox）の２つの変形（Ａ及びＢ）を示している。領
界ボツクスは、領界ボツクスの形状比（高さ対幅）に制
限されるが、すべてのストロークを収容するために、必
要に応じて、伸長（Ａ）または縮小（Ｂ）がある。本発
明の実施例では、形状比は２４／１６、または３／２で
ある。図１１は、ストロークが領界ボツクスの上限及び
下限に接触するように領界ボツクス中に置かれた文字
「Ｉ」を表わすストロークを示している。ストローク
は、ストロークの重心（ＣＧ）が領界ボツクスの形状の
中心と一致するように水平（Ｘ軸）方向に沿つて整置さ
れる。図１２は文字「Ｗ」の場合を示す図であつて、領
界ボツクスの左側及び右側が文字の左側及び右側に接触
し、そして、ストロークの重心が領界ボツクスの形状の
中心と一致するように垂直（Ｙ軸）方向に沿つて整置さ
れている。
【００２９】ｉ番目のストロークのｊ番目の座標値を、 Ｙij、 Ｘij として表わした図５を参照すると、変換技術は下記のよ
うに動作する。
うに動作する。
【００３０】図５のブロツクＡ： 上記の各ストローク
座標値が領界ボツクスの座標系中のポイントから測られ
るように、タブレツト１２の座標系から相対座標系にス
トロークを変換する。 図５のブロツクＢ及びＣ： どのストロークでも２４×
１６の範囲の領界ボツクスの境界線に接触してもよい
が、しかし境界線を越えずに、領界ボツクスの領界内に
収まるように、座標系を縮小する。予め決められたパラ
メータにより特定して縮小される寸法にするためのこの
縮小処理は、すべての構成ストロークの筆跡がより小さ
なボツクス（Ｎ×Ｍビツト・マツプよりも小さなボツク
ス）内に収納できない場合だけに限つて適用されるのが
望ましい。これは、例えば終止符とか、コンマが２４×
１６マトリツクスの領界ボツクスの境界線に接触するよ
うに縮小される問題が生じるのを回避する。 図５のブロツクＤ： 寸法が正規化されたストロークの
筆跡は、ストロークをビツト・マツプ化するために、領
界ボツクスの２４×１６領域に格納される（図９参
照）。ただ１つのビツト、または１つの画素だけが領界
ボツクスの各領域、または各セルの中に表示される。上
述の実施例においては、領界ボツクスは２４×１６＝３
８４の独立した領域、即ちセルを持つことになる。
座標値が領界ボツクスの座標系中のポイントから測られ
るように、タブレツト１２の座標系から相対座標系にス
トロークを変換する。 図５のブロツクＢ及びＣ： どのストロークでも２４×
１６の範囲の領界ボツクスの境界線に接触してもよい
が、しかし境界線を越えずに、領界ボツクスの領界内に
収まるように、座標系を縮小する。予め決められたパラ
メータにより特定して縮小される寸法にするためのこの
縮小処理は、すべての構成ストロークの筆跡がより小さ
なボツクス（Ｎ×Ｍビツト・マツプよりも小さなボツク
ス）内に収納できない場合だけに限つて適用されるのが
望ましい。これは、例えば終止符とか、コンマが２４×
１６マトリツクスの領界ボツクスの境界線に接触するよ
うに縮小される問題が生じるのを回避する。 図５のブロツクＤ： 寸法が正規化されたストロークの
筆跡は、ストロークをビツト・マツプ化するために、領
界ボツクスの２４×１６領域に格納される（図９参
照）。ただ１つのビツト、または１つの画素だけが領界
ボツクスの各領域、または各セルの中に表示される。上
述の実施例においては、領界ボツクスは２４×１６＝３
８４の独立した領域、即ちセルを持つことになる。
【００３１】本発明の良好な実施例において、オフライ
ン・ハードウエア・サブシステム２２は３つの同じ神経
系的ネツトワーク（２２ａ、２２ｂ及び２２ｃ）を含ん
でいる。各神経系的ネツトワークはＳ字型関数マツピン
グ（sigmoid function mapping）を持つフイードフォー
ワード型３層ネツトワークとして実行される。然しなが
ら、各神経系的ネツトワークは入力に基づく異なつたク
ラスの符号を認識するために訓練される。特に、神経系
的ネツトワーク２２ａは大文字の英字（Ａ乃至Ｚ）のク
ラスに対して訓練され、神経系的ネツトワーク２２ｂは
小文字の英字（ａ乃至ｚ）のクラスに対して訓練され、
神経系的ネツトワーク２２ｃは数字（０乃至９）と、複
数の特殊記号とにクラスに対して訓練される。
ン・ハードウエア・サブシステム２２は３つの同じ神経
系的ネツトワーク（２２ａ、２２ｂ及び２２ｃ）を含ん
でいる。各神経系的ネツトワークはＳ字型関数マツピン
グ（sigmoid function mapping）を持つフイードフォー
ワード型３層ネツトワークとして実行される。然しなが
ら、各神経系的ネツトワークは入力に基づく異なつたク
ラスの符号を認識するために訓練される。特に、神経系
的ネツトワーク２２ａは大文字の英字（Ａ乃至Ｚ）のク
ラスに対して訓練され、神経系的ネツトワーク２２ｂは
小文字の英字（ａ乃至ｚ）のクラスに対して訓練され、
神経系的ネツトワーク２２ｃは数字（０乃至９）と、複
数の特殊記号とにクラスに対して訓練される。
【００３２】図６及び図９に示されているように、オフ
ライン・ハードウエア・サブシステム２２の前端は２４
×１６ビツト・マツプされたイメージを通して２２個の
区分、即ち２２個のスライスから、「筆跡方向に基づく
フイーチヤ」（ＦＤ）と呼ばれる８８個のフイーチヤを
取り出す。８８個のフイーチヤは下記の４種類の射影
（projection）で構成される。図６に示したように、そ
れらの射影は、 （ａ） ２４×１６ビツト・マツプ中のエツジ２３ａに
沿つた短かい水平ベクトル・パターンのＸ軸上に投影さ
れた射影と、 （ｂ） ２４×１６ビツト・マツプ中のエツジ２３ｂに
沿つた短かい垂直ベクトルのＹ軸上に投影された射影と
、 （ｃ） ２４×１６ビツト・マツプ中のエツジ２３ｃに
沿つた対角線（Ｙ＝Ｘ）ベクトル・パターンのＹ＝−Ｘ
軸上に投影された射影と、 （ｄ） ２４×１６ビツト・マツプ中のエツジ２３ｄに
沿つた対角線（Ｙ＝−Ｘ）ベクトル・パターンのＹ＝Ｘ
軸上に投影された射影とである。
ライン・ハードウエア・サブシステム２２の前端は２４
×１６ビツト・マツプされたイメージを通して２２個の
区分、即ち２２個のスライスから、「筆跡方向に基づく
フイーチヤ」（ＦＤ）と呼ばれる８８個のフイーチヤを
取り出す。８８個のフイーチヤは下記の４種類の射影
（projection）で構成される。図６に示したように、そ
れらの射影は、 （ａ） ２４×１６ビツト・マツプ中のエツジ２３ａに
沿つた短かい水平ベクトル・パターンのＸ軸上に投影さ
れた射影と、 （ｂ） ２４×１６ビツト・マツプ中のエツジ２３ｂに
沿つた短かい垂直ベクトルのＹ軸上に投影された射影と
、 （ｃ） ２４×１６ビツト・マツプ中のエツジ２３ｃに
沿つた対角線（Ｙ＝Ｘ）ベクトル・パターンのＹ＝−Ｘ
軸上に投影された射影と、 （ｄ） ２４×１６ビツト・マツプ中のエツジ２３ｄに
沿つた対角線（Ｙ＝−Ｘ）ベクトル・パターンのＹ＝Ｘ
軸上に投影された射影とである。
【００３３】ヒストグラムは、ストロークの２４×１６
ビツト・マツプされたイメージの３８４個のセル上で走
査された例えば２×２マスクのようなｉ×ｊマスクに基
づいて決定される。図６及び図７においては、２×２マ
スクが効率の観点から用いられているが、勿論、必要に
応じて他のサイズのマスクを用いることもできる。マス
クは、２４×１６ビツト・マツプされたイメージの各行
に沿つて水平方向と、各列に沿つて垂直方向とに、イメ
ージのセル毎に走査される。若しマスク中の黒画素（エ
ツジ領域）の数が１乃至３の間にあれば、つまり、若し
マスク中の４個の画素がすべて黒でもなく、すべて白で
もなければ、プリミテイブ・フイーチヤが検出される。
図６は４つのプリミテイブ・フイーチヤの方向２３ａ、
２３ｂ、２３ｃ及び２３ｄを示す図である。検出された
各方向は、４つの射影において２４×１６ビツト・マツ
プにわたって合計２２個のスライス中の位置に従つて４
回計数される。２２個のスライスは６個の水平領域、４
個の垂直領域と合計１２個の対角線領域で構成されてい
る。これらの中で、プリミテイブ・ベクトルの４つの方
向（２３ａ乃至２３ｄ）は、２２個のスライスの各々の
中で累計され、合計２２×４個のＦＤコンポーネント、
つまり８８個のＦＤフイーチヤがある。
ビツト・マツプされたイメージの３８４個のセル上で走
査された例えば２×２マスクのようなｉ×ｊマスクに基
づいて決定される。図６及び図７においては、２×２マ
スクが効率の観点から用いられているが、勿論、必要に
応じて他のサイズのマスクを用いることもできる。マス
クは、２４×１６ビツト・マツプされたイメージの各行
に沿つて水平方向と、各列に沿つて垂直方向とに、イメ
ージのセル毎に走査される。若しマスク中の黒画素（エ
ツジ領域）の数が１乃至３の間にあれば、つまり、若し
マスク中の４個の画素がすべて黒でもなく、すべて白で
もなければ、プリミテイブ・フイーチヤが検出される。
図６は４つのプリミテイブ・フイーチヤの方向２３ａ、
２３ｂ、２３ｃ及び２３ｄを示す図である。検出された
各方向は、４つの射影において２４×１６ビツト・マツ
プにわたって合計２２個のスライス中の位置に従つて４
回計数される。２２個のスライスは６個の水平領域、４
個の垂直領域と合計１２個の対角線領域で構成されてい
る。これらの中で、プリミテイブ・ベクトルの４つの方
向（２３ａ乃至２３ｄ）は、２２個のスライスの各々の
中で累計され、合計２２×４個のＦＤコンポーネント、
つまり８８個のＦＤフイーチヤがある。
【００３４】一例として説明すると、図９は上述したよ
うなビツト・マツプされた英文字「Ｒ」のストロークを
示す図である。説明を簡略化するために、幾つかのＦＤ
コンポーネントの値として、６個の水平スライスと４個
の垂直スライスだけしか示されていない。この例によつ
て、フイーチヤ１乃至４は、最上部の水平区分、即ち水
平スライスに対して、プリミテイブ・ベクトル２３ａ、
２３ｂ、２３ｃ及び２３ｄの各々に対する合計を表示し
ている。この例において、水平ベクトル・パターン２３
ａは２７のカウント値を持ち、垂直ベクトル・パターン
２３ｂは６のカウント値を持ち、対角線ベクトル・パタ
ーン２３ｃは１のカウント値を持ち、対角線ベクトル・
パターン２３ｄは４のカウント値を持つている。
うなビツト・マツプされた英文字「Ｒ」のストロークを
示す図である。説明を簡略化するために、幾つかのＦＤ
コンポーネントの値として、６個の水平スライスと４個
の垂直スライスだけしか示されていない。この例によつ
て、フイーチヤ１乃至４は、最上部の水平区分、即ち水
平スライスに対して、プリミテイブ・ベクトル２３ａ、
２３ｂ、２３ｃ及び２３ｄの各々に対する合計を表示し
ている。この例において、水平ベクトル・パターン２３
ａは２７のカウント値を持ち、垂直ベクトル・パターン
２３ｂは６のカウント値を持ち、対角線ベクトル・パタ
ーン２３ｃは１のカウント値を持ち、対角線ベクトル・
パターン２３ｄは４のカウント値を持つている。
【００３５】また、２４×１６ビツト・マツプされたイ
メージから他のプリミテイブ・フイーチヤを取り出すこ
とも本発明の技術的範囲に属する。一例として図７を参
照すると、２×３領域中に現われる凸状パターン及び凹
状パターンを作ることができることが分る。凸及び凹状
パターンは８つの角度（上、下、右、左、右上、左上、
左下、右下）に基づく異なつたフイーチヤとして取り扱
われる。これらのフイーチヤは「湾曲に基づくフイーチ
ヤ」（ＦＢ）と呼ばれる。図８は２４×１６ビツト・マ
ツプされたイメージからＦＤフイーチヤを取り出すため
のＦＤプロセツサ２５に加えてＦＢプロセツサ２７を選
択的に使用する場合を示す図である。
メージから他のプリミテイブ・フイーチヤを取り出すこ
とも本発明の技術的範囲に属する。一例として図７を参
照すると、２×３領域中に現われる凸状パターン及び凹
状パターンを作ることができることが分る。凸及び凹状
パターンは８つの角度（上、下、右、左、右上、左上、
左下、右下）に基づく異なつたフイーチヤとして取り扱
われる。これらのフイーチヤは「湾曲に基づくフイーチ
ヤ」（ＦＢ）と呼ばれる。図８は２４×１６ビツト・マ
ツプされたイメージからＦＤフイーチヤを取り出すため
のＦＤプロセツサ２５に加えてＦＢプロセツサ２７を選
択的に使用する場合を示す図である。
【００３６】２４×１６ビツト・マツプされたイメージ
から取り出すことのできる他のタイプのプリミテイブ・
フイーチヤは「フイルタされたイメージに基づくフイー
チヤ」（ＦＳ）と呼ばれる。この場合、２４×１６ビツ
ト・マツプされたバイナリ文字イメージが１２×８グレ
イ・イメージに減少され、ガウス・フイルタを用いて平
滑化されて、合計９６個のフイーチヤ・エレメントを生
じる。
から取り出すことのできる他のタイプのプリミテイブ・
フイーチヤは「フイルタされたイメージに基づくフイー
チヤ」（ＦＳ）と呼ばれる。この場合、２４×１６ビツ
ト・マツプされたバイナリ文字イメージが１２×８グレ
イ・イメージに減少され、ガウス・フイルタを用いて平
滑化されて、合計９６個のフイーチヤ・エレメントを生
じる。
【００３７】上述の説明から、２４×１６ビツト・マツ
プされたイメージが、神経系的ネツトワーク認識装置２
２ａ乃至２２ｃへの入力に対して、その装置からフイー
チヤ・エレメントを取り出すための幾つかの異なつた技
術に従つて処理することができることが理解されるであ
ろう。従つて、本発明の実施例はＦＤフイーチヤのエレ
メントだけしか用いていないけれども、他のタイプのフ
イーチヤのエレメントは、ＦＤフイーチヤのエレメント
の拡張に使用することができるし、あるいは、ＦＤフイ
ーチヤのエレメントの代わりに使用することができる。
プされたイメージが、神経系的ネツトワーク認識装置２
２ａ乃至２２ｃへの入力に対して、その装置からフイー
チヤ・エレメントを取り出すための幾つかの異なつた技
術に従つて処理することができることが理解されるであ
ろう。従つて、本発明の実施例はＦＤフイーチヤのエレ
メントだけしか用いていないけれども、他のタイプのフ
イーチヤのエレメントは、ＦＤフイーチヤのエレメント
の拡張に使用することができるし、あるいは、ＦＤフイ
ーチヤのエレメントの代わりに使用することができる。
【００３８】図８に示したように、ＦＤプロセツサ２５
により出力された８８個の取り出されたＦＤフイーチヤ
のエレメントは、ブロツク２９によつて８８個のＦＤフ
イーチヤのエレメントの３つの組に複製される。上述し
たように、ＦＤプロセツサ２５はＮ×Ｍビツト・マツプ
されたイメージを２２個のスライスに仕切り、イメージ
上の２×２マスクで走査し、そして、スライス中のプリ
ミテイブ・フイーチヤ２３ａ乃至２３ｄの発生をカウン
トするよう動作する。８８個のＦＤフイーチヤのエレメ
ントの組の各独立した組は３つの神経系的ネツトワーク
（ＮＮ）２３ａ乃至２３ｃの入力の１つに与えられる。
各神経系的ネツトワークは８８個の入力と、少なくとも
１つの隠された層とを持つている。神経系的ネツトワー
ク２２ａ及び２２ｂの各々は英文字Ａ乃至Ｚ及びａ乃至
ｚに対応する２６個の出力ノードを持つている。第３の
神経系的ネツトワーク２２ｃは１０個の数字（０乃至
９）と、２０個の特殊記号（例えば、！、＄、＝など）
に対応する３０個の出力ノードを持つている。
により出力された８８個の取り出されたＦＤフイーチヤ
のエレメントは、ブロツク２９によつて８８個のＦＤフ
イーチヤのエレメントの３つの組に複製される。上述し
たように、ＦＤプロセツサ２５はＮ×Ｍビツト・マツプ
されたイメージを２２個のスライスに仕切り、イメージ
上の２×２マスクで走査し、そして、スライス中のプリ
ミテイブ・フイーチヤ２３ａ乃至２３ｄの発生をカウン
トするよう動作する。８８個のＦＤフイーチヤのエレメ
ントの組の各独立した組は３つの神経系的ネツトワーク
（ＮＮ）２３ａ乃至２３ｃの入力の１つに与えられる。
各神経系的ネツトワークは８８個の入力と、少なくとも
１つの隠された層とを持つている。神経系的ネツトワー
ク２２ａ及び２２ｂの各々は英文字Ａ乃至Ｚ及びａ乃至
ｚに対応する２６個の出力ノードを持つている。第３の
神経系的ネツトワーク２２ｃは１０個の数字（０乃至
９）と、２０個の特殊記号（例えば、！、＄、＝など）
に対応する３０個の出力ノードを持つている。
【００３９】これらの入力は３つの神経系的ネツトワー
ク２２ａ乃至２２ｃと同じであるけれども、これらの出
力の数は、訓練動作のために、入力数とは異なつてい
る。より特定して言えば、帰還伝播技術（back propaga
tion technique）を用いることによつて、神経系的ネツ
トワーク２２ａは２６個の大文字の英字についての積極
的な訓練が行なわれるが、しかし、残り５６個の文字
（２６個の小文字の英字、１０個の数字及び２０個の特
殊記号）については消極的な訓練しか行なわれない。神
経系的ネツトワーク２２ｂは２６個の小文字の英字につ
いての積極的な訓練が行なわれるが、しかし、残り５６
個の文字については消極的な訓練しか行なわれない。神
経系的ネツトワーク２２ｃは１０個の数字及び２０個の
特殊記号についての積極的な訓練が行なわれるが、しか
し、大文字及び小文字の５２個の英字については消極的
な訓練しか行なわれない。例えば、各英文字、数字、ま
たは特殊記号について、積極的な訓練は、対応する文字
の２０００個以上のサンプルについて行なわれ、消極的
な訓練は対応する文字の１２５個以上のサンプルについ
て行なわれる。
ク２２ａ乃至２２ｃと同じであるけれども、これらの出
力の数は、訓練動作のために、入力数とは異なつてい
る。より特定して言えば、帰還伝播技術（back propaga
tion technique）を用いることによつて、神経系的ネツ
トワーク２２ａは２６個の大文字の英字についての積極
的な訓練が行なわれるが、しかし、残り５６個の文字
（２６個の小文字の英字、１０個の数字及び２０個の特
殊記号）については消極的な訓練しか行なわれない。神
経系的ネツトワーク２２ｂは２６個の小文字の英字につ
いての積極的な訓練が行なわれるが、しかし、残り５６
個の文字については消極的な訓練しか行なわれない。神
経系的ネツトワーク２２ｃは１０個の数字及び２０個の
特殊記号についての積極的な訓練が行なわれるが、しか
し、大文字及び小文字の５２個の英字については消極的
な訓練しか行なわれない。例えば、各英文字、数字、ま
たは特殊記号について、積極的な訓練は、対応する文字
の２０００個以上のサンプルについて行なわれ、消極的
な訓練は対応する文字の１２５個以上のサンプルについ
て行なわれる。
【００４０】本発明の良好な実施例において各神経系的
ネツトワークは、隠された層中の約５０個のノードに対
して８８個の入力ノードと、２６個か、または３０個の
出力ノードとを持つている。各入力ノードは隠された層
のノードに完全に接続されており、転じて、隠された層
のノードは出力層のノードに完全に接続されている。２
つのノードの間の各リンクは関連された重み付けを持つ
ている。−１及び＋１の間の範囲の値の応答をマツプす
るために、Ｓ字型関数が入力ノード及び出力ノードの間
に用いられる。隠された層からの入力のすべてを加算す
るために各出力ノードにおいて、Ｓ字型関数の代わり
に、一次関数が用いられる。これは、出力ノードが取る
ことのできる値を広い範囲の値で発生して、認識処理に
確実さを与えることができる。
ネツトワークは、隠された層中の約５０個のノードに対
して８８個の入力ノードと、２６個か、または３０個の
出力ノードとを持つている。各入力ノードは隠された層
のノードに完全に接続されており、転じて、隠された層
のノードは出力層のノードに完全に接続されている。２
つのノードの間の各リンクは関連された重み付けを持つ
ている。−１及び＋１の間の範囲の値の応答をマツプす
るために、Ｓ字型関数が入力ノード及び出力ノードの間
に用いられる。隠された層からの入力のすべてを加算す
るために各出力ノードにおいて、Ｓ字型関数の代わり
に、一次関数が用いられる。これは、出力ノードが取る
ことのできる値を広い範囲の値で発生して、認識処理に
確実さを与えることができる。
【００４１】複数の候補文字リストからのスコアを均等
に適合させるために、オフライン・ハードウエア・サブ
システム２２からのスコアは「疑似確率（pseudo-proba
bility）」に変換される。確率に対するスコアの実験マ
ツピングが、神経系的ネツトワーク２２ａ乃至２２ｃ
と、オンライン・ハードウエア・サブシステム１６とに
使用される。図１３は神経系的ネツトワーク（ＮＮ）の
出力を上述の疑似確率に変換するために適当なマツピン
グ関数のグラフを示している。
に適合させるために、オフライン・ハードウエア・サブ
システム２２からのスコアは「疑似確率（pseudo-proba
bility）」に変換される。確率に対するスコアの実験マ
ツピングが、神経系的ネツトワーク２２ａ乃至２２ｃ
と、オンライン・ハードウエア・サブシステム１６とに
使用される。図１３は神経系的ネツトワーク（ＮＮ）の
出力を上述の疑似確率に変換するために適当なマツピン
グ関数のグラフを示している。
【００４２】オンライン・ハードウエア・サブシステム
１６は１０個の上位の候補文字（つまり、最高位のスコ
アを持つ候補文字のうちの最も確率の高い１０個の文
字）を戻すのに反して、各神経系的ネツトワーク（Ｎ
Ｎ）２２ａ乃至２２ｃは上位の３個の候補文字を戻す。
候補文字リストから外れた場合を取り扱うために、各候
補文字リストは、このリスト中で低位にスコアされた
（小さい確率）、例えば２／３よりも少ない確率を持つ
「その他（anything else）」が付加される。この技術
を使用することによつて、４つの候補文字リストは、下
記の例示から判るように、容易に併合することができ
る。
１６は１０個の上位の候補文字（つまり、最高位のスコ
アを持つ候補文字のうちの最も確率の高い１０個の文
字）を戻すのに反して、各神経系的ネツトワーク（Ｎ
Ｎ）２２ａ乃至２２ｃは上位の３個の候補文字を戻す。
候補文字リストから外れた場合を取り扱うために、各候
補文字リストは、このリスト中で低位にスコアされた
（小さい確率）、例えば２／３よりも少ない確率を持つ
「その他（anything else）」が付加される。この技術
を使用することによつて、４つの候補文字リストは、下
記の例示から判るように、容易に併合することができ
る。
【００４３】
【表１】 オンラインＨＷＲ１６ ＮＮ２２ａから ＮＮ２２ｂから ＮＮ２２ｃから からのリスト のリスト のリスト のリスト Ｚ ０.１ Ｚ ０.１ ｚ ０.１５ ２ ０.５ ２ ０.０７ Ａ ０.８ ａ ０.１３ ＆ ０.１ ｚ ０.０６ Ｌ ０.０６ ｅ ０.０８ ３ ０.０５ ｙ ０.０３ その他 ０.０４ その他 ０.０６ その他 ０.０３ ８ ０.００９ ３ ０.００８５ ａ ０.００８４ ・ ０.００６６ ＆ ０.００４１ Ｅ ０.００４０ その他０.００２７
【００４４】併合論理装置２４により出力された結果の
均等化されたリストは下記の表２の通りである。
均等化されたリストは下記の表２の通りである。
【００４５】
【表２】
【００４６】上述の場合、数字「２」は、均等化リスト
の最上部の項目として示されているように、最も確率の
高い入力文字である。数字「２」のための均等化リスト
中のスコア（０．６７）は、文字「２」に対するオンラ
イン・ハードウエア１６のスコア（０．０７）と、文字
「２」に対するＮＮ２２ｃのスコア（０．５）と、ＮＮ
２２ａ及びＮＮ２２ｂの「その他」に対する夫々のスコ
ア（０．０４）及び（０．０６）との合計で得られたも
のである。
の最上部の項目として示されているように、最も確率の
高い入力文字である。数字「２」のための均等化リスト
中のスコア（０．６７）は、文字「２」に対するオンラ
イン・ハードウエア１６のスコア（０．０７）と、文字
「２」に対するＮＮ２２ｃのスコア（０．５）と、ＮＮ
２２ａ及びＮＮ２２ｂの「その他」に対する夫々のスコ
ア（０．０４）及び（０．０６）との合計で得られたも
のである。
【００４７】図４を参照して、手書き文字の認識システ
ムを動作する本発明の方法を説明する。本発明の方法
は、（ａ）ユーザからの手書き文字入力に応答して、時
間的に順序付けられた動的なストローク情報を与えるス
テツプ（ブロツクＡ及びＢ）と、（ｂ）時間的に順序付
けられた動的なストローク情報が表示しようと意図して
いる少なくとも１つの可能性ある文字を含む第１のリス
トを決定するステツプ（ブロツクＤ２）と、（ｃ）時間
的に順序付けられた動的なストローク情報を静的なスト
ローク情報に変換するステツプ（ブロツクＣ）と、
（ｄ）静的なストローク情報が表わす少なくとも１つの
可能性ある文字を含む第２のリストを決定するステツプ
（ブロツクＤ１）と、（ｅ）時間的に順序付けられた動
的なストローク情報が表わそうと意図している可能性の
高い文字を表わす少なくとも１つのエレメントを含む第
３の均等化リストを与えるために、第１のリスト及び第
２のリストを併合するステツプ（ブロツクＥ及びＦ）と
を含んでいる。
ムを動作する本発明の方法を説明する。本発明の方法
は、（ａ）ユーザからの手書き文字入力に応答して、時
間的に順序付けられた動的なストローク情報を与えるス
テツプ（ブロツクＡ及びＢ）と、（ｂ）時間的に順序付
けられた動的なストローク情報が表示しようと意図して
いる少なくとも１つの可能性ある文字を含む第１のリス
トを決定するステツプ（ブロツクＤ２）と、（ｃ）時間
的に順序付けられた動的なストローク情報を静的なスト
ローク情報に変換するステツプ（ブロツクＣ）と、
（ｄ）静的なストローク情報が表わす少なくとも１つの
可能性ある文字を含む第２のリストを決定するステツプ
（ブロツクＤ１）と、（ｅ）時間的に順序付けられた動
的なストローク情報が表わそうと意図している可能性の
高い文字を表わす少なくとも１つのエレメントを含む第
３の均等化リストを与えるために、第１のリスト及び第
２のリストを併合するステツプ（ブロツクＥ及びＦ）と
を含んでいる。
【００４８】変換するステツプはストローク情報の筆跡
の方向に基づいて１つ、またはそれ以上の第１のストロ
ーク・フイーチヤを発生するステツプ（図６）を含んで
いる。付加的に、例えば凸形状及び凹形状のストローク
情報などに基いて１つ以上の第２のストローク・フイー
チヤを発生することができる（図７）。
の方向に基づいて１つ、またはそれ以上の第１のストロ
ーク・フイーチヤを発生するステツプ（図６）を含んで
いる。付加的に、例えば凸形状及び凹形状のストローク
情報などに基いて１つ以上の第２のストローク・フイー
チヤを発生することができる（図７）。
【００４９】第２のリストを決定するステツプは、少な
くとも第１のストローク・フイーチヤを受け取るための
複数個の入力ノードを有する少なくとも１つの神経系的
ネツトワークで行なうことができる（図８）。更に、少
なくとも１つの神経系的ネツトワークは第１のストロー
ク・フイーチヤに応答して、少なくとも１つの可能性あ
る文字を出力するための少なくとも１つの出力ノードを
持つている。
くとも第１のストローク・フイーチヤを受け取るための
複数個の入力ノードを有する少なくとも１つの神経系的
ネツトワークで行なうことができる（図８）。更に、少
なくとも１つの神経系的ネツトワークは第１のストロー
ク・フイーチヤに応答して、少なくとも１つの可能性あ
る文字を出力するための少なくとも１つの出力ノードを
持つている。
【００５０】更に、変換するステツプは、時間的に順序
付けられた動的なストローク情報をＮ×Ｍビツト・マツ
プされた表示にマツプする開始ステツプを含んでいる。
マツプするステツプは、ストロークがＮ×Ｍビツト・マ
ツプされた表示の中に完全に含まれるように、時間的に
順序付けられた動的なストローク情報を縮小するステツ
プを含んでいる。
付けられた動的なストローク情報をＮ×Ｍビツト・マツ
プされた表示にマツプする開始ステツプを含んでいる。
マツプするステツプは、ストロークがＮ×Ｍビツト・マ
ツプされた表示の中に完全に含まれるように、時間的に
順序付けられた動的なストローク情報を縮小するステツ
プを含んでいる。
【００５１】手書き文字の認識システム１０は、夫々の
書き手が１６００個の文字を書き込んだ２４人以上の書
き手で評価された。エラー率の平均減少率は、オンライ
ン・ハードウエア・サブシステム１６だけしか使用しな
い場合に比べて、４１％減少したことが見出されてい
る。従つて、本発明を使用すると、手書き文字を認識す
ることにおいて顕著な改善がなされることが理解できる
であろう。
書き手が１６００個の文字を書き込んだ２４人以上の書
き手で評価された。エラー率の平均減少率は、オンライ
ン・ハードウエア・サブシステム１６だけしか使用しな
い場合に比べて、４１％減少したことが見出されてい
る。従つて、本発明を使用すると、手書き文字を認識す
ることにおいて顕著な改善がなされることが理解できる
であろう。
【００５２】以上、本発明の良好な実施例を参照して本
発明を説明してきたが、本発明は３個以下、あるいは３
個以上のオフラインの（ＯＣＲ）認識装置を用いること
ができるのは自明であろう。例えば、１つのオフライン
認識装置を数字に使用し、他のオフライン認識装置を句
読点のような特殊記号だけに用いることができる。更
に、オフライン認識装置は他の形式で実行することがで
き、神経系的ネツトワークである必要はない。また、本
発明は、英語用の手書きの文字の認識のみに制限される
ものではなく、例えば漢字のような他の言語にも用いる
ことができるのは自明であろう。
発明を説明してきたが、本発明は３個以下、あるいは３
個以上のオフラインの（ＯＣＲ）認識装置を用いること
ができるのは自明であろう。例えば、１つのオフライン
認識装置を数字に使用し、他のオフライン認識装置を句
読点のような特殊記号だけに用いることができる。更
に、オフライン認識装置は他の形式で実行することがで
き、神経系的ネツトワークである必要はない。また、本
発明は、英語用の手書きの文字の認識のみに制限される
ものではなく、例えば漢字のような他の言語にも用いる
ことができるのは自明であろう。
【００５３】
【発明の効果】本発明によれば、手書きの文字、記号の
認識システムにおいて、認識結果の正確度を顕著に向上
することができる。
認識システムにおいて、認識結果の正確度を顕著に向上
することができる。
【図１】オンライン・ハードウエア・サブシステム及び
オフライン・ハードウエア・サブシステムを含む本発明
の手書き文字の認識システムであつて、本発明の第１の
実施例に従つて構成され、動作される手書き文字の認識
システムのブロツク図である。
オフライン・ハードウエア・サブシステムを含む本発明
の手書き文字の認識システムであつて、本発明の第１の
実施例に従つて構成され、動作される手書き文字の認識
システムのブロツク図である。
【図２】本発明の第２の実施例に従つて構成され、動作
される手書き文字の認識システムのブロツク図である。
される手書き文字の認識システムのブロツク図である。
【図３】本発明の手書き文字の認識方法によつて認識す
るのに適合している３つのタイプの手書き文字を示す図
である。
るのに適合している３つのタイプの手書き文字を示す図
である。
【図４】本発明の手書き文字の認識方法を説明するため
の論理的流れ図である。
の論理的流れ図である。
【図５】図１、または図２のオフライン・ハードウエア
・サブシステムによつて使用するために、動的なストロ
ーク情報を静的なビツト・マツプに変換し、そして均等
化するための方法を説明するための論理的流れ図であ
る。
・サブシステムによつて使用するために、動的なストロ
ーク情報を静的なビツト・マツプに変換し、そして均等
化するための方法を説明するための論理的流れ図であ
る。
【図６】図１、または図２のオフライン・ハードウエア
・サブシステムの一部を形成した「筆跡の方向に基づく
フイーチヤ」（ＦＤ）を説明するための図である。
・サブシステムの一部を形成した「筆跡の方向に基づく
フイーチヤ」（ＦＤ）を説明するための図である。
【図７】図１、または図２のオフライン・ハードウエア
・サブシステムの一部として付加的に用いられる「湾曲
形状に基づくフイーチヤ」（ＦＢ）を説明するための図
である。
・サブシステムの一部として付加的に用いられる「湾曲
形状に基づくフイーチヤ」（ＦＢ）を説明するための図
である。
【図８】図１及び図２のオフライン・ハードウエア・サ
ブシステムの実施例を形成する複数個の神経系的ネツト
ワークへの入力における、静的なＦＤ及びＦＢコンポー
ネントの組合わせを説明するための図である。
ブシステムの実施例を形成する複数個の神経系的ネツト
ワークへの入力における、静的なＦＤ及びＦＢコンポー
ネントの組合わせを説明するための図である。
【図９】ストロークのビツト・マツプされたビツト集合
の例であつて、「筆跡の方向に基づくフイーチヤ」（Ｆ
Ｄ）の取り出しを説明するための図である。
の例であつて、「筆跡の方向に基づくフイーチヤ」（Ｆ
Ｄ）の取り出しを説明するための図である。
【図１０】静的なフイーチヤ・ベクトルの取り出しの前
に、入力ストロークの平均化及び縮小化を説明するため
の図である。
に、入力ストロークの平均化及び縮小化を説明するため
の図である。
【図１１】静的なフイーチヤ・ベクトルの取り出しの前
に、入力ストロークの平均化及び縮小化を説明するため
の図である。
に、入力ストロークの平均化及び縮小化を説明するため
の図である。
【図１２】静的なフイーチヤ・ベクトルの取り出しの前
に、入力ストロークの平均化及び縮小化を説明するため
の図である。
に、入力ストロークの平均化及び縮小化を説明するため
の図である。
【図１３】神経系的ネツトワーク認識装置の出力スコア
と疑似確率との間の変換を説明するためのグラフであ
る。
と疑似確率との間の変換を説明するためのグラフであ
る。
１０、１０' 手書き文字の認識（・ハードウエア）シ
ステム １２ デイジタイザ・タブレツト １４ スタイラス（ペン） １６ オンライン・ハードウエア・サブシステム １８、２９ 複製装置 ２０ ベクトルからラスタ変換器 ２２ オフライン・ハードウエア・サブシステム ２４ 併合処理装置 ２５ ＦＤプロセツサ ２６ セグメント化プロセツサ ２７ ＦＢプロセツサ
ステム １２ デイジタイザ・タブレツト １４ スタイラス（ペン） １６ オンライン・ハードウエア・サブシステム １８、２９ 複製装置 ２０ ベクトルからラスタ変換器 ２２ オフライン・ハードウエア・サブシステム ２４ 併合処理装置 ２５ ＦＤプロセツサ ２６ セグメント化プロセツサ ２７ ＦＢプロセツサ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ウイリアム・デイビッド・モドリン アメリカ合衆国 フロリダ州、ボカ・ラ トン、ノースイースト・ツゥエンティ ス・ストリート 255 (72)発明者 コッタパラム・エム・モヒューディン アメリカ合衆国 カリフォルニア州、サ ンノゼ、クウェイル・クリーク・サーク ル 1086 (72)発明者 高橋 弘晏 神奈川県横浜市緑区たちばな台１丁目18 −29 (56)参考文献 特開 平１−156889（ＪＰ，Ａ) 特開 昭61−143887（ＪＰ，Ａ) 特開 平４−279965（ＪＰ，Ａ) 特開 昭60−59489（ＪＰ，Ａ)
Claims (16)
- 【請求項１】ユーザからの手書き文字の入力に応答し
て、時間的に順序付けられた動的なストローク情報を出
力するための手書き文字変換手段と、 上記手書き文字変換手段の出力に接続されている入力を
有し、時間的に順序付けられた動的なストローク情報が
表わそうと意図している可能性のある少なくとも１つの
文字を含む第１のリストを決定するための第１の決定手
段と、 上記手書き文字変換手段の上記出力に接続されている入
力を有し、時間的に順序付けられた動的なストローク情
報を静的なストローク情報に変換するための変換手段
と、 上記手書き文字変換手段の出力に接続された入力を有
し、静的なストローク情報が表わす可能性のある少なく
とも１つの文字を含む第２のリストを決定するための第
２の決定手段と、 上記第１の決定手段の出力に接続された第１の入力と、
第２の決定手段の出力に接続された第２の入力とを有
し、時間的に順序付けられた動的なストローク情報が表
わそうと意図している可能性の高い少なくとも１つの文
字を含む第３のリストを与えるために、上記第１のリス
ト及び少なくとも１つの上記第２のリストを併合する手
段とからなる手書き文字の認識システム。 - 【請求項２】上記変換手段は静的なストローク情報の筆
跡の方向に基づいてストローク・フイーチヤを発生する
第１の発生手段を含む請求項１記載の手書き文字の認識
システム。 - 【請求項３】上記第２の決定手段はストローク・フイー
チヤを受け取るために、上記変換手段に接続された複数
個の入力ノードを有する少なくとも１つの神経系的ネツ
トワーク手段を含み、上記少なくとも１つの神経系的ネ
ツトワーク手段は前記ストローク・フイーチヤに応答し
て少なくとも１つの可能性のある文字を出力するための
少なくとも１つの出力ノードを有する請求項２記載の手
書き文字の認識システム。 - 【請求項４】上記変換手段は時間的に順序付けられた動
的なストローク情報に応答して、時間的に順序付けられ
た動的なストローク情報をＮ×Ｍビツト・マツプされた
表示に変換する手段を含み、上記第１の発生手段はビツ
ト・マツプされた表示に応答する請求項２記載の手書き
文字の認識システム。 - 【請求項５】上記時間的に順序付けられたストロークの
変換手段はストロークがＮ×Ｍビツト・マツプされた表
示中に完全に含まれるように、時間的に順序付けられた
動的なストローク情報を縮小する手段を含む請求項４記
載の手書き文字の認識システム。 - 【請求項６】ユーザからの手書き文字の入力に応答し
て、時間的に順序付けられた動的なストローク情報を与
えるステツプと、 時間的に順序付けられた動的なストローク情報を静的な
ストローク情報に変換するステツプと、 時間的に順序付けられた動的なストローク情報が表わそ
うと意図している可能性のある少なくとも１つの文字を
含む第１のリストを決定するステツプと、 静的なストローク情報が表わしている可能性のある少な
くとも１つの文字を含む第２のリストを決定するステツ
プと、 時間的に順序付けられた動的なストローク情報が表わそ
うと意図している可能性のある少なくとも１つの文字を
含む第３のリストを与えるために第１のリスト及び第２
のリストを併合するステツプとからなる手書き文字の認
識システムの動作方法。 - 【請求項７】変換するステツプは静的なストローク情報
の筆跡の方向に基づいたストローク・フイーチヤを発生
するステツプを含む請求項６記載の手書き文字認識シス
テムの動作方法。 - 【請求項８】第２のリストを決定するステツプは静的な
ストローク情報の筆跡の方向に基づいたストローク・フ
イーチヤを受け取るための複数個の入力ノードを持つ少
なくとも１つの神経系的ネツトワーク手段により行なわ
れることと、少なくとも１つの神経系的ネツトワーク手
段は前記ストローク・フイーチヤに応答して可能性ある
少なくとも１つの文字を出力するための少なくとも１つ
の出力ノードを有することとを含む請求項６記載の手書
き文字認識システムの動作方法。 - 【請求項９】変換するステツプは時間的に順序付けられ
た動的なストローク情報をＮ×Ｍビツト・マツプされた
表示にマツプするステツプを含む請求項６記載の手書き
文字認識システムの動作方法。 - 【請求項１０】マツプするステツプはストロークがＮ×
Ｍビツト・マツプされた表示の中に完全に含まれるよう
に、時間的に順序付けられた動的なストローク情報を縮
小するステツプを含む請求項９記載の手書き文字認識シ
ステムの動作方法。 - 【請求項１１】静的なストローク情報が表わしている可
能性のある少なくとも１つの文字を含む第２のリストを
決定するステツプは、 Ｎ×Ｍビット・マップ表示の中のプリミテイブ・フイー
チヤの発生個数をカウントし、カウントされた発生個数
に応答して、Ｎ×Ｍビツト・マツプされたイメージが表
わす１つ、またはそれ以上の文字を含む第２のリストを
発生するステツプ、 を含むことを特徴とする請求項９に記載の手書き文字の
認識方法。 - 【請求項１２】動的なストローク情報をセグメント化す
るステツプを含む請求項９に記載の手書き文字の認識方
法。 - 【請求項１３】第２のリストを発生するステツプは、プ
リミテイブ・フイーチヤの発生をカウントした信号を、
少なくとも１つの神経系的ネツトワーク手段の入力に印
加するステツプを含み、上記少なくとも１つの神経系的
ネツトワークは少なくとも１つの所定の文字を認識する
ように訓練されていることを含む請求項１１に記載の手
書き文字の認識方法。 - 【請求項１４】第２のリストを発生するステツプは、プ
リミテイブ・フイーチヤの発生をカウントした信号を複
数個の神経系的ネツトワーク手段の個々の入力に印加す
ることと、複数個の神経系的ネツトワークの各々は文字
の所定のクラスの中で少なくとも１つの所定の文字を認
識するように訓練されていることとを含む請求項１１に
記載の手書き文字の認識方法。 - 【請求項１５】プリミテイブ・フイーチヤの発生をカウ
ントするステツプは、 Ｎ×Ｍビツト・マツプされたイメージを複数個のスライ
スに区切るステツプと、 プリミテイブ・フイーチヤの発生を見つけるために、Ｎ
×Ｍビツト・マツプされたイメージ上にｉ×ｊマスクを
適用するステツプと、 複数個のスライスの各々の中の見つけられた位置付けら
れたプリミテイブ・フイーチヤの発生をカウントするス
テツプとを含む請求項１１記載の手書き文字の認識方
法。 - 【請求項１６】マスクを適用するステツプは筆跡の方向
に基いてプリミテイブ・フイーチヤを識別するステツプ
を含む請求項１５に記載の手書き文字の認識方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US61495 | 1993-05-12 | ||
| US08/061,495 US6011865A (en) | 1993-05-12 | 1993-05-12 | Hybrid on-line handwriting recognition and optical character recognition system |
| US061495 | 1993-05-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06348904A JPH06348904A (ja) | 1994-12-22 |
| JP2700130B2 true JP2700130B2 (ja) | 1998-01-19 |
Family
ID=22036160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6059239A Expired - Fee Related JP2700130B2 (ja) | 1993-05-12 | 1994-03-29 | 手書き文字の認識システム及び認識方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6011865A (ja) |
| EP (1) | EP0624853A3 (ja) |
| JP (1) | JP2700130B2 (ja) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9701793D0 (en) | 1997-01-29 | 1997-03-19 | Gay Geoffrey N W | Means for inputting characters or commands into a computer |
| US6167411A (en) * | 1998-06-22 | 2000-12-26 | Lucent Technologies Inc. | User interface for entering and editing data in data entry fields |
| US7155033B1 (en) * | 1999-02-01 | 2006-12-26 | Thomson Licensing | Coarse representation of visual object's shape for search/query/filtering applications |
| US7016885B1 (en) * | 2001-08-28 | 2006-03-21 | University Of Central Florida Research Foundation, Inc. | Self-designing intelligent signal processing system capable of evolutional learning for classification/recognition of one and multidimensional signals |
| US7283669B2 (en) * | 2003-01-29 | 2007-10-16 | Lockheed Martin Corporation | Fine segmentation refinement for an optical character recognition system |
| US20040146200A1 (en) * | 2003-01-29 | 2004-07-29 | Lockheed Martin Corporation | Segmenting touching characters in an optical character recognition system to provide multiple segmentations |
| US20050111735A1 (en) * | 2003-11-21 | 2005-05-26 | International Business Machines Corporation | Video based handwriting recognition system and method |
| US7428516B2 (en) * | 2005-06-23 | 2008-09-23 | Microsoft Corporation | Handwriting recognition using neural networks |
| US7715629B2 (en) * | 2005-08-29 | 2010-05-11 | Microsoft Corporation | Style aware use of writing input |
| US7633493B2 (en) * | 2006-06-19 | 2009-12-15 | International Business Machines Corporation | Camera-equipped writing tablet apparatus for digitizing form entries |
| US7724957B2 (en) * | 2006-07-31 | 2010-05-25 | Microsoft Corporation | Two tiered text recognition |
| JP4873554B2 (ja) * | 2006-12-25 | 2012-02-08 | 株式会社リコー | 画像配信装置および画像配信方法 |
| US8768062B2 (en) | 2010-11-09 | 2014-07-01 | Tata Consulting Services Limited | Online script independent recognition of handwritten sub-word units and words |
| JP5418576B2 (ja) * | 2011-11-28 | 2014-02-19 | コニカミノルタ株式会社 | 情報閲覧装置及び表示制御プログラム |
| US9591339B1 (en) | 2012-11-27 | 2017-03-07 | Apple Inc. | Agnostic media delivery system |
| US9774917B1 (en) | 2012-12-10 | 2017-09-26 | Apple Inc. | Channel bar user interface |
| US10200761B1 (en) | 2012-12-13 | 2019-02-05 | Apple Inc. | TV side bar user interface |
| US9532111B1 (en) | 2012-12-18 | 2016-12-27 | Apple Inc. | Devices and method for providing remote control hints on a display |
| US10521188B1 (en) | 2012-12-31 | 2019-12-31 | Apple Inc. | Multi-user TV user interface |
| US20140361983A1 (en) * | 2013-06-09 | 2014-12-11 | Apple Inc. | Real-time stroke-order and stroke-direction independent handwriting recognition |
| US9495620B2 (en) | 2013-06-09 | 2016-11-15 | Apple Inc. | Multi-script handwriting recognition using a universal recognizer |
| US9898187B2 (en) | 2013-06-09 | 2018-02-20 | Apple Inc. | Managing real-time handwriting recognition |
| US9330331B2 (en) | 2013-11-11 | 2016-05-03 | Wipro Limited | Systems and methods for offline character recognition |
| US9864509B2 (en) | 2014-06-24 | 2018-01-09 | Apple Inc. | Character recognition on a computing device |
| JP6496752B2 (ja) | 2014-06-24 | 2019-04-03 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | 入力デバイス及びユーザインターフェース対話 |
| US10650052B2 (en) | 2014-06-24 | 2020-05-12 | Apple Inc. | Column interface for navigating in a user interface |
| CN106446896B (zh) * | 2015-08-04 | 2020-02-18 | 阿里巴巴集团控股有限公司 | 一种字符分割方法、装置及电子设备 |
| DK179374B1 (en) | 2016-06-12 | 2018-05-28 | Apple Inc | Handwriting keyboard for monitors |
| DK201670581A1 (en) | 2016-06-12 | 2018-01-08 | Apple Inc | Device-level authorization for viewing content |
| DK201670582A1 (en) | 2016-06-12 | 2018-01-02 | Apple Inc | Identifying applications on which content is available |
| US11966560B2 (en) | 2016-10-26 | 2024-04-23 | Apple Inc. | User interfaces for browsing content from multiple content applications on an electronic device |
| CN108509955B (zh) * | 2017-02-28 | 2022-04-15 | 柯尼卡美能达美国研究所有限公司 | 用于字符识别的方法、系统和非瞬时计算机可读介质 |
| US10192127B1 (en) | 2017-07-24 | 2019-01-29 | Bank Of America Corporation | System for dynamic optical character recognition tuning |
| US10346702B2 (en) | 2017-07-24 | 2019-07-09 | Bank Of America Corporation | Image data capture and conversion |
| US11683565B2 (en) | 2019-03-24 | 2023-06-20 | Apple Inc. | User interfaces for interacting with channels that provide content that plays in a media browsing application |
| US11467726B2 (en) | 2019-03-24 | 2022-10-11 | Apple Inc. | User interfaces for viewing and accessing content on an electronic device |
| CN113711169A (zh) | 2019-03-24 | 2021-11-26 | 苹果公司 | 包括内容项的可选表示的用户界面 |
| CN113906419A (zh) | 2019-03-24 | 2022-01-07 | 苹果公司 | 用于媒体浏览应用程序的用户界面 |
| US11863837B2 (en) | 2019-05-31 | 2024-01-02 | Apple Inc. | Notification of augmented reality content on an electronic device |
| US11797606B2 (en) | 2019-05-31 | 2023-10-24 | Apple Inc. | User interfaces for a podcast browsing and playback application |
| US11194467B2 (en) | 2019-06-01 | 2021-12-07 | Apple Inc. | Keyboard management user interfaces |
| CN110956133A (zh) * | 2019-11-29 | 2020-04-03 | 上海眼控科技股份有限公司 | 单字符文本归一化模型训练方法、文本识别方法及装置 |
| US11843838B2 (en) | 2020-03-24 | 2023-12-12 | Apple Inc. | User interfaces for accessing episodes of a content series |
| US11899895B2 (en) | 2020-06-21 | 2024-02-13 | Apple Inc. | User interfaces for setting up an electronic device |
| CN112132050B (zh) * | 2020-09-24 | 2024-03-29 | 北京计算机技术及应用研究所 | 联机手写汉字识别算法及可视化关键笔画评估方法 |
| US11720229B2 (en) | 2020-12-07 | 2023-08-08 | Apple Inc. | User interfaces for browsing and presenting content |
| US11934640B2 (en) | 2021-01-29 | 2024-03-19 | Apple Inc. | User interfaces for record labels |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US31692A (en) * | 1861-03-12 | Improvement in mowing-machines | ||
| JPS6249483A (ja) * | 1985-08-28 | 1987-03-04 | Hitachi Ltd | 実時間手書き文字認識の文字入力方式 |
| NL265383A (ja) * | 1960-05-31 | |||
| USRE31692E (en) | 1972-05-02 | 1984-10-02 | Optical Recognition Systems, Inc. | Combined magnetic optical character reader |
| US3949363A (en) * | 1974-06-28 | 1976-04-06 | Recognition Equipment, Incorporated | Bar-Code/MICR/OCR merge |
| US4024500A (en) * | 1975-12-31 | 1977-05-17 | International Business Machines Corporation | Segmentation mechanism for cursive script character recognition systems |
| JPS5580183A (en) * | 1978-12-12 | 1980-06-17 | Nippon Telegr & Teleph Corp <Ntt> | On-line recognition processing system of hand-written character |
| JPS5827551B2 (ja) * | 1979-05-18 | 1983-06-10 | 日本電信電話株式会社 | オンライン手書き文字認識方式 |
| JPS59725A (ja) * | 1982-06-28 | 1984-01-05 | Canon Inc | 入力装置 |
| JPS5975375A (ja) * | 1982-10-21 | 1984-04-28 | Sumitomo Electric Ind Ltd | 文字認識装置 |
| JPS5998283A (ja) * | 1982-11-27 | 1984-06-06 | Hitachi Ltd | パターン切出しおよび認識方法、ならびにそのシステム |
| US4628532A (en) * | 1983-07-14 | 1986-12-09 | Scan Optics, Inc. | Alphanumeric handprint recognition |
| JPS6059489A (ja) * | 1983-09-12 | 1985-04-05 | Oki Electric Ind Co Ltd | 文字認識装置 |
| JPS60136892A (ja) * | 1983-12-26 | 1985-07-20 | Hitachi Ltd | オンライン手書き図形認識装置 |
| GB8404827D0 (en) * | 1984-02-24 | 1984-03-28 | De La Rue Co Plc | Sign verification |
| JPH0650538B2 (ja) * | 1984-03-28 | 1994-06-29 | 株式会社日立製作所 | 手書き文字・図形認識の認識モード指定方法 |
| US4731857A (en) * | 1984-06-29 | 1988-03-15 | International Business Machines Corporation | Recognition system for run-on handwritten characters |
| CA1223366A (en) * | 1984-09-27 | 1987-06-23 | Abijah S. Fox | System for automatic adjustment and editing of handwritten text images |
| JPS61143887A (ja) * | 1984-12-18 | 1986-07-01 | Matsushita Electric Ind Co Ltd | 文字認識装置 |
| US4764972A (en) * | 1985-05-23 | 1988-08-16 | Nec Corporation | Continuous characters recognition system |
| JPS6282486A (ja) * | 1985-10-08 | 1987-04-15 | Hitachi Ltd | オンライン手書き図形認識装置 |
| US4837842A (en) * | 1986-09-19 | 1989-06-06 | Holt Arthur W | Character and pattern recognition machine and method |
| JPH07107708B2 (ja) * | 1986-09-26 | 1995-11-15 | 株式会社日立製作所 | パタ−ン認識方法 |
| US4805225A (en) * | 1986-11-06 | 1989-02-14 | The Research Foundation Of The State University Of New York | Pattern recognition method and apparatus |
| US5034989A (en) * | 1987-12-11 | 1991-07-23 | Loh Shiu Chang | On-line handwritten character recognition apparatus with non-ambiguity algorithm |
| JPH01156889A (ja) * | 1987-12-14 | 1989-06-20 | Nippon Telegr & Teleph Corp <Ntt> | オンライン手書き文字認識方式 |
| DE3822671A1 (de) * | 1988-07-05 | 1990-01-11 | Kromer Theodor Gmbh & Co Kg | Verfahren und vorrichtung zum elektronischen vergleichen von linienzuegen |
| US5109426A (en) * | 1989-11-10 | 1992-04-28 | National Research Development Corporation | Methods and apparatus for signature verification |
| US5029223A (en) * | 1990-02-02 | 1991-07-02 | International Business Machines Corporation | Constraint driven-on line recognition of handwritten characters and symbols |
| JPH04279965A (ja) * | 1991-03-07 | 1992-10-06 | Koizumi Sangyo Kk | パターン認識装置 |
| US5105468A (en) * | 1991-04-03 | 1992-04-14 | At&T Bell Laboratories | Time delay neural network for printed and cursive handwritten character recognition |
| US5491758A (en) * | 1993-01-27 | 1996-02-13 | International Business Machines Corporation | Automatic handwriting recognition using both static and dynamic parameters |
-
1993
- 1993-05-12 US US08/061,495 patent/US6011865A/en not_active Expired - Fee Related
-
1994
- 1994-03-29 JP JP6059239A patent/JP2700130B2/ja not_active Expired - Fee Related
- 1994-04-15 EP EP94105890A patent/EP0624853A3/en not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| EP0624853A3 (en) | 1995-02-22 |
| US6011865A (en) | 2000-01-04 |
| JPH06348904A (ja) | 1994-12-22 |
| EP0624853A2 (en) | 1994-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2700130B2 (ja) | 手書き文字の認識システム及び認識方法 | |
| Bhattacharya et al. | On recognition of handwritten Bangla characters | |
| US7729538B2 (en) | Spatial recognition and grouping of text and graphics | |
| Perwej et al. | Neural networks for handwritten English alphabet recognition | |
| EP1971957B1 (en) | Methods and apparatuses for extending dynamic handwriting recognition to recognize static handwritten and machine generated text | |
| US7929769B2 (en) | Script recognition for ink notes | |
| JP3452774B2 (ja) | 文字認識方法 | |
| JPH08180139A (ja) | 拘束のない手書き英数字のオンライン認識の方法及び装置 | |
| JP2005228328A (ja) | デジタルインク質疑検索装置及びその方法 | |
| WO2018090011A1 (en) | System and method of character recognition using fully convolutional neural networks | |
| Al Abodi et al. | An effective approach to offline Arabic handwriting recognition | |
| Wang | Character and handwriting recognition: Expanding frontiers | |
| Al Aghbari et al. | HAH manuscripts: A holistic paradigm for classifying and retrieving historical Arabic handwritten documents | |
| US11837001B2 (en) | Stroke attribute matrices | |
| CN111832390B (zh) | 一种手写古文字检测方法 | |
| Oladele et al. | Offline yorùbá handwritten word recognition using geometric feature extraction and support vector machine classifier | |
| JPH08320914A (ja) | 表認識方法および装置 | |
| Sagar et al. | OCR for printed Kannada text to machine editable format using database approach | |
| Mandal et al. | A Novel Approach of Normalization for Online Handwritten Characters using Geometrical Parameters on a 2D Plane | |
| Welekar et al. | Survey on existing techniques for writer verification | |
| Imama et al. | A Slice-based Character Recognition Technique for Handwritten Devanagari Script | |
| Alsurori et al. | Review on Arabic Handwritten Recognition Using Deep Learning and Machine Learning | |
| Choi et al. | Constraints on handwriting Korean characters to improve the machine readability | |
| Sahle | Segmentation of Real Life Amharic Documents for Improving Recognition | |
| Hamad et al. | Integrated multi-layer perceptron neural network and novel feature extraction for handwritten Arabic recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |