JP3051628B2 - 文字認識方法及び装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は文字認識方法及び装置に
関し、特に視線情報を利用したオンライン手書き文字認
識のための文字認識方法及び装置に関する。

【０００２】

【従来の技術】現在、日本語等のオンライン手書き文字
認識において、その認識単位は１文字である。この場
合、入力された文章から、１文字１文字を切り分けるこ
とが必要である。従来、１文字１文字の文字切りは、枠
に１文字ずつ入力するか、ペンアップからの経過時間に
よって判断するという方法で実現されていた。また、入
力された文章が縦書きか、横書きか等を判別するために
は、筆記者が文章形態（縦書き／横書き）が変化する毎
に現在の文章形態を指示していた。

【０００３】

【発明が解決しようする課題】しかしながら、枠を用い
た文字切り方法では筆記入力に際して位置、大きさの制
限を受けてしまう。また、時間間隔による文字切り方法
はでは文字切りの検出が不確実となる上に、文字切り認
識のための待ち時間が必要となる。このため、筆記者が
紙に書くように自然に文章を書いて、それを認識すると
いうことができない。更に、筆記者が文章形態（縦書き
／横書き）が変化する毎に現在の文章形態を指示するよ
うな方式では、例えば縦書き横書き混合文章の場合、い
ちいち縦書き横書きの指示をするのが面倒になるという
問題がある。

【０００４】本発明は上記の問題点に鑑みてなされたも
のであり、手書き文字入力時の視線の移動に基づいて文
字切り等の入力状態の判定を行うことを可能とし、手書
き文字入力の操作性を向上する文字認識方法及び装置を
提供することを目的とする。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による文字認識装置は、手書き文字の認識を
行う文字認識装置であって、手書き文字を入力する入力
手段と、前記入力手段による手書き文字の入力時におけ
る視線位置を検出する第１検出手段と、前記第１検出手
段により検出された視線位置より視線の移動に基づく移
動情報を獲得する獲得手段と、前記移動情報に基づいて
前記入力手段において入力された手書き文字の入力状態
を検出する第２検出手段と、前記第２検出手段により検
出された入力状態に基づいて前記入力手段において入力
された手書き文字の認識を行う認識手段とを備えること
を特徴とする。

【０００６】又、上記の目的を達成するための本発明に
よる文字認識方法は、手書き文字の認識を行う文字認識
方法であって、手書き文字を入力する入力工程と、前記
入力工程による手書き文字の入力時における視線位置を
検出する第１検出工程と、前記第１検出工程により検出
された視線位置より視線の移動に基づく移動情報を獲得
する獲得工程と、前記移動情報に基づいて前記入力工程
において入力された手書き文字の入力状態りを検出する
第２検出工程と、前記第２検出工程により検出された入
力状態に基づいて前記入力工程において入力された手書
き文字の認識を行う認識工程とを備えることを特徴とす
る。

【０００７】

【作用】上述の構成により、手書き文字入力時における
視線の移動に基づいて、入力文字の入力状態が検出され
る。ここで、入力状態とは、例えば１文字の区切りや文
節の区切り、縦書き入力か横書き入力か等である。この
ため、筆記者が文字の区切り等を意識することなく手書
き文字の入力を行っても自動的に文字の区切等が検出さ
れる。

【０００８】

【実施例】以下、図面に基づいて本発明の好適な実施例
を説明する。

【０００９】＜実施例１＞図１は実施例１の文字認識装
置の構成を示すブロック図である。本文字認識装置は、
座標入力装置１０１、表示装置１０２、中央処理装置
（ＣＰＵ）１０３、メモリ１０４、視線入力装置１０５
から構成される。

【００１０】座標入力装置１０１はデジタイザとペンを
有し、デジタイザの上にペンによって入力された文字や
図形の座標データをＣＰＵ１０３に渡す。表示装置１０
２は座標入力手段１０１に入力された生の座標データ
（入力軌跡）やＣＰＵ１０３が認識した結果である認識
文字を表示する。ＣＰＵ１０３は入力された文字の認識
を行なったり、すべての装置の制御を行なったりする。
メモリ１０４はＣＰＵ１０３が使用する認識プログラム
や辞書を格納するＲＯＭや、入力された座標データ、視
線データ、認識プログラムの使用する変数等を一時的に
記憶するＲＡＭを有する。視線入力装置１０５は、公知
技術を用いて筆記者の視線を感知し、その結果をＣＰＵ
１０３に送る。例えば、視線入力装置１０５では、角膜
の位置を光反射用いて検出する方法等が挙げられる。

【００１１】図２は本実施例１の文字認識装置の概略の
機能構成を表す機能ブロック図である。又、図３は実施
例１の文字認識装置における１文字の切り出し手順を説
明するフローチャートである。以下に図２及び図３を参
照して本実施例１の動作を詳細に説明する。

【００１２】まず、ステップＳ１において、文字入力期
間中であるか否かを判定する。ここで文字入力期間と
は、ペンダウンよりペンアップまでの期間と、ペンアッ
プ後の所定の時間を含む期間である。尚、ペンアップ後
の所定の時間は、文字と文字の間を視線が移動する状態
を検出するのに必要なものである。文字入力期間中であ
ると判定されれば視線の位置を検出するべくステップＳ
２へ進む。一方、文字入力期間中でない場合は本ステッ
プＳ１を繰り返すことで、視線位置の検出が必要となる
タイミングまで待機する。文字入力部２０１において筆
記者が座標入力装置１０１に文字を入力していくと、ペ
ンダウンが検出されるので当然文字入力期間中となり、
処理はステップＳ２に進む。又、文字入力部２０１にお
いて入力された文字の各点の位置座標は、バッファ２０
１ａに格納される。

【００１３】一方、ステップＳ２〜ステップＳ９では、
入力期間中の視線位置の移動に基づいて１文字分の切り
出しを行う。まず、その処理概要を図２及び図４を用い
て以下に説明する。

【００１４】文字入力操作と同時に、視線入力部２０２
は、視線入力装置１０５により筆記者の視線を感知し、
その動きを追跡する。図４は文字の入力状態と視線の検
出状態を説明する図である。図４の様に筆記者は文章を
紙に書くように自然に入力枠３０１に入力していく。そ
の時の視線の動きをウインドウ３０２（以後、視線枠３
０２と称する）に示す。尚、視線枠３０２の枠と入力枠
３０１は実際は重なっている。視線枠３０２に示される
ように、一般に、筆記者の視線は、１つの文字を書いて
いる間は停滞しているが、新たな文字に筆記が移動する
毎に極端に同一方向へ移動する。

【００１５】このことを利用して、切り分け部２０３で
は、文字入力部２０１より入力された文字列を１文字ず
つに区切っていく。こうして切り分けられた１文字分の
手書き文字データはオンライン手書き文字認識を行う認
識部２０４へ出力される。オンライン手書き文字認識部
２０４ではパターンマッチング等の手法により文字の認
識を行い、この認識結果を認識結果処理部２０５へ出力
する。認識結果処理部２０５では例えば表示装置１０２
に認識結果を表示する。

【００１６】次に、図３のステップＳ２〜ステップＳ９
を参照するとともに、図５を用いて切り分け部２０３の
動きを詳細に説明する。図５は切り分け部２０３の動作
を説明する図である。

【００１７】まず、視線入力装置１０５によって入力さ
れた視線位置はバッファ４０１に蓄えられる。この処理
はある時間間隔をおいて（例えば１０ms毎）行われる
（ステップＳ２、ステップＳ３、ステップＳ４）。そし
て、差分抽出部４０２は、新たな視線位置データがバッ
ファ４０１に入力される毎に、バッファ４０１に現在保
持されている視線データと新たな視線データの差分をと
る（ステップＳ５）。この差分の情報はベクトル量であ
り、方向情報４０３ａと距離情報４０３ｂを有する。
尚、方向情報４０３ｂは、例えば８方向ベクトル４０５
により、８方向に量子化されている。

【００１８】次に、累積部４０４は、抽出された差分ベ
クトルをチェックし、方向に変化がなければ、その移動
距離を累積していく（ステップＳ６、ステップＳ７）。
そして、判定部４０５は、その累積値がある値（＝いき
値）を超えたか否かを判定する。この判定の結果、累積
値がいき値を越えている時、文字の区切りが検出された
として、検出信号２０３ａを文字入力部２０１に出力す
る（ステップＳ８、ステップＳ９）。文字入力部２０１
は入力文字の点座標を蓄えているバッファ２０１ａの内
容を認識部２０４に転送する。このようにして、視線が
一つの方向へ大きく変化したときに、文字の切り出しが
行われることになる。

【００１９】尚、視線の移動距離の累積ではなく、前回
と視線の移動方向が同じとなる回数を累積して文字の区
切りを判定するようにしても良い。更に、多少検出が荒
くなるが、視線の移動距離だけをチェックし、所定値以
上の移動距離を検出した場合に文字区切りを判定するよ
うにしてもよい。

【００２０】以上説明したように、本実施例１によれ
ば、視線の移動を検出して自動的に文字の切り出しを行
うので、文字の区切りを認識させるための枠や、時間的
な入力間隔を考慮する必要がなくなり、入力時の煩雑さ
が解消される。

【００２１】尚、視線の移動をより大きな範囲でチェッ
クするようにすると、例えば、文節の区切りを検出する
ことができる。図６は文字の入力状態と視線の検出状態
を説明する図である。図６のように、筆記者の視線は文
節毎に大きく移動する傾向がある。したがって、上述と
同様の処理を用いて、文章を文節単位で分割できる。こ
のように文節の区切りを検出することにより、単語とし
ての認識が可能となるので、単語辞書を併用することに
より認識文字の候補を絞ったり、誤認識に対する修正を
行うことが可能となる。

【００２２】＜実施例２＞実施例１において、筆記者の
自然な視線の動きを用いて、入力文章を文字単位もしく
は文節単位に分割した。実施例２では、筆記者が意識的
に視線を動かすことにより、筆記者の所望の場所で文章
の切り分けを可能とする方法を提供する。尚、実施例２
の文字認識装置は実施例１と同様の構成（図１、図２）
を有するのでここでは説明を省略する。

【００２３】図７は実施例２の文字の入力状態と視線の
検出状態を説明する図である。実施例１と同様に筆記者
は、入力枠６０１に、紙に書くように自然に文章を入力
していく。本実施例２においては、この入力枠６０１に
リセットポイント６０２が付加されている。筆記者はこ
のリセットポイントを見る毎に、入力文章を切り分け
て、認識させることができる。参考として、この時の視
線の動きを図６の視線検出枠６０３に示す。尚、視線検
出枠６０３の入力枠６０１は、実施例１と同様に実際は
重なっている。

【００２４】本実施例２における切り分け部２０３（図
２）の動作は非常に単純なものとなる。図８は実施例２
の動作手順を表すフローチャートである。同図において
実施例１と同様の処理については同一のステップ番号を
付しここでは説明を省略する。本実施例２の切り分け部
２０３においては、視線入力装置１０５（図１）により
視線がリセットポイント６０２上にあるという情報が検
出されたときに区切りの検出信号２０３ａが出力される
ように構成される（ステップＳ２１、ステップＳ２
２）。この検出信号２０３ａにより、即座に入力文章の
切り分けが行われる。

【００２５】尚、上述のステップＳ２１において、リセ
ットポイント６０２に視線が停滞している時間がいき値
（例えば、１００ms) を超えたときに、入力文章の切り
分けを実行するように構成してもよい。

【００２６】また、実施例２において、図７ではリセッ
トポイント６０２が１種類のボタンで構成されている
が、図９に示すように、カタカナボタン、平仮名ボタ
ン、漢字ボタン、数字ボタン等の文字の種類を指定する
ボタンを用いて、切り分ける文字群の種類を特定するよ
うにしても良い。このように文字の種類を指定すること
で、文字認識時の検査対象範囲を狭くし、より高速な認
識装置が提供できる。

【００２７】尚、実施例２において、文字単位の切り出
しを行うには、１文字入力する毎にリセットポイントに
視線を移動するようにすればよい。また、実施例１の１
文字の切り出し方法と併用してもよいことはもちろんで
ある。

【００２８】以上説明したように、実施例２では、各種
の指示を視線の移動のみで指定できるので、指示入力の
ために筆記を中断したりする必要がなく、手書き文字入
力装置の操作性が向上することは明かである。

【００２９】＜実施例３＞実施例１、２においては、横
書きで文章の入力が行われる例を示した。しかしなが
ら、例えば日本語入力の場合、縦書きと横書きが共存す
るような状況が発生することがある。実施例３では、こ
ういった場合における文章の切り分け方法を提供する。

【００３０】図１０は本実施例３の機能構成を表す機能
ブロック図である。尚、実施例１（図２）と同様の機能
構成については同一の参照番号を付し、ここでは説明を
省略する。実施例１における文章入力部２０１、視線入
力部２０２、切り分け部２０３、認識部２０４、認識結
果処理部２０５による一連の処理は実施例１と同様であ
る。本実施例３では、縦書き／横書き判断部７０６を有
する。この視線入力部２０２より入力される視線位置情
報より、現在の手書き入力が縦書きで行われているか横
書きで行われているかを判断し、その検出信号７０６ａ
を認識部２０４に出力する。認識部２０４は、縦書きか
横書きかを示す検出信号７０６ａに従って、入力形式を
識別することができる。

【００３１】次に、縦書き／横書き判断部７０６の動作
について、更に詳しく説明する。

【００３２】図１１は実施例３における文字の入力状態
と視線の検出状態を説明する図である。同図において、
入力枠８０１は横書き、入力枠８０３は縦書きの文章入
力形態を図示したものである。また、その時の視線の動
きをそれぞれ視線枠８０２、８０４に示す。尚、視線枠
８０２、８０４のウインドウは実際には８０１、８０３
と重なっている。図１１に示す通り、横書きの場合は平
均的に横方向への視線の移動が多く、縦書きの場合は平
均的に縦方向への視線移動が多い。本実施例３ではこの
ことを利用して入力文字列が縦書きか横書きかを判定す
る。

【００３３】図１２は縦書き／横書き判断部７０６の機
能構成を表すブロック図である。又、図１３は実施例３
の縦書き／横書き判断部７０６の動作を説明するための
フローチャートである。図１２において、実施例１（図
５）と同様の機能を有する構成には同一の参照番号を付
しここでは詳細な説明を省略する。更に、図１３のフロ
ーチャートにおいて、図３と同様の処理には同一のステ
ップ番号を付しここでは詳細な説明を省略する。尚、図
１３のフローチャートで示される処理は、図３で示され
る文字切り出しの処理と並行して実行される。

【００３４】実施例１において説明したように、文字入
力期間中において差分抽出部４０２からは所定の時間間
隔で視線位置の差分が抽出され、視線の動きがベクトル
として取り出される（距離情報４０３ａ及び４０３ｂ）
（以上ステップＳ１〜ステップＳ５）。統計処理部９０
４は、差分抽出部４０２より得られる距離情報４０３ａ
と方向情報４０３ｂより統計処理をおこなう（ステップ
Ｓ３１）。例えば、８方向ベクトル４０５に示されるよ
うに８方向毎の距離を加算していく。そしてそれらの平
均値を求める。そして、サンプル数がある程度増えた後
で、視線の移動方向に左右向き、または上下向きの方向
に平均値の偏りが生じたら、その偏った方向を入力文章
の方向（左右向きの偏りが生じた場合横書きで、上下向
きの偏りが生じた場合縦書き）とする（ステップＳ３
２）。また、方向の変化する回数を数えて、左右方向の
変化が上下方向の変化より顕著に多い場合横書きとし、
それと反対の場合を縦書きとして判断するようにしても
よい。こうして得られた縦書きか横書きかの判定結果
は、統計処理部９０４より検出信号７０６ａとして認識
部２０４に出力される（ステップＳ３３）。

【００３５】以上説明したように実施例３によれば、視
線の移動情報より入力中の文字列が縦書き、横書きのい
ずれで入力されているのかが識別されるので、使用者が
縦書き横書きを変更する都度指定のやり直しを行う必要
がなくなり、操作性が向上する。

【００３６】以上説明した様に、上述の各実施例によれ
ば、筆記者の視線を感知しその情報を分析することによ
り、筆記者が紙に書くように自然に文章を入力した場合
であっても、その文章を文字または文節に切り分けて認
識することができるといる効果がある。また、文章が縦
書きか横書きかを自動的に判断し、認識、表示できると
いう効果もある。

【００３７】また、筆記者が文章を入力している途中
で、その筆記動作を中断することなく、所望の位置で文
章を切ることができ、かつ切り分けた文字群の種類を特
定するという指示を視線の移動のみで行えるので、操作
性が極めて向上する。

【００３８】尚、本発明は、複数の機器から構成される
システムに適用しても１つの機器からなる装置に適用し
ても良い。また、本発明はシステム或いは装置に本発明
により規定される処理を実行させるプログラムを供給す
ることによって達成される場合にも適用できることはい
うまでもない。

【００３９】

【発明の効果】以上説明したように、本発明によれば、
手書き文字入力時の視線の移動に基づいて文字切り等の
入力状態の判定を行うことが可能となり、手書き文字入
力の操作性が向上する。

【００４０】

【図面の簡単な説明】

【図１】実施例１の文字認識装置の構成を示すブロック
図である。

【図２】本実施例１の文字認識装置の概略の機能構成を
表す機能ブロック図である。

【図３】実施例１の文字認識装置における１文字の切り
出し手順を説明するフローチャートである。

【図４】文字の入力状態と視線の検出状態を説明する図
である。

【図５】切り分け部の動作を説明する図である。

【図６】文字の入力状態と視線の検出状態を説明する図
である。

【図７】実施例２の文字の入力状態と視線の検出状態を
説明する図である。

【図８】実施例２の動作手順を表すフローチャートであ
る。

【図９】実施例２の文字の入力状態と視線の検出状態の
他の例を表す図である。

【図１０】本実施例３の機能構成を表す機能ブロック図
である。

【図１１】実施例３における文字の入力状態と視線の検
出状態を説明する図である。

【図１２】縦書き／横書き判断部の機能構成を表すブロ
ック図である。

【図１３】実施例３の縦書き／横書き判断部の動作を説
明するためのフローチャートである。

【符号の説明】

１０１ 座標入力装置 １０２ 表示装置 １０３ ＣＰＵ １０４ メモリ １０５ 視線入力装置 ２０１ 文章入力部 ２０２ 視線入力部 ２０３ 切り分け部 ２０４ 認識部 ２０５ 認識結果処理部

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/62

Claims (14)

(57)【特許請求の範囲】
1. 【請求項１】 手書き文字の認識を行う文字認識装置で
   あって、 手書き文字を入力する入力手段と、 前記入力手段による手書き文字の入力時における視線位
   置を検出する第１検出手段と、 前記第１検出手段により検出された視線位置より視線の
   移動に基づく移動情報を獲得する獲得手段と、 前記移動情報に基づいて前記入力手段において入力され
   た手書き文字の入力状態を検出する第２検出手段と、 前記第２検出手段により検出された入力状態に基づいて
   前記入力手段において入力された手書き文字の認識を行
   う認識手段とを備えることを特徴とする文字認識装置。
2. 【請求項２】 前記第２検出手段は、前記視線位置が同
   じ方向に所定量以上移動したとことが前記移動情報より
   判定されたとき、前記入力手段において入力された手書
   き文字の区切りとして検出することを特徴とする請求項
   １に記載の文字認識装置。
3. 【請求項３】 前記第２検出手段において検出される手
   書き文字の区切りは、１文字毎の区切りであることを特
   徴とする請求項２に記載の文字認識装置。
4. 【請求項４】 前記第２検出手段において検出される手
   書き文字の区切りが文節であることを特徴とする請求項
   ２に記載の文字認識装置。
5. 【請求項５】 手書き文字の認識を行う文字認識装置で
   あって、 手書き文字を入力する入力手段と、 前記入力手段による手書き文字の入力時における視線位
   置を検出する第１検出手段と、 前記第１検出手段により検出された視線位置より、視線
   が所定の領域に移動したことを検出する第２検出手段
   と、 前記第２検出手段により前記所定の領域に視線が移動し
   たことが検出されたとき前記入力手段で入力された手書
   き文字の区分けを行う区分け手段と、 前記区分け手段による区分けに基づいて前記入力手段に
   おいて入力された手書き文字の認識を行う認識手段とを
   備えることを特徴とする文字認識装置。
6. 【請求項６】 手書き文字の認識を行う文字認識装置で
   あって、 手書き文字を入力する入力手段と、 前記入力手段による手書き文字の入力時における視線位
   置を検出する第１検出手段と、 前記第１検出手段により検出された視線位置より、視線
   が複数の所定領域のいずれかに移動したことを検出する
   第２検出手段と、 前記第２検出手段により前記複数の所定領域のいずれか
   に移動したことが視線が移動したことが検出されたとき
   前記入力手段で入力された手書き文字の区分けを行う区
   分け手段と、 前記複数の所定領域のそれぞれには文字の種別が割り当
   てられており、前記視線の移動先の所定領域に割り当て
   られた文字の種別を獲得する獲得手段と、 前記区分け手段による区分けと前記獲得手段により獲得
   された文字の種別とに基づいて前記入力手段において入
   力された手書き文字の認識を行う認識手段とを備えるこ
   とを特徴とする文字認識装置。
7. 【請求項７】 前記第１検出手段により検出された視線
   位置の移動状態に基づいて前記入力手段における入力が
   縦書きであるか横書きであるかを判定する判定手段を更
   に備えることを特徴とする請求項１に記載の文字認識装
   置。
8. 【請求項８】 手書き文字の認識を行う文字認識方法で
   あって、 手書き文字を入力する入力工程と、 前記入力工程による手書き文字の入力時における視線位
   置を検出する第１検出工程と、 前記第１検出工程により検出された視線位置より視線の
   移動に基づく移動情報を獲得する獲得工程と、 前記移動情報に基づいて前記入力工程において入力され
   た手書き文字の区切りを検出する第２検出工程と、 前記第２検出工程により検出された区切りに基づいて前
   記入力工程において入力された手書き文字の認識を行う
   認識工程とを備えることを特徴とする文字認識方法。
9. 【請求項９】 前記第２検出工程は、前記視線位置が同
   じ方向に所定量以上移動したとことが前記移動情報より
   判定されたとき、前記入力工程において入力された手書
   き文字の区切りとして検出することを特徴とする請求項
   ８に記載の文字認識方法。
10. 【請求項１０】 前記第２検出工程において検出される
    手書き文字の区切りは、１文字毎の区切りであることを
    特徴とする請求項８に記載の文字認識方法。
11. 【請求項１１】 前記第２検出工程において検出される
    手書き文字の区切りが文節であることを特徴とする請求
    項９に記載の文字認識方法。
12. 【請求項１２】 手書き文字の認識を行う文字認識方法
    であって、 手書き文字を入力する入力工程と、 前記入力工程による手書き文字の入力時における視線位
    置を検出する第１検出工程と、 前記第１検出工程により検出された視線位置より、視線
    が所定の領域に移動したことを検出する第２検出工程
    と、 前記第２検出工程により前記所定の領域に視線が移動し
    たことが検出されたとき前記入力工程で入力された手書
    き文字の区分けを行う区分け工程と、 前記区分け工程による区分けに基づいて前記入力工程に
    おいて入力された手書き文字の認識を行う認識工程とを
    備えることを特徴とする文字認識方法。
13. 【請求項１３】 手書き文字の認識を行う文字認識方法
    であって、 手書き文字を入力する入力工程と、 前記入力工程による手書き文字の入力時における視線位
    置を検出する第１検出工程と、 前記第１検出工程により検出された視線位置より、視線
    が複数の所定領域のいずれかに移動したことを検出する
    第２検出工程と、 前記第２検出工程により前記複数の所定領域のいずれか
    に移動したことが視線が移動したことが検出されたとき
    前記入力工程で入力された手書き文字の区分けを行う区
    分け工程と、 前記複数の所定領域のそれぞれには文字の種別が割り当
    てられており、前記視線の移動先の所定領域に割り当て
    られた文字の種別を獲得する獲得工程と、 前記区分け工程による区分けと前記獲得工程により獲得
    された文字の種別とに基づいて前記入力工程において入
    力された手書き文字の認識を行う認識工程とを備えるこ
    とを特徴とする文字認識方法。
14. 【請求項１４】 前記第１検出工程により検出された視
    線位置の移動状態に基づいて前記入力工程における入力
    が縦書きであるか横書きであるかを判定する判定工程を
    更に備えることを特徴とする請求項９に記載の文字認識
    方法。