JPH1040337A - 手書き認識方法及び文書作成装置 - Google Patents

Abstract

(57)【要約】 【課題】遅延認識方式において、それほど注意せずとも
領域指定により認識対象を指定でき、また、その際の指
定ミスを防止して、認識対象を正しく認識する。 【解決手段】各ストロークの中点の座標を着目座標と
し、座標情報が入力された際に、その入力座標情報をス
トローク単位に分割し、各ストローク毎に中点座標点の
座標情報を抽出する（ステップ２０１〜２０９）。次
に、入力者によって任的対象として指定された領域の座
標情報を抽出し（ステップ２１０）、各ストロークの中
点座標点の座標情報が上記指定範囲内に存在するか否か
を調べ（ステップ２１１〜２１３）、指定領域内に存在
すれば、そのストロークを認識対象として認識処理する
（ステップ２１４）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、透明タブレットな
どの座標入力装置にスタイラスペンなどを用いて手書き
文字または図形を入力し、これを認識処理して文書を作
成する手書きワードプロセッサ等の文書作成装置に係
り、特に手書きで入力した座標情報から範囲を指定し
て、その指定範囲の座標情報を文字または図形として認
識して、文書を作成する文書作成装置と、同装置に用い
られる手書き認識方法に関する。

【０００２】

【従来の技術】従来、透明タブレットなどの座標入力装
置にスタイラスペンなどを用いて文字または図形を手書
き入力する方式として、入力枠と呼ばれる予め指定され
ている入力領域に文字を入力する方式がある。しかし、
このような入力枠方式では、文書作成作業で入力者の思
考を中断させてしまうため、作成効率が非常に悪い問題
があった。

【０００３】この対策として、フリーフォーマット（入
力枠なし）で入力された座標情報を文字列として認識す
るような処理が考えられる。しかし、このような入力枠
なしの認識では、１文字単位の認識処理を行う前に、文
字列として入力されている座標情報から１文字毎に座標
情報を分離する処理を必要とする。さらに、１文字単位
の文字認識処理においても、誤認識した場合の再入力ま
たは次候補選択などの余計な処理を行わなければならな
い。これらのことを考慮すると、文書を作成する上での
効率は入力枠がある場合と比較して大差ない。

【０００４】これを解決する手段として、文字の入力と
並行して文字認識を行うような流れではなく、まずは手
書き入力だけを行い、そのときは文字認識をせずに座標
情報を筆跡表示するのみとし、一通りの入力が終了した
段階で文字認識処理を行うという遅延認識を前提とした
インタフェースが考えられる。この場合、一度に大量の
文字を認識することになるので、入力者が認識対象とな
る範囲を領域指定しながら処理を進める方が処理効率は
良い。

【０００５】

【発明が解決しようとする課題】上記したように、遅延
認識方式では、一通りの入力後、認識対象となる範囲を
領域指定する方法が用いられる。しかしながら、従来、
領域を指定する場合、認識対象となる文字全体を囲むよ
うな閉曲線を正しく描く必要があった。このため、領域
指定の操作に注意をはらう必要があり、また、指定間違
いも生じやすい問題があった。

【０００６】具体的に説明すると、例えば「メモを書い
た」といったような文字列の中で「メモ」といった部分
を認識対象として領域指定する場合には、その部分のみ
を囲むように閉曲線を正しく描く必要がある。この場
合、「メ」あるいは「モ」の一部のストロークが領域の
外に出てしまったり、隣の文字である「を」の一部のス
トロークが領域内に入ってしまうような領域指定ではエ
ラーとなる。

【０００７】このように、領域指定に際し、ユーザは注
意して閉曲線を描く必要があり、特に文字が隣接してい
るような場合には、正しく領域指定できない場合が多々
あった。

【０００８】なお、手書き文字と手書き図形が混在して
いる文章を対象として、その中から認識したい文字また
は図形を指定する場合にも同様な問題があった。本発明
は上記のような点に鑑みなされたもので、遅延認識方式
において、それほど注意せずとも領域指定により認識対
象を指定でき、また、その際の指定ミスを防止して、認
識対象を正しく認識することのできる手書き認識方法及
び文書作成装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明は、文字または図
形として手書き入力された座標情報を表示し、その後に
入力者が認識対象範囲を指定し、その指定範囲内の座標
情報を文字または図形として認識する遅延認識方式にお
いて、入力された座標情報をストローク単位に分割し、
各ストローク毎に予め設定された着目座標点の座標情報
を抽出し、その着目座標点の座標情報が上記指定範囲内
に存在するストロークを認識対象として認識処理するよ
うにしたものである。

【００１０】上記着目座標点としては、各ストロークの
中点、重心点または筆速の一番遅い点である。このよう
な構成によれば、遅延認識方式において、ストロークの
着目座標が指定領域内に存在すれば、そのストロークに
対する認識処理が行われる。したがって、認識対象とし
ての文字あるいは図形の一部が指定領域から多少食み出
すような指定の仕方でも、指定領域内に中間座標が存在
するストロークを認識対象として抽出することで、正し
い認識処理を行うことができる。また、隣の文字あるい
は図形の一部が指定領域内に多少侵入するような指定の
仕方でも、それらのストロークの中間座標は指定領域内
にないため、それらを排除して、正しい認識処理を行う
ことができる。

【００１１】

【発明の実施の形態】以下、図面を参照して本発明の一
実施形態を説明する。図１は本発明の一実施形態に係る
文書作成装置の内部構造を示すブロック図である。座標
入力装置１０１は、例えば透明タブレットと、この透明
タブレット上の座標を指示するスタイラスペンからな
る。本装置では、この座標入力装置１０１から時系列に
得られる２次元の座標点列の情報に基づき文字認識もし
くは図形認識の処理を行う。

【００１２】座標入力部１０２は、座標入力装置１０１
から入力された座標点列の情報に基づいた処理を行うも
のであり、ここでは、画面領域データテーブル１０３に
記憶されている画面情報を調べて、現在の入力情報が筆
跡データかコマンドかの判断を行う。この場合、コマン
ド入力であれば、該当の制御部に処理を渡し、データ入
力であれば、データ入力バッファ１０４に各ストローク
毎の座標情報を格納したり、各ストローク毎に予め着目
座標点として設定された中点の座標情報を中点座標バッ
ファ１０５に格納する。

【００１３】画面領域データテーブル１０３は、図２に
示すように入力画面に設けられた認識ボタン１１や終了
ボタン１２の位置を示す画面情報を記憶している。デー
タ入力バッファ１０４は、座標入力装置１０１から入力
された座標点列を各ストローク毎に分割した座標情報を
保持する。中点座標バッファ１０５は、各ストロークの
中点座標の座標情報を保持する。

【００１４】領域判定部１０６は、本発明の中心をなす
もので、中点座標バッファ１０５に保持された各ストロ
ークの中点座標が領域指示筆跡バッファ１０７に保持さ
れた指定領域内に存在するか否かを判断する処理を行
う。

【００１５】領域指示筆跡バッファ１０７は、入力者が
認識対象として指定した領域の座標情報を保持する。認
識対象バッファ１１２は、領域判定部１０６によって指
定領域内に中点座標が存在すると判定されたストローク
の座標情報を認識対象として保持する。

【００１６】認識部１０８は、認識対象バッファ１１２
に格納されたストローク群に対し、文字・図形・文字列
などの認識処理を行う部分であり、その認識処理に必要
な認識辞書１０９を持っている。認識辞書１０９には、
基準となる文字や図形のストロークデータ等が格納され
ている。

【００１７】表示部１１０は、座標点列による筆跡デー
タや、認識結果として得られる文字コードに基づいたフ
ォントデータあるいは図形データを表示装置１１１に表
示するための処理を行う。

【００１８】表示装置１１１は、座標入力装置１０１か
ら入力した筆跡データや認識結果等を表示するためのも
のであり、例えば液晶ディスプレイなどで構成される。
なお、表示装置１１１としては、液晶ディスプレイの他
に、ＣＲＴ (CathodeRay Tube) 、プラズマディスプレ
イなども用いることができる。

【００１９】本実施形態では、液晶ディスプレイからな
る表示装置１１１と透明タブレットからなる座標入力装
置１０１とが積層一体化されている。つまり、液晶ディ
スプレイと積層一体化された透明タブレットとは同一寸
法の同一座標面を形成するものであり、液晶ディスプレ
イに表示された情報は透明タブレットを介して視認でき
るようになっている。

【００２０】このように積層一体化された透明タブレッ
トと液晶ディスプレイとにより、透明タブレットでの座
標指示位置が液晶ディスプレイでの同一位置での情報と
して表示され、例えば紙上に文字・図形を描く感覚で情
報入力を行うことができるようになっている。

【００２１】また、座標入力部１０２、領域判定部１０
６、認識部１０８、表示部１１０は、マイクロプロセッ
サを主として構成される。画面領域データテーブル１０
３、データ入力バッファ１０４、中点座標バッファ１０
５、領域指示筆跡バッファ１０７、認識対象バッファ１
１２は内部メモリ、認識辞書１０９はハードディスク装
置（ＨＤＤ）やフロッピーディスク装置（ＦＤＤ）等の
外部メモリにて構成される。

【００２２】図２は同実施形態における入力画面の構成
を示す図である。上述したように液晶ディスプレイから
なる表示装置１１１と透明タブレットからなる座標入力
装置１０１は積層一体化されており、透明タブレットで
の座標指示位置が液晶ディスプレイでの同一位置での情
報として表示され、例えば紙上に文字・図形を描く感覚
で情報入力を行うことができる。

【００２３】ここで、本装置では入力枠のような予め定
められた入力領域を持たず、画面全体を入力領域として
使用することができる。すなわち、画面上の任意の位置
でペンを筆記操作することで、手書き文字や図形を入力
することができる。この場合、まず、ペンの筆跡データ
が画面上に表示される。そして、入力者が画面下部に設
けられた認識ボタン１１を押下したとき、認識処理が行
われて、その認識結果が筆跡データに代わって表示され
る。

【００２４】次に、図３乃至図５を参照して同実施形態
の動作を説明する。図３は遅延認識処理の流れを示すフ
ローチャート、図４は入力画面上での遅延認識処理の手
順を説明するための図、図５は入力データの各ストロー
クと着目座標との関係を説明するための図である。

【００２５】図３のフローチャートに示すように、座標
入力装置１０１を通じて座標情報が入力されると（ステ
ップ２０１）、座標入力部１０２は画面領域データテー
ブル１０３を参照して、その入力情報が文字または図形
の入力を示すものであるか、図２に示す認識ボタン１１
や終了ボタン１２の押下による認識コマンドまたは終了
コマンドの入力を示すものであるかを判断する（ステッ
プ２０２）。コマンド入力でない場合、つまり、文字や
図形の入力であれば（ステップ２０３のＮｏ）、座標入
力部１０２はそのときの座標情報をデータ入力バッファ
１０４に格納する（ステップ２０３）。

【００２６】ここで、座標入力部１０２はデータ入力バ
ッファ１０４に格納した座標情報がストロークの始点で
あるか否かを直前のぺンの状態によって判断する（ステ
ップ２０４）。ストロークの始点であれば（ステップ２
０４のＹｅｓ）、その１つ前のストロークの座標情報を
データ入力バッファ１０４から読み出し、当該ストロー
クの中点の座標値を求め、これを中点座標バッファ１０
５に格納する（ステップ２０５）。

【００２７】なお、中点とは、ストロークの始点と終点
の中間点を示す場合と、ストロークを所定のレートでサ
ンプリングしたときの中心点を示す場合があるが、その
どちらでも良いものとする。

【００２８】ストロークの中点座標が中点座標バッファ
１０５に格納されると、表示部１１０を介して、そのス
トロークの筆跡データが表示装置１１１に表示され（ス
テップ２０６）、ステップ２０１の処理に戻る。

【００２９】このようにして、入力された文字または図
形を構成する各ストローク毎の中点座標が中点座標バッ
ファ１０５に順次格納されることになる。なお、最後の
ストロークに関しては、上記ステップ２０５で行ったよ
うに１つ前のストロークを見るわけにはいかないので、
ステップ２０８にて認識ボタン１１がタッチされたとき
に、最後のストロークの座標情報をデータ入力バッファ
１０４から読み出し、その中点座標の座標情報を求めて
中点座標バッファ１０５に格納する（ステップ２０
９）。

【００３０】一方、上記ステップ２０２において、入力
された座標情報が認識ボタン１１や終了ボタン１２をタ
ッチしたものであれば（ステップ２０２のＹｅｓ）、座
標入力部２０２はどのコマンドを指示したのかを調べ
る。その結果、終了コマンドであれば（ステップ２０７
のＹｅｓ）、ここでの処理を終了する。また、認識コマ
ンドでなければ（ステップ２０８のＮｏ）、無効な処理
としてそのままステップ２０１に戻る。認識コマンドで
あれば（ステップ２０８のＹｅｓ）、処理が座標入力部
１０２から領域判定部１０６に移る。

【００３１】ここで、遅延認識方式を図４を参照して説
明する。例えば図４（ａ）に示すように、「メモ 会議
中止 のＴＥＬあり」といった文章をペンの速記操作に
より手書き入力したとする。このとき、認識処理は行わ
れず、筆跡データが表示される。この状態で、同図
（ｂ）に示すように、認識ボタン１１をタッチし、認識
したい文字を閉曲線で囲むと、その閉曲線内の文字が認
識対象となる。この例では、「メモ」といった文字列が
認識対象である。この認識対象部分に対する認識処理が
行われると、同図（ｃ）に示すように、閉曲線とその閉
曲線内の筆跡データが消去され、認識結果として得られ
た文字が表示される。

【００３２】これを踏まえると、認識ボタン１１がタッ
チされたら、その直前のストロークは領域を指定する閉
曲線であると考えられる。そこで、領域判定部１０６
は、まず直前のストロークをデータ入力バッファ１０４
から抽出し、そのストロークデータを領域指定データと
して領域指示筆跡バッファ１０７に格納する（ステップ
２１０）。

【００３３】その後、領域判定部１０６は中点座標バッ
ファ１０５に格納されている各ストロークの中点座標を
１つずつ読み出し、その中点座標が領域指示筆跡バッフ
ァ１０７に示されている閉曲線の内部か外部かを調ベる
（ステップ２１１〜２１２）。なお、閉曲線の内部か外
部かの判断方法は既存の計算方法を使う。ストロークの
中点座標が閉曲線の内部であった場合（ステップ２１２
のＹｅｓ）、領域判定部１０６はそのストロークを認識
対象とし、そのストロークの番号を認識対象バッファ１
１２に格納する（ステップ２１３）。

【００３４】この処理を全てのストロークについて繰り
返し行う。これにより、認識対象バッファ１１２には、
認識対象として認められた各ストロークの番号が保持さ
れることになる。

【００３５】この様子を図５を参照して説明すると、
今、「メモ」といった文字列が閉曲線で囲まれていると
する。この場合、「メモ」は第１〜第５のストロークで
構成される（図中の括弧内の数字はストローク番号を示
す）。

【００３６】まず、第１のストロークの中点座標値をＱ
1 とすると、そのＱ1 は閉曲線の内部にある。したがっ
て、第１のストロークは認識対象として認められ、その
ストローク番号（１）が認識対象バッファ１１２に格納
される。同様に、第２〜第５のストロークの中点座標値
をＱ2 〜Ｑ5 とすると、そのＱ2 〜Ｑ5 は閉曲線の内部
にあるので、それらのストローク番号（２）〜（５）が
認識対象バッファ１１２に格納される。

【００３７】しかして、全てのストロークの処理が終了
したら、領域判定部１０６から認識部１０８に処理が移
る。認識部１０８は、認識対象バッファ１１２に格納さ
れたストローク番号に基づいて、該当する文字、文字列
または図形の認識処理を行う（ステップ２１４）。図４
の例では、文字列認識を行っている。なお、具体的な認
識方法に関しては、各種方法が存在するので、そのどれ
かの方法を採用することにする。

【００３８】認識結果が出たら、認識部１０８から表示
部１１０に処理が移る。表示部１１０は、領域指示筆跡
バッファ１０７及びデータ入力バッファ１０４を参照し
て、閉曲線の筆跡と認識部１０８で認識対象となったデ
ータの筆跡を消去した後（ステップ２１５）、認識部１
０８にて得られた認識結果を表示装置１１１に表示する
（ステップ２１６）。

【００３９】最後に、データ入力バッファ１０４、中点
座標バッファ１０５、領域指示筆跡バッファ１０７、認
識対象バッファ１１２の各データをクリアしてステップ
２０１に戻る（ステップ２１７）。

【００４０】このように、遅延認識方式において、スト
ロークの中間座標が指定領域内に存在すれば、そのスト
ロークに対する認識処理が行われる。したがって、認識
対象としての文字あるいは図形の一部が指定領域から多
少食み出すような指定の仕方でも、指定領域内に中間座
標が存在するストロークを認識対象として抽出すること
で、正しい認識処理を行うことができる。また、隣の文
字あるいは図形の一部が指定領域内に多少侵入するよう
な指定の仕方でも、それらのストロークの中間座標は指
定領域内にないため、それらを排除して、正しい認識処
理を行うことができる。

【００４１】特に、文字を手書き入力する場合には、そ
のストロークの始点部分に“入り”、終点部分に“跳
ね”と呼ばれる余計な筆跡が残るが、それらを意識せず
に、領域の指定を行うことができるため、文書作成上の
処理が軽くなり、作成効率が向上するようになる。

【００４２】なお、本発明は上述した実施形態に限定さ
れるものではない。すなわち、上記実施形態では、認識
対象とする範囲を指定する領域指示を閉曲線としていた
が、これに限るものではなく、例えば開曲線を用いて、
そこから領域を限定するようなものとしても良い。この
場合には、図６に示すように、開曲線の始点Ｐ1 とその
次の点Ｐ2 とを結ぶベクトルと、終点Ｐn とその前の点
Ｐn-1 とを結ぶベクトルとから、その２つのベクトルが
交差する点を求めることにより実現できる。

【００４３】また、本実施形態では、領域を指定する筆
跡と、文字または図形とをモードレスに入力可能な構成
としたが、そのような形ではなく、領域指示と文字入力
の指示をボタンによりモード切替えするような構成にし
ても良い。

【００４４】さらに、本実施形態では、ストロークの着
目座標点を中点としたが、例えば重心点や、筆速の一番
遅い点としても良い。重心点は、ストロークを所定のレ
ートでサンプリングしたときの各点の重心位置を示すも
のあり、その位置はストローク上にない場合もある。こ
の重心点を着目座標点とした場合でも、上記中点のとき
と同様に、例えば文字の“入り”や“跳ね”を意識せず
に、領域の指定を行うことができるため、文書作成上の
処理が軽くなり、作成効率が向上するようになる。

【００４５】筆速の一番遅い点は、ストロークを所定の
レートでサンプリングしたときの各点の中で間隔の一番
長い点のことであり、この位置は筆速が安定している。
したがって、このような筆速の一番遅い点を着目座標点
とした場合でも、上記中点のときと同様の効果を得るこ
とができる。要するに、本発明はその要旨を逸脱しない
範囲で種々変更して実施することができるものである。

【００４６】

【発明の効果】以上のように本発明によれば、遅延認識
方式において、入力された座標情報をストローク単位に
分割し、各ストローク毎に予め設定された着目座標点の
座標情報を抽出し、その着目座標点の座標情報が指定範
囲内に存在するストロークを認識対象として認識処理を
行うようにしたため、入力者はそれほど注意せずとも領
域指定により認識対象を指定でき、また、その際の指定
ミスを防止して、認識対象を正しく認識することができ
る。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る装置構成を示すブロ
ック図。

【図２】入力画面の構成を示す図。

【図３】遅延認識処理の流れを示すフローチャート。

【図４】入力画面上での遅延認識処理の手順を説明する
ための図。

【図５】入力データの各ストロークと着目座標との関係
を説明するための図。

【図６】開曲線による領域指定方法を説明するための
図。

【符号の説明】

１０１…座標入力装置 １０２…座標入力部 １０３…画面領域データテーブル １０４…データ入力バッファ １０５…中点座標バッファ １０６…領域判定部 １０７…領域指示筆跡バッファ １０８…認識部 １０９…認識辞書 １１０…表示部 １１１…表示装置

Claims (8)

【特許請求の範囲】
1. 【請求項１】 文字または図形として手書き入力された
   座標情報を表示し、その後に入力者が認識対象範囲を指
   定し、その指定範囲内の座標情報を文字または図形とし
   て認識する遅延認識方式において、 入力された座標情報をストローク単位に分割し、 各ストローク毎に予め設定された着目座標点の座標情報
   を抽出し、 その着目座標点の座標情報が上記指定範囲内に存在する
   ストロークを認識対象として認識処理することを特徴と
   する手書き認識方法。
2. 【請求項２】 各ストロークの中点を着目座標点とし
   て、その座標情報を抽出することを特徴とする請求項１
   記載の手書き認識方法。
3. 【請求項３】 各ストロークの重心点を着目座標点とし
   て、その座標情報を抽出することを特徴とする請求項１
   記載の手書き認識方法。
4. 【請求項４】 各ストロークの筆速の一番遅い点を着目
   座標点として、その座標情報を抽出することを特徴とす
   る請求項１記載の手書き認識方法。
5. 【請求項５】 手書き文字または図形の座標情報を入力
   するための入力手段と、 この入力手段によって入力された座標情報をストローク
   単位に分割して保持する入力座標保持手段と、 認識対象範囲として指定された領域の座標情報を抽出す
   る領域指示抽出手段と、 上記入力座標保持手段に保持された各ストローク毎に予
   め設定された着目座標点の座標情報を抽出する着目点抽
   出手段と、 この着目点抽出手段によって抽出された上記着目座標点
   の座標情報が上記指定範囲内に存在するストロークを認
   識対象として判定する領域判定手段と、 この領域判定手段によって判定されたストロークに基づ
   いて認識処理を行う認識手段と、 この認識手段によって得られる認識結果を出力するため
   の出力手段とを具備したことを特徴とする文書作成装
   置。
6. 【請求項６】 上記着目点抽出手段は、各ストロークの
   中点を着目座標点として、その座標情報を抽出すること
   を特徴とする請求項５記載の文書作成装置。
7. 【請求項７】 上記着目点抽出手段は、各ストロークの
   重心点を着目座標点として、その座標情報を抽出するこ
   とを特徴とする請求項５記載の文書作成装置。
8. 【請求項８】 上記着目点抽出手段は、各ストロークの
   中の筆速の一番遅い点を着目座標点として、その座標情
   報を抽出することを特徴とする請求項５記載の文書作成
   装置。