JP4145622B2 - オンライン手書き情報認識装置及び方法 - Google Patents
オンライン手書き情報認識装置及び方法 Download PDFInfo
- Publication number
- JP4145622B2 JP4145622B2 JP2002302270A JP2002302270A JP4145622B2 JP 4145622 B2 JP4145622 B2 JP 4145622B2 JP 2002302270 A JP2002302270 A JP 2002302270A JP 2002302270 A JP2002302270 A JP 2002302270A JP 4145622 B2 JP4145622 B2 JP 4145622B2
- Authority
- JP
- Japan
- Prior art keywords
- stroke data
- recognition
- unit
- stroke
- handwritten information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、手書きストロークに関する情報を認識しながら文字認識あるいは図形認識を行うオンライン手書き情報認識装置及び方法に関する。
【０００２】
【従来の技術】
昨今の急速なコンピュータ技術の進歩により、ＣＰＵの演算処理速度も向上し、従来は演算処理時間や認識精度等の問題から実用化が困難と考えられていた手書き文字の認識技術を用いた各種の携帯型情報端末等についても、ビジネス用途に限らず、一般家庭用も含めて急速に普及しているのが現状である。最近では、文字枠等に制約されずに自由に書かれた手書き文字あるいは手書き図形について認識可能な技術も多々開発されている。
【０００３】
文字枠や罫線等に制約されることなく自由に筆記される場合には、図形や文字列等、様々な内容が自由に書かれることになる。このように自由に筆記された内容の一部を認識して文字列や図形のカテゴリを判定するためには、多くのストロークデータの中から認識対象となる部分を選択する操作が必要となる。
【０００４】
例えば、図１に示すように、文字列と線画が混在して書かれているメモの内容から「田中」という文字列を選択し、そのストロークデータを取得することによって文字認識を行うことで認識結果文字列を得るというのが、手書き文字認識処理の基本的な処理の流れである。かかる処理を実行するためには、ストロークデータ（筆跡）の選択、ストロークデータ（筆跡）の取得、及び文字列の認識といった処理が必要となる。ここで、ストロークデータとは、ペンが接地してから離れるまでの軌跡データを意味している。
【０００５】
従来のオンライン手書き情報認識装置の代表的な構成を図２に示す。図２において、座標入力部２１から得られたストローク（筆跡）座標情報は、まずストロークデータの集合としてストロークデータ保存部２２に保存される。そして、保存されているストロークデータの集合の中から、ストロークデータ選択部２３によってストロークデータの一部が選択され、ストロークデータの部分集合が得られる。最後に当該ストロークデータの部分集合を手書き情報認識部２４に送ることによって、目的とする認識結果を得ることができる。
【０００６】
具体的には、座標入力部２１はタブレットやスタイラスペン等の作図や文字の筆記を行うことができる入力媒体を用いることになる。また、ストロークデータ保存部２２としては、コンピュータの記憶装置上やネットワーク上の記憶装置等が考えられる。
【０００７】
さらに、ストロークデータ選択部２３としては、例えば（特許文献１）又は（非特許文献１）において開示されているような、ペンの筆記による囲みジェスチャによって選択する方法を用いることが考えられる。手書き情報認識部２４についても、例えば（特許文献２）や（非特許文献２）、（非特許文献５）に開示されているような通常のオンライン手書き文字認識手段や、（非特許文献３）及び（非特許文献４）に開示されているような図形認識手段を用いることが考えられる。
【０００８】
【特許文献１】
特開平６−１３１１１１号公報
【特許文献２】
特開平１０−４０３３７号公報
【０００９】
【非特許文献１】
佐藤俊、外２名、「手書きインタフェースのためのペンの囲みによる対象判定アルゴリズムの実現と評価」、信学技報、１９９１年１２月（ＰＲＵ９２−８８）
【００１０】
【非特許文献２】
田中宏、外２名、「階層遅延セグメンテーションを用いた実時間枠なしオンライン手書き文字列認識」、信学技報、２００２年３月（ＰＲＭＵ２００１−２６４）
【００１１】
【非特許文献３】
正嶋博、外３名、「画数，筆順，回転，区切りに依存しないオンライン手書き図形認識方式」、情報処理学会論文誌、１９８６年５月、第２７巻、第５号
【００１２】
【非特許文献４】
児島治彦、戸井田徹、「隣接線分構造解析法によるオンライン手書き図形認識」、情報処理学会論文誌、１９８７年８月、第２８巻、第８号
【００１３】
【非特許文献５】
岡本正義、外３名、「知識ベースに基づいた手書き情報認識」、情報処理学会第４３回（平成３年度後期）全国大会、２Ｄ−１、ｐ．２−１９−２−２０
【００１４】
【発明が解決しようとする課題】
しかしながら、実際に筆記されている状態が、例えば図３に示すように、選択対象である文字列「田中」の近くに、選択対象外の筆跡である二重下線が存在するような場合には、誤って選択対象外の筆跡まで選択してしまうおそれがあり、この場合、選択対象外である二重下線も認識の対象とすることによって、正確に文字認識を行うことが困難となってしまうという問題点があった。
【００１５】
同様に、実際に筆記されている状態が、例えば図４に示すように、選択対象である文字列「田中」の近くに、選択対象外である別の文字列「山」が存在する場合にも、誤って選択対象外の文字列「山」の一部分のストロークデータまで選択対象としてしまうおそれがあり、この場合も、文字認識を正確に行うことは困難となるという問題点があった。
【００１６】
本発明は、上記問題点を解決するために、選択対象となる筆跡と選択対象外の筆跡とが近くに存在する場合であっても、容易に目的とする筆跡のみを選択することができるオンライン手書き情報認識装置及び方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記目的を達成するために本発明にかかるオンライン手書き情報認識装置は、筆跡座標データを入力するための座標入力部と、入力された筆跡座標データで形成されたストロークデータの集合に対して、文字認識又は図形認識を行う手書き情報認識部と、ストロークデータの集合から手書き認識の対象となるストロークデータの部分集合を選択するストロークデータ選択部とを有し、選択されたストロークデータの部分集合に対して、手書き情報認識部において文字認識又は図形認識を行い、認識結果を出力するオンライン手書き情報認識装置であって、手書き情報認識部において認識対象とする認識対象カテゴリを設定する認識対象設定部と、現在設定されている認識対象カテゴリに、各ストロークデータが属するか否かを判定するストロークデータ判定部と、ストロークデータ選択部において選択対象となるストロークデータを、認識対象カテゴリに属すると判定されたストロークデータのみに限定するストロークデータ選択対象限定部とを有することを特徴とする。
【００１８】
かかる構成により、認識対象カテゴリをストロークデータの選択処理開始前に設定しておくことによって、認識対象カテゴリの相違するストロークデータを認識対象から排除することができ、選択対象となる筆跡と選択対象外の筆跡とが近くに存在する場合であっても、容易に目的とする筆跡のみを選択することが可能となる。
【００１９】
また、本発明にかかるオンライン手書き情報認識装置は、複数のストロークデータをグループごとに分類するグループ編成部を有し、ストロークデータ判定部において、グループ単位にストロークデータの属する認識対象カテゴリを判定することが好ましい。さらに、本発明にかかるオンライン手書き情報認識装置は、複数のストロークデータをグループごとに分類するグループ編成部を有し、ストロークデータ選択部において、グループ単位にストロークデータの選択を行うことが好ましい。
【００２０】
認識対象カテゴリをストロークデータの選択処理開始前に設定するとともに、ストロークデータを事前にグループ化しておくことによって、認識対象カテゴリの相違するグループに含まれているストロークデータを認識対象から排除することができ、選択対象となる筆跡と選択対象外の筆跡とが近くに存在し、かつ両者の認識対象カテゴリが一致する場合であっても、容易に目的とする筆跡のみを選択することができるからである。
【００２１】
また、本発明にかかるオンライン手書き情報認識装置は、グループ編成部において、ストロークデータが筆記された順序に基づいてストロークデータをグループごとに分類することが好ましい。あるいは、グループ編成部において、少なくともストロークデータが筆記された時間間隔を含む時間情報に基づいてストロークデータをグループごとに分類することが好ましい。オフストロークの長さに応じて、一連の文字あるいは図形であるか否かを判断することができるからである。
【００２２】
また、本発明にかかるオンライン手書き情報認識装置は、グループ編成部において、ストロークデータを文字認識した結果に基づいてストロークデータをグループごとに分類することが好ましい。認識結果として出力される評価値に基づいて分類されたカテゴリごとに、ストロークデータをグループ化することができるからである。
【００２３】
また、本発明は、上記のようなオンライン手書き情報認識装置の機能をコンピュータの処理ステップとして実行するソフトウェアを特徴とするものであり、具体的には、筆跡座標データを入力するための工程と、入力された筆跡座標データで形成されたストロークデータの集合に対して、文字認識又は図形認識を行う工程と、ストロークデータの集合から手書き認識の対象となるストロークデータの部分集合を選択する工程とを有し、選択されたストロークデータの部分集合に対して文字認識又は図形認識を行い、認識結果を出力するオンライン手書き情報認識方法であって、認識対象とする認識対象カテゴリを設定する工程と、現在設定されている認識対象カテゴリに、各ストロークデータが属するか否かを判定する工程と、選択対象となるストロークデータを、認識対象カテゴリに属すると判定されたストロークデータのみに限定する工程とを有するオンライン手書き情報認識方法並びにそのような工程を具現化するコンピュータ実行可能なプログラムであることを特徴とする。
【００２４】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、認識対象カテゴリをストロークデータの選択処理開始前に設定しておくことによって、認識対象カテゴリの相違するストロークデータを認識対象から排除することができ、選択対象となる筆跡と選択対象外の筆跡とが近くに存在する場合であっても、容易に目的とする筆跡のみを選択することができる認識精度の高いオンライン手書き情報認識装置を実現することが可能となる。
【００２５】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態１にかかるオンライン手書き情報認識装置について、図面を参照しながら説明する。図５は本発明の実施の形態１にかかるオンライン手書き情報認識装置の構成図である。
【００２６】
図５において、５１は座標入力部を、５２はストロークデータ保存部を、５６はストロークデータ選択部を、５７は手書き情報認識部を、それぞれ示しており、従来の構成を示す図１における座標入力部２１、ストロークデータ保存部２２、ストロークデータ選択部２３、手書き情報認識部２４にそれぞれ対応している。
【００２７】
座標入力部５１には、通常、タブレットとスタイラスペンを組み合わせた筆跡情報取得デバイスを用いることが多い。一般に、タブレットは、毎秒５０〜２００回程度の周期でペンの位置座標を感知し、スタイラスペンが筆記中（オン状態）であるか否か（オフ状態）の情報も含めて座標点データを取得する。そして、取得された座標情報は、スタイラスペンがオン状態である連続した座標点列を一つのストロークデータとして、複数のストロークデータを１つのストロークデータの集合としてストロークデータ保存部５２に格納される。なお、ストロークデータ保存部５２に格納されるストロークデータ集合のデータ形式としては、例えばＣ言語で表す場合には図６に示すような形式が考えられる。もちろん、かかるデータ形式に限定されるものではない。
【００２８】
次に、５３は認識対象設定部を示しており、手書き情報認識部５７における認識対象カテゴリを設定するものである。ここで設定される認識対象カテゴリとしては、例えば文字列や図形といった粗いカテゴリ分けに止まらず、数字列、漢字列、多角形等の細かなカテゴリ分け等も含まれる。
【００２９】
すなわち、ストロークデータ選択部５６が選択対象とするのは、手書き情報認識部５７が認識対象とする筆跡のみである。例えば文字列を認識しようとしている場合には、図形に対応する筆跡は選択する必要が無く、数字を認識しようとしている場合には、漢字に対応する筆跡は選択する必要が無いからである。
【００３０】
そのために、例えば図７に示すように、文字列を選択して認識しようとしている場合には、認識対象設定部５３において、認識対象カテゴリを「文字列」と設定しておき、実線で表している選択可能な筆跡である文字列のみが、ストロークデータ選択部５６における選択の対象となる。また、破線で表している選択不可能な筆跡である二重下線や略語「Ｔｅｌ」については、ストロークデータ選択部５６における選択の対象から排除される。
【００３１】
認識対象設定部５３において設定された認識対象カテゴリは、ストロークデータ判定部５４に渡され、ストロークデータ保存部５２に格納されているストロークデータの集合の中から、どのストロークデータと認識対象カテゴリが一致するのか否かを判定するのに用いられる。
【００３２】
すなわち、ストロークデータ判定部５４においては、ストロークデータ保存部５２に格納されているストロークデータの集合のうち、認識対象カテゴリに合致するストロークデータのみを選択可能にするため、個々のストロークデータが認識対象カテゴリに合致するか否かを判定する。
【００３３】
本実施の形態１においては、ストロークデータ判定部５４は個々のストロークデータが文字列を構成するストロークデータであるか、あるいは図形を構成するストロークデータであるのか、いずれのカテゴリに属するか否かを判定するものとする。例えば（非特許文献５）においては、ストロークデータの集合を文字、図形、表、編集記号の４種類に分類する方法が開示されており、このような方法を用いることで、図形、表、編集記号の３者を一括して図形とみなすことによって、文字列と図形の判定を行うことが可能となる。なお、両者の判定方法はこれに限定されるものではない。
【００３４】
そして、５５はストロークデータ選択対象限定部を示しており、ストロークデータ判定部５４において認識対象カテゴリに属すると、すなわち認識対象として選択される対象であると判定されたストロークデータの中から、認識対象とするべきストロークデータを選択するものである。
【００３５】
例えばストロークデータ選択部５６では、図８に示すようにスタイラスペン等で筆記したジェスチャ８１（点線矢印）で囲まれたストロークデータを選択するように制御される。すなわち、個々のストロークデータが、画面上に記載されたジェスチャ８１で囲まれている領域内にあるか否かによって、認識対象とするか否かを決定するものである。
【００３６】
具体的には、図９に示すように、ストロークデータ判定部５４において認識対象に合致すると判定されたストロークデータ（太線）と、合致しないと判定されたストロークデータ（細線）とを区別しておき、ストロークデータ選択部５６において、囲みジェスチャが書かれた場合、たとえ囲みジェスチャ内に含まれているストロークデータであっても、細線で示されているストロークデータ、すなわちストロークデータ判定部５４において認識対象に合致しないと判定されたストロークデータについては選択対象から外される。そして、太線で示されているストロークデータ、すなわちストロークデータ判定部５４において認識対象に合致すると判定されたストロークデータについてのみ選択されることになる。
【００３７】
なお、ストロークデータ選択対象限定部５５では、ストロークデータの選択対象を限定すれば良いので、ユーザに対して選択対象とできるストロークデータを表示する必要は無い。しかし、画面上のどのストロークデータが現在選択対象となっているかをユーザに示すことによって、ストロークデータ選択部５６における使い勝手はより向上するものと考えられる。
【００３８】
ユーザに対して、選択対象となっているストロークデータがどれであるのかを示す方法としては、選択対象以外のストロークデータの表示色を薄く表示する方法や、線の太さを変える方法、あるいは選択時に一時的に画面から消去するという方法も考えられる。もちろん、これらの方法に限定されるものではない。
【００３９】
そして、ストロークデータ選択部５６において選択されたストロークデータは、ストロークデータの部分集合として手書き情報認識部５７に渡され、文字認識あるいは図形認識が行われることになる。
【００４０】
次に、本発明の実施の形態１にかかるオンライン手書き情報認識装置を実現するプログラムの処理の流れについて説明する。図１０に本発明の実施の形態にかかるオンライン手書き情報認識装置を実現するプログラムの処理の流れ図を示す。
【００４１】
図１０において、まずペンの位置座標を取得し、スタイラスペンが筆記中（オン状態）であるか否か（オフ状態）の情報も含めて座標点データを取得する（ステップＳ１００１）。そして、取得された座標情報に基づいて、ストロークデータを抽出して、ストロークデータの集合として保存する（ステップＳ１００２）。
【００４２】
次に、認識対象カテゴリを設定し（ステップＳ１００３）、保存されているストロークデータの集合のうち、個々のストロークデータが認識対象カテゴリに合致するか否かを判定する（ステップＳ１００４）。
【００４３】
ストロークデータが認識対象カテゴリに合致する場合には（ステップＳ１００４：Ｙｅｓ）、当該ストロークデータが選択対象であると認定し（ステップＳ１００５）、ストロークデータが認識対象カテゴリに合致しない場合には（ステップＳ１００４：Ｎｏ）、当該ストロークデータが選択対象でないと認定する（ステップＳ１００６）。そして、ステップＳ１００４以下の処理を全てのストロークデータについて判定が完了するまで繰り返す（ステップＳ１００７：Ｎｏ）。
【００４４】
全てのストロークデータについて判定が完了した場合には（ステップＳ１００７：Ｙｅｓ）、選択対象であると認定されたストロークデータの中から、認識対象とするべきストロークデータを選択する（ステップＳ１００８）。最後に、選択されたストロークデータについて、文字認識あるいは図形認識が行われる（ステップＳ１００９）。
【００４５】
以上のように本実施の形態１によれば、認識対象カテゴリをストロークデータの選択処理開始前に設定しておくことによって、認識対象カテゴリの相違するストロークデータを認識対象から排除することができ、選択対象となる筆跡と選択対象外の筆跡とが近くに存在する場合であっても、容易に目的とする筆跡のみを選択することが可能となる。
【００４６】
（実施の形態２）
以下、本発明の実施の形態２にかかるオンライン手書き情報認識装置について、図面を参照しながら説明する。図１１は、本発明の実施の形態２にかかるオンライン手書き情報認識装置の構成図である。図１１に示すように、基本的な構成は実施の形態１と同様であることから、共通の機能を有する部分については、図５と同一の符号を付すことによって、詳細な説明を省略する。
【００４７】
本実施の形態２が実施の形態１と相違しているのは、ストロークデータ保存部５２に保存されているストロークデータの集合に対して、グループ化を行うグループ編成部１１１を有する点である。
【００４８】
すなわち、文字列や図形といったストロークデータに関する認識対象カテゴリを区別することで、文字と図形の両方が近傍に記載されているような手書き情報に対する認識精度の向上は図ることができるが、図４の例に示したような、複数の文字列あるいは図形といった、同一の認識対象カテゴリに属する手書き情報が近傍に記載されている場合には、その一部が混在して選択されてしまうという問題を十分には解決できない。
【００４９】
そこで、本実施の形態２においては、同じ認識対象カテゴリに属するストロークデータを、続けて書かれた一連の文字列あるいは一連の図形として一つのグループとしてまとめ、ストロークデータの認識対象カテゴリの判定や、ストロークデータの選択処理を、当該グループ単位で行うことによって、異なったグループに属するストロークデータを同時に選択することができないようにしている。
【００５０】
例えば図１２に示すように、「田中さんへＴｅｌ」、「山本様」、「０１２−３４５−６７８９」といった文字列について、それぞれグループ化することによって、例えば「田中」を選択しようとした時に、「山本」に属するストロークデータが同時に選択されるとしまうことを未然に回避することができる。また、図１３に示すように、グループ化を一連の文字列としてではなく、文字単位に分割するようにグループ化することにより、異なった文字列の中にある各々の文字を同時に選択することも可能になる。
【００５１】
したがって、ストロークデータ判定部５４においては、ストロークデータのグループ単位で認識対象カテゴリの判定を行うことになる。グループ単位で認識対象カテゴリの判定を行うには、例えば個々の判定結果の多数決により決定することが考えられる。判定結果が同数の場合（例えば４画のグループで図形と文字に判定されたストロークが２つずつであった場合等）は、いずれの認識対象カテゴリも可能性があるものと判定すれば良い。ただし、これらの方法に限定されるものではない。
【００５２】
また、ストロークデータ選択部５６においても、ストロークデータのグループ単位で認識対象となるグループを選択することになる。そのためには、ストロークを選択する際に、各グループの外接枠の中心点を求め、中心点が囲みジェスチャにより囲まれているか否かによってストロークをグループ単位で選択すれば良い。もちろん、これらの方法に限定されるものではない。
【００５３】
ストロークデータをグループ化する方法についても、様々な方法が考えられる。例えば図１４に示すように、ストロークデータの集合を行ごとに分割する方法が考えられる。
【００５４】
まず、図１４（ａ）に示すように、ストロークデータの集合を筆記時間を用いておおまかに分割することが考えられる。具体的には、ストロークデータの集合を筆記された時間の順序に並べ、隣り合ったストロークデータ間の時間間隔（前のストロークデータの終点から次のストロークデータの始点までの時間間隔）が1秒以上空いている位置を分割点とするものである。以下、時間間隔によって分割されたストロークデータの部分集合を「時間グループ」と呼ぶ。
【００５５】
次に、それぞれの時間グループの中におけるストロークデータの位置関係に着目する。ストロークデータ間でペンが移動する軌跡をオフストロークと呼んでいるが、オフストロークの長さが以下のいずれかの条件に合致する場合、そこを行の区切りだと判定することが可能となる。なお、ストロークデータサイズとは、ストロークデータに外接する枠における長辺の長さを意味する。
【００５６】
（条件１）時間グループの中におけるストロークデータサイズの平均値をsとした場合、オフストロークの長さがsの３倍よりも長い場合
（条件２）筆記方向を横方向とし、時間グループの中におけるストロークデータサイズの平均値をsとした場合、オフストロークデータの横方向の長さがsよりも大きい場合
例えば、図１４（ｂ）においては、オフストロークを細破線で示しており、行の区切りとなるオフストロークを太破線で示している。図１４（ｂ）のように、上の行を書いてから下の行に移るときには、オフストロークの長さが長くなってしまうことから、ここで行の区切りが生じたものと推定することが可能となる。
【００５７】
図１５には、時間グループを用いる場合のグループ編成部１１１の構成図を示す。図１５に示すように、グループ編成部１１１は、ストロークデータ時間情報抽出部１５１と、ストロークデータグループ判定部１５２とで構成されている。
【００５８】
ストロークデータ時間情報抽出部１５１では、隣り合ったストロークデータ間の時間間隔（前のストロークデータの終点から次のストロークデータの始点までの時間間隔）が1秒以上空いている位置を抽出し、ストロークデータグループ判定部１５２では、オフストロークに基づいてグループ単位で分割する際の区切れ部分を特定することになる。
【００５９】
なお、長いオフストロークがある位置においては、通常は時間間隔も長い。したがって、図１５のように処理を２段階にせず、ストロークの時間間隔のみで分割した場合であっても実用的に十分であると考えられる。
【００６０】
また、ストロークデータをグループ化する他の方法として、文字認識機能を用いてグループ分けする方法も考えられる。すなわち、文字枠を用いずに画面上に書かれた文字列を認識する枠なし文字認識を行い、かかる認識結果に基づいてグループ化を行う方法である。
【００６１】
図１６には、枠なし文字認識の結果を用いる場合のグループ編成部１１１の構成図を示す。図１６に示すように、グループ編成部１１１は、文字認識部１６１と、ストロークデータグループ判定部１６２とで構成されている。
【００６２】
具体的には、図１７に示すように、文字認識部１６１において、文字枠を用いずに画面上に書かれた文字列を認識する枠なし文字認識を行い、文字を分割してそれぞれの文字認識結果が得られる。そして、文字認識部１６１の出力として、それぞれの文字認識結果に評価値が付加される。
【００６３】
文字認識部１６１が出力する評価値としては様々なものが考えられる。例えば評価値を１０００点満点とし、評価値が７５０点を越えれば文字認識結果として十分に確からしいと判断することになる。図１７では、それぞれの文字認識評価値を求め、それが７５０点以上であれば文字であると認識され、７００点以下であれば図形として認識される。また、７００点から７５０点の間であれば、文字認識時にも図形認識時にも選択可能である、というように判断することができる。
【００６４】
そして、ストロークデータグループ判定部１６２では、評価値に基づいて文字であるか否かの判断結果を参照して、認識対象カテゴリが文字であるもの、図形であるもの、等のように、ストロークデータをグループ化することになる。
【００６５】
次に、本発明の実施の形態２にかかるオンライン手書き情報認識装置を実現するプログラムの処理の流れについて説明する。図１８に本発明の実施の形態にかかるオンライン手書き情報認識装置を実現するプログラムの処理の流れ図を示す。
【００６６】
図１８において、まずペンの位置座標を取得し、スタイラスペンが筆記中（オン状態）であるか否か（オフ状態）の情報も含めて座標点データを取得する（ステップＳ１８０１）。そして、取得された座標情報に基づいて、ストロークデータを抽出して、ストロークデータの集合として保存する（ステップＳ１８０２）。また、ストロークデータの時間情報に基づいて、ストロークデータのグループ化を行う（ステップＳ１８０３）。
【００６７】
次に、認識対象カテゴリを設定し（ステップＳ１８０４）、保存されているストロークデータ集合のグループが認識対象カテゴリに合致するか否かを判定する（ステップＳ１８０５）。
【００６８】
ストロークデータのグループが認識対象カテゴリに合致する場合には（ステップＳ１８０５：Ｙｅｓ）、当該グループに含まれているストロークデータのみが選択対象であると認定し（ステップＳ１８０６）、ストロークデータのグループが認識対象カテゴリに合致しない場合には（ステップＳ１８０５：Ｎｏ）、当該グループに含まれているストロークデータは選択対象でないと認定する（ステップＳ１８０７）。そして、ステップＳ１８０５以下の処理を全てのストロークデータについて判定が完了するまで繰り返す（ステップＳ１８０８：Ｎｏ）。
【００６９】
全てのストロークデータについて判定が完了した場合には（ステップＳ１８０８：Ｙｅｓ）、選択対象であると認定されたグループの中から、認識対象とするべきグループを選択する（ステップＳ１８０９）。最後に、選択されたグループに含まれているストロークデータについて、文字認識あるいは図形認識が行われる（ステップＳ１８１０）。
【００７０】
以上のように本実施の形態２によれば、認識対象カテゴリをストロークデータの選択処理開始前に設定するとともに、ストロークデータを事前にグループ化しておくことによって、認識対象カテゴリの相違するグループに含まれているストロークデータを認識対象から排除することができ、選択対象となる筆跡と選択対象外の筆跡とが近くに存在し、かつ両者の認識対象カテゴリが一致する場合であっても、容易に目的とする筆跡のみを選択することが可能となる。
【００７１】
なお、本発明の実施の形態にかかるオンライン手書き情報認識装置を実現するプログラムは、図１９に示すように、ＣＤ−ＲＯＭ１９２−１やフレキシブルディスク１９２−２等の可搬型記録媒体１９２だけでなく、通信回線の先に備えられた他の記憶装置１９１や、コンピュータ１９３のハードディスクやＲＡＭ等の記録媒体１９４のいずれに記憶されるものであっても良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【００７２】
また、本発明の実施の形態にかかるオンライン手書き情報認識装置により用いられるグループ化されたストロークデータ等についても、図１９に示すように、ＣＤ−ＲＯＭ１９２−１やフレキシブルディスク１９２−２等の可搬型記録媒体１９２だけでなく、通信回線の先に備えられた他の記憶装置１９１や、コンピュータ１９３のハードディスクやＲＡＭ等の記録媒体１９４のいずれに記憶されるものであっても良く、例えば本発明にかかるオンライン手書き情報認識装置を利用する際にコンピュータ１９３により読み取られる。
【００７３】
【発明の効果】
以上のように本発明にかかるオンライン手書き情報認識装置によれば、文字列や図形など様々な筆跡が混在して書かれた手書き筆跡情報から認識したい部分のみを選択して認識する際に、認識対象となる部分と認識対象外の部分とを容易に分離し、認識対象となる部分のみを選択することができる。これにより筆跡選択の操作性が向上し、また選択誤りも低減することから、手書き認識装置の使い勝手が向上する。
【図面の簡単な説明】
【図１】 従来のオンライン手書き情報認識における処理の説明図
【図２】 従来のオンライン手書き情報認識装置の構成図
【図３】 従来のオンライン手書き情報認識装置における問題点の説明図
【図４】 従来のオンライン手書き情報認識装置における問題点の説明図
【図５】 本発明の実施の形態１にかかるオンライン手書き情報認識装置の構成図
【図６】 本発明の実施の形態１にかかるオンライン手書き情報認識装置におけるストロークデータ保存部のデータ構成例示図
【図７】 本発明の実施の形態１にかかるオンライン手書き情報認識装置におけるストロークデータの選択可否の説明図
【図８】 本発明の実施の形態１にかかるオンライン手書き情報認識装置におけるジェスチャによるストロークデータ選択の説明図
【図９】 本発明の実施の形態１にかかるオンライン手書き情報認識装置におけるジェスチャによるストロークデータ選択の説明図
【図１０】 本発明の実施の形態１にかかるオンライン手書き情報認識装置における処理の流れ図
【図１１】 本発明の実施の形態２にかかるオンライン手書き情報認識装置の構成図
【図１２】 本発明の実施の形態２にかかるオンライン手書き情報認識装置におけるグループ化の例示図
【図１３】 本発明の実施の形態２にかかるオンライン手書き情報認識装置におけるグループ化の例示図
【図１４】 本発明の実施の形態２にかかるオンライン手書き情報認識装置におけるグループ化方法の説明図
【図１５】 本発明の実施の形態２にかかるオンライン手書き情報認識装置におけるグループ編成部の構成図
【図１６】 本発明の実施の形態２にかかるオンライン手書き情報認識装置におけるグループ編成部の構成図
【図１７】 本発明の実施の形態２にかかるオンライン手書き情報認識装置における文字認識を利用したグループ化方法の説明図
【図１８】 本発明の実施の形態２にかかるオンライン手書き情報認識装置における処理の流れ図
【図１９】 コンピュータ環境の例示図
【符号の説明】
２１、５１ 座標入力部
２２、５２ ストロークデータ保存部
２３、５６ ストロークデータ選択部
２４、５７ 手書き情報認識部
５３ 認識対象設定部
５４ ストロークデータ判定部
５５ ストロークデータ選択対象限定部
１１１ グループ編成部
１５１ ストロークデータ時間情報抽出部
１５２、１６２ ストロークデータグループ判定部
１６１ 文字認識部
１９１ 回線先の記憶装置
１９２ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
１９２−１ ＣＤ−ＲＯＭ
１９２−２ フレキシブルディスク
１９３ コンピュータ
１９４ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
【発明の属する技術分野】
本発明は、手書きストロークに関する情報を認識しながら文字認識あるいは図形認識を行うオンライン手書き情報認識装置及び方法に関する。
【０００２】
【従来の技術】
昨今の急速なコンピュータ技術の進歩により、ＣＰＵの演算処理速度も向上し、従来は演算処理時間や認識精度等の問題から実用化が困難と考えられていた手書き文字の認識技術を用いた各種の携帯型情報端末等についても、ビジネス用途に限らず、一般家庭用も含めて急速に普及しているのが現状である。最近では、文字枠等に制約されずに自由に書かれた手書き文字あるいは手書き図形について認識可能な技術も多々開発されている。
【０００３】
文字枠や罫線等に制約されることなく自由に筆記される場合には、図形や文字列等、様々な内容が自由に書かれることになる。このように自由に筆記された内容の一部を認識して文字列や図形のカテゴリを判定するためには、多くのストロークデータの中から認識対象となる部分を選択する操作が必要となる。
【０００４】
例えば、図１に示すように、文字列と線画が混在して書かれているメモの内容から「田中」という文字列を選択し、そのストロークデータを取得することによって文字認識を行うことで認識結果文字列を得るというのが、手書き文字認識処理の基本的な処理の流れである。かかる処理を実行するためには、ストロークデータ（筆跡）の選択、ストロークデータ（筆跡）の取得、及び文字列の認識といった処理が必要となる。ここで、ストロークデータとは、ペンが接地してから離れるまでの軌跡データを意味している。
【０００５】
従来のオンライン手書き情報認識装置の代表的な構成を図２に示す。図２において、座標入力部２１から得られたストローク（筆跡）座標情報は、まずストロークデータの集合としてストロークデータ保存部２２に保存される。そして、保存されているストロークデータの集合の中から、ストロークデータ選択部２３によってストロークデータの一部が選択され、ストロークデータの部分集合が得られる。最後に当該ストロークデータの部分集合を手書き情報認識部２４に送ることによって、目的とする認識結果を得ることができる。
【０００６】
具体的には、座標入力部２１はタブレットやスタイラスペン等の作図や文字の筆記を行うことができる入力媒体を用いることになる。また、ストロークデータ保存部２２としては、コンピュータの記憶装置上やネットワーク上の記憶装置等が考えられる。
【０００７】
さらに、ストロークデータ選択部２３としては、例えば（特許文献１）又は（非特許文献１）において開示されているような、ペンの筆記による囲みジェスチャによって選択する方法を用いることが考えられる。手書き情報認識部２４についても、例えば（特許文献２）や（非特許文献２）、（非特許文献５）に開示されているような通常のオンライン手書き文字認識手段や、（非特許文献３）及び（非特許文献４）に開示されているような図形認識手段を用いることが考えられる。
【０００８】
【特許文献１】
特開平６−１３１１１１号公報
【特許文献２】
特開平１０−４０３３７号公報
【０００９】
【非特許文献１】
佐藤俊、外２名、「手書きインタフェースのためのペンの囲みによる対象判定アルゴリズムの実現と評価」、信学技報、１９９１年１２月（ＰＲＵ９２−８８）
【００１０】
【非特許文献２】
田中宏、外２名、「階層遅延セグメンテーションを用いた実時間枠なしオンライン手書き文字列認識」、信学技報、２００２年３月（ＰＲＭＵ２００１−２６４）
【００１１】
【非特許文献３】
正嶋博、外３名、「画数，筆順，回転，区切りに依存しないオンライン手書き図形認識方式」、情報処理学会論文誌、１９８６年５月、第２７巻、第５号
【００１２】
【非特許文献４】
児島治彦、戸井田徹、「隣接線分構造解析法によるオンライン手書き図形認識」、情報処理学会論文誌、１９８７年８月、第２８巻、第８号
【００１３】
【非特許文献５】
岡本正義、外３名、「知識ベースに基づいた手書き情報認識」、情報処理学会第４３回（平成３年度後期）全国大会、２Ｄ−１、ｐ．２−１９−２−２０
【００１４】
【発明が解決しようとする課題】
しかしながら、実際に筆記されている状態が、例えば図３に示すように、選択対象である文字列「田中」の近くに、選択対象外の筆跡である二重下線が存在するような場合には、誤って選択対象外の筆跡まで選択してしまうおそれがあり、この場合、選択対象外である二重下線も認識の対象とすることによって、正確に文字認識を行うことが困難となってしまうという問題点があった。
【００１５】
同様に、実際に筆記されている状態が、例えば図４に示すように、選択対象である文字列「田中」の近くに、選択対象外である別の文字列「山」が存在する場合にも、誤って選択対象外の文字列「山」の一部分のストロークデータまで選択対象としてしまうおそれがあり、この場合も、文字認識を正確に行うことは困難となるという問題点があった。
【００１６】
本発明は、上記問題点を解決するために、選択対象となる筆跡と選択対象外の筆跡とが近くに存在する場合であっても、容易に目的とする筆跡のみを選択することができるオンライン手書き情報認識装置及び方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記目的を達成するために本発明にかかるオンライン手書き情報認識装置は、筆跡座標データを入力するための座標入力部と、入力された筆跡座標データで形成されたストロークデータの集合に対して、文字認識又は図形認識を行う手書き情報認識部と、ストロークデータの集合から手書き認識の対象となるストロークデータの部分集合を選択するストロークデータ選択部とを有し、選択されたストロークデータの部分集合に対して、手書き情報認識部において文字認識又は図形認識を行い、認識結果を出力するオンライン手書き情報認識装置であって、手書き情報認識部において認識対象とする認識対象カテゴリを設定する認識対象設定部と、現在設定されている認識対象カテゴリに、各ストロークデータが属するか否かを判定するストロークデータ判定部と、ストロークデータ選択部において選択対象となるストロークデータを、認識対象カテゴリに属すると判定されたストロークデータのみに限定するストロークデータ選択対象限定部とを有することを特徴とする。
【００１８】
かかる構成により、認識対象カテゴリをストロークデータの選択処理開始前に設定しておくことによって、認識対象カテゴリの相違するストロークデータを認識対象から排除することができ、選択対象となる筆跡と選択対象外の筆跡とが近くに存在する場合であっても、容易に目的とする筆跡のみを選択することが可能となる。
【００１９】
また、本発明にかかるオンライン手書き情報認識装置は、複数のストロークデータをグループごとに分類するグループ編成部を有し、ストロークデータ判定部において、グループ単位にストロークデータの属する認識対象カテゴリを判定することが好ましい。さらに、本発明にかかるオンライン手書き情報認識装置は、複数のストロークデータをグループごとに分類するグループ編成部を有し、ストロークデータ選択部において、グループ単位にストロークデータの選択を行うことが好ましい。
【００２０】
認識対象カテゴリをストロークデータの選択処理開始前に設定するとともに、ストロークデータを事前にグループ化しておくことによって、認識対象カテゴリの相違するグループに含まれているストロークデータを認識対象から排除することができ、選択対象となる筆跡と選択対象外の筆跡とが近くに存在し、かつ両者の認識対象カテゴリが一致する場合であっても、容易に目的とする筆跡のみを選択することができるからである。
【００２１】
また、本発明にかかるオンライン手書き情報認識装置は、グループ編成部において、ストロークデータが筆記された順序に基づいてストロークデータをグループごとに分類することが好ましい。あるいは、グループ編成部において、少なくともストロークデータが筆記された時間間隔を含む時間情報に基づいてストロークデータをグループごとに分類することが好ましい。オフストロークの長さに応じて、一連の文字あるいは図形であるか否かを判断することができるからである。
【００２２】
また、本発明にかかるオンライン手書き情報認識装置は、グループ編成部において、ストロークデータを文字認識した結果に基づいてストロークデータをグループごとに分類することが好ましい。認識結果として出力される評価値に基づいて分類されたカテゴリごとに、ストロークデータをグループ化することができるからである。
【００２３】
また、本発明は、上記のようなオンライン手書き情報認識装置の機能をコンピュータの処理ステップとして実行するソフトウェアを特徴とするものであり、具体的には、筆跡座標データを入力するための工程と、入力された筆跡座標データで形成されたストロークデータの集合に対して、文字認識又は図形認識を行う工程と、ストロークデータの集合から手書き認識の対象となるストロークデータの部分集合を選択する工程とを有し、選択されたストロークデータの部分集合に対して文字認識又は図形認識を行い、認識結果を出力するオンライン手書き情報認識方法であって、認識対象とする認識対象カテゴリを設定する工程と、現在設定されている認識対象カテゴリに、各ストロークデータが属するか否かを判定する工程と、選択対象となるストロークデータを、認識対象カテゴリに属すると判定されたストロークデータのみに限定する工程とを有するオンライン手書き情報認識方法並びにそのような工程を具現化するコンピュータ実行可能なプログラムであることを特徴とする。
【００２４】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、認識対象カテゴリをストロークデータの選択処理開始前に設定しておくことによって、認識対象カテゴリの相違するストロークデータを認識対象から排除することができ、選択対象となる筆跡と選択対象外の筆跡とが近くに存在する場合であっても、容易に目的とする筆跡のみを選択することができる認識精度の高いオンライン手書き情報認識装置を実現することが可能となる。
【００２５】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態１にかかるオンライン手書き情報認識装置について、図面を参照しながら説明する。図５は本発明の実施の形態１にかかるオンライン手書き情報認識装置の構成図である。
【００２６】
図５において、５１は座標入力部を、５２はストロークデータ保存部を、５６はストロークデータ選択部を、５７は手書き情報認識部を、それぞれ示しており、従来の構成を示す図１における座標入力部２１、ストロークデータ保存部２２、ストロークデータ選択部２３、手書き情報認識部２４にそれぞれ対応している。
【００２７】
座標入力部５１には、通常、タブレットとスタイラスペンを組み合わせた筆跡情報取得デバイスを用いることが多い。一般に、タブレットは、毎秒５０〜２００回程度の周期でペンの位置座標を感知し、スタイラスペンが筆記中（オン状態）であるか否か（オフ状態）の情報も含めて座標点データを取得する。そして、取得された座標情報は、スタイラスペンがオン状態である連続した座標点列を一つのストロークデータとして、複数のストロークデータを１つのストロークデータの集合としてストロークデータ保存部５２に格納される。なお、ストロークデータ保存部５２に格納されるストロークデータ集合のデータ形式としては、例えばＣ言語で表す場合には図６に示すような形式が考えられる。もちろん、かかるデータ形式に限定されるものではない。
【００２８】
次に、５３は認識対象設定部を示しており、手書き情報認識部５７における認識対象カテゴリを設定するものである。ここで設定される認識対象カテゴリとしては、例えば文字列や図形といった粗いカテゴリ分けに止まらず、数字列、漢字列、多角形等の細かなカテゴリ分け等も含まれる。
【００２９】
すなわち、ストロークデータ選択部５６が選択対象とするのは、手書き情報認識部５７が認識対象とする筆跡のみである。例えば文字列を認識しようとしている場合には、図形に対応する筆跡は選択する必要が無く、数字を認識しようとしている場合には、漢字に対応する筆跡は選択する必要が無いからである。
【００３０】
そのために、例えば図７に示すように、文字列を選択して認識しようとしている場合には、認識対象設定部５３において、認識対象カテゴリを「文字列」と設定しておき、実線で表している選択可能な筆跡である文字列のみが、ストロークデータ選択部５６における選択の対象となる。また、破線で表している選択不可能な筆跡である二重下線や略語「Ｔｅｌ」については、ストロークデータ選択部５６における選択の対象から排除される。
【００３１】
認識対象設定部５３において設定された認識対象カテゴリは、ストロークデータ判定部５４に渡され、ストロークデータ保存部５２に格納されているストロークデータの集合の中から、どのストロークデータと認識対象カテゴリが一致するのか否かを判定するのに用いられる。
【００３２】
すなわち、ストロークデータ判定部５４においては、ストロークデータ保存部５２に格納されているストロークデータの集合のうち、認識対象カテゴリに合致するストロークデータのみを選択可能にするため、個々のストロークデータが認識対象カテゴリに合致するか否かを判定する。
【００３３】
本実施の形態１においては、ストロークデータ判定部５４は個々のストロークデータが文字列を構成するストロークデータであるか、あるいは図形を構成するストロークデータであるのか、いずれのカテゴリに属するか否かを判定するものとする。例えば（非特許文献５）においては、ストロークデータの集合を文字、図形、表、編集記号の４種類に分類する方法が開示されており、このような方法を用いることで、図形、表、編集記号の３者を一括して図形とみなすことによって、文字列と図形の判定を行うことが可能となる。なお、両者の判定方法はこれに限定されるものではない。
【００３４】
そして、５５はストロークデータ選択対象限定部を示しており、ストロークデータ判定部５４において認識対象カテゴリに属すると、すなわち認識対象として選択される対象であると判定されたストロークデータの中から、認識対象とするべきストロークデータを選択するものである。
【００３５】
例えばストロークデータ選択部５６では、図８に示すようにスタイラスペン等で筆記したジェスチャ８１（点線矢印）で囲まれたストロークデータを選択するように制御される。すなわち、個々のストロークデータが、画面上に記載されたジェスチャ８１で囲まれている領域内にあるか否かによって、認識対象とするか否かを決定するものである。
【００３６】
具体的には、図９に示すように、ストロークデータ判定部５４において認識対象に合致すると判定されたストロークデータ（太線）と、合致しないと判定されたストロークデータ（細線）とを区別しておき、ストロークデータ選択部５６において、囲みジェスチャが書かれた場合、たとえ囲みジェスチャ内に含まれているストロークデータであっても、細線で示されているストロークデータ、すなわちストロークデータ判定部５４において認識対象に合致しないと判定されたストロークデータについては選択対象から外される。そして、太線で示されているストロークデータ、すなわちストロークデータ判定部５４において認識対象に合致すると判定されたストロークデータについてのみ選択されることになる。
【００３７】
なお、ストロークデータ選択対象限定部５５では、ストロークデータの選択対象を限定すれば良いので、ユーザに対して選択対象とできるストロークデータを表示する必要は無い。しかし、画面上のどのストロークデータが現在選択対象となっているかをユーザに示すことによって、ストロークデータ選択部５６における使い勝手はより向上するものと考えられる。
【００３８】
ユーザに対して、選択対象となっているストロークデータがどれであるのかを示す方法としては、選択対象以外のストロークデータの表示色を薄く表示する方法や、線の太さを変える方法、あるいは選択時に一時的に画面から消去するという方法も考えられる。もちろん、これらの方法に限定されるものではない。
【００３９】
そして、ストロークデータ選択部５６において選択されたストロークデータは、ストロークデータの部分集合として手書き情報認識部５７に渡され、文字認識あるいは図形認識が行われることになる。
【００４０】
次に、本発明の実施の形態１にかかるオンライン手書き情報認識装置を実現するプログラムの処理の流れについて説明する。図１０に本発明の実施の形態にかかるオンライン手書き情報認識装置を実現するプログラムの処理の流れ図を示す。
【００４１】
図１０において、まずペンの位置座標を取得し、スタイラスペンが筆記中（オン状態）であるか否か（オフ状態）の情報も含めて座標点データを取得する（ステップＳ１００１）。そして、取得された座標情報に基づいて、ストロークデータを抽出して、ストロークデータの集合として保存する（ステップＳ１００２）。
【００４２】
次に、認識対象カテゴリを設定し（ステップＳ１００３）、保存されているストロークデータの集合のうち、個々のストロークデータが認識対象カテゴリに合致するか否かを判定する（ステップＳ１００４）。
【００４３】
ストロークデータが認識対象カテゴリに合致する場合には（ステップＳ１００４：Ｙｅｓ）、当該ストロークデータが選択対象であると認定し（ステップＳ１００５）、ストロークデータが認識対象カテゴリに合致しない場合には（ステップＳ１００４：Ｎｏ）、当該ストロークデータが選択対象でないと認定する（ステップＳ１００６）。そして、ステップＳ１００４以下の処理を全てのストロークデータについて判定が完了するまで繰り返す（ステップＳ１００７：Ｎｏ）。
【００４４】
全てのストロークデータについて判定が完了した場合には（ステップＳ１００７：Ｙｅｓ）、選択対象であると認定されたストロークデータの中から、認識対象とするべきストロークデータを選択する（ステップＳ１００８）。最後に、選択されたストロークデータについて、文字認識あるいは図形認識が行われる（ステップＳ１００９）。
【００４５】
以上のように本実施の形態１によれば、認識対象カテゴリをストロークデータの選択処理開始前に設定しておくことによって、認識対象カテゴリの相違するストロークデータを認識対象から排除することができ、選択対象となる筆跡と選択対象外の筆跡とが近くに存在する場合であっても、容易に目的とする筆跡のみを選択することが可能となる。
【００４６】
（実施の形態２）
以下、本発明の実施の形態２にかかるオンライン手書き情報認識装置について、図面を参照しながら説明する。図１１は、本発明の実施の形態２にかかるオンライン手書き情報認識装置の構成図である。図１１に示すように、基本的な構成は実施の形態１と同様であることから、共通の機能を有する部分については、図５と同一の符号を付すことによって、詳細な説明を省略する。
【００４７】
本実施の形態２が実施の形態１と相違しているのは、ストロークデータ保存部５２に保存されているストロークデータの集合に対して、グループ化を行うグループ編成部１１１を有する点である。
【００４８】
すなわち、文字列や図形といったストロークデータに関する認識対象カテゴリを区別することで、文字と図形の両方が近傍に記載されているような手書き情報に対する認識精度の向上は図ることができるが、図４の例に示したような、複数の文字列あるいは図形といった、同一の認識対象カテゴリに属する手書き情報が近傍に記載されている場合には、その一部が混在して選択されてしまうという問題を十分には解決できない。
【００４９】
そこで、本実施の形態２においては、同じ認識対象カテゴリに属するストロークデータを、続けて書かれた一連の文字列あるいは一連の図形として一つのグループとしてまとめ、ストロークデータの認識対象カテゴリの判定や、ストロークデータの選択処理を、当該グループ単位で行うことによって、異なったグループに属するストロークデータを同時に選択することができないようにしている。
【００５０】
例えば図１２に示すように、「田中さんへＴｅｌ」、「山本様」、「０１２−３４５−６７８９」といった文字列について、それぞれグループ化することによって、例えば「田中」を選択しようとした時に、「山本」に属するストロークデータが同時に選択されるとしまうことを未然に回避することができる。また、図１３に示すように、グループ化を一連の文字列としてではなく、文字単位に分割するようにグループ化することにより、異なった文字列の中にある各々の文字を同時に選択することも可能になる。
【００５１】
したがって、ストロークデータ判定部５４においては、ストロークデータのグループ単位で認識対象カテゴリの判定を行うことになる。グループ単位で認識対象カテゴリの判定を行うには、例えば個々の判定結果の多数決により決定することが考えられる。判定結果が同数の場合（例えば４画のグループで図形と文字に判定されたストロークが２つずつであった場合等）は、いずれの認識対象カテゴリも可能性があるものと判定すれば良い。ただし、これらの方法に限定されるものではない。
【００５２】
また、ストロークデータ選択部５６においても、ストロークデータのグループ単位で認識対象となるグループを選択することになる。そのためには、ストロークを選択する際に、各グループの外接枠の中心点を求め、中心点が囲みジェスチャにより囲まれているか否かによってストロークをグループ単位で選択すれば良い。もちろん、これらの方法に限定されるものではない。
【００５３】
ストロークデータをグループ化する方法についても、様々な方法が考えられる。例えば図１４に示すように、ストロークデータの集合を行ごとに分割する方法が考えられる。
【００５４】
まず、図１４（ａ）に示すように、ストロークデータの集合を筆記時間を用いておおまかに分割することが考えられる。具体的には、ストロークデータの集合を筆記された時間の順序に並べ、隣り合ったストロークデータ間の時間間隔（前のストロークデータの終点から次のストロークデータの始点までの時間間隔）が1秒以上空いている位置を分割点とするものである。以下、時間間隔によって分割されたストロークデータの部分集合を「時間グループ」と呼ぶ。
【００５５】
次に、それぞれの時間グループの中におけるストロークデータの位置関係に着目する。ストロークデータ間でペンが移動する軌跡をオフストロークと呼んでいるが、オフストロークの長さが以下のいずれかの条件に合致する場合、そこを行の区切りだと判定することが可能となる。なお、ストロークデータサイズとは、ストロークデータに外接する枠における長辺の長さを意味する。
【００５６】
（条件１）時間グループの中におけるストロークデータサイズの平均値をsとした場合、オフストロークの長さがsの３倍よりも長い場合
（条件２）筆記方向を横方向とし、時間グループの中におけるストロークデータサイズの平均値をsとした場合、オフストロークデータの横方向の長さがsよりも大きい場合
例えば、図１４（ｂ）においては、オフストロークを細破線で示しており、行の区切りとなるオフストロークを太破線で示している。図１４（ｂ）のように、上の行を書いてから下の行に移るときには、オフストロークの長さが長くなってしまうことから、ここで行の区切りが生じたものと推定することが可能となる。
【００５７】
図１５には、時間グループを用いる場合のグループ編成部１１１の構成図を示す。図１５に示すように、グループ編成部１１１は、ストロークデータ時間情報抽出部１５１と、ストロークデータグループ判定部１５２とで構成されている。
【００５８】
ストロークデータ時間情報抽出部１５１では、隣り合ったストロークデータ間の時間間隔（前のストロークデータの終点から次のストロークデータの始点までの時間間隔）が1秒以上空いている位置を抽出し、ストロークデータグループ判定部１５２では、オフストロークに基づいてグループ単位で分割する際の区切れ部分を特定することになる。
【００５９】
なお、長いオフストロークがある位置においては、通常は時間間隔も長い。したがって、図１５のように処理を２段階にせず、ストロークの時間間隔のみで分割した場合であっても実用的に十分であると考えられる。
【００６０】
また、ストロークデータをグループ化する他の方法として、文字認識機能を用いてグループ分けする方法も考えられる。すなわち、文字枠を用いずに画面上に書かれた文字列を認識する枠なし文字認識を行い、かかる認識結果に基づいてグループ化を行う方法である。
【００６１】
図１６には、枠なし文字認識の結果を用いる場合のグループ編成部１１１の構成図を示す。図１６に示すように、グループ編成部１１１は、文字認識部１６１と、ストロークデータグループ判定部１６２とで構成されている。
【００６２】
具体的には、図１７に示すように、文字認識部１６１において、文字枠を用いずに画面上に書かれた文字列を認識する枠なし文字認識を行い、文字を分割してそれぞれの文字認識結果が得られる。そして、文字認識部１６１の出力として、それぞれの文字認識結果に評価値が付加される。
【００６３】
文字認識部１６１が出力する評価値としては様々なものが考えられる。例えば評価値を１０００点満点とし、評価値が７５０点を越えれば文字認識結果として十分に確からしいと判断することになる。図１７では、それぞれの文字認識評価値を求め、それが７５０点以上であれば文字であると認識され、７００点以下であれば図形として認識される。また、７００点から７５０点の間であれば、文字認識時にも図形認識時にも選択可能である、というように判断することができる。
【００６４】
そして、ストロークデータグループ判定部１６２では、評価値に基づいて文字であるか否かの判断結果を参照して、認識対象カテゴリが文字であるもの、図形であるもの、等のように、ストロークデータをグループ化することになる。
【００６５】
次に、本発明の実施の形態２にかかるオンライン手書き情報認識装置を実現するプログラムの処理の流れについて説明する。図１８に本発明の実施の形態にかかるオンライン手書き情報認識装置を実現するプログラムの処理の流れ図を示す。
【００６６】
図１８において、まずペンの位置座標を取得し、スタイラスペンが筆記中（オン状態）であるか否か（オフ状態）の情報も含めて座標点データを取得する（ステップＳ１８０１）。そして、取得された座標情報に基づいて、ストロークデータを抽出して、ストロークデータの集合として保存する（ステップＳ１８０２）。また、ストロークデータの時間情報に基づいて、ストロークデータのグループ化を行う（ステップＳ１８０３）。
【００６７】
次に、認識対象カテゴリを設定し（ステップＳ１８０４）、保存されているストロークデータ集合のグループが認識対象カテゴリに合致するか否かを判定する（ステップＳ１８０５）。
【００６８】
ストロークデータのグループが認識対象カテゴリに合致する場合には（ステップＳ１８０５：Ｙｅｓ）、当該グループに含まれているストロークデータのみが選択対象であると認定し（ステップＳ１８０６）、ストロークデータのグループが認識対象カテゴリに合致しない場合には（ステップＳ１８０５：Ｎｏ）、当該グループに含まれているストロークデータは選択対象でないと認定する（ステップＳ１８０７）。そして、ステップＳ１８０５以下の処理を全てのストロークデータについて判定が完了するまで繰り返す（ステップＳ１８０８：Ｎｏ）。
【００６９】
全てのストロークデータについて判定が完了した場合には（ステップＳ１８０８：Ｙｅｓ）、選択対象であると認定されたグループの中から、認識対象とするべきグループを選択する（ステップＳ１８０９）。最後に、選択されたグループに含まれているストロークデータについて、文字認識あるいは図形認識が行われる（ステップＳ１８１０）。
【００７０】
以上のように本実施の形態２によれば、認識対象カテゴリをストロークデータの選択処理開始前に設定するとともに、ストロークデータを事前にグループ化しておくことによって、認識対象カテゴリの相違するグループに含まれているストロークデータを認識対象から排除することができ、選択対象となる筆跡と選択対象外の筆跡とが近くに存在し、かつ両者の認識対象カテゴリが一致する場合であっても、容易に目的とする筆跡のみを選択することが可能となる。
【００７１】
なお、本発明の実施の形態にかかるオンライン手書き情報認識装置を実現するプログラムは、図１９に示すように、ＣＤ−ＲＯＭ１９２−１やフレキシブルディスク１９２−２等の可搬型記録媒体１９２だけでなく、通信回線の先に備えられた他の記憶装置１９１や、コンピュータ１９３のハードディスクやＲＡＭ等の記録媒体１９４のいずれに記憶されるものであっても良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【００７２】
また、本発明の実施の形態にかかるオンライン手書き情報認識装置により用いられるグループ化されたストロークデータ等についても、図１９に示すように、ＣＤ−ＲＯＭ１９２−１やフレキシブルディスク１９２−２等の可搬型記録媒体１９２だけでなく、通信回線の先に備えられた他の記憶装置１９１や、コンピュータ１９３のハードディスクやＲＡＭ等の記録媒体１９４のいずれに記憶されるものであっても良く、例えば本発明にかかるオンライン手書き情報認識装置を利用する際にコンピュータ１９３により読み取られる。
【００７３】
【発明の効果】
以上のように本発明にかかるオンライン手書き情報認識装置によれば、文字列や図形など様々な筆跡が混在して書かれた手書き筆跡情報から認識したい部分のみを選択して認識する際に、認識対象となる部分と認識対象外の部分とを容易に分離し、認識対象となる部分のみを選択することができる。これにより筆跡選択の操作性が向上し、また選択誤りも低減することから、手書き認識装置の使い勝手が向上する。
【図面の簡単な説明】
【図１】 従来のオンライン手書き情報認識における処理の説明図
【図２】 従来のオンライン手書き情報認識装置の構成図
【図３】 従来のオンライン手書き情報認識装置における問題点の説明図
【図４】 従来のオンライン手書き情報認識装置における問題点の説明図
【図５】 本発明の実施の形態１にかかるオンライン手書き情報認識装置の構成図
【図６】 本発明の実施の形態１にかかるオンライン手書き情報認識装置におけるストロークデータ保存部のデータ構成例示図
【図７】 本発明の実施の形態１にかかるオンライン手書き情報認識装置におけるストロークデータの選択可否の説明図
【図８】 本発明の実施の形態１にかかるオンライン手書き情報認識装置におけるジェスチャによるストロークデータ選択の説明図
【図９】 本発明の実施の形態１にかかるオンライン手書き情報認識装置におけるジェスチャによるストロークデータ選択の説明図
【図１０】 本発明の実施の形態１にかかるオンライン手書き情報認識装置における処理の流れ図
【図１１】 本発明の実施の形態２にかかるオンライン手書き情報認識装置の構成図
【図１２】 本発明の実施の形態２にかかるオンライン手書き情報認識装置におけるグループ化の例示図
【図１３】 本発明の実施の形態２にかかるオンライン手書き情報認識装置におけるグループ化の例示図
【図１４】 本発明の実施の形態２にかかるオンライン手書き情報認識装置におけるグループ化方法の説明図
【図１５】 本発明の実施の形態２にかかるオンライン手書き情報認識装置におけるグループ編成部の構成図
【図１６】 本発明の実施の形態２にかかるオンライン手書き情報認識装置におけるグループ編成部の構成図
【図１７】 本発明の実施の形態２にかかるオンライン手書き情報認識装置における文字認識を利用したグループ化方法の説明図
【図１８】 本発明の実施の形態２にかかるオンライン手書き情報認識装置における処理の流れ図
【図１９】 コンピュータ環境の例示図
【符号の説明】
２１、５１ 座標入力部
２２、５２ ストロークデータ保存部
２３、５６ ストロークデータ選択部
２４、５７ 手書き情報認識部
５３ 認識対象設定部
５４ ストロークデータ判定部
５５ ストロークデータ選択対象限定部
１１１ グループ編成部
１５１ ストロークデータ時間情報抽出部
１５２、１６２ ストロークデータグループ判定部
１６１ 文字認識部
１９１ 回線先の記憶装置
１９２ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
１９２−１ ＣＤ−ＲＯＭ
１９２−２ フレキシブルディスク
１９３ コンピュータ
１９４ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
Claims (8)
- 筆跡座標データを入力するための座標入力部と、
入力された前記筆跡座標データで形成されたストロークデータの集合に対して、文字認識又は図形認識を行う手書き情報認識部と、
前記ストロークデータの集合から手書き認識の対象となるストロークデータの部分集合を選択するストロークデータ選択部とを有し、
選択された前記ストロークデータの部分集合に対して、前記手書き情報認識部において文字認識又は図形認識を行い、認識結果を出力するオンライン手書き情報認識装置であって、
前記手書き情報認識部において認識対象とする認識対象カテゴリを文字又は図形に設定する認識対象設定部と、
該認識対象設定部において設定されている前記認識対象カテゴリに、前記ストロークデータが属するか否かを判定するストロークデータ判定部と、
前記ストロークデータ選択部において選択対象となる前記ストロークデータを、前記ストロークデータ判定部において前記認識対象カテゴリに属すると判定された前記ストロークデータのみに限定するストロークデータ選択対象限定部とを有することを特徴とするオンライン手書き情報認識装置。 - 複数のストロークデータをグループごとに分類するグループ編成部を更に有し、
前記ストロークデータ判定部において、前記グループ単位に前記ストロークデータの属する前記認識対象カテゴリを判定する請求項１に記載のオンライン手書き情報認識装置。 - 複数のストロークデータをグループごとに分類するグループ編成部を更に有し、
前記ストロークデータ選択部において、前記グループ単位に前記ストロークデータの選択を行う請求項１に記載のオンライン手書き情報認識装置。 - 前記グループ編成部において、前記ストロークデータが筆記された順序に基づいて前記ストロークデータを前記グループごとに分類する請求項２又は３に記載のオンライン手書き情報認識装置。
- 前記グループ編成部において、少なくとも前記ストロークデータが筆記された時間間隔を含む時間情報に基づいて前記ストロークデータを前記グループごとに分類する請求項２又は３に記載のオンライン手書き情報認識装置。
- 前記グループ編成部において、前記ストロークデータを文字認識した結果に基づいて前記ストロークデータを前記グループごとに分類する請求項２又は３に記載のオンライン手書き情報認識装置。
- コンピュータが備える座標入力部が、筆跡座標データを入力するための座標入力工程と、
前記コンピュータが備える手書き情報認識部が、入力された前記筆跡座標データで形成されたストロークデータの集合に対して、文字認識又は図形認識を行う手書き情報認識工程と、
前記コンピュータが備えるストロークデータ選択部が、前記ストロークデータの集合から手書き認識の対象となるストロークデータの部分集合を選択するストロークデータ選択工程とを有し、
前記手書き情報認識部が、選択された前記ストロークデータの部分集合に対して文字認識又は図形認識を行い、認識結果を出力するオンライン手書き情報認識方法であって、
前記コンピュータが備える認識対象設定部が、前記手書き情報認識工程において認識対象とする認識対象カテゴリを文字又は図形に設定する認識対象設定工程と、
前記コンピュータが備えるストロークデータ判定部が、前記認識対象設定工程において設定されている前記認識対象カテゴリに、前記ストロークデータが属するか否かを判定するストロークデータ判定工程と、
前記コンピュータが備えるストロークデータ選択対象限定部が、前記ストロークデータ 選択工程において選択対象となる前記ストロークデータを、前記ストロークデータ判定工程において前記認識対象カテゴリに属すると判定された前記ストロークデータのみに限定するストロークデータ選択対象限定工程とを有することを特徴とするオンライン手書き情報認識方法。 - 筆跡座標データを入力するための座標入力ステップと、
入力された前記筆跡座標データで形成されたストロークデータの集合に対して、文字認識又は図形認識を行う手書き情報認識ステップと、
前記ストロークデータの集合から手書き認識の対象となるストロークデータの部分集合を選択するストロークデータ選択ステップと、
選択された前記ストロークデータの部分集合に対して文字認識又は図形認識を行い、認識結果を出力するステップとをコンピュータに実行させるプログラムであって、
前記手書き情報認識ステップにおいて認識対象とする認識対象カテゴリを文字又は図形に設定する認識対象設定ステップと、
前記認識対象設定ステップにおいて設定されている前記認識対象カテゴリに、前記ストロークデータが属するか否かを判定するストロークデータ判定ステップと、
前記ストロークデータ選択ステップにおいて選択対象となる前記ストロークデータを、前記ストロークデータ判定ステップにおいて前記認識対象カテゴリに属すると判定された前記ストロークデータのみに限定するステップとを前記コンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002302270A JP4145622B2 (ja) | 2002-10-16 | 2002-10-16 | オンライン手書き情報認識装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002302270A JP4145622B2 (ja) | 2002-10-16 | 2002-10-16 | オンライン手書き情報認識装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004139281A JP2004139281A (ja) | 2004-05-13 |
| JP4145622B2 true JP4145622B2 (ja) | 2008-09-03 |
Family
ID=32450395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002302270A Expired - Fee Related JP4145622B2 (ja) | 2002-10-16 | 2002-10-16 | オンライン手書き情報認識装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4145622B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4683560B2 (ja) * | 2006-07-06 | 2011-05-18 | 株式会社日立ソリューションズ | 電子黒板システムにおける描画オブジェクトの隠蔽処理方法及び電子黒板システム |
| JP5042562B2 (ja) * | 2006-08-22 | 2012-10-03 | 株式会社リコー | 画像処理装置、手書き情報認識方法、手書き情報認識プログラム |
| JP5349645B1 (ja) * | 2012-05-11 | 2013-11-20 | 株式会社東芝 | 電子機器および手書き文書処理方法 |
| JP5869179B2 (ja) * | 2013-03-18 | 2016-02-24 | 株式会社東芝 | 電子機器および手書き文書処理方法 |
-
2002
- 2002-10-16 JP JP2002302270A patent/JP4145622B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004139281A (ja) | 2004-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4308785B2 (ja) | デジタルインク質疑検索装置及びその方法 | |
| JP3427928B2 (ja) | 手書き情報処理システムおよび方法 | |
| US8913832B2 (en) | Method and device for interacting with a map | |
| EP2080113B1 (en) | Media material analysis of continuing article portions | |
| EP1376390B1 (en) | Writing guide for a free-form document editor | |
| US7203903B1 (en) | System and methods for spacing, storing and recognizing electronic representations of handwriting, printing and drawings | |
| US5613019A (en) | System and methods for spacing, storing and recognizing electronic representations of handwriting, printing and drawings | |
| JP5774558B2 (ja) | 手書き文書処理装置、方法及びプログラム | |
| JP2003308480A (ja) | オンライン手書き文字パターン認識編集装置及び方法並びに当該方法を実現するコンピュータ実行可能なプログラム | |
| US20030095113A1 (en) | Index and retrieval system and method for scanned notes from whiteboard | |
| CN107273032A (zh) | 信息排版方法、装置、设备及计算机存储介质 | |
| EP0782066A2 (en) | Information erasing method and apparatus for a display screen | |
| JP4145622B2 (ja) | オンライン手書き情報認識装置及び方法 | |
| US7280693B2 (en) | Document information input apparatus, document information input method, document information input program and recording medium | |
| US6421461B1 (en) | Pattern recognition apparatus which compares input pattern feature and size data to registered feature and size pattern data, an apparatus for registering feature and size data, and corresponding methods and memory media therefor | |
| JP2005025566A (ja) | 手書き入力装置、手書き入力方法、手書き入力プログラム、および、プログラム記録媒体 | |
| US11715197B2 (en) | Image segmentation method and device | |
| JPH07146918A (ja) | 手書き文字認識装置 | |
| JP2000099223A (ja) | 手書き文字入力インタフェースを有するデータ処理装置及び記録媒体 | |
| JP4148867B2 (ja) | 筆跡処理装置 | |
| CN101833411B (zh) | 用于笔迹输入的方法和设备 | |
| JP6201838B2 (ja) | 情報処理装置及び情報処理プログラム | |
| US5073957A (en) | Graphic editing system | |
| JPH0247788B2 (ja) | ||
| JPH0573725A (ja) | 手書き文字・図形認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071101 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080603 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080618 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120627 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120627 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130627 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130627 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |