JP6821174B2 - 手書き文字認識装置、検出装置および処理装置 - Google Patents

Description

本発明は、筆記具を用いて媒体に筆記された文字を認識する手書き文字認識装置、検出装置および処理装置に関する。

従来から、筆記具に内蔵された検出装置によって筆記具の動きを検出することにより、その筆記具を用いて媒体（例えば、ディスプレイ面）に筆記された文字を認識する手書き文字認識装置が知られている（例えば、特許文献１を参照）。

特開平７−１１０７３７号公報

しかしながら、このような従来の技術では、筆記具の動きを検出する検出装置を内蔵した筆記具を用いた場合にのみ、手書き文字を認識することが可能であり、そのような検出装置を内蔵しない一般の筆記具（例えば、一般に市販されているボールペンや鉛筆）を用いた場合には、手書き文字を認識することが可能でないのが発明者の認識であった。また、そのような検出手段を内蔵する筆記具の場合には、筆記具の先端には空きスペースが少なく、そのような検出手段を筆記具の先端に収納することができないため、筆記具の動きの検出精度が低く、その結果、手書き文字の認識精度も低いというのが発明者の認識であった。さらに、従来の手書き文字認識装置では、筆記具が移動した軌跡から文字を分離する処理の精度が低いため、その結果、手書き文字の認識精度が低いというのが発明者の認識であった。

本発明は、手書き文字の認識精度が高い手書き文字認識装置、検出装置および処理装置を提供することを目的とする。

本発明の手書き文字認識装置は、筆記具を用いて媒体に筆記された文字を認識する手書き文字認識装置であって、前記手書き文字認識装置は、前記筆記具が前記媒体に接触しているか否かを検出する複数のセンサを含む検出部と、前記筆記具が移動した軌跡を復元する復元部と、前記複数のセンサのうちの少なくとも２つのセンサから出力されるデータに基づいて、前記軌跡から文字を分離する分離部と、前記分離部によって分離された前記文字の特徴を抽出する抽出部と、前記抽出部によって抽出された前記文字の特徴に基づいて、前記文字を認識する認識部とを備えている。

本発明の１つの実施形態では、前記複数のセンサは、前記筆記具の動きを検出する少なくとも１つの第１のタイプのセンサと、前記筆記具が前記媒体に接触することによって発生する音および／または振動を検出する少なくとも１つの第２のタイプのセンサとを含み、
前記分離部は、前記少なくとも１つの第１のタイプのセンサから出力されるデータと前記少なくとも１つの第２のタイプのセンサから出力されるデータとに基づいて、前記軌跡から前記文字を分離するように構成されていてもよい。

本発明の１つの実施形態では、前記少なくとも１つの第１のタイプのセンサは、加速度センサ、ジャイロセンサ、磁気センサのうちの少なくとも１つを含んでいてもよい。

本発明の１つの実施形態では、前記少なくとも１つの第２のタイプのセンサは、マイクロホン、加速度センサ、ジャイロセンサ、ひずみゲージのうちの少なくとも１つを含んでいてもよい。

本発明の１つの実施形態では、前記検出部は、前記筆記具を持つ手の指先に装着されることが可能なように構成された装置に含んでいてもよい。

本発明の１つの実施形態では、前記分離部は、前記複数のセンサから出力されるデータを回帰分析手法により導出された関数に入力した結果に基づいて、前記軌跡から前記文字を分離するように構成されていてもよい。

本発明の１つの実施形態では、前記回帰分析手法は、カーネル関数を用い、前記回帰分析手法により導出された前記関数は、結合分布関数であってもよい。

本発明の１つの実施形態では、前記抽出部は、前記文字の特徴がチェーンコードで表現されるように前記文字の特徴を抽出し、前記認識部は、前記チェーンコードを用いて前記文字を認識するようにしてもよい。

本発明の検出装置は、媒体に文字を筆記する際に用いられる筆記具が前記媒体に接触しているか否かを検出する検出部と、前記検出部によって検出された検出結果を示すデータを出力する出力部とを備えた検出装置であって、前記検出装置は、前記筆記具を持つ手の指先に装着されることが可能であるように構成されている。

本発明の処理装置は、筆記具を用いて媒体に文字を筆記する際に前記筆記具が前記媒体に接触しているか否かを検出する複数のセンサのうちの少なくとも２つのセンサから出力されるデータに基づいて、手書き文字を認識する処理を実行する処理装置であって、前記処理装置は、前記２つのセンサから出力されるデータを受信する受信部と、前記筆記具が移動した軌跡を復元する復元部と、前記少なくとも２つのセンサから出力されるデータに基づいて、前記軌跡から文字を分離する分離部と、前記分離部によって分離された前記文字の特徴を抽出する抽出部と、前記抽出部によって抽出された前記文字の特徴に基づいて、前記文字を認識する認識部とを備えている。

本発明によれば、手書き文字の認識精度が高い手書き文字認識装置、検出装置および処理装置を提供することが可能である。

（ａ）は本発明の１つの実施形態である検出装置１０を指先に装着した状態で筆記具１を用いて紙に文字を筆記している様子を示す図、（ｂ）は検出装置１０の拡大図 本発明の１つの実施形態の検出装置１０の構成の一例を示す図 本発明の１つの実施形態の手書文字認識装置において実行される手書き文字認識処理の流れの一例を示す図 本発明の１つの実施形態の手書き文字認識装置１００の構成の一例を示す図 加速度センサ４ａから出力されたＸ’軸の加速度の値をプロットしたグラフの一例を示す図 （ａ）は文字「２」の軌跡をｎ個の点でプロットした状態を示す図、（ｂ）は文字「２」の軌跡をｎ個の点にプロットした位置座標間を結ぶ移動方向ベクトルの向きを示す図、（ｃ）は方向ベクトルのパターンを示す図、（ｄ）は文字「２」の軌跡を方向ベクトルのパターンを用いて数値化した状態を示す図

以下、図面を参照しながら、本発明の実施形態を説明する。

１．検出装置の概要
出願人は、筆記具（例えば、一般に市販されているボールペンや鉛筆など）を用いて媒体（例えば、紙など）に文字を筆記する場合において、その筆記具が媒体に接触しているか否かを高精度に検出することが可能な検出装置を提供する。

図１（ａ）は、本発明の１つの実施形態である検出装置１０を指先に装着した状態で筆記具１を用いて紙に文字を筆記している様子を示す。ここで、本明細書では、「文字」とは、アルファベット、数字、ひらがな、カタカナ、漢字などの文字の他、図形や記号を含むものとして定義する。

図１（ａ）に示される例では、検出装置１０は、筆記具１を持つ手の人差し指の指先（すなわち、指の先端と指の第１関節との間）に装着されているが、本発明はこれに限定されない。検出装置１０は、筆記具１を持つ手の任意の指の指先に装着されることが可能である。例えば、検出装置１０は、筆記具１を持つ手の親指の指先や中指の指先に装着されることも可能である。

筆記具１の動きを検出するのに、筆記具１のペン先の動きを直接検出するのが最善であるが、筆記具１のペン先の動きを直接検出することはできない。したがって、本発明の検出装置１０は、図１に示されるように、第１のタイプのセンサを、筆記具１を持つ手の指先に装着することにより、筆記具１のペン先の動きを直接検出したのと同等の動きを検出することを達成する。

筆記中の筆記具１のペン先の動きは、親指と人差し指との間の筆記具１を支持する部分を支点として、その支点を中心とした回転運動および平行運動である。このことから、筆記具１のペン先の動きを正確に検出するためには、支点から遠く、できるだけ筆記具１のペン先に近い位置で筆記具のペン先の動きを検出することが求められるが、指先は指のその他の部分に比べて筆記具１のペン先に近い位置に存在し、また筆記具１のペン先の動きに対して忠実に追従して動く。

したがって、筆記具１を持つ手の指先の動きを検出することにより、筆記具１のペン先の動きを直接検出したのとほぼ同等の結果を得ることが可能となる。

それに対して、指先以外の指の位置で筆記具１のペン先の動きを検出しようとする場合、検出する位置が筆記具１のペン先から遠くなるため、筆記具１のペン先の動きが減衰して伝わることになる。そのため、筆記具１のペン先の動きを検出する成分が筆記具１のペン先の動き以外の動きの成分との間に埋もれてしまう場合があり、筆記具１のペン先の動きを検出する精度が劣る場合がある。

検出装置１０を筆記具１を持つ手の指先に装着することにより、検出装置１０を筆記具１のペン先に近づけることができる。これにより、筆記具１を用いて文字を筆記している際の筆記具１のペン先の動きを精度よく検出することが可能である。

図１（ａ）に示される例では、検出装置１０はバンド２によって筆記具１を持つ手の指先に装着されているが、本発明はこれに限定されない。検出装置１０を筆記具１を持つ手の指先に装着することが可能である限り、任意の手段で装着することが可能である。例えば、検出装置１０を粘着テープによって筆記具１を持つ手の指先に装着するようにしてもよい。

筆記具１としては、一般に市販されている任意のタイプの筆記具（例えば、一般に市販されているボールペン、シャープペンシル、鉛筆などの筆記具）やタッチパネルに文字を筆記するためのスタイラスを用いることが可能である。

図１（ｂ）は、検出装置１０の拡大図である。図１（ｂ）に示されるように、検出装置１０が筆記具１を持つ手の指先に装着されると、互いに直交するＸ’軸、Ｙ’軸、Ｚ’軸が定義される。

２．検出装置の構成
図２は、本発明の１つの実施形態の検出装置１０の構成の一例を示す。検出装置１０は、筆記具１が媒体３に接触しているか否かを検出する複数のセンサを含む検出部７を含む。検出部７は、筆記具１の動きを検出する少なくとも１つの第１のタイプのセンサを含むセンサ部４と、筆記具１が媒体３に接触することによって発生する音および／または振動を検出する少なくとも１つの第２のタイプのセンサを含むセンサ部５とを含む。

図２に示される例では、センサ部４は、第１のタイプのセンサとして、加速度センサ４ａとジャイロセンサ４ｂとを含む。加速度センサ４ａとしては、静電容量型、ピエゾ抵抗型などの任意の型の加速度センサを用いることが可能である。また、ジャイロセンサ４ｂとしては、回転ジャイロ型、振動ジャイロ型、光学式ジャイロ型などの任意の型のジャイロセンサを用いることが可能である。

加速度センサ４ａは、図１（ｂ）に示される指先の軸をＹ’軸とした場合のＸ’軸方向の加速度、Ｙ’軸方向の加速度、Ｚ’軸方向の加速度を検出することが可能であるように構成されている。

同様に、ジャイロセンサ４ｂは、図１（ｂ）に示される指先の軸をＹ’軸とした場合のＸ’軸方向の角速度、Ｙ’軸方向の角速度、Ｚ’軸方向の角速度を検出することが可能であるように構成されている。

図２に示される例では、センサ部５は、第２のタイプのセンサとして、筆記具１が媒体３に接触することによって発生する音を検出するマイクロホン５ａと、筆記具１が媒体３に接触することによって発生する振動を検出する加速度センサ５ｂとを含む。マイクロホン５ａとしては、動電型、圧電型などの任意の型のマイクロホンを用いることが可能である。また、加速度センサ５ｂとしては、静電容量型、ピエゾ抵抗型などの任意の型の加速度センサを用いることが可能である。センサ部５は、ＦＦＴ（高速フーリエ変換）６をさらに含む。ＦＦＴ６は、マイクロホン５ａから出力されるデータおよび加速度センサ５ｂから出力されるデータを受け取り、それらのデータにおけるノイズを除去する。

加速度センサ５ｂは、図１（ｂ）に示される指先の軸をＹ’軸とした場合のＸ’軸方向の角速度、Ｙ’軸方向の角速度、Ｚ’軸方向の角速度を検出することが可能であるように構成されている。

検出装置１０は、加速度センサ４ａから出力されるデータ、ジャイロセンサ４ｂから出力されるデータ、マイクロホン５ａから出力されＦＦＴ６を通過したデータ、加速度センサ５ｂから出力されＦＦＴ６を通過したデータを検出装置１０の外部に出力する出力部８をさらに含む。例えば、出力部８は、これらのデータを文字認識処理を実行する処理装置（例えば、図４を参照して後述される処理装置２０）に出力する。出力部８は、これらのデータを無線通信手段（例えば、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）など）を介して処理装置に出力するようにしてもよいし、これらのデータを有線通信手段を介して処理装置に出力するようにしてもよい。

なお、図２に示される例では、文字認識処理を実行する処理装置（例えば、図４を参照して後述される処理装置２０）は、検出装置１０の外部に設けられているが、このような処理装置１０を検出装置１０の内部に設けるようにしてもよい。この場合には、検出装置１０内の出力部８、処理装置２０内の入力部２１を省略することが可能である。

図１に示されるように、検出装置１０を指先に装着した状態で筆記具１を持ち、紙などの媒体３に文字を書くと、筆記具１の動きに合わせて指先の位置および角度が変化することにより、指先に加速度および角速度が発生する。また、筆記具１が媒体３に文字を書く際に、筆記具１が媒体３に接触することによって音および／または振動が発生する。検出装置１０によれば、このようにして発生する加速度を加速度センサ４ａによって検出することが可能であり、このようにして発生する角速度をジャイロセンサ４ｂによって検出することが可能であり、このようにして発生する音をマイクロホン５ａによって検出することが可能であり、このようにして発生する振動を加速度センサ５ｂによって検出することが可能である。

なお、図２に示される例では、センサ部４に含まれる第１のタイプのセンサの例として、加速度センサ４ａとジャイロセンサ４ｂとを説明したが、センサ部４の構成はこれに限定されない。センサ部４は、筆記具１の動きを検出するという機能を有するセンサである限り、１つ以上の任意の数のセンサを含むことが可能である。例えば、センサ部４は、加速度センサ、ジャイロセンサ、磁気センサのうちの少なくとも１つを含む。

同様に、図２に示される例では、センサ部に含まれる第２のタイプのセンサの例として、マイクロホン５ａと加速度センサ５ｂを説明したが、センサ部５の構成はこれに限定されない。センサ部５は、筆記具１が媒体３に接触することによって発生する音および／または振動を検出するという機能を有するセンサである限り、１つ以上の任意の数のセンサを含むことが可能である。例えば、センサ部５は、マイクロホン、加速度センサ、ジャイロセンサ、ひずみゲージのうちの少なくとも１つを含む。

さらに、図２に示される例では、加速度センサ４ａと加速度センサ５ｂとを別個のセンサとして構成する例を説明したが、本発明はこれに限定されない。加速度センサ４ｂが加速度センサ５ｂを兼ねることも可能である。これにより、加速度センサの数を減らすことが可能であり、その結果、検出装置１０を小型化することが可能である。あるいは、加速度センサ５ｂの代わりに、ジャイロセンサ４ｂを用いる場合には、ジャイロセンサ４ｂが、筆記具１の動きを検出するとともに、加速度センサ５ｂの代わりに、筆記具１が媒体３に接触することよって発生する振動を検出することも可能である。これにより、ジャイロセンサ４ｂの数を最小限にすることが可能であり、その結果、検出装置１０を小型化することが可能である。

３．検出装置によって達成される効果
検出装置１０によれば、検出装置１０を筆記具１を持つ手の指先に装着することが可能であるため、検出装置１０を筆記具１のペン先に近い位置で検出装置１０を保持することが可能である。これにより、筆記具１の動きを精度よく検出することが可能となる。さらに、検出装置１０が筆記具１と別体になっているため、携帯性に優れ、筆記具１を選ばず市販の筆記具１などを用いて媒体３に文字を筆記する場合でも、筆記具１の動きを検出することが可能となる。これにより、特殊な筆記具を用いることなく、一般に市販されている筆記具１を用いた場合でも手書き文字認識を容易に行うことが可能である。その結果、例えば、ホワイトボードにマジックで手書きした文字（アナログの手書き文字）を容易にデジタル化することが可能であり、個人のレクチャーノートに鉛筆で手書きした文字（アナログの手書き文字）を容易にデジタル化することが可能である。

４．手書き文字認識装置の概要
図３は、本発明の１つの実施形態の手書文字認識装置において実行される手書き文字認識処理の流れの一例を示す。このような処理は、例えば、図４を参照して後述される手書文字認識装置１００において実行される。

ＳＴＥＰ１：筆記具１の動きが検出される。このような検出は、例えば、検出装置１０によって行われる。

ＳＴＥＰ２：筆記具１が移動した軌跡が復元される。その結果、図３に示されるように、「ｈｅｌｌｏ」という軌跡が復元される。

ＳＴＥＰ３：筆記具１が移動した軌跡から文字が分離される。その結果、図３に示されるように、「ｈｅｌｌｏ」という軌跡から最初の一文字「ｈ」が分離される。

ＳＴＥＰ４：分離された文字の特徴が抽出される。その結果、図３に示されるように、例えば、抽出された文字の特徴が「４４４４４４０００６４４６」という数値化されたパターンで表現される。図３に示される例では、抽出された文字の特徴はチェーンコードで表現されているがこれには限定されない。

ＳＴＥＰ５：抽出された文字の特徴に基づいて、文字が認識される。例えば、抽出された文字の特徴を表現するチェーンコードと同等のチェーンコードを有する基準文字が特定される。その結果、図３に示されるように、文字「ｈ」が認識されることになる。

５．手書き文字認識装置の構成
図４は、本発明の１つの実施形態の手書き文字認識装置１００の構成の一例を示す。

手書き文字認識装置１００は、筆記具１の動きを検出する検出装置１０’と、検出装置１０’から出力される出力データに基づいて文字認識処理を実行する処理装置２０とを含む。

手書き文字認識装置１００に含まれる検出装置１０’は、装着される場所が筆記具１を持つ手の指先に限定されない点で、図１、図２で説明した検出装置１０と相違している。手書き文字認識装置１００に含まれる検出装置１０’が装着される場所は、筆記具１を持つ手の任意の場所であってもよいし、筆記具１の内部の任意の場所であってもよいし、筆記具１の表面上の任意の場所であってもよい。例えば、検出装置１０’をタッチパネルに文字を筆記するためのスタイラスの内部に装着するようにしてもよい。そうすることにより、従来では、タッチパネル上の二次元の軌跡しか検知できなかったのに対して、本発明の手書き文字認識装置１００では、検出装置１０’に備えられた加速度センサ４ａおよび／または角速度センサ４ｂなどにより空中移動の軌跡も検知できるようになるため、より高精度な手書き文字認識を達成することができる。例えば、手書き文字認識装置１００では「い」を「心」と誤検出することなく、ただしく「い」と認識することが可能である。

それ以外の構成については、検出装置１０’の構成は、図１、図２を参照して説明した検出装置１０の構成と同様であるので、ここではその詳細な説明を省略する。

処理装置２０は、検出装置１０’から出力されるデータを受信する受信部（入力部）２１と、検出装置１０’から出力されるデータに基づいて筆記具１が移動した軌跡の復元する復元部２２と、復元された軌跡から一文字に分離する分離部２３と、分離された文字の特徴を抽出する抽出部２４と、抽出された文字の特徴に基づいて文字を認識する認識部２５とを含む。

復元部２２は、例えば、検出装置１０に含まれる少なくとも１つのセンサ（加速度センサ４ａおよび／またはジャイロセンサ４ｂ）から出力されるデータに基づいて筆記具１が移動した軌跡を復元するように構成されている。

例えば、復元部２２は、筆記具１の移動を検出することが可能な加速度センサ４ａから出力されるデータ（加速度を示すデータ）を、積分器を用いて２回積分することにより、筆記具１の移動方向および移動距離を算出することによって、筆記具１が媒体３に描く軌跡を復元することが可能なように構成されている。あるいは、復元部２２は、ジャイロセンサ４ｂから出力されるデータ（角速度を示すデータ）を、積分器を用いて１回積分することにより、筆記具１の移動に伴って変化する角度を算出し、算出した角度と筆記具１を支える手の支持点から筆記具１の先端までの距離とに基づいて、筆記具１を用いて筆記中の各時間毎における筆記具１の位置を算出し、筆記具１が媒体３に描く軌跡を復元することが可能なように構成されていてもよい。

加速度センサおよびジャイロセンサから出力されるデータを積分器で積分することにより筆記具が移動した軌跡を復元する方法としては、様々な方法が既に知られている。これらの公知の方法を用いて筆記具１が移動した軌跡を復元することが可能である。

復元部２２は、例えば、加速度センサ４ａから出力されるデータ、または、ジャイロセンサ４ｂから出力されるデータのいずれかに基づいて、筆記具１が移動した軌跡を復元するようにしてもよいし、加速度センサ４ａから出力されるデータおよびジャイロセンサ４ｂから出力されるデータの両方から出力されるデータに基づいて、筆記具１が移動した軌跡を復元するようにしてもよい。

分離部２３は、筆記具１の動きを検出する少なくとも１つのセンサ（例えば、加速度センサ４ａ、角速度センサ４ｂ）から出力されるデータと、筆記具１が媒体３に接触することによって発生する音および／または振動を検出する少なくとも１つのセンサ（例えば、マイクロホン５ａ、加速度センサ５ｂ）とに基づいて、復元部２２によって復元された軌跡から一文字を分離することが可能なように構成されている。

分離部２３によれば、筆記具１が媒体３に接触しているか否かを検出する複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）からそれぞれ出力されるデータに基づいて、筆記具１が媒体３に接触しているか否かを総合的に判定することによって、筆記具１が移動した軌跡から文字が分離される。これにより、１つのセンサから出力されるデータに基づいて筆記具１が移動した軌跡から文字を分離する場合に比べて、センサの誤検出による誤った判定を防止または低減することが可能である。その結果、筆記具１が移動した軌跡から文字を分離する際の精度を向上させることが可能である。

なお、複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されるデータに基づいて、筆記具１が媒体３に接触しているか否かを判定する場合において、例えば、複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）のうち半分のセンサから出力されるデータに基づくと、筆記具１が媒体３に接触しているという判定になり、複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）のうち残りの半分のセンサから出力されるデータに基づくと、筆記具１が媒体３に接触していないという判定になることにより（すなわち、判定結果が割れることにより）、筆記具１が媒体３に接触しているか否かの判定が困難になるおそれがあることが想定される。このような事態を回避する手段として、本発明では、複数のセンサから出力されるデータを回帰分析手法により導出された関数に入力した結果に基づいて、筆記具１が移動した軌跡から文字を分離する手法が採用されている。この手法は、複数のセンサから出力されるデータの確からしさを統計的に処理することにより、複数のセンサから出力されるデータを総合的に判定するための手法である。この回帰分析手法は、例えば、カーネル関数を用いる。この場合、回帰分析手法により導出された関数は、結合分布関数である。

以下、カーネル関数を用いた回帰分析手法により複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されるデータの確からしさを統計的に処理する方法を説明する。

手書き文字認識のトレーニング用のデータとして複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されたデータを予め取得し、その予め取得されたデータをデータベース３０に保存する。データベース３０は、処理装置２０に接続されている。データベース３０は、処理装置２０の外部に設けられていてもよいし、処理装置２０の内部に設けられていてもよい。次に、データベース３０に保存された手書き文字認識のトレーニング用のデータをいったん読み出し、そのデータに筆記具１が媒体３に接触していたか否かの評価を示す値をタグ付けした状態でそのデータを再度データベース３０に保存する。筆記具１が媒体３に接触しているか否かは、例えば、複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されるデータを人間が見ながら、人間が評価することが可能である。あるいは、人間が評価する代わりに、測定ツールが評価するようにしてもよい。

以下、図５を参照して、トレーニング用のデータを評価する方法の一例を説明する。

図５は、加速度センサ４ａから出力されたＸ’軸の加速度の値をプロットしたグラフの一例を示す。図５において、縦軸は、加速度センサ４ａから出力されたＸ軸の加速度の値を示し、横軸は、測定時間を示す。測定時間の軸方向に延びる一点鎖線は、加速度センサ４ａのＸ’軸の出力結果を示している。縦軸の一点鎖線は、測定時間中の筆記具１が媒体３に接触している時間と、筆記具１が媒体３に接触していない時間とを区切る境界線である。この境界線の位置は、例えば、筆記中に筆記具１が媒体３に接触している状態であるか非接触の状態であるかを観察したビデオを人間が見て、その人間が決定することが可能である。

図５を参照して、Ｘ’軸の加速度の値がｍである場合に、筆記具１が媒体３に接触していると判定される際の確からしさをどのように評価するかを説明する。Ｘ’軸の加速度の値がｍであることを示す太線が横軸に沿って引かれている。この太線と加速度センサ４ａのＸ’軸の加速度の値の出力結果を示す一点鎖線とが交わる点は、図５に示されるように、Ａ〜Ｉの９点である。Ａ〜Ｉの９点のうち筆記具１が媒体３に接触している期間中に交わる点は、Ｂ、Ｃ、Ｆの３点である。従って、Ｘ’軸の加速度の値がｍである場合に、筆記具１が媒体３に接触していると判定される際の確からしさは３/９（約３３％）であると評価される。このような評価が、Ｘ’軸の加速度の値がｍ以外のすべての値についても同様に行われる。このようにして得られた評価結果は、複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されたデータにタグ付けした状態でデータベース３０に保存される。

図５に示される例では、加速度センサ４ａのＸ’軸の出力結果を例にとり説明したが、加速度センサ４ａのＹ’軸の出力結果や加速度センサ４ａのＺ’軸の出力結果についても同様である。また、加速度センサ以外のセンサ（例えば、ジャイロセンサ、マイクロホンなど）の出力結果についても同様である。

筆記具１が媒体３に接触していたか否かを示す評価がタグ付けされた複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されたデータを、データベース３０に格納されているカーネル回帰分析計算プログラムに入力することにより、以下の式に従ってｆ（ｘ）が計算される。

ｆ（ｘ）＝（α₁＋・・・＋α_ｎ）＋α_１ｋ（ｘ_１,ｘ）＋・・・α_ｎｋ（ｘ_ｎ,ｘ）
ここで、ｋはカーネル関数を示し、ｘ₁〜ｘ_ｎはｎ個のデータを示し、α_１〜α_ｎはモデルパラメータを示す。

さらに、カーネル関数ｋが、以下に示す等式を満たすような結合分布関数が計算される。

ｋ（ｘ_ｉ,ｘ_ｊ）＝〈φ（ｘ_ｉ）,φ（ｘ_ｊ）〉
ここで、φ（ｘ_ｉ）はデータｘ_ｉのｄ次元の特徴空間中でのベクトル表現を示す。

上述した計算を行うことにより、結合分布関数およびモデルパラメータα_１〜α_ｎの値が算出される。算出された結合分布関数およびパラメータの値はデータベース３０に保存される。

分離部２３は、カーネル回帰分析計算プログラムにより計算された結合分布関数に、複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されたデータを入力することにより、筆記具１が媒体３に接触していたか否かを評価する。このような評価は、結合分布関数により得られた結果の値が所定の閾値よりも高いか低いかによって行われる。このような評価に基づいて、筆記具１が移動した軌跡から一文字が分離される。図３に示される例では、「ｈｅｌｌｏ」の軌跡から「ｈ」の一文字が分離され場合を例にとり説明したが、「ｈ」に続く文字についても同様である。例えば、「ｈ」に続いて、「ｅ」、「ｌ」、「ｌ」、「ｏ」のそれぞれの文字が順次分離されることになる。

このように、トレーニング用のデータを回帰分析した結果に基づいて、複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されたデータを統計的に判定することにより、筆記具１が媒体３に接触しているか否かの判定ミスを防止または低減することが可能である。その結果、文字認識を精度よく行うことが可能である。

図５に示される例では、カーネル関数を用いた回帰分析手法を例として説明したが、本発明はこれに限定されない。例えば、カーネル関数を用いた回帰分析手法に代えて、４線形回帰分析手法などの公知の手法を用いることも可能である。

図４を再び参照して、抽出部２４は、分離部２３によって分離された文字の特徴を抽出するように構成されている。抽出部２４は、例えば、文字の特徴がチェーンコードで表現されるように文字の特徴を抽出するようにしてもよい。

図６は、文字「２」の特徴を抽出する処理の流れの一例を示す。図６（ａ）は、文字「２」の軌跡をｎ個の点でプロットした状態を示す。図６（ｂ）は、文字「２」の軌跡をｎ個の点にプロットした位置座標間を結ぶ移動方向ベクトルの向きを示す。図６（ｃ）は、方向ベクトルのパターンを示す。図６（ｄ）は、文字「２」の軌跡を方向ベクトルのパターンを用いて数値化した状態を示す。

図６（ａ）に示されるように、抽出部２４は、分離された文字「２」の軌跡を、一定時間間隔でｎ個（ｎ＝１３個）の点でプロットし、各プロットの位置座標ｐ_ｎ（Ｘ_ｎ、Ｚ_ｎ）を算出する。

次に、図６（ｂ）に示されるように、抽出部２４は、プロットされた点の位置座標ｐ_ｎ（Ｘ_ｎ、Ｚ_ｎ）をもとに各プロットの２点間の相対座標における方向角θを特徴量として以下の式により求める。

θ＝ｔａｎ^-1（Ｚ_ｎ−Ｚ_ｎ−１／Ｘ_ｎ−Ｘ_ｎ−１）
次に、図６（ｃ）に示されるように、抽出部２４は、３６０°の角度をｍ（ｍ＝８）等分した方向ベクトルのパターンに基づいてｎ個のプロット間隔についてそれぞれ移動方向ベクトルｑ_ｎを算出する。この移動方向ベクトルは、１つのプロット間隔がどの方向に当てはめることができるかを判定し、その方向を０からｍ−１（７）までの数字で表したものである。

次に、図６（ｄ）に示されるように、抽出部２４は、８パターンの方向ベクトルに基づいて、文字「２」の軌跡を０から７までの数字を用いて表現することが可能である（すなわち、いわゆるチェーンコード化することが可能である）。図６（ｄ）に示される数値の列は、チェーンコードの一例である。

図６に示される例では、プロット数ｎ＝１３の場合を説明したが、本発明はこれに限定されない。プロット数ｎの数は任意であってよい。プロット数ｎの数を増やすことにより、文字の特徴を精度よく抽出することが可能である。

また、図６に示される例では、方向ベクトルのパターンの数ｍ＝８の場合を説明したが、本発明はこれに限定されない。方向ベクトルのパターン数ｍの数は任意であってよく、例えば、４、８、１６、３２であってよい。パターンの数ｍを増やすことにより、文字の特徴を精度よく抽出することが可能である。

さらに、図５に示される例では、分離された文字の特徴を抽出する方法として、方向ベクトルのパターンを用いて文字の軌跡の特徴を抽出する方法（チェーンコード化）を説明したが、本発明はこれに限定されない。例えば、分離された文字の画像（形状）の特徴を抽出する方法を採用するようにしてもよい。

図４を再び参照して、認識部２５は、抽出部２４によって抽出された文字の特徴に基づいて、文字を認識するように構成されている。

例えば、認識部２５は、データベース３０に保存されている基準文字と抽出部２４によって抽出された文字とを照合することによって、文字の認識を行うように構成されている。分離された文字を認識するための基準文字は、方向ベクトルのパターンに基づいて数値化（チェーンコード化）された状態でデータベース３０に保存されている。この場合、認識部２５は、抽出された文字の特徴を表現するチェーンコードと同等のチェーンコードを有する基準文字を特定することにより、該当する文字を認識する。あるいは、分離された文字の画像と基準文字の画像とを比較することにより、画像認識技術を利用して該当する文字を認識するようにしてもよい。

筆記具１で筆記された文字の認識は、筆記具１で文字を連続して筆記しているときに、検出装置から出力されるデータを逐次文字認識処理を行うようにしてもよいし、検出装置から出力されるデータを一旦データベース３０に保存し、のちにデータベース３０から保存したデータを呼び出し、一括して文字認識処理を行うようにしてもよい。

なお、図４に示される例では、検出装置１０’と処理装置２０とが別個の装置として構成されている例を説明した。この場合、検出装置１０’の出力部８によって検出装置１０’の複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されるデータが検出装置１０’の外部に出力され、これらのデータが処理装置２０の入力部２１によって受信される。検出装置１０’の出力部８は、これらのデータを無線通信手段（例えば、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）など）を介して処理装置２０の入力部２１に提供するようにしてもよいし、これらのデータを有線通信手段を介して処理装置２０の入力部２１に提供するようにしてもよい。

このように、図４に示される例では、検出装置１０’と処理装置２０とが別個の装置として構成されている例を説明したが、本発明はこれに限定されない。例えば、検出装置１０’および処理装置２０は、手書き文字認識装置１００内の別個の構成要素として（例えば、検出部および処理部として）単一の手書き文字認識装置１００内に含まれるように構成されてもよい。この場合、検出装置１０’の出力部８および処理装置２０の入力部２１は省略されることが可能である。

６．手書き文字認識装置により達成される効果
本発明の手書き文字認識装置１００によれば、複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力されるデータに基づいて、筆記具１が媒体３に接触しているか否かを総合的に判定しているため、誤検出を防止または低減することが可能であり、その結果、文字認識の精度を向上させることが可能である。また、複数のセンサ（４ａ、４ｂ、５ａ、５ｂ）から出力される出力データを、トレーニング用のデータの回帰分析された結果に基づいて統計的に評価することにより、筆記具１が媒体３に接触しているか否かを判定しているため、誤検出による判断ミスをさらに防止または低減することが可能であり、その結果、文字認識の精度を向上させることが可能である。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。

本発明は、手書き文字の認識精度が高い手書き文字認識装置、検出装置および処理装置等を提供するものとして有用である。

１ 筆記具
２ バンド
４ａ 加速度センサ
４ｂ ジャイロセンサ
５ａ マイクロホン
５ｂ 加速度センサ
７ 検出部
８ 出力部
１０ 検出装置
２０ 処理装置
２１ 入力部
２２ 復元部
２３ 分離部
２４ 抽出部
２５ 認識部
１００ 手書き文字認識装置

Claims (9)

1. 筆記具を用いて媒体に筆記された文字を認識する手書き文字認識装置であって、前記手書き文字認識装置は、
   前記筆記具が前記媒体に接触しているか否かを検出する複数のセンサを含む検出部と、
   前記筆記具が移動した軌跡を復元する復元部と、
   前記複数のセンサのうちの少なくとも２つのセンサから出力されるデータに基づいて、前記軌跡から文字を分離する分離部と、
   前記分離部によって分離された前記文字の特徴を抽出する抽出部と、
   前記抽出部によって抽出された前記文字の特徴に基づいて、前記文字を認識する認識部と
   を備え、
   前記少なくとも２つのセンサは、
   前記筆記具の動きを検出する少なくとも１つの第１のタイプのセンサと、
   前記筆記具が前記媒体に接触することによって発生する音および／または振動を検出する少なくとも１つの第２のタイプのセンサと
   を含み、
   前記分離部は、前記少なくとも１つの第１のタイプのセンサから出力されるデータと前記少なくとも１つの第２のタイプのセンサから出力されるデータとに基づいて、前記軌跡から前記文字を分離する、手書き文字認識装置。
2. 前記少なくとも１つの第１のタイプのセンサは、加速度センサ、ジャイロセンサ、磁気センサのうちの少なくとも１つを含む、請求項１に記載の手書き文字認識装置。
3. 前記少なくとも１つの第２のタイプのセンサは、マイクロホン、加速度センサ、ジャイロセンサ、ひずみゲージのうちの少なくとも１つを含む、請求項１〜２のいずれか一項に記載の手書き文字認識装置。
4. 前記検出部は、前記筆記具を持つ手の指先に装着されることが可能なように構成された装置に含まれている、請求項１〜３のいずれか一項に記載の手書き文字認識装置。
5. 筆記具を用いて媒体に筆記された文字を認識する手書き文字認識装置であって、前記手書き文字認識装置は、
   前記筆記具が前記媒体に接触しているか否かを検出する複数のセンサを含む検出部と、
   前記筆記具が移動した軌跡を復元する復元部と、
   前記複数のセンサのうちの少なくとも２つのセンサから出力されるデータに基づいて、前記軌跡から文字を分離する分離部と、
   前記分離部によって分離された前記文字の特徴を抽出する抽出部と、
   前記抽出部によって抽出された前記文字の特徴に基づいて、前記文字を認識する認識部と
   を備え、
   前記分離部は、前記少なくとも２つのセンサから出力される前記データを回帰分析手法により導出された関数に入力した結果に基づいて、前記軌跡から前記文字を分離し、
   前記回帰分析手法は、カーネル関数を用い、前記回帰分析手法により導出された前記関数は、結合分布関数である、手書き文字認識装置。
6. 前記抽出部は、前記文字の特徴がチェーンコードで表現されるように前記文字の特徴を抽出し、前記認識部は、前記チェーンコードを用いて前記文字を認識する、請求項１〜５のいずれか一項に記載の手書き文字認識装置。
7. 媒体に文字を筆記する際に用いられる筆記具が前記媒体に接触しているか否かを検出する検出部と、
   前記検出部によって検出された検出結果を示すデータを出力する出力部と
   を備えた検出装置であって、
   前記検出部は、前記筆記具が前記媒体に接触しているか否かを検出する複数のセンサを含み、
   前記複数のセンサは、
   前記筆記具の動きを検出する少なくとも１つの第１のタイプのセンサと、
   前記筆記具が前記媒体に接触することによって発生する音および／または振動を検出する少なくとも１つの第２のタイプのセンサと
   を含む、検出装置。
8. 筆記具を用いて媒体に文字を筆記する際に前記筆記具が前記媒体に接触しているか否かを検出する複数のセンサのうちの少なくとも２つのセンサから出力されるデータに基づいて、手書き文字を認識する処理を実行する処理装置であって、
   前記処理装置は、
   前記少なくとも２つのセンサから出力されるデータを受信する受信部と、
   前記筆記具が移動した軌跡を復元する復元部と、
   前記少なくとも２つのセンサから出力されるデータに基づいて、前記軌跡から文字を分離する分離部と、
   前記分離部によって分離された前記文字の特徴を抽出する抽出部と、
   前記抽出部によって抽出された前記文字の特徴に基づいて、前記文字を認識する認識部と
   を備え、
   前記少なくとも２つのセンサは、
   前記筆記具の動きを検出する少なくとも１つの第１のタイプのセンサと、
   前記筆記具が前記媒体に接触することによって発生する音および／または振動を検出する少なくとも１つの第２のタイプのセンサと
   を含み、
   前記分離部は、前記少なくとも１つの第１のタイプのセンサから出力されるデータと前記少なくとも１つの第２のタイプのセンサから出力されるデータとに基づいて、前記軌跡から前記文字を分離する、処理装置。
9. 筆記具を用いて媒体に文字を筆記する際に前記筆記具が前記媒体に接触しているか否かを検出する複数のセンサのうちの少なくとも２つのセンサから出力されるデータに基づいて、手書き文字を認識する処理を実行する処理装置であって、
   前記処理装置は、
   前記少なくとも２つのセンサから出力されるデータを受信する受信部と、
   前記筆記具が移動した軌跡を復元する復元部と、
   前記少なくとも２つのセンサから出力されるデータに基づいて、前記軌跡から文字を分離する分離部と、
   前記分離部によって分離された前記文字の特徴を抽出する抽出部と、
   前記抽出部によって抽出された前記文字の特徴に基づいて、前記文字を認識する認識部と
   を備え、
   前記分離部は、前記少なくとも２つのセンサから出力される前記データを回帰分析手法により導出された関数に入力した結果に基づいて、前記軌跡から前記文字を分離し、
   前記回帰分析手法は、カーネル関数を用い、前記回帰分析手法により導出された前記関数は、結合分布関数である、処理装置。