JP4947501B2 - 文字認識装置及びプログラム - Google Patents

Description

本発明は、加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を加速度センサの計測結果に基づいて認識する文字認識装置及びプログラムに関する。

従来、人が文字を書く動作を慣性センサによって計測してコンピューターに取り込む技術としては、多々提案されている。例えば、ペン先に加速度センサを収容することによって、この加速度センサの計測結果をペン先の移動軌跡として抽出するようにした技術（特許文献１参照）が提案され、また、携帯電話装置において加速度センサの検出結果に応じた装置本体の移動情報に基づいて手書き動作により特定される入力情報を認識するようにした技術（特許文献２参照）が提案されるなど、色々な提案がなされている。

特開２００９−０９９０４１号公報 特開２００８−０７０９２０号公報

しかしながら、加速度センサを使用して文字認識を行う技術の多くは、加速度センサの計測結果を２回積分することにより加速度から速度を算出するとともに、この速度から位置を算出し、この位置の移動軌跡を文字認識に利用するようにしているが、このような方法では、積分初期状態（書き始め位置）不明の問題や積分誤差の問題があり、さらには重力という強力な外乱を計測データから除去するために重力方向の変化の追跡に角速度センサの出力を積分する必要があり、その積分にも上述の積分初期状態不明の問題や積分誤差の問題が存在しているために確実な文字認識を実現することは極めて困難であった。

本発明の課題は、平面内で書かれた文字を加速度センサの計測結果に基づいて円滑かつ確実に文字を認識できるようにすることである。

上述した課題を解決するために請求項１記載の発明は、
少なくとも２軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する文字認識装置であって、
前記筺体が平面内で移動されながら行われた文字を書く動作に応じた前記加速度センサの計測結果を、その各軸に対応する成分の加速度データとして取得する取得手段と、
前記取得手段により順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の１画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する特定手段と、
前記特定手段により特定された複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成する生成手段と、
予め文字認識用として用意されていて前記成分毎に複数の特徴点を含む基本文字データと前記生成手段により生成された入力文字データとを照合することにより文字認識を行う文字認識手段と、
を具備し、
前記生成手段は、前記２軸のうちその一方の軸に対応する加速度データ内の特徴点毎に他方の軸に対応する加速度データ内の特徴点との相対的な関係を示すデータを他軸との相関特徴として求め、この他軸との相関特徴を含む成分毎の特徴点データを入力文字データとして生成し、
前記基本文字データは、特徴点に関するデータとして前記他軸との相関特徴を含むデータである、
ことを特徴とする。
請求項１に従属する発明として、
前記取得手段により取得された成分毎の加速度データに基づいて１文字の書き始めと書き終わりを判別する判別手段を更に備え、
前記特定手段は、前記判別手段により１文字の書き始めが判別されてから書き終わりが判別されるまでの間、前記取得手段により順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の１画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定するとともに、各成分の加速度データのそれぞれにおいて局所的最大点である極大点と局所的最小点である極小点を特徴点として特定し、
前記生成手段は、前記特定手段により特定された特徴点毎に、極大点か極小点かを示す極点の種類とその極点の加速度の値を極点レベルとして求め、前記他軸との相関特徴とともに前記極点の種類及び前記極点レベルを含む成分毎の特徴点データを入力文字データとして生成し、
前記基本文字データは、特徴点に関するデータとして前記他軸との相関特徴、前記極点の種類、前記極点レベルを含むデータである、
ことを特徴とする、請求項２記載の発明であってもよい。

請求項２に従属する発明として、
前記判別手段により１文字の書き終わりが判別されてから次の文字の書き始めが判別されるまでの間、前記取得手段により取得された加速度データを前記一連の加速度データから除外する除外手段を更に備える、
ようにしたことを特徴とする、請求項３記載の発明であってもよい。

請求項２に従属する発明として、
前記判別手段は、前記加速度センサの計測結果を前記平面内で分離した直交する各成分
の加速度における合成ベクトルの大きさが所定の閾値以上で所定時間以上連続しているか否かに基づいて１文字の書き始めと書き終わりを判別する、
ようにしたことを特徴とする、請求項４記載の発明であってもよい。

請求項２に従属する発明として、
前記他軸との相関特徴は、前記他軸に対応する加速度データ内の極大点から極小点、又は極小点から極大点への極点間範囲を基準としたときに、相対的にどのような位置にあるかを示す時間的比率、どのような値にあるかを示すレベル的比率のうち、少なくともそのいずれかの比率である、
ことを特徴とする、請求項５記載の発明であってもよい。

請求項５に従属する発明として、
前記基本文字データ内に含まれている前記他軸との相関特徴を示す比率は、範囲を示すデータで持ち、
前記文字認識手段は、前記基本文字データ内の前記他軸との相関特徴を示す比率と前記入力文字データ内の前記他軸との相関特徴を示す比率とを照合する際に、前記基本文字側の比率の範囲内に前記入力文字の比率が入っているか否かを判別する、
ようにしたことを特徴とする、請求項６記載の発明であってもよい。

また、上述した課題を解決するために請求項７記載の発明は、
少なくとも２軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する文字認識装置であって、
前記筺体が平面内で移動されながら行われた文字を書く動作に応じた前記加速度センサの計測結果を、その各軸に対応する成分の加速度データとして取得する取得手段と、
前記取得手段により順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の１画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する特定手段と、
前記特定手段により特定された複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成する生成手段と、
予め文字認識用として用意されていて前記成分毎に複数の特徴点を含む基本文字データと前記生成手段により生成された入力文字データとを照合することにより文字認識を行う文字認識手段と、
前記取得手段により取得された各軸に対応する成分毎の加速度データを、前記各軸をそれぞれ同じ方向に所定の角度回転することによりその回転座標系上での各軸に対応する成分毎の加速度データに変換する回転変換手段と、
を具備し、
前記特定手段は、前記取得手段により取得された成分毎の加速度データの中に存在している複数の特徴点を本来の特徴点として成分毎にそれぞれ特定するとともに、前記回転変換手段により変換された成分毎の加速度データの中に存在している複数の特徴点を回転後の特徴点として成分毎にそれぞれ特定し、
前記生成手段は、前記特定手段によって特定された本来の特徴点及び回転後の特徴点を含む成分毎の特徴点データを入力文字データとして生成し、
前記文字認識手段は、予め文字認識用の基本文字として前記本来の特徴点及び回転後の特徴点を含む基本文字データと前記生成手段により生成された入力文字データとを照合することにより文字認識を行う、
ようにしたことを特徴とする。
請求項７に従属する発明として、
前記取得手段により取得された成分毎の加速度データに基づいて１文字の書き始めと書き終わりを判別する判別手段を更に備え、
前記特定手段は、前記判別手段により１文字の書き始めが判別されてから書き終わりが判別されるまでの間、前記取得手段により順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の１画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する、
ことを特徴とする、請求項８の発明であってもよい。

また、上述した課題を解決するために請求項９記載の発明は、
コンピュータに対して、
少なくとも２軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する場合に、前記筺体が平面内で移動されながら行われた文字を書く動作に応じた前記加速度センサの計測結果を、その各軸に対応する成分の加速度データとして取得する機能と、
前記順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の１画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する機能と、
前記特定された複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成する機能と、
予め文字認識用として用意されていて前記成分毎に複数の特徴点を含む基本文字データと前記生成された入力文字データとを照合することにより文字認識を行う機能と、
を実現させ、
前記生成する機能は、前記２軸のうちその一方の軸に対応する加速度データ内の特徴点毎に他方の軸に対応する加速度データ内の特徴点との相対的な関係を示すデータを他軸との相関特徴として求め、この他軸との相関特徴を含む成分毎の特徴点データを入力文字データとして生成し、
前記基本文字データは、特徴点に関するデータとして前記他軸との相関特徴を含むデータである、
ことを特徴とするプログラム、であることを特徴とする。
また、上述した課題を解決するために請求項１０記載の発明は、
コンピュータに対して、
少なくとも２軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する場合に、前記筺体が平面内で移動されながら行われた文字を書く動作に応じた前記加速度センサの計測結果を、その各軸に対応する成分の加速度データとして取得する機能と、
前記順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の１画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する機能と、
前記特定された複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成する機能と、
予め文字認識用として用意されていて前記成分毎に複数の特徴点を含む基本文字データと前記生成された入力文字データとを照合することにより文字認識を行う機能と、
前記取得された各軸に対応する成分毎の加速度データを、前記各軸をそれぞれ同じ方向に所定の角度回転することによりその回転座標系上での各軸に対応する成分毎の加速度データに回転変換する機能と、
を実現させ、
前記特定する機能は、前記取得された成分毎の加速度データの中に存在している複数の特徴点を本来の特徴点として成分毎にそれぞれ特定するとともに、前記回転変換された成分毎の加速度データの中に存在している複数の特徴点を回転後の特徴点として成分毎にそれぞれ特定し、
前記生成する機能は、前記特定された本来の特徴点及び回転後の特徴点を含む成分毎の特徴点データを入力文字データとして生成し、
前記文字認識を行う機能は、予め文字認識用の基本文字として前記本来の特徴点及び回転後の特徴点を含む基本文字データと前記生成された入力文字データとを照合することにより文字認識を行う、
ようにしたことを特徴とするプログラム、であることを特徴とする。

本発明によれば、平面内で書かれた文字を加速度センサの計測結果に基づいて円滑かつ確実な文字認識が可能となり、実用性に富んだものとなる。

文字認識装置として適用した文字認識機能付きの撮像装置（デジタルカメラ）の基本的な構成要素を示したブロック図。 複数の特徴点を含む成分毎の加速度データのそれぞれから特定される特徴点を説明するとともに、他軸との相関特徴を示す時間的比率を説明するための図。 複数の特徴点を含む成分毎の加速度データのそれぞれから特定される特徴点を説明するとともに、他軸との相関特徴を示すレベル的比率を説明するための図。 認識辞書メモリＤＭ内の基本文字データを説明するための図。 ユーザが文字を手書き入力する際の操作手順や操作方法を説明するための流れ図。 デジタルカメラの全体動作のうち、本実施形態の特徴部分の動作概要として、文字認識機能がオンされて文字認識が開始された場合の概要動作を示したフローチャート。 文字判別処理（図６のステップＢ９）を詳述するためのフローチャート。 (１)〜(１０)は、文字認識用として記憶されている基本文字データと入力文字データとの照合過程を例示した図。 第２実施形態を説明するために、ある文字の加速度データを示した波形図で、（１）は、平面内の各軸をそれぞれ同じ方向に４５°回転する前の波形を示し、（２）は、その各軸をそれぞれ同じ方向に４５°回転した後の波形例を示した図。 第２実施形態における認識辞書メモリＤＭ内の各基本文字データを説明するための図。 第２実施形態における文字判別処理（図６のステップＢ９）を詳述するためのフローチャート。 第２実施形態において、平面内の各軸を回転した回転座標系上の加速度データに変換するために“回転行列”を使用した回転変換式を示した図。 各実施形態の変形例として、極点の深さを説明するための図。 各実施形態の変形例として、（１）、（２）は、入力文字データ内のある成分の特徴点の数と、ある基本文字データの同じ成分の特徴点の数を示した図。 各実施形態の変形例として、認識辞書メモリＤＭ内の基本文字データの構成を示した図。 （１）、（２）は、各実施形態の変形例として、基本文字データを説明するための図。 各実施形態の変形例として、基本文字データを説明するための図。

（第１実施形態）
以下、図１〜図８を参照して本発明の第１実施形態を説明する。
この実施形態は、文字認識装置として適用した文字認識機能付きの撮像装置（デジタルカメラ）に適用した場合を例示したもので、図１は、文字認識機能付きのデジタルカメラの基本的な構成要素を示したブロック図である。
デジタルカメラは、携帯型のコンパクトカメラを構成するもので、撮像機能、計時機能などの基本機能のほかに、空間平面内で書かれた文字を認識する文字認識機能を有し、制御部１を中核として動作するようになっている。制御部１は、二次電池を備えた電源部２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのデジタルカメラの全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。

記憶部３は、ＲＯＭ、ＲＡＭなどの内部メモリで、図示しないプログラム領域とデータ領域とを有し、この記憶部３内のプログラム領域には、後述する図６及び図７に示す動作手順に応じて本実施形態を実現するためのプログラムが格納されている。また、記憶部３内のデータ領域には、文字認識用の基本文字データを記憶する認識辞書メモリＤＭ、撮影された画像を記憶保存する画像メモリＦＭのほか、各種のフラグ情報、デジタルカメラの動作に必要な各種の情報が記憶される。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、あるいは図示しない所定の外部サーバ上に記憶部３を有する構成であってもよい。

操作部４は、文字入力、コマンド入力などを行うもので、この操作部４には、図示しないが、カメラ機能をオン／オフさせるオン／オフキー、シャッタキーなどが設けられている。制御部１は、操作部４からの操作信号に応じた処理として、例えば、カメラオン／オフ処理、撮影処理など、各種の処理を行う。表示部５は、例えば、高精細液晶あるいは有機ＥＬを使用し、例えば、日時情報、保存画像などを表示するほか、カメラ機能の使用時にはライブビュー画像（モニタ画像）を表示するファインダ画面となる。

撮像部６は、デジタルカメラ機能を構成する構成要素で、静止画撮影のほかに動画撮影も可能なもので、カメラレンズ部、撮像素子（例えば、ＣＣＤあるいはＣＭＯＳ）、画像信号処理部、アナログ処理部、圧縮伸張部、各種センサ部（測距センサ、光量センサなど）などを有し、光学ズームを調整制御したり、オートフォーカス時の駆動制御、シャッタ駆動制御、露出、ホワイトバランスなどを制御したり、シャッタ速度（露光時間）を測定したりする。また、撮像部６は、被写体に応じて望遠／広角の切り替えができる２焦点式レンズやズームレンズを備え、焦点距離を可変する画角変更機構を作動させて望遠／広角やズーム撮影を行うようにしている。

加速度センサ７は、デジタルカメラ本体（筺体）に内蔵された少なくとも２軸の加速度センサ（本実施形態では３軸タイプの加速度センサ）であり、文字認識機能を構成する要素の一つであるが、例えば、歩数計を構成する加速度センサを文字認識機能に兼用するようにしてもよい。制御部１は、文字認識機能の作動中に加速度センサ７の計測結果に基づいて文字認識を行うようにしている。すなわち、制御部１は、加速度センサ７の計測結果、つまり、互いに直交する３軸方向（Ｘ・Ｙ・Ｚ方向）の加速度成分に基づいて重力方向に対して並行な２次元平面（垂直面）を特定し、この平面内において直交する２軸の成分に分離した加速度データ、つまり、第１軸（第１成分）の加速度データと第２軸（第２成分）の加速度データに基づいて文字認識を行うようにしている。

ここで、制御部１は、重力方向に対して並行な２次元平面内において分離された直交する２軸の成分の加速度データに基づいて１文字の書き始めと書き終わりを判別するようにしている。そして、制御部１は、文字の書き始めから書き終わりまでの間、順次取得した各成分の加速度データを、画と画との間の加速度を含めて文字の１画目から最後の画まで時間的に連続した一連の加速度データとして、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定するようにしている。これによって特定した複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成し、この入力文字データを認識辞書メモリＤＭ内の各基本文字データと照合することにより文字認識を行うようにしている。

すなわち、入力文字データは、２次元平面内において分離された直交する２軸の成分のそれぞれについて複数の特徴点を含む特徴点データであり、各特徴点は、後で詳述するが、局所的最大点である極大点と局所的最小点である極小点を示している。そして、各特徴点は、その「極点毎の種類」、「極点時刻（時間的な位置）」、「極点レベル（加速度の大きさ）」、「他軸との相関特徴（比率）」のデータから成っている。同様に、認識辞書メモリＤＭ内の各基本文字データにおいても、特徴点毎に「極点毎の種類」、「極点時刻（時間的な位置）」、「極点レベル（加速度の大きさ）」、「他軸との相関特徴（比率）」のデータから成っている。そして、この入力文字データと全ての基本文字データとを特徴点毎に照合することにより文字認識を行うようにしている。

図２及び図３は、複数の特徴点を含む成分毎の加速度データのそれぞれから特定される特徴点を説明するための図で、各成分の加速度データの変化状態を示した波形図である。
図中、縦軸は、加速度センサ７の計測結果から重力分を差し引いた加速度を示し、また、横軸は、時刻を示している。そして、実線の波形は、２次元平面内において分離された直交する２軸の成分のうち、そのいずれかの成分（第１成分）の加速度データを示し、また、破線の波形は、他の成分（第２成分）の加速度データを示している。ここで、制御部１は、各成分の加速度データのそれぞれにおいて局所的最大点である極大点と局所的最小点である極小点を特徴点として特定するとともに、この特徴点毎に極大点か極小点かを示す「極点の種類」とその極点の加速度の値を「極点レベル」として求めるようにしている。また、特徴点毎に、文字の書き始め位置を原点（時間“０”、加速度“０”）とした場合に、各極点（極大点と極小点）までの時刻を「極点時刻」として求めるようにしている。

一方の軸の加速度データ内の特徴点毎に、他方の軸に対応する加速度データ内の特徴点との相対的な関係を示すデータを「他軸との相関特徴（比率）」として求める。なお、他軸とは、相関特徴を求める極点が第１成分の極点なら第２成分の軸が他軸となり、逆に、第２成分の極点なら第１成分の軸が他軸となる。また、「他軸との相関特徴」とは、他軸の極大点から極小点、又は極小点から極大点への極点間範囲を基準としたときに、相対的にどのような位置にあるかを示す時間的な率（時間的比率）、レベル的な率（レベル的比率）であり、全ての極点毎に求めたものである。このように「他軸との相関特徴（比率）」を求めるのは、文字が速く書かれたとき、遅く書かれたとき、部分的に速さが変化して書かれたときに、後述する文字認識が難しくなる、具体的には、照合対象の基本文字の極点との類似度を比較する処理が難しくなるので、他軸との相対的な関係を指標とすることにより、１文字を書く速度や速度の変化に影響され難くするためである。

さらに図２は、他軸との相関特徴としての時間的比率を説明するための図で、この時間的比率は、一方の軸の特徴点毎に、他軸の極点間範囲を基準として、相対的にどのような位置にあるかを示す時間的な比率である。すなわち、図示の例において、第１成分の０番目の極点及び１番目の極点における他軸との相関特徴（時間的比率）は、第２成分の極大点から極小点、又は極小点から極大点への極点間範囲を基準（時間比率スケール）としたときに、第１成分の０番目の極点の時間的比率は、「−０．７２４６」、第１成分の１番目の極点の時間的比率は、「−０．３８３２」となることを示している。また、第２成分の０番目の極点における他軸との相関特徴（時間的比率）は、第１成分の極大点から極小点、又は極小点から極大点への極点間範囲を基準（時間比率スケール）としたときに、第２成分の０番目の極点の時間的比率は、「０．４７０６」となることを示している。

なお、図２において、ある成分の第０番目の極点が極大点ならその成分の文字の書き始めを極小点とし、逆に第０番目の極点が極小点なら文字の書き始めを極大点として便宜的に決める。同様に、文字の書き終わりの点についても、直前の極点が極大点なら極小点、直前が極小点なら書き終わりの点を極大点として便宜的に決める。また、率を算出する場合に、他軸の加速度が減少していく過程であれば、例えば、極大点を−１、極小点を０として自極点の位置を負数の値の率として算出し、また、他軸の加速度が増加していく過程では、例えば、極大点を１、極小点を０として自極点の位置を正数の値の率として算出するようにしている。このことは、後述する図３の場合においても同様である。

さらに図３は、他軸との相関特徴を示すレベル的比率を説明するための図で、このレベル的比率は、一方の軸の特徴点毎に、他軸の極点間範囲を基準として、相対的にどのような大きさにあるかを示すレベル的な比率である。図示の例において、第１成分の０番目の極点及び１番目の極点における「他軸との相関特徴（レベル的比率）」は、第２成分の極大点から極小点、又は極小点から極大点への極点間範囲を基準（レベル比率スケール）としたときに、第１成分の０番目の極点のレベル的比率は、「−０．４５７９」、第１成分の１番目の極点のレベル的比率は、「−０．１４９５」となることを示している。また、第２成分の０番目の極点における他軸との相関特徴（レベル的比率）は、第１成分の極大点から極小点、又は極小点から極大点への極点間範囲を基準（レベル比率スケール）としたときに、第２成分の０番目の極点のレベル的比率は、「０．５８５６」となることを示している。

図４は、認識辞書メモリＤＭ内の基本文字データを説明するための図である。
認識辞書メモリＤＭは、文字認識用として予め用意されている基本文字データを記憶するもので、基本文字データは、その文字を書くと必ず出現する特徴点（極点）だけに絞った構成で、直交する２軸の成分に対応して複数の特徴点（極点）を有する特徴点データである。この特徴点データは、各成分の特徴点毎に、「Ｋ（ｊ、ｋ）」、「Ｒ（ｊ、ｋ）」、「Ｌ（ｊ、ｋ）」、「Ｔ（ｊ、ｋ）」の項目を含むデータで、項目データ「Ｋ（ｊ、ｋ）」は、第ｊ成分の加速度における第ｋ番目の極点の種類（極大点又は極小点）を示している。項目データ「Ｒ（ｊ、ｋ）」は、同上の極点の他軸との相関特徴（時間的比率又はレベル的比率）を示している。項目データ「Ｌ（ｊ、ｋ）」は、同上の極点の極点レベルを示している。項目データ「Ｔ（ｊ、ｋ）」は、同上の極点の極点時刻を示している。

図示の例は、第１成分の加速度における極点の数がＭ個の場合を示し、第１成分にはその０番目の極点に対応して「Ｋ（１、０）」、「Ｒ（１、０）」、「Ｌ（１、０）」、「Ｔ（１、０）」の項目を有し、１番目の極点に対応して「Ｋ（１、１）」、「Ｒ（１、１）」、「Ｌ（１、１）」、「Ｔ（１、１）」の項目を有し、…、Ｍ番目の極点に対応して「Ｋ（１、Ｍ−１）」、「Ｒ（１、Ｍ−１）」、「Ｌ（１、Ｍ−１）」、「Ｔ（１、Ｍ−１）」の項目を有している。また、図示の例は、第２成分の加速度における極点の数がＮ個の場合を示し、その０番目の極点に対応して「Ｋ（２、０）」、「Ｒ（２、０）」、「Ｌ（２、０）」、「Ｔ（２、０）」の項目を有し、１番目の極点に対応して「Ｋ（２、１）」、「Ｒ（２、１）」、「Ｌ（２、１）」、「Ｔ（２、１）」の項目を有し、…、Ｎ番目の極点に対応して「Ｋ（２、Ｎ−１）」、「Ｒ（２、Ｎ−１）」、「Ｌ（２、Ｎ−１）」、「Ｔ（２、Ｎ−１）」の項目を有している。なお、Ｍ、Ｎの値は、同一とは限らず、異なる場合もある。

次に、第１実施形態におけるデジタルカメラの動作概念を図６及び図７に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは、後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

ここで、図６及び図７に示すフローチャートを説明する前に、図５を参照して、ユーザが文字を手書き入力する際の操作手順や操作方法を説明しておく。
先ず、ユーザは、文字認識機能をオンさせた後、デジタルカメラ本体（筺体）を手に持って空間平面内を移動させながら文字を書くようにする。すなわち、筺体を手に持って空間平面内を移動させながら文字を書くが、１文字を書き始める前には筐体を略静止させた後に（図５のステップＡ１）、文字の書き始め位置まで筐体をゆっくり滑らかに移動させる（ステップＡ２）。

そして、重力方向に対して並行な２次元平面内で文字を書くようにし、１文字の入力中は筺体の姿勢を大きく変化させないものとし、かつ、１画（ストローク）毎に筐体を移動させるが、この場合、１文字入力中は書く動きを止めずに一筆書きのように連続して滑らかに書くようにし、１つの画の終点から次の画の始点への移動も滑らに行う（ステップＡ３）。そして、１文字が書き終わった時点で再び、筐体を略静止させる（ステップＡ４）。その後、次の文字の書き始め位置までゆっくり滑らかに筐体を移動させた後（ステップＡ５）、次の文字を書き始める。以下、文字入力を終了させるまで（ステップＡ６でＮＯ）、上述のステップＡ３に戻り、手書き操作を繰り返すことにより複数の文字を順次手書き入力する。

図６は、デジタルカメラの全体動作のうち、本実施形態の特徴部分の動作概要として、文字認識機能がオンされて文字認識が開始された場合の概要動作を示したフローチャートである。なお、この図６のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。
先ず、制御部１は、加速度センサ７の計測結果から重力分をキャンセルするための処理を行う（図６のステップＢ１）。すなわち、例えば、垂直方向の計測結果（加速度成分）には、重力加速度として上向き１Ｇが含まれているので、加速度を計測する毎に、その計測結果から上向き１Ｇを減算するための準備として、文字を書き始める前に筐体の姿勢（略同じ姿勢）に応じた重力加速度を計測して記憶部３内のＲＡＭに一時記憶しておく。

そして、２成分の加速度合成ベクトルの大きさが所定の閾値以上で所定時間（所定回数）以上連続しているか否かに基づいて文字を書き始めたか否かを調べる（ステップＢ２）。ここで、ユーザは、２つの加速度合成ベクトルの大きさが所定の閾値以上で所定時間以上連続しないように、つまり、所定の閾値以上の加速度合成ベクトルが所定時間（所定回数）以上連続しないように、ゆっくり滑らかに筐体を文字の書き始め位置まで移動させた後、文字を書き始める。これによって所定の閾値以上の加速度合成ベクトルが所定時間（所定回数）以上連続していることが検出される（ステップＢ２でＹＥＳ）。

このようにして文字の書き始めを検出すると、１文字の入力時間を計時するための１文字入力タイマ（図示省略）の計測動作を開始させる（ステップＢ３）。そして、１文字入力中の加速度データを蓄える処理に移り（ステップＢ４）、加速度センサ７の計測結果から重力加速度を減算することにより重力分をキャンセルした２成分の加速度を書き始めの計測結果として記憶部３内のＲＡＭに記憶させた後、所定の閾値未満の加速度合成ベクトルが所定時間（所定回数）以上連続していることが検出されたかに基づいて１文字を書き終えたかを調べる（ステップＢ５）。この場合、ユーザは、筐体の姿勢を保ったまま１文字を書き終わるまでは筐体を連続して移動させながら文字を書く手を止めずに一筆書きのようにして書き、１つの画の終点から次の画の始点へは滑らかな軌跡を描くように筐体を移動させ、１文字を書き終えたら筐体の移動を止めるようにしているため、１文字を書き終えた際には、所定の閾値未満の加速度合成ベクトルが所定時間（所定回数）以上連続していることが検出される（ステップＢ５でＹＥＳ）。

いま、１文字入力中にあっては、所定の閾値以上の加速度合成ベクトルが所定時間（所定回数）以上連続していることが検出されるため（ステップＢ５でＮＯ）、以下、上述のステップＢ４に戻り、１文字入力中の加速度データを記憶部３内のＲＡＭに蓄える処理を繰り返す。このようにして加速度センサ７の計測結果を蓄える動作を例えば、１秒間に１００回程度で行う。これによって記憶部３内のＲＡＭには、１文字の書き始めから書き終わりまでの間、順次取得した各成分の加速度データが、画と画との間の加速度を含めて文字の１画目から最後の画まで時間的に連続した一連の加速度データとして順次記憶される。

１文字を書き終えたことを検出すると（ステップＢ５でＹＥＳ）、上述の１文字入力タイマの計測動作を停止させた後（ステップＢ６）、その計測時間（１文字の入力時間）は所定の閾値以上の長さ（例えば、漢数字の「一」のように簡素な文字の入力に要する時間以上）であるかを調べ（ステップＢ７）、その閾値未満の長さであれば（ステップＢ７でＮＯ）、今回の加速度センサ７での計測結果を無効とするために記憶部３内のＲＡＭに蓄えた今回の一連の加速度データを消去した後（ステップＢ８）、文字の書き始めを検出するステップＢ２に戻る。いま、１文字の入力時間が所定の閾値以上の長さであれば（ステップＢ７でＹＥＳ）、記憶部３内のＲＡＭに蓄えられている１文字分の一連の加速度データに基づいて文字認識を行うための文字判別処理を実行する（ステップＢ９）。

図７は、文字判別処理（図６のステップＢ９）を詳述するためのフローチャートである。
先ず、制御部１は、１文字を手書き入力している間の加速度センサ７の計測結果（２成分の加速度）に対してフィルタ処理を実行する（ステップＣ１）。すなわち、書き始めから書き終わりまでの１文字分の加速度データの中から加速度センサ７自身のノイズや微妙な手のブレによる加速度の高周波成分を除去するために、２成分の加速度に対して低域フィルタをかける。次に、１文字分の加速度データに対してレベルの正規化を行う（ステップＣ２）。すなわち、一般に、加速度の変化に応じて文字認識を行う装置では、同じ大きさの文字でも、ゆっくり書くときと、速く書くときでは加速度の大きさが変化する。これが後の文字認識処理に影響を与えることを避けるために、筐体の静止時の加速度を２成分ともに“０”としたとき、１文字分における２成分の加速度データの中で絶対値が最も大きな加速度を検索し、その値がどの文字でも同じになるように、一律に同じ係数を２成分の加速度に乗じることによって、レベルの正規化を行う。

次に、１文字分の加速度データの中から各特徴点を成分毎に特定するとともに、その種類を特定する（ステップＣ３）。この場合、２成分の加速度データのそれぞれにおいて、局所的最大点（極大点）と局所的最小点（極小点）を探索して、この極大点、極小点を特徴点として特定するとともに、その種類（極大点又は極小点）を特定する。そして、特徴点毎に、その点における正規化後の加速度レベル（極点レベル）を求めるとともに（ステップＣ４）、１文字の書かれ始めを時刻“０”としたときにその極点までの時刻（極点時刻）を求める（ステップＣ５）。さらに、特徴点毎に、他軸との相関特徴を求める（ステップＣ６）。この場合、図２に示したように、一方の軸の特徴点毎に、他軸の極点間範囲を基準として、相対的にどのような位置にあるかを示す時間的比率を求める。又は、図３に示したように、一方の軸の特徴点毎に、他軸の極点間範囲を基準として、相対的にどのような大きさにあるかを示すレベル的比率を求める。

このようにして１文字分の加速度データの中から各特徴点を成分毎に特定するとともに、特徴点毎に「極点毎の種類」、「極点レベル」、「極点時刻」、「他軸との相関特徴（比率）」を含む特徴点データを入力文字データとして生成する（ステップＣ７）。そして、認識辞書メモリＤＭに記憶されている各基本文字のうち、その先頭の基本文字を照合対象として指定して（ステップＣ８）、指定した基本文字データと入力文字データとを照合しながらそれらの類似度を算出する（ステップＣ９）。

図８は、基本文字データと入力文字データとを照合する過程を例示したもので、図示の例では、ある基本文字のある成分の極点は第０番目の極点から第ｋ番目（２番目）の極点までの３つ、また、入力文字のある成分の極点は第０番目の極点から第ｋ番目（４番目）の極点までの５個の場合を示している。また、図中、「基本Ｆ（ｊ、ｋ）」は、図４に示したように基本文字データの「極点毎の種類」、「他軸との相関特徴（比率）」、「極点レベル」、「極点時刻」としての「Ｋ（ｊ、ｋ）」、「Ｒ（ｊ、ｋ）」、「Ｌ（ｊ、ｋ）」、「Ｔ（ｊ、ｋ）」を示している。また、「入力Ｆ（ｊ、ｋ）」は、入力文字データの「極点毎の種類」、「他軸との相関特徴（比率）」、「極点レベル」、「極点時刻」を示している。

なお、上述のように基本文字の極点数よりも入力文字の極点数の方が多いのは、手ブレなどによる影響である。この場合、極点の順番が前後しないように照合するが、その組み合わせとしては、図８(１)〜(１０)の１０通りの照合パターンが考えられる。そして、この極点の順番を変えない１０通りの照合パターンの中で、極点の種類が同じであることを条件として、基本文字と入力文字の「他軸との相関特徴（比率）」同士を比較するとともに、「極点レベル」同士を比較しながらその差の平均を算出し、図８(１)〜(１０)の中から最も差の少ない照合パターンを選択する。このような照合を成分毎に行った後、改めて各成分の特徴点毎の差からその平均を算出してその平均値をその基本文字に対する類似度（類似度距離）として求める。

１文字分の類似度（類似度距離）を求めた後は、認識辞書メモリＤＭ内の全基本文字を指定し終わったかを調べ（ステップＣ１０）、全文字を指定し終わるまで（ステップＣ１０でＮＯ）、次の基本文字を指定しながら（ステップＣ１１）、指定した基本文字データと入力文字データとを照合しながらそれらの類似度を算出する処理を繰り返す（ステップＣ９）。このようにして全ての基本文字に対応してその類似度距離を求めた後は（ステップＣ１０でＹＥＳ）、平均値が最も小さい文字（類似度距離が最も短い文字）を認識文字（入力候補）として決定する（ステップＣ１２）。

このようにして文字判別処理が終わると（図６のステップＢ９）、この文字判別処理により決定された認識文字を表示部５に入力候補として表示させる（ステップＢ１０）。この状態において、次候補を指示する操作が行われたかを調べたり（ステップＢ１１）、文字認識機能がオフされたか、つまり、文字入力の終了がユーザ操作により指示されたかを調べたりし（ステップＢ１２）、次候補操作が行われたときには（ステップＢ１１でＹＥＳ）、次候補を読み出して（ステップＢ１３）、表示部５に入力候補として表示させる（ステップＢ１０）。また、文字入力の終了が指示されなければ（ステップＢ１２でＮＯ）、上述のステップＢ２に戻り、以下、上述の動作を繰り返すことにより次の手書き文字に対する文字認識を行うが、文字入力の終了が指示されたときには（ステップＢ１２）、この時点で図６のフローの終了となる。

以上のように、第１実施形態において制御部１は、加速度センサ７を内蔵した筺体が空間平面内で移動されながら行われた文字を書く動作を加速度センサ７の計測結果に基づいて認識する場合に、加速度センサ７の各軸に対応した成分の加速度データに基づいて１文字の書き始めから書き終わりまでを判別するとともに、その間の成分毎の加速度データを、画と画との間の加速度を含めて文字の１画目から最後の画まで時間的に連続した一連の加速度データとして取得した後に、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定し、この複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成して基本文字データと照合するようにしたので、平面内で書かれた文字を加速度センサ７の計測結果に基づいて円滑かつ確実な文字認識が可能となり、実用性に富んだものとなる。

すなわち、加速度データを使用しているので重力の影響は免れないが、加速度を積分して軌跡を出すものとは異なり加速度をそのまま文字認識に使用するようにしているので、文字入力途中に筐体の姿勢が変化することによる重力方向の少々の変化や揺らぎに対して対応可能となり、文字認識のロバスト性があるほか、ジャイロなど加速度センサ以外のセンサも不用となり、また、文字を構成する要素（画＝ストローク）の分離を必要とする文字認識の方法では無いので、空中で文字を書くという状況においてペンアップやペンダウンに相当する面倒でやりづらい操作や動きを必要とせず、自然でスムーズで速やかな文字入力が可能となり、さらには入力文字と同様に基本文字も複数の特徴点からなるために辞書の容量が少なくて済むなど、実用性に富んだものとなる。

１文字の書き終わりから次の文字の書き始めまでの間の加速度データを一連の加速度データから除外するようにしたので、１文字分の加速度データを容易に特定することができる。

加速度センサ７の計測結果を平面内で分離した直交する各成分の加速度における合成ベクトルの大きさが所定の閾値以上で所定時間以上連続しているか否かに基づいて１文字の書き始めと書き終わりを判別するようにしたので、ユーザにあっては１文字を書き始める前に筐体を略静止させた後に文字の書き始め位置まで筐体をゆっくり滑らかに移動させればよく、また、１文字が書き終わった時点では、再び筐体を略静止させればよく、極自然な動作により１文字の書き始めと書き終わりを判別することができる。

各成分の加速度データのそれぞれにおいて局所的最大点である極大点と局所的最小点である極小点を特徴点として特定するとともに、特徴点毎にその極点の種類とともに極点レベルを求めて入力文字データを生成するようにしたので、少ないデータ量でも筐体の移動軌跡を適切に表した入力文字データを得ることができる。

文字の書き始めからその極点までの時刻を極点時刻として求め、この極点時刻とともに極点の種類及び極点レベルを含む入力文字データを生成するようにしたので、入力文字データと基本文字データとを照合する際に、極点時刻に基づいて各特徴点を特定することができ、確実な照合を行うことができるようになる。

一方の軸に対応する加速度データ内の特徴点毎に他方の軸に対応する加速度データ内の特徴点との相対的な関係を示すデータを他軸との相関特徴として求め、この他軸との相関特徴とともに極点の種類及び極点レベルを含む入力文字データを生成するようにしたので、１文字入力中での速度変化にも強くなり、より確実な文字認識が可能となる。

他軸との相関特徴は、他軸に対応する加速度データ内の極大点から極小点、又は極小点から極大点への極点間範囲を基準としたときに、相対的にどのような位置にあるかを示す時間的比率、どのような値にあるかを示すレベル的比率のいずれかの比率であるので、他軸との相関特徴として適切なものとなる。

（第２実施形態）
以下、この発明の第２実施形態について図９〜図１２を参照して説明する。
なお、上述した第１実施形態においては、平面内において直交する２軸の成分の加速度データの中から各特徴点を成分毎に特定するとともに、特徴点毎に「極点毎の種類」、「極点レベル」、「極点時刻」、「他軸との相関特徴（比率）」の項目を含む特徴データを入力文字データとして求めるようにしたが、この第２実施形態においては、さらに、平面内において直交する２軸をそれぞれ同じ方向に所定の角度（４５°）回転することにより、加速度センサ７から取得した各成分の加速度データを回転後の平面座標系上の加速度データに変換し、その回転後の加速度データからも上述した特徴点データを得るようにしたものである。なお、回転後の特徴点データには、特徴点毎に「極点毎の種類」、「極点レベル」、「極点時刻」、「他軸との相関特徴（比率）」の項目を含むが、「極点毎の種類」、については省略してもよい。

そして、第２実施形態においては、回転前の加速度データから特定した複数の特徴点（本来の特徴点）及び回転後の加速度データから特定した複数の特徴点（回転後の特徴点）を含む特徴点データを、入力文字データとして生成し、さらには、基本文字データも入力文字データと同様に、本来の特徴点と回転後の特徴点を含むデータ構成としたものである。なお、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略するとともに、以下、第２実施形態の特徴部分を中心に説明するものとする。

図９は、第２実施形態を説明するために、ある文字の加速度データを示した波形図で、（１）は、平面内の各軸をそれぞれ同じ方向に４５°回転する前の波形を示し、（２）は、各軸をそれぞれ同じ方向に４５°回転した後の波形例を示している。
図９（１）に示すように、ある文字の加速度データとして振幅変化の少ない場合があり、図示の例のように、その文字の第１成分の加速度データは、その振幅がほとんど変化していないものとなり、第２成分の加速度データは、変化の少ない単純な波形（特徴の無い波形）となっている。このような場合、他軸との相関特徴（比率）が不明確なものとなり、比率の照合が行えなくなるが、図９（２）に示すように、各軸をそれぞれ同じ方向に４５°回転させると、第１及び第２成分の加速度データは、変化に富んだものとなり、他軸との相関特徴（比率）が明確なものとなる。

図１０は、第２実施形態における認識辞書メモリＤＭ内の各基本文字データを説明するための図である。
認識辞書メモリＤＭは、文字認識用として文字毎に基本文字データを記憶するもので、基本文字データは、その文字を書くと必ず出現する特徴点だけに絞った構成で、直交する２軸の成分に対応して複数の特徴点と、その２軸を４５°回転させた後の複数の特徴点とを有する特徴点データである。この特徴点データは、各成分の特徴点毎に、「Ｋ（ｉ、ｊ、ｋ）」、「Ｒ（ｉ、ｊ、ｋ）」、「Ｌ（ｉ、ｊ、ｋ）」、「Ｔ（ｉ、ｊ、ｋ）」の項目データを有する構成で、項目データ「Ｋ（ｉ、ｊ、ｋ）」は、軸をｉ度回転した回転座標系上における第ｊ成分の加速度の第ｋ番目の極点の種類（極大点又は極小点）を示している。

ここで、項目データは「Ｒ（ｉ、ｊ、ｋ）」は、同上の極点の他軸との相関特徴（時間的比率又はレベル的比率）を示している。項目データは「Ｌ（ｉ、ｊ、ｋ）」は、同上の極点の極点レベルを示している。項目データ「Ｔ（ｉ、ｊ、ｋ）」は、同上の極点の極点時刻を示している。このように第２実施形態の基本文字データは、回転前の２軸の成分を第１成分、第２成分とし、回転後の２軸の成分を第３成分、第４成分とすると、合計４成分のデータを持つことになる。

なお、図示の例は、第１成分の加速度における極点の数がＭ個の場合を示し、第１成分にはその０番目の極点に対応して「Ｋ（０、１、０）」、「Ｒ（０、１、０）」、「Ｌ（０、１、０）」、「Ｔ（０、１、０）」の項目を有し、…、Ｍ番目の極点に対応して「Ｋ（０、１、Ｍ−１）」、「Ｒ（０、１、Ｍ−１）」、「Ｌ（０、１、Ｍ−１）」、「Ｔ（０、１、Ｍ−１）」の項目を有している。また、図示の例は、第２成分の加速度における極点の数がＮ個の場合を示し、その０番目の極点に対応して「Ｋ（０、２、０）」、「Ｒ（０、２、０）」、「Ｌ（０、２、０）」、「Ｔ（０、２、０）」の項目を有し、…、Ｎ番目の極点に対応して「Ｋ（０、２、Ｎ−１）」、「Ｒ（０、２、Ｎ−１）」、「Ｌ（０、２、Ｎ−１）」、「Ｔ（０、２、Ｎ−１）」の項目を有している。

また、図示の例は、４５°回転させた第１成分の加速度における極点の数がＰ個の場合を示し、第１成分にはその０番目の極点に対応して「Ｋ（４５、１、０）」、「Ｒ（４５、１、０）」、「Ｌ（４５、１、０）」、「Ｔ（４５、１、０）」の項目を有し、…、Ｐ番目の極点に対応して「Ｋ（４５、１、Ｐ−１）」、「Ｒ（４５、１、Ｐ−１）」、「Ｌ（４５、１、Ｐ−１）」、「Ｔ（４５、１、Ｐ−１）」の項目を有している。また、図示の例は、４５°回転させた第２成分の加速度における極点の数がＱ個の場合を示し、その０番目の極点に対応して「Ｋ（４５、２、０）」、「Ｒ（４５、２、０）」、「Ｌ（４５、２、０）」、「Ｔ（４５、２、０）」の項目を有し、…、Q番目の極点に対応して「Ｋ（４５、２、Ｑ−１）」、「Ｒ（４５、２、Ｑ−１）」、「Ｌ（４５、２、Ｑ−１）」、「Ｔ（４５、２、Ｑ−１）」の項目を有している。なお、極点数Ｍ、Ｎ、Ｐ、Ｑにはそれぞれ関連性はなく、文字によっても様々に異なる。

図１１は、第２実施形態における文字判別処理（図６のステップＢ９）を詳述するためのフローチャートである。
先ず、上述した第１実施形態と同様に図７のステップＣ１〜Ｃ６に対応する処理として、１文字を手書き入力している間の加速度センサ７の計測結果に対してフィルタ処理を実行した後（ステップＤ１）、１文字分の加速度データに対してレベルの正規化を行う（ステップＤ２）。そして、２成分の加速度データのそれぞれにおいて、局所的最大点（極大点）と局所的最小点（極小点）を探索して、この極大点、極小点を特徴点として特定し、その種類（極大点又は極小点）を求めるとともに（ステップＤ３）、特徴点毎に極点レベルを求め（ステップＤ４）、かつ、極点時刻を求めるとともに（ステップＤ５）、他軸との相関特徴を求める（ステップＤ６）。

このようにして１文字分の加速度データの中から各特徴点を成分毎に特定するとともに、特徴点毎に「極点毎の種類」、「極点レベル」、「極点時刻」、「他軸との相関特徴（比率）」を入力文字データとして求めた後は、上述のステップＤ１でフィルタ処理を実行して上述のステップＤ２でレベル正規化を行った後の１文字分の加速度データを、平面内の直交する２軸をそれぞれ同じ方向に所定の角度（４５°）回転することによりその回転座標系上の加速度データに変換する（ステップＤ７）。
図１２は、回転座標系上の加速度データに変換するために“回転行列”を使用した回転変換式を示した図である。この場合、元の平面座標系上の第１軸（第１成分）の加速度を４５°回転させたときの回転座標系上での第１成分の加速度を求め、かつ、元の平面座標系上の第２軸（第２成分）の加速度を同一方向に４５°回転したときの回転座標系上での第２成分の加速度を求める。

そして、４５°回転後の１文字分の加速度データの中から各特徴点を成分毎に特定するとともに、その種類を求める（ステップＤ８）。そして、特徴点毎に、その点における正規化後の加速度レベル（極点レベル）を求めるとともに（ステップＤ９）、１文字の書かれ始めを時刻“０”としたときにその極点までの時刻（極点時刻）を求め（ステップＤ１０）。さらに、特徴点毎に、他軸との相関特徴を求める（ステップＤ１１）。このようにして回転前の加速度データから特定した複数の特徴点（本来の特徴点）と回転後の加速度データから特定した複数の特徴点（回転後の特徴点）を含む特徴点データを入力文字データとし生成する（ステップＤ１２）。そして、認識辞書メモリＤＭに記憶されている各基本文字のうち、その先頭の基本文字を照合対象として指定して（ステップＤ１３）、指定した基本文字データと入力文字データとを照合しながらそれらの類似度を算出して文字認識を行う（ステップＤ１４〜Ｄ１７）。

以上のように、第２実施形態において制御部１は、加速度センサ７からの成分毎の加速度データを、各軸をそれぞれ同じ方向に所定の角度回転することによりその回転座標系上での各軸に対応する成分毎の加速度に変換し、加速度センサ７から取得した加速度データの中に存在している複数の特徴点（本来の特徴点）と、回転変換した加速度データの中に存在している複数の特徴点（回転後の特徴点）を含む成分毎の特徴点データを入力文字データとして生成して、基本文字データと照合するようにしたので、どのような文字であっても適切に文字認識することができる。すなわち、例えば、１文字入力中の加速度データが変化の少ない単純な波形（特徴の無い波形）であっても、所定角度（４５°）の回転により変化に富んだ波形となり、他軸との相関特徴（比率）が明確な加速度データを得ることができ、文字認識を適切に行うことが可能となる。

なお、第２実施形態においては、各軸をそれぞれ同じ方向に４５°回転する場合を例示したが、３０度回転及び６０度回転した回転座標系について特徴点を特定するようにしてもよい。この場合、上述した第２実施形態の基本文字データは、回転前の２軸の成分を第１成分、第２成分とし、回転後の２軸の成分を第３成分、第４成分とすると、合計４成分のデータとなるが、３０度回転及び６０度回転することにより合計６成分のデータを持つことになる。

また、上述した第１実施形態においては、基本文字データと入力文字データとを照合する過程において、例えば、図８(１)〜(１０)に示す場合には１０通りの照合パターンと照合しながら最も差の少ない照合パターンを選択して基本文字との類似度を求めるようにしたが、不必要な照合パターンとの照合を省くようにしてもよい。この場合、入力文字データ内の特徴点毎にその重要度を両隣の特徴点との関係において求め、この特徴点毎の重要度を参照して文字認識を行うようにしてもよい。

例えば、図８(１)〜(１０)の組み合わせの中で図８(１)のパターンが最も差が少ないと計算された場合、「入力Ｆ（j、３）」と「入力Ｆ（j、４）」が基本文字データの特徴点には含まれていないが、この「入力Ｆ（j、３）」と「入力Ｆ（j、４）」がその文字を構成する要素として必要な特徴であれば、この図８(１)のパターンが最も差の少ない照合パターンを選択することは文字認識上好ましくない。このような場合に、入力した文字の全ての特徴点について個々の特徴点の重要度がどれくらいのものかを評価するために、図１３に示すように極点の深さを定義する。図示の例において、極点の深さをその両隣の極点とのレベル差の和と定義すると、図中、ｎ＋１番目の極点の深さは、ａ＋ｂとなり、ｎ＋２番目の極点の深さは、ｂ＋ｃ、また、ｎ＋３番目の極点の深さは、ｃ＋ｄとなる。

ここで、極点の深さが大きい程、重要な特徴点となるが、上述のようにして定義した極点の深さが、予め決められている閾値よりも大きい極点を重要な特徴点とすると、例えば、図１４（１）に示すように、入力文字データのある成分の重要な特徴点の数（４個）が、ある基本文字データの同じ成分の特徴点の数（３個）よりも多い場合には、その基本文字との類似度距離を算出するまでも無く、この入力文字は当該基本文字では無いと判断することができる。

このように入力文字データ内の特徴点毎にその重要度を両隣の特徴点との関係において求め、この特徴点毎の重要度を参照して文字認識を行うようにすれば、文字認識を効率よくかつ確実に行うことが可能となる。

この場合、基本文字データと入力文字データとの類似度を算出し、最も類似度の高い基本文字を認識文字とする場合に、入力文字データ内のある成分の重要度の高い特徴点の数が、基本文字データの同じ成分の特徴点の数よりも多い場合は、その基本文字との類似度を算出せずに当該基本文字は認識文字では無いと判断するようにしたので、さらに文字認識を効率よくかつ確実に行うことが可能となる。

また、特徴点の重要度に基づいて文字認識を行う場合に限らず、入力文字データと基本文字データとの特徴点の数を比較するだけで認識文字では無いと判断するようにしてもよい。例えば、図１４（２）に示すように、入力文字の特徴点の数が「４個」、また、基本文字の特徴点の数が「６個」の場合のように、入力文字データ内のある成分の特徴点の数が、ある基本文字データの同じ成分の特徴点の数よりも少ない場合は、その基本文字との類似度を算出せずに当該基本文字は認識文字では無いと判断するようにすれば、重要度を求めることなく文字認識を効率よくかつ確実に行うことが可能となる。

上述した各実施形態において基本文字データの構成は、「極点毎の種類」、「極点時刻（時間的な位置）」、「極点レベル（加速度の大きさ）」、「他軸との相関特徴（比率）」としたが、これに限らず、他の項目を持たせてもよく、例えば、他の項目として、基本文字データの特徴点と入力文字データの特徴点との差から類似度を算出する際に使用される係数（類似度距離係数）を特徴点毎に持たせるようにしてもよい。また、他の項目として、基本文字データを構成する特徴点毎に、基本文字データ内の所定の項目と入力文字データ内の所定の項目との照合を行うか否かを示す照合フラグを持たせるようにしてもよい。

図１５は、第２実施形態と同様に、認識辞書メモリＤＭ内の４５°回転に対応した基本文字データの構成を示した図である。図示の例においては、特徴点毎に「他軸との相関特徴（比率）」の「Ｒ（ｉ、Ｊ、ｋ）」に対応する類似度距離係数として「Ｒｄ（ｉ、Ｊ、ｋ）」を持たせ、かつ、「極点レベル」の「Ｌ（ｉ、ｊ、ｋ）」に対応する類似度距離係数として「Ｌｄ（ｉ、Ｊ、ｋ）」を持たせた場合を例示し、また、「他軸との相関特徴（比率）」の「Ｒ（ｉ、Ｊ、ｋ）」に対応する照合フラグとして「Ｒｆ（ｉ、Ｊ、ｋ）」を持たせ、かつ、「極点レベル」の「Ｌ（ｉ、ｊ、ｋ）」に対応する照合フラグとして「Ｌｆ（ｉ、Ｊ、ｋ）」を持たせた場合を例示した図である。

このように基本文字データ内に類似度距離係数「Ｒｄ（ｉ、Ｊ、ｋ）」、「Ｌｄ（ｉ、Ｊ、ｋ）」を持たせるようにすれば、基本文字の特徴点データをよりきめ細かに調整することが可能となり、認識率を上げることができる。すなわち、類似度を算出する場合に、単純に差の平均を求めるのではなく、異なる類似度距離係数Ｒｄ又はＬｄを持つことにより、差の出やすい特徴点には低い係数を、差の出にくい特徴点には高い係数を使用して計算し、より適切な類似度を求めることができる。

また、基本文字データを構成する特徴点毎に、基本文字データ内の所定の項目と入力文字データ内の所定の項目との照合を行うか否かを示す照合フラグを持たせるようにすれば、例えば、文字の特性上、「他軸との相関特徴（比率）」、「極点レベル」が著しく変化する特徴点については、その文字の基本文字の該当特徴点を類似度距離の計算に使用しなくてもよい場合を認めるために、基本文字の特徴点毎にフラグを設けるようにすれば、より正しい類似度距離を算出することができる。

また、基本文字データの類似度距離係数Ｒｄを２種類持ち、例えば、第１６図（１）に示すように、入力文字のある成分（第２成分）のｎ番目の極点の「他軸との相関特徴（時間的比率又はレベル的比率）Ｒ」が、基準特徴点の比率Ｒ、つまり、基本文字の同じ成分のｎ番目の極点の「他軸との相関特徴（時間的比率又はレベル的比率）Ｒ」よりも後ろにずれていた場合、又は第１６図（２）に示すように、前にずれていた場合に、それぞれ異なる類似度距離係数Ｒｄを使用するようにしてもよい。また、類似度距離比率Ｌｄについても同様に２種類持ち、入力文字の極点レベルＬが、基準特徴点の比率Ｌよりも低い場合と高い場合とで異なる類似度距離比率Ｌｄを使用するようにしてもよい。

また、基本文字データ内に含まれている「他軸との相関特徴」を示す比率は、範囲を示すデータで持ち、基本文字データ内の他軸との相関特徴を示す比率と入力文字データ内の「他軸との相関特徴」を示す比率とを照合する際に、基本文字側の比率の範囲内に入力文字の比率が入っているか否かを判別するようにしてもよい。すなわち、基本特徴点の比率Ｒは、点ではなく、図１７に示すように比率Ｒ１と比率Ｒ２に挟まれた範囲で持ち、入力文字のある成分（第２成分）のｎ番目の極点の「他軸との相関特徴（時間的比率又はレベル的比率）Ｒ」が、この範囲に入った場合は、類似度距離を“０”とし、その範囲から外れた場合には“０”を超える類似度距離とするようにしてもよい。このように基本特徴点の比率Ｒを範囲で持つことにより、より適切に類似度距離を得ることができる。

また、上述した各実施形態の基本文字データは、「他軸との相関特徴（比率）」として、時間的比率又はレベル的比率のいずれか使用するようにしたが、その両方を使用する構成であってもよい。

また、上述した各実施形態においては、文字を空間平面内で書くようにしたが、例えば、壁面などに接触させながら文字を書くようにしてもよく、空間平面内で文字を書く場合に限らない。

また、上述した実施形態においては、文字認識装置として、文字認識機能付きのデジタルカメラに適用した場合を示したが、文字認識機能付きの携帯電話機・卓上電子計算機・腕時計・パーソナルコンピュータ（ノートパソコン）・ＰＤＡ・音楽プレイヤーなどに適用するようにしてもよい。

その他、上述した各実施形態において示した“装置”や“機”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

１ 制御部
３ 記憶部
４ 操作部
５ 表示部
７ 加速度センサ
ＤＭ 認識辞書メモリ

Claims (10)

1. 少なくとも２軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する文字認識装置であって、
   前記筺体が平面内で移動されながら行われた文字を書く動作に応じた前記加速度センサの計測結果を、その各軸に対応する成分の加速度データとして取得する取得手段と、
   前記取得手段により順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の１画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する特定手段と、
   前記特定手段により特定された複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成する生成手段と、
   予め文字認識用として用意されていて前記成分毎に複数の特徴点を含む基本文字データと前記生成手段により生成された入力文字データとを照合することにより文字認識を行う文字認識手段と、
   を具備し、
   前記生成手段は、前記２軸のうちその一方の軸に対応する加速度データ内の特徴点毎に他方の軸に対応する加速度データ内の特徴点との相対的な関係を示すデータを他軸との相関特徴として求め、この他軸との相関特徴を含む成分毎の特徴点データを入力文字データとして生成し、
   前記基本文字データは、特徴点に関するデータとして前記他軸との相関特徴を含むデータである、
   ことを特徴とする文字認識装置。
2. 前記取得手段により取得された成分毎の加速度データに基づいて１文字の書き始めと書き終わりを判別する判別手段を更に備え、
   前記特定手段は、前記判別手段により１文字の書き始めが判別されてから書き終わりが判別されるまでの間、前記取得手段により順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の１画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定するとともに、各成分の加速度データのそれぞれにおいて局所的最大点である極大点と局所的最小点である極小点を特徴点として特定し、
   前記生成手段は、前記特定手段により特定された特徴点毎に、極大点か極小点かを示す極点の種類とその極点の加速度の値を極点レベルとして求め、前記他軸との相関特徴とともに前記極点の種類及び前記極点レベルを含む成分毎の特徴点データを入力文字データとして生成し、
   前記基本文字データは、特徴点に関するデータとして前記他軸との相関特徴、前記極点の種類、前記極点レベルを含むデータである、
   ことを特徴とする請求項１記載文字認識装置。
3. 前記判別手段により１文字の書き終わりが判別されてから次の文字の書き始めが判別されるまでの間、前記取得手段により取得された加速度データを前記一連の加速度データから除外する除外手段を更に備える、
   ようにしたことを特徴とする請求項２記載の文字認識装置。
4. 前記判別手段は、前記加速度センサの計測結果を前記平面内で分離した直交する各成分の加速度における合成ベクトルの大きさが所定の閾値以上で所定時間以上連続しているか否かに基づいて１文字の書き始めと書き終わりを判別する、
   ようにしたことを特徴とする請求項２記載の文字認識装置。
5. 前記他軸との相関特徴は、前記他軸に対応する加速度データ内の極大点から極小点、又は極小点から極大点への極点間範囲を基準としたときに、相対的にどのような位置にあるかを示す時間的比率、どのような値にあるかを示すレベル的比率のうち、少なくともそのいずれかの比率である、
   ことを特徴とする請求項２記載の文字認識装置。
6. 前記基本文字データ内に含まれている前記他軸との相関特徴を示す比率は、範囲を示すデータで持ち、
   前記文字認識手段は、前記基本文字データ内の前記他軸との相関特徴を示す比率と前記入力文字データ内の前記他軸との相関特徴を示す比率とを照合する際に、前記基本文字側の比率の範囲内に前記入力文字の比率が入っているか否かを判別する、
   ようにしたことを特徴とする請求項５記載の文字認識装置。
7. 少なくとも２軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する文字認識装置であって、
   前記筺体が平面内で移動されながら行われた文字を書く動作に応じた前記加速度センサの計測結果を、その各軸に対応する成分の加速度データとして取得する取得手段と、
   前記取得手段により順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の１画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する特定手段と、
   前記特定手段により特定された複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成する生成手段と、
   予め文字認識用として用意されていて前記成分毎に複数の特徴点を含む基本文字データと前記生成手段により生成された入力文字データとを照合することにより文字認識を行う文字認識手段と、
   前記取得手段により取得された各軸に対応する成分毎の加速度データを、前記各軸をそれぞれ同じ方向に所定の角度回転することによりその回転座標系上での各軸に対応する成分毎の加速度データに変換する回転変換手段と、
   を具備し、
   前記特定手段は、前記取得手段により取得された成分毎の加速度データの中に存在している複数の特徴点を本来の特徴点として成分毎にそれぞれ特定するとともに、前記回転変換手段により変換された成分毎の加速度データの中に存在している複数の特徴点を回転後の特徴点として成分毎にそれぞれ特定し、
   前記生成手段は、前記特定手段によって特定された本来の特徴点及び回転後の特徴点を含む成分毎の特徴点データを入力文字データとして生成し、
   前記文字認識手段は、予め文字認識用の基本文字として前記本来の特徴点及び回転後の特徴点を含む基本文字データと前記生成手段により生成された入力文字データとを照合することにより文字認識を行う、
   ようにしたことを特徴とする文字認識装置。
8. 前記取得手段により取得された成分毎の加速度データに基づいて１文字の書き始めと書き終わりを判別する判別手段を更に備え、
   前記特定手段は、前記判別手段により１文字の書き始めが判別されてから書き終わりが判別されるまでの間、前記取得手段により順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の１画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する、
   ことを特徴とする請求項７記載文字認識装置。
9. コンピュータに対して、
   少なくとも２軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する場合に、前記筺体が平面内で移動されながら行われた文字を書く動作に応じた前記加速度センサの計測結果を、その各軸に対応する成分の加速度データとして取得する機能と、
   前記順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の１画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する機能と、
   前記特定された複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成する機能と、
   予め文字認識用として用意されていて前記成分毎に複数の特徴点を含む基本文字データと前記生成された入力文字データとを照合することにより文字認識を行う機能と、
   を実現させ、
   前記生成する機能は、前記２軸のうちその一方の軸に対応する加速度データ内の特徴点毎に他方の軸に対応する加速度データ内の特徴点との相対的な関係を示すデータを他軸との相関特徴として求め、この他軸との相関特徴を含む成分毎の特徴点データを入力文字データとして生成し、
   前記基本文字データは、特徴点に関するデータとして前記他軸との相関特徴を含むデータである、
   ことを特徴とするプログラム。
10. コンピュータに対して、
    少なくとも２軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する場合に、前記筺体が平面内で移動されながら行われた文字を書く動作に応じた前記加速度センサの計測結果を、その各軸に対応する成分の加速度データとして取得する機能と、
    前記順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の１画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する機能と、
    前記特定された複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成する機能と、
    予め文字認識用として用意されていて前記成分毎に複数の特徴点を含む基本文字データと前記生成された入力文字データとを照合することにより文字認識を行う機能と、
    前記取得された各軸に対応する成分毎の加速度データを、前記各軸をそれぞれ同じ方向に所定の角度回転することによりその回転座標系上での各軸に対応する成分毎の加速度データに回転変換する機能と、
    を実現させ、
    前記特定する機能は、前記取得された成分毎の加速度データの中に存在している複数の特徴点を本来の特徴点として成分毎にそれぞれ特定するとともに、前記回転変換された成分毎の加速度データの中に存在している複数の特徴点を回転後の特徴点として成分毎にそれぞれ特定し、
    前記生成する機能は、前記特定された本来の特徴点及び回転後の特徴点を含む成分毎の特徴点データを入力文字データとして生成し、
    前記文字認識を行う機能は、予め文字認識用の基本文字として前記本来の特徴点及び回転後の特徴点を含む基本文字データと前記生成された入力文字データとを照合することにより文字認識を行う、
    ようにしたことを特徴とするプログラム。
    

Images