JP4877621B1 - 文字認識装置及びプログラム - Google Patents

Abstract

【課題】文字を手書き入力する際のユーザの負担を大幅に軽減しながら平面内で書かれた文字を加速度センサの計測結果に基づいて円滑かつ確実に文字を認識できるようにする。
【解決手段】制御部１は、３軸の加速度センサ７を内蔵した筺体が空間平面内で移動されながら行われた文字を書く動作を認識する場合に、筺体が移動されながら行われた文字を書く動作を、１文字分の時系列の加速度ベクトルとして取得し、この１文字分の加速度ベクトル列のうち、ベクトルの大きさが大きい値で、かつ互いに略直交する複数本の加速度ベクトルを選択して、この複数本の加速度ベクトルにより張られる平面を特定した後、１文字分の加速度ベクトル列を、特定された平面内の直交する２成分の加速度ベクトル列に変換することにより得られた入力文字データと予め用意されている文字認識用の基本文字データを照合することにより文字認識を行う。
【選択図】 図１

Description

本発明は、加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を加速度センサの計測結果に基づいて認識する文字認識装置及びプログラムに関する。

従来、人が文字を書く動作を慣性センサによって計測してコンピューターに取り込む技術としては、多々提案されている。例えば、ペン先に加速度センサを収容することによって、この加速度センサの計測結果をペン先の移動軌跡として抽出するようにした技術（特許文献１参照）が提案され、また、携帯電話装置において加速度センサの検出結果に応じた装置本体の移動情報に基づいて手書き動作により特定される入力情報を認識するようにした技術（特許文献２参照）が提案されるなど、色々な提案がなされている。

特開２００９−０９９０４１号公報 特開２００８−０７０９２０号公報

しかしながら、加速度センサを使用して文字認識を行う技術の多くは、加速度センサの計測結果を２回積分することにより加速度から速度を算出するとともに、この速度から位置を算出し、この位置の移動軌跡を文字認識に利用するようにしているが、このような方法では、積分初期状態（書き始め位置）不明の問題や積分誤差の問題があり、さらには重力という強力な外乱を計測データから除去するために重力方向の変化の追跡に角速度センサの出力を積分する必要があり、その積分にも上述の積分初期状態不明の問題や積分誤差の問題が存在しているために確実な文字認識を実現することは極めて困難であった。一方、ユーザにあっても、いつでも筺体を同じ姿勢にしなければならず、文字を書く平面も同じにしなければならないなど、文字を手書き入力する際の操作に注意を払いながら行う必要があり、ユーザの負担も大きかった。

本発明の課題は、文字を手書き入力する際のユーザの負担を大幅に軽減しながら平面内で書かれた文字を加速度センサの計測結果に基づいて円滑かつ確実に文字を認識できるようにすることである。

上述した課題を解決するために請求項１記載の発明は、
３軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する文字認識装置であって、
前記筺体が移動されながら行われた文字を書く動作に応じた前記加速度センサからの計測結果を、１文字分の時系列の加速度ベクトル列として取得する取得手段と、
前記取得手段により取得された１文字分の加速度ベクトル列のうち、ベクトルの大きさが大きい値で、かつ互いに略直交する複数本の加速度ベクトルを選択する選択手段と、
前記選択手段により選択された複数本の加速度ベクトルにより張られる平面を特定する平面特定手段と、
前記取得手段により取得された前記１文字分の加速度ベクトル列を前記平面特定手段により特定された平面内の直交する２成分の加速度ベクトル列に変換する第１の変換手段と、
前記第１の変換手段により変換された平面内の２成分の加速度ベクトル列を入力文字データとし、この入力文字データと予め用意されている文字認識用の基本文字データを照合することにより文字認識を行う文字認識手段と、
を具備したことを特徴とする。

請求項１に従属する発明として、
前記選択手段は、加速度ベクトルの大きさが大きい値で、かつ互いに略直交する複数本のベクトルを複数組選択し、
前記平面特定手段は、前記選択手段により選択された組毎に平面をそれぞれ特定するとともに、この組毎に特定された平面の中から一つの平面を文字が書かれた文字平面として特定する、
ようにしたことを特徴とする、請求項２記載の発明であってもよい。

請求項１に従属する発明として、
前記第１の変換手段は、前記３軸の加速度センサの各軸に対応する三つの成分のうち、そのいずれか一つの成分の重力加速度がゼロとなる平面に一致するように前記平面特定手段により特定された平面を回転させたような２成分の加速度ベクトル列に変換する、
ようにしたことを特徴とする、請求項３記載の発明であってもよい。

請求項１に従属する発明として、
前記第１の変換手段により変換された２成分の加速度ベクトル列の中から１文字の書き始めの方向を特定する特定手段と、
前記特定手段により特定された１文字の書き始めの方向を、前記文字認識用の基本文字データ内に記憶されている該基本文字の書き始めの方向に一致させるように、前記平面特定手段により特定された平面内の２成分の加速度ベクトル列を回転変換する第２の変換手段と、
をさらに備え、
前記文字認識手段は、前記第２の変換手段により変換された平面内の２成分の加速度ベクトル列を入力文字データとし、この入力文字データと前記基本文字データを照合する、
ようにしたことを特徴とする、請求項４記載の発明であってもよい。

請求項４に従属する発明として、
前記第２の変換手段により変換された平面内の２成分の加速度ベクトル列を、前記文字の書き始めの方向を軸として該平面を裏返したように回転する、
ようにしたことを特徴とする、請求項５記載の発明であってもよい。

請求項１に従属する発明として、
前記取得手段により取得された加速度ベクトル列に基づいて１文字の書き始めと書き終わりを判別する判別手段をさらに備え、
前記選択手段は、前記判別手段により１文字の書き始めが判別されてから書き終わりが判別されるまでの間、前記取得手段により順次取得された加速度ベクトル列のうち、ベクトルの大きさが大きい値で、かつ互いに略直交する複数本のベクトルを選択する、
ようにしたことを特徴とする、請求項６記載の発明であってもよい。

請求項６に従属する発明として、
前記判別手段は、前記加速度センサの計測結果を前記平面内で分離した直交する各成分の加速度における合成ベクトルの大きさが所定の閾値以上で所定時間以上連続しているか否かに基づいて１文字の書き始めと書き終わりを判別する、
ようにしたことを特徴とする、請求項７記載の発明であってもよい。

また、上述した課題を解決するために請求項８記載の発明は、
コンピュータに対して、
３軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する場合に、前記筺体が移動されながら行われた文字を書く動作に応じた前記加速度センサからの計測結果を、１文字分の時系列の加速度ベクトル列として取得する機能と、
前記取得された１文字分の加速度ベクトル列のうち、ベクトルの大きさが大きい値で、かつ互いに略直交する複数本の加速度ベクトルを選択する機能と、
前記選択された複数本の加速度ベクトルにより張られる平面を特定する機能と、
前記取得された前記１文字分の加速度ベクトル列を前記特定された平面内の直交する２成分の加速度ベクトル列に変換する機能と、
前記変換された平面内の２成分の加速度ベクトル列を入力文字データとし、この入力文字データと予め用意されている文字認識用の基本文字データを照合することにより文字認識を行う機能と、
を実現させるためのプログラム、であることを特徴とする。

本発明によれば、文字を手書き入力する際のユーザの負担を大幅に軽減しながら平面内で書かれた文字を加速度センサの計測結果に基づいて円滑かつ確実な文字認識が可能となり、実用性に富んだものとなる。

文字認識装置として適用した文字認識機能付きの撮像装置（デジタルカメラ）の基本的な構成要素を示したブロック図。 認識辞書メモリＤＭ内の基本文字データを説明するための図。 ユーザが文字を手書き入力する際の操作手順や操作方法を説明するための流れ図。 デジタルカメラの全体動作のうち、本実施形態の特徴部分の動作概要として、文字認識機能がオンされて文字認識が開始された場合の概要動作を示したフローチャート。 文字平面検出・文字方向検出・文字判別処理（図４のステップＢ９）を詳述するためのフローチャート。

以下、図１〜図５を参照して本発明の実施形態を説明する。
この実施形態は、文字認識装置として適用した文字認識機能付きの撮像装置（デジタルカメラ）に適用した場合を例示したもので、図１は、文字認識機能付きのデジタルカメラの基本的な構成要素を示したブロック図である。
デジタルカメラは、携帯型のコンパクトカメラを構成するもので、撮像機能、計時機能などの基本機能のほかに、空間平面内で書かれた文字を認識する文字認識機能を有し、制御部１を中核として動作するようになっている。制御部１は、二次電池を備えた電源部２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのデジタルカメラの全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。

記憶部３は、ＲＯＭ、ＲＡＭなどの内部メモリで、図示しないプログラム領域とデータ領域とを有し、この記憶部３内のプログラム領域には、後述する図４及び図５に示す動作手順に応じて本実施形態を実現するためのプログラムが格納されている。また、記憶部３内のデータ領域には、文字認識用の基本文字データを記憶する認識辞書メモリＤＭ、撮影された画像を記憶保存する画像メモリＦＭのほか、各種のフラグ情報、デジタルカメラの動作に必要な各種の情報が記憶される。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、あるいは図示しない所定の外部サーバ上に記憶部３を有する構成であってもよい。

操作部４は、文字入力、コマンド入力などを行うもので、この操作部４には、図示しないが、カメラ機能をオン／オフさせるオン／オフキー、シャッタキーなどが設けられている。制御部１は、操作部４からの操作信号に応じた処理として、例えば、カメラオン／オフ処理、撮影処理など、各種の処理を行う。表示部５は、例えば、高精細液晶あるいは有機ＥＬを使用し、例えば、日時情報、保存画像などを表示するほか、カメラ機能の使用時にはライブビュー画像（モニタ画像）を表示するファインダ画面となる。

撮像部６は、デジタルカメラ機能を構成する構成要素で、静止画撮影のほかに動画撮影も可能なもので、カメラレンズ部、撮像素子（例えば、ＣＣＤあるいはＣＭＯＳ）、画像信号処理部、アナログ処理部、圧縮伸張部、各種センサ部（測距センサ、光量センサなど）などを有し、光学ズームを調整制御したり、オートフォーカス時の駆動制御、シャッタ駆動制御、露出、ホワイトバランスなどを制御したり、シャッタ速度（露光時間）を測定したりする。また、撮像部６は、被写体に応じて望遠／広角の切り替えができる２焦点式レンズやズームレンズを備え、焦点距離を可変する画角変更機構を作動させて望遠／広角やズーム撮影を行うようにしている。

加速度センサ７は、デジタルカメラ本体（筺体）に内蔵された３軸の加速度センサであり、文字認識機能を構成する要素の一つであるが、例えば、歩数計を構成する加速度センサを文字認識機能に兼用するようにしてもよい。制御部１は、文字認識機能の作動中に加速度センサ７の計測結果に基づいて文字認識を行うようにしている。すなわち、制御部１は、加速度センサ７の計測結果、つまり、互いに直交する３軸方向（Ｘ・Ｙ・Ｚ方向）の加速度成分に基づいて重力方向に対して並行な２次元平面（垂直面）を特定し、この平面内において直交する２軸の成分に分離した加速度データ、つまり、第１軸（第１成分）の加速度データと第２軸（第２成分）の加速度データに基づいて文字認識を行うようにしている。

ここで、制御部１は、重力方向に対して並行な２次元平面内において分離された直交する２軸の成分の加速度データに基づいて１文字の書き始めと書き終わりを判別するようにしている。そして、制御部１は、１文字の書き始めから書き終わりまでの間、加速度センサ７の計測結果を、１文字分の時系列の加速度ベクトルとして取得し、この１文字分の加速度ベクトル列のうち、ベクトルの大きさが大きい値で、かつ互いに略直交する（直交又は直交に近い状態の）複数本（例えば、２本）の加速度ベクトルを選択する。すなわち、加速度センサ７の計測結果である１文字分の時系列の加速度ベクトルには、加速度センサ７自身の微小なノイズや微妙な手振れ、１文字入力中での筐体の姿勢の“ずれ”などの影響を少なくするために、複数本の加速度ベクトルを選択する際に、ベクトルの大きさが大きい値で、かつ互いに略直交する加速度ベクトルを選択するようにしている。

これによって選択した複数本の加速度ベクトルに基づいて、その複数本の加速度ベクトルにより張られる平面を特定するようにしている。この場合、どのような加速度ベクトルを選択するかによっては、特定される平面は若干異なるために、本実施形態においては、さらに加速度ベクトルの大きさが大きい値で、かつ互いに略直交する複数本（例えば、２本）のベクトルを複数組選択し、この組毎に文字平面をそれぞれ特定した後、この組毎の平面の中から一つの平面を文字が書かれた文字平面として特定するようにしている。

そして、制御部１は、上述のように特定した文字平面の重力方向に対する傾きを検出し、Ｚ軸の重力加速度が“０”となる傾きとなるように、つまり、特定した文字平面が”Ｚ軸＝０”の面に一致するように当該文字平面内の直交する２成分の加速度ベクトル列を変換した後、変換した２成分の加速度ベクトル列を入力文字データとし、この入力文字データと認識辞書メモリＤＭ内の全ての基本文字データを照合することにより基本文字毎に入力文字との類似度を算出して文字認識を行うようにしている。

図２は、認識辞書メモリＤＭ内の基本文字データを説明するための図である。
認識辞書メモリＤＭは、文字認識用として予め用意されている基本文字データを記憶するもので、Ｓ文字分の基本文字データを記憶する構成となっている。ここで、基本文字（０）、基本文字（１）、…基本文字（Ｓ）は、０文字目の基本文字データ、１文字目の基本文字データ、…Ｓ文字目の基本文字データで、直交する２軸の成分に対応した２次元加速度データから成っている。そして、この基本文字の中には、その文字の書き初めのストローク方向（書き初め時点でのベクトル方向）を示すデータが記憶されている。

次に、本実施形態におけるデジタルカメラの動作概念を図４及び図５に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

ここで、図４及び図５に示すフローチャートを説明する前に、図３を参照して、ユーザが文字を手書き入力する際の操作手順や操作方法を説明しておく。
先ず、ユーザは、文字認識機能をオンさせた後、デジタルカメラ本体（筺体）を手に持って空間平面内を移動させながら文字を書くようにする。すなわち、筺体を手に持って空間平面内を移動させながら文字を書くが、１文字を書き始める前には筐体を略静止させた後に（図３のステップＡ１）、文字の書き始め位置まで筐体をゆっくり滑らかに移動させる（ステップＡ２）。

そして、重力方向に対して並行な２次元平面内で文字を書くようにし、１文字の入力中は筺体の姿勢を大きく変化させないものとし、かつ、１画（ストローク）毎に筐体を移動させるが、この場合、１文字入力中は書く動きを止めずに一筆書きのように連続して滑らかに書くようにし、１つの画の終点から次の画の始点への移動も滑らに行う（ステップＡ３）。そして、１文字が書き終わった時点で再び、筐体を略静止させる（ステップＡ４）。その後、次の文字の書き始め位置までゆっくり滑らかに筐体を移動させた後（ステップＡ５）、次の文字を書き始める。以下、文字入力を終了させるまで（ステップＡ６でＮＯ）、上述のステップＡ３に戻り、手書き操作を繰り返すことにより複数の文字を順次手書き入力する。

図４は、デジタルカメラの全体動作のうち、本実施形態の特徴部分の動作概要として、文字認識機能がオンされて文字認識が開始された場合の概要動作を示したフローチャートである。なお、この図４のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。
先ず、制御部１は、加速度センサ７の計測結果から重力分をキャンセルするための処理を行う（図４のステップＢ１）。すなわち、例えば、加速度センサ７の垂直方向の計測結果（加速度成分）には、重力加速度として上向き１Ｇが含まれているので、加速度を計測する毎に、その計測結果から上向き１Ｇを減算するための準備として、文字を書き始める前に筐体の姿勢に応じた重力加速度を計測して記憶部３内のＲＡＭに一時記憶しておく。

そして、２成分の加速度合成ベクトルの大きさが所定の閾値以上で所定時間（所定回数）以上連続しているか否かに基づいて文字を書き始めたか否かを調べる（ステップＢ２）。ここで、ユーザは、２次元平面内で分離した直交する２つの加速度合成ベクトルの大きさが所定の閾値以上で所定時間以上連続しないように、つまり、所定の閾値以上の加速度合成ベクトルが所定時間（所定回数）以上連続しないように、ゆっくり滑らかに筐体を文字の書き始め位置までに移動させた後、文字を書き始める。これによって所定の閾値以上の加速度合成ベクトルが所定時間（所定回数）以上連続していることが検出される（ステップＢ２でＹＥＳ）。

このようにして文字の書き始めを検出すると、１文字の入力時間を計時するための１文字入力タイマ（図示省略）の計測動作を開始させる（ステップＢ３）。そして、１文字入力中の加速度データを蓄える処理に移り（ステップＢ４）、加速度センサ７の計測結果から重力加速度を減算することにより重力分をキャンセルした２成分の加速度を書き始めの計測結果として記憶部３内のＲＡＭに記憶させた後、所定の閾値未満の加速度合成ベクトルが所定時間（所定回数）以上連続していることが検出されたかに基づいて１文字を書き終えたかを調べる（ステップＢ５）。この場合、ユーザは、筐体の姿勢を保ったまま１文字を書き終わるまでは筐体を連続して移動させながら文字を書く手を止めずに一筆書きのようにして書き、１つの画の終点から次の画の始点へは滑らかな軌跡を描くように筐体を移動させ、１文字を書き終えたら筐体の移動を止めるようにしているため、１文字を書き終えた際には、所定の閾値未満の加速度合成ベクトルが所定時間（所定回数）以上連続していることが検出される（ステップＢ５でＹＥＳ）。

いま、１文字入力中にあっては、所定の閾値以上の加速度合成ベクトルが所定時間（所定回数）以上連続していることが検出されるため（ステップＢ５でＮＯ）、以下、上述のステップＢ４に戻り、１文字入力中の加速度データを記憶部３内のＲＡＭに蓄える処理を繰り返す。このようにして加速度センサ７の計測結果を蓄える動作を例えば、１秒間に１００回程度で行う。これによって記憶部３内のＲＡＭには、１文字の書き始めから書き終わりまでの間、順次取得した各成分の加速度データが、画と画との間の加速度を含めて文字の１画目から最後の画まで時間的に連続した一連の加速度データとして順次記憶される。すなわち、１文字の書き始めから書き終わりまでの間、加速度センサ７の計測結果を、１文字分の時系列の加速度ベクトルとして取得して、記憶部３内のＲＡＭに順次蓄える。

１文字を書き終えたことを検出すると（ステップＢ５でＹＥＳ）、上述の１文字入力タイマの計測動作を停止させた後（ステップＢ６）、その計測時間（１文字の入力時間）は所定の閾値以上の長さ（例えば、漢数字の「一」のように簡素な文字の入力に要する時間以上）であるかを調べ（ステップＢ７）、その閾値未満の長さであれば（ステップＢ７でＮＯ）、今回の加速度センサ７での計測結果を無効とするために記憶部３内のＲＡＭに蓄えた今回の一連の加速度データを消去した後（ステップＢ８）、文字の書き始めを検出するステップＢ２に戻る。いま、１文字の入力時間が所定の閾値以上の長さであれば（ステップＢ７でＹＥＳ）、記憶部３内のＲＡＭに蓄えられている１文字分の時系列の加速度データに基づいて、後述する文字平面検出・文字方向検出・文字判別処理を実行する（ステップＢ９）。

図５は、文字平面検出・文字方向検出・文字判別処理（図４のステップＢ９）を詳述するためのフローチャートである。
先ず、制御部１は、文字平面検出処理を実行する（ステップＣ１〜Ｃ３）。すなわち、制御部１は、１文字を手書き入力している間の加速度センサ７の計測結果（１文字分の時系列の加速度ベクトル）のうち、ベクトルの大きさが大きい値で、かつ互いに略直交する複数本（例えば、２本）の加速度ベクトルを選択して、複数本の加速度ベクトルにより張られる平面を特定する（ステップＣ１）。このような平面特定処理を複数回繰り返すことで複数の平面を特定する（ステップＣ２）。すなわち、色々な方向の平面を複数特定するために、加速度ベクトルの大きさが大きい値で、かつ互いに略直交する複数本（例えば、２本）のベクトルを複数組選択して、この組毎に平面をそれぞれ特定する。これによって特定した複数の平面の中から最小２乗法や重み付け平均（加重平均法）などにより一つの平面を文字平面として選択（特定）する（ステップＣ３）。

このようにして文字平面を特定した後は、この文字平面の重力方向に対する傾きを検出する（ステップＣ４）。そして、この文字平面においてそのＺ軸の重力加速度が“０”となる傾きとなるように、つまり、特定した文字平面が”Ｚ軸＝０”の面に一致するように当該文字平面を回転させる“回転行列”を一つ算出した後（ステップＣ５）、この“回転行列”を用いて、１文字分の時系列の加速度ベクトルを全て回転させる（ステップＣ６）。これによって１文字分の時系列の加速度ベクトルは、全て回転後の平面内のデータに変換されることになる。

次に、文字方向検出処理に移り、上述のステップＣ６で回転させた後の１文字分の加速度ベクトルにおいて、そのＸ軸に対応する成分（ｘ成分）、Ｙ軸に対応する成分（ｙ成分）の合成ベクトルの中から１文字の書き始めの方向、つまり、文字の書き初めのストローク方向（書き初め時点でのベクトル方向）を検出（特定）する（ステップＣ７）。そして、認識辞書メモリＤＭに記憶されている各基本文字のうち、その先頭の基本文字を照合対象として指定した後（ステップＣ８）、上述のステップＣ７で特定した文字方向（文字の書き初め時点でのベクトル方向）が、指定した基本文字における書き初め時点でのベクトル方向に一致するように文字平面内で回転させるための“回転行列”を算出する（ステップＣ９）。そして、この“回転行列”を用いて、１文字分の時系列の加速度ベクトルを全て回転させる（ステップＣ１０）。これによって１文字分の時系列の加速度ベクトルは、基本文字の天地の方向に合ったデータに変換されることになる。

そして、上述のように回転変換した１文字分の加速度ベクトル列を入力文字データとし、この入力文字データと指定の基本文字データを照合しながらそれらの類似度を算出する（ステップＣ１１）。その後、上述のステップＣ１０で回転変換した１文字分の加速度ベクトル列を、その文字の書き初め時点でのベクトル方向を軸として、文字平面を裏返すように回転させるための“回転行列”を算出する（ステップＣ１２）。そして、この“回転行列”を用いて、１文字分の時系列の加速度ベクトルを全て回転させる（ステップＣ１３）。これによって１文字分の時系列の加速度ベクトルは、その文字の表裏関係のデータに変換されることになる。このようにして裏返すように回転変換した１文字分の加速度ベクトル列を入力文字データとし、この入力文字データと指定の基本文字データを照合しながらそれらの類似度を算出する（ステップＣ１４）。

このようにして１文字に対して２種類の類似度を求めた後は、認識辞書メモリＤＭ内の全基本文字を指定し終わったかを調べ（ステップＣ１５）、全文字を指定し終わるまで（ステップＣ１５でＮＯ）、次の基本文字を指定した後（ステップＣ１６）、上述のステップＣ９に戻り、次の基本文字と照合しながらその類似度を算出する処理を繰り返す（ステップＣ９〜Ｃ１６）。その結果、全ての基本文字に対応してその類似度を求めた後は（ステップＣ１６でＹＥＳ）、類似度が最も高い基本文字を認識文字（入力候補）として決定する（ステップＣ１７）。

このようにして文字判別処理が終わると（図４のステップＢ９）、この文字判別処理により決定された認識文字を表示部５に入力候補として表示させる（ステップＢ１０）。そして、この状態において、次候補を指示する操作が行われたかを調べたり（ステップＢ１１）、文字認識機能がオフされたか、つまり、文字入力の終了がユーザ操作により指示されたかを調べたりする（ステップＢ１２）。いま、次候補操作が行われた場合には（ステップＢ１１でＹＥＳ）、次候補を読み出して（ステップＢ１３）、表示部５に入力候補として表示させる（ステップＢ１０）。また、文字入力の終了が指示されなければ（ステップＢ１２でＮＯ）、上述のステップＢ２に戻り、以下、上述の動作を繰り返すことにより次の手書き文字に対する文字認識を行うが、文字入力の終了が指示されたときには（ステップＢ１２でＹＥＳ）、この時点で図４のフローの終了となる。

以上のように、この実施形態において制御部１は、３軸の加速度センサ７を内蔵した筺体が平面内で移動されながら行われた文字を書く動作を認識する場合に、筺体が移動されながら行われた文字を書く動作を、１文字分の時系列の加速度ベクトルとして取得し、この１文字分の加速度ベクトル列のうち、ベクトルの大きさが大きい値で、かつ互いに略直交する複数本の加速度ベクトルを選択して、この複数本の加速度ベクトルにより張られる平面を特定した後、１文字分の加速度ベクトル列を、特定された平面内の直交する２成分の加速度ベクトル列に変換することにより得られた入力文字データと、予め用意されている文字認識用の基本文字データを照合することにより文字認識を行うようにしたので、いつでも筺体を同じ姿勢にしたり、文字を書く平面も同じにしたりしなくてもよく、文字を手書き入力する際のユーザの負担を大幅に軽減しながら平面内で書かれた文字を加速度センサ７の計測結果に基づいて円滑かつ確実に文字を認識することが可能となり、実用性に富んだものとなる。

すなわち、加速度データを使用しているので重力の影響は免れないが、加速度を積分して軌跡を出すものとは異なり加速度をそのまま文字認識に使用するようにしているので、文字入力途中に筐体の姿勢が変化することによる重力方向の少々の変化や揺らぎに対して対応可能となり、文字認識のロバスト性があるほか、ジャイロなど加速度センサ以外のセンサも不用となり、かつ、筐体がどのような姿勢で持たれていても、平面が垂直でも水平でも斜めでも文字認識が可能となり、ユーザの負担を大幅に軽減することができる。

１文字分の加速度ベクトル列のうち、加速度ベクトルの大きさが大きい値で、かつ互いに略直交する複数本のベクトルを複数組選択し、組毎に特定した平面の中から一つの平面を文字が書かれた文字平面として特定するようにしたので、文字平面を適切に特定することができる。

特定した文字平面が“Ｚ軸＝０”の面に一致するように当該文字平面を回転させたような加速度ベクトル列に変換するようにしたので、筐体がどのような姿勢で持たれたとしても、文字を書く平面が垂直でも水平でも斜めでも文字認識が可能となる。

加速度ベクトル列の中から特定した１文字の書き始めの方向を、文字認識用の基本文字データ内に記憶されている該基本文字の書き始めの方向に一致させるように、文字平面内の加速度ベクトル列を回転変換したものを入力文字データとして、基本文字データを照合するようにしたので、文字平面内において文字の天地をどの方向にしたとしても文字認識が可能となる。

さらに平面内の２成分の加速度ベクトル列を、文字の書き始めの方向を軸として該平面を裏返したように回転するようにしたので、入力文字と基本文字とが表裏が逆の関係でも文字認識することができる。

１文字分の加速度ベクトル列に基づいて１文字の書き始めと書き終わりを判別するようにしたので、文字を構成する要素（画＝ストローク）の分離を必要とする文字認識の方法では無く、空中で文字を書くという状況においてペンアップやペンダウンに相当する面倒でやりづらい操作や動きを必要とせずに、１文字入力を判別することができる。

加速度センサ７の計測結果を平面内で分離した直交する各成分の加速度における合成ベクトルの大きさが所定の閾値以上で所定時間以上連続しているか否かに基づいて１文字の書き始めと書き終わりを判別するようにしたので、ユーザにあっては１文字を書き始める前に筐体を略静止させた後に文字の書き始め位置まで筐体をゆっくり滑らかに移動させればよく、１文字が書き終わった時点で再び筐体を略静止させればよく、極自然な動作により１文字の書き始めと書き終わりを判別することができる。

なお、上述した実施形態においては、特定した文字平面が“Ｚ軸＝０”の面に一致するように当該文字平面を回転させたような加速度ベクトル列に変換するようにしたが、“Ｚ軸＝０”に限らず、“Ｘ軸＝０”又は“Ｙ軸＝０”の面に一致するように当該文字平面を回転させたような加速度ベクトル列に変換するようにしてもよい。

また、上述した各実施形態においては、文字を空間平面内で書くようにしたが、例えば、壁面などに接触させながら文字を書くようにしてもよく、空間平面内で文字を書く場合に限らない。

また、上述した実施形態においては、文字認識装置として、文字認識機能付きのデジタルカメラに適用した場合を示したが、文字認識機能付きの携帯電話機・卓上電子計算機・腕時計・パーソナルコンピュータ（ノートパソコン）・ＰＤＡ・音楽プレイヤーなどに適用するようにしてもよい。

その他、上述した実施形態において示した“装置”や“機”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

１ 制御部
３ 記憶部
４ 操作部
５ 表示部
７ 加速度センサ
ＤＭ 認識辞書メモリ

Claims (8)

1. ３軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する文字認識装置であって、
   前記筺体が移動されながら行われた文字を書く動作に応じた前記加速度センサからの計測結果を、１文字分の時系列の加速度ベクトル列として取得する取得手段と、
   前記取得手段により取得された１文字分の加速度ベクトル列のうち、ベクトルの大きさが大きい値で、かつ互いに略直交する複数本の加速度ベクトルを選択する選択手段と、
   前記選択手段により選択された複数本の加速度ベクトルにより張られる平面を特定する平面特定手段と、
   前記取得手段により取得された前記１文字分の加速度ベクトル列を前記平面特定手段により特定された平面内の直交する２成分の加速度ベクトル列に変換する第１の変換手段と、
   前記第１の変換手段により変換された平面内の２成分の加速度ベクトル列を入力文字データとし、この入力文字データと予め用意されている文字認識用の基本文字データを照合することにより文字認識を行う文字認識手段と、
   を具備したことを特徴とする文字認識装置。
2. 前記選択手段は、加速度ベクトルの大きさが大きい値で、かつ互いに略直交する複数本のベクトルを複数組選択し、
   前記平面特定手段は、前記選択手段により選択された組毎に平面をそれぞれ特定するとともに、この組毎に特定された平面の中から一つの平面を文字が書かれた文字平面として特定する、
   ようにしたことを特徴とする請求項１記載の文字認識装置。
3. 前記第１の変換手段は、前記３軸の加速度センサの各軸に対応する三つの成分のうち、そのいずれか一つの成分の重力加速度がゼロとなる平面に一致するように前記平面特定手段により特定された平面を回転させたような２成分の加速度ベクトル列に変換する、
   ようにしたことを特徴とする請求項１記載の文字認識装置。
4. 前記第１の変換手段により変換された２成分の加速度ベクトル列の中から１文字の書き始めの方向を特定する特定手段と、
   前記特定手段により特定された１文字の書き始めの方向を、前記文字認識用の基本文字データ内に記憶されている該基本文字の書き始めの方向に一致させるように、前記平面特定手段により特定された平面内の２成分の加速度ベクトル列を回転変換する第２の変換手段と、
   をさらに備え、
   前記文字認識手段は、前記第２の変換手段により変換された平面内の２成分の加速度ベクトル列を入力文字データとし、この入力文字データと前記基本文字データを照合する、
   ようにしたことを特徴とする請求項１記載の文字認識装置。
5. 前記第２の変換手段により変換された平面内の２成分の加速度ベクトル列を、前記文字の書き始めの方向を軸として該平面を裏返したように回転する、
   ようにしたことを特徴とする請求項４記載の文字認識装置。
6. 前記取得手段により取得された加速度ベクトル列に基づいて１文字の書き始めと書き終わりを判別する判別手段をさらに備え、
   前記選択手段は、前記判別手段により１文字の書き始めが判別されてから書き終わりが判別されるまでの間、前記取得手段により順次取得された加速度ベクトル列のうち、ベクトルの大きさが大きい値で、かつ互いに略直交する複数本のベクトルを選択する、
   ようにしたことを特徴とする請求項１記載の文字認識装置。
7. 前記判別手段は、前記加速度センサの計測結果を前記平面内で分離した直交する各成分の加速度における合成ベクトルの大きさが所定の閾値以上で所定時間以上連続しているか否かに基づいて１文字の書き始めと書き終わりを判別する、
   ようにしたことを特徴とする請求項６記載の文字認識装置。
8. コンピュータに対して、
   ３軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する場合に、前記筺体が移動されながら行われた文字を書く動作に応じた前記加速度センサからの計測結果を、１文字分の時系列の加速度ベクトル列として取得する機能と、
   前記取得された１文字分の加速度ベクトル列のうち、ベクトルの大きさが大きい値で、かつ互いに略直交する複数本の加速度ベクトルを選択する機能と、
   前記選択された複数本の加速度ベクトルにより張られる平面を特定する機能と、
   前記取得された前記１文字分の加速度ベクトル列を前記特定された平面内の直交する２成分の加速度ベクトル列に変換する機能と、
   前記変換された平面内の２成分の加速度ベクトル列を入力文字データとし、この入力文字データと予め用意されている文字認識用の基本文字データを照合することにより文字認識を行う機能と、
   を実現させるためのプログラム。
   

Images