JP4947501B2 - 文字認識装置及びプログラム - Google Patents

文字認識装置及びプログラム Download PDF

Info

Publication number
JP4947501B2
JP4947501B2 JP2010167143A JP2010167143A JP4947501B2 JP 4947501 B2 JP4947501 B2 JP 4947501B2 JP 2010167143 A JP2010167143 A JP 2010167143A JP 2010167143 A JP2010167143 A JP 2010167143A JP 4947501 B2 JP4947501 B2 JP 4947501B2
Authority
JP
Japan
Prior art keywords
data
character
component
acceleration
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010167143A
Other languages
English (en)
Other versions
JP2012027778A (ja
Inventor
労雄 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2010167143A priority Critical patent/JP4947501B2/ja
Priority to US13/189,744 priority patent/US8571321B2/en
Priority to CN2011102086925A priority patent/CN102346859B/zh
Publication of JP2012027778A publication Critical patent/JP2012027778A/ja
Application granted granted Critical
Publication of JP4947501B2 publication Critical patent/JP4947501B2/ja
Priority to US13/778,253 priority patent/US8538156B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Discrimination (AREA)

Description

本発明は、加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を加速度センサの計測結果に基づいて認識する文字認識装置及びプログラムに関する。
従来、人が文字を書く動作を慣性センサによって計測してコンピューターに取り込む技術としては、多々提案されている。例えば、ペン先に加速度センサを収容することによって、この加速度センサの計測結果をペン先の移動軌跡として抽出するようにした技術(特許文献1参照)が提案され、また、携帯電話装置において加速度センサの検出結果に応じた装置本体の移動情報に基づいて手書き動作により特定される入力情報を認識するようにした技術(特許文献2参照)が提案されるなど、色々な提案がなされている。
特開2009−099041号公報 特開2008−070920号公報
しかしながら、加速度センサを使用して文字認識を行う技術の多くは、加速度センサの計測結果を2回積分することにより加速度から速度を算出するとともに、この速度から位置を算出し、この位置の移動軌跡を文字認識に利用するようにしているが、このような方法では、積分初期状態(書き始め位置)不明の問題や積分誤差の問題があり、さらには重力という強力な外乱を計測データから除去するために重力方向の変化の追跡に角速度センサの出力を積分する必要があり、その積分にも上述の積分初期状態不明の問題や積分誤差の問題が存在しているために確実な文字認識を実現することは極めて困難であった。
本発明の課題は、平面内で書かれた文字を加速度センサの計測結果に基づいて円滑かつ確実に文字を認識できるようにすることである。
上述した課題を解決するために請求項1記載の発明は、
少なくとも2軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する文字認識装置であって、
前記筺体が平面内で移動されながら行われた文字を書く動作に応じた前記加速度センサの計測結果を、その各軸に対応する成分の加速度データとして取得する取得手段と
記取得手段により順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の1画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する特定手段と、
前記特定手段により特定された複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成する生成手段と、
予め文字認識用として用意されていて前記成分毎に複数の特徴点を含む基本文字データと前記生成手段により生成された入力文字データとを照合することにより文字認識を行う文字認識手段と、
を具備し
前記生成手段は、前記2軸のうちその一方の軸に対応する加速度データ内の特徴点毎に他方の軸に対応する加速度データ内の特徴点との相対的な関係を示すデータを他軸との相関特徴として求め、この他軸との相関特徴を含む成分毎の特徴点データを入力文字データとして生成し、
前記基本文字データは、特徴点に関するデータとして前記他軸との相関特徴を含むデータである、
ことを特徴とする。
請求項1に従属する発明として、
前記取得手段により取得された成分毎の加速度データに基づいて1文字の書き始めと書き終わりを判別する判別手段を更に備え、
前記特定手段は、前記判別手段により1文字の書き始めが判別されてから書き終わりが判別されるまでの間、前記取得手段により順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の1画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定するとともに、各成分の加速度データのそれぞれにおいて局所的最大点である極大点と局所的最小点である極小点を特徴点として特定し、
前記生成手段は、前記特定手段により特定された特徴点毎に、極大点か極小点かを示す極点の種類とその極点の加速度の値を極点レベルとして求め、前記他軸との相関特徴とともに前記極点の種類及び前記極点レベルを含む成分毎の特徴点データを入力文字データとして生成し、
前記基本文字データは、特徴点に関するデータとして前記他軸との相関特徴、前記極点の種類、前記極点レベルを含むデータである、
ことを特徴とする、請求項2記載の発明であってもよい。
請求項に従属する発明として、
前記判別手段により1文字の書き終わりが判別されてから次の文字の書き始めが判別されるまでの間、前記取得手段により取得された加速度データを前記一連の加速度データから除外する除外手段を更に備える、
ようにしたことを特徴とする、請求項記載の発明であってもよい。
請求項に従属する発明として、
前記判別手段は、前記加速度センサの計測結果を前記平面内で分離した直交する各成分
の加速度における合成ベクトルの大きさが所定の閾値以上で所定時間以上連続しているか否かに基づいて1文字の書き始めと書き終わりを判別する、
ようにしたことを特徴とする、請求項記載の発明であってもよい。
請求項に従属する発明として、
前記他軸との相関特徴は、前記他軸に対応する加速度データ内の極大点から極小点、又は極小点から極大点への極点間範囲を基準としたときに、相対的にどのような位置にあるかを示す時間的比率、どのような値にあるかを示すレベル的比率のうち、少なくともそのいずれかの比率である、
ことを特徴とする、請求項記載の発明であってもよい。
請求項に従属する発明として、
前記基本文字データ内に含まれている前記他軸との相関特徴を示す比率は、範囲を示すデータで持ち、
前記文字認識手段は、前記基本文字データ内の前記他軸との相関特徴を示す比率と前記入力文字データ内の前記他軸との相関特徴を示す比率とを照合する際に、前記基本文字側の比率の範囲内に前記入力文字の比率が入っているか否かを判別する、
ようにしたことを特徴とする、請求項記載の発明であってもよい。
また、上述した課題を解決するために請求項7記載の発明は、
少なくとも2軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する文字認識装置であって、
前記筺体が平面内で移動されながら行われた文字を書く動作に応じた前記加速度センサの計測結果を、その各軸に対応する成分の加速度データとして取得する取得手段と、
前記取得手段により順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の1画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する特定手段と、
前記特定手段により特定された複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成する生成手段と、
予め文字認識用として用意されていて前記成分毎に複数の特徴点を含む基本文字データと前記生成手段により生成された入力文字データとを照合することにより文字認識を行う文字認識手段と、
前記取得手段により取得された各軸に対応する成分毎の加速度データを、前記各軸をそれぞれ同じ方向に所定の角度回転することによりその回転座標系上での各軸に対応する成分毎の加速度データに変換する回転変換手段と、
を具備し、
前記特定手段は、前記取得手段により取得された成分毎の加速度データの中に存在している複数の特徴点を本来の特徴点として成分毎にそれぞれ特定するとともに、前記回転変換手段により変換された成分毎の加速度データの中に存在している複数の特徴点を回転後の特徴点として成分毎にそれぞれ特定し、
前記生成手段は、前記特定手段によって特定された本来の特徴点及び回転後の特徴点を含む成分毎の特徴点データを入力文字データとして生成し、
前記文字認識手段は、予め文字認識用の基本文字として前記本来の特徴点及び回転後の特徴点を含む基本文字データと前記生成手段により生成された入力文字データとを照合することにより文字認識を行う、
ようにしたことを特徴とする。
請求項7に従属する発明として、
前記取得手段により取得された成分毎の加速度データに基づいて1文字の書き始めと書き終わりを判別する判別手段を更に備え、
前記特定手段は、前記判別手段により1文字の書き始めが判別されてから書き終わりが判別されるまでの間、前記取得手段により順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の1画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する、
ことを特徴とする、請求項8の発明であってもよい。
また、上述した課題を解決するために請求項記載の発明は、
コンピュータに対して、
少なくとも2軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する場合に、前記筺体が平面内で移動されながら行われた文字を書く動作に応じた前記加速度センサの計測結果を、その各軸に対応する成分の加速度データとして取得する機能と、
前記順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の1画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する機能と、
前記特定された複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成する機能と、
予め文字認識用として用意されていて前記成分毎に複数の特徴点を含む基本文字データと前記生成された入力文字データとを照合することにより文字認識を行う機能と、
を実現させ、
前記生成する機能は、前記2軸のうちその一方の軸に対応する加速度データ内の特徴点毎に他方の軸に対応する加速度データ内の特徴点との相対的な関係を示すデータを他軸との相関特徴として求め、この他軸との相関特徴を含む成分毎の特徴点データを入力文字データとして生成し、
前記基本文字データは、特徴点に関するデータとして前記他軸との相関特徴を含むデータである、
ことを特徴とするプログラム、であることを特徴とする。
また、上述した課題を解決するために請求項1記載の発明は、
コンピュータに対して、
少なくとも2軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する場合に、前記筺体が平面内で移動されながら行われた文字を書く動作に応じた前記加速度センサの計測結果を、その各軸に対応する成分の加速度データとして取得する機能と、
前記順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の1画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する機能と、
前記特定された複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成する機能と、
予め文字認識用として用意されていて前記成分毎に複数の特徴点を含む基本文字データと前記生成された入力文字データとを照合することにより文字認識を行う機能と、
前記取得された各軸に対応する成分毎の加速度データを、前記各軸をそれぞれ同じ方向に所定の角度回転することによりその回転座標系上での各軸に対応する成分毎の加速度データに回転変換する機能と、
を実現させ、
前記特定する機能は、前記取得された成分毎の加速度データの中に存在している複数の特徴点を本来の特徴点として成分毎にそれぞれ特定するとともに、前記回転変換された成分毎の加速度データの中に存在している複数の特徴点を回転後の特徴点として成分毎にそれぞれ特定し、
前記生成する機能は、前記特定された本来の特徴点及び回転後の特徴点を含む成分毎の特徴点データを入力文字データとして生成し、
前記文字認識を行う機能は、予め文字認識用の基本文字として前記本来の特徴点及び回転後の特徴点を含む基本文字データと前記生成された入力文字データとを照合することにより文字認識を行う、
ようにしたことを特徴とするプログラム、であることを特徴とする
本発明によれば、平面内で書かれた文字を加速度センサの計測結果に基づいて円滑かつ確実な文字認識が可能となり、実用性に富んだものとなる。
文字認識装置として適用した文字認識機能付きの撮像装置(デジタルカメラ)の基本的な構成要素を示したブロック図。 複数の特徴点を含む成分毎の加速度データのそれぞれから特定される特徴点を説明するとともに、他軸との相関特徴を示す時間的比率を説明するための図。 複数の特徴点を含む成分毎の加速度データのそれぞれから特定される特徴点を説明するとともに、他軸との相関特徴を示すレベル的比率を説明するための図。 認識辞書メモリDM内の基本文字データを説明するための図。 ユーザが文字を手書き入力する際の操作手順や操作方法を説明するための流れ図。 デジタルカメラの全体動作のうち、本実施形態の特徴部分の動作概要として、文字認識機能がオンされて文字認識が開始された場合の概要動作を示したフローチャート。 文字判別処理(図6のステップB9)を詳述するためのフローチャート。 (1)〜(10)は、文字認識用として記憶されている基本文字データと入力文字データとの照合過程を例示した図。 第2実施形態を説明するために、ある文字の加速度データを示した波形図で、(1)は、平面内の各軸をそれぞれ同じ方向に45°回転する前の波形を示し、(2)は、その各軸をそれぞれ同じ方向に45°回転した後の波形例を示した図。 第2実施形態における認識辞書メモリDM内の各基本文字データを説明するための図。 第2実施形態における文字判別処理(図6のステップB9)を詳述するためのフローチャート。 第2実施形態において、平面内の各軸を回転した回転座標系上の加速度データに変換するために“回転行列”を使用した回転変換式を示した図。 各実施形態の変形例として、極点の深さを説明するための図。 各実施形態の変形例として、(1)、(2)は、入力文字データ内のある成分の特徴点の数と、ある基本文字データの同じ成分の特徴点の数を示した図。 各実施形態の変形例として、認識辞書メモリDM内の基本文字データの構成を示した図。 (1)、(2)は、各実施形態の変形例として、基本文字データを説明するための図。 各実施形態の変形例として、基本文字データを説明するための図。
(第1実施形態)
以下、図1〜図8を参照して本発明の第1実施形態を説明する。
この実施形態は、文字認識装置として適用した文字認識機能付きの撮像装置(デジタルカメラ)に適用した場合を例示したもので、図1は、文字認識機能付きのデジタルカメラの基本的な構成要素を示したブロック図である。
デジタルカメラは、携帯型のコンパクトカメラを構成するもので、撮像機能、計時機能などの基本機能のほかに、空間平面内で書かれた文字を認識する文字認識機能を有し、制御部1を中核として動作するようになっている。制御部1は、二次電池を備えた電源部2からの電力供給によって動作し、記憶部3内の各種のプログラムに応じてこのデジタルカメラの全体動作を制御するもので、この制御部1には図示しないCPU(中央演算処理装置)やメモリなどが設けられている。
記憶部3は、ROM、RAMなどの内部メモリで、図示しないプログラム領域とデータ領域とを有し、この記憶部3内のプログラム領域には、後述する図6及び図7に示す動作手順に応じて本実施形態を実現するためのプログラムが格納されている。また、記憶部3内のデータ領域には、文字認識用の基本文字データを記憶する認識辞書メモリDM、撮影された画像を記憶保存する画像メモリFMのほか、各種のフラグ情報、デジタルカメラの動作に必要な各種の情報が記憶される。なお、記憶部3は、例えば、SDカード、ICカードなど、着脱自在な可搬型メモリ(記録メディア)を含む構成であってもよく、あるいは図示しない所定の外部サーバ上に記憶部3を有する構成であってもよい。
操作部4は、文字入力、コマンド入力などを行うもので、この操作部4には、図示しないが、カメラ機能をオン/オフさせるオン/オフキー、シャッタキーなどが設けられている。制御部1は、操作部4からの操作信号に応じた処理として、例えば、カメラオン/オフ処理、撮影処理など、各種の処理を行う。表示部5は、例えば、高精細液晶あるいは有機ELを使用し、例えば、日時情報、保存画像などを表示するほか、カメラ機能の使用時にはライブビュー画像(モニタ画像)を表示するファインダ画面となる。
撮像部6は、デジタルカメラ機能を構成する構成要素で、静止画撮影のほかに動画撮影も可能なもので、カメラレンズ部、撮像素子(例えば、CCDあるいはCMOS)、画像信号処理部、アナログ処理部、圧縮伸張部、各種センサ部(測距センサ、光量センサなど)などを有し、光学ズームを調整制御したり、オートフォーカス時の駆動制御、シャッタ駆動制御、露出、ホワイトバランスなどを制御したり、シャッタ速度(露光時間)を測定したりする。また、撮像部6は、被写体に応じて望遠/広角の切り替えができる2焦点式レンズやズームレンズを備え、焦点距離を可変する画角変更機構を作動させて望遠/広角やズーム撮影を行うようにしている。
加速度センサ7は、デジタルカメラ本体(筺体)に内蔵された少なくとも2軸の加速度センサ(本実施形態では3軸タイプの加速度センサ)であり、文字認識機能を構成する要素の一つであるが、例えば、歩数計を構成する加速度センサを文字認識機能に兼用するようにしてもよい。制御部1は、文字認識機能の作動中に加速度センサ7の計測結果に基づいて文字認識を行うようにしている。すなわち、制御部1は、加速度センサ7の計測結果、つまり、互いに直交する3軸方向(X・Y・Z方向)の加速度成分に基づいて重力方向に対して並行な2次元平面(垂直面)を特定し、この平面内において直交する2軸の成分に分離した加速度データ、つまり、第1軸(第1成分)の加速度データと第2軸(第2成分)の加速度データに基づいて文字認識を行うようにしている。
ここで、制御部1は、重力方向に対して並行な2次元平面内において分離された直交する2軸の成分の加速度データに基づいて1文字の書き始めと書き終わりを判別するようにしている。そして、制御部1は、文字の書き始めから書き終わりまでの間、順次取得した各成分の加速度データを、画と画との間の加速度を含めて文字の1画目から最後の画まで時間的に連続した一連の加速度データとして、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定するようにしている。これによって特定した複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成し、この入力文字データを認識辞書メモリDM内の各基本文字データと照合することにより文字認識を行うようにしている。
すなわち、入力文字データは、2次元平面内において分離された直交する2軸の成分のそれぞれについて複数の特徴点を含む特徴点データであり、各特徴点は、後で詳述するが、局所的最大点である極大点と局所的最小点である極小点を示している。そして、各特徴点は、その「極点毎の種類」、「極点時刻(時間的な位置)」、「極点レベル(加速度の大きさ)」、「他軸との相関特徴(比率)」のデータから成っている。同様に、認識辞書メモリDM内の各基本文字データにおいても、特徴点毎に「極点毎の種類」、「極点時刻(時間的な位置)」、「極点レベル(加速度の大きさ)」、「他軸との相関特徴(比率)」のデータから成っている。そして、この入力文字データと全ての基本文字データとを特徴点毎に照合することにより文字認識を行うようにしている。
図2及び図3は、複数の特徴点を含む成分毎の加速度データのそれぞれから特定される特徴点を説明するための図で、各成分の加速度データの変化状態を示した波形図である。
図中、縦軸は、加速度センサ7の計測結果から重力分を差し引いた加速度を示し、また、横軸は、時刻を示している。そして、実線の波形は、2次元平面内において分離された直交する2軸の成分のうち、そのいずれかの成分(第1成分)の加速度データを示し、また、破線の波形は、他の成分(第2成分)の加速度データを示している。ここで、制御部1は、各成分の加速度データのそれぞれにおいて局所的最大点である極大点と局所的最小点である極小点を特徴点として特定するとともに、この特徴点毎に極大点か極小点かを示す「極点の種類」とその極点の加速度の値を「極点レベル」として求めるようにしている。また、特徴点毎に、文字の書き始め位置を原点(時間“0”、加速度“0”)とした場合に、各極点(極大点と極小点)までの時刻を「極点時刻」として求めるようにしている。
一方の軸の加速度データ内の特徴点毎に、他方の軸に対応する加速度データ内の特徴点との相対的な関係を示すデータを「他軸との相関特徴(比率)」として求める。なお、他軸とは、相関特徴を求める極点が第1成分の極点なら第2成分の軸が他軸となり、逆に、第2成分の極点なら第1成分の軸が他軸となる。また、「他軸との相関特徴」とは、他軸の極大点から極小点、又は極小点から極大点への極点間範囲を基準としたときに、相対的にどのような位置にあるかを示す時間的な率(時間的比率)、レベル的な率(レベル的比率)であり、全ての極点毎に求めたものである。このように「他軸との相関特徴(比率)」を求めるのは、文字が速く書かれたとき、遅く書かれたとき、部分的に速さが変化して書かれたときに、後述する文字認識が難しくなる、具体的には、照合対象の基本文字の極点との類似度を比較する処理が難しくなるので、他軸との相対的な関係を指標とすることにより、1文字を書く速度や速度の変化に影響され難くするためである。
さらに図2は、他軸との相関特徴としての時間的比率を説明するための図で、この時間的比率は、一方の軸の特徴点毎に、他軸の極点間範囲を基準として、相対的にどのような位置にあるかを示す時間的な比率である。すなわち、図示の例において、第1成分の0番目の極点及び1番目の極点における他軸との相関特徴(時間的比率)は、第2成分の極大点から極小点、又は極小点から極大点への極点間範囲を基準(時間比率スケール)としたときに、第1成分の0番目の極点の時間的比率は、「−0.7246」、第1成分の1番目の極点の時間的比率は、「−0.3832」となることを示している。また、第2成分の0番目の極点における他軸との相関特徴(時間的比率)は、第1成分の極大点から極小点、又は極小点から極大点への極点間範囲を基準(時間比率スケール)としたときに、第2成分の0番目の極点の時間的比率は、「0.4706」となることを示している。
なお、図2において、ある成分の第0番目の極点が極大点ならその成分の文字の書き始めを極小点とし、逆に第0番目の極点が極小点なら文字の書き始めを極大点として便宜的に決める。同様に、文字の書き終わりの点についても、直前の極点が極大点なら極小点、直前が極点なら書き終わりの点を極点として便宜的に決める。また、率を算出する場合に、他軸の加速度が減少していく過程であれば、例えば、極大点を−1、極小点を0として自極点の位置を負数の値の率として算出し、また、他軸の加速度が増加していく過程では、例えば、極大点を1、極小点を0として自極点の位置を正数の値の率として算出するようにしている。このことは、後述する図3の場合においても同様である。
さらに図3は、他軸との相関特徴を示すレベル的比率を説明するための図で、このレベル的比率は、一方の軸の特徴点毎に、他軸の極点間範囲を基準として、相対的にどのような大きさにあるかを示すレベル的な比率である。図示の例において、第1成分の0番目の極点及び1番目の極点における「他軸との相関特徴(レベル的比率)」は、第2成分の極大点から極小点、又は極小点から極大点への極点間範囲を基準(レベル比率スケール)としたときに、第1成分の0番目の極点のレベル的比率は、「−0.4579」、第1成分の1番目の極点のレベル的比率は、「−0.1495」となることを示している。また、第2成分の0番目の極点における他軸との相関特徴(レベル的比率)は、第1成分の極大点から極小点、又は極小点から極大点への極点間範囲を基準(レベル比率スケール)としたときに、第2成分の0番目の極点のレベル的比率は、「0.5856」となることを示している。
図4は、認識辞書メモリDM内の基本文字データを説明するための図である。
認識辞書メモリDMは、文字認識用として予め用意されている基本文字データを記憶するもので、基本文字データは、その文字を書くと必ず出現する特徴点(極点)だけに絞った構成で、直交する2軸の成分に対応して複数の特徴点(極点)を有する特徴点データである。この特徴点データは、各成分の特徴点毎に、「K(j、k)」、「R(j、k)」、「L(j、k)」、「T(j、k)」の項目を含むデータで、項目データ「K(j、k)」は、第j成分の加速度における第k番目の極点の種類(極大点又は極小点)を示している。項目データ「R(j、k)」は、同上の極点の他軸との相関特徴(時間的比率又はレベル的比率)を示している。項目データ「L(j、k)」は、同上の極点の極点レベルを示している。項目データ「T(j、k)」は、同上の極点の極点時刻を示している。
図示の例は、第1成分の加速度における極点の数がM個の場合を示し、第1成分にはその0番目の極点に対応して「K(1、0)」、「R(1、0)」、「L(1、0)」、「T(1、0)」の項目を有し、1番目の極点に対応して「K(1、1)」、「R(1、1)」、「L(1、1)」、「T(1、1)」の項目を有し、…、M番目の極点に対応して「K(1、M−1)」、「R(1、M−1)」、「L(1、M−1)」、「T(1、M−1)」の項目を有している。また、図示の例は、第2成分の加速度における極点の数がN個の場合を示し、その0番目の極点に対応して「K(2、0)」、「R(2、0)」、「L(2、0)」、「T(2、0)」の項目を有し、1番目の極点に対応して「K(2、1)」、「R(2、1)」、「L(2、1)」、「T(2、1)」の項目を有し、…、N番目の極点に対応して「K(2、N−1)」、「R(2、N−1)」、「L(2、N−1)」、「T(2、N−1)」の項目を有している。なお、M、Nの値は、同一とは限らず、異なる場合もある。
次に、第1実施形態におけるデジタルカメラの動作概念を図6及び図7に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは、後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。
ここで、図6及び図7に示すフローチャートを説明する前に、図5を参照して、ユーザが文字を手書き入力する際の操作手順や操作方法を説明しておく。
先ず、ユーザは、文字認識機能をオンさせた後、デジタルカメラ本体(筺体)を手に持って空間平面内を移動させながら文字を書くようにする。すなわち、筺体を手に持って空間平面内を移動させながら文字を書くが、1文字を書き始める前には筐体を略静止させた後に(図5のステップA1)、文字の書き始め位置まで筐体をゆっくり滑らかに移動させる(ステップA2)。
そして、重力方向に対して並行な2次元平面内で文字を書くようにし、1文字の入力中は筺体の姿勢を大きく変化させないものとし、かつ、1画(ストローク)毎に筐体を移動させるが、この場合、1文字入力中は書く動きを止めずに一筆書きのように連続して滑らかに書くようにし、1つの画の終点から次の画の始点への移動も滑らに行う(ステップA3)。そして、1文字が書き終わった時点で再び、筐体を略静止させる(ステップA4)。その後、次の文字の書き始め位置までゆっくり滑らかに筐体を移動させた後(ステップA5)、次の文字を書き始める。以下、文字入力を終了させるまで(ステップA6でNO)、上述のステップA3に戻り、手書き操作を繰り返すことにより複数の文字を順次手書き入力する。
図6は、デジタルカメラの全体動作のうち、本実施形態の特徴部分の動作概要として、文字認識機能がオンされて文字認識が開始された場合の概要動作を示したフローチャートである。なお、この図6のフローから抜けた際には、全体動作のメインフロー(図示省略)に戻る。
先ず、制御部1は、加速度センサ7の計測結果から重力分をキャンセルするための処理を行う(図6のステップB1)。すなわち、例えば、垂直方向の計測結果(加速度成分)には、重力加速度として上向き1Gが含まれているので、加速度を計測する毎に、その計測結果から上向き1Gを減算するための準備として、文字を書き始める前に筐体の姿勢(略同じ姿勢)に応じた重力加速度を計測して記憶部3内のRAMに一時記憶しておく。
そして、2成分の加速度合成ベクトルの大きさが所定の閾値以上で所定時間(所定回数)以上連続しているか否かに基づいて文字を書き始めたか否かを調べる(ステップB2)。ここで、ユーザは、2つの加速度合成ベクトルの大きさが所定の閾値以上で所定時間以上連続しないように、つまり、所定の閾値以上の加速度合成ベクトルが所定時間(所定回数)以上連続しないように、ゆっくり滑らかに筐体を文字の書き始め位置まで移動させた後、文字を書き始める。これによって所定の閾値以上の加速度合成ベクトルが所定時間(所定回数)以上連続していることが検出される(ステップB2でYES)。
このようにして文字の書き始めを検出すると、1文字の入力時間を計時するための1文字入力タイマ(図示省略)の計測動作を開始させる(ステップB3)。そして、1文字入力中の加速度データを蓄える処理に移り(ステップB4)、加速度センサ7の計測結果から重力加速度を減算することにより重力分をキャンセルした2成分の加速度を書き始めの計測結果として記憶部3内のRAMに記憶させた後、所定の閾値未満の加速度合成ベクトルが所定時間(所定回数)以上連続していることが検出されたかに基づいて1文字を書き終えたかを調べる(ステップB5)。この場合、ユーザは、筐体の姿勢を保ったまま1文字を書き終わるまでは筐体を連続して移動させながら文字を書く手を止めずに一筆書きのようにして書き、1つの画の終点から次の画の始点へは滑らかな軌跡を描くように筐体を移動させ、1文字を書き終えたら筐体の移動を止めるようにしているため、1文字を書き終えた際には、所定の閾値未満の加速度合成ベクトルが所定時間(所定回数)以上連続していることが検出される(ステップB5でYES)。
いま、1文字入力中にあっては、所定の閾値以上の加速度合成ベクトルが所定時間(所定回数)以上連続していることが検出されるため(ステップB5でNO)、以下、上述のステップB4に戻り、1文字入力中の加速度データを記憶部3内のRAMに蓄える処理を繰り返す。このようにして加速度センサ7の計測結果を蓄える動作を例えば、1秒間に100回程度で行う。これによって記憶部3内のRAMには、1文字の書き始めから書き終わりまでの間、順次取得した各成分の加速度データが、画と画との間の加速度を含めて文字の1画目から最後の画まで時間的に連続した一連の加速度データとして順次記憶される。
1文字を書き終えたことを検出すると(ステップB5でYES)、上述の1文字入力タイマの計測動作を停止させた後(ステップB6)、その計測時間(1文字の入力時間)は所定の閾値以上の長さ(例えば、漢数字の「一」のように簡素な文字の入力に要する時間以上)であるかを調べ(ステップB7)、その閾値未満の長さであれば(ステップB7でNO)、今回の加速度センサ7での計測結果を無効とするために記憶部3内のRAMに蓄えた今回の一連の加速度データを消去した後(ステップB8)、文字の書き始めを検出するステップB2に戻る。いま、1文字の入力時間が所定の閾値以上の長さであれば(ステップB7でYES)、記憶部3内のRAMに蓄えられている1文字分の一連の加速度データに基づいて文字認識を行うための文字判別処理を実行する(ステップB9)。
図7は、文字判別処理(図6のステップB9)を詳述するためのフローチャートである。
先ず、制御部1は、1文字を手書き入力している間の加速度センサ7の計測結果(2成分の加速度)に対してフィルタ処理を実行する(ステップC1)。すなわち、書き始めから書き終わりまでの1文字分の加速度データの中から加速度センサ7自身のノイズや微妙な手のブレによる加速度の高周波成分を除去するために、2成分の加速度に対して低域フィルタをかける。次に、1文字分の加速度データに対してレベルの正規化を行う(ステップC2)。すなわち、一般に、加速度の変化に応じて文字認識を行う装置では、同じ大きさの文字でも、ゆっくり書くときと、速く書くときでは加速度の大きさが変化する。これが後の文字認識処理に影響を与えることを避けるために、筐体の静止時の加速度を2成分ともに“0”としたとき、1文字分における2成分の加速度データの中で絶対値が最も大きな加速度を検索し、その値がどの文字でも同じになるように、一律に同じ係数を2成分の加速度に乗じることによって、レベルの正規化を行う。
次に、1文字分の加速度データの中から各特徴点を成分毎に特定するとともに、その種類を特定する(ステップC3)。この場合、2成分の加速度データのそれぞれにおいて、局所的最大点(極大点)と局所的最小点(極小点)を探索して、この極大点、極小点を特徴点として特定するとともに、その種類(極大点又は極小点)を特定する。そして、特徴点毎に、その点における正規化後の加速度レベル(極点レベル)を求めるとともに(ステップC4)、1文字の書かれ始めを時刻“0”としたときにその極点までの時刻(極点時刻)を求める(ステップC5)。さらに、特徴点毎に、他軸との相関特徴を求める(ステップC6)。この場合、図2に示したように、一方の軸の特徴点毎に、他軸の極点間範囲を基準として、相対的にどのような位置にあるかを示す時間的比率を求める。又は、図3に示したように、一方の軸の特徴点毎に、他軸の極点間範囲を基準として、相対的にどのような大きさにあるかを示すレベル的比率を求める。
このようにして1文字分の加速度データの中から各特徴点を成分毎に特定するとともに、特徴点毎に「極点毎の種類」、「極点レベル」、「極点時刻」、「他軸との相関特徴(比率)」を含む特徴点データを入力文字データとして生成する(ステップC7)。そして、認識辞書メモリDMに記憶されている各基本文字のうち、その先頭の基本文字を照合対象として指定して(ステップC8)、指定した基本文字データと入力文字データとを照合しながらそれらの類似度を算出する(ステップC9)。
図8は、基本文字データと入力文字データとを照合する過程を例示したもので、図示の例では、ある基本文字のある成分の極点は第0番目の極点から第k番目(2番目)の極点までの3つ、また、入力文字のある成分の極点は第0番目の極点から第k番目(4番目)の極点までの5個の場合を示している。また、図中、「基本F(j、k)」は、図4に示したように基本文字データの「極点毎の種類」、「他軸との相関特徴(比率)」、「極点レベル」、「極点時刻」としての「K(j、k)」、「R(j、k)」、「L(j、k)」、「T(j、k)」を示している。また、「入力F(j、k)」は、入力文字データの「極点毎の種類」、「他軸との相関特徴(比率)」、「極点レベル」、「極点時刻」を示している。
なお、上述のように基本文字の極点数よりも入力文字の極点数の方が多いのは、手ブレなどによる影響である。この場合、極点の順番が前後しないように照合するが、その組み合わせとしては、図8(1)〜(10)の10通りの照合パターンが考えられる。そして、この極点の順番を変えない10通りの照合パターンの中で、極点の種類が同じであることを条件として、基本文字と入力文字の「他軸との相関特徴(比率)」同士を比較するとともに、「極点レベル」同士を比較しながらその差の平均を算出し、図8(1)〜(10)の中から最も差の少ない照合パターンを選択する。このような照合を成分毎に行った後、改めて各成分の特徴点毎の差からその平均を算出してその平均値をその基本文字に対する類似度(類似度距離)として求める。
1文字分の類似度(類似度距離)を求めた後は、認識辞書メモリDM内の全基本文字を指定し終わったかを調べ(ステップC10)、全文字を指定し終わるまで(ステップC10でNO)、次の基本文字を指定しながら(ステップC11)、指定した基本文字データと入力文字データとを照合しながらそれらの類似度を算出する処理を繰り返す(ステップC9)。このようにして全ての基本文字に対応してその類似度距離を求めた後は(ステップC10でYES)、平均値が最も小さい文字(類似度距離が最も短い文字)を認識文字(入力候補)として決定する(ステップC12)。
このようにして文字判別処理が終わると(図6のステップB9)、この文字判別処理により決定された認識文字を表示部5に入力候補として表示させる(ステップB10)。この状態において、次候補を指示する操作が行われたかを調べたり(ステップB11)、文字認識機能がオフされたか、つまり、文字入力の終了がユーザ操作により指示されたかを調べたりし(ステップB12)、次候補操作が行われたときには(ステップB11でYES)、次候補を読み出して(ステップB13)、表示部5に入力候補として表示させる(ステップB10)。また、文字入力の終了が指示されなければ(ステップB12でNO)、上述のステップB2に戻り、以下、上述の動作を繰り返すことにより次の手書き文字に対する文字認識を行うが、文字入力の終了が指示されたときには(ステップB12)、この時点で図6のフローの終了となる。
以上のように、第1実施形態において制御部1は、加速度センサ7を内蔵した筺体が空間平面内で移動されながら行われた文字を書く動作を加速度センサ7の計測結果に基づいて認識する場合に、加速度センサ7の各軸に対応した成分の加速度データに基づいて1文字の書き始めから書き終わりまでを判別するとともに、その間の成分毎の加速度データを、画と画との間の加速度を含めて文字の1画目から最後の画まで時間的に連続した一連の加速度データとして取得した後に、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定し、この複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成して基本文字データと照合するようにしたので、平面内で書かれた文字を加速度センサ7の計測結果に基づいて円滑かつ確実な文字認識が可能となり、実用性に富んだものとなる。
すなわち、加速度データを使用しているので重力の影響は免れないが、加速度を積分して軌跡を出すものとは異なり加速度をそのまま文字認識に使用するようにしているので、文字入力途中に筐体の姿勢が変化することによる重力方向の少々の変化や揺らぎに対して対応可能となり、文字認識のロバスト性があるほか、ジャイロなど加速度センサ以外のセンサも不用となり、また、文字を構成する要素(画=ストローク)の分離を必要とする文字認識の方法では無いので、空中で文字を書くという状況においてペンアップやペンダウンに相当する面倒でやりづらい操作や動きを必要とせず、自然でスムーズで速やかな文字入力が可能となり、さらには入力文字と同様に基本文字も複数の特徴点からなるために辞書の容量が少なくて済むなど、実用性に富んだものとなる。
1文字の書き終わりから次の文字の書き始めまでの間の加速度データを一連の加速度データから除外するようにしたので、1文字分の加速度データを容易に特定することができる。
加速度センサ7の計測結果を平面内で分離した直交する各成分の加速度における合成ベクトルの大きさが所定の閾値以上で所定時間以上連続しているか否かに基づいて1文字の書き始めと書き終わりを判別するようにしたので、ユーザにあっては1文字を書き始める前に筐体を略静止させた後に文字の書き始め位置まで筐体をゆっくり滑らかに移動させればよく、また、1文字が書き終わった時点では、再び筐体を略静止させればよく、極自然な動作により1文字の書き始めと書き終わりを判別することができる。
各成分の加速度データのそれぞれにおいて局所的最大点である極大点と局所的最小点である極小点を特徴点として特定するとともに、特徴点毎にその極点の種類とともに極点レベルを求めて入力文字データを生成するようにしたので、少ないデータ量でも筐体の移動軌跡を適切に表した入力文字データを得ることができる。
文字の書き始めからその極点までの時刻を極点時刻として求め、この極点時刻とともに極点の種類及び極点レベルを含む入力文字データを生成するようにしたので、入力文字データと基本文字データとを照合する際に、極点時刻に基づいて各特徴点を特定することができ、確実な照合を行うことができるようになる。
一方の軸に対応する加速度データ内の特徴点毎に他方の軸に対応する加速度データ内の特徴点との相対的な関係を示すデータを他軸との相関特徴として求め、この他軸との相関特徴とともに極点の種類及び極点レベルを含む入力文字データを生成するようにしたので、1文字入力中での速度変化にも強くなり、より確実な文字認識が可能となる。
他軸との相関特徴は、他軸に対応する加速度データ内の極大点から極小点、又は極小点から極大点への極点間範囲を基準としたときに、相対的にどのような位置にあるかを示す時間的比率、どのような値にあるかを示すレベル的比率のいずれかの比率であるので、他軸との相関特徴として適切なものとなる。
(第2実施形態)
以下、この発明の第2実施形態について図9〜図12を参照して説明する。
なお、上述した第1実施形態においては、平面内において直交する2軸の成分の加速度データの中から各特徴点を成分毎に特定するとともに、特徴点毎に「極点毎の種類」、「極点レベル」、「極点時刻」、「他軸との相関特徴(比率)」の項目を含む特徴データを入力文字データとして求めるようにしたが、この第2実施形態においては、さらに、平面内において直交する2軸をそれぞれ同じ方向に所定の角度(45°)回転することにより、加速度センサ7から取得した各成分の加速度データを回転後の平面座標系上の加速度データに変換し、その回転後の加速度データからも上述した特徴点データを得るようにしたものである。なお、回転後の特徴点データには、特徴点毎に「極点毎の種類」、「極点レベル」、「極点時刻」、「他軸との相関特徴(比率)」の項目を含むが、「極点毎の種類」、については省略してもよい。
そして、第2実施形態においては、回転前の加速度データから特定した複数の特徴点(本来の特徴点)及び回転後の加速度データから特定した複数の特徴点(回転後の特徴点)を含む特徴点データを、入力文字データとして生成し、さらには、基本文字データも入力文字データと同様に、本来の特徴点と回転後の特徴点を含むデータ構成としたものである。なお、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略するとともに、以下、第2実施形態の特徴部分を中心に説明するものとする。
図9は、第2実施形態を説明するために、ある文字の加速度データを示した波形図で、(1)は、平面内の各軸をそれぞれ同じ方向に45°回転する前の波形を示し、(2)は、各軸をそれぞれ同じ方向に45°回転した後の波形例を示している。
図9(1)に示すように、ある文字の加速度データとして振幅変化の少ない場合があり、図示の例のように、その文字の第1成分の加速度データは、その振幅がほとんど変化していないものとなり、第2成分の加速度データは、変化の少ない単純な波形(特徴の無い波形)となっている。このような場合、他軸との相関特徴(比率)が不明確なものとなり、比率の照合が行えなくなるが、図9(2)に示すように、各軸をそれぞれ同じ方向に45°回転させると、第1及び第2成分の加速度データは、変化に富んだものとなり、他軸との相関特徴(比率)が明確なものとなる。
図10は、第2実施形態における認識辞書メモリDM内の各基本文字データを説明するための図である。
認識辞書メモリDMは、文字認識用として文字毎に基本文字データを記憶するもので、基本文字データは、その文字を書くと必ず出現する特徴点だけに絞った構成で、直交する2軸の成分に対応して複数の特徴点と、その2軸を45°回転させた後の複数の特徴点とを有する特徴点データである。この特徴点データは、各成分の特徴点毎に、「K(i、j、k)」、「R(i、j、k)」、「L(i、j、k)」、「T(i、j、k)」の項目データを有する構成で、項目データ「K(i、j、k)」は、軸をi度回転した回転座標系上における第j成分の加速度の第k番目の極点の種類(極大点又は極小点)を示している。
ここで、項目データは「R(i、j、k)」は、同上の極点の他軸との相関特徴(時間的比率又はレベル的比率)を示している。項目データは「L(i、j、k)」は、同上の極点の極点レベルを示している。項目データ「T(i、j、k)」は、同上の極点の極点時刻を示している。このように第2実施形態の基本文字データは、回転前の2軸の成分を第1成分、第2成分とし、回転後の2軸の成分を第3成分、第4成分とすると、合計4成分のデータを持つことになる。
なお、図示の例は、第1成分の加速度における極点の数がM個の場合を示し、第1成分にはその0番目の極点に対応して「K(0、1、0)」、「R(0、1、0)」、「L(0、1、0)」、「T(0、1、0)」の項目を有し、…、M番目の極点に対応して「K(0、1、M−1)」、「R(0、1、M−1)」、「L(0、1、M−1)」、「T(0、1、M−1)」の項目を有している。また、図示の例は、第2成分の加速度における極点の数がN個の場合を示し、その0番目の極点に対応して「K(0、2、0)」、「R(0、2、0)」、「L(0、2、0)」、「T(0、2、0)」の項目を有し、…、N番目の極点に対応して「K(0、2、N−1)」、「R(0、2、N−1)」、「L(0、2、N−1)」、「T(0、2、N−1)」の項目を有している。
また、図示の例は、45°回転させた第1成分の加速度における極点の数がP個の場合を示し、第1成分にはその0番目の極点に対応して「K(45、1、0)」、「R(45、1、0)」、「L(45、1、0)」、「T(45、1、0)」の項目を有し、…、P番目の極点に対応して「K(45、1、P−1)」、「R(45、1、P−1)」、「L(45、1、P−1)」、「T(45、1、P−1)」の項目を有している。また、図示の例は、45°回転させた第2成分の加速度における極点の数がQ個の場合を示し、その0番目の極点に対応して「K(45、2、0)」、「R(45、2、0)」、「L(45、2、0)」、「T(45、2、0)」の項目を有し、…、Q番目の極点に対応して「K(45、2、Q−1)」、「R(45、2、Q−1)」、「L(45、2、Q−1)」、「T(45、2、Q−1)」の項目を有している。なお、極点数M、N、P、Qにはそれぞれ関連性はなく、文字によっても様々に異なる。
図11は、第2実施形態における文字判別処理(図6のステップB9)を詳述するためのフローチャートである。
先ず、上述した第1実施形態と同様に図7のステップC1〜C6に対応する処理として、1文字を手書き入力している間の加速度センサ7の計測結果に対してフィルタ処理を実行した後(ステップD1)、1文字分の加速度データに対してレベルの正規化を行う(ステップD2)。そして、2成分の加速度データのそれぞれにおいて、局所的最大点(極大点)と局所的最小点(極小点)を探索して、この極大点、極小点を特徴点として特定し、その種類(極大点又は極小点)を求めるとともに(ステップD3)、特徴点毎に極点レベルを求め(ステップD4)、かつ、極点時刻を求めるとともに(ステップD5)、他軸との相関特徴を求める(ステップD6)。
このようにして1文字分の加速度データの中から各特徴点を成分毎に特定するとともに、特徴点毎に「極点毎の種類」、「極点レベル」、「極点時刻」、「他軸との相関特徴(比率)」を入力文字データとして求めた後は、上述のステップD1でフィルタ処理を実行して上述のステップD2でレベル正規化を行った後の1文字分の加速度データを、平面内の直交する2軸をそれぞれ同じ方向に所定の角度(45°)回転することによりその回転座標系上の加速度データに変換する(ステップD7)。
図12は、回転座標系上の加速度データに変換するために“回転行列”を使用した回転変換式を示した図である。この場合、元の平面座標系上の第1軸(第1成分)の加速度を45°回転させたときの回転座標系上での第1成分の加速度を求め、かつ、元の平面座標系上の第2軸(第2成分)の加速度を同一方向に45°回転したときの回転座標系上での第2成分の加速度を求める。
そして、45°回転後の1文字分の加速度データの中から各特徴点を成分毎に特定するとともに、その種類を求める(ステップD8)。そして、特徴点毎に、その点における正規化後の加速度レベル(極点レベル)を求めるとともに(ステップD9)、1文字の書かれ始めを時刻“0”としたときにその極点までの時刻(極点時刻)を求め(ステップD10)。さらに、特徴点毎に、他軸との相関特徴を求める(ステップD11)。このようにして回転前の加速度データから特定した複数の特徴点(本来の特徴点)と回転後の加速度データから特定した複数の特徴点(回転後の特徴点)を含む特徴点データを入力文字データとし生成する(ステップD12)。そして、認識辞書メモリDMに記憶されている各基本文字のうち、その先頭の基本文字を照合対象として指定して(ステップD13)、指定した基本文字データと入力文字データとを照合しながらそれらの類似度を算出して文字認識を行う(ステップD14〜D17)。
以上のように、第2実施形態において制御部1は、加速度センサ7からの成分毎の加速度データを、各軸をそれぞれ同じ方向に所定の角度回転することによりその回転座標系上での各軸に対応する成分毎の加速度に変換し、加速度センサ7から取得した加速度データの中に存在している複数の特徴点(本来の特徴点)と、回転変換した加速度データの中に存在している複数の特徴点(回転後の特徴点)を含む成分毎の特徴点データを入力文字データとして生成して、基本文字データと照合するようにしたので、どのような文字であっても適切に文字認識することができる。すなわち、例えば、1文字入力中の加速度データが変化の少ない単純な波形(特徴の無い波形)であっても、所定角度(45°)の回転により変化に富んだ波形となり、他軸との相関特徴(比率)が明確な加速度データを得ることができ、文字認識を適切に行うことが可能となる。
なお、第2実施形態においては、各軸をそれぞれ同じ方向に45°回転する場合を例示したが、30度回転及び60度回転した回転座標系について特徴点を特定するようにしてもよい。この場合、上述した第2実施形態の基本文字データは、回転前の2軸の成分を第1成分、第2成分とし、回転後の2軸の成分を第3成分、第4成分とすると、合計4成分のデータとなるが、30度回転及び60度回転することにより合計6成分のデータを持つことになる。
また、上述した第1実施形態においては、基本文字データと入力文字データとを照合する過程において、例えば、図8(1)〜(10)に示す場合には10通りの照合パターンと照合しながら最も差の少ない照合パターンを選択して基本文字との類似度を求めるようにしたが、不必要な照合パターンとの照合を省くようにしてもよい。この場合、入力文字データ内の特徴点毎にその重要度を両隣の特徴点との関係において求め、この特徴点毎の重要度を参照して文字認識を行うようにしてもよい。
例えば、図8(1)〜(10)の組み合わせの中で図8(1)のパターンが最も差が少ないと計算された場合、「入力F(j、3)」と「入力F(j、4)」が基本文字データの特徴点には含まれていないが、この「入力F(j、3)」と「入力F(j、4)」がその文字を構成する要素として必要な特徴であれば、この図8(1)のパターンが最も差の少ない照合パターンを選択することは文字認識上好ましくない。このような場合に、入力した文字の全ての特徴点について個々の特徴点の重要度がどれくらいのものかを評価するために、図13に示すように極点の深さを定義する。図示の例において、極点の深さをその両隣の極点とのレベル差の和と定義すると、図中、n+1番目の極点の深さは、a+bとなり、n+2番目の極点の深さは、b+c、また、n+3番目の極点の深さは、c+dとなる。
ここで、極点の深さが大きい程、重要な特徴点となるが、上述のようにして定義した極点の深さが、予め決められている閾値よりも大きい極点を重要な特徴点とすると、例えば、図14(1)に示すように、入力文字データのある成分の重要な特徴点の数(4個)が、ある基本文字データの同じ成分の特徴点の数(3個)よりも多い場合には、その基本文字との類似度距離を算出するまでも無く、この入力文字は当該基本文字では無いと判断することができる。
このように入力文字データ内の特徴点毎にその重要度を両隣の特徴点との関係において求め、この特徴点毎の重要度を参照して文字認識を行うようにすれば、文字認識を効率よくかつ確実に行うことが可能となる。
この場合、基本文字データと入力文字データとの類似度を算出し、最も類似度の高い基本文字を認識文字とする場合に、入力文字データ内のある成分の重要度の高い特徴点の数が、基本文字データの同じ成分の特徴点の数よりも多い場合は、その基本文字との類似度を算出せずに当該基本文字は認識文字では無いと判断するようにしたので、さらに文字認識を効率よくかつ確実に行うことが可能となる。
また、特徴点の重要度に基づいて文字認識を行う場合に限らず、入力文字データと基本文字データとの特徴点の数を比較するだけで認識文字では無いと判断するようにしてもよい。例えば、図14(2)に示すように、入力文字の特徴点の数が「4個」、また、基本文字の特徴点の数が「6個」の場合のように、入力文字データ内のある成分の特徴点の数が、ある基本文字データの同じ成分の特徴点の数よりも少ない場合は、その基本文字との類似度を算出せずに当該基本文字は認識文字では無いと判断するようにすれば、重要度を求めることなく文字認識を効率よくかつ確実に行うことが可能となる。
上述した各実施形態において基本文字データの構成は、「極点毎の種類」、「極点時刻(時間的な位置)」、「極点レベル(加速度の大きさ)」、「他軸との相関特徴(比率)」としたが、これに限らず、他の項目を持たせてもよく、例えば、他の項目として、基本文字データの特徴点と入力文字データの特徴点との差から類似度を算出する際に使用される係数(類似度距離係数)を特徴点毎に持たせるようにしてもよい。また、他の項目として、基本文字データを構成する特徴点毎に、基本文字データ内の所定の項目と入力文字データ内の所定の項目との照合を行うか否かを示す照合フラグを持たせるようにしてもよい。
図15は、第2実施形態と同様に、認識辞書メモリDM内の45°回転に対応した基本文字データの構成を示した図である。図示の例においては、特徴点毎に「他軸との相関特徴(比率)」の「R(i、J、k)」に対応する類似度距離係数として「Rd(i、J、k)」を持たせ、かつ、「極点レベル」の「L(i、j、k)」に対応する類似度距離係数として「Ld(i、J、k)」を持たせた場合を例示し、また、「他軸との相関特徴(比率)」の「R(i、J、k)」に対応する照合フラグとして「Rf(i、J、k)」を持たせ、かつ、「極点レベル」の「L(i、j、k)」に対応する照合フラグとして「Lf(i、J、k)」を持たせた場合を例示した図である。
このように基本文字データ内に類似度距離係数「Rd(i、J、k)」、「Ld(i、J、k)」を持たせるようにすれば、基本文字の特徴点データをよりきめ細かに調整することが可能となり、認識率を上げることができる。すなわち、類似度を算出する場合に、単純に差の平均を求めるのではなく、異なる類似度距離係数Rd又はLdを持つことにより、差の出やすい特徴点には低い係数を、差の出にくい特徴点には高い係数を使用して計算し、より適切な類似度を求めることができる。
また、基本文字データを構成する特徴点毎に、基本文字データ内の所定の項目と入力文字データ内の所定の項目との照合を行うか否かを示す照合フラグを持たせるようにすれば、例えば、文字の特性上、「他軸との相関特徴(比率)」、「極点レベル」が著しく変化する特徴点については、その文字の基本文字の該当特徴点を類似度距離の計算に使用しなくてもよい場合を認めるために、基本文字の特徴点毎にフラグを設けるようにすれば、より正しい類似度距離を算出することができる。
また、基本文字データの類似度距離係数Rdを2種類持ち、例えば、第16図(1)に示すように、入力文字のある成分(第2成分)のn番目の極点の「他軸との相関特徴(時間的比率又はレベル的比率)R」が、基準特徴点の比率R、つまり、基本文字の同じ成分のn番目の極点の「他軸との相関特徴(時間的比率又はレベル的比率)R」よりも後ろにずれていた場合、又は第16図(2)に示すように、前にずれていた場合に、それぞれ異なる類似度距離係数Rdを使用するようにしてもよい。また、類似度距離比率Ldについても同様に2種類持ち、入力文字の極点レベルLが、基準特徴点の比率Lよりも低い場合と高い場合とで異なる類似度距離比率Ldを使用するようにしてもよい。
また、基本文字データ内に含まれている「他軸との相関特徴」を示す比率は、範囲を示すデータで持ち、基本文字データ内の他軸との相関特徴を示す比率と入力文字データ内の「他軸との相関特徴」を示す比率とを照合する際に、基本文字側の比率の範囲内に入力文字の比率が入っているか否かを判別するようにしてもよい。すなわち、基本特徴点の比率Rは、点ではなく、図17に示すように比率R1と比率R2に挟まれた範囲で持ち、入力文字のある成分(第2成分)のn番目の極点の「他軸との相関特徴(時間的比率又はレベル的比率)R」が、この範囲に入った場合は、類似度距離を“0”とし、その範囲から外れた場合には“0”を超える類似度距離とするようにしてもよい。このように基本特徴点の比率Rを範囲で持つことにより、より適切に類似度距離を得ることができる。
また、上述した各実施形態の基本文字データは、「他軸との相関特徴(比率)」として、時間的比率又はレベル的比率のいずれか使用するようにしたが、その両方を使用する構成であってもよい。
また、上述した各実施形態においては、文字を空間平面内で書くようにしたが、例えば、壁面などに接触させながら文字を書くようにしてもよく、空間平面内で文字を書く場合に限らない。
また、上述した実施形態においては、文字認識装置として、文字認識機能付きのデジタルカメラに適用した場合を示したが、文字認識機能付きの携帯電話機・卓上電子計算機・腕時計・パーソナルコンピュータ(ノートパソコン)・PDA・音楽プレイヤーなどに適用するようにしてもよい。
その他、上述した各実施形態において示した“装置”や“機”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
1 制御部
3 記憶部
4 操作部
5 表示部
7 加速度センサ
DM 認識辞書メモリ

Claims (10)

  1. 少なくとも2軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する文字認識装置であって、
    前記筺体が平面内で移動されながら行われた文字を書く動作に応じた前記加速度センサの計測結果を、その各軸に対応する成分の加速度データとして取得する取得手段と、
    前記取得手段により順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の1画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する特定手段と、
    前記特定手段により特定された複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成する生成手段と、
    予め文字認識用として用意されていて前記成分毎に複数の特徴点を含む基本文字データと前記生成手段により生成された入力文字データとを照合することにより文字認識を行う文字認識手段と、
    を具備し、
    前記生成手段は、前記2軸のうちその一方の軸に対応する加速度データ内の特徴点毎に他方の軸に対応する加速度データ内の特徴点との相対的な関係を示すデータを他軸との相関特徴として求め、この他軸との相関特徴を含む成分毎の特徴点データを入力文字データとして生成し、
    前記基本文字データは、特徴点に関するデータとして前記他軸との相関特徴を含むデータである、
    ことを特徴とする文字認識装置。
  2. 前記取得手段により取得された成分毎の加速度データに基づいて1文字の書き始めと書き終わりを判別する判別手段を更に備え、
    前記特定手段は、前記判別手段により1文字の書き始めが判別されてから書き終わりが判別されるまでの間、前記取得手段により順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の1画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定するとともに、各成分の加速度データのそれぞれにおいて局所的最大点である極大点と局所的最小点である極小点を特徴点として特定し、
    前記生成手段は、前記特定手段により特定された特徴点毎に、極大点か極小点かを示す極点の種類とその極点の加速度の値を極点レベルとして求め、前記他軸との相関特徴とともに前記極点の種類及び前記極点レベルを含む成分毎の特徴点データを入力文字データとして生成し、
    前記基本文字データは、特徴点に関するデータとして前記他軸との相関特徴、前記極点の種類、前記極点レベルを含むデータである、
    ことを特徴とする請求項1記載文字認識装置。
  3. 前記判別手段により1文字の書き終わりが判別されてから次の文字の書き始めが判別されるまでの間、前記取得手段により取得された加速度データを前記一連の加速度データから除外する除外手段を更に備える、
    ようにしたことを特徴とする請求項2記載の文字認識装置。
  4. 前記判別手段は、前記加速度センサの計測結果を前記平面内で分離した直交する各成分の加速度における合成ベクトルの大きさが所定の閾値以上で所定時間以上連続しているか否かに基づいて1文字の書き始めと書き終わりを判別する、
    ようにしたことを特徴とする請求項2記載の文字認識装置。
  5. 前記他軸との相関特徴は、前記他軸に対応する加速度データ内の極大点から極小点、又は極小点から極大点への極点間範囲を基準としたときに、相対的にどのような位置にあるかを示す時間的比率、どのような値にあるかを示すレベル的比率のうち、少なくともそのいずれかの比率である、
    ことを特徴とする請求項2記載の文字認識装置。
  6. 前記基本文字データ内に含まれている前記他軸との相関特徴を示す比率は、範囲を示すデータで持ち、
    前記文字認識手段は、前記基本文字データ内の前記他軸との相関特徴を示す比率と前記入力文字データ内の前記他軸との相関特徴を示す比率とを照合する際に、前記基本文字側の比率の範囲内に前記入力文字の比率が入っているか否かを判別する、
    ようにしたことを特徴とする請求項5記載の文字認識装置。
  7. 少なくとも2軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する文字認識装置であって、
    前記筺体が平面内で移動されながら行われた文字を書く動作に応じた前記加速度センサの計測結果を、その各軸に対応する成分の加速度データとして取得する取得手段と、
    前記取得手段により順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の1画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する特定手段と、
    前記特定手段により特定された複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成する生成手段と、
    予め文字認識用として用意されていて前記成分毎に複数の特徴点を含む基本文字データと前記生成手段により生成された入力文字データとを照合することにより文字認識を行う文字認識手段と、
    前記取得手段により取得された各軸に対応する成分毎の加速度データを、前記各軸をそれぞれ同じ方向に所定の角度回転することによりその回転座標系上での各軸に対応する成分毎の加速度データに変換する回転変換手段と、
    を具備し、
    前記特定手段は、前記取得手段により取得された成分毎の加速度データの中に存在している複数の特徴点を本来の特徴点として成分毎にそれぞれ特定するとともに、前記回転変換手段により変換された成分毎の加速度データの中に存在している複数の特徴点を回転後の特徴点として成分毎にそれぞれ特定し、
    前記生成手段は、前記特定手段によって特定された本来の特徴点及び回転後の特徴点を含む成分毎の特徴点データを入力文字データとして生成し、
    前記文字認識手段は、予め文字認識用の基本文字として前記本来の特徴点及び回転後の特徴点を含む基本文字データと前記生成手段により生成された入力文字データとを照合することにより文字認識を行う、
    ようにしたことを特徴とする文字認識装置。
  8. 前記取得手段により取得された成分毎の加速度データに基づいて1文字の書き始めと書き終わりを判別する判別手段を更に備え、
    前記特定手段は、前記判別手段により1文字の書き始めが判別されてから書き終わりが判別されるまでの間、前記取得手段により順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の1画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する、
    ことを特徴とする請求項7記載文字認識装置。
  9. コンピュータに対して、
    少なくとも2軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する場合に、前記筺体が平面内で移動されながら行われた文字を書く動作に応じた前記加速度センサの計測結果を、その各軸に対応する成分の加速度データとして取得する機能と、
    前記順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の1画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する機能と、
    前記特定された複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成する機能と、
    予め文字認識用として用意されていて前記成分毎に複数の特徴点を含む基本文字データと前記生成された入力文字データとを照合することにより文字認識を行う機能と、
    を実現させ、
    前記生成する機能は、前記2軸のうちその一方の軸に対応する加速度データ内の特徴点毎に他方の軸に対応する加速度データ内の特徴点との相対的な関係を示すデータを他軸との相関特徴として求め、この他軸との相関特徴を含む成分毎の特徴点データを入力文字データとして生成し、
    前記基本文字データは、特徴点に関するデータとして前記他軸との相関特徴を含むデータである、
    ことを特徴とするプログラム。
  10. コンピュータに対して、
    少なくとも2軸の加速度センサを内蔵した筺体が平面内で移動されながら行われた文字を書く動作を前記加速度センサの計測結果に基づいて認識する場合に、前記筺体が平面内で移動されながら行われた文字を書く動作に応じた前記加速度センサの計測結果を、その各軸に対応する成分の加速度データとして取得する機能と、
    前記順次取得された成分毎の加速度データを、画と画との間の加速度を含めて文字の1画目から最後の画まで時間的に連続した一連の加速度データとし、その一連の加速度データの中に存在している複数の特徴点を成分毎にそれぞれ特定する機能と、
    前記特定された複数の特徴点を含む成分毎の特徴点データを入力文字データとして生成する機能と、
    予め文字認識用として用意されていて前記成分毎に複数の特徴点を含む基本文字データと前記生成された入力文字データとを照合することにより文字認識を行う機能と、
    前記取得された各軸に対応する成分毎の加速度データを、前記各軸をそれぞれ同じ方向に所定の角度回転することによりその回転座標系上での各軸に対応する成分毎の加速度データに回転変換する機能と、
    を実現させ、
    前記特定する機能は、前記取得された成分毎の加速度データの中に存在している複数の特徴点を本来の特徴点として成分毎にそれぞれ特定するとともに、前記回転変換された成分毎の加速度データの中に存在している複数の特徴点を回転後の特徴点として成分毎にそれぞれ特定し、
    前記生成する機能は、前記特定された本来の特徴点及び回転後の特徴点を含む成分毎の特徴点データを入力文字データとして生成し、
    前記文字認識を行う機能は、予め文字認識用の基本文字として前記本来の特徴点及び回転後の特徴点を含む基本文字データと前記生成された入力文字データとを照合することにより文字認識を行う、
    ようにしたことを特徴とするプログラム。
JP2010167143A 2010-07-26 2010-07-26 文字認識装置及びプログラム Expired - Fee Related JP4947501B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010167143A JP4947501B2 (ja) 2010-07-26 2010-07-26 文字認識装置及びプログラム
US13/189,744 US8571321B2 (en) 2010-07-26 2011-07-25 Character recognition device and recording medium
CN2011102086925A CN102346859B (zh) 2010-07-26 2011-07-25 文字识别装置
US13/778,253 US8538156B2 (en) 2010-07-26 2013-02-27 Character recognition device and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010167143A JP4947501B2 (ja) 2010-07-26 2010-07-26 文字認識装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2012027778A JP2012027778A (ja) 2012-02-09
JP4947501B2 true JP4947501B2 (ja) 2012-06-06

Family

ID=45780615

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010167143A Expired - Fee Related JP4947501B2 (ja) 2010-07-26 2010-07-26 文字認識装置及びプログラム

Country Status (1)

Country Link
JP (1) JP4947501B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202017105404U1 (de) * 2017-09-07 2018-12-10 Stabilo International Gmbh Bestimmung der Schreibrichtung mittels Inertialsensorik

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2940445B2 (ja) * 1995-09-08 1999-08-25 日本電気株式会社 ストロークパターン整合装置
JPH09114926A (ja) * 1995-10-13 1997-05-02 Seiko Epson Corp オンライン文字認識における入力文字大分類方法および装置
JPH1055409A (ja) * 1996-08-08 1998-02-24 Sharp Corp 手書き入力情報処理装置
JP2000268130A (ja) * 1999-03-18 2000-09-29 Sanyo Electric Co Ltd 文字軌跡検出方法、文字軌跡検出装置および記憶媒体
JP2001357356A (ja) * 2001-04-13 2001-12-26 Sharp Corp 手書き認識装置及び手書き認識方法
JP2008310588A (ja) * 2007-06-14 2008-12-25 Mitsubishi Electric Corp モーション認識装置

Also Published As

Publication number Publication date
JP2012027778A (ja) 2012-02-09

Similar Documents

Publication Publication Date Title
US8538156B2 (en) Character recognition device and recording medium
CN108596976B (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN104350509B (zh) 快速姿势检测器
CN107609489B (zh) 书法书写路径评价装置、方法及电子设备
KR102120864B1 (ko) 영상 처리 방법 및 장치
US10108270B2 (en) Real-time 3D gesture recognition and tracking system for mobile devices
CN109657533A (zh) 行人重识别方法及相关产品
US11100314B2 (en) Device, system and method for improving motion estimation using a human motion model
US9854155B1 (en) Determining camera auto-focus settings
CN102906671A (zh) 手势输入装置及手势输入方法
CN107832736B (zh) 实时人体动作的识别方法和实时人体动作的识别装置
EP2851868A1 (en) 3D Reconstruction
CN104487916A (zh) 有形对象与扩增实境对象的交互
CN110766025B (zh) 绘本识别方法、装置、系统及存储介质
CN105487644B (zh) 辨识装置、智能装置以及信息提供方法
CN112119627A (zh) 基于云台的目标跟随方法、装置、云台和计算机存储介质
CN107368181B (zh) 一种手势识别方法及装置
JP4947501B2 (ja) 文字認識装置及びプログラム
US9826156B1 (en) Determining camera auto-focus settings
JP4877621B1 (ja) 文字認識装置及びプログラム
CN104933677B (zh) 用以在多个讯框中决定多个候选讯框的方法
CN114202799A (zh) 被控对象变化速度确定方法、装置、电子设备及存储介质
Alam et al. An empirical study of image captioning using deep learning
Van Zaen et al. Gesture recognition for interest detection in mobile applications
CN118057810A (zh) 一种投影控制方法、投影设备和存储介质

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120213

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4947501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120226

LAPS Cancellation because of no payment of annual fees