JP3678388B2 - ペン型入力装置及びペン型入力装置のパターン認識方法 - Google Patents
ペン型入力装置及びペン型入力装置のパターン認識方法 Download PDFInfo
- Publication number
- JP3678388B2 JP3678388B2 JP21976497A JP21976497A JP3678388B2 JP 3678388 B2 JP3678388 B2 JP 3678388B2 JP 21976497 A JP21976497 A JP 21976497A JP 21976497 A JP21976497 A JP 21976497A JP 3678388 B2 JP3678388 B2 JP 3678388B2
- Authority
- JP
- Japan
- Prior art keywords
- axis
- pen
- acceleration
- pattern
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Discrimination (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は図形及び文字等を入力するペン型入力装置及びペン型入力装置のパターン認識方法に関するものである。
【０００２】
【従来の技術】
コンピュータ装置等の入力装置としてはキーボード、マウス、デジタイザ、ライトペン及びタブレット等が用いられている。コンピュータ装置の小型化に伴い、携帯端末装置のニーズが高まり利用者も年々増加している。そこで、小型の入力装置が求められるようになった。
【０００３】
キーボードの小型化にはヒューマンインターフェイスの点で限界があり、携帯端末装置の入力装置としては実用性が低い。また、マウスはポインティングデバイスとしては小型化が可能であるが、図形及び文字等の入力には適さない。
【０００４】
このため、携帯端末装置の入力装置としてはタブレットとペンを用いたペン型の入力装置が多く採用されている。このタブレットを用いたペン型の入力装置をさらに小型化しようとした場合にはタブレットの大きさが問題となる。そこで、例えば特開平６-67799号公報に掲載されたペン型のコンピュータ入力装置では２個の加速度センサからの信号を基に入力装置の移動方向と移動量を調べ、圧電振動ジャイロの信号を基に加速度センサが検出した移動方向及び移動量の入力装置のローテーションによる影響を検出して補正している。
【０００５】
また、入力文字の認識に対しては、例えば特開平７-175893号公報に掲載された手書き文字認識装置では、二つのニューラルネットワークを階層的に用い、第一段のニューラルネットワークを大まかな比較に用い、第二段のニューラルネットワークを詳細な比較に用いて、手書き文字の認識を行なうようにしている。
【０００６】
【発明が解決しようとする課題】
しかしながら、２個の加速度センサをペン先端部に取り付けることはできず、加速度センサの取付位置とペン先端部の位置は一致しない。このため、特開平６-67799号公報に掲載されたペン型のコンピュータ入力装置では、検出結果に誤差が生じる場合があり、紙面上のペン先端部の軌跡を正確に検出することができない場合がある。
【０００７】
さらに、上記誤差が累積することにより、ペン先端部の軌跡を正確に検出することがさらに困難になる。
【０００８】
また、特開平７-175893号公報に掲載された手書き文字認識装置では、入力パターンの認識を階層的に用いた二つのニューラルネットワークを用いて行なっているが、文字入力の場合は文字を構成する個々のパターンは同じであっても、文字により前後のパターンが大きく異なる場合が有り、この特徴を用いればさらに正確な文字認識を行なうことができる。
【０００９】
この発明はかかる短所を解消するためになされたものであり、センサ出力から直接入力パターンを検出することにより、誤差が累積して入力パターンの判別が困難になることを防止するとともに、正確な文字等の認識を行なうことを目的とする。
【００１３】
【課題を解決するための手段】
この発明に係るペン型入力装置は、少なくとも１個の加速度センサと少なくとも１個の回転角速度センサとデータ前処理部とウエーブレット変換部とニューラルネットワーク演算部と後処理部を有し、加速度センサはその数に応じてペン軸をＺｓ軸としたペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向のいずれか１方向、いずれか２方向又は３方向の加速度信号を出力し、回転角速度センサはその数に応じてＸｓ軸周り，Ｙｓ軸周り及びＺｓ軸周りのいずれか１軸周り、いずれか２軸周り又は３軸周りの回転角速度信号を出力し、データ前処理部は無筆記状態における少なくとも１個の加速度センサからの加速度信号を基にペン軸の傾斜角の初期値を演算し、筆記状態における少なくとも１個の回転角速度センサが出力した回転角速度信号から傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基に少なくとも１個の加速度センサが検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力加速度方向に伸びる軸をＺｇ軸にした重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換し、入力パターンに対応する加速度データの切り出しを行ない、ウエーブレット変換部はデータ前処理部が切り出した加速度データをウエーブレット変換して入力パターンを表わす係数を求め、ニューラルネットワーク演算部はウエーブレット変換部が求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出し、後処理部はニューラルネットワーク演算部による入力パターンの中間認識結果を基に入力パターンを判定して、ペン軸の傾斜による影響をなくす。
【００１４】
さらに、上記データ前処理部は無筆記状態における少なくとも１個の加速度センサからの加速度信号を基にペン軸の傾斜角の初期値を演算し、筆記状態における少なくとも１個の回転角速度センサからの回転角速度信号を基にペン軸の傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基に少なくとも１個の加速度センサが検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度を重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度に変換し、変換した加速度を積分してペン先端部の速度を求め、入力パターンに対応する速度データの切り出しを行ない、ウエーブレット変換部はデータ前処理部が切り出した速度データをウエーブレット変換して入力パターンを表わす係数を求めて、ペン軸の傾斜による影響をなくす。
【００１５】
さらに、上記データ前処理部が切り出したデータをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出するウエーブレットベーシスファンクション型ニューラルネットワーク演算部を有し、後処理部はウエーブレットベーシスファンクション型ニューラルネットワーク演算部による入力パターンの中間認識結果を基に入力パターンを判定して構成を簡単にする。
【００３０】
また、ペン型入力装置のパターン認識方法は、ペン軸をＺｓ軸としたペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向の無筆記状態における加速度データを基にペン軸の傾斜角の初期値を演算し、筆記状態におけるＸｓ軸周り，Ｙｓ軸周り及びＺｓ軸周りの回転角速度データを基にペン軸の傾斜角の変化を算出し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基にペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力加速度方向に伸びる軸をＺｇ軸にした重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換し、変換後の加速度データから入力パターンに対応する加速度データの切り出しを行ない、切り出した加速度データをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出し、入力パターンの中間認識結果を基に入力パターンを判定する。
【００３１】
また、ペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向の無筆記状態における加速度データを基にペン軸の傾斜角の初期値を演算し、筆記状態におけるＸｓ軸周り，Ｙｓ軸周り及びＺｓ軸周りの回転角速度データを基にペン軸の傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基にペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力加速度方向に伸びる軸をＺｇ軸にした重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換し、座標変換した加速度データを積分してペン先端部の速度データを求め、入力パターンに対応した速度データの切り出しを行ない、切り出した速度データをウエーブレット変換して入力パターンを表わす係数を求める。
【００３７】
【発明の実施の形態】
この発明のペン型入力装置は、コンピュータ装置等に文字、記号及び図形等を入力するものあり、特にペン先端部の筆記時の加速度及び回転角速度等の物理量を測定するセンサからの信号を基に直接に入力パターンの検出を行なうことにより検出誤差をなくすものである。
【００３８】
ペン型入力装置は、例えばペン型入力部とパターン認識装置を有する。ペン型入力部は少なくとも１個の加速度センサを備える。ペン型入力部が、例えば１個の加速度センサを備える場合は、加速度センサはペン軸をＺｓ軸としたペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向のいずれか１方向の加速度信号を出力する。また、ペン型入力部が、例えば２個の加速度センサを有する場合は、加速度センサはＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向のいずれか２方向の加速度信号を出力する。また、ペン型入力部が、例えば３個の加速度センサを有する場合は、各加速度センサはＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向の加速度信号を出力する。
【００３９】
パターン認識部は、データ前処理部とウエーブレット変換部とニューラルネットワーク演算部と後処理部を備える。データ前処理部は、例えばＡＤ変換器とデータ切出部を備える。ＡＤ変換器は加速度センサからの加速度信号をデジタル変換する。したがって、加速度センサが１個の場合はＡＤ変換器は１個で良く、加速度センサが２個の場合はＡＤ変換器は２個必要であり、加速度センサが３個の場合はＡＤ変換器は３個必要である。データ切出部はＡＤ変換部がデジタル変換した加速度データから入力パターンに対応した加速度データを切り出す。ここで、加速度データの切り出しは、例えば加速度データの値を予め定めた閾値と比較したり、加速度データの微分値を予め定めた閾値と比較したりして行なう。
【００４０】
ウエーブレット変換部はデータ前処理部が切り出した加速度データをウエーブレット変換して入力パターンを表わす複数の係数を求める。ここで、ウエーブレット変換は基本ウエーブレットと呼ばれている関数に平行移動を施したものと伸縮の操作を施したものとのたたみ込みで定義され、２乗可積分関数とそのフーリエ変換を同時に局所化する特徴を持ち、ウエーブレット級数の係数列の計算に関してリアルタイムなアルゴリズムをつくることができ、事象の生起時刻の情報を容易に扱うことができる。また、ウエーブレット変換では、ある点での関数値を表現するのに必要な項数は他の点での不連続性の程度にあまり影響されない。これは、基底関数が局所化されているためである。また、非定常的な部分での局所的な対応が可能になるので、パターンの境界の検出を行なうことができる。
【００４１】
ニューラルネットワーク演算部はウエーブレット変換部が求めた係数を基に認識対象パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出する。ここで、ニューラルネットワーク演算部は協調、競合作用及び自己組織化能力に基づいて入力信号をいくつかの特徴に分析すると共にそれらを統合するニューラルネットワークによって構成したものである。例えばニューラルネットワーク演算部は予め認識させたい情報を実際に入力し、そのデータをサンプリングしこれらのデータを入力層に入力し、出力層に分類したいパターン数分のニューロンを用意し、各パターンとニューロンを対応させておく。ある情報を入力したときそれに対応するニューロンの出力が「１」となり、それ以外のニューロンの出力が「０」となるように、例えば逆伝搬法（バックプロパゲーション法）等で学習しておく。ニューラルネットワーク演算部はこのようにして得られた結合係数と同じ結合係数でニューラルネットワーク演算を行なう。後処理部はニューラルネットワーク演算部の入力パターンの中間認識結果を基にニューロン出力が最も大きいものを選択し入力パターンを判定して、パターン認識率を高めると同時にパターン認識時間を短縮する。
【００４２】
また、ペン型入力部が加速度センサの代わりに少なくとも１個のジャイロを備えるようにしても良い。ペン型入力部が、例えば１個のジャイロを備える場合は、ジャイロはＸｓ軸，Ｙｓ軸及びＺｓ軸のいずれか１軸周りの回転角速度信号を出力する。また、ペン型入力部が、例えば２個のジャイロを備える場合は、ジャイロはＸｓ軸，Ｙｓ軸及びＺｓ軸のいずれか２軸周りの回転角速度信号を出力する。また、ペン型入力部が、例えば３個のジャイロを備える場合は、各ジャイロはＸｓ軸周り，Ｙｓ軸周り及びＺｓ軸周りの回転角速度信号を出力する。この場合、パターン認識部はジャイロからの回転角速度信号を基に入力パターンの認識を行なう。
【００４３】
さらに、ペン型入力部が少なくとも１個の加速度センサと少なくとも１個のジャイロを備えるようにしても良い。この場合、パターン認識部は加速度センサからの加速度信号及びジャイロからの回転角速度信号を基に入力パターンの認識を行なうので、パターン認識の基となるデータに異なった物理量のデータを用いることができ、さらに正確にパターン認識を行なうことができる。
【００４４】
さらに、ペン型入力部が３個の加速度センサと３個のジャイロを備えるようにしても良い。データ前処理部は、例えば初期傾斜角演算部と傾斜角変化演算部と傾斜角演算部と座標変換演算部と移動量演算部を備える。初期傾斜角演算部は無筆記状態で３個の加速度センサが検出した加速度を基にペン軸の傾斜角の初期値を演算する。傾斜角変化演算部は筆記状態で３個のジャイロを用いて検出した回転角速度の積分を行い傾斜角の変化を算出する。傾斜角演算部は初期傾斜角演算部が演算した傾斜角の初期値と傾斜角変化演算部が算出した傾斜角の変化を基に筆記中のペン軸の傾斜角を算出する。座標変換演算部は傾斜角演算部が算出した筆記中のペン軸の傾斜角を基に加速度センサが検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度を重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度に変換し、入力パターンに対応する加速度データの切り出しを行なう。これにより、ペン軸の傾斜による影響をなくすことができ、さらに正確にパターン認識を行なうことができる。
【００４５】
さらに、データ前処理部は重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）に変換後の加速度を積分して速度データを求め、ウエーブレット変換部はデータ前処理部からの速度データをウエーブレット変換するようにしても良い。
【００４６】
また、上記ニューラルネットワーク演算部の代わりにウエーブレットべーシスのファンクション型ニューラルネットワークを用いたウエーブレットべーシスファンクション型ニューラルネットワーク演算部を有し、ウエーブレットべーシスファンクション型ニューラルネットワーク演算部でデータ前処理部が切り出したデータをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出するようにしてウエーブレット変換部を無くしても良い。ここで、ウエーブレットべーシスのファンクション型ニューラルネットワークとは、例えば隠れニューロンの層にウエーブレット変換機能を備えるニューラルネットワークである。
【００４７】
ここで、特に文字入力の場合を考えると、上記のようにして認識したパターン（文字の構成パターン）を各文字間で比較した場合、各文字でそのパターンを入力する順番及び前後のパターンが異なる場合が多い。そこで、次ぎに示すように例えばパターンの入力順番毎に参照パターンを記憶し、文字入力の際にパターンの入力回数を計数し、そのパターンの入力順番により参照パターンを切り替えることにより、正確な文字認識を行なうようにしても良い。
【００４８】
また、ペン型入力装置は、例えばペン型入力部とパターン認識装置を有するようにしても良い。ペン型入力部は複数個、例えば２個の加速度センサを備える。各加速度センサは、ペン軸をＺｓ軸としたペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向のいずれか２方向の加速度信号を出力する。パターン認識装置は、例えば信号前処理部と入力回数カウンタと複数の参照パターン記憶部と参照パターン記憶部選択部と比較認識部を有する。信号前処理部は、例えばウエーブレット変換部を備え、ペン型入力部を用いて検出した加速度データから入力パターンに対応した加速度データを切り出し、切り出した加速度データをウエーブレット変換して入力パターンを表わす複数の係数を求める。入力回数カウンタは、信号前処理部からの信号を基にパターンの入力回数を計数する。各参照パターン記憶部はそれぞれパターンの入力回数に応じた複数の参照パターンを記憶する。参照パターン記憶部選択部は入力回数カウンタが計数した入力回数に応じて参照パターン記憶部を選択する。比較認識部は、例えばニューラルネットワーク演算部から成り、信号前処理部からの信号と参照パターン記憶部選択部が選択した参照パターン記憶部に記憶した参照パターンとを比較して、文字入力された場合の文字認識を行なう。
【００４９】
また、上記のように筆順を基に文字認識を行なう代わりに、先行パターン又は後続パターンを参照して文字認識を行なうようにしても良い。
【００５０】
また、上記のようにニューラルネットワークを用いたり、複数の参照パターンを予め用意する代わりに、例えば標準パターンを描いた場合の標準加速度パターンを複数の標準パターンに対して予め用意し、予め用意した標準加速度パターンと加速度センサを用いて検出した加速度のパターンとをＤＰマッチングによりマッチングしてパターン認識を行なっても良い。これにより、高精度でパターン認識を行なうことができるとともに用意するパターン数を減少することができる。ここで、ＤＰマッチングとは、動的計画法（Dynamic Programming）を用いて正規化を行なうマッチングであり、標準パターンのデータと検出したデータとの距離を計算して一番距離が短いデータのパターンを認識結果のパターンとするものである。ここで、上記「検出したデータ」としては、速度、加速度、回転角速度及び移動軌跡などがある。
【００５１】
【実施例】
図１はこの発明の一実施例のペン型入力装置の構成図である。図に示すように、ペン型入力装置はペン型入力部１とパターン認識装置２を有する。ペン型入力部１は、図２に示すように加速度センサ１１ａ，１１ｂ，１１ｃを備える。加速度センサ１１ａ，１１ｂ，１１ｃは、それぞれペン軸５をＺｓ軸とした場合の座標系（Ｘｓ，Ｙｓ，Ｚｓ）におけるＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向に向けて設けられ、Ｘｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向の加速度を検出する。ここで、加速度センサ１１ａ，１１ｂ，１１ｃの取付位置はペン型入力部１の内部でも表面でも良く、また、Ｘｓ軸，Ｙｓ軸及びＺｓ軸の各軸の運動を測定できる位置であれば、Ｘｓ軸，Ｙｓ軸及びＺｓ軸の各軸上でなくとも良い。加速度センサ１１ａ，１１ｂ，１１ｃは、小型で高感度、かつ、加速度検出の直線性が良好であれば良く、ピエゾ抵抗方式のものでも、圧電方式のものでも、静電容量方式のものでも良い。以下の説明では、特に断わらない限りペン軸５をＺｓ軸とした座標系をペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）といい、ペン軸５と直交する２軸をＸｓ軸及びＹｓ軸として説明する。また、重力加速度方向に伸びる軸をＺｇ軸とする座標系を重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）といい、Ｚｇ軸と直交する２軸をＸｇ軸及びＹｇ軸という。
【００５２】
パターン認識装置２はペン型入力部１からの加速度信号を、例えばケーブルを介して受信してパターン認識を行なうものであり、データ前処理部２１、ウエーブレット変換部２２ａ，２２ｂ，２２ｃ、ニューラルネットワーク演算部２３及び後処理部２４を備える。データ前処理部２１はＡＤ変換器２５ａ，２５ｂ，２５ｃ及びデータ切出部２６を有する。ＡＤ変換器２５ａ，２５ｂ，２５ｃはそれぞれ加速度センサ１１ａ，１１ｂ，１１ｃからの加速度信号をデジタル変換する。データ切出部２６はＡＤ変換部２５ａ，２５ｂ，２５ｃがデジタル変換した加速度データから入力パターンの加速度データを切り出す。ここで、加速度データの切り出しには、例えば加速度データの値を閾値と比較したり、加速度データの微分値を閾値と比較したりする。
【００５３】
ウエーブレット変換部２２ａ，２２ｂ，２２ｃはデータ前処理部２１が切り出したＸｓ軸方向の加速度データ、Ｙｓ軸方向の加速度データ及びＺｓ軸方向の加速度データをそれぞれウエーブレット変換して入力パターンを表わす係数を求める。
【００５４】
ニューラルネットワーク演算部２３は、図３に示すようなニューラルネットワーク２３１を備え、ウエーブレット変換部２２ａ，２２ｂ，２２ｃが求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出する。ここで、ニューラルネットワーク演算部２３は協調、競合作用及び自己組織化能力に基づいて入力信号をいくつかの特徴に分析すると共に、それらを統合するニューラルネットワークによって構成したものである。例えばニューラルネットワーク演算部２３は予め認識させたい情報を実際に入力し、そのデータをサンプリングしてこれらのデータを入力層に入力し、出力層に分類したいパターン数分のニューロンを用意し、各パターンとニューロンを対応させておく。ある情報を入力したときそれに対応するニューロンの出力が「１」となり、それ以外のニューロンの出力が「０」となるように、例えば逆伝搬法（バックプロパゲーション法）等で学習しておく。ニューラルネットワーク演算部２３はこのようにして得られた結合係数と同じ結合係数でニューラルネットワーク演算を行なう。後処理部２４はニューラルネットワーク演算部２３の入力パターンの中間認識結果を基にニューロン出力が最も大きいものを選択し入力パターンを判定する。
【００５５】
上記構成のペン型入力装置で入力パターン認識を行なう場合の動作について、図４のフローチャートを参照して説明する。
【００５６】
ペン型入力部１の加速度センサ１１ａ，１１ｂ，１１ｃはそれぞれＸｓ方向，Ｙｓ方向，Ｚｓ方向の加速度信号をパターン認識装置２のデータ前処理部２１に送信する。データ前処理部２１のＡＤ変換器２５ａ，２５ｂ，２５ｃは加速度センサ１１ａ，１１ｂ，１１ｃからの加速度信号をデジタル変換する。データ前処理部２１のデータ切出部２６は、例えばＡＤ変換器２５ａ，２５ｂ，２５ｃからの加速度信号を微分し、図５に示すように加速度信号Ａの微分値のいずれかが予め定めた閾値を越えたると、筆記中と判断してその加速度データを切り出し、Ｘｓ軸，Ｙｓ軸及びＺｓの各軸方向の加速度データをそれぞれウエーブレット変換部２２ａ，２２ｂ，２２ｃに送る（ステップＳ１，Ｓ２）。ここで、図中Ｂは上記のようにして加速度データを切り出した範囲を示す。これにより、ウエーブレット変換部２２ａ，２２ｂ，２２ｃでは入力パターンに係わる加速度データのみを処理することができる。ここで、データ前処理部２１にノイズフィルタなどを設けても良い。また、図５に示すようにデータにオフセット成分があるのは重力加速度による成分である。
【００５７】
ウエーブレット変換部２２ａ，２２ｂ，２２ｃはそれぞれデータ切出部２６が切り出したＸｓ軸方向の加速度、Ｙｓ軸方向の加速度及びＺｓ軸方向の加速度を、例えば時間軸及び周波数で規格化する（ステップＳ３）。例えば加速度を時間軸１秒で規格化し、周波数１Ｈｚ，２Ｈｚ，４Ｈｚ及び８Ｈｚの係数を計算すると、係数は各々１個，２個，４個及び８個得られるので、合計１５個になる。加速度はＸｓ軸方向の加速度、Ｙｓ軸方向の加速度及びＺｓ軸方向の加速度の３種類あるので、合計して４５個の係数を得ることができる。このように、加速度データをウエーブレット変換をして時刻と周波数の同時解析を行なうので、事象の生起時刻の情報を容易に扱うことができる。また、非定常的な部分での局所的な対応が可能になるので、パターンの境界の検出を行なうことができる。
【００５８】
ニューラルネットワーク演算部２３はウエーブレット変換部２２ａ，２２ｂ，２２ｃからの係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴を基に入力パターンの中間認識結果を算出する（ステップＳ４）。後処理部２４はニューラルネットワーク演算部２３の入力パターン中間認識結果を入力して、入力パターンを判定する（ステップＳ５）。これにより、文字、図形及びその構成要素を入力することができると共に、正確且つ迅速に入力パターンを認識することができる。ここで、文字の構成要素の入力があった場合の文字の認識には、例えばパターンマッチング等の方法を用いる。
【００５９】
ペン型入力装置１は上記動作（ステップＳ２〜Ｓ５）をデータ切出部２６がデータを切り出している間繰り返し、文字等を入力する（ステップＳ６）。加速度センサ１１ａ，１１ｂ，１１ｃからの加速度信号を基にペンの移動方向及び移動距離を求めて、求めた移動方向及び移動距離を基に入力パターン認識を行なうと、ペン先端部６と加速度センサ１１ａ，１１ｂ，１１ｃの取付位置の差を原因とする誤差が累積して入力パターンを誤認識することがあったが、このように、加速度センサ１１ａ，１１ｂ，１１ｃからの加速度信号を直接に用いて、入力パターンの認識を行なうことにより累積誤差による誤認識の発生を防止できる。
【００６０】
ここで、上記実施例では加速度センサ１１ａ，１１ｂ，１１ｃを用いたが、入力パターンによっては加速度センサを１個にしたり、２個にしたりしても良い。前記の例では加速度センサが１個の場合のウエーブレット変換後の係数は１５個、加速度センサが２個の場合のウエーブレット変換後の係数は３０個となる。
【００６１】
また、データ前処理部２１にデータ切出部２６が切り出した加速度データを一時的に記憶するメモリなどを設けても良い。それにより、ニューラルネットワーク演算部２３を階層型のニューラルネットワークで構成することができる。また、データ切出部２６が切り出した加速度データを一時的に記憶することにより、多くの時系列データを要する入力パターンの認識をできるようになる。
【００６２】
また、上記実施例ではＸｓ軸方向、Ｙｓ軸方向及びＺｓ軸方向の加速度データ毎にウエーブレット変換部を設けたが、ウエーブレット変換部を１つにして、Ｘｓ軸、Ｙｓ軸及びＺｓ軸の各軸方向の加速度を順に処理するようにしても良い。
【００６３】
また、上記実施例ではＸｓ軸方向、Ｙｓ軸方向及びＺｓ軸方向の加速度を検出して、入力パターンの認識を行なったが、加速度センサの代わりに、図６に示すようにジャイロ１２ａ，１２ｂ，１２ｃを設けたり、さらに図７に示すように加速度センサ１１ａ，１１ｂ，１１ｃとジャイロ１２ａ，１２ｂ，１２ｃの双方を設けても良い。加速度センサ１１ａ，１１ｂ，１１ｃとジャイロ１２ａ，１２ｂ，１２ｃを３個ずつ用いた場合のウエーブレット変換後の係数の数は、前記の例では１信号当たり１５個あるので９０個となる。ここで、加速度センサ１１ａ，１１ｂ，１１ｃ及びジャイロ１２ａ，１２ｂ，１２ｃの数は入力パターンによっては１個にしたり、２個にしたりしても良い。
【００６４】
次ぎに、他の実施例としてペン軸５の傾斜角の影響を無くした加速度データを用いてパターン認識をするペン型入力装置について説明する。ペン型入力装置は、図８に示すようにペン型入力部１ｂとパターン認識装置２ａを有する。ペン型入力部１ｂはＸｓ軸加速度センサ１１ａ、Ｙｓ軸加速度センサ１１ｂ、Ｚｓ軸加速度センサ１１ｃ、Ｘｓ軸ジャイロ１２ａ、Ｙｓ軸ジャイロ１２ｂ及びＺｓ軸ジャイロ１２ｃを備える。Ｘｓ軸加速度センサ１１ａ、Ｙｓ軸加速度センサ１１ｂ、Ｚｓ軸加速度センサ１１ｃ、Ｘｓ軸ジャイロ１２ａ、Ｙｓ軸ジャイロ１２ｂ及びＺｓ軸ジャイロ１２ｃはそれぞれＸｓ軸方向の加速度、Ｙｓ軸方向の加速度、Ｚｓ軸方向の加速度、Ｘｓ軸周りの回転角速度、Ｙｓ軸周りの回転角速度及びＺｓ軸周りの回転角速度を示す信号を出力する。
【００６５】
パターン認識装置２ａはデータ前処理部２１ａ、ウエーブレット変換部２２及びニューラルネットワーク演算部２３を備える。データ前処理部２１ａはＡＤ変換器２５ａ〜２５ｆ、ローパスフィルタ（以下「ＬＰＦ」という。）２７ａ〜２７ｆ、筆記状態判別部２８、初期傾斜角演算部２９、傾斜角変化演算部３０、傾斜角演算部３１及び座標変換演算部３２を有する。ＡＤ変換器２５ａ〜２５ｆはそれぞれＸｓ軸加速度センサ１１ａ、Ｙｓ軸加速度センサ１１ｂ、Ｚｓ軸加速度センサ１１ｃ、Ｘｓ軸ジャイロ１２ａ、Ｙｓ軸ジャイロ１２ｂ及びＺｓ軸ジャイロ１２ｃからの加速度信号及び回転角速度信号をデジタル変換する。ＬＰＦ２７ａ〜２７ｆはＡＤ変換器２５ａ〜２５ｆがデジタル変換した加速度信号及び回転角速度信号からペン先端部６と筆記面との摩擦力により生じる高周波成分を遮断する。筆記状態判別部２８は、例えばハイパスフィルタ（以後、「ＨＰＦ」という。）を備え、ＡＤ変換器２５ａ〜２５ｆがデジタル変換した加速度信号及び回転角速度信号からペン先端部６と筆記面との摩擦力により生じる高周波成分を検出すると筆記状態と判別する。
【００６６】
初期傾斜角演算部２９は無筆記状態で３個の加速度センサ１１ａ，１１ｂ，１１ｃが検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）での加速度を基にペン軸５の傾斜角の初期値θ0，φ0及びΨ0を演算する。傾斜角変化演算部３０は筆記状態で３個のジャイロ１２ａ，１２ｂ，１２ｃが検出した回転角速度Ｐ，Ｑ，Ｒを基にペン軸５の傾斜角の変化Δθ，Δφ及びΔΨを演算する。ここで、傾斜角変化演算部３０はΨ0をゼロとして傾斜角の変化Δθ，Δφ及びΔΨを算出する。傾斜角演算部３１は初期傾斜角演算部２９が演算したペン軸５の傾斜角の初期値θ0，φ0及びΨ0と傾斜角変化演算部３０が演算したペン軸５の傾斜角の変化Δθ，Δφ及びΔΨを基に、筆記中のペン軸５の傾斜角θ，φ及びΨを求める。座標変換演算部３２は傾斜角演算部３１が検出した筆記中のペン軸５の傾斜角θ，φ及びΨと加速度センサ１１ａ，１１ｂ，１１ｃが検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度を基に重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）による加速度を算出する。
【００６７】
ここで、上記傾斜角の算出について説明する。重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）からペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）への変換は、次式により行うことができる。
【００６８】
【数１】
【００６９】
この式をペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）から重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）への変換式に変形すると、次に示すようになる。
【００７０】
【数２】
【００７１】
上記式を一時的な近似式で近似して加速度ベクトルの変換式とする。ここで、Ａxs，Ａys及びＡzsはペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）における加速度センサ１１ａ，１１ｂ，１１ｃが検出した加速度ベクトルであり、Ａxg，Ａyg，Ａzgは重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度ベクトルである。
【００７２】
【数３】
【００７３】
上記一時的な近似式に加速度ベクトルＡxs，Ａys，Ａzs及び傾斜角θ，φ，Ψを代入すると筆記面上での加速度ベクトルＡxg，Ａyg，Ａzgが求まる。
【００７４】
一方、静止状態の加速度は次式で表わすことができる。
【００７５】
【数４】
【００７６】
これを代入して、加速度センサ１１ａ，１１ｂ，１１ｃで検出する加速度を次式で表わすことができる。
【００７７】
【数５】
【００７８】
このように、静止状態のペン軸５の重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における傾斜角θ0，φ0，Ψ0を求めることができる。
【００７９】
ここで、静止状態の回転角θ0，φ0に対して３本の方程式を立てることができるので、重力加速度ｇについても未知数として取り扱うことができ、ｇの値を定義しなくとも静止状態の傾斜角θ0，φ0の絶対値を算出することができる。
【００８０】
ペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）の各軸Ｘｓ，Ｙｓ，Ｚｓの回転角速度をＰ，Ｑ，Ｒとすると、回転角速度Ｐ，Ｑ，Ｒと傾斜角変化ΔΨ，Δθ，Δφの関係は次の式で求めることができる。
【００８１】
【数６】
【００８２】
これにより、各時間での傾斜角Ψ，θ，φを求めることができる。
【００８３】
ウエーブレット変換部２２はデータ前処理部２１ａが座標変換して切り出した加速度データをウエーブレット変換により規格化して、入力パターンを表わす複数の係数を求める。ニューラルネットワーク演算部２３はウエーブレット変換部２１ａが求めた係数を基に入力した入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出する。後処理部２４はニューラルネットワーク演算部２３の入力パターンの中間認識結果を基に最もニューロンが大きいものを選択し入力パターンを判定する。
【００８４】
上記構成のペン型入力装置の動作を、図９のフローチャートを参照して説明する。
【００８５】
加速度センサ１１ａ，１１ｂ，１１ｃはそれぞれＸｓ軸方向，Ｙｓ軸方向，Ｚｓ軸方向の加速度を検出する。筆記状態判別部２８はＡＤ変換器２５ａ〜２５ｆを介して入力した加速度センサ１１ａ，１１ｂ，１１ｃ及びジャイロ１２ａ，１２ｂ，１２ｃからの信号の高周波成分を抽出して、筆記中であるか否かを示す信号を出力する。このように、ペン先端部６と筆記面との摩擦力により生じる高周波信号を検出して筆記中か否かを判断するので、容易かつ正確に筆記中であるか否かを検出できる。
【００８６】
初期傾斜角演算部２９は筆記状態判別部２８から筆記中でないことを示す信号を受けると、Ｘｓ軸加速度センサ１１ａ、Ｙｓ軸加速度センサ１１ｂ及びＺｓ軸加速度センサ１１ｃからそれぞれ加速度信号を入力し、ペン軸５の傾斜角の初期値θ0，φ0及びΨ0を算出する（ステップＳ１１、Ｓ１２）。傾斜角変化演算部３０は筆記状態判別部２８から筆記中であることを示す信号を受けると（ステップＳ１１）、３個のジャイロ１２ａ，１２ｂ，１２ｃが検出した回転角速度Ｐ，Ｑ，Ｒを基にペン軸５の傾斜角の変化Δθ，Δφ及びΔΨを演算する（ステップＳ１３）。
【００８７】
傾斜角演算部３１は、上記のように初期傾斜角演算部２９が演算したペン軸５の傾斜角の初期値θ0，φ0，Ψ0と傾斜角変化演算部３０が演算したペン軸５の傾斜角の変化Δθ，Δφ，ΔΨを基に、φ＝φ0＋Σ（Δφ）dt，θ＝θ0＋Σ（Δθ）dt，Ψ＝Ψ0＋Σ（ΔΨ）dtを計算して筆記中のペン軸５の傾斜角θ，φ，Ψを求める（ステップＳ１４）。座標変換演算部３２は傾斜角演算部３１が算出した筆記中の傾斜角θ，φ，Ψを基に加速度センサ１１ａ，１１ｂ，１１ｃを用いて検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）の加速度Ａxs，Ａys，Ａzsを重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）による加速度Ａxg，Ａyg，Ａzgに変換する（ステップＳ１５）。なお、ペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）の加速度Ａxs，Ａys，Ａzsを重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）による加速度Ａxg，Ａyg，Ａzgに変換するには既に説明した変換式を用いる。これにより、ペン軸５に傾斜による影響をなくすことができる。また、筆記状態判別部２８で筆記状態か否かを判別するので座標変換演算部３２では、筆記中のパターンに係わる加速度データを切り出すことができる。
【００８８】
ウエーブレット変換部２２はデータ前処理部２１ａが座標変換及び切り出しした加速度データをウエーブレット変換して入力パターンを表わす係数を求める（ステップＳ１６）。ニューラルネットワーク演算部２３はウエーブレット変換部２２が求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴を基に入力パターンの中間認識結果を算出する（ステップＳ１７）。後処理部２４はニューラルネットワーク演算部２３の入力パターン中間認識結果を入力して、入力パターンを判定する（ステップＳ１８）。これにより、文字、図形及びその構成要素を入力することができると共に、正確且つ迅速に入力パターンを認識することができる。
【００８９】
ペン型入力装置は上記動作（ステップＳ１３〜Ｓ１８）を筆記状態判別部２８が筆記中であることを示す信号を出力している間繰り返し、図形等を入力する（ステップＳ１９）。このように、ペン型入力装置の重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における傾斜による影響を無くすことにより正確に図形等のパターンを入力することができる。
【００９０】
ここで、上記実施例ではウエーブレット変換部２２とニューラルネットワーク演算部２３を別々に設けたが、例えば図１０に示すように、例えば隠れニューロンの層２３２ｂにウエーブレットファンクションを備えるウエーブレットベーシスファンクション型ニューラルネットワーク２３２を備えるウエーブレットベーシスファンクション型ニューラルネットワーク演算部を用いて両者を一つにまとめても良い。ウエーブレットベーシスファンクション型ニューラルネットワーク演算部の学習には、例えば最急降下法等を用いる。ここで、最急降下法とはエネルギ関数が最も急勾配に減少する方向へ重みを変化させる方法である。
【００９１】
また、実施例ではデータ前処理部２１ａで加速度センサ１１ａ，１１ｂ，１１ｃを用いて検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換し、入力パターンに対応する加速度データの切り出しを行なったが、加速度センサ１１ａ，１１ｂ，１１ｃを用いて検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換する座標変換部を設けてこの処理をデータ前処理部２１ａから分離しても良い。
【００９２】
さらに、データ前処理部２１ａでは重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）に変換後の加速度データを積分して速度データを求め、求めた速度データから入力パターンに対応する加速度データの切り出しを行うようにしても良い。これにより、ウエーブレット変換部２２で扱うデータ数を減らして、処理を高速化できる。
【００９３】
さらに、データ前処理部２１ａで座標変換後の加速度を基にペン先端部６の移動方向及び移動距離を求め、ペン先端部６の移動方向及び移動距離からペン先端部６の座標を求めて入力パターンを描くペン先端部６の座標データの切り出しを行ないデータ数を減らした後に、切り出した座標データをウエーブレット変換部２２でウエーブレット変換して入力パターンを表わす係数を求めるようにして、さらにニューラルネットワーク演算の負荷を軽くしても良い。
【００９４】
さらに、上記実施例ではいずれも、個々のパターン認識の精度を向上するようにしているが、以下に示すように文字認識の場合は各パターン間の関連を検出することによりさらにパターン認識の精度を向上できる。
【００９５】
ペン型入力装置は、例えば図１１に示すようにペン型入力部１ｃとパターン認識装置２ｂを有する。ペン型入力部１ｃは加速度センサ１１ａ，１１ｂを備える。各加速度センサ１１ａ，１１ｂは、例えばＸｓ軸方向及びＹｓ軸方向の加速度を示す信号を出力する。パターン認識装置２ｂは、例えば複数の参照パターン記憶部３３ａ〜３３ｎ、信号前処理部３４、入力回数カウンタ３５、参照パターン記憶部選択部３６及び比較認識部３７を備える。参照パターン記憶部３３ａ〜３３ｎはそれぞれ入力回数毎に分けられ、その入力回数に応じた複数の参照パターンを記憶する。信号前処理部３４は、例えばＡＤ変換器３４１，３４２及びウエーブレット変換部３４３を備える、ＡＤ変換器３４１，３４２は加速度センサ１１ａ，１１ｂからの加速度信号をデジタル変換する。ウエーブレット変換部３４３３４３は、ＡＤ変換部３４１、３４２でデジタル変換した加速度信号をウエーブレット変換して入力パターンを表わす係数を求める。入力回数カウンタ３５は信号前処理部３４からの信号を基にパターンの入力回数を計数する。参照パターン記憶部選択部３６は、入力回数カウンタ３５からの入力回数を示す信号を基にその入力回数に対応した参照パターンを記憶した参照パターン記憶部３３ａ〜３３ｎを選択する。比較認識部３７は、例えばニューラルネットワーク演算又は決定木アルゴリズムを用いて、信号前処理部３４からの入力パターンを表す係数等と参照パターン記憶部選択部３６が選択した参照パターン記憶部３３ａ〜３３ｎに記憶した参照パターンとを比較し、入力文字の認識を行なう。
【００９６】
上記構成のペン型入力装置の動作について、図１２のフローチャートを参照して説明する。
【００９７】
文字の筆記入力を開始すると、信号前処理部３４はペン型入力部１ｃの加速度センサ１１ａ，１１ｂから入力パターンを示す加速度信号を読み込み（ステップＳ２１）、デジタル変換及びウエーブレット変換等の前処理を行なう（ステップＳ２２）。例えば文字「一」と文字「右」と文字「左」を描くと、それぞれの文字を示す加速度信号をウエーブレット変換して得たウエーブレット係数は、図１３（ａ）、図１３（ｂ）及び図１３（ｃ）に示すようになる。入力回数カウンタ３５は、信号前処理部３４が前処理を行なった結果を入力し、パターンの入力回数をカウントアップする（ステップＳ２３）。参照パターン記憶部選択部３６は、参照パターン記憶部３３ａ〜３３ｎの中から入力回数カウンタ３５の計数値に対応した入力回数に対する参照パターンを記憶した参照パターン記憶部３３ａ〜３３ｎを選択する（ステップＳ２４）。比較認識部３７は信号前処理部３４が前処理を行なった後の入力パターンを示す信号と参照パターン記憶部選択部３６が選択した参照パターン記憶部３３ａ〜３３ｎに記憶した参照パターンとを比較して、入力文字の認識を行なう（ステップＳ２５，Ｓ２６）。ここで、各参照パターン記憶部３３ａ〜３３ｎには、図１４に示すように入力回数に応じた複数の参照パターン３３１が記憶されている。例えば文字「右」と文字「左」を描くと、その筆順は、それぞれ図１５（ａ）及び図１５（ｂ）に示すようになっているので、文字「右」の第二ストロークは文字「左」の第一ストロークと同じパターンを構成している。したがって、このパターンを、例えば第一ストロークに対する参照パターンを記憶した参照パターン記憶部３３ａと、第二ストロークに対する参照パターンを記憶した参照パターン記憶部３３ｂに記憶し、第二ストロークの場合は入力パターンを参照パターン記憶部３３ｂに記憶した参照パターンと比較し、このパターンが第二ストロークに表れたことを検出することにより、ユーザが文字「左」ではなく文字「右」を入力していることが分かる。ここで、第二ストロークにおいて、このパターンと同じパターンを有する文字が複数ある場合は、同様の処理を次ぎのパターンで繰り返して候補となる文字を絞り込むことにより、入力文字を認識する。
【００９８】
また、上記のように筆順を中心に文字判別を行なう代わりに、前後の入力パターンとの関係を基に入力文字の認識を行なうようにしても良い。
【００９９】
ペン型入力装置は、例えば図１６に示すようにペン型入力部１ｃとパターン認識装置２ｃとを備える。パターン認識装置２ｃは複数の参照パターン記憶部３３ａ〜３３ｎ、先行パターン記憶部３８、信号前処理部３４、参照パターン記憶部選択部３６及び比較認識部３７を有する。各参照パターン記憶部３３ａ〜３３ｎは、先行パターン毎に分けられそれぞれ先行パターンに応じた複数の参照パターンを記憶する。先行パターン記憶部３８は前回入力したパターンの認識結果を記憶する。参照パターン記憶部選択部３６は先行パターン記憶部３８に記憶した前回入力したパターンを基に参照パターン記憶部３３ａ〜３３ｎの中から一つを選択する。
【０１００】
上記構成のペン型入力装置の動作を、図１７のフローチャートを参照して説明する。
【０１０１】
既に説明したように文字の筆記入力を開始すると、信号前処理部３４はペン型入力部１ｃの加速度センサ１１ａ，１１ｂから入力パターンを示す加速度信号を読み込み（ステップＳ３１）、デジタル変換及びウエーブレット変換等の前処理を行なう（ステップＳ３２）。参照パターン記憶部選択部３６は、先行パターン記憶部３８から前回入力したパターンの認識結果を読み出し（ステップＳ３３）、参照パターン記憶部３３ａ〜３３ｎの中から前回入力したパターンの認識結果に対応した入力回数に対する参照パターンを記憶した参照パターン記憶部３３ａ〜３３ｎを選択する（ステップＳ３４）。比較認識部３７は信号前処理部３４が前処理を行なった後の入力パターンを示す信号と参照パターン記憶部選択部３６が選択した参照パターン記憶部３３ａ〜３３ｎに記憶した参照パターンとを比較して、入力文字の認識を行なう（ステップＳ３５，Ｓ３６）。また、比較認識部３７は、パターンの認識結果を先行パターン記憶部３８に記憶して、次ぎのパターンにおいての認識動作の準備をする（ステップＳ３７）。このように過去のパターン入力を参照して入力文字の認識を行なうことにより、さらに正確に入力文字の候補の絞り込みを行なうことができ、正確な入力文字の認識を行なうことができる。
【０１０２】
さらに、上記のようにして入力文字の認識を行なった後に、その認識結果を参照パターン記憶部３３ａ〜３３ｎに記憶し、次ぎに同じ文字を入力する場合にさらに簡単に認識できるようにしても良い。
【０１０３】
また、上記実施例では前回入力したパターンを参照して、参照パターン記憶部３３ａ〜３３ｎを選択したが、文字認識対象パターンの次ぎに入力するパターンを参照して参照パターン記憶部３３ａ〜３３ｎを選択するようにしても良い。
【０１０４】
この場合、図１８に示すようにペン型入力装置のパターン認識装置２ｄは、例えば参照パターン記憶部３３ａ〜３３ｎ、信号前処理部３４、入力パターンバッファ３９、後続入力読取部４０、後続パターン認識結果記憶部４３、参照パターン記憶部選択部３６及び比較認識部３７を備える。各参照パターン記憶部３３ａ〜３３ｎは、後続のパターン毎に分けられそれぞれ後続パターンに応じた複数の参照パターンを記憶する。入力パターンバッファ３９は、文字認識対象のパターンを示す加速度信号の前処理結果を記憶する。後続入力読取部４０は、例えば後続参照パターン記憶部４１と後続パターン比較認識部４２を有する。後続参照パターン記憶部４１は文字認識対象パターンの次ぎのパターンを認識する際に用いる参照パターンを記憶する。後続パターン比較認識部４２は、文字認識対象パターンの次ぎのパターンを信号前処理部３４を介して読み込み、後続参照パターン記憶部４１に記憶した参照パターンと比較してパターン認識を行なう。後続パターン認識結果記憶部４３は、後続パターン比較認識部４２による後続パターンの認識結果を記憶する。参照パターン記憶部選択部３６は、後続パターン認識結果記憶部４３に記憶したパターンの認識結果に応じて参照パターン記憶部３３ａ〜３３ｎを選択する。比較認識部３７は、例えばニューラルネットワーク演算部３７１を備え、信号前処理部３４で処理した後の加速度信号のパターンと参照パターン記憶部選択部３６が選択した参照パターン記憶部３３ａ〜３３ｎに記憶した参照パターンとを比較して、文字認識を行なう。
【０１０５】
この場合のペン型入力装置の動作について、図１９のフローチャートを参照して説明する。
【０１０６】
既に説明したように文字の筆記入力を開始すると、信号前処理部３４はペン型入力部１ｃの加速度センサ１１ａ，１１ｂから入力パターンを示す加速度信号を読み込み（ステップＳ４１）、前処理を行なう（ステップＳ４２）。信号前処理部３４は前処理を行なった結果を入力パターンバッファ３９に記憶する（ステップＳ４３）。これにより、次ぎに後続のパターンを示す信号を入力しても、文字認識対象パターンに対する処理が終了するまで、文字認識対象パターンを示す信号を保持することができる。
【０１０７】
この後、後続パターン比較認識部４２は信号前処理部３４を介して、後続パターンを示す加速度信号を入力する（ステップＳ４４，Ｓ４５）。後続パターン比較認識部４２は、入力した後続パターンを示す加速度信号のパターンと後続参照パターン記憶部４１に記憶した参照パターンとを比較して後続パターンの認識を行ない、認識結果を後続パターン認識結果記憶部４３に記憶する（ステップＳ４６）。このように、後続パターンの認識結果を後続パターン認識結果記憶部４３に記憶することにより、先行パターンを用いる場合と同様に、後続パターンを基に参照パターン記憶部３３ａ〜３３ｎを選択することができる。
【０１０８】
参照パターン記憶部選択部３６は、後続パターン認識結果記憶部４３から後続パターンの認識結果を読み出し、参照パターン記憶部３３ａ〜３３ｎの中から後続パターンの認識結果に対応した参照パターン記憶部３３ａ〜３３ｎを選択する（ステップＳ４７）。比較認識部３７は信号前処理部３４が前処理を行なった後の入力パターンを示す信号と参照パターン記憶部選択部３６が選択した参照パターン記憶部３３ａ〜３３ｎに記憶した参照パターンとを比較して、入力文字の認識を行なう（ステップＳ４８，Ｓ４９）。このように後続パターンを参照して入力文字の認識を行なうことにより、さらに正確に入力文字の候補の絞り込みを行なうことができ、正確な入力文字の認識を行なうことができる。
【０１０９】
また、上記実施例では参照パターン記憶部３３ａ〜３３ｎを切り替えて、入力文字の認識を行なったが、パターンの入力順などに応じた認識を行なう複数のパターン認識部を切り替えるようにしても良い。
【０１１０】
ペン型入力装置は、例えば図２０に示すように信号前処理部３４、パターン認識部４４ａ〜４４ｎ、入力回数カウンタ３５及び認識部選択部４５を備えるパターン認識装置２ｅを有する。各パターン認識部４４ａ〜４４ｎは、参照パターン記憶部３３ａ〜３３ｎ及び比較認識部３７ａ〜３７ｎを備え、それぞれパターンの入力回数に対応した入力文字認識を行なう。例えばパターン認識部４４ａは入力パターンが第１回目のストロークである場合の文字認識を行ない、パターン認識部４４ｂは入力パターンが第２回目のストロークである場合の文字認識を行なう。認識部選択部４５は入力回数カウンタ３５の計数値に応じてパターン認識部４４ａ〜４４ｎを選択して、選択したパターン認識部４４ａ〜４４ｎの認識結果を出力する。このように、複数のパターン認識部４４ａ〜４４ｎにより同時に処理することにより、パターンの認識処理の効率を高めることができる。ここで、各比較認識部３７ａ〜３７ｎ、例えば異なった構造のニューラルネットワーク演算部を備えるようにしても良い。例えばバリエーションの大きい第１回目のストロークに対しては大きな中間層を持つニューラルネットワーク演算部を用い、バリエーションの小さい他のストロークに対しては中間層の小さいニューラルネットワーク演算部を用いるようにしても良い。
【０１１１】
また、上記実施例ではパターンの入力順を基にパターン認識部４４ａ〜４４ｎを選択したが、例えば図２１に示すように信号前処理部３４、パターン認識部４４ａ〜４４ｎ、認識部選択部４５及び先行パターン記憶部３８を備えるパターン認識装置２ｆを用いて先行パターンを基にパターン認識部４４ａ〜４４ｎを選択するようにしても良い。
【０１１２】
また、ペン型入力装置は、例えば図２２に示すように信号前処理部３４、パターン認識部４４ａ〜４４ｎ、後続入力読取部４０、後続パターン認識結果記憶部４３及び認識部選択部４５を備えるパターン認識装置２ｇを用いて後続パターンを基にパターン認識部４４ａ〜４４ｎを選択するようにしても良い。
【０１１３】
また、前記実施例ではウエーブレット変換部２２ａ，２２ｂ，２２ｃ及びニューラルネットワーク演算部２３を用いてパターン認識を行なったが、図２３に示すようにＤＰマッチング部４７を備え、ＤＰマッチング部４７でＤＰマッチングを行なうことにより、パターン認識を行なうようにしても良い。
【０１１４】
ペン型入力部１は、例えば図５に示すようなアナログ信号Ａを出力する。ＡＤ変換器２５ａ，２５ｂ，２５ｃはこのペン型入力部１が出力したアナログ信号をデジタル変換する。データ切出部２６はこの信号から認識したいパターンに対応する部分を切り出す。このデータ切出部２６の切り出しには、例えばデジタル変換して得たデータの値又はその微分値の閾値で判断する。加速度センサ１１ａ，１１ｂ，１１ｃからの出力信号は重力の影響でオフセットを持っており、その値は一定ではないので微分値の閾値で判断すると特に有効である。
【０１１５】
標準パターン記憶部４６は複数の標準パターン各々に対する標準加速度パターンを記憶する。ここで、標準パターンとは、例えば第一水準の漢字等のパターンをいう。ＤＰマッチング部４７はデータ切出部２６が切り出した加速度データのパターンと標準パターン記憶部４６に記憶した標準加速度パターンとをＤＰマッチング行ない、ペン先端部６の移動パターンを認識する。ここで、上記ＤＰマッチングにおいては加速度データのパターンと標準パターン記憶部４６に記憶した各標準加速度パターンとの距離を算出し、その距離が最小の標準加速度パターンに対応するパターンが入力パターンであると判断する。この場合、加速度センサが複数あるので、ＤＰマッチング部４７ではそれぞれの加速度データに対して距離の算出を行ない、その平均を求めることによって、入力パターンの判断を行なう。ここで、認識するパターンは文字だけでなく図形又は文字の構成要素等であっても良い。文字の構成要素の場合は構成要素の認識結果を順次得ることができるので、さらにこれら文字の構成要素と辞書等とのマッチングをとって文字の認識を行なう。
【０１１６】
上記実施例では加速度センサ１１ａ，１１ｂ，１１ｃが出力した加速度信号を基にパターン認識を行なったが、ペン型入力部１ａがＸｓ軸周りのジャイロ１２ａ，Ｙｓ軸周りのジャイロ１２ｂ及びＺｓ軸周りのジャイロ１２ｃを備え、加速度信号の代わりに各ジャイロ１２ａ，１２ｂ，１２ｃからの回転角速度信号を基にパターン認識を行なうようにしても良い。この場合、標準パターン記憶部４６は複数の標準パターン各々に対する標準回転角速度パターンを記憶し、ＤＰマッチング部４７はジャイロ１２ａ，１２ｂ，１２ｃからの回転角速度信号のパターンと標準パターン記憶部４６に記憶した各標準回転角速度パターンとをＤＰマッチング行ない、ペン先端部６の筆記軌跡のパターンを認識する。
【０１１７】
さらに、Ｘｓ軸ジャイロ１２ａ，Ｙｓ軸ジャイロ１２ｂ及びＺｓ軸ジャイロ１２ｃを備えるペン型入力部１ａの代わりに、Ｘｓ軸方向の加速度センサ１１ａ，Ｙｓ軸方向の加速度センサ１１ｂ、Ｚｓ軸方向の加速度センサ１１ｃ、Ｘｓ軸周りのジャイロ１２ａ，Ｙｓ軸周りのジャイロ１２ｂ及びＺｓ軸周りのジャイロ１２ｃを備えるペン型入力部１ｂを用いてを良い。この場合、標準パターン記憶部４６は複数の標準パターン各々に対する標準加速度パターン及び標準回転角速度パターンを記憶する。ＤＰマッチング部４７は加速度センサ１１ａ，１１ｂ，１１ｃ及びジャイロ１２ａ，１２ｂ，１２ｃからの加速度信号のパターン及び回転角速度信号のパターンと標準パターン記憶部４６に記憶した各標準加速度パターン及び各標準回転角速度パターンとを、既に複数の加速度センサを備える場合の例で説明したようにしてＤＰマッチング行ない、ペン先端部６の筆記軌跡のパターンを認識する。ここで、加速度センサ及びジャイロの数は認識しようとするパターンに応じて少なくしても良い。
【０１１８】
さらに、図２４に示すようにデータ前処理部２１ａが、ＡＤ変換部２５ａ〜２５ｆ、ＨＰＦ４８ａ〜４８ｆ、ＬＰＦ２７ａ〜２７ｆ、筆記状態判別部２８、初期傾斜角演算部２９、傾斜角変化演算部３０、傾斜角演算部３１及び座標変換演算部３２を備え、既に説明したように加速度センサ１１ａ，１１ｂ，１１ｃからの出力を基に検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向、Ｙｓ軸方向及びＺｓ軸方向の加速度Ａxs，Ａys，Ａzsを重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度Ａxg，Ａyg，Ａzgに変換した後に出力するようにしても良い。標準パターン記憶部４６は、複数の標準パターン各々に対する重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）での標準加速度パターンを記憶し、ＤＰマッチング部４７は座標変換演算部３２が座標変換した加速度信号のパターンと標準パターン記憶部４６に記憶した各標準加速度パターンとをＤＰマッチング行ない、ペン先端部６の移動パターンを認識する。ここで、図では以前の実施例と異なりＨＰＦ４８ａ〜４８ｆを筆記状態判別部２８の外部に設けている。
【０１１９】
上記構成のペン型入力装置の動作について、図２５のフローチャートを参照して説明する。
【０１２０】
加速度センサ１１ａ，１１ｂ，１１ｃ及びジャイロ１２ａ，１２ｂ，１２ｃはそれぞれＸｓ軸方向，Ｙｓ軸方向，Ｚｓ軸方向の加速度及びＸｓ軸周り，Ｙｓ軸周り，Ｚｓ軸周りの回転角速度を示す信号を出力する。データ前処理部２１ａのＨＰＦ４８ａ〜４８ｆはデジタル変換後の加速度センサ１１ａ，１１ｂ，１１ｃ及びジャイロ１２ａ，１２ｂ，１２ｃからの信号から高周波数成分を抽出する。筆記状態判別部２８はＨＰＦ４８ａ〜４８ｆを介して入力した加速度センサ１１ａ，１１ｂ，１１ｃ及びジャイロ１２ａ，１２ｂ，１２ｃからの信号のいずれかに高周波成分が含まれているか否かを調べて、高周波数成分が含まれている場合には筆記中と判断し、筆記中であるか否かを示す信号を出力する。初期傾斜角演算部２９は、既に説明したように筆記状態判別部２８から筆記中でないことをを示す信号を受けると、Ｘｓ軸加速度センサ１１ａ、Ｙｓ軸加速度センサ１１ｂ及びＺｓ軸加速度センサ１１ｃからの信号を入力し、ペン軸５の傾斜角の初期値θ0，φ0及びΨ0を算出する（ステップＳ５１、Ｓ５２）。
【０１２１】
傾斜角変化演算部３０は、既に説明したように筆記状態判別部２８から筆記中であることを示す信号を受けると（ステップＳ５１）、３個のジャイロ１２ａ，１２ｂ，１２ｃが検出した回転角速度Ｐ，Ｑ，Ｒを基にペン軸５の傾斜角の変化Δθ，Δφ及びΔΨを演算する（ステップＳ５３）。傾斜角演算部３１は、既に説明したように初期傾斜角演算部２９が演算したペン軸５の傾斜角の初期値θ0，φ0，Ψ0と傾斜角変化演算部３０が演算したペン軸５の傾斜角の変化Δθ，Δφ，ΔΨを基に筆記中のペン軸５の傾斜角θ，φ，Ψを求める（ステップＳ５４）。座標変換演算部３２は傾斜角演算部３１が検出した筆記中の傾斜角θ，φ，Ψを基に加速度センサ１１ａ，１１ｂ，１１ｃが検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）の加速度Ａxs，Ａys，Ａzsを重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）による加速度Ａxg，Ａyg，Ａzgに変換する（ステップＳ５５）。筆記状態判別部２８で筆記状態か否かを判別するので座標変換演算部３２では、筆記中のパターンに係わる加速度データを切り出すことができる。
【０１２２】
ＤＰマッチング部４７はデータ前処理部２１ａが座標変換及び切り出し処理をした加速度データが示すパターンを標準パターン記憶部に記憶した各標準加速度パターンとＤＰマッチングをしてペン先端部６が描いたパターンの認識を行なう（ステップＳ５６）。
【０１２３】
ペン型入力装置は上記動作（ステップＳ５３〜Ｓ５６）を筆記状態判別部２８が筆記中であることを示す信号を出力している間繰り返し、図形等を入力する（ステップＳ５７）。ここで、既に説明したように認識したパターンが文字の構成要素の場合は構成要素の認識結果を順次記憶し、さらにこれら文字の構成要素と辞書等とのマッチングをとって文字の認識を行なう。このように、３個の加速度センサ１１ａ，１１ｂ，１１ｃ及び３個のジャイロ１２ａ，１２ｂ，１２ｃを用いて検出した加速度及び回転角速度を用いるのでペン軸の傾斜による影響の無い加速度を用いて正確にパターン認識できるとともに、重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）に変換した後の加速度を用いてＤＰマッチングを行なうので、データの件数を少なくし、マッチング処理を高速化することができる。
【０１２４】
また、上記実施例では重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）に変換した後の加速度を用いてＤＰマッチングを行なったが、重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）に変換した後の加速度を１回積分して速度を求め、重力座標系におけるペン先端部６の速度を用いてＤＰマッチングするようにしても良い。
【０１２５】
さらに、重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）に変換した後の加速度を２回積分して移動方向及び移動距離を検出し、検出した移動方向及び移動量からペン先端部６の筆記軌跡を求め、ペン先端部６の筆記軌跡を用いてＤＰマッチングするようにしても良い。
【０１２６】
なお、これまでの実施例ではいずれもペン型入力部１とパターン認識装置２とを別々に設けたが、パターン認識装置２をペン型入力部１内部に組み込んでも良い。
【０１２７】
【発明の効果】
以上説明したように、この発明に係るペン型入力装置は、少なくとも１個の加速度センサと少なくとも１個の回転角速度センサとデータ前処理部とウエーブレット変換部とニューラルネットワーク演算部と後処理部を有し、加速度センサはその数に応じてペン軸をＺｓ軸としたペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向のいずれか１方向、いずれか２方向又は３方向の加速度信号を出力し、回転角速度センサはその数に応じてＸｓ軸周り，Ｙｓ軸周り及びＺｓ軸周りのいずれか１軸周り、いずれか２軸周り又は３軸周りの回転角速度信号を出力し、データ前処理部は無筆記状態における少なくとも１個の加速度センサからの加速度信号を基にペン軸の傾斜角の初期値を演算し、筆記状態における少なくとも１個の回転角速度センサが出力した回転角速度信号から傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基に少なくとも１個の加速度センサが検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力加速度方向に伸びる軸をＺｇ軸にした重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換し、入力パターンに対応する加速度データの切り出しを行ない、ウエーブレット変換部はデータ前処理部が切り出した加速度データをウエーブレット変換して入力パターンを表わす係数を求め、ニューラルネットワーク演算部はウエーブレット変換部が求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出し、後処理部はニューラルネットワーク演算部による入力パターンの中間認識結果を基に入力パターンを判定して、ペン軸の傾斜による影響をなくす。
【０１２８】
さらに、データ前処理部は無筆記状態における少なくとも１個の加速度センサからの加速度信号を基にペン軸の傾斜角の初期値を演算し、筆記状態における少なくとも１個の回転角速度センサからの回転角速度信号を基にペン軸の傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基に少なくとも１個の加速度センサが検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度を重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度に変換し、変換した加速度を積分してペン先端部の速度を求め、入力パターンに対応する速度データの切り出しを行ない、ウエーブレット変換部はデータ前処理部が切り出した速度データをウエーブレット変換して入力パターンを表わす係数を求めて、ペン軸の傾斜による影響をなくす。
【０１２９】
また、データ前処理部が切り出したデータをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出するウエーブレットベーシスファンクション型ニューラルネットワーク演算部を有し、後処理部はウエーブレットベーシスファンクション型ニューラルネットワーク演算部による入力パターンの中間認識結果を基に入力パターンを判定して構成を簡単にする。
【０１３０】
また、別の発明に係るペン型入力装置のパターン認識方法は、ペン軸をＺｓ軸としたペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向の無筆記状態における加速度データを基にペン軸の傾斜角の初期値を演算し、筆記状態におけるＸｓ軸周り，Ｙｓ軸周り及びＺｓ軸周りの回転角速度データを基にペン軸の傾斜角の変化を算出し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基にペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力加速度方向に伸びる軸をＺｇ軸にした重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換し、変換後の加速度データから入力パターンに対応する加速度データの切り出しを行ない、切り出した加速度データをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出し、入力パターンの中間認識結果を基に入力パターンを判定する。よって、ペン軸の傾斜による影響をなくし、高精度のパターン認識を行なうことができる。
【０１３１】
また、ペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向の無筆記状態における加速度データを基にペン軸の傾斜角の初期値を演算し、筆記状態におけるＸｓ軸周り，Ｙｓ軸周り及びＺｓ軸周りの回転角速度データを基にペン軸の傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基にペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力加速度方向に伸びる軸をＺｇ軸にした重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換し、座標変換した加速度データを積分してペン先端部の速度データを求め、入力パターンに対応した速度データの切り出しを行ない、切り出した速度データをウエーブレット変換して入力パターンを表わす係数を求める。よって、ニューラルネットワーク演算の負担を軽くできる。
【図面の簡単な説明】
【図１】ペン型入力部とパターン識別装置との接続図である。
【図２】ペン型入力部とパターン識別装置の構成図である。
【図３】ニューラルネットワークの構成図である。
【図４】ペン型入力装置の動作を示すフローチャートである。
【図５】加速度信号の波形図である。
【図６】ジャイロを用いたペン型入力部とパターン識別装置の構成図である。
【図７】他のペン型入力部の斜視図である。
【図８】他のペン型入力部とパターン識別装置の構成図である。
【図９】他のペン型入力装置の動作を示すフローチャートである。
【図１０】他のニューラルネットワークの構成図である。
【図１１】パターン入力順を基に文字認識を行なうパターン認識装置の構成図である。
【図１２】パターン入力順を基に文字認識を行なうフローチャートである。
【図１３】ウエーブレット係数の変化を示す波形図である。
【図１４】参照パターン記憶部の構成図である。
【図１５】筆順の説明図である。
【図１６】先行パターンを基に文字認識を行なうパターン認識装置の構成図である。
【図１７】先行パターンを基に文字認識を行なうフローチャートである。
【図１８】後続パターンを基に文字認識を行なうパターン認識装置の構成図である。
【図１９】後続パターンを基に文字認識を行なうフローチャートである。
【図２０】入力順を基に文字認識結果を切り替えるパターン認識装置の構成図である。
【図２１】先行パターンで認識結果を切り替えるパターン認識装置の構成図である。
【図２２】後続パターンで認識結果を切り替えるパターン認識装置の構成図である。
【図２３】ＤＰマッチングでパターン認識を行なうパターン認識装置の構成図である。
【図２４】座標変換後にＤＰマッチングを行なうパターン認識装置の構成図である。
【図２５】座標変換後にＤＰマッチングを行なう場合のフローチャートである。
【符号の説明】
１ ペン型入力部
１１ 加速度センサ
１２ ジャイロ
２ パターン認識装置
２１ データ前処理部
２２ ウエーブレット変換部
２３ ニューラルネットワーク演算部
２４ 後処理部
２６ データ切出部
２８ 筆記状態判別部
２９ 初期傾斜角演算部
３０ 傾斜角変化演算部
３１ 傾斜角演算部
３２ 座標変換演算部
３３ 参照パターン記憶部
３４ 信号前処理部
３５ 入力回数カウンタ
３６ 参照パターン記憶部選択部
３７ 比較認識部
３８ 先行パターン記憶部
３９ 入力パターンバッファ
４０ 後続入力読取部
４４ パターン認識部
４５ 認識部選択部
４６ 標準パターン記憶部
４７ ＤＰマッチング部
【発明の属する技術分野】
この発明は図形及び文字等を入力するペン型入力装置及びペン型入力装置のパターン認識方法に関するものである。
【０００２】
【従来の技術】
コンピュータ装置等の入力装置としてはキーボード、マウス、デジタイザ、ライトペン及びタブレット等が用いられている。コンピュータ装置の小型化に伴い、携帯端末装置のニーズが高まり利用者も年々増加している。そこで、小型の入力装置が求められるようになった。
【０００３】
キーボードの小型化にはヒューマンインターフェイスの点で限界があり、携帯端末装置の入力装置としては実用性が低い。また、マウスはポインティングデバイスとしては小型化が可能であるが、図形及び文字等の入力には適さない。
【０００４】
このため、携帯端末装置の入力装置としてはタブレットとペンを用いたペン型の入力装置が多く採用されている。このタブレットを用いたペン型の入力装置をさらに小型化しようとした場合にはタブレットの大きさが問題となる。そこで、例えば特開平６-67799号公報に掲載されたペン型のコンピュータ入力装置では２個の加速度センサからの信号を基に入力装置の移動方向と移動量を調べ、圧電振動ジャイロの信号を基に加速度センサが検出した移動方向及び移動量の入力装置のローテーションによる影響を検出して補正している。
【０００５】
また、入力文字の認識に対しては、例えば特開平７-175893号公報に掲載された手書き文字認識装置では、二つのニューラルネットワークを階層的に用い、第一段のニューラルネットワークを大まかな比較に用い、第二段のニューラルネットワークを詳細な比較に用いて、手書き文字の認識を行なうようにしている。
【０００６】
【発明が解決しようとする課題】
しかしながら、２個の加速度センサをペン先端部に取り付けることはできず、加速度センサの取付位置とペン先端部の位置は一致しない。このため、特開平６-67799号公報に掲載されたペン型のコンピュータ入力装置では、検出結果に誤差が生じる場合があり、紙面上のペン先端部の軌跡を正確に検出することができない場合がある。
【０００７】
さらに、上記誤差が累積することにより、ペン先端部の軌跡を正確に検出することがさらに困難になる。
【０００８】
また、特開平７-175893号公報に掲載された手書き文字認識装置では、入力パターンの認識を階層的に用いた二つのニューラルネットワークを用いて行なっているが、文字入力の場合は文字を構成する個々のパターンは同じであっても、文字により前後のパターンが大きく異なる場合が有り、この特徴を用いればさらに正確な文字認識を行なうことができる。
【０００９】
この発明はかかる短所を解消するためになされたものであり、センサ出力から直接入力パターンを検出することにより、誤差が累積して入力パターンの判別が困難になることを防止するとともに、正確な文字等の認識を行なうことを目的とする。
【００１３】
【課題を解決するための手段】
この発明に係るペン型入力装置は、少なくとも１個の加速度センサと少なくとも１個の回転角速度センサとデータ前処理部とウエーブレット変換部とニューラルネットワーク演算部と後処理部を有し、加速度センサはその数に応じてペン軸をＺｓ軸としたペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向のいずれか１方向、いずれか２方向又は３方向の加速度信号を出力し、回転角速度センサはその数に応じてＸｓ軸周り，Ｙｓ軸周り及びＺｓ軸周りのいずれか１軸周り、いずれか２軸周り又は３軸周りの回転角速度信号を出力し、データ前処理部は無筆記状態における少なくとも１個の加速度センサからの加速度信号を基にペン軸の傾斜角の初期値を演算し、筆記状態における少なくとも１個の回転角速度センサが出力した回転角速度信号から傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基に少なくとも１個の加速度センサが検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力加速度方向に伸びる軸をＺｇ軸にした重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換し、入力パターンに対応する加速度データの切り出しを行ない、ウエーブレット変換部はデータ前処理部が切り出した加速度データをウエーブレット変換して入力パターンを表わす係数を求め、ニューラルネットワーク演算部はウエーブレット変換部が求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出し、後処理部はニューラルネットワーク演算部による入力パターンの中間認識結果を基に入力パターンを判定して、ペン軸の傾斜による影響をなくす。
【００１４】
さらに、上記データ前処理部は無筆記状態における少なくとも１個の加速度センサからの加速度信号を基にペン軸の傾斜角の初期値を演算し、筆記状態における少なくとも１個の回転角速度センサからの回転角速度信号を基にペン軸の傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基に少なくとも１個の加速度センサが検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度を重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度に変換し、変換した加速度を積分してペン先端部の速度を求め、入力パターンに対応する速度データの切り出しを行ない、ウエーブレット変換部はデータ前処理部が切り出した速度データをウエーブレット変換して入力パターンを表わす係数を求めて、ペン軸の傾斜による影響をなくす。
【００１５】
さらに、上記データ前処理部が切り出したデータをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出するウエーブレットベーシスファンクション型ニューラルネットワーク演算部を有し、後処理部はウエーブレットベーシスファンクション型ニューラルネットワーク演算部による入力パターンの中間認識結果を基に入力パターンを判定して構成を簡単にする。
【００３０】
また、ペン型入力装置のパターン認識方法は、ペン軸をＺｓ軸としたペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向の無筆記状態における加速度データを基にペン軸の傾斜角の初期値を演算し、筆記状態におけるＸｓ軸周り，Ｙｓ軸周り及びＺｓ軸周りの回転角速度データを基にペン軸の傾斜角の変化を算出し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基にペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力加速度方向に伸びる軸をＺｇ軸にした重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換し、変換後の加速度データから入力パターンに対応する加速度データの切り出しを行ない、切り出した加速度データをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出し、入力パターンの中間認識結果を基に入力パターンを判定する。
【００３１】
また、ペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向の無筆記状態における加速度データを基にペン軸の傾斜角の初期値を演算し、筆記状態におけるＸｓ軸周り，Ｙｓ軸周り及びＺｓ軸周りの回転角速度データを基にペン軸の傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基にペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力加速度方向に伸びる軸をＺｇ軸にした重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換し、座標変換した加速度データを積分してペン先端部の速度データを求め、入力パターンに対応した速度データの切り出しを行ない、切り出した速度データをウエーブレット変換して入力パターンを表わす係数を求める。
【００３７】
【発明の実施の形態】
この発明のペン型入力装置は、コンピュータ装置等に文字、記号及び図形等を入力するものあり、特にペン先端部の筆記時の加速度及び回転角速度等の物理量を測定するセンサからの信号を基に直接に入力パターンの検出を行なうことにより検出誤差をなくすものである。
【００３８】
ペン型入力装置は、例えばペン型入力部とパターン認識装置を有する。ペン型入力部は少なくとも１個の加速度センサを備える。ペン型入力部が、例えば１個の加速度センサを備える場合は、加速度センサはペン軸をＺｓ軸としたペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向のいずれか１方向の加速度信号を出力する。また、ペン型入力部が、例えば２個の加速度センサを有する場合は、加速度センサはＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向のいずれか２方向の加速度信号を出力する。また、ペン型入力部が、例えば３個の加速度センサを有する場合は、各加速度センサはＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向の加速度信号を出力する。
【００３９】
パターン認識部は、データ前処理部とウエーブレット変換部とニューラルネットワーク演算部と後処理部を備える。データ前処理部は、例えばＡＤ変換器とデータ切出部を備える。ＡＤ変換器は加速度センサからの加速度信号をデジタル変換する。したがって、加速度センサが１個の場合はＡＤ変換器は１個で良く、加速度センサが２個の場合はＡＤ変換器は２個必要であり、加速度センサが３個の場合はＡＤ変換器は３個必要である。データ切出部はＡＤ変換部がデジタル変換した加速度データから入力パターンに対応した加速度データを切り出す。ここで、加速度データの切り出しは、例えば加速度データの値を予め定めた閾値と比較したり、加速度データの微分値を予め定めた閾値と比較したりして行なう。
【００４０】
ウエーブレット変換部はデータ前処理部が切り出した加速度データをウエーブレット変換して入力パターンを表わす複数の係数を求める。ここで、ウエーブレット変換は基本ウエーブレットと呼ばれている関数に平行移動を施したものと伸縮の操作を施したものとのたたみ込みで定義され、２乗可積分関数とそのフーリエ変換を同時に局所化する特徴を持ち、ウエーブレット級数の係数列の計算に関してリアルタイムなアルゴリズムをつくることができ、事象の生起時刻の情報を容易に扱うことができる。また、ウエーブレット変換では、ある点での関数値を表現するのに必要な項数は他の点での不連続性の程度にあまり影響されない。これは、基底関数が局所化されているためである。また、非定常的な部分での局所的な対応が可能になるので、パターンの境界の検出を行なうことができる。
【００４１】
ニューラルネットワーク演算部はウエーブレット変換部が求めた係数を基に認識対象パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出する。ここで、ニューラルネットワーク演算部は協調、競合作用及び自己組織化能力に基づいて入力信号をいくつかの特徴に分析すると共にそれらを統合するニューラルネットワークによって構成したものである。例えばニューラルネットワーク演算部は予め認識させたい情報を実際に入力し、そのデータをサンプリングしこれらのデータを入力層に入力し、出力層に分類したいパターン数分のニューロンを用意し、各パターンとニューロンを対応させておく。ある情報を入力したときそれに対応するニューロンの出力が「１」となり、それ以外のニューロンの出力が「０」となるように、例えば逆伝搬法（バックプロパゲーション法）等で学習しておく。ニューラルネットワーク演算部はこのようにして得られた結合係数と同じ結合係数でニューラルネットワーク演算を行なう。後処理部はニューラルネットワーク演算部の入力パターンの中間認識結果を基にニューロン出力が最も大きいものを選択し入力パターンを判定して、パターン認識率を高めると同時にパターン認識時間を短縮する。
【００４２】
また、ペン型入力部が加速度センサの代わりに少なくとも１個のジャイロを備えるようにしても良い。ペン型入力部が、例えば１個のジャイロを備える場合は、ジャイロはＸｓ軸，Ｙｓ軸及びＺｓ軸のいずれか１軸周りの回転角速度信号を出力する。また、ペン型入力部が、例えば２個のジャイロを備える場合は、ジャイロはＸｓ軸，Ｙｓ軸及びＺｓ軸のいずれか２軸周りの回転角速度信号を出力する。また、ペン型入力部が、例えば３個のジャイロを備える場合は、各ジャイロはＸｓ軸周り，Ｙｓ軸周り及びＺｓ軸周りの回転角速度信号を出力する。この場合、パターン認識部はジャイロからの回転角速度信号を基に入力パターンの認識を行なう。
【００４３】
さらに、ペン型入力部が少なくとも１個の加速度センサと少なくとも１個のジャイロを備えるようにしても良い。この場合、パターン認識部は加速度センサからの加速度信号及びジャイロからの回転角速度信号を基に入力パターンの認識を行なうので、パターン認識の基となるデータに異なった物理量のデータを用いることができ、さらに正確にパターン認識を行なうことができる。
【００４４】
さらに、ペン型入力部が３個の加速度センサと３個のジャイロを備えるようにしても良い。データ前処理部は、例えば初期傾斜角演算部と傾斜角変化演算部と傾斜角演算部と座標変換演算部と移動量演算部を備える。初期傾斜角演算部は無筆記状態で３個の加速度センサが検出した加速度を基にペン軸の傾斜角の初期値を演算する。傾斜角変化演算部は筆記状態で３個のジャイロを用いて検出した回転角速度の積分を行い傾斜角の変化を算出する。傾斜角演算部は初期傾斜角演算部が演算した傾斜角の初期値と傾斜角変化演算部が算出した傾斜角の変化を基に筆記中のペン軸の傾斜角を算出する。座標変換演算部は傾斜角演算部が算出した筆記中のペン軸の傾斜角を基に加速度センサが検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度を重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度に変換し、入力パターンに対応する加速度データの切り出しを行なう。これにより、ペン軸の傾斜による影響をなくすことができ、さらに正確にパターン認識を行なうことができる。
【００４５】
さらに、データ前処理部は重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）に変換後の加速度を積分して速度データを求め、ウエーブレット変換部はデータ前処理部からの速度データをウエーブレット変換するようにしても良い。
【００４６】
また、上記ニューラルネットワーク演算部の代わりにウエーブレットべーシスのファンクション型ニューラルネットワークを用いたウエーブレットべーシスファンクション型ニューラルネットワーク演算部を有し、ウエーブレットべーシスファンクション型ニューラルネットワーク演算部でデータ前処理部が切り出したデータをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出するようにしてウエーブレット変換部を無くしても良い。ここで、ウエーブレットべーシスのファンクション型ニューラルネットワークとは、例えば隠れニューロンの層にウエーブレット変換機能を備えるニューラルネットワークである。
【００４７】
ここで、特に文字入力の場合を考えると、上記のようにして認識したパターン（文字の構成パターン）を各文字間で比較した場合、各文字でそのパターンを入力する順番及び前後のパターンが異なる場合が多い。そこで、次ぎに示すように例えばパターンの入力順番毎に参照パターンを記憶し、文字入力の際にパターンの入力回数を計数し、そのパターンの入力順番により参照パターンを切り替えることにより、正確な文字認識を行なうようにしても良い。
【００４８】
また、ペン型入力装置は、例えばペン型入力部とパターン認識装置を有するようにしても良い。ペン型入力部は複数個、例えば２個の加速度センサを備える。各加速度センサは、ペン軸をＺｓ軸としたペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向のいずれか２方向の加速度信号を出力する。パターン認識装置は、例えば信号前処理部と入力回数カウンタと複数の参照パターン記憶部と参照パターン記憶部選択部と比較認識部を有する。信号前処理部は、例えばウエーブレット変換部を備え、ペン型入力部を用いて検出した加速度データから入力パターンに対応した加速度データを切り出し、切り出した加速度データをウエーブレット変換して入力パターンを表わす複数の係数を求める。入力回数カウンタは、信号前処理部からの信号を基にパターンの入力回数を計数する。各参照パターン記憶部はそれぞれパターンの入力回数に応じた複数の参照パターンを記憶する。参照パターン記憶部選択部は入力回数カウンタが計数した入力回数に応じて参照パターン記憶部を選択する。比較認識部は、例えばニューラルネットワーク演算部から成り、信号前処理部からの信号と参照パターン記憶部選択部が選択した参照パターン記憶部に記憶した参照パターンとを比較して、文字入力された場合の文字認識を行なう。
【００４９】
また、上記のように筆順を基に文字認識を行なう代わりに、先行パターン又は後続パターンを参照して文字認識を行なうようにしても良い。
【００５０】
また、上記のようにニューラルネットワークを用いたり、複数の参照パターンを予め用意する代わりに、例えば標準パターンを描いた場合の標準加速度パターンを複数の標準パターンに対して予め用意し、予め用意した標準加速度パターンと加速度センサを用いて検出した加速度のパターンとをＤＰマッチングによりマッチングしてパターン認識を行なっても良い。これにより、高精度でパターン認識を行なうことができるとともに用意するパターン数を減少することができる。ここで、ＤＰマッチングとは、動的計画法（Dynamic Programming）を用いて正規化を行なうマッチングであり、標準パターンのデータと検出したデータとの距離を計算して一番距離が短いデータのパターンを認識結果のパターンとするものである。ここで、上記「検出したデータ」としては、速度、加速度、回転角速度及び移動軌跡などがある。
【００５１】
【実施例】
図１はこの発明の一実施例のペン型入力装置の構成図である。図に示すように、ペン型入力装置はペン型入力部１とパターン認識装置２を有する。ペン型入力部１は、図２に示すように加速度センサ１１ａ，１１ｂ，１１ｃを備える。加速度センサ１１ａ，１１ｂ，１１ｃは、それぞれペン軸５をＺｓ軸とした場合の座標系（Ｘｓ，Ｙｓ，Ｚｓ）におけるＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向に向けて設けられ、Ｘｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向の加速度を検出する。ここで、加速度センサ１１ａ，１１ｂ，１１ｃの取付位置はペン型入力部１の内部でも表面でも良く、また、Ｘｓ軸，Ｙｓ軸及びＺｓ軸の各軸の運動を測定できる位置であれば、Ｘｓ軸，Ｙｓ軸及びＺｓ軸の各軸上でなくとも良い。加速度センサ１１ａ，１１ｂ，１１ｃは、小型で高感度、かつ、加速度検出の直線性が良好であれば良く、ピエゾ抵抗方式のものでも、圧電方式のものでも、静電容量方式のものでも良い。以下の説明では、特に断わらない限りペン軸５をＺｓ軸とした座標系をペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）といい、ペン軸５と直交する２軸をＸｓ軸及びＹｓ軸として説明する。また、重力加速度方向に伸びる軸をＺｇ軸とする座標系を重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）といい、Ｚｇ軸と直交する２軸をＸｇ軸及びＹｇ軸という。
【００５２】
パターン認識装置２はペン型入力部１からの加速度信号を、例えばケーブルを介して受信してパターン認識を行なうものであり、データ前処理部２１、ウエーブレット変換部２２ａ，２２ｂ，２２ｃ、ニューラルネットワーク演算部２３及び後処理部２４を備える。データ前処理部２１はＡＤ変換器２５ａ，２５ｂ，２５ｃ及びデータ切出部２６を有する。ＡＤ変換器２５ａ，２５ｂ，２５ｃはそれぞれ加速度センサ１１ａ，１１ｂ，１１ｃからの加速度信号をデジタル変換する。データ切出部２６はＡＤ変換部２５ａ，２５ｂ，２５ｃがデジタル変換した加速度データから入力パターンの加速度データを切り出す。ここで、加速度データの切り出しには、例えば加速度データの値を閾値と比較したり、加速度データの微分値を閾値と比較したりする。
【００５３】
ウエーブレット変換部２２ａ，２２ｂ，２２ｃはデータ前処理部２１が切り出したＸｓ軸方向の加速度データ、Ｙｓ軸方向の加速度データ及びＺｓ軸方向の加速度データをそれぞれウエーブレット変換して入力パターンを表わす係数を求める。
【００５４】
ニューラルネットワーク演算部２３は、図３に示すようなニューラルネットワーク２３１を備え、ウエーブレット変換部２２ａ，２２ｂ，２２ｃが求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出する。ここで、ニューラルネットワーク演算部２３は協調、競合作用及び自己組織化能力に基づいて入力信号をいくつかの特徴に分析すると共に、それらを統合するニューラルネットワークによって構成したものである。例えばニューラルネットワーク演算部２３は予め認識させたい情報を実際に入力し、そのデータをサンプリングしてこれらのデータを入力層に入力し、出力層に分類したいパターン数分のニューロンを用意し、各パターンとニューロンを対応させておく。ある情報を入力したときそれに対応するニューロンの出力が「１」となり、それ以外のニューロンの出力が「０」となるように、例えば逆伝搬法（バックプロパゲーション法）等で学習しておく。ニューラルネットワーク演算部２３はこのようにして得られた結合係数と同じ結合係数でニューラルネットワーク演算を行なう。後処理部２４はニューラルネットワーク演算部２３の入力パターンの中間認識結果を基にニューロン出力が最も大きいものを選択し入力パターンを判定する。
【００５５】
上記構成のペン型入力装置で入力パターン認識を行なう場合の動作について、図４のフローチャートを参照して説明する。
【００５６】
ペン型入力部１の加速度センサ１１ａ，１１ｂ，１１ｃはそれぞれＸｓ方向，Ｙｓ方向，Ｚｓ方向の加速度信号をパターン認識装置２のデータ前処理部２１に送信する。データ前処理部２１のＡＤ変換器２５ａ，２５ｂ，２５ｃは加速度センサ１１ａ，１１ｂ，１１ｃからの加速度信号をデジタル変換する。データ前処理部２１のデータ切出部２６は、例えばＡＤ変換器２５ａ，２５ｂ，２５ｃからの加速度信号を微分し、図５に示すように加速度信号Ａの微分値のいずれかが予め定めた閾値を越えたると、筆記中と判断してその加速度データを切り出し、Ｘｓ軸，Ｙｓ軸及びＺｓの各軸方向の加速度データをそれぞれウエーブレット変換部２２ａ，２２ｂ，２２ｃに送る（ステップＳ１，Ｓ２）。ここで、図中Ｂは上記のようにして加速度データを切り出した範囲を示す。これにより、ウエーブレット変換部２２ａ，２２ｂ，２２ｃでは入力パターンに係わる加速度データのみを処理することができる。ここで、データ前処理部２１にノイズフィルタなどを設けても良い。また、図５に示すようにデータにオフセット成分があるのは重力加速度による成分である。
【００５７】
ウエーブレット変換部２２ａ，２２ｂ，２２ｃはそれぞれデータ切出部２６が切り出したＸｓ軸方向の加速度、Ｙｓ軸方向の加速度及びＺｓ軸方向の加速度を、例えば時間軸及び周波数で規格化する（ステップＳ３）。例えば加速度を時間軸１秒で規格化し、周波数１Ｈｚ，２Ｈｚ，４Ｈｚ及び８Ｈｚの係数を計算すると、係数は各々１個，２個，４個及び８個得られるので、合計１５個になる。加速度はＸｓ軸方向の加速度、Ｙｓ軸方向の加速度及びＺｓ軸方向の加速度の３種類あるので、合計して４５個の係数を得ることができる。このように、加速度データをウエーブレット変換をして時刻と周波数の同時解析を行なうので、事象の生起時刻の情報を容易に扱うことができる。また、非定常的な部分での局所的な対応が可能になるので、パターンの境界の検出を行なうことができる。
【００５８】
ニューラルネットワーク演算部２３はウエーブレット変換部２２ａ，２２ｂ，２２ｃからの係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴を基に入力パターンの中間認識結果を算出する（ステップＳ４）。後処理部２４はニューラルネットワーク演算部２３の入力パターン中間認識結果を入力して、入力パターンを判定する（ステップＳ５）。これにより、文字、図形及びその構成要素を入力することができると共に、正確且つ迅速に入力パターンを認識することができる。ここで、文字の構成要素の入力があった場合の文字の認識には、例えばパターンマッチング等の方法を用いる。
【００５９】
ペン型入力装置１は上記動作（ステップＳ２〜Ｓ５）をデータ切出部２６がデータを切り出している間繰り返し、文字等を入力する（ステップＳ６）。加速度センサ１１ａ，１１ｂ，１１ｃからの加速度信号を基にペンの移動方向及び移動距離を求めて、求めた移動方向及び移動距離を基に入力パターン認識を行なうと、ペン先端部６と加速度センサ１１ａ，１１ｂ，１１ｃの取付位置の差を原因とする誤差が累積して入力パターンを誤認識することがあったが、このように、加速度センサ１１ａ，１１ｂ，１１ｃからの加速度信号を直接に用いて、入力パターンの認識を行なうことにより累積誤差による誤認識の発生を防止できる。
【００６０】
ここで、上記実施例では加速度センサ１１ａ，１１ｂ，１１ｃを用いたが、入力パターンによっては加速度センサを１個にしたり、２個にしたりしても良い。前記の例では加速度センサが１個の場合のウエーブレット変換後の係数は１５個、加速度センサが２個の場合のウエーブレット変換後の係数は３０個となる。
【００６１】
また、データ前処理部２１にデータ切出部２６が切り出した加速度データを一時的に記憶するメモリなどを設けても良い。それにより、ニューラルネットワーク演算部２３を階層型のニューラルネットワークで構成することができる。また、データ切出部２６が切り出した加速度データを一時的に記憶することにより、多くの時系列データを要する入力パターンの認識をできるようになる。
【００６２】
また、上記実施例ではＸｓ軸方向、Ｙｓ軸方向及びＺｓ軸方向の加速度データ毎にウエーブレット変換部を設けたが、ウエーブレット変換部を１つにして、Ｘｓ軸、Ｙｓ軸及びＺｓ軸の各軸方向の加速度を順に処理するようにしても良い。
【００６３】
また、上記実施例ではＸｓ軸方向、Ｙｓ軸方向及びＺｓ軸方向の加速度を検出して、入力パターンの認識を行なったが、加速度センサの代わりに、図６に示すようにジャイロ１２ａ，１２ｂ，１２ｃを設けたり、さらに図７に示すように加速度センサ１１ａ，１１ｂ，１１ｃとジャイロ１２ａ，１２ｂ，１２ｃの双方を設けても良い。加速度センサ１１ａ，１１ｂ，１１ｃとジャイロ１２ａ，１２ｂ，１２ｃを３個ずつ用いた場合のウエーブレット変換後の係数の数は、前記の例では１信号当たり１５個あるので９０個となる。ここで、加速度センサ１１ａ，１１ｂ，１１ｃ及びジャイロ１２ａ，１２ｂ，１２ｃの数は入力パターンによっては１個にしたり、２個にしたりしても良い。
【００６４】
次ぎに、他の実施例としてペン軸５の傾斜角の影響を無くした加速度データを用いてパターン認識をするペン型入力装置について説明する。ペン型入力装置は、図８に示すようにペン型入力部１ｂとパターン認識装置２ａを有する。ペン型入力部１ｂはＸｓ軸加速度センサ１１ａ、Ｙｓ軸加速度センサ１１ｂ、Ｚｓ軸加速度センサ１１ｃ、Ｘｓ軸ジャイロ１２ａ、Ｙｓ軸ジャイロ１２ｂ及びＺｓ軸ジャイロ１２ｃを備える。Ｘｓ軸加速度センサ１１ａ、Ｙｓ軸加速度センサ１１ｂ、Ｚｓ軸加速度センサ１１ｃ、Ｘｓ軸ジャイロ１２ａ、Ｙｓ軸ジャイロ１２ｂ及びＺｓ軸ジャイロ１２ｃはそれぞれＸｓ軸方向の加速度、Ｙｓ軸方向の加速度、Ｚｓ軸方向の加速度、Ｘｓ軸周りの回転角速度、Ｙｓ軸周りの回転角速度及びＺｓ軸周りの回転角速度を示す信号を出力する。
【００６５】
パターン認識装置２ａはデータ前処理部２１ａ、ウエーブレット変換部２２及びニューラルネットワーク演算部２３を備える。データ前処理部２１ａはＡＤ変換器２５ａ〜２５ｆ、ローパスフィルタ（以下「ＬＰＦ」という。）２７ａ〜２７ｆ、筆記状態判別部２８、初期傾斜角演算部２９、傾斜角変化演算部３０、傾斜角演算部３１及び座標変換演算部３２を有する。ＡＤ変換器２５ａ〜２５ｆはそれぞれＸｓ軸加速度センサ１１ａ、Ｙｓ軸加速度センサ１１ｂ、Ｚｓ軸加速度センサ１１ｃ、Ｘｓ軸ジャイロ１２ａ、Ｙｓ軸ジャイロ１２ｂ及びＺｓ軸ジャイロ１２ｃからの加速度信号及び回転角速度信号をデジタル変換する。ＬＰＦ２７ａ〜２７ｆはＡＤ変換器２５ａ〜２５ｆがデジタル変換した加速度信号及び回転角速度信号からペン先端部６と筆記面との摩擦力により生じる高周波成分を遮断する。筆記状態判別部２８は、例えばハイパスフィルタ（以後、「ＨＰＦ」という。）を備え、ＡＤ変換器２５ａ〜２５ｆがデジタル変換した加速度信号及び回転角速度信号からペン先端部６と筆記面との摩擦力により生じる高周波成分を検出すると筆記状態と判別する。
【００６６】
初期傾斜角演算部２９は無筆記状態で３個の加速度センサ１１ａ，１１ｂ，１１ｃが検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）での加速度を基にペン軸５の傾斜角の初期値θ0，φ0及びΨ0を演算する。傾斜角変化演算部３０は筆記状態で３個のジャイロ１２ａ，１２ｂ，１２ｃが検出した回転角速度Ｐ，Ｑ，Ｒを基にペン軸５の傾斜角の変化Δθ，Δφ及びΔΨを演算する。ここで、傾斜角変化演算部３０はΨ0をゼロとして傾斜角の変化Δθ，Δφ及びΔΨを算出する。傾斜角演算部３１は初期傾斜角演算部２９が演算したペン軸５の傾斜角の初期値θ0，φ0及びΨ0と傾斜角変化演算部３０が演算したペン軸５の傾斜角の変化Δθ，Δφ及びΔΨを基に、筆記中のペン軸５の傾斜角θ，φ及びΨを求める。座標変換演算部３２は傾斜角演算部３１が検出した筆記中のペン軸５の傾斜角θ，φ及びΨと加速度センサ１１ａ，１１ｂ，１１ｃが検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度を基に重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）による加速度を算出する。
【００６７】
ここで、上記傾斜角の算出について説明する。重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）からペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）への変換は、次式により行うことができる。
【００６８】
【数１】
この式をペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）から重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）への変換式に変形すると、次に示すようになる。
【００７０】
【数２】
上記式を一時的な近似式で近似して加速度ベクトルの変換式とする。ここで、Ａxs，Ａys及びＡzsはペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）における加速度センサ１１ａ，１１ｂ，１１ｃが検出した加速度ベクトルであり、Ａxg，Ａyg，Ａzgは重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度ベクトルである。
【００７２】
【数３】
上記一時的な近似式に加速度ベクトルＡxs，Ａys，Ａzs及び傾斜角θ，φ，Ψを代入すると筆記面上での加速度ベクトルＡxg，Ａyg，Ａzgが求まる。
【００７４】
一方、静止状態の加速度は次式で表わすことができる。
【００７５】
【数４】
これを代入して、加速度センサ１１ａ，１１ｂ，１１ｃで検出する加速度を次式で表わすことができる。
【００７７】
【数５】
このように、静止状態のペン軸５の重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における傾斜角θ0，φ0，Ψ0を求めることができる。
【００７９】
ここで、静止状態の回転角θ0，φ0に対して３本の方程式を立てることができるので、重力加速度ｇについても未知数として取り扱うことができ、ｇの値を定義しなくとも静止状態の傾斜角θ0，φ0の絶対値を算出することができる。
【００８０】
ペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）の各軸Ｘｓ，Ｙｓ，Ｚｓの回転角速度をＰ，Ｑ，Ｒとすると、回転角速度Ｐ，Ｑ，Ｒと傾斜角変化ΔΨ，Δθ，Δφの関係は次の式で求めることができる。
【００８１】
【数６】
これにより、各時間での傾斜角Ψ，θ，φを求めることができる。
【００８３】
ウエーブレット変換部２２はデータ前処理部２１ａが座標変換して切り出した加速度データをウエーブレット変換により規格化して、入力パターンを表わす複数の係数を求める。ニューラルネットワーク演算部２３はウエーブレット変換部２１ａが求めた係数を基に入力した入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出する。後処理部２４はニューラルネットワーク演算部２３の入力パターンの中間認識結果を基に最もニューロンが大きいものを選択し入力パターンを判定する。
【００８４】
上記構成のペン型入力装置の動作を、図９のフローチャートを参照して説明する。
【００８５】
加速度センサ１１ａ，１１ｂ，１１ｃはそれぞれＸｓ軸方向，Ｙｓ軸方向，Ｚｓ軸方向の加速度を検出する。筆記状態判別部２８はＡＤ変換器２５ａ〜２５ｆを介して入力した加速度センサ１１ａ，１１ｂ，１１ｃ及びジャイロ１２ａ，１２ｂ，１２ｃからの信号の高周波成分を抽出して、筆記中であるか否かを示す信号を出力する。このように、ペン先端部６と筆記面との摩擦力により生じる高周波信号を検出して筆記中か否かを判断するので、容易かつ正確に筆記中であるか否かを検出できる。
【００８６】
初期傾斜角演算部２９は筆記状態判別部２８から筆記中でないことを示す信号を受けると、Ｘｓ軸加速度センサ１１ａ、Ｙｓ軸加速度センサ１１ｂ及びＺｓ軸加速度センサ１１ｃからそれぞれ加速度信号を入力し、ペン軸５の傾斜角の初期値θ0，φ0及びΨ0を算出する（ステップＳ１１、Ｓ１２）。傾斜角変化演算部３０は筆記状態判別部２８から筆記中であることを示す信号を受けると（ステップＳ１１）、３個のジャイロ１２ａ，１２ｂ，１２ｃが検出した回転角速度Ｐ，Ｑ，Ｒを基にペン軸５の傾斜角の変化Δθ，Δφ及びΔΨを演算する（ステップＳ１３）。
【００８７】
傾斜角演算部３１は、上記のように初期傾斜角演算部２９が演算したペン軸５の傾斜角の初期値θ0，φ0，Ψ0と傾斜角変化演算部３０が演算したペン軸５の傾斜角の変化Δθ，Δφ，ΔΨを基に、φ＝φ0＋Σ（Δφ）dt，θ＝θ0＋Σ（Δθ）dt，Ψ＝Ψ0＋Σ（ΔΨ）dtを計算して筆記中のペン軸５の傾斜角θ，φ，Ψを求める（ステップＳ１４）。座標変換演算部３２は傾斜角演算部３１が算出した筆記中の傾斜角θ，φ，Ψを基に加速度センサ１１ａ，１１ｂ，１１ｃを用いて検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）の加速度Ａxs，Ａys，Ａzsを重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）による加速度Ａxg，Ａyg，Ａzgに変換する（ステップＳ１５）。なお、ペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）の加速度Ａxs，Ａys，Ａzsを重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）による加速度Ａxg，Ａyg，Ａzgに変換するには既に説明した変換式を用いる。これにより、ペン軸５に傾斜による影響をなくすことができる。また、筆記状態判別部２８で筆記状態か否かを判別するので座標変換演算部３２では、筆記中のパターンに係わる加速度データを切り出すことができる。
【００８８】
ウエーブレット変換部２２はデータ前処理部２１ａが座標変換及び切り出しした加速度データをウエーブレット変換して入力パターンを表わす係数を求める（ステップＳ１６）。ニューラルネットワーク演算部２３はウエーブレット変換部２２が求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴を基に入力パターンの中間認識結果を算出する（ステップＳ１７）。後処理部２４はニューラルネットワーク演算部２３の入力パターン中間認識結果を入力して、入力パターンを判定する（ステップＳ１８）。これにより、文字、図形及びその構成要素を入力することができると共に、正確且つ迅速に入力パターンを認識することができる。
【００８９】
ペン型入力装置は上記動作（ステップＳ１３〜Ｓ１８）を筆記状態判別部２８が筆記中であることを示す信号を出力している間繰り返し、図形等を入力する（ステップＳ１９）。このように、ペン型入力装置の重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における傾斜による影響を無くすことにより正確に図形等のパターンを入力することができる。
【００９０】
ここで、上記実施例ではウエーブレット変換部２２とニューラルネットワーク演算部２３を別々に設けたが、例えば図１０に示すように、例えば隠れニューロンの層２３２ｂにウエーブレットファンクションを備えるウエーブレットベーシスファンクション型ニューラルネットワーク２３２を備えるウエーブレットベーシスファンクション型ニューラルネットワーク演算部を用いて両者を一つにまとめても良い。ウエーブレットベーシスファンクション型ニューラルネットワーク演算部の学習には、例えば最急降下法等を用いる。ここで、最急降下法とはエネルギ関数が最も急勾配に減少する方向へ重みを変化させる方法である。
【００９１】
また、実施例ではデータ前処理部２１ａで加速度センサ１１ａ，１１ｂ，１１ｃを用いて検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換し、入力パターンに対応する加速度データの切り出しを行なったが、加速度センサ１１ａ，１１ｂ，１１ｃを用いて検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換する座標変換部を設けてこの処理をデータ前処理部２１ａから分離しても良い。
【００９２】
さらに、データ前処理部２１ａでは重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）に変換後の加速度データを積分して速度データを求め、求めた速度データから入力パターンに対応する加速度データの切り出しを行うようにしても良い。これにより、ウエーブレット変換部２２で扱うデータ数を減らして、処理を高速化できる。
【００９３】
さらに、データ前処理部２１ａで座標変換後の加速度を基にペン先端部６の移動方向及び移動距離を求め、ペン先端部６の移動方向及び移動距離からペン先端部６の座標を求めて入力パターンを描くペン先端部６の座標データの切り出しを行ないデータ数を減らした後に、切り出した座標データをウエーブレット変換部２２でウエーブレット変換して入力パターンを表わす係数を求めるようにして、さらにニューラルネットワーク演算の負荷を軽くしても良い。
【００９４】
さらに、上記実施例ではいずれも、個々のパターン認識の精度を向上するようにしているが、以下に示すように文字認識の場合は各パターン間の関連を検出することによりさらにパターン認識の精度を向上できる。
【００９５】
ペン型入力装置は、例えば図１１に示すようにペン型入力部１ｃとパターン認識装置２ｂを有する。ペン型入力部１ｃは加速度センサ１１ａ，１１ｂを備える。各加速度センサ１１ａ，１１ｂは、例えばＸｓ軸方向及びＹｓ軸方向の加速度を示す信号を出力する。パターン認識装置２ｂは、例えば複数の参照パターン記憶部３３ａ〜３３ｎ、信号前処理部３４、入力回数カウンタ３５、参照パターン記憶部選択部３６及び比較認識部３７を備える。参照パターン記憶部３３ａ〜３３ｎはそれぞれ入力回数毎に分けられ、その入力回数に応じた複数の参照パターンを記憶する。信号前処理部３４は、例えばＡＤ変換器３４１，３４２及びウエーブレット変換部３４３を備える、ＡＤ変換器３４１，３４２は加速度センサ１１ａ，１１ｂからの加速度信号をデジタル変換する。ウエーブレット変換部３４３３４３は、ＡＤ変換部３４１、３４２でデジタル変換した加速度信号をウエーブレット変換して入力パターンを表わす係数を求める。入力回数カウンタ３５は信号前処理部３４からの信号を基にパターンの入力回数を計数する。参照パターン記憶部選択部３６は、入力回数カウンタ３５からの入力回数を示す信号を基にその入力回数に対応した参照パターンを記憶した参照パターン記憶部３３ａ〜３３ｎを選択する。比較認識部３７は、例えばニューラルネットワーク演算又は決定木アルゴリズムを用いて、信号前処理部３４からの入力パターンを表す係数等と参照パターン記憶部選択部３６が選択した参照パターン記憶部３３ａ〜３３ｎに記憶した参照パターンとを比較し、入力文字の認識を行なう。
【００９６】
上記構成のペン型入力装置の動作について、図１２のフローチャートを参照して説明する。
【００９７】
文字の筆記入力を開始すると、信号前処理部３４はペン型入力部１ｃの加速度センサ１１ａ，１１ｂから入力パターンを示す加速度信号を読み込み（ステップＳ２１）、デジタル変換及びウエーブレット変換等の前処理を行なう（ステップＳ２２）。例えば文字「一」と文字「右」と文字「左」を描くと、それぞれの文字を示す加速度信号をウエーブレット変換して得たウエーブレット係数は、図１３（ａ）、図１３（ｂ）及び図１３（ｃ）に示すようになる。入力回数カウンタ３５は、信号前処理部３４が前処理を行なった結果を入力し、パターンの入力回数をカウントアップする（ステップＳ２３）。参照パターン記憶部選択部３６は、参照パターン記憶部３３ａ〜３３ｎの中から入力回数カウンタ３５の計数値に対応した入力回数に対する参照パターンを記憶した参照パターン記憶部３３ａ〜３３ｎを選択する（ステップＳ２４）。比較認識部３７は信号前処理部３４が前処理を行なった後の入力パターンを示す信号と参照パターン記憶部選択部３６が選択した参照パターン記憶部３３ａ〜３３ｎに記憶した参照パターンとを比較して、入力文字の認識を行なう（ステップＳ２５，Ｓ２６）。ここで、各参照パターン記憶部３３ａ〜３３ｎには、図１４に示すように入力回数に応じた複数の参照パターン３３１が記憶されている。例えば文字「右」と文字「左」を描くと、その筆順は、それぞれ図１５（ａ）及び図１５（ｂ）に示すようになっているので、文字「右」の第二ストロークは文字「左」の第一ストロークと同じパターンを構成している。したがって、このパターンを、例えば第一ストロークに対する参照パターンを記憶した参照パターン記憶部３３ａと、第二ストロークに対する参照パターンを記憶した参照パターン記憶部３３ｂに記憶し、第二ストロークの場合は入力パターンを参照パターン記憶部３３ｂに記憶した参照パターンと比較し、このパターンが第二ストロークに表れたことを検出することにより、ユーザが文字「左」ではなく文字「右」を入力していることが分かる。ここで、第二ストロークにおいて、このパターンと同じパターンを有する文字が複数ある場合は、同様の処理を次ぎのパターンで繰り返して候補となる文字を絞り込むことにより、入力文字を認識する。
【００９８】
また、上記のように筆順を中心に文字判別を行なう代わりに、前後の入力パターンとの関係を基に入力文字の認識を行なうようにしても良い。
【００９９】
ペン型入力装置は、例えば図１６に示すようにペン型入力部１ｃとパターン認識装置２ｃとを備える。パターン認識装置２ｃは複数の参照パターン記憶部３３ａ〜３３ｎ、先行パターン記憶部３８、信号前処理部３４、参照パターン記憶部選択部３６及び比較認識部３７を有する。各参照パターン記憶部３３ａ〜３３ｎは、先行パターン毎に分けられそれぞれ先行パターンに応じた複数の参照パターンを記憶する。先行パターン記憶部３８は前回入力したパターンの認識結果を記憶する。参照パターン記憶部選択部３６は先行パターン記憶部３８に記憶した前回入力したパターンを基に参照パターン記憶部３３ａ〜３３ｎの中から一つを選択する。
【０１００】
上記構成のペン型入力装置の動作を、図１７のフローチャートを参照して説明する。
【０１０１】
既に説明したように文字の筆記入力を開始すると、信号前処理部３４はペン型入力部１ｃの加速度センサ１１ａ，１１ｂから入力パターンを示す加速度信号を読み込み（ステップＳ３１）、デジタル変換及びウエーブレット変換等の前処理を行なう（ステップＳ３２）。参照パターン記憶部選択部３６は、先行パターン記憶部３８から前回入力したパターンの認識結果を読み出し（ステップＳ３３）、参照パターン記憶部３３ａ〜３３ｎの中から前回入力したパターンの認識結果に対応した入力回数に対する参照パターンを記憶した参照パターン記憶部３３ａ〜３３ｎを選択する（ステップＳ３４）。比較認識部３７は信号前処理部３４が前処理を行なった後の入力パターンを示す信号と参照パターン記憶部選択部３６が選択した参照パターン記憶部３３ａ〜３３ｎに記憶した参照パターンとを比較して、入力文字の認識を行なう（ステップＳ３５，Ｓ３６）。また、比較認識部３７は、パターンの認識結果を先行パターン記憶部３８に記憶して、次ぎのパターンにおいての認識動作の準備をする（ステップＳ３７）。このように過去のパターン入力を参照して入力文字の認識を行なうことにより、さらに正確に入力文字の候補の絞り込みを行なうことができ、正確な入力文字の認識を行なうことができる。
【０１０２】
さらに、上記のようにして入力文字の認識を行なった後に、その認識結果を参照パターン記憶部３３ａ〜３３ｎに記憶し、次ぎに同じ文字を入力する場合にさらに簡単に認識できるようにしても良い。
【０１０３】
また、上記実施例では前回入力したパターンを参照して、参照パターン記憶部３３ａ〜３３ｎを選択したが、文字認識対象パターンの次ぎに入力するパターンを参照して参照パターン記憶部３３ａ〜３３ｎを選択するようにしても良い。
【０１０４】
この場合、図１８に示すようにペン型入力装置のパターン認識装置２ｄは、例えば参照パターン記憶部３３ａ〜３３ｎ、信号前処理部３４、入力パターンバッファ３９、後続入力読取部４０、後続パターン認識結果記憶部４３、参照パターン記憶部選択部３６及び比較認識部３７を備える。各参照パターン記憶部３３ａ〜３３ｎは、後続のパターン毎に分けられそれぞれ後続パターンに応じた複数の参照パターンを記憶する。入力パターンバッファ３９は、文字認識対象のパターンを示す加速度信号の前処理結果を記憶する。後続入力読取部４０は、例えば後続参照パターン記憶部４１と後続パターン比較認識部４２を有する。後続参照パターン記憶部４１は文字認識対象パターンの次ぎのパターンを認識する際に用いる参照パターンを記憶する。後続パターン比較認識部４２は、文字認識対象パターンの次ぎのパターンを信号前処理部３４を介して読み込み、後続参照パターン記憶部４１に記憶した参照パターンと比較してパターン認識を行なう。後続パターン認識結果記憶部４３は、後続パターン比較認識部４２による後続パターンの認識結果を記憶する。参照パターン記憶部選択部３６は、後続パターン認識結果記憶部４３に記憶したパターンの認識結果に応じて参照パターン記憶部３３ａ〜３３ｎを選択する。比較認識部３７は、例えばニューラルネットワーク演算部３７１を備え、信号前処理部３４で処理した後の加速度信号のパターンと参照パターン記憶部選択部３６が選択した参照パターン記憶部３３ａ〜３３ｎに記憶した参照パターンとを比較して、文字認識を行なう。
【０１０５】
この場合のペン型入力装置の動作について、図１９のフローチャートを参照して説明する。
【０１０６】
既に説明したように文字の筆記入力を開始すると、信号前処理部３４はペン型入力部１ｃの加速度センサ１１ａ，１１ｂから入力パターンを示す加速度信号を読み込み（ステップＳ４１）、前処理を行なう（ステップＳ４２）。信号前処理部３４は前処理を行なった結果を入力パターンバッファ３９に記憶する（ステップＳ４３）。これにより、次ぎに後続のパターンを示す信号を入力しても、文字認識対象パターンに対する処理が終了するまで、文字認識対象パターンを示す信号を保持することができる。
【０１０７】
この後、後続パターン比較認識部４２は信号前処理部３４を介して、後続パターンを示す加速度信号を入力する（ステップＳ４４，Ｓ４５）。後続パターン比較認識部４２は、入力した後続パターンを示す加速度信号のパターンと後続参照パターン記憶部４１に記憶した参照パターンとを比較して後続パターンの認識を行ない、認識結果を後続パターン認識結果記憶部４３に記憶する（ステップＳ４６）。このように、後続パターンの認識結果を後続パターン認識結果記憶部４３に記憶することにより、先行パターンを用いる場合と同様に、後続パターンを基に参照パターン記憶部３３ａ〜３３ｎを選択することができる。
【０１０８】
参照パターン記憶部選択部３６は、後続パターン認識結果記憶部４３から後続パターンの認識結果を読み出し、参照パターン記憶部３３ａ〜３３ｎの中から後続パターンの認識結果に対応した参照パターン記憶部３３ａ〜３３ｎを選択する（ステップＳ４７）。比較認識部３７は信号前処理部３４が前処理を行なった後の入力パターンを示す信号と参照パターン記憶部選択部３６が選択した参照パターン記憶部３３ａ〜３３ｎに記憶した参照パターンとを比較して、入力文字の認識を行なう（ステップＳ４８，Ｓ４９）。このように後続パターンを参照して入力文字の認識を行なうことにより、さらに正確に入力文字の候補の絞り込みを行なうことができ、正確な入力文字の認識を行なうことができる。
【０１０９】
また、上記実施例では参照パターン記憶部３３ａ〜３３ｎを切り替えて、入力文字の認識を行なったが、パターンの入力順などに応じた認識を行なう複数のパターン認識部を切り替えるようにしても良い。
【０１１０】
ペン型入力装置は、例えば図２０に示すように信号前処理部３４、パターン認識部４４ａ〜４４ｎ、入力回数カウンタ３５及び認識部選択部４５を備えるパターン認識装置２ｅを有する。各パターン認識部４４ａ〜４４ｎは、参照パターン記憶部３３ａ〜３３ｎ及び比較認識部３７ａ〜３７ｎを備え、それぞれパターンの入力回数に対応した入力文字認識を行なう。例えばパターン認識部４４ａは入力パターンが第１回目のストロークである場合の文字認識を行ない、パターン認識部４４ｂは入力パターンが第２回目のストロークである場合の文字認識を行なう。認識部選択部４５は入力回数カウンタ３５の計数値に応じてパターン認識部４４ａ〜４４ｎを選択して、選択したパターン認識部４４ａ〜４４ｎの認識結果を出力する。このように、複数のパターン認識部４４ａ〜４４ｎにより同時に処理することにより、パターンの認識処理の効率を高めることができる。ここで、各比較認識部３７ａ〜３７ｎ、例えば異なった構造のニューラルネットワーク演算部を備えるようにしても良い。例えばバリエーションの大きい第１回目のストロークに対しては大きな中間層を持つニューラルネットワーク演算部を用い、バリエーションの小さい他のストロークに対しては中間層の小さいニューラルネットワーク演算部を用いるようにしても良い。
【０１１１】
また、上記実施例ではパターンの入力順を基にパターン認識部４４ａ〜４４ｎを選択したが、例えば図２１に示すように信号前処理部３４、パターン認識部４４ａ〜４４ｎ、認識部選択部４５及び先行パターン記憶部３８を備えるパターン認識装置２ｆを用いて先行パターンを基にパターン認識部４４ａ〜４４ｎを選択するようにしても良い。
【０１１２】
また、ペン型入力装置は、例えば図２２に示すように信号前処理部３４、パターン認識部４４ａ〜４４ｎ、後続入力読取部４０、後続パターン認識結果記憶部４３及び認識部選択部４５を備えるパターン認識装置２ｇを用いて後続パターンを基にパターン認識部４４ａ〜４４ｎを選択するようにしても良い。
【０１１３】
また、前記実施例ではウエーブレット変換部２２ａ，２２ｂ，２２ｃ及びニューラルネットワーク演算部２３を用いてパターン認識を行なったが、図２３に示すようにＤＰマッチング部４７を備え、ＤＰマッチング部４７でＤＰマッチングを行なうことにより、パターン認識を行なうようにしても良い。
【０１１４】
ペン型入力部１は、例えば図５に示すようなアナログ信号Ａを出力する。ＡＤ変換器２５ａ，２５ｂ，２５ｃはこのペン型入力部１が出力したアナログ信号をデジタル変換する。データ切出部２６はこの信号から認識したいパターンに対応する部分を切り出す。このデータ切出部２６の切り出しには、例えばデジタル変換して得たデータの値又はその微分値の閾値で判断する。加速度センサ１１ａ，１１ｂ，１１ｃからの出力信号は重力の影響でオフセットを持っており、その値は一定ではないので微分値の閾値で判断すると特に有効である。
【０１１５】
標準パターン記憶部４６は複数の標準パターン各々に対する標準加速度パターンを記憶する。ここで、標準パターンとは、例えば第一水準の漢字等のパターンをいう。ＤＰマッチング部４７はデータ切出部２６が切り出した加速度データのパターンと標準パターン記憶部４６に記憶した標準加速度パターンとをＤＰマッチング行ない、ペン先端部６の移動パターンを認識する。ここで、上記ＤＰマッチングにおいては加速度データのパターンと標準パターン記憶部４６に記憶した各標準加速度パターンとの距離を算出し、その距離が最小の標準加速度パターンに対応するパターンが入力パターンであると判断する。この場合、加速度センサが複数あるので、ＤＰマッチング部４７ではそれぞれの加速度データに対して距離の算出を行ない、その平均を求めることによって、入力パターンの判断を行なう。ここで、認識するパターンは文字だけでなく図形又は文字の構成要素等であっても良い。文字の構成要素の場合は構成要素の認識結果を順次得ることができるので、さらにこれら文字の構成要素と辞書等とのマッチングをとって文字の認識を行なう。
【０１１６】
上記実施例では加速度センサ１１ａ，１１ｂ，１１ｃが出力した加速度信号を基にパターン認識を行なったが、ペン型入力部１ａがＸｓ軸周りのジャイロ１２ａ，Ｙｓ軸周りのジャイロ１２ｂ及びＺｓ軸周りのジャイロ１２ｃを備え、加速度信号の代わりに各ジャイロ１２ａ，１２ｂ，１２ｃからの回転角速度信号を基にパターン認識を行なうようにしても良い。この場合、標準パターン記憶部４６は複数の標準パターン各々に対する標準回転角速度パターンを記憶し、ＤＰマッチング部４７はジャイロ１２ａ，１２ｂ，１２ｃからの回転角速度信号のパターンと標準パターン記憶部４６に記憶した各標準回転角速度パターンとをＤＰマッチング行ない、ペン先端部６の筆記軌跡のパターンを認識する。
【０１１７】
さらに、Ｘｓ軸ジャイロ１２ａ，Ｙｓ軸ジャイロ１２ｂ及びＺｓ軸ジャイロ１２ｃを備えるペン型入力部１ａの代わりに、Ｘｓ軸方向の加速度センサ１１ａ，Ｙｓ軸方向の加速度センサ１１ｂ、Ｚｓ軸方向の加速度センサ１１ｃ、Ｘｓ軸周りのジャイロ１２ａ，Ｙｓ軸周りのジャイロ１２ｂ及びＺｓ軸周りのジャイロ１２ｃを備えるペン型入力部１ｂを用いてを良い。この場合、標準パターン記憶部４６は複数の標準パターン各々に対する標準加速度パターン及び標準回転角速度パターンを記憶する。ＤＰマッチング部４７は加速度センサ１１ａ，１１ｂ，１１ｃ及びジャイロ１２ａ，１２ｂ，１２ｃからの加速度信号のパターン及び回転角速度信号のパターンと標準パターン記憶部４６に記憶した各標準加速度パターン及び各標準回転角速度パターンとを、既に複数の加速度センサを備える場合の例で説明したようにしてＤＰマッチング行ない、ペン先端部６の筆記軌跡のパターンを認識する。ここで、加速度センサ及びジャイロの数は認識しようとするパターンに応じて少なくしても良い。
【０１１８】
さらに、図２４に示すようにデータ前処理部２１ａが、ＡＤ変換部２５ａ〜２５ｆ、ＨＰＦ４８ａ〜４８ｆ、ＬＰＦ２７ａ〜２７ｆ、筆記状態判別部２８、初期傾斜角演算部２９、傾斜角変化演算部３０、傾斜角演算部３１及び座標変換演算部３２を備え、既に説明したように加速度センサ１１ａ，１１ｂ，１１ｃからの出力を基に検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向、Ｙｓ軸方向及びＺｓ軸方向の加速度Ａxs，Ａys，Ａzsを重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度Ａxg，Ａyg，Ａzgに変換した後に出力するようにしても良い。標準パターン記憶部４６は、複数の標準パターン各々に対する重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）での標準加速度パターンを記憶し、ＤＰマッチング部４７は座標変換演算部３２が座標変換した加速度信号のパターンと標準パターン記憶部４６に記憶した各標準加速度パターンとをＤＰマッチング行ない、ペン先端部６の移動パターンを認識する。ここで、図では以前の実施例と異なりＨＰＦ４８ａ〜４８ｆを筆記状態判別部２８の外部に設けている。
【０１１９】
上記構成のペン型入力装置の動作について、図２５のフローチャートを参照して説明する。
【０１２０】
加速度センサ１１ａ，１１ｂ，１１ｃ及びジャイロ１２ａ，１２ｂ，１２ｃはそれぞれＸｓ軸方向，Ｙｓ軸方向，Ｚｓ軸方向の加速度及びＸｓ軸周り，Ｙｓ軸周り，Ｚｓ軸周りの回転角速度を示す信号を出力する。データ前処理部２１ａのＨＰＦ４８ａ〜４８ｆはデジタル変換後の加速度センサ１１ａ，１１ｂ，１１ｃ及びジャイロ１２ａ，１２ｂ，１２ｃからの信号から高周波数成分を抽出する。筆記状態判別部２８はＨＰＦ４８ａ〜４８ｆを介して入力した加速度センサ１１ａ，１１ｂ，１１ｃ及びジャイロ１２ａ，１２ｂ，１２ｃからの信号のいずれかに高周波成分が含まれているか否かを調べて、高周波数成分が含まれている場合には筆記中と判断し、筆記中であるか否かを示す信号を出力する。初期傾斜角演算部２９は、既に説明したように筆記状態判別部２８から筆記中でないことをを示す信号を受けると、Ｘｓ軸加速度センサ１１ａ、Ｙｓ軸加速度センサ１１ｂ及びＺｓ軸加速度センサ１１ｃからの信号を入力し、ペン軸５の傾斜角の初期値θ0，φ0及びΨ0を算出する（ステップＳ５１、Ｓ５２）。
【０１２１】
傾斜角変化演算部３０は、既に説明したように筆記状態判別部２８から筆記中であることを示す信号を受けると（ステップＳ５１）、３個のジャイロ１２ａ，１２ｂ，１２ｃが検出した回転角速度Ｐ，Ｑ，Ｒを基にペン軸５の傾斜角の変化Δθ，Δφ及びΔΨを演算する（ステップＳ５３）。傾斜角演算部３１は、既に説明したように初期傾斜角演算部２９が演算したペン軸５の傾斜角の初期値θ0，φ0，Ψ0と傾斜角変化演算部３０が演算したペン軸５の傾斜角の変化Δθ，Δφ，ΔΨを基に筆記中のペン軸５の傾斜角θ，φ，Ψを求める（ステップＳ５４）。座標変換演算部３２は傾斜角演算部３１が検出した筆記中の傾斜角θ，φ，Ψを基に加速度センサ１１ａ，１１ｂ，１１ｃが検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）の加速度Ａxs，Ａys，Ａzsを重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）による加速度Ａxg，Ａyg，Ａzgに変換する（ステップＳ５５）。筆記状態判別部２８で筆記状態か否かを判別するので座標変換演算部３２では、筆記中のパターンに係わる加速度データを切り出すことができる。
【０１２２】
ＤＰマッチング部４７はデータ前処理部２１ａが座標変換及び切り出し処理をした加速度データが示すパターンを標準パターン記憶部に記憶した各標準加速度パターンとＤＰマッチングをしてペン先端部６が描いたパターンの認識を行なう（ステップＳ５６）。
【０１２３】
ペン型入力装置は上記動作（ステップＳ５３〜Ｓ５６）を筆記状態判別部２８が筆記中であることを示す信号を出力している間繰り返し、図形等を入力する（ステップＳ５７）。ここで、既に説明したように認識したパターンが文字の構成要素の場合は構成要素の認識結果を順次記憶し、さらにこれら文字の構成要素と辞書等とのマッチングをとって文字の認識を行なう。このように、３個の加速度センサ１１ａ，１１ｂ，１１ｃ及び３個のジャイロ１２ａ，１２ｂ，１２ｃを用いて検出した加速度及び回転角速度を用いるのでペン軸の傾斜による影響の無い加速度を用いて正確にパターン認識できるとともに、重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）に変換した後の加速度を用いてＤＰマッチングを行なうので、データの件数を少なくし、マッチング処理を高速化することができる。
【０１２４】
また、上記実施例では重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）に変換した後の加速度を用いてＤＰマッチングを行なったが、重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）に変換した後の加速度を１回積分して速度を求め、重力座標系におけるペン先端部６の速度を用いてＤＰマッチングするようにしても良い。
【０１２５】
さらに、重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）に変換した後の加速度を２回積分して移動方向及び移動距離を検出し、検出した移動方向及び移動量からペン先端部６の筆記軌跡を求め、ペン先端部６の筆記軌跡を用いてＤＰマッチングするようにしても良い。
【０１２６】
なお、これまでの実施例ではいずれもペン型入力部１とパターン認識装置２とを別々に設けたが、パターン認識装置２をペン型入力部１内部に組み込んでも良い。
【０１２７】
【発明の効果】
以上説明したように、この発明に係るペン型入力装置は、少なくとも１個の加速度センサと少なくとも１個の回転角速度センサとデータ前処理部とウエーブレット変換部とニューラルネットワーク演算部と後処理部を有し、加速度センサはその数に応じてペン軸をＺｓ軸としたペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向のいずれか１方向、いずれか２方向又は３方向の加速度信号を出力し、回転角速度センサはその数に応じてＸｓ軸周り，Ｙｓ軸周り及びＺｓ軸周りのいずれか１軸周り、いずれか２軸周り又は３軸周りの回転角速度信号を出力し、データ前処理部は無筆記状態における少なくとも１個の加速度センサからの加速度信号を基にペン軸の傾斜角の初期値を演算し、筆記状態における少なくとも１個の回転角速度センサが出力した回転角速度信号から傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基に少なくとも１個の加速度センサが検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力加速度方向に伸びる軸をＺｇ軸にした重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換し、入力パターンに対応する加速度データの切り出しを行ない、ウエーブレット変換部はデータ前処理部が切り出した加速度データをウエーブレット変換して入力パターンを表わす係数を求め、ニューラルネットワーク演算部はウエーブレット変換部が求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出し、後処理部はニューラルネットワーク演算部による入力パターンの中間認識結果を基に入力パターンを判定して、ペン軸の傾斜による影響をなくす。
【０１２８】
さらに、データ前処理部は無筆記状態における少なくとも１個の加速度センサからの加速度信号を基にペン軸の傾斜角の初期値を演算し、筆記状態における少なくとも１個の回転角速度センサからの回転角速度信号を基にペン軸の傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基に少なくとも１個の加速度センサが検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度を重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度に変換し、変換した加速度を積分してペン先端部の速度を求め、入力パターンに対応する速度データの切り出しを行ない、ウエーブレット変換部はデータ前処理部が切り出した速度データをウエーブレット変換して入力パターンを表わす係数を求めて、ペン軸の傾斜による影響をなくす。
【０１２９】
また、データ前処理部が切り出したデータをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出するウエーブレットベーシスファンクション型ニューラルネットワーク演算部を有し、後処理部はウエーブレットベーシスファンクション型ニューラルネットワーク演算部による入力パターンの中間認識結果を基に入力パターンを判定して構成を簡単にする。
【０１３０】
また、別の発明に係るペン型入力装置のパターン認識方法は、ペン軸をＺｓ軸としたペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向の無筆記状態における加速度データを基にペン軸の傾斜角の初期値を演算し、筆記状態におけるＸｓ軸周り，Ｙｓ軸周り及びＺｓ軸周りの回転角速度データを基にペン軸の傾斜角の変化を算出し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基にペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力加速度方向に伸びる軸をＺｇ軸にした重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換し、変換後の加速度データから入力パターンに対応する加速度データの切り出しを行ない、切り出した加速度データをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出し、入力パターンの中間認識結果を基に入力パターンを判定する。よって、ペン軸の傾斜による影響をなくし、高精度のパターン認識を行なうことができる。
【０１３１】
また、ペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向の無筆記状態における加速度データを基にペン軸の傾斜角の初期値を演算し、筆記状態におけるＸｓ軸周り，Ｙｓ軸周り及びＺｓ軸周りの回転角速度データを基にペン軸の傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基にペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力加速度方向に伸びる軸をＺｇ軸にした重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換し、座標変換した加速度データを積分してペン先端部の速度データを求め、入力パターンに対応した速度データの切り出しを行ない、切り出した速度データをウエーブレット変換して入力パターンを表わす係数を求める。よって、ニューラルネットワーク演算の負担を軽くできる。
【図面の簡単な説明】
【図１】ペン型入力部とパターン識別装置との接続図である。
【図２】ペン型入力部とパターン識別装置の構成図である。
【図３】ニューラルネットワークの構成図である。
【図４】ペン型入力装置の動作を示すフローチャートである。
【図５】加速度信号の波形図である。
【図６】ジャイロを用いたペン型入力部とパターン識別装置の構成図である。
【図７】他のペン型入力部の斜視図である。
【図８】他のペン型入力部とパターン識別装置の構成図である。
【図９】他のペン型入力装置の動作を示すフローチャートである。
【図１０】他のニューラルネットワークの構成図である。
【図１１】パターン入力順を基に文字認識を行なうパターン認識装置の構成図である。
【図１２】パターン入力順を基に文字認識を行なうフローチャートである。
【図１３】ウエーブレット係数の変化を示す波形図である。
【図１４】参照パターン記憶部の構成図である。
【図１５】筆順の説明図である。
【図１６】先行パターンを基に文字認識を行なうパターン認識装置の構成図である。
【図１７】先行パターンを基に文字認識を行なうフローチャートである。
【図１８】後続パターンを基に文字認識を行なうパターン認識装置の構成図である。
【図１９】後続パターンを基に文字認識を行なうフローチャートである。
【図２０】入力順を基に文字認識結果を切り替えるパターン認識装置の構成図である。
【図２１】先行パターンで認識結果を切り替えるパターン認識装置の構成図である。
【図２２】後続パターンで認識結果を切り替えるパターン認識装置の構成図である。
【図２３】ＤＰマッチングでパターン認識を行なうパターン認識装置の構成図である。
【図２４】座標変換後にＤＰマッチングを行なうパターン認識装置の構成図である。
【図２５】座標変換後にＤＰマッチングを行なう場合のフローチャートである。
【符号の説明】
１ ペン型入力部
１１ 加速度センサ
１２ ジャイロ
２ パターン認識装置
２１ データ前処理部
２２ ウエーブレット変換部
２３ ニューラルネットワーク演算部
２４ 後処理部
２６ データ切出部
２８ 筆記状態判別部
２９ 初期傾斜角演算部
３０ 傾斜角変化演算部
３１ 傾斜角演算部
３２ 座標変換演算部
３３ 参照パターン記憶部
３４ 信号前処理部
３５ 入力回数カウンタ
３６ 参照パターン記憶部選択部
３７ 比較認識部
３８ 先行パターン記憶部
３９ 入力パターンバッファ
４０ 後続入力読取部
４４ パターン認識部
４５ 認識部選択部
４６ 標準パターン記憶部
４７ ＤＰマッチング部
Claims (5)
- 少なくとも１個の加速度センサと少なくとも１個の回転角速度センサとデータ前処理部とウエーブレット変換部とニューラルネットワーク演算部と後処理部を有し、
加速度センサはその数に応じてペン軸をＺｓ軸としたペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向のいずれか１方向、いずれか２方向又は３方向の加速度信号を出力し、
回転角速度センサはその数に応じてＸｓ軸周り，Ｙｓ軸周り及びＺｓ軸周りのいずれか１軸周り、いずれか２軸周り又は３軸周りの回転角速度信号を出力し、
データ前処理部は無筆記状態における少なくとも１個の加速度センサからの加速度信号を基にペン軸の傾斜角の初期値を演算し、筆記状態における少なくとも１個の回転角速度センサが出力した回転角速度信号から傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基に少なくとも１個の加速度センサが検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力加速度方向に伸びる軸をＺｇ軸にした重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換し、入力パターンに対応する加速度データの切り出しを行ない、
ウエーブレット変換部はデータ前処理部が切り出した加速度データをウエーブレット変換して入力パターンを表わす係数を求め、
ニューラルネットワーク演算部はウエーブレット変換部が求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出し、
後処理部はニューラルネットワーク演算部による入力パターンの中間認識結果を基に入力パターンを判定することを特徴とするペン型入力装置。 - 上記データ前処理部は無筆記状態における少なくとも１個の加速度センサからの加速度信号を基にペン軸の傾斜角の初期値を演算し、筆記状態における少なくとも１個の回転角速度センサからの回転角速度信号を基にペン軸の傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基に少なくとも１個の加速度センサが検出したペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度を重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度に変換し、変換した加速度を積分してペン先端部の速度を求め、入力パターンに対応する速度データの切り出しを行ない、ウエーブレット変換部はデータ前処理部が切り出した速度データをウエーブレット変換して入力パターンを表わす係数を求める請求項１記載のペン型入力装置。
- 上記データ前処理部が切り出したデータをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出するウエーブレットベーシスファンクション型ニューラルネットワーク演算部を有し、後処理部はウエーブレットベーシスファンクション型ニューラルネットワーク演算部による入力パターンの中間認識結果を基に入力パターンを判定する請求項１又は２に記載のペン型入力装置。
- ペン軸をＺｓ軸としたペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向の無筆記状態における加速度データを基にペン軸の傾斜角の初期値を演算し、筆記状態におけるＸｓ軸周り，Ｙｓ軸周り及びＺｓ軸周りの回転角速度データを基にペン軸の傾斜角の変化を算出し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基にペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力加速度方向に伸びる軸をＺｇ軸にした重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換し、変換後の加速度データから入力パターンに対応する加速度データの切り出しを行ない、切り出した加速度データをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力 パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出し、入力パターンの中間認識結果を基に入力パターンを判定することを特徴とするペン型入力装置のパターン認識方法。
- ペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸方向，Ｙｓ軸方向及びＺｓ軸方向の無筆記状態における加速度データを基にペン軸の傾斜角の初期値を演算し、筆記状態におけるＸｓ軸周り，Ｙｓ軸周り及びＺｓ軸周りの回転角速度データを基にペン軸の傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基にペン軸座標系（Ｘｓ，Ｙｓ，Ｚｓ）による加速度データを重力座標系（Ｘｇ，Ｙｇ，Ｚｇ）における加速度データに変換し、座標変換した加速度データを積分してペン先端部の速度データを求め、求めた速度データから入力パターンに対応する速度データの切り出しを行ない、切り出した速度データをウエーブレット変換して入力パターンを表わす係数を求める請求項４記載のペン型入力装置のパターン認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21976497A JP3678388B2 (ja) | 1996-10-11 | 1997-08-01 | ペン型入力装置及びペン型入力装置のパターン認識方法 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9-162122 | 1996-10-11 | ||
| JP8-287259 | 1996-10-11 | ||
| JP28725996 | 1996-10-11 | ||
| JP16212297 | 1997-06-05 | ||
| JP21976497A JP3678388B2 (ja) | 1996-10-11 | 1997-08-01 | ペン型入力装置及びペン型入力装置のパターン認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1153104A JPH1153104A (ja) | 1999-02-26 |
| JP3678388B2 true JP3678388B2 (ja) | 2005-08-03 |
Family
ID=27321956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21976497A Expired - Fee Related JP3678388B2 (ja) | 1996-10-11 | 1997-08-01 | ペン型入力装置及びペン型入力装置のパターン認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3678388B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023179264A1 (zh) * | 2022-03-25 | 2023-09-28 | 华为技术有限公司 | 隔空输入方法、设备以及系统 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7256773B2 (en) * | 2003-06-09 | 2007-08-14 | Microsoft Corporation | Detection of a dwell gesture by examining parameters associated with pen motion |
| TWI305578B (en) * | 2006-11-14 | 2009-01-21 | Ind Tech Res Inst | Method and apparatus of signal processing and an inertia pointing device using thereof |
| JP4582116B2 (ja) | 2007-06-06 | 2010-11-17 | ソニー株式会社 | 入力装置、制御装置、制御システム、制御方法及びそのプログラム |
| US8648796B2 (en) | 2008-12-04 | 2014-02-11 | Blackberry Limited | Stroke based input system for character input |
| EP2194443A1 (en) * | 2008-12-04 | 2010-06-09 | Research In Motion Limited | Stroke based input system for character input |
| CN110134257A (zh) * | 2019-05-09 | 2019-08-16 | 兰州工业学院 | 基于惯性传感器的电子笔及其书写识别模型建立方法 |
| JP7507548B2 (ja) * | 2019-08-22 | 2024-06-28 | 三菱鉛筆株式会社 | 筆記具 |
-
1997
- 1997-08-01 JP JP21976497A patent/JP3678388B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023179264A1 (zh) * | 2022-03-25 | 2023-09-28 | 华为技术有限公司 | 隔空输入方法、设备以及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1153104A (ja) | 1999-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7259756B2 (en) | Method and apparatus for selecting information in multi-dimensional space | |
| EP0666544A1 (en) | Gesture input method and apparatus | |
| KR100735555B1 (ko) | 동작에 따른 기능을 수행하는 장치 및 방법 | |
| KR100668298B1 (ko) | 움직임에 기반한 소리 발생 방법 및 장치 | |
| US7068843B2 (en) | Method for extracting and matching gesture features of image | |
| CN108196668B (zh) | 一种便携式手势识别系统及方法 | |
| JP3678388B2 (ja) | ペン型入力装置及びペン型入力装置のパターン認識方法 | |
| CN110044375B (zh) | 一种基于加速度计的新型计步方法 | |
| KR101849350B1 (ko) | 근전도 센서와 관성센서를 사용한 제스처 인식 기반의 모바일 로봇 제어 시스템 및 방법 | |
| CN114397963A (zh) | 一种手势识别方法、装置、电子设备及存储介质 | |
| US10578640B2 (en) | Determination of a mobility context for a user carrying a device fitted with inertial sensors | |
| JP3013618B2 (ja) | サイン認識装置 | |
| JP3335542B2 (ja) | 手書き文字の照合方法および装置 | |
| KR101870542B1 (ko) | 모션 인식 방법 및 장치 | |
| Neelasagar et al. | Real time 3D-handwritten character and gesture recognition for smartphone | |
| KR101869304B1 (ko) | 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램 | |
| JP3192468B2 (ja) | オンライン手書き文字認識装置及び認識方法 | |
| JPH09274535A (ja) | ペン型入力装置 | |
| Tuncer et al. | Handwriting recognition by derivative dynamic time warping methodology via sensor-based gesture recognition. | |
| TWI389042B (zh) | 基於慣性訊號之識別系統及其識別方法 | |
| JPH09244799A (ja) | ペン型入力装置 | |
| JP3125432B2 (ja) | 手書き文字認識装置 | |
| JP2682416B2 (ja) | 図形認識装置 | |
| JPH11102254A (ja) | ペン型入力装置及びペン型入力装置のパターン認識方法 | |
| JPH11212717A (ja) | ペン型入力装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040409 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050502 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050509 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080520 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090520 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100520 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110520 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120520 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120520 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130520 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |