JPH10187341A

JPH10187341A - 画像認識装置

Info

Publication number: JPH10187341A
Application number: JP34754296A
Authority: JP
Inventors: Yoko Oike; 陽子大池; Naohisa Kinoshita; 尚久木下; Motoaki Yamanashi; 素明山梨; Masatoshi Kokubo; 雅俊小久保; Yoshiki Katayama; 芳喜片山
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 1996-12-26
Filing date: 1996-12-26
Publication date: 1998-07-14

Abstract

(57)【要約】【課題】任意の空間においても、手書き画像認識を可
能とする画像認識装置を提供すること。【解決手段】任意の空間において、使用者等がケーシ
ング１１の先端部１１ａを移動させた場合、画像認識装
置１０は、そのペン先１１ａの３次元的な移動の軌跡を
検出し（Ｓ２〜Ｓ５）、その軌跡を２次元の画像データ
に変換する（Ｓ６〜Ｓ７）、そして、その画像データを
文字辞書１４Ｊに格納されている連続した線分の画像デ
ータと比較照合して候補となる画像を表示手段１５に表
示する（Ｓ８〜Ｓ１０）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、任意の空間におけ
る手書き動作によっても、画像を正確に認識し得る画像
認識装置に関するものである。

【０００２】

【従来の技術】従来、手書き動作による画像を認識する
装置として、例えば、使用者が備え付けのペン等を感圧
センサーのついたタブレットの平面上に押しつけて、所
望の画像を描くことにより認識させる画像認識装置があ
る。

【０００３】この装置は、使用者等が、ペン等をタブレ
ットに押しつけた領域を画像として認識し、装置に備え
付けられた感圧センサーにより、押しつけられる領域と
押しつけられない領域とを容易に判別するものである。

【０００４】また、従来、上記装置により画像を認識す
る場合の認識方法として、以下の方法が知られている。
すなわち、使用者が装置のタブレット上でペン等を移動
させ、その移動方向を直接情報として用いることによっ
て、画像を認識する方法である。この認識方法は、画像
パターンを方向の成分で表した移動方向データ（以下、
方向コードという。）の列（以下、ストロークコードと
いう。）で表し、そのストロークコードを、予め記憶部
等に記憶されている画像のストロークコードと比較し
て、描かれた画像を認識するものである。ここで、方向
コードとは、例えば、３６０度を８分割するとすれば、
図７に示すような０，１，２，３，４，５，６，７の８
方向の識別コードをいい、３６０度を１６分割するとす
れば、１６方向の識別コードをいう。すなわち、ストロ
ークコードは、認識する画像が例えば、「安」という文
字であるとすると、図７の方向コードを用いれば、「６
６０５５７５０」となり、認識する画像が例えば、
「宇」という文字であるとすると、「６６０５００６
３」となる。これらストロークコードは、これら文字の
筆順を考慮すれば容易に理解することができる。

【０００５】

【発明が解決しようとする課題】しかしながら、最近、
手書き動作をタブレット上ではなく、任意の場所、延い
ては、任意の空間において行う試みがなされている。こ
の場合、使用者等は、従来の画像認識装置に備え付けら
れたタブレットの平面上をペン等で押しつけることがな
いため、装置は、押しつけられる領域と押しつけなられ
ない領域とを判別することができず、その結果として、
使用者の希望する画像が十分に認識されなかった。

【０００６】本発明は、前記問題点を解決するためにな
されたものであり、任意の空間においても、手書き画像
認識を可能とする画像認識装置を提供することを目的と
している。

【０００７】

【課題を解決するための手段】この目的を達成するため
に、本発明の請求項１に記載の画像認識装置は、ケーシ
ングの先端部の移動を３次元の軌跡として認識する３次
元移動認識手段と、その３次元移動認識手段により認識
された３次元の軌跡を２次元の画像データに変換する変
換手段と、文字・記号等の画像を予め２次元の画像デー
タとして記憶する記憶手段と、前記変換手段により変換
された２次元の画像データと、前記記憶手段に記憶され
た２次元の画像データとを比較して、前記画像を認識す
る画像認識手段とを備えた画像認識装置において、前記
記憶手段に記憶された画像データは、連続した線分で構
成されていることを特徴としている。

【０００８】この画像認識装置によれば、使用者等がケ
ーシングの先端部を３次元的に移動させると、３次元移
動認識手段は、その移動を３次元の軌跡として認識し、
変換手段は、その３次元移動認識手段により認識された
３次元の軌跡を２次元の画像データに変換する。また、
記憶手段は、文字・記号等の画像を予め２次元の画像デ
ータとして記憶しており、画像認識手段は、変換手段に
より変換された２次元の画像データと、記憶手段に記憶
された２次元の画像データとを比較して、画像を認識す
る。そして、この場合の記憶手段に記憶されている画像
データは、連続した線分とされる。

【０００９】また、請求項２に記載の画像認識装置は、
前記連続した線分が、前記ケーシングの先端部の移動方
向を示す移動方向データで構成されていることを特徴と
している。

【００１０】この画像認識装置によれば、前記記憶手段
に記憶された画像データは、連続した線分であって、そ
の連続した線分が、ケーシングの先端部の移動方向を示
す移動方向データとされる。

【００１１】更に、請求項３に記載の画像認識装置は、
前記連続した線分が、前記ケーシングの先端部の移動方
向を示す移動方向データと、前記先端部の移動量を示す
移動量データとから構成されていることを特徴としてい
る。

【００１２】この画像認識装置によれば、前記記憶手段
に記憶された画像データは、連続した線分であって、そ
の連続した線分が、ケーシングの先端部の移動方向を示
す移動方向データに加え、その先端部の移動量を示す移
動量データとされる。

【００１３】また、請求項４に記載の画像認識装置は、
前記画像認識手段により認識された一若しくは複数の画
像を表示する表示手段を前記ケーシングに設けたことを
特徴としている。

【００１４】この画像認識装置は、前記画像認識手段に
より認識された一若しくは複数の画像をケーシングに設
けられた表示手段に表示する。

【００１５】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。

【００１６】図１は、本発明を具体化した画像認識装置
１０の概略構成図である。図１において、本発明の画像
認識装置１０の外形は、ケーシング１１によりペン形状
をなしており、そのケーシング１１の先端には、先端部
１１ａ（以下ペン先１１ａという。）を有し、ケーシン
グ１１の内部には、加速度検出手段１２、圧電振動ジャ
イロ１３及び制御部１４が固定されている。また、ケー
シング１１の表面には、表示窓１５が設けられている。

【００１７】更に、加速度検出手段１２、圧電振動ジャ
イロ１３及び表示窓１５は、制御部１４に電気的に接続
されている。

【００１８】尚、ケーシング１１の形状をペン形状とし
たが、必ずしもぺん形状でなくてもよく、マウスのよう
な流線形状、球形状、棒形状等であってもよい。

【００１９】加速度検出手段１２は、ペン先１１ａの移
動方向を示す移動方向データの加速度を検出するもので
あり、Ｘ方向の加速度を検出するＸ方向加速度センサー
１２ａ、Ｙ方向の加速度を検出するＹ方向加速度センサ
ー１２ｂ及びＺ方向の加速度を検出するＺ方向加速度セ
ンサー１２ｃとから構成されている。ここで用いている
Ｘ方向、Ｙ方向及びＺ方向は、それぞれ相互に９０度の
方向関係にあるとするのが一般的であるが、必ずしもそ
の関係に限られるものではなく、３次元空間を表せるい
かなる関係であってもよい。すなわち、Ｘ方向、Ｙ方向
及びＺ方向がおのおの異なる方向を向いておればよい。

【００２０】また、加速度検出手段１２は、ペン先１１
ａの移動方向の加速度を検出するものであるので、ペン
先１１ａの近くに固定すればするほど検出の感度は良く
なることは当然である。

【００２１】尚、加速度検出手段１２から検出された加
速度は、積分することによりペン先１１ａの移動方向の
速度として検出され、更に積分すればペン先１１ａの移
動量を示す移動量データとして検出されることもここで
述べるまでもない。

【００２２】また、圧電振動ジャイロ１３は、ケーシン
グ１１のＺ軸回りの回転の角加速度、すなわち、ペン先
の回転の角加速度を検出するものであり、加速度検出手
段１２より検出されたＸ方向、Ｙ方向、Ｚ方向の加速度
をペン先の回転を考慮して補正するものである。

【００２３】尚、図１においては、圧電振動ジャイロ１
３をケーシング１１のＺ軸上に固定するように示してい
るが、Ｚ軸上に固定されなくても補正は可能である。

【００２４】そして、制御部１４は、加速度検出手段１
２及び圧電振動ジャイロ１３により検出された加速度、
角加速度から画像認識装置１０が描いた画像を認識す
る。

【００２５】尚、制御部１４の処理については、後述す
る。

【００２６】また、表示窓１５は、制御部１４により認
識された画像の候補として、一若しくは複数の画像を表
示する。

【００２７】次に、図２を参照して、制御部１４におけ
る処理について説明する。

【００２８】以降の実施の形態においては、説明の都合
上、一般的な画像ではなく、単純な文字を実施の形態と
する。ただし、本発明は、文字に限定されるものではな
く、一般的な画像に適用できることは明らかである。

【００２９】まず、使用者等がペン先１１ａを動作させ
ると、加速度検出手段１２のＸ方向加速度センサー１２
ａ、Ｙ方向加速度センサー１２ｂ及びＺ方向加速度セン
サー１２ｃが、ペン先１１ａの移動の加速度を検出し、
その検出値が制御部１４の加速度検出部１４Ａに伝達さ
れる。この検出値は、加速度検出部１４Ａで加速度信号
に変換され、その加速度信号は、積分部１４Ｂに伝達さ
れる。伝達された加速度信号は、積分部１４Ｂにおいて
積分されて速度信号となり、再度積分されて、変位信号
となる。この変位信号は、ペン先１１ａの移動量データ
に比例するものである。

【００３０】一方、前記加速度検出部１４Ａから出力さ
れた加速度信号は、ＸＹＺ各々の移動方向を判別する方
向判別部１４Ｅにも入力され、その加速度信号は、ペン
先１１ａの移動方向データとして検出される。

【００３１】また、使用者等がペン先１１ａを動作させ
ると、前記加速度検出手段１２の検出と同時に、圧電振
動ジャイロ１３が、ペン先の回転の角加速度を検出す
る。この検出値は、角加速度検出部１４Ｃに伝達され、
角加速度信号に変換される。この角加速度信号は、積分
部１４Ｂとは別の積分部１４Ｄにおいて積分され、角速
度信号となり、再度積分されて、変位信号となる。この
変位信号は、ペン先１１ａの移動角度に比例するもので
ある。

【００３２】補正部１４Ｆは、積分部１４Ｄにより積分
された移動角度に基づいて、積分部１４Ｂにより積分さ
れた移動量データ及び方向判別部１４Ｅにより検出され
た移動方向データを所定方向の成分に補正し、その補正
された移動量データ及び移動方向データは、３次元移動
認識手段であるペン先移動データ抽出部１４Ｇへ伝達さ
れる。

【００３３】そして、ペン先移動データ抽出部１４Ｇ
は、補正部１４Ｆから伝達された移動量データ及び移動
方向データに基づいて、ペン先１１ａが移動した位置を
３次元の座標データとして算出し、その算出された３次
元の座標を変換手段であるデータ変換部１４Ｈに伝達す
る。

【００３４】データ変換部１４Ｈは、算出された３次元
の座標データを２次元に射影したデータに変換する。す
なわち、ペン先１１ａは、３次元空間を移動するのであ
るが、その軌跡を、平面に射影した２次元の画像データ
に変換するのである。

【００３５】以上説明したように、加速度検出部１４Ａ
及び角加速度検出部１４Ｃからデータ変換部１４Ｈに至
るまでの各処理によって、ペン先１１ａの３次元的動作
が２次元の画像データとして認識される。

【００３６】次に、データ変換部１４Ｈにより変換され
た２次元の画像データは、その画像データを認識する画
像認識手段である文字認識部１４Ｉ（以下、文字を例と
して説明するので、画像認識部とせず、文字認識部とい
う。）に入力され、文字認識部１４Ｉは、データ変換部
１４Ｈにおいて変換された２次元の画像データを、記憶
手段である文字辞書１４Ｊに格納されている文字パター
ンの画像データと比較照合し、近似した文字を候補とし
て認識する。

【００３７】そして、文字認識部１４Ｉにより候補とし
て認識された文字は、表示手段である表示部１４Ｋに伝
達され、表示窓１５に一若しくは複数表示される。

【００３８】文字辞書１４Ｊは、図６に示すように、文
字と文字毎のストロークコードから構成され、そのスト
ロークコードは、例えば、文字が１４Ｊａに示す「安」
であれば、「６４６２０５４５７２５３０」であり、文
字が１４Ｊｃに示す「宇」であれば、「６４６２０５４
０５０３６３」である。また、ここで用いる方向コード
は、前述の図７に示す方向コード（０〜７）と同様のも
のである。すなわち、空間においては、ペン先１１ａを
動作させても、画像認識装置１０は、タブレットを使用
する場合のように、タブレットの平面を押しつける、押
しつけないの区別ができないため、文字を構成する部分
（以下、構成部分という。）と、文字を構成する部分か
ら別の構成する部分への移動の部分（以下、移動部分と
いう。）との区別ができない。したがって、文字辞書１
４Ｊは、構成部分に移動部分も加味して、ストロークコ
ードを構成しているのである。このようにすれば、タブ
レットを使用するときのように、タブレットを押しつけ
る、押しつけないの区別がなくても、文字を認識するこ
とが可能となる。

【００３９】次に、このように構成された画像認識装置
１０の動作を図３のフローチャートを参照して説明す
る。

【００４０】まず、使用者等が、画像認識装置１０を用
いて、ケーシング１１の先端部のペン先１１ａを移動さ
せ、文字を筆記する（ステップ１、以下、ステップをＳ
と記す）。この場合、Ｓ１にて空中で文字を筆記した
が、必ずしも空中である必要はなく、実際には、３次元
空間において３次元的に筆記してもよく、机上等におい
て、２次元的に筆記してもよい。

【００４１】次に、ペン先１１ａの筆記動作による移動
量データ及び移動方向データが、前述のＸ方向加速度セ
ンサー１２ａ、Ｙ方向加速度センサー１２ｂ、Ｚ方向加
速度センサー１２ｃからなる、加速度検出手段１２によ
って検出され、制御部１４の加速度検出部１４Ａに伝達
され、さらに、積分部１４Ｂ及び方向判別部１４Ｅに伝
達されて、算出される（Ｓ２）。

【００４２】一方、ペン先１１ａの筆記動作によるペン
先１１ａの回転角度が、圧電振動ジャイロ１３により検
出され、制御部１４の角加速度検出部１４Ｃに伝達さ
れ、さらに、積分部１４Ｄに伝達されて、算出される
（Ｓ３）。

【００４３】そして、補正部１４Ｆは、加速度検出手段
１２の検出結果に基づいて算出された移動量データ及び
移動方向データと圧電振動ジャイロ１３の検出結果に基
づいて算出された回転角度とを用いて、ペン先１１ａの
持つ回転誤差を補正する（Ｓ４）。この補正により、ペ
ン先１１ａの正しい移動量データ及び移動方向データが
測定され、ペン先の移動した軌跡が、ペン先移動データ
として、ペン先移動データ抽出部１４Ｇで抽出される
（Ｓ５）。例えば「木」という文字に合わせて、ペン先
１１ａを移動させたとすると、図４（ａ）のようにな
る。この状態において、画像認識装置１０は、図４
（ａ）に示すような３次元的な軌跡を認識している。

【００４４】データ変換部１４は、この３次元的なペン
先１１ａの軌跡を、図４（ｂ）に示すような、平面に射
影した２次元の画像データに変換する（Ｓ６）。

【００４５】その後、文字認識部１４Ｉは、その２次元
の画像データを、例えば、図７に示す方向コードを使用
するとすれば、図４（ｃ）のように筆順に合わせて展開
し、ペン先１１ａの軌跡をストロークコードに変換する
（Ｓ７）。文字「木」の場合のストロークコードは、図
５に示すように「０３６２５１７」となる。

【００４６】そして、Ｓ７において変換されたストロー
クコードを文字辞書１４Ｊに格納されているストローク
コードと比較照合し（Ｓ８）、格納されているストロー
クコードの中から同一若しくは近似の文字を認識し、そ
の候補となる文字を決定する（Ｓ９）。

【００４７】そして、最後に、その候補となる文字が表
示部１４Ｋに１若しくは複数表示されるのである（Ｓ１
０）。

【００４８】すなわち、ペン先１１ａにより描かれた軌
跡が検出され、その検出値が例えば、ストロークコード
「０３６２５１７」に変換された場合、画像認識装置１
０は、文字辞書１４Ｊから「０３６２５１７」のストロ
ークコード若しくはそのストロークコードに近似したコ
ードを検索し、候補として抽出する。この場合は、候補
の一つとして１４Ｊｄの文字「木」が抽出されることに
なり、表示部に「木」が表示され、処理は終了する。

【００４９】その他にも、文字辞書１４Ｊには、前述の
とおり、例えば、１４Ｊａのように文字「安」であれ
ば、ストロークコード「６４６２０５４５７２５３０」
が格納され、１４Ｊｂのように文字「伊」であれば、ス
トロークコード「５１６１０６３０５０３６」、１４Ｊ
ｃのように文字「宇」であれば、ストロークコード「６
４６２０５４０５０３６３」等が格納されている。

【００５０】本実施の形態においては、方向コードとし
て、一周３６０度の方向を等間隔に８分割し、８方向と
したが、必ずしも等間隔である必要はなく、また８分割
である必要もない。したがって、それぞれ異なった間隔
に分割してもよく、４分割、１６分割、３２分割等分割
数を増減させてもよい。

【００５１】また、本実施の形態においては、ストロー
クコードとして、ペン先１１ａの移動方向を示す方向コ
ードのみを用いたが、このストロークコードは、方向コ
ードと、ペン先１１ａの移動量データを示す移動量デー
タとから構成してもよい。このように、移動量データを
も有すれば、画像の移動量及び移動量の割合等を比較す
ることが可能となり、例えば、文字「こ」と文字「二」
のように判別し難い文字であっても、確実に認識できる
ようになる。

【００５２】また、前記方向コードに代えて、ペン先の
１１ａの移動の方向の差を示す方向差ベクトルを用いて
もよい。

【００５３】

【発明の効果】以上説明したことから明らかなように、
本発明の請求項１に記載の画像認識装置は、記憶手段に
画像データを記憶しており、その画像データを連続した
線分で構成しているので、装置の使用者等は、ケーシン
グの先端部を所望の画像に合わせて連続して描くことが
でき、従来のように、タブレット等を使用する必要がな
い。

【００５４】また、請求項２に記載の画像認識装置は、
画像データを構成する連続した線分が、ケーシングの先
端部の移動方向を示す移動方向データのみで構成されて
いるので、画像データの構造が簡単であるとともに、画
像データの容量を少なくすることができる。

【００５５】更に、請求項３に記載の画像認識装置は、
画像データを構成する連続した線分が、ケーシングの先
端部の移動方向を示す移動方向データと、前記先端部の
移動量を示す移動量データとから構成されているので、
装置の使用者等が描いた画像の移動量及び移動量の割合
等を比較することができ、画像の認識をより確実にする
ことができる。

【００５６】また、請求項４に記載の画像認識装置は、
画像認識手段により認識された一若しくは複数の画像を
表示する表示手段をケーシングに設けているので、装置
の使用者等は、認識された画像を容易に確認することが
できる。

【００５７】以上のように構成した画像認識装置では、
描こうとする画像の領域と描こうとしない領域とを区別
しなくてもよいので、使用者等はペン先１１ａを、通常
の紙面に筆記するように動作させることにより、机上に
書くか空間内に書くかに拘らず、使用者等の意図する画
像が認識されて、その候補となる画像が表示部に表示さ
れる。

【００５８】また、従来のようなタブレット等は、不要
であり、非常に便利であることは必至である。

【図面の簡単な説明】

【図１】本実施の形態の画像認識装置の概略構成図であ
る。

【図２】画像認識装置の制御部の信号処理を示すブロッ
ク図である。

【図３】画像認識装置の動作を示すフローチャートであ
る。

【図４】筆記された画像を認識する過程を説明する説明
図である。

【図５】筆記された画像のストロークコードを方向コー
ドで構成した例を説明する説明図である。

【図６】文字辞書の内容を説明する説明図である。

【図７】画像の方向コードを説明する説明図である。

【符号の説明】

１０画像認識装置１１ケーシング１１ａ先端部１２加速度検出手段１４制御部１４Ｇペン先移動データ抽出部１４Ｈデータ変換部１４Ｊ文字辞書１４Ｉ文字認識部１５表示窓

───────────────────────────────────────────────────── フロントページの続き (72)発明者小久保雅俊名古屋市瑞穂区苗代町15番１号ブラザー工業株式会社内 (72)発明者片山芳喜名古屋市瑞穂区苗代町15番１号ブラザー工業株式会社内

Claims

【特許請求の範囲】

【請求項１】ケーシングの先端部の移動を３次元の軌
跡として認識する３次元移動認識手段と、その３次元移動認識手段により認識された３次元の軌跡
を２次元の画像データに変換する変換手段と、文字・記号等の画像を予め２次元の画像データとして記
憶する記憶手段と、前記変換手段により変換された２次元の画像データと、
前記記憶手段に記憶された２次元の画像データとを比較
して、前記画像を認識する画像認識手段とを備えた画像
認識装置において、前記記憶手段に記憶された画像データは、連続した線分
で構成されていることを特徴とする画像認識装置。
【請求項２】前記連続した線分は、前記ケーシングの
先端部の移動方向を示す移動方向データで構成されてい
ることを特徴とする請求項１に記載の画像認識装置。
【請求項３】前記連続した線分は、前記ケーシングの
先端部の移動方向を示す移動方向データと、前記先端部
の移動量を示す移動量データとから構成されていること
を特徴とする請求項１に記載の画像認識装置。
【請求項４】前記画像認識手段により認識された一若
しくは複数の画像を表示する表示手段を前記ケーシング
に設けたことを特徴とする請求項１乃至請求項３のいず
れかに記載の画像認識装置。