JP3628000B2 - 画像認識方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、カラー画像および白黒画像から特定画像を抽出して認識する画像認識方法に関する。
【０００２】
【従来の技術】
カラー画像を処理する製品、例えばカラー複写機、カラープリンタ、カラースキャナ、カラー画像通信機器などは、今後ますます増加するものと予想される。カラー画像は、ハードウェアの進歩、特にメモリの低価格化および大容量化、通信コストの低下などにより、以前に比べて利用しやすくなってきたものの、カラー画像データはそのデータ量が膨大であるため、２値画像と同じような処理ができないのが現状である。
【０００３】
特に、画像認識（特定画像の認識、ＯＣＲなど）などの複雑な処理を要する技術においては、処理量が膨大になり、カラー画像における画像認識は実現がより困難である。
【０００４】
【発明が解決しようとする課題】
従来、特定のカラー画像を識別する方法として、例えば、画像を構成する各絵柄部分は固有の色空間上での分布を持っていることを利用し、各絵柄部分に現われる固有の色空間上での分布を特定し、この特定された特徴と同一の特徴を有する画像部分を抽出する方法がある（特開平４−１８０３４８号公報を参照）。しかし、この方法では、色空間中での拡がりが同じ画像については、その内部での色の分布が異なっていても識別することができず、つまり色空間の拡がりが同じであれば、拡がりの中での色の分布が異なる画像をも特定の画像として誤検出する可能性がある。
【０００５】
これを解決する方法として、入力されたカラー画像信号を複数の領域に分割し、該分割された領域内のカラー画像から特徴量を抽出し、該抽出された特徴量を予め作成されたコードブックと比較することによりベクトル量子化し、前記カラー画像のベクトル量子化された値と識別対象物の辞書とを照合することにより、カラー画像を認識処理する方法を提案した（特開平７−３１１８４８号公報を参照）。この方法は、認識対象物が回転しているときの認識を考慮しているものの、認識の精度が若干低いという欠点がある。
【０００６】
また、ある特定の対象物を認識させるとき、その対象物が回転している可能性があるので、それを想定して処理する必要がある。そして、認識対象物の種類によっては、対象物が回転しているとき認識されない場合がある。このような場合、認識対象物について、取り込みたいと想定している情報と、実際に取り込んだ情報が異なるために認識されない可能性が高い。
【０００７】
本発明は上記した事情を考慮してなされたもので、
本発明の目的は、回転判定が容易なものと容易でないものを予め調査して辞書に設定することにより、識別対象物が回転しているときの認識の精度を向上させた画像認識方法を提供することにある。
【０００８】
【課題を解決するための手段】
前記各目的を達成するために、請求項１記載の発明では、画像信号から識別対象物を抽出し、該識別対象物と複数の辞書内の矩形情報とを照合することにより前記識別対象物を認識処理する画像認識方法であって、前記各辞書毎に、回転判定が容易であることを示す第１の情報、または回転判定が容易でないことを示す第２の情報を格納し、前記辞書の照合時に前記第１の情報が格納されていた場合は、前記識別対象物の回転の有無を判定し、回転の有無に応じて、前記識別対象物の異なる矩形情報と辞書内の矩形情報とを照合し、前記辞書の照合時に前記第２の情報が格納されていた場合は、前記識別対象物の外接矩形情報と辞書内の矩形情報とを照合することを特徴としている。
【０００９】
請求項２記載の発明では、前記識別対象物が回転していると判定されたとき、識別対象物の内接矩形情報と辞書内の矩形情報とを照合することを特徴としている。
【００１０】
請求項３記載の発明では、前記識別対象物が回転していないと判定されたとき、識別対象物の外接矩形情報と辞書内の矩形情報とを照合することを特徴としている。
【００１１】
請求項４記載の発明では、前記識別対象物が長方形であるとき、前記辞書に前記第１の情報を格納することを特徴としている。
【００１２】
請求項５記載の発明では、前記識別対象物が長方形でないとき、前記辞書に前記第２の情報を格納することを特徴としている。
【００１３】
請求項６記載の発明では、前記照合の結果、辞書と一致した識別対象物について、さらに識別対象物の有効小領域数を辞書と照合し、一致した識別対象物についてのみ詳細な認識処理を行うことを特徴としている。
【００１４】
請求項７記載の発明では、前記識別対象物はカラー画像または白黒画像であることを特徴としている。
【００１５】
【発明の実施の形態】
以下、本発明の一実施例を図面を用いて具体的に説明する。
図１は、本発明の実施例の構成を示す。本実施例は、識別対象物のＲＧＢデータから矩形座標を作成する矩形抽出部１と、識別対象物のＲＧＢデータからベクトル量子化値を作成するベクトル量子化部２と、辞書用原稿データから矩形を抽出する矩形抽出部３と、辞書用原稿データと矩形座標を基に辞書を作成する辞書作成部４と、複数の辞書５と、識別対象物のデータと辞書データとを照合し評価結果を出力する辞書照合部６から構成されている。
【００１６】
本発明の辞書は、識別対象物毎に複数個設けられている。すなわち、識別対象となる第１の矩形について、その辞書名、回転判定が容易であるか、または容易でないかのフラグ（例えば、第１の矩形の回転判定が容易である場合には、容易であることを示すフラグがセットされる）、第１の矩形の長辺の上下限、逆背景の場合の長辺の上下限などの情報が第１の辞書に格納されている。第２、第３．．．の矩形についても同様にして各種の情報が各辞書に格納されている。
【００１７】
また、ベクトル量子化部２は、前掲した特開平７−３１１８４８号公報と同様に機能する。すなわち、入力されたカラー画像を小領域に分割し、小領域内のカラー画像データから特徴量を抽出し、抽出された特徴量と予め作成してあるコードブックとを比較することによりベクトル量子化を行う。辞書照合部６は、入力画像のベクトル量子化値のヒストグラムを作成し、辞書内のベクトル量子化値のヒストグラムとマッチングして、認識処理する。
【００１８】
図２は、本発明の処理フローチャートである。抽出された識別対象矩形は辞書の情報と照合され、候補を選別し、選別された識別対象矩形に対してのみ評価値の計算を行う。
【００１９】
以下、図２を参照して本発明の処理動作を説明する。矩形抽出部１は、入力カラー画像から識別対象矩形を抽出し（ステップ１０１）、その矩形座標を辞書照合部６に与える。辞書照合部６は、全ての辞書５から、最大の対角線と最小の短辺を検索し抽出する（ステップ１０２）。抽出された識別対象矩形について、外接矩形の長辺と短辺の長さを計算し、長辺が辞書内の最大の対角線以下であり、またその短辺が辞書内の最小の短辺を超えるものを選別し（ステップ１０３）、以下の処理を行う。
【００２０】
辞書照合部６は、ステップ１０３で選別した識別対象矩形について、その内接矩形、外接矩形の長辺、短辺を計算する。また、ベクトル量子化値を基に、内接矩形内、外接矩形内のベクトル量子化値ヒストグラムを作成する。さらに、内接矩形内、外接矩形内の有効小領域数を計算する。また、これらの座標情報を基に識別対象矩形が回転しているか否かの判定を行う（ステップ１０４）。ここで、小領域とは、識別対象物のカラー画像信号を一定の大きさの複数の小領域に分割した領域であり、有効小領域数とは、この小領域の総数から一定の条件に合致した小領域（例えば、マッチングに有効でない「べた領域」、何も印刷されていない領域など）を減算した数である。
【００２１】
上記したように選別された識別対象矩形は、全ての辞書５と照合される。このとき、照合した辞書に、「回転の判定が容易である」とフラグがセットされている場合で（ステップ１０５）、識別対象矩形が回転していないと判定されている場合は（ステップ１０６）、外接矩形座標と辞書の矩形情報を照合し（ステップ１０７）、一致したとき外接矩形で計算した小領域数と辞書の小領域数の照合を行う（ステップ１０８）。ステップ１０７、１０８で一致しないとき、ステップ１０５に戻り、次の辞書との照合を行う。ここで、外接矩形との照合は、外接矩形の長辺、短辺を、辞書のそれらと比較する。
【００２２】
次に、照合した辞書に、「回転の判定が容易である」とフラグがセットされている場合で（ステップ１０５）、識別対象矩形が回転していると判定されている場合は（ステップ１０６）、内接矩形座標と辞書の矩形情報を照合し（ステップ１０９）、一致したとき内接矩形で計算した小領域数と辞書の小領域数の照合を行う（ステップ１１０）。ステップ１０９、１１０で一致しないとき、ステップ１０５に戻り、次の辞書との照合を行う。ここで、内接矩形との照合は、内接矩形の長辺、短辺を、辞書のそれらと比較する。
【００２３】
また、照合した辞書に、「回転判定が容易でない」とフラグがセットされていた場合には（ステップ１０５）、識別対象矩形が回転しているか否かに係らず、外接矩形座標と辞書の矩形情報を照合し（ステップ１１１）、一致したとき外接矩形で計算した小領域数と辞書の小領域数の照合を行う（ステップ１１２）。ステップ１１１、１１２で一致しないとき、ステップ１０５に戻り、次の辞書との照合を行う。ここで外接矩形との照合は、外接矩形の長辺、短辺と、辞書の対角線、短辺との比較判定を行う。
【００２４】
これらの照合の結果、辞書と一致した対象矩形のみ、辞書のベクトル量子化値ヒストグラムとの比較、つまり、評価値の計算を行う（ステップ１１３）。そして、評価値と所定の閾値とを比較し（ステップ１１４）、評価値が閾値未満であるとき、識別対象物であると認識する。評価値が閾値以上のときは、次の辞書との照合を行う。入力画像から複数の矩形が抽出された場合には、ステップ１０２で検索されたすべての矩形について、ステップ１０３以下の処理を行う。
【００２５】
図３は、矩形座標の辞書照合方法を説明する図である。すなわち、回転判定が容易なものの場合、識別対象矩形の回転判定の結果、回転なしとなったとき（ａ）、識別対象矩形の外接矩形の短辺、長辺、小領域数およびベクトル量子化値ヒストグラムを辞書のそれと比較する。回転判定の結果、回転ありとなった場合は（ｂ）、識別対象矩形の内接矩形の短辺、長辺、小領域数およびベクトル量子化値ヒストグラムを辞書のそれと比較する。
【００２６】
また、回転判定が容易でないものの場合は、回転しているか否かに係らず外接矩形を比較の対象とする。外接矩形の短辺、長辺と辞書内の短辺、対角線とを比較し、小領域数およびベクトル量子化値ヒストグラムを辞書のそれと比較する。
【００２７】
また、上記した比較において、辞書の短辺、長辺、対角線、小領域数は、辞書の各値を一定のパーセンテージで計算した上限値と下限値を設定していて、認識対象矩形の短辺、長辺、対角線、小領域数がこれの範囲内であるか否かで判定している。パーセンテージは、例えば上限値は＋２０％、下限値は−２０％などの値をとる。また、認識対象矩形が変倍している場合は変倍率で割った値を用いる。比較の際、より正確に認識させるために、背景が逆の辞書とも同様に比較を行う。
【００２８】
図４は、識別対象矩形の回転判定を説明する図である。本発明では、認識対象物が長方形であることを利用して回転判定を行い、長方形の対象物の認識精度を向上させることを目的とする。長方形でないものは“回転なし”と判定されるが、条件によっては回転していないにも係らず、回転していると判定される場合もある。
【００２９】
図４に示すように、黒連結成分（図中の内接矩形）の外接矩形ＡＣＥＧ、本来の黒連結成分矩形ＢＤＦＨの２つが得られる。識別対象矩形が変倍されている場合は、変倍される前の元の座標値に戻す。そして、２つの矩形ＡＣＥＧとＢＤＦＨの座標情報から矩形が回転しているか否かを判定する。
【００３０】
具体的に矩形の回転判定は次のように行う。
（イ）直角三角形ａとｂ、直角三角形ｃとｄの２組の三角形が合同である。
（ロ）合同と判定された対応する三角形の辺の長さの差の最小値が所定の閾値以下である。
（ハ）２つの対角線ＢＦとＤＨの長さの差が所定の閾値以下である。
以上の条件を全て満たす場合に、「矩形が回転している」と判定する。
【００３１】
まず、図４に示したような直角三角形ａとｂおよびｃとｄの合同を判定する。ａとｂの場合を例にとると、これらの三角形は直角三角形であるから、直角を挾む２辺の長さを比較すればよい。つまり、辺ＡＢとＥＦ、辺ＡＨとＤＥがそれぞれ対応する辺になる。
【００３２】
辺ＡＢとＥＦで、
辺ＡＢ＝α、辺ＥＦ＝βとし、（１）式の条件で判定を行う。
α＞βのとき、｜α−β｜≦β／４
α≦βのとき、｜α−β｜≦α／４ （１）
同様に、辺ＡＨとＤＥについても、
辺ＡＨ＝α、辺ＤＥ＝βとし、（１）式の条件で判定を行う。
【００３３】
辺ＡＢとＥＦ、辺ＡＨとＤＥについて、その両方が（１）式の条件を満たしたとき、直角三角形ａとｂは合同であると判定する（判定結果１）。
【００３４】
同様に、直角三角形ｃとｄについても合同の判定を行い、その両方が（１）式の条件を満たしたとき、直角三角形ｃとｄは合同であると判定する（判定結果２）。
【００３５】
上記で合同判定された場合、ＡＢ、ＥＦ、ＡＨ、ＤＥ、ＢＣ、ＦＧ、ＣＤ、ＧＨの８辺について、その最小値を求め、これが所定の閾値（例えば８画素）より大きいことを判定する（判定結果３）。
【００３６】
２つの対角線ＢＦとＤＨをそれぞれ
辺ＢＦ＝γ、辺ＤＨ＝δとし、（２）式に示す条件で判定を行う（判定結果４）。
γ＞δのとき、｜γ−δ｜≦δ／８
γ≦δのとき、｜γ−δ｜≦γ／８ （２）
上記した判定結果１〜４の全てを満たしたとき、矩形が回転していると判定する。
【００３７】
図４では、識別対象矩形が長方形である場合を説明した。この例のように識別対象矩形が長方形の場合では、回転判定を容易に行うことができる。従って、長方形の対象物を識別したい場合には、辞書の回転判定が容易であるか否かを示すフラグには“容易である”と設定する。
【００３８】
図５は、識別対象矩形が長方形でない（多角形）場合の例を示す。図６は、長方形でない識別対象矩形が回転している場合の外接矩形と内接矩形を示す。この対象矩形の内接矩形／外接矩形から、前述した回転判定を行うと、図７に示すように、対象となる三角形ａとｂ、三角形ｃとｄは合同ではなく、“回転なし”と判定される。本来は、“回転あり”と判定すべきであるが、その判定を行うのは難しい。そこで、このような対象物を識別したい場合は、辞書の回転判定が容易であるか否かを示すフラグには“容易でない”と設定する。
【００３９】
従って、本発明の辞書が、例えば第１の矩形情報を格納した第１の辞書と、第２の矩形情報を格納した第２の辞書と、第３の矩形情報を格納した第３の辞書とから構成されていて、第１、第３の矩形について回転の判定が容易であるときは第１、第３の辞書に“容易である”フラグを設定し、第２の矩形について回転の判定が容易でないときは第２の辞書に“容易でない”フラグを設定することになる。
【００４０】
なお、本発明は上記したものに限定されず、ソフトウェアによっても実現することができる。本発明をソフトウェアによって実現する場合には、図８に示すように、ＣＰＵ、ＲＯＭ、ＲＡＭ、表示装置、ハードディスク、キーボード、ＣＤ−ＲＯＭドライブ、モデムなどからなる汎用の処理装置を用意し、ＣＤ−ＲＯＭなどのコンピュータ記憶媒体には、本発明の画像認識機能を実現するプログラムが記憶されている。また、識別対象物はスキャナ、ファックスなどを用いて画像を取り込む。
【００４１】
【発明の効果】
以上、説明したように、本発明によれば、入力された原稿の画像信号から特定の対象物を抽出して認識処理を行う際に、辞書内に格納された回転判定が容易であるか否かを示す情報を参照しているので、識別対象画像が回転していても誤認識を防止することができる。また、評価を行う識別対象矩形の数を減らすことも可能となる。
【図面の簡単な説明】
【図１】本発明の実施例の構成を示す。
【図２】本発明の処理フローチャートである。
【図３】矩形座標の辞書照合方法を説明する図である。
【図４】識別対象矩形の回転判定方法を説明する図である。
【図５】識別対象矩形が長方形でない（多角形）場合の例を示す。
【図６】長方形でない識別対象矩形が回転している場合の外接矩形と内接矩形を示す。
【図７】長方形でない識別対象矩形の回転判定を説明する図である。
【図８】本発明をソフトウェアによって実現する場合の構成例を示す。
【符号の説明】
１、３ 矩形抽出部
２ ベクトル量子化部
４ 辞書作成部
５ 辞書
６ 辞書照合部

Claims (7)

1. 画像信号から識別対象物を抽出し、該識別対象物と複数の辞書内の矩形情報とを照合することにより前記識別対象物を認識処理する画像認識方法であって、前記各辞書毎に、回転判定が容易であることを示す第１の情報、または回転判定が容易でないことを示す第２の情報を格納し、前記辞書の照合時に前記第１の情報が格納されていた場合は、前記識別対象物の回転の有無を判定し、回転の有無に応じて、前記識別対象物の異なる矩形情報と辞書内の矩形情報とを照合し、前記辞書の照合時に前記第２の情報が格納されていた場合は、前記識別対象物の外接矩形情報と辞書内の矩形情報とを照合することを特徴とする画像認識方法。
2. 前記識別対象物が回転していると判定されたとき、識別対象物の内接矩形情報と辞書内の矩形情報とを照合することを特徴とする請求項１記載の画像認識方法。
3. 前記識別対象物が回転していないと判定されたとき、識別対象物の外接矩形情報と辞書内の矩形情報とを照合することを特徴とする請求項１記載の画像認識方法。
4. 前記識別対象物が長方形であるとき、前記辞書に前記第１の情報を格納することを特徴とする請求項１記載の画像認識方法。
5. 前記識別対象物が長方形でないとき、前記辞書に前記第２の情報を格納することを特徴とする請求項１記載の画像認識方法。
6. 前記照合の結果、辞書と一致した識別対象物について、さらに識別対象物の有効小領域数を辞書と照合し、一致した識別対象物についてのみ詳細な認識処理を行うことを特徴とする請求項１、２または３記載の画像認識方法。
7. 前記識別対象物はカラー画像または白黒画像であることを特徴とする請求項１乃至６のいずれか１項に記載の画像認識方法。

Images