JP4458429B2 - カラー画像認識方法および装置 - Google Patents

Description

本発明は、カラー画像および白黒画像から特定画像を抽出して認識するカラー画像認識方法および装置に関する。

カラー画像を処理する製品、例えばカラー複写機、カラープリンタ、カラースキャナ、カラー画像通信機器などは、今後ますます増加するものと予想される。カラー画像は、ハードウェアの進歩、特にメモリの低価格化および大容量化、通信コストの低下などにより、以前に比べて利用しやすくなってきたものの、カラー画像データはそのデータ量が膨大（例えば、Ａ３サイズで９６Ｍバイト）であるため、２値画像と同じような処理ができないのが現状である。

特に、画像認識（特定画像の認識、ＯＣＲなど）などの複雑な処理を要する技術においては、処理量が膨大になり、カラー画像における画像認識は実現がより困難である。

特開平４−１８０３４８号公報 特開昭５５−１６２１７７号公報

従来、特定のカラー画像を識別する方法として、例えば、画像を構成する各絵柄部分は固有の色空間上での分布を持っているので、各絵柄部分に現われる固有の色空間上での分布を特定し、この特定された特徴と同一の特徴を有する画像部分を抽出する方法がある（特許文献１を参照）。しかし、この方法では、色空間中での拡がりが同じ画像については、その内部での色の分布が異なっていても識別することができず、つまり色空間の拡がりが同じであれば、拡がりの中での色の分布が異なる画像をも特定の画像として誤検出する可能性がある。

また一方、認識処理に必要な対象物の抽出方法として種々の方法が提案されているが、例えば画像から黒連結の矩形を抽出し、予め設定された閾値と比較することにより、文字の矩形と線図形の矩形とを判定する画像抽出方法がある（特許文献２を参照）。この方法は、抽出された線図形をさらに詳細に水平罫線、垂直罫線、表、囲み枠などのように識別するものではなく、また回転した対象物の抽出に対応できない。

本発明の第１の目的は、カラー画像の認識処理を行う際に、画像認識に必要な情報量を確保しつつ、データ量を圧縮して対象物を高精度に認識するカラー画像認識方法および装置を提供することにある。

本発明の第２の目的は、カラー画像の認識処理を行う際に、画像認識に必要な情報量を確保しつつ、データ量をテーブル変換によって変換圧縮することにより、効率的にデータ圧縮を行い、対象物を高精度かつ高速に認識するカラー画像認識方法および装置を提供することにある。

本発明の第３の目的は、認識対象原稿のカラー画像が裏写りした場合の影響を抑制して、認識対象とされる画像情報のみにベクトル量子化を施すことにより、認識率と処理速度を向上させたカラー画像認識方法および装置を提供することにある。

本発明の第４の目的は、コードブックとの距離が所定の閾値より大きい場合に、ベクトル量子化値を割り当てないことにより、認識精度と処理速度を向上させたカラー画像認識方法および装置を提供することにある。

本発明の第５の目的は、入力画像中から対象物の画像領域を高精度に抽出するカラー画像認識方法および装置を提供することにある。

本発明の第６の目的は、抽出された対象物に対して、カラー画像の認識処理を行う際に、画像認識に必要な情報量を確保しつつ、データ量を圧縮して対象物を高精度に認識するカラー画像認識方法および装置を提供することにある。

本発明は、入力カラー画像信号を複数の領域に分割する分割工程と、前記分割された領域内の入力カラー画像信号から特徴量を抽出する特徴量抽出工程と、前記抽出された特徴量を、予め作成されたコードブックと比較することによりベクトル量子化し、前記入力カラー画像信号のベクトル量子化値を生成するベクトル量子化工程とからなるベクトル量子化処理工程と、前記入力カラー画像信号から黒連結成分の外接矩形を抽出する矩形抽出工程と、前記抽出された外接矩形の内、高さ、幅が所定の範囲内にある矩形を所定形状の対象物として判定する判定工程とからなる対象物抽出工程と、前記対象物抽出工程が前記所定形状の対象物を抽出したとき、前記生成された入力カラー画像信号のベクトル量子化値を参照して、前記所定形状の対象物の範囲に相当するベクトル量子化値のヒストグラムを作成するヒストグラム作成工程と、前記作成された所定形状の対象物のヒストグラムと辞書とを照合することにより、前記入力カラー画像信号中に、前記辞書に登録された対象物が存在するか否かを判定処理するマッチング工程とを備え、前記ベクトル量子化処理工程と前記対象物抽出工程を並列に実行することを最も主要な特徴とする。

請求項２記載の発明では、前記入力画像信号中から所定形状の対象物を抽出する処理は、前記入力された２値画像信号から黒連結成分の外接矩形を抽出し、該抽出された外接矩形と黒連結成分との接点情報に基づいて、前記対象物を抽出する処理であることを特徴としている。

請求項３記載の発明では、前記抽出される対象物は、所定の辺長を有する矩形であることを特徴としている。

請求項４記載の発明では、前記抽出される対象物は、スキャンラインに対して傾いている対象物を含むことを特徴としている。

請求項５記載の発明では、前記入力画像信号がカラー画像信号であるとき、前記カラー画像信号から明度を求め、該明度と複数の閾値とを比較することにより複数の２値画像を生成し、該複数の２値画像からそれぞれ前記外接矩形を抽出することを特徴としている。

請求項６記載の発明では、前記抽出される第１の外接矩形と、第２の外接矩形との包含関係を調べ、一方の外接矩形が他方の外接矩形を含むとき、一方の外接矩形と黒連結成分との接点情報に基づいて、前記対象物を抽出することを特徴としている。

請求項７記載の発明では、入力カラー画像信号から特定画像を認識する第１の処理手段と、前記入力カラー画像信号から所定形状の対象物を抽出する第２の処理手段と、前記対象物の抽出結果に応じて、前記対象物について認識処理する手段とを備え、前記第１の処理手段と第２の処理手段を並列に実行することを特徴としている。

以上、説明したように、本発明によれば、以下のような効果が得られる。
（１）対象物から特徴を抽出後にベクトル量子化しているので、認識対象物の情報量が失われることなく、処理データ量を圧縮することができると共に辞書をコンパクトに構成することができ、さらに特定画像を精度よく認識することができる。

（２）特徴量を圧縮しているので、より一層処理データ量を圧縮することができる。

（３）入力画像データから抽出された特徴量を圧縮処理後にベクトル量子化しているので、カラー画像認識に必要な情報量を保持しつつ処理データ量が削減され、処理速度が向上するとともに高精度に画像認識処理を行うことができる。

（４）マッチングを行う際に、得られたヒストグラム情報と設定された閾値とを比較する閾値処理により、マッチング処理の変更を行っているので、画像認識に必要な処理時間が短縮され、効率的なカラー画像認識処理を行うことができる。

（５）辞書とのマッチングを行う際に、算出された距離と設定された閾値とを比較しているので、認識精度をより一層向上させることができる。

（６）矩形対象物の抽出処理を、外接矩形と黒連結成分との接点情報に基づいて行っているので、画像中の対象物が存在する部分を高精度に抽出することができる。

（７）画像中の対象物が回転していても高精度に抽出することができる。

（８）背景が白地または黒地の場合でも対象物を正確に抽出することができ、また白地における外接矩形と黒地における外接矩形の包含関係を調べているので、重複した抽出処理を行う必要がない。

（９）対象物の抽出処理とカラー画像のベクトル量子化処理を並列的に行い、抽出された対象物について認識処理しているので、カラー画像中の特定画像を高速かつ高精度に認識することができる。また、カラー画像をベクトル量子化しているので、認識対象物の情報量が失われることなく、処理データ量を圧縮することができる。

以下、発明の実施の形態について図面により詳細に説明する。
実施例１：
図１は、本発明の実施例１の構成を示す。図１において、入力されたカラー画像信号（ＲＧＢ）１から得られたカラー画像を小領域（メッシュ）に分割するメッシュ分割部２と、小領域内のカラー画像データから特徴量を抽出する特徴量抽出部３と、抽出した特徴量を格納する特徴量メモリ４と、抽出した特徴量を予め作成してあるコードブック５と比較することによりベクトル量子化を行うベクトル量子化部６と、ベクトル量子化値を保持するベクトル量子化値メモリ７と、該メモリと識別対象物の辞書９とを照合して認識処理を行う認識部８と、メモリ管理やマッチング処理の距離計算などの全体の画像認識処理における各段階の制御を行う制御部１０とから構成されている。

入力カラー画像信号ＲＧＢを予め定められた小領域（メッシュ）に分割する。分割された小領域（メッシュ）毎に、入力カラー画像信号ＲＧＢの特徴量を抽出する。本実施例では、その特徴量として色度ヒストグラムを用いる。すなわち、特徴量抽出部３では、入力カラー画像信号ＲＧＢを以下に示す色度Ｐｒ、Ｐｇに変換し、予め定められた小領域（メッシュ）毎に色度Ｐｒ、Ｐｇの値のヒストグラムを作成し、特徴量メモリ４に格納する。このように、色度変換されたカラー画像は、色合い情報だけを持つので、照明むらが除去されて対象物を抽出する場合などに有効となる。

図２は、原画像を小領域（メッシュ）に分割した図を示し、この例では、小領域は６４画素×６４画素のサイズである。
Ｐｒ＝２５６＊Ｒ／（Ｒ＋Ｇ＋Ｂ）
Ｐｇ＝２５６＊Ｇ／（Ｒ＋Ｇ＋Ｂ）
ここで、Ｒ、Ｇ、Ｂは入力された各８ビットのカラー画像信号である。なお、Ｐｒ、Ｐｇを２５６倍しているのはＰｒ、Ｐｇも８ビットで表現するためである。

また、上記した例では、ｒ，ｇの色度ヒストグラムを特徴量としたが、本発明はこれに限定されるものではなく、ｂの色度ヒストグラムを用いてもよいし、色度の他に、カラー画像信号（ＲＧＢ）、色相、彩度などの特徴量を用いることができる。

図３は、小領域内の色度ヒストグラムを、コードブックを参照してベクトル量子化する例を示す図である。

図３において、１１は、特徴量メモリ４に格納された小領域内の色度ヒストグラム（Ｈｉ）を示す。ｉ＝０〜２５５の次元におけるＨ（ｉ）はＰｒを表し、ｉ＝２５６〜５１１の次元におけるＨ（ｉ）はＰｇを表す。また、１２は、予め作成されたコードブック（Ｃ０、Ｃ１、Ｃ２．．．）の内容を示す。

ここで、コードブックは、識別対象物あるいは一般の原稿を多数入力し、同様の条件で色度ヒストグラムのデータを大量に作成し、これらをクラスタリングすることで代表的な色度ヒストグラム（コードブック）を求めて作成する。

ベクトル量子化部６では、この色度ヒストグラム（Ｈｉ）１１と、コードブックの内容１２とをマッチングして距離（ＤＣｊ）を算出し、その距離（一般には、ユークリッド距離の２乗として定義された２乗ひずみ測度）が最小であるコードブックのコード（Ｃｊ）を、その小領域のベクトル量子化値（ＶＱ値）としてベクトル量子化値メモリ７に保持する。

図４は、入力画像のベクトル量子化値（ＶＱ値）の例を示す。各桝目は、前述した一つの小領域に対応し、各桝目内の数値はベクトル量子化値（ＶＱ値）である。そして、これらのベクトル量子化値（ＶＱ値）についてヒストグラムを作成する。

図５は、画像認識時における入力画像のベクトル量子化値のヒストグラムと辞書のベクトル量子化値のヒストグラムとのマッチングを説明する図である。図において１３は、作成されたベクトル量子化値のヒストグラム例を示す。また、１４は、識別対象物の辞書内容を示し、入力画像と同様に、ベクトル量子化値ヒストグラムで表現されて予め作成されている。図の場合は、例えば、識別対象物Ａ，Ｂ，Ｃ．．（コードブック数が６４）のベクトル量子化値ヒストグラムが格納されている。

認識部８では、入力画像のベクトル量子化値ヒストグラム１３と、辞書のベクトル量子化値ヒストグラム１４とマッチングして距離（ＤＴｋ）を算出し、距離（ＤＴｋ）が最小となる識別対象（ｋ）を、認識対象のカラー画像と判定する。

このように、本発明はカラー画像をベクトル量子化してから辞書と照合しているので、従来技術である特許文献１における問題点が解決される。

実施例２：
上記した実施例１では全画素を用いて色度ヒストグラムを作成しているが、これでは処理量が膨大になる。そこで、実施例２では、図６に示すように、色度ヒストグラムを求める画素をＭ画素間隔で間引いて行う。間引きの方法としては、例えば８画素間隔でサンプルして色度を求める画素を選択する方法を採る。また、Ｍ画素間隔で間引くとき、周囲の画素の画素値の平均を求め、この値を該間引き画素値としてもよい（この処理によって雑音が軽減される）。

実施例３：
実施例１において、色度ヒストグラム作成時に、ｒ、ｇ各８ビットでヒストグラムを作成すると、５１２次元の特徴量になり、メモリ容量も増大し、マッチング処理にも時間がかかる。

そこで、本実施例では、例えば以下のような変換を行って、特徴量次元を６４次元に圧縮してから前述したと同様の処理を行う。
Ｐｒ’＝０ （Ｐｒ≦６４）
＝（Ｐｒ−６４）／４ （６４＜Ｐｒ≦１９２）
＝３１ （１９２＜Ｐｒ）
Ｐｇ’＝３２ （Ｐｇ≦６４）
＝（Ｐｇ−６４）／４＋３２ （６４＜Ｐｇ≦１９２）
＝６３ （１９２＜Ｐｇ）

実施例４：
図７は、本発明の実施例４の構成を示す。この実施例４の構成は、図１の構成に変換圧縮テーブル１５を付加して、データ量をテーブル変換によって変換圧縮する。つまり本実施例４は、実施例３のように変換式による演算処理を行うことなく効率的にデータ圧縮するものである。変換圧縮テーブル１５は、後述するように、特徴量抽出部３によって抽出された特徴量を変換圧縮する。また、特徴量メモリ４は圧縮された特徴量を保持し、ベクトル量子化部６は圧縮された特徴量を予め作成してあるコードブック５と比較することによりベクトル量子化を行う点が、図１の構成と若干異なる。他の構成要素は図１で説明したものと同様であるので説明を省略する。

実施例１と同様に、入力カラー画像信号は、図２に示すように小領域（メッシュ）に分割され、小領域毎に入力カラー画像信号の特徴量が抽出される。本実施例では、特徴量として入力カラー画像信号ＲＧＢの色度信号を用いる。すなわち、特徴量抽出部３では、小領域（メッシュ）毎に入力カラー画像信号のＲＧＢの色度信号を抽出して、変換圧縮テーブル１５を参照することによって、特徴量を変換圧縮し、圧縮されたＲＧＢの色度信号毎に小領域（メッシュ）内の色度ヒストグラムを作成して、特徴量メモリ４に結果を格納する。

図８は、小領域内の特徴量を変換圧縮してヒストグラムを生成する図である。変換圧縮テーブル１５は、入力される各色度信号を変換特性に従って変換出力する。例えば、入力信号の値が２５５であるとき、その出力値が１５として変換圧縮処理される。このように圧縮された特徴量のヒストグラムは特徴量メモリ４に生成される。このように、特徴量の変換圧縮によってメモリ容量の増加が抑制され、マッチング処理が高速化される。

図８に戻り、入力される各色度信号（Ｒ、Ｇ、Ｂ）は、変換圧縮テーブル１５によってＲ’、Ｇ’、Ｂ’に変換圧縮されて出力される。この例では、Ｒ’、Ｇ’、Ｂ’はそれぞれ０から１５の値をとる。そして、Ｇ’に１６を加算し、Ｂ’に３２を加算して、０から４７の次元（図の横軸）で色度ヒストグラムＨ（ｉ）１６を作成する。すなわち、小領域内の色度ヒストグラムＨ（ｉ）１６において、次元ｉ＝０〜１５のＨ（ｉ）は圧縮変換されたＲ信号つまりＲ’信号の度数を表し、次元ｉ＝１６〜３１のＨ（ｉ）は圧縮変換されたＧ信号つまりＧ’信号の度数を表し、次元ｉ＝３２〜４７のＨ（ｉ）は圧縮変換されたＢ信号つまりＢ’信号の度数を表している。

なお、上記した実施例において、特徴量のヒストグラムの次元の総数（この例では４８次元）は、変換圧縮テーブルによる圧縮の度合いに応じて決定されるもので、適宜変更可能である。また、入力カラー画像信号のＲＧＢの色度信号からヒストグラムを作成しているが、本発明はこれに限定されるものではなく、入力カラー画像信号を変換処理したＹＭＣ信号やＬａｂ信号を特徴量として、変換圧縮処理とヒストグラム生成処理を行うようにしてもよい。

図９は、小領域内の色度ヒストグラムを、コードブックを参照してベクトル量子化する例を示す図であり、１７は、特徴量メモリ４に格納された小領域内の色度ヒストグラム（Ｈｉ）を示し、１８は、予め作成されたコードブック５（Ｃ０、Ｃ１、Ｃ２．．．）の内容を示す。前述した図３と異なる点は、ヒストグラムの次元数が圧縮されている点である。

ここで、コードブック５は、識別対象物あるいは一般の原稿を多数入力し、同様の条件で色度ヒストグラムのデータを大量に作成し、これらをクラスタリングすることで代表的な色度ヒストグラム（コードブック）を求めて作成する。

ベクトル量子化部６では、処理対象の小領域の色度ヒストグラム（Ｈｉ）１７と、コードブックの内容１８とをマッチングして距離（ＤＣｊ）を算出し、その距離（一般には、ユークリッド距離の２乗として定義された２乗ひずみ測度）が最小であるコードブックのコード（Ｃｊ）を、その小領域のベクトル量子化値
（ＶＱ値）として割り当て、ベクトル量子化値メモリ７に保持する。

入力画像のベクトル量子化値（ＶＱ値）の例は、実施例１で説明した図４の場合と同様であり、ベクトル量子化値メモリ７には各小領域のベクトル量子化値（ＶＱ値）が保持されていて、入力画像のベクトル量子化値（ＶＱ値）についてヒストグラムが作成される。そして、実施例１の図５で説明したと同様にして識別対象物の辞書が構成され、認識部８では、入力画像のベクトル量子化値ヒストグラム１３と、辞書のベクトル量子化値ヒストグラム１４とマッチングして距離（ＤＴｋ）を算出し、距離（ＤＴｋ）が最小となる識別対象（ｋ）を、認識対象のカラー画像と判定する。

実施例５：
上記した実施例４では、入力画像の全ての画素に対して特徴量のヒストグラムを作成してコードブックとの比較処理を行っている。本実施例５は、小領域毎に生成された特徴量のヒストグラム情報に基づいてコードブックとの比較処理を変更して、画像認識に必要のない地肌部（背景部）やノイズ画像の認識処理を制御するもので、これにより認識率と処理速度の向上を図る。

一般に、画像認識に必要のない地肌部（背景部）は、小領域内の濃度がほぼ一定であることから、小領域毎に生成された特徴量のヒストグラムの度数は特定部分に集中していて、度数分布の幅は狭く度数の最大値が大きくなる傾向にある。そこで、本実施例では、ヒストグラムの度数の最大値が予め設定した閾値を超えた場合に、濃度が一様な画像のベタ部領域であると判定して、ベクトル量子化値に０を割り当て、認識対象とされる画像情報のみにベクトル量子化を施す。他の実施態様としては、ヒストグラムの度数が予め設定した閾値を超えた場合にコードブックとの比較処理を行わないように構成してもよい。

また、原稿をスキャナなどで読み取って得られる画像のハイライト部においては、原稿用紙の裏側の画像が裏写りする場合がある。このような裏写りによる画像ノイズを除く、ハイライト部の画像データの特徴量は、多くの場合一様であることから、その特徴量のヒストグラムは特定部分に集中して大きなピークを持ち、また度数の最大値が大きくなり、度数の分布の幅が狭くなる傾向にある。そこで、本実施例では、ヒストグラムの度数分布の情報が、予め設定したヒストグラム特性を備えていると判定された場合には、小領域の特徴量ヒストグラムから予め設定したヒストグラム特性を除去してコードブックとの比較を行って、ベクトル量子化値を割り当てる。これにより、画像ノイズによる影響が抑止され、認識対象とされる画像情報のみにベクトル量子化が施される。

なお、本実施例５では特徴量のヒストグラム情報として、度数の最大値と度数の分布幅を採用しているが、これに限定されるものではなく、認識対象とする画像の特徴量ヒストグラムの特性を分析して設定されるヒストグラム情報であればよい。

実施例６：
上記した実施例４におけるコードブックは、認識対象画像を多数入力し、同様の条件で色度ヒストグラムのデータを大量に作成し、これらをクラスタリングすることによって作成しているので、入力画像が認識対象の画像以外の場合には、どのコードブックからも距離が離れる場合がある。

本実施例６では、認識対象画像をコードブックと比較してベクトル量子化値を割り当てる際に、比較した距離が所定の閾値よりも大きいとき、ベクトル量子化値を割り当てないように構成する。これにより、マッチングした結果、識別候補がない場合には速やかに入力カラー画像に認識対象の画像が存在しないと判定できるようになる。

実施例７：
本実施例７は、実施例１、４において辞書とのマッチングを行う際、有効距離の閾値を設定しておき、求めた距離と閾値との比較を行い、距離が閾値以下ならばその辞書内の識別対象物を識別候補にするが、閾値より大きい場合には、識別候補にしないようにする。これにより、マッチングした結果、識別候補がない場合には入力カラー画像に認識対象の画像が存在しないと判定できるようになる。

実施例８：
本実施例８は、実施例７における前記閾値を各識別対象物毎に設定し、求めた距離と各識別対象物毎の閾値の比較を行い、距離が閾値以下ならばその識別対象物を識別候補にするが、閾値より大きい場合にはその識別対象物を識別候補にしないようにする。これにより、複数の対象物を識別する際に、対象物の特性を活かしたマッチング処理が可能になる。より具体的にいえば、ある対象物ｋが対象物ｋ以外の原稿ｊと間違え易い場合には、この対象物ｋの閾値を低くすることで、対象物ｋと原稿ｊとを高精度に識別することができ、誤認識を防止することが可能となる。

実施例９：
図１０は、本発明の対象物抽出方法に係る実施例９の構成を示す。図１０において、２値画像信号２１から黒連結成分の外接矩形を抽出する矩形抽出部２２と、抽出された矩形データを格納する矩形メモリ２３と、予め設定された閾値と抽出矩形の幅、高さを比較し、抽出すべき対象物が長方形か否かを判定する候補矩形判定部２４と、候補矩形データを格納する候補矩形メモリ２５と、対象物が回転しているか否かを判定する回転判定部２６と、対象物の短辺、長辺を測定する辺長測定部２７と、短辺、長辺の長さと予め設定された閾値とを比較して対象物か否かを判定する対象物判定部２８と、対象物矩形データを格納する対象物矩形メモリ２９と、全体を制御する制御部３０とから構成されている。

図１１は、本発明の対象物抽出および画像認識の処理フローチャートである。この処理フローチャートにおいて、本発明の対象物抽出方法に係る処理はステップ１０１からステップ１０８であり、まず対象物の抽出方法について、以下説明する。

入力画像から２値画像を生成し（ステップ１０１）、矩形抽出部２２は、２値画像から黒連結成分の外接矩形を抽出する（ステップ１０２）。矩形抽出方法としては、例えば本出願人が先に提案した方式（特願平３−３４１８８９、同４−２６７３１３、同４−１６０８６６）などを用いればよい。

図１２は、入力画像２０１から抽出された外接矩形２０２を示す。本発明では、外接矩形２０２の４頂点の座標（Ｘｓ，Ｙｓ）、（Ｘｅ，Ｙｅ）、（Ｘｓ，Ｙｅ）、（Ｘｅ，Ｙｓ）と、黒連結成分（対象物）２０３と外接矩形２０２との接点座標（Ｘｕ，Ｙｓ）、（Ｘｅ，Ｙｒ）、（Ｘｓ，Ｙｌ）、（Ｘｂ，Ｙｅ）を同時に抽出する。

次いで、候補矩形判定部２４では、抽出された外接矩形の高さ、幅が予め与えられた高さ、幅の範囲内にあるか否かを判定し（ステップ１０３）、高さ、幅の何れかが範囲外であれば、対象物でないと判定する（ステップ１１３）。なお、このようなサイズによる対象物の候補判定方法については、前掲した本出願による方式を用いればよい。続いて、候補矩形判定部２４では、抽出すべき対象物が長方形であるか否かをチェックする（ステップ１０４）。これは例えば、候補矩形判定部２４内に予め抽出すべき対象物として長方形データが設定されているものとする。

対象物が長方形であるものについて、回転判定部２６は、対象物がスキャンラインに対して回転しているか否かを判定する（ステップ１０５）。図１３は、回転の判定を説明する図であり、３０１は候補矩形、３０２は対象物である。この回転判定は、対象物３０２が長方形の場合、三角形ＡとＢ、三角形ＣとＤの合同を判定し、もしどちらか一方でも合同でないと判定された場合には回転していないと判定する。また、図１３に示すように、長方形の対角線Ｄ１，Ｄ２の長さ（この長さは矩形データの座標から計算する）を比較し、その差が大きければ菱形と判定し、対象物３０２が回転していないと判定する。

次いで、辺長測定部２７では、回転していると判定された長方形について、図１３のＳ１、Ｓ２の長さを計算し（矩形データの座標から計算する）、それぞれを短辺、長辺の長さとする（ステップ１０６）。一方、ステップ１０４で長方形でないと判定されたもの、ステップ１０５で回転していないと判定されたものについては、外接矩形の高さを短辺、幅を長辺の長さとする（ステップ１０７）。そして、短辺、長辺の長さが予め与えられた対象物の短辺、長辺の長さの範囲にあるか否かを判定し、何れか一方でも範囲外ならば対象物ではないと判定し、この条件に合うものを抽出すべき対象物と判定する（ステップ１０８）。以下の処理（ステップ１０９以降）については、後述する。

なお、上記した実施例において、矩形抽出部２２の前に、入力された２値画像に対して例えば８×８画素を１画素に変換するような画像圧縮部を設け、圧縮された画像から矩形を抽出するように構成を変更することも可能である。

実施例１０：
本実施例１０では、入力画像をカラー画像信号（Ｒ，Ｇ，Ｂ）とし、以下のような明度（Ｌ）を求め、所定の閾値（Ｔｈ１）以下の明度を持つ画素を黒とし、閾値（Ｔｈ１）より大きい画素を白とするような２値画像を作成してから、実施例１と同様の処理を行う。
Ｌ＝Ｒ＋Ｇ＋Ｂ
Ｌ≦Ｔｈ１ならば黒画素
Ｌ＞Ｔｈ１ならば白画素

本実施例は、対象物以外の部分（背景）が白地の場合に対象物を抽出するのに有効な方式となる。つまり例えば、白紙（あるいは淡い地肌の用紙）に対象物を載せてスキャナなどで画像を読み取るような場合に有効な方式となる。

実施例１１：
本実施例１１では、入力画像をカラー画像信号（Ｒ，Ｇ，Ｂ）とし、以下のような明度（Ｌ）を求め、所定の閾値（Ｔｈ２）以上の明度を持つ画素を黒とし、閾値（Ｔｈ２）より小さい画素を白とするような２値画像を作成してから、実施例１と同様の処理を行う。
Ｌ＝Ｒ＋Ｇ＋Ｂ
Ｌ≧Ｔｈ２ならば黒画素
Ｌ＜Ｔｈ２ならば白画素

本実施例は、銀板のような圧板を持つスキャナなどで入力した時に、対象物以外の部分（背景）が黒地になる場合に対象物を抽出するのに有効な方式となる。このように、実施例１０、１１によれば、原稿を押える蓋をした状態で画像を取り込んでも、また蓋を開けた状態で画像を取り込んでも何れにも対応できる。なお、上記実施例における対象物とは、スキャナに載せた原稿全体から抽出される場合、あるいは原稿中のある特定領域から抽出される場合の何れでもよい。

また、上記実施例１０、１１において、明度以外に、カラー画像信号（ＲＧＢ）、色相、彩度などを対象とすることもできる。さらに、実施例１０、１１において、Ｔｈ１≦Ｌ≦Ｔｈ２ならば黒画素、上記以外ならば白画素のように、所定範囲内を黒画素としてもよい。

図１４は、実施例１０、１１の構成を示す。実施例９（図１０）と異なる点は、カラー画像信号（ＲＧＢ）３４から２値画像を生成する２値画像生成部３１が設けられた点と、実施例１０で作成された２値画像を格納するメモリ３２と、実施例１１で作成された２値画像を格納するメモリ３３が設けられた点である。そして、背景が白地の場合にも黒地の場合にも対応できるように、実施例１０および１１をそれぞれ実行し、矩形抽出部２２で外接矩形を抽出する。この抽出された各外接矩形を外接矩形１、２とすると、候補矩形判定部２４において、これら外接矩形１、２の包含関係を判定し、例えば外接矩形１が外接矩形２を完全に含むとき、外接矩形１のみから対象物を抽出する。

実施例１２：
図１５は、実施例１２の全体構成を示す。図において、対象物抽出部４２がカラー画像信号４１から対象物を抽出して、対象物矩形メモリ４３に格納する部分は、前述した図１４に示す構成と全く同一のものである。

本実施例では、カラー画像信号４１をベクトル量子化するベクトル量子化部４４と、ベクトル量子化値を格納するベクトル量子化値メモリ４５と、対象物抽出部４２で抽出された対象物と予め作成された辞書とのマッチングを行い対象物か否かを判定する対象物認識部４６が設けられている。

図１６は、実施例１２の詳細構成を示す。まず、対象物抽出部５１の構成から説明すると、対象物抽出部５１は図１４に示す要素から構成され、対象物が抽出されると、対象物認識部６１に対して起動信号５３を出力する。また抽出された対象物のデータが対象物矩形メモリ５２に格納され、対象物認識部６１に対して起動信号５３と共に、対象物の範囲データ５４が出力される。

ベクトル量子化処理部５５は、実施例１で説明したと同様に、入力されたカラー画像信号（ＲＧＢ）から得られたカラー画像を小領域（メッシュ）に分割するメッシュ分割部５６と、小領域内のカラー画像データから特徴量（色度ヒストグラム）を抽出する特徴量抽出部５７と、作成された色度ヒストグラムと予め作成してあるコードブック５９と比較することによりベクトル量子化を行うベクトル量子化部５８から構成されている。ベクトル量子化された入力カラー画像はベクトル量子化値メモリ６０に保持される。

入力カラー画像をベクトル量子化して、処理対象の小領域のベクトル量子化値（ＶＱ値）を割り当てて、ベクトル量子化値メモリ６０に保持するまでの処理は、前述した実施例１と同様であるので、その説明を省略する。

さて、対象物認識部６１のヒストグラム作成部６２では、上記したベクトル量子化値（前述した図４）からベクトル量子化値のヒストグラムを作成する。すなわち、入力画像のベクトル量子化値（ＶＱ値）について、対象物の範囲内にあるＶＱ値のヒストグラムを作成する（図１１のステップ１０９）。図１７は、対象物が回転している場合における、対象物の範囲内にあるベクトル量子化値のヒストグラム作成を説明する図である。

前述したように対象物が抽出されると対象物認識部６１の起動時に、対象物抽出部５１から対象物認識部６１に対して、対象物の範囲データ５４が渡されるので、図１７の対象物のエッジ５０１の直線データとベクトル量子化値メモリ６０の座標とを比較して包含関係を判定し、対象物の範囲内に完全に含まれる小領域（図１７の黒い部分で示す領域）について、ベクトル量子化値のヒストグラムを作成する。対象物が回転していない場合は、外接矩形の範囲データとベクトル量子化値メモリの座標とを比較して包含関係を判定し、外接矩形の範囲内の小領域について、ベクトル量子化値のヒストグラムを作成する。

そして、実施例１の図５で説明したと同様に、対象物認識部６１では、抽出対象物のベクトル量子化値ヒストグラム１３と、辞書のベクトル量子化値ヒストグラム１４とをマッチング部６３でマッチングして距離（ＤＴｋ）を算出し、距離（ＤＴｋ）が最小となる識別対象（ｋ）を、抽出対象物であると認識し、従って入力画像中に対象物が存在していると判定する（ステップ１１０、１１１）。

辞書との照合の結果、マッチングしていないときは、入力画像中に対象物がないと判定され（ステップ１１３）、抽出されたすべての矩形について同様の処理を行う（ステップ１１２）が、入力画像中に対象物が存在していると判定されたときは、未処理の矩形があっても処理を終了する。

本実施例は、入力カラー画像データに対して、矩形抽出とベクトル量子化を並列的に行うとともに、矩形抽出の処理が完了した矩形から順次サイズ判定を行い、対象物と判定された矩形に対して認識処理しているので、リアルタイム処理が可能になる。

本発明の実施例１の構成を示す。 原画像を小領域に分割した図を示す。 小領域内の色度ヒストグラムを、コードブックを参照してベクトル量子化する例を示す図である。 入力画像のベクトル量子化値（ＶＱ値）の例を示す図である。 認識時における入力画像のベクトル量子化値ヒストグラムと辞書のベクトル量子化値ヒストグラムとのマッチングを説明する図である。 特徴抽出時におけるサンプリング点を示す図である。 本発明の実施例４の構成を示す。 小領域内の特徴量を変換圧縮してヒストグラムを生成する図である。 入力画像の特徴量ヒストグラムとコードブックとのマッチングを説明する図である。 本発明の対象物抽出方法に係る実施例９の構成を示す。 本発明の対象物抽出および画像認識の処理フローチャートである。 入力画像から抽出された外接矩形を示す。 回転の判定を説明する図である。 実施例１０、１１の構成を示す図である。 実施例１２の全体構成を示す図である。 実施例１２の詳細構成を示す図である。 対象物が回転している場合における、対象物の範囲内にあるベクトル量子化値のヒストグラム作成を説明する図である。

符号の説明

１ カラー画像信号
２ メッシュ分割部
３ 特徴量抽出部
４ 特徴量メモリ
５ コードブック
６ ベクトル量子化部
７ ベクトル量子化値メモリ
８ 認識部
９ 辞書
１０ 制御部

Claims (2)

1. 入力カラー画像信号を複数の領域に分割する分割工程と、前記分割された領域内の入力カラー画像信号から特徴量を抽出する特徴量抽出工程と、前記抽出された特徴量を、予め作成されたコードブックと比較することによりベクトル量子化し、前記入力カラー画像信号のベクトル量子化値を生成するベクトル量子化工程とからなるベクトル量子化処理工程と、
   前記入力カラー画像信号から黒連結成分の外接矩形を抽出する矩形抽出工程と、前記抽出された外接矩形の内、高さ、幅が所定の範囲内にある矩形を所定形状の対象物として判定する判定工程とからなる対象物抽出工程と、
   前記対象物抽出工程が前記所定形状の対象物を抽出したとき、前記生成された入力カラー画像信号のベクトル量子化値を参照して、前記所定形状の対象物の範囲に相当するベクトル量子化値のヒストグラムを作成するヒストグラム作成工程と、前記作成された所定形状の対象物のヒストグラムと辞書とを照合することにより、前記入力カラー画像信号中に、前記辞書に登録された対象物が存在するか否かを判定処理するマッチング工程とを備え、
   前記ベクトル量子化処理工程と前記対象物抽出工程を並列に実行することを特徴とするカラー画像認識方法。
2. 入力カラー画像信号を複数の領域に分割する分割手段と、前記分割された領域内の入力カラー画像信号から特徴量を抽出する特徴量抽出手段と、前記抽出された特徴量を、予め作成されたコードブックと比較することによりベクトル量子化し、前記入力カラー画像信号のベクトル量子化値を生成するベクトル量子化手段とからなるベクトル量子化処理手段と、
   前記入力カラー画像信号から黒連結成分の外接矩形を抽出する矩形抽出手段と、前記抽出された外接矩形の内、高さ、幅が所定の範囲内にある矩形を所定形状の対象物として判定する判定手段とからなる対象物抽出手段と、
   前記対象物抽出手段が前記所定形状の対象物を抽出したとき、前記生成された入力カラー画像信号のベクトル量子化値を参照して、前記所定形状の対象物の範囲に相当するベクトル量子化値のヒストグラムを作成するヒストグラム作成手段と、前記作成された所定形状の対象物のヒストグラムと辞書とを照合することにより、前記入力カラー画像信号中に、前記辞書に登録された対象物が存在するか否かを判定処理するマッチング手段とを備え、
   前記ベクトル量子化処理手段と前記対象物抽出手段を並列に実行することを特徴とするカラー画像認識装置。

Images