JP3496893B2 - カラー画像認識方法および装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、カラー画像および白黒
画像から特定画像を抽出して認識するカラー画像認識方
法および装置に関する。

【０００２】

【従来の技術】カラー画像を処理する製品、例えばカラ
ー複写機、カラープリンタ、カラースキャナ、カラー画
像通信機器などは、今後ますます増加するものと予想さ
れる。カラー画像は、ハードウェアの進歩、特にメモリ
の低価格化および大容量化、通信コストの低下などによ
り、以前に比べて利用しやすくなってきたものの、カラ
ー画像データはそのデータ量が膨大（例えば、Ａ３サイ
ズで９６Ｍバイト）であるため、２値画像と同じような
処理ができないのが現状である。

【０００３】特に、画像認識（特定画像の認識、ＯＣＲ
など）などの複雑な処理を要する技術においては、処理
量が膨大になり、カラー画像における画像認識は実現が
より困難である。

【０００４】

【発明が解決しようとする課題】従来、特定のカラー画
像を識別する方法として、例えば、画像を構成する各絵
柄部分は固有の色空間上での分布を持っているので、各
絵柄部分に現われる固有の色空間上での分布を特定し、
この特定された特徴と同一の特徴を有する画像部分を抽
出する方法がある（特開平４−１８０３４８号公報を参
照）。しかし、この方法では、色空間中での拡がりが同
じ画像については、その内部での色の分布が異なってい
ても識別することができず、つまり色空間の拡がりが同
じであれば、拡がりの中での色の分布が異なる画像をも
特定の画像として誤検出する可能性がある。

【０００５】また一方、認識処理に必要な対象物の抽出
方法として種々の方法が提案されているが、例えば画像
から黒連結の矩形を抽出し、予め設定された閾値と比較
することにより、文字の矩形と線図形の矩形とを判定す
る画像抽出方法がある（特開昭５５−１６２１７７号公
報を参照）。この方法は、抽出された線図形をさらに詳
細に水平罫線、垂直罫線、表、囲み枠などのように識別
するものではなく、また回転した対象物の抽出に対応で
きない。

【０００６】本発明の第１の目的は、カラー画像の認識
処理を行う際に、画像認識に必要な情報量を確保しつ
つ、データ量を圧縮して対象物を高精度に認識するカラ
ー画像認識方法および装置を提供することにある。

【０００７】本発明の第２の目的は、カラー画像の認識
処理を行う際に、画像認識に必要な情報量を確保しつ
つ、データ量をテーブル変換によって変換圧縮すること
により、効率的にデータ圧縮を行い、対象物を高精度か
つ高速に認識するカラー画像認識方法および装置を提供
することにある。

【０００８】本発明の第３の目的は、認識対象原稿のカ
ラー画像が裏写りした場合の影響を抑制して、認識対象
とされる画像情報のみにベクトル量子化を施すことによ
り、認識率と処理速度を向上させたカラー画像認識方法
および装置を提供することにある。

【０００９】本発明の第４の目的は、コードブックとの
距離が所定の閾値より大きい場合に、ベクトル量子化値
を割り当てないことにより、認識精度と処理速度を向上
させたカラー画像認識方法および装置を提供することに
ある。

【００１０】本発明の第５の目的は、入力画像中から対
象物の画像領域を高精度に抽出する対象物抽出方法を提
供することにある。

【００１１】本発明の第６の目的は、抽出された対象物
に対して、カラー画像の認識処理を行う際に、画像認識
に必要な情報量を確保しつつ、データ量を圧縮して対象
物を高精度に認識するカラー画像認識方法および装置を
提供することにある。

【００１２】

【課題を解決するための手段】前記各目的を達成するた
めに、請求項１記載の発明では、入力されたカラー画像
信号を複数の領域に分割し、該分割された領域内のカラ
ー画像から特徴量を抽出し、該抽出された特徴量を圧縮
してヒストグラムを生成し、該ヒストグラムを予め作成
されたコードブックと比較することによりベクトル量子
化し、前記カラー画像のベクトル量子化された値と識別
対象物の辞書とを照合することにより、前記カラー画像
を認識処理するカラー画像認識方法であって、前記ヒス
トグラムの情報を基に、前記コードブックとの比較処理
を変更制御することを特徴としている。

【００１３】請求項２記載の発明では、前記ヒストグラ
ムの度数または度数分布幅が所定の値を超えたとき、所
定のベクトル量子化値を与えることを特徴としている。

【００１４】請求項３記載の発明では、前記ヒストグラ
ムの度数または度数分布幅が所定の値を超えたとき、前
記コードブックとの比較処理を行わないことを特徴とし
ている。

【００１５】請求項４記載の発明では、前記ヒストグラ
ムとコードブックとの比較の結果、比較した距離が所定
の値より大きいときベクトル量子化しないことを特徴と
している。

【００１６】請求項５記載の発明では、入力されたカラ
ー画像信号を複数の領域に分割する手段と、該分割され
た領域内のカラー画像から特徴量を抽出する手段と、該
抽出された特徴量を圧縮してヒストグラムを生成する手
段と、該ヒストグラムを予め作成されたコードブックと
比較することによりベクトル量子化する手段と、前記カ
ラー画像のベクトル量子化された値と識別対象物の辞書
とを照合することにより、前記カラー画像を認識処理す
る手段とを備えたカラー画像認識装置であって、前記ヒ
ストグラムの情報を基に、前記コードブックとの比較処
理を変更制御することを特徴としている。

【００１７】請求項６記載の発明では、入力カラー画像
信号を複数の領域に分割し、該分割された領域内のカラ
ー画像から特徴量を抽出し、該抽出された特徴量を、予
め作成されたコードブックと比較することによりベクト
ル量子化し、前記カラー画像のベクトル量子化された値
を生成し、前記入力カラー画像信号から抽出された所定
形状の対象物の範囲に相当する該ベクトル量子化値を参
照して該ベクトル量子化値のヒストグラムを作成し、該
作成された対象物のヒストグラムと辞書とを照合するこ
とにより、前記対象物を認識処理することを特徴として
いる。

【００１８】請求項７記載の発明では、入力カラー画像
信号を複数の領域に分割する手段と、該分割された領域
内のカラー画像から特徴量を抽出する手段と、該抽出さ
れた特徴量を、予め作成されたコードブックと比較する
ことによりベクトル量子化する手段と、前記カラー画像
のベクトル量子化された値を生成する手段と、前記入力
カラー画像信号から抽出された所定形状の対象物の範囲
に相当する該ベクトル量子化値を参照して該ベクトル量
子化値のヒストグラムを作成する手段と、該作成された
対象物のヒストグラムと辞書とを照合することにより、
前記対象物を認識処理する手段とを備えたことを特徴と
している。

【００１９】

【作用】第１の実施例においては、入力されたカラー画
像信号ＲＧＢはメッシュ分割部で小領域（メッシュ）に
分割される。特徴量抽出部では、分割された小領域毎
に、入力カラー画像信号ＲＧＢの色度ヒストグラムを作
成して、特徴量メモリに格納する。識別対象物の色度ヒ
ストグラムを予め作成して、コードブックに格納してお
く。そして、ベクトル量子化部では、特徴量メモリの色
度ヒストグラムと、コードブックとの距離を算出し、そ
の距離が最小であるコードブックのコードを、その小領
域のベクトル量子化値としてベクトル量子化値メモリに
保持する。辞書には、識別対象物について予めベクトル
量子化値ヒストグラムを求めて格納しておく。認識部で
は、入力画像のベクトル量子化値ヒストグラムと、辞書
のベクトル量子化値ヒストグラムとの距離を算出し、入
力カラー画像が識別対象であるか否かを判定する。これ
により、データ量を圧縮できるとともに、高精度に対象
物を認識することが可能となる。

【００２０】

【実施例】以下、本発明の一実施例を図面を用いて具体
的に説明する。 〈実施例１〉 図１は、本発明の実施例１の構成を示す。図１におい
て、入力されたカラー画像信号（ＲＧＢ）１から得られ
たカラー画像を小領域（メッシュ）に分割するメッシュ
分割部２と、小領域内のカラー画像データから特徴量を
抽出する特徴量抽出部３と、抽出した特徴量を格納する
特徴量メモリ４と、抽出した特徴量を予め作成してある
コードブック５と比較することによりベクトル量子化を
行うベクトル量子化部６と、ベクトル量子化値を保持す
るベクトル量子化値メモリ７と、該メモリと識別対象物
の辞書９とを照合して認識処理を行う認識部８と、メモ
リ管理やマッチング処理の距離計算などの全体の画像認
識処理における各段階の制御を行う制御部１０とから構
成されている。

【００２１】入力カラー画像信号ＲＧＢを予め定められ
た小領域（メッシュ）に分割する。分割された小領域
（メッシュ）毎に、入力カラー画像信号ＲＧＢの特徴量
を抽出する。本実施例では、その特徴量として色度ヒス
トグラムを用いる。すなわち、特徴量抽出部３では、入
力カラー画像信号ＲＧＢを以下に示す色度Ｐｒ、Ｐｇに
変換し、予め定められた小領域（メッシュ）毎に色度Ｐ
ｒ、Ｐｇの値のヒストグラムを作成し、特徴量メモリ４
に格納する。このように、色度変換されたカラー画像
は、色合い情報だけを持つので、照明むらが除去されて
対象物を抽出する場合などに有効となる。

【００２２】図２は、原画像を小領域（メッシュ）に分
割した図を示し、この例では、小領域は６４画素×６４
画素のサイズである。

【００２３】 Ｐｒ＝２５６＊Ｒ／（Ｒ＋Ｇ＋Ｂ） Ｐｇ＝２５６＊Ｇ／（Ｒ＋Ｇ＋Ｂ） ここで、Ｒ、Ｇ、Ｂは入力された各８ビットのカラー画
像信号である。なお、Ｐｒ、Ｐｇを２５６倍しているの
はＰｒ、Ｐｇも８ビットで表現するためである。

【００２４】また、上記した例では、ｒ，ｇの色度ヒス
トグラムを特徴量としたが、本発明はこれに限定される
ものではなく、ｂの色度ヒストグラムを用いてもよい
し、色度の他に、カラー画像信号（ＲＧＢ）、色相、彩
度などの特徴量を用いることができる。

【００２５】図３は、小領域内の色度ヒストグラムを、
コードブックを参照してベクトル量子化する例を示す図
である。

【００２６】図３において、１１は、特徴量メモリ４に
格納された小領域内の色度ヒストグラム（Ｈｉ）を示
す。ｉ＝０〜２５５の次元におけるＨ（ｉ）はＰｒを表
し、ｉ＝２５６〜５１１の次元におけるＨ（ｉ）はＰｇ
を表す。また、１２は、予め作成されたコードブック
（Ｃ０、Ｃ１、Ｃ２．．．）の内容を示す。

【００２７】ここで、コードブックは、識別対象物ある
いは一般の原稿を多数入力し、同様の条件で色度ヒスト
グラムのデータを大量に作成し、これらをクラスタリン
グすることで代表的な色度ヒストグラム（コードブッ
ク）を求めて作成する。

【００２８】ベクトル量子化部６では、この色度ヒスト
グラム（Ｈｉ）１１と、コードブックの内容１２とをマ
ッチングして距離（ＤＣｊ）を算出し、その距離（一般
には、ユークリッド距離の２乗として定義された２乗ひ
ずみ測度）が最小であるコードブックのコード（Ｃｊ）
を、その小領域のベクトル量子化値（ＶＱ値）としてベ
クトル量子化値メモリ７に保持する。

【００２９】図４は、入力画像のベクトル量子化値（Ｖ
Ｑ値）の例を示す。各桝目は、前述した一つの小領域に
対応し、各桝目内の数値はベクトル量子化値（ＶＱ値）
である。そして、これらのベクトル量子化値（ＶＱ値）
についてヒストグラムを作成する。

【００３０】図５は、画像認識時における入力画像のベ
クトル量子化値のヒストグラムと辞書のベクトル量子化
値のヒストグラムとのマッチングを説明する図である。
図において１３は、作成されたベクトル量子化値のヒス
トグラム例を示す。また、１４は、識別対象物の辞書内
容を示し、入力画像と同様に、ベクトル量子化値ヒスト
グラムで表現されて予め作成されている。図の場合は、
例えば、識別対象物Ａ，Ｂ，Ｃ．．（コードブック数が
６４）のベクトル量子化値ヒストグラムが格納されてい
る。

【００３１】認識部８では、入力画像のベクトル量子化
値ヒストグラム１３と、辞書のベクトル量子化値ヒスト
グラム１４とマッチングして距離（ＤＴｋ）を算出し、
距離（ＤＴｋ）が最小となる識別対象（ｋ）を、認識対
象のカラー画像と判定する。

【００３２】このように、本発明はカラー画像をベクト
ル量子化してから辞書と照合しているので、従来技術で
ある特開平４−１８０３４８号公報における問題点が解
決される。

【００３３】〈実施例２〉 上記した実施例１では全画素を用いて色度ヒストグラム
を作成しているが、これでは処理量が膨大になる。そこ
で、実施例２では、図６に示すように、色度ヒストグラ
ムを求める画素をＭ画素間隔で間引いて行う。間引きの
方法としては、例えば８画素間隔でサンプルして色度を
求める画素を選択する方法を採る。また、Ｍ画素間隔で
間引くとき、周囲の画素の画素値の平均を求め、この値
を該間引き画素値としてもよい（この処理によって雑音
が軽減される）。

【００３４】〈実施例３〉実施例１において、色度ヒス
トグラム作成時に、ｒ、ｇ各８ビットでヒストグラムを
作成すると、５１２次元の特徴量になり、メモリ容量も
増大し、マッチング処理にも時間がかかる。

【００３５】そこで、本実施例では、例えば以下のよう
な変換を行って、特徴量次元を６４次元に圧縮してから
前述したと同様の処理を行う。

【００３６】 Ｐｒ’＝０ （Ｐｒ≦６４） ＝（Ｐｒ−６４）／４ （６４＜Ｐｒ≦１９２） ＝３１ （１９２＜Ｐｒ） Ｐｇ’＝３２ （Ｐｇ≦６４） ＝（Ｐｇ−６４）／４＋３２ （６４＜Ｐｇ≦１９２） ＝６３ （１９２＜Ｐｇ） 〈実施例４〉 図７は、本発明の実施例４の構成を示す。この実施例４
の構成は、図１の構成に変換圧縮テーブル１５を付加し
て、データ量をテーブル変換によって変換圧縮する。つ
まり本実施例４は、実施例３のように変換式による演算
処理を行うことなく効率的にデータ圧縮するものであ
る。変換圧縮テーブル１５は、後述するように、特徴量
抽出部３によって抽出された特徴量を変換圧縮する。ま
た、特徴量メモリ４は圧縮された特徴量を保持し、ベク
トル量子化部６は圧縮された特徴量を予め作成してある
コードブック５と比較することによりベクトル量子化を
行う点が、図１の構成と若干異なる。他の構成要素は図
１で説明したものと同様であるので説明を省略する。

【００３７】実施例１と同様に、入力カラー画像信号
は、図２に示すように小領域（メッシュ）に分割され、
小領域毎に入力カラー画像信号の特徴量が抽出される。
本実施例では、特徴量として入力カラー画像信号ＲＧＢ
の色度信号を用いる。すなわち、特徴量抽出部３では、
小領域（メッシュ）毎に入力カラー画像信号のＲＧＢの
色度信号を抽出して、変換圧縮テーブル１５を参照する
ことによって、特徴量を変換圧縮し、圧縮されたＲＧＢ
の色度信号毎に小領域（メッシュ）内の色度ヒストグラ
ムを作成して、特徴量メモリ４に結果を格納する。

【００３８】図８は、小領域内の特徴量を変換圧縮して
ヒストグラムを生成する図である。変換圧縮テーブル１
５は、入力される各色度信号を変換特性に従って変換出
力する。例えば、入力信号の値が２５５であるとき、そ
の出力値が１５として変換圧縮処理される。このように
圧縮された特徴量のヒストグラムは特徴量メモリ４に生
成される。このように、特徴量の変換圧縮によってメモ
リ容量の増加が抑制され、マッチング処理が高速化され
る。

【００３９】図８に戻り、入力される各色度信号（Ｒ、
Ｇ、Ｂ）は、変換圧縮テーブル１５によってＲ’、
Ｇ’、Ｂ’に変換圧縮されて出力される。この例では、
Ｒ’、Ｇ’、Ｂ’はそれぞれ０から１５の値をとる。そ
して、Ｇ’に１６を加算し、Ｂ’に３２を加算して、０
から４７の次元（図の横軸）で色度ヒストグラムＨ
（ｉ）１６を作成する。すなわち、小領域内の色度ヒス
トグラムＨ（ｉ）１６において、次元ｉ＝０〜１５のＨ
（ｉ）は圧縮変換されたＲ信号つまりＲ’信号の度数を
表し、次元ｉ＝１６〜３１のＨ（ｉ）は圧縮変換された
Ｇ信号つまりＧ’信号の度数を表し、次元ｉ＝３２〜４
７のＨ（ｉ）は圧縮変換されたＢ信号つまりＢ’信号の
度数を表している。

【００４０】なお、上記した実施例において、特徴量の
ヒストグラムの次元の総数（この例では４８次元）は、
変換圧縮テーブルによる圧縮の度合いに応じて決定され
るもので、適宜変更可能である。また、入力カラー画像
信号のＲＧＢの色度信号からヒストグラムを作成してい
るが、本発明はこれに限定されるものではなく、入力カ
ラー画像信号を変換処理したＹＭＣ信号やＬａｂ信号を
特徴量として、変換圧縮処理とヒストグラム生成処理を
行うようにしてもよい。

【００４１】図９は、小領域内の色度ヒストグラムを、
コードブックを参照してベクトル量子化する例を示す図
であり、１７は、特徴量メモリ４に格納された小領域内
の色度ヒストグラム（Ｈｉ）を示し、１８は、予め作成
されたコードブック５（Ｃ０、Ｃ１、Ｃ２．．．）の内
容を示す。前述した図３と異なる点は、ヒストグラムの
次元数が圧縮されている点である。

【００４２】ここで、コードブック５は、識別対象物あ
るいは一般の原稿を多数入力し、同様の条件で色度ヒス
トグラムのデータを大量に作成し、これらをクラスタリ
ングすることで代表的な色度ヒストグラム（コードブッ
ク）を求めて作成する。

【００４３】ベクトル量子化部６では、処理対象の小領
域の色度ヒストグラム（Ｈｉ）１７と、コードブックの
内容１８とをマッチングして距離（ＤＣｊ）を算出し、
その距離（一般には、ユークリッド距離の２乗として定
義された２乗ひずみ測度）が最小であるコードブックの
コード（Ｃｊ）を、その小領域のベクトル量子化値（Ｖ
Ｑ値）として割り当て、ベクトル量子化値メモリ７に保
持する。

【００４４】入力画像のベクトル量子化値（ＶＱ値）の
例は、実施例１で説明した図４の場合と同様であり、ベ
クトル量子化値メモリ７には各小領域のベクトル量子化
値（ＶＱ値）が保持されていて、入力画像のベクトル量
子化値（ＶＱ値）についてヒストグラムが作成される。
そして、実施例１の図５で説明したと同様にして識別対
象物の辞書が構成され、認識部８では、入力画像のベク
トル量子化値ヒストグラム１３と、辞書のベクトル量子
化値ヒストグラム１４とマッチングして距離（ＤＴｋ）
を算出し、距離（ＤＴｋ）が最小となる識別対象（ｋ）
を、認識対象のカラー画像と判定する。

【００４５】〈実施例５〉 上記した実施例４では、入力画像の全ての画素に対して
特徴量のヒストグラムを作成してコードブックとの比較
処理を行っている。本実施例５は、小領域毎に生成され
た特徴量のヒストグラム情報に基づいてコードブックと
の比較処理を変更して、画像認識に必要のない地肌部
（背景部）やノイズ画像の認識処理を制御するもので、
これにより認識率と処理速度の向上を図る。

【００４６】一般に、画像認識に必要のない地肌部（背
景部）は、小領域内の濃度がほぼ一定であることから、
小領域毎に生成された特徴量のヒストグラムの度数は特
定部分に集中していて、度数分布の幅は狭く度数の最大
値が大きくなる傾向にある。そこで、本実施例では、ヒ
ストグラムの度数の最大値が予め設定した閾値を超えた
場合に、濃度が一様な画像のベタ部領域であると判定し
て、ベクトル量子化値に０を割り当て、認識対象とされ
る画像情報のみにベクトル量子化を施す。他の実施態様
としては、ヒストグラムの度数が予め設定した閾値を超
えた場合にコードブックとの比較処理を行わないように
構成してもよい。

【００４７】また、原稿をスキャナなどで読み取った得
られる画像のハイライト部においては、原稿用紙の裏側
の画像が裏写りする場合がある。このような裏写りによ
る画像ノイズを除く、ハイライト部の画像データの特徴
量は、多くの場合一様であることから、その特徴量のヒ
ストグラムは特定部分に集中して大きなピークを持ち、
また度数の最大値が大きくなり、度数の分布の幅が狭く
なる傾向にある。そこで、本実施例では、ヒストグラム
の度数分布の情報が、予め設定したヒストグラム特性を
備えていると判定された場合には、小領域の特徴量ヒス
トグラムから予め設定したヒストグラム特性を除去して
コードブックとの比較を行って、ベクトル量子化値を割
り当てる。これにより、画像ノイズによる影響が抑止さ
れ、認識対象とされる画像情報のみにベクトル量子化が
施される。

【００４８】なお、本実施例５では特徴量のヒストグラ
ム情報として、度数の最大値と度数の分布幅を採用して
いるが、これに限定されるものではなく、認識対象とす
る画像の特徴量ヒストグラムの特性を分析して設定され
るヒストグラム情報であればよい。

【００４９】〈実施例６〉 上記した実施例４におけるコードブックは、認識対象画
像を多数入力し、同様の条件で色度ヒストグラムのデー
タを大量に作成し、これらをクラスタリングすることに
よって作成しているので、入力画像が認識対象の画像以
外の場合には、どのコードブックからも距離が離れる場
合がある。

【００５０】本実施例６では、認識対象画像をコードブ
ックと比較してベクトル量子化値を割り当てる際に、比
較した距離が所定の閾値よりも大きいとき、ベクトル量
子化値を割り当てないように構成する。これにより、マ
ッチングした結果、識別候補がない場合には速やかに入
力カラー画像に認識対象の画像が存在しないと判定でき
るようになる。

【００５１】〈実施例７〉 本実施例７は、実施例１、４において辞書とのマッチン
グを行う際、有効距離の閾値を設定しておき、求めた距
離と閾値との比較を行い、距離が閾値以下ならばその辞
書内の識別対象物を識別候補にするが、閾値より大きい
場合には、識別候補にしないようにする。これにより、
マッチングした結果、識別候補がない場合には入力カラ
ー画像に認識対象の画像が存在しないと判定できるよう
になる。

【００５２】〈実施例８〉 本実施例８は、実施例７における前記閾値を各識別対象
物毎に設定し、求めた距離と各識別対象物毎の閾値の比
較を行い、距離が閾値以下ならばその識別対象物を識別
候補にするが、閾値より大きい場合にはその識別対象物
を識別候補にしないようにする。これにより、複数の対
象物を識別する際に、対象物の特性を活かしたマッチン
グ処理が可能になる。より具体的にいえば、ある対象物
ｋが対象物ｋ以外の原稿ｊと間違え易い場合には、この
対象物ｋの閾値を低くすることで、対象物ｋと原稿ｊと
を高精度に識別することができ、誤認識を防止すること
が可能となる。

【００５３】〈実施例９〉 図１０は、本発明の対象物抽出方法に係る実施例９の構
成を示す。図１０において、２値画像信号２１から黒連
結成分の外接矩形を抽出する矩形抽出部２２と、抽出さ
れた矩形データを格納する矩形メモリ２３と、予め設定
された閾値と抽出矩形の幅、高さを比較し、抽出すべき
対象物が長方形か否かを判定する候補矩形判定部２４
と、候補矩形データを格納する候補矩形メモリ２５と、
対象物が回転しているか否かを判定する回転判定部２６
と、対象物の短辺、長辺を測定する辺長測定部２７と、
短辺、長辺の長さと予め設定された閾値とを比較して対
象物か否かを判定する対象物判定部２８と、対象物矩形
データを格納する対象物矩形メモリ２９と、全体を制御
する制御部３０とから構成されている。

【００５４】図１１は、本発明の対象物抽出および画像
認識の処理フローチャートである。この処理フローチャ
ートにおいて、本発明の対象物抽出方法に係る処理はス
テップ１０１からステップ１０８であり、まず対象物の
抽出方法について、以下説明する。

【００５５】入力画像から２値画像を生成し（ステップ
１０１）、矩形抽出部２２は、２値画像から黒連結成分
の外接矩形を抽出する（ステップ１０２）。矩形抽出方
法としては、例えば本出願人が先に提案した方式（特願
平３−３４１８８９、同４−２６７３１３、同４−１６
０８６６）などを用いればよい。

【００５６】図１２は、入力画像２０１から抽出された
外接矩形２０２を示す。本発明では、外接矩形２０２の
４頂点の座標（Ｘｓ，Ｙｓ）、（Ｘｅ，Ｙｅ）、（Ｘ
ｓ，Ｙｅ）、（Ｘｅ，Ｙｓ）と、黒連結成分（対象物）
２０３と外接矩形２０２との接点座標（Ｘｕ，Ｙｓ）、
（Ｘｅ，Ｙｒ）、（Ｘｓ，Ｙｌ）、（Ｘｂ，Ｙｅ）を同
時に抽出する。

【００５７】次いで、候補矩形判定部２４では、抽出さ
れた外接矩形の高さ、幅が予め与えられた高さ、幅の範
囲内にあるか否かを判定し（ステップ１０３）、高さ、
幅の何れかが範囲外であれば、対象物でないと判定する
（ステップ１１３）。なお、このようなサイズによる対
象物の候補判定方法については、前掲した本出願による
方式を用いればよい。続いて、候補矩形判定部２４で
は、抽出すべき対象物が長方形であるか否かをチェック
する（ステップ１０４）。これは例えば、候補矩形判定
部２４内に予め抽出すべき対象物として長方形データが
設定されているものとする。

【００５８】対象物が長方形であるものについて、回転
判定部２６は、対象物がスキャンラインに対して回転し
ているか否かを判定する（ステップ１０５）。図１３
は、回転の判定を説明する図であり、３０１は候補矩
形、３０２は対象物である。この回転判定は、対象物３
０２が長方形の場合、三角形ＡとＢ、三角形ＣとＤの合
同を判定し、もしどちらか一方でも合同でないと判定さ
れた場合には回転していないと判定する。また、図１３
に示すように、長方形の対角線Ｄ１，Ｄ２の長さ（この
長さは矩形データの座標から計算する）を比較し、その
差が大きければ菱形と判定し、対象物３０２が回転して
いないと判定する。

【００５９】次いで、辺長測定部２７では、回転してい
ると判定された長方形について、図１３のＳ１、Ｓ２の
長さを計算し（矩形データの座標から計算する）、それ
ぞれを短辺、長辺の長さとする（ステップ１０６）。一
方、ステップ１０４で長方形でないと判定されたもの、
ステップ１０５で回転していないと判定されたものにつ
いては、外接矩形の高さを短辺、幅を長辺の長さとする
（ステップ１０７）。そして、短辺、長辺の長さが予め
与えられた対象物の短辺、長辺の長さの範囲にあるか否
かを判定し、何れか一方でも範囲外ならば対象物ではな
いと判定し、この条件に合うものを抽出すべき対象物と
判定する（ステップ１０８）。以下の処理（ステップ１
０９以降）については、後述する。

【００６０】なお、上記した実施例において、矩形抽出
部２２の前に、入力された２値画像に対して例えば８×
８画素を１画素に変換するような画像圧縮部を設け、圧
縮された画像から矩形を抽出するように構成を変更する
ことも可能である。

【００６１】〈実施例１０〉 本実施例１０では、入力画像をカラー画像信号（Ｒ，
Ｇ，Ｂ）とし、以下のような明度（Ｌ）を求め、所定の
閾値（Ｔｈ１）以下の明度を持つ画素を黒とし、閾値
（Ｔｈ１）より大きい画素を白とするような２値画像を
作成してから、実施例１と同様の処理を行う。

【００６２】 Ｌ＝Ｒ＋Ｇ＋Ｂ Ｌ≦Ｔｈ１ならば黒画素 Ｌ＞Ｔｈ１ならば白画素 本実施例は、対象物以外の部分（背景）が白地の場合に
対象物を抽出するのに有効な方式となる。つまり例え
ば、白紙（あるいは淡い地肌の用紙）に対象物の載せて
スキャナなどで画像を読み取るような場合に有効な方式
となる。

【００６３】〈実施例１１〉 本実施例１１では、入力画像をカラー画像信号（Ｒ，
Ｇ，Ｂ）とし、以下のような明度（Ｌ）を求め、所定の
閾値（Ｔｈ２）以上の明度を持つ画素を黒とし、閾値
（Ｔｈ２）より小さい画素を白とするような２値画像を
作成してから、実施例１と同様の処理を行う。

【００６４】 Ｌ＝Ｒ＋Ｇ＋Ｂ Ｌ≧Ｔｈ２ならば黒画素 Ｌ＜Ｔｈ２ならば白画素 本実施例は、銀板のような圧板を持つスキャナなどで入
力した時に、対象物以外の部分（背景）が黒地になる場
合に対象物を抽出するのに有効な方式となる。このよう
に、実施例１０、１１によれば、原稿を押える蓋をした
状態で画像を取り込んでも、また蓋を開けた状態で画像
を取り込んでも何れにも対応できる。なお、上記実施例
における対象物とは、スキャナに載せた原稿全体から抽
出される場合、あるいは原稿中のある特定領域から抽出
される場合の何れでもよい。

【００６５】また、上記実施例１０、１１において、明
度以外に、カラー画像信号（ＲＧＢ）、色相、彩度など
を対象とすることもできる。さらに、実施例１０、１１
において、Ｔｈ１≦Ｌ≦Ｔｈ２ならば黒画素、上記以外
ならば白画素のように、所定範囲内を黒画素としてもよ
い。

【００６６】図１４は、実施例１０、１１の構成を示
す。実施例９（図１０）と異なる点は、カラー画像信号
（ＲＧＢ）３４から２値画像を生成する２値画像生成部
３１が設けられた点と、実施例１０で作成された２値画
像を格納するメモリ３２と、実施例１１で作成された２
値画像を格納するメモリ３３が設けられた点である。そ
して、背景が白地の場合にも黒地の場合にも対応できる
ように、実施例１０および１１をそれぞれ実行し、矩形
抽出部２２で外接矩形を抽出する。この抽出された各外
接矩形を外接矩形１、２とすると、候補矩形判定部２４
において、これら外接矩形１、２の包含関係を判定し、
例えば外接矩形１が外接矩形２を完全に含むとき、外接
矩形１のみから対象物を抽出する。

【００６７】〈実施例１２〉 図１５は、実施例１２の全体構成を示す。図において、
対象物抽出部４２がカラー画像信号４１から対象物を抽
出して、対象物矩形メモリ４３に格納する部分は、前述
した図１４に示す構成と全く同一のものである。

【００６８】本実施例では、カラー画像信号４１をベク
トル量子化するベクトル量子化部４４と、ベクトル量子
化値を格納するベクトル量子化値メモリ４５と、対象物
抽出部４２で抽出された対象物と予め作成された辞書と
のマッチングを行い対象物か否かを判定する対象物認識
部４６が設けられている。

【００６９】図１６は、実施例１２の詳細構成を示す。
まず、対象物抽出部５１の構成から説明すると、対象物
抽出部５１は図１４に示す要素から構成され、対象物が
抽出されると、対象物認識部６１に対して起動信号５３
を出力する。また抽出された対象物のデータが対象物矩
形メモリ５２に格納され、対象物認識部６１に対して起
動信号５３と共に、対象物の範囲データ５４が出力され
る。

【００７０】ベクトル量子化処理部５５は、実施例１で
説明したと同様に、入力されたカラー画像信号（ＲＧ
Ｂ）から得られたカラー画像を小領域（メッシュ）に分
割するメッシュ分割部５６と、小領域内のカラー画像デ
ータから特徴量（色度ヒストグラム）を抽出する特徴量
抽出部５７と、作成された色度ヒストグラムと予め作成
してあるコードブック５９と比較することによりベクト
ル量子化を行うベクトル量子化部５８から構成されてい
る。ベクトル量子化された入力カラー画像はベクトル量
子化値メモリ６０に保持される。

【００７１】入力カラー画像をベクトル量子化して、処
理対象の小領域のベクトル量子化値（ＶＱ値）を割り当
てて、ベクトル量子化値メモリ６０に保持するまでの処
理は、前述した実施例１と同様であるので、その説明を
省略する。

【００７２】さて、対象物認識部６１のヒストグラム作
成部６２では、上記したベクトル量子化値（前述した図
４）からベクトル量子化値のヒストグラムを作成する。
すなわち、入力画像のベクトル量子化値（ＶＱ値）につ
いて、対象物の範囲内にあるＶＱ値のヒストグラムを作
成する（図１１のステップ１０９）。図１７は、対象物
が回転している場合における、対象物の範囲内にあるベ
クトル量子化値のヒストグラム作成を説明する図であ
る。

【００７３】前述したように対象物が抽出されると対象
物認識部６１の起動時に、対象物抽出部５１から対象物
認識部６１に対して、対象物の範囲データ５４が渡され
るので、図１７の対象物のエッジ５０１の直線データと
ベクトル量子化値メモリ６０の座標とを比較して包含関
係を判定し、対象物の範囲内に完全に含まれる小領域
（図１７の黒い部分で示す領域）について、ベクトル量
子化値のヒストグラムを作成する。対象物が回転してい
ない場合は、外接矩形の範囲データとベクトル量子化値
メモリの座標とを比較して包含関係を判定し、外接矩形
の範囲内の小領域について、ベクトル量子化値のヒスト
グラムを作成する。

【００７４】そして、実施例１の図５で説明したと同様
に、対象物認識部６１では、抽出対象物のベクトル量子
化値ヒストグラム１３と、辞書のベクトル量子化値ヒス
トグラム１４とをマッチング部６３でマッチングして距
離（ＤＴｋ）を算出し、距離（ＤＴｋ）が最小となる識
別対象（ｋ）を、抽出対象物であると認識し、従って入
力画像中に対象物が存在していると判定する（ステップ
１１０、１１１）。

【００７５】辞書との照合の結果、マッチングしていな
いときは、入力画像中に対象物がないと判定され（ステ
ップ１１３）、抽出されたすべての矩形について同様の
処理を行う（ステップ１１２）が、入力画像中に対象物
が存在していると判定されたときは、未処理の矩形があ
っても処理を終了する。

【００７６】本実施例は、入力カラー画像データに対し
て、矩形抽出とベクトル量子化を並列的に行うととも
に、矩形抽出の処理が完了した矩形から順次サイズ判定
を行い、対象物と判定された矩形に対して認識処理して
いるので、リアルタイム処理が可能になる。

【００７７】

【発明の効果】以上、説明したように、本発明によれ
ば、以下のような効果が得られる。 （１） 対象物から特徴を抽出後にベクトル量子化してい
るので、認識対象物の情報量が失われることなく、処理
データ量を圧縮することができると共に辞書をコンパク
トに構成することができ、さらに特定画像を精度よく認
識することができる。

【００７８】（２）特徴量を圧縮しているので、より一
層処理データ量を圧縮することができる。

【００７９】（３）入力画像データから抽出された特徴
量を圧縮処理後にベクトル量子化しているので、カラー
画像認識に必要な情報量を保持しつつ処理データ量が削
減され、処理速度が向上するとともに高精度に画像認識
処理を行うことができる。

【００８０】（４）マッチングを行う際に、得られたヒ
ストグラム情報と設定された閾値とを比較する閾値処理
により、マッチング処理の変更を行っているので、画像
認識に必要な処理時間が短縮され、効率的なカラー画像
認識処理を行うことができる。

【００８１】（５）辞書とのマッチングを行う際に、算
出された距離と設定された閾値とを比較しているので、
認識精度をより一層向上させることができる。

【００８２】（６）矩形対象物の抽出処理を、外接矩形
と黒連結成分との接点情報に基づいて行っているので、
画像中の対象物が存在する部分を高精度に抽出すること
ができる。

【００８３】（７）画像中の対象物が回転していても高
精度に抽出することができる。

【００８４】（８）背景が白地または黒地の場合でも対
象物を正確に抽出することができ、また白地における外
接矩形と黒地における外接矩形の包含関係を調べている
ので、重複した抽出処理を行う必要がない。

【００８５】（９）対象物の抽出処理とカラー画像のベ
クトル量子化処理を並列的に行い、抽出された対象物に
ついて認識処理しているので、カラー画像中の特定画像
を高速かつ高精度に認識することができる。また、カラ
ー画像をベクトル量子化しているので、認識対象物の情
報量が失われることなく、処理データ量を圧縮すること
ができる。

【図面の簡単な説明】

【図１】本発明の実施例１の構成を示す。

【図２】原画像を小領域に分割した図を示す。

【図３】小領域内の色度ヒストグラムを、コードブック
を参照してベクトル量子化する例を示す図である。

【図４】入力画像のベクトル量子化値（ＶＱ値）の例を
示す図である。

【図５】認識時における入力画像のベクトル量子化値ヒ
ストグラムと辞書のベクトル量子化値ヒストグラムとの
マッチングを説明する図である。

【図６】特徴抽出時におけるサンプリング点を示す図で
ある。

【図７】本発明の実施例４の構成を示す。

【図８】小領域内の特徴量を変換圧縮してヒストグラム
を生成する図である。

【図９】入力画像の特徴量ヒストグラムとコードブック
とのマッチングを説明する図である。

【図１０】本発明の対象物抽出方法に係る実施例９の構
成を示す。

【図１１】本発明の対象物抽出および画像認識の処理フ
ローチャートである。

【図１２】入力画像から抽出された外接矩形を示す。

【図１３】回転の判定を説明する図である。

【図１４】実施例１０、１１の構成を示す図である。

【図１５】実施例１２の全体構成を示す図である。

【図１６】実施例１２の詳細構成を示す図である。

【図１７】対象物が回転している場合における、対象物
の範囲内にあるベクトル量子化値のヒストグラム作成を
説明する図である。

【符号の説明】 １ カラー画像信号 ２ メッシュ分割部 ３ 特徴量抽出部 ４ 特徴量メモリ ５ コードブック ６ ベクトル量子化部 ７ ベクトル量子化値メモリ ８ 認識部 ９ 辞書 １０ 制御部

───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 特願平6−52286 (32)優先日 平成６年３月23日(1994．3．23) (33)優先権主張国 日本（ＪＰ） (56)参考文献 特開 平７−262373（ＪＰ，Ａ) 特開 昭64−12371（ＪＰ，Ａ) 特開 昭61−70859（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 入力されたカラー画像信号を複数の領域
   に分割し、該分割された領域内のカラー画像から特徴量
   を抽出し、該抽出された特徴量を圧縮してヒストグラム
   を生成し、該ヒストグラムを予め作成されたコードブッ
   クと比較することによりベクトル量子化し、前記カラー
   画像のベクトル量子化された値と識別対象物の辞書とを
   照合することにより、前記カラー画像を認識処理するカ
   ラー画像認識方法であって、前記ヒストグラムの情報を
   基に、前記コードブックとの比較処理を変更制御するこ
   とを特徴とするカラー画像認識方法。
2. 【請求項２】 前記ヒストグラムの度数または度数分布
   幅が所定の値を超えたとき、所定のベクトル量子化値を
   与えることを特徴とする請求項１記載のカラー画像認識
   方法。
3. 【請求項３】 前記ヒストグラムの度数または度数分布
   幅が所定の値を超えたとき、前記コードブックとの比較
   処理を行わないことを特徴とする請求項１記載のカラー
   画像認識方法。
4. 【請求項４】 前記ヒストグラムとコードブックとの比
   較の結果、比較した距離が所定の値より大きいときベク
   トル量子化しないことを特徴とする請求項１記載のカラ
   ー画像認識方法。
5. 【請求項５】 入力されたカラー画像信号を複数の領域
   に分割する手段と、該分割された領域内のカラー画像か
   ら特徴量を抽出する手段と、該抽出された特徴量を圧縮
   してヒストグラムを生成する手段と、該ヒストグラムを
   予め作成されたコードブックと比較することによりベク
   トル量子化する手段と、前記カラー画像のベクトル量子
   化された値と識別対象物の辞書とを照合することによ
   り、前記カラー画像を認識処理する手段とを備えたカラ
   ー画像認識装置であって、前記ヒストグラムの情報を基
   に、前記コードブックとの比較処理を変更制御すること
   を特徴とするカラー画像認識装置。
6. 【請求項６】 入力カラー画像信号を複数の領域に分割
   し、該分割された領域内のカラー画像から特徴量を抽出
   し、該抽出された特徴量を、予め作成されたコードブッ
   クと比較することによりベクトル量子化し、前記カラー
   画像のベクトル量子化された値を生成し、前記入力カラ
   ー画像信号から抽出された所定形状の対象物の範囲に相
   当する該ベクトル量子化値を参照して該ベクトル量子化
   値のヒストグラムを作成し、該作成された対象物のヒス
   トグラムと辞書とを照合することにより、前記対象物を
   認識処理することを特徴とするカラー画像認識方法。
7. 【請求項７】 入力カラー画像信号を複数の領域に分割
   する手段と、該分割された領域内のカラー画像から特徴
   量を抽出する手段と、該抽出された特徴量を、予め作成
   されたコードブックと比較することによりベクトル量子
   化する手段と、前記カラー画像のベクトル量子化された
   値を生成する手段と、前記入力カラー画像信号から抽出
   された所定形状の対象物の範囲に相当する該ベクトル量
   子化値を参照して該ベクトル量子化値のヒストグラムを
   作成する手段と、該作成された対象物のヒストグラムと
   辞書とを照合することにより、前記対象物を認識処理す
   る手段とを備えたことを特徴とするカラー画像認識装
   置。