JPH07311848A - カラー画像認識方法および対象物抽出方法 - Google Patents

Abstract

(57)【要約】 【目的】 カラー画像の認識処理を行う際にデータ量を
圧縮して認識する。 【構成】 メッシュ分割部２は、入力カラー画像信号１
を小領域（メッシュ）に分割する。特徴量抽出部３は、
分割された小領域毎に、入力カラー画像信号ＲＧＢの特
徴量（色度ヒストグラム）を抽出し、特徴量メモリ４に
格納する。ベクトル量子化部６では、特徴量メモリ４の
色度ヒストグラムと、コードブック５との距離を算出
し、その距離が最小であるコードブックのコードを、そ
の小領域のベクトル量子化値（ＶＱ値）としてベクトル
量子化値メモリ７に保持する。認識部８では、入力画像
のベクトル量子化値ヒストグラムと、辞書のベクトル量
子化値ヒストグラムとの距離を算出し、入力カラー画像
が識別対象物であるか否かを判定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、カラー画像および白黒
画像から特定画像を抽出して認識するカラー画像認識方
法および対象物抽出方法に関する。

【０００２】

【従来の技術】カラー画像を処理する製品、例えばカラ
ー複写機、カラープリンタ、カラースキャナ、カラー画
像通信機器などは、今後ますます増加するものと予想さ
れる。カラー画像は、ハードウェアの進歩、特にメモリ
の低価格化および大容量化、通信コストの低下などによ
り、以前に比べて利用しやすくなってきたものの、カラ
ー画像データはそのデータ量が膨大（例えば、Ａ３サイ
ズで９６Ｍバイト）であるため、２値画像と同じような
処理ができないのが現状である。

【０００３】特に、画像認識（特定画像の認識、ＯＣＲ
など）などの複雑な処理を要する技術においては、処理
量が膨大になり、カラー画像における画像認識は実現が
より困難である。

【０００４】

【発明が解決しようとする課題】従来、特定のカラー画
像を識別する方法として、例えば、画像を構成する各絵
柄部分は固有の色空間上での分布を持っているので、各
絵柄部分に現われる固有の色空間上での分布を特定し、
この特定された特徴と同一の特徴を有する画像部分を抽
出する方法がある（特開平４−１８０３４８号公報を参
照）。しかし、この方法では、色空間中での拡がりが同
じ画像については、その内部での色の分布が異なってい
ても識別することができず、つまり色空間の拡がりが同
じであれば、拡がりの中での色の分布が異なる画像をも
特定の画像として誤検出する可能性がある。

【０００５】また一方、認識処理に必要な対象物の抽出
方法として種々の方法が提案されているが、例えば画像
から黒連結の矩形を抽出し、予め設定された閾値と比較
することにより、文字の矩形と線図形の矩形とを判定す
る画像抽出方法がある（特開昭５５−１６２１７７号公
報を参照）。この方法は、抽出された線図形をさらに詳
細に水平罫線、垂直罫線、表、囲み枠などのように識別
するものではなく、また回転した対象物の抽出に対応で
きない。

【０００６】本発明の第１の目的は、カラー画像の認識
処理を行う際に、画像認識に必要な情報量を確保しつ
つ、データ量を圧縮して対象物を高精度に認識するカラ
ー画像認識方法を提供することにある。

【０００７】本発明の第２の目的は、カラー画像の認識
処理を行う際に、画像認識に必要な情報量を確保しつ
つ、データ量をテーブル変換によって変換圧縮すること
により、効率的にデータ圧縮を行い、対象物を高精度か
つ高速に認識するカラー画像認識方法を提供することに
ある。

【０００８】本発明の第３の目的は、認識対象原稿のカ
ラー画像が裏写りした場合の影響を抑制して、認識対象
とされる画像情報のみにベクトル量子化を施すことによ
り、認識率と処理速度を向上させたカラー画像認識方法
を提供することにある。

【０００９】本発明の第４の目的は、コードブックとの
距離が所定の閾値より大きい場合に、ベクトル量子化値
を割り当てないことにより、認識精度と処理速度を向上
させたカラー画像認識方法を提供することにある。

【００１０】本発明の第５の目的は、入力画像中から対
象物の画像領域を高精度に抽出する対象物抽出方法を提
供することにある。

【００１１】本発明の第６の目的は、抽出された対象物
に対して、カラー画像の認識処理を行う際に、画像認識
に必要な情報量を確保しつつ、データ量を圧縮して対象
物を高精度に認識するカラー画像認識方法を提供するこ
とにある。

【００１２】

【課題を解決するための手段】前記各目的を達成するた
めに、請求項１記載の発明では、入力されたカラー画像
信号を複数の領域に分割し、該分割された領域内のカラ
ー画像から特徴量を抽出し、該抽出された特徴量を予め
作成されたコードブックと比較することによりベクトル
量子化し、前記カラー画像のベクトル量子化された値と
識別対象物の辞書とを照合することにより、前記カラー
画像を認識処理することを特徴としている。

【００１３】請求項２記載の発明では、前記カラー画像
から選択した画素を用いて特徴量を求めることを特徴と
している。

【００１４】請求項３記載の発明では、前記抽出された
特徴量を所定の変換式により変換圧縮した後に、前記コ
ードブックと比較することを特徴としている。

【００１５】請求項４記載の発明では、入力されたカラ
ー画像信号を複数の領域に分割し、該分割された領域内
のカラー画像から特徴量を抽出し、該抽出された特徴量
を圧縮してヒストグラムを生成し、該ヒストグラムを予
め作成されたコードブックと比較することによりベクト
ル量子化し、前記カラー画像のベクトル量子化された値
と識別対象物の辞書とを照合することにより、前記カラ
ー画像を認識処理することを特徴としている。

【００１６】請求項５記載の発明では、前記ヒストグラ
ムの情報を基に、前記コードブックとの比較処理を変更
制御することを特徴としている。

【００１７】請求項６記載の発明では、前記ヒストグラ
ムの度数または度数分布幅が所定の値を超えたとき、所
定のベクトル量子化値を与えることを特徴としている。

【００１８】請求項７記載の発明では、前記ヒストグラ
ムの度数または度数分布幅が所定の値を超えたとき、前
記コードブックとの比較処理を行わないことを特徴とし
ている。

【００１９】請求項８記載の発明では、前記ヒストグラ
ムとコードブックとの比較の結果、比較した距離が所定
の値より大きいときベクトル量子化しないことを特徴と
している。

【００２０】請求項９記載の発明では、前記照合時にベ
クトル量子化された値と識別対象物の辞書との距離を計
算し、該距離と所定の閾値との比較結果に基づいて前記
カラー画像中に識別対象物が含まれているか否かを認識
することを特徴としている。

【００２１】請求項１０記載の発明では、前記所定の閾
値を識別すべき対象物毎に設定し、識別対象物の特性に
合わせた認識処理を行うことを特徴としている。

【００２２】請求項１１記載の発明では、入力画像信号
中から所定形状の対象物を抽出する対象物抽出方法にお
いて、該入力された２値画像信号から黒連結成分の外接
矩形を抽出し、該抽出された外接矩形と黒連結成分との
接点情報に基づいて、前記対象物を抽出することを特徴
としている。

【００２３】請求項１２記載の発明では、前記抽出され
る対象物は、所定の辺長を有する矩形であることを特徴
としている。

【００２４】請求項１３記載の発明では、前記抽出され
る対象物は、スキャンラインに対して傾いている対象物
を含むことを特徴としている。

【００２５】請求項１４記載の発明では、前記入力画像
信号がカラー画像信号であるとき、該カラー画像信号か
ら明度を求め、該明度と複数の閾値とを比較することに
より複数の２値画像を生成し、該複数の２値画像からそ
れぞれ前記外接矩形を抽出することを特徴としている。

【００２６】請求項１５記載の発明では、前記抽出され
る第１の外接矩形と、第２の外接矩形との包含関係を調
べ、一方の外接矩形が他方の外接矩形を含むとき、一方
の外接矩形と黒連結成分との接点情報に基づいて、前記
対象物を抽出することを特徴としている。

【００２７】請求項１６記載の発明では、入力カラー画
像信号から特定画像を認識する処理と、該入力カラー画
像信号から所定形状の対象物を抽出する処理を並列に実
行し、該対象物の抽出結果に応じて、該対象物について
認識処理することを特徴としている。

【００２８】請求項１７記載の発明では、入力カラー画
像信号を複数の領域に分割し、該分割された領域内のカ
ラー画像から特徴量を抽出し、該抽出された特徴量を、
予め作成されたコードブックと比較することによりベク
トル量子化し、前記カラー画像のベクトル量子化された
値を生成し、前記入力カラー画像信号から抽出された所
定形状の対象物の範囲に相当する該ベクトル量子化値を
参照して該ベクトル量子化値のヒストグラムを作成し、
該作成された対象物のヒストグラムと辞書とを照合する
ことにより、前記対象物を認識処理することを特徴とし
ている。

【００２９】

【作用】第１の実施例においては、入力されたカラー画
像信号ＲＧＢはメッシュ分割部で小領域（メッシュ）に
分割される。特徴量抽出部では、分割された小領域毎
に、入力カラー画像信号ＲＧＢの色度ヒストグラムを作
成して、特徴量メモリに格納する。識別対象物の色度ヒ
ストグラムを予め作成して、コードブックに格納してお
く。そして、ベクトル量子化部では、特徴量メモリの色
度ヒストグラムと、コードブックとの距離を算出し、そ
の距離が最小であるコードブックのコードを、その小領
域のベクトル量子化値としてベクトル量子化値メモリに
保持する。辞書には、識別対象物について予めベクトル
量子化値ヒストグラムを求めて格納しておく。認識部で
は、入力画像のベクトル量子化値ヒストグラムと、辞書
のベクトル量子化値ヒストグラムとの距離を算出し、入
力カラー画像が識別対象であるか否かを判定する。これ
により、データ量を圧縮できるとともに、高精度に対象
物を認識することが可能となる。

【００３０】

【実施例】以下、本発明の一実施例を図面を用いて具体
的に説明する。 〈実施例１〉図１は、本発明の実施例１の構成を示す。
図１において、入力されたカラー画像信号（ＲＧＢ）１
から得られたカラー画像を小領域（メッシュ）に分割す
るメッシュ分割部２と、小領域内のカラー画像データか
ら特徴量を抽出する特徴量抽出部３と、抽出した特徴量
を格納する特徴量メモリ４と、抽出した特徴量を予め作
成してあるコードブック５と比較することによりベクト
ル量子化を行うベクトル量子化部６と、ベクトル量子化
値を保持するベクトル量子化値メモリ７と、該メモリと
識別対象物の辞書９とを照合して認識処理を行う認識部
８と、メモリ管理やマッチング処理の距離計算などの全
体の画像認識処理における各段階の制御を行う制御部１
０とから構成されている。

【００３１】入力カラー画像信号ＲＧＢを予め定められ
た小領域（メッシュ）に分割する。分割された小領域
（メッシュ）毎に、入力カラー画像信号ＲＧＢの特徴量
を抽出する。本実施例では、その特徴量として色度ヒス
トグラムを用いる。すなわち、特徴量抽出部３では、入
力カラー画像信号ＲＧＢを以下に示す色度Ｐｒ、Ｐｇに
変換し、予め定められた小領域（メッシュ）毎に色度Ｐ
ｒ、Ｐｇの値のヒストグラムを作成し、特徴量メモリ４
に格納する。このように、色度変換されたカラー画像
は、色合い情報だけを持つので、照明むらが除去されて
対象物を抽出する場合などに有効となる。

【００３２】図２は、原画像を小領域（メッシュ）に分
割した図を示し、この例では、小領域は６４画素×６４
画素のサイズである。

【００３３】Ｐｒ＝２５６＊Ｒ／（Ｒ＋Ｇ＋Ｂ） Ｐｇ＝２５６＊Ｇ／（Ｒ＋Ｇ＋Ｂ） ここで、Ｒ、Ｇ、Ｂは入力された各８ビットのカラー画
像信号である。なお、Ｐｒ、Ｐｇを２５６倍しているの
はＰｒ、Ｐｇも８ビットで表現するためである。

【００３４】また、上記した例では、ｒ，ｇの色度ヒス
トグラムを特徴量としたが、本発明はこれに限定される
ものではなく、ｂの色度ヒストグラムを用いてもよい
し、色度の他に、カラー画像信号（ＲＧＢ）、色相、彩
度などの特徴量を用いることができる。

【００３５】図３は、小領域内の色度ヒストグラムを、
コードブックを参照してベクトル量子化する例を示す図
である。

【００３６】図３において、１１は、特徴量メモリ４に
格納された小領域内の色度ヒストグラム（Ｈｉ）を示
す。ｉ＝０〜２５５の次元におけるＨ（ｉ）はＰｒを表
し、ｉ＝２５６〜５１１の次元におけるＨ（ｉ）はＰｇ
を表す。また、１２は、予め作成されたコードブック
（Ｃ０、Ｃ１、Ｃ２．．．）の内容を示す。

【００３７】ここで、コードブックは、識別対象物ある
いは一般の原稿を多数入力し、同様の条件で色度ヒスト
グラムのデータを大量に作成し、これらをクラスタリン
グすることで代表的な色度ヒストグラム（コードブッ
ク）を求めて作成する。

【００３８】ベクトル量子化部６では、この色度ヒスト
グラム（Ｈｉ）１１と、コードブックの内容１２とをマ
ッチングして距離（ＤＣｊ）を算出し、その距離（一般
には、ユークリッド距離の２乗として定義された２乗ひ
ずみ測度）が最小であるコードブックのコード（Ｃｊ）
を、その小領域のベクトル量子化値（ＶＱ値）としてベ
クトル量子化値メモリ７に保持する。

【００３９】図４は、入力画像のベクトル量子化値（Ｖ
Ｑ値）の例を示す。各桝目は、前述した一つの小領域に
対応し、各桝目内の数値はベクトル量子化値（ＶＱ値）
である。そして、これらのベクトル量子化値（ＶＱ値）
についてヒストグラムを作成する。

【００４０】図５は、画像認識時における入力画像のベ
クトル量子化値のヒストグラムと辞書のベクトル量子化
値のヒストグラムとのマッチングを説明する図である。
図において１３は、作成されたベクトル量子化値のヒス
トグラム例を示す。また、１４は、識別対象物の辞書内
容を示し、入力画像と同様に、ベクトル量子化値ヒスト
グラムで表現されて予め作成されている。図の場合は、
例えば、識別対象物Ａ，Ｂ，Ｃ．．（コードブック数が
６４）のベクトル量子化値ヒストグラムが格納されてい
る。

【００４１】認識部８では、入力画像のベクトル量子化
値ヒストグラム１３と、辞書のベクトル量子化値ヒスト
グラム１４とマッチングして距離（ＤＴｋ）を算出し、
距離（ＤＴｋ）が最小となる識別対象（ｋ）を、認識対
象のカラー画像と判定する。

【００４２】このように、本発明はカラー画像をベクト
ル量子化してから辞書と照合しているので、従来技術で
ある特開平４−１８０３４８号公報における問題点が解
決される。

【００４３】〈実施例２〉上記した実施例１では全画素
を用いて色度ヒストグラムを作成しているが、これでは
処理量が膨大になる。そこで、実施例２では、図６に示
すように、色度ヒストグラムを求める画素をＭ画素間隔
で間引いて行う。間引きの方法としては、例えば８画素
間隔でサンプルして色度を求める画素を選択する方法を
採る。また、Ｍ画素間隔で間引くとき、周囲の画素の画
素値の平均を求め、この値を該間引き画素値としてもよ
い（この処理によって雑音が軽減される）。

【００４４】〈実施例３〉実施例１において、色度ヒス
トグラム作成時に、ｒ、ｇ各８ビットでヒストグラムを
作成すると、５１２次元の特徴量になり、メモリ容量も
増大し、マッチング処理にも時間がかかる。

【００４５】そこで、本実施例では、例えば以下のよう
な変換を行って、特徴量次元を６４次元に圧縮してから
前述したと同様の処理を行う。

【００４６】 Ｐｒ’＝０ （Ｐｒ≦６４） ＝（Ｐｒ−６４）／４ （６４＜Ｐｒ≦１９２） ＝３１ （１９２＜Ｐｒ） Ｐｇ’＝３２ （Ｐｇ≦６４） ＝（Ｐｇ−６４）／４＋３２ （６４＜Ｐｇ≦１９２） ＝６３ （１９２＜Ｐｇ） 〈実施例４〉図７は、本発明の実施例４の構成を示す。
この実施例４の構成は、図１の構成に変換圧縮テーブル
１５を付加して、データ量をテーブル変換によって変換
圧縮する。つまり本実施例４は、実施例３のように変換
式による演算処理を行うことなく効率的にデータ圧縮す
るものである。変換圧縮テーブル１５は、後述するよう
に、特徴量抽出部３によって抽出された特徴量を変換圧
縮する。また、特徴量メモリ４は圧縮された特徴量を保
持し、ベクトル量子化部６は圧縮された特徴量を予め作
成してあるコードブック５と比較することによりベクト
ル量子化を行う点が、図１の構成と若干異なる。他の構
成要素は図１で説明したものと同様であるので説明を省
略する。

【００４７】実施例１と同様に、入力カラー画像信号
は、図２に示すように小領域（メッシュ）に分割され、
小領域毎に入力カラー画像信号の特徴量が抽出される。
本実施例では、特徴量として入力カラー画像信号ＲＧＢ
の色度信号を用いる。すなわち、特徴量抽出部３では、
小領域（メッシュ）毎に入力カラー画像信号のＲＧＢの
色度信号を抽出して、変換圧縮テーブル１５を参照する
ことによって、特徴量を変換圧縮し、圧縮されたＲＧＢ
の色度信号毎に小領域（メッシュ）内の色度ヒストグラ
ムを作成して、特徴量メモリ４に結果を格納する。

【００４８】図８は、小領域内の特徴量を変換圧縮して
ヒストグラムを生成する図である。変換圧縮テーブル１
５は、入力される各色度信号を変換特性に従って変換出
力する。例えば、入力信号の値が２５５であるとき、そ
の出力値が１５として変換圧縮処理される。このように
圧縮された特徴量のヒストグラムは特徴量メモリ４に生
成される。このように、特徴量の変換圧縮によってメモ
リ容量の増加が抑制され、マッチング処理が高速化され
る。

【００４９】図８に戻り、入力される各色度信号（Ｒ、
Ｇ、Ｂ）は、変換圧縮テーブル１５によってＲ’、
Ｇ’、Ｂ’に変換圧縮されて出力される。この例では、
Ｒ’、Ｇ’、Ｂ’はそれぞれ０から１５の値をとる。そ
して、Ｇ’に１６を加算し、Ｂ’に３２を加算して、０
から４７の次元（図の横軸）で色度ヒストグラムＨ
（ｉ）１６を作成する。すなわち、小領域内の色度ヒス
トグラムＨ（ｉ）１６において、次元ｉ＝０〜１５のＨ
（ｉ）は圧縮変換されたＲ信号つまりＲ’信号の度数を
表し、次元ｉ＝１６〜３１のＨ（ｉ）は圧縮変換された
Ｇ信号つまりＧ’信号の度数を表し、次元ｉ＝３２〜４
７のＨ（ｉ）は圧縮変換されたＢ信号つまりＢ’信号の
度数を表している。

【００５０】なお、上記した実施例において、特徴量の
ヒストグラムの次元の総数（この例では４８次元）は、
変換圧縮テーブルによる圧縮の度合いに応じて決定され
るもので、適宜変更可能である。また、入力カラー画像
信号のＲＧＢの色度信号からヒストグラムを作成してい
るが、本発明はこれに限定されるものではなく、入力カ
ラー画像信号を変換処理したＹＭＣ信号やＬａｂ信号を
特徴量として、変換圧縮処理とヒストグラム生成処理を
行うようにしてもよい。

【００５１】図９は、小領域内の色度ヒストグラムを、
コードブックを参照してベクトル量子化する例を示す図
であり、１７は、特徴量メモリ４に格納された小領域内
の色度ヒストグラム（Ｈｉ）を示し、１８は、予め作成
されたコードブック５（Ｃ０、Ｃ１、Ｃ２．．．）の内
容を示す。前述した図３と異なる点は、ヒストグラムの
次元数が圧縮されている点である。

【００５２】ここで、コードブック５は、識別対象物あ
るいは一般の原稿を多数入力し、同様の条件で色度ヒス
トグラムのデータを大量に作成し、これらをクラスタリ
ングすることで代表的な色度ヒストグラム（コードブッ
ク）を求めて作成する。

【００５３】ベクトル量子化部６では、処理対象の小領
域の色度ヒストグラム（Ｈｉ）１７と、コードブックの
内容１８とをマッチングして距離（ＤＣｊ）を算出し、
その距離（一般には、ユークリッド距離の２乗として定
義された２乗ひずみ測度）が最小であるコードブックの
コード（Ｃｊ）を、その小領域のベクトル量子化値（Ｖ
Ｑ値）として割り当て、ベクトル量子化値メモリ７に保
持する。

【００５４】入力画像のベクトル量子化値（ＶＱ値）の
例は、実施例１で説明した図４の場合と同様であり、ベ
クトル量子化値メモリ７には各小領域のベクトル量子化
値（ＶＱ値）が保持されていて、入力画像のベクトル量
子化値（ＶＱ値）についてヒストグラムが作成される。
そして、実施例１の図５で説明したと同様にして識別対
象物の辞書が構成され、認識部８では、入力画像のベク
トル量子化値ヒストグラム１３と、辞書のベクトル量子
化値ヒストグラム１４とマッチングして距離（ＤＴｋ）
を算出し、距離（ＤＴｋ）が最小となる識別対象（ｋ）
を、認識対象のカラー画像と判定する。

【００５５】〈実施例５〉上記した実施例４では、入力
画像の全ての画素に対して特徴量のヒストグラムを作成
してコードブックとの比較処理を行っている。本実施例
５は、小領域毎に生成された特徴量のヒストグラム情報
に基づいてコードブックとの比較処理を変更して、画像
認識に必要のない地肌部（背景部）やノイズ画像の認識
処理を制御するもので、これにより認識率と処理速度の
向上を図る。

【００５６】一般に、画像認識に必要のない地肌部（背
景部）は、小領域内の濃度がほぼ一定であることから、
小領域毎に生成された特徴量のヒストグラムの度数は特
定部分に集中していて、度数分布の幅は狭く度数の最大
値が大きくなる傾向にある。そこで、本実施例では、ヒ
ストグラムの度数の最大値が予め設定した閾値を超えた
場合に、濃度が一様な画像のベタ部領域であると判定し
て、ベクトル量子化値に０を割り当て、認識対象とされ
る画像情報のみにベクトル量子化を施す。他の実施態様
としては、ヒストグラムの度数が予め設定した閾値を超
えた場合にコードブックとの比較処理を行わないように
構成してもよい。

【００５７】また、原稿をスキャナなどで読み取った得
られる画像のハイライト部においては、原稿用紙の裏側
の画像が裏写りする場合がある。このような裏写りによ
る画像ノイズを除く、ハイライト部の画像データの特徴
量は、多くの場合一様であることから、その特徴量のヒ
ストグラムは特定部分に集中して大きなピークを持ち、
また度数の最大値が大きくなり、度数の分布の幅が狭く
なる傾向にある。そこで、本実施例では、ヒストグラム
の度数分布の情報が、予め設定したヒストグラム特性を
備えていると判定された場合には、小領域の特徴量ヒス
トグラムから予め設定したヒストグラム特性を除去して
コードブックとの比較を行って、ベクトル量子化値を割
り当てる。これにより、画像ノイズによる影響が抑止さ
れ、認識対象とされる画像情報のみにベクトル量子化が
施される。

【００５８】なお、本実施例５では特徴量のヒストグラ
ム情報として、度数の最大値と度数の分布幅を採用して
いるが、これに限定されるものではなく、認識対象とす
る画像の特徴量ヒストグラムの特性を分析して設定され
るヒストグラム情報であればよい。

【００５９】〈実施例６〉上記した実施例４におけるコ
ードブックは、認識対象画像を多数入力し、同様の条件
で色度ヒストグラムのデータを大量に作成し、これらを
クラスタリングすることによって作成しているので、入
力画像が認識対象の画像以外の場合には、どのコードブ
ックからも距離が離れる場合がある。

【００６０】本実施例６では、認識対象画像をコードブ
ックと比較してベクトル量子化値を割り当てる際に、比
較した距離が所定の閾値よりも大きいとき、ベクトル量
子化値を割り当てないように構成する。これにより、マ
ッチングした結果、識別候補がない場合には速やかに入
力カラー画像に認識対象の画像が存在しないと判定でき
るようになる。

【００６１】〈実施例７〉本実施例７は、実施例１、４
において辞書とのマッチングを行う際、有効距離の閾値
を設定しておき、求めた距離と閾値との比較を行い、距
離が閾値以下ならばその辞書内の識別対象物を識別候補
にするが、閾値より大きい場合には、識別候補にしない
ようにする。これにより、マッチングした結果、識別候
補がない場合には入力カラー画像に認識対象の画像が存
在しないと判定できるようになる。

【００６２】〈実施例８〉本実施例８は、実施例７にお
ける前記閾値を各識別対象物毎に設定し、求めた距離と
各識別対象物毎の閾値の比較を行い、距離が閾値以下な
らばその識別対象物を識別候補にするが、閾値より大き
い場合にはその識別対象物を識別候補にしないようにす
る。これにより、複数の対象物を識別する際に、対象物
の特性を活かしたマッチング処理が可能になる。より具
体的にいえば、ある対象物ｋが対象物ｋ以外の原稿ｊと
間違え易い場合には、この対象物ｋの閾値を低くするこ
とで、対象物ｋと原稿ｊとを高精度に識別することがで
き、誤認識を防止することが可能となる。

【００６３】〈実施例９〉図１０は、本発明の対象物抽
出方法に係る実施例９の構成を示す。図１０において、
２値画像信号２１から黒連結成分の外接矩形を抽出する
矩形抽出部２２と、抽出された矩形データを格納する矩
形メモリ２３と、予め設定された閾値と抽出矩形の幅、
高さを比較し、抽出すべき対象物が長方形か否かを判定
する候補矩形判定部２４と、候補矩形データを格納する
候補矩形メモリ２５と、対象物が回転しているか否かを
判定する回転判定部２６と、対象物の短辺、長辺を測定
する辺長測定部２７と、短辺、長辺の長さと予め設定さ
れた閾値とを比較して対象物か否かを判定する対象物判
定部２８と、対象物矩形データを格納する対象物矩形メ
モリ２９と、全体を制御する制御部３０とから構成され
ている。

【００６４】図１１は、本発明の対象物抽出および画像
認識の処理フローチャートである。この処理フローチャ
ートにおいて、本発明の対象物抽出方法に係る処理はス
テップ１０１からステップ１０８であり、まず対象物の
抽出方法について、以下説明する。

【００６５】入力画像から２値画像を生成し（ステップ
１０１）、矩形抽出部２２は、２値画像から黒連結成分
の外接矩形を抽出する（ステップ１０２）。矩形抽出方
法としては、例えば本出願人が先に提案した方式（特願
平３−３４１８８９、同４−２６７３１３、同４−１６
０８６６）などを用いればよい。

【００６６】図１２は、入力画像２０１から抽出された
外接矩形２０２を示す。本発明では、外接矩形２０２の
４頂点の座標（Ｘｓ，Ｙｓ）、（Ｘｅ，Ｙｅ）、（Ｘ
ｓ，Ｙｅ）、（Ｘｅ，Ｙｓ）と、黒連結成分（対象物）
２０３と外接矩形２０２との接点座標（Ｘｕ，Ｙｓ）、
（Ｘｅ，Ｙｒ）、（Ｘｓ，Ｙｌ）、（Ｘｂ，Ｙｅ）を同
時に抽出する。

【００６７】次いで、候補矩形判定部２４では、抽出さ
れた外接矩形の高さ、幅が予め与えられた高さ、幅の範
囲内にあるか否かを判定し（ステップ１０３）、高さ、
幅の何れかが範囲外であれば、対象物でないと判定する
（ステップ１１３）。なお、このようなサイズによる対
象物の候補判定方法については、前掲した本出願による
方式を用いればよい。続いて、候補矩形判定部２４で
は、抽出すべき対象物が長方形であるか否かをチェック
する（ステップ１０４）。これは例えば、候補矩形判定
部２４内に予め抽出すべき対象物として長方形データが
設定されているものとする。

【００６８】対象物が長方形であるものについて、回転
判定部２６は、対象物がスキャンラインに対して回転し
ているか否かを判定する（ステップ１０５）。図１３
は、回転の判定を説明する図であり、３０１は候補矩
形、３０２は対象物である。この回転判定は、対象物３
０２が長方形の場合、三角形ＡとＢ、三角形ＣとＤの合
同を判定し、もしどちらか一方でも合同でないと判定さ
れた場合には回転していないと判定する。また、図１３
に示すように、長方形の対角線Ｄ１，Ｄ２の長さ（この
長さは矩形データの座標から計算する）を比較し、その
差が大きければ菱形と判定し、対象物３０２が回転して
いないと判定する。

【００６９】次いで、辺長測定部２７では、回転してい
ると判定された長方形について、図１３のＳ１、Ｓ２の
長さを計算し（矩形データの座標から計算する）、それ
ぞれを短辺、長辺の長さとする（ステップ１０６）。一
方、ステップ１０４で長方形でないと判定されたもの、
ステップ１０５で回転していないと判定されたものにつ
いては、外接矩形の高さを短辺、幅を長辺の長さとする
（ステップ１０７）。そして、短辺、長辺の長さが予め
与えられた対象物の短辺、長辺の長さの範囲にあるか否
かを判定し、何れか一方でも範囲外ならば対象物ではな
いと判定し、この条件に合うものを抽出すべき対象物と
判定する（ステップ１０８）。以下の処理（ステップ１
０９以降）については、後述する。

【００７０】なお、上記した実施例において、矩形抽出
部２２の前に、入力された２値画像に対して例えば８×
８画素を１画素に変換するような画像圧縮部を設け、圧
縮された画像から矩形を抽出するように構成を変更する
ことも可能である。

【００７１】〈実施例１０〉本実施例１０では、入力画
像をカラー画像信号（Ｒ，Ｇ，Ｂ）とし、以下のような
明度（Ｌ）を求め、所定の閾値（Ｔｈ１）以下の明度を
持つ画素を黒とし、閾値（Ｔｈ１）より大きい画素を白
とするような２値画像を作成してから、実施例１と同様
の処理を行う。

【００７２】Ｌ＝Ｒ＋Ｇ＋Ｂ Ｌ≦Ｔｈ１ならば黒画素 Ｌ＞Ｔｈ１ならば白画素 本実施例は、対象物以外の部分（背景）が白地の場合に
対象物を抽出するのに有効な方式となる。つまり例え
ば、白紙（あるいは淡い地肌の用紙）に対象物の載せて
スキャナなどで画像を読み取るような場合に有効な方式
となる。

【００７３】〈実施例１１〉本実施例１１では、入力画
像をカラー画像信号（Ｒ，Ｇ，Ｂ）とし、以下のような
明度（Ｌ）を求め、所定の閾値（Ｔｈ２）以上の明度を
持つ画素を黒とし、閾値（Ｔｈ２）より小さい画素を白
とするような２値画像を作成してから、実施例１と同様
の処理を行う。

【００７４】Ｌ＝Ｒ＋Ｇ＋Ｂ Ｌ≧Ｔｈ２ならば黒画素 Ｌ＜Ｔｈ２ならば白画素 本実施例は、銀板のような圧板を持つスキャナなどで入
力した時に、対象物以外の部分（背景）が黒地になる場
合に対象物を抽出するのに有効な方式となる。このよう
に、実施例１０、１１によれば、原稿を押える蓋をした
状態で画像を取り込んでも、また蓋を開けた状態で画像
を取り込んでも何れにも対応できる。なお、上記実施例
における対象物とは、スキャナに載せた原稿全体から抽
出される場合、あるいは原稿中のある特定領域から抽出
される場合の何れでもよい。

【００７５】また、上記実施例１０、１１において、明
度以外に、カラー画像信号（ＲＧＢ）、色相、彩度など
を対象とすることもできる。さらに、実施例１０、１１
において、Ｔｈ１≦Ｌ≦Ｔｈ２ならば黒画素、上記以外
ならば白画素のように、所定範囲内を黒画素としてもよ
い。

【００７６】図１４は、実施例１０、１１の構成を示
す。実施例９（図１０）と異なる点は、カラー画像信号
（ＲＧＢ）３４から２値画像を生成する２値画像生成部
３１が設けられた点と、実施例１０で作成された２値画
像を格納するメモリ３２と、実施例１１で作成された２
値画像を格納するメモリ３３が設けられた点である。そ
して、背景が白地の場合にも黒地の場合にも対応できる
ように、実施例１０および１１をそれぞれ実行し、矩形
抽出部２２で外接矩形を抽出する。この抽出された各外
接矩形を外接矩形１、２とすると、候補矩形判定部２４
において、これら外接矩形１、２の包含関係を判定し、
例えば外接矩形１が外接矩形２を完全に含むとき、外接
矩形１のみから対象物を抽出する。

【００７７】〈実施例１２〉図１５は、実施例１２の全
体構成を示す。図において、対象物抽出部４２がカラー
画像信号４１から対象物を抽出して、対象物矩形メモリ
４３に格納する部分は、前述した図１４に示す構成と全
く同一のものである。

【００７８】本実施例では、カラー画像信号４１をベク
トル量子化するベクトル量子化部４４と、ベクトル量子
化値を格納するベクトル量子化値メモリ４５と、対象物
抽出部４２で抽出された対象物と予め作成された辞書と
のマッチングを行い対象物か否かを判定する対象物認識
部４６が設けられている。

【００７９】図１６は、実施例１２の詳細構成を示す。
まず、対象物抽出部５１の構成から説明すると、対象物
抽出部５１は図１４に示す要素から構成され、対象物が
抽出されると、対象物認識部６１に対して起動信号５３
を出力する。また抽出された対象物のデータが対象物矩
形メモリ５２に格納され、対象物認識部６１に対して起
動信号５３と共に、対象物の範囲データ５４が出力され
る。

【００８０】ベクトル量子化処理部５５は、実施例１で
説明したと同様に、入力されたカラー画像信号（ＲＧ
Ｂ）から得られたカラー画像を小領域（メッシュ）に分
割するメッシュ分割部５６と、小領域内のカラー画像デ
ータから特徴量（色度ヒストグラム）を抽出する特徴量
抽出部５７と、作成された色度ヒストグラムと予め作成
してあるコードブック５９と比較することによりベクト
ル量子化を行うベクトル量子化部５８から構成されてい
る。ベクトル量子化された入力カラー画像はベクトル量
子化値メモリ６０に保持される。

【００８１】入力カラー画像をベクトル量子化して、処
理対象の小領域のベクトル量子化値（ＶＱ値）を割り当
てて、ベクトル量子化値メモリ６０に保持するまでの処
理は、前述した実施例１と同様であるので、その説明を
省略する。

【００８２】さて、対象物認識部６１のヒストグラム作
成部６２では、上記したベクトル量子化値（前述した図
４）からベクトル量子化値のヒストグラムを作成する。
すなわち、入力画像のベクトル量子化値（ＶＱ値）につ
いて、対象物の範囲内にあるＶＱ値のヒストグラムを作
成する（図１１のステップ１０９）。図１７は、対象物
が回転している場合における、対象物の範囲内にあるベ
クトル量子化値のヒストグラム作成を説明する図であ
る。

【００８３】前述したように対象物が抽出されると対象
物認識部６１の起動時に、対象物抽出部５１から対象物
認識部６１に対して、対象物の範囲データ５４が渡され
るので、図１７の対象物のエッジ５０１の直線データと
ベクトル量子化値メモリ６０の座標とを比較して包含関
係を判定し、対象物の範囲内に完全に含まれる小領域
（図１７の黒い部分で示す領域）について、ベクトル量
子化値のヒストグラムを作成する。対象物が回転してい
ない場合は、外接矩形の範囲データとベクトル量子化値
メモリの座標とを比較して包含関係を判定し、外接矩形
の範囲内の小領域について、ベクトル量子化値のヒスト
グラムを作成する。

【００８４】そして、実施例１の図５で説明したと同様
に、対象物認識部６１では、抽出対象物のベクトル量子
化値ヒストグラム１３と、辞書のベクトル量子化値ヒス
トグラム１４とをマッチング部６３でマッチングして距
離（ＤＴｋ）を算出し、距離（ＤＴｋ）が最小となる識
別対象（ｋ）を、抽出対象物であると認識し、従って入
力画像中に対象物が存在していると判定する（ステップ
１１０、１１１）。

【００８５】辞書との照合の結果、マッチングしていな
いときは、入力画像中に対象物がないと判定され（ステ
ップ１１３）、抽出されたすべての矩形について同様の
処理を行う（ステップ１１２）が、入力画像中に対象物
が存在していると判定されたときは、未処理の矩形があ
っても処理を終了する。

【００８６】本実施例は、入力カラー画像データに対し
て、矩形抽出とベクトル量子化を並列的に行うととも
に、矩形抽出の処理が完了した矩形から順次サイズ判定
を行い、対象物と判定された矩形に対して認識処理して
いるので、リアルタイム処理が可能になる。

【００８７】

【発明の効果】以上、説明したように、請求項１記載の
発明によれば、対象物から特徴を抽出後にベクトル量子
化しているので、認識対象物の情報量が失われることな
く、処理データ量を圧縮することができると共に辞書を
コンパクトに構成することができ、さらに特定画像を精
度よく認識することができる。

【００８８】請求項２、３記載の発明によれば、特徴量
を圧縮しているので、より一層処理データ量を圧縮する
ことができる。

【００８９】請求項４記載の発明によれば、入力画像デ
ータから抽出された特徴量を圧縮処理後にベクトル量子
化しているので、カラー画像認識に必要な情報量を保持
しつつ処理データ量が削減され、処理速度が向上すると
ともに高精度に画像認識処理を行うことができる。

【００９０】請求項５ないし８記載の発明によれば、マ
ッチングを行う際に、得られたヒストグラム情報と設定
された閾値とを比較する閾値処理により、マッチング処
理の変更を行っているので、画像認識に必要な処理時間
が短縮され、効率的なカラー画像認識処理を行うことが
できる。

【００９１】請求項９、１０記載の発明によれば、辞書
とのマッチングを行う際に、算出された距離と設定され
た閾値とを比較しているので、認識精度をより一層向上
させることができる。

【００９２】請求項１１、１２記載の発明によれば、矩
形対象物の抽出処理を、外接矩形と黒連結成分との接点
情報に基づいて行っているので、画像中の対象物が存在
する部分を高精度に抽出することができる。

【００９３】請求項１３記載の発明によれば、画像中の
対象物が回転していても高精度に抽出することができ
る。

【００９４】請求項１４、１５記載の発明によれば、背
景が白地または黒地の場合でも対象物を正確に抽出する
ことができ、また白地における外接矩形と黒地における
外接矩形の包含関係を調べているので、重複した抽出処
理を行う必要がない。

【００９５】請求項１６、１７記載の発明によれば、対
象物の抽出処理とカラー画像のベクトル量子化処理を並
列的に行い、抽出された対象物について認識処理してい
るので、カラー画像中の特定画像を高速かつ高精度に認
識することができる。また、カラー画像をベクトル量子
化しているので、認識対象物の情報量が失われることな
く、処理データ量を圧縮することができる。

【図面の簡単な説明】

【図１】本発明の実施例１の構成を示す。

【図２】原画像を小領域に分割した図を示す。

【図３】小領域内の色度ヒストグラムを、コードブック
を参照してベクトル量子化する例を示す図である。

【図４】入力画像のベクトル量子化値（ＶＱ値）の例を
示す図である。

【図５】認識時における入力画像のベクトル量子化値ヒ
ストグラムと辞書のベクトル量子化値ヒストグラムとの
マッチングを説明する図である。

【図６】特徴抽出時におけるサンプリング点を示す図で
ある。

【図７】本発明の実施例４の構成を示す。

【図８】小領域内の特徴量を変換圧縮してヒストグラム
を生成する図である。

【図９】入力画像の特徴量ヒストグラムとコードブック
とのマッチングを説明する図である。

【図１０】本発明の対象物抽出方法に係る実施例９の構
成を示す。

【図１１】本発明の対象物抽出および画像認識の処理フ
ローチャートである。

【図１２】入力画像から抽出された外接矩形を示す。

【図１３】回転の判定を説明する図である。

【図１４】実施例１０、１１の構成を示す図である。

【図１５】実施例１２の全体構成を示す図である。

【図１６】実施例１２の詳細構成を示す図である。

【図１７】対象物が回転している場合における、対象物
の範囲内にあるベクトル量子化値のヒストグラム作成を
説明する図である。

【符号の説明】

１ カラー画像信号 ２ メッシュ分割部 ３ 特徴量抽出部 ４ 特徴量メモリ ５ コードブック ６ ベクトル量子化部 ７ ベクトル量子化値メモリ ８ 認識部 ９ 辞書 １０ 制御部

───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 特願平6−52286 (32)優先日 平６(1994)３月23日 (33)優先権主張国 日本（ＪＰ）

Claims (17)

【特許請求の範囲】
1. 【請求項１】 入力されたカラー画像信号を複数の領域
   に分割し、該分割された領域内のカラー画像から特徴量
   を抽出し、該抽出された特徴量を予め作成されたコード
   ブックと比較することによりベクトル量子化し、前記カ
   ラー画像のベクトル量子化された値と識別対象物の辞書
   とを照合することにより、前記カラー画像を認識処理す
   ることを特徴とするカラー画像認識方法。
2. 【請求項２】 前記カラー画像から選択した画素を用い
   て特徴量を求めることを特徴とする請求項１記載のカラ
   ー画像認識方法。
3. 【請求項３】 前記抽出された特徴量を所定の変換式に
   より変換圧縮した後に、前記コードブックと比較するこ
   とを特徴とする請求項１記載のカラー画像認識方法。
4. 【請求項４】 入力されたカラー画像信号を複数の領域
   に分割し、該分割された領域内のカラー画像から特徴量
   を抽出し、該抽出された特徴量を圧縮してヒストグラム
   を生成し、該ヒストグラムを予め作成されたコードブッ
   クと比較することによりベクトル量子化し、前記カラー
   画像のベクトル量子化された値と識別対象物の辞書とを
   照合することにより、前記カラー画像を認識処理するこ
   とを特徴とするカラー画像認識方法。
5. 【請求項５】 前記ヒストグラムの情報を基に、前記コ
   ードブックとの比較処理を変更制御することを特徴とす
   る請求項４記載のカラー画像認識方法。
6. 【請求項６】 前記ヒストグラムの度数または度数分布
   幅が所定の値を超えたとき、所定のベクトル量子化値を
   与えることを特徴とする請求項５記載のカラー画像認識
   方法。
7. 【請求項７】 前記ヒストグラムの度数または度数分布
   幅が所定の値を超えたとき、前記コードブックとの比較
   処理を行わないことを特徴とする請求項５記載のカラー
   画像認識方法。
8. 【請求項８】 前記ヒストグラムとコードブックとの比
   較の結果、比較した距離が所定の値より大きいときベク
   トル量子化しないことを特徴とする請求項４記載のカラ
   ー画像認識方法。
9. 【請求項９】 前記照合時にベクトル量子化された値と
   識別対象物の辞書との距離を計算し、該距離と所定の閾
   値との比較結果に基づいて、前記カラー画像中に識別対
   象物が含まれているか否かを認識することを特徴とする
   請求項１または４記載のカラー画像認識方法。
10. 【請求項１０】 前記所定の閾値を識別すべき対象物毎
    に設定し、識別対象物の特性に合わせた認識処理を行う
    ことを特徴とする請求項９記載のカラー画像認識方法。
11. 【請求項１１】 入力画像信号中から所定形状の対象物
    を抽出する対象物抽出方法において、該入力された２値
    画像信号から黒連結成分の外接矩形を抽出し、該抽出さ
    れた外接矩形と黒連結成分との接点情報に基づいて、前
    記対象物を抽出することを特徴とする対象物抽出方法。
12. 【請求項１２】 前記抽出される対象物は、所定の辺長
    を有する矩形であることを特徴とする請求項１１記載の
    対象物抽出方法。
13. 【請求項１３】 前記抽出される対象物は、スキャンラ
    インに対して傾いている対象物を含むことを特徴とする
    請求項１１または１２記載の対象物抽出方法。
14. 【請求項１４】 前記入力画像信号がカラー画像信号で
    あるとき、該カラー画像信号から明度を求め、該明度と
    複数の閾値とを比較することにより複数の２値画像を生
    成し、該複数の２値画像からそれぞれ前記外接矩形を抽
    出することを特徴とする請求項１１記載の対象物抽出方
    法。
15. 【請求項１５】 前記抽出される第１の外接矩形と、第
    ２の外接矩形との包含関係を調べ、一方の外接矩形が他
    方の外接矩形を含むとき、一方の外接矩形と黒連結成分
    との接点情報に基づいて、前記対象物を抽出することを
    特徴とする請求項１４記載の対象物抽出方法。
16. 【請求項１６】 入力カラー画像信号から特定画像を認
    識する処理と、該入力カラー画像信号から所定形状の対
    象物を抽出する処理を並列に実行し、該対象物の抽出結
    果に応じて、該対象物について認識処理することを特徴
    とするカラー画像認識方法。
17. 【請求項１７】 入力カラー画像信号を複数の領域に分
    割し、該分割された領域内のカラー画像から特徴量を抽
    出し、該抽出された特徴量を、予め作成されたコードブ
    ックと比較することによりベクトル量子化し、前記カラ
    ー画像のベクトル量子化された値を生成し、前記入力カ
    ラー画像信号から抽出された所定形状の対象物の範囲に
    相当する該ベクトル量子化値を参照して該ベクトル量子
    化値のヒストグラムを作成し、該作成された対象物のヒ
    ストグラムと辞書とを照合することにより、前記対象物
    を認識処理することを特徴とするカラー画像認識方法。