JPH08287258A

JPH08287258A - カラー画像認識装置

Info

Publication number: JPH08287258A
Application number: JP7093527A
Authority: JP
Inventors: Ryosuke Toho; 良介東方; Atsushi Kasao; 敦司笠尾
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1995-04-19
Filing date: 1995-04-19
Publication date: 1996-11-01

Abstract

(57)【要約】【目的】認識対象画像パターンの局所的な変動の影響
を受けにくく、複雑な背景を持つ認識対象画像パターン
をも高精度にて認識し得るカラー画像認識装置を提供す
る。【構成】入力されたカラー画像を量子化し、多階調の
カラー画像データを生成する画像入力手段１と、多階調
のカラー画像を複数の小領域に分割する小領域抽出手段
２と、各小領域から特徴を抽出する特徴抽出手段３と、
この抽出された特徴を用いて各小領域ごとに認識対象画
像パターンとの類似度を計算して類似度マップを作成す
る類似度マップ作成手段４と、この作成された類似度マ
ップにおける類似度の分布状態から入力されたカラー画
像に認識対象画像パターンが含まれているか否かを認識
する認識手段５とを具備する構成とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、カラー画像の認識装置
に関し、特にカラー画像に含まれる特定パターンを認識
するカラー画像認識装置に関する。

【０００２】

【従来の技術】一般に、画像に含まれる特定の画像パタ
ーンを認識処理するためには、画像のどの部分にどのよ
うな向きで認識対象の画像パターン（以下、認識対象画
像パターンと称する）の候補が存在するのかを調査する
必要がある。この認識対象画像パターンの候補を抽出す
る技術として、特開平５−２２５３４４号公報や特開平
６−４４３６５号公報などに示されているように、各カ
テゴリ内に共通する特徴的な基準点を設定し、画像中か
らこの基準点を探索することによって認識対象画像パタ
ーンの候補を抽出する方法が知られている。しかし、こ
の抽出方法では、認識対象画像パターン内に存在するよ
うな特徴的な基準点をあらかじめ設定する必要があり、
この基準点も認識対象画像パターンにより変化するた
め、あまり汎用的とは言えない。

【０００３】この問題を解決する一つの方法として、
「大津展之『パターン認識における特徴抽出に関する数
理的研究』電子技術総合研究所研究報告第８１８号，ｐ
ｐ．１７５，１９８１．７」（以下、文献１と称する）
に開示されている幾何学的に不変な特徴抽出と統計的判
別特徴抽出とを組み合わせて用いた認識方法が挙げられ
る。これは、例示した二値画像から高次局所自己相関特
徴という平行移動不変な特徴（初元特徴ベクトル）を抽
出し、この初元特徴ベクトルに対して線形判別分析を適
用することにより、例示した二値画像を学習する学習フ
ェーズと、認識したい二値画像から初元特徴ベクトルを
抽出し、学習結果を基に二値画像を認識する認識フェー
ズとから構成される手法である。この手法をＲＧＢカラ
ー画像に適用してデータベースの検索に用いた文献とし
て、「栗田多喜夫他『印象語による絵画データベースの
検索』情報処理学会論文誌Ｖｏｌ．３３Ｎｏ．１１，１
９９２」（以下、文献２と称する）がある。

【０００４】

【発明が解決しようとする課題】しかしながら、文献１
で示されている手法は、与えられた画像全体に対して特
徴抽出を行って画像認識する構成となっているため、文
献２のように、与えられた絵画全体が持つ印象を認識す
る程度の処理の場合には十分であるかもしれないが、原
稿に含まれている特定の画像パターンを認識する場合に
は精度的に不十分であり、特に複雑な背景を持つ原稿の
場合に認識精度の低下が著しい。これは、二値画像を対
象とした場合には、識別するために十分な識別対象への
注視能力があったが、カラー画像を対象とした場合に
は、識別対象に対しての注視能力が低下するためであ
る。また、文献１に示されている手法では、局所的な特
徴から認識対象画像パターンを認識するため、画像の局
所的な変動の影響を多く受けてしまう。したがって、識
別対象画像パターンの形状や濃淡の分布などの大域的な
構成の違いを認識した場合には、これらの局所的な変動
を吸収できるように多くの例示原稿を準備する必要があ
った。

【０００５】本発明は、上記課題に鑑みてなされたもの
であり、その目的とするところは、認識対象画像パター
ンの局所的な変動の影響を受けにくく、複雑な背景を持
つ認識対象画像パターンをも高精度にて認識し得るカラ
ー画像認識装置を提供することにある。

【０００６】

【課題を解決するための手段】本発明によるカラー画像
認識装置は、入力されたカラー画像を量子化し、多階調
のカラー画像データを生成する画像入力手段と、この画
像入力手段により生成された多階調のカラー画像を複数
の小領域に分割する小領域抽出手段と、この小領域抽出
手段により得られた各小領域から特徴を抽出する特徴抽
出手段と、この特徴抽出手段により抽出された特徴を用
いて小領域抽出手段により得られた各小領域ごとに認識
対象画像パターンとの類似度を計算して類似度マップを
作成する類似度マップ作成手段と、この類似度マップ作
成手段により作成された類似度マップにおける類似度の
分布状態から入力されたカラー画像に認識対象画像パタ
ーンが含まれているか否かを認識する認識手段とを具備
している。

【０００７】

【作用】上記構成のカラー画像認識装置において、画像
入力手段は、認識したいカラー画像を入力とし、量子化
された多階調のカラー画像データを生成し、小領域抽出
手段に与える。小領域抽出手段は、与えられたカラー画
像データから複数の小領域を抽出し、特徴抽出手段に与
える。特徴抽出手段は、与えられた複数の小領域から特
徴抽出を行い、各小領域に対応する特徴ベクトルを生成
し、類似度マップ生成手段に与える。類似度マップ作成
手段は、与えられた各小領域に対応する特徴ベクトルを
用いて対応する小領域と認識対象の部分画像との類似度
を算出し、類似度マップを作成する。そして、認識手段
は、この作成された類似度マップ上の類似度の分布を用
いて、入力された原稿が認識対象の画像パターンを含ん
でいるか否かを認識する。

【０００８】

【実施例】以下、本発明の実施例について図面を参照し
つつ詳細に説明する。図１は、本発明の基本構成を示す
機能ブロック図である。本発明に係るカラー画像認識装
置は、入力されたカラー画像を量子化し、多階調のカラ
ー画像データを生成する画像入力手段１と、多階調のカ
ラー画像を複数の小領域に分割する小領域抽出手段２
と、各小領域から特徴を抽出する特徴抽出手段３と、こ
の抽出された特徴を用いて各小領域ごとに認識対象画像
パターンとの類似度を計算して類似度マップを作成する
類似度マップ作成手段４と、この作成された類似度マッ
プにおける類似度の分布状態から入力されたカラー画像
に認識対象画像パターンが含まれているか否かを認識す
る認識手段５とを具備する構成となっている。

【０００９】図２は、本発明の第１の実施例を示すブロ
ック図である。図２において、カラー原稿入力処理部１
１およびＲＧＢ画像データ記憶メモリ１２は、図１の画
像入力手段１に相当するものである。カラー原稿入力処
理部１１では、スキャナを用いて、入力対象のカラー原
稿を読み込み、これを量子化することによって多階調の
ＲＧＢカラー画像データ（以下、ＲＧＢ画像データと略
記する）を生成する。本実施例では、入力対象を原稿画
像としたためスキャナを用いたが、屋外等の風景画像を
ビデオカメラなどで撮影することによって入力しても良
い。また、本実施例では、カラー原稿入力処理部１１で
入力される画像データをＲＧＢ画像データとしたが、こ
れに限定されるものではなく、例えば、Ｌ^*ａ^*ｂ^*色
空間上の３要素（Ｌ^*ａ^*ｂ^*）で表される画像データ
でも良い。

【００１０】カラー原稿入力処理部１１から入力された
ＲＧＢ画像データは、ＲＧＢ画像データ記憶メモリ１２
に記憶される。このとき、当該ＲＧＢ画像データ記憶メ
モリ１２の容量を節約するために、カラー原稿入力処理
部１１で入力対象のカラー原稿を読み込む際に、原稿全
体を読み込むのではなく、後段の正方領域位置算出処理
部１３や局所自己相関特徴抽出処理部１４での処理対象
となる部分のみを読み込み、その読み込んだＲＧＢ画像
データをＲＧＢ画像データ記憶メモリ１２に記憶するよ
うにしても良い。

【００１１】正方領域位置算出処理部１３は、図１の小
領域抽出手段２に相当するものである。この正方領域位
置算出処理部１３では、ＲＧＢ画像データ記憶メモリ１
２に記憶されているＲＧＢ画像データ又はその一部か
ら、局所自己相関特徴抽出処理部１４において特徴抽出
の対象となる複数の小領域の位置の計算を行う。本実施
例では、等間隔の格子線で画像を分割してできる正方領
域を小領域とし、その正方領域の位置を求めている。こ
の分割の例を図３（ａ）に示す。画像を分割する格子線
の間隔が抽出する正方領域の一辺の長さとなるが、この
長さは認識対象画像パターンの大きさと入力画像の解像
度により適当な値にあらかじめ設定されているものとす
る。また、入力画像の横および縦の長さが正方領域の一
辺の長さの整数倍でない場合には、図３（ｂ）に示すよ
うに、正方領域を互いに重ね合わせて正方領域の抽出を
行い、正方領域の位置を計算する。

【００１２】ここで抽出されたＲＧＢ画像データにおけ
る正方領域の位置の二次元的な配置は、類似度マップ作
成処理部１５で作成される類似度マップにおける正方領
域に対応する類似度の二次元的な配置となる。つまり、
図４に示すように、正方領域ｆ_ijと認識対象画像パター
ン上の正方領域との類似度は類似度マップ上の値ｐ_ijで
表される。したがって、抽出する正方領域の横方向の数
と縦方向の数の比と、ＲＧＢ画像データの横方向の画素
数と縦方向の画素数の比とが等しくなければ、ＲＧＢ画
像データと類似度マップ上での認識対象画像パターンの
形状が異なってしまうため、この比を等しくする方が好
ましい。換言すれば、正方領域位置算出処理部１３にお
いて、縦方向と横方向の間隔がそれぞれ等間隔であるよ
うな格子線の格子点を重心とする複数の正方領域を抽出
することで、ＲＧＢ画像データと類似度マップ上での認
識対象画像パターンの形状を合致させることができる。

【００１３】本実施例では、抽出する正方領域の横方向
の数Ｎ_xおよび縦方向の数Ｎ_yを数１および数２の各式
により計算して、両者の比が等しくなるように正方領域
の抽出を行っている。

【数１】

【数２】但し、ＷとＨはそれぞれ、ＲＧＢ画像データの横と縦の
画素数を表し、Ｎは抽出する正方領域の一辺の画素数を
表わす。また、Ｎ_xおよびＮ_yの少数点以下は切り捨て
て整数とする。

【００１４】このようにして得られた正方領域の横方向
および縦方向の数から数３および数４の各式を用いて、
抽出する正方領域ｆ_ijの左上の座標（ｘ_i，ｙ_j）を算
出する。したがって、算出される正方領域の数は、Ｎ_x
Ｎ_y個となる。

【数３】

【数４】但し、この算出された座標（ｘ_i，ｙ_j）は、ＲＧＢ画
像データの左上の画素データの座標を（０，０）とし、
横方向は右に行くほど、縦方向は下に行くほど増加する
ものとする。

【００１５】局所自己相関特徴抽出処理部１４は、図１
の特徴抽出手段３に相当するものである。この局所自己
相関特徴抽出処理部１４では、正方領域位置算出処理部
１３で抽出された正方領域から色情報を特徴量として抽
出し、各正方領域に対応する特徴ベクトルを生成する。
色情報の特徴量としては従来までに多くの特徴量が提案
されているが、本実施例では、前記文献２に示されてい
るカラー画像に対する１次までの局所自己相関特徴を修
正した特徴量を用いている。

【００１６】以下に、本実施例で使用した特徴量につい
て詳細に説明する。ここで、特徴抽出の対象となる正方
領域を、ｆ（ｉ，ｊ）＝［ｒ（ｉ，ｊ），ｇ（ｉ，
ｊ），ｂ（ｉ，ｊ）］^T，１≦ｉ≦Ｎ，１≦ｊ≦Ｎとす
る。ただし、Ｎは正方形である正方領域の一辺の長さ
（画素数）であり、ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ
（ｉ，ｊ）はそれぞれ、画素（ｉ，ｊ）における赤、
緑、青成分を表し、０≦ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），
ｂ（ｉ，ｊ）≦１に正規化されているものとする。ま
た、上付のＴは転置を表わす。カラー画像に対する０次
の自己相関は、文献２に示されているように、数５の式
で表される。

【数５】

【００１７】また、１次の自己相関は、変位方向をａ＝
（ａ_i，ａ_j）とすると、数６の式で表される。

【数６】変位方向の取り方により無数の特徴を得ることができる
が、文献２に示されているように、ここでは、図５に示
す平行移動により重複しない５つの変位方向について１
次の自己相関を算出する。ただし、変位方向ａ＝（０，
０）の場合には、σ_rgとσ_grなどのように画素の色成分
の組合せが同じものはその値も等しくなるので、どちら
か一方で代表させる。したがって、０次の自己相関特徴
を３つ、１次の自己相関特徴でかつ変位方向が（０，
０）の場合が６つ、それ以外の１次の自己相関特徴が４
つの変位方向に対して９つずつ算出でき、合計４５次元
の特徴ベクトルを抽出することができる。

【００１８】類似度マップ作成処理部１５および類似度
マップ記憶メモリ１６は、図１の類似度マップ作成手段
４に相当するものである。類似度マップ作成処理部１５
においては、局所自己相関特徴抽出処理部１４で生成さ
れた各正方領域に対応する特徴ベクトルを基に、各正方
領域が認識対象の部分画像にどの程度類似しているかを
算出し、類似度マップを作成する。この類似度マップ
は、類似度マップ記憶メモリ１６に記憶される。本実施
例では、各正方領域が認識対象の部分画像にどの程度類
似しているかを算出するために、文献１に示されている
線形判別分析を用いてあらかじめ算出しておいた結果係
数行列Ａにより、数７の式に示すように、局所自己相関
特徴抽出処理部１４で抽出した特徴空間Ｘ上の特徴ベク
トルｘ_ijを認識対象の部分画像に類似しているかどうか
を判別するために適した判別特徴空間Ｙに写像して新た
な特徴ベクトルｙ_ijを算出する。

【数７】

【００１９】そして、図６に示すように、この判別特徴
空間Ｙ上において対象の正方領域にあたる新たな特徴ベ
クトルｙ_ijと認識対象画像パターンの代表ベクトルｒ_t
との距離Ｄ_ijにより対象の正方領域が認識対象画像パタ
ーン上の正方領域にどの程度類似しているかを算出す
る。本実施例において、類似度ｐ_ijの算出は、数８〜数
１０の各式により行う。

【数８】

【数９】

【数１０】こうして算出された類似度ｐ_ijは、図４に示す類似度マ
ップ中の値に対応する。但し、ｒ_kはカテゴリの代表ベ
クトルを表し、Ｋはあらかじめ定義したカテゴリの総数
である。なお、本実施例では、抽出した正方領域と認識
対象との類似度を求めるために線形判別分析を用いた
が、これに限定されるものではなく、他の手法（例え
ば、ニューラルネットワークなど）を用いても良い。

【００２０】認識処理部１７は、図１の認識手段５に相
当するものである。認識処理部１７では、類似度マップ
作成処理部１５で作成され、類似度マップ記憶メモリ１
６に記憶されている類似度マップ上の類似度の分布か
ら、入力されたカラー原稿に認識対象が含まれているか
否かを認識し、その認識結果を出力する。この認識処理
の方法としては種々の方法が考えられるが、本実施例で
は、簡単にするため、入力されたＲＧＢ画像データ上に
認識対象が存在すれば、その存在する部分の正方領域に
対応する類似度マップ上の類似度は高くなることを利用
して、ある閾値以上の値の類似度を持つ隣接する正方領
域の数を計測することで、入力されたＲＧＢ画像データ
上に認識対象が存在するかどうかを認識する方法を採っ
ている。

【００２１】以下に、類似度マップによる認識処理につ
いて図７を用いて詳細に説明する。図７において、入力
画像（ａ）が与えられた場合に、類似度マップ（ｂ）が
作成されたと仮定する。この類似度マップ（ｂ）から隣
接する類似度０．５以上の部分を抽出してその面積を算
出する。図７の例では、１３となる。この面積とあらか
じめ算出しておいた認識対象画像パターンの面積とを比
較し、許容範囲以上の誤差がなければ、入力画像（ａ）
中に認識対象画像パターンが存在すると認識する。ま
た、類似度マップ（ｂ）上の類似頻度をある閾値で二値
化して横方向と縦方向についてヒストグラムを作成し、
このヒストグラムから認識する方法や、二値化により生
成される図形の形状や輪郭を認識する方法などを採って
も良い。

【００２２】上述したように、第１の実施例では、認識
対象となるカラー画像を複数の正方領域（小領域）に分
割し、各正方領域から色情報を特徴量として抽出し、か
つ各正方領域に対応する特徴ベクトルを生成し、この特
徴ベクトルを基に各正方領域が認識対象の部分画像にど
の程度類似しているかを算出して類似度マップを作成
し、この類似度マップ上の類似度の分布から、入力され
たカラー原稿に認識対象が含まれているかを認識するよ
うにしたので、原稿から認識対象の画像パターン以外の
部分を排除することができる。したがって、複雑な背景
を持つ認識対象画像パターンであっても、高精度にて画
像認識を行える。また、正方領域から抽出する局所的な
特徴群に基づいて直接原稿を認識するのではなく、正方
領域と認識対象の部分画像との類似度というある種の大
域的な特徴を生成し、これらを用いて原稿を認識するよ
うにしているため、局所的な変動を受けることなく認識
処理が行える。

【００２３】次に、認識処理部１７での認識処理を、よ
り精度良く行う方法について説明する。類似度マップ作
成部１５で作成され、類似度マップ記憶メモリ１６に記
憶されている類似度マップ（ｂ）は、０以上１以下の値
を持つ類似度により構成されている。この類似度を適当
な変換により整数とすることで、類似度マップ（ｂ）を
ある多階調の濃淡画像と見なすことができる。本実施例
では、数１１の式を用いて類似度ｐ_ijを２５６階調の濃
度画像ｈ_ijに変換する。

【数１１】ここで、Ｎ_xとＮ_yはそれぞれ類似度マップ（ｂ）の横
方向と縦方向の大きさである。また、ｈ_ijの小数点以下
は切り捨てて整数とする。そして、この濃淡画像に対し
て認識処理を行えば良い。

【００２４】濃度画像の認識方法としては、従来種々の
ものが提案されているが、本実施例では、「栗田多喜夫
他『高次局所自己相関特徴を用いた顔画像の認識実験に
ついて』電総研ＴＲ‐９２‐５」（以下、文献３と称す
る）に示されている適応型画像認識を用いた。これは、
文献１に示されている高次局所自己相関特徴抽出と統計
的判別特徴抽出とを組み合わせた認識手法を多値の濃淡
画像に適用したものである。

【００２５】図８は、本発明の第２の実施例を示すブロ
ック図であり、図中、図２と同等部分には同一符号を付
して示してある。本実施例では、正方領域から抽出する
基本的な特徴として、色情報に関する特徴量（色相、彩
度、明度）とテクスチャに関する特徴量（エッジ方向、
テクスチャの粗さ）を抽出することで、正方領域と認識
対象画像パターンとの類似度をより正確に算出できるよ
うにしている。先ず、カラー原稿入力処理部２１では、
スキャナなどによってカラー原稿を読み込み、Ｌ^*ａ^*
ｂ^*画像データを生成する。このＬ^*ａ^*ｂ^*画像デー
タの生成方法としては、既存の技術を用いることが可能
である。この生成されたＬ^*ａ^*ｂ^*画像データは、Ｌ
^*ａ^*ｂ^*画像データ記憶メモリ２２に保存される。正
方領域位置算出処理部１３では、Ｌ^*ａ^*ｂ^*画像デー
タ記憶メモリ２２に保存されている画像データから、第
１の実施例で述べた処理を行うことによって複数の正方
領域を抽出する。

【００２６】局所自己相関特徴抽出処理部２３およびテ
クスチャ特徴抽出処理部２４は、図１の特徴抽出手段３
に相当するものである。局所自己相関特徴抽出処理部２
３では、第１の実施例で述べた方法により、１次までの
局所自己相関特徴として、４５次の特徴ベクトルを抽出
する。ただし、特徴抽出の対象となる正方領域は、ｆ
（ｉ，ｊ）＝［ｌ（ｉ，ｊ），ａ（ｉ，ｊ），ｂ（ｉ，
ｊ）］^T，１≦ｉ≦Ｎ，１≦ｊ≦Ｎ，０≦ｌ（ｉ，ｊ）
≦１，−１≦ａ（ｉ，ｊ），ｂ（ｉ，ｊ）≦１とする。
ただし、Ｎは正方形である正方領域の一辺の長さ（画素
数）であり、ｌ（ｉ，ｊ），ａ（ｉ，ｊ），ｂ（ｉ，
ｊ）はそれぞれ、画素（ｉ，ｊ）におけるＬ ^*，ａ^*，
ｂ^*成分を表し、上付のＴは転置を表わす。

【００２７】テクスチャ特徴抽出処理部２４では、テク
スチャの方向とテクスチャの粗さに関する特徴量を抽出
し、前述した局所自己相関特徴抽出処理部２３で得られ
た特徴ベクトルと合わせて、類似度マップ作成処理部２
５で類似度マップを作成するために用いている。テクス
チャの方向に関する特徴は、「H.Tamura, “TexturalFe
atures Corresponding to Visual Perception”IEEE Tr
ansactions on Systems,Man,and Cybernetics,Vol.SMC-
8,No.6,June1978」（以下、文献４と称する）に示され
ている方法により算出した局所的なエッジの方向につい
てのヒストグラムを用いている。具体的には、先ず、正
方領域内の各画素に対して、局所的なエッジ方向θと強
さΔＧを数１２及び数１３の各式により算出する。

【００２８】

【数１２】

【数１３】ここで、Δ_Hは水平方向の差分であり、Δ_Vは垂直方向
の差分である。これは、図９に示す１次微分のオペレー
タにより計算される。また、この方向θは水平方向を０
として反時計回りに測定されたものである。こうして正
方領域内の全ての画素に対して得られたある閾値Ｇ_S以
上のエッジの強さを持つ局所的なエッジの方向を適当な
間隔ｎ_Sで量子化し、エッジの方向に関するヒストグラ
ムを作成する。本実施例では、ｎ_S＝π／１８［radia
n］とした。

【００２９】このようにして図１０に示すようなヒスト
グラムが作成されると、テクスチャの方向を表わす特徴
ベクトルｄ′が得られる。この特徴ベクトルｄ′を、数
１４の式により正規化し、特徴ベクトルｄを得る。

【数１４】ここで、Ｎは正方領域の一辺の長さ（画素数）である。
本実施例では、Ｌ^*ａ^*ｂ^*画像データのＬ^*からのみ
テクスチャの方向を表わす特徴ベクトルｄを抽出したた
め、この特徴ベクトルの次元数は１８次元となる。

【００３０】テクスチャの粗さに相当する特徴量につい
ては、Ｌ^*ａ^*ｂ^*画像データの３要素について文献４
に記述してある方法により抽出し、３次元の特徴量を得
る。したがって、色情報に関する特徴が４５次元、テク
スチャに関する特徴が２１次元となり、一つの正方領域
から抽出される特徴ベクトルは６６次元となる。類似度
マップ作成処理部２５では、局所自己相関特徴抽出処理
部２３およびテクスチャ特徴抽出処理部２４で抽出され
た６６次元の特徴ベクトルから、第１の実施例で述べた
方法で類似度マップを作成する。後の処理については、
第１の実施例で述べた方法に準ずる。

【００３１】上述したように、第２の実施例では、特徴
抽出の際に、注目画素値とこれに隣接する画素値との相
関およびカラー画像データを表わすＬ^*ａ^*ｂ^*などの
色空間上の３要素間の相関を組み合わせてできる特徴ベ
クトルを局所自己相関特徴抽出処理部２３で抽出するの
に加え、正方領域が持つテクスチャの方向ヒストグラム
及び正方領域のテクスチャの粗さを組み合わせてできる
特徴ベクトルをもテクスチャ特徴抽出処理部２４で抽出
するようにしたので、正方領域と認識対象画像パターン
との類似度をより正確に算出できる。その結果、第１の
実施例による効果に加え、特に方向性を持った線を含む
画像パターンをより確実に認識できることになる。

【００３２】図１１は、本発明の第３の実施例を示すブ
ロック図であり、図中、図２と同等部分には同一符号を
付して示してある。なお、本実施例において、カラー原
稿を読み込み、各正方領域から特徴ベクトルを抽出する
までの処理は、第１の実施例の場合の処理と同じであ
る。そして、類似度マップ作成処理部３２では、特徴空
間の変換用係数行列辞書３１に登録されている係数行列
を用いて、２つ以上の類似度マップを作成する。個々の
類似度マップの作成方法は、第１の実施例で述べた方法
と同じである。この処理により、認識対象画像パターン
を構成する２つ以上の特徴的なパターンに対応する類似
度マップを作成できる。ここで作成された類似度マップ
は類似度マップ記憶メモリ３３に記憶される。

【００３３】次に、認識処理部３４における認識処理に
ついて、図１２に示したフローチャートを用いて説明す
る。先ず、前述した類似度マップ記憶メモリ３３に記憶
されている２つ以上の類似度マップのそれぞれについ
て、第１の実施例の認識処理部１７で説明した方法によ
り、隣接するある閾値以上の類似度を持つ部分で構成さ
れるパターンの面積を算出する（ステップＳ１００）。
次に、この算出したパターンの面積とこれが抽出された
類似度マップの番号からパターン番号を決定する（ステ
ップＳ１０１）。この処理は、認識対象画像パターン構
成辞書３５に登録されている図１３に示すような表を用
いて行う。例えば、図１３に示す表より、類似度マップ
１から抽出したパターンの面積が４２であるとき、この
パターン番号は２となる。ここで、パターン番号とは、
認識対象画像パターンを構成する特徴的なパターンに対
して付けられた固有の番号である。

【００３４】パターン番号を決定したら、抽出されたパ
ターンの重心位置を算出し、パターン番号とそのパター
ンの重心位置を組にして登録する（ステップＳ１０
２）。例えば、図１４に示すような表にして登録する方
法がある。本実施例では、抽出したパターンの面積のみ
によってパターン番号を決定しているが、これに限定さ
れるものではなく、抽出したパターンの外形などを併用
しても良い。次に、類似度マップ全体を走査完了したか
否か（ステップＳ１０３）、さらに全ての類似度マップ
を処理したか否か（ステップＳ１０４）の判定を行い、
いずれか一方でも完了していなければ、ステップＳ１０
０に戻り、まだ処理を行っていない類似度マップについ
て上述した処理を実行する。なお、ステップＳ１０１に
おいて、もし該当するパターン番号を決定できない場合
には、抽出されたパターンは無効として、ステップＳ１
０３に移行する。

【００３５】類似度マップ全体の走査を完了し、しかも
全ての類似度マップを処理したら、ステップＳ１０２で
登録した番号とそのパターンの重心位置の組から、各パ
ターン同士の距離を算出する（ステップＳ１０５）。本
実施例では、重心間の距離を算出し、これらの距離を図
１５に示すようなマトリクスとして記録するようにして
いる。当然のことながら、このマトリクスは対角成分が
０の対称行列となる。図１５を例にとれば、パターン番
号１と２の重心間の距離が１２であることを意味してい
る。

【００３６】次に、算出したパターン間の距離と認識対
象画像パターン構成辞書３５に登録されている認識対象
画像パターンの構成パターン間の距離とを比較し、これ
が許容誤差の範囲内であれば、入力画像中に認識対象画
像パターンが含まれていると認識する。認識対象画像パ
ターン構成辞書３５に登録されている認識対象画像パタ
ーンの構成パターン間の距離も図１５に示すようなマト
リクスにより登録されている。本実施例では、数１５の
式で算出された二乗誤差ｅ²が適当な閾値以下のとき、
入力画像中に認識対象画像パターンが含まれていると認
識するようにしている。

【００３７】

【数１５】ここで、Ｍ_ijはステップＳ１０５で算出されたパターン
間の距離マトリクスのｉ行ｊ列の要素であり、Ｕ_ijは認
識対象画像パターン構成辞書３５に登録されている認識
対象画像パターンの構成パターン間の距離マトリクスの
ｉ行ｊ列の要素である。また、Ｎ_pはステップＳ１０１
によりパターン番号が決定されたパターンの総数であ
り、同時に、２つのマトリクスＭとＵの大きさに等し
い。本実施例では、認識処理部３４で認識対象画像パタ
ーンを構成するパターン間の距離を用いて認識を行って
いるが、これに限定されるものではなく、パターン間の
相対的な方向やパターン同士の包含関係を用いて認識を
行っても良い。

【００３８】上述したように、第３の実施例では、認識
対象画像パターンを構成する特徴的なパターンの持つ色
およびテクスチャにより複数の類似度マップを作成し、
この複数の類似度マップを用いて、認識対象画像パター
ンを構成する特徴的なパターンの形状や大きさと、認識
対象画像パターンを構成する特徴的なパターン同士の位
置関係を調査し、入力画像が認識対象の画像を含んでい
るかを認識するようにしたことにより、認識対象画像パ
ターンの部分部分で画像認識を行うことができるので、
全体として画像認識する第１，第２の実施例の場合に比
べて、認識精度をより向上できる。

【００３９】なお、上記各実施例においては、カラー画
像を複数に分割する際の小領域を正方領域とした場合に
ついて説明したが、小領域は正方領域に限定されるもの
ではなく、他の矩形領域や円形領域など、任意の形状の
領域で良い。

【００４０】

【発明の効果】以上説明したように、本発明によれば、
入力された原稿をそのまま認識するのではなく、原稿か
ら複数の小領域を抽出し、これらの小領域に対して認識
対象の部分画像との類似度を算出し、これらの類似度の
分布状態により、原稿中に含まれる認識対象の画像パタ
ーンを認識するようにしたことにより、原稿から認識対
象の画像パターン以外の部分をうまく排除できるので、
認識対象の画像パターンの認識が精度良く行える。ま
た、小領域から抽出する特徴は局所的な特徴群である
が、これらの局所的な特徴群から直接原稿を認識するの
ではなく、小領域と認識対象の部分画像との類似度とい
うある種の大域的な特徴を生成し、これらを用いて原稿
を認識するため、局所的な変動に強い画像認識が行え
る。

【図面の簡単な説明】

【図１】本発明の基本構成を示す機能ブロック図であ
る。

【図２】本発明の第１の実施例を示すブロック図であ
る。

【図３】正方領域抽出の例を示す概念図である。

【図４】正方領域と類似度マップの対応関係を示す図
である。

【図５】１次の局所自己相関の変位パターンを示す図
である。

【図６】３つのカテゴリを判別する判別特徴空間Ｙの
例を示す図である。

【図７】類似度マップによる認識（面積）の例を示す
図である。

【図８】本発明の第２の実施例を示すブロック図であ
る。

【図９】１次微分のオペレータの例を示す図である。

【図１０】局所的なエッジ方向を表わすヒストグラム
を示す図である。

【図１１】本発明の第３の実施例を示すブロック図で
ある。

【図１２】認識処理部の処理手順を示すフローチャー
トである。

【図１３】パターン番号を決定するための表の一例を
示す図である。

【図１４】パターンと重心位置の組の登録例を示す図
である。

【図１５】パターン間の距離マトリクスの例を示す図
である。

【符号の説明】

１画像入力手段２小領域抽出手段３特徴抽出手段４類似度マップ作成手段５認識手段１１，２１カラー原稿入力処理部１３正方領域位置算出処理部１４，２３局所自己相関特徴抽出処理部１５，２５，３２類似度マップ作成処理部１７，３４認識処理部２４テクスチャ特徴抽出処理部３１特徴空間の変換用係数行列辞書３２認識対象画像パターン構成辞書

Claims

【特許請求の範囲】

【請求項１】入力されたカラー画像を量子化し、多階
調のカラー画像データを生成する画像入力手段と、前記画像入力手段により生成された多階調のカラー画像
を複数の小領域に分割する小領域抽出手段と、前記小領域抽出手段により得られた各小領域から特徴を
抽出する特徴抽出手段と、前記特徴抽出手段により抽出された特徴を用いて前記小
領域抽出手段により得られた各小領域ごとに認識対象画
像パターンとの類似度を計算して類似度マップを作成す
る類似度マップ作成手段と、前記類似度マップ作成手段により作成された類似度マッ
プにおける類似度の分布状態から入力されたカラー画像
に認識対象画像パターンが含まれているか否かを認識す
る認識手段とを具備することを特徴とするカラー画像認
識装置。
【請求項２】前記小領域抽出手段は、縦方向と横方向
の間隔がそれぞれ等間隔であるような格子線の格子点を
重心とする複数の小領域を抽出することを特徴とする請
求項１記載のカラー画像認識装置。
【請求項３】前記特徴抽出手段は、注目画素値とこれ
に隣接する画素値との相関と、カラー画像データを表わ
す色空間上の３要素間の相関と、小領域が持つテクスチ
ャの方向ヒストグラムと、小領域のテクスチャの粗さと
を組み合わせてできる特徴ベクトルを抽出することを特
徴とする請求項１記載のカラー画像認識装置。
【請求項４】前記認識手段は、認識対象画像パターン
を構成する特徴的なパターンの持つ色およびテクスチャ
により作成された複数の類似度マップを用いて、認識対
象画像パターンを構成する特徴的なパターンの形状や大
きさと認識対象画像パターンを構成する特徴的なパター
ン同士の位置関係を調査し、入力画像が認識したい対象
画像を含んでいるか否かを認識することを特徴とする請
求項１記載のカラー画像認識装置。