JPH09171552A - 画像認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 認識対象画像パターン内の類似性が低く、無
地の部分を含んでいる場合でも、高精度に認識し得る画
像認識装置を提供する。 【解決手段】 画像入力部１で生成された画像データ
は、小領域抽出部２で複数の小領域に分割される。特徴
抽出部３は、各小領域から特徴を抽出する。フォアグラ
ウンド類似度マップ作成部４、バックグラウンド類似度
マップ作成部５は、抽出された特徴を用いて、各小領域
ごとに認識対象画像パターンのフォアグラウンド部分、
バックグラウンド部分との類似度を計算して、フォアグ
ランド類似度マップ、バックグランド類似度マップを作
成する。認識部６は、作成された２つの類似度マップに
おける類似度の分布と、お互いの相関関係により、入力
された画像に認識対象画像パターンが含まれているか否
かを認識する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の認識装置に
関し、特に画像に含まれる特定パターンを認識する画像
認識装置に関するものである。

【０００２】

【従来の技術】一般に、画像に含まれる認識対象画像パ
ターンを認識するためには、画像のどこにどのような向
きで認識対象画像パターンの候補が存在するのかを調査
する必要がある。認識対象画像パターンの候補を抽出す
る技術として、例えば、特開平５−２２５３４４号公報
や特開平６−４４３６５号公報に示されているように、
各カテゴリ内で共通する特徴的な基準点を設定し、画像
中からこの基準点を探索することで認識対象画像パター
ンの候補を抽出する方法がある。しかし、この方法では
あらかじめ認識対象画像パターン内に存在するような特
徴的な基準点を設定する必要があり、この設定方法も認
識対象画像パターンにより変化するため、あまり汎用的
とは言えない。

【０００３】この問題を解決する一つの方法として、例
えば、特願平７−９３５２７号に示したような、与えら
れた画像を小領域に分割し、各小領域ごとに認識対象画
像パターンとの類似度を算出して類似度マップを作成
し、各小領域ごとの類似度の分布状態から与えられた画
像が認識対象画像パターンを含んでいるか否かを判断す
る画像認識方法および装置がある。この手法を用いるこ
とにより、複雑な背景を持つ画像パターンなども認識す
ることが容易になる。また、最終的な認識を類似度の分
布により行うため、局所的な変動を吸収できるという利
点がある。

【０００４】しかしながら、特願平７−９３５２７号で
示されている手法は、小領域の類似度を算出する際に認
識対象画像パターン全体をほぼ一様と見なしているた
め、認識対象画像パターン内における特異性が極端に低
いと類似する小領域の全体集合が増加する。そのため、
類似度が高いと判断される小領域が多くなってしまい、
類似度の分布状態による認識の精度が低下してしまう。
特に、認識対象画像パターンに無地の領域がある程度以
上含まれている場合、与えられた画像に含まれる無地の
部分も識対象画像パターンとの類似度が高いと判断され
てしまい、認識精度の低下を招く危険性がある。

【０００５】

【発明が解決しようとする課題】本発明は、上述した事
情に鑑みてなされたもので、認識対象画像パターン内の
類似性が低い場合、特に認識対象画像パターン内に無地
の部分を含んでいる場合でも、高精度に認識し得る画像
認識装置を提供することを目的とするものである。

【０００６】

【課題を解決するための手段】請求項１に記載の発明
は、画像認識装置において、入力された画像を量子化し
画像データを生成する画像入力手段と、該画像入力手段
により生成された前記画像データから複数の小領域を抽
出する小領域抽出手段と、該小領域抽出手段により得ら
れた各小領域から特徴を抽出する特徴抽出手段と、該特
徴抽出手段により抽出された特徴を用いて前記小領域抽
出手段により得られた各小領域ごとに認識対象画像パタ
ーンのフォアグラウンド部分との類似度を計算しフォア
グラウンド類似度マップを作成するフォアグラウンド類
似度マップ作成手段と、前記特徴抽出手段により抽出さ
れた特徴を用いて前記小領域抽出手段により得られた各
小領域ごとに前記認識対象画像パターンのバックグラウ
ンド部分との類似度を計算しバックグラウンド類似度マ
ップを作成するバックグラウンド類似度マップ作成手段
と、前記フォアグラウンド類似度マップ作成手段により
作成された前記フォアグラウンド類似度マップおよび前
記バックグラウンド類似度マップ作成手段により作成さ
れた前記バックグラウンド類似度マップにおける類似度
の分布状態および前記フォアグラウンド類似度マップと
前記バックグラウンド類似度マップの相関関係から入力
された画像に認識対象画像パターンが含まれているか否
かを認識する認識手段を有することを特徴とするもので
ある。

【０００７】前記フォアグラウンド類似度マップ作成手
段および前記バックグラウンド類似度マップ作成手段
は、例えば、請求項２に記載の発明のように、学習用の
認識対象画像パターンから抽出された小領域において予
め定められた閾値以上のエッジ強度を持つ画素が予め定
められた割合以上含まれている小領域をフォアグラウン
ド、これ以外の小領域をバックグラウンドとして、予め
統計的手法により結合係数行列を算出しておき、前記特
徴抽出手段により抽出された特徴ベクトルから類似度を
算出するように構成することができる。

【０００８】あるいは、前記フォアグラウンド類似度マ
ップ作成手段および前記バックグラウンド類似度マップ
作成手段は、請求項３に記載の発明のように、学習用の
認識対象画像パターンから抽出された小領域中の画素値
の分散が予め定められた閾値以上の小領域をフォアグラ
ウンド、これ以外の小領域をバックグラウンドとして、
予め統計的手法により結合係数行列を算出しておき、前
記特徴抽出手段により抽出された特徴ベクトルから類似
度を算出するように構成することができる。

【０００９】請求項４に記載の発明は、画像処理装置に
おいて、入力された画像を量子化し画像データを生成す
る画像入力手段と、該画像入力手段により生成された前
記画像データから複数の小領域を抽出する小領域抽出手
段と、該小領域抽出手段により得られた各小領域から特
徴を抽出する特徴抽出手段と、該特徴抽出手段により抽
出された特徴を用いて前記小領域抽出手段により得られ
た小領域ごとに予め設定しておいた複数の基準特徴との
類似度を計算し複数の類似度マップを作成する類似度マ
ップ作成手段と、該類似度マップ作成手段により作成さ
れた複数の類似度マップにおける類似度の分布状態およ
び複数の類似度マップの間の相関関係から入力された画
像に認識対象画像パターンが含まれているか否かを認識
する認識手段とを具備することを特徴とするものであ
る。

【００１０】前記類似度マップ作成手段における基準特
徴としては、例えば、請求項５に記載の発明のように、
前記小領域抽出手段により学習用の認識対象画像パター
ンから抽出された各小領域を該小領域の持つエッジ強度
により複数に分類し、この分類された小領域の各グルー
プから算出した特徴を用いることができる。あるいは、
請求項６に記載の発明のように、前記小領域抽出手段に
より学習用の認識対象画像パターンから抽出された各小
領域を該小領域の持つ色相や彩度により複数に分類し、
この分類された小領域の各グループから算出した特徴を
用いることができる。

【００１１】

【発明の実施の形態】図１は、本発明の画像認識装置の
第１の実施の形態を示すブロック図である。図中、１は
画像入力部、２は小領域抽出部、３は特徴抽出部、４は
フォアグラウンド類似度マップ作成部、５はバックグラ
ウンド類似度マップ作成部、６は認識部である。

【００１２】画像入力部１は、入力された画像を量子化
し、画像データを生成する。小領域抽出部２は、画像入
力部１で生成された画像データから、複数の小領域を抽
出する。特徴抽出部３は、小領域抽出部２で抽出された
各小領域ごとに、その小領域の特徴を抽出する。フォア
グラウンド類似度マップ作成部４は、特徴抽出部３で抽
出された特徴を用いて各小領域ごとに認識対象画像パタ
ーンのフォアグラウンド部分との類似度を計算し、フォ
アグラウンド類似度マップを作成する。バックグラウン
ド類似度マップ作成部５は、同じく特徴抽出部３にて抽
出された特徴を用いて各小領域ごとに認識対象画像パタ
ーンのバックグラウンド部分との類似度を計算し、バッ
クグラウンド類似度マップを作成する。認識部６は、フ
ォアグラウンド類似度マップ作成部４で作成されたフォ
アグラウンド類似度マップにおける類似度の分布状態、
バックグラウンド類似度マップ作成部５で作成されたバ
ックグラウンド類似度マップにおける類似度の分布状
態、および、両者の相関関係から、入力された画像に認
識対象画像パターンが含まれているか否かを認識する。

【００１３】画像入力部１は、認識したい画像を入力と
し、量子化された画像データを生成し、小領域抽出部２
に与える。小領域抽出部２は、与えられた画像データか
ら複数の小領域を抽出し、特徴抽出部３に与える。特徴
抽出部３は、与えられた複数の小領域から特徴抽出を行
ない、各小領域に対応する特徴ベクトルを生成し、フォ
アグラウンド類似度マップ作成部４およびバックグラウ
ンド類似度マップ作成部５に与える。フォアグラウンド
類似度マップ作成部４は、与えられた各小領域に対応す
る特徴ベクトルを用いて対応する小領域と認識対象画像
パターンのフォアグラウンド部分との類似度を算出し、
フォアグラウンド類似度マップを作成する。バックグラ
ウンド類似度マップ作成部５は、与えられた各小領域に
対応する特徴ベクトルを用いて対応する小領域と認識対
象画像パターンのバックグラウンド部分との類似度を算
出し、バックグラウンド類似度マップを作成する。そし
て、認識部６は、このフォアグラウンド類似度マップお
よびバックグラウンド類似度マップ上の類似度の分布お
よび両者の相関関係を用いて、入力された画像が認識対
象画像パターンを含んでいるか否かを認識する。

【００１４】図２は、本発明の画像認識装置の第１の実
施の形態を実現する第１の構成例を示すブロック図であ
る。図中、１１はカラー原稿入力処理部、１２はＬ^* ａ
^* ｂ^* 画像データ記憶メモリ、１３は正方領域位置算出
処理部、１４は局所自己相関特徴抽出処理部、１５は傾
き特徴抽出処理部、１６はバックグラウンド類似度マッ
プ作成処理部、１７はフォアグラウンド類似度マップ作
成処理部、１８は類似度マップ記憶メモリ、１９は認識
処理部である。この例では、入力される画像はカラー画
像であるものとする。

【００１５】カラー原稿入力処理部１１では、スキャナ
および既存の色空間変換処理手段などを用いて、入力対
象のカラー原稿を入力し、量子化して多階調のＬ^* ａ^*
ｂ^*カラー画像データ（ＣＩＥのＬ^* ａ^* ｂ^* 色空間上
の３要素Ｌ^* ，ａ^* ，ｂ^* で表わされる画像データ）を
生成する。ここでは入力対象を原稿としたので入力手段
としてスキャナを用いたが、入力対象によっては屋外等
の風景をビデオカメラなどにより入力してもよい。ある
いは、計算機を用いて描画された画像などでもよい。入
力される画像は、一旦記憶装置に格納しておき、認識処
理時に読み出すように構成することができる。

【００１６】Ｌ^* ａ^* ｂ^* 画像データ記憶メモリ１２
は、カラー原稿入力処理部１１により入力されたＬ^* ａ
^* ｂ^* カラー画像データを記憶する。このとき、Ｌ^* ａ
^* ｂ^*画像データ記憶メモリ１２の容量を節約するため
に、カラー原稿入力処理部１１で入力対象の原稿全体を
読み込むのではなく、正方領域位置算出処理部１３や局
所自己相関特徴抽出処理部１４、傾き特徴抽出処理部１
５の処理が可能な部分のみを読み込み、その読み込まれ
たＬ^* ａ^* ｂ^* カラー画像データをＬ^* ａ^* ｂ^*画像デ
ータ記憶メモリ１２に記憶するようにしてもよい。

【００１７】正方領域位置算出処理部１３では、Ｌ^* ａ
^* ｂ^* 画像データ記憶メモリ１２に記憶されているＬ^*
ａ^* ｂ^* カラー画像データ、もしくはその一部から、局
所自己相関特徴抽出処理部１４および傾き特徴抽出処理
部１５において特徴抽出の対象となる複数の小領域の位
置の計算を行なう。図３は、本発明の画像認識装置の第
１の実施の形態を実現する第１の構成例における正方領
域抽出の一例の説明図である。正方領域位置算出処理部
１３では、図３に破線で示すような等間隔の格子線を仮
定し、その格子点を重心とするあらかじめ定められた長
さの辺を持つ正方形を小領域とし、その各小領域の位置
を計算する。具体的には、Ｌ^* ａ^* ｂ^*カラー画像デー
タの横方向の画素数をＷ、縦方向の画素数をＨ、横方向
に並ぶ正方領域の数をＮ_x 、正方領域の一辺の画素数を
ｓとするとき、

【数１】 により縦方向の正方領域の数Ｎ_y を算出する。あるい
は、Ｌ^* ａ^* ｂ^* カラー画像データの横方向の画素数を
Ｗ、縦方向の画素数をＨ、おおよその格子線の間隔を
Ｂ、正方領域の一辺の長さをｓとするとき、

【数２】 により水平方向の正方領域の数Ｎ_x と垂直方向の正方領
域の数Ｎ_y を算出する。そして、

【数３】 により正方領域ｆ_ij（ｉ＝１，・・・，Ｎ_x ，ｊ＝１，
・・・，Ｎ_y ）の左上の座標Ｐ_ij，（ｉ＝１，・・・，
Ｎ_x ，ｊ＝１，・・・，Ｎ_y ）を算出することができ
る。但し、この算出された座標はＬ^* ａ^* ｂ^* カラー画
像データの左上の画素データの座標を（０，０）とし、
横方向は右に行くほど、縦方向は下に行くほど増加する
ものとする。

【００１８】局所自己相関特徴抽出処理部１４において
は、正方領域位置算出処理部１３で抽出された正方領域
から色情報およびその隣接関係を特徴量として抽出し、
各正方領域に対応する特徴ベクトルを生成する。従来ま
でに多くの特徴量が提案されているが、例えば、栗田
多喜夫ほか，「印象語による絵画データベースの検
索」，情報処理学会論文誌，Ｖｏｌ．３３，Ｎｏ．１
１，１９９２（以下、「文献１」と称する）に示されて
いるカラー画像に対する１次までの局所自己相関特徴を
修正した特徴量を用いることができる。

【００１９】以下に、この例における局所自己相関特徴
抽出処理部１４で使用した特徴量について詳細に説明す
る。ここで、特徴抽出の対象となる正方領域をｆ（ｘ，
ｙ）＝［Ｌ（ｘ，ｙ），ａ（ｘ，ｙ），ｂ（ｘ，ｙ）］
^T ，１≦ｘ，ｙ≦ｓとする。ただし、Ｌ（ｘ，ｙ），ａ
（ｘ，ｙ），ｂ（ｘ，ｙ）は、それぞれ、画素（ｘ，
ｙ）におけるＬ^* ，ａ^* ，ｂ^* 成分を表わし、０≦Ｌ
（ｘ，ｙ）≦１，−１≦ａ（ｘ，ｙ），ｂ（ｘ，ｙ）≦
１に正規化されているものとする。また、Ａ^T は行列Ａ
の転置行列を表わす。

【００２０】Ｌ^* ａ^* ｂ^* カラー画像データに対する０
次の自己相関は、文献１にあるように、

【数４】 のように表わされる。また、１次の自己相関は、変位方
向をｒ＝（ｒ_x ，ｒ_y ）とすると、

【数５】 のように表わされる。

【００２１】図４は、１次の局所自己相関の変位パター
ンの説明図である。この１次の自己相関の式では、変位
方向ｒの取り方により無数の特徴を得ることができる。
ここでは、上述の文献１にも示されているように、図４
（Ａ）〜（Ｅ）に示す平行移動により重複しない５つの
変位方向について１次の自己相関を算出するものとす
る。ただし、図４（Ａ）に示す変位方向ｒ＝（０，０）
の場合には、σ_laとσ_alのように組合せが同じものはそ
の値も等しくなるので、どちらか一方で代表させる。従
って、０次の自己相関特徴が３つ、１次の自己相関特徴
でかつ変位方向ｒ＝（０，０）の場合が６つ、それ以外
の１次の自己相関特徴が４つの変位方向に対して９つず
つ算出でき、合計４５次元の特徴ベクトルＶ_Cij を抽出
することができる。

【００２２】傾き特徴抽出処理部１５では、正方領域位
置算出処理部１３で抽出された正方領域から線の傾き方
向とその強度についての特徴を抽出する。この線の傾き
特徴は、例えば、Ｈ．Ｔａｍｕｒａほか，“Ｔｅｘｔｕ
ｒａｌ ＦｅａｔｕｒｅｓＣｏｒｒｅｓｐｏｎｄｉｎｇ
ｔｏ Ｖｉｓｕａｌ Ｐｅｒｃｅｐｔｉｏｎ”，ＩＥ
ＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｙｓｔｅｍ
ｓ， Ｍａｎ， ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ，Ｖ
ｏｌ．ＳＭＣ−８，Ｎｏ．６，Ｊｕｎｅ １９７８に示
されている方法により算出した、局所的な線の傾きの方
向とその強度を用いることができる。

【００２３】具体的には、まず、正方領域内の明度成分
（Ｌ^* 成分）に対して、局所的な線の傾きの強さと方向
を次の式により算出する。

【数６】 ここで、Δ_H とΔ_V はそれぞれ水平方向と垂直方向の差
分である。図５は、１次微分オペレータの一例の説明図
である。上述の式中の水平方向の差分△_H は、図５
（Ａ）に示すような１次微分オペレータにより計算する
ことができる。同様に、垂直方向の差分△_V は、図５
（Ｂ）に示すような１次微分オペレータにより計算する
ことができる。

【００２４】各小領域内のすべての明度成分について、
線の傾きの強さと方向を算出して線の傾き強度のマップ
ｇ（ｘ，ｙ），（１≦ｘ，ｙ≦ｓ）および線の傾き方向
のマップｄ（ｘ，ｙ），（１≦ｘ，ｙ≦ｓ）からｆ’
（ｘ，ｙ）＝［ｇ（ｘ，ｙ），ｄ（ｘ，ｙ）］^T を作成
する。これを用いて、０次の自己相関および１次の自己
相関を次式によって計算する。

【数７】 この場合も変位方向ｒは図４に示した５つとする。この
式によって１次までの自己相関特徴ベクトルＶ_tij ，
（ｉ＝１，・・・，Ｎ_x ，ｊ＝１，・・・，Ｎ_y ）を抽
出する。このとき、０次の自己相関特徴が２つ、ｒ＝
（０，０）の場合の１次の自己相関特徴が３つ、それ以
外の４方向の１次の自己相関特徴がそれぞれ４つずつ得
られるので、得られる自己相関特徴ベクトルＶ_tij は２
１次元のベクトルとなる。

【００２５】バックグラウンド類似度マップ作成処理部
１６では、局所自己相関特徴抽出処理部１４で生成され
た正方領域ｆ_ijに対応する特徴ベクトルＶ_cij を基に、
各正方領域が認識対象画像パターンのバックグラウンド
部分にどの程度類似しているかを算出し、バックグラウ
ンド類似度マップを作成する。作成されたバックグラウ
ンド類似度マップは、類似度マップ記憶メモリ１８に記
憶される。

【００２６】ここでは、主成分分析によりあらかじめ結
合係数行列Ａ_b を算出しておき、

【数８】 により、判別特徴ベクトルｙ_ijを求める。ここで、説明
変量にあたるベクトルｘ_ijとして、正方領域ｆ_ijに対応
する特徴ベクトルＶ_cij を用いる。これによって、局所
自己相関特徴抽出処理部１４で抽出した特徴空間Ｘ上の
特徴ベクトルｘ_ij＝Ｖ_cij を、認識対象画像パターンの
バックグラウンド部分に類似しているか否かを判別する
ために適した判別特徴空間Ｙに写像して、判別特徴ベク
トルｙ_ij，（ｉ＝１，・・・，Ｎ_x ，ｊ＝１，・・・，
Ｎ_y ）を算出することができる。

【００２７】次に、結合係数行列Ａ_b とともにあらかじ
め算出しておいた代表ベクトルＲ_bとの距離Ｄ_bij から

【数９】 なる式を用いてバックグラウンド類似度マップＳ
_b （ｉ，ｊ）を作成する。ただし、Ｌ_b は主成分分析を
用いて算出しておく結合係数行列Ａ_b を用いてあらかじ
め定めておく閾値である。

【００２８】図６は、本発明の画像認識装置の第１の実
施の形態における２次元の判別特徴空間における諸値の
説明図である。このバックグラウンド類似度マップＳ_b
（ｉ，ｊ）の値は、判別特徴ベクトルｙ_ijと代表ベクト
ルＲ_b との距離Ｄ_bij がＬ_bよりも大きいとき、すなわ
ち、図６において点線で示した円より外側に判別特徴ベ
クトルｙ_ijが伸びている場合には、０となる。また、距
離Ｄ_bij がＬ_b 以内の場合、すなわち、点線で示した円
内に判別特徴ベクトルｙ_ijが収まる場合には、その距離
Ｄ_bij に逆比例した値が求められる。ここで、判別特徴
ベクトルｙ_ijが代表ベクトルＲ_b と一致する場合を１、
円の周上を０となるように正規化している。

【００２９】このようにして求められたバックグラウン
ド類似度マップＳ_b （ｉ，ｊ）の値は、代表ベクトルＲ
_b との近さを示すことになる。代表ベクトルＲ_b を認識
対象画像データのバックグラウンド部分を基に求めてお
けば、バックグラウンド類似度マップＳ_b （ｉ，ｊ）の
値は、認識対象画像データのバックグラウンド部分と入
力された画像データのとの正方領域ｆ_ijにおける類似度
を示すことになる。

【００３０】フォアグラウンド類似度マップ作成処理部
１７では、局所自己相関特徴抽出処理部１４および傾き
特徴抽出処理部１５で生成された正方領域ｆ_ijに対応す
る特徴ベクトルＶ_cij とＶ_tij を基に、各正方領域が認
識対象画像パターンのフォアグラウンド部分にどの程度
類似しているかを算出し、フォアグラウンド類似度マッ
プを作成する。作成されたフォアグラウンド類似度マッ
プは、類似度マップ記憶メモリ１８に記憶される。

【００３１】この場合も、主成分分析によりあらかじめ
結合係数行列Ａ_f を算出しておき、

【数１０】 により、判別特徴ベクトルｙ’_ijを求める。ここで、説
明変量にあたるベクトルｘ’_ijとして、正方領域ｆ_ijに
対応する特徴ベクトルＶ_cij とＶ_tij を用いる。これに
よって、局所自己相関特徴抽出処理部１４および傾き特
徴抽出処理部１５で抽出した特徴空間Ｘ’上の特徴ベク
トルｘ’_ij＝（Ｖ_cij ，Ｖ_tij ）を、認識対象画像パタ
ーンのフォアグラウンド部分に類似しているか否かを判
別するために適した判別特徴空間Ｙ’に写像して、新た
な判別特徴ベクトルｙ’_ij，（ｉ＝１，・・・，Ｎ_x ，
ｊ＝１，・・・，Ｎ_y ）を算出することができる。

【００３２】以下、バックグラウンド類似度マップ作成
処理部１６と同様にして、結合係数行列Ａ_f とともにあ
らかじめ算出しておいた代表ベクトルＲ_f との距離Ｄ
_fij から、

【数１１】 により、フォアグラウンド類似度マップＳ_f （ｉ，ｊ）
を作成する。ただし、Ｌ_f は主成分分析を用いて算出し
ておく結合係数行列Ａ_f を用いてあらかじめ定めておく
閾値である。

【００３３】認識処理部１９では、類似度マップ記憶メ
モリ１８に記憶されているフォアグラウンド類似度マッ
プとバックグラウンド類似度マップ上の類似度の分布お
よび両者の相関関係から、入力されたカラー原稿に認識
対象が含まれているか否かを認識し、その結果を認識結
果として出力する。この認識処理の方法としては種々の
方法が存在するが、ここでは、類似度マップ記憶メモリ
１８に記憶されている２つの類似度マップの局所自己相
関特徴を抽出し、これをあらかじめ主成分分析により算
出しておいた結合係数行列Ａを用いて、類似度を算出す
るために適した空間に写像して、類似度を求める方法に
ついて述べる。

【００３４】まず、Ｍ（ｉ，ｊ）＝［Ｓ_b （ｉ，ｊ），
Ｓ_f （ｉ，ｊ）］，（ｉ＝１，・・・，Ｎ_x ，ｊ＝１，
・・・，Ｎ_y ）とし、以下に示す式からそれぞれ０次と
１次の自己相関特徴ベクトルを抽出する。

【数１２】 その結果、２１次元の特徴ベクトルｕが得られる。

【００３５】次に、主成分分析によりあらかじめ結合係
数行列Ａを算出しておき、

【数１３】 により、判別特徴ベクトルｖを求める。ここで、説明変
量は上述の特徴ベクトルｕである。これにより、特徴ベ
クトルｕは結合係数行列Ａによって判別に適した判別空
間に写像され、判別特徴ベクトルｖとなる。

【００３６】判別特徴ベクトルｖと、予め算出しておい
た代表ベクトルＲとの距離Ｄから、

【数１４】 により、与えられた画像と認識対象画像パターンとの類
似度Ｓが得られる。なお、Ｌはあらかじめ定めておく閾
値である。

【００３７】このようにして求められた類似度Ｓそのも
のあるいは類似度Ｓに基づいて計算された値を認識結果
として出力したり、類似度Ｓと所定の閾値とを比較し、
認識対象画像パターンの存在の有無を認識結果として出
力することができる。

【００３８】この例では、抽出した正方領域と認識対象
画像パターンとの類似度を求めるために主成分分析を用
いたが、これに限るわけではなく、それぞれのステップ
において、他の統計的手法（例えば、正準分析等）や、
例えばニューラルネットワークなどを用いることも可能
である。

【００３９】図７は、本発明の画像認識装置の第１の実
施の形態を実現する第２の構成例を示すブロック図であ
る。２１はカラー原稿入力処理部、２２はＬ^* ａ^* ｂ^*
画像データ記憶メモリ、２３は正方領域位置算出処理
部、２４は分類特徴抽出処理部、２５はフォアグラウン
ド特徴ベクトル抽出処理部、２６はバックグラウンド特
徴ベクトル抽出処理部、２７はフォアグラウンド主成分
分析処理部、２８はバックグラウンド主成分分析処理部
である。上述の第１の構成例では、結合係数行列や代表
ベクトルなどを予め算出されているものとして認識処理
を行なっている。この第２の構成例では、これらのあら
かじめ算出しておくべき結合係数行列やそれぞれに対応
する代表ベクトルおよび閾値を算出する方法について、
一例を説明する。

【００４０】カラー原稿入力処理部２１では、認識対象
画像パターンを持つ小領域の類似度学習用原稿を入力
し、量子化して多階調のＬ^* ａ^* ｂ^* カラー画像データ
を生成する。類似度学習用原稿の入力は、例えばスキャ
ナやビデオカメラなどを用いることができる。あるい
は、認識対象画像パターンが計算機上で描画されたもの
であってもよい。必要に応じて、色空間変換処理等が施
される。カラー原稿入力処理部２１により入力されたＬ
^* ａ^* ｂ^* カラー画像データは、Ｌ^* ａ^* ｂ^* 画像デー
タ記憶メモリ２２に記憶される。

【００４１】正方領域位置算出処理部２３では、Ｌ^* ａ
^* ｂ^* 画像データ記憶メモリ２２に記憶されているＬ^*
ａ^* ｂ^* カラー画像データから、フォアグラウンド特徴
ベクトル抽出処理部２５およびバックグラウンド特徴ベ
クトル抽出処理部２６において特徴抽出の対象となる複
数の小領域の位置の計算を行なう。ここでは、上述の第
１の構成例で述べた正方領域位置算出処理部１３と同様
の処理を行うことにより、小領域の位置を算出すること
ができる。あるいは、適当な乱数を用いて小領域を抽出
し、その位置を算出してもよい。

【００４２】分類特徴抽出処理部２４では、対象となる
小領域をフォアグラウンド特徴ベクトル抽出処理部２５
あるいはバックグラウンド特徴ベクトル抽出処理部２６
のいずれかに処理を振り分けるための特徴を抽出する。
抽出する特徴として、ここでは、上述の第１の構成例に
おける傾き特徴抽出処理部１５で抽出した特徴と同様の
線の傾きの強度を用いる。具体的には、Ｌ^* ａ^* ｂ^* 画
像データ記憶メモリ２２に記憶されているＬ^* ａ^* ｂ^*
カラー画像データの明度成分（Ｌ^* 成分）から

【数１５】 を適用して、それぞれの正方領域に対応する線の傾きの
強度ｇを求め、線の傾きの強度のマップＧ（ｕ，ｖ），
（１≦ｕ≦ｗ，１≦ｖ≦ｈ）を作成する。ただし、この
マップ中の値は０以上１以下に正規化されているものと
する。また、Δ_HとΔ_V はそれぞれ水平方向と垂直方向
の差分であり、例えば、図５に示したような１次微分オ
ペレータを用いて算出することができる。

【００４３】図８は、本発明の画像認識装置の第１の実
施の形態を実施する第２の構成例におけるフォアグラウ
ンド特徴ベクトル抽出処理部およびバックグラウンド特
徴ベクトル抽出処理部の動作の一例を示すフローチャー
トである。まず、Ｓ３１において、分類特徴抽出処理部
２４で作成した線の傾き強度のマップＧ（ｕ，ｖ）から
処理対象となる小領域に対応する領域を抽出して、部分
マップＧ’（ｘ，ｙ），（１≦ｘ，ｙ≦ｓ）を作成す
る。ただし、ｓは小領域（正方形）の一辺の大きさであ
る。

【００４４】次に、Ｓ３２において、部分マップＧ’
（ｘ，ｙ）の要素のうち、あらかじめ定めた閾値Ｔｍ以
上の要素をカウントし、その数をＣとする。この閾値Ｔ
ｍは、０≦Ｔｍ≦１の値であり、認識対象により適当な
値を設定する必要がある。例えば、Ｔｍ＝０．０５とす
ることができる。

【００４５】次に、Ｓ３３において、Ｓ３２で算出した
カウント数Ｃがあらかじめ定めた閾値Ｔｒ以上であるな
らば、対象の小領域はフォアグラウンド特徴ベクトル抽
出処理部２５で処理するものとしてＳ３４へ進む。ま
た、閾値Ｔｒより小さい場合には、対象の小領域はバッ
クグラウンド特徴ベクトル抽出処理部２６で処理するも
のとしてＳ３６へ進む。ここで、閾値Ｔｒは、０≦Ｔｒ
≦ｓ² となる値であり、認識対象により適当な値を設定
する必要がある。例えば、Ｔｒ＝０．８ｓ² とすること
ができる。

【００４６】Ｓ３３で対象の小領域がフォアグラウンド
特徴ベクトル抽出処理部２５で処理するものであると判
断された場合は、色情報とテクスチャ情報の両方を用い
る。ここでは、Ｓ３４において、図２における局所自己
相関特徴抽出処理部１４により色情報に当たる特徴ベク
トル（４５次元）を、また、傾き特徴抽出処理部１５に
よりテクスチャ情報に当たる特徴ベクトル（２１次元）
を抽出する。これらの処理の詳細については、上述の第
１の構成例において述べたとおりである。従って、フォ
アグラウンド特徴ベクトル抽出処理部２５による処理の
結果、１つの小領域について６６次元の特徴ベクトルが
得られることになる。得られた特徴ベクトルは、Ｓ３５
において、フォアグラウンドの特徴ベクトルとしてメモ
リに記憶される。

【００４７】また、Ｓ３３で対象の小領域がバックグラ
ウンド特徴ベクトル抽出処理部２６で処理するものであ
ると判断された場合は、テクスチャは存在しないと見な
し、色情報のみを用いる。ここでは、Ｓ３６において、
図２における局所自己相関特徴抽出処理部１４により色
情報に当たる特徴ベクトル（４５次元）を抽出する。従
って、バックグラウンド特徴ベクトル抽出処理部２６に
よる処理の結果、１つの小領域について４５次元の特徴
ベクトルが得られることになる。得られた特徴ベクトル
は、Ｓ３７において、バックグラウンドの特徴ベクトル
としてメモリに記憶される。

【００４８】Ｓ３８において、すべての小領域の処理が
完了したか否かを判断し、未処理の小領域が存在する場
合にはＳ３１へ戻る。このようにして、上述の処理をす
べての小領域に対して行い、フォアグラウンドと判断さ
れた小領域に対する特徴ベクトル群とバックグラウンド
と判断された小領域に対する特徴ベクトル群を生成す
る。

【００４９】フォアグラウンド主成分分析処理部２７で
は、フォアグラウンド特徴ベクトル抽出処理部２５で生
成されたフォアグラウンドの特徴ベクトル群から主成分
分析を行ない、判別に適した特徴空間に写像する結合係
数行列Ａ_f を算出する。この主成分分析は既存の手法を
用いる。また、この判別に適した特徴空間における代表
ベクトルＲ_f は、フォアグラウンドの特徴ベクトル群を
結合係数行列Ａ_f により写像してできる判別特徴ベクト
ル群を平均することで算出する。さらに、判別特徴ベク
トル群と代表ベクトルＲ_f との距離を算出し、最も大き
な距離を閾値Ｌ _f とする。

【００５０】バックグラウンド主成分分析処理部２８
は、主成分分析の対象がバックグラウンドの特徴ベクト
ル群であることを除いて、フォアグラウンド主成分分析
処理部２７での処理と同様である。これにより、結合係
数行列Ａ_b 、代表ベクトルＲ_b、閾値Ｌ_b を算出する。

【００５１】上述の一連の処理により、第１の構成例で
述べた認識処理で用いる、結合係数行列や代表ベクト
ル、閾値など、あらかじめ定めるべき値を算出すること
ができる。

【００５２】なお、この例では、フォアグラウンドとバ
ックグラウンドとを分類するために、線の傾き特徴を用
いたが、他の特徴を用いることもできる。例えば、小領
域内に存在する画素値の分散を計算し、あらかじめ定め
た閾値と比較して分類するように構成してもよい。

【００５３】また、この第２の構成例では、第１の構成
例に合わせて、認識処理で必要となる諸値を主成分分析
によって求めた。第１の構成例において、他の統計的手
法など、他の特徴抽出手法を用いる場合には、用いた手
法に合わせて認識対象画像データを処理しておくことが
必要である。例えば、ニューラルネットワークを用いる
のであれば、学習用の画像データを用いてニューラルネ
ットワークに学習させればよい。

【００５４】上述の例では、入力される画像としてカラ
ー画像を想定したが、白黒画像でも同様にしてフォアグ
ランドとバックグランドを分類し、それぞれの類似度を
計算して認識処理を行なうことが可能である。

【００５５】図９は、本発明の画像認識装置の第２の実
施の形態を示すブロック図である。図中、図１と同様の
部分には同じ符号を付して説明を省略する。７は類似度
マップ作成部である。上述の第１の実施の形態では、線
の傾き特徴という１つの基準特徴を用いて類似度マップ
を作成したが、本発明はこれに限らず、色相や彩度等の
特徴など、種々の基準となる特徴をも用いるなど、複数
の基準特徴を用いて類似度マップを作成し、画像の認識
を行なうことができる。この第２の実施の形態では、こ
のような複数の基準特徴を用いる構成について説明す
る。

【００５６】類似度マップ作成部７は、特徴抽出部３で
抽出された特徴を用いて各小領域ごとに認識画像パター
ンに予め設定された複数の基準特徴との類似度を計算
し、各基準特徴に対応する類似度マップを作成する。認
識部６は、類似度マップ作成部４で作成された複数の類
似度マップにおける類似度の分布状態、および、複数の
類似度マップ間の相関関係から、入力された画像に認識
対象画像パターンが含まれているか否かを認識する。

【００５７】上述の第１の実施の形態と同様に、画像入
力部１は、認識したい画像を入力とし、量子化された画
像データを生成して小領域抽出部２に与え、小領域抽出
部２は、与えられた画像データから複数の小領域を抽出
し、特徴抽出部３に与える。特徴抽出部３は、与えられ
た複数の小領域から特徴抽出を行ない、各小領域に対応
する特徴ベクトルを生成し、類似度マップ作成部７に与
える。類似度マップ作成部７は、与えられた各小領域に
対応する特徴ベクトルを用いて対応する小領域と認識対
象画像パターンに対して設定された複数の基準特徴との
類似度を算出し、各基準特徴ごとに類似度マップを作成
し、認識部６に与える。そして、認識部６は、これらの
類似度マップ上の類似度の分布状態およびこれらの相関
関係を用いて、入力された画像が認識対象画像パターン
を含んでいるか否かを認識する。

【００５８】図１０は、本発明の画像認識装置の第２の
実施の形態を実現する第１の実施例を示すブロック図で
ある。図中、図２と同様の部分には同じ符号を付して説
明を省略する。４１はエッジ特徴抽出処理部、４２は類
似度マップ作成処理部、４３は基準特徴辞書である。こ
の例では、入力される画像はカラー画像であるものとす
る。

【００５９】エッジ特徴抽出処理部４１は、上述の第１
の実施の形態における傾き特徴抽出処理部１５と同様で
あり、正方領域位置算出処理部１３で抽出された正方領
域からエッジ方向とエッジ強度についての特徴を抽出す
る。具体的には、正方領域内の明度成分（Ｌ^* 成分）に
対して、局所的なエッジ強度ｇとエッジ方向ｄを求め、
エッジ強度のマップｇ（ｘ，ｙ），（１≦ｘ，ｙ≦ｓ）
およびエッジ方向のマップｄ（ｘ，ｙ），（１≦ｘ，ｙ
≦ｓ）を作成する。

【００６０】局所自己相関特徴抽出処理部１４において
は、正方領域位置算出処理部１３で抽出された正方領域
の持つ特徴量を抽出し、各正方領域に対応する特徴ベク
トルを生成する。ここでは、上述の文献１に示されてい
るカラー画像に対する１次までの局所自己相関特徴を修
正、拡張した特徴量を用いることとする。

【００６１】以下に、この例における局所自己相関特徴
抽出処理部１４で抽出する特徴量について詳細に説明す
る。ここで、特徴抽出の対象となる正方領域中のＬ^* 成
分、ａ^* 成分、ｂ^* 成分をそれぞれ、ｌ（ｘ，ｙ），ａ
（ｘ，ｙ），ｂ（ｘ，ｙ），（１≦ｘ，ｙ≦ｓ）とし、
特徴抽出の対象をＭ（ｘ，ｙ）＝［ｌ（ｘ，ｙ），ａ
（ｘ，ｙ），ｂ（ｘ，ｙ），ｇ（ｘ，ｙ），ｄ（ｘ，
ｙ）］^T とする。但し、０≦ｌ（ｘ，ｙ），ｇ（ｘ，
ｙ），ｄ（ｘ，ｙ）≦１，−１≦ａ（ｘ，ｙ），ｂ
（ｘ，ｙ）≦１に正規化されているものとする。

【００６２】Ｌ^* ａ^* ｂ^* カラー画像データに対する０
次の自己相関は

【数１６】 のように表わされる。また、１次の自己相関は、変位方
向をｔ＝（ｔ_x ，ｔ_y ）とすると、

【数１７】 のように表わされる。

【００６３】この１次の自己相関の式では、変位方向ｔ
の取り方により無数の特徴を得ることができる。ここで
は、上述の文献１にも示されているように、前述の図４
（Ａ）〜（Ｅ）に示す重複しない５つの変位方向につい
て１次の自己相関を算出するものとする。但し、図４
（Ａ）に示す変位方向ｔ＝（０，０）の場合には、σ_la
とσ_alのように組合せが同じものはその値も等しくなる
ので、どちらか一方で代表させる。したがって、０次の
自己相関特徴が５個、１次の自己相関特徴でかつ変位方
向ｔ＝（０，０）の場合が１５個、前記以外の１次の自
己相関特徴が４つの変位方向に対して２５個づつ算出で
き、合計１２０次元の特徴ベクトルｕ_ij，（ｉ＝１，・
・・，Ｎｘ，ｊ＝１，・・・，Ｎｙ）を抽出することが
できる。

【００６４】基準特徴辞書４３には、類似度マップ作成
処理部４２で用いる複数の基準特徴を登録しておく。例
えば、予め設定した複数の基準特徴を最もよく分離する
判別特徴空間に特徴ベクトルを写像するような結合係数
行列と、その判別特徴空間において各基準特徴に対応す
る判別特徴ベクトルが占める空間を登録しておくことが
できる。

【００６５】類似度マップ作成処理部４２では、局所自
己相関特徴抽出処理部１４で生成された正方領域ｆ_ijに
対応する特徴ベクトルｕ_ijを基に、各正方領域が基準特
徴辞書４３に登録されている各基準特徴にどの程度類似
しているかを示す尺度である類似度を算出し、この類似
度を２次元空間上に配列することで、各基準特徴に対応
する類似度マップを作成する。この類似度マップは、類
似度マップ記憶メモリ１８に記憶される。

【００６６】ここでは、基準特徴辞書４３に正準分析を
用いて算出した予め設定したＫ個の基準特徴を最もよく
分離するＮ次元の判別特徴空間Ｙに特徴ベクトルを写像
するような結合係数行列Ａ^T と、判別特徴空間Ｙにおい
て各基準特徴が占める空間の重心Ｇ_k ＝（Ｇ_k1，・・
・，Ｇ_kN），（ｋ＝１，・・・，Ｋ）と、各軸方向の半
径Ｒ_k ＝（Ｒ_k1，・・・，Ｒ_kN），（ｋ＝１，・・・，
Ｋ）が登録されているとして説明を行なう。

【００６７】まず、基準特徴辞書４３に登録されている
結合係数行列Ａ^T を用いて、

【数１８】 により、正方領域ｆ_ijに対応する局所自己相関特徴抽出
処理部１４で抽出した特徴空間上の特徴ベクトルｕ
_ijを、認識対象画像パターンの予め設定された基準特徴
に類似しているか否かを判別するために適した判別特徴
空間Ｙに写像して、判別特徴ベクトルｖ_ij，（ｉ＝１，
・・・，Ｎ_x ，ｊ＝１，・・・，Ｎ_y ）を算出すること
ができる。

【００６８】次に、基準特徴辞書４３に登録されている
基準特徴ｋの重心ベクトルＧ_k ＝（Ｇ_k1，・・・，
Ｇ_kN）と各軸方向の半径Ｒ_k ＝（Ｒ_k1，・・・，Ｒ_kN）
から

【数１９】 なる式を用いて、各基準特徴ごとに類似度マップＳ
_k （ｉ，ｊ），（ｋ＝１，・・・，Ｋ，ｉ＝１，・・
・，Ｎ_x ，ｊ＝１，・・・，Ｎ_y ）を算出し、類似度マ
ップ記憶メモリ１８に記憶する。ここで、判別特徴ベク
トル ｖ_ij＝（ｖ_ij1 ，・・・，ｖ_ijN ），（ｉ＝１，
・・・，Ｎ_x ，ｊ＝１，・・・，Ｎ_y ）である。

【００６９】図１１は、本発明の画像認識装置の第２の
実施の形態における２次元の判別特徴空間Ｙ（Ｎ＝２）
における諸値の説明図である。ただし、基準特徴の数は
３個としている。類似度マップＳ_k （ｉ，ｊ）の値は、
判別特徴ベクトルｖ_ijが図１１において点線で示した基
準特徴ｋに対応する楕円領域の外部にある場合には０と
なる。また、基準特徴ｋに対応する点線で示した楕円領
域の内部にある場合に正の値を取り、重心Ｇ_k に近いほ
ど大きな値となる。ここでは、判別特徴ベクトルｖ_ijが
重心Ｇ_k に一致する場合を１、楕円の周上に存在する場
合を０となるようにしている。

【００７０】認識処理部１９では、類似度マップ記憶メ
モリ１８に記憶されている複数の類似度マップ上の類似
度の分布およびこれらの相関関係から、入力されたカラ
ー原稿に認識対象が含まれているか否かを認識し、その
結果を認識結果として出力する。この認識処理の方法と
しては種々の方法が存在するが、ここでは、類似度マッ
プ作成処理部４２で３個の類似度マップが作成されたも
のとして、類似度マップ記憶メモリ１８に記憶されてい
るこれらの類似度マップから局所自己相関特徴を抽出
し、これを予め正準分析により算出しておいた結合係数
行列Ａ’を用いて、類似度を算出するために適した判別
特徴空間Ｙ’に写像して類似度を求める方法について述
べる。

【００７１】まず、Ｍ’（ｉ，ｊ）＝［Ｓ₁ （ｉ，
ｊ），Ｓ₂ （ｉ，ｊ），Ｓ₃ （ｉ，ｊ）］^T ，（ｉ＝
１，・・・，Ｎ_x ，ｊ＝１，・・・，Ｎ_y ）とし、以下
に示す式からそれぞれ０次と１次の自己相関特徴ベクト
ルを抽出する。

【数２０】 その結果、３次元の０次自己相関特徴ベクトルと４２次
元の１次自己相関特徴ベクトルが得られ、合計４５次元
の特徴ベクトルＵが得られる。

【００７２】次に、正準分析により特徴ベクトルＵを認
識対象画像パターンを含む画像と含まない画像とを最も
よく判別するような判別空間Ｙ’（Ｎ’次元空間）に写
像する結合係数行列Ａ’を予め算出しておき、

【数２１】 により、判別特徴ベクトルＶを算出する。また、判別空
間Ｙ’における認識対象画像パターンを含む画像に対応
する空間の重心Ｇ’と各軸方向の半径Ｒ’を予め算出し
ておき、

【数２２】 を用いることにより、与えられた画像と認識対象画像パ
ターンとの類似度Ｓ’が得られる。

【００７３】このようにして求められた類似度Ｓ’その
ものあるいは類似度Ｓ’に基づいて計算された値を認識
結果として表示したり、類似度Ｓ’と所定の閾値とを比
較し、認識対象画像パターンの存在の有無を認識結果と
して出力することができる。

【００７４】この例では、類似度を求めるために正準分
析を用いたが、これに限るわけではなく、それぞれのス
テップにおいて、上述の第１の実施の形態と同様の主成
分分析などの他の統計的手法や、例えばニューラルネッ
トワークなどを用いるなど、種々の手法を用いることが
可能である。

【００７５】図１２は、本発明の画像認識装置の第２の
実施の形態を実現する第２の構成例を示すブロック図で
ある。図中、図７と同様の部分には同じ符号を付して説
明を省略する。５１は特徴ベクトル抽出処理部、５２は
小領域分類特徴抽出処理部、５３は小領域分類処理部、
５４は正準分析処理部、５５は基準特徴空間算出処理部
である。上述の第１の構成例では、結合係数行列と各基
準特徴特徴が判別特徴空間Ｙにおいて占める空間の重心
および各軸方向の半径は、予め算出されて基準特徴辞書
４３に登録されているものとして、認識処理を行なって
いる。この第２の構成例では、これらの予め算出してお
くべき結合係数行列Ａと各基準特徴が判別特徴空間Ｙに
おいて占める空間の重心Ｇ_k および各軸方向の半径Ｒ_k
を算出する方法の一例について説明する。

【００７６】特徴ベクトル抽出処理部５１は、正方領域
位置算出処理部２３で抽出した複数の小領域から正準分
析を行なうための特徴ベクトルを抽出する。ここでは、
上述の第１の構成例で述べたエッジ特徴抽出処理部４１
と局所自己相関特徴抽出処理部１４と同様の処理を行な
うことにより、各小領域に対応する特徴ベクトルを抽出
することができる。

【００７７】小領域分類特徴抽出処理部５２では、小領
域分類処理部２６で小領域を分類する際に用いる特徴を
抽出する。ここでは、上述の第１の構成例で述べたエッ
ジ特徴抽出処理部４１と同様の処理を行なって小領域内
のエッジ強度マップｇ（ｘ，ｙ）を算出する。また、小
領域分類処理部２５で小領域を分類するために特徴ベク
トル抽出処理部５１で算出した特徴をそのまま用いる場
合には、小領域分類特徴抽出処理部５２を省略した構成
とすることもできる。

【００７８】小領域分類処理部５３では、認識対象画像
パターンに対して適当と考えられる複数の基準特徴ごと
に小領域を分類する処理を行なう。ここでは、上述の第
１の構成例におけるエッジ特徴抽出処理部４１で抽出し
た各小領域に対応するエッジ強度マップｇ（ｘ，ｙ），
（１≦ｘ，ｙ≦ｓ）を用いて分類を行なう。

【００７９】まず、エッジ強度マップｇ（ｘ，ｙ）の要
素のうち、予め定めた閾値Ｔ_m 以上の要素をカウント
し、その数をＣとする。この閾値Ｔ_m は認識対象により
適当な値を設定する必要がある。例えば、Ｔ_m ＝０．０
５とすることができる。

【００８０】次に、前述のカウント数Ｃの値により、対
応する小領域がどの基準特徴に属するかを決定する。こ
こでは、各基準特徴ごとに適当なカウント数の範囲を設
定しておき、各小領域を分類する。図１３は、本発明の
画像認識装置の第２の実施の形態を実現する第２の構成
例における小領域分類処理部で用いる基準特徴とエッジ
強度から算出した値との関係の一例の説明図である。但
し、ｓ² は１つの小領域が持つ画素の総数である。ま
た、前述の認識対象画像パターンをエッジ強度に基づい
て設定した基準特徴とは別に、認識対象画像パターンを
含まない画像から抽出した小領域に対応する特徴ベクト
ルを新たなもう１つの基準特徴として追加することもで
きる。

【００８１】正準分析処理部５４では、小領域分類処理
部５３で基準特徴ごとに分類された小領域に対応する特
徴ベクトルから、正準分析を行なって、これらを最もよ
く分離する判別特徴空間に写像する結合係数行列を算出
する。ここでは、Ｋ個の基準特徴を設定し、基準特徴ｋ
に関する特徴ベクトルの総数をｎ_k ，（ｋ＝１，・・
・，Ｋ）、特徴ベクトルをｘ^k _m，（ｋ＝１，・・・，
Ｋ，ｍ＝１，・・・，ｎ_k）とするとき、

【数２３】 によって、クラス間分散共分散行列Σ_B およびクラス間
分散共分散行列Σ_W を算出する。そして、

【数２４】 に示す一般化固有値問題を解くことにより、結合係数行
列Ａ^T を算出する。但し、Ｉは単位行列である。

【００８２】基準特徴空間算出処理部５５では、認識対
象画像パターンに対して設定した基準特徴が判別特徴空
間上で占める空間を決定する。ここでは、基準特徴ｋに
関する特徴ベクトルｘ^k _mを

【数２５】 によって、判別特徴空間へ写像し、基準特徴ｋに関する
判別特徴ベクトルｙ^k _m，（ｋ＝１，・・・，Ｋ，ｍ＝
１，・・・，ｎ_k ）を算出する。そして、以下の式によ
り、基準特徴ｋが判別特徴空間上で占める空間の重心Ｇ
_k ，（ｋ＝１，・・・，Ｋ）と各軸方向の半径Ｒ_k ，
（ｋ＝１，・・・，Ｋ）を算出することができる。

【数２６】

【００８３】上述の一連の処理により、第１の構成例で
述べた認識処理で用いる結合係数行列や基準特徴に関す
るパラメータなどの予め定めるべき値を算出することが
できる。

【００８４】なお、この例では、認識対象画像パターン
がエッジの強い部分と弱い部分とを持っていると仮定し
て、小領域分類特徴抽出処理部５２においてエッジ強度
マップを抽出したが、認識対象画像パターンに応じて他
の特徴を抽出することもできる。例えば、認識対象画像
パターン内のエッジ強度はあまり変化しないが色や鮮や
かさに変化がある場合には、Ｌ^* ａ^* ｂ^* 画像データの
ａ^* ，ｂ^* の値から各画素の色相や彩度を計算して、こ
れらの値により小領域を分類することができる。もちろ
ん、これらを組み合せてもよい。また、エッジ強度が閾
値Ｔ_m 以上の画素の数によってのみ分類するのではな
く、小領域内で最も多いエッジ強度の値から基準特徴を
決定することもできる。

【００８５】また、この第２の構成例では、第１の構成
例に合わせて、認識処理で必要となる諸値を正準分析に
よって求めた。第１の構成例において、他の手法により
類似度を算出する場合には、用いた手法に合わせて認識
対象画像データを処理しておく必要がある。例えば、ニ
ューラルネットワークを用いるのであれば、学習用の画
像データを用いてニューラルネットワークに学習させれ
ばよい。

【００８６】上述の例では、入力される画像としてカラ
ー画像を想定したが、グレイスケールやモノクロの画像
についても同様にして複数の基準特徴を設定し、それぞ
れの類似度を計算して認識処理を行なうことが可能であ
る。

【００８７】

【発明の効果】以上の説明から明らかなように、本発明
によれば、フォアグラウンド部分との類似度マップとバ
ックグラウンド部分の類似度マップを作成し、この２つ
のマップを使用して全体の類似度を認識するので、認識
対象画像パターンが一様でなくても、フォアグランド部
分とバックグランド部分とを自動的に分類して、特徴抽
出および認識を行なう。従って、種々の画像パターンに
対して高い精度での認識が可能となる。特に、認識対象
画像パターンに無地の部分が含まれていた場合、無地の
部分はバックグラウンドと判断されて、その他の部分と
は異なる認識処理が行われ、最終的にはフォアグラウン
ド部分とバックグラウンド部分の相関関係をも考慮した
認識処理を行うので、無地の部分のみが類似した画像を
与えられても、正確な認識が可能になるという効果があ
る。

【００８８】また、本発明によれば、複数の基準特徴に
対応する類似度マップを作成し、これらの類似度マップ
を使用して全体の類似度を認識するように構成すること
もできる。これにより、認識対象画像パターンが一様で
なくとも自動的に分類されて、特徴抽出および認識が行
なわれる。したがって、種々の画像パターンに対して高
い精度での認識が可能となるという効果がある。

【図面の簡単な説明】

【図１】 本発明の画像認識装置の第１の実施の形態を
示すブロック図である。

【図２】 本発明の画像認識装置の第１の実施の形態を
実現する第１の構成例を示すブロック図である。

【図３】 本発明の画像認識装置の第１の実施の形態を
実現する第１の構成例における正方領域抽出の一例の説
明図である。

【図４】 １次の局所自己相関の変位パターンの説明図
である。

【図５】 １次微分オペレータの一例の説明図である。

【図６】 本発明の画像認識装置の第１の実施の形態に
おける２次元の判別特徴空間における諸値の説明図であ
る。

【図７】 本発明の画像認識装置の第１の実施の形態を
実現する第２の構成例を示すブロック図である。

【図８】 本発明の画像認識装置の第１の実施の形態を
実施する第２の構成例におけるフォアグラウンド特徴ベ
クトル抽出処理部およびバックグラウンド特徴ベクトル
抽出処理部の動作の一例を示すフローチャートである。

【図９】 本発明の画像認識装置の第２の実施の形態を
示すブロック図である。

【図１０】 本発明の画像認識装置の第２の実施の形態
を実現する第１の実施例を示すブロック図である。

【図１１】 本発明の画像認識装置の第２の実施の形態
における２次元の判別特徴空間Ｙ（Ｎ＝２）における諸
値の説明図である。

【図１２】 本発明の画像認識装置の第２の実施の形態
を実現する第２の構成例を示すブロック図である。

【図１３】 本発明の画像認識装置の第２の実施の形態
を実現する第２の構成例における小領域分類処理部で用
いる基準特徴とエッジ強度から算出した値との関係の一
例の説明図である。

【符号の説明】

１…画像入力部、２…小領域抽出部、３…特徴抽出部、
４…フォアグラウンド類似度マップ作成部、５…バック
グラウンド類似度マップ作成部、６…認識部、７…類似
度マップ作成部、１１…カラー原稿入力処理部、１２…
Ｌ^* ａ^* ｂ^* 画像データ記憶メモリ、１３…正方領域位
置算出処理部、１４…局所自己相関特徴抽出処理部、１
５…線の傾き特徴抽出処理部、１６…バックグラウンド
類似度マップ作成処理部、１７…フォアグラウンド類似
度マップ作成処理部、１８…類似度マッップ記憶メモ
リ、１９…認識処理部、２１…カラー原稿入力処理部、
２２…Ｌ^* ａ^* ｂ^* 画像データ記憶メモリ、２３…正方
領域位置算出処理部、２４…分類特徴抽出処理部、２５
…フォアグラウンド特徴ベクトル抽出処理部、２６…バ
ックグラウンド特徴ベクトル抽出処理部、２７…フォア
グラウンド主成分分析処理部、２８…バックグラウンド
主成分分析処理部、４１…エッジ特徴抽出処理部、４２
…類似度マップ作成処理部、４３…基準特徴辞書、５１
…特徴ベクトル抽出処理部、５２…小領域分類特徴抽出
処理部、５３…小領域分類処理部、５４…正準分析処理
部、５５…基準特徴空間算出処理部。

Claims (6)

【特許請求の範囲】
1. 【請求項１】 入力された画像を量子化し画像データを
   生成する画像入力手段と、該画像入力手段により生成さ
   れた前記画像データから複数の小領域を抽出する小領域
   抽出手段と、該小領域抽出手段により得られた各小領域
   から特徴を抽出する特徴抽出手段と、該特徴抽出手段に
   より抽出された特徴を用いて前記小領域抽出手段により
   得られた各小領域ごとに認識対象画像パターンのフォア
   グラウンド部分との類似度を計算しフォアグラウンド類
   似度マップを作成するフォアグラウンド類似度マップ作
   成手段と、前記特徴抽出手段により抽出された特徴を用
   いて前記小領域抽出手段により得られた各小領域ごとに
   前記認識対象画像パターンのバックグラウンド部分との
   類似度を計算しバックグラウンド類似度マップを作成す
   るバックグラウンド類似度マップ作成手段と、前記フォ
   アグラウンド類似度マップ作成手段により作成された前
   記フォアグラウンド類似度マップおよび前記バックグラ
   ウンド類似度マップ作成手段により作成された前記バッ
   クグラウンド類似度マップにおける類似度の分布状態お
   よび前記フォアグラウンド類似度マップと前記バックグ
   ラウンド類似度マップの相関関係から入力された画像に
   認識対象画像パターンが含まれているか否かを認識する
   認識手段を有することを特徴とする画像認識装置。
2. 【請求項２】 前記フォアグラウンド類似度マップ作成
   手段および前記バックグラウンド類似度マップ作成手段
   は、学習用の認識対象画像パターンから抽出された小領
   域において予め定められた閾値以上のエッジ強度を持つ
   画素が予め定められた割合以上含まれている小領域をフ
   ォアグラウンド、これ以外の小領域をバックグラウンド
   として、予め統計的手法により結合係数行列を算出して
   おき、前記特徴抽出手段により抽出された特徴ベクトル
   から類似度を算出することを特徴とする請求項１に記載
   の画像認識装置。
3. 【請求項３】 前記フォアグラウンド類似度マップ作成
   手段および前記バックグラウンド類似度マップ作成手段
   は、学習用の認識対象画像パターンから抽出された小領
   域中の画素値の分散が予め定められた閾値以上の小領域
   をフォアグラウンド、これ以外の小領域をバックグラウ
   ンドとして、予め統計的手法により結合係数行列を算出
   しておき、前記特徴抽出手段により抽出された特徴ベク
   トルから類似度を算出することを特徴とする請求項１に
   記載の画像認識装置。
4. 【請求項４】 入力された画像を量子化し画像データを
   生成する画像入力手段と、該画像入力手段により生成さ
   れた前記画像データから複数の小領域を抽出する小領域
   抽出手段と、該小領域抽出手段により得られた各小領域
   から特徴を抽出する特徴抽出手段と、該特徴抽出手段に
   より抽出された特徴を用いて前記小領域抽出手段により
   得られた小領域ごとに予め設定しておいた複数の基準特
   徴との類似度を計算し複数の類似度マップを作成する類
   似度マップ作成手段と、該類似度マップ作成手段により
   作成された複数の類似度マップにおける類似度の分布状
   態および複数の類似度マップの間の相関関係から入力さ
   れた画像に認識対象画像パターンが含まれているか否か
   を認識する認識手段とを具備することを特徴とする画像
   認識装置。
5. 【請求項５】 前記類似度マップ作成手段における基準
   特徴として、前記小領域抽出手段により学習用の認識対
   象画像パターンから抽出された各小領域を該小領域の持
   つエッジ強度により複数に分類し、この分類された小領
   域の各グループから算出した特徴を用いることを特徴と
   する請求項４に記載の画像認識装置。
6. 【請求項６】 前記類似度マップ作成手段における基準
   特徴として、前記小領域抽出手段により学習用の認識対
   象画像パターンから抽出された各小領域を該小領域の持
   つ色相や彩度により複数に分類し、この分類された小領
   域の各グループから算出した特徴を用いることを特徴と
   する請求項４に記載の画像認識装置。