JPH09171553A

JPH09171553A - 画像認識方法

Info

Publication number: JPH09171553A
Application number: JP33147595A
Authority: JP
Inventors: Atsushi Hiroike; 敦広池; Yasuhide Mori; 靖英森; Akihito Sakurai; 彰人櫻井
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-12-20
Filing date: 1995-12-20
Publication date: 1997-06-30

Abstract

(57)【要約】【課題】本発明は、画像中の対象物の形態情報に基づ
いた画像情報の認識を可能とする特徴抽出を行なうこと
を目的とする。【解決手段】まず、各画素に対して、方向ごとの輝度
勾配を成分とするベクトルを割当てる(11)。次に、各画
素を中心とする極座標系上で、角度方向については等間
隔、半径方向については対数尺度上で等間隔になるよう
な区分を考え、各区分領域ごとの平均値を用いて、各画
素近傍の状態を記述するベクトル定義する(12)。このベ
クトル間の共変動性を各画素ごとに抽出したものを全画
素について加算し(13)、これを与えられた画像の特徴量
とし、この特徴量にもとづく認識を行う(14)。【効果】本発明における近傍系の定義により、注目画
素周辺の広い領域から有効な情報を効率よく取り出せる
ようになった。来技術よりも確度の高いパターン認識処
理が行なわれるようになった.

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像情報の表現及
び認識処理に関する。

【０００２】

【従来の技術】本発明と類似した手法として、次の文献
(1)の多重相関を用いた画像認識の手法があり、これを
顔画像認識に応用した例が文献(2)に記載されいる。

【０００３】文献(1)大津展之「適応学習型汎用画像計
測認識システム」、映像情報（I），1989，3文献(2)F.
Goudail, E. Lange, T. Iwamoto, K. Kazuo, N. Otsut:
“Fast Face Recogniton Method Using High Order Au
tocorrelatios" , Proceedingof 1998 International J
oint Conference on Neural Networks, 1297-1300。文
献(1)の手法を、簡単に述べれば、画像中のある注目す
る画像とその８近傍の画像、計９の画素の組み合わせに
ついて、画像値の多重積を求め、それらの積の画像全体
での和を与えられた画像の特徴量ベクトルとして用いる
もである。実際には、１重積（画素値そのもの）、２重
積、３重積まで用い、平行移動による同値性等を考慮す
ることにより、２５次元の特徴量ベクトルを構成してい
る。

【０００４】

【発明が解決しようとする課題】文献(1)の手法には、
以下の課題がある。

【０００５】１．特徴量を求める際には、周囲画素の中
の狭い範囲（8近傍）しか考慮していない。従って、よ
り広い範囲の画素情報を必要とする対象の形態情報が十
分に反映された特徴量を抽出するものではない.しかし
ながら、単純に近傍画素を多くした場合、積をとる組み
合わせ数が膨大になり、実用的ではない。また、理論的
にも、その組み合わせに見合った有効な特徴量を得られ
る保証はない。従って、注目画素周辺の広い領域から有
効な情報を効率よく取り出せるような手法が必要であ
る。

【０００６】２．この手法は、画素値そのものに基づく
演算から成り立っており、照明条件や対象物と背景との
輝度対比等の変化に対する不変性は考慮されていない。
このことは、本発明の手法を開発する際の予備実験でも
示された。従って、これらの変化に対して不変性を持つ
特徴抽出方法が必要である。

【０００７】３．各画素に対して、スカラではなく、ベ
クトルが情報として与えられている場合（例えば、色
情報、輝度勾配等）にも適用できるように、手法を拡
張する必要がある。

【０００８】

【課題を解決するための手段】

１．本発明の手法では、以下のような近傍系の定義を行
なう。従来手法では注目する画素周辺の画素そのものを
用いるのに対して、本発明では、注目画素を中心とする
極座標系を考え、注目画素近傍を極座標系の区分領域に
量子化する。ただし、この際には、角度方向については
そのまま等間隔、半径方向については対数尺度上で等間
隔になるように領域を設定する。

【０００９】この極座標系での量子化を行なうために、
近傍画素の加重平均をとるための関数（マスク関数）を
定義する。この関数については、遠方の画素の効果を相
対的に小さくする、量子化の際の境界における不連続性
なくす等の工夫をする。これにより、量子化に伴う異方
性（角度方向の違いに由来する特徴抽出の信頼性の相
違）が低減される。

【００１０】この近傍系の定義により、注目画素から離
れるに従って、より多くの画素を一塊として扱うことと
なり、遠方との関係を考慮する場合のデータ量の爆発は
起こらなくなる。このことは、注目画素周辺の広い領域
から有効な情報を効率よく取り出せることを意味する。

【００１１】２．本発明では、画素情報が任意次元のベ
クトルであるようなデータに対して適用する方法とし
て、ベクトル要素間の積を計算する方法を用いる。

【００１２】３．画素情報を表すベクトルの１例とし
て、輝度勾配情報を用いる。これにより、照明条件や対
象物と背景との輝度対比の変化に対して安定した情報抽
出が可能となる。

【００１３】

【発明の実施の形態】以下に、本発明による画像認識方
法の実施例を述べる。

【００１４】なお、以下の文中式の添字等は、以下のよ
うな表記に従う。

【００１５】

【数１】

【００１６】（実施例１）本実施例の処理の流れの概略
を図１に示す。本方法は、画像を入力データとして受
け、先ず、輝度勾配情報の抽出を行う（図１の符号１
１）。得られた輝度勾配情報より画像内の対象物の輪郭
線の局所的な形状に基づく局所的特徴を各画素上で抽出
する（同１２）。抽出された局所的特徴を全画素につい
て加算し、画像の特徴量とし（同１３）、その特徴量に
基いて、与えられた画像の認識を行ない（同１４）、そ
の結果を出力する。

【００１７】図２は、本発明の方法に基くプログラムを
具備した画像２５認識装置の構成図である。画像入力装
置２１で取援得されたビデオ画像等のデータは、主記憶
を経て、ハードディスク等の記憶装置２２に格納され
る。記憶装置２２内には、本発明の方法に基くプロマグ
ラム２４が用意されており、ＣＰＵ２５がそのプログラ
ムに従う処理をデータ２３に対して行う。処理の結果
は、他のプログラムの入力として用いられるか、あるい
はデイスプレー、プリンタ等の出力装置２６通して、使
用者に教えられる。

【００１８】１．近傍情報の抽出方法先ず、本実施例における計算において、基本的な役割を
果たす扇型マスクについて説明する。注目する画素近傍
の領域を区分するために、次式に示す、極座標系で定義
されたマスク関数の2次元の系列f_{k,l} (k=1,…,N_θ,
l=1,…,N_r)を考える。

【００１９】

【数２】

【００２０】ただし、N_θは、4以上の2のべき乗（4,8,
…）とする。この系列は、θ方向については等間隔,r方
向については対数尺度で等間隔になるように構成されて
いる。各マスク関数には、(θ, ln r)上での２次元の三
角関数の非負の半周期分が用いられ、積分すると１にな
るように規格化されている。また、隣合う領域に対応す
る関数間では、π/4の重複を持つ。

【００２１】すなわち、f_{k,l}が非零である領域は、f
_{k-1,l}及びf_{k+1,l}と半分ずつθ上での領域を共有
し，f_{k,l-1}及びf_{k,l+1}と半分ずつln r上での領域
を共有する。マスク関数の形状の例は,図3に示した。

【００２２】通常の画像データは、2次元空間を正方格
子状に量子化したものとして与えられる。これを極座標
系で再度量子化するために、極座標の原点が、中心とな
る正方格子の中央に来るマスク画像F_{k,l}を考える。F
_{k,l}の(i,j)番目の画素値(i=…,-2,-1,0,1,2,…,j=
…,-2,-1,0,1,2,…)は,マスク関数f_{k,l}を対応する正
方領域D(i,j)(i-0.5 < x < i + 0.5, j-0.5 < y < j +
0.5)で積分したものである(次式を参照)。

【００２３】

【数３】

【００２４】図4は、この計算で得られたマスク画像の
例である。

【００２５】このマスク画像を用いて、画像の注目点近
傍の状態を以下に定義する。

【００２６】今、Aを任意の画像（ないしは画像状の広
がりを持つデータ）とする。Aの各画素の値は、白黒濃
淡画像ならばスカラであるが、一般にはベクトルとして
考える(A(i,j) = ( a_1(i,j), a_2(i,j), … )^T)。た
だし、^Tはベクトルの転置を表す。マスク画像 F_{k,l}
をAに作用させて得られるデータをF_{k,l} * Aで表せ
ば、その(i,j)番目の要素は、次式で計算される。

【００２７】

【数４】

【００２８】２．輝度勾配情報の抽出図1の11にある輝度勾配情報の抽出について説明する。

【００２９】Aを白黒濃淡画像、{F_{k,1}} (k=1, …, N
_θ)をr方向のランク数が1のマスク画像系列とする。画
像Aのある画素上でのある方向に沿った輝度勾配の絶対
値を、原点について対称な位置にある2つのマスク画像
によって得られる値の差から定義する。各画素にN_θ/2
次元の方向成分を持つ輝度勾配画像をGとすれば、次式
のようになる。

【００３０】

【数５】

【００３１】上式中のk+N_θ/2とは、 k番目の方向から
180度回転した方向を示す。

【００３２】絶対値を用いる理由は、輝度勾配が対象物
の輪郭に由来するものだとすれば、その符号は、背景輝
度との対比に依存するものと考えられるからである。照
明や背景の変化に依存しない対象の認識を行おうとした
場合、勾配値の絶対値の方がより有効な情報と言える。

【００３３】r方向の範囲の大きさは、基本的には任意
でよいが、与えられた画像の解像度を反映するには、r_
1 = 1, Δ r = 2 程度が適当と考えられる。この場合、
マスク関数が値を持つのは、画像上で、原点から0.5〜
2.0画素の範囲となる。図3及び図4に示したのは、この
条件を満すマスク関数及びマスク画像である。

【００３４】３．輪郭線形状特徴量の抽出図１の１２にある輪郭線形状特微量の抽出について説明
する。

【００３５】(数5)の輝度勾配の絶対値Gを用いて輪郭線
の形状を抽出する特徴量を構成する。

【００３６】図5は、方法の概念を説明するための図で
ある。輪郭線形状抽出のためのN_θ ×N_rのマスク系列
{F_{k、l}}を用意する。ただし、方向の分割数はGを求
める際のマスク系列と等しい。図5に描かれた扇型によ
って分割された円50は、円の中心に存在する画素の近傍
領域をこのマスク系列によって分割する様子を模式的に
示したものである。今、太線51で示しすような形の輪郭
線が存在すると仮定し、この輪郭線を覆う２つのマスク
を網かけされた２つの扇型51で表す。各マスクにより、
輪郭線の延びる方向と直交する方向(51中の小さな矢印)
の輝度勾配の小領域内で加重平均を計算する。２つのマ
スクによる計算結果の積を、51で示すような輪郭線が存
在する確からしさとする。図5にある分割上で考えられ
る全ての輪郭形状のパターンについて、上記のような確
からしさを計算することにより、輪郭線形状特徴量を表
す局所的特徴ベクトルが抽出される。

【００３７】次式は、以上の手続きを具体的に記述した
ものである。

【００３８】

【数６】

【００３９】式中の E_{kk'l}(i, j)は、(i,j)番目の画
素において抽出された特徴量を表す。なお,k ± N_θ/4
は、k番目の方向と直行する方向を示す。

【００４０】４．特徴量ベクトルの計算と認識方法図1の13の処理において、上述の輪郭線形状特徴量E_{k
k'l}(i,j)を全面素について加算することにより、N_θ,
(N_θ-1)/2×N_r次元の特徴量ベクトルが、１つの画像
に対して定義できる。

【００４１】このような手続きによつて、各画像に特徴
量が割当てられた画像の集合を考える。各画像には、そ
れが帰属する群が定められている。今、特徴量ベクトル
ｘを持つある画像が与えられるた時、特徴量の分布に多
変量正規分布を仮定した場合の最適な判別規則は、次式
のマハラノビスの汎距離が、最小となる群を選ぶことで
ある。

【００４２】

【数７】

【００４３】ここで、μ_iは、群iの特徴量の平均ベク
トル、Σ_Wは、級内分散共分散行列(各標本のそれが属
する群平均からのばらつき）である。

【００４４】数7の判別規則におけるΣ_W及び各群のμ_
iは、予め、母集団から抽出された学習サンプルから推
定される。なお、これらの統計的用語の具体的な定義及
び具体的な推定の方法等については、多変量解析に関す
る解説書（例えば、柳井晴夫、高木広文編「多変量解析
ハンドブック」、５章判別分析(12-159),1986,現代数
学社)にある。

【００４５】上記の特徴量ベクトルの画像認識における
有効性を、実画像データによる実験で検証した結果を示
す。

【００４６】各1体のぬいぐるみ人形を撮影した480×48
0画素の白黒濃淡画像を用いた判別実験を行なった。人
形の数(群数)は10で、各人形について40枚ずつ画像を
用意した。各人形の画像として、以下のものを用意し
た。

【００４７】１．照明、背景色及び背景の質感を変化さ
せたもの。

【００４８】２．積木等の認識を妨害すると仮定される
対象物を、対象物の背後あるいは手前に置いたもの。

【００４９】逆に、人形とカメラとの相対的関係（向き
及び距離）は、カメラと平行な面上での移動を除いて、
あまり変化がないように統制した（同一の人形の見かけ
の大きさの差は、最大で高々1.5倍程度）。

【００５０】実験の手続きは、先ず、ランダムに選んだ
各20ずつの学習サンプルから、各人形に対応する群平均
ベクトル、及び、級内分散共分散行列を求める。その
後、全体から学習サンプルを除いた各20ずつをテストサ
ンプルとして、数7の判別規則に基づく判別実験を行な
う。

【００５１】以上の手続きを１試行とした200試行を行
ない、その平均判別率（ないしは誤判別率）を求めた。

【００５２】表1に、本実施例の方法による判別実験の
結果を、従来技術である大津の方法と比較して示した。
表中に示した結果は、全て、原画像を4×4画素ごとにま
とめて縮小した画像に対して、各種の方法を適用したも
のである。

【００５３】本実施例の結果として表中に示したのは、
N_θ=8, N_r=2, 半径方向の参照範囲は1〜8画素(r_1=2.
0)の場合である。従来の方法では,誤判別率が47.4％で
あるのに対して、本実施例では、20％以下まで誤判別率
が低減した。この差は、統計的に有意であり、本実施例
の方法の有効性は、明らかといえる。

【００５４】

【表１】

【００５５】（実施例２）図1の12において、輪郭線形
状特徴量とは異なる局所的特徴量を用いた場合に勾配画
像Ｇのような、各画像にベクトルが定義され画像を与え
られた場合一般に対して適用できるものである。

【００５６】一般的に論じるため、Gを、各画素がn次元
のベクトルからなる画像状の広がりを持つ任意のデータ
として考える。これに対して、共起関係を抽出するため
のマスク系列{F_{k,l}},(k=1,…,N_θ, l=1,…,N_r)を
用意する。これにより、任意の画素近傍のマスク値とし
て、N_θ×N_r個のn次元ベクトルが得られる。これら全
て要素の組合せを考えることも可能であるが、データ量
の増大等を考慮して、（輝度勾配を求める場合と同様）
注目点を挟んで対称な位置にある近傍系でのみ共起関係
を計算する。図6は、注目点を挟んで対称な位置にある
近傍系でのみ共起関係を計算する。図6は、この計算仮
定を模式的に説明するものである。60は、図5の50と同
様、マスクによる画素近傍の分割の様子を表す。網かけ
された２つの扇形６１は、積を求めるマスクのある組を
表し、６１内の放射状に並んだ矢印は、Ｇの各画素上に
定義されベクトルを表す。

【００５７】次式に以上の手順を具体的に示した。

【００５８】

【数８】

【００５９】式中の C_{kl}(i、 j)は、(i,j)番目の画
素において抽出された特徴量を表す。各C_{kl}は、形
式的には、n×nの行列を画素値とする画像状のデータで
ある。従って、これらを全画素について加算することに
より、n^2×N_θ/2×N_r次元の特徴量ベクトルが得られ
る。

【００６０】本実施例の方法の方法の有効性を実施例1
と同様の判別実験によって検討された。

【００６１】結果は、例1と同じく表1に示した。表中に
示したのは、元のベクトル画像として、N_θ=8とした場
合の数5の輝度勾配画像G用いたものである。共起関係を
抽出マスク系列は、N_θ=8,N_r=1で、半径方向の参照範
囲は2〜8画素(r_1=4.0)である。

【００６２】本発明の場合も、例(1)と同様、誤判別率
は２０％以下である。すなわち、例(1)と感様の有効性
が示された。

【００６３】

【発明の効果】画像認識に関して従来手法より優れた認
識結果を出すことができた。

【図面の簡単な説明】

【図１】処理の流れ。

【図２】認識装置の構成図。

【図３】マスク関数の形。０度方向に広がったマスク関
数の例を示した。x-y座標は、画素の単位である。

【図４】マスク画像の例。実際には、内側の矩形で囲ん
だ部分だけが画像として用意される。

【図５】輪郭線形状特徴の抽出。小さい矢印は、輝度勾
配の方向。

【図６】共分散特徴の抽出。小さい矢印は、輝度勾配の
方向。

Claims

【特許請求の範囲】

【請求項１】画像中の各画素を中心とした極座標系にお
いて、角度方向については等間隔、半径方向については
対数尺度上で等間隔になるように平面を区分し、各区分
領域内での画素値の平均値を計算することにより、任意
の画素周辺の１画素を越える範囲の画素値の分布を抽出
することを特徴とする画像認識方法。
【請求項２】任意次元のベクトルが各画素に対して定義
された画像において、請求項1の方法により抽出された
各画素周辺のベクトルの分布から、各画素周辺における
ベクトル要素間の共起関係を抽出し、それを全画素につ
いて加算することにより、画像情報の縮約を行なうこと
を特徴とする画像情報の表現方法、及び、この表現方法
によって与えられたデータによって認識を行なうことを
特徴とする画像認識方法。
【請求項３】請求項２記載の認識方法において、各画素
に定義されるベクトルとして、各画素上で複数の方向に
沿った輝度勾配の絶対値を用いることを特徴とする画像
認識方法。
【請求項４】計算機外に存在する画像情報を計算機内の
記憶装置へ転送することを可能とする映像入力装置を備
え、請求項１または請求項２または請求項３の方法に基
くプログラムを記憶装置に備えることを特徴とする画像
認識装置。