JP3894782B2

JP3894782B2 - 物体認識装置

Info

Publication number: JP3894782B2
Application number: JP2001376000A
Authority: JP
Inventors: 章内海; 信二鉄谷
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2001-12-10
Filing date: 2001-12-10
Publication date: 2007-03-22
Anticipated expiration: 2021-12-10
Also published as: US20030107653A1; JP2003178303A; US7110023B2

Description

【０００１】
【発明の属する技術分野】
この発明は物体認識装置に関し、特に画像の中から対象とする対象画像を認識する物体認識装置に関する。
【０００２】
【従来の技術】
物体認識はコンピュータビジョンにおける最も基本的な処理のひとつであり、たとえばランドマークの検出はロボットの誘導に重要であり、各種追跡システムの安定性は目標の検出精度に大きく依存している。近年、画像を用いた人の動作認識追跡についての研究が盛んに行われているが、そこでも安定した目標検出は不可欠であるといえる。
【０００３】
【発明が解決しようとする課題】
しかしながら、たとえば従来提案されてきた人物追跡システムでは、計算コストを抑えるため、環境に対して強い仮定をおくことで検出処理を簡略化したものが多かった。そのような方法としてよく利用されるものに背景差分(フレーム間差分）による動物体の抽出がある。しかし、背景差分を利用するにはカメラ位置と背景の両方が固定されている必要があり、また追跡目標以外の物体移動は許されない。これらの点は、システムをより一般的な環境で動作させようとした場合に大きな制約となる。
【０００４】
他の認識方法として、色情報の利用がある。たとえば、肌領域はほぼ一様な色をもつことから、顔や手の検出に色情報を使う提案もなされている。しかしながら色情報は照明などの環境の変化に対して不安定であり、また画面サイズが小さい場合にも領域検出は困難になる。
【０００５】
それゆえに、この発明の主たる目的は、対象物体を動領域あるいは特定の色領域として抽出するのではなく、物体自身の見え方の特徴に基づいて物体を認識する物体認識装置を提供することである。
【０００６】
【課題を解決するための手段】
この発明は、画像の中から対象とする対象画像を認識する物体認識装置であって、対象画像の背景に存在する背景画像と対象画像内の各領域の対応する画素値分布を抽出する画素値分布抽出手段と、画素値分布抽出手段によって抽出された各領域の画素値分布の違いに基づいて対象画像を認識処理する認識処理手段とを備えたことを特徴とする。
【０００７】
このように抽出された各領域の画素値分布の違いという物体自身の見え方の特徴に基づいて対象画像を認識処理することにより、物体が不特定の画素値をもつ場合であっても、正しく認識処理を行うことができる。
【０００８】
また、画素値分布抽出手段は、背景画像と対象画像のそれぞれをいくつかの領域に分割して異なるブロック間の距離を計算し、各ブロック間距離値の集合である距離マップを求め、各距離マップ内から抜き出した要素を所定次元の距離ベクトルの分布で表し、該背景画像と該対象画像のそれぞれにおける距離値ベクトルの分布を判別する判別軸を求めることを特徴とする。
【０００９】
また、画素値分布抽出手段は、求めた判別軸から寄与の小さい要素を取り除き、判別軸を再度計算して次元数を削減することを特徴とする。
【００１０】
また、認識処理手段は、入力画像内の各部分について距離値ベクトルを計算し、計算した距離値ベクトルと画像分布抽出手段によって求められた判別別軸とに基づいて計算した値が所定のしきい値以上であれば対象画像の検出されたことを判別することを特徴とする。
【００１１】
さらに、認識処理手段は、入力画像内のすべての可能なブロックについて画素値の平均ベクトルと共分散行列を計算した後、次元数を減らして距離値ベクトルを計算することを特徴とする。
【００１２】
さらに、入力画像から解像度の異なる複数種類の画像を生成し、解像度の異なる画像に対して認識処理を行う。
【００１３】
【発明の実施の形態】
まず、この発明の実施形態について説明する前に、この発明の概念について説明する。人物のように様々なテクスチャを持つ物体では、物体各部に特定の画素値を仮定することはできないため、この発明では画素値そのものではなく、画素値分布の変化に着目して物体認識を行う。すなわち、着衣の変化による色／テクスチャの違いなど、物体の画素値の多様性に対して共通な特徴を抽出し、これらの特徴を用いて物体認識を行う。
【００１４】
対象物体の色／明るさが一定であれば画素値は物体に関する重要な情報を与える。しかし、ある種の物体に関しては特定の画素値を持つことを期待できない。たとえば、人物像は頭部、胴体、足、腕などのいくつかの部位からなり、その一部は衣服によって覆われている。着衣の種類は半袖であるかあるいは長袖であるかなどほぼ無限にあると考えられるため、それらすべての色・模様を予めモデルとして持つことは不可能である。
【００１５】
逆に、各部位の幾何学的な位置関係は人物像間で類似している。つまり、頭部，胴体，足などの部位間の相対的な位置，各部位の形状は服装の異なる人物像間でも共通となり得る。そこで、この発明では、対象物体の幾何学的構造をそのような画素値の違いとして抽出し、対象物体の見え方の統計的なモデルをまず構築し、そのモデルと入力されたモデルとを比較し、スコアを計算し、スコアがしきい値を越えたとき人物が検出されたものと判断する。
【００１６】
図１はこの発明の一実施形態における物体認識装置のブロック図である。図１において、カメラ１は背景画像や人物画像を撮像し、その画像信号を認識装置２に与える。認識装置２はＡ／Ｄ変換器２１とＣＰＵ２２とメモリ２３と出力装置２４とを含み、カメラ１からの画像信号はＡ／Ｄ変換器２１によってデジタル信号に変換されてＣＰＵ２２に与えられる。ＣＰＵ２２はメモリ２３に記憶されている後述の図２および図１４に基づくフローチャートに基づくプログラム処理を行い、その結果を出力装置２４に出力する。
【００１７】
図２はこの発明の一実施形態の物体認識処理におけるモデル作成の手順を示すフローチャートであり、図３はモデル作成のためのブロック分割を説明するための図であり、図４は分割されたブロックの距離マップの計算を説明するための図である。
【００１８】
次に、図１ないし図４を参照して、この発明の一実施形態におけるモデルを作成する動作について説明する。図１に示したカメラ１によって人物画像を撮像し、その画像をＡ／Ｄ変換器２１でデジタル信号に変換してメモリ２３に記憶させ、続いてカメラ１によって背景画像を撮像し、デジタル信号に変換してメモリ２３に記憶する。ＣＰＵ２２はステップ (図示ではＳＰと略称する）ＳＰ１において、人物画像の距離マップを計算し、ステップＳＰ２において背景画像の距離マップを計算する。
【００１９】
ここで、人物画像を図３（ａ）に示すようにいくつかの領域（ブロック）に分割し、すべての異なる２ブロック間の距離を計算し、図３（ｂ）に示す各ブロック間について計算した距離値の集合を、上記「距離マップ」と呼ぶことにする。
【００２０】
距離マップの計算では、種々のものが考えられるが、この実施形態では計算の簡便さからマハラノビス汎距離を利用する。より具体的に説明すると、図３（ａ）に示すように入力された画像の画像サイズをｍ×ｎとする。ここで、各画素ｘ_s,t(１＜ｓ＜ｍ，１＜ｔ＜ｎ）はｋ次元ベクトルとして第（１）式のように記述できる。
【００２１】
ｘ_s,t＝［ｙ１，ｙ２…ｙ_k］´…（１）
たとえば、濃淡画像であれば白黒２値で記述できるのでｋ＝１であり、カラー画像であればＲＧＢで記述するのでｋ＝３になる。
【００２２】
次に、入力画像を図３（ｂ）に示すように小ブロックに分割する。各ブロックはｐ×ｑ画素からなるものとし、水平方向にＭ，垂直方向にＮ個のブロックが得られるものとする。図３（ｂ）では各ブロックに１…ＭＮの通し番号をつけて区別し、各ブロックをＸ₁…Ｘ_MNと呼ぶ。
【００２３】
続いて、各ブロックＸ_lについてブロック内の画素の平均ベクトルｘ_lおよび共分散行列Σ_lを第（２）式および第（３）式に基づいて計算する。
【００２４】
【数１】

【００２５】
最後に、各ブロック間のマハラノビス汎距離を計算し図４に示す距離マップＤを計算する。ここで、
【００２６】
【数２】

【００２７】
図４は図３（ｂ）に示した分割されたブロックＸ₁…Ｘ_MNを距離ｄ_1,1，ｄ_1,2，…，ｄ_NM,NMの行列式の距離マップとして示したものであり、対角線(左上−右下）に対して対称となる。
【００２８】
図５は実際の入力画像の一例を示す図であり、図６は図５の入力画像における距離マップの一例を示す図である。
【００２９】
図５に示した入力人物画像は６０×９０画素からなり、この入力画像を５×５画素のブロックに分割すると、図６に示すような２２８×２２８の大きさの距離マップとなる。この図６においても、距離マップは対角線(左上−右下）に対して対称となっている。この図６はカメラ１で撮像された画像のうち距離の近いところは似たような色や模様を有している可能性が大きく、離れていくと異なる色や模様を有している可能性が高いことから、距離が近い部分は黒く写っており、距離が離れるに従って白くなるパターンを示している。
【００３０】
また、人物が写っていると、人物の形の周囲は背景と人物との明確な区別があるのでその部分は明るくなり、人物の形内は服であれば同じ色や模様を有していることが多いので、その部分は黒くなる可能性が高くなる。これにより背景の分布と人物の分布の差となって現われる。
【００３１】
上述の距離マップをもとに対象物体(人物)画像と背景画像とを判別するためのモデルを構築する。図７は図５に示した人物画像の距離マップの一例を示す図であり、図８は背景画像の距離マップの一例を示す図である。
【００３２】
図７および図８に示した例は、各画像内で人物がほぼ同じ位置，大きさに現われる必要があるので人物画像として背景画像に別途撮像した人のみの画像を合成したものを利用している。
【００３３】
次に、人物（ｏｂｊ）および背景（ｂｃｋ）のそれぞれの画素について、第（５）式〜第（８）式によりマップ内の各要素に関する平均（ｄ_obj(i,j)，ｄ_bck(i,j)）・分散（σ² _obj(i,j)，σ² _bck(i,j)）を求める。
【００３４】
【数３】

【００３５】
図９は上述のようにして求められた人物画像の平均距離マップの一例を示す図であり、図１０は背景画像の平均距離マップの一例を示す図である。
【００３６】
図１０を参照すれば明らかなように、背景画像に対する距離値はマップ内で左上から右下に向かう対角線に近い要素では小さく、対角線から離れるに従い大きな値を持つことが分かる。これは、画像上で近い位置にある２つのブロックは似通った画素分布を持つので黒く示されており、２ブロックが互いに遠く離れるほど異なる画素分布を持つので白く示されている。
【００３７】
なお、図１０で縦方向および横方向に繰り返しパターンが見られるのは、本来縦横の２次元（Ｎ×Ｍ）に配置されているブロックを図４のＸ₁…Ｘ_M,Nのように一次元に並び替えたことに対応している。
【００３８】
一方、図９に示す人物画像に対する距離マップの平均についても図１０に示した背景と同様の傾向はあるものの、人の写っている領域に関連する中央部で背景画像とは異なっていることが分かる。
【００３９】
ところで、距離マップはそのすべての要素を後述の認識処理に利用すると、数万次元という膨大な次元数になってしまい、学習・認識の両面で不都合を生じる。そのため、図２に示すステップＳＰ３〜ステップＳＰ９の処理により次元数の削減が行なわれる。すなわち、ステップＳＰ３において距離マップを各要素ごとに比較し、第（９）式に基づいて両者の差分が求められる。
【００４０】
【数４】

【００４１】
図１１は第（９）式に基づく比較結果を示しており、明るい部分は人物画像と背景画像で距離マップ上の差が大きい要素を表しており、両者の識別に有効となる。そこで、値の大きい順にｒ個の要素(ｕ_r,1，ｖ_r,1），（ｕ_r,2，ｖ_r,2），…，（ｕ_r,r，ｖ_r,r）が選択される。たとえば、全体の約７．５％にあたる２０００個の要素が選択される。
【００４２】
次に、ステップＳＰ４において、距離マップＤ_k内からｒ個の要素を抜き出したものをｒ次元距離値ベクトルＤ´_r、_k＝［ｄｋ（ｕ_r,1，ｕ_v,1）…ｄｋ（ｕ_r,r，ｊ_r,r）］´で表す。
【００４３】
続いて、ステップＳＰ５において、人物画像についての距離ベクトルＤ´^obj _r,1，…，Ｄ´^obj _r,Kおよび背景画像についての距離ベクトルＤ´^bck _r,1，…，Ｄ´^bck _r,Kの分布をｒ次元正規分布で表現し、ステップＳＰ６において、線形判別法により両者を判別する判別軸を求める。
【００４４】
それぞれの距離値ベクトルの平均および共分散行列をそれぞれＤ´^obj _r，Σ_D´_obj（人物画像）およびＤ´^bck _r，Σ_D´_bck（背景画像）で表すとすると、ｒ次元での判別軸Ａｒは第（１０）式によって得られる。
【００４５】
【数５】

【００４６】
ステップＳＰ７において、このようにして得られた判別軸から寄与の小さい要素を取り除き、ステップＳＰ８において判別軸を再度計算することを繰り返しながらステップＳＰ９において順次次元数を削減する。
【００４７】
図１２および図１３は選択された要素を示す図である。
この図１２および図１３に示した例は、５０個の要素（５０次元）を元の画像空間に投影して表示したものであり１組のみハイライト表示されている。各要素は元の画像空間の２ブロックに相当するため、それらを図１２に示すように中央に近いものと、図１３に示すように遠いものに分けて表示されている。
【００４８】
次に、上述のごとく作成されたモデルを用いて認識処理する動作について説明する。認識処理では、選択された要素に対応する判別軸により認識処理を行う。
【００４９】
図１４はこの発明の一実施形態の物体認識処理における認識処理の手順を示すフローチャートであり、図１５は認識処理の流れを示し、図１６は多重解像度画像による認識動作を示す図である。
【００５０】
認識処理においては、入力画像の中で任意のサイズで写っている人物を認識することにある。このために、図１４に示すステップＳＰ１１において、検査対象画像を準備する。この検査対象画像はカメラで対象となる画像が撮像され、デジタル化されてメモリに記憶される。しかし、人物が写る大きさはカメラと人物との距離によって変わるので、大きく写ることもあれば、小さく写ることもある。
【００５１】
そこで、ステップＳＰ１２において、入力画像に基づいて図１６に示すように数段階、たとえば３段階の解像度を持った画像が予め作成される。図１６に示した例では、（ａ），（ｂ）および（ｃ）の順に解像度が粗くなっており、それぞれの解像度の画像にはたとえば大きさの異なる３つの人物画像が含まれている。ステップＳＰ１３において大きさの異なる人物画像からいずれかの検査対象解像度画像を選択する。
【００５２】
そして、たとえば入力画像が図１５に示すように３２０×２４０の画素を有しているものとすると、計算コストを抑えるために、ステップＳＰ１４において入力画像のすべての可能なブロックについて画素値の平均ベクトルｘおよび共分散行列Σを計算する。計算式は前述の第（２）式および第（３）式が用いられる。その後、ステップＳＰ１５において検査対象領域を選択し、ステップＳＰ１６において画像内の各部分について距離ベクトルＤ´_rを計算する。ステップＳＰ１７において前述の第（１０）式で求められた判別軸Ａ_rと距離ベクトルＤ´_rとに基づいてスコアを計算し、ステップＳＰ１８において、次式に基づいて、スコアＡ_rＤ´_rがしきい値を越えたか否かを判別する。
【００５３】
Ａ_rＤ´_r＞しきい値（１１）
ステップＳＰ２０において全ての領域を検査したか否かを判別し、検査していない領域があればステップＳＰ１５に戻り、上述のステップＳＰ１５〜ステップＳＰ２０の動作を繰り返す。
【００５４】
全ての領域を検査していればステップＳＰ２１において、全ての解像度画像を検査したか否かを判別する。検査していない解像度画像があればステップＳＰ１３に戻り、ステップＳＰ１３〜ステップＳＰ２１の動作を繰り返す。これらの一連の動作によりステップＳＰ１８において、スコアがしきい値を越えていることを判別すれば、ステップＳＰ１９において、人物が検出されたものと判別する。
【００５５】
上述の方法を用いて、人物画像および背景画像として各４０００枚（合計８０００枚）の画像を用意し、実験を行った。まず、既に説明したように半分の４０００枚（人物画像・背景画像各２０００枚）の画像を使ってこの発明による認識率を評価した。その認識結果を次に示す。
【００５６】

次元数は認識に用いた距離マップ中の要素数を示しており、ここでは５０要素による正答率が最も高く９０％以上となったほか、１０要素のみによる実験でも８３％の正答率が得られた。
【００５７】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００５８】
【発明の効果】
以上のように、この発明によれば、抽出された各領域の画素値分布の違いという物体自身の見え方の特徴に基づいて対象画像を認識処理することにより、物体が不特定の画素値をもつ場合であっても、正しく認識処理を行うことができる。すなわち、たとえば服装の異なる人物像など物体のもつ画素値が大きく異なる場合であっても、少数のモデルにより効率よく認識処理を行うことができる。
【００５９】
しかも、この発明では固定した背景を仮定しないため、手持ちカメラのようにカメラが移動する場合や背景や照明が動的に変化する場合にも動作することが期待できる。
【図面の簡単な説明】
【図１】この発明の一実施形態における物体認識装置のブロック図である。
【図２】この発明の一実施形態における物体認識処理におけるモデル作成の手順を示すフローチャートである。
【図３】モデル作成のためのブロック分割を説明するための図である。
【図４】分割されたブロックの距離マップの計算を説明するための図である。
【図５】入力画像の一例を示す図である。
【図６】距離マップの一例を示す図である。
【図７】人物画像の距離マップの一例を示す図である。
【図８】背景画像の距離マップの一例を示す図である。
【図９】人物画像の平均距離マップの一例を示す図である。
【図１０】背景画像の平均距離マップの一例を示す図である。
【図１１】平均距離マップ間の差を示す図である。
【図１２】選択された要素のうちの中央に近い例を示す図である。
【図１３】選択された要素のうちの遠い例を示す図である。
【図１４】この発明の一実施形態の物体認識処理における認識処理の手順を示すフローチャートである。
【図１５】認識処理の流れを示す図である。
【図１６】多重解像度画像による認識動作を示す図である。
【符号の説明】
１カメラ、２認識装置、２１Ａ／Ｄ変換器、２２ＣＰＵ、２３メモリ、２４出力装置。

Claims

入力画像の中から対象とする対象物体画像を認識する物体認識装置であって、
前記対象物体画像を含む画像と含まない画像のそれぞれの画像において、それぞれの画像を複数のブロック領域に分割し、互いに異なるブロック領域間の距離を計算して各ブロック領域間の距離値の集合である距離マップをそれぞれ求める画素値分布抽出手段と、
前記入力画像について前記複数のブロック領域に分割された各前記ブロック領域についての距離マップを計算し、前記対象物体画像を含む画像と含まない画像の前記画素値分布抽出手段によってそれぞれ求められた距離マップとの比較に基づいて前記入力画像の中から前記対象物体画像を認識処理する認識処理手段とを備えたことを特徴とする、物体認識装置。
前記画素値分布抽出手段は、前記対象物体画像を含む画像と含まない画像のそれぞれ求められた距離マップの差分に基づいて、前記距離マップ内から抜き出した差分値の大きい要素を所定次元の距離値ベクトルの分布でそれぞれ表し、前記対象物体画像を含む画像と含まない画像の距離値ベクトルの分布を判別する判別軸を求めることを特徴とする、請求項１に記載の物体認識装置。
前記画素値分布抽出手段は、前記求めた判別軸から前記距離マップ内の寄与の小さい要素をさらに取り除き、判別軸を再度計算して、次元数を削減することを特徴とする、請求項２に記載の物体認識装置。
前記認識処理手段は、入力画像内の各部分について距離値ベクトルを計算し、計算した距離値ベクトルと前記画素値分布抽出手段によって求められた判別軸とに基づいて計算した値が所定のしきい値以上であれば前記対象物体画像が検出されたことを判別することを特徴とする、請求項２に記載の物体認識装置。
前記認識処理手段は、前記入力画像内の各前記ブロック領域において、画素値の平均ベクトルと共分散行列を計算した後、次元数を減らして前記距離値ベクトルを計算することを特徴とする、請求項４に記載の物体認識装置。
前記認識処理手段は、前記入力画像から解像度の異なる複数種類の画像を生成し、前記複数種類の前記解像度の異なる画像の各々の中から前記対象物体画像を認識処理することを特徴とする、請求項１に記載の物体認識装置。