JPH11265452A - 物体認識装置および物体認識方法 - Google Patents

Abstract

(57)【要約】 【課題】入力画像を部分空間で表現し、辞書内の部分空
間との間の角度によってその類似度を測定することによ
り、限られた数のパターンから作成された辞書を用いた
物体認識をより高精度に実施可能とする物体認識装置を
提供する。 【解決方法】認識対象となる物体が撮像された画像を画
像入力部３１によって入力処理し、この入力された画像
を受け取った部分空間間の角度計算部３２は、この画像
から部分空間を作成して、その作成した部分空間と辞書
記憶部３３に記憶された辞書内の部分空間とがなす角度
を辞書の類ごとに計算する。そして、認識部３４は、部
分空間間の角度計算部３２により得られた角度（類似
度）の大小により、認識対象となる物体の認識処理を実
行する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、複数の方向から
撮像した画像によって３次元の物体を認識する装置およ
びその方法に関する。

【０００２】

【従来の技術】パターン認識には、主として紙に書かれ
た２次元の文字や図形などを認識する場合と、３次元の
物体を認識する場合とがある。そして、従来扱われたパ
ターン認識問題の大部分は２次元の認識であった。その
中で、部分空間法は典型的な方式であり、たとえば「エ
ルッキ・オヤ著，小川英光，佐藤 誠訳，“パターン認
識と部分空間法”，産業図書，１９８６．」（文献１と
称する）に詳しい記述がある。この枠組みは、辞書を部
分空間で表現し、入力をベクトルで表現して、そのベク
トルを辞書の部分空間に射影し、その長さやベクトルと
部分空間とがなす角度によって認識を行なうものであ
る。

【０００３】パターンの変形により許容力がある方法と
しては、たとえば「前田賢一，渡辺貞一，“局所的構造
を導入したパターン・マッチング法”，信学論（Ｄ）Ｊ
６８−Ｄ，３，ｐｐ．３４５−３５２，１９８４．」
（文献２と称する）や「山口修，福井和広，前田賢一，
“動画線を用いた顔認識システム”，信学技報ＰＲＭＵ
９７−７０（１９９７．０６）」（文献３と称する）に
記述された相互部分空間法が知られている。

【０００４】近年、３次元物体認識の認識が注目されて
いるが、データ量が２次元の認識と比較して膨大になる
という問題点があった。たとえば「村瀬 洋，シュリー
・ナイヤー，“２次元照合による３次元物体認識”，信
学論（Ｄ−II）Ｊ７７−Ｄ−II，１１，ｐｐ．２１７９
−２１８７，１９９４．」（文献４と称する）に記述さ
れた方法は、これを解決するために提案されたもので、
元のパターンが表現されているベクトルの次元数より低
次元の固有部分空間でパターンを表現することにより、
データ量の削減を図ることを可能としている。この表現
のもとで、ベクトルで表現された入力と辞書の距離とを
部分空間内で測定することにより、辞書の内最も近いも
のを答として認識を行なう。

【０００５】そして、３次元物体認識の例題として顔認
識がある。ここでも、たとえば「石川則之，有木康雄，
“部分空間法による顔認識の比較実験”，画像の認識・
理解シンポジウムＭＩＲＵ‘９６，II−１４５，１９９
６．」（文献５と称する）に記述されているように、部
分空間法が用いられることがある。

【０００６】また、前述した文献３では、顔認識に相互
部分空間法を用いた例が紹介されているが、両目が見え
るほぼ正面のみを対象としているため、ここでいう３次
元物体とは異なる。

【０００７】

【発明が解決しようとする課題】しかしながら、これら
の方法は、予め用意する辞書に関して、十分多くの方向
から撮像された３次元物体の画像を用意しておく必要が
あるため、データの収集が大変であるという問題点があ
った。

【０００８】また、撮像画像が少ないと、たまたま用意
した辞書に登録された撮像画像と異なる方向から撮像さ
れた入力画像に対しては、間違った認識をする可能性が
あった。

【０００９】図１は、ベクトル空間における辞書と入力
の様子とを模式的に示したものである。図中、１１
（ａ）〜（ｃ）は入力（ベクトル）、１２は辞書（部分
空間）を示している。入力と辞書との類似度は、ベクト
ルと部分空間のなす角度で表現される。このような枠組
みが前述した文献１でいう部分空間法である。

【００１０】図中、１１（ａ）は、たまたま、辞書を作
成するのに使われたパターンに近かった（あるいは、た
またま辞書を作成した時と近い方向から撮像された）た
め正しく認識されるが、１１（ｂ），（ｃ）はいずれも
辞書を作成するのに使われたパターン（あるいは方向）
から遠いため、正しく認識されない。

【００１１】この発明は、このような実情に鑑みてなさ
れたものであり、このような場合であっても正しく認識
することができるようにする３次元物体認識装置および
３次元物体認識方法を提供することを第１の目的とす
る。

【００１２】また、３次元物体認識において、実物と写
真とを区別することが困難であるという問題もあった。
この発明の第２の目的は、実物と写真との区別を可能に
する３次元物体認識装置および３次元物体認識方法を提
供することにある。

【００１３】

【課題を解決するための手段】この発明は、辞書だけで
なく入力画像も部分空間で表現し、類似度を部分空間の
間の角度によって測定することにより、この問題を解決
するものである。すなわち、図２のように辞書だけでな
く入力も部分空間で表現する。図中、２１は入力（部分
空間）、２２は辞書（部分空間）である。この例では、
２３で交わっているため、ここが入力が辞書と最も近い
点となり、両部分空間の間の角度は０度である。このよ
うに、最も近い点の角度を計算する方式として、すでに
知られている前述した文献２に記述された方法を用い
る。すなわち、

【００１４】

【数３】 なる行列Ｘの固有値として角度を計算する。角度をθと
すると、最大固有値λとの関係は、 λ＝ｃｏｓ² θ である。固有値は一般に複数個存在するが、最大以外の
固有値は、最大固有値が示す角度を測定した方向と直交
する別の方向から測定した角度に対応するものである。

【００１５】

【発明の実施の形態】以下、図面を参照してこの発明の
実施形態を説明する。 （第１実施形態）まず、この発明の第１実施形態を説明
する。この第１実施形態に係る物体認識装置は、図３に
示すように、画像入力部３１、部分空間間の角度計算部
３２、辞書記憶部３３および認識部３４から構成され
る。

【００１６】画像入力部３１は、３次元物体のある方向
からの画像を入力するもので、たとえば１台以上のＩＴ
Ｖカメラからなる。画像は後段の処理のためＡ／Ｄ変換
器によりデジタル化されるのが普通である。

【００１７】複数の方向から撮像された画像を入力する
ためには、複数のＩＴＶカメラを用いるのが自然である
が、対象物体が動いていれば、１台のカメラがあれば特
別に他のものは必要ではない。動かない物体に対して
は、たとえば物体をターンテーブルの上に載せて回転さ
せたり、１台のカメラを動かして相対的に対象が動いた
と見なせるようにしても良い。要するに、複数の方向か
ら撮像できるようにすれば、この実施形態の例に囚われ
ることはない。

【００１８】また、一般に元の画像は認識対象を含む広
い範囲を写したものであるため、認識対象の切り出しが
必要となる場合がある。その場合、対象の色、大きさ、
おおまかな形、おおまかな位置をキーとして切り出す技
術が知られており、その切り出し処理を含んでも良い。

【００１９】この画像入力部３１で入力処理された画像
は、部分空間間の角度計算部３２に送られる。部分空間
間の角度計算部３２は、たとえば図４に示す手順を有す
るプログラムを実行するマイクロプロセッサで実現され
る。

【００２０】最初に入力の部分空間を作成する（ステッ
プ４１）。部分空間を表現する最も典型的な方法は、そ
の部分空間の基底ベクトルを用いる方法である。たとえ
ば、Ｎ次元の部分空間はＮ個の基底ベクトル

【００２１】

【数４】 と等価である。

【００２２】したがって、部分空間を作成するというこ
とは、Ｎ個の基底ベクトルを作成することになる。作成
の方法は、得られた複数の画像の数が比較的少ない場合
にはシュミットの直交化と呼ばれる方法で作ることもで
きるし、数が多い場合には次元数を下げるためにＫ−Ｌ
展開と呼ばれる主成分分析の方法を用いることもできる
（文献１）。

【００２３】次に、入力の部分空間と辞書の部分空間と
がなす角度を辞書の類ごとに計算する。まず、辞書記憶
部３３から一つの辞書の読み込みを行なう（ステップ４
２）。辞書の部分空間は、辞書記憶部３３に記憶され
る。辞書記憶部３３は、１種類の辞書ごとにＭ個の基底
ベクトルを記憶すれば良い。ただし数Ｍはすべての種類
の辞書に対して同じでも良いし、種類ごとに異なっても
良い。また、辞書記憶部３３は、ＩＣカードやディスク
のような可搬型のメディアに格納され、必要に応じて認
識の度に交換されるものであっても良い。たとえば個人
の顔の辞書をＩＣカードに記憶しておいて、ＩＣカード
が使われるたびに本人か否かを同定するシステムが、そ
のような例の典型である。角度を計算する方法として
は、

【００２４】

【数５】 なる行列Ｘの最大固有値として計算する方法が知られて
いる（文献２）。後述するように、最大以外の固有値が
必要となる場合には、それらも同様に計算することがで
きる（ステップ４３）。

【００２５】複数の類の辞書ごとの計算が必要な場合
は、ステップ４２からの動作を繰り返し行なう（ステッ
プ４４）。このように角度は辞書の類ごとに計算され、
認識部３４に送られる（ステップ４５）。

【００２６】認識部３４は、部分空間間の角度計算部３
２から得られた角度（類似度）の大小によって入力され
た３次元物体の認識を行なう。認識方法はいくつか考え
られるが、典型的なものとしては、類似度が最大（角度
は最小）の辞書の類を答として出力するものである。こ
の方式のフローチャートを図５に示す。

【００２７】別の方法として、ある決められた閾値より
大きな類似度（決められたしきい値より小さな角度）の
辞書の類を答として出力しても良い。この方式のフロー
チャートを図６に示す。特に、辞書がただ１種類記憶さ
れ、入力がその辞書に対して一定のしきい値以上である
かどうかの判定は同定問題として有効である。

【００２８】認識部３４は、たとえばこれらの手順を有
するプログラムを実行するマイクロプロセッサで実現す
ることができる。このマイクロプロセッサは、部分空間
間の角度計算部３２と共用しても差し支えない。

【００２９】また、３次元物体が本物か写真かを見分け
る手段としては、最大以外の固有値を用いるのが有効で
ある。すなわち、写真の場合は、方向を変えて撮像する
ことによって、元の画像をアフィン変換したものが撮像
される。しかし、真の３次元物体の場合には、側面が徐
々に見えてくる。この状態が、前述した行列Ｘの固有値
に反映され、写真では最大固有値のみが大きくその他は
比較的小さな値になるのに対して、真の３次元物体では
第２，第３の固有値も大きくなる。

【００３０】（第２実施形態）次に、この発明の第２実
施形態を説明する。ここでは、人間の顔を識別または同
定する例について述べる。図７は、この第２実施形態に
係る顔認識装置の構成を示す図である。

【００３１】画像入力部７１は、画像中から認識対象の
必要部分のみを切り出し、部分空間間の角度計算部７２
に送る。この画像入力部７１では、図８に示すように、
ＩＴＶカメラなどから顔画像を入力し、Ａ／Ｄ変換部７
１１０にてＡ／Ｄ変換を行なってデジタル化する。

【００３２】なお、このＩＴＶカメラは一台でなくとも
良く、複数台のカメラを対象方向にさまざまな角度位置
に設置し、同時に複数方向からの入力を行なっても良
い。また、それぞれのカメラパラメータ、たとえば、絞
り、シャッタースピード、ズーム、フォーカスなどを変
化させておき、さまざまな撮像条件による画像を同時に
取得することにより、多様なデータ収集が可能となる。

【００３３】図８中の顔領域検出部７１１１では、画像
中から顔の領域、もしくは頭部領域を検出する。この第
２実施形態での検出方法は、予め用意された顔検出のた
めのテンプレートを画像中で移動させながら相関値を求
めていき、最も高い相関値をもった場所を顔領域とす
る。また、相関値を計算する代りに、Ｅｉｇｅｎｆａｃ
ｅ法や部分空間法を利用して距離や類似度を求め、その
類似度の高い場所を抽出する方法などの顔検出手段でも
よく、方法は問わない。また、大きく横を向いた頭部か
ら顔領域を取り出すために、数方向の横向き顔のテンプ
レートを用意しておいて利用してもよい。また、画像と
してカラー画像を用いた場合、そのカラー画像をＲＧＢ
カラー空間からＨＳＶカラー空間に変換し、色相、彩度
などの色情報を用いて、顔領域や頭髪部の領域などを、
領域併合法などを用いて検出してもよい。そして、顔領
域を含んだ部分画像を顔部品検出部７１１２に送る。

【００３４】顔部品検出部７１１２では、目、鼻、口、
耳といった顔部品を検出する。この第２実施形態では、
検出された顔領域の部分の中から目の位置を検出する。
検出方法は、顔検出と同様のパターンマッチングによる
ものや、たとえば「福井和広，山口 修：「形状抽出と
パターン照合の組合せによる顔特徴点抽出」，電子情報
通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−II，Ｎ
ｏ．８．ｐｐ２１７０−２１７７（１９９７）」（文献
６と称する）に記述された方法などを用いても良い。大
きく横を向いている場合には、片方の目、口端だけしか
画像に写っていない場合もあり、耳は髪によって隠され
ていたりする場合もある。そして、顔部品検出部７１１
２は、検出できた顔部品の種類情報とその位置情報とを
特徴量抽出部７１１３に送る。

【００３５】特徴量抽出部７１１３では、検出された部
品の位置と顔領域とをもとに、顔領域を一定の大きさ、
形状に切り出し、その濃淡情報を特徴量として用いる。
いくつかの顔部品のうち、２つの組み合わせを考え、そ
の２つの顔部品特徴点を結ぶ線分が一定の割合で顔領域
検出部分に収まっていれば、図９のような顔領域抽出の
結果領域をｍピクセル×ｎピクセルの領域に変換する。
部品が収まっていない場合や、部品位置との割合が条件
を満たさない場合には、矩形を拡大または縮小して同様
にｍピクセル×ｎピクセルの領域に変換する。また、各
ピクセルの濃淡値を特徴ベクトルの要素情報として、ｍ
×ｎ次元の情報を用いる。

【００３６】これらの処理は、時系列画像に対して行な
われる。ある一人が正面付近を見ていたときに画像入力
を行なった場合、特徴ベクトル画像は図１０のようにな
り、時系列的に大量にデータが得られることになる。

【００３７】次に、部分空間間の角度計算部７２では、
処理して得られた顔画像データの相関行列（特性核）Ｃ
を求め、それをＫ−Ｌ展開により正規直交固有ベクトル
を求めることにより、部分空間を得る。部分空間の計算
の方法としては、データベクトルｄi に対して、一定枚
数Ｎを入力として受け取った後、

【００３８】

【数６】 を求める。その後、Ｃに対し、Ｊａｃｏｂｉ法、ＱＲ分
解など既知の方法を用いて固有ベクトルを計算する。

【００３９】また、図１０のように、時系列データとし
て大量にデータが入力される場合には、逐次的に部分空
間を計算する方法として、部分空間反復法である直交反
復法などを用いて計算してもよい。

【００４０】辞書の部分空間は、辞書記憶部７３に記憶
される。辞書記憶部７３は、各個人に対して１つ以上の
辞書をもつ。すなわち、一人が複数個の辞書を保持して
も良く、ある一人に対して人間の顔の状態が異なる場
合、たとえば、眼鏡をかけている時とそうでない時とい
ったような場合のそれぞれに対して認識を正確に行なう
ことを可能にする。

【００４１】部分空間間の角度を計算するために、前述
したような行列Ｘの最大固有値をそのまま類似度として
もよい。また、複数の固有値を用いて計算を行なった結
果を類似度としてもよい。

【００４２】認識部７４は、受け取った類似度から、カ
メラに写っている人物が誰であるかを識別または該当人
物であるかどうかを同定する。このときの動作手順は、
図５および図６と同様である。識別については、類とし
て人物名や人物に対応するＩＤコードなどを出力とす
る。同定については、それぞれの人物のカードや番号に
対応する登録データとの類似度を計算し、設定したしき
い値を越えた場合に、その人物と同定し、本人かどうか
の確認が成功する。しきい値を越えない場合は、本人の
確認ができないものとして、確認失敗を出力する。

【００４３】また、この認識装置に誤動作を起こさせる
ことを目的として、人間の顔の写真をカメラの前に提示
しようとすることが考えられる。同定を行なう場合に本
人かどうかを偽っているかどうかを見分ける必要があ
る。複数の固有値を用いて判断する方法として、たとえ
ば第１固有値λ1 と第２固有値λ2 とが、ともにあるし
きい値より大きい場合のみを受け入れたり、第１固有値
λ1 と第２固有値λ2 との比ｒ＝λ2 ／λ1 に対するし
きい値を設定しておき、あるしきい値より低い場合は、
認識結果を信用せず、本人と同定しないといった処理を
する方法がある。その他、さらに複数の固有値を利用し
た複数の判断を行なっても構わない。

【００４４】なお、この物体認識の制御手法は、ソフト
ウェアとしての実現が可能であるため、コンピュータに
よって実行させることのできるプログラムとして、フロ
ッピィディスク、光ディスクおよび半導体メモリなどの
コンピュータ読み取り可能な記録媒体に格納して頒布す
ることが可能である。

【００４５】

【発明の効果】以上詳述したように、この発明によれ
ば、限られた数の撮像によって得られた辞書を用いて３
次元物体の高精度な認識が可能になるとともに、写真と
実物との区別も付くようになる。さらに、辞書作成の手
間の削減や辞書メモリの容量の削減などの実用上多大な
効果を得ること可能となる。

【図面の簡単な説明】

【図１】ベクトル空間における辞書と入力の様子とを模
式的に示した図。

【図２】入力画像の部分空間による表現を説明するため
の図。

【図３】この発明の第１実施形態に係る物体認識装置の
構成を示す図。

【図４】同第１実施形態の部分空間間の角度計算部に適
用されるプログラムの手順を示すフローチャート。

【図５】同第１実施形態の認識部の類似度が最大（角度
は最小）の辞書の類を答として出力する認識方法を示す
フローチャート。

【図６】同第１実施形態の認識部のある決められた閾値
より大きな類似度（決められたしきい値より小さな角
度）の辞書の類を答として出力する認識方法を示すフロ
ーチャート。

【図７】同第２実施形態の顔認識装置の構成を示す図。

【図８】同第２実施形態の画像入力部の構成を示す図。

【図９】同第２実施形態の方向が大きく異なる特徴ベク
トル画像例であって、コンピュータで処理する場合での
処理過程のイメージを画面表示で見たとした場合の例を
示す図。

【図１０】同第２実施形態の時系列データとして大量に
入力される特徴ベクトル画像例であって、コンピュータ
で処理する場合での処理過程のイメージを画面表示で見
たとした場合の例を示す図。

【符号の説明】

３１…画像入力部 ３２…部分空間間の角度計算部 ３３…辞書記憶部 ３４…認識部 ７１…画像入力部 ７２…部分空間間の角度計算部 ７３…辞書記憶部 ７４…認識部 ７１１０…Ａ／Ｄ変換部 ７１１１…顔領域検出部 ７１１２…顔部品検出部 ７１１３…特徴量抽出部

Claims (10)

【特許請求の範囲】
1. 【請求項１】 互いに異なる方向から撮像した同一物体
   の複数方向の画像を入力する画像入力手段と、 前記画像入力手段により入力された前記複数方向の画像
   をＮ次元の部分空間で表現し、このＮ次元の部分空間で
   表現された画像とＭ次元の部分空間で表現された辞書内
   の画像とが生じさせる相対的なずれを示す角度を計算す
   る角度計算手段と、 前記角度計算手段により計算された角度に応じて前記物
   体の認識を行なう認識手段とを具備することを特徴とす
   る物体認識装置。
2. 【請求項２】 前記画像入力手段は、１台以上のカメラ
   である請求項１記載の物体認識装置。
3. 【請求項３】 前記角度計算手段は、 【数１】 なる行列Ｘの固有値として前記部分空間同士の角度を計
   算する請求項１記載の物体認識装置。
4. 【請求項４】 前記固有値は、最大のもののみが用いら
   れる請求項３記載の物体認識装置。
5. 【請求項５】 前記固有値は、大きい方から複数個が用
   いられる請求項３記載の物体認識装置。
6. 【請求項６】 前記物体は、人体の顔である請求項１、
   ２、３、４または５記載の物体認識装置。
7. 【請求項７】 互いに異なる方向から撮像した同一物体
   の複数方向の画像を入力し、 前記入力された前記複数方向の画像をＮ次元の部分空間
   で表現し、このＮ次元の部分空間で表現された画像とＭ
   次元の部分空間で表現された辞書内の画像とが生じさせ
   る相対的なずれを示す角度を計算し、 前記計算された角度に応じて前記物体の認識を行なうこ
   とを特徴とする物体認識方法。
8. 【請求項８】 前記部分空間同士の角度の計算は、 【数２】 なる行列Ｘの固有値として実行される請求項７記載の物
   体認識方法。
9. 【請求項９】 前記固有値は、最大のもののみが用いら
   れる請求項８記載の物体認識方法。
10. 【請求項１０】 前記固有値は、大きい方から複数個が
    用いられる請求項８記載の物体認識装置。