JPH0573663A - ３次元物体の画像認識法 - Google Patents

Abstract

(57)【要約】 【目的】 識別対象物体の変形等の条件の変化によって
起こり得る入力画像のパタン変動を吸収し、ロバストな
画像認識を可能にする。 【構成】 識別対象物体の特徴パタンと識別辞書との照
合処理結果により、識別対象物体が所属するカテゴリを
識別判定処理によって決定する３次元物体の画像認識法
において、識別辞書には、識別対象カテゴリの中の任意
のカテゴリ対に対応して対判定識別関数を用意し、照合
処理では、識別対象物体の特徴パタンを前記対判定識別
関数にそれぞれ代入して得られる値によって、識別対象
物体が該カテゴリ対を構成する２つのカテゴリの内でい
ずれに近いかを判別し、識別判定処理では、あらかじめ
登録された複数のカテゴリ対に対して、照合処理結果を
基に識別対象物体の所属するカテゴリを総合的に判断し
て決定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、形状や表面テクスチャ
の違いによって３次元物体の所属カテゴリを識別する３
次元物体の画像認識法に関するものである。

【０００２】

【従来の技術】画像情報を用いて３次元物体の識別を行
う場合、例えば、顔画像による個人識別を行う場合、対
象の所属カテゴリの変化を伴わない物体の形状やテクス
チャの変形、観測視点に対する対象物体の姿勢もしくは
視点位置の変化、あるいは、対象物体の画像入力時の照
明条件などによって、本来は同一のカテゴリに属する対
象物体の入力画像に対して生じる様々のパタンの変動を
吸収する必要がある。

【０００３】そこで、このような同一カテゴリ内のパタ
ン変動を識別処理の過程で吸収するため、従来、次のよ
うな画像認識法が用いられている。

【０００４】図４は従来の画像認識法を適用した画像認
識システムのブロック構成図であり、識別対象物体１の
画像入力処理部２、パタン正規化処理部３、特徴抽出処
理部４、照合処理部５５、識別辞書６、識別判定処理部
７とから構成されている。

【０００５】この構成にあっては、まず、識別辞書６が
識別辞書作成処理８によって作成される。すなわち、識
別辞書作成処理８においては、任意のカテゴリＣiの対
象物体の学習サンプル画像８０をパタン正規化処理部８
１に入力し、ここで、入力パタンにおける対象物体の位
置、大きさ、濃淡レベル等の変動を吸収する正規化処理
を行い、その結果得られた正規化パタンを特徴抽出処理
部８２に入力し、ここで識別に用いる特徴パタンを抽出
するが、この際に、この正規化処理、および、特徴抽出
処理のいずれの段階においても吸収できない変動をもつ
代表的な変形パタンを複数個選び、これらから得られた
特徴パタンを当該カテゴリＣiに帰属するサブカテゴリ
Ｃi１，Ｃi２……Ｃinを代表とする標準パタン６０とし
て、識別辞書６に登録する。

【０００６】そして識別の段階では、識別対象物体１の
画像を画像入力処理部２から入力し、この識別対象物体
１の入力パタンをパタン正規化処理部３において前記と
同様の正規化処理を行い、さらにその正規化パタンを特
徴抽出処理部４に入力し、特徴抽出処理を行い、その結
果得られた特徴パタンと、識別辞書６に登録された各サ
ブカテゴリの標準パタン６０との照合処理を照合処理部
５で行い、それぞれのサブカテゴリの標準パタン６０と
の間のパタン間距離を求める。

【０００７】その結果、例えば、サブカテゴリＣikの標
準パタン６０が入力パタンとの最小パタン間距離を有す
るものであったとき、識別判定処理部７においてはサブ
カテゴリＣikが帰属しているカテゴリＣiを、識別対象
物体１の入力パタンに対する識別結果として選択出力す
る。

【０００８】このように従来の画像認識法は、各カテゴ
リ毎に、予想される変形パタンの中で代表的なものをそ
れぞれ独立したサブカテゴリとして登録し、そのサブカ
テゴリを対象として得られた識別結果をカテゴリレベル
に統合することによって、同一カテゴリ内のパタンの変
動を吸収し、安定なクラス識別結果を得ようとするもの
である。

【０００９】一般に、入力画像から対象物体の幾何学的
特徴点あるいは輪郭線のようなより高次のものを含む特
徴を抽出し、入力パタンと識別辞書に登録された標準パ
タンとの間で、これらの特徴の対応付けを行い、両者の
類似性を定量化することで識別を行う物体認識方式にお
いては、入力パタンの連続的な変動の多くは対象物体の
特徴の幾何学的な変形として表現される。それらの変動
は対応付けの過程でパタン間距離に反映させることが容
易であるので、パタンの多様な変動に対して比較的少数
の変形パタンを用いてカテゴリを代表させることができ
る場合が多い。従って、パタン変動の吸収に関する上記
の従来の手法は、ある程度の有効性が期待できるものと
考えられる。

【００１０】

【発明が解決しようとする課題】しかし、人物の顔を識
別する場合のように、全体的にはほぼ共通する構造をも
つ対象物体について、その複雑な形状やテクスチャのご
く微妙な差によってカテゴリの違いを識別しなければな
らないような物体の画像認識においては、識別に有効な
情報として、幾何学的特徴点、エッジ、輪郭線といった
対象物体の局所的形状を表す特徴を、入力画像から安
定、かつ、充分な精度で抽出することは困難である。

【００１１】そこで、そのような対象物体の画像認識を
行う方法として、入力画像について一定の正規化処理を
行った正規化パタンの画像全体の濃淡分布を直接的に、
あるいは、その正規化パタンをより変動の影響を受けに
くい特徴空間にいったん変換することで得られる特徴パ
タンを対象に、各カテゴリの標準パタンとの間のパタン
マッチングを行うという方法が一般的となってきてい
る。

【００１２】例えば、正面顔画像の個人識別について、
このような濃淡画像のマッチングをベースとする方法と
して、文献“ＫＬ展開によるパタン記述法の顔画像識別
への応用の評価”（電子情報通信学会技術報告、ＰＲＵ
９０ １５２、１９９１年３月、赤松、佐々木、深町、
末永）にその一例が示されている。

【００１３】ところが、この文献で示されているよう
に、対象画像の濃淡情報分布を直接または間接に特徴パ
タンとする方法では、照明の照射方向等の照明条件変動
の影響を受けやすく、さらに対象物体自身の変形、姿勢
の変化、視点位置の変化等が加わるとき、同一カテゴリ
内の特徴パタンのとりうる変動はきわめて多岐にわたっ
てしまう。

【００１４】従って、識別対象の入力画像に関して予想
される変動条件の全てをカバーするように、代表的な変
形パタンを用意し、それらを個々に識別辞書にサブカテ
ゴリとして登録するという前記の方法は、認識システム
の識別辞書に必要とする記憶容量、ならびに、マッチン
グに要する処理時間の点でも、また、学習サンプルとし
て多数の変形パタンを用意しなければならないという実
際的な観点からも、困難となる場合が多い。

【００１５】本発明は、前記の問題点を解決するために
なされたものであり、その目的は、識別対象物体の変
形、姿勢の変化、観測する視点位置の変化、照明条件の
変化によって起こり得る入力画像のパタン変動を吸収
し、ロバストな画像認識を可能とする３次元物体の画像
認識法を提供することにある。

【００１６】

【課題を解決するための手段】前記目的を達成するため
に、本発明は、識別対象物体の画像入力処理によって得
られた入力パタンについて、画像濃度分布、対象物体の
位置、大きさ等に関する正規化処理を行って正規化パタ
ンを求め、さらに該正規化パタンに対して特徴抽出処理
を行って特徴パタンを求め、該特徴パタンと識別辞書と
の照合処理を行い、該照合処理の結果を用いた識別判定
処理によって該識別対象物体の所属するカテゴリを決定
する３次元物体の画像認識法において、前記識別辞書に
は、識別対象カテゴリの中の任意のカテゴリ対に対応し
て対判定識別関数を用意しておき、前記照合処理では、
識別対象物体の特徴パタンを任意のカテゴリ対について
用意された前記対判定識別関数にそれぞれ代入して得ら
れる値によって、識別対象物体が該カテゴリ対を構成す
る２つのカテゴリの内でいずれに近いかを判別する対判
定処理を行い、前記識別判定処理では、あらかじめ登録
された複数のカテゴリ対に対して前記照合処理によって
得られた対判定処理の結果から、識別対象物体の所属す
るカテゴリを総合的に判断して決定する、ことを主要な
特徴とする。

【００１７】そして、前記の識別辞書に格納される任意
のカテゴリ対に対応した対判定識別関数は、その識別辞
書作成処理において、任意のカテゴリ対を成す２つのカ
テゴリＣi、Ｃjにそれぞれ属する３次元物体の任意の標
本物体について、３次元物体の表面の形状と色を同時に
計測できる３次元スキャナを用いて該標本物体の３次元
コンピュータグラフィックスモデル（以下、３次元ＣＧ
モデル）を計測し、該３次元ＣＧモデルを原データとし
て、コンピュータグラフィックスを用いた画像生成処理
によって３次元空間中のある視点から該標本物体を眺め
た時に得られる２次元画像を前記２つのカテゴリの標本
物体についてそれぞれ作成し、その際には３次元ＣＧモ
デルに与える変形パラメータ、および、該標本物体の２
次元画像を生成する時の姿勢条件、視点の位置、照明条
件等を定める画像生成パラメータを、一定の制御に基づ
いて変化させながら画像生成処理を繰り返すことによっ
て、前記２つのカテゴリＣi、Ｃjの標本物体についての
多様な変動要因を反映した多数の２次元画像からなる変
形パタンデータベースを用意し、さらに前記２つのカテ
ゴリＣi、Ｃjの変形パタンデータベースに含まれる各画
像パタンに対して、前記正規化処理ならびに特徴抽出処
理を適用することによって、該２つのカテゴリＣi、Ｃj
の特徴パタンの標本集合｛Ｘｉ｝｛Ｘｊ｝を用意し、前
記２つの標本集合｛Ｘｉ｝｛Ｘｊ｝を対象とした統計解
析に基づいて、任意の特徴パタンＸの入力に対して、該
特徴パタンＸがカテゴリＣi、Ｃjの２クラスのいずれに
属するかを判別するのに有効な関数値を与えるような識
別関数を求めたものであることを特徴とする。

【００１８】

【作用】前述の手段によれば、対象画像の濃淡情報分布
を直接または間接に特徴パタンとする認識法において、
照明の照射方向等の照明条件の変化、対象物体自身の変
形、対象物体の姿勢の変化あるいは視点位置の変化によ
って予想される同一カテゴリ内の特徴パタンの多岐にわ
たる変動についても、その変動の範囲をほぼ完全にカバ
ーする変形パタンの標本集合を学習サンプルとして用意
することが容易となる。また、任意のカテゴリ対に対し
て、２つの変形パタンデータベースの間を２クラスに分
離する対判定識別関数を求めるようにしたことにより、
個々の変形パタンを個別のサブカテゴリの標準パタンと
して登録する従来の方法よりも、識別辞書に必要な記憶
容量やマッチングに必要な処理時間の削減が可能となる
というメリットがある。さらに、標本物体の形状と色情
報を同時に計測可能な３次元スキャナを用いて計測する
３次元ＣＧモデルの測定誤差や、３次元ＣＧモデルから
２次元画像を生成する際の計算精度に応じて、変形パタ
ンデータベースの画像品質は、標本物体を実際に様々な
入力条件のもとで撮影して得られた画像とは微妙な点で
異なるものとなる場合も多いが、ここで識別関数の設計
は、２つのカテゴリのペアについて両者の間の差に着目
して行うようにしていることにより、３次元ＣＧモデル
から生成された学習サンプルと実写によるテストサンプ
ルの間の画質の差の影響を受けにくい識別辞書を作成す
ることが可能になる。

【００１９】

【実施例】以下、本発明の一実施例を図面を用いて説明
する。

【００２０】図１は、本発明を適用した画像認識システ
ムの一実施例を示すブロック図である。

【００２１】図１において、１は任意の識別対象物体、
２は画像入力処理部、３はパタン正規化処理部、４は特
徴抽出処理部、５は照合処理部、６は識別辞書、７は識
別判定処理部、１０は識別結果、６１は識別辞書６に格
納された複数の対判定識別関数の一つで、カテゴリＣi
とＣjの間の対判定を行うための対判定識別関数であ
る。

【００２２】９は識別辞書６に格納される対判定識別関
数６１を求める識別辞書作成処理部であり、カテゴリＣ
iの学習サンプルから選ばれた標本物体９１、カテゴリ
Ｃjの学習サンプルから選ばれた標本物体９２、３次元
スキャナ９３、該標本物体９１を３次元スキャナ９３で
計測して得られる３次元ＣＧモデル９４、標本物体９２
を３次元スキャナ９３で計測して得られる３次元ＣＧモ
デル９５、変形画像生成処理部９６、カテゴリＣiの物
体の２次元画像から構成される変形パタンデータベース
９７、カテゴリＣjの物体の２次元画像から構成される
変形パタンデータベース９８、パタン正規化処理部９
９、特徴抽出処理部１００、カテゴリＣiの変形パタン
データベース９７に含まれる各パタンについて得られた
特徴パタンの標本集合｛Ｘｉ｝１０１、カテゴリＣjの
変形パタンデータベース９８に含まれる各パタンについ
て得られた特徴パタンの標本集合｛Ｘｊ｝１０２、対判
定識別関数算出処理部１０３から成っている。

【００２３】次に、この画像認識システムにおいて、ま
ず図中に符号１００に示す３次元物体の画像認識処理部
の動作について説明する。

【００２４】まず、テレビカメラに代表される画像入力
処理部２を用いて識別対象物体１をある視点位置から観
測し、その時に得られる２次元画像を入力パタンとして
パタン正規化処理部３に入力する。そして、このパタン
正規化処理部３において、入力パタンの濃度分布、画像
中の対象物体の位置、大きさ等に関する正規化処理を行
い、識別処理の対象となる正規化パタンを形成する。

【００２５】ここで、識別対象物体として人物の顔を想
定し、ほぼ正面を向いた顔のカラー入力画像に対して正
規化処理を行う場合を考えると、、パタン正規化処理部
３において行う正規化処理としては、文献“顔基準点抽
出方法”（特願平３−１４４５４０号、発明者：佐々
木、赤松、末永）に提案されている方法を用いることが
できる。

【００２６】このようにした形成された正規化パタン
は、特徴抽出処理部４に入力され、ここで数学的には多
次元ベクトルＸとして表記される特徴パタンＸが抽出さ
れる。

【００２７】ここで、２次元濃淡画像として得られた顔
の正規化パタンに対して、識別に有効な特徴パタンＸを
求める処理には様々な手法が可能であるが、ここでは次
の文献〔１〕に記載の濃淡パタンをブロック分割したモ
ザイク化特徴や、文献〔２〕に記載のＫＬ展開で次元圧
縮した展開係数ベクトルなどによる手法を用いている。

【００２８】文献〔１〕 小杉：“ニューラルネット
を用いた顔画像の識別と特徴抽出”、
情報処理学会ＣＶ研究会資料７３−２、１９９１．７ 文献〔２〕 赤松 他：“ＫＬ展開によるパタン記述
法の顔画像識別への応用の評価”、信学技報ＰＲＵ９０
−５２、１９９１．３ このようにして抽出された特徴パタンＸは照合処理部５
に入力される。

【００２９】照合処理部５では、識別辞書６に格納され
た複数の対判定識別関数の各々に対して入力された特徴
パタンＸを代入することにより、該識別対象物体１が、
対判定識別関数の定める２つのカテゴリのいずれに近い
かを示す定量的な評価尺度を求める。

【００３０】ここで、この実施例が識別する対象物体１
のカテゴリを、Ｃ₁からＣ_NのＮ個とすると、識別辞書６
には、Ｎ個のカテゴリのうちで任意の２つを選ぶ組み合
わせにより最大で_NＣ₂個の対判定識別関数が用意され
る。そのうち、任意のカテゴリＣi，Ｃjに対する対判定
識別関数６１をＦ＜ｉ，ｊ＞で表すことにする。ここで
は一般性を失うことなく条件ｉ＜ｊを加えることができ
る。

【００３１】対判定識別関数Ｆ＜ｉ，ｊ＞の例として
は、以下に示す線形判別関数がある。

【００３２】

【数１】 ｙ＝ａijＸ ＜ θij → Ｘ∈カテゴリＣi （１） ≧ θij → Ｘ∈カテゴリＣj ここで、 Ｘ ：特徴パタンを表すＮ次元ベクトル ａij：Ｎ次元係数ベクトル θij：判別いき値 であり、ａij、θijは対判定識別関数Ｆ＜ｉ，ｊ＞を定
めるパラメータである。

【００３３】また、識別対象物体１から得られる特徴パ
タンＸがカテゴリＣi，Ｃjのいずれに近いかの評価尺度
を上記の線形判別関数を用いて定量的に与える方法とし
ては、以下に示す対判定重み関数Ｗij（ｉ，Ｘ）、Ｗij
（ｊ，Ｘ）を考えることができる。

【００３４】ここで、対判定重み判定Ｗij（ｉ，Ｘ）と
は、カテゴリＣi，Ｃjの２つのクラス間の判別のために
用意された上記（１）式の線形判別関数が特徴パタンＸ
に対してとる値に基づいて、該特徴パタンＸのカテゴリ
Ｃiらしさを数値化して与えるために定義された関数で
あって、該線形判別関数を定めるパラメータａij、θi
j、および、カテゴリＣi，Ｃjの学習サンプルの各々に
ついて求められる射影値ｙ＝ａijＸ の平均、分散とい
う統計量によって定義されるものである。

【００３５】カテゴリＣi，Ｃjの２クラス間の判別結果
が、カテゴリＣiと判別されるか否かの二者択一を表す
２値情報として与えられるような対判定重み関数Ｗij
（ｉ，Ｘ）の最もシンプルな実施例を、射影値ｙに対す
る関数のグラフとして図２に示す。同様にＷij（ｉ，
Ｘ）についても類似した関数を考えることができる。

【００３６】上記の例に示したような任意の２つのカテ
ゴリ間の対判定識別関数Ｆ＜ｉ，ｊ＞を、その２クラス
の学習サンプルから定める方法については、本発明にお
ける識別辞書の作成機能に関する説明の箇所で述べるこ
とにする。

【００３７】次に、照合処理部５では、識別辞書６にそ
の対判定識別関数が格納された任意のカテゴリ対に関す
る対判定処理の結果として、特徴パタンＸの前記対判定
重み関数の値がそれぞれ得られることになる。任意の特
徴パタンＸに対する該対判定処理の結果を識別判定処理
部７に与える方法の一例としては、Ｎ×Ｎの２次元配列
である対判定結果テーブルＰＣＴを用意し、これに以下
のような値を設定して引き渡す方法を用いることができ
る。

【００３８】任意のｉ＜ｊに対して、

【００３９】

【数２】 ＰＣＴ（ｉ，ｊ）＝Ｗij（ｉ，Ｘ） ＰＣＴ（ｊ，ｉ）＝Ｗij（ｊ，Ｘ） （２） とする。

【００４０】この場合、対判定テーブルＰＣＴの（ｉ，
ｊ）成分の値は、カテゴリＣi，Ｃjの２つのクラス間で
対比した時、識別対象物体１の特徴パタンＸがカテゴリ
Ｃiと判定される程度を表しているものと考えることが
できる。

【００４１】識別判定処理部７では、照合処理部５にお
いて各カテゴリ対ごとの対判定処理によって得られた結
果に基づいた総合判定処理によって識別結果１０の決定
を行う。

【００４２】識別判定処理部７におれる総合判定処理の
一実施例として、前記の対判定結果テーブルＰＣＴを用
いる方法を図３に示す。

【００４３】まず、２次元配列として与えられるＰＣＴ
（ｉ，ｊ）のあるｉに対する各成分の値をｊ方向に加算
した値ＳＵＭ（ｉ）を求める。ここで、対角成分ＰＣＴ
（ｉ，ｉ）は本来意味を持たないので、加算時にスキッ
プするかあるいはあらかじめ値０をセットしておけばよ
い。得られた配列ＳＵＭ（ｉ）のうちで、最大値ＭaxＳ
ＵＭ（ｉ）を与えるｉ_Maxに対応するカテゴリＣi
_Maxを、特徴パタンＸに対する識別結果１０として出力
する。

【００４４】次に、識別辞書６の作成処理の動作につい
て説明する。なおここでは、２つのカテゴリＣi，Ｃj間
の対判定識別関数Ｆ＜ｉ，ｊ＞を求めるプロセスに即し
て説明する。

【００４５】まず、２つのカテゴリＣi，Ｃjの３次元物
体の代表的なサンプルとして、標本物体９１，９２をそ
れぞれ選び、その３次元物体９１，９２の表面の形状と
色を同時に計測できる３次元スキャナ９３を用いて、該
標本物体９１，９２を３次元計測することにより、カテ
ゴリＣi，Ｃjの３次元ＣＧモデルを９４，９５をそれぞ
れ作成する。この３次元ＣＧモデル９４，９５を原デー
タとして、コンピュータグラフィックスを用いた変形画
像生成処理部９６に入力することで、３次元空間中の任
意の視点から標本物体９１，９２を眺めた時に得られる
２次元画像を作成する。その際、３次元ＣＧモデル９
４，９５に与える変形パラメータ、ならびに、標本物体
９１，９２の２次元画像を生成する時の姿勢条件、視点
の位置、照明条件等を定める画像生成パラメータを制御
し、その条件を変えて画像生成処理を繰り返すことによ
り、２つのカテゴリＣi、Ｃjの標本物体９１，９２につ
いて、多様な変動要因を反映した多数の２次元画像から
なる変形パタンデータベース９７，９８を形成する。

【００４６】以上のプロセスの実現に不可欠な３次元物
体の表面の形状と色情報の同時計測が可能な３次元スキ
ャナ９３については、以下の文献〔３〕に記載されてい
るので、ここでは説明を省略する。

【００４７】文献〔３〕 末永、渡部：“３Ｄ形状と
輝度（色）の同時計測が可能なスキャナとその顔画像計
測への応用”、情報処理学会ＣＶ研究会資料６７−５，
１９９０．７．１９。

【００４８】また、３次元ＣＧモデル９４，９５を原デ
ータとして、画像生成パラメータを一定の制御の元で変
化させることによって、多様な変動要因を反映した多数
の２次元画像を生成してデータベース９７，９８を作成
する方法についても、すでに文献〔４〕に明らかにして
いるので、ここでは説明を省略する。

【００４９】文献〔４〕 赤松 他：“画像認識シス
テムのサンプル画像収集方法”、特願平３−１７６１３
号。

【００５０】次に、カテゴリＣi、Ｃjのそれぞれについ
て生成された変形パタンデータベース９７，９８の各サ
ンプル画像に対して、前述の画像認識処理の場合と同様
にして、パタン正規化処理部９９と特徴抽出処理部１０
０によって正規化、特徴抽出処理を行い、カテゴリＣi
の特徴パタンの標本集合｛Ｘｉ｝１０１、ならびに、カ
テゴリＣjの特徴パタンの標本集合｛Ｘｊ｝１０２を求
める。

【００５１】次に、特徴パタンＸの標本集合｛Ｘｉ｝
｛Ｘｊ｝を基に、対判定識別関数算出部１０３におい
て、２つのカテゴリＣi、Ｃj間の対判定識別関数Ｆ＜
ｉ，ｊ＞（符号６１で示す）を定めるパラメータを計算
する。そのプロセスとしては、前記（１）式に示した線
形判別関数を求めるＦisherの方法を用いることができ
る。これについては、以下の文献〔５〕に記載されてい
るので、ここでは本手法による線形判別関数のパラメー
タの決定法の結果のみを引き続いて以下に示す。

【００５２】文献〔５〕 大津：“パターン認識にお
ける特徴抽出に関する数理的研究”、
電総研研究報告第８１８号、１９８１。

【００５３】カテゴリＣi、Ｃjという２つのクラスを識
別するためのＦisher線形判別関数ｙ＝ａijＸの係数ベ
クトルａijは、該２つのカテゴリの学習サンプルの特徴
パタンＸの標本集合｛Ｘｉ｝｛Ｘｊ｝とから、以下の式
によって導かれる。

【００５４】

【数３】 ａij＝ｃΣ_w~¹δij （ｃは任意の定数） （３）

【００５５】

【数４】

【００５６】

【数５】 Σ_w＝ωi・Σ_i＋ωj・Σ_j （５）

【００５７】

【数６】 ωi＝Ｍi／(Ｍi＋Ｍj)、ωj＝Ｍj／(Ｍi＋Ｍj) (６） ここで、Ｍi、Ｍjは、それぞれカテゴリＣi，Ｃjの学習
サンプルの標本数である。Σ_i，Σ_jは標本共分散行列で
ある。

【００５８】以上、本発明を，主に人物の顔を識別の対
象とする場合の画像認識システムにおける実施例に基づ
いて具体的に説明したが、本発明は、前記実施例に限定
されるものではなく、その要旨を逸脱しない範囲におい
て、種々変更し得ることは言うまでもない。

【００５９】例えば、識別対象物体１について画像入力
処理部２によって得られる入力画像としては、ＴＶカメ
ラ等の通常の画像入力機器によって得られる濃淡あるに
はカラー画像に限定されるものではない。本発明での識
別辞書６の作成処理において、３次元スキャナ９３によ
って計測される対象物体の３次元ＣＧモデル９４，９５
は表面の形状の情報をほぼ完全に保持しているので、本
発明による画像認識法は、測定点から対象物体までの距
離を２次元画像化したレンジ画像（距離画像）を入力と
する画像認識システムについても有効であることは言う
までもない。

【００６０】

【発明の効果】以上、説明したように、本発明によれ
ば、まず第１に、３次元ＣＧモデルに基づく生成画像を
識別辞書作成用の学習サンプルとして用いることによ
り、照明の照射方向等の照明条件の変化、対象物体自身
の変形、対象物体の姿勢の変化、あるいは視点位置の変
化によって入力画像に生ずると予想される、同一カテゴ
リ内での特徴パタンの多様な変動に対して、それをほぼ
完全にカバーする学習サンプルを用意することが可能と
なる。

【００６１】また、第２には、各カテゴリ対に対して、
その変動パタンを最良に判別し得る対判定識別関数を求
め、それらの総合的な組み合わせによって多クラス間の
識別を行うという方法を採用したことにより、多様な変
動を含むパタンの識別を、小容量の識別辞書で行うこと
が可能になると共に、３次元ＣＧモデルから生成された
画像を用いる学習サンプルと実際に対象物体を撮影して
得られる識別処理での入力画像との間の画像品質の違い
を吸収することが容易となる。

【００６２】この結果、対象画像の濃淡情報分布を直接
または間接に特徴パタンとして識別しようとする画像認
識システムにおいて、対象物体の変形、証明条件の変化
など様々な変動要因に対してロバストな画像認識が可能
となる優れた効果が得られる。

【図面の簡単な説明】

【図１】 本発明を適用した３次元物体の画像認識シス
テムの一実施例を示すブロック図である。

【図２】 図１の実施例の照合処理部において使用する
対判定重み関数の例を示す説明図である。

【図３】 図１の実施例の識別判定処理部における総合
判定処理を説明するための説明図である。

【図４】 従来の３次元画像認識法を適用した３次元物
体の画像認識システムのブロック図である。

【符号の説明】

１…任意の識別対象物体、２…画像入力処理部、３…パ
タン正規化処理部、４…特徴抽出処理部、５…照合処理
部、６…識別辞書、７…識別判定処理部、９…識別辞書
の作成処理部、１０…識別結果、６１…カテゴリＣiと
Ｃjに関する対判定識別関数の１つ、９１…カテゴリＣi
の学習サンプルの標本物体、９２…カテゴリＣjの学習
サンプルの標本物体、９３…３次元スキャナ、９４…標
本物体９１の３次元ＣＧモデル、９５…標本物体９２の
３次元ＣＧモデル、９６…変形画像生成処理部、９７…
カテゴリＣiの変形パタンデータベース、９８…カテゴ
リＣjの変形パタンデータベース、９９…パタン正規化
処理部、１００…特徴抽出処理部、１０１…カテゴリＣ
iの特徴パタンの標本集合｛Ｘｉ｝、１０２…カテゴリ
Ｃjの特徴パタンの標本集合｛Ｘｊ｝、１０３…対判定
識別関数算出処理部。

フロントページの続き (72)発明者 末永 康仁 東京都千代田区内幸町一丁目１番６号 日 本電信電話株式会社内

Claims (2)

【特許請求の範囲】
1. 【請求項１】 識別対象物体の画像入力処理によって得
   られた入力パタンについて、画像濃度分布、対象物体の
   位置、大きさ等に関する正規化処理を行って正規化パタ
   ンを求め、さらに該正規化パタンに対する特徴抽出処理
   を行って特徴パタンを求め、該特徴パタンと識別辞書と
   の照合処理を行い、該照合処理の結果を用いた識別判定
   処理によって識別対象物体の所属するカテゴリを決定す
   る３次元物体の画像認識法において、前記識別辞書に
   は、識別対象カテゴリの中の任意のカテゴリ対に対応し
   て対判定識別関数を用意しておき、前記照合処理では、
   識別対象物体の特徴パタンを任意のカテゴリ対について
   用意された前記対判定識別関数にそれぞれ代入して得ら
   れる値によって、識別対象物体が該カテゴリ対を構成す
   る２つのカテゴリの内でいずれに近いかを判別する対判
   定処理を行い、前記識別判定処理では、あらかじめ登録
   された複数のカテゴリ対に対して前記照合処理によって
   得られた対判定処理の結果から、識別対象物体の所属す
   るカテゴリを総合的に判断して決定することを特徴とす
   る３次元物体の画像認識法。
2. 【請求項２】 前記識別辞書に格納される任意のカテゴ
   リ対に対応した対判定識別関数は、その識別辞書作成処
   理において、任意のカテゴリ対を成す２つのカテゴリＣ
   i、Ｃjにそれぞれ属する３次元物体の任意の標本物体に
   ついて、３次元物体の表面の形状と色を同時に計測でき
   る３次元スキャナを用いて標本物体の３次元コンピュー
   タグラフィックスモデルを計測し、この計測した３次元
   コンピュータグラフィックスモデルを原データとして、
   コンピュータグラフィックスを用いた画像生成処理によ
   って３次元空間中のある視点から標本物体を眺めた時に
   得られる２次元画像を前記２つのカテゴリの標本物体に
   ついてそれぞれ作成し、その際には３次元コンピュータ
   グラフィックスモデルに与える変形パラメータ、および
   標本物体の２次元画像を生成する時の姿勢条件、視点の
   位置、照明条件等を定める画像生成パラメータを、一定
   の制御に基づいて変化させながら画像生成処理を繰り返
   すことによって、前記２つのカテゴリＣi、Ｃjの標本物
   体についての多様な変動要因を反映した多数の２次元画
   像からなる変形パタンデータベースを用意し、さらに前
   記２つのカテゴリＣi、Ｃjの変形パタンデータベースに
   含まれる各画像パタンに対して、前記正規化処理ならび
   に特徴抽出処理を適用することによって、該２つのカテ
   ゴリＣi、Ｃjの特徴パタンの標本集合｛Ｘｉ｝｛Ｘｊ｝
   を用意し、該２つの標本集合｛Ｘｉ｝｛Ｘｊ｝を対象と
   した統計解析に基づいて、任意の特徴パタンＸの入力に
   対して、この特徴パタンＸがカテゴリＣi、Ｃjの２クラ
   スのいずれに属するかを判別するのに有効な関数値を与
   えるような関数として求めたものであることを特徴とす
   る請求項１記載の３次元物体の画像認識法。