JP4387552B2 - 画像照合処理システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラ等の画像入力装置から入力された認識対象を含む画像と、予め登録済みの対象画像を比較照合することにより、入力画像中に存在する対象を特定する画像照合処理に関する。本発明の画像照合処理システムは、人物や工業製品等の任意の２次元又は３次元形状の物体の認識処理に適用することが可能である。
【０００２】
【従来の技術】
画像処理を必要とするアプリケーションが広まりつつある中、カメラ等の画像入力装置から取り込んだ画像を基に写りこんだ人物や商品などの３次元対象物を切り出して認識・照合する技術が必要とされている。撮影画像中の認識対象を認識する技術のうち、優れた技術の一つとして、局所固有空間法（Eigen-Window法）を用いた画像照合処理技術や、局所固有空間法を更に改良した画像処理技術として局所固有空間法の画像特徴量を離散コサイン変換（Discrete Cosine Transform：以下、ＤＣＴと略記する）係数に変更した画像照合処理技術（以下、改良局所固有空間法を用いた画像照合処理技術と呼ぶ）が挙げられる。
【０００３】
以下に、従来の画像照合処理技術として、改良局所固有空間法を用いた画像照合処理技術を説明する。一例として人物の顔画像を認識・照合する場合を挙げて説明する。
【０００４】
この改良局所固有空間法を用いた画像照合処理は、画像照合に用いるモデルを作成する「登録フェーズ」と、入力画像の認識対象に対して認識・照合処理を実行する「認識フェーズ」からなる。
【０００５】
まず、「登録フェーズ」の処理手順を図１３のフローチャートを参照しつつ示す。この登録フェーズでは、認識・照合したい２次元又は３次元物体、つまりここでは認識したい人物の顔画像の基本姿勢画像（正面向きなど）を照合用モデルとして生成、整理して登録する。
【０００６】
（１）モデル画像とする人物顔画像を取得する（ステップＳ１３０１）。正面顔画像の撮影画像データを外部からファイル形式で入力しても良く、このようなデータがない場合にはカメラなど画像入力装置を介して登録する人物の正面顔画像を撮影して取り込む。ここでは一例として図１５（ａ）に示したモデル画像を取得したとする。
【０００７】
（２）取り込んだモデル画像から、画像の特徴点を検出する（ステップＳ１３０２）。特徴点は何らかの指標を用いて検出・選択する。例えば、画像の表面模様であるテクスチャの複雑さに関する指標を表わすテクスチャ度がしきい値以上に大きい点、エッジ強度（エッジ成分に関する指標）がしきい値以上に大きい点、色情報が所定範囲内にある点など画像上の一種の特異点を選択する方式がある。また、取り込み画像中の認識対象に対する知識を利用してそれらの重要部分（目や口など特徴的な部分）を選択する方式等が考えられる。図１６においてモデル画像の顔画像上に付された点は特徴点を簡易的に表わしたものである。
【０００８】
（３）選択された特徴点を基に当該特徴点を囲む小さい領域、例えば矩形の局所領域を窓画像として選択する（ステップＳ１３０３）。それら特徴点の周辺の局所領域を窓画像としてそれぞれ選択する。例えば、１５ドット×１５ドットの小正方形とする。
【０００９】
（４）選択した窓画像を識別に有効となる低次元空間に圧縮し、各モデル画像毎にモデルとして整理して保持する（ステップＳ１３０４）。この低次元空間への圧縮方法には局所固有空間法（Eigen-Window法）を用いる方法もあるが、ここでは、窓画像データからＤＣＴ係数を計算し、直流成分を除いて低周波の係数を適度に選択することによって低次元空間に圧縮する方式を採る。改良局所固有空間法ではこのＤＣＴによる圧縮方式を用いる。例えば、原画像である窓画像が１５ドット×１５ドットとすると２２５次元であるが、ＤＣＴ係数を計算し、直流成分を除いて画像の特徴を良く表わす低周波の係数を２０個選択して２０次元空間に圧縮する。図１６左側は投影される様子を簡易的に表わしたものである。
【００１０】
（５）このステップＳ１３０４の低次元空間圧縮をすべての窓画像に対して実行し、それらデータを画像照合用モデルデータとして登録・管理する（ステップＳ１３０５）。
【００１１】
以上の登録フェーズの処理ステップにより、登録する人物の顔画像から低次元の画像照合用モデルを生成、整理して登録する。
【００１２】
次に、「認識フェーズ」の処理手順を図１４のフローチャートを参照しつつ示す。
【００１３】
（１）認識対象となる人物の顔画像が写りこんだ人物顔画像を取得する（ステップＳ１４０１）。正面顔画像の撮影画像データを外部からファイル形式で入力しても良く、このようなデータがない場合にはカメラなど画像入力装置を介して登録する人物の正面顔画像を撮影して取り込む。入退室管理システムなどでは後者の場合が多い。ここでは図１５（ｂ）に示した認識対象となる画像を取り込んだものとする。
【００１４】
（２）入力画像中から認識対象となる人物顔画像を切り出す（ステップＳ１４０２）。この際、認識対象となる人物の顔画像領域の位置を推定しても良く、また、常に一定の矩形領域を切り出してもよい。人物の顔画像領域の位置推定方法としては、肌領域を検出することで顔画像領域と推定する方法が知られている。
【００１５】
（３）切り出した認識対象顔画像から特徴点を検出する（ステップＳ１４０３）。登録フェーズと同様の指標を用いて特徴点を選択しても良く、また、より適した他の指標を用いて特徴点の選択を実行しても良い。
【００１６】
（４）選択した特徴点を基にその局所領域を窓画像として選択する（ステップＳ１４０４）。登録フェーズと同様、例えば、１５ドット×１５ドットの小正方形として選択する。図１６右側にこの様子を簡単に示した。
【００１７】
（５）選択した窓画像を登録フェーズと同一の低次元空間に圧縮する（ステップＳ１４０５）。ここでは、登録フェーズと同様、改良局所固有空間法を用いて低次元空間に圧縮する方法を採り、原画像である窓画像からＤＣＴ係数を計算し、直流成分を除いて画像の特徴を良く表わす低周波の係数を２０個選択して２０次元空間に圧縮する。
【００１８】
（６）画像照合用モデルデータと認識対象データを窓画像ごとに低次元空間である特徴空間内に投影してゆく（ステップＳ１４０６）。図１６右側に投影される様子を簡単に示した。
【００１９】
（７）低次元空間である特徴空間内での距離が近い登録窓画像と認識対象窓画像のペアを見つけ、窓画像の照合処理を行なう（ステップＳ１４０７）。
【００２０】
（８）窓画像のペアの画像上での相対位置を求め、投票マップ上の対応する格子に投票を行う（ステップＳ１４０８）。図１７にこの様子を簡単に示した。ここで、投票マップとは、モデル画像毎に用意した平面を格子状に区切った投票空間であり、投票とは、投票マップ上の格子に投票に応じた値を加算する処理である。投票される格子位置は、窓画像のペアの画像上での相対位置に応じて定められる。例えば、両者が全く同じ位置にあれば相対位置は０となり投票マップの中心に投票される。もし、登録モデルの顔画像と認識対象の顔画像が同一人物のものであれば、目と目、口と口等、多くの窓画像同士が正しく対応し合うため、それら対応し合う窓画像同士の相対位置はほぼ一定となり、投票マップ上の同じ格子位置に票が集中することとなる。一方、登録モデルの顔画像と認識対象の顔画像が異なるものであれば、窓画像のうち、正しく対応し合わないものが増え、それらの相対位置がいろいろなバラツキを持つため、投票マップ上の広い範囲に票が分散することとなる。
【００２１】
（９）最多得票数を持つ格子（以降ピークと呼ぶ）を見つけ、得票数をもとに登録モデルの顔画像と認識対象の顔画像の類似度を算出し、この算出結果を基準に画像認識・照合を行う（ステップＳ１４０９）。また、ピークの位置から、登録物体が認識対象画像内のどこにあるかを検出することができる。
【００２２】
上記画像照合手法により、あらかじめ作成したモデルを用い、入力画像中の物体が登録モデルの物体と同一のものであるか否かを認識することができる。
【００２３】
【発明が解決しようとする課題】
上記の改良局所固有空間法を用いた画像照合処理技術は、優れている面が多いものであり、今後も本技術を適用した画像照合処理システムの普及が期待されている。この改良局所固有空間法を用いた画像照合処理システムの普及にあたり考慮すべき課題点としては以下に挙げるものがある。
【００２４】
第１の課題は、照明や人物の顔画像の撮影方向など顔画像の取り込み環境変動に対するロバスト性の確保である。つまり、モデル画像として登録する際に用いた画像の取り込み環境と、認識対象人物の画像の取り込み環境が少々異なるものであっても画像照合精度を高く維持できるものであることが求められる。画像照合処理システムは様々な場所に用いられることが想定され、画像取り込み環境を完全に一定に保つことは望めない。例えば、照明環境を考えると、自然光（太陽光）は朝、昼、夕方などの時間により変動したり、晴れ、曇り、雨など天候により変動したりする。また外光の影響の少ない屋内での利用であっても人工照明の強さや方向が変動する場合がある。また、被写体の撮影方向、撮影位置という撮影環境を考えると、画像を取り込む人物はカメラに対して常に正対しているとは限らず、また、カメラとの距離も一定とは限らない。もっとも被写体となる人物に指示を出して一定位置においてカメラに正対することを強要できれば良いが、このような運用のできるアプリケーションは限定され、ユーザ使い勝手面から問題が多いものとなる。
【００２５】
従来技術における、顔画像の取り込み環境変動に対するロバスト性を確保する技術の一つとしては、各々の被写体すべてについて想定し得る様々な撮影環境ごとに画像を撮影して取り込み、登録、保持しておき、認識フェーズにおいて、認識対象人物の取り込み画像と、各々のモデルについてあらゆる撮影環境のバリエーションごとに用意したモデル画像との間で画像照合処理を行うものが知られている。しかしこの方法によれば、画像照合処理工数が膨大となり、処理時間の増大を招くとともに、登録、保持しておくモデルデータ容量も膨大なものとなってしまうという問題がある。
【００２６】
また、従来技術における、顔画像の取り込み環境変動に対するロバスト性を確保する他の技術としては、逆に、認識フェーズにおける認識対象人物から顔画像を取り込む際に、照明条件、撮影方向、撮影位置などの環境を変え、様々な撮影環境のバリエーションの画像を多数取り込んで画像照合処理に用いるものが知られている。例えば、認識対象人物に対してカメラの前で顔を１８０度ゆっくり振らせて多様な方向からの顔画像を撮影して取り込むものである。しかしこの方法によれば、認識フェーズにおける認識対象人物からの顔画像取り込み処理の工数が増え、認識フェーズにおける処理時間の増大を招いてしまう。また、認識対象人物に対してカメラとの位置や方向に関する協力を得なければならず、ユーザフレンドリーの面から問題が多い。
【００２７】
第２の課題は、画像照合精度を一定以上に維持しつつ、画像照合処理時間を更に低減することである。改良局所固有空間法を用いた画像照合処理は、上記のとおり、モデル画像から選択した窓画像と認識対象画像から選択した窓画像の対応をとり、それらの一致度合いを評価することにより両画像の画像照合を実行するものである。選択する窓画像領域の数が多くなると投影空間への投影処理、投影結果の一致度合いの評価などの処理工数が増え、処理時間の増大を招くこととなる。一方、単純に選択する窓画像領域の数を絞り込めば処理工数が減ることとなり処理時間の低減を図ることができるが、単純に窓画像領域の数を絞り込んだ場合には画像照合精度の低下を招くこととなる。このように単純に窓画像領域の数を絞り込む処理によれば、処理時間低減と画像照合精度の維持は二律背反の関係にあり、従来技術では処理時間低減という課題と画像照合精度の維持という課題のいずれか一方を犠牲にして他方の課題を解決していた。
【００２８】
第３の課題は、モデルとして登録保持するモデルデータ容量の低減である。画像照合処理システムで扱う認識人物の数が増加し、撮影環境のバリエーションが大きくなれば、モデルデータとして登録保持する必要のあるデータ容量が増大することとなる。撮影環境のバリエーションにかかわらず単純に撮影環境のバリエーションを低減してモデルデータの容量を絞り込めば、登録保持するモデルデータ容量の低減は図ることができるが、撮影環境の変動に対するロバスト性が確保されず、撮影環境の変動に脆弱なものとなり画像照合処理精度の低下を招くこととなる。
【００２９】
上記問題点に鑑み、本発明は、上記改良局所固有空間法をさらに改良し、取り込んだ認識対象物体画像に対して照明や人物の顔画像の撮影方向など顔画像の取り込み環境変動に対するロバスト性の高い画像照合処理システムを提供することを目的とする。
【００３０】
また、本発明は、画像照合処理工数を低減し、かつ、画像照合精度を一定以上に維持しつつ、画像照合処理時間も低減することのできる画像照合処理システムを提供することを目的とする。
【００３１】
また、本発明は、モデルとして登録保持するモデルデータ容量を低減し、かつ、少ないモデルデータ容量であっても画像照合精度を一定以上に維持することのできる画像照合処理システムを提供することを目的とする。
【００３２】
また、本発明は、認識フェーズにおける認識対象人物の顔画像の撮影枚数を１枚または数枚程度で十分なものとし、かつ、顔画像取り込みの際の撮影姿勢も顔を振らせるなど特別な姿勢の強要を必要としない、概ね正面など通常想定される撮影方向による顔画像取り込みで良いという、ユーザフレンドリーな画像照合処理システムを提供することを目的とする。
【００３３】
【課題を解決するための手段】
上記課題を解決するために、本発明の画像照合処理システムは、予め取り込んだ認識対象画像から特徴的な窓画像を切り出す窓画像切り出し部と、前記切り出した窓画像の撮影環境の変動による影響を評価する撮影環境変動影響評価部と、前記撮影環境変動影響評価結果に基づき、前記切り出した窓画像のうち、撮影環境の変動による影響が所定基準以下である窓画像を選択する窓画像選択部を備え、前記選択した窓画像を用いて画像照合することを特徴とする。
【００３４】
上記構成により、撮影環境が異なっても撮影環境の変動による影響の受けにくい局所領域が窓画像として選択され、環境変動に対して影響を受けやすい窓画像が除去されることとなり、環境変動に対するロバスト性が高く、かつ、画像照合精度を一定以上に維持できる画像照合処理システムを構成することができる。
【００３５】
次に、本発明の画像照合処理システムは、撮影環境の異なる複数の認識対象画像を予め取り込んで画像群としてまとめる画像群取得部と、前記画像群の各認識対象画像から撮影環境変動を加味しない第１の基準により特徴的な局所領域を切り出す第１の窓画像切り出し部と、前記画像群の各認識対象画像から撮影環境変動を加味した第２の基準により特徴的な局所領域を切り出す第２の窓画像切り出し部と、前記第１の基準により切り出した第１の窓画像と、前記第２の基準により切り出した第２の窓画像の双方に共通に含まれている窓画像をロバスト窓画像として選択するロバスト窓画像選択部を備え、前記選択した窓画像を用いて画像照合することを特徴とする。
【００３６】
上記構成により、撮影環境の変動を加味しても加味しなくても共通して選ばれた窓画像を選択することができ、撮影環境変動によらず、常に選択されるロバスト性の高いロバスト窓画像をモデル窓画像とすることができる。
【００３７】
次に、前記の各画像から切り出した窓画像のうち、認識対象の同じ部位として対応し合う窓画像同士を窓画像群とし、ロバスト窓画像の選択において、窓画像群単位で選択すれば、撮影環境の変動を加味しても加味しなくても共通して選ばれた窓画像群を選択することができ、撮影環境変動によらず、常に選択されるロバスト性の高いロバスト窓画像群をモデル窓画像群とすることができる。
【００３８】
ここで、上記画像照合処理システムにおいて、前記画像群取得部から取り込まれる画像群が、撮影環境を連続的に変化させて認識対象を撮影した複数の連続画像からなる画像群であり、前記第１の基準が、前記画像群の連続画像において認識対象の各部位ごとにトラッキングして窓画像を切り出す基準であり、前記第２の基準が、前記画像群の各画像を個別の画像として特徴的な窓画像を切り出す基準であることが好ましい。
【００３９】
上記構成が、撮影環境を加味しない基準と撮影環境を加味する基準の一例である。
【００４０】
次に、本発明の画像照合処理システムは、撮影環境の異なる複数の認識対象画像を予め取り込んで画像群としてまとめる画像群取得部と、前記画像群の各認識対象画像から特徴的な局所領域を切り出す窓画像切り出し部と、前記切り出した窓画像の特徴を表す特徴量を算出する特徴量算出部と、前記選択した各画像から切り出した窓画像のうち認識対象の同じ部位として対応し合う窓画像の集合を窓画像群とし、窓画像群に含まれている窓画像同士の特徴量を比較し、その変動幅が所定しきい値以内の安定窓画像のみを画像特徴部分として選択する安定窓画像選択部を備え、前記選択した窓画像を用いて画像照合することを特徴とする。
【００４１】
上記構成により、認識対象の同じ部位として対応し合う窓画像同士を比較して、特徴量の変動が所定しきい値以内にある安定窓画像を選択してモデル窓画像として採用することができ、撮影環境変動の影響を受けやすく特徴量変動が大きい窓画像は除去できることとなる。
【００４２】
また、上記構成において、前記画像群が、撮影環境が連続的に変化した連続画像群であり、前記窓画像群に含まれている窓画像同士の特徴量の比較において、連続画像群の始端にある画像から切り出した窓画像と、終端にある画像から切り出した窓画像と、中間にある選ばれた１または複数の画像から切り出した窓画像の特徴量を比較することが好ましい。
【００４３】
上記構成により、すべての窓画像を固有空間に投影しなくても、必要最小限の数の窓画像を投影して安定窓画像か否か判別することができる。
【００４４】
また、本発明の画像処理照合システムは、選択した各画像から切り出した窓画像のうち認識対象の同じ部位として対応し合う窓画像の集合を窓画像群とし、特徴量をパラメタとする固有空間に対して特徴量に応じて前記窓画像群を投影する投影部を備え、前記投影部が、投影に用いる窓画像の選択にあたり、連続画像群の始端にある画像から切り出した窓画像と、終端にある画像から切り出した窓画像を選択し、さらに、投影点軌跡の精度に応じて、連続画像において選択済みの画像の中間点にある画像の窓画像を次々と投影に用いる窓画像として選択し、前記選択した窓画像を用いて画像照合することを特徴とする。
【００４５】
上記構成により、窓画像群の固有空間内での投影点軌跡を求める場合において、求められている投影点軌跡の精度に応じて投影点数を決め、その投影点により投影点軌跡の外形を推定することができる。
【００４６】
本発明の画像照合処理システムは、上記の画像照合処理システムを実現する処理ステップを記録したコンピュータ読み取り可能な記録媒体から処理プログラムを読み込むことにより、コンピュータを用いて構築することができる。
【００４７】
【発明の実施の形態】
本発明の画像照合処理システムの実施形態を以下に示す。以下では、特に顔画像の画像照合への適用を例にとって説明する。
【００４８】
本発明の画像照合処理システムは、窓画像の撮影環境の変動による影響を評価し、撮影環境の変動による影響が所定基準以下である窓画像を選択してモデル窓画像として画像照合処理に用いるものである。この窓画像の撮影環境の変動による影響の評価方法と窓画像の選択基準の例として、大きく分けて２つのタイプを示す。１つは環境変動の影響を受けにくい、つまり、環境変動に対するロバスト性が高く、認識フェーズで入力が想定される画像の環境変動にかかわらず窓画像として選択される窓画像（ロバスト窓画像）をモデル窓画像として用いて画像照合処理を実行するものである。もう１つは、環境変動があっても特徴量の変動が小さい窓画像（安定窓画像）、つまり、撮影環境の異なる撮影画像の認識画像において同じ部位として対応し合う窓画像同士の特徴量を比較し、特徴量の変動幅が所定しきい値以内である安定窓画像をモデル窓画像として用いて画像照合処理を実行するものである。ロバスト窓画像とは、一面において、撮影環境の変化に伴い、特徴量の絶対値は変化するものの、特徴量分布から特徴的な局所領域として常に一定基準を超えて選択される窓画像であり、安定窓画像とは、一面において、撮影環境の変化にかかわらず、特徴量の絶対値が安定的であまり変化せず常に一定基準を超えているために選択される窓画像と言える。
【００４９】
以下、ロバスト窓画像を用いる画像照合システムの構成例を実施形態１において説明し、安定窓画像を用いる画像照合システムの構成例を実施形態２において説明し、実施形態３以降に他の実施形態を説明する。
【００５０】
（実施形態１）
ロバスト窓画像を用いる画像照合システムの基本原理、構成、動作を説明する。
【００５１】
まず、本発明の画像照合処理システムにおいて用いる、環境変動に対するロバスト性の高いロバスト窓画像の抽出原理を説明する。
【００５２】
図１は、ロバスト窓画像の抽出原理を簡単に説明する図である。
【００５３】
図１の上から第１段目は登録画像群１００である。同じ人物の複数の画像である。ここでは撮影環境の変動として、姿勢を連続的に変化させることとし、姿勢を所定きざみで連続的に変化させた連続画像とし、左端から登録画像Ａ（１）、登録画像Ａ（２）、・・・、登録画像Ａ（ｎ）のｎ枚の画像群とした。ここでは便宜上第１の登録画像Ａ（１）を基本登録画像とする。また、ここでは説明を簡単にするため第１の登録画像Ａ（１）と第２の登録画像Ａ（ｎ）の間の画像図示は省略したが第１の登録画像Ａ（１）から第２の登録画像Ａ（ｎ）までの姿勢変化の中間画像が与えられているものとする。なお、中間画像の枚数および撮影環境の変化のきざみは限定されることはなく、一例として示した。
【００５４】
図１の例は姿勢の連続的に変化させた撮影環境の違いであるが、撮影環境変動は認識フェーズで入力が想定される様々なバリエーションのものとすることが好ましい。認識フェーズで入力された画像の撮影環境の違いに影響されないモデル窓画像を生成するため、多様な撮影環境バリエーションに対するロバスト性を検証しておく必要があるからである。ここで、想定されうる撮影環境の違いとは、人物とカメラとの相対位置（距離、方向）、照明条件（照度や照明光の波長やスペクトルなどの光源条件、人物と照明との相対位置（距離、方向））、経時変化（例えば髪型、眼鏡、ひげの有無）、表情変化（例えば無表情や笑顔）など多数あるが、これらは一例であり本発明は上記列挙の撮影環境の違いに限定されない。
【００５５】
図１の上から第２段目はトラッキング窓画像群１１０を簡単に表した例である。撮影環境変動を加味しない第１の窓画像選択基準として、トラッキングによる窓画像の抽出を用いる。トラッキングによる窓画像抽出方法の一例を説明する。上記したようにここでは、登録画像群のうち第１の登録画像Ａ（１）が基本登録画像とされている。トラッキング窓画像群とは、基本登録画像から窓画像として抽出された登録画像中の部位（例えば、目、鼻、口）に相当する窓画像を、登録画像群の各画像にわたりトラッキングして得た窓画像群である。つまり、基本登録画像である第１の登録画像Ａ（１）において左目の部位が窓画像として抽出された場合、すべての登録窓画像群の連続画像にわたり左目の部位の窓画像をトラッキングして各画像において抽出して行き、このようにトラッキングして得た左目の部位の窓画像の群を意味する。ここで重要なことは連続画像の一つ一つを個別の画像として窓画像を抽出するものではなく、基本登録画像から窓画像として抽出された登録画像中の部位に相当する窓画像を、登録画像群の各画像にわたりトラッキングして得ることである。結局、トラッキングして得られる窓画像は、環境変動の影響を無視して、基本登録画像の環境において抽出された窓画像が、各環境変動バリエーションの登録画像内のどの位置に存在しているかをトラッキングした結果となる。
【００５６】
図１でのトラッキング窓画像抽出の様子を説明する。図１の例では、基本登録画像Ａ（１）から抽出した窓画像がＢ１（Ａ１），Ｂ２（Ａ１），・・・，Ｂ１０（Ａ１）までの１０個である。この１０個の窓画像に相当する画像部位がそれぞれの中間の登録窓画像においてどこに位置するかをトラッキングして抽出してゆき、登録画像Ａ（２）においては、登録画像Ａ（１）からのトラッキングの結果、Ｂ１（Ａ２），Ｂ２（Ａ２），・・・，Ｂ１０（Ａ２）の窓画像が抽出され、登録画像Ａ（ｎ）においては、登録画像Ａ（１），Ａ（２），・・・，Ａ（ｎ−１）からのトラッキングの結果、Ｂ１（Ａｎ），Ｂ２（Ａｎ），・・・，Ｂ１０（Ａｎ）の窓画像が抽出されることとなる。
【００５７】
図１の上から第３段目は静的抽出窓画像１２０を簡単に表した例である。撮影環境変動を加味した第２の窓画像選択基準として窓画像の静的抽出を用いる。ここでいう静的抽出窓画像とは、登録画像群に含まれる連続画像の１枚１枚を個別に単独の画像として窓画像を抽出したものである。つまり、撮影環境の多様なバリエーションに対処するための用意された各撮影環境ごとの画像から窓画像を抽出したものとなり、これは、それぞれの撮影環境の影響下において認識対象画像から切り出される窓画像となる。この静的抽出窓画像は環境変動を受けた結果として各登録画像から抽出された窓画像と言っても良い。
【００５８】
図１での静的抽出窓画像抽出の様子を説明する。いま、基本登録画像Ａ（１）から抽出した窓画像がＣ１（Ａ１），Ｃ２（Ａ１），・・・，Ｃ１０（Ａ１）までの１０個である。なお、これらはそれぞれ第２段のＢ１（Ａ１），Ｂ２（Ａ１），・・・，Ｂ１０（Ａ１）と同じものである。次に、図１の例では、登録画像Ａ（２）から静的につまり単独に抽出した窓画像が、Ｄ１（Ａ２），Ｄ２（Ａ２），・・・，Ｄ１２（Ａ２）である。ここでは１２個の窓画像が抽出されたものとする。つまり、登録画像Ａ（２）は環境が登録画像Ａ（１）とは異なっているので抽出される窓画像が、同じ１０個とは限らないからである。つまり登録画像Ａ（１）に比べてより多くの窓画像が抽出されるかも知れないし、より少ない窓画像が抽出されるかも知れない。つまり、トラッキング窓画像抽出においてトラッキングの結果抽出できた窓画像であっても、静的抽出では窓画像として抽出されないものや、逆にトラッキングの結果抽出されていない窓画像が静的抽出では窓画像として抽出される場合があり、静的抽出窓画像は各環境個別に抽出されるものである。
【００５９】
続いて各中間画像についても同様に静的抽出による窓画像抽出を実行して行き、登録画像Ａ（ｎ）から静的につまり単独に抽出した窓画像が、Ｅ１（Ａｎ），Ｅ２（Ａｎ），・・・，Ｅ１２（Ａｎ）であり、１２個の窓画像が抽出されたものとする。
【００６０】
図１の上から第４段目はロバスト窓画像１３０を簡単に示したものである。図１の例におけるロバスト窓画像の抽出原理は、第２段目のトラッキング窓画像１１０と第３段目の静的抽出窓画像１２０においても共通して窓画像として抽出されている窓画像を選択するものである。つまり、分かりやすく言うと、環境変動のバリエーションにおいて、第１の窓画像選択基準であるトラッキングによる窓画像抽出の結果であっても第２の窓画像選択基準である静的抽出による窓画像抽出の結果であっても選択されている部位の窓画像、つまり、基本登録画像の撮影環境からの撮影環境変動にかかわらず選択された窓画像をロバスト窓画像として選択するものである。
【００６１】
図１の例では、登録画像Ａ（１）では、Ｆ１（Ａ１），Ｆ２（Ａ１），・・・，Ｆ１０（Ａ１）の１０個の窓画像が選択され、登録画像Ａ（２）では、Ｇ１（Ａ２），Ｇ２（Ａ２），・・・，Ｇ９（Ａ２）の９個の窓画像が選択され、登録画像Ａ（ｎ）では、Ｈ１（Ａｎ），Ｈ２（Ａｎ），・・・，Ｈ８（Ａｎ）の８個の窓画像が選択されている。
【００６２】
次に、図２に別のパターンのロバスト窓画像の抽出原理の一例を示す。
【００６３】
図２の上から第１段目は登録画像群１００であり、図１と同様のものである。姿勢を所定きざみで連続的に変化させた連続画像であり、左端から登録画像Ａ（１）、登録画像Ａ（２）、・・・、登録画像Ａ（ｎ）のｎ枚の画像群である。ここでも便宜上第１の登録画像Ａ（１）を基本登録画像とする。
【００６４】
図２の上から第２段目はトラッキング窓画像群１１０であり、図１と同様のものである。図２の例でも、基本登録画像Ａ（１）から窓画像Ｂ１（Ａ１），Ｂ２（Ａ１），・・・，Ｂ１０（Ａ１）までの１０個が抽出され、登録画像Ａ（２）においては、登録画像Ａ（１）からのトラッキングの結果、Ｂ１（Ａ２），Ｂ２（Ａ２），・・・，Ｂ１０（Ａ２）の窓画像が抽出され、登録画像Ａ（ｎ）においては、登録画像Ａ（１），Ａ（２），・・・，Ａ（ｎ−１）からのトラッキングの結果、Ｂ１（Ａｎ），Ｂ２（Ａｎ），・・・，Ｂ１０（Ａｎ）の窓画像が抽出されている。
【００６５】
図２の上から第３段目は静的抽出窓画像１２０であり、図１と同様のものである。基本登録画像Ａ（１）から窓画像Ｃ１（Ａ１），Ｃ２（Ａ１），・・・，Ｃ１０（Ａ１）までの１０個が抽出され、登録画像Ａ（２）から静的につまり単独に窓画像が、Ｄ１（Ａ２），Ｄ２（Ａ２），・・・，Ｄ１２（Ａ２）の１２個が抽出され、登録画像Ａ（ｎ）から静的につまり単独に窓画像が、Ｄ１（Ａｎ），Ｄ２（Ａｎ），・・・，Ｄ１２（Ａｎ）１２個抽出されている。
【００６６】
図２の上から第４段目はロバスト窓画像群１４０を簡単に示したものである。このロバスト窓画像の抽出原理は、第２段目のトラッキング窓画像１１０の各トラッキング窓画像群Ｂ１〜Ｂ１０のうち、すべての登録画像にわたり第３段目の静的抽出窓画像１２０においても共通して窓画像として抽出されている窓画像群を選択するものである。つまり、分かりやすく言うと、環境変動のバリエーションすべてにおいて窓画像として選択された部位の窓画像、つまり、環境変動にかかわらず常に、第１の窓画像選択基準であるトラッキングによる窓画像抽出においても、第２の窓画像選択基準である静的抽出による窓画像抽出においても選択された窓画像がロバスト窓画像ということになる。図１に示したロバスト窓画像の抽出原理は、各登録画像ごとに基本登録画像の撮影環境との撮影環境変動に対してロバストな窓画像を選んだが、この図２に示したロバスト窓画像の抽出原理は、基本登録画像の撮影環境との撮影環境変動のすべてにわたってロバストな部位の窓画像群を選ぶものである。
【００６７】
図２の例では、７つの窓画像群がロバスト窓画像群として選択され、登録画像Ａ（１）では、Ｉ１（Ａ１），Ｉ２（Ａ１），・・・，Ｉ７（Ａ１）が選択され、登録画像Ａ（２）では、Ｊ１（Ａ２），Ｊ２（Ａ２），・・・，Ｊ７（Ａ２）が選択され、登録画像Ａ（ｎ）では、Ｋ１（Ａｎ），Ｋ２（Ａｎ），・・・，Ｋ７（Ａｎ）が選択されている。
【００６８】
上記のように、ロバスト窓画像をモデル窓画像として選択することにより以下の効果が得られる。
【００６９】
まず、第１の効果として、認識フェーズで入力が想定される環境変動のバリエーションに依存せずに画像照合を実行することが可能となる。つまり、認識フェーズで入力された画像から抽出した窓画像に対して、ロバスト窓画像であるモデル窓画像との画像照合を行うことにより良好な画像照合が実行できる。つまり、認識フェーズで入力された画像から抽出した窓画像にはロバスト窓画像に相当する窓画像が含まれており、その両者を比較することで画像照合が実行できる。
【００７０】
次に、第２の効果として、認識フェースで入力が想定される画像の環境変動の大きい場合、画像照合精度の向上が見込める。ロバスト窓画像以外の窓画像は環境変動による影響を受けやすい部位の窓画像なので、これら部位の窓画像も含んだ形のモデル窓画像を生成し、認識フェースで入力が想定される画像から抽出された窓画像群と画像照合を行えば、環境変動の影響の結果、一致性の低い窓画像や存在しない窓画像が多くなり、むしろ画像照合精度を低下させる方向に働くこともある。本発明は環境変動に強いロバスト窓画像のみを用いて窓画像照合を行うので認識フェースで入力が想定される画像の環境変動の大きい場合でも画像照合精度を高く維持することができる。
【００７１】
以上が、ロバスト窓画像の抽出原理の例である。
【００７２】
次に、実施形態１にかかる本発明の画像照合処理システムの装置構成およびその動作を説明する。
【００７３】
図３は、本発明の画像照合処理システムの基本構成例を示すブロック図である。
【００７４】
１０は、画像取り込み部である。登録フェーズで用いる登録画像データの取り込み、認識フェーズで用いる認識対象画像データの取り込みに用いることができる。外部から画像データファイルを取り込むものでも良く、カメラを備えて撮影画像を取り込むものでも良い。
【００７５】
２０は、窓画像切り出し部であり、取り込んだ認識対象画像から特徴的な窓画像を切り出す部分である。この切り出し処理は、局所固有空間法によるアルゴリズムを用いることができる。窓画像切り出し部２０の入力データは取り込み画像であるので、各取り込み画像から人物の顔画像領域など、認識対象画像領域を検出し、認識対象画像領域を切り出す認識対象画像領域切り出し部５０を備えることができる。
【００７６】
３０は、撮影環境変動影響評価部であり、窓画像切り出し部２０が切り出した窓画像データを取り込み、撮影環境の変動による影響を評価する部分である。撮影環境変動による影響の評価方法は様々想定される。
【００７７】
４０は、窓画像選択部であり、撮影環境変動影響評価部３０による撮影環境変動影響評価結果に基づき、切り出した窓画像のうち、撮影環境の変動による影響が所定基準以下である窓画像を選択する部分である。この撮影環境の変動による影響に対する基準をチューニングするため、撮影環境変動影響評価基準設定部６０を備えることができる。
【００７８】
図４は、図３の一実施例として、撮影環境の変動による影響の評価手法が、切り出した窓画像がロバスト窓画像であるか否かを評価する手法とした構成例を示したものである。図１に示した基本原理に対応した装置構成例である。
【００７９】
画像取り込み部１０ａは、撮影環境の異なる複数の認識対象画像を取り込んで画像群としてまとめるものである。
【００８０】
窓画像切り出し部２０ａは、その切り出し処理の違いにより、第１の窓画像切り出し部２１ａと第２の窓画像切り出し部２２ａの２つの処理部分を備えている。第１の窓画像切り出し部２１ａは、撮影環境変動を加味しない第１の基準により特徴的な局所領域を切り出す部分である。この実施例では、第１の基準が、上記基本原理で述べた画像群の連続画像において認識対象の各部位ごとにトラッキングして窓画像を切り出す基準とする。第２の窓画像切り出し部２２ａは、画像群の各認識対象画像から撮影環境変動を加味しない第２の基準により特徴的な局所領域を切り出す部分である。この実施例では、第２の基準が、上記基本原理で述べた画像群の各画像を個別の画像として特徴的な窓画像を切り出す基準とする。
【００８１】
ロバスト窓画像評価部３０ａは、撮影環境変動影響評価部３０に相当し、第１の窓画像切り出し部２１ａにより切り出した第１の窓画像と、第２の窓画像切り出し部２２ａにより切り出した第２の窓画像の双方に共通に含まれている場合にロバスト窓画像と評価する。
【００８２】
ロバスト窓画像選択部４０ａは、ロバスト窓画像評価部３０ａの評価によりロバスト窓画像として評価された窓画像を抽出・選択する。
【００８３】
次に、図５は、図３の別の一実施例として、撮影環境の変動による影響の評価手法が、切り出した窓画像を同じ部位ごとの窓画像群にまとめ、窓画像群がロバスト窓画像群足り得るか否かを評価する手法とした構成例を示したものであり、図２に示した基本原理に対応した装置構成例である。
【００８４】
画像取り込み部１０ｂは、図４の画像取り込み部１０ａと同様のもので、撮影環境の異なる複数の認識対象画像を取り込んで画像群としてまとめるものである。
【００８５】
窓画像切り出し部２０ｂは、図４の窓画像切り出し部２０ａと同様のもので、その切り出し処理の違いにより、第１の窓画像切り出し部２１ｂと第２の窓画像切り出し部２２ｂの２つの処理部分を備えている。
【００８６】
ロバスト窓画像群評価部３０ｂは、撮影環境変動影響評価部３０に相当し、第１の窓画像切り出し部２１ｂにより切り出した第１の窓画像から切り出した窓画像のうち、認識対象の同じ部位として対応し合う窓画像同士を窓画像群とし、窓画像群に属する各窓画像が、第１の基準により切り出した第１の窓画像と、第２の基準により切り出した第２の窓画像の双方に共通に含まれている場合にロバスト窓画像群と評価する部分である。
【００８７】
ロバスト窓画像群選択部４０ｂは、ロバスト窓画像群評価部３０ｂの評価によりロバスト窓画像群として評価された窓画像群を抽出・選択する部分である。
【００８８】
次に、実施形態１にかかる本発明の画像照合処理システムの動作例を図６のフローチャートと図７の説明図を参照しつつ説明する。ここでは代表的に図５に示した装置構成例の場合の動作を説明する。
【００８９】
まず、画像取り込み部１０ｂによりある撮影環境で撮影した登録対象となる人物の画像データを取り込む（ステップＳ６０１）。
【００９０】
画像取り込み部１０ｂは、所定の撮影環境の異なる複数の画像データが取り込めたか否かを確認し（ステップＳ６０２）、所定の画像データが取り込めていない場合（ステップＳ６０２：Ｎ）、撮影環境をステップＳ６０１で取り込んだ画像データの撮影環境とは異なるものに変更し（ステップＳ６０３）、登録対象人物の画像データを取り込む（ステップＳ６０１に戻る）。撮影環境を変更する際、無秩序に撮影環境を変えるより、撮影環境パラメタを所定の基準、所定のきざみで変え、撮影環境を変化させた連続画像とすることが好ましい。ここでは人物正面とカメラの相対位置という撮影環境を変化させるものとし、人物が顔を正面から右方向に振った連続画像を得たとする。図７の７０１は取り込んだ連続画像を簡単に示したものである。
【００９１】
次に、窓画像切り出し部２０ｂの第１の窓画像切り出し部２１ｂによりトラッキング窓画像を抽出する。まず、基本登録画像から特徴的な局所領域である窓画像を切り出す（ステップＳ６０４）。図７の７０２はこの様子を簡単に表したものである。次に、残りの連続画像における、基本登録画像から切り出した窓画像の各部位に対応する部位がどの位置であるかをトラッキングして切り出す（ステップＳ６０５）。図７の７０３は右目の部位に対する窓画像についてトラッキングしている様子を簡単に表したものである。図７の７０４は切り出したトラッキング窓画像群として右目の部位と口の部位のトラッキング窓画像群を２つを簡単に示したものである。
【００９２】
次に、各画像について、窓画像切り出し部２０ｂの第２の窓画像切り出し部２２ｂにより静的抽出による窓画像切り出しを行う（ステップＳ６０６）。図７の７０５は各画像から静的抽出により選択された窓画像の中心を丸印で簡単に示したものである。
【００９３】
次に、ロバスト窓画像群評価部３０ｂは、第１の窓画像切り出し部２１ｂにより切り出した第１の窓画像から切り出した窓画像のうち、認識対象の同じ部位として対応し合う窓画像同士をトラッキング窓画像群とし、トラッキング窓画像群に属する各窓画像が、静的抽出窓画像としても選択されているか否かによりロバスト窓画像か否かを評価する（ステップＳ６０７）。
【００９４】
ロバスト窓画像群選択部４０ｂは、ロバスト窓画像群評価部３０ｂの評価によりロバスト窓画像群として評価された窓画像群を抽出・選択する（ステップＳ６０８）。図７の７０６は、右目の窓画像群がロバスト窓画像として選択された様子を簡単に示したものである。
【００９５】
未判定の他のトラッキング窓画像群が残っているかを調べ（ステップＳ６０９）、残っていれば（ステップＳ６０９：Ｙ）ステップＳ６０７に戻ってロバスト窓画像の判定処理を続行する。残っていなければ（ステップＳ６０９：Ｎ）、処理を終了する。
【００９６】
なお、この選択したロバスト窓画像をモデル窓画像として生成し、登録フェーズを終了する。
【００９７】
認識フェーズでは、取り込んだ認識画像の窓画像と、ロバスト窓画像から生成したモデル窓画像の画像照合処理を実行する。
【００９８】
以上、実施形態１の画像照合処理システムによれば、ロバスト窓画像を選択して画像照合処理に用いることにより、撮影環境が変動してもロバスト性の高い画像照合処理を実行することができる。
【００９９】
（実施形態２）
安定窓画像を用いる画像照合システムの基本原理、構成、動作を説明する。
【０１００】
まず、本発明の画像照合処理システムにおいて用いる、環境変動に対して特徴量の変動の少ない安定窓画像の抽出原理を説明する。
【０１０１】
図８は、安定窓画像の抽出原理を簡単に説明した図である。
【０１０２】
撮影環境を変動した連続画像の例として、登録対象となる人物が顔を右から左に振った連続画像を例に説明する。図８の上から第１段目の８００がその様子を頭頂方向から模式的に示したものであり、上から第２段目の８１０がその様子を正面方向から模式的に示した図である。
【０１０３】
まず、各画像から実施形態１で説明した静的抽出による窓画像切り出しを行う。多数の部位の窓画像が切り出されることとなるが、今、説明を簡単にするため、８２０のように右目の部位の窓画像と、鼻の部位の窓画像の２つを用いて説明する。
【０１０４】
静的抽出による窓画像の切り出しは、従来技術や実施形態１などで説明したように画像の特徴的な局所領域を切り出す処理であり、各窓画像はこの特徴をパラメタにした特徴量を持つ。パラメタの定義の仕方で変わるが一例として当初２２５次元程度の次元数を持ち、これを２０次元程度に圧縮して２０次元の固有空間内の点として投影する。各窓画像はこの固有空間内に投影点を持つ。安定窓画像の抽出原理は簡単に述べると、認識画像中の同じ部位ごとに集めた窓画像群の各窓画像の固有空間への投影点群が、所定範囲内に収まるものであまり変動がないものを安定窓画像として抽出するものである。これは、特徴量の変動が所定基準以内であることを意味するものである。図８の８３０は、特徴量の変化を簡単に表したものである。縦軸が特徴量、横軸は各画像の撮影環境変動であり、ここでは人の顔の角度とする。目の窓画像の特徴量変化を示すものが８３０ａであり、鼻の窓画像の特徴量変化を示すものが８３０ｂである。８３０ａ、ｂから分かるように、目の窓画像の特徴量変化は小さく、鼻の窓画像の特徴量変化は大きいものとなっている。特徴量変化は、窓画像の見えの変化とも言え、目の窓画像は、その特徴的形状が８１０に示すように大きく変化するものではないが、鼻の窓画像は、その特徴的形状が８１０に示すように大きく変化することが理解できる。このため、目の窓画像の特徴量変化は小さく、鼻の窓画像の特徴量変化は大きいものとなる。
【０１０５】
安定窓画像と評価する基準を、特徴量変動が所定幅以内であるものと設定すれば、目の窓画像を安定窓画像とし、鼻の窓画像を安定窓画像とはしない評価が可能となる。
【０１０６】
目の窓画像は８１０に示す範囲の顔の向きであれば、どの向きであっても高い画像照合精度が期待できる。一方、鼻の窓画像は顔の向きによって画像照合精度におおきなバラツキが生じ、鼻の窓画像をモデル画像の一部とすると、全体の画像照合精度の低下を招く結果となる。
【０１０７】
以上が、安定窓画像の抽出原理である。
【０１０８】
次に、安定窓画像抽出における処理量の低減の工夫について述べる。
【０１０９】
安定窓画像抽出においては、上記安定窓画像の抽出原理で述べたように、各画像から静的抽出により各窓画像を抽出し、認識画像中の同じ部位ごとに集めた窓画像群の各窓画像の特徴量を計算し、当該特徴量パラメタを次元とする固有空間への投影点群を求める必要がある。得られている窓画像すべての固有空間内での投影点を求めれば、各部位の窓画像が安定窓画像か否か判断することができる。しかし、すべて画像のすべての窓画像にわたり、特徴量の計算（例えば当初２２５次元）、特徴量圧縮計算処理（例えば２０次元）、固有空間内への投影処理を行うこととなり、処理量が膨大になる。そこで安定窓画像抽出処理量を以下のように低減する。
【０１１０】
図９は、安定窓画像抽出処理量を低減する方法を簡単に示した図である。
【０１１１】
図９の上から第１段目の９００は、各登録画像であり、ここでは例として９枚の画像があり、顔が右方向から左方向に振られた連続画像とする。
【０１１２】
第２段目の９１０は、静的に抽出された窓画像群を示す。左からＬ１〜Ｌ９とする。ここでは説明の便宜上、例として右目の窓画像と鼻の窓画像のみを示した。
【０１１３】
第３段目の９２０は、右目の窓画像に関して特徴量を計算し、当該特徴量パラメタを次元とする固有空間への投影点群を求めたものであるが、ここでは以下の順番で投影している。まず、連続画像の最初の画像から得た窓画像群Ｌ１の右目の窓画像を特徴空間内に投影した投影点がＭ１を求める。次に、連続画像の最後の画像から得た窓画像群Ｌ９の右目の窓画像を特徴空間内に投影した投影点Ｍ９、連続画像の中間の窓画像群Ｌ５の右目の窓画像を特徴空間内に投影した投影点Ｍ５を求める。今、Ｍ１とＭ９とＭ５の特徴量を見ると３者の差異が小さいことが分かる。この場合、連続画像の最初、真ん中、最後のいずれについても特徴量の差異が小さいので、すべての連続画像にわたって特徴量の変動が小さいことが十分期待できる。そこで、右目の窓画像に関してはこの３つの窓画像の投影処理により安定窓画像と判断し、安定窓画像判定処理をここで終了しても良い。
【０１１４】
なお、連続画像の全部にわたる右目の窓画像の特徴量投影軌跡を得たい場合は、９２０に示したように、上記の３点Ｍ１、Ｍ５、Ｍ９を結ぶことにより推定することも可能である。
【０１１５】
次に、第４段目の９３０は、鼻の窓画像に関して特徴量を計算し、当該特徴量パラメタを次元とする固有空間への投影点群を求めたものであるが、ここでは以下の順番で投影している。目の窓画像と同様に、連続画像の最初の画像から得た窓画像群Ｅ１の鼻の窓画像、連続画像の最後の画像から得た窓画像群Ｅ９の鼻の窓画像、連続画像の中間の窓画像群Ｅ５の鼻の窓画像の３つについて特徴空間内に投影して投影点がＮ１、Ｎ９、Ｎ５を得る。今、Ｎ１とＮ９とＮ５の特徴量を見ると３者の差異が大きいことが分かる。この場合、連続画像の残りの中間にある窓画像ついての特徴量の変化の様子は未だ不明であるが、全体として差異が大きいものであることは間違いない。そこで、鼻の窓画像に関してはこの３つの窓画像の投影処理により安定窓画像ではないと判断でき、安定窓画像判定処理をここで終了しても良い。
【０１１６】
なお、連続画像の全部にわたる鼻の窓画像の特徴量投影軌跡を得たい場合は、上記の３点Ｎ１、Ｎ５、Ｎ９をどのように結べば良いか未だ不明である。そこで必要となる精度に応じて中間の投影軌跡を求める。
【０１１７】
第４段目の９３０は、もっとも簡単に中間軌跡を推定したものである。単に上記の３点Ｎ１、Ｎ５、Ｎ９を結んだ軌跡としている。
【０１１８】
第５段目の９４０は、連続画像の中間の窓画像Ｌ３とＬ７の鼻の窓画像の特徴量投影点処理を実行して補間したものである。それぞれＮ３とＮ７の投影点が得られたものとする。この５つの投影点Ｎ１、Ｎ３、Ｎ５、Ｎ７、Ｎ９を結んだものを中間軌跡として推定したものである。
【０１１９】
第６段目の９５０は、さらに精度が必要とされた場合に、さらに連続画像の中間の窓画像の特徴量投影点処理を実行して補間したものである。連続画像の中間の窓画像Ｌ２、Ｌ４、Ｌ６、Ｌ８の鼻の窓画像の特徴量投影点処理を実行して補間し、それぞれＮ２、Ｎ４、Ｎ６、Ｎ８の投影点が得られたものとする。結局９つすべての投影点Ｎ１〜Ｎ９を結んだものを中間軌跡として推定したものである。
【０１２０】
このように、必要となる精度に応じて中間の投影軌跡を求めることにより投影処理を最適に低減することが可能となる。
【０１２１】
以上が安定窓画像抽出処理量を低減する方法の基本原理である。
【０１２２】
次に、実施形態２にかかる本発明の画像照合処理システムの装置構成およびその動作を説明する。
【０１２３】
なお、実施形態１において示した、図３の本発明の画像照合処理システムの基本構成例は、本実施形態２の画像照合処理システムの基本構成例でもあるが、説明の重複を避けるため、ここでの説明は省略する。
【０１２４】
図１０は、図３の一実施例として、撮影環境の変動による影響の評価手法が、切り出した窓画像が安定窓画像であるか否かを評価する手法とした構成例を示したものである。
【０１２５】
画像取り込み部１０ｃは、撮影環境の異なる複数の認識対象画像を取り込んで画像群としてまとめるものである。
【０１２６】
窓画像切り出し部２０ｃは、静的抽出により画像から特徴的な局所領域を窓画像として切り出す部分である。
【０１２７】
安定窓画像評価部３０ｃは、撮影環境影響評価部３０に相当する部分であり、特徴量計算部３１ｃと、固有空間投影部３２ｃと、特徴量差異評価部３３ｃを備えている。まず、撮影環境変動影響評価部３０ｃは、取り込んだ窓画像から認識対象の同じ部位として対応し合う窓画像同士を窓画像群としてまとめる。次に特徴量計算部３１ｃにより各窓画像から特徴量を計算し、固有空間投影部３２ｃにより特徴量に応じて各窓画像の投影点を求める。さらに特徴量差異評価部３３ｃにより窓画像群に属する各窓画像の特徴量差異が所定しきい値以内か否かを評価する。安定窓画像評価部３０ｃは、特徴量差異が所定しきい値以内であれば安定窓画像と評価し、特徴量差異が所定しきい値以内でなければ安定窓画像ではないと評価する。
【０１２８】
安定窓画像選択部４０ｃは、安定窓画像評価部３０ｃの評価により安定窓画像群として評価された窓画像群を抽出・選択する部分である。
【０１２９】
次に、実施形態２にかかる本発明の画像照合処理システムの動作例を図１１のフローチャートに示す。
【０１３０】
図１１のステップＳ１１０１〜Ｓ１１０３は、図６のステップＳ６０１〜Ｓ６０３と同様であるので説明を省略する。
【０１３１】
次に、各画像について、窓画像切り出し部２０ｃにより静的抽出による窓画像切り出しを行う（ステップＳ１１０４）。
【０１３２】
次に、安定窓画像評価部３０ｃは、取り込んだ窓画像から認識対象の同じ部位として対応し合う窓画像同士を窓画像群としてまとめる（ステップＳ１１０５）。
【０１３３】
次に、特徴量計算部３１ｃは、窓画像群の１つに対して、上記安定窓画像判別処理低減の方法に従って選択したある窓画像の特徴量を計算する（ステップＳ１１０６）。つまり、Ｓ１１０６〜Ｓ１１０８までの処理ループにおいて、１回目は連続画像の最初のもの、２回目は連続画像の最後、３回目は連続画像の真ん中といった順序で選択した窓画像から特徴量を計算する。
【０１３４】
次に、固有空間投影部３２ｃは、特徴量に応じて各窓画像の投影点を求める（ステップＳ１１０７）。
【０１３５】
安定窓画像評価部３０ｃは、現行のステップＳ１１０７までに投影されている判定対象の窓画像の投影点が所定数（３つ以上）あるか否か確認し（ステップＳ１１０８）、３つ以上あれば（ステップＳ１１０８：Ｙ）、特徴量差異評価部３３ｃは、各特徴量の差異を評価し、窓画像群に属する各窓画像の特徴量差異が所定しきい値以内か否かを評価する（ステップＳ１１０９）。
【０１３６】
安定窓画像評価部３０ｃは、特徴量差異が所定しきい値以内であれば当該窓画像群を安定窓画像と評価し、特徴量差異が所定しきい値以内でなければ当該窓画像群を安定窓画像ではないと評価する（ステップＳ１１１０）。
【０１３７】
安定窓画像選択部４０ｃは、安定窓画像評価部３０ｃの評価により安定窓画像群として評価された窓画像群を抽出・選択する（ステップＳ１１１１）。
【０１３８】
安定窓画像評価部３０ｃは、安定窓画像判定が未処理の窓画像群が残っていないか調べ（ステップＳ１１１２）、残っていれば（ステップＳ１１１２：Ｙ）、ステップＳ１１０６に戻る。残っていない場合は選択処理を終了する。
【０１３９】
なお、この選択した安定窓画像をモデル窓画像として生成し、登録フェーズを終了する。
【０１４０】
認識フェーズでは、取り込んだ認識画像の窓画像と、安定窓画像から生成したモデル窓画像の画像照合処理を実行する。
【０１４１】
以上、実施形態２の画像照合処理システムによれば、安定窓画像を選択し、モデル窓画像データを生成することができる。安定窓画像をモデル窓画像データとすることにより、モデルとして登録保持するモデルデータ容量の低減し、かつ、少ないモデルデータ容量であっても撮影環境変動に影響されず、画像照合精度を一定以上に維持した画像照合処理を実行することができる。
【０１４２】
（実施形態３）
本発明の画像照合処理システムは、上記に説明した構成を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明の画像照合処理システムを実現する処理ステップを備えたプログラムを記録した記録媒体は、図１２に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ１２０２やフレキシブルディスク１２０３等の可搬型記録媒体１２０１だけでなく、ネットワーク上にある記録装置内の記録媒体１２００や、コンピュータのハードディスクやＲＡＭ等の記録媒体１２０５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ１２０４上にローディングされ、主メモリ上で実行される。
【０１４３】
【発明の効果】
本発明の画像照合処理システムによれば、取り込んだ認識対象物体画像に対して照明や人物の顔画像の撮影方向など顔画像の取り込み環境変動に対するロバスト性の高い画像照合処理が実行できる。
【０１４４】
また、本発明の画像照合処理システムによれば、画像照合処理工数を低減し、かつ、画像照合精度を一定以上に維持しつつ、画像照合処理時間も低減した画像照合処理が実行できる。
【０１４５】
また、本発明の画像照合処理システムによれば、モデルとして登録保持するモデルデータ容量を低減し、かつ、少ないモデルデータ容量であっても画像照合精度を一定以上に維持した画像照合処理が実行できる。
【０１４６】
また、本発明は、認識フェーズにおける認識対象人物の顔画像の撮影枚数を１枚または数枚程度で十分なものとし、かつ、顔画像取り込みの際の撮影姿勢も顔を振らせるなど特別な姿勢の強要を必要としない、概ね正面など通常想定される撮影方向による顔画像取り込みで良いという、ユーザフレンドリーな画像照合処理が実行できる。
【図面の簡単な説明】
【図１】 本発明の画像照合処理システムで用いるロバスト窓画像の抽出原理を簡単に説明する図
【図２】 本発明の画像照合処理システムで用いる別のパターンのロバスト窓画像の抽出原理の一例を示す図
【図３】 本発明の画像照合処理システムの基本構成例を示すブロック図
【図４】 図３の一実施例として、切り出した窓画像がロバスト窓画像であるか否かを評価する手法とした構成例を示した図
【図５】 図３の別の実施例として、切り出した窓画像がロバスト窓画像群であるか否かを評価する手法とした構成例を示した図
【図６】 実施形態１にかかる本発明の画像照合処理システムの動作例を示すフローチャート
【図７】 実施形態１にかかる本発明の画像照合処理システムの動作例を示した図
【図８】 本発明の画像照合処理システムで用いる安定窓画像の抽出原理を簡単に説明した図
【図９】 安定窓画像抽出処理量を低減する方法を簡単に示した図
【図１０】 図３の一実施例として、切り出した窓画像が安定窓画像であるか否かを評価する手法とした構成例を示した図
【図１１】 実施形態２にかかる本発明の画像照合処理システムの動作例を示すフローチャート
【図１２】 本発明の実施形態３の画像照合処理システムを実現する処理プログラムを格納した記録媒体の例を示す図
【図１３】 改良局所固有空間法における「登録フェーズ」の処理手順を示すフローチャート
【図１４】 改良局所固有空間法における「認識フェーズ」の処理手順を示すフローチャート
【図１５】 （ａ）は取得したモデル画像の例を表す図、（ｂ）は、認識対象となる画像の例を表す図
【図１６】 特徴点を基に局所領域を窓画像として選択した様子を示す図
【図１７】 窓画像の画像上での相対位置を基に投票マップ上の対応する格子に投票を行った様子を示す図
【符号の説明】
１０，１０ａ，１０ｂ，１０ｃ 画像取り込み部
２０，２０ａ，２０ｂ，２０ｃ 窓画像切り出し部
２１ａ，２１ｂ 第１の窓画像切り出し部
２２ａ，２２ｂ 第２の窓画像切り出し部
３０ 撮影環境変動影響評価部
３０ａ ロバスト窓画像評価部
３０ｂ ロバスト窓画像群評価部
３０ｃ 安定窓画像評価部
３１ｃ 特徴量計算部
３２ｃ 固有空間投影部
３３ｃ 特徴量差異評価部
４０ 窓画像選択部
４０ａ，４０ｂ ロバスト窓画像選択部
４０ｃ 安定窓画像選択部
５０，５０ａ，５０ｂ，５０ｃ 認識対象画像領域切り出し部
６０，６０ａ，６０ｂ，６０ｃ 撮影環境変動影響評価基準設定部
１００ 登録画像群
１１０ トラッキング窓画像群
１２０ 静的抽出窓画像
１３０ ロバスト窓画像
１４０ ロバスト窓画像群
８００ 登録対象人物が顔を右から左に振った連続画像を頭頂方向から模式的に示したもの
８１０ 登録対象人物が顔を右から左に振った連続画像を正面方向から模式的に示したもの
８２０ 右目の部位の窓画像と鼻の部位の窓画像
８３０ａ，８３０ｂ 特徴量の変化
９００ 登録対象人物が顔を右から左に振った連続画像を正面方向から模式的に示したもの
９１０ 静的に抽出された右目の部位の窓画像と鼻の部位の窓画像
９２０ 右目の窓画像に関する投影点群
９３０，９４０，９５０ 鼻の窓画像に関する投影点群
１２００ 記録装置内の記録媒体
１２０１ 可搬型記録媒体
１２０２ ＣＤ−ＲＯＭ
１２０３ フレキシブルディスク
１２０４ コンピュータ
１２０５ コンピュータのハードディスクやＲＡＭ等の記録媒体

Claims (12)

1. 撮影環境を連続的に変化させて認識対象を撮影した複数の連続画像を、撮影環境の異なる複数の認識対象画像として予め取り込んで画像群としてまとめる画像群取得部と、
   前記画像群の各認識対象画像について前記認識対象の各部位ごとにトラッキングを行って得た窓画像を切り出す第１の窓画像切り出し部と、
   前記画像群の各認識対象画像を個別の画像とし、各画像において特徴点を含む領域を窓画像として切り出す第２の窓画像切り出し部と、
   同一の認識対象画像において、前記第１の窓画像切り出し部により切り出した第１の窓画像と、前記第２の窓画像切り出し部により切り出した第２の窓画像の双方に共通に含まれている部位の窓画像を、環境変動による影響を受けにくいロバスト窓画像として選択するロバスト窓画像選択部とを備え、
   前記選択した窓画像を用いて画像照合することを特徴とする画像照合処理システム。
2. 撮影環境を連続的に変化させて認識対象を撮影した複数の連続画像を、撮影環境の異なる複数の認識対象画像として予め取り込んで画像群としてまとめる画像群取得部と、
   前記画像群の各認識対象画像について前記認識対象の各部位ごとにトラッキングを行って得た窓画像を切り出す第１の窓画像切り出し部と、
   前記画像群の各認識対象画像を個別の画像とし、各画像において特徴点を含む領域を窓画像として切り出す第２の窓画像切り出し部と、
   前記第１の窓画像切り出し部により切り出した第１の窓画像のうち、認識対象の同じ部位として対応し合う窓画像同士を窓画像群とし、当該窓画像群に属する各窓画像が、全ての認識対象画像にわたり前記第２の窓画像切り出し部により切り出した第２の窓画像に含まれている窓画像群を、環境変動による影響を受けにくいロバスト窓画像群として選択するロバスト窓画像群選択部とを備え、
   前記選択した窓画像を用いて画像照合することを特徴とする画像照合処理システム。
3. 撮影環境が連続的に変化した認識対象の連続画像を予め取り込んで画像群としてまとめる画像群取得部と、
   前記画像群の各認識対象画像から特徴的な局所領域を切り出す窓画像切り出し部と、
   前記切り出した窓画像の特徴を表す特徴量を算出する特徴量算出部と、
   前記切り出した窓画像のうち認識対象の同じ部位として対応し合う窓画像の集合を窓画像群とし、当該窓画像群に含まれている窓画像同士の特徴量を比較する際に、連続画像からなる前記画像群の始端にある画像から切り出した窓画像と、終端にある画像から切り出した窓画像と、中間にある選ばれた１または複数の画像から切り出した窓画像の特徴量を比較し、その変動幅が所定しきい値以内の安定窓画像のみを画像特徴部分として選択する安定窓画像選択部を備え、前記選択した窓画像を用いて画像照合することを特徴とする画像照合処理システム。
4. 前記安定窓画像選択部は、更に、
   特徴量をパラメタとする固有空間に対して前記特徴量に応じて前記窓画像群に含まれる窓画像を投影する投影部を備え、
   前記投影部は、投影に用いる窓画像の選択にあたり、連続画像からなる前記画像群の始端にある画像から切り出した窓画像と、終端にある画像から切り出した窓画像を選択し、さらに、投影点軌跡の精度に応じて、連続画像において選択済みの画像の中間点にある画像の窓画像を次々と投影に用いる窓画像として選択し、
   前記安定窓画像選択部は、前記投影部により投影された各窓画像間の特徴量差異に基づいて前記安定窓画像を選択する、請求項３に記載の画像照合処理システム。
5. 前記画像群の各画像から認識対象画像領域を検出し、認識対象画像領域を切り出した画像群とする認識対象画像領域切り出し部を備えた請求項１〜４のいずれか一項に記載の画像照合処理システム。
6. 前記撮影環境が、認識対象と撮影カメラの相対位置および相対方向である請求項１〜５のいずれか一項に記載の画像照合処理システム。
7. 前記選択された窓画像の選択結果を表示する窓画像選択結果表示部と、前記選択された窓画像の選択を修正する窓画像選択修正部とを備えた請求項１〜６のいずれか一項に記載の画像照合処理システム。
8. 画像照合処理システムを実現するための処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   撮影環境を連続的に変化させて認識対象を撮影した複数の連続画像を、撮影環境の異なる複数の認識対象画像として予め取り込んで画像群としてまとめる画像群取得処理と、
   前記画像群の各認識対象画像について前記認識対象の各部位ごとにトラッキングを行って得た窓画像を切り出す第１の窓画像切り出し処理と、
   前記画像群の各認識対象画像を個別の画像とし、各画像において特徴点を含む領域を窓画像として切り出す第２の窓画像切り出し処理と、
   同一の認識対象画像において、前記第１の窓画像切り出し部により切り出した第１の窓画像と、前記第２の窓画像切り出し部により切り出した第２の窓画像の双方に共通に含まれている部位の窓画像を、環境変動による影響を受けにくいロバスト窓画像として選択するロバスト窓画像選択処理と、
   前記選択した窓画像を用いて画像照合する処理とを、前記コンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
9. 画像照合処理システムを実現するための処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   撮影環境を連続的に変化させて認識対象を撮影した複数の連続画像を、撮影環境の異なる複数の認識対象画像として予め取り込んで画像群としてまとめる画像群取得処理と、
   前記画像群の各認識対象画像について前記認識対象の各部位ごとにトラッキングを行って得た窓画像を切り出す第１の窓画像切り出し処理と、
   前記画像群の各認識対象画像を個別の画像とし、各画像において特徴点を含む領域を窓画像として切り出す第２の窓画像切り出し処理と、
   前記第１の窓画像切り出し部により切り出した第１の窓画像のうち、認識対象の同じ部位として対応し合う窓画像同士を窓画像群とし、当該窓画像群に属する各窓画像が、全ての認識対象画像にわたり前記第２の窓画像切り出し部により切り出した第２の窓画像に含まれている窓画像群を、環境変動による影響を受けにくいロバスト窓画像群として選択するロバスト窓画像群選択処理と、
   前記選択した窓画像を用いて画像照合する処理とを、前記コンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
10. 画像照合処理システムを実現するための処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    撮影環境が連続的に変化した認識対象の連続画像を予め取り込んで画像群としてまとめる画像群取得処理と、
    前記画像群の各認識対象画像から特徴的な局所領域を切り出す窓画像切り出し処理と、
    前記切り出した窓画像の特徴を表す特徴量を算出する特徴量算出処理と、
    前記切り出した窓画像のうち、認識対象の同じ部位として対応し合う窓画像の集合を窓画像群とし、当該窓画像群に含まれている窓画像同士の特徴量を比較する際に、連続画像からなる前記画像群の始端にある画像から切り出した窓画像と、終端にある画像から切り出した窓画像と、中間にある選ばれた１または複数の画像から切り出した窓画像の特徴量を比較し、その変動幅が所定しきい値以内の安定窓画像のみを画像特徴部分として選択する安定窓画像選択処理と、
    前記選択した窓画像を用いて画像照合する処理とを、前記コンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
11. 画像照合処理システムを実現するための処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    撮影環境が連続的に変化した認識対象の連続画像を予め取り込んで画像群としてまとめる画像群取得処理と、
    前記画像群の各認識対象画像から特徴的な局所領域を切り出す窓画像切り出し処理と、
    前記切り出した窓画像の特徴を表す特徴量を算出する特徴量算出処理と、
    前記切り出した窓画像のうち、認識対象の同じ部位として対応し合う窓画像の集合を窓画像群とし、当該窓画像群に含まれている窓画像同士の特徴量を比較する際に、連続画像からなる前記画像群の始端にある画像から切り出した窓画像と、終端にある画像から切り出した窓画像と、中間にある選ばれた１または複数の画像から切り出した窓画像の特徴量を比較し、特徴量の変動の小さい窓画像を優先的に選択する安定窓画像選択処理と、
    前記選択した窓画像を用いて画像照合する処理とを、前記コンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
12. 前記安定窓画像選択処理は、更に、
    特徴量をパラメタとする固有空間に対して前記特徴量に応じて前記窓画像群に含まれる窓画像を投影する投影処理を含み、
    前記投影処理は、投影に用いる窓画像の選択にあたり、連続画像からなる前記画像群の始端にある画像から切り出した窓画像と、終端にある画像から切り出した窓画像を選択し、さらに、投影点軌跡の精度に応じて、連続画像において選択済みの画像の中間点にある画像の窓画像を次々と投影に用いる窓画像として選択し、
    前記安定窓画像選択処理は、前記投影部により投影された各窓画像間の特徴量差異に基づいて前記安定窓画像を選択する、請求項１０または請求項１１に記載の記録媒体。

Images