JP3877274B2 - 画像照合処理システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラ等の画像入力装置から入力された認識対象を含む画像と、予め登録済みの対象画像を比較照合することにより、入力画像中に存在する対象を特定する画像照合処理に関する。本発明の画像照合処理システムは、人物や工業製品等の任意の２次元又は３次元形状の物体の認識処理に適用することが可能である。
【０００２】
【従来の技術】
画像処理を必要とするアプリケーションが広まりつつある中、カメラ等の画像入力装置から取り込んだ画像を基に写りこんだ人物や商品などの３次元対象物を切り出して認識・照合する技術が必要とされている。撮影画像中の認識対象を認識する技術のうち、優れた技術の一つとして、局所固有空間法（Eigen-Window法）を用いた画像照合処理技術や、局所固有空間法を更に改良した画像処理技術として局所固有空間法の画像特徴量を離散コサイン変換（Discrete Cosine Transform：以下、ＤＣＴと略記する）係数に変更した画像照合処理技術（以下、改良局所固有空間法を用いた画像照合処理技術と呼ぶ）が挙げられる。
【０００３】
以下に、従来の画像照合処理技術として、改良局所固有空間法を用いた画像照合処理技術を説明する。一例として人物の顔画像を認識・照合する場合を挙げて説明する。
【０００４】
この改良局所固有空間法を用いた画像照合処理は、画像照合に用いるモデルを作成する「登録フェーズ」と、入力画像の認識対象に対して認識・照合処理を実行する「認識フェーズ」からなる。
【０００５】
まず、「登録フェーズ」の処理手順を図２２のフローチャートを参照しつつ示す。この登録フェーズでは、認識・照合したい２次元又は３次元物体、つまりここでは認識したい人物の顔画像の基本姿勢画像（正面向きなど）を照合用モデルとして生成、整理して登録する。
【０００６】
（１）モデル画像とする人物顔画像を取得する（ステップＳ２２０１）。正面顔画像の撮影画像データを外部からファイル形式で入力しても良く、このようなデータがない場合にはカメラなど画像入力装置を介して登録する人物の正面顔画像を撮影して取り込む。ここでは一例として図２４（ａ）に示したモデル画像を取得したとする。
【０００７】
（２）取り込んだモデル画像から、画像の特徴点を検出する（ステップＳ２２０２）。特徴点は何らかの指標を用いて検出・選択する。例えば、画像の表面模様であるテクスチャの複雑さに関する指標を表わすテクスチャ度がしきい値以上に大きい点、エッジ強度（エッジ成分に関する指標）がしきい値以上に大きい点、色情報が所定範囲内にある点など画像上の一種の特異点を選択する方式がある。また、取り込み画像中の認識対象に対する知識を利用してそれらの重要部分（目や口など特徴的な部分）を選択する方式等が考えられる。図２５においてモデル画像の顔画像上に付された点は特徴点を簡易的に表わしたものである。
【０００８】
（３）選択された特徴点を基に当該特徴点を囲む小さい領域、例えば矩形の局所領域を窓画像として選択する（ステップＳ２２０３）。それら特徴点の周辺の局所領域を窓画像としてそれぞれ選択する。例えば、１５ドット×１５ドットの小正方形とする。
【０００９】
（４）選択した窓画像を識別に有効となる低次元空間に圧縮し、各モデル画像毎にモデルとして整理して保持する（ステップＳ２２０４）。この低次元空間への圧縮方法には局所固有空間法（Eigen-Window法）を用いる方法もあるが、ここでは、窓画像データからＤＣＴ係数を計算し、直流成分を除いて低周波の係数を適度に選択することによって低次元空間に圧縮する方式を採る。改良局所固有空間法ではこのＤＣＴによる圧縮方式を用いる。例えば、原画像である窓画像が１５ドット×１５ドットとすると２２５次元であるが、ＤＣＴ係数を計算し、直流成分を除いて画像の特徴を良く表わす低周波の係数を２０個選択して２０次元空間に圧縮する。図２５はこの投影される様子を簡易的に表わしたものである。
【００１０】
（５）このステップＳ２２０４の低次元空間圧縮をすべての窓画像に対して実行し、それらデータを画像照合用モデルデータとして登録・管理する（ステップＳ２２０５）。
【００１１】
以上の登録フェーズの処理ステップにより、登録する人物の顔画像から低次元の画像照合用モデルを生成、整理して登録する。
【００１２】
次に、「認識フェーズ」の処理手順を図２３のフローチャートを参照しつつ示す。
【００１３】
（１）認識対象となる人物の顔画像が写りこんだ人物顔画像を取得する（ステップＳ２３０１）。正面顔画像の撮影画像データを外部からファイル形式で入力しても良く、このようなデータがない場合にはカメラなど画像入力装置を介して登録する人物の正面顔画像を撮影して取り込む。入退室管理システムなどでは後者の場合が多い。ここでは図２４（ｂ）に示した認識対象となる画像を取り込んだものとする。
【００１４】
（２）入力画像中から認識対象となる人物顔画像を切り出す（ステップＳ２３０２）。この際、認識対象となる人物の顔画像領域の位置を推定しても良く、また、常に一定の矩形領域を切り出してもよい。人物の顔画像領域の位置推定方法としては、肌領域を検出することで顔画像領域と推定する方法が知られている。
【００１５】
（３）切り出した認識対象顔画像から特徴点を検出する（ステップＳ２３０３）。登録フェーズと同様の指標を用いて特徴点を選択しても良く、また、より適した他の指標を用いて特徴点の選択を実行しても良い。
【００１６】
（４）選択した特徴点を基にその局所領域を窓画像として選択する（ステップＳ２３０４）。登録フェーズと同様、例えば、１５ドット×１５ドットの小正方形として選択する。図２５にこの様子を簡単に示した。
【００１７】
（５）選択した窓画像を登録フェーズと同一の低次元空間に圧縮する（ステップＳ２３０５）。ここでは、登録フェーズと同様、改良局所固有空間法を用いて低次元空間に圧縮する方法を採り、原画像である窓画像からＤＣＴ係数を計算し、直流成分を除いて画像の特徴を良く表わす低周波の係数を２０個選択して２０次元空間に圧縮する。
【００１８】
（６）画像照合用モデルデータと認識対象データを窓画像ごとに低次元空間である特徴空間内に投影してゆく（ステップＳ２３０６）。図２５に投影される様子を簡単に示した。
【００１９】
（７）低次元空間である特徴空間内での距離が近い登録窓画像と認識対象窓画像のペアを見つけ、窓画像の照合処理を行なう（ステップＳ２３０７）。
【００２０】
（８）窓画像のペアの画像上での相対位置を求め、投票マップ上の対応する格子に投票を行う（ステップＳ２３０８）。図２６にこの様子を簡単に示した。ここで、投票マップとは、モデル画像毎に用意した平面を格子状に区切った投票空間であり、投票とは、投票マップ上の格子に投票に応じた値を加算する処理である。投票される格子位置は、窓画像のペアの画像上での相対位置に応じて定められる。例えば、両者が全く同じ位置にあれば相対位置は０となり投票マップの中心に投票される。もし、登録モデルの顔画像と認識対象の顔画像が同一人物のものであれば、目と目、口と口等、多くの窓画像同士が正しく対応し合うため、それら対応し合う窓画像同士の相対位置はほぼ一定となり、投票マップ上の同じ格子位置に票が集中することとなる。一方、登録モデルの顔画像と認識対象の顔画像が異なるものであれば、窓画像のうち、正しく対応し合わないものが増え、それらの相対位置がいろいろなバラツキを持つため、投票マップ上の広い範囲に票が分散することとなる。
【００２１】
（９）最多得票数を持つ格子（以降ピークと呼ぶ）を見つけ、得票数をもとに登録モデルの顔画像と認識対象の顔画像の類似度を算出し、この算出結果を基準に画像認識・照合を行う（ステップＳ２３０９）。また、ピークの位置から、登録物体が認識対象画像内のどこにあるかを検出することができる。
【００２２】
上記画像照合手法により、あらかじめ作成したモデルを用い、入力画像中の物体が登録モデルの物体と同一のものであるか否かを認識することができる。
【００２３】
【発明が解決しようとする課題】
上記の改良局所固有空間法を用いた画像照合手法は、優れている面が多いが、次に示すような利用目的に対しては十分とは言えない面が残されており、問題があった。
【００２４】
第１の問題点は、抽象的な概念レベルでの認識・画像照合が十分ではないという問題である。上記に示した改良局所固有空間法をそのまま適用する場合、入力画像中の認識対象物体と具体的な登録モデルの認識対象とが同一であるか否かについては高い精度で画像照合することは可能であるが、対象そのものが具体的にモデルと一致しているかを照合するもので、認識対象物体が“人であるか”や“車であるか”などの抽象的な概念レベルの認識・画像照合という利用目的には直接適用できなかった。抽象的な概念レベルでの認識・画像照合を必要とするアプリケーションは数々想定される。例えば、撮影画像中から抽象レベルで指定された“人”や“車”という注目物体を切り出したり、写り込んだそれらの数をカウントしたりする処理が必要とされるアプリケーションなどである。従来の改良局所固有空間法をそのまま適用する場合、例えば、認識対象画像もモデル画像も一般的な意味で顔画像であっても、異なる人物のものであれば、両者の部分画像領域のうち対応し合うもの同士について、ある部分は類似している場合もあるが（特徴空間内での距離が小さい）、他の部分は類似していない（特徴空間内での距離が大きい）ということが多々ある（つまり、目は似ているが口は似ていない等）。そのため、誤った対応が多くなり、従来手法では、投票マップ上の広い範囲に票が分散し、期待されるピーク位置への投票数が少なくなる。このように、“人であるか”や“車であるか”などの抽象的な概念レベルの認識・画像照合ができなかった。
【００２５】
次に、第２の問題として、認識対象物の切り出し処理を自動実行するには不十分であるという点が挙げられる。上記の抽象的な概念レベルでの認識・画像照合が十分ではないという第１の問題は、見方を変えれば、そういう抽象的な概念レベルで指定した認識対象物が写り込んだ画像から認識対象画像の切り出しが自動的に実行できないことを意味している。つまり、認識対象物の切り出し処理を自動実行するには不十分であると言える。なお、認識対象物の自動切り出し処理は、従来技術で紹介した他の方法によっても不十分である。顔画像の切り出しを例にとると、一つには色情報を分析して肌領域を切り出す方法が知られているが、画像中に存在する肌領域は必ずしも顔領域には限らず、手や足や肩、胴体が写り込んでいる場合も多くある。結局、顔領域のみを選択するために人手に頼らざるを得ない面があった。他にはエッジ強度を検出して画像を切り出す方法が知られているが、この方法で検出されるエッジは顔の輪郭のみならず、顔以外の肩や胴や手足の輪郭や、写り込んだ背景物の輪郭なども数多く検出され、やはり顔領域のみを選択するために人手に頼らざるを得ない面があった。
【００２６】
第３の問題点は、登録モデルのサイズと撮影画像中の認識対象物体のサイズの調整が必要となるが、精度良く画像照合するためには要求される登録モデルのデータ容量と画像照合処理時間を如何に低減するかという問題があった。もっとも単純な方法を採れば、原理的には登録物体ごとのあらゆるサイズの登録モデルを作成し、保持・管理してすべての登録モデルと逐一画像照合を実行すれば良いこととなるが、これでは登録モデルのデータ容量が膨大となり、画像照合処理時間も膨大となる。
【００２７】
上記問題点に鑑み、本発明は、上記改良局所固有空間法をさらに改良し、取り込んだ認識対象物体画像に対して抽象的な概念レベルでの認識・画像照合処理が実行できる画像照合処理システムを提供することを目的とする。
【００２８】
また、本発明は、人の顔画像など抽象概念レベルで指定を受け、入力画像中に背景と併せて写り込んでいる認識対象物体を認識し、当該画像領域部分を自動的に切り出すことのできる画像照合処理システムを提供することを目的とする。
【００２９】
また、本発明は、撮影画像中の認識対象物体の多様なサイズに対しても、画像照合処理を実行でき、認識対象物体の画像サイズを推定し、安定した精度を持って認識対象物体の画像照合処理を実行でき、かつ、要求される登録モデルのデータ容量と画像照合処理時間を低減することのできる画像照合処理システムを提供することを目的とする。
【００３０】
また、本発明は、撮影画像中に写り込んだ認識対象物体の画像中の位置と大きさを推定し、当該領域を切り出すことのできる画像照合処理システムを提供することを目的とする。
【００３１】
【課題を解決するための手段】
上記課題を解決するために、本発明の画像照合処理システムは、入力画像の中に、指定された抽象概念に属する物体が写り込んでいるか否かを画像照合により判断し、入力画像中に存在する認識対象を同定する画像照合処理システムであって、共通した抽象概念に属する１つ以上の異なるモデル画像を集めた抽象モデル画像セットを入力するモデル画像入力部と、認識対象物体が含まれる認識対象画像を入力する認識対象画像入力部と、前記抽象モデル画像セットの画像および前記認識対象画像を、画像の特徴を表す特徴空間にその特徴量に応じてそれぞれ投影する投影部と、前記モデル画像セットのモデル画像ごとに、前記特徴空間内における当該モデル画像の投影点と前記認識対象画像の投影点の距離から両者の類似度を評価し、各モデル画像ごとの前記評価を重畳して評価をまとめる重畳投票部と、前記重畳投票部による評価の重畳結果をもとに、前記認識対象画像中に、前記抽象概念に属する物体が存在していると判定する評価判定部を備えたことを特徴とする。
【００３２】
上記構成により、入力画像中に、抽象概念レベルで指定された認識対象物体が写り込んでいるか否かを判断することができる。
【００３３】
次に、本発明の画像照合処理システムにおいて、前記抽象モデル画像セットの画像および前記認識対象画像から局所窓画像領域を切り出す窓画像切り出し部を備え、前記投影部が投影する抽象モデル画像セットの画像および前記認識対象画像が、前記窓画像切り出し部により切り出した抽象モデル画像セットの画像の窓画像および前記認識対象画像の窓画像であり、前記重畳投票部が評価する両者の類似度が、前記特徴空間内において最も近傍の位置に投影されているモデル画像の窓画像投影点と前記認識対象画像の窓画像の投影点同士を対応づけ、前記対応付けられた窓画像投影点両者の整合性であり、前記評価判定部による判定処理が、前記重畳投票部の重畳結果において前記モデル画像セットのモデル画像と前記認識対象画像との一致を示す評価結果が共通に足し込まれて形成された所定条件を満たすピークがある場合、前記認識対象画像中に前記抽象概念に属する物体が存在していると判定する処理であることが好ましい。
【００３４】
上記構成により、モデル画像ごとの画像照合処理結果を単独で見れば、照合結果にはバラツキが見られるが、整合性評価結果を重畳することにより、抽象モデル画像セットに含まれるモデル画像の一部と認識対象画像中の物体とが共通的に持つ特徴による整合性が足し込まれてピークが現れることとなる。
【００３５】
なお、前記窓画像切り出し部は、窓画像の切り出し処理において、処理対象画像における画像内の所定の相対位置から窓画像を切り出すものでも良い。画像が顔画像に限定されるなど一定の対象物である場合、概ね重要な窓画像の位置が決まっているので画像内の所定の相対位置から窓画像を切り出せば、処理効率が向上し、認識精度も向上する。
【００３６】
次に、本発明の画像照合処理システムにおいて、前記抽象モデル画像セットが複数セットあり、一の抽象モデル画像セットの各モデル画像のサイズが、他の抽象モデル画像セットの各モデル画像サイズと異なる倍率となる関係にあり、前記重畳投票部は、前記整合性評価の重畳結果を前記抽象モデル画像セットごとに求め、前記評価判定部は、前記重畳投票部が抽象モデル画像セットごとに求めた重畳結果をそれぞれ評価して認識対象画像中に、抽象概念に属する物体が存在しているか否かを判定することが好ましい。
【００３７】
次に、複数のサイズのモデル画像を用意して画像照合処理を行なうことにより、入力画像中の認識対象の画像サイズに近しいサイズを持つ抽象モデル画像セットを用いて評価判定を行なうことができ、認識対象画像中に、抽象概念に属する物体が存在しているか否かを判定することができる。
【００３８】
また、本発明の画像照合処理システムにおいて、前記認識対象画像入力部は、取り込んだ認識対象物体が含まれる認識対象画像を基に所定数の異なるサイズの認識対象画像を生成し、認識対象画像セットとして入力し、前記重畳投票部は、前記整合性評価の重畳結果を前記認識対象画像セットの画像ごとに求め、前記評価判定部は、前記重畳投票部が認識対象画像セットの画像ごとに求めた重畳結果をそれぞれ評価して前記認識対象画像中に、前記抽象概念に属する物体が存在しているか否かを判定することも可能である。
【００３９】
この構成によれば、抽象モデル画像セットに含まれるモデル画像として複数の異なるサイズのものを用意する必要がなく、モデル画像を複数サイズ用意する場合に比べ、登録フェーズにおけるパラメータの設定など前処理が少なくて済み、かつ、認識対象画像のサイズを調整することにより、モデル画像の大きさと認識対象画像に写り込んだ対象物の大きさの差異を吸収して両画像を比較することができるので認識精度を低下させることもない。
【００４０】
なお、評価判定部は、認識対象画像中に写り込んだ抽象概念の物体の画像サイズを推定することができる。重畳投票部による重畳結果のうちピークがもっとも峻別できるピークとなっている抽象モデル画像セットの画像サイズを画像サイズとして推定する方式、その推定値を粗い推定値とし、さらに抽象モデル画像セットのモデル画像と入力画像から算出した詳細サイズ補正値による補正を施して推定値とする方式、モデル画像セットを構成するモデル画像のサイズに対してモデル画像セット毎の整合性の評価判定を重みとした重み付け平均値を推定値とする方式などを用いることができる。
【００４１】
また、本発明の画像照合処理システムは、重畳投票部による整合性評価の重畳結果におけるピークが表れている相対位置に応じて、入力画像中における抽象概念に属する認識物体が写り込んでいる画像位置を推定することにより、入力画像中に写り込んだ人の顔画像など抽象概念レベルで指定された認識対象物体の画像領域の位置を推定することができる。
【００４２】
本発明の画像照合処理システムはさらに、画像領域切り出し部を備え、前記重畳投票部による整合性評価の重畳結果におけるピークが表れている相対位置に応じて、前記入力画像中における前記抽象概念に属する認識物体が写り込んでいる画像位置を推定し、前記画像領域切り出し部により、前記推定した前記認識物体が写り込んでいる画像位置を中心に、所定サイズの画像領域を切り出すことが好ましい。
【００４３】
上記構成により、入力画像から、人の顔画像など抽象概念レベルで指定された認識対象物体の画像領域を切り出すことができる。
【００４４】
次に、本発明の画像照合処理システムは、前記窓画像切り出し部が切り出した前記抽象モデル画像セットの各窓画像を、前記モデル画像中における部位の概念に基づいて分類した部位窓画像セットとする部位窓画像分類部を備え、前記重畳投票部は、類似度の評価にあたり、前記特徴空間内において最も近傍の位置に投影されているモデル画像の部位窓画像セットの投影点集合と前記認識対象画像の窓画像の投影点同士を対応づけることによる両者の整合性を評価とすることが好ましい。
【００４５】
上記構成によれば、特徴空間内での対応づけと評価が各部位窓画像セットごとに一度しか行われず、同一部位に属する各窓画像ごとそれぞれに対応づけと評価が行われることはないので、当該部位窓画像と紛らわしい画像部分が認識対象画像中に存在しても複数回の誤まった評価が重畳されることはなくなり、認識精度が向上する。
【００４６】
さらに、上記画像照合処理システムにおいて、前記部位窓画像セットの投影点集合を代表する前記特徴量空間内の代表投影点を決定する代表投影点決定部を備え、前記重畳投票部は、類似度の評価にあたり、前記特徴空間内において最も近傍の位置に投影されている部位窓画像セットの代表投影点と前記認識対象画像の窓画像の投影点同士を対応づけることによる両者の整合性を評価とすることが好ましく、また、当該代表投影点の決定方法として、前記部位窓画像セットの投影点集合のうちの任意の一つまたは複数の投影点を選択する方法や、各投影点の重心を投影点とする方法とすることが好ましい。
【００４７】
上記構成によれば、各部位窓画像セットの投影点集合を代表する一つまたは複数の代表投影点を用いて、モデル画像の窓画像の投影点との特徴空間内での対応づけを行うので、対応づけ処理工数が少なくなり、処理速度が向上する。
【００４８】
本発明の画像照合処理システムは、上記の画像照合処理システムを実現する処理ステップを記録したコンピュータ読み取り可能な記録媒体から処理プログラムを読み込むことにより、コンピュータを用いて構築することができる。
【００４９】
【発明の実施の形態】
（実施形態１）
本発明の画像照合処理システムの実施形態を以下に示す。以下では、特に顔画像の画像照合への適用を例にとって説明する。
【００５０】
まず、本発明の画像照合処理システムにおいて用いる、改良局所固有空間法をさらに改良した画像照合処理を次の３つの処理、抽象概念レベルでの画像認識・照合処理と、認識対象物体の画像サイズ推定処理と、認識対象物体が背景などと共に写り込んだ画像から当該認識対象物体の画像領域を自動的に切り出す指定認識対象物体画像領域自動切り出し処理に分け、それらの順に説明する。
【００５１】
（１）まず、本発明の画像照合処理システムで用いる抽象概念レベルでの画像認識・照合処理を説明する。
【００５２】
本発明の画像照合処理システムの抽象概念レベルでの画像認識・照合処理は、当該抽象概念レベルに属する複数のモデル画像を用いて作成した抽象モデル画像セットを用い、抽象モデル画像セットそれぞれのモデル画像の窓画像領域の画像情報と認識対象画像の窓画像領域の画像情報を用いて一つの投票マップ上に投票を重ね合わせ、その投票結果が集中しているピークの峻別度合いを類似度として評価判定することにより抽象概念レベルでの画像認識・照合を実行する。以下に詳しく説明する。
【００５３】
図１は、本発明の画像照合処理システムで用いる抽象概念レベルでの画像認識・照合処理を表わす図である。
【００５４】
図１において１０１は認識対象画像である。ある任意の人物の顔画像で良い。ここでは、認識対象画像１０１が人の顔であるか否かという抽象概念レベルで認識することが目標となる。
【００５５】
１０２は抽象モデル画像セットである。この例では説明の便宜上、３つのモデル画像を集めて抽象モデル画像セットとした。それぞれ上からモデル画像１、モデル画像２、モデル画像３とする。ここではモデル画像数を３つとしたが、適度数の様々な人物顔画像を集めても良いことは言うまでもない。この数は、システムに求める抽象概念レベルでの画像認識・照合精度に依存し、より高い精度を求めるなら抽象モデル画像セットのモデル画像数を増やすこととなる。また、集めるモデルとしては様々なパターンの顔画像を集めておくことも有効である。例えば、男性、女性、大人、子供、メガネをかけている人、ひげを生やしている人、眉の太い人や細い人、一重瞼の人や二重瞼の人など様々なパターンの顔画像を集めておくことが好ましい。もっとも認識対象が大人に限られるなどの条件がつけば、大人のみのモデル画像を集めることが有効である。このパターンも、システムに求める抽象概念レベルでの画像認識・照合精度に依存し、より高い精度を求めるなら様々なパターンのモデル画像を用意することとなる。
【００５６】
１０３は、改良局所固有空間法を用いて、認識対象画像と各モデル画像から選択したそれぞれの窓画像を圧縮して低次元空間に投影し、両者のうち対応し合う投影点の相対位置を基に投票空間に投票した結果を表わしたものである。上から順に投票結果１、投票結果２、投票結果３とする。
【００５７】
ここで、認識対象画像と各モデル画像は異なる人物の顔画像なので、投票結果１〜投票結果３に見るように、投票結果は投票マップ上に分散することとなり、際立ったピークを持つことはない。つまり、それぞれの投票結果１〜投票結果３からは、認識対象画像とそれぞれのモデル画像モデル画像１〜モデル画像３とは異なる人物の顔画像であることが分かるのみである。
【００５８】
１０４は、認識対象画像と各モデル画像を基にした投票処理にあたり、一つの投票マップに重ね合わせて投票した重畳投票結果を表わすものである。この１０４は、それぞれの投票結果１〜投票結果３の投票結果を重ね合わせた結果と同じである。本発明の画像照合処理システムの処理においては、各モデル画像に対応した投票空間をそれぞれ用意し、投票処理をそれぞれ毎に実行して投票結果１〜投票結果３の投票結果を得てから、それら結果を重ね合わせて重畳投票結果１０４を得ても良く、また、当初から投票マップを一つのみ用意して認識対象画像と各モデル画像を基にした投票処理を実行して直接重畳投票結果１０４を得る方法としても良い。
【００５９】
図１に示すように、重畳投票結果１０４には、ピークが表れることとなる。認識対象画像と各モデル画像は、個別に一致具合を見ると一致しない部分も多くあり、個別の投票では投票結果が分散することとなるが、両者が人の顔画像である限り、両者には少なからずの一般的な共通点が存在しているはずである。例えば、認識対象画像とあるモデル画像との間ではある部分（例えば口）が類似し、認識対象画像と他のモデル画像との間では他の部分（例えば目）が類似することになる。個別の投票ではこの一般的な共通点による一致部分が、他の不一致部分に埋もれることとなるが、複数の投票結果を重ね合わせることにより、この一般的な共通点による一致部分は、正しい対応による投票として同じ位置へ足し込まれて行くため、正しい位置へ票が集中して強調される。その一方、不一致部分はそのバラツキのため強調されない。よって重畳投票結果１０４に見るようにピークが表れることとなる。もし、認識対象が顔画像ではなく、他の物体であれば、一般的な共通点がないので、このようなピークは形成されず、重畳投票結果１０４もバラツキを持つこととなる。このピークと認めうる部分の峻別度合いを本発明では“類似度”と定義する。類似度が設定したしきい値より大きい場合には、抽象概念レベルでの認識が成立したと判断し、しきい値より小さい場合には、抽象概念レベルでの認識が成立せず、別概念の物体であると判断できる。
【００６０】
以上が、本発明の画像照合処理システムで用いる抽象概念レベルでの画像認識・照合処理の基本原理である。
【００６１】
（２）次に、本発明の画像照合処理システムで用いる認識対象物体の画像サイズ推定処理を説明する。
【００６２】
モデル画像として用意したものの大きさと取り込んだ認識対象画像中の対象物の写り込みの大きさとは必ずしも完全に一致するものとは限らないので、両者の大きさの差異を吸収してやると認識精度が向上する。本実施形態では、抽象モデル画像セットに含まれる１つのモデルに対してサイズの異なる複数の画像を用意する。大きいサイズから小さいサイズまで代表的な基準サイズの登録モデル画像セット（ここでは、基準サイズモデル画像セットと呼ぶ）を複数セット用意または生成し、認識対象画像に対して各基準サイズモデル画像ごとに投票マップ上への投票を実行し、もっともピークが高くなる投票結果が得られる基準サイズモデル画像セットを検出するものである。つまり、この基準サイズモデル画像セットの画像サイズをもっとも近い認識対象物体の画像サイズと推定する。
【００６３】
図２は、認識対象物体の画像サイズ推定処理を説明する図である。
【００６４】
図２において２０１は認識対象画像であり、図１の１０１と同様のものである。
【００６５】
２０２は、基準サイズモデル画像セットであり、この例では、３つの基準サイズモデル画像セットが用意されている。上段の基準サイズモデル画像セット１は大きめの所定のサイズを基準サイズ１として当該サイズのモデル画像を集めたものである。この例では基準サイズモデル画像セット１は基準サイズ１の３つのモデル画像と“サイズ情報１”を保持している。同様に、中段の基準サイズモデル画像セット２は中程度の所定のサイズである基準サイズ２の３つのモデル画像と“サイズ情報２”を保持している。下段の基準サイズモデル画像セット３は小さめの所定のサイズである基準サイズ３の３つのモデル画像と“サイズ情報３”を保持している。もっとも、それぞれの基準サイズモデル画像セット１〜３をすべて入力画像として取り込んでも良いが、一つの基準サイズモデル画像セットのみを取り込んで、取得した画像を基に拡大縮小し、複数のサイズの基準サイズモデル画像セットを生成することも可能であることは言うまでもない。
【００６６】
２０３は、各基準サイズモデル画像セットごとに、各モデル画像から切り出した窓画像と認識対象画像から切り出した各窓画像を基にして生成した重畳投票結果を表わすものであり、重畳投票結果１〜３のそれぞれは、図１の１０４で説明した重畳投票結果と同様の処理により求められるものである。
【００６７】
なお、切り出す窓画像のサイズは、基準サイズモデル画像セットのサイズに応じて調整することは可能である。例えば、４０ピクセル×４８ピクセルのモデル画像に対しては１５ピクセル×１５ピクセルの窓画像とし、３０ピクセル×３６ピクセルのモデル画像に対しては、１１ピクセル×１１ピクセルの窓画像とすることができる。モデル画像のサイズに応じて目や口など窓画像として選択される部分画像のサイズも変わるからである。
【００６８】
この例では、認識対象画像のサイズは基準サイズ１に近いものである。改良局所固有空間法を用いた窓画像を用いた照合結果においては互いのサイズが近い方が一致度合いが高くなる。そのため図２の重畳投票結果１〜３に示すように、基準サイズ１の基準サイズモデル画像セット１を用いた重畳投票結果１においてもっともピークが高くなる。認識対象画像とのサイズの差が大きくなるほど重畳投票結果が分散することとなり、基準サイズモデル画像セット２、基準サイズモデル画像セット３の順にピークが低くなり埋もれてゆくこととなる。つまり、図２の重畳投票結果１〜３のピーク峻別の高さを調べることにより、もっとも近いサイズ情報を検出し、認識対象物体の画像サイズを推定することができる。図２の例では、認識対象物体の画像サイズはサイズ情報１のサイズに近いと推定できる。
【００６９】
上記に示した基本原理を用いて認識対象物体の画像サイズを推定するが、具体的に認識対象画像のサイズ値を幾らにするかについては以下の３つの方法が想定できる。
【００７０】
第１の画像サイズ値推定処理は、上記に説明した画像サイズ推定処理の基本原理における基準サイズを細かく設定して多数の基準サイズモデル画像セット２０２を用意し、所定きざみで認識対象物体の画像サイズ値を推定する方法がある。しかし、この方法によれば、記憶・保持する基準サイズモデル画像セット２０２の容量が大きくなり、かつ、処理時間が長くなるという問題がある。
【００７１】
第２の画像サイズ値推定処理は、上記第１の画像サイズ値推定処理の欠点を緩和し、画像サイズ推定精度向上と処理速度低下防止を同時に図る方法として、処理時間の遅延が問題にならない程度の適度数の基準サイズモデル画像セット２０２を用意し、認識対象画像の大まかな画像サイズ推定を行ない、概ね近しいサイズを選択した後、微調整を他の方法、例えば、目鼻それぞれの中心点を結んで形成した三角形状を手掛かりにアフィン変換により微調整のパラメタを求める方法により画像サイズ推定の微調整を実行するというハイブリッド処理である。
【００７２】
第３の画像サイズ値推定処理は、各基準サイズモデル画像セットのサイズに、重畳投票結果から算出した類似度を掛けたものの平均値を認識対象画像中の対象のサイズとする処理である。
【００７３】
（３）次に、本発明の画像照合処理システムによる認識対象物体が背景などと共に写り込んだ画像から当該認識対象物体の画像領域を自動的に切り出す指定認識対象物体画像領域自動切り出し処理を説明する。
【００７４】
図３は、指定認識対象物体画像領域自動切り出し処理を説明する図である。
【００７５】
図３において３０１は入力画像である。この例では、２人の顔画像が背景と共に写り込んだ画像となっている。ここでは、切り出し対象となる指定認識対象物体を人の顔画像とし、右側の人物の顔画像領域３０１ａ、左側の人物の顔画像領域３０１ｂとして切り出すことを目標とする。
【００７６】
３０２は、抽象モデル画像セットであり、図１の１０２と同様のものであり、人の顔画像という抽象概念レベルの認識ができるように、適度な数の様々なパターンの顔画像を集めておく。ここでは３人のモデル画像を集めたものとする。
【００７７】
３０３は、１０３と同様、改良局所固有空間法を用いた認識対象画像３０１と各モデル画像との投票空間への投票結果を表わしたものである。上から順に投票結果１、投票結果２、投票結果３とする。
【００７８】
３０４は、１０４と同様、入力画像から人物顔画像、背景を問わずに切り出した各窓画像の画像情報と各モデル画像の各窓画像の画像情報とを基にした投票結果を一つの投票マップに重ね合わせて投票した重畳投票結果を表わすものである。結論を先に述べると、図３の重畳投票結果３０４に示すように、顔画像領域３０１ａと３０１ｂの位置に対応する投票空間上の位置にピークが表れることとなる。つまり、入力画像３０１において、それぞれのピークに対応する相対位置に、人の顔という抽象概念レベルで認識された物体が存在していることが認識されるのである。このように認識された顔画像領域の位置とサイズに応じて画像領域を切り出すことにより指定認識対象物体画像領域自動切り出し処理が実行される。
【００７９】
ここで、顔画像領域３０１ａと３０１ｂの画像領域に対応してピークが表れることとなる点についてさらに詳しく述べる。上記したように、入力画像３０１には、背景を含め、様々な物体が写り込んでいる。
【００８０】
まず、入力画像中から特徴点を選択し、窓画像を切り出す必要がある。ここで、背景が一色無模様の青色背景など特殊な環境であれば、テクスチャ度やエッジ強度などを基準に特徴点を選択すれば、写り込んでいる顔画像領域のみの特徴点が選択されることとなるが、このような場合は特殊な場合であり、通常は背景にも複雑な形状物や模様が存在し、人物顔画像、背景を問わずに特徴点が選択される。これら選択した特徴点を基に、各窓画像を切り出す。
【００８１】
なお、人物顔画像、背景を問わずに特徴点を切り出す点に注目すれば、テクスチャ度やエッジ強度などを基準にした特徴点選択処理を省略し、入力画像上に等間隔にメッシュ状に候補点を選び、さらに一定条件を満たすものを特徴点として選択する簡易処理も有り得る。この簡易処理によれば、認識対象物体と背景にまんべんなく窓が取られること、エッジ付近など特定場所において窓の選択が集中しないことといった効果が得られる。一方、テクスチャ度とエッジ強度の下限の閾値を指定して該当する部分をすべて窓画像として選択する方式では、背景の強烈なエッジ周辺に多くの窓が選択されてしまうおそれがある。そこで、上記の簡易処理では、入力画像上に等間隔にメッシュ状に候補点を選び、一定条件、例えば、その中からテクスチャ度がある範囲（顔内に多い値の範囲）にあるものを窓画像として選択する方法としたものである。なお、上記簡易処理により等間隔にメッシュ状に特徴点を抽出し、一定条件にある窓画像を生成する場合において、特徴点の抽出間隔をある程度狭く、例えば、３画素程度以内の間隔で抽出しておけば、本来切り出されるべき窓画像の位置とはずれる窓画像が多く発生した場合であっても、後述するように改良局所固有空間法ではＤＣＴを用いた低次元圧縮を行うので、位置ずれに起因するＤＣＴ係数誤差が大きい高次元係数が中心に間引かれ、誤差の小さい低周波成分は間引かれないので、モデル画像と入力画像間のデータに見られる類似度合いの劣化が少なく、一定品質の画像照合が可能となる。
【００８２】
次に、入力画像から人物顔画像、背景を問わずに切り出した各窓画像をＤＣＴを用いて低次元空間に圧縮する。改良局所固有空間法では、直流成分を除き、高周波の係数も間引き、低周波の係数を適度に選択することによって低次元空間に圧縮するので、窓画像領域の空間周波数の低周波成分の特徴を良く表わすデータとなる。上述のように窓画像位置が多少ずれてもＤＣＴの低周波成分は影響を受けにくいので、類似度を評価判定する上で有効な低次元圧縮データが得られることとなる。
【００８３】
次に、抽象モデル画像セットから生成した低次元圧縮データと入力画像から生成した低次元圧縮データを窓画像ごとに低次元空間である特徴空間内に投影し、特徴空間内での互いの距離が近い窓画像のペアの画像上での相対位置を求め、投票マップ上の対応する格子に投票を行う。
【００８４】
この際、人物の顔画像領域から選択された窓画像に対するデータは、モデル画像セットから切り出された窓画像に対するデータと対応し合うものがあるので、投票マップの対応する格子点付近に多く投票が集中してピークを示すこととなる。つまり、写り込んだ顔画像に対応した位置にピークが現れる。一方、背景に写り込んだ物体や模様などは、投票結果が分散してバラツキを持つため、ピークを形成することはない。
【００８５】
次に、上記投票結果に従い、一定のしきい値を超えるピーク値を示す画像領域を人物の顔画像領域と判断して当該画像領域を切り出す。なお、上記のサイズ推定処理も併用すると顔画像領域の位置に加え、サイズも判定することができるので顔画像領域のサイズに合わせて切り出すことが可能となる。
【００８６】
以上の処理により、認識対象物体が背景などと共に写り込んだ画像から認識対象物体の画像領域を自動的に切り出すという、指定認識対象物体画像領域自動切り出し処理が実行できる。
【００８７】
以上示したように、本発明の画像照合処理システムは、抽象概念レベルでの画像認識・照合処理、指定認識対象物体画像領域自動切り出し処理、認識対象物体の画像サイズ推定処理を一つまたは複数組み合わせて備えた画像照合処理を実行することができる。
【００８８】
（実施形態２）
次に、本発明の実施形態２の画像照合処理システムを、ブロック構成図、顔画像を抽象概念レベルで認識する際の基本動作の流れを示す図、基本動作のフローチャートを参照しつつ説明する。
【００８９】
本実施形態２の画像照合処理システムは、抽象概念レベルでの画像認識・照合処理と認識対象画像中の認識対象物体の画像サイズ推定処理を中心に組み合わせた構成となっている。
【００９０】
図４は、実施形態２の画像照合処理システムのブロック構成図である。図４において、１０は画像入力部、２０は特徴点抽出部、３０は窓画像領域切り出し部、４０は低次元圧縮部、５０は特徴空間投影部、６０は重畳投票部、７０は評価判定部、８０はモデル画像セット登録部、９０は認識対象物体画像サイズ推定部である。
【００９１】
画像入力部１０は、画像を入力する部分であり、ファイル形式による画像データの入力や、カメラなど撮影手段を備えて被写体の撮影画像を取り込む手段を備えたものであっても良い。また、取り込む画像としては、登録フェーズで用いる照合用のモデル画像、認識フェーズで用いる認識対象物体が写り込んだ認識対象画像などがあるが、画像入力部１０は両者の入力に対して共用できるものでも良く、それぞれ別に用意する構成でも良い。なお、この例では、画像入力部１０は、抽象モデル画像セットを入力するモデル画像入力部と、認識対象画像を入力する認識対象画像入力部とを併せ持つ構成となっている。
【００９２】
特徴点抽出部２０は、画像入力部１０から取り込んだ画像中から、一定の基準に従って特徴点を抽出する部分である。抽出する基準は、前述したように、テクスチャ度がしきい値以上に大きい点を抽出する方式、エッジ強度がしきい値以上に大きい点を抽出する方式、等間隔にメッシュ状に候補点を選び、さらに一定条件を満たすものを特徴点として選択する方式、取り込み画像中の認識対象に対する知識を利用して重要部分を選択する方式などがある。
【００９３】
窓画像領域切り出し部３０は、局所領域を窓画像として選択する部分である。この例では、特徴点抽出部２０により選択された特徴点を囲む画像領域を窓画像領域として切り出している。例えば、窓画像のサイズは原画像サイズに応じて切り出す。例えば、４０ピクセル×４８ピクセルの原画像からは１５ピクセル×１５ピクセルの２２５次元の窓画像データを切り出す。
【００９４】
低次元圧縮部４０は、窓画像領域切り出し部３０により切り出した窓画像を低次元空間に圧縮する部分である。窓画像データからＤＣＴ係数を計算し、直流成分を除いて低周波の係数を適度に選択することによって低次元空間に圧縮する。例えば２０次元に圧縮する。なお、この低次元空間への圧縮は、データ中の画像特徴を示す部分を劣化させることなく処理量を低減して処理効率を高めるために実行している。
【００９５】
特徴空間投影部５０は、窓画像データを投影する特徴空間を仮想的に持ち、窓画像領域の画像情報を投影する部分である。この例では、処理量を低減するため、低次元圧縮部４０から受け取った窓画像圧縮データを投影する構成となっている。
【００９６】
重畳投票部６０は、認識フェーズで用いられるもので、格子状の投票点を持つ投票平面を持っている。投票にあたり重畳投票部６０は、認識対象画像より生成した窓画像圧縮データと照合用のモデル画像より生成した窓画像圧縮データ両者の特徴空間投影部５０における投影結果をチェックして、相互に対応し合う窓画像データ圧縮データ投影点同士を特定し、両者の画像上での相対位置をベクトルとして検知し、投票平面の原点を中心としてベクトル値に対応する格子位置に投票してゆく。すべての対応し合う窓画像に対する投票を一つの投票面に重畳してゆく。
【００９７】
評価判定部７０は、重畳投票部６０による投票平面への投票結果を評価判定する部分であり、投票がある格子点に集中しているピークを持っているか否か、また、そのピークに対して相対的にどの程度集中して峻別できるかで評価判定する。この評価判定基準は利用者により選択、チューニングできることとする。投票平面のある相対位置にピークが１つあると評価判定した場合は、認識対象画像中の対応する位置に抽象概念レベルで一致する認識対象物体が１つあると判断でき、バラバラに３つのピークがあると評価判定した場合は、対応するそれぞれの位置に抽象概念レベルで一致する認識対象物体があると判断できる。
【００９８】
モデル画像セット登録部８０は、照合用に用いるモデル画像をセットとして登録・保持する部分である。基本原理で述べたように、抽象概念レベルでの認識処理を実行するために、抽象モデル画像セットとして様々なパターンの人の顔画像などを集めてセットとして登録・保持する。また、認識対象物体の画像サイズ推定処理を実行するために、基準サイズモデル画像セットとして基準サイズとなる大きさの抽象モデル画像セットを複数セット登録・保持する。
【００９９】
認識対象物体画像サイズ推定部９０は、認識対象物体の画像サイズを推定する部分である。この認識対象物体画像サイズ推定部９０は、抽象概念レベルでの画像認識・照合処理に加え、認識対象物体の画像サイズ推定処理を組み合わせる場合に必要となるモジュールである。認識対象物体の画像サイズ推定処理内容は前述したのでここでは省略する。
【０１００】
次に、図５〜図１０により、図４に示した本実施形態２の画像照合処理システムにおける、顔画像を抽象概念レベルで認識する処理と認識対象画像中の認識対象物体の画像サイズの推定処理の基本動作の流れを示す。
【０１０１】
実施形態２の画像照合処理システムの処理動作は、大別して「登録フェーズ」と「認識フェーズ」からなる。まず、「登録フェーズ」の処理手順を図９のフローチャートを参照しつつ示す。
【０１０２】
図５において、５００、５１０、５２０のそれぞれはモデル画像を３つ集めた抽象モデル画像セットであり、抽象モデル画像セット５００は４０ピクセル×４８ピクセルである大きめの基準サイズ１とした基準サイズモデル画像セット、抽象モデル画像セット５１０は３０ピクセル×３６ピクセルである中程度の基準サイズ２とした基準サイズモデル画像セット、抽象モデル画像セット５２０は２０ピクセル×２４ピクセルである小さめの基準サイズ３とした基準サイズモデル画像セットとなっている。なお、各抽象モデル画像セット５００〜５２０に含まれるモデル画像はそれぞれ、上段は人物１、中段は人物２、下段は人物３となっている。つまり、同じセットを縮小・拡大した関係になっている。
【０１０３】
まず、これら図５に示した画像セットを画像入力部１０から取り込む（図９ステップ９０１）。
【０１０４】
特徴点抽出部２０により、画像入力部１０から取り込んだ各基準サイズモデル画像セットのそれぞれの抽象モデル画像セット５００〜５２０の各モデル画像から特徴点を抽出する（ステップＳ９０２）。ここでは、例えば、テクスチャ度を基に選択する方式を採用する。
【０１０５】
次に、窓画像領域切り出し部３０により、特徴点抽出部２０によって選択された特徴点を囲む窓画像領域を選択して切り出す（ステップＳ９０３）。図７において抽象モデル画像セット５００〜５２０の各モデル画像から切り出される窓画像の位置を幾つか示したが、これは説明の便宜上一例を示したのみであり、実際に切り出されるすべての数や位置を示したものではない。切り出しサイズは設定によるが、ここでは例えば４０ピクセル×４８ピクセルの基準サイズモデル画像セットに対しては、１５ピクセル×１５ピクセルの窓画像、３０ピクセル×３６ピクセルの基準サイズモデル画像セットに対しては、１１ピクセル×１１ピクセルの窓画像、２０ピクセル×２４ピクセルの基準サイズモデル画像セットに対しては、９ピクセル×９ピクセルの窓画像とする。なお、図７については、後述する認識フェーズで再度説明する。
【０１０６】
次に、低次元圧縮部４０により、窓画像領域切り出し部３０が切り出した窓画像データを低次元に圧縮する（ステップＳ９０４）。窓画像データからＤＣＴ係数を計算し、直流成分を除いて低周波の係数を適度に選択して低次元空間に圧縮する。ここでは例えば２０次元に圧縮する。
【０１０７】
次に、低次元圧縮部４０が生成した低次元圧縮データを、モデル画像セットとしてモデル画像セット登録部８０に格納・保持する（ステップＳ９０５）。ここでは、各基準サイズごとに、抽象モデル画像セットが格納・保持される。
【０１０８】
以上が、本実施形態２の画像照合処理システムにおける、登録フェーズの処理である。
【０１０９】
次に、抽象概念レベルで、認識対象が人の顔画像であるか否かを認識する認識フェーズの処理手順を図１０のフローチャートを参照しつつ示す。
【０１１０】
図６は、今回認識対象となる認識対象画像である。この例では、中央付近には対象となる顔画像領域を含む、ある人物の肩より上部分が写っており、背景にも物体が写り込んでいる。
【０１１１】
まず、図６に示した認識対象画像を画像入力部１０から取り込み、顔画像領域を切り出す（図１０ステップ１００１）。この実施形態２では、指定認識対象物体画像領域自動切り出し処理を含んでいない構成としているので、肌領域検出処理を用いた顔画像切り出し処理や人手による顔画像切り出し処理が必要となる。なお、図７において切り出された認識対象画像としての顔画像を６００として示している。
【０１１２】
次に、特徴点抽出部２０による特徴点抽出処理（ステップＳ１００２）、窓画像領域切り出し部３０による窓画像領域選択処理（ステップＳ１００３）、低次元圧縮部４０による窓画像データの低次元圧縮処理（ステップＳ１００４）は、図９の登録フェーズにおける各ステップＳ９０２〜９０４と同様の手順であり、ここでの説明を省略する。なお、認識対象画像を切り出す際には肌色領域の検出などで切り出すが、モデル窓画像のサイズに合わせる必要があるので、１５ピクセル×１５ピクセル、１１ピクセル×１１ピクセル、９ピクセル×９ピクセルで切り出す。低次元圧縮処理では同様に２０次元に圧縮するものとする。
【０１１３】
次に、特徴空間投影部５０により、各基準サイズモデル画像セットごとに、登録モデル画像の窓画像の圧縮データと、認識対象画像の窓画像の圧縮データとを低次元特徴空間に投影する（ステップＳ１００５）。この様子を概念的に示したものが図７である。図７において７００は、基準サイズ１とした基準サイズモデル画像セットに対応する低次元投影空間、７１０は、基準サイズ２とした基準サイズモデル画像セットに対応する低次元投影空間、７２０は、基準サイズ３とした基準サイズモデル画像セットに対応する低次元投影空間である。それぞれの低次元投影空間７００〜７２０において、登録モデル画像の窓画像の圧縮データと、認識対象画像の窓画像の圧縮データが投影される。
【０１１４】
次に、重畳投票部６０により、ステップＳ１００５の投影結果を基に、低次元投影空間ごとに、対応する窓画像データ圧縮データ投影点同士を特定し（ステップＳ１００６）、対応し合う窓画像データ圧縮データ投影点同士の相対位置を基に一つの投票平面に重畳的に投票してゆく（ステップＳ１００７）。図８はこの様子を概念的に示したものであり、８００は低次元投影空間７００の投影結果から作成した投票結果、８１０は低次元投影空間７１０の投影結果から作成した投票結果、８２０は低次元投影空間７２０の投影結果から作成した投票結果である。
【０１１５】
次に、評価判定部７０により、重畳投票部６０による投票結果からピークを持つものを検出する（ステップＳ１００８）。なお、ピークを持つか否かの評価は、ピークが相対的にどの程度峻別できるかを表わす類似度を算出して評価する。
【０１１６】
評価判定部７０は、認識対象画像と指定対象物体との抽象概念レベルでの一致判定と、その認識対象画像サイズの推定の２点について評価判定する（ステップＳ１００９）。
【０１１７】
図８から分かるように、低次元投影空間７００の投影結果から作成した投票結果８００において中心にピークが見られる。他の投票結果８１０や８２０にはピークが見られない。まず、ピークが見られたという評価判定から、認識対象画像は抽象概念モデルと同じ抽象概念、つまり、人の顔画像であるということが判定できる。次に、投票結果８００においてもっとも奇麗にピークが現れている事実から、認識対象画像サイズが４０ピクセル×４８ピクセルであることが判定できる。
【０１１８】
以上、本実施形態２の画像照合処理システムによれば、抽象概念レベルでの画像認識・照合処理と認識対象画像中の認識対象物体の画像サイズ推定処理が実行できる。
【０１１９】
（実施形態３）
本実施形態３の画像照合処理システムは、抽象概念レベルでの画像認識・照合処理と、認識対象画像のうち指定された物体の画像領域を自動的に切り出す指定認識対象物体画像領域自動切り出し処理とを中心に組み合わせた構成となっている。
【０１２０】
例として、画像の切り出しは、様々な背景とともに撮影された人物の画像から、人物の顔を含む部分画像を指定されたサイズで切り出す処理とする。切り出した画像は、「顔画像による個人識別」やその他様々なアプリケーションで利用することができる。
【０１２１】
図１１は、実施形態３の画像照合処理システムのブロック構成図である。図１１において、１０は画像入力部、２０は特徴点抽出部、３０は窓画像領域切り出し部、４０は低次元圧縮部、５０は特徴空間投影部、６０は重畳投票部、７０は評価判定部、８０はモデル画像セット登録部、９０は認識対象物体画像サイズ推定部、１００は画像領域切り出し部、１１０は認識対象物体指定部である。
【０１２２】
画像入力部１０から認識対象物体画像サイズ推定部９０までは、実施形態２と同様であるので、ここでの説明は省略する。
【０１２３】
画像領域切り出し部１００は、後述するように評価判定部７０による認識対象画像のうち指定物体が写っている画像位置の判定に従って、所定のサイズで部分画像を切り出す部分である。
【０１２４】
認識対象物体指定部１１０は、利用者が画像中から切り出したい対象となる物体を指定する部分である。例えば、「人の顔画像」や「車」といった対象物体を指定する。なお、指定はテキストで入力してもよく、絵などのアイコンを利用して入力しても良い。
【０１２５】
以下に、顔画像を切り出した例を示す。
【０１２６】
登録フェーズを以下の条件で実行し、各基準サイズモデル画像セットごとに画像照合用の低次元圧縮データを用意した。
【０１２７】
モデル画像は、図１２に示したものを用いた。この例では、６人の登録モデルを用いて抽象モデル画像セットを構成し、また、それぞれ４つの基準サイズ、５０ピクセル×６０ピクセル（基準サイズ１）、４０ピクセル×４８ピクセル（基準サイズ２）、３０ピクセル×３６ピクセル（基準サイズ３）、２０ピクセル×２４ピクセル（基準サイズ４）を用意した。これらモデル画像を画像入力部１０から取り込んだ。
【０１２８】
特徴点抽出部２０による特徴点抽出処理の指標として今回はテクスチャ度を用いて選択した。
【０１２９】
窓画像領域切り出し部３０により切り出す窓画像サイズは、５０ピクセル×６０ピクセルの基準サイズモデル画像セットに対しては、１５ピクセル×１５ピクセルの窓画像、４０ピクセル×４８ピクセルの基準サイズモデル画像セットに対しては、１５ピクセル×１５ピクセルの窓画像、３０ピクセル×３６ピクセルの基準サイズモデル画像セットに対しては、１１ピクセル×１１ピクセルの窓画像、２０ピクセル×２４ピクセルの基準サイズモデル画像セットに対しては、９ピクセル×９ピクセルとした。
【０１３０】
また、低次元圧縮部４０による圧縮は、ＤＣＴ係数から直流成分を除く低周波成分２０個を選択し、２０次元に圧縮した。
【０１３１】
認識フェーズを以下の条件で実行した。
【０１３２】
まず、認識対象物体指定部１１０から認識対象が「人の顔画像」である旨を入力した。ここでは、テキストで入力した。この指定により、モデル画像セット登録部９０から人の抽象モデル画像セットが選択される。なお、画像のサイズ推定も行うので、様々なサイズの抽象モデル画像セットが基準サイズモデル画像セットとして選択される。ここでは、登録フェーズで登録した画像セットが選択される。
【０１３３】
認識対象画像は、図１３に示した１３００および１３１０に示した２枚とした。認識対象画像のサイズは３２０ピクセル×２４０ピクセルとする。いずれも人物の上半身が写り込んだものである。
【０１３４】
特徴点の抽出処理は、認識対象画像上から等間隔にメッシュ状に候補点を選び、さらに一定条件を満たすものを特徴点として選択する方式を採用する。ここでは、認識対象画像上に３画素間隔で選択した候補点の中から、画素の色相が赤の周辺の範囲（２５６分割で±３０）にあるものを選択した。
【０１３５】
窓画像領域切り出し部３０による窓画像切り出しは、モデル画像の切り出しに合わせて１５ピクセル×１５ピクセル、１１ピクセル×１１ピクセル、９ピクセル×９ピクセルの３つのサイズの窓画像を切り出す。
【０１３６】
低次元圧縮部４０による圧縮は、同様に、ＤＣＴ係数から直流成分を除く低周波成分２０個を選択し、２０次元に圧縮した。
【０１３７】
特徴空間投影部５０による投影処理は、基準サイズ１〜基準サイズ４に対応する４つの低次元投影空間を用意し、それぞれの基準サイズモデル画像セットの窓画像から生成した低次元圧縮データと、認識対象画像の窓画像から生成した低次元圧縮データとを投影し、それら投影結果を基に重畳投票部６０による重畳投票処理を実行して基準サイズ１〜基準サイズ４に対応する４つの重畳投票結果を得た。
【０１３８】
その結果、評価判定部７０により以下のように判定され、画像領域切り出し部１００により以下のように画像部分が切り出される。
【０１３９】
認識対象画像１３００に対して、その重畳投票結果は、基準サイズ２に対応する重畳投票結果においてもっとも峻別しうる、つまり、類似度の高いピークが現れた。そのピークの投票格子点は（１５３，９２）であった。つまり、認識対象画像１３００には人の顔画像が写り込んでおり、その中心は（１５３，９２）の位置にある。また、顔画像領域のサイズはおよそ４０ピクセル×４８ピクセルである。画像領域切り出し部１００は、（１５３，９２）の位置を中心に部分画像を切り出した。なお、ちょうど４０ピクセル×４８ピクセル分のサイズの部分画像を切り出しても良く、マージンを見て少し大きめに切り出しても良い。少し大きめに切り出した結果が１３２０である。
【０１４０】
認識対象画像１３１０に対して、その重畳投票結果は、基準サイズ３に対応する重畳投票結果においてもっとも峻別しうる、つまり、類似度の高いピークが現れた。そのピークの投票格子点は（１５１，１１４）であった。つまり、認識対象画像１３１０には人の顔画像が写り込んでおり、その中心は（１５１，１１４）の位置にある。また、顔画像領域のサイズはおよそ３０ピクセル×３６ピクセルである。画像領域切り出し部１００は、（１５１，１１４）の位置を中心に部分画像を切り出した。ここでもマージンを見て少し大きめに切り出した。結果は１３３０である。
【０１４１】
なお、上記指定認識対象物体画像領域自動切り出し処理の基本原理の説明でも述べたように、画像サイズ推定の精度を高めるため、第１の画像サイズ値推定処理〜第３の画像サイズ値推定処理などを用いて切り出す画像領域を正確に推定しても良いことは言うまでもない。
【０１４２】
以上、処理例を用いて説明したように、本実施形態３の画像照合処理システムによれば、抽象概念レベルでの画像認識・照合処理と指定認識対象物体画像領域自動切り出し処理とを組み合わせて、認識対象画像から指定された対象物体の画像領域を切り出すことができる。
【０１４３】
（実施形態４）
実施形態４として、上記実施形態１から３に示した本発明の画像照合処理システムをさらに改良したものを示す。ここでは２つの改良について述べる。
【０１４４】
本実施形態４における第１の改良は、抽象モデル画像セットのそれぞれの画像から切り出された窓画像を、モデル画像中における部位の概念に基づいて分類した部位窓画像セットにまとめ、認識対象画像の窓画像との対応づけおよび評価を部位窓画像セット単位で行うものである。つまり、類似度の評価にあたり、特徴空間内において最も近傍の位置に投影されているモデル画像の部位窓画像セットの投影点の集合と前記認識対象画像の窓画像の投影点とを対応づけ、両者の整合性を評価するものである。
【０１４５】
上記のように窓画像をモデル画像中における部位の概念に基づいて分類した部位窓画像セットにまとめることにより以下の利点が得られる。例えば、図１４に示すようにモデル画像および認識画像とも顔画像が写り込んだ実写画像であり、認識対象画像中に写り込んだ顔画像を検出する場合を想定する。いま、認識対象画像中に写り込んだ背景など、ある画像部分が窓画像１４０１として切り出されたと仮定する。この画像部分１４０１の窓画像の特徴がモデル画像１、モデル画像２から切り出した目の窓画像１４０２ａ〜１４０２ｂの特徴と近いものとする。この場合、実施形態１から３に示した処理に従えば、重畳投票部６０は、窓画像１４０１の投影点と窓画像１４０２ａの投影点の対応づけ・投票と、窓画像１４０１の投影点と窓画像１４０２ｂの投影点の対応づけ・投票の２回の誤投票を実行してしまうこととなる。モデル画像数の多い場合などは誤投票によるピークが現れてしまい、評価判定部７０が誤判定をしてしまうことも有り得る。
【０１４６】
そこで、本実施形態４では、部位窓画像分類部を導入し、図１５に示すように、各モデル画像から切り出した目の窓画像１４０２ａ〜１４０２ｃを目の部位窓画像セットとして一まとまりとし、本実施形態４の重畳投票部は、窓画像１４０１の投影点と部位窓画像セットに属する部位窓画像の投影点との対応づけ・投票を一回のみ行うこととする。この場合、誤投票があっても一回のみであるのでピークが現れることはない。図１５の例では窓画像１４０１の投票点とモデル画像１の窓画像１４０２ａの投影点の誤対応による誤投票が一回行われるのみである。一方、正しい対応に基づく投票も各部位窓画像につき一回のみの投票となるが、顔画像同士であれば、目、鼻、唇など他の多くの部位窓画像が正しく投票されるため、重畳効果としてピークが正しく現れる。
【０１４７】
なお、各モデル画像から切り出した同じ部位の窓画像を部位窓画像セットとして一まとまりとする際、異なるモデル画像（異なる人物）の目の部位の画像であっても、画像特徴量が類似し特徴空間内での投影点位置が近い場合も想定できる。この場合敢えてすべてのモデル画像の同じ部位の窓画像の投影点を部位窓画像セットとの投影点集合とする必要はなく、適宜、投影点位置が近いものを類似窓画像としてグルーピングした上で、類似窓画像に含まれる窓画像の各投影点の代わりに、類似窓画像を代表する投影点を部位窓画像セットの投影点集合に含んでもよい。もっとも投影点の位置が近いか否かは投影点間の距離をどのように評価するかによる。本実施形態４では、代表投影点決定部が、調整可能な閾値を持ち、投影点間の距離が閾値内の窓画像同士を類似窓画像としてまとめる機能を備えるものとする。この様子を図１６に示す。例えば6人のモデル顔画像の目の窓画像１６０１ａから１６０１ｆを特徴量に応じて特徴空間に投影した場合、１６０１ｂと１６０１ｃと１６０１ｄ同士は投影点の位置が近く、１６０１ａと１６０１ｅ同士は投影点の位置が近く、１６０１ｆの投影点の位置はどれにも近くないとする。この場合、代表投影点決定部は、目の部位窓画像セットに関しては、３つの部位窓画像セットとしてまとめる。代表投影点決定部による代表投影点の決定方法としては、部位窓画像セットの投影点集合のうちの任意の一つまたは複数の投影点を選択する方法や、部位窓画像セットの投影点集合に含まれる各投影点の重心を投影点とする方法がある。図１６の各部位窓画像セットそれぞれに対して代表投影点を決定した様子を同図の下側に示した。
【０１４８】
重畳投票部は、モデル画像の部位窓画像セットの投影点集合と、認識対象画像の窓画像の投影点とを対応づけることにより投票を行うが、重畳投票部による投票処理を簡単にするため、本実施形態４ではさらなる工夫として、類似窓画像の代表投影点を決定することにより個数を減らした部位窓画像セットの投影点集合と認識対象画像の窓画像の投影点とを対応づけることにより投票を行う。このように代表投影点を類似窓画像に定めれば、重畳投票部による部位窓画像セットの投影点集合と認識対象画像の窓画像の投影点両者の対応づけの処理効率が向上する。
【０１４９】
次に、本実施形態４における第２の改良を説明する。抽象モデル画像セットとは、共通した抽象概念に属する１つ以上の異なるモデル画像を集めたものであるが、実施形態１から３などでは、モデル画像の大きさと取り込んだ認識対象画像中の対象物の写り込みの大きさとの差異を吸収すべく、抽象モデル画像セットに含まれる１つのモデルに対してサイズの異なる複数の画像を用意したが、本実施形態４の第２の改良は、簡易的に抽象モデル画像セットに属する１つのモデルに対して１つのサイズの画像のみを用意することとし、抽象モデル画像セットを生成する際の窓画像切り出し処理やパラメータ指定処理など登録フェーズにおける前準備処理を簡略化するものである。なお、モデル画像の大きさと取り込んだ認識対象画像中の対象物の写り込みの大きさに差異があるが、認識フェーズにおいて認識対象画像入力部から取り込んだ認識対象画像を適宜縮小・拡大して複数サイズ用意することによりモデル画像と大きさが近いものを見つけることとする。
【０１５０】
以下に、上記の２つの改良を施した本実施形態４の装置構成例および装置動作例を示す。
【０１５１】
図１７は、実施形態４の画像照合処理システムのブロック構成図である。図１７において、１０ａは画像入力部、２０は特徴点抽出部、３０は窓画像領域切り出し部、４０は低次元圧縮部、５０は特徴空間投影部、６０ａは重畳投票部、７０は評価判定部、８０はモデル画像セット登録部、９０は認識対象物体画像サイズ推定部、１２０は部位窓画像分類部である。
【０１５２】
特徴点抽出部２０から認識対象物体画像サイズ推定部９０までは、実施形態２と同様であるので、ここでの説明は省略する。
【０１５３】
画像入力部１０ａは、実施形態２と同様、画像を入力する部分であり、この例では、抽象モデル画像セットを入力するモデル画像入力部と、認識対象画像を入力する認識対象画像入力部とを併せ持つ構成となっているが、認識対象画像入力部は認識フェーズにおいて取り込んだ認識対象画像を適宜縮小・拡大して複数サイズ用意する機能を備えている。
【０１５４】
部位窓画像分類部１２０は、窓画像切り出し部３０が切り出した抽象モデル画像セットの各窓画像を、モデル画像中における部位の概念に基づいて分類した部位窓画像セットとする部分である。顔画像において目や鼻という部位ごとの窓画像を部位窓画像セットとする。本実施形態４の例では、窓画像切り出し部３０は窓画像の切り出し処理において、処理対象画像における画像内の所定の相対位置から窓画像を切り出す機能を備えている。例えば、顔画像において目の窓画像、鼻の窓画像、唇の窓画像など所定の窓画像を自動的に切り出す。なお、人手による窓画像の切り出し指定も可能であることは言うまでもない。
【０１５５】
重畳投票部６０ａは、類似度の評価にあたり、特徴空間内において最も近傍の位置に投影されているモデル画像の部位窓画像セットの投影点集合と認識対象画像の窓画像の投影点同士を対応づけることによる両者の整合性をその評価とする。なお、図１７に示した本実施形態４の例では、重畳投票部６０ａは、代表投影点決定部６１を備えている。代表投影点決定部６１は、部位窓画像セットの投影点集合を代表する特徴量空間内の代表投影点を決定するものであり、例えば、部位窓画像セットの投影点集合のうちの任意の一つまたは複数の投影点を選択する機能や部位窓画像セットの投影点集合に含まれる各投影点の重心を投影点とする機能を備えている。代表投影点決定部６１を用いて代表投影点を決めた場合は、評価において当該代表投影点と認識対象画像の窓画像の投影点同士を対応づけることによる両者の整合性をその評価とする。
【０１５６】
以下に、本実施形態４の画像照合処理システムの動作例を実例を挙げ、図５、図６、図１８〜図２０を参照しつつ説明する。
【０１５７】
まず、「登録フェーズ」の処理手順を図１９のフローチャートを参照しつつ示す。
【０１５８】
まず、抽象モデル画像セットを画像入力部１０ａから取り込む（図１９ステップ１９０１）。本実施形態４では上記第２の改良のもと、抽象モデル画像セットは１つのサイズのもので良く、例えば、抽象モデル画像セット５００を用いる。抽象モデル画像セット５００は、４０ピクセル×４８ピクセルである大きめの基準サイズ１とした基準サイズモデル画像セットである。
【０１５９】
特徴点抽出部２０により、画像入力部１０ａから取り込んだ抽象モデル画像セット５００の各モデル画像から特徴点を抽出する（ステップＳ１９０２）。ここでは、例えば、部品位置を指定して選択する方式を採用する。
【０１６０】
次に、窓画像領域切り出し部３０により、特徴点抽出部２０によって選択された特徴点を囲む窓画像領域を選択して切り出す（ステップＳ１９０３）。図１８において抽象モデル画像セット５００の各モデル画像から切り出される窓画像の位置を幾つか示したが、これは説明の便宜上一例を示したのみであり、実際に切り出されるすべての数や位置を示したものではない。
【０１６１】
次に、部位窓画像分類部１２０により、各窓画像を、モデル画像中における部位の概念に基づいて分類した部位窓画像セットとする（ステップＳ１９０４）。本実施形態４では上記第１の改良のもと、窓画像のうちモデル画像中における部位の概念に基づいて部位窓画像セットを生成する。図１８に示した例では右目の部位窓画像セット、左目の部位窓画像セット、口の部位窓画像セットなどが示されている。これも説明の便宜上一例を示したのみであり、実際にセットとされる部位窓画像セットの数や位置を示したものではない。
【０１６２】
次に、低次元圧縮部４０により、部位窓画像領域切り出し部３０が切り出した窓画像データを低次元に圧縮する（ステップＳ１９０５）。窓画像データからＤＣＴ係数を計算し、直流成分を除いて低周波の係数を適度に選択して低次元空間に圧縮する。ここでは例えば２０次元に圧縮する。
【０１６３】
次に、低次元圧縮部４０が生成した低次元圧縮データを、モデル画像セットとしてモデル画像セット登録部８０に格納・保持する（ステップＳ１９０６）。ここでは、各基準サイズごとに、抽象モデル画像セットが格納・保持される。
【０１６４】
以上が、本実施形態４の画像照合処理システムにおける、登録フェーズの処理である。
【０１６５】
次に、抽象概念レベルで、認識対象が人の顔画像であるか否かを認識する認識フェーズの処理手順を図２０のフローチャートを参照しつつ示す。
【０１６６】
認識対象となる認識対象画像は実施形態２と同様、図６のものを用いる。
【０１６７】
まず、図６に示した認識対象画像を画像入力部１０ａから取り込み、顔画像領域を切り出して取り込み、当該取り込み画像を拡大または縮小して所定数の複数サイズの画像からなる認識対象画像セットとして入力する（図２０ステップ２００１）。図１８の例では、認識対象画像セットとして３つの異なるサイズの画像を生成した。
【０１６８】
次に、特徴点抽出部２０による特徴点抽出処理（ステップＳ２００２）に関しては、登録フェーズのステップＳ１９０２（部品位置を指定して抽出した処理）とは異なり、テクスチャ度を基に選択する。
【０１６９】
窓画像領域切り出し部３０による窓画像領域選択処理（ステップＳ２００３）、低次元圧縮部４０による窓画像データの低次元圧縮処理（ステップＳ２００４）は、図１９の登録フェーズにおける各ステップＳ１９０３、１９０５と同様の手順であり、ここでの説明を省略する。なお、認識対象画像の倍率は左から１．２、１．０、０．８とし、窓画像は１５ピクセル×１５ピクセルで切り出し、低次元圧縮処理では同様に２０次元に圧縮するものとする。
【０１７０】
次に、特徴空間投影部５０により、登録モデル画像の部位窓画像の圧縮データと、認識対象画像セットの窓画像の圧縮データとを低次元特徴空間に投影する（ステップＳ２００５）。
【０１７１】
次に、この例では、重畳投票部６０ａは、評価に先立ち、登録モデル画像の部位窓画像の圧縮データの投影点集合から代表投影点を求める（ステップＳ２００６）。この様子を概念的に示したものが図１８である。図１８では、説明の便宜上、右目の部位窓画像の圧縮データの投影点集合から代表投影点を求める例のみを示した。まず、３つのモデル画像の右目の部位窓画像の３つの各投影点が１８０１のように求まる。この例では２つの投影点の位置が近く、その距離がしきい値内であり、他の１つの投影点の位置が遠く離れており、その距離がしきい値内にないものとする。重畳投票部６０ａは１８０２のように投影位置が近い２つの投影点から１つの代表投影点を生成し、残りの１つはそのまま代表投影点と扱い、２つの代表投影点に集約する。
【０１７２】
次に、重畳投票部６０ａは、認識対象画像セットの画像ごとに、抽象モデル画像セットの代表投影点と認識対象画像の投影点同士を対応づけ（ステップＳ２００７）、対応し合う窓画像データ圧縮データ投影点同士の相対位置を基に一つの投票平面に重畳的に投票してゆく（ステップＳ２００８）。１８０３ａ〜１８０３ｃはこの様子を概念的に示したものであり、１８０３ａは、倍率１．２の認識対象画像との投票結果から作成した重畳投票結果、１８０３ｂは、倍率１．０の認識対象画像との投票結果から作成した重畳投票結果、１８０３ｃは、倍率０．８の認識対象画像との投票結果から作成した重畳投票結果である。
【０１７３】
次に、評価判定部７０により、重畳投票部６０ａによる投票結果からピークを持つものを検出する（ステップＳ２００９）。なお、ピークを持つか否かの評価は、ピークが相対的にどの程度峻別できるかを表わす類似度を算出して評価する。図１８の例では、倍率１．０の認識対象画像との重畳投票結果１８０３ｂにおいて最も高いピークが見られる。
【０１７４】
評価判定部７０は、認識対象画像と指定対象物体との抽象概念レベルでの一致判定と、その認識対象画像サイズの推定の２点について評価判定する（ステップＳ２０１０）。図１８から分かるように、ピークが見られたという評価判定から、認識対象画像は抽象概念モデルと同じ抽象概念、つまり、人の顔画像であるということが判定できる。次に、重畳投票結果１８０３ｂにおいてもっとも奇麗にピークが現れている事実から、認識対象画像サイズが４０ピクセル×４８ピクセルであることが判定できる。
【０１７５】
（実施形態５）
本発明の画像照合処理システムは、上記に説明した構成を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明の画像照合処理システムを実現する処理ステップを備えたプログラムを記録した記録媒体は、図２１に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ１００２やフレキシブルディスク１００３等の可搬型記録媒体１００１だけでなく、ネットワーク上にある記録装置内の記録媒体１０００や、コンピュータのハードディスクやＲＡＭ等の記録媒体１００５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ１００４上にローディングされ、主メモリ上で実行される。
【０１７６】
【発明の効果】
本発明の画像照合処理システムによれば、人の顔画像など抽象概念レベルで指定を受け、入力画像中に背景と併せて写り込んでいる認識対象物体を認識し、画像照合処理が実行できる。
【０１７７】
また、本発明の画像照合処理システムによれば、撮影画像中の認識対象物体の多様なサイズに対しても、画像照合処理を実行でき、認識対象物体の画像サイズを推定し、安定した精度を持って認識対象物体の画像照合処理を実行でき、かつ、要求される登録モデルのデータ容量と画像照合処理時間を低減することができる。
【０１７８】
また、本発明の画像照合処理システムによれば、撮影画像中に写り込んだ認識対象物体の画像中の位置と大きさを推定でき、認識対象物体の画像領域を切り出すことができる。
【０１７９】
本発明の画像照合処理システムに関し、さらに以下の項を開示する。
【０１８０】
（付記１）入力画像の中に、指定された抽象概念に属する物体が写り込んでいるか否かを画像照合により判断し、入力画像中に存在する認識対象を同定する画像照合処理システムであって、
共通した抽象概念に属する１つ以上の異なるモデル画像を集めた抽象モデル画像セットを入力するモデル画像入力部と、
認識対象物体が含まれる認識対象画像を入力する認識対象画像入力部と、
前記抽象モデル画像セットの画像および前記認識対象画像を、画像の特徴を表す特徴空間にその特徴量に応じてそれぞれ投影する投影部と、
前記モデル画像セットのモデル画像ごとに、前記特徴空間内における当該モデル画像の投影点と前記認識対象画像の投影点の距離から両者の類似度を評価し、各モデル画像ごとの前記評価結果を重畳する重畳投票部と、
前記重畳投票部による評価の重畳結果をもとに、前記認識対象画像中に、前記抽象概念に属する物体が存在していると判定する評価判定部を備えたことを特徴とする画像照合処理システム（１）。
【０１８１】
（付記２）前記抽象モデル画像セットの画像および前記認識対象画像から局所窓画像領域を切り出す窓画像切り出し部を備え、
前記投影部が投影する抽象モデル画像セットの画像および前記認識対象画像が、前記窓画像切り出し部により切り出した抽象モデル画像セットの画像の窓画像および前記認識対象画像の窓画像であり、
前記重畳投票部が評価する両者の類似度が、前記特徴空間内において最も近傍の位置に投影されているモデル画像の窓画像投影点と前記認識対象画像の窓画像の投影点同士を対応づけることによる前記対応付けられた窓画像投影点両者の整合性であり、
前記評価判定部による判定処理が、前記重畳投票部による類似度評価の重畳結果において前記モデル画像セットのモデル画像と前記認識対象画像との一致を示す評価結果が共通に足し込まれて形成された所定条件を満たすピークがある場合、前記認識対象画像中に前記抽象概念に属する物体が存在していると判定する処理である上記付記１に記載の画像照合処理システム（２）。
【０１８２】
（付記３）前記窓画像切り出し部は、窓画像の切り出し処理において、処理対象画像における画像内の所定の相対位置から窓画像を切り出す上記付記２に記載の画像照合処理システム。
【０１８３】
（付記４）前記抽象モデル画像セットが複数セットあり、一の抽象モデル画像セットの各モデル画像のサイズが、他の抽象モデル画像セットの各モデル画像サイズと異なる倍率となる関係にあり、
前記重畳投票部は、前記整合性評価の重畳結果を前記抽象モデル画像セットごとに求め、
前記評価判定部は、前記重畳投票部が抽象モデル画像セットごとに求めた重畳結果をそれぞれ評価して前記認識対象画像中に、前記抽象概念に属する物体が存在しているか否かを判定する上記付記１から３のいずれかに記載の画像照合処理システム（３）。
【０１８４】
（付記５）前記認識対象画像入力部は、取り込んだ認識対象物体が含まれる認識対象画像を基に所定数の異なるサイズの認識対象画像を生成し、認識対象画像セットとして入力し、
前記重畳投票部は、前記整合性評価の重畳結果を前記認識対象画像セットの画像ごとに求め、
前記評価判定部は、前記重畳投票部が認識対象画像セットごとに求めた重畳結果をそれぞれ評価して前記認識対象画像中に、前記抽象概念に属する物体が存在しているか否かを判定する上記付記１から３のいずれかに記載の画像照合処理システム（５）。
【０１８５】
（付記６）前記窓画像切り出し部が切り出した前記抽象モデル画像セットの各窓画像を、前記モデル画像中における部位の概念に基づいて分類した部位窓画像セットとする部位窓画像分類部を備え、
前記重畳投票部は、類似度の評価にあたり、前記特徴空間内において最も近傍の位置に投影されているモデル画像の部位窓画像セットの投影点集合と前記認識対象画像の窓画像の投影点同士を対応づけることによる両者の整合性を評価とした上記付記２から５のいずれかに記載の画像照合処理システム（６）。
【０１８６】
（付記７）前記部位窓画像セットの投影点集合を代表する前記特徴量空間内の代表投影点を決定する代表投影点決定部を備え、
前記重畳投票部は、類似度の評価にあたり、前記特徴空間内において最も近傍の位置に投影されている部位窓画像セットの代表投影点と前記認識対象画像の窓画像の投影点同士を対応づけることによる両者の整合性を評価とした上記付記６に記載の画像照合処理システム（７）。
【０１８７】
（付記８）前記代表投影点決定部による代表投影点の決定方法が、前記部位窓画像セットの投影点集合のうちの任意の１つの投影点を選択するものである上記付記７に記載の画像照合処理システム（８）。
【０１８８】
（付記９）前記代表投影点決定部による代表投影点の決定方法が、前記部位窓画像セットの投影点集合に含まれる各投影点の重心を投影点とするものである上記付記７に記載の画像照合処理システム（９）。
【０１８９】
（付記１０）前記重畳投票部による整合性評価の重畳結果におけるピークが表れている相対位置に応じて、前記入力画像中における前記抽象概念に属する認識物体が写り込んでいる画像位置を推定する上記付記１から９のいずれかに記載の画像照合処理システム（１０）。
【０１９０】
（付記１１） 前記評価判定部は、前記重畳投票部が抽象モデル画像セットごとに求めた重畳結果のうち前記ピークがもっとも峻別できるピークとなっている抽象モデル画像セットの画像サイズを、認識対象画像中に写り込んだ抽象概念の物体の画像サイズとして推定する処理を備えた上記付記１０に記載の画像照合処理システム。
【０１９１】
（付記１２） 前記評価判定部は、前記重畳投票部が抽象モデル画像セットごとに求めた重畳結果のうち前記ピークがもっとも峻別できるピークとなっている抽象モデル画像セットの画像サイズを、認識対象画像中に写り込んだ抽象概念の物体の画像サイズの粗い推定値とする処理と、前記粗い推定値とした画像サイズである抽象モデル画像セットのモデル画像と前記入力画像から、前記粗い推定値に対する詳細サイズ補正値を算出する処理と、前記粗い画像サイズ推定値に前記詳細サイズ補正値による補正を施して前記認識対象の画像サイズの推定値とする処理を備えた上記付記１１に記載する画像照合処理システム。
【０１９２】
（付記１３） 前記評価判定部は、前記モデル画像セットを構成するモデル画像のサイズに対して前記モデル画像セット毎の整合性の評価判定を重みとした重み付け平均値を計算する処理と、
前記計算した重み付け平均値を前記入力画像中に存在する認識対象の画像サイズに対する推定値とする処理を備えた上記付記１１に記載の画像照合処理システム。
【０１９３】
（付記１４） 画像領域切り出し部を備え、
前記重畳投票部による整合性評価の重畳結果におけるピークが表れている相対位置に応じて、前記入力画像中における前記抽象概念に属する認識物体が写り込んでいる画像位置を推定し、
前記画像領域切り出し部により、前記推定した前記認識物体が写り込んでいる画像位置を中心に、所定サイズの画像領域を切り出す上記付記１１に記載の画像照合処理システム。
【０１９４】
（付記１５）入力画像の中に、指定された抽象概念に属する物体が写り込んでいるか否かを画像照合により判断し、入力画像中に存在する認識対象を同定する画像照合処理システムを実現する処理ステップを記録したコンピュータ読み取り可能な記録媒体であって、
共通した抽象概念に属する１つ以上の異なるモデル画像を集めた抽象モデル画像セットを入力するモデル画像入力処理ステップと、
認識対象物体が含まれる認識対象画像を入力する認識対象画像入力処理ステップと、
前記抽象モデル画像セットの画像および前記認識対象画像を、画像の特徴を表す特徴空間にその特徴量に応じてそれぞれ投影する投影処理ステップと、
前記モデル画像セットのモデル画像ごとに、前記特徴空間内における当該モデル画像の投影点と前記認識対象画像の投影点の距離から両者の類似度を評価し、前記各モデル画像ごとの評価を重畳して評価をまとめる評価重畳処理ステップと、
前記評価重畳処理による評価の重畳結果をもとに、前記認識対象画像中に、前記抽象概念に属する物体が存在していると判定する評価判定処理ステップを備えた処理プログラムを記録したことを特徴とする記録媒体（１１）。
【０１９５】
（付記１６）入力画像の中に、指定された抽象概念に属する物体が写り込んでいるか否かを画像照合により判断し、入力画像中に存在する認識対象を同定する画像照合処理システムを実現する処理ステップを記録したコンピュータ読み取り可能な記録媒体であって、
ある抽象概念に属するモデル画像を入力するモデル画像入力処理ステップと、認識対象物体が含まれる認識対象画像を取り込み、所定数の異なるサイズの認識対象画像のセットとして入力する認識対象画像入力処理ステップと、
前記モデル画像および前記認識対象画像セットの画像を、画像の特徴を表す特徴空間にその特徴量に応じてそれぞれ投影する投影処理ステップと、
前記認識対象画像セットの画像ごとに、前記特徴空間内における前記モデル画像の投影点と当該認識対象画像の投影点の距離から両者の類似度を評価し、前記各認識対象画像ごとに前記評価を重畳して評価をまとめる評価重畳処理ステップと、
前記評価重畳処理ステップによる評価の重畳結果をもとに、前記認識対象画像中に、前記抽象概念に属する物体が存在していると判定する評価判定処理ステップを備えた処理プログラムを記録したことを特徴とする記録媒体。
【図面の簡単な説明】
【図１】 本発明の画像照合処理システムで用いる抽象概念レベルでの画像認識・照合処理の基本原理を表わす図
【図２】 指定認識対象物体画像領域自動切り出し処理の基本原理を説明する図
【図３】 認識対象物体の画像サイズ推定処理の基本原理を説明する図
【図４】 実施形態２の画像照合処理システムのブロック構成図
【図５】 画像入力部１０から入力される基準サイズモデル画像セットを構成するモデル画像を示す図
【図６】 画像入力部１０から入力される認識対象画像を示す図
【図７】 各基準サイズモデル画像セットごとに、登録モデル画像および認識対象画像の窓画像圧縮データを低次元特徴空間に投影する様子を示した図
【図８】 低次元投影空間ごとに、対応し合う窓画像データ圧縮データ投影点同士の相対位置を基に一つの投票平面に重畳的に投票してゆく様子を示した図
【図９】 本発明の実施形態２の画像照合処理システムの「登録フェーズ」の処理手順を示すフローチャート
【図１０】 本発明の実施形態２の画像照合処理システムの「認識フェーズ」の処理手順を示すフローチャート
【図１１】 実施形態３の画像照合処理システムのブロック構成図
【図１２】 画像入力部１０から入力される基準サイズモデル画像セットを構成するモデル画像を示す図
【図１３】 画像入力部１０から入力される認識対象画像を示す図
【図１４】 部位窓画像セットを導入せずに誤投票が起こった場合の誤ったピーク生成形成を説明する図
【図１５】 部位窓画像セットを導入し、誤投票が起こった場合でも誤ったピーク生成形成が防止されることを説明する図
【図１６】 部位窓画像分類部による部位窓画像のグループ化と、各部位窓画像セットグループに対して代表投影点を決定する様子を説明する図
【図１７】 本発明の実施形態４の画像照合処理システムのブロック構成図
【図１８】 各認識対象画像セットごとに、登録モデル画像および認識対象画像の窓画像圧縮データを低次元特徴空間に投影し、対応する投影点同士の相対位置を基に一つの投票平面に重畳的に投票してゆく様子を示した図
【図１９】 本発明の実施形態４の画像照合処理システムの「登録フェーズ」の処理手順を示すフローチャート
【図２０】 本発明の実施形態４の画像照合処理システムの「認識フェーズ」の処理手順を示すフローチャート
【図２１】 本発明の実施形態５のメッセージモデル変換システムを実現する処理プログラムを格納した記録媒体の例を示す図
【図２２】 改良局所固有空間法における「登録フェーズ」の処理手順を示すフローチャート
【図２３】 改良局所固有空間法における「認識フェーズ」の処理手順を示すフローチャート
【図２４】 （ａ）はモデル画像の例を示す図、（ｂ）は認識対象となる画像の例を示す図
【図２５】 特徴点を基に局所領域を窓画像として選択した様子を示す図
【図２６】 窓画像の画像上での相対位置を基に投票マップ上の対応する格子に投票を行った様子を示す図
【符号の説明】
１０ 画像入力部
２０ 特徴点抽出部
３０ 窓画像領域切り出し部
４０ 低次元圧縮部
５０ 特徴空間投影部
６０，６０ａ 重畳投票部
６１ 代表投影点決定部
７０ 評価判定部
８０ モデル画像セット登録部
９０ 認識対象物体画像サイズ推定部
１００ 画像領域切り出し部
１０１，２０１ 認識対象画像
１０２，３０２ 抽象モデル画像セット
１０３ 投票空間に投票した結果
１０４，２０３，３０４ 重畳投票結果
１１０ 認識対象物体指定部
１２０ 部位窓画像分類部
２０２ 基準サイズモデル画像セット
３０１ 入力画像
１０００ 記録装置内の記録媒体
１００１ 可搬型記録媒体
１００２ ＣＤ−ＲＯＭ
１００３ フレキシブルディスク
１００４ コンピュータ
１００５ コンピュータのハードディスクやＲＡＭ等の記録媒体

Claims (5)

1. 入力画像の中に、指定された抽象概念に属する物体が写り込んでいるか否かを画像照合により判断し、入力画像中に存在する認識対象を同定する画像照合処理システムであって、
   共通した抽象概念に属する複数の異なるモデル画像を集めた抽象モデル画像セットを入力するモデル画像入力部と、
   認識対象物体が含まれる認識対象画像を入力する認識対象画像入力部と、
   前記抽象モデル画像セットのそれぞれのモデル画像および前記認識対象画像から窓画像を切り出す窓画像切り出し部と、
   前記抽象モデル画像セットのモデル画像それぞれから切り出された窓画像および前記認識対象画像から切り出された窓画像を、画像の特徴を表す特徴空間にその特徴量に応じてそれぞれの投影点として投影する投影部と、
   前記抽象モデル画像セットのモデル画像ごとに、前記特徴空間内において最も近傍の位置に投影されているモデル画像の窓画像の投影点と前記認識対象画像の窓画像の投影点同士を対応づけ、対応付けられた投影点の窓画像間の相対距離を投票空間に投票する重畳投票部と、
   モデル画像ごとの投票結果を、前記抽象モデル画像セットの複数のモデル画像について重ね合わせた結果をもとに、前記認識対象画像中に、前記抽象概念に属する物体が存在していると判定する評価判定部を備えたことを特徴とする画像照合処理システム。
2. 前記評価判定部による判定処理が、モデル画像ごとの投票結果を、前記抽象モデル画像セットの複数のモデル画像について重ね合わせた結果において、所定条件を満たすピークがある場合、前記認識対象画像中に前記抽象概念に属する物体が存在していると判定する処理である請求項１に記載の画像照合処理システム。
3. 前記抽象モデル画像セットが複数セットあり、一の抽象モデル画像セットの各モデル画像のサイズが、他の抽象モデル画像セットの各モデル画像サイズと異なる倍率となる関係にあり、前記重畳投票部は、前記投票結果を前記抽象モデル画像セットごとに求め、前記評価判定部は、前記重畳投票部が抽象モデル画像セットごとに求めた投票結果をそれぞれ評価して前記認識対象画像中に、前記抽象概念に属する物体が存在しているか否かを判定する請求項１または２のいずれかに記載の画像照合処理システム。
4. 前記重畳投票部による投票結果におけるピークが表れている相対位置に応じて、前記入力画像中における前記抽象概念に属する認識物体が写り込んでいる画像位置を推定する請求項１から３のいずれかに記載の画像照合処理システム。
5. 入力画像の中に、指定された抽象概念に属する物体が写り込んでいるか否かを画像照合により判断し、入力画像中に存在する認識対象を同定する画像照合処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   共通した抽象概念に属する複数の異なるモデル画像を集めた抽象モデル画像セットを入力するモデル画像入力処理と、
   認識対象物体が含まれる認識対象画像を入力する認識対象画像入力処理と、
   前記抽象モデル画像セットのそれぞれのモデル画像および前記認識対象画像から窓画像を切り出す窓画像切り出し処理と、
   前記抽象モデル画像セットのモデル画像それぞれから切り出された窓画像および前記認識対象画像から切り出された窓画像を、画像の特徴を表す特徴空間にその特徴量に応じてそれぞれの投影点として投影する投影処理と、
   前記抽象モデル画像セットのモデル画像ごとに、前記特徴空間内において最も近傍の位置に投影されているモデル画像の窓画像の投影点と前記認識対象画像の窓画像の投影点同 士を対応づけ、対応付けられた投影点の窓画像間の相対距離を投票空間に投票する重畳投票処理と、
   モデル画像ごとの投票結果を、前記抽象モデル画像セットの複数のモデル画像について重ね合わせた結果をもとに、前記認識対象画像中に、前記抽象概念に属する物体が存在していると判定する評価判定処理とをコンピュータに実行させるプログラムを記録したことを特徴とする記録媒体。

Images