JP4036005B2 - 撮影条件検出装置および撮影条件検出プログラム - Google Patents
撮影条件検出装置および撮影条件検出プログラム Download PDFInfo
- Publication number
- JP4036005B2 JP4036005B2 JP2002027218A JP2002027218A JP4036005B2 JP 4036005 B2 JP4036005 B2 JP 4036005B2 JP 2002027218 A JP2002027218 A JP 2002027218A JP 2002027218 A JP2002027218 A JP 2002027218A JP 4036005 B2 JP4036005 B2 JP 4036005B2
- Authority
- JP
- Japan
- Prior art keywords
- manifold
- images
- feature
- shooting
- subspace
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、撮影条件検出装置および撮影条件検出プログラムに関し、特に被写体が撮影されて得られた画像から被写体の方向、大きさ、光源の違いなどの撮影条件を検出する撮影条件検出装置および撮影条件検出プログラムに関する。
【０００２】
【従来の技術】
さまざまな背景を持つ画像から３次元物体を認識する方法が、村瀬洋、シュリーマイヤー、「２次元照合による３次元物体認識−パラメトリック固有空間法」、『電子情報通信学会論文誌』Ｄ−II Ｖｏｌ．Ｊ７７−Ｄ−II Ｎｏ．１１ １９９４．１１に記載されている。この論文に記載されている３次元物体を２次元画像から認識する方法では、パラメトリック固有空間法が用いられる。パラメトリック固有空間法では、学習段階では、３次元物体の向きや光源の変化に対して連続的に変化する２次元画像を予め複数準備しておき、この２次元画像の集合を主成分分析して固有空間を求める。そして、この求められた固有空間上で、３次元物体の向きや光源の変化に対して連続的に変動する２次元画像の変化を多様体で表現するものである。認識段階では、入力された画像を求められた固有空間上に射影し、射影された点に最も近い多様体上の位置を検出することにより、入力された画像に含まれる物体の種類と姿勢を検出するものである。
【０００３】
また、画像中に含まれる物体を検知し（イメージスポッティング）、同時に検知された物体の姿勢を推定するためにパラメトリック固有空間法を適用した例が、村瀬洋、シュリーマイヤー、「多重解像度と固有空間表現による３次元物体のイメージスポッティング」、『電子情報通信学会論文誌』、Ｄ−II Ｖｏｌ．３６ Ｎｏ．１０ １９９５に記載されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述したパラメトリック固有空間を用いる方法では、画像中に含まれる物体の姿勢を識別するために、その物体の向きや光源を変化させて撮影した画像を用いて多様体を生成している。このため、その物体とは異なる同種の物体の変動については考慮されない。したがって、その物体とは異なる同種の物体が撮影された画像からは、その物体の姿勢を推定するのに誤差が増大してしまうという問題があった。
【０００５】
この発明は上述の問題点を解決するためになされたもので、この発明の目的の１つは、撮影条件の検出の精度を向上させた撮影条件検出装置および撮影条件検出プログラムを提供することである。
【０００６】
【課題を解決するための手段】
上述の目的を達成するためにこの発明のある局面によれば、撮影条件検出装置は、複数の対象物それぞれを複数の撮影条件で撮影して得られる複数の画像を取込む画像入力手段と、画像入力手段で得られた複数の画像それぞれに対応する特徴ベクトルの固有ベクトルを取得して部分空間を生成する部分空間生成手段と、画像入力手段で得られた複数の画像それぞれに対応する特徴ベクトルを部分空間生成手段で生成された部分空間に射影して、複数の画像それぞれに対応する特徴パラメータを取得する射影手段と、撮影条件ごとに画像に対応する特徴パラメータを平均して平均特徴パラメータを取得する平均特徴パラメータ取得手段と、得られた平均特徴パラメータを補間して部分空間に多様体を生成する多様体生成手段とを備える。
【０００７】
この発明に従えば、撮影条件ごとに、画像に対応する特徴パラメータを平均した平均特徴パラメータが取得され、得られた平均特徴パラメータが補間されて部分空間に多様体が生成される。部分空間における多様体が、撮影条件の違う画像間の相関を示すことになる。その結果、撮影条件の検出の精度を向上させた撮影条件検出装置を提供することができる。
【０００８】
この発明の他の局面によれば、撮影条件検出装置は、複数の対象物それぞれを複数の撮影条件で撮影して得られる複数の画像を取込む画像入力手段と、画像入力手段で得られた複数の画像それぞれに対応する特徴ベクトルの固有ベクトルを取得して部分空間を生成する部分空間生成手段と、画像入力手段で得られた複数の画像の特徴ベクトルを撮影条件ごとに平均した平均特徴ベクトルを取得する画像平均手段と、平均特徴ベクトルを部分空間生成手段で生成された部分空間に射影して、撮影条件ごとに特徴パラメータを取得する射影手段と、得られた特徴パラメータを補間して部分空間に多様体を生成する多様体生成手段とを備える。
【０００９】
この発明に従えば、撮影条件ごとに画像の特徴ベクトルを平均した平均特徴ベクトルが取得され、平均特徴ベクトルが部分空間に射影されて撮影条件ごとに特徴パラメータが取得され、得られた特徴パラメータを補間して部分空間に多様体が生成される。このため、部分空間における多様体が、撮影条件の違う画像間の相関を示すことになる。その結果、撮影条件の検出の精度を向上させた撮影条件検出装置を提供することができる。
【００１０】
好ましくは、部分空間生成部は、撮影条件に基いて複数の画像をクラスに分類する分類手段と、分類手段により分類された複数の画像それぞれに対応する特徴ベクトルに判別分析を施して固有ベクトルを取得する判別分析手段とを含む。
【００１１】
この発明に従えば、撮影条件に基いて複数の画像がクラスに分類され、分類された複数の画像それぞれに対応する特徴ベクトルに判別分析を施して固有ベクトルが取得される。このため、撮影条件を判定するのに有利な判別関数で多様体が生成されるので、撮影条件検出の精度をさらに向上させることができる。
【００１２】
この発明のさらに他の局面によれば、撮影条件検出プログラムは、複数の対象物それぞれを複数の撮影条件で撮影して得られる複数の画像を取込むステップと、得られた複数の画像それぞれに対応する特徴ベクトルの固有ベクトルを取得して部分空間を生成するステップと、得られた複数の画像それぞれに対応する特徴ベクトルを生成された部分空間に射影して、複数の画像それぞれに対応する特徴パラメータを取得するステップと、撮影条件に基き複数の画像をクラスに分類し、クラスごとに画像に対応する特徴パラメータを平均して平均特徴パラメータを取得するステップと、得られた平均特徴パラメータを補間して部分空間に多様体を生成するステップとをコンピュータに実行させる。
【００１３】
この発明に従えば、撮影条件に基き複数の画像に分類されたクラスごとに、画像に対応する特徴パラメータを平均した平均特徴パラメータが取得され、得られた平均特徴パラメータが補間されて部分空間に多様体が生成される。このため、部分空間における多様体が、撮影条件が違う画像間の相関を示すことになる。その結果、撮影条件の検出の精度を向上させた撮影条件検出プログラムを提供することができる。
【００１４】
この発明のさらに他の局面によれば、撮影条件検出プログラムは、複数の対象物それぞれを複数の撮影条件で撮影して得られる複数の画像を取込むステップと、得られた複数の画像それぞれに対応する特徴ベクトルの固有ベクトルを取得して部分空間を生成するステップと、取込まれた複数の画像の特徴ベクトルを撮影条件ごとに平均した平均特徴ベクトルを取得するステップと、平均特徴ベクトルを部分空間生成ステップで生成された部分空間に射影して、撮影条件ごとに特徴パラメータを取得するステップと、得られた特徴パラメータを補間して部分空間に多様体を生成するステップとをコンピュータに実行させる。
【００１５】
この発明に従えば、複数の画像の特徴ベクトルを撮影条件ごとに平均した平均特徴ベクトルが取得され、平均特徴ベクトルが部分空間に射影されて、撮影条件ごとに特徴パラメータが取得され、得られた特徴パラメータを補間して部分空間に多様体が生成される。このため、部分空間における多様体が、撮影条件の違う画像間の相関を示すことになる。その結果、撮影条件の検出の精度を向上させた撮影条件検出プログラムを提供することができる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。なお、図中同一符号は同一または相当する部材を示し、重複する説明は繰返さない。
【００１７】
［第１の実施の形態］
図１は、本発明の第１の実施の形態における撮影条件検出装置のハード構成を示す図である。図１を参照して、撮影条件検出装置は、撮影条件検出装置の全体を制御するための制御部１００と、人の顔が撮影された画像（以下「顔画像」という）を入力するための画像入力部１０１と、顔画像の撮影条件撮等のデータを入力するための操作部１０２と、画像入力部１０１へ入力された画像データと操作部１０２より入力された顔画像の撮影条件とを記憶するための記憶部１０３と、所定の情報を出力するための出力部１０４とを含む。
【００１８】
制御部１００は、中央演算装置（ＣＰＵ）と、ＣＰＵで実行するプログラムを記憶するための読出専用メモリ（ＲＯＭ）と、ＣＰＵでプログラムを実行する際に変数等を一時的に記憶するための作業エリアとして用いられるランダムアクセスメモリ（ＲＡＭ）とを含む。制御部１００は、画像入力部１０１、操作部１０２、出力部１０４、記憶部１０３および外部記憶装置１０５と接続されている。
【００１９】
画像入力部１０１は、イメージスキャナであり、ライン型の電荷結合素子（ＣＣＤ）センサを有し、顔が撮影された写真等の顔画像を読込んで２次元の画像データを出力する。なお、実際に人物を撮影して２次元の画像データを出力するデジタルカメラ等を用いることもできる。さらに、外部のイメージスキャナやデジタルカメラ等と接続するための入力端子であってもよい。
【００２０】
記憶部１０３は、画像入力部１０１で入力された画像データを記憶するための画像データベースと、画像データに基き生成される部分空間を記憶するための部分空間データベースと、後述する多様体生成処理により生成された多様体を記憶するための多様体データベースとを記憶する。記憶部１０３は、磁気ディスク、光磁気ディスク等で構成される。
【００２１】
出力部１０４は、画像入力部１０１で入力された画像データ、入力された画像データの撮影条件等を出力するための液晶表示装置、陰極線管（ＣＲＴ）等の表示装置である。また、表示装置に代えて紙などの記録媒体に画像を形成するプリンタを用いるようにしてもよい。
【００２２】
制御部１００は、外部記憶装置１０５と接続されている。外部記憶装置１０５は、記録媒体１０６に記録された制御部１００で実行するための多様体生成プログラムまたは２次元の画像データを読込むための光磁気ディスクドライブまたはＤＶＤ（Digital Versatile Disc）ドライブなどである。
【００２３】
なお、記録媒体１０６としては、磁気テープやカセットテープなどのテープ系、磁気ディスク（フレキシブルディスク、ハードディスク）や、光ディスク（ＣＤ−ＲＯＭ／ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ）、ＩＣカード（メモリカードを含む）、光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリなどの半導体メモリ等の固定的にプログラムを管理する媒体を用いることもできる。また、ネットワークからプログラムがダウンロードされるように流動的にプログラムを担持する媒体であってもよい。外部記憶装置１０５は、このような記憶媒体１０６から情報を読込みまたは書込みできるように記録媒体１０６に対応する。
【００２４】
図２は、第１の実施の形態における撮影条件検出装置の制御部１００が有する多様体生成機能の概略を示す機能ブロック図である。図２を参照して、制御部１００は、画像入力部１０１より入力された画像データに対して処理前に必要な所定の処理を行なう前処理部１１１と、画像データベース１２１に記憶された画像データをベクトル化して得られる特徴ベクトルを主成分分析するための部分空間生成部１１３と、部分空間データベース１２３に記憶された部分空間に画像データベース１２１に記憶された画像データを射影して特徴パラメータを導出するための射影部１１５と、射影部１１５で導出された特徴パラメータを撮影条件ごとに平均して平均特徴パラメータを求める特徴パラメータ平均部１１７と、特徴パラメータ平均部１１７で求められた平均特徴パラメータを補間して多様体を生成するための多様体生成部１１９とを含む。
【００２５】
前処理部１１１は、画像入力部１０１より入力された画像データに対して、顔の大きさの正規化処理と、顔画像に含まれる顔の領域をマスキングするためのマスキング処理と、マスキング処理された画像データの輝度を正規化するための正規化処理とを行なう。前処理部１１１で正規化された画像データは、操作部１０２より入力される顔画像の撮影角度と対応づけられて画像データベース１２１に記憶される。ここで、顔画像とは、画像入力部１０１で入力される画像であって、人の顔を含む画像をいう。たとえば、人の顔を撮影して得られた画像である。
【００２６】
撮影角度はカメラの光軸と人の顔の正面方向の軸とのなす角度を上下方向及び左右方向で表すことができる。カメラの光軸と人の顔の正面方向の軸とが平行な場合は、撮影角度は、上下方向および左右方向ともに０度である。なお、撮影角度に限られず、撮影角度に代えて、被写体が画像中に占める割合や、照明が当る方向等の撮影条件を用いるようにしてもよい。
【００２７】
部分空間生成部１１３は、画像データベース１２１に記憶された正規化された画像データそれぞれを、画像データの各位置のテクスチャの値からなる特徴ベクトルに変換し、変換された複数の特徴ベクトルに主成分分析を行なう。主成分分析の結果、複数の特徴ベクトルの固有ベクトルが求められる。そして、求められた固有ベクトルは、部分空間データベース１２３に記憶される。求められた固有ベクトルは、固有ベクトルを正規直交座標系とする部分空間を示す。
【００２８】
射影部１１５は、画像データベース１２１に記憶されている画像データの特徴ベクトルを部分空間データベース１２３に記憶されている部分空間に射影し、画像データに対応する部分空間上の特徴パラメータを導出する。導出される特徴パラメータは、画像データベース１２１に記憶されている画像データごとに求められる。
【００２９】
特徴パラメータ平均部１１７は、撮影角度毎に画像データに対応する特徴パラメータを平均して平均特徴パラメータを求める。
【００３０】
多様体生成部１１９では、特徴パラメータ平均部１１７より平均特徴パラメータを受信し、受信した撮影角度毎の平均特徴パラメータを補間して部分空間における多様体を生成する。生成された多様体は、記憶部１０３の多様体データベース１２５に記憶される。平均特徴パラメータを補間は、曲線や局面を補間であり、Ｂスプライン補間が用いられる。また、Ｂスプライン補間に代えて、基底関数を用いる他の補間を用いてもよい。
【００３１】
図３は、第１の実施の形態における撮影条件検出装置で実行される多様体生成処理の流れを示すフローチャートである。図３を参照して、多様体生成処理では、まず、画像データが入力される（ステップＳ０１）。画像データは、画像入力部１０１より入力される。
【００３２】
次に、入力された画像データに対して、顔の大きさの正規化処理、および、顔が表された領域を抽出するためにマスキング処理を行ない、その後、輝度値を正規化するための輝度正規化処理が行なわれる（ステップＳ０２）。マスキング処理は、顔の特徴と関係のない背景の影響を除くためのマスクを用いて、マスクで規定されるウィンドウ領域の縁を取り除く処理である。輝度正規化処理は、画像データのエネルギを１とするような正規化を行なう。より具体的には、画像データのマスキングされていない部分から得られる特徴ベクトルをｘとすれば、（１）式を用いて正規化する。
【００３３】
ステップＳ０１とステップＳ０２は、複数の人物に対して複数の角度で撮影した画像データが入力され、入力された複数の画像データに対して顔の大きさの正規化、マスク処理および輝度正規化処理が行なわれる。たとえば、１番目の人物に対して、複数の角度で撮影した画像データと、２番目の人物に対して複数の角度で撮影した画像のように画像データが入力される。撮影角度は、予め定められた角度である。なお、この角度は、複数の人物について必ずしもすべてが同じ角度である必要はなく、所定の範囲内の角度であれば同じ角度でなくてもよい。ある程度幅を持った範囲内とすることができる。
【００３４】
以下、ｐ人の人物に対してｒ個の角度変化を持たせた撮影条件で撮影して得られた画像の特徴ベクトルを、（２）式に示す形式で表現する。ここで、ｒは撮影角度であり、ｐは人物の番号である。
【００３５】
ステップＳ０１とステップＳ０２とは、ｐ人に対してｒ個の撮影角度で撮影した画像データの入力および正規化の処理が行なわれる。すなわち、ｐ×ｒ個の画像データが入力されることになる。なお、すべての人物に対してｒ個の撮影角度で撮影する必要は必ずしもない。したがって、ステップＳ０１およびステップＳ０２は、最大でｐ×ｒ個の画像データに対して実行されることになる。
【００３６】
次のステップＳ０３では、ステップＳ０１およびステップＳ０２が実行されて得られる画像データの特徴ベクトルに対して主成分分析を行なうことにより、部分空間を生成する。主成分分析を複数の特徴ベクトルに対して行なうことにより、固有ベクトルが求められる。求められた固有ベクトルを正規直交基底とする部分空間が生成されることになる。部分空間の正規直交基底を（３）式で示す。なお、（３）式においてｅｄｉｍは部分空間の次元数を示している。
【００３７】
次に、ステップＳ０１およびステップＳ０２で求められた特徴ベクトルのすべてに対してステップＳ０３で求められた固有空間に射影する（ステップＳ０４）。これにより、特徴ベクトルそれぞれに対して部分空間における特徴パラメータが導出される。たとえば、ｊ番目の人物の撮影角度がｉの画像データに対応する特徴ベクトルを、ステップＳ０３で求めた部分空間に射影すると（４）式に示す点で表わされる。
【００３８】
ステップＳ０４で求められた特徴パラメータを、撮影角度毎に分類する（ステップＳ０５）。これにより（５）式に示す点列がｒ個求められる。
【００３９】
そして、角度ごとに特徴パラメータを平均する（ステップＳ０６）。より具体的には、ｉ番目の撮影角度（姿勢）に対する第ｋ次元の平均された特徴パラメータは（６）式で表わされる。これにより、ステップＳ０３で生成された部分空間に、角度ごとに平均された特徴ベクトルの点列が求められる。この点列が多様体の一部を構成する。
【００４０】
ステップＳ０６で角度毎に求められた平均特徴ベクトルの間を補間する処理が行なわれる（ステップＳ０７）。この補間により、平均特徴ベクトルの間の点に対応する撮影角度も求められる。曲線や局面を補間するためには、さまざまな基底関数を用いることができる。たとえば、Ｂスプライン補間を用いることができる。そして、補間により求められた多様体を、記憶部１０３の多様体データベース１２５に記憶する（ステップＳ０８）。
【００４１】
図４は、第１の実施の形態における撮影条件検出装置の制御部１００が有する撮影条件検出機能の概略を示す機能ブロック図である。図４を参照して、制御部１００は、画像入力部１０１より顔画像を入力し、入力された顔画像から顔が含まれる領域を検出するための顔領域検索部１１０と、検索された顔領域を抽出し顔の特徴と関係のない背景の影響を除くためのマスキング処理と、マスキングされた画像データの輝度の正規化処理を行なう前処理部１１１と、正規化された画像データのピクセルをベクトル化し、部分空間データベース１２３に記憶される部分空間に射影して特徴ベクトルを導出するための射影部１１５と、導出された特徴ベクトルを多様体データベース１２５に記憶された多様体と最も距離の近い点を求める比較部１３１とを含む。
【００４２】
比較部１３１は、部分空間データベース１２３に記憶されている部分空間において、射影部１１５で導出された特徴パラメータで特定される点と多様体データベース１２５に記憶されている多様体との距離を計算し、最小距離となる多様体上の点を求める。距離の計算には、多様体上の点は、撮影角度と対応づけられているため、多様体上の点が定まる。これにより、撮影角度が求められる。そして、求められた撮影角度は、出力部１０４に出力される。したがって、撮影角度のわからない画像が入力された場合であっても、その画像に含まれる人の顔の撮影角度が正確に出力される。
【００４３】
図５は、第１の実施の形態における撮影条件検出装置で実行される撮影条件検出処理の流れを示すフローチャートである。図５を参照して、撮影条件検出装置には、まず、人の顔を含む画像データが入力される（ステップＳ２１）。画像データは、画像入力部１０１より入力される。
【００４４】
そして、入力された画像データ中で顔が表わされた領域が検出される（ステップＳ２２）。顔の表わされた領域の検出は、たとえば画像データを２次微分して求めたエッジの形状に基き求める方法がある。
【００４５】
次にステップＳ２３では、ステップＳ２２で検出された顔領域を抽出し、顔の特徴と関係のない背景の影響を除くためのウィンドウ領域の縁をマスキングするマスキング処理と、マスキングされた画像データの輝度の正規化が行なわれる。この正規化は、上述の（１）式を用いて行なわれる。
【００４６】
そして、ステップＳ２３で正規化された画像データの特徴点の位置と画素値とに基いて特徴ベクトルが求められ、求められた特徴ベクトルを記憶部１０３の部分空間データベース１２３に記憶されている部分空間に射影することにより、画像データに対応する特徴パラメータが導出される（ステップＳ２４）。
【００４７】
部分空間上で、ステップＳ２４で導出された特徴パラメータで規定されるベクトルと最も距離が近い多様体上の点が取得される（ステップＳ２５）。多様体は、記憶部１０３の多様体データベース１２５に記憶されている。多様体データベース１２５は、多様体の部分空間上の位置と撮影角度とを対応づけて記憶する。このため、多様体上の点が特定されることにより、撮影角度が定まることになる（ステップＳ２６）。
【００４８】
したがって、ステップＳ２６では、取得された多様体上の点に対応する撮影角度が取得され、次のステップＳ２７で出力部より取得された撮影角度が出力される。
【００４９】
【数１】
【００５０】
以上説明したように、第１の実施の形態における撮影条件検出装置は、画像データに対応する特徴ベクトルを固有空間に射影し、求められた特徴パラメータを撮影角度ごとに平均した平均特徴パラメータを補間して多様体を生成するようにしている。このため、生成された多様体は、１人の人物を撮影して得られる画像の撮影角度の変化を示すだけでなく、複数の人物を撮影して得られる画像の撮影角度の変化を反映することが可能となる。
【００５１】
また、入力された画像に含まれる人物が表わされた領域の特徴ベクトルと最も距離の近い多様体の位置に基き、撮影条件を検出するようにしたので、より正確に撮影条件を検出することができる。
【００５２】
［第２の実施の形態］
次に、第２の実施の形態における撮影条件検出装置について説明する。第２の実施の形態における撮影条件検出装置のハード構成は、第１の実施の形態における撮影条件検出装置のハード構成と同じである。
【００５３】
図６は、第２の実施の形態における撮影条件検出装置の制御部が有する多様体生成機能の概略を示す機能ブロック図である。図７を参照して、制御部１００は、画像データベース１２１に記憶されている画像データを、撮影角度ごとに画像データの特徴ベクトルを平均するための画像平均部１４１を含む。画像平均部１４１は、画像データベース１２１に記憶される画像データの特徴ベクトルを撮影角度ごとに平均するため、撮影角度の数の特徴ベクトルを出力する。
【００５４】
射影部１１５は、画像平均部１４１が出力する撮影角度ごとの特徴ベクトルのそれぞれを、部分空間データベース１２３に記憶された部分空間に射影して、撮影角度ごとに特徴パラメータを導出する。
【００５５】
多様体生成部１１９は、射影部１１５が出力する特徴パラメータを補間することにより多様体を生成し、多様体データベース１２５に記憶する。射影部１１５が出力する特徴パラメータは、撮影条件に対応して出力される。多様体生成部１１９では、離散的に存在する特徴パラメータ間を補間することにより、線分で構成される。このため、多様体上の１点を定めることにより、それに対応する撮影角度が定まることになる。多様体データベース１２５には、多様体上の点と撮影角度とが対応付けられて記憶される。
【００５６】
図７は、第２の実施の形態における撮影条件検出装置で実行される多様体生成処理の流れを示すフローチャートである。図７を参照して、多様体生成処理では、まず、画像データが入力される（ステップＳ３１）。画像データは、画像入力部１０１より入力される。
【００５７】
次に、入力された画像データに対して、顔の大きさを正規化する処理を行い、顔が表された領域を抽出するためにマスキング処理を行ない、その後、輝度値を正規化するための正規化処理が行なわれる（ステップＳ３２）。マスキング処理は、顔の特徴と関係のない背景の影響を除くためのマスクを用いて、マスクで規定されるウィンドウ領域の縁を取り除く処理である。正規化処理は、画像データのエネルギを１とするような正規化を行なう。すなわち、画像データのマスキングされていない部分から得られる特徴ベクトルをｘとすれば、（１）式を用いて正規化する。
【００５８】
ステップＳ３１とステップＳ３２は、複数の人物に対して複数の角度で撮影した画像データが入力され、入力された複数の画像データに対して大きさを正規化する処理、マスク処理および輝度正規化処理が行なわれる。撮影角度は、予め定められた角度である。なお、この角度は、複数の人物について必ずしもすべてが同じ角度である必要はなく、所定の範囲内の角度であれば同じ角度でなくてもよい。ある程度幅を持った範囲内とすることができる。
【００５９】
ｐ人の人物に対してｒ個の角度変化を持たせた撮影条件で撮影して得られた画像の特徴ベクトルは、（２）式で表される。ここで、ｒは撮影角度であり、ｐは人物の番号である。
【００６０】
ステップＳ３１とステップＳ３２とは、ｐ人に対してｒ個の撮影角度で撮影した画像データの入力および正規化の処理が行なわれる。すなわち、ｐ×ｒ個の画像データが入力されることになる。なお、すべての人物に対してｒ個の撮影角度で撮影する必要は必ずしもない。したがって、ステップＳ３１およびステップＳ３２は、最大でｐ×ｒ個の画像データに対して実行されることになる。
【００６１】
次のステップＳ３３では、ステップＳ３１およびステップＳ３２が実行されて得られる画像データの特徴ベクトルを撮影角度で分類する。そして、撮影角度ごとに画像データの特徴ベクトルを平均する（ステップＳ３４）。これにより、撮影角度の数の特徴ベクトルが求められる。
【００６２】
撮影角度毎に特徴ベクトルを平均することは、同じ撮影角度で撮影された異なる人物の顔画像を平均することを意味する。ステップＳ３４における特徴ベクトルの平均は、（７）式で表される。
【００６３】
次に、ステップＳ３４で求められた平均画像データの特徴ベクトルに対して主成分分析を行なうことにより、部分空間を生成する(ステップＳ３５）。主成分分析を複数の特徴ベクトルに対して行なうことにより、固有ベクトルが求められる。求められた固有ベクトルを正規直交基底とする部分空間が生成されることになる。部分空間の正規直交基底は（８）式で示される。なお、（８）式においてＥｄｉｍは部分空間の次元数を示している。
【００６４】
次に、ステップＳ３４で撮影角度ごとに平均された平均画像データの特徴ベクトルをステップＳ３５で求められた固有空間に射影する（ステップＳ３６）。これにより、特徴ベクトルそれぞれに対して部分空間における平均特徴パラメータが導出される。たとえば、撮影角度がｉの平均された特徴ベクトルを、ステップＳ３５で求めた部分空間に射影すると（９）式に示す平均特徴パラメータで表わされる。
【００６５】
ステップＳ３６で求められた平均特徴パラメータを補間する処理が行なわれる（ステップＳ３７）。平均画像データは、撮影角度と対応付けられている。この補間により、平均特徴パラメータの間の点に対応する撮影角度も求められる。曲線や局面を補間するためには、さまざまな基底関数を用いることができる。たとえば、Ｂスプライン補間を用いることができる。そして、補間により求められた多様体を、記憶部１０３の多様体データベース１２５に記憶する（ステップＳ３８）。
【００６６】
第２の実施の形態における撮影条件検出装置における撮影条件検出機能および撮影条件検出処理については、第１の実施の形態における撮影条件検出装置におけるそれらと同様なので、ここでは説明を繰り返さない。
【００６７】
【数２】
【００６８】
以上説明したように、第２の実施の形態における撮影条件検出装置は、撮影角度毎に平均化した特徴ベクトルによって固有空間を生成する。そして、撮影角度で分類した画像データに対応する特徴ベクトルを、撮影角度毎に平均した特徴ベクトルを固有空間に射影し、求められた平均特徴パラメータを補間して多様体を生成するようにしている。このため、生成された多様体は、１人の人物を撮影して得られる画像の撮影角度の変化を示すだけでなく、複数の人物を撮影して得られる画像の撮影角度の変化を反映することが可能となる。
【００６９】
また、入力された画像に含まれる人物が表わされた領域の特徴ベクトルと最も距離の近い多様体の位置に基き、撮影条件を検出するようにしたので、より正確に撮影条件を検出することができる。
【００７０】
［第３の実施の形態］
第３の実施の形態における撮影条件検出装置は、第１の実施の形態における撮影条件検出装置の部分空間生成部１１３に変更を加えたものである。ここでは、第１の実施の形態における撮影条件検出装置の部分空間生成部１１３に変更を加えた例を説明する。図８は、第３の実施の形態における撮影条件検出装置の制御部が有する多様体生成機能の概略を示す機能ブロック図である。図８を参照して、第３の実施の形態における撮影条件検出装置の制御部１００Ａは、変更された部分空間生成部１１３Ａを含む。部分空間生成部１１３Ａは、画像データベース１２１に記憶された画像データベースを撮影条件に基きクラスに分類するクラス分類部１４５と、クラスに分類された画像データを画像データに対応する特徴ベクトルを用いて判別分析を行なう判別空間生成部１４７とを含む。
【００７１】
クラス分類部１４５は、撮影角度ごとにクラスに分類してもよいし、撮影角度がたとえば４度ごとに異なるクラスに画像データを分類してもよい。
【００７２】
判別空間生成部１４７は、クラス分類部１４５で分類された複数の画像データに対応する特徴ベクトルを用いて、正準判別分析または正準判別分析と主成分分析とを融合したＦＫＬ法を用いて判別分析を行なう。たとえば、ＦＫＬ法であれば、一般化固有値問題として（１０）式を用いて、固有ベクトルｅを求めることによって基底ベクトルが算出される。この基底ベクトルを正規直交基底とする固有空間が部分空間データベース１２３に記憶される。
【００７３】
なお、（１０）式において、Ｓwはクラス内分散、Ｓbはクラス間分散、ｂは正準判別分析と主成分分析の間の重みづけをするパラメータである。
【００７４】
【数３】
【００７５】
図９は、第３の実施の形態における撮影条件検出装置で実行される多様体生成処理の流れを示すフローチャートである。図９を参照して、多様体生成処理では、まず、画像データが入力される（ステップＳ４１）。画像データは、画像入力部１０１より入力される。
【００７６】
次に、入力された画像データに対して、顔の大きさの正規化処理を行い、顔が表された領域を抽出するためにマスキング処理を行ない、その後、輝度値を正規化するための正規化処理が行なわれる（ステップＳ４２）。マスキング処理は、顔の特徴と関係のない背景の影響を除くためのマスクを用いて、マスクで規定されるウィンドウ領域の縁を取り除く処理である。正規化処理は、画像データのエネルギを１とするような正規化を行なう。より具体的には、画像データのマスキングされていない部分から得られる特徴ベクトルをｘとすれば、（１）式を用いて正規化する。
【００７７】
ステップＳ４１とステップＳ４２は、複数の人物に対して複数の角度で撮影した画像データが入力され、入力された複数の画像データに対して大きさを正規化する処理、マスク処理、および、輝度正規化処理が行なわれる。撮影角度は、予め定められた角度である。なお、この角度は、複数の人物について必ずしもすべてが同じ角度である必要はなく、所定の範囲内の角度であれば同じ角度でなくてもよい。ある程度幅を持った範囲内とすることができる。
【００７８】
ｐ人の人物に対してｒ個の角度変化を持たせた撮影条件で撮影して得られた画像の特徴ベクトルは、（２）式に示す形式で表現される。ここで、ｒは撮影角度であり、ｐは人物の番号である。
【００７９】
ステップＳ４１とステップＳ４２とは、ｐ人に対してｒ個の撮影角度で撮影した画像データの入力および正規化の処理が行なわれる。すなわち、ｐ×ｒ個の画像データが入力されることになる。なお、すべての人物に対してｒ個の撮影角度で撮影する必要は必ずしもない。したがって、ステップＳ４１およびステップＳ４２は、最大でｐ×ｒ個の画像データに対して実行されることになる。
【００８０】
次のステップＳ４３では、ステップＳ４１およびステップＳ４２が実行されて得られる画像データの特徴ベクトルを撮影角度でクラスに分類する。ここでは、撮影角度を４度の範囲で分類したので、撮影角度の範囲を４度とし、４度ごとに画像データをクラスに分類する。
【００８１】
そして、クラスに分類された画像データの特徴ベクトルを判別分析する（ステップＳ４４）。判別分析は、正準判別分析、または、正準判別分析と主成分分析とを融合したＦＫＬ法を用いることができる。たとえば、ＦＫＬ法であれば、一般化固有値問題として（１０）式を用いて、固有ベクトルｅを求めることによって基底ベクトルが算出される。この基底ベクトルを正規直交基底とする固有空間が部分空間データベース１２３に記憶される。
【００８２】
次に、ステップＳ４１およびステップＳ４２で求められた特徴ベクトルのすべてに対してステップＳ４４で求められた固有空間に射影する（ステップＳ４５）。これにより、特徴ベクトルそれぞれに対して固有空間における特徴パラメータが導出される。
【００８３】
次のステップＳ４６では、ステップＳ４５で求められた特徴パラメータを、撮影角度で分類する。
【００８４】
そして、撮影角度ごとに特徴パラメータを平均する（ステップＳ４６）。これにより、ステップＳ４４で生成された固有空間に、撮影角度ごとに平均された特徴ベクトルの点列が求められる。この点列が多様体の一部を構成する。
【００８５】
ステップＳ４６で撮影角度毎に求められた特徴ベクトルの間を補間する処理が行なわれる（ステップＳ４７）。この補間により、特徴ベクトルの間の点に対応する撮影角度も求められる。曲線や局面を補間するためには、さまざまな基底関数を用いることができる。たとえば、Ｂスプライン補間を用いることができる。そして、補間により求められた多様体を、記憶部１０３の多様体データベース１２５に記憶する(ステップＳ４８）。
【００８６】
以上説明したように、第３の実施の形態における撮影条件検出装置は、部分空間を生成する際に、画像データを撮影条件でクラス分けし、クラス分けされた画像データを用いて判別分析を行ない部分空間を求めるようにした。このため、部分空間が、撮影条件の推定に有利な多様体を形成することが可能となる。その結果、撮影条件の検出精度を向上させることが可能となる。
【００８７】
［第４の実施の形態］
第４の実施の形態における撮影条件検出装置は、第２の実施の形態における撮影条件検出装置の部分空間生成部１１３に変更を加えたものである。ここでは、第２の実施の形態における撮影条件検出装置の部分空間生成部１１３に変更を加えた例を説明する。図１０は、第４の実施の形態における撮影条件検出装置の制御部が有する多様体生成機能の概略を示す機能ブロック図である。図１０を参照して、第４の実施の形態における撮影条件検出装置の制御部１００Ｂは、変更された部分空間生成部１１３Ｂを含む。
【００８８】
部分空間生成部１１３Ｂは、画像平均部１１４が出力する撮影角度ごとに平均された画像データを撮影条件に基きクラスに分類するクラス分類部１４５Ａと、クラスに分類された画像データを画像データに対応する特徴ベクトルを用いて判別分析を行なう判別空間生成部１４７とを含む。
【００８９】
クラス分類部１４５Ａは、撮影角度ごとにクラスに分類してもよいし、撮影角度がたとえば４度ごとに異なるクラスに画像データを分類してもよい。
【００９０】
判別空間生成部１４７Ａは、クラス分類部１４５Ａで分類された複数の画像データに対応する特徴ベクトルを用いて、正準判別分析または正準判別分析と主成分分析とを融合したＦＫＬ法を用いて判別分析を行なう。たとえば、ＦＫＬ法であれば、一般化固有値問題として（１０）式を用いて、固有ベクトルｅを求めることによって基底ベクトルが算出される。この基底ベクトルを正規直交基底とする固有空間が部分空間データベース１２３に記憶される。
【００９１】
なお、（１０）式において、Ｓwはクラス内分散、Ｓbはクラス間分散、ｂは正準判別分析と主成分分析の間の重みづけをするパラメータである。
【００９２】
図１１は、第４の実施の形態における撮影条件検出装置で実行される多様体生成処理の流れを示すフローチャートである。図１１を参照して、多様体生成処理では、まず、画像データが入力される（ステップＳ５１）。画像データは、画像入力部１０１より入力される。
【００９３】
次に、入力された画像データに対して、顔の大きさの正規化処理を行い、顔が表された領域を抽出するためにマスキング処理を行ない、その後、輝度値を正規化するための正規化処理が行なわれる（ステップＳ５２）。
【００９４】
ステップＳ５１とステップＳ５２は、複数の人物に対して複数の角度で撮影した画像データが入力され、入力された複数の画像データに対して大きさを正規化する処理、マスク処理、および、輝度正規化処理が行なわれる。撮影角度は、予め定められた角度である。なお、この角度は、複数の人物について必ずしもすべてが同じ角度である必要はなく、所定の範囲内の角度であれば同じ角度でなくてもよい。ある程度幅を持った範囲内とすることができる。
【００９５】
ｐ人の人物に対してｒ個の角度変化を持たせた撮影条件で撮影して得られた画像の特徴ベクトルは、（２）式に示す形式で表現される。ここで、ｒは撮影角度であり、ｐは人物の番号である。
【００９６】
ステップＳ５１とステップＳ５２とは、ｐ人に対してｒ個の撮影角度で撮影した画像データの入力および正規化の処理が行なわれる。すなわち、ｐ×ｒ個の画像データが入力されることになる。なお、すべての人物に対してｒ個の撮影角度で撮影する必要は必ずしもない。したがって、ステップＳ５１およびステップＳ５２は、最大でｐ×ｒ個の画像データに対して実行されることになる。
【００９７】
次のステップＳ５３では、ステップＳ５１およびステップＳ５２が実行されて得られる画像データの特徴ベクトルを撮影角度で分類する。そして、撮影角度ごとに画像データの特徴ベクトルを平均する（ステップＳ５４）。これにより、撮影角度の数の特徴ベクトルが求められる。
【００９８】
撮影角度毎に特徴ベクトルを平均することは、同じ撮影角度で撮影された異なる人物の顔画像を平均することを意味する。ステップＳ５４における特徴ベクトルの平均は、（７）式で表される。
【００９９】
次のステップＳ５５では、ステップＳ５４で平均された特徴ベクトル（画像データの平均）を撮影角度でクラスに分類する。ここでは、撮影角度の範囲を４度とし、４度ごとに画像データをクラスに分類する。
【０１００】
そして、クラスに分類された画像データの特徴ベクトルを判別分析する（ステップＳ５６）。判別分析は、正準判別分析、または、正準判別分析と主成分分析とを融合したＦＫＬ法を用いることができる。そして、求められた基底ベクトルを正規直交基底とする固有空間が部分空間データベース１２３に記憶される。
【０１０１】
次に、ステップＳ５４で平均された特徴ベクトル（画像データの平均）のすべてをステップＳ５６で求められた固有空間に射影する（ステップＳ５７）。これにより、特徴ベクトルそれぞれに対して固有空間における特徴パラメータが導出される。
【０１０２】
これにより、ステップＳ５６で生成された固有空間に、撮影角度ごとに平均された特徴ベクトルの点列が求められる。この点列が多様体の一部を構成する。
【０１０３】
ステップＳ５８で撮影角度毎に求められた特徴ベクトルの間を補間する処理が行なわれる。この補間により、特徴ベクトルの間の点に対応する撮影角度も求められる。曲線や局面を補間するためには、さまざまな基底関数を用いることができる。たとえば、Ｂスプライン補間を用いることができる。そして、補間により求められた多様体を、記憶部１０３の多様体データベース１２５に記憶する(ステップＳ５９）。
【０１０４】
以上説明したように、第４の実施の形態における撮影条件検出装置は、部分空間を生成する際に、撮影角度毎に平均された画像データを撮影角度でクラス分けし、クラス分けされた画像データを用いて判別分析を行ない部分空間を求めるようにした。このため、部分空間が、撮影角度の推定に有利な多様体を形成することが可能となる。その結果、撮影条件の検出精度を向上させることが可能となる。
【０１０５】
なお、本実施の形態においては撮影条件検出装置について説明したが、図３、図５、図７、図９および図１１に示す多様体生成処理および撮影条件検出処理を行なう方法またはそれらの処理をコンピュータに実行させるための多様体生成プログラムおよび撮影条件検出プログラムとして発明を捉えることができるのは言うまでもない。
【０１０６】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態における撮影条件検出装置のハード構成を示す図である。
【図２】 第１の実施の形態における撮影条件検出装置の制御部が有する多様体生成機能の概略を示す機能ブロック図である。
【図３】 第１の実施の形態における撮影条件検出装置で実行される多様体生成処理の流れを示すフローチャートである。
【図４】 第１の実施の形態における撮影条件検出装置の制御部が有する撮影条件検出機能の概略を示す機能ブロック図である。
【図５】 第１の実施の形態における撮影条件検出装置で実行される撮影条件検出処理の流れを示すフローチャートである。
【図６】 第２の実施の形態における撮影条件検出装置の制御部が有する多様体生成機能の概略を示す機能ブロック図である。
【図７】 第２の実施の形態における撮影条件検出装置で実行される多様体生成処理の流れを示すフローチャートである。
【図８】 第３の実施の形態における撮影条件検出装置の制御部が有する多様体生成機能の概略を示す機能ブロック図である。
【図９】 第３の実施の形態における撮影条件検出装置で実行される多様体生成処理の流れを示すフローチャートである。
【図１０】 第４の実施の形態における撮影条件検出装置の制御部が有する多様体生成機能の概略を示す機能ブロック図である。
【図１１】 第４の実施の形態における撮影条件検出装置で実行される多様体生成処理の流れを示すフローチャートである。
【符号の説明】
１００，１００Ａ，１００Ｂ 制御部、１０１ 画像入力部、１０２ 操作部、１０３ 記憶部、１０４ 出力部、１０５ 外部記憶装置、１０６ 記憶媒体、１１０ 顔領域検索部、１１１ 前処理部、１１３，１１３Ａ，１１３Ｂ 部分空間生成部、１１５ 射影部、１１７ 特徴パラメータ平均部、１１９ 多様体生成部、１２１ 画像データベース、１２３ 部分空間データベース、１２５多様体データベース、１３１ 比較部、１４１ 画像平均部、１４５，１４５Ａ クラス分類部、１４７，１４７Ａ 判別空間生成部。
【発明の属する技術分野】
この発明は、撮影条件検出装置および撮影条件検出プログラムに関し、特に被写体が撮影されて得られた画像から被写体の方向、大きさ、光源の違いなどの撮影条件を検出する撮影条件検出装置および撮影条件検出プログラムに関する。
【０００２】
【従来の技術】
さまざまな背景を持つ画像から３次元物体を認識する方法が、村瀬洋、シュリーマイヤー、「２次元照合による３次元物体認識−パラメトリック固有空間法」、『電子情報通信学会論文誌』Ｄ−II Ｖｏｌ．Ｊ７７−Ｄ−II Ｎｏ．１１ １９９４．１１に記載されている。この論文に記載されている３次元物体を２次元画像から認識する方法では、パラメトリック固有空間法が用いられる。パラメトリック固有空間法では、学習段階では、３次元物体の向きや光源の変化に対して連続的に変化する２次元画像を予め複数準備しておき、この２次元画像の集合を主成分分析して固有空間を求める。そして、この求められた固有空間上で、３次元物体の向きや光源の変化に対して連続的に変動する２次元画像の変化を多様体で表現するものである。認識段階では、入力された画像を求められた固有空間上に射影し、射影された点に最も近い多様体上の位置を検出することにより、入力された画像に含まれる物体の種類と姿勢を検出するものである。
【０００３】
また、画像中に含まれる物体を検知し（イメージスポッティング）、同時に検知された物体の姿勢を推定するためにパラメトリック固有空間法を適用した例が、村瀬洋、シュリーマイヤー、「多重解像度と固有空間表現による３次元物体のイメージスポッティング」、『電子情報通信学会論文誌』、Ｄ−II Ｖｏｌ．３６ Ｎｏ．１０ １９９５に記載されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述したパラメトリック固有空間を用いる方法では、画像中に含まれる物体の姿勢を識別するために、その物体の向きや光源を変化させて撮影した画像を用いて多様体を生成している。このため、その物体とは異なる同種の物体の変動については考慮されない。したがって、その物体とは異なる同種の物体が撮影された画像からは、その物体の姿勢を推定するのに誤差が増大してしまうという問題があった。
【０００５】
この発明は上述の問題点を解決するためになされたもので、この発明の目的の１つは、撮影条件の検出の精度を向上させた撮影条件検出装置および撮影条件検出プログラムを提供することである。
【０００６】
【課題を解決するための手段】
上述の目的を達成するためにこの発明のある局面によれば、撮影条件検出装置は、複数の対象物それぞれを複数の撮影条件で撮影して得られる複数の画像を取込む画像入力手段と、画像入力手段で得られた複数の画像それぞれに対応する特徴ベクトルの固有ベクトルを取得して部分空間を生成する部分空間生成手段と、画像入力手段で得られた複数の画像それぞれに対応する特徴ベクトルを部分空間生成手段で生成された部分空間に射影して、複数の画像それぞれに対応する特徴パラメータを取得する射影手段と、撮影条件ごとに画像に対応する特徴パラメータを平均して平均特徴パラメータを取得する平均特徴パラメータ取得手段と、得られた平均特徴パラメータを補間して部分空間に多様体を生成する多様体生成手段とを備える。
【０００７】
この発明に従えば、撮影条件ごとに、画像に対応する特徴パラメータを平均した平均特徴パラメータが取得され、得られた平均特徴パラメータが補間されて部分空間に多様体が生成される。部分空間における多様体が、撮影条件の違う画像間の相関を示すことになる。その結果、撮影条件の検出の精度を向上させた撮影条件検出装置を提供することができる。
【０００８】
この発明の他の局面によれば、撮影条件検出装置は、複数の対象物それぞれを複数の撮影条件で撮影して得られる複数の画像を取込む画像入力手段と、画像入力手段で得られた複数の画像それぞれに対応する特徴ベクトルの固有ベクトルを取得して部分空間を生成する部分空間生成手段と、画像入力手段で得られた複数の画像の特徴ベクトルを撮影条件ごとに平均した平均特徴ベクトルを取得する画像平均手段と、平均特徴ベクトルを部分空間生成手段で生成された部分空間に射影して、撮影条件ごとに特徴パラメータを取得する射影手段と、得られた特徴パラメータを補間して部分空間に多様体を生成する多様体生成手段とを備える。
【０００９】
この発明に従えば、撮影条件ごとに画像の特徴ベクトルを平均した平均特徴ベクトルが取得され、平均特徴ベクトルが部分空間に射影されて撮影条件ごとに特徴パラメータが取得され、得られた特徴パラメータを補間して部分空間に多様体が生成される。このため、部分空間における多様体が、撮影条件の違う画像間の相関を示すことになる。その結果、撮影条件の検出の精度を向上させた撮影条件検出装置を提供することができる。
【００１０】
好ましくは、部分空間生成部は、撮影条件に基いて複数の画像をクラスに分類する分類手段と、分類手段により分類された複数の画像それぞれに対応する特徴ベクトルに判別分析を施して固有ベクトルを取得する判別分析手段とを含む。
【００１１】
この発明に従えば、撮影条件に基いて複数の画像がクラスに分類され、分類された複数の画像それぞれに対応する特徴ベクトルに判別分析を施して固有ベクトルが取得される。このため、撮影条件を判定するのに有利な判別関数で多様体が生成されるので、撮影条件検出の精度をさらに向上させることができる。
【００１２】
この発明のさらに他の局面によれば、撮影条件検出プログラムは、複数の対象物それぞれを複数の撮影条件で撮影して得られる複数の画像を取込むステップと、得られた複数の画像それぞれに対応する特徴ベクトルの固有ベクトルを取得して部分空間を生成するステップと、得られた複数の画像それぞれに対応する特徴ベクトルを生成された部分空間に射影して、複数の画像それぞれに対応する特徴パラメータを取得するステップと、撮影条件に基き複数の画像をクラスに分類し、クラスごとに画像に対応する特徴パラメータを平均して平均特徴パラメータを取得するステップと、得られた平均特徴パラメータを補間して部分空間に多様体を生成するステップとをコンピュータに実行させる。
【００１３】
この発明に従えば、撮影条件に基き複数の画像に分類されたクラスごとに、画像に対応する特徴パラメータを平均した平均特徴パラメータが取得され、得られた平均特徴パラメータが補間されて部分空間に多様体が生成される。このため、部分空間における多様体が、撮影条件が違う画像間の相関を示すことになる。その結果、撮影条件の検出の精度を向上させた撮影条件検出プログラムを提供することができる。
【００１４】
この発明のさらに他の局面によれば、撮影条件検出プログラムは、複数の対象物それぞれを複数の撮影条件で撮影して得られる複数の画像を取込むステップと、得られた複数の画像それぞれに対応する特徴ベクトルの固有ベクトルを取得して部分空間を生成するステップと、取込まれた複数の画像の特徴ベクトルを撮影条件ごとに平均した平均特徴ベクトルを取得するステップと、平均特徴ベクトルを部分空間生成ステップで生成された部分空間に射影して、撮影条件ごとに特徴パラメータを取得するステップと、得られた特徴パラメータを補間して部分空間に多様体を生成するステップとをコンピュータに実行させる。
【００１５】
この発明に従えば、複数の画像の特徴ベクトルを撮影条件ごとに平均した平均特徴ベクトルが取得され、平均特徴ベクトルが部分空間に射影されて、撮影条件ごとに特徴パラメータが取得され、得られた特徴パラメータを補間して部分空間に多様体が生成される。このため、部分空間における多様体が、撮影条件の違う画像間の相関を示すことになる。その結果、撮影条件の検出の精度を向上させた撮影条件検出プログラムを提供することができる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。なお、図中同一符号は同一または相当する部材を示し、重複する説明は繰返さない。
【００１７】
［第１の実施の形態］
図１は、本発明の第１の実施の形態における撮影条件検出装置のハード構成を示す図である。図１を参照して、撮影条件検出装置は、撮影条件検出装置の全体を制御するための制御部１００と、人の顔が撮影された画像（以下「顔画像」という）を入力するための画像入力部１０１と、顔画像の撮影条件撮等のデータを入力するための操作部１０２と、画像入力部１０１へ入力された画像データと操作部１０２より入力された顔画像の撮影条件とを記憶するための記憶部１０３と、所定の情報を出力するための出力部１０４とを含む。
【００１８】
制御部１００は、中央演算装置（ＣＰＵ）と、ＣＰＵで実行するプログラムを記憶するための読出専用メモリ（ＲＯＭ）と、ＣＰＵでプログラムを実行する際に変数等を一時的に記憶するための作業エリアとして用いられるランダムアクセスメモリ（ＲＡＭ）とを含む。制御部１００は、画像入力部１０１、操作部１０２、出力部１０４、記憶部１０３および外部記憶装置１０５と接続されている。
【００１９】
画像入力部１０１は、イメージスキャナであり、ライン型の電荷結合素子（ＣＣＤ）センサを有し、顔が撮影された写真等の顔画像を読込んで２次元の画像データを出力する。なお、実際に人物を撮影して２次元の画像データを出力するデジタルカメラ等を用いることもできる。さらに、外部のイメージスキャナやデジタルカメラ等と接続するための入力端子であってもよい。
【００２０】
記憶部１０３は、画像入力部１０１で入力された画像データを記憶するための画像データベースと、画像データに基き生成される部分空間を記憶するための部分空間データベースと、後述する多様体生成処理により生成された多様体を記憶するための多様体データベースとを記憶する。記憶部１０３は、磁気ディスク、光磁気ディスク等で構成される。
【００２１】
出力部１０４は、画像入力部１０１で入力された画像データ、入力された画像データの撮影条件等を出力するための液晶表示装置、陰極線管（ＣＲＴ）等の表示装置である。また、表示装置に代えて紙などの記録媒体に画像を形成するプリンタを用いるようにしてもよい。
【００２２】
制御部１００は、外部記憶装置１０５と接続されている。外部記憶装置１０５は、記録媒体１０６に記録された制御部１００で実行するための多様体生成プログラムまたは２次元の画像データを読込むための光磁気ディスクドライブまたはＤＶＤ（Digital Versatile Disc）ドライブなどである。
【００２３】
なお、記録媒体１０６としては、磁気テープやカセットテープなどのテープ系、磁気ディスク（フレキシブルディスク、ハードディスク）や、光ディスク（ＣＤ−ＲＯＭ／ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ）、ＩＣカード（メモリカードを含む）、光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリなどの半導体メモリ等の固定的にプログラムを管理する媒体を用いることもできる。また、ネットワークからプログラムがダウンロードされるように流動的にプログラムを担持する媒体であってもよい。外部記憶装置１０５は、このような記憶媒体１０６から情報を読込みまたは書込みできるように記録媒体１０６に対応する。
【００２４】
図２は、第１の実施の形態における撮影条件検出装置の制御部１００が有する多様体生成機能の概略を示す機能ブロック図である。図２を参照して、制御部１００は、画像入力部１０１より入力された画像データに対して処理前に必要な所定の処理を行なう前処理部１１１と、画像データベース１２１に記憶された画像データをベクトル化して得られる特徴ベクトルを主成分分析するための部分空間生成部１１３と、部分空間データベース１２３に記憶された部分空間に画像データベース１２１に記憶された画像データを射影して特徴パラメータを導出するための射影部１１５と、射影部１１５で導出された特徴パラメータを撮影条件ごとに平均して平均特徴パラメータを求める特徴パラメータ平均部１１７と、特徴パラメータ平均部１１７で求められた平均特徴パラメータを補間して多様体を生成するための多様体生成部１１９とを含む。
【００２５】
前処理部１１１は、画像入力部１０１より入力された画像データに対して、顔の大きさの正規化処理と、顔画像に含まれる顔の領域をマスキングするためのマスキング処理と、マスキング処理された画像データの輝度を正規化するための正規化処理とを行なう。前処理部１１１で正規化された画像データは、操作部１０２より入力される顔画像の撮影角度と対応づけられて画像データベース１２１に記憶される。ここで、顔画像とは、画像入力部１０１で入力される画像であって、人の顔を含む画像をいう。たとえば、人の顔を撮影して得られた画像である。
【００２６】
撮影角度はカメラの光軸と人の顔の正面方向の軸とのなす角度を上下方向及び左右方向で表すことができる。カメラの光軸と人の顔の正面方向の軸とが平行な場合は、撮影角度は、上下方向および左右方向ともに０度である。なお、撮影角度に限られず、撮影角度に代えて、被写体が画像中に占める割合や、照明が当る方向等の撮影条件を用いるようにしてもよい。
【００２７】
部分空間生成部１１３は、画像データベース１２１に記憶された正規化された画像データそれぞれを、画像データの各位置のテクスチャの値からなる特徴ベクトルに変換し、変換された複数の特徴ベクトルに主成分分析を行なう。主成分分析の結果、複数の特徴ベクトルの固有ベクトルが求められる。そして、求められた固有ベクトルは、部分空間データベース１２３に記憶される。求められた固有ベクトルは、固有ベクトルを正規直交座標系とする部分空間を示す。
【００２８】
射影部１１５は、画像データベース１２１に記憶されている画像データの特徴ベクトルを部分空間データベース１２３に記憶されている部分空間に射影し、画像データに対応する部分空間上の特徴パラメータを導出する。導出される特徴パラメータは、画像データベース１２１に記憶されている画像データごとに求められる。
【００２９】
特徴パラメータ平均部１１７は、撮影角度毎に画像データに対応する特徴パラメータを平均して平均特徴パラメータを求める。
【００３０】
多様体生成部１１９では、特徴パラメータ平均部１１７より平均特徴パラメータを受信し、受信した撮影角度毎の平均特徴パラメータを補間して部分空間における多様体を生成する。生成された多様体は、記憶部１０３の多様体データベース１２５に記憶される。平均特徴パラメータを補間は、曲線や局面を補間であり、Ｂスプライン補間が用いられる。また、Ｂスプライン補間に代えて、基底関数を用いる他の補間を用いてもよい。
【００３１】
図３は、第１の実施の形態における撮影条件検出装置で実行される多様体生成処理の流れを示すフローチャートである。図３を参照して、多様体生成処理では、まず、画像データが入力される（ステップＳ０１）。画像データは、画像入力部１０１より入力される。
【００３２】
次に、入力された画像データに対して、顔の大きさの正規化処理、および、顔が表された領域を抽出するためにマスキング処理を行ない、その後、輝度値を正規化するための輝度正規化処理が行なわれる（ステップＳ０２）。マスキング処理は、顔の特徴と関係のない背景の影響を除くためのマスクを用いて、マスクで規定されるウィンドウ領域の縁を取り除く処理である。輝度正規化処理は、画像データのエネルギを１とするような正規化を行なう。より具体的には、画像データのマスキングされていない部分から得られる特徴ベクトルをｘとすれば、（１）式を用いて正規化する。
【００３３】
ステップＳ０１とステップＳ０２は、複数の人物に対して複数の角度で撮影した画像データが入力され、入力された複数の画像データに対して顔の大きさの正規化、マスク処理および輝度正規化処理が行なわれる。たとえば、１番目の人物に対して、複数の角度で撮影した画像データと、２番目の人物に対して複数の角度で撮影した画像のように画像データが入力される。撮影角度は、予め定められた角度である。なお、この角度は、複数の人物について必ずしもすべてが同じ角度である必要はなく、所定の範囲内の角度であれば同じ角度でなくてもよい。ある程度幅を持った範囲内とすることができる。
【００３４】
以下、ｐ人の人物に対してｒ個の角度変化を持たせた撮影条件で撮影して得られた画像の特徴ベクトルを、（２）式に示す形式で表現する。ここで、ｒは撮影角度であり、ｐは人物の番号である。
【００３５】
ステップＳ０１とステップＳ０２とは、ｐ人に対してｒ個の撮影角度で撮影した画像データの入力および正規化の処理が行なわれる。すなわち、ｐ×ｒ個の画像データが入力されることになる。なお、すべての人物に対してｒ個の撮影角度で撮影する必要は必ずしもない。したがって、ステップＳ０１およびステップＳ０２は、最大でｐ×ｒ個の画像データに対して実行されることになる。
【００３６】
次のステップＳ０３では、ステップＳ０１およびステップＳ０２が実行されて得られる画像データの特徴ベクトルに対して主成分分析を行なうことにより、部分空間を生成する。主成分分析を複数の特徴ベクトルに対して行なうことにより、固有ベクトルが求められる。求められた固有ベクトルを正規直交基底とする部分空間が生成されることになる。部分空間の正規直交基底を（３）式で示す。なお、（３）式においてｅｄｉｍは部分空間の次元数を示している。
【００３７】
次に、ステップＳ０１およびステップＳ０２で求められた特徴ベクトルのすべてに対してステップＳ０３で求められた固有空間に射影する（ステップＳ０４）。これにより、特徴ベクトルそれぞれに対して部分空間における特徴パラメータが導出される。たとえば、ｊ番目の人物の撮影角度がｉの画像データに対応する特徴ベクトルを、ステップＳ０３で求めた部分空間に射影すると（４）式に示す点で表わされる。
【００３８】
ステップＳ０４で求められた特徴パラメータを、撮影角度毎に分類する（ステップＳ０５）。これにより（５）式に示す点列がｒ個求められる。
【００３９】
そして、角度ごとに特徴パラメータを平均する（ステップＳ０６）。より具体的には、ｉ番目の撮影角度（姿勢）に対する第ｋ次元の平均された特徴パラメータは（６）式で表わされる。これにより、ステップＳ０３で生成された部分空間に、角度ごとに平均された特徴ベクトルの点列が求められる。この点列が多様体の一部を構成する。
【００４０】
ステップＳ０６で角度毎に求められた平均特徴ベクトルの間を補間する処理が行なわれる（ステップＳ０７）。この補間により、平均特徴ベクトルの間の点に対応する撮影角度も求められる。曲線や局面を補間するためには、さまざまな基底関数を用いることができる。たとえば、Ｂスプライン補間を用いることができる。そして、補間により求められた多様体を、記憶部１０３の多様体データベース１２５に記憶する（ステップＳ０８）。
【００４１】
図４は、第１の実施の形態における撮影条件検出装置の制御部１００が有する撮影条件検出機能の概略を示す機能ブロック図である。図４を参照して、制御部１００は、画像入力部１０１より顔画像を入力し、入力された顔画像から顔が含まれる領域を検出するための顔領域検索部１１０と、検索された顔領域を抽出し顔の特徴と関係のない背景の影響を除くためのマスキング処理と、マスキングされた画像データの輝度の正規化処理を行なう前処理部１１１と、正規化された画像データのピクセルをベクトル化し、部分空間データベース１２３に記憶される部分空間に射影して特徴ベクトルを導出するための射影部１１５と、導出された特徴ベクトルを多様体データベース１２５に記憶された多様体と最も距離の近い点を求める比較部１３１とを含む。
【００４２】
比較部１３１は、部分空間データベース１２３に記憶されている部分空間において、射影部１１５で導出された特徴パラメータで特定される点と多様体データベース１２５に記憶されている多様体との距離を計算し、最小距離となる多様体上の点を求める。距離の計算には、多様体上の点は、撮影角度と対応づけられているため、多様体上の点が定まる。これにより、撮影角度が求められる。そして、求められた撮影角度は、出力部１０４に出力される。したがって、撮影角度のわからない画像が入力された場合であっても、その画像に含まれる人の顔の撮影角度が正確に出力される。
【００４３】
図５は、第１の実施の形態における撮影条件検出装置で実行される撮影条件検出処理の流れを示すフローチャートである。図５を参照して、撮影条件検出装置には、まず、人の顔を含む画像データが入力される（ステップＳ２１）。画像データは、画像入力部１０１より入力される。
【００４４】
そして、入力された画像データ中で顔が表わされた領域が検出される（ステップＳ２２）。顔の表わされた領域の検出は、たとえば画像データを２次微分して求めたエッジの形状に基き求める方法がある。
【００４５】
次にステップＳ２３では、ステップＳ２２で検出された顔領域を抽出し、顔の特徴と関係のない背景の影響を除くためのウィンドウ領域の縁をマスキングするマスキング処理と、マスキングされた画像データの輝度の正規化が行なわれる。この正規化は、上述の（１）式を用いて行なわれる。
【００４６】
そして、ステップＳ２３で正規化された画像データの特徴点の位置と画素値とに基いて特徴ベクトルが求められ、求められた特徴ベクトルを記憶部１０３の部分空間データベース１２３に記憶されている部分空間に射影することにより、画像データに対応する特徴パラメータが導出される（ステップＳ２４）。
【００４７】
部分空間上で、ステップＳ２４で導出された特徴パラメータで規定されるベクトルと最も距離が近い多様体上の点が取得される（ステップＳ２５）。多様体は、記憶部１０３の多様体データベース１２５に記憶されている。多様体データベース１２５は、多様体の部分空間上の位置と撮影角度とを対応づけて記憶する。このため、多様体上の点が特定されることにより、撮影角度が定まることになる（ステップＳ２６）。
【００４８】
したがって、ステップＳ２６では、取得された多様体上の点に対応する撮影角度が取得され、次のステップＳ２７で出力部より取得された撮影角度が出力される。
【００４９】
【数１】
以上説明したように、第１の実施の形態における撮影条件検出装置は、画像データに対応する特徴ベクトルを固有空間に射影し、求められた特徴パラメータを撮影角度ごとに平均した平均特徴パラメータを補間して多様体を生成するようにしている。このため、生成された多様体は、１人の人物を撮影して得られる画像の撮影角度の変化を示すだけでなく、複数の人物を撮影して得られる画像の撮影角度の変化を反映することが可能となる。
【００５１】
また、入力された画像に含まれる人物が表わされた領域の特徴ベクトルと最も距離の近い多様体の位置に基き、撮影条件を検出するようにしたので、より正確に撮影条件を検出することができる。
【００５２】
［第２の実施の形態］
次に、第２の実施の形態における撮影条件検出装置について説明する。第２の実施の形態における撮影条件検出装置のハード構成は、第１の実施の形態における撮影条件検出装置のハード構成と同じである。
【００５３】
図６は、第２の実施の形態における撮影条件検出装置の制御部が有する多様体生成機能の概略を示す機能ブロック図である。図７を参照して、制御部１００は、画像データベース１２１に記憶されている画像データを、撮影角度ごとに画像データの特徴ベクトルを平均するための画像平均部１４１を含む。画像平均部１４１は、画像データベース１２１に記憶される画像データの特徴ベクトルを撮影角度ごとに平均するため、撮影角度の数の特徴ベクトルを出力する。
【００５４】
射影部１１５は、画像平均部１４１が出力する撮影角度ごとの特徴ベクトルのそれぞれを、部分空間データベース１２３に記憶された部分空間に射影して、撮影角度ごとに特徴パラメータを導出する。
【００５５】
多様体生成部１１９は、射影部１１５が出力する特徴パラメータを補間することにより多様体を生成し、多様体データベース１２５に記憶する。射影部１１５が出力する特徴パラメータは、撮影条件に対応して出力される。多様体生成部１１９では、離散的に存在する特徴パラメータ間を補間することにより、線分で構成される。このため、多様体上の１点を定めることにより、それに対応する撮影角度が定まることになる。多様体データベース１２５には、多様体上の点と撮影角度とが対応付けられて記憶される。
【００５６】
図７は、第２の実施の形態における撮影条件検出装置で実行される多様体生成処理の流れを示すフローチャートである。図７を参照して、多様体生成処理では、まず、画像データが入力される（ステップＳ３１）。画像データは、画像入力部１０１より入力される。
【００５７】
次に、入力された画像データに対して、顔の大きさを正規化する処理を行い、顔が表された領域を抽出するためにマスキング処理を行ない、その後、輝度値を正規化するための正規化処理が行なわれる（ステップＳ３２）。マスキング処理は、顔の特徴と関係のない背景の影響を除くためのマスクを用いて、マスクで規定されるウィンドウ領域の縁を取り除く処理である。正規化処理は、画像データのエネルギを１とするような正規化を行なう。すなわち、画像データのマスキングされていない部分から得られる特徴ベクトルをｘとすれば、（１）式を用いて正規化する。
【００５８】
ステップＳ３１とステップＳ３２は、複数の人物に対して複数の角度で撮影した画像データが入力され、入力された複数の画像データに対して大きさを正規化する処理、マスク処理および輝度正規化処理が行なわれる。撮影角度は、予め定められた角度である。なお、この角度は、複数の人物について必ずしもすべてが同じ角度である必要はなく、所定の範囲内の角度であれば同じ角度でなくてもよい。ある程度幅を持った範囲内とすることができる。
【００５９】
ｐ人の人物に対してｒ個の角度変化を持たせた撮影条件で撮影して得られた画像の特徴ベクトルは、（２）式で表される。ここで、ｒは撮影角度であり、ｐは人物の番号である。
【００６０】
ステップＳ３１とステップＳ３２とは、ｐ人に対してｒ個の撮影角度で撮影した画像データの入力および正規化の処理が行なわれる。すなわち、ｐ×ｒ個の画像データが入力されることになる。なお、すべての人物に対してｒ個の撮影角度で撮影する必要は必ずしもない。したがって、ステップＳ３１およびステップＳ３２は、最大でｐ×ｒ個の画像データに対して実行されることになる。
【００６１】
次のステップＳ３３では、ステップＳ３１およびステップＳ３２が実行されて得られる画像データの特徴ベクトルを撮影角度で分類する。そして、撮影角度ごとに画像データの特徴ベクトルを平均する（ステップＳ３４）。これにより、撮影角度の数の特徴ベクトルが求められる。
【００６２】
撮影角度毎に特徴ベクトルを平均することは、同じ撮影角度で撮影された異なる人物の顔画像を平均することを意味する。ステップＳ３４における特徴ベクトルの平均は、（７）式で表される。
【００６３】
次に、ステップＳ３４で求められた平均画像データの特徴ベクトルに対して主成分分析を行なうことにより、部分空間を生成する(ステップＳ３５）。主成分分析を複数の特徴ベクトルに対して行なうことにより、固有ベクトルが求められる。求められた固有ベクトルを正規直交基底とする部分空間が生成されることになる。部分空間の正規直交基底は（８）式で示される。なお、（８）式においてＥｄｉｍは部分空間の次元数を示している。
【００６４】
次に、ステップＳ３４で撮影角度ごとに平均された平均画像データの特徴ベクトルをステップＳ３５で求められた固有空間に射影する（ステップＳ３６）。これにより、特徴ベクトルそれぞれに対して部分空間における平均特徴パラメータが導出される。たとえば、撮影角度がｉの平均された特徴ベクトルを、ステップＳ３５で求めた部分空間に射影すると（９）式に示す平均特徴パラメータで表わされる。
【００６５】
ステップＳ３６で求められた平均特徴パラメータを補間する処理が行なわれる（ステップＳ３７）。平均画像データは、撮影角度と対応付けられている。この補間により、平均特徴パラメータの間の点に対応する撮影角度も求められる。曲線や局面を補間するためには、さまざまな基底関数を用いることができる。たとえば、Ｂスプライン補間を用いることができる。そして、補間により求められた多様体を、記憶部１０３の多様体データベース１２５に記憶する（ステップＳ３８）。
【００６６】
第２の実施の形態における撮影条件検出装置における撮影条件検出機能および撮影条件検出処理については、第１の実施の形態における撮影条件検出装置におけるそれらと同様なので、ここでは説明を繰り返さない。
【００６７】
【数２】
以上説明したように、第２の実施の形態における撮影条件検出装置は、撮影角度毎に平均化した特徴ベクトルによって固有空間を生成する。そして、撮影角度で分類した画像データに対応する特徴ベクトルを、撮影角度毎に平均した特徴ベクトルを固有空間に射影し、求められた平均特徴パラメータを補間して多様体を生成するようにしている。このため、生成された多様体は、１人の人物を撮影して得られる画像の撮影角度の変化を示すだけでなく、複数の人物を撮影して得られる画像の撮影角度の変化を反映することが可能となる。
【００６９】
また、入力された画像に含まれる人物が表わされた領域の特徴ベクトルと最も距離の近い多様体の位置に基き、撮影条件を検出するようにしたので、より正確に撮影条件を検出することができる。
【００７０】
［第３の実施の形態］
第３の実施の形態における撮影条件検出装置は、第１の実施の形態における撮影条件検出装置の部分空間生成部１１３に変更を加えたものである。ここでは、第１の実施の形態における撮影条件検出装置の部分空間生成部１１３に変更を加えた例を説明する。図８は、第３の実施の形態における撮影条件検出装置の制御部が有する多様体生成機能の概略を示す機能ブロック図である。図８を参照して、第３の実施の形態における撮影条件検出装置の制御部１００Ａは、変更された部分空間生成部１１３Ａを含む。部分空間生成部１１３Ａは、画像データベース１２１に記憶された画像データベースを撮影条件に基きクラスに分類するクラス分類部１４５と、クラスに分類された画像データを画像データに対応する特徴ベクトルを用いて判別分析を行なう判別空間生成部１４７とを含む。
【００７１】
クラス分類部１４５は、撮影角度ごとにクラスに分類してもよいし、撮影角度がたとえば４度ごとに異なるクラスに画像データを分類してもよい。
【００７２】
判別空間生成部１４７は、クラス分類部１４５で分類された複数の画像データに対応する特徴ベクトルを用いて、正準判別分析または正準判別分析と主成分分析とを融合したＦＫＬ法を用いて判別分析を行なう。たとえば、ＦＫＬ法であれば、一般化固有値問題として（１０）式を用いて、固有ベクトルｅを求めることによって基底ベクトルが算出される。この基底ベクトルを正規直交基底とする固有空間が部分空間データベース１２３に記憶される。
【００７３】
なお、（１０）式において、Ｓwはクラス内分散、Ｓbはクラス間分散、ｂは正準判別分析と主成分分析の間の重みづけをするパラメータである。
【００７４】
【数３】
図９は、第３の実施の形態における撮影条件検出装置で実行される多様体生成処理の流れを示すフローチャートである。図９を参照して、多様体生成処理では、まず、画像データが入力される（ステップＳ４１）。画像データは、画像入力部１０１より入力される。
【００７６】
次に、入力された画像データに対して、顔の大きさの正規化処理を行い、顔が表された領域を抽出するためにマスキング処理を行ない、その後、輝度値を正規化するための正規化処理が行なわれる（ステップＳ４２）。マスキング処理は、顔の特徴と関係のない背景の影響を除くためのマスクを用いて、マスクで規定されるウィンドウ領域の縁を取り除く処理である。正規化処理は、画像データのエネルギを１とするような正規化を行なう。より具体的には、画像データのマスキングされていない部分から得られる特徴ベクトルをｘとすれば、（１）式を用いて正規化する。
【００７７】
ステップＳ４１とステップＳ４２は、複数の人物に対して複数の角度で撮影した画像データが入力され、入力された複数の画像データに対して大きさを正規化する処理、マスク処理、および、輝度正規化処理が行なわれる。撮影角度は、予め定められた角度である。なお、この角度は、複数の人物について必ずしもすべてが同じ角度である必要はなく、所定の範囲内の角度であれば同じ角度でなくてもよい。ある程度幅を持った範囲内とすることができる。
【００７８】
ｐ人の人物に対してｒ個の角度変化を持たせた撮影条件で撮影して得られた画像の特徴ベクトルは、（２）式に示す形式で表現される。ここで、ｒは撮影角度であり、ｐは人物の番号である。
【００７９】
ステップＳ４１とステップＳ４２とは、ｐ人に対してｒ個の撮影角度で撮影した画像データの入力および正規化の処理が行なわれる。すなわち、ｐ×ｒ個の画像データが入力されることになる。なお、すべての人物に対してｒ個の撮影角度で撮影する必要は必ずしもない。したがって、ステップＳ４１およびステップＳ４２は、最大でｐ×ｒ個の画像データに対して実行されることになる。
【００８０】
次のステップＳ４３では、ステップＳ４１およびステップＳ４２が実行されて得られる画像データの特徴ベクトルを撮影角度でクラスに分類する。ここでは、撮影角度を４度の範囲で分類したので、撮影角度の範囲を４度とし、４度ごとに画像データをクラスに分類する。
【００８１】
そして、クラスに分類された画像データの特徴ベクトルを判別分析する（ステップＳ４４）。判別分析は、正準判別分析、または、正準判別分析と主成分分析とを融合したＦＫＬ法を用いることができる。たとえば、ＦＫＬ法であれば、一般化固有値問題として（１０）式を用いて、固有ベクトルｅを求めることによって基底ベクトルが算出される。この基底ベクトルを正規直交基底とする固有空間が部分空間データベース１２３に記憶される。
【００８２】
次に、ステップＳ４１およびステップＳ４２で求められた特徴ベクトルのすべてに対してステップＳ４４で求められた固有空間に射影する（ステップＳ４５）。これにより、特徴ベクトルそれぞれに対して固有空間における特徴パラメータが導出される。
【００８３】
次のステップＳ４６では、ステップＳ４５で求められた特徴パラメータを、撮影角度で分類する。
【００８４】
そして、撮影角度ごとに特徴パラメータを平均する（ステップＳ４６）。これにより、ステップＳ４４で生成された固有空間に、撮影角度ごとに平均された特徴ベクトルの点列が求められる。この点列が多様体の一部を構成する。
【００８５】
ステップＳ４６で撮影角度毎に求められた特徴ベクトルの間を補間する処理が行なわれる（ステップＳ４７）。この補間により、特徴ベクトルの間の点に対応する撮影角度も求められる。曲線や局面を補間するためには、さまざまな基底関数を用いることができる。たとえば、Ｂスプライン補間を用いることができる。そして、補間により求められた多様体を、記憶部１０３の多様体データベース１２５に記憶する(ステップＳ４８）。
【００８６】
以上説明したように、第３の実施の形態における撮影条件検出装置は、部分空間を生成する際に、画像データを撮影条件でクラス分けし、クラス分けされた画像データを用いて判別分析を行ない部分空間を求めるようにした。このため、部分空間が、撮影条件の推定に有利な多様体を形成することが可能となる。その結果、撮影条件の検出精度を向上させることが可能となる。
【００８７】
［第４の実施の形態］
第４の実施の形態における撮影条件検出装置は、第２の実施の形態における撮影条件検出装置の部分空間生成部１１３に変更を加えたものである。ここでは、第２の実施の形態における撮影条件検出装置の部分空間生成部１１３に変更を加えた例を説明する。図１０は、第４の実施の形態における撮影条件検出装置の制御部が有する多様体生成機能の概略を示す機能ブロック図である。図１０を参照して、第４の実施の形態における撮影条件検出装置の制御部１００Ｂは、変更された部分空間生成部１１３Ｂを含む。
【００８８】
部分空間生成部１１３Ｂは、画像平均部１１４が出力する撮影角度ごとに平均された画像データを撮影条件に基きクラスに分類するクラス分類部１４５Ａと、クラスに分類された画像データを画像データに対応する特徴ベクトルを用いて判別分析を行なう判別空間生成部１４７とを含む。
【００８９】
クラス分類部１４５Ａは、撮影角度ごとにクラスに分類してもよいし、撮影角度がたとえば４度ごとに異なるクラスに画像データを分類してもよい。
【００９０】
判別空間生成部１４７Ａは、クラス分類部１４５Ａで分類された複数の画像データに対応する特徴ベクトルを用いて、正準判別分析または正準判別分析と主成分分析とを融合したＦＫＬ法を用いて判別分析を行なう。たとえば、ＦＫＬ法であれば、一般化固有値問題として（１０）式を用いて、固有ベクトルｅを求めることによって基底ベクトルが算出される。この基底ベクトルを正規直交基底とする固有空間が部分空間データベース１２３に記憶される。
【００９１】
なお、（１０）式において、Ｓwはクラス内分散、Ｓbはクラス間分散、ｂは正準判別分析と主成分分析の間の重みづけをするパラメータである。
【００９２】
図１１は、第４の実施の形態における撮影条件検出装置で実行される多様体生成処理の流れを示すフローチャートである。図１１を参照して、多様体生成処理では、まず、画像データが入力される（ステップＳ５１）。画像データは、画像入力部１０１より入力される。
【００９３】
次に、入力された画像データに対して、顔の大きさの正規化処理を行い、顔が表された領域を抽出するためにマスキング処理を行ない、その後、輝度値を正規化するための正規化処理が行なわれる（ステップＳ５２）。
【００９４】
ステップＳ５１とステップＳ５２は、複数の人物に対して複数の角度で撮影した画像データが入力され、入力された複数の画像データに対して大きさを正規化する処理、マスク処理、および、輝度正規化処理が行なわれる。撮影角度は、予め定められた角度である。なお、この角度は、複数の人物について必ずしもすべてが同じ角度である必要はなく、所定の範囲内の角度であれば同じ角度でなくてもよい。ある程度幅を持った範囲内とすることができる。
【００９５】
ｐ人の人物に対してｒ個の角度変化を持たせた撮影条件で撮影して得られた画像の特徴ベクトルは、（２）式に示す形式で表現される。ここで、ｒは撮影角度であり、ｐは人物の番号である。
【００９６】
ステップＳ５１とステップＳ５２とは、ｐ人に対してｒ個の撮影角度で撮影した画像データの入力および正規化の処理が行なわれる。すなわち、ｐ×ｒ個の画像データが入力されることになる。なお、すべての人物に対してｒ個の撮影角度で撮影する必要は必ずしもない。したがって、ステップＳ５１およびステップＳ５２は、最大でｐ×ｒ個の画像データに対して実行されることになる。
【００９７】
次のステップＳ５３では、ステップＳ５１およびステップＳ５２が実行されて得られる画像データの特徴ベクトルを撮影角度で分類する。そして、撮影角度ごとに画像データの特徴ベクトルを平均する（ステップＳ５４）。これにより、撮影角度の数の特徴ベクトルが求められる。
【００９８】
撮影角度毎に特徴ベクトルを平均することは、同じ撮影角度で撮影された異なる人物の顔画像を平均することを意味する。ステップＳ５４における特徴ベクトルの平均は、（７）式で表される。
【００９９】
次のステップＳ５５では、ステップＳ５４で平均された特徴ベクトル（画像データの平均）を撮影角度でクラスに分類する。ここでは、撮影角度の範囲を４度とし、４度ごとに画像データをクラスに分類する。
【０１００】
そして、クラスに分類された画像データの特徴ベクトルを判別分析する（ステップＳ５６）。判別分析は、正準判別分析、または、正準判別分析と主成分分析とを融合したＦＫＬ法を用いることができる。そして、求められた基底ベクトルを正規直交基底とする固有空間が部分空間データベース１２３に記憶される。
【０１０１】
次に、ステップＳ５４で平均された特徴ベクトル（画像データの平均）のすべてをステップＳ５６で求められた固有空間に射影する（ステップＳ５７）。これにより、特徴ベクトルそれぞれに対して固有空間における特徴パラメータが導出される。
【０１０２】
これにより、ステップＳ５６で生成された固有空間に、撮影角度ごとに平均された特徴ベクトルの点列が求められる。この点列が多様体の一部を構成する。
【０１０３】
ステップＳ５８で撮影角度毎に求められた特徴ベクトルの間を補間する処理が行なわれる。この補間により、特徴ベクトルの間の点に対応する撮影角度も求められる。曲線や局面を補間するためには、さまざまな基底関数を用いることができる。たとえば、Ｂスプライン補間を用いることができる。そして、補間により求められた多様体を、記憶部１０３の多様体データベース１２５に記憶する(ステップＳ５９）。
【０１０４】
以上説明したように、第４の実施の形態における撮影条件検出装置は、部分空間を生成する際に、撮影角度毎に平均された画像データを撮影角度でクラス分けし、クラス分けされた画像データを用いて判別分析を行ない部分空間を求めるようにした。このため、部分空間が、撮影角度の推定に有利な多様体を形成することが可能となる。その結果、撮影条件の検出精度を向上させることが可能となる。
【０１０５】
なお、本実施の形態においては撮影条件検出装置について説明したが、図３、図５、図７、図９および図１１に示す多様体生成処理および撮影条件検出処理を行なう方法またはそれらの処理をコンピュータに実行させるための多様体生成プログラムおよび撮影条件検出プログラムとして発明を捉えることができるのは言うまでもない。
【０１０６】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態における撮影条件検出装置のハード構成を示す図である。
【図２】 第１の実施の形態における撮影条件検出装置の制御部が有する多様体生成機能の概略を示す機能ブロック図である。
【図３】 第１の実施の形態における撮影条件検出装置で実行される多様体生成処理の流れを示すフローチャートである。
【図４】 第１の実施の形態における撮影条件検出装置の制御部が有する撮影条件検出機能の概略を示す機能ブロック図である。
【図５】 第１の実施の形態における撮影条件検出装置で実行される撮影条件検出処理の流れを示すフローチャートである。
【図６】 第２の実施の形態における撮影条件検出装置の制御部が有する多様体生成機能の概略を示す機能ブロック図である。
【図７】 第２の実施の形態における撮影条件検出装置で実行される多様体生成処理の流れを示すフローチャートである。
【図８】 第３の実施の形態における撮影条件検出装置の制御部が有する多様体生成機能の概略を示す機能ブロック図である。
【図９】 第３の実施の形態における撮影条件検出装置で実行される多様体生成処理の流れを示すフローチャートである。
【図１０】 第４の実施の形態における撮影条件検出装置の制御部が有する多様体生成機能の概略を示す機能ブロック図である。
【図１１】 第４の実施の形態における撮影条件検出装置で実行される多様体生成処理の流れを示すフローチャートである。
【符号の説明】
１００，１００Ａ，１００Ｂ 制御部、１０１ 画像入力部、１０２ 操作部、１０３ 記憶部、１０４ 出力部、１０５ 外部記憶装置、１０６ 記憶媒体、１１０ 顔領域検索部、１１１ 前処理部、１１３，１１３Ａ，１１３Ｂ 部分空間生成部、１１５ 射影部、１１７ 特徴パラメータ平均部、１１９ 多様体生成部、１２１ 画像データベース、１２３ 部分空間データベース、１２５多様体データベース、１３１ 比較部、１４１ 画像平均部、１４５，１４５Ａ クラス分類部、１４７，１４７Ａ 判別空間生成部。
Claims (7)
- 複数の対象物それぞれを複数の撮影条件で撮影して得られる複数の画像を取込む画像入力手段と、
前記画像入力手段で得られた複数の画像それぞれに対応する特徴ベクトルの固有ベクトルを取得して部分空間を生成する部分空間生成手段と、
前記画像入力手段で得られた複数の画像それぞれに対応する特徴ベクトルを前記部分空間生成手段で生成された部分空間に射影して、前記複数の画像それぞれに対応する特徴パラメータを取得する射影手段と、
撮影条件ごとに画像に対応する特徴パラメータを平均して平均特徴パラメータを取得する平均特徴パラメータ取得手段と、
前記得られた平均特徴パラメータを補間して前記部分空間に多様体を生成する多様体生成手段とを備えた、撮影条件検出装置。 - 複数の対象物それぞれを複数の撮影条件で撮影して得られる複数の画像を取込む画像入力手段と、
前記画像入力手段で得られた複数の画像それぞれに対応する特徴ベクトルの固有ベクトルを取得して部分空間を生成する部分空間生成手段と、
前記画像入力手段で得られた複数の画像の特徴ベクトルを撮影条件ごとに平均した平均特徴ベクトルを取得する画像平均手段と、
前記平均特徴ベクトルを前記部分空間生成手段で生成された部分空間に射影して、撮影条件ごとに特徴パラメータを取得する射影手段と、
前記得られた特徴パラメータを補間して前記部分空間に多様体を生成する多様体生成手段とを備えた、撮影条件検出装置。 - 入力された画像から顔が含まれる領域を検出する顔領域検出手段と、
前記顔が含まれる領域の特徴ベクトルと最も距離の近い前記多様体の位置を求める比較手段と、
前記多様体の位置に基づいて撮影条件を取得する取得手段と、
前記撮影条件を出力する出力手段とをさらに備える、請求項１または２に記載の撮影条件検出装置。 - 前記部分空間生成部は、撮影条件に基いて前記複数の画像をクラスに分類する分類手段と、
前記分類手段により分類された前記複数の画像それぞれに対応する特徴ベクトルに判別分析を施して固有ベクトルを取得する判別分析手段とを含む、請求項１から３のいずれか１項に記載の撮影条件検出装置。 - 複数の対象物それぞれを複数の撮影条件で撮影して得られる複数の画像を取込むステップと、
前記得られた複数の画像それぞれに対応する特徴ベクトルの固有ベクトルを取得して部分空間を生成するステップと、
前記得られた複数の画像それぞれに対応する特徴ベクトルを前記生成された部分空間に射影して、前記複数の画像それぞれに対応する特徴パラメータを取得するステップと、
撮影条件ごとに画像に対応する特徴パラメータを平均して平均特徴パラメータを取得するステップと、
前記得られた平均特徴パラメータを補間して前記部分空間に多様体を生成するステップとをコンピュータに実行させる、撮影条件検出プログラム。 - 複数の対象物それぞれを複数の撮影条件で撮影して得られる複数の画像を取込むステップと、
前記得られた複数の画像それぞれに対応する特徴ベクトルの固有ベクトルを取得して部分空間を生成するステップと、
前記取込まれた複数の画像の特徴ベクトルを撮影条件ごとに平均した平均特徴ベクトルを取得するステップと、
前記平均特徴ベクトルを前記部分空間生成ステップで生成された部分空間に射影して、撮影条件ごとに特徴パラメータを取得するステップと、
前記得られた特徴パラメータを補間して前記部分空間に多様体を生成するステップとをコンピュータに実行させる、撮影条件検出プログラム。 - 入力された画像から顔が含まれる領域を検出するステップと、
前記顔が含まれる領域の特徴ベクトルと最も距離の近い前記多様体の位置を求めるステップと、
前記多様体の位置に基づいて撮影条件を取得するステップと、
前記撮影条件を出力するステップとをさらにコンピュータに実行させる、請求項５または６に記載の撮影条件検出プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002027218A JP4036005B2 (ja) | 2002-02-04 | 2002-02-04 | 撮影条件検出装置および撮影条件検出プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002027218A JP4036005B2 (ja) | 2002-02-04 | 2002-02-04 | 撮影条件検出装置および撮影条件検出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003228702A JP2003228702A (ja) | 2003-08-15 |
| JP4036005B2 true JP4036005B2 (ja) | 2008-01-23 |
Family
ID=27748801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002027218A Expired - Fee Related JP4036005B2 (ja) | 2002-02-04 | 2002-02-04 | 撮影条件検出装置および撮影条件検出プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4036005B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4860472B2 (ja) * | 2003-10-09 | 2012-01-25 | ユニヴァーシティ オブ ヨーク | 画像認識 |
| US7860340B2 (en) | 2004-11-04 | 2010-12-28 | Nec Corporation | Three-dimensional shape estimation system and image generation system |
| JP4623320B2 (ja) * | 2004-11-04 | 2011-02-02 | 日本電気株式会社 | 三次元形状推定システム及び画像生成システム |
| JP2006164063A (ja) * | 2004-12-09 | 2006-06-22 | Nec Corp | 特徴ベクトル正規化システム、特徴ベクトル正規化方法及び特徴ベクトル正規化用プログラム |
| JP4706527B2 (ja) * | 2006-03-22 | 2011-06-22 | トヨタ自動車株式会社 | パターン認識装置及びパターン認識方法 |
-
2002
- 2002-02-04 JP JP2002027218A patent/JP4036005B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003228702A (ja) | 2003-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7697735B2 (en) | Image based multi-biometric system and method | |
| JP4501937B2 (ja) | 顔特徴点検出装置、特徴点検出装置 | |
| US8648959B2 (en) | Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing | |
| US8659697B2 (en) | Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing | |
| JP4553141B2 (ja) | 重み情報を用いた物体姿勢推定・照合システム | |
| US8503800B2 (en) | Illumination detection using classifier chains | |
| JP4443722B2 (ja) | 画像認識装置及び方法 | |
| JP4093273B2 (ja) | 特徴点検出装置、特徴点検出方法および特徴点検出プログラム | |
| US20080013837A1 (en) | Image Comparison | |
| JP4774818B2 (ja) | 画像処理装置及び画像処理方法 | |
| MX2012010602A (es) | Aparato para el reconocimiento de la cara y metodo para el reconocimiento de la cara. | |
| JP5241606B2 (ja) | オブジェクト識別装置及びオブジェクト識別方法 | |
| JP4952267B2 (ja) | ３次元形状処理装置、３次元形状処理装置の制御方法、および３次元形状処理装置の制御プログラム | |
| US20090213241A1 (en) | Image processing apparatus, image processing method, and recording medium | |
| JP4036005B2 (ja) | 撮影条件検出装置および撮影条件検出プログラム | |
| JP4816874B2 (ja) | パラメータ学習装置、パラメータ学習方法、およびプログラム | |
| JP2010257158A (ja) | オブジェクト識別装置及びオブジェクト識別方法 | |
| JP7103443B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| Zhang et al. | Face shape extraction and recognition using 3d morphing and distance mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040927 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040928 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070629 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070710 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070907 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071009 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071022 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131109 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |