JP5049356B2 - テクスチャ空間分解に基づく統計的顔モデリングにおける指向性照明変動性の分離 - Google Patents

Description

物体の外観は、１連の注釈付きの画像例を使用して訓練された統計的モデルによって、表わされることができる。これは、従って、モデルが訓練される方法に強く依存する。画像データへのモデルの最良の妥当性のある適合を見つけることにより、新たな画像が解釈されることができる。人間の顔のための統計的モデルを扱うコンピューター画像詳述方法において多くの文献があった一方で、解決が望まれるいくつかの問題が依然として存在する。例えば、特にテスト画像において照明がトレーニングセットから学習された条件と著しく異なる場合、人間の顔用統計的モデルは、照射変更（ｉｌｌｕｍｉｎａｔｉｏｎ ｃｈａｎｇｅ）に影響を受ける。顔の外観は、照明条件（ｌｉｇｈｔｉｎｇ ｃｏｎｄｉｔｉｏｎ）の変更により劇的に変わり得る。顔の３Ｄ様相に起因して、直接照明源は、特定の顔の特徴部分（ｆｅａｔｕｒｅ）に影響する強い影及び陰影を投じることができる。照射変更に起因する変化は、２つの異なる個人の顔間の変化よりもさらに大きくなりえる。

この課題を克服するために、様々な方法が提案された。特徴部分に基づいたアプローチは、照明変化に対して不変量である特徴部分を利用することを模索する。２００３年，英国，ノリッジ，東Ｅａｇｌｉａの英国マシン・ビジョン会議紀要で、Ｃ．フー，Ｒ．フェリス，及びＭ．タークの「顔調整のための能動的ウェーブレット・ネットワーク」において、顔調整のためにＡＡＭテクスチャを能動的ウェーブレット・ネットワークに置き換えることが提案されており、一方、２００６年，ポルトガル，Ｓｅｔ´ｕｂａｌのＶＩＳＡＰＰ’０６、コンピューター・ビジョン理論及びアプリケーションに関する第一回国際会議の第２巻の３５頁〜４０頁で、Ｓ．レ ガロウ，Ｇ．ブルトン，Ｃ．ガルシア，及びＲ．Ｓ´ｅｇｕｉｅｒの「距離地図：能動的外観モデルのための照射の頑強な予備的処理」において、テクスチャは、照明変化に対して頑強な距離地図と置き換えられることが提案されている。

他の方法は、照明モデルを使用して照射構成要素を除去することに依存する。ＲＡＴＦＧ−ＲＴＳ’０１年：リアル・タイム・システムにおける顔及び身振りの認識、分析及びトラッキングに関するＩＥＥＥ ＩＣＣＶワークショップの議事録，２００１年，第４７頁で、Ｓ．Ｚ．リー，Ｒ．シャオ，Ｚ．Ｙ．リー，及びＨ．Ｊ．チャンの「低次元空間でのガウス分布への多重視界顔パターンの非線形のマッピング」、及びＩＣＩＰ’９５：画像処理に関する１９９５年国際会議の議事録，１９９５年，第３巻，第３６２０頁で、Ｍ．ビクセルの「照射不変式物体認識」、及びパターン解析及び人工知能に関するＩＥＥＥトランザクション，１９９７年，第１９巻，第７号，第７１１頁〜７２０頁で、Ｐ．Ｎ．Ｂｅｌｈｕｍｅｕｒ，Ｊ．Ｈｅｓｐａｎｈａ，及びＤ．Ｊ．Ｋｒｉｅｇｍａｎの「固有顔ｖｓ．フィッシャー顔：クラスを使用した特定の線形投影の認識」の、線形の部分空間アプローチは、ランバート面を備えた人間の顔表面に接近し、異なる照明条件の下で獲得した画像を使用して、３Ｄ照射部分空間の基準を計算する。

照射凸錐（ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｎｖｅｘ ｃｏｎｅ）は、ＣＶＰＲ’９６：コンピュータービジョン及びパターン認識に関する１９９６年の会議の議事録，第２７０頁におけるＰ．Ｎ．Ｂｅｌｈｕｍｅｕｒ及びＤ．Ｊ．Ｋｒｉｅｇｍａｎの「全ての可能な照明条件の下の物体の画像のセットは何であるか？」、及びＣＶＰＲ’９８：コンピュータービジョン及びパターン認識に関するＩＥＥＥコンピューター学会会議１９９８年の議事録，第５２頁におけるＡ．Ｓ．Ｇｅｏｒｇｈｉａｄｅｓ，Ｄ．Ｊ．Ｋｒｉｅｇｍａｎ，及びＰ．Ｎ．Ｂｅｌｈｕｍｅｕｒの「顔：可変照明の下の認識用の照射コーン」、及びＦＧ，２０００年、２７７頁〜２８４頁におけるＡ．Ｓ．Ｇｅｏｒｇｈｉａｄｅｓ，Ｐ．Ｎ．Ｂｅｌｈｕｍｅｕｒ，及びＤ．Ｊ．Ｋｒｉｅｇｍａｎの「少数から多数まで：可変姿勢及び照射の下の認識用の生成的モデル」の中で、影及び多数の光源を考慮に入れて、さらにモデルとともに１ステップ進む。

より複雑なモデルは、ＩＣＰＲ（４），２００２年，２９７頁〜３０１頁におけるＲ．石山及びＳ．坂本の「測地照射基底：顔認識のための任意の姿勢における照射変化の補償」の測地照射基底モデルのように提案され、あるいは、ＣＶＰＲ（２），２００１年，２９６頁〜３０頁におけるＡ．Ｕ．Ｂａｔｕｒ及びＭ．Ｈ．ヘイズの「照射頑強な顔認識のための線形部分空間」のように、画像を互いに近接する面の標準の方向を備えた領域へ分割する３Ｄ線形部分空間モデルとして提案された。

画像変換により、または標準型中の与えられた画像から新たな画像を合成することにより、外観における変化を標準化する試みが取り組まれる場合には、代案として正規化形式アプローチが登場する。その後、認識は、Ｒａｍａ Ｃｈｅｌｌａｐｐａ教授，１９９９年博士号論文，Ｗ．チャオ，頑強な画像ベースの３ｄ顔認識、またはＩＣＭＥ，２００３年，第３巻，１４９頁〜１５２頁のＷ．ガオ，Ｓ．シャン，Ｘ．Ｃｈａｉ，及びＸ．フーの「照射及び姿勢に影響を受けない顔認識のための仮想顔画像生成」のように、この正規化形式を使用して行なわれる。

２００１年，ＣＶＰＲ，第０１巻，８６４頁，Ｔ．尺長およびＫ．重成の「様々な照明条件の下の顔認識用の分解された固有顔」、及び２００４年，第２４１頁〜２４７頁，Ｔ．尺長，Ｆ．坂上，及びＫ．重成の「投影ベースの画像補正及び分解された固有顔を組み合わせることによる頑強な顔認識」において、２つの直交する固有空間中への固有顔の分解は、照明変更の下、一般的な顔認識技術の実現のために提案されている。幾分同様のアプローチは、２００６年，I：５７頁，Ｊ．Ｍ．Ｂｕｅｎａｐｏｓａｄａ，Ｅ．ムニョス，及びＬ．Ｂａｕｍｅｌａの「外観ベースのトラッキングでの顔の表情及び照射の効率的な評価」において、顔の表情と照射について各々記述するために、２つのほぼ独立した部分空間の追加によって顔が表わされる場合、顔トラッキングのために使用される。

１９９９年，ＢＭＶＣにおけるＮ．Ｃｏｓｔｅｎ，Ｔ．Ｆ．クーツ，Ｇ．Ｊ．エドワーズ，及びＣ．Ｊ．テーラーの「顔同一性部分空間の自動抽出」、及び１９９９年，ＣＶＰＲ，第０１巻，第１４９２頁におけるＮ．Ｃｏｓｔｅｎ，Ｔ．Ｆ．クーツ，Ｇ．Ｊ．エドワーズ，及びＣ．Ｊ．テーラーの「機能的な顔部分空間の同時の抽出」で、形状及びテクスチャの顔の外観モデルが使用され、また、照明，姿勢，同一性，及び表現のための非直交のテクスチャ部分空間は、適切な画像セットを使用して抽出される。その後、追加された部分空間に関する顔の表現の効率を最大化するために、反復する期待値最大化アルゴリズムが適用される。その後、部分空間を再計算するために、各部分空間上の投影が使用される。このアプローチは、同一性認識の結果を改善することが明らかになる。それは依然として、照射変更のそれほど複雑でない処理を可能にするアルゴリズムを備えること、及び一般的で頑強な顔の外観モデルを得ることが望まれている。

ＰＣＡベースのモデルは、一般に、異なるタイプの変化を分離しない。ＡＡＭ技術は、ＰＣＡを使用しており、それ故に、顔変動性の様々な原因中で、形状とテクスチャの両方に実際に分化することができないというこの制限を継承する。分化されないＰＣＡベースのモデルの重大な短所は、それが非現実的な形状／テクスチャ構成の生成を許して、非有効な空間領域を導入することができてしまう、ということである。加えて、広範囲なモデルのパラメータの解釈は、それらが支持する変化の種類の明瞭な特徴が無いのと同じように、曖昧になり得る。同一性部分空間及び／又は指向性照明部分空間のように、特化された部分空間を得ることが望ましいであろうことが、本発明者によって認識される。

照明あるいは照射の変化は、顔変動性の源を分析するために最も複雑で困難なものの内の１つを意味する。したがって、指向性照明によって引き起こされたものからの同一性における変化を分離することが望まれる。さらに、姿勢又は表情から同一性を分離することにより、形状モデルを分割することが望まれる。広範囲な形状モデルからの姿勢変化の分離は、個人が、通常、頭を傾けるために３０°〜４０°の範囲内を対象として、いくつかの姿勢で存在する適切なトレーニングセットの使用により実現され得ることが、本発明者らによって認識される。

デジタル画像中で捕らえられた場面（ｓｃｅｎｅ）内の顔又は特定の他の物体の特徴（ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を決定するための技術が提供される。デジタル画像は、場面内の顔又は特定の他の物体を含めて獲得される。訓練データ集合に基づいて構築され、指向性照明変化についての依存性を示すモデル構成要素の第１の部分集合と、指向性照明変化に依存しないモデル構成要素の第２の部分集合と、を含むオブジェクトのクラスを含んでいる線形テクスチャモデルが適用される。場面中で、顔又は特定の他の物体の初期位置が、最初に決定される。顔又は特定の他の物体へのモデルの適合（ｆｉｔ）は、線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の個々の値（ｉｎｄｉｖｉｄｕａｌ ｖａｌｕｅｓ）が調節されるように、得られる。場面中の顔又は特定の他の物体へのモデルの得られた適合に基づいて、顔又は特定の他の物体の少なくとも１つの特徴が決定される。当該決定された特徴を含む補正された画像は、電子的に格納され、送信され、それに適用され、編集、または表示される顔又は他の物体認識プログラムを有し、或いはこれらにつき組み合わされる。

さらなる技術は、既に提供されたデジタル画像中で捕らえられた場面内の顔又は特定の他の物体の特徴を調節するために提供される。デジタル画像は、場面内の顔又は特定の他の物体を含めて獲得される。訓練データ集合に基づいて構築され、指向性照明変化についての依存性を示すモデル構成要素の第１の部分集合、及び指向性照明変化に依存しないモデル構成要素の第２の部分集合を含むオブジェクトのクラスを含んでいる線形テクスチャモデルが得られる。場面中の顔又は特定の他の物体の初期位置が決定される。場面中の顔又は特定の他の物体へのモデルの適合は、線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の個々の値が調節されるように、得られる。場面中の顔又は特定の他の物体へのモデルの得られた適合に基づいて、顔又は特定の他の物体の特徴は、線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の値が変更されて、調整された物体モデルを生成するように、調節される。当該調整された物体モデルは、デジタル画像に重ね合わされる。当該方法は、当該補正された顔画像を、電子的に格納し、送信し、顔認識プログラムに適用して編集し、または表示すること、或いはこれらの組み合わせを含む。

モデル構成要素は固有ベクトルを含むことができ、また、個々の値は、固有ベクトルの固有値を含むことができる。決定された特徴は、指向性照明に依存しない特徴部分を含むことができる。周期的なノイズ成分の無い再生像が生成されることができる。

第２の適合は、訓練データ集合に基づき、かつ周期的なノイズ成分を欠く１セットのモデル構成要素を含むオブジェクトのクラスを含んでいる第２の線形テクスチャモデルへの顔又は特定の他の物体に得られることができる。当該方法は、顔又は特定の他の物体と再生像との間の差異の決定を含む周期的なノイズ成分を抽出することを含むことができる。ノイズ成分の頻度は判定することができ、また、決定された頻度の周期的なノイズ成分が除去される。

顔又は特定の他の物体に対する露光量は、訓練データ集合に基づき、露光量変化についての依存性を示す１セットのモデル構成要素を含むオブジェクトのクラスを含んでいる第２の線形テクスチャモデルへの顔又は特定の他の物体の得られる適合として、決定されることができる。影によって引き起こされたバックグラウンド領域又は密度コントラスト、或いは両方の影響が、弱められることができる。

当該方法は、正確に照明条件（ｌｉｇｈｔｉｎｇ ｃｏｎｄｉｔｉｏｎ）を反映するためにフラッシュを制御することを含むことができる。フラッシュ制御条件は、参照テーブルの参照により得られることができる。フラッシュ光放射は、フラッシュ制御条件に従って制御されることができる。影または黒圧縮または白圧縮あるいはこれらの組み合わせによって引き起こされた濃淡の効果が弱められることができる。

当該方法は、さらに、鮮鋭度値を調節又は決定すること或いはこの両方を含むことができる。訓練データ集合に基づいて構築される第２の線形テクスチャモデルが得られることができる。このモデルは、鮮鋭度変化についての依存性を示すモデル構成要素の部分集合を含むオブジェクトのクラスを含むことができる。場面中の顔又は特定の他の物体への前記第２のモデルの適合が得られることができ、また、第２の線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の個々の値が調節されることができる。場面中の顔又は特定の他の物体への第２のモデルの得られた適合に基づいて、顔又は特定の他の物体の鮮鋭度は、第２の線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の値が変更されて、さらに調節された物体モデルを生成するように、調節されることができる。

当該方法は、顔又は特定の他の物体から汚点を除去することを含むことができる。訓練データ集合に基づいて構築され、汚点を含んでいないモデル構成要素の部分集合を含むオブジェクトのクラスを含んでいる第２の線形テクスチャモデルが得られることができる。場面中の顔又は特定の他の物体への第２のモデルの適合は、第２の線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の個々の値が調節されるようにして、得られることができる。場面中の顔又は特定の他の物体への第２のモデルの得られた適合に基づいて、汚点は、第２の線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の値が変更されて、さらに調節された物体モデルを生成するようにして、顔又は特定の他の物体から除去される。汚点は、にきび汚点または他の皮膚汚点、あるいは写真の人為結果が含まれ得る。

粒状性値は、決定され及び／又は調整されることができる。訓練データ集合に基づいて構築され、粒状性変化についての依存性を示すモデル構成要素の部分集合を含むオブジェクトのクラスを含んでいる第２の線形テクスチャモデルが得られることができる。場面中の顔又は特定の他の物体への第２のモデルの適合は、第２の線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の個々の値を調節することを含めて、得られることができる。場面中の顔又は特定の他の物体への第２のモデルの得られた適合に基づいて、顔又は特定の他の物体の粒状性は、第２の線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の値が変更されて、さらに調節された物体モデルを生成するようにして、調節されることができる。

解像度値は、変換され、調整され、及び／又は決定されることができる。第２の線形テクスチャモデルは、訓練データ集合に基づいて構築され、顔又は特定の他の物体としてほぼ同じ解像度を示すモデル構成要素の部分集合を含むオブジェクトのクラスを含んで得られることができる。場面中の顔又は特定の他の物体への第２のモデルの適合は、第２の線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の個々の値が調節されるようにして、得られることができる。場面中の顔又は特定の他の物体への第２のモデルの得られた適合に基づいて、顔又は特定の他の物体の解像度は、第２の線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の値が変更されるように変換されることができ、さらに調節された物体モデルを生成する。

第２の技術では、調節は、モデル構成要素の第１の部分集合の一又は複数のモデル構成要素の一又は複数の値を１セットの平均値に変更すること、及び、それについて、デジタル画像内の場面についての指向性照明効果を調節することを含み得る。第１の技術は、さらに調節を含むことができる。指向性照明効果の調節は、一又は複数の指向性照明効果を増加又は減少させることを含み得る。この調節は、指向性照明効果をフィルタリングして当該フィルターされた顔画像を生成することを含むことができ、また、このフィルターされた顔画像に顔認識プログラムが適用されることができる。

さらなる方法は、指向性照明変化についての依存性を示すモデル構成要素の第１の部分集合、及び指向性照明変化に依存しないモデル構成要素の第２の部分集合を含む、オブジェクトのクラスの線形テクスチャモデルを構築するために提供される。トレーニングセットは、各物体の様々なインスタンスが一連の指向性照明条件をカバーする多数の物体像を含めて提供される。当該方法はさらに、均一の照明条件下で各々捕らえられた物体像から構築された線形テクスチャモデルを画像に適用し、均一照明部分空間（ＵＬＳ：Ｕｎｉｆｏｒｍ Ｌｉｇｈｔｉｎｇ Ｓｕｂｓｐａｃｅ）を形成することを含んでいる。１セットの残余のテクスチャ構成要素は、指向性照明条件下で捕らえられた物体像と、均一の照明条件下で各々捕らえられた物体像から構築された線形テクスチャモデルと、の間で決定される。直交するテクスチャ部分空間は、残余のテクスチャ構成要素から決定され、指向性照明部分空間（ＤＬＳ：Ｄｉｒｅｃｔｉｏｎａｌ Ｌｉｇｈｔｉｎｇ Ｓｕｂｓｐａｃｅ）を形成する。均一照明部分空間（ＵＬＳ）は、指向性照明部分空間（ＤＬＳ）と結合して、新たな線形テクスチャモデルを形成する。

方法は、さらに以下を含むことができる：
（ｉ）訓練データ集合に基づいて構築され、均一照明部分空間（ＵＬＳ：Ｕｎｉｆｏｒｍ Ｌｉｇｈｔｉｎｇ Ｓｕｂｓｐａｃｅ）及び指向性照明部分空間（ＤＬＳ：Ｄｉｒｅｃｔｉｏｎａｌ Ｌｉｇｈｔｉｎｇ Ｓｕｂｓｐａｃｅ）の構成要素を有するモデル構成要素の部分集合を含むオブジェクトのクラスを含む、新たな線形テクスチャモデルを適用し；
（ｉｉ）、新たな線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の個々の値を調節することを含む、場面における顔又は特定の他の物体への前記新たなモデルの適合を得て；
（ｉｉｉ）当該場面での顔又は特定の他の物体への新たなモデルの得られた適合に基づいて、顔又は特定の他の物体の特徴を決定し、及び、
（ｉｖ）当該決定された特徴を含む補正された顔画像又は特定の他の物体を、電子的に格納し、送信し、顔又は他の物体認識プログラムの適用により編集し、表示し、或いはこれらについて組み合わせる。

方法は、さらに以下を含むことができる：
（ｖ）新たな線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の値を変更して、さらに調整された物体モデルを生成することをさらに含み；
（ｖｉ）新たな線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の個々の値を調節することを含み、場面中の顔又は特定の他の物体への新たなモデルの適合を得ること；及び、
（ｖｉｉ）場面中の顔又は特定の他の物体への新たなモデルの得られた適合に基づいて、顔又は特定の他の物体の特徴を決定する。

モデル構成要素は、固有ベクトルを含むことができる。また、個々の値は、固有ベクトルの固有値を含むことができる。

さらに、顔照射（ｉｌｌｕｍｉｎａｔｉｏｎ）正規化方法も提供される。デジタル画像は、不均一に照射されるように見える顔に対応するデータを含んで獲得される。当該顔データには、指向性及び均一照射分類子プログラムの個別のセットが適用される。当該顔データは、指向性照射分類子プログラムの一つ又は組み合わせについての当該デジタル画像内の顔の投影に、均一照射分類子プログラムの一つ又は組み合わせに従った顔を示す定数ベクトルを加えたものに対応するものとして識別され、その結果、当該顔データを、指向性及び均一照射のための直交する部分空間に分解する。照射条件は、指向性照射投影の一又は複数の照射パラメータをゼロに設定することを含む顔のために、標準化されることができる。かかる方法は、さらに、当該補正された顔画像を、電子的に格納し、送信し、顔認識プログラムの適用により編集し、または表示すること、あるいはこれらの組み合わせを含む。

当該適用は、均一照明分類子プログラム・セットに顔データを投影し、次に、当該顔データの残余のデータを指向性照明分類子プログラム・セットに適用することを含むことができる。顔認識プログラムは、標準化された顔画像に適用されることができる。１セットの特徴部分（ｆｅａｔｕｒｅ）検出器プログラムは、顔でないデータを顔データとして識別されることから拒絶するために、適用されることができる。照射条件は、指向性照射分類子プログラムの１又は組み合わせによる顔データの承認に基づいて、決定されることができる。

デジタル画像は、顔を含む一連の多数の画像のうちの１つとされることができる。正規化は、顔データが識別されるオリジナルのデジタル画像よりも、一連の異なる画像に適用されることができる。

また、顔検出方法も提供される。デジタル画像が獲得され、また、当該画像からサブウィンドウが抽出される。２つ又はそれ以上の、短縮された顔検出分類子カスケードの個別のセットが適用される。１つのセットは、顔領域の特徴に選択的に感知できるように訓練され、また、顔検出分類子カスケードの他のセットは、特徴に対して無感知である。当該顔データは、特徴感知分類子カスケードの一つ又は組み合わせについての当該デジタル画像内の顔の投影に、特徴無感知分類子カスケードの一つ又は組み合わせに従った顔を示す定数ベクトルを加えたものに対応するものとして識別され、その結果、当該顔データを、特徴感知及び特徴無感知条件のための直交する部分空間に分解する。当該適用及び識別に基づいて、特定形式の特徴を備えた顔がサブウィンドウ内に存在する確率が決定される。当該決定に基づいて、前記特徴の形式への感度のために訓練された、拡張された顔検出分類子カスケードが適用される。最終決定は、顔が画像サブウィンドウ内に存在すると規定される。当該プロセスは、画像または一又は複数のさらなる特徴からの一又は複数のさらなるサブウィンドウのため、または両方のために、繰り返される。

当該特徴（又は複数の特徴）は、顔領域の指向性照射、顔領域の面内回転、顔領域の３Ｄ姿勢変化、微笑の度合い、目を明滅する度合い、目をまばたきする度合い、口を開く度合い、顔のぼかし、眼球異常、顔の影付け、顔の閉塞、顔の色、または顔の形、あるいはこれらの組み合わせを含むことができる。

当該特徴は、指向性照射を含むことができ、また、方法は、一又は複数の不同の照射分類子カスケードの適用により不同の照射条件を決定することを含むことができる。正面の照射分類子カスケードが適用され得る。サブウィンドウ内の顔の照射条件は、分類子カスケードのうちの１つによる承認に基づいて決定されることができる。

デジタル画像は、顔を含んでいる一連の多数の画像のうちの１つであり得る。方法は、照射条件が決定されるデジタル画像よりも、一連の異なる画像内の顔の不同の照射条件を修正することを含み得る。

不同の照射分類子カスケードは、最上部の照射分類子、底部の照射分類子、及び、右及び左の１又は両方の照明照射分類子を含むことができる。

さらなる顔検出方法が提供される。デジタル画像が取得され、また、当該画像からサブウィンドウが抽出される。２つ又はそれ以上の短縮された顔検出分類子カスケードの個別のセットが適用される。当該セットのうちの１つは、顔の指向性照射に選択的に感知できるように訓練され、また、顔検出分類子カスケードの他のセットは、顔の指向性照射に無感知である。顔データは、指向性照射感知分類子カスケードの一つ又は組み合わせについての当該デジタル画像内の顔の投影に、指向性照射無感知分類子カスケードの一つ又は組み合わせに従った顔を示す定数ベクトルを加えたものに対応するものとして識別され、その結果、当該顔データを、指向性及び均一条件のための直交する部分空間に分解する。当該適用及び識別に基づいて、特定形式の顔の指向性照射を備えた顔がサブウィンドウ内に存在する確率が決定される。当該決定に基づいて、顔の指向性照射の当該形式への感度のために訓練された拡張顔検出分類子カスケードが適用される。最終決定は、顔が画像サブウィンドウ内に存在すると規定される。当該プロセスは、画像または一又は複数のさらなる顔の指向性照射からの一又は複数のさらなるサブウィンドウのため、または両方のために、繰り返される。

デジタル画像は、顔を含んでいる一連の多数の画像のうちの１つであり得る。方法は、照射条件が決定されるデジタル画像よりも、一連の異なる画像内の顔の不同の照射条件を修正することを含み得る。

指向性照射分類子カスケードは、最上部の照射分類子、底部の照射分類子、及び、右及び左の１又は両方の照射分類子を含むことができる。

サブウィンドウ内の顔の照射条件は、分類子カスケードのうちの１つ又は組み合わせによる承認に基づいて決定されることができる。

デジタル画像獲得装置は、デジタル画像を獲得するための光電子工学システムと、ここに記述した任意の方法を遂行するようにプロセッサーをプログラミングするための、プロセッサー判読可能なコードを格納したデジタル記憶部と、を備えて供給される。

形状モデル及びテクスチャモデルが作られ得ることに基づいた、一定の前面の照射での異なる個人を示す図。 形状モデル及びテクスチャモデルが作られ得ることに基づいた、一定の前面の照明での異なる個人を示す図。 様々な指向性照明条件による画像を示す図。 均一照明（または照射）部分空間上のテクスチャベクトルの投影に基づいた残余のテクスチャｇ_ｒｅｓを得ることを示す図。 スポットライトが人の左側に存在している新たな画像に関して、特定の実施の形態に従ってモデルに適合することを示す図。 合成された画像中では人の同一性はそれほど正確に再生されないが、正確に分けられる顔パッチを示す図。 適合された形状の内部からオリジナルの画像の実在するテクスチャの抽出を示す図。 パラメータをゼロに設定し照射正規化を得ることに対する結果を示す図。

以下に、テクスチャ空間が、２つの直交する部分空間に、一つ目は均一照射及び二つ目は照射変動性用へと分解される技術が提供される。このやり方の利点は、パラメータの２つの別個のセットが使用されて、照射条件における個々及び諸変化の間の変動を制御する、ということである。他の利点は、統計モデルを訓練するための包括的な画像データベースが必要でないということである。統計外観モデルは、指向性照明変化を分離する方法と同様に、簡潔に記述される。２つの個別のテクスチャモデルがどのように結合されるか、についても説明される。モデルがどのように適合され得るかの例も以下に記述され、また、いくつかの実験結果が示される。

直交する部分空間へモデルが分解される線形テクスチャモデルが構築され、そのうちの１つは、照明条件における指向性変化に対するモデル変動性について記述する。そのようなモデルの使用によって、線形テクスチャモデルの様々な適用は、指向性照明条件における変化に対して頑強になる。そのようなモデルが、デジタルカメラ、外部処理装置、プリンター、ディスプレイあるいは他のレンダリング装置、或いはコンピューターや他の処理機器内に統合される場合、当該モデルは、獲得時における画質を改善するために使用されることができる。

線形テクスチャモデル、特に、能動的外観モデル（ＡＡＭ：Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ）は、モデルの第２の様相から指向性照明変動性を分離する方法で、訓練される。モデルの第２の様相は、場面に適用された指向性照明と無関係に、直ちに決定され得る。デジタルカメラ内に組込まれたとき、そのようなモデルは、本質的に、照明変化に対してより頑強であり、また、より好ましい画像改良を提供する。

これは、顔から「指向性照明変動性」を除去することができる技術について記述するとともに、米国公開出願第２００５／０１４０８０１号公報、２００５／００４１１２１号公報、２００６／０２０４０５５号公報、２００６／０２０４１１０号公報、ＰＣＴ／ＵＳ２００６／０２１３９３号公報、２００６／０１２０５９９号公報、２００７／０１１６３７９号公報、ＰＣＴ／ＵＳ２００７／０７５１３６号公報、２００７／０１１６３８０号公報、２００７／０１８９７４８号公報、２００７／０２０１７２４号公報、２００７／０１１０３０５号公報、及び２００７／０１６０３０７号公報、ならびに米国出願第１１／７６１，６４７号明細書、１１／４６２，０３５号明細書、１１／７６７，４１２号明細書、１１／６２４，６８３号明細書、１１／７５３，３９７号明細書、１１／７６６，６７４号明細書、１１／７７３，８１５号明細書、１１／７７３，８５５号明細書、６０／９１５，６６９号明細書、６０／９４５，５５８号明細書、及び６０／８９２，８８１号明細書、ならびに米国特許第７，３１５，６３１号明細書、７，３３６，８２１号明細書、６，４０７，７７７号明細書、及び７，０４２，５１１号明細書に記載されたような、広範な種々の顔分析技術のいずれをも組み合わせることができる。

ここでは、複雑さが減じられており、顔の外観モデルの線形テクスチャ空間を、２つ（又はそれ以上）の線形の部分空間、例えば、一つは個人間の変動性のためのもの及び他は照明条件の指向性変更によって引き起こされた変化のためのもの（さらに他のものとして、姿勢変化、及びここに記述された他の変数を含め得る）に分解する役目をする技術が記述される。使用されるやり方は、均一な照射条件による個人から１つの線形の部分空間を作成し、次に、以前に構築された空間についての対応するテクスチャを投影することにより、様々な指向性照明条件を備えた１セットの画像をフィルターすることである。その残留物は、さらに、指向性照明のために、第２の部分空間を構築するのに使用される。当該得られた部分空間は、直交し、したがって、２つの部分空間の比較的低い複雑さの連結により、全面的なテクスチャモデルを得ることができる。この表現の利点は、２セットのパラメータが使用され、照射条件の変化により、相互個体変異及び別々の個体内変異を制御する、ということである。

形状とテクスチャの統計的顔モデル

形状は、興味のある物体（すなわち顔）の輪郭について最もよく説明するのに使用される沢山の目印、と定義される。形状ベクトルは、すべての目印の点の連結した座標により、（ｘ_１，ｘ_２，．．．，ｘ_Ｌ，ｙ_１，ｙ_２，．．．，ｙ_Ｌ）^Ｔとして与えられ、ここでＬは目印の点の数である。

形状モデルは、整えられた一組の形状についてのＰＣＡの適用により得られる。
ｓ＝ｓ＋ＰＨＩ_Ｓｂ_Ｓ （１）

ここで、ｓは、形状観測の数Ｎ_Ｓを伴った中間の形状ベクトルである；ＰＨＩ_Ｓは、そのカラムとして固有ベクトルを持っている行列である；ｂ_Ｓは、形状モデルのパラメータの一組を定義する。

興味のある物体を横切ってピクセル値として定義されたテクスチャも、統計的にモデル化されることができる。顔パッチは、まず、三角形分割アルゴリズムに基づいた中間の形状へ曲げられる。続いて、テクスチャサンプルの数であるＰと共に、曲げられた（形状標準化された）パッチを横切って値をサンプリングすることにより、各トレーニング画像に対してテクスチャベクトル（ｔ_１，ｔ_２，．．．，ｔ_Ｐ）^Ｔが構築される。

テクスチャモデルも、テクスチャベクトルについてのＰＣＡによって引き出される：
ｔ＝ｔ＋ＰＨＩ_ｔｂ_ｔ （２）

ここで、ｔは、中間のテクスチャベクトルであり、Ｎ_ｔはテクスチャ観測の数である；ＰＨＩ_ｔは、ここでも固有ベクトルの行列であり、また、ｂ_ｔは、テクスチャモデルのためのパラメータである。

形状とテクスチャのパラメータのセットｃ＝（Ｗ_ｓｂ_ｓ；ｂ_ｔ）は、モデル化された物体の全体の外観の可変性について記述するのに使用され、ここでＷ_ｓは、形状とテクスチャのパラメータ間の単位の差を補うために使用される加重のベクトルである。

テクスチャ空間分解

テクスチャモデルを構築するために、エール顔データベースＢからの画像が使用された（以下、及びＡ．Ｓ．Ｇｅｏｒｇｈｉａｄｅｓ、Ｐ．Ｎ．Ｂｅｌｈｕｍｅｕｒ、及びＤ．Ｊ．Ｋｒｉｅｇｍａｎ、「少数から多数まで：変わりやすい姿勢及び照射の下での認識のための生成的モデル。」ＦＧ、２０００年、２７７頁から２８４頁中を参照されたい）。まず、形状モデル及びテクスチャモデルは、一定の前面照射で、異なる個人から作られる（図１及び図２を参照されたい）。形状及びテクスチャモデルは、式（１）及び（２）に記述されるように、さらに同じ表記法を維持しながら作られる。この種の照射は、均一な照射条件のための近似として有効である。得られたテクスチャの固有空間は、個人の均一照明部分空間（ＵＬＳ：Ｕｎｉｆｏｒｍ Ｌｉｇｈｔｉｎｇ Ｓｕｂｓｐａｃｅ）又は均一照射（ｉｌｌｕｍｉｎａｔｉｏｎ）部分空間と呼ばれる。

各個人に対して、画像は、直ちに、様々な指向性照明条件で考慮される（図３を参照されたい）。同一の参照形状は、以前の及び新たなテクスチャベクトルが等しい長さであることを保証する、新たなテクスチャベクトルｇを得るために使用される。

その後、これらのベクトルは、ＵＬＳにそれらを投影することによりフィルターされる（以下の式（３）及び（４）を参照されたい）：
ｂ_ｔ__ｏｐｔ＝ＰＨＩ_ｔ ^Ｔ（ｇ−ｔ） （３）

ｇ_ｆｉｌｔ＝ｔ＋ＰＨＩ_ｔ ｂ_ｔ__ｏｐｔ （４）

残余のテクスチャは、以下の式（５）により与えられる：
ｇ_ｒｅｓ＝ｇ−ｇ_ｆｉｌｔ＝ｇ−ｔ−ＰＨＩ_ｔｂ_ｔ__ｏｐｔ （５）

残留物は、指向性照明の直交するテクスチャ部分空間を作成するために使用される。これは、指向性照明部分空間（ＤＬＳ：Ｄｉｒｅｃｔｉｏｎａｌ Ｌｉｇｈｔｉｎｇ Ｓｕｂｓｐａｃｅ）又は指向性照射部分空間と呼ばれることができる。指向性照明テクスチャモデルは、上記の式（２）と類似しており、次の式（６）によって記述される：
ｇ_ｒｅｓ＝ｇ _ｒｅｓ＋ＰＨＩ_ｇｂ_ｇ （６）

テクスチャモデルの結合

ＤＬＳは、ＵＬＳの上の投影の後に続く残留物（差分）画像から作られる。
したがって、ＤＬＳはＵＬＳに対して直交する。結合されたテクスチャモデルは、以下の式（７）によって与えられる：
ｔ_{ｆｕｓｅｄ}＝ｔ＋ＰＨＩ_ｔｂ_ｔ＋ＰＨＩ_ｇｂ_ｇ （７）

２つのテクスチャモデル間の統合は、例えば、パラメータの重み付けられた連結によって実現され得る。テクスチャパラメータと連結された重み付けられた形状パラメータのベクトルは、以下の式（８）の通りである：
ｃ＝（Ｗ_ｓｂ_ｓ；ｂ_ｔ；Ｗ_ｇｂ_ｇ） （８）

ここで、Ｗ_ｓとＷ_ｇは、それぞれ、テクスチャパラメータの２つのセット間の単位の違い、及び形状及びテクスチャパラメータ間の単位の違いを補うために使用される、重み付けの２つのベクトルである。

モデル調整及び結果

能動的な外観モデル（ＡＡＭ：Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ）は、日本国奈良県での自動の顔及び身振り認識に関する第３回国際会議の議事録における、Ｇ．Ｊ．エドワーズ，Ｃ．Ｊ．テーラー，及びＴ．Ｆ．クーツの「能動的な外観モデルを使用して顔画像を解釈する」でのように、外観の統計的モデルのパラメータを最適化するために使用される、一般的な技術である。「適応性のある能動的な外観モデル」（第１４巻、第１１号、１７０７頁−１７２１頁、２００５年１１月）でＡ．Ｕ．Ｂａｔｕｒ及びＭ．Ｈ．ヘイズによって実証されたように、訓練画像から作られた勾配推定を使用する標準ＡＡＭアルゴリズムは、照射条件における重要な変化が存在する場合には、一般に画像に関して成功裡に適用することができない。これは、推定された勾配が、それが作られるデータセットの平均値の前後で特殊化するからである。

Ｂａｔｕｒらによって提案された解決法は、適応性のある勾配ＡＡＭの使用に基づく。勾配行列は、実際の勾配のより良い推定を生み出すために、ターゲット画像のテクスチャ組成に従って、直線的に適応される。この技術は、固定された勾配（ＡＡＭ）を使用することと、各反復で勾配行列を数値計算すること（標準最適化技術）との間のトレードオフを表わす。

エール顔データベースＢ

典型的な統計的モデルを構築するために、標準のエール顔データベースＢは、続く例の中で使用され、引用される。このデータベースは、５７６の観察条件（９の姿勢×６４の照射条件）の下で各々見られる１０の被写体の５７６０の単一光源画像を含んでいる。このデータベース中の画像は、特設の照射装置を使用して捕らえられた。この装置は、６４のコンピューターに制御されるストロボが装備される。特定の姿勢における被写体の６４の画像は、約２秒でのカメラフレーム率（３０フレーム／秒）で得られ、したがって、それらの６４の（＋１つの周囲の）画像のための頭部姿勢及び顔の表情にだけ小さな変化がある。当該獲得された画像は８ビット（グレースケール）であり、また、各画像のサイズは、６４０（幅）×４８０（高さ）である。

指向性照明変化の範囲の視点から見て、極めて包括的な顔データベースであり、それは安定した指向性照明モデルの生成のために使用されることができる。この目的のために、正面姿勢の画像は、すべての捕らえられた照射条件の下の使用のために、一般に選ばれる。このモデルは、十分な（照明が増強された）顔モデルにさらに組み込まれることが可能である。

典型的な適合するスキーム

修正されたＡＡＭベースの適合するスキームは、上述された、照明が増強された顔モデルに適応される。同一性と照明変化との間に明瞭な分離があるモデルを得ていることは、この特定のタイプのモデルで成功裡に適用することができたＡＡＭベースのふさわしいスキームのデザインを促進する。

特殊化した照射部分空間／モデルに基づいて、未加工のテクスチャベクトルの内部で存在する照明変化に、評価が遂行される。当該照射モデルは、他のタイプの変化(例えば、増強されたアイデンティティモデル)のためにそれに続くモデルを設計し訓練する間中、固定され続けられる。これは、テクスチャベクトルの生成のために使用された参照形の直交条件及び一貫性が維持されることを規定する。

オリジナルのテクスチャベクトルの照射部分空間上への直接の投影に基づいて、オリジナルのテクスチャベクトルの中に存在する照明変化は、評価される。照明変化の性質及び範囲は、照射モデルのパラメータの振幅（ａｍｐｌｉｔｕｄｅ）内でエンコードされる。この評価の正確さは、照射モデルの包括性に依存する。

別の適用として、照明パラメータを評価した後、それらは逆にすることができ、また、したがって、理論上ゼロの照明変化（実際上は、これらの照明変化は、ある程度まで削除されるだけであろう。）を持っている新たなテクスチャベクトルが、生成されることができる。

標準ＡＡＭ技術は、照明パラメータ以外の全てのモデルパラメータを運転するために、ここで使用される。（直接の投影によって得られた）照明パラメータは、完全な合成テクスチャを生成するために、さらに使用される。モデル化されたテクスチャベクトルは、ここでさらに照明変化を組込んでおり、オリジナルの画像の内部で存在する特定の照明条件に対して適応される。その結果得られる誤差面は、ＡＡＭフィッティング技術の一定の勾配仮定と、このように互換性をもつ。これは、標準ＡＡＭフィッティング技術の失敗に実際に関与していた重要な指向性照明変化が、もはや誤差ベクトルに反映されていないからである。このステップは、標準ＡＡＭの反復する最適化スキームへ導入される。

低い次元の（おそらく３次元としての最低値として）照明部分空間を持つことが、提案されたスキームが働くのに十分であることは、実験的に確認された。照明部分空間の低い寸法は、（多数の投影によって）含まれた追加された計算上のコストが、顔モデルの全面的な適合率に著しく影響しないことを保証する。

同一性モデルの増強は、より広範囲な訓練データ集合の作成により実現されることができる。直交条件がさらに維持されることを保証するために、新たな画像はそれぞれ、要求されない変化をフィルターするために、照明テクスチャ部分空間に最初に投影される。差分画像は、このとき、同一性部分空間を再度評価するために使用される。それについては、全面的なテクスチャモデルの新たな平均値を得るために、反復アルゴリズムが使用される。

近接した初期化要求

上に提案されたフィッティング技術の１つの弱点は、画像フレームの内部のモデルのより正確な初期化（すなわち顔の位置及びサイズ）についての要求である。ここで提案される現実的解決案は、第１に、Ｐ．Ａ．ビオラ及びＭ．Ｊ．ジョーンズの「頑強なリアルタイム顔検出。」（コンピューター・ビジョンの国際ジャーナル、第５７巻、第２号、１３７頁−１５４頁、２００４年）に記述された顔検出器を使用することであり、そして次に、これらの顔局在化パラメータのその返された評価を、顔モデルと共に使用される特定参照形状の重心及びサイズの中心に合わせる。例えば、計算上の学習理論に関するヨーロッパ会議、１９９５年、２３頁−３７頁でのＹ．フロインド及びＲ．Ｅ．Ｓｃｈａｐｉｒｅによる「オンライン学習の決定理論的な一般化及びブースティングへの適用」に記述されたＡｄａＢｏｏｓｔアルゴリズムに基づいた、ビオラ−ジョーンズ顔検出器は、このようにして第１に適用され、顔の中心及びサイズを評価する。画像フレームの内部の統計的モデルの初期化ステップは、トレーニングセットから学習された統計関係を使用して、顔検出器で調整される。顔位置及びサイズ（長方形領域）のための顔検出器評価と、画像フレームの内部の参照形状の位置及びサイズの統計関係は、１連の訓練する画像から最初に（オフライン）学習される。この関係は、その後、使用された顔検出アルゴリズムで調整されて、参照形状のためにより正確な初期化を得るために使用される。さらに、適合したアルゴリズムの収束を保証するために、実在する値に対して合理的に接近している初期化を有することが重要である。

色画像のための照明が増強されたモデルの拡張

（グレースケール・データベースから生成された）指向性照明サブモデルの顕著な適用可能性は、色付きの顔モデルに有効にそれを組み入れることができる、ということである。当該正当化は、理論上、指向性（白）照明変化が、このようにグレースケール上で扱うことができた問題である、色画像の強度構成要素の変化を生み出すということである。しかし、色の画像で働いている場合、指向性照明変化は、クロミナンス成分への通常より少ない有意な効果ではあるが、強度構成要素だけではなく、生産物同様の状態で影響することが、実際にはわかる。それにもかかわらず、グレースケール用に上に記述した、主に同じ技術に基づいて設計された色顔モデルは、色テクスチャベクトルを代わりに使用して、標準ＡＡＭに基づいた等価物に関する区分化精度の点から、著しい利点を提示することが証明される。

より計算コストが高いが、さらに、標準最適化技術は、それが増強された精度を提供するように使用されてもよい。速い最適化アルゴリズムは、ＡＡＭ技術が照射パラメータ以外に、モデル・パラメータを最適化するために使用される場合にもまた、使用されることができる。発明者は、彼らの研究で、合併されたセットのトレーニングイメージから造られた単一テクスチャ固有空間に基づいた、結合されたモデルと標準モデルとの間の適合の質において非常に重要な違いは無いことを見出したが、照射条件のいくつかの変化で新しいセットの画像に関して、モデル収束が適用され得る。

結合されたモデルに適合するという利点は、それが照射パラメータの個別のセットに基づいて、照射についての制御を提供するということである。したがって、モデルに適合した後に、１つは、存在する照射条件の評価を得るか、(例えば、均一照射に対する)照射を標準化するか、または異なった照射条件を生成することができる。

図５Ａ−５Ｄでは、ここに記述されるようなモデルが、図５Ａでのようにスポットライトが人の左側に存在する新たな画像に関して適合する例が示される。図５Ｂから見ることができるように、顔パッチが正確に分離されるにもかかわらず、当該人の同一性（ｉｄｅｎｔｉｔｙ）は、当該合成された画像においてそれほど正確には再生されない。これは、少数の観測を使用して成形されたＵＬＳモデルの制限によるものである。しかし、ここで一つは、図５Ｃに示すように、オリジナルの画像の実在する（ｒｅａｌ）テクスチャを、適合された形状の内部から抽出することができる。実在するテクスチャベクトルは、指向性照明固有空間上の個人の投影に、均一な照明下に個人を表す一定のベクトルを加えたものとして見ることができる。これは、下記の式（９）のように記述することができる：
ｔ_ｒｅａｌ＝ｔ _ｕｎｉｆ＋ＰＨＩ_ｇｂ_ｇ__ｏｐｔ （９）

ここで、ｂ_ｇ__ｏｐｔは、全面的な最適化段階中に評価された照射パラメータである。ｂ_ｇ__ｏｐｔの変更によって、新たな照射が生成されることができる。図５Ｄは、パラメータをすべてゼロに設定し照射正規化を得ることについての結果を示す。

記述されたように、テクスチャ空間分解に基づいた統計的顔モデルは、照射変動性及び個人間変動性の分離を可能にする。当該モデルは、照射条件に対する制御が望まれるアプリケーションに役立つ。すべてのモデル化された構成要素のための包括的な画像データベースを維持することが望ましくない場合には、さらに、パラメータのセットの分離が有用である。したがって、適切な（個別）データベースは、（姿勢を含む）形状変動性、個人間の変動性及び／又は、指向性照明のような構成要素のモデル化のために使用されることができる。姿勢変動性をも含むように設計された、改善された形状モデルは、さらに、全面的な外観モデルの性能を一層増強するために使用されることができる。

当該技術は、均一照明下の個々の変動性のモデル化のために、色トレーニング・データベースを使用して、カラー画像に拡張することができる。ここに提供される有利なモデルは、現在の技術の多くが依然として弱点を示す、姿勢及び／又は照射条件における変化への対処のために、顔認識及び／又は顔トラッキングのような適用での解決策を提示する。

代替的な実施の形態

インカメラ及び外部画像処理アプリケーションは、さらなる実施の形態で、ここに提供される特徴部分（ｆｅａｔｕｒｅｓ）と結合することができる。画像処理の実施の形態では、上述されたような線形テクスチャ又はＡＡＭモデルの、あるいは他のところの特徴部分は、画像から不必要な周期的なノイズ成分を正確に除去するプログラムと結合することで、増強される（米国特許公開第２００６／０２５７０４７号明細書を参照されたい）。再構成ユニットは、周期的なノイズ成分なしで人間の顔を表わす複数のサンプル画像を使用して、ＡＡＭの方法に従って生成された数学モデルと、顔探知装置によって画像中に検知された顔領域と、の適合により、周期的なノイズ成分のない再生像を生成することができる。周期的なノイズ成分は、顔領域と再生像との間の差異によって抽出されることができ、また、ノイズ成分の頻度が決定されることができる。当該決定された頻度のノイズ成分は、その後、画像から除去されることができる。

写真撮影と写真撮影プログラムに関するさらなる実施の形態は、高精度、かつ影によって引き起こされたバックグラウンド領域または密度コントラストのより少ない影響を備えた顔領域に基づいて露光量を決定するプログラムを含む（米国特許公開第２００６／０２６８１５０号明細書を参照されたい）。顔探知装置は、人間の顔を表わす複数のサンプル画像を使用して、ＡＡＭの方法によって生成された数学モデルが顔候補領域へ適合することにより、顔候補領域から顔領域を検知するために使用されることができる。その後、露光量測定ユニットが、当該顔領域に基づいた写真撮影用の露光量を決定することができる。

写真撮影に関するさらなる実施の形態は、フラッシュのような補助の光源が、影、黒圧縮、あるいは白圧縮によって引き起こされた濃淡のような照明条件以外のより少ない要因を備えた照明条件を高度に正確に反映するために制御されるプログラムを含む（米国特許公開第２００６／０２６９２７０号明細書を参照されたい）。この実施の形態では、パラメータ獲得ユニットは、異なる照明条件での人間の顔を表わす複数のサンプル画像を使用して、ＡＡＭの方法によって生成された数学モデルが、検知された顔領域へ適合することにより、顔探知装置によって検知された画像中での顔領域における照明条件を表わす主成分のための重み付けパラメータを得る。フラッシュ制御ユニットは、当該パラメータに従った参照テーブルの参照によりフラッシュ制御条件を得ることが出来、当該制御条件によって閃光放射を制御することが出来る。

他の実施の形態は、画像処理を含んでおり、画像中の予め定義された構造の増強された表現のために、鮮明度が調節されるプログラムを含んでいる。パラメータ獲得ユニットは、鮮明度の異なる程度で人間の顔を表わす複数のサンプル画像に基づいたＡＡＭのような統計的方法によって生成された数学的モデルを顔領域に適合させることによって、画像中に予め定義された構造の例として顔検知ユニットによって検知された顔領域における鮮明度の程度を表す主成分のための、重み付けパラメータを得ることができる（米国特許公開第２００７／００７０４４０号明細書を参照されたい）。パラメータの値に基づいて、鮮明度は、当該画像の少なくとも一部で調節されることができる。例えば、パラメータ変更ユニットは、パラメータの値を、プリセットされた最適の顔鮮明度値に変更することができ、また、画像再構成ユニットは、当該変更されたパラメータに基づいた画像を再構成することができ、また、鮮明度調節処理にさらされた画像を出力することができる。

さらなる実施の形態は、にきび汚点又は人為結果のほこり、すなわち空気中または物体と影像センサーの間の光学面上のほこりの存在によって引き起こされた汚点のような、デジタル画像において不必要又は不適当な汚点の除去を含んでいる。かかる汚点は、写真画像中の顔のような予め定義された構造体から、手動操作及び技能無しで、完全に除去されることができる（米国特許公開第２００５／００６８４５２号及び第２００７／００７１３４７号明細書を参照されたい）。汚点除去ユニットは、画像中の構造体として顔領域に対して適合し得る。数学モデルは、削除される構成要素のない構造体を表すサンプル画像を使用して、ＡＡＭのような統計的方法によって生成されることができ、また、画像再構成ユニットは、モデルのフィッティングによって得られた顔領域に対応するパラメータに基づいた顔領域の画像を再構成することができる。画像は、顔領域を再生画像に取り替えることにより生成されることができる。数学モデルが、ほこり又はにきびによって引き起こされた汚点のない人間の顔のサンプル画像から生成されたので、モデルは、そのような汚点を含んでいない。したがって、顔領域に当該モデルを適合させることにより生成された再生顔画像は、そのような汚点を含んでいない。

他の画像処理の実施の形態では、上述されるような或いは本明細書の他に記述されたところの線形テクスチャ又はＡＡＭモデルの特徴部分（ｆｅａｔｕｒｅｓ）は、画像中の粒状性の程度を見つけることにより粒状性を正確に縮小するプログラムと結合して、増強される（米国特許公開第２００６／０２９１７３９号明細書）。パラメータ獲得ユニットは、粒状性の異なる程度における人間の顔を表す複数のサンプル画像を使用して、ＡＡＭの方法によって生成された数学モデルを顔領域に適合させることにより、顔探知装置によって画像中で見つかった顔領域の粒状性の程度を表す主成分のための重み付けパラメータを得ることができる。パラメータ変更ユニットは、目標値を持つためにパラメータを変更することができる。粒状性縮小ユニットは、当該変更されたパラメータに従って顔領域の粒状性を縮小する。

別の実施の形態は、上述されるような或いは本書の他に記述されたところの線形テクスチャ又はＡＡＭモデルの一又は複数の特徴部分（ｆｅａｔｕｒｅｓ）と、特定のＡＡＭ方法を使用して、入力画像の解像度を変換するプログラムとの組み合わせを含む（米国特許公開第２００６／０２８０３８０号明細書を参照されたい）。解像度変換ユニットは、補正の対象とされた画像の解像度の変換のために説明される。顔検出ユニットは、解像度が変換された画像における顔領域の検出のために説明される。再構成ユニットは、顔検出ユニットによって検出された顔領域に、当該画像と同じ解像度を有する人の顔を表すサンプル画像を使用して、ＡＡＭの方法によって生成された数学モデルを適合させ、該適合の後に、当該顔領域を表わす画像を再構成する。このようにして、解像度が変換された画像は得られる。

さらに、本発明は、顔認識システムへの前処理ステップとして適用されることができる。そのような実施の形態では、顔領域は、米国特許第７，３１５，６３１号に記述されるような技術を使用して、獲得された画像内に検出される。これらの技術が使用される場合、さらに、一又は複数のＡＡＭモデルが、決定された顔領域に適用される。

１つの実施の形態では、指向性照明に依存する部分空間の部分であるモデル構成要素は、照明に依存しない成分を残して、単に廃棄される。その後、顔認識は、そのようなフィルターされた構成要素上で行なわれる。必然的に、顔認識は、同様にフィルターされた画像のデータベースについて、最初に訓練される。この技術は、ＤＣＴ，ＰＣＡ，ＧＭＭ，及びＨＭＭベースの顔認識装置を含む、有名な顔認識技術に適用されることができる。

代替的な実施の形態では、指向性照明に依存するパラメータは１セットの平均値に調節され、また、修正された顔領域が作られる。その後、この修正された顔領域は、顔認識エンジンに渡される。

直交する部分空間への姿勢変化の対応する分離は、さらに、他の実施の形態に従って達成される。これは、顔の姿勢及び他のモデルの特徴の同様の分離を可能にする。したがって、姿勢に依存しないやり方での顔領域のある特徴（ら）における変化について記述するＡＡＭモデルの対応するセットは、この実施の形態中で提供される。これらのモデルは、例えば上述されるように、照射に依存しないモデルと結合することができる。

１つの実施の形態では、一又は複数の姿勢に依存するパラメータが１セットの平均値に調節され、修正された顔領域が作られる第１のＡＡＭモデルが適用される。一又は複数の指向性照明に依存するパラメータが１セットの平均値に調節され、第２の修正された顔領域が作られる第２のＡＡＭモデルが適用される。その後、この修正された顔領域は、前面の顔認識装置に供給される。

本発明の典型的な図面及び特定の実施の形態が記述され例証されたが、本発明の範囲は、論じられた特定の実施の形態に制限されるべきでないことが理解されるべきである。したがって、上述の実施の形態は、限定的なものとしてではなく一例となるものとしてみなされるべきであり、また、続く請求項及びそれらの構造・機能的な等価物のような本発明の範囲を逸脱することなく、当業者によって上述の実施の形態において変形例が作られ得ることが理解されるべきである。

さらに、以下の請求項及び／又は本明細書の好ましい実施の形態に従って行なわれ得る方法では、演算は、選択された活版印刷の順序で記述された。しかしながら、この順序は、活版印刷の便宜のために順序付けられるように選択されたものであり、また、当業者によって特定の順序付けが必要なものとして明示的に提供又は理解されない限り、演算を行なうためのどんな特定の順序付けも意味を持っているものとは意図されない。

Claims (15)

1. デジタル画像中で捕らえられた場面内の顔の特徴を決定する方法であって、
   （ａ）各々が指向性照明変化とは無関係に獲得された、異なる個々の顔を含む複数の画像から、各顔に対して中間の形状ベクトル（ｓ）、中間のテクスチャベクトル（ｔ）、及び第１のテクスチャベクトル（ｂ _ｔ ）を含む第１のモデルを作り、
   （ｂ）各々が種々の指向性照明で獲得された画像の各セットから、前記画像に対する前記中間の形状ベクトル（ｓ）及び各々の第２のテクスチャベクトル（ｇ）を含む第２のモデルを作り、
   （ｃ）前記第１のモデルによって広げられた部分空間に前記第２のテクスチャベクトル（ｇ）を投影して、前記画像のセットの各画像に対してフィルタリングされたテクスチャベクトル（ｇ _ｆｉｌｔ ）を提供し、
   （ｄ）前記第２のテクスチャベクトル（ｇ）から前記フィルタリングされたテクスチャベクトル（ｇ _ｆｉｌｔ ）を減算して、前記画像のセットの各画像に対して残余のテクスチャベクトル（ｇ _ｒｅｓ ）を提供し、
   （ｅ）前記残余のテクスチャベクトル（ｇ _ｒｅｓ ）の平均値に基づいた前記画像のセットに対して、各画像に対するテクスチャベクトル（ｂ _ｇ ）を含み前記第１のモデルに直交する第２のモデルを作り、
   （ｆ）各画像に対して前記第１及び第２のテクスチャベクトル（ｂ _ｔ ，ｂ _ｇ ）を結合させて、結合されたテクスチャモデル（ｔ _{ｆｕｓｅｄ} ）を提供し、
   （ｇ）場面内に顔を含むデジタル画像を獲得し、
   （ｈ）場面における顔の初期位置を決定し、
   （ｉ）前記結合されたモデルを前記初期位置に適用して前記顔に対する前記結合されたモデルの適合に基づく能動的な外観を得て、
   （ｊ）前記場面における前記顔への結合されたモデルの得られた適合に基づいて、当該顔の少なくとも１つの特徴を決定し；そして、
   （ｋ）当該決定された特徴を含む補正された顔画像を、電子的に格納し、送信し、顔認識プログラムの適用により編集し、表示し、或いはこれらにつき組み合わせること
   を含む方法。
2. モデル構成要素として固有ベクトルを含み、前記テクスチャの値は前記固有ベクトルの固有値を含む請求項１記載の方法。
3. 前記少なくとも１つの決定された特徴は、指向性照明に依存しない特徴部分（ｆｅａｔｕｒｅ）を含む請求項１記載の方法。
4. さらに、訓練データ集合に基づき且つ周期的なノイズ成分の無い１セットのモデル構成要素を含むオブジェクトのクラスを含んだ第２の線形テクスチャモデルへの、顔の第２の適合を得ることを含み、前記獲得されたデジタル画像から再生像を周期的なノイズ成分無しで生成することを含む請求項１記載の方法。
5. （ｉ）顔と再構築された画像との間の差異を決定することを含む周期的なノイズ成分を抽出し、
   （ｉｉ）ノイズ成分の頻度を決定し、そして、
   （ｉｉｉ）該決定された頻度の周期的なノイズ成分を除去すること
   をさらに含む請求項４記載の方法。
6. さらに、顔と、訓練データ集合に基づき且つ露光量変化についての依存性を示す１セットのモデル構成要素を含むオブジェクトのクラスを含んだ第２の線形テクスチャモデルと、の適合を得ることを含み、前記獲得されたデジタル画像の顔に対する露光量を決定することを含む、請求項１記載の方法。
7. さらに、影によって引き起こされたバックグラウンド領域又は密度コントラスト或いは両方の影響を弱めることを含むことを含める、請求項６記載の方法。
8. さらに、参照テーブルを参照することでフラッシュ制御条件を得て当該フラッシュ制御条件に従って閃光放射を制御することを含み、獲得される前記デジタル画像に正確に照明条件を反映するようにフラッシュを制御することを含む、請求項１記載の方法。
9. さらに、影又は黒圧縮、または白圧縮あるいはこれらの組み合わせによって引き起こされた濃淡の効果を減少させることを含む、請求項８記載の方法。
10. さらに、前記獲得されたデジタル画像の鮮鋭度値を調節又は決定すること或いはこの両方を含み、以下を含む：
    （ｉ）訓練データ集合に基づいて構築され、鮮鋭度変化についての依存性を示すモデル構成要素の部分集合を含むオブジェクトのクラスを含む第２の線形テクスチャモデルを適用し、
    （ｉｉ）前記第２の線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の個々の値を調節することを含み、場面における前記顔への前記第２のモデルの適合を得て、；そして、
    （ｅ）場面中の前記顔への前記第２のモデルの得られた適合に基づいて、第２の線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の値を変更することを含み、顔の鮮鋭度を調節して、さらに調節された物体モデルを生成する
    請求項１記載の方法。
11. さらに、前記獲得されたデジタル画像の顔から汚点を除去することを含み、以下を含む：
    （ｉ） 訓練データ集合に基づいて構築され、そのような汚点を含んでいないモデル構成要素の部分集合を含むオブジェクトのクラスを含んだ第２の線形テクスチャモデルを適用し；
    （ｉｉ）前記第２の線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の個々の値を調節することを含み、場面中の前記顔への前記第２のモデルの適合を得て；そして、
    （ｅ）場面中の前記顔への第２のモデルの得られた適合に基づき、第２の線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の値を変更することを含み、顔から汚点を除去して、さらに調節された物体モデルを生成する
    請求項１記載の方法。
12. 前記汚点は、にきび汚点または他の皮膚汚点、または写真の人為結果を含む請求項１１記載の方法。
13. さらに、前記獲得されたデジタル画像の粒状性値を調節又は決定或いはこの両方を行うことを含み、以下を含む：
    （ｉ）訓練データ集合に基づいて構築され、粒状性変化についての依存性を示すモデル構成要素の部分集合を含むオブジェクトのクラスを含んでいる第２の線形テクスチャモデルを適用し、
    （ｉｉ）前記第２の線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の個々の値を調節することを含み、場面における前記顔への前記第２のモデルの適合を得て；そして
    （ｅ）場面中の前記顔への第２のモデルの得られた適合に基づき、第２の線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の値を変更することを含み、顔の粒状性を調節して、さらに調節された物体モデルを生成する
    請求項１記載の方法。
14. さらに、前記獲得されたデジタル画像の解像度値を変換すること、調節すること、または決定すること、或いはこれらの組み合わせを含み、以下を含む：
    （ｉ）訓練データ集合に基づいて構築され、前記顔としてほぼ同じ解像度を示すモデル構成要素の部分集合を含むオブジェクトのクラスを含んだ第２の線形テクスチャモデルを適用し、
    （ｉｉ）前記第２の線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の個々の値を調節することを含み、場面における前記顔への前記第２のモデルの適合を得て；そして、
    （ｅ）場面中の前記顔への第２のモデルの得られた適合に基づいて、前記第２の線形テクスチャモデルの一又は複数のモデル構成要素の一又は複数の値を変更することを含み、顔の解像度を変換して、さらに調節された物体モデルを生成する
    請求項１記載の方法。
15. デジタル画像を獲得するための光電子工学システムと、
    請求項１乃至１４のいずれか記載の方法に従って、デジタル画像中で捕らえられた場面内の顔の特徴を決定する方法を遂行するようにプロセッサーをプログラミングするための、プロセッサー判読可能なコードを格納したデジタル記憶部と、
    を含むデジタル画像獲得装置。