JP5639478B2 - デジタル画像における顔の表情の検出 - Google Patents

Description

本発明の実施の形態は、概してデジタル画像及びそれのアプリケーションにおける顔の表情を検出する分野に関する。

デジタル画像中の顔の表情を正確かつ自動的に識別することは、非常に困難であることが証明された。顔の画像のおよそ３０％は、様々な顔の表情を有する顔を表わしているスナップ写真のような画像である。従来の顔分類装置が一般的な画像の顔を検出するために使用される場合に、検出における正確さは、実質的に同じ顔の表情を有している画像と比較して、低下する。したがって、先行技術のスキームの顔分類装置は、顔の表情、及び笑顔、しかめ面、などのような特定の顔の表情を正確に検出することができない問題がある。

技術は、取得処理（acquisition process）の一部として一または複数の顔を含む静止画像のカメラ内（in-camera）処理に提供される。かかる技術は、携帯用カメラに関する少なくとも一のデジタル処理で取得された画像内の顔に相当する一群のピクセルを識別することを含む。顔を含む相対的により低解像度画像のコレクションは、カメラ内で生成されたか、捕捉されたか、或いはカメラ内で得られたものであり、その顔は、当該コレクション内で追跡（track）される。当該コレクションの多数の画像の切り出された版（cropped versions）が得られる。顔の笑顔状態情報が、多数の画像に関して蓄積される。顔の統計的な笑顔状態は、蓄積された笑顔状態情報に基づいて分類される。一または複数の笑顔の状態に依存する動作は、かかる分析の結果に基づいて選択される。

顔認識は、多数の画像の１つまたは複数に適用され得る。画像の相対的に短い分類器カスケードは、各々、明確に認識された人の顔を含むようにトレーニングされることができる。かかる相対的に短い分類器カスケードは、明確に認識された人の顔の異なる姿勢及び照明を含むことができる。姿勢及び／又は照明状態は判定され、また、相対的に短い分類器カスケードは、該判定された姿勢及び／又は照明に基づいて調整される。画像取得は、顔が一人の或いは複数の特定の人のものとして認識される又は認識されない場合、及び／又は、当該顔が笑顔を有する又は笑顔を有しないものとして分類される場合に、開始され又は先延ばしにされることができる。

本技術は、顔についての姿勢及び／又は照明状態を判定すること、及び、該判定された姿勢及び／又は照明状態に基づいて調節された顔分類器の特定の設定をトレーニングすることをさらに含むことができる。

前記笑顔状態を統計的に分類することは、一続き（chain）のハール（Haar）及び／又はセンサス（census）特徴（features）を割り当てることを含むことができる。

顔に相当する一群のピクセルを識別することは、前記分類に適用するときと略同一のハール及び／又はセンサス特徴を適用することを含むことができる。

前記切り出された版は、各々、顔を含んでいる又は単に顔の口領域だけを含んでいる画像の領域だけを実質的に含むことができる。

前記分類は、分類結果が笑顔、非笑顔、あるいは不明であることのいずれか一つを含むような閾値化を含むことができる。かかる閾値化は、統計的な笑顔状態を、笑顔である可能性が６０％から９０％の範囲での第１の閾値、または笑顔である可能性が１０％から４０％の範囲での第２の閾値、またはこの両方と比較し、前記６０％から９０％又は該数値を越える範囲が笑顔結果に対応し、前記１０％から４０％又は該数値未満の範囲が笑顔でない結果に対応し、前記１０％から４０％と前記６０％から９０％との間の範囲が不確定の結果に対応することを含むことができる。前記第１の閾値は近似的に８０％とすることができ、また前記第２の閾値は、近似的に２０％とすることができる。

前記分類することは、さらに、相対的により低解像度の画像の前記コレクションのフレームら間の統計的な笑顔差分ベクトルを計算すること、及び、特定の閾値またはより多くの差異が、姿勢、照明、あるいは他の画像パラメータの突然の変化に、あるいは変化する笑顔状態に対応することを判定すること、を含めることができる。前記特定の閾値あるいはより多くの差異の特有の原因が確認され得る。

多数の顔が識別され追跡されることができる。多数の顔の各々に対する笑顔状態情報が分類されることができる。顔の第１の閾値数を越えるものが笑顔でないとして分類され、及び／又は顔の第２の閾値数に満たないものが笑顔であるとして分類される場合に、笑顔依存団体写真動作を開始することができる。かかる笑顔依存団体写真動作は、ユーザに対する警告信号を契機とすること、又は、前記顔の第１の閾値数に満たないものが非笑顔であるとして分類されると、及び／又は顔の第２の閾値数を越えるものが笑顔であるとして分類されると判定するまで団体写真の取得を先延ばしにすること、を含むことができる。

少なくとも１つのデジタル処理で獲得された画像の一以上の顔領域と、相対的により低解像度の画像のコレクションの画像の一以上の最良笑顔領域と、を組み合わせることにより、最良笑顔画像が合成されることができる。かかる最良笑顔領域は、笑顔として分類されるものとして最も高い可能性のある口領域を含むことができる。

デジタル画像を取得するためにレンズと画像センサーを含む携帯用デジタル画像取得装置もさらに提供され、かかる装置は、プロセッサーと、上述した或いは後述する任意の技術を遂行するようにプロセッサーをプログラミングするために埋め込まれたコードを有する一又は複数のプロセッサー読込み可能な媒体とを含む。

一又は複数のプロセッサー読込み可能な媒体は、上述した或いは後述する任意の技術を遂行するようにプロセッサーをプログラミングするために埋め込まれたコードを備えて提供される。

取得処理の一部としての一又は二以上の顔を含む静止画像のカメラ内処理の方法も提供される。携帯用カメラについてのデジタル処理で獲得された少なくとも一の画像内の顔に対応する一群のピクセルが識別される。かかる方法はまた、顔を含み相対的により低解像度の画像のコレクションをカメラ内（in-camera）で生成し、捕捉し、あるいはカメラ内に取得し、相対的により低解像度の画像の前記コレクション内の前記顔を追跡することを含む。かかるコレクションの多数の画像の切り出された版は、顔を含めて獲得される。かかる方法はさらに、多数の画像に関する顔の笑顔状態情報を蓄積することを含む。蓄積された笑顔状態情報に基づいて、顔の統計的な笑顔状態が分類される。かかる分析の結果に基づいて、笑顔状態に依存した一又は複数の動作が選択され及び／又は開始される。

かかる方法は、多数の画像の一又は複数に対して顔認識を適用することを含むことができる。顔についての姿勢又は照明あるいはこの両方が判定されることができる。該判定された姿勢又は照明或いはこの両方に基づいて、顔分類器の特定の設定が調節されることができる。

統計的な笑顔状態の分類は、一続きのハール及び／又はセンサス特徴を割り当てることを含むことができる。

前記切り出された版らは、各々、顔を含む画像の領域だけ、あるいは顔の口領域を含む画像の領域だけを実質的に含むことができる。

前記分類は、分類結果が笑顔、非笑顔あるいは不明であることを含むような閾値化を含むことができる。

分類は、相対的により低解像度の画像のコレクションのフレームら間の統計的な笑顔差分ベクトルを計算すること、及び、特定の閾値またはより多くの差異が、姿勢、照明、あるいは他の画像パラメータの突然の変化に、あるいは変化する笑顔状態に対応することを判定すること、を含むことができる。分類は、特定の閾値またはより多くの差異の特有の原因を確認することを含むことができる。

多数の顔は、識別され追跡され得る。多数の顔の各々に対する笑顔状態情報が分類されることができる。かかる方法は、非笑顔として顔の第１の閾値を越えた数が分類される場合、または笑顔として顔の第２の閾値に満たない数が分類される場合、またはこの両方の場合に、笑顔依存団体写真動作を開始することを含むことができる。

かかる方法は、少なくとも一のデジタル処理で獲得された画像の一以上の顔領域と、前記相対的により低解像度の画像のコレクションの一以上の画像の最良笑顔領域と、を組合せることを含む最良笑顔画像を合成することを含むことができる。

本発明は、実施の形態を例示するために以下のように簡潔に記述された添付図面を参照することにより、最も良く理解されるであろう。
顔を含む静止画像の処理の技術を示す図である。 顔を含む静止画像の処理のさらなる技術を示す図である。 図１の技術を使用して特定の分類化及び識別化の処理を示す図である。 笑顔及び非笑顔の顔の表情分類器をトレーニングするための代替の実施の形態を示す図である。 画像が笑顔の顔を含んでいるかについて、訓練された分類器でテストするための代替の実施の形態を示す図である。 笑顔無しとして分類され正面を見ている顔を示す図である。 笑顔無しとして分類され下を見ている顔を示す図である。

幾つかの実施の形態の詳細な説明

顔の表情（例えば、笑顔）を検出するためのシステム及び方法の他に、そのようなシステム及び方法のためのアプリケーションもまた記述される。この記述では、多数の特定の詳細が説明される。しかしながら、本発明の実施の形態は、これらの特定の詳細を伴わずして実施され得ることが理解されるだろう。他の事例中で、良く知られた構造と技術は、この記述についての理解を不明瞭にしないために、詳細には示されていない。

本明細書全体にわたる「一の実施の形態」あるいは「実施の形態」への参照は、実施の形態に関して記述された特定の機能、構造、あるいは特性が本発明の少なくとも一の実施の形態に含まれていることを意味する。したがって、本明細書の全体にわたる様々な場所での「一の実施の形態における」或いは「実施の形態中の」の句の出現は、必ずしも全て同じ実施の形態を参照する必要はない。さらに、特定の機能、構造、あるいは特性は、１つ以上の実施の形態において任意の適切な方法で組み合わせられ得る。

本発明の実施の形態は、デジタル画像中の顔の表情を検出することが望まれる様々な設定において適用可能である。

特定の実施の形態のために、バイナリー分類器が付与され、各々の顔が認識されるために使用される。すなわち、対象となる顔のサンプルは、顔検出アルゴリズムの動作を通じて獲得され、また、これらのサンプルは、肯定的なサンプルとしてバイナリー分類器に使用される。

図１乃至図３は、典型的な実施の形態に従った笑顔検出器を図示する。最初に図１を参照すると、ブロック１０２で、顔を含んでいるデジタル静止画像が取得される。ブロック１０４で、当該デジタル静止画像中の顔に対応するピクセルのグループが識別される。ブロック１０６で、顔の多数のインスタンス（instance）を含む低解像度画像のコレクションが、カメラ内で生成され、捕捉され、或いはそうでなければカメラ内で得られる。ブロック１０８で、低解像度画像のコレクション内で、顔が追跡される。ブロック１１０で、顔を含むコレクションの画像の切り出された版が取得される。ブロック１１２で、切り出された版に基づいて、顔の笑顔状態情報が蓄積される。ブロック１１４で、顔の統計的な笑顔状態が分類される。ブロック１１６で、１つ又は複数の笑顔状態に依存した動作が開始される。

図２は、ブロック２０２で顔認識を適用することを含む技術を示す。ブロック２０４で、特異的に認識された人間の顔を含む画像の相対的に短い分類器カスケードが訓練される。ブロック２０６で、かかる相対的に短い分類器カスケードのために、特異的に認識された人間の顔の異なる姿勢及び／又は照明が選択される。

図３は、図１の方法において有利に使用され得る特定の動作を示す。ブロック３０２では、ブロック１０４での分類において、一続きのハール及び／又はセンサス特徴が割り当てられる。ブロック３０４で、識別において、ブロック１１４での分類におけるものと略同じようなハール及び／又はセンサス特徴を適用する。

顔検出器カスケードに基づいた笑顔検出器

本発明の実施の形態は、１つの顔を別のものから区別するために使用される新しい分類器のインカメラ・トレーニングを（すなわち、正確な検出分類器を再使用する代わりに）採用する。特定の実施の形態では、バイナリー分類器は、いずれも又はいずれかが認識されるべきである顔らのために構築される。対象の顔のユーザリクエストサンプル上のこのトレーニング手段は、検出アルゴリズムの使用により得られる。その後、これらのサンプルは、肯定的なサンプルとしてバイナリー分類器に使用される。否定的なサンプルは、局所的に格納された、総括的な顔の小さなコレクションから及び／又は他の予め訓練された顔から使用される。その後、相対的に短い分類器カスケードが訓練される。

特定の実施の形態では、かかる処理は、ユーザが将来の認識用に選択する顔のために繰り返され得る。典型的な実況（live）表示モードにおいて、カメラは、追跡アルゴリズムを実行するであろう。新たに検出された顔は、認識データベース中の相対的に短いカスケードの分類器と比較されるであろう。分類器の応答及び信頼度（confidence）の蓄積によって、投票アルゴリズムは、いくつかのフレームに関して、データベース顔のうちの１つを選択するか、あるいは顔が認識設定に属さないと判断するだろう。

特定の実施の形態では、検出処理からの情報は、認識処理を調節するために使用される。そのような一の実施の形態のために、認識処理の調節は、検出器／追跡器に基づいて動的に達成される。

照明状態が分類器の応答を非常に著しく変更することができるので、様々な実施の形態に従って、特定の顔は、沢山の認識プロファイルを有し得る。以前に訓練された顔が特定条件下で正確に認識されない場合、その顔に、自動的に又はユーザ入力でのいずれかで、新たな認識プロファイルが加えられることができる。

一般に、特定の実施の形態は、検出分類器の使用が検出確率（detection probability）に基づいた認識を行なうことを可能にする。すなわち、顔検出器確率出力は、認識装置に対して分類器を再測定（re-scale）するために使用される。そのような一の実施の形態のために、検出器は、顔が「強い」又は「弱い」顔であるかどうか、続いて、表示に従って当該結果が促進されるか抑制されるかを示す。

特定の実施の形態については、笑顔検出は、顔追跡アルゴリズムへの追加（add-on）機能として働く。それは、入力として、長方形のような多角形、或いは正方形、菱形、三角形、円の形状で、或いはそうでなければ同様に、予め計算された不可欠な画像（integral image）及び他の利用可能な写像として、顔領域を受信するであろう。

笑顔検出アルゴリズムは、追跡された各々の顔領域上でバイナリー分類器を実行し、各々の顔が笑顔んでいるか又は笑顔んでいないかを、ある程度の信頼度（confidence）で判定するであろう。答えを提供するのに要求される信頼度のレベルが達しない場合には、顔の笑顔状態は、不確か又は未知であるとして宣言されるであろう。特定の実施の形態では、顔のための必要条件は、それが、０度，９０度，または−９０度に近い面内配向で、正面であることが必要である、ということができる。しかしながら、図６及び図７を参照して後述されるように、異なった姿勢が識別されることが可能であり、また、それらから笑顔状態が判定されることが可能である。

笑顔分類器は、顔検出器としてハール及びセンサス特徴を備えた鎖（chain）と同じ種類のものである。トレーニングの間に、肯定的な笑顔むサンプルと否定的な笑顔まないサンプルを区別することが学習される。これらサンプルは、顔を有する画像について、顔検出器の実行により、及び手動または自動のマーキングに基づく自動的な切り取り（クロッピング）によって得られる顔クロップ（face crop）である。これらサンプルは、わずかな変化を伴って、同一の直立した配向を有することができる。

本システムの代替の実施の形態では、サンプルは、笑顔分類のための大部分の有用な情報を保持する口領域クロップであり得る。そのような代替システムは、実際の分類に先立って、口領域の補足識別を含む。これは、口検出器に基づく機能を遂行し、または、顔の下半分における最大の色彩度領域により或いは別の代替方法により口を識別することによって、行うことができる。この一般的なアプローチは、余分なレベルの不確実性を加えるが、より少ないデータの利用という点で有利となり得る。

トレーニング処理は、顔検出器によって伝達されるような顔領域全体についての笑顔状態を決定することが可能なバイナリー分類器鎖を提供することができる。笑顔検出／分類は、個々のフレーム上で実行されることができるが、信頼度としての幾つかのフレームに亘る論理スパン（logic span）は、特定の顔に一貫した応答を提供するために蓄積されている。特定のフレームにおいては、笑顔分類器は、検出器から直接来る顔長方形（rectangle）（あるいは他の多角形）上でのみ実行する。これは、追跡アルゴリズムが長方形位置を再評価する前に、これらが顔の上に最も集中させられ適合されるからである。笑顔分類器はまた、顔領域の周りのいくつかのわずかに変えられた位置で評価される。

これらの近隣の分類に基づいた信頼度は、要約及び閾値化される。笑顔決定は、正、負、或いは不確定であり得る。分類器評価は、顔検出器を実行するものと同じエンジンによって行われるが、笑顔分類器は、顔分類器の代わりに提供される。フレームのシーケンス中に、トラッキングされた各々の顔に割り当てられた笑顔信頼度パラメータは、各々の正、或いは各々の負すなわち否定的な笑顔応答に対してインクリメントされ或いはデクリメントされる。この信頼度パラメータは、整数とすることができ、笑顔決定が十分に応答し、特定の状態でロックしないような上限及び下限に拘束され得る。信頼度パラメータは、（各フレームあるいは区間で発生する）各笑顔分類の後に更新される。顔に対する最終の笑顔状態出力は、（連続的に出力され得る）各フレームで質問されることができ、整数信頼度パラメータの符号及び絶対値に基づくことができる。

特定の実施の形態に従って、アルゴリズムは、インカメラアプリケーションとして、笑顔の正面顔を検出することができる。かかるアルゴリズムは、顔の表情検出（例えば、笑顔又はしかめ面の検出）に対するデジタルカメラの独立した機能として見なされることができるであろう。ある実施の形態は、笑顔の人の存在に基づいた決定或いは更なる動作を含む装置または方法において使用され、決定アルゴリズムとしてこのアルゴリズムを含めることができる。

代替の実施の形態では、離散的コサイン変換（ＤＣＴｓ：Discreet Cosine Transforms）が使用される。

アルゴリズムのトレーニング部

特定の実施の形態では、検出される顔の表情は、笑顔である。グレースケール画像での２つのデータベースとすることができ、その１つは笑顔のデータベースであり、他方は非笑顔のデータベースである。トレーニング・アルゴリズムは、各々のデータベースに適用される。一の実施の形態では、当該トレーニング・アルゴリズムのステップは、両方のデータベースに対して一致あるいは実質的に同一とされ得る。クロップは、顔検出器から出力されるように、顔全体または単に口領域を、或いは少なくとも口領域を含めた他のサブセットを含めて使用されてもよい。瞬きが検出されている代替の実施の形態では、続いて、単に目領域のクロップが使用されることができ、或いは少なくとも１つ又は両方の目を含む他のサブセットが使用されることができる。

画像は、（例えば、顔検出アルゴリズムによって伝達された、２乗されたクロップとしての）データベースから読み出される。その後、各画像に対して、以下のステップが遂行され得る：
１． 画像を２５×２５ピクセルへ再変換（re-dimension）する。
これは、双線補間（bilinear interpolation）、或いはそうでなければ双立方体（bicubic）のスプラインを使用して達成することができる。
２． 次の２次元離散コサイン変換（2DCT transform）を適用する：
３． 該変換されたマトリックス（Ｏｘに関するピクセル数の２０％とＯｙに関するピクセル数の２０％との積）の左上隅のピクセルを０に設定する。これは、人の特徴に関する低周波係数の削除に相当する。

４． 次の２次元逆離散コサイン変換（2IDCT transform）を適用する：
５． 全ての負の値を０に設定する。
これは、階級区分（グレー（gray）２５５に対する０．．．２５５；標準化された値に対する０．．．１）から外れた値を無視する効果がある。

６． 以下の改善されたヒストグラム平坦化を適用する：
ａ． 各ピクセルについて、その水平、垂直、及び対角線上の隣接ピクセルとの平均値を計算する；
ｂ． それらのグレーレベルの後にピクセルをソートし、続いて、計算された平均値の後にピクセルをソートする；
ｃ． 各ピクセルに新たなグレーのレベルを割り当てる；
ｄ． ピクセルを元の位置で再ソートする。
かかる処理は、従来のヒストグラム平坦化であっても機能するであろうが、結果の質が低下し得る。

７． 画像を（例えばベクトル化を使用して）ベクトルへ作り変える。

全ての画像がベクトルに作り変えられた後に、データベース全体について、次のステップを遂行する：
８． ｋの方法（ｋ−ｍｅａｎｓ）を使用して８つのクラスタ中のベクトルをソートする。これは、有利な概念を得るのに十分な経験的に決定された任意のクラスタリングである。一般に、かかるクラスタリングは、当業者によって評価されるように、異なり得る。
９． クラスタの重心（centroids）を保持する。

トレーニング・アルゴリズムは、オフラインで遂行することができる（すなわち、クラスタの重心は、演繹的に計算し、記憶素子に格納することができる）。

図４は、顔の表情検出技術のトレーニング構成要素の例を示す。ブロック４０２で、笑顔及び非笑顔データベースのためにパラメータが初期化され、また、クラスタの数は８に設定され、さらに、ＤＣＴパラメータは２０％に設定される。

笑顔データベースについて、ブロック４０４で画像が読み込まれる。ブロック４０６で、次元が変換（change）される。ブロック４０８で、上に述べられたような２次元のＤＣＴアルゴリズムが適用される。ブロック４１０で、高周波が保持され、また、左上の隅はゼロに変換（turn）される。ブロック４１２で、上に述べられたような２次元のＩＤＣＴアルゴリズムが適用される。ブロック４１４で、負の値がゼロになされる。ブロック４１６で、例えば上述されたように、ヒストグラム平坦化が遂行される。ブロック４１８で、笑顔データベースにつき終了か否かが判定される。終了でなければ、その後、ブロック４０４で、次の画像が読み込まれる。終了であれば、その後、ブロック４２０で、Ｋの方法（K-means）を使用してクラスタをソートし、ブロック４２２で、笑顔のためのクラスタの方法が計算される。

非笑顔データベースについては、ブロック４２４で、画像が読み込まれる。ブロック４２６で、次元が変換される。ブロック４２８で、上に述べられたような２次元のＤＣＴアルゴリズムが適用される。ブロック４３０で、高周波が保持され、また、左上隅がゼロに変換される。ブロック４３２で、上に述べられたような２次元のＩＤＣＴアルゴリズムが適用される。ブロック４３４で、負の値がゼロになされる。ブロック４３６で、例えば上述されたようなヒストグラム平坦化が遂行される。ブロック４３８で、非笑顔データベースにつき終了か否かが判定される。終了でなければ、その後、ブロック４２４で、次の画像が読み込まれる。終了であれば、その後、ブロック４４０で、Ｋの方法（K-means）を使用してクラスタをソートし、ブロック４４２で、非笑顔のためのクラスタの方法が計算される。

アルゴリズムの検出／テスト部

次のシーケンスは、笑顔あるいは非笑顔（あるいは瞬きなど）の検出を行なうために適用されることができる。
１． １６のクラスタ重心をロードする。
２． 分類される画像を読み込む。
３． 必要であれば、それをグレイスケール画像に変換（turn）する。
４． その画像を２５×２５ピクセルへ再変換（re-dimension）する。
５． ２次元ＤＣＴ変換を適用する。
６． 該変換されたマトリックス（Ｏｘに関するピクセル数の２０％とＯｙに関するピクセル数の２０％との積）の左上隅のピクセルを０に設定する。
７． ２次元ＩＤＣＴ変換を適用する。
８． 負の値を０に設定する。
９． 改善されたヒストグラム平坦化を適用する。
１０． 画像をベクトルに作り変える。
１１． ベクトルと全てのクラスタ重心の間のユークリッド距離を計算する。
１２． 最小の距離を見つける。
１３． そのテスト画像に、最も近いクラスタ内の画像と同じラベル（笑顔または非笑顔）を割り当てる。

特定の実施の形態に対し、クラスタの数（例えば各データベースについての８つのクラスタ）は、変更されることができる。加えて、または代替的に、２次元ＤＣＴの後に０になされたピクセルの数（この場合５ｘ５ピクセル）は、変更されることができる。

図５は、顔の表情検出技術の検出の構成要素の例を示す。ブロック５０２で、図４の例からのクラスタの方法及びテスト画像を含めたデータが入力される。ブロック５０４で、テスト画像が読み込まれる。ブロック５０６で、次元が変換される。ブロック５０８で、上に述べられたような２次元のＤＣＴアルゴリズムが適用される。ブロック５１０では、高周波が保持され、また、左上隅がゼロに変換される。ブロック５１２で、上に述べられたような２次元のＩＤＣＴアルゴリズムが適用される。ブロック５１４で、負の値がゼロになされる。ブロック５１６で、例えば上述されたようなヒストグラム平坦化が遂行される。ブロック５１８で、中心クラスへの距離が計算される。ブロック５２０で、笑顔クラスタに対する最小距離が存在するかどうかが判定される。存在しなければ、その画像は、続くブロック５２２で非笑顔画像として分類される。存在すれば、その画像は、続くブロック５２４で笑顔画像として分類される。

代替的な実装：

本発明の多くの代替の実施の形態が可能であることは、技術に熟練している人々によって評価されるであろう。例えば、原理的な実施の形態は、デジタル画像内の顔領域の笑顔／非笑顔状態を判定する技術について説明する。顔追跡／顔検出器が画像上で実行された場合に、当該分析された画像内の顔領域の位置についての知識が「笑顔検出器」に利用可能になることは言うまでもない。この技術は、計算する十分な資源を与えられた両方のデジタルカメラ内に適用され、部分的にはカメラ内（例えば顔検出）で、また、部分的にはカメラの外部（例えば、伝達及び保存された顔検出情報を使用する笑顔検出）で実装されることができ、或いは、特定の実施の形態では、顔検出処理及び笑顔検出の両方が、予め獲得された画像の後処理で使用される。

本発明がカメラ内に完全に実装される場合、本発明の動作に対する様々な改良が達成されることができる。特に、デジタルカメラは、試写及び／又はポストビュー画像の絶えないストリームを得ることができ、また、当該カメラ内で顔追跡アルゴリズムが具体化される場合、その後、試写ストリームの各フレーム内の判定された顔領域に関する情報は、リアルタイムで利用可能である。現在のアルゴリズムが十分に最適化される場合、それは、顔追跡アルゴリズムの適用と並行して、又は顔追跡アルゴリズムの適用の後に連続して適用されることができる。そのような実施の形態は、（ｉ）笑顔検出処理自体における改良、及び（ｉｉ）付加的な運用上の機能を、カメラのユーザに供給することができる。

アイテム（ｉ）に関して、及びベクトルとクラスタ重心との間のユークリッド距離の計算と、上述した典型的な実施の形態のステップ１１及び１２を通じての最小の距離の検出を参照すると、そのようなリアルタイム笑顔検出アルゴリズムが実装される場合、追跡された顔領域の笑顔／非笑顔状態を計算し、多数の前取得フレームに関するこの状態情報を蓄積することは可能である。これは、顔の笑顔／非笑顔状態の統計分析を可能にし、また、笑顔検出アルゴリズムの正確性を低下させる照明及び／又は顔姿勢の突然の変化のような交絡因子を回避するのに有用である。したがって、笑顔特徴ベクトル（smile feature vector）の突然のフレーム間の変動は、当該ベクトルが安定するまでは無視することができる。

各フレームに対する笑顔特徴ベクトルの計算、及びその笑顔／非笑顔状態の判定を加えた一の実施の形態では、アルゴリズムは、試写／ポストビュー画像ストリームに続くフレーム間の差分ベクトルを計算する。これが特定の閾値よりも大きなところでは、それは、外部照明又は姿勢における突然の変化を示すものと解釈され（それは照明の場合のためのカメラのサブシステムを決定する露光によって、あるいは顔追跡アルゴリズムの顔ロック（face-lock）特性評価によって、確認されることができる）、あるいは、それは、笑顔及び非笑顔状態の間の遷移として解釈されることができる（それらは後の試写／ポストビューフレームの分析によって、確認されることができる）。

代替の実施の形態では、笑顔特徴ベクトルの移動平均値が計算されることができ、また、この平均化された特徴ベクトルは、多数の試写フレームにわたる顔領域の笑顔／非笑顔状態を判定するために使用される。

さらなる他の実施の形態では、現在の笑顔特徴ベクトルと、最も近い笑顔重心（smile centroid）及び最も近い非笑顔重心（no-smile centroid）の両方との間の距離が、各試写フレームに対して計算される。これらの２つの距離間の比率は、幾つかのフレームに関して統計的に分析され、単に笑顔／非笑顔状態評価というよりはむしろ、笑顔／非笑顔確率評価を決定するために使用される。したがって、笑顔特徴ベクトルが最も近い笑顔重心から０．２の規準化距離及び最も近い非笑顔重心から０．８の距離である場合、それは、８０％の可能性で笑顔であり又は２０％の可能性で笑顔ではない。この実施の形態に関する変形では、規準化距離の対数（log）は、規準化距離自体ではなく、確率を計算するために使用される。

上記のアイテム（ｉｉ）に関して、笑顔検出処理が試写／ポストビューストリーム上で操作可能なところでは、追跡された顔領域の状態遷移を監視することが可能である。これは、例えば、試写フレーム中の全ての人が笑顔であると判定されるときに画像が捕らえられる場合、改善された「団体写真（group shot）」機能を実装するカメラを実現することができる。

他の実施の形態では、カメラは、１人以上の人が笑顔でない場合に警告信号音を出すことができ（「笑顔保証」機能）；または、全員（あるいは複数又は特定のパーセンテージ又は特定の数）が笑顔であると判定されるまで画像取得を遅らせることができる。

付加的画像の再構成及び／又は合成及び／又は超解像アルゴリズムがカメラ内で利用可能な実施の形態では、結果として、最終的に合成された画像が、検出された各々の顔に対する「最良の笑顔」を表すことを保証するために、一以上の試写フレームからの顔領域、或いはそれに関する部分は、主獲得画像と結合されることができる。笑顔の質の判定は、上述されるような笑顔／非笑顔確率を使用して達成され得る。

笑顔／非笑顔状態に関するメタデータまたは笑顔確率は、適切に追跡された顔領域に関する他の情報とともに格納／保存されることができる。

図６及び図７は、さらなる実施の形態を例証する。図６及び図７に示された写真の両方において、被写体は、笑顔んでおらず且つ瞬きしていない。図６において、笑顔では無く瞬きも無い被写体の状態は、様々な幾何学的及び／又は学習技法を使用することが検出され得る。しかしながら、劣等の技術は、たとえ被写体が微笑んでおらず且つ瞬きもしていなくても、図７において笑顔み瞬きしているものとして被写体を誤って検出する傾向があり得る。図７で被写体が下方を見ているので、被写体の唇は、傾いていない姿勢である正面の顔に笑顔む口がちょうど現われるように、外見からは上方へ曲げられるように見えることができる。図７において、彼女の眼球のいかなる部分も現れていないので、被写体は、瞬きしているか、眠っているか、そうでなければ彼女の目が閉じているようにも見え得る。

目と口の三角形（より多くのフレームについての顔追跡アルゴリズムによって滑らかにされたもの）に基づいて、顔の配向が、平面内（ＲＩＰ）に及び平面外（ＲＯＰ）にあるかどうかは、この実施の形態において判定される。この情報に基づいて、笑顔の承認／拒絶の閾値は、この実施の形態で動的に調節される。

かかる笑顔検出閾値は、異なる回転または平面（ＲＩＰ）角度で緩められる（relax）ことができる。あるいは、笑顔検出は、（クロップ画像あるいは分類器を回転させることによる）正確な角度で適用されることができ、０（＋／−５）度で、より強い笑顔分類器を備えることができる。［注：ここで、それらは、トレーニング処理＝＞０（＋／−２０）度でより緩められる。］

顔が上下を向いている場合（ピッチ回転）、より強い笑顔検出閾値が置かれることができる。注：そうでなければ、上下を向いている顔は、大きな割合での誤った笑顔検出に結びつく傾向があり得る。

これと同様の考えは、動的な瞬きの承認／拒絶の閾値を調節するために、適用することができる。

応用例

上述したように、デジタル画像中の笑顔を検出する本発明の実施の形態のための多くの応用例がある。さらなる応用例は、２つ以上のセンサーがデジタル画像取得装置内に実装される場合に可能である。本発明の１つの実施の形態に従って、少なくとも１つの追加のセンサーが装置内に実装され、そのセンサーがユーザ（例えば写真家）に対面する場合、その写真家が画像を得る過程において、当該写真家の画像を得ることができる。そのような実施の形態は、ユーザによって獲得した画像のみならず、写真家をも含む二部作（diptych）の産出を可能とする。

顔の表情検出で使用されたとき、そのような実施の形態は、ユーザ（例えば写真家）の特定の顔の表情（例えば笑顔）の認識または検出に基づいた画像を得る画像取得装置を許可することができる。これは、縮小される典型的な押しボタン式画像取得方法に関連した動作を許可する。

同様に、本発明の実施の形態は、獲得された画像、或いはユーザまたは後の再視者の顔の表情に基づいて獲得されているときの画像を、再調査し分類するために使用されることができる。例えば、写真を再視する人（達）の（感情を示す）顔の表情が検出される。再視する人（達）が笑顔であれば、当該画像は、保持者（keeper）または好ましい画像として自動で認識される。当該画像が時間とともに多数の「笑顔」再視者を得る場合、その好ましい得点が上がる。好ましい画像のリストは、好ましい画像が再生モードとしてより劣った好ましい画像の上の最初に存在するカメラにおいて、再生のために使用されることができる。

特定の実施の形態について、顔の表情検出に基づいた情動測定のこの概念は、以下のように拡張される。笑顔及び他の顔の表情は、タグ付けすること、パーソナルコンピュータ、文書（document）、動画（video）、エントリー・ポイントを確立すること、あるいは動画への関心のあるタグのために使用される。そのようなＰＣアプリケーションは、例えばパーソナルコンピュータの表示部に搭載されたカメラのために達成されることが可能である。

特定の実施の形態に従い、データ処理は、デジタル処理システム（ＤＰＳ：Digital Processing System）を使用する。かかるＤＰＳは、デジタル画像及び動画を含む複数の様々なタイプのデジタル情報を格納し、処理し、かつ通信するために構成され得る。

上に議論されるように、本発明の実施の形態は、デジタル処理能力を有するＤＰＳまたは装置を使用し得る。そのようなシステムの典型的な構成要素は、中央処理装置（ＣＰＵ）、メインメモリ、静的（static）メモリ、及び大容量記憶装置に接続された信号処理部を含んでいる。メインメモリは、本発明の動作を達成するために様々なアプリケーションを格納し得るものであり、一方、大容量記憶装置は、様々なデジタル・コンテンツを格納し得る。

さらに、ＤＰＳは、入力／出力（Ｉ／Ｏ）装置及びオーディオ／ビジュアル装置に接続され得る。ＣＰＵは、当該処理システムのための情報及び／又は信号を処理するように使用されてもよい。メインメモリは、ＣＰＵによって使用される情報あるいは命令（プログラム・コード）の格納のための、ランダム・アクセス・メモリ（ＲＡＭ）あるいは他の何らかの動的記憶装置であり得る。静的メモリは、ＣＰＵによって使用される情報あるいは命令の格納のための読み出し専用メモリ（ＲＯＭ）及び／又は他の静的記憶装置であり得る。大容量記憶装置は、処理システムのための情報あるいは命令を格納するための、例えば、ハードディスクドライブ、光ディスクドライブ、或いはファームウェアであり得る。

〔一般的事項〕

本発明の実施の形態は、デジタル画像中の顔の表情を検出し判定するための方法と装置を提供する。

本発明の実施の形態は、様々な動作（operation）を含んでいるものとして説明された。処理（process）の多くは、それらの最も基本的な形式で記述されるが、動作は、本発明の範囲を逸脱することなく、増加させることができ、或いは任意の処理から省略することができる。

本発明の動作は、ハードウェア構成要素によって遂行され得るもの、或いはコンピュータ実行可能な命令で具体化され得るものであり、汎用用途又は専用用途のプロセッサー、あるいは命令を備えてプログラムされた論理回路に当該動作を遂行させるように使用されることができる。あるいは、かかるステップは、ハードウェアとソフトウェアの組み合わせによって遂行され得る。本発明は、本発明による処理を遂行するようにコンピュータ（あるいは他の電子装置）をプログラムするために使用され得る命令を格納したコンピュータ読み出し可能な媒体を含み得る、コンピュータプログラム製品として提供され得る。かかるコンピュータ読み出し可能な媒体は、フロッピー・ディスク、光ディスク、ＣＤ−ＲＯＭ、及び光磁気ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光カード、フラッシュメモリ、あるいは電気的な命令を格納するのに好適な他の種類の媒体／コンピュータ読み出し可能な媒体を含み得るが、これに制限されるものではない。加えて、本発明は、さらにコンピュータ・プログラム製品としてダウンロードされ得るものであり、かかるプログラムは、通信セル（例えばモデムまたはネットワーク接続）経由による搬送波または他の伝搬媒体で具現化されたデータ信号経由で、遠隔のコンピュータから要求しているコンピュータまで転送され得る。全ての動作が同一の中央の場所（site）で遂行され得るし、或いは、択一的に１つ以上の動作が他の場所で遂行され得る。

Claims (25)

1. 携帯用カメラについてのデジタル処理で獲得された少なくとも一の画像内の顔に対応する一群のピクセルを識別すること；
   顔を含む画像のストリームを獲得すること；
   前記携帯用カメラで画像のストリームが獲得される間に以下のステップをリアルタイムで遂行すること；
   前記画像のストリーム内の前記顔を追跡すること；
   画像のストリーム内の複数の区間内の各区間に対する遂行として、
   前記区間に対して笑顔分類を決定し、及び、
   前記笑顔分類に基づいて、信頼度パラメータを更新し、
   前記複数の区間の各々に対する信頼度パラメータを更新した後に、前記信頼度パラメータの値の符号及び絶対値の少なくとも一部に基づいて、笑顔決定を行い、
   前記複数の区間の各々の区間は、前記画像のストリームからの１以上の画像を含み、
   前記笑顔決定の結果に基づいて選択された一以上の笑顔状態に依存した動作を開始すること
   を含む、取得処理の一部としての一以上の顔を含む静止画像のカメラ内処理の方法。
2. 前記画像のストリームの多数のフレームの一以上内の顔に顔認識を適用することをさらに含む請求項１記載の方法。
3. 前記顔についての姿勢又は照明のいずれか或いは両方を判定し、該判定された姿勢又は照明或いはこの両方に基づいて調節された顔分類器の特定の設定をトレーニングすることをさらに含む請求項１記載の方法。
4. 前記笑顔決定を行うステップは、一続きのハール及び／又はセンサス特徴を割り当てることを含む請求項１記載の方法。
5. 顔を含む画像の領域だけを実質的に含む、前記画像のストリームの多数のフレームの各々の顔の切り出された版を獲得することをさらに含む請求項１記載の方法。
6. 前記切り出された版は各々、顔の口領域を含む画像の領域だけを実質的に含む請求項５記載の方法。
7. 前記笑顔決定を行うステップは、笑顔決定結果が笑顔、非笑顔あるいは不明であることを含むような閾値化を含む請求項１記載の方法。
8. 前記笑顔決定を行うステップは、さらに、前記画像のストリームの前記フレームら間の統計的な笑顔差分ベクトルを計算すること、及び、特定の閾値またはより多くの差異が、姿勢、照明、あるいは他の画像パラメータの突然の変化に、あるいは変化する笑顔状態に対応することを判定すること、を含み、
   前記笑顔決定を行うステップは、さらに、前記特定の閾値またはより多くの差異の特有の原因を確認すること、を含む請求項１記載の方法。
9. 多数の顔が識別及び追跡され、多数の顔の各々に対する笑顔決定が行われ、
   さらに、前記笑顔決定で、顔の第１の閾値数を越えるものが笑顔でないとして分類され、または顔の第２の閾値数に満たないものが笑顔であるとして分類され、または、この両方の場合に、笑顔依存団体写真動作を開始すること、
   を含む請求項１記載の方法。
10. デジタル処理で獲得された画像の前記ストリームの一以上の顔領域と、前記画像のストリームの一以上の画像の最良笑顔領域と、を組合せることを含む最良笑顔画像を合成することをさらに含む請求項１記載の方法。
11. 各々が明確に認識された人の顔を含む画像の相対的に短い分類器カスケードをトレーニングすること
    をさらに含む請求項２記載の方法。
12. 前記相対的に短い分類器カスケードは、前記明確に認識された人の顔の異なる姿勢又は
    照明、あるいはこの両方を含む請求項１１記載の方法。
13. 前記顔に対する笑顔決定が笑顔又は非笑顔あるいはこれらの組合せである場合に、画像取得を開始又は先延ばしにすること
    をさらに含む請求項２記載の方法。
14. 前記顔が、明確に認識された人として認められない又は前記顔に対する笑顔決定が笑顔でない場合に、画像取得を先延ばしにすること
    をさらに含む請求項２記載の方法。
15. 前記顔が、明確に認識された人として認められる及び前記顔に対する笑顔決定が笑顔である場合に、画像取得を開始すること
    をさらに含む請求項２記載の方法。
16. 前記笑顔依存団体写真動作は、ユーザに対する警告信号を契機とすること、又は、前記顔の第１の閾値数に満たないものに対する笑顔決定が非笑顔である、または顔の第２の閾値数を越えるものに対する笑顔決定が笑顔である、あるいはこの両方の場合であると判定するまで、団体写真の取得を先延ばしにすること
    を含む請求項９記載の方法。
17. 前記最良笑顔領域は、笑顔として分類されるものとして最も高い可能性のある口領域を含む請求項１０記載の方法。
18. 前記顔に相当する一群のピクセルを識別することは、前記笑顔決定を行うステップに適用するときと略同一のハール及び／又はセンサス特徴を適用することを含む請求項１記載の方法。
19. 前記閾値化は、前記信頼度パラメータを、笑顔である可能性が６０％から９０％の範囲での第１の閾値、または笑顔である可能性が１０％から４０％の範囲での第２の閾値、またはこの両方と比較し、前記６０％から９０％又は該数値を越える範囲が笑顔結果に対応し、前記１０％から４０％又は該数値未満の範囲が笑顔でない結果に対応し、前記１０％から４０％と前記６０％から９０％との間の範囲が不確定の結果に対応することを含む請求項７記載の方法。
20. 前記第１の閾値は近似的に８０％であり、前記第２の閾値は近似的に２０％である請求項１９記載の方法。
21. 前記複数の区間の各区間は、単一のフレームを含む請求項１記載の方法。
22. 前記笑顔決定を行うステップは、前記複数の区間の各区間の後に遂行される請求項１記載の方法。
23. 前記区間に対して行われる笑顔分類に基づく信頼度パラメータの更新は、
    前記区間に対してなされた前記笑顔分類が肯定的笑顔応答を示す場合に、前記信頼度パラメータを増加させること、及び、
    前記区間に対してなされた否定的笑顔応答を示す場合に、前記信頼度パラメータを減少させること、
    を含む請求項１記載の方法。
24. デジタル画像を取得するためのレンズ及び画像センサーを含む携帯用デジタル画像取得装置であって、プロセッサーと、請求項１乃至２３のいずれか一記載の取得処理の一部として一又は複数の顔を含む静止画像のカメラ内処理の方法を遂行するように前記プロセッサーをプログラミングするために埋め込まれたコードを有する一又は複数のプロセッサー読込み可能な媒体と、を含む装置。
25. 請求項１乃至２３のいずれか一記載の取得処理の一部として一又は複数の顔を含む静止画像のカメラ内処理の方法を遂行するようにプロセッサーをプログラミングするために埋め込まれたコードを有する一又は複数のプロセッサー読込み可能な非一時的な媒体。