JP4970469B2 - デジタル画像を選択的に不適格とする方法及び装置 - Google Patents

Description

［関連出願の相互参照］
本願は、米国仮特許出願番号60/776,338（2006年2月24日出願）及び11/460,218（2006年7月26日出願）に基づく優先権を主張する。本願は、同じ発明者を構成すると共に共通の譲受人を有し、同日付けで出願された発明の名称が「DIGITAL IMAGE ACQUISITION CONTROL AND CORRECTION METHOD AND APPARATUS」、米国出願番号11/460,225（2006年7月26日出願）及び発明の名称が「METHOD AND APPARATUS FOR SELECTIVE REJECTION OF DIGITAL IMAGES」、米国出願番号11/460,227（2006年7月26日出願）の関連発明の一つである。
本発明は、デジタル画像の取得に関し、特に１以上の満足できない顔付きが画像中に存在すると、永久的な画像へ処理するための候補としては不適格なシーン（場面）とすることに関する。

カメラは、有能な計算ツールになっている。特に、本願の譲受人であるフォトネーション社は、多くの有利な顔検出ツールを開発した。これらのいくつかは、米国特許出願番号10/608,776、10/608,810、10/764,339、10/919,226、11/182,718及び11/027,001に開示されており、そして参考文献として本願に組み入れられる。

これは、写真を撮影する際に使われるトリガーとは異なるものである。またこれは、事象（例えば、微笑）が起こるか起こらないかを待っているのとも異なる。米国特許番号6,301,440には、一時的な画像分析に基づいて画像キャプチャーパラメータを調節すること、及び一時的に取得した画像において誰もが微笑むまで写真を撮るのを待つことが開示されている。カメラは、このような起こるか起こらないか分からない一定の事象を待たなくてはならない。写真を撮る前にカメラが最適なシーンを決めるために人々を待たせることはしばしば喜ばれないし、そのようなジレンマを軽減する‘４４０特許の記述はない。‘４４０特許は、また、シーンの中でどのようにして一定の顔付きを検出また決定するかについての案内は全く提供していない。

被写体がカメラの視野に入るときに写真を撮る保安用カメラもある。これらは一般的に、停滞したシーンにおける動作又は突然の変化を検出する。

カメラの画像取得制御として、不満足なシーンを不適格にする方法が提供される。キャプチャーした画像の内容を解析することは、画像を取得すべきか或いは破棄すべきかを判定する。一つの例は、人の顔を含む。目が閉じられているか、部分的に閉じているか、瞬き行為において閉じようとしているか或いは開こうとしているかに基づき、不満足な画像であるか判定される。或いは、しかめっ面，顔を手で覆う，他の人と重なり合う，顔の特徴又はシーンの他の重要な特徴を影が覆う，カメラとは違う方向を向くなど、他の望まれない又は不満足な表情又は行動が検出される。

顔の領域を含むシーンの現在の画像がキャプチャーされる。目の領域，又は顔の領域内の口など、関心のある領域に対応する１以上のピクセルの群が特定される。

瞬きを検出する場合、目の領域が瞬き行為をしているかどうか判定される。瞬きをしていると判定した場合、そのシーンは、瞬きが完了するまでは永久画像へ処理する候補としては不適格であるとみなされる。

現在の画像はプレビュー画像を含み、不適格とすることは、そのシーンの画像をフル解像度でキャプチャーするのを遅延することを含む。遅延することは、所定の待時間が経過すると、不適格にするのを終了することを含む。

プレビュー画像を利用することができる。これは、キャプチャーした画像中に目が在るかなど、関心のある領域（ＲＯＩ）の兆候を提供することが可能である。これは、プレビュー画像の解析により提供される空間情報に基づいて、口又は目の最終的な画像を素早く検索することを提供する。

遅延することは、瞬きがいつ完了し、瞬きが完了するおおよその時間によって、不適格とする期間がいつ終了するのかを予測することを含むことができる。予測することは、シーンの中の瞬き行為が完了する時点を判定し、瞬きが完了するまでの残時間を演算することを含むことができる。演算は、予め決めた完全な瞬き行為の期間の中の、完全な瞬き行為の残時間を僅かな割合で増やすことを含むことができる。予め決めた完全な瞬き行為の期間は、平均的な瞬き行為の期間に基づいて設定されることができ、及び／又は、そのシーンの瞬きが開始してから現在までの時間と完全な瞬き行為の期間の時点を表す割合を考慮した推定に基づいて決めることもできる。推定は、現在のプレビュー画像に関連する１以上の以前のプレビュー画像の一時的キャプチャーパラメータを分析することに基づくことができる。前記割合は、現在のプレビュー画像の瞬きしている目が開こうとしているのか或いは閉じようとしているのか、及び目の開閉の程度の判定を含めて決定することができる。

目が瞬きしているかどうかの判定は、目の開閉の程度を判定することを含むことができる。目の開閉の程度の判定は、現在のプレビュー画像と完全な瞬き行為の期間内に取得した１以上の他のプレビュー画像を相対的に分析した結果に基づいて判定することができる。目が瞬きしているかどうかの判定は、片方又は両方の瞼のぼやけ（blurriness）の程度を判定結果に基づいて判定することができる。その判定は、表示されている瞳，眼球の虹彩，片目又は両目の瞼又は白目の部分、或いはこれらの組合せを判定することで、行うことができる。目の色分析を実行することができ、及び、瞼の色調に対応するピクセルを虹彩の色調又は瞳の色調又は白目の色調、又はこれらの組み合わせに対応するピクセルから区別化することができる。目の形状分析を実行することができ、及び、瞼の形状に対応するピクセルを虹彩の形状又は瞳の形状又は白目の形状、又はこれらの組み合わせに対応するピクセルから区別化することができる。

現在の画像は、フル解像度でキャプチャーした画像を含むことができる。不適格とすることは、現在の画像に対する更なる処理を差し控えることを含むことができる。目が瞬きをしているかどうかの判定は、目の開閉の程度を判定することを含むことができる。この判定は、現在のプレビュー画像と完全な瞬き行為の期間内に取得した１以上の他のプレビュー画像を相対的に分析した結果に基づいて判定することができる。目が瞬きしているかどうかの判定は、片方又は両方の瞼のぼやけ（blurriness）の程度を判定結果に基づいて判定することができる。

方法は、表示されている瞳，眼球の虹彩，片目又は両目の瞼又は白目の部分、或いはこれらの組合せを判定することを含むことができる。目の色分析を実行することができ、及び、瞼の色調に対応するピクセルを虹彩の色調又は瞳の色調又は白目の色調、又はこれらの組み合わせに対応するピクセルから区別化することができる。目の形状分析を実行することができ、及び、瞼の形状に対応するピクセルを虹彩の形状又は瞳の形状又は白目の形状、又はこれらの組み合わせに対応するピクセルから区別化することができる。

現在の画像は、フル解像度でキャプチャーした画像を含むことができる。方法は、現在の画像からのピクセルと、別の画像からの瞬きしている目に対応する開いた目のピクセルを含む合成画像を組み立てることを含むことができる。別の画像は、プレビュー画像又はポスト−ビュー画像を含むことができる。別の画像は、現在の画像よりも低い解像度であり、合成画像の組み立ては、前記別の画像をアップサンプルするか、又は現在の画像をダウンサンプルするか、或いはこれらの組合せをすることを含むことができる。方法は、開いた目のピクセル領域と瞬きしている目の領域とが一致するように、現在の画像と前記別の画像を位置合わせすることを更に含むことができる。

本発明は、例えばビデオストリームのようなストリームを構成する画像の中から選択的に画像を抜き出して不適格にするように実行することもできる。

目の領域は、顔の領域を識別し、口又は目の領域を判定するために顔の領域を解析した結果に基づいて特定される。

新たな画像は、不適格にされた現在の画像の代わりとしてキャプチャーされる。

一対の画像がキャプチャーされ、少なくとも一方の画像に瞬きが含まれていないことを判定するために解析される。

複数の画像をキャプチャーする間隔は、一回の瞬きの時間よりも長くなるように演算されることができる。

もう一枚写真を撮る必要があるかもしれないことに撮影者が気づくように、瞬きに関する警告信号を提供することができる。

本発明は、種々の選択肢の一つとして、例えばグループショットなどのように一つの画像中の１以上の顔に対して適用することができる。別の顔の第２の目が、そのシーン内で特定される。更なる目の領域を、そのシーン内で特定することもできる。第２の目の領域が、瞬き行為をしているかどうか判定される。瞬きをしていると判定した場合、方法は、第２の目の瞬きが完了するまで、永久画像へ処理する候補としてそのシーンは不適格であるとみなすことができる。シーン内の各顔領域の目の領域に瞬きがなくなるまでは、フル解像度の画像をキャプチャーすること又は更なる画像処理を行うことは不適格であるとみなされる。

さらに方法は、カメラの画像取得制御として、不満足なシーンを自動で不適格にするために提供される。方法は、複数のプレビュー画像を取得することを含む。情報は、複数のプレビュー画像から抽出される。複数の一時的に取得した画像（テンポラリ画像）間で、シーン中の１以上の変化が解析される。解析結果に基づき、１以上の不満足な特徴がシーン内に存在するかどうか判定される。１以上の不満足な特徴が存続している間は、そのシーンは永久画像へ処理する候補としては不適格であるとみなされる。

分析は、不満足な形態をしている顔の特徴に対応する１以上のピクセルの群を特定すること含むことができる。１以上のピクセルの群は目の群を含み、不満足な形態は瞬きの形態を含むことができる。１以上のピクセルの群は口の群を含み、不満足な形態はしかめっ面の形態を含むことができる。不適格とみなす間隔は、永久画像が取得されるための処理がなにも行われない期間に決められる。

分析は、不満足な形態をしている顔の特徴に対応する１以上のピクセルの群を特定すること含むことができる。１以上のピクセルの群は、顔を手で覆ったり、カメラとは違う方向を向くなど、閉鎖状態を含むことができる。

プロセッサで読み取り可能なコードを有し、１以上のプロセッサで読み取り可能な記録媒体も提供される。プロセッサを読み取り可能なコードは、上述又は後述するように、１以上のプロセッサが、カメラの画像取得制御として不満足なシーンを不適格にする方法を実行するためにプログラミングされる。プロセッサは、カメラ又は外付けの取得装置の一部として組み込まれている。取得装置は、携帯カメラ，静止カメラ，ビデオカメラ，撮影装置を備えた携帯電話，撮影装置を備えた携帯機器，キヨスクブース，肖像写真として使用されるようなカメラ，保安又は識別又は一般的に使用される特定の肖像写真用カメラ，その他のいずれの画像取得装置であってもよい。

図１は、好ましい実施形態に従って瞬きしている目を含む場面を不適格にする方法を示す。 図２は、好ましい実施形態に従って瞬きが完了する間隔を予測する方法を示す。 図３は、好ましい実施形態に従って目の開閉の程度を判定する方法を示す。 図４ａは、好ましい実施形態に従って画像に対する更なる処理を差し控えるかどうか判定する方法を示す。 図４ｂは、好ましい実施形態に従って合成画像を組み立てる方法を示す。 図５は、画像中に発見した目に基づいて画像を訂正するワークフローの好ましい実施形態を示す。 図６ａは、好ましい実施形態に従って、画像の取得を遅らせるために画像中の目情報を利用する一般的なワークフローを示す。 図６ｂは、好ましい実施形態に従って、画像を出力する前に画像レンダリングパラメータを調整するために、単一又は複数の画像の顔情報を利用する一般的なワークフローを示す。 図７ａは、１以上の好ましい実施形態に従う顔，目又は口の検出，或いはこれらの組合せの検出を示す。 図７ｂは、１以上の好ましい実施形態に従う顔，目又は口の検出，或いはこれらの組合せの検出を示す。 図７ｃは、１以上の好ましい実施形態に従う顔，目又は口の検出，或いはこれらの組合せの検出を示す。 図７ｄは、１以上の好ましい実施形態に従う顔，目又は口の検出，或いはこれらの組合せの検出を示す。 図８ａは、１以上の好ましい実施形態に従い、瞬きを検出して訂正する方法を示す。 図８ｂは、取得プロセスの一部として瞬きしているかどうかをカメラ内で判定し、画像をキャプチャーするか，破棄するか又は保存するかを決定し、或いは瞬きしている目の領域を開いた目に置換するかどうかを決定する、好ましい実施形態に従うシステムの一例を説明する。 図９は、１以上の好ましい実施形態に従って目の検出結果に基づく取得プロセスの一部として、カメラでのオートフォーカス機能を示す。

システム及び方法は、好ましい実施形態及び他の実施形態に従って説明される。これらの技術は、ミスショットを回避することと同様に、機能性を強化してユーザービリティーを改善することを提供する。これと共に、デジタルカメラは、被写体の表情が不適格，不満足，或いは望まれないものであるかについて判定することが可能である。一つの例として、目の瞬きがあり、その他としてはしかめっ面，重なり合い，影で覆われることが含まれる。画像キャプチャー装置は、写真を撮ること、撮影を適当な時間遅延すること、すぐさま他の写真を撮ること、カメラ使用者に警告すること、又は、不満足な画像の質を高めるための処置を行うこと、或いは、これらの組合せ又は他の処置を行うことができる。カメラは、約３００ミリ秒のような一定時間、又は瞬きをする平均的な時間間隔、又は瞬きが終わっていることが検出されるまで、他の写真を撮ることを遅延することができる。ユーザーは、写真を撮る前又は写真を撮った後に、被写体の目が閉じていたか或いは半分閉じていたことの警告を受けることができる。

目が閉じているか或いは部分的に閉じている場合、不適格な画像が予測システムに提供される。システムは、いつまで写真を撮ることができないか、すなわち検出した瞬き行為が進行して終わるまでの時間を予測する。不適格な画像は、カメラ又は外付け装置のポスト−キャプチャーフィルタリング処理のみで既に不適格にされているかもしれない。システムは、１以上の瞬きしている目を含むことによって１以上の画像が不適格にされないようにする確率を高めるために複数の写真を撮ることができる。このようなシステムは、被写体の数が増加するに従って被写体の一人が瞬きをする確率が増加するグループショットの場合に役立つ。システムは、画像中の顔の数に基づき、少なくとも一つの画像に瞬きが全くない確率が、例えば５０％，６０％，６７％，７０％，７５％，８０％，９０％，９５％の閾値を超えるように、連続して取得する画像の数を自動的に決めることができる。

画像は、現在の画像とプレビュー、ポスト−ビュー又は他のフル解像度画像の合成画像として生成することができる。例えば合成画像は、顔領域と背景像を含むことができ、現在の画像中の不満足に閉じている又は部分的に閉じている片方又は両方の目領域は、プレビュー，ポスト−ビュー又は他のフル解像度画像からの片方又は両方の開いた目領域と置換することができる。この特徴は、米国特許出願10/608,776に開示されている特徴と組み合わせることができ、そしてそれは本願と同じ譲受人に譲渡され、参考文献として本願に組み入れられる。‘７７６特許において、顔検出を使用するデジタル画像処理の方法は説明されている。デジタル画像内の顔に対応するピクセルの群が識別される。デジタル画像内の他の特徴に対応する第２のピクセルの群が識別される。再結合した画像は、顔と他の特徴のうちの少なくとも一つの新しいピクセルの群を含めて決定される。

本実施形態は、一般にデジタル画像又はシーン（例えば、画像をキャプチャーする前又は既にデジタル的にキャプチャーされている）の中の一つの顔、そして一般に“目”に関して説明する。しかしながら、これらの説明は、一つの顔の両目、及び１以上の顔（グループショット）に拡張することができ、そしてカメラは、１又は２，３，４又はそれ以上の一定の目が瞬きをしていると判定されたならば、そのシーンを不適格とみなすことができる。カメラは、全て又は殆どの被写体の片目又は両目が開いている状態になるまで、ここに又は他に記述されているような不適格にする処理及び／又は他の処理を実行することが可能である。

本実施形態において、カメラは、被写体が瞬き行為を完了したすぐ後に写真を撮ることができる。本システムは、目を閉じている被写体を含む画像を不適格とするのに使用することができ、瞬きしている画像ばかりになるのを防止するために複数の画像を撮ることができる。おそらく複数の画像の少なくとも一つには被写体が目を開いたものが写っているであろうから、被写体が瞬きをしていない単一画像へ合成したピクセルの混合体をなす写真を有することができる。カメラは、画像中の被写体の数に基づいて、取得する画像の数を決めることができる。より人数が多くなると、その中の一人が瞬きをする確率が高くなるので、その分だけ多くの画像を取得しなくてはならない。大きなグループショット内で瞬きをしている人の一定の割合、例えば５％以下が許容可能であるならば、その分だけ取得する画像の数を減らすことが可能となる。これら閾値及び許容割合は、カメラ製品メーカー，プログラム開発者，又はデジタル画像取得装置のユーザーによって選択することができる。この情報は、プレビュー画像の解析結果に基づいて生成することができる。プレビュー画像は、プレビューの解析によって決定した関心のある領域に対してポスト処理分析がより素早く進行できるよう目の位置を決定する際の援助となることもできる。

本システムは、写真が撮られないか又は利用されない又は既に撮った写真に更なる処理が行われない状態、及び／又は、不満足な画像に代わる追加の画像が取得されない状態を設定する。従って、好ましい実施形態に従う本システムの他の有利な特徴は、プレビュー画像又はポストビュー画像又は他のフル解像度画像から得られるユーザーの目の情報によって、瞬きをしている領域を訂正可能なことである。好ましくは、一般に解像度が低くて速やかに処理されるプレビュー画像を使用する。本システムは、画像キャプチャーのためのシーンの不適格を潜在的な起動因子にして、画像間で顔の特徴（例えば、目や口）の変化の比較を調査することもできる。このようなケースにおいて、システムは、いくらか永続的に目を細めているのか、又は一時的な瞬きよりも長い時間持続したものであるかを区別する。システムは、複数画像の比較を通じて、上瞼や蒙古襞の位置によって自然に細くなっている目であるとか、例えばアジア人と白人の目を区別するなど、被写体の人の国籍に基づいた目であるとかを決定することもできる。

ここでの説明は、一般的に、被写体が瞬きをしているシーンを処理することに関して説明する。しかしながら、本発明は、他の特徴にも適用することができる。例えば、人が眉をひそめているとき、人が不満足な身振り，会話，食事，変な髪形をしているとき、又は他の配列、又は他の人が誰かにウサギの耳（bunny ears）を付けているとき、又は動物や他の人がカメラと被写体の間を不意に横切ったとき、又は明かりが不意に変化したとき、又は風が吹いたとき、その他である。これらの１以上又は全ての不適格事由は、手動で設定及び／又は解除されることができる。

図１は、好ましい実施形態に従って、瞬きをしている目を含むシーンを不適格にする方法を例示する。１１０において顔領域を含むシーンの現在の画像が取得される。任意的に、１２０において顔領域が特定され、片目又は両目の領域を検出するために顔領域を解析する。１３０において顔領域内の目の領域に対応するピクセルの１以上の群が識別される。１４０において目の領域に瞬き行為があるか否かを検出する。もし、１４０において瞬き行為が行われていることを検出すると、１５０においてそのシーンは永久画像に処理する候補としては不適格であるとみなされる。この時点で、処理は、単純に停止することもでき、最初からやり直すこともでき、又は、１６０において不適格を理由にして現在の画像を取り替えるために新しい画像を取得することもできる。１７０において、瞬きに関連する警告信号が提供される。１８０において、シーンのフル解像度の画像を取得することは遅延される。図４Ａ及び４Ｂには、例示として現在の画像の更なる処理を差し控えるか、又は不適格な画像の質を良くするための手段として結合画像を組み立てることを示している。

図２は、好ましい実施形態に従い、瞬きが完了する時間間隔を予測する方法を例示する。２１０において瞬き行為がいつ終わるのか予測し、不適格とみなす期間は、予測した瞬きが完了する時間に終了する。２２０において、時間間隔は予め決めた待ち時間に設定される。これは、４分の１秒又は２５０ミリ秒、又は約２００−４００ミリ秒の範囲、又は０．６，０．８又は１．０秒という平均的な瞬き時間の知見に基づいて設定することができる。しかしながら瞬きが完了するのを確実なものとするために待ち時間を長く設定すると、次の瞬きが始まるという不利益を招いてしまうか、或いは、写真撮影に伴って誰もが不適格となる期間が終わるまで長い時間待ち続ける状況を単純に生み出してしまう。そのため瞬き行為の終了をより正確に検出することが望まれる。

図２の２３０において、シーン中の完全な瞬き行為の時点が検出され、それから瞬きが完了するまでの残時間が算出される。例えば、検出した瞬き行為は、半分が終了したものと判定されるかもしれない。この例において、判定割合は、半分か又は０．５である。２４０において、この割合は、例えば０．１２５秒の残時間を得るために０．２５秒とするように、予め決めた完全な瞬き行為の時間を有利に増加することができる。このような、より正確な判定によって、不適格とみなす期間が終わるまでの過度な待ち時間が不要となり、また写真を撮る前に瞬きが終了していることを、より確実なものにする。変形例として、もし複数の写真が撮られ、ポストキャプチャー処理において瞬きが発見されると、画像が不適格となるより正確な判定は、公知の画像キャプチャー時間に基づいて決めることができる。

処理に包含させる種々の選択肢は、図２及び図３によって提供される。２５０において、平均的な瞬き行為時間に基づいた完全な瞬き行為時間は、カメラ，又は他のプレキャプチャー又はポストキャプチャー処理装置にプログラムされる。２４０において、完全な瞬き行為時間は、現在の瞬きの開始から前記判定割合を考慮して予測される。例えば、もし判定割合が３分の１であって、現在の瞬きが開始から０．０９秒経過したものであると判定されるならば、完全な瞬き時間は０．２７秒であり残時間は０．１８秒であると推定する。２８０において、推定は、現在の画像と関連する以前のプレビュー画像の一つのテンポラリーキャプチャーパラメータを解析することに基づいてもよい。例えば、もし以前のプレビュー画像が瞬きの開始を示し、そのプレビュー画像を０．０８秒前にキャプチャーしたことをカメラが知っており、前記割合が３分の１であるならば、瞬き行為はあと０．１６秒で終わると予測される。２７０において、前記割合は、瞬きをしている目が開こうとしているものか又は閉じようとしているものであるかの判定、さらに目の開閉の程度の判定を包含して決定される。

目の開閉の程度の判定は、図３の３１０においてさらに提供される。これをするため、好ましくは３２０において、現在の画像は、完全な瞬き行為の時間の範囲内で取得した１以上の他のプレビュー画像に関連して解析される。３３０において、片目又は両目の瞼のぼやけ（blurriness）の程度の任意的な判定は、瞬き速度の判定を容易にすることができる。３４０において、表示されている瞳，眼球の虹彩，片目又は両目の瞼又は白目の部分は、瞬きしている目がどの位開閉しているかの判定を容易にするための判定である。３５０の色分析及び３６０の形状分析は、現在のシーンに表れている瞳，眼球の虹彩及び／又は白目のような開いた目の特徴に対応するピクセルと、閉じた目又は瞼の特徴に対応するピクセルを区別することで実行される。

図４ａは、好ましい実施形態に従い、４１０において画像の更なる処理を先んずるかどうか決定する方法を例示する。この場合、４２０において目の開閉の程度を判定することは、瞬き行為の完了時間を算出することとは異なる目的で実行される。本実施形態において、目が閉じているかどうかの境界は、例えば４２０，４３０，４４０，４５０，４６０又は４７０、或いはこれらの組合せ、同様に図３の３１０−３６０のいずれか又はこれらの組合せに従って画像が分析されるときと同様に、予め設定される。それから、目が少なくとも境界以上に閉じられているならば、あまりに目が閉じられているとしてそのシーンは不適格にされる。これは、画像を保存するときに十分に目が開いているように、目が瞬きしていない状況、或いはちょうど瞬き行為が開始又は終了したときに一致させることができる。

図４ｂは、好ましい実施形態に従い、結合画像を組み立てる方法を例示する。４８０において、結合画像は、現在の画像からのピクセルと、現在の画像中の瞬きしている目に対応する別の画像からの開いた目のピクセルを包含して組み立てられる。４９０において、別の画像は、プレビュー画像又はポストビュー画像とすることができる。この場合、特にプレビュー画像又はポストビュー画像が現在の画像よりも低い解像度である場合、５００において、プレビュー画像はアップサンプルされ、ポストビュー画像はダウンサンプルされ、或いはこれらの組合せをすることができる。現在の画像及び別の画像は、好ましくは５１０において、ポストプレビュー画像のプレビュー中の開いた目のピクセル領域と、現在の画像の瞬きしている目の領域とが一致するように位置合わせされる。

図５は、さらなる実施形態を例示する。もし画像中の１以上の目が瞬きしていると判定されると、以下に従って更なる処理がなされるので、好ましくは画像を不適格とする。或いは、１４０における瞬きの判定は、図５に例示されているように、プロセスのどこか途中で実行されることができる。画像は、ブロック１１０２のアプリケーションによって開かれるかもしれない。それからソフトウエアは、ブロック１１０６に記載されているように、目又は顔，又は両方が写っているかどうか判定する。もし目又は顔が検出されなければ、ソフトウエアは、１１１０において、画像の操作を停止して出口（Exit）に向かう。以下において、効率性のために目だけは典型的に参照されるが、顔又は目又は両方、又は顔の他の特徴、又は顔を含まないシーンの予め決められた他の特徴は、特定の処理の対象となるかもしれない（図１の１１０，１２０及び１３０、及び参考文献として組み込まれる米国特許番号10/608,776を参照）。

ソフトウエアは手動モードも提供することができ、ユーザーは、ブロック１１１６においてソフトウエアに目の存在を知らせ、及びブロック１１１８において手動でそれらに印（mark）を付けることができる。手動選択は、目が見つからないときにブロック１１１６において自動的に起動されることができ、又は自動段階の後にユーザーによって任意的に起動されることができ、いくつかのユーザーインターフェイスを通じて１１１２の自動選択に目を追加するか、又は１１１８の自動処理において誤って目と認識した領域を取り除くことができる。追加的に、ユーザーは１１０６で定義したような処理を起動するオプションを手動で選択するかもしれない。このオプションは、目の検出結果に基づいて画像の質の強化又は修正を可能にすることをユーザーが手動で決定する場合に役立つ。自動であるか又は手動であるか、カメラ内であるかアプリケーションによるものであるか、画像中の目を探すコマンドが手動又は自動で行われるかに関わらず、目に印を付ける種々の方法は、この好ましい実施形態に含まれる。好ましい実施形態において、顔は最初に検出され、そして目が検出される。

他の実施形態において、目を検出するソフトウエアは、ブロック１１０４に記載されているように、取得プロセスの一部としてカメラ内部にて起動されることができる。このシナリオ（scenario）において、目を検出する部分１１０６は、リアルタイム又は略リアルタイムな動作を支援するために、別途実行される。この実行は、画像の副次抽出、及び演算が実行されるピクセルの数を減らすために加重抽出を含むことができる。この実施形態は、図６ａを参照してさらに説明される。

他の実施形態において、目の検出は、プレビューの目の位置を判定するためにプレビュー画像から提供される情報を利用することもでき、従って最終的な画像の小さな領域で実行されている分析を促進させることができる。

他の実施形態において、目を検出するソフトウエアは、ブロック１１０３に記載されているように、出力プロセスの一部としてレンダリング装置内部にて起動されることができる。このシナリオにおいて、目を検出する部分１１０６は、キャプチャーした画像又は単一又は複数のプレビュー画像を用いて、レンダリング装置内又は外付け装置にて実行されることができる。この実施形態は、図６ｂを参照してさらに説明される。

１１１８に定義されている手動又は１１０６に定義されている自動にて、目及び／又は顔又は他の特徴にタグが付けられるか又は印が付された後、ソフトウエアは、目の検出，顔の検出又は他の特徴の検出段階によって生成した情報に基づき画像を操作するために起動される。ツールは、取得の一部として又は後処理の一部として、或いはその両方として実行されることができる。先に述べたような１４０における瞬きの判定は、この時点で実行される（図１−４ｂ及び上記参照）。もし瞬きが発見されると、１１１９において、既存のデジタル写真撮影技術で能率的なおなじみの一つとして知られているようなさらなる処理として画像は不適格とされる。

図６ａを参照して、図５のブロック１１０６に記載されているような、カメラ取得パラメータの価値を高めるための顔検出を利用した処理を説明する。このシナリオにおいて、例えばシャッターの半押しや、カメラの電源をいれるなどの手段によって、カメラは１００において作動される。カメラは、それから１００４において、絞り，シャッター速度，フラッシュ電力，ゲイン，色バランス，白色点，フォーカスのような的確な取得パラメータを決定するための、通常のプレ取得段階を通過する。さらに、画像特性の初期設定値、特に潜在的な顔に関連する画像特性の初期設定値が１００２において読み出される。この特性は、全体的な色バランス，露出，コントラスト，方位座標などであることができる。また、１００３において収集したプレビュー画像は、１００６において写真中の顔の潜在的な存在を判定するために分析される。フル解像度でキャプチャーされたときには、１００８において潜在的な目の領域を予測することもできる。この代わりの技術は、ブロック１０１０及び／又は１００２間を移動することを含むことができる。

画像は、１０１０において、センサー上にデジタル的にキャプチャーされる。この動作は連続的に更新されることができ、さらにキャプチャーした画像を永久記憶装置に保存するか又は保存しないようにすることができる。

画像検出処理、好ましくは画像分類及び特に顔検出の技術でおなじみの一つに知られているような顔検出処理は、１０２０において、画像中の目又は顔又は他の特徴を探し出すために、キャプチャーした画像に適用される。このような顔検出技術は、knowledge-based、feature-invariant、template-matching、appearance-based、color or motion cues、adaboost-based face detector、Viola- Jonesなどを含むが、これに限定されることはない。

もし顔が発見されなければ、１０３２において処理は終了する。あるいは、又は１０３０の自動検出に加えて、ユーザーは、例えばカメラのディスプレイを活用し、対話型ユーザーインターフェース機構を使用して、検出した目又は顔を手動で選択することができる。あるいは、処理は、検出処理の感度又は閾値を変えることによって、視覚的なユーザーインターフェイスなしに、実行されることができる。また、このデータは、１００３のプレキャプチャー処理から入手することができる。

目又は顔が検出されると、１０４０においてこれらは印が付され、ラベルが付される。１０４０に定義されている検出は、目又は顔が検出されるかどうか選択するバイナリ処理以上であるかもしれず、それはフレーム内における目又は顔のサイズに基づく比重、位置、ここに記載されている他の目又は顔の検出に関連する目又は顔の重要性が定められた他のパラメータを各々の目又は顔に与えられる処理の一部として設計されるかもしれない

あるいは又は付加的に、ユーザーは、１０４４において、目又は顔として誤って検出した領域を手動で外すことができる。このような選択は、目又は顔が誤って検出されたとき、又はカメラマンが他の目や顔ではなく主要な被写体の顔又は目に集中したいと思ったときの事実によって行うことができる。あるいは、１０４６において、ユーザーは、他の目又は顔と比較して予測に高い重要性を示す１以上の目又は顔を再選択又は強調をすることができる。１０４６に定義されている処理は、さらに、バイナリ１と比較して連続値１の好ましい識別処理に定められる。処理は、視覚的ユーザーインターフェイスを利用するか、又は検出処理の感度を調節することによって行われることができる。

１０４０において目又は顔又は他の特徴が正しく分離された後、１０５０において、これらの特性は１００２の予め決められた初期設定値と比較される。この比較は、同じ値に到達させるために２つの画像間の潜在的な変換値を決定する。変換値は、それから１０７０においてカメラのキャプチャーパラメータに変換され、そして１０９０において画像が取得される。

実際例として、例えばキャプチャーした顔があまりに暗いときには、露出を長くするか又は絞りを開くといった取得パラメータの変更がなされる。画像の特性は必ずしも顔領域に関係しないかもしれないが、全体的な露出に関連することに注意すべきである。実例として、全体的な露出は正しいが顔の露出が不足している場合、カメラはフル−フラッシュモードに移行するかもしれない。

１０６０において、検出した画像特性が初期設定の画像特性に一致するまで、キャプチャーは遅延される。好ましい実施形態に従う例としては、瞬きをしている目が瞬きをしなくなるまで遅延される。１０７０において、たとえ写真内に瞬きが発見されたとしても、手動制御命令は、写真を取得し、又は写真を保持するか又は写真の処理を継続するように入れられる。１０９０又は他の実施形態において取得された写真は、フル解像度で保存される。

図６ｂを参照すると、図５のブロック１１０３に前述したような出力の改善又はパラメータをレンダリング（rendering）するための、目，顔又は他の特徴の検出を使用するプロセスが説明されている。このシナリオにおいて、プリンタやディスプレイのようなレンダリング装置（以下、“装置”と記載する）は、２１００において起動される。この起動は、例えばプリンタ内、あるいはＰＣやカメラなどのプリンタに接続された装置によって実行される。装置はそれから、２１０４において階調再現，色変換プロファイル，ゲイン，色バランス，白色点及び解像度といったような適正なレンダリングパラメータを決定するための、通常のプレ−レンダリング段階を通過する。さらに、画像特性の初期設定値、特に画像中の潜在的な目又は顔に関連する画像特性の初期設定値が２１０２において読み出される。この特性は、全体的な色バランス，露出，コントラスト，方位、又はそれらの組合せであることができる。

画像はそれから、２１１０において装置内にデジタル的にダウンロードされる。画像検出処理、好ましくは目又は顔検出処理は、２１２０において目又は顔を探し出すためにダウンロ−ドした画像に適用される。もし画像が見付からない場合、２１３２において処理を停止し、装置はその通常のレンダリング処理を再び開始する。２１３０の自動検出に代えてあるいは付加して、２１３４においてユーザーは、例えば装置のディスプレイを活用し、対話型ユーザーインターフェース機構を使用して、検出した目又は顔を手動で選択することができる。あるいは、処理は、検出処理の感度又は閾値を変えることによって、視覚的なユーザーインターフェイスなしに、実行されることができる。

２１３０において目又は顔が検出されたとき、これらは２１４０において印が付され、及びラベルが付される。２１３０の検出は、目又は顔が検出されるかどうか選択するバイナリ処理以上であるかもしれない。それはフレーム内における目又は顔のサイズに基づく比重、位置、ここに記載されている他の目又は顔の検出に関連する目又は顔の重要性が定められた他のパラメータを各々の目又は顔に与えられる処理の一部として設計されるかもしれない。

あるいは又は付加的に、ユーザーは、２１４４において目又は顔として誤って検出した領域を手動で外すことができる。このような選択は、目又は顔が誤って検出されたとき、又はカメラマンが他の目や顔ではなく主要な被写体の顔又は目に集中したいと思ったときの事実によって行うことができる。あるいは、２１４６において、ユーザーは、他の目又は顔と比較して予測に高い重要性を示す１以上の目又は顔を再選択又は強調をすることができる。１１４６に定義されている処理は、さらに、バイナリ１と比較して連続値１の好ましい識別処理に定められる。処理は、視覚的ユーザーインターフェイスを利用するか、又は検出処理の感度を調節することによって行われることができる。

２１４０において目又は顔又は他のシーン又は画像の特徴が正しく分離された後、２１５０において、これらの特性は２１０２の予め決められた初期設定値と比較される。処理が探している好ましい特性の一つは、瞬きしている目である。この比較は、同じ値に到達させるために２つの画像間の潜在的な変換値を決定する。もし１以上の目が瞬きしていると判定されると、画像は２１６０において不適格とみなされる。不適格とすることは２１７０において手動で無効とされることができ、あるいは別の画像から開いた目のピクセルを置換することができる。変換値は、装置のレンダリングパラメータに変換され、２１９０において画像がレンダリングされる。処理は、複数の画像を含むことができる。２１８０のケースにおいて、レンダリング処理を実行する前に、各画像について同じ処理を繰り返す。実際的な例が、単一の表示上に低解像度の画像が集められたサイムネイル又は密着印画の作成である。

実際的な例として、もし目又は顔がとても暗くキャプチャーされたならば、レンダリングパラメータは目又は顔が明るくなるように色調再現曲線を変更することができる。画像の特性は必ずしも目又は顔領域に関係しないかもしれないが、全体的な色調再現に関連することに注意すべきである。

図７ａ−７ｄを参照すると、図５のブロック１１３０に強調されるような、目，顔，他の特徴，又は顔以外の特徴の位置及び方向に基づく画像の自動回転が説明される。図７ａには２つの顔の画像が提供されている。２つの顔は完全に正しい位置には置かれず、重なり合っていることに注意すべきである。この場合、各顔に両目が示されているが、しかし一方の目が示されているだけである。

図５のブロック１１０８及び１１１８の機能を含む目又は顔を検出する段階のソフトウエアは、例えばそれぞれの顔を楕円２１００及び２２００の評価として印を付すように、母と息子の２つの顔又は４つの目に印を付けるであろう。楕円の共分散行列のような既知の数学的な手法を用いて、ソフトウエアは、２つの顔２１２０及び２２２０の主軸のそれぞれ、同様に副軸２１４０及び２２４０を決定する。この段階においても、軸のサイズを比較するだけで、カメラが景色モードで水平に置かれている場合、或いは肖像モードで垂直又は９０度（別名、時計廻り）又は−９０度（別名、反時計廻り）に置かれている場合には、ソフトウエアは、画像が９０度正しい位置に置かれていると仮定するかもしれない。あるいは、アプリケーションは任意の回転値のために利用されることもできる。しかしながら、この情報は、画像を時計回りに、又は反時計回りに回転するかどうかを決めるためには十分でないかもしれない。

図７ｃは、通常高度に検出可能な、顔の関連のある特徴を抽出する段階を記述する。この被写体は、目２１４０，２１６０及び２２４０，２２６０、及び唇２１８０及び２２８０、又は鼻、目眉、瞼、目の特徴、髪、額、あご、耳、その他を含んでいる。三角形２３００を作り出す２つの目と唇の中央の組合せは、顔のショットに関連して顔の位置を判定するだけでなく顔の回転をも検出することができる。鼻孔、眉、髪際部、身体的に顔から延びる鼻梁及び首など、ラベルを付すことができ、位置検出に使うことができる、画像中の他の高度に検出可能な部分があることに注意すべきである。この図において、目と口が見付かるならば、目と唇は、目の位置に基づく顔の特徴の例として提供され、画像は、反時計廻りに回転されるべきである。

異なる顔の特徴を見つけるには十分でないかもしれないが、このような特徴は互いに比較されることに注意すべきである。例えば、目の色は、同じ人に起因する一対の目であることを確実にするために比較される。

あるいは、顔の特徴は、プレビュー画像と比較されることができる。このような使用は、二重瞼を、半分閉じた目と誤って検出することを防止することができる。他の例としては、図７ｃ及び７ｄにおいて、ソフトウエアが口２１８０と目２２６０，２２４０を組み合わせたならば、方向は時計回りと判定されるであろう。この場合、ソフトウエアは、口と目の相対的なサイズを比較することによって、正しい方向を検出する。上記の方法は、顔の異なる対象物の相対的な位置に基づいて画像の方向を決定するための典型的で実例となる技術を説明する。例えば、２つの目が水平に位置し、鼻のラインが目から垂直で、口が鼻の下に位置するなどが望まれるかもしれない。あるいは、方向は、顔の構成要素自体の配列に基づいて判定されるかもしれない。例えば、目が水平方向に延びていることが望まれる。これは、ブロック２１４０及び２１６０に記述されているように、目に楕円を当て嵌めたときに主軸が水平であることが望まれることを意味する。楕円を当て嵌めたときに主軸が水平であるべきことは、唇も同様である。あるいは、顔周辺の領域も考慮されるかもしれない。特に、頭と連結した隣接する肌の色である首と肩は、顔の方向及び検出の目安となり得る。

画像の方向を判定するプロセスは、デジタル表示装置の一部として好ましい実施形態において実行することができる。あるいは、このプロセスは、デジタル印刷装置の一部として、又は、デジタル取得装置内で実行されることができる。

プロセスは、密着印画紙又は画像のサムネイルビューの表示のような、同じページ又はスクリーン上の複数画像の表示の一部として実行することもできる。この場合、ユーザーは、個々に又は一度に複数の画像を選択することによって、画像の提案された方向を了承又は拒絶することができる。一連の画像の場合においては、画像の方向は、前の画像に関してユーザーに了承された情報に基づいて決定されるかもしれない。

あるいは、図８ａのフローチャートに記述されているように、例えば目が瞬きしていると判定されたとき、開いた目のデジタル的なシミュレーション又は再合成が有効であるかどうかを判定するために、同様の方法がプレ取得段階において利用されるかもしれない。
スタインバークらの米国特許6,151,073は、参考文献として本願に取り入れられる。図５のブロック１１０８において、カメラは、画像中の目又は顔の存在を検索する。１４６０において、画像中に１以上の目が発見されるかどうか判定する。発見されない場合、１４６２において処理を終了する。発見された場合、１４６４において目に印が付される。目の領域は、１４７０において分析される。１４７４において目が充分に開いていると判定されると、それから画像は１４７８においてそのままの状態とされる。しかしながら、目が充分に開いていない又は閾値を超えて閉じていると判定されると、それからプロセスは、１４８０，１４９０及び／又は１４９４まで進行することができる。１４８０において、開いた目を模擬（simulation）するためのサブルーチンが提供される。マスクは、選択した領域（すなわち本例では目の領域）を定める。１４８４において露出を増加することができるが、この処理を省略することもできる。形及び／又は色の処理は、１４８６において選択した目に対して実行される。例えば、オリジナルの画像に閉じた瞼が存在すると、閉じた瞼から開いた瞼に置換されるように、瞳，虹彩及び白目の形状と色が提供される。色調再現は、１４８８において提供される。

１４９０において、単一又は複数の結果がユーザーに提供される。ユーザーは、１４９２において好ましい結果を選択することができ、さらに１４９８において訂正が適用される。また、画像は、１４９４において虹彩の色や瞳の形状など修正されたパラメータでユーザーに表示される。それから１４９６においてユーザーが修正の程度を調節することで、１４９８において画像は訂正される。

図８ｂは、図５の１１０４において開始される写真取得モードの他のワークフローを提供する。画像は、４８２０において分析される。画像中に目が発見されるかどうかの判定は、１１０６において行われる。発見されない場合、１１１０において処理を終了する。発見された場合、１１０８において目に印が付される。目の領域は、４８４０において分析され、４９６０においてもし目が開いているならば、写真は、４８８０において取得、保存（例えば、写真が以前に撮られている場合）されるか、あるいは取得と保存の両方がなされる。例えば瞬きが起きていることを理由に４８６０において目が閉じていると判定された場合、４９８０において画像は破棄されるか、又は画像キャプチャーが遅延されるか、あるいは４９００において写真は取得されるかもしれない。この実施形態において、４９２０において開いた目の領域は瞬きしている目のピクセルと置換され４９４０において結合された写真が保存される。

図９は、瞼の動きを伴う技術を例示する。１１７０においてフォーカス機構が起動される。カメラは、１７５０において目を検索する。１７６０において目が検出されない場合、空間ベースのオートフォーカス技術が１７６２において実行される。目が検出された場合、１７７０においてその領域は印が付される。この領域は、１７７２において表示される。ユーザーは、１７９０において直ぐに写真を撮ることができる。しかしながら、ユーザーは、１７８０においてフォーカストラッキングモードに移行するかもしれない。１７８２における瞼が動いている期間、例えば瞬き行為の期間、１７８４において瞼の動きが追跡される。１７８６において、瞬き行為によって瞼が動いている期間、遅延又はシーンの不適格が強要される。不適格な期間が終わるとき、１７９０においてユーザーは写真を撮ることができ、あるいはカメラは自動的にショットを取得するようにプログラムされることができる。

以下に列記する参考文献のリストは、背景技術，発明の概要，要約，図面の簡単な説明及び図面，上述した他の参考文献に追加して、他の実施形態として上述の好ましい実施形態の説明に組み入れられる。

米国特許番号6,965,684, 6,301,440, RE33682, RE31370, 4,047,187, 4,317,991, 4,367,027, 4,638,364, 5,291,234, 5,488,429, 5,638,136, 5,710,833, 5,724,456, 5,781,650, 5,812,193, 5,818,975, 5,835,616, 5,870,138, 5,978,519, 5,991,456, 6,097,470, 6,101,271, 6,128,397, 6,148,092, 6,151,073, 6,188,777, 6,192,149, 6,249,315, 6,263,113, 6,268,939, 6,282,317, 6,301,370, 6,332,033, 6,393,148, 6,404,900, 6,407,777, 6,421,468, 6,438,264, 6,456,732, 6,459,436, 6,473,199, 6,501,857, 6,504,942, 6,504,951, 6,516,154, 及び 6,526,161;

米国特許公開番号2003/0071908, 2003/0052991, 2003/0025812, 2002/0172419, 2002/0114535, 2002/0105662, 及び2001/0031142;

米国仮出願番号60/776,338, entitled Human Eye Detector;

日本国特許出願番号JP5260360A2;

英国特許出願番号GB0031423.7;

Yang et al, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, no. 1, pp 34-58 (Jan. 2002);

Baluja & Rowley, "Neural Network-Based Face Detection," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 1, pages 23-28, January 1998.

本発明の実施形態について典型的な図面及び明細書で説明及び例示したけれども、本発明の範囲は特定の実施形態の記載によって制限されることはないと理解される。よって、実施形態は制限的ではなくむしろ例示として理解され、後述する特許請求の範囲及び構造及び機能が均等なものとして、本発明の範囲を逸脱しない範囲で当業者によって実施形態を改変可能であると理解すべきである。

そのうえ、特許請求の範囲及び／又は実施形態に従って実行される方法において、動作は選択的な活字体のシーケンスによって説明した。しかしながら、シーケンスは、活字体の利便性のために選択され及び命令されるものであり、特定の順序がはっきりと提供されるか又は当業者にとって必要であると理解されない限り、動作を実行するための特定の順序を制限することを目的とするものではない。

Claims (15)

1. 表情に基づき、永久的に保存するには不満足であるとして取得した画像を不適格とする方法であって、
   （ａ）顔の領域を含むシーン（scene）の現在の画像を取得し、
   （ｂ）顔の領域内の、１以上の顔の部位に対応する１以上のピクセルの群を特定し、
   （ｃ）前記顔の部位の１以上の表情が不満足であるか否かを判定し、不満足である場合には、
   （ｄ）現在の画像を保存することを拒絶し、及び
   （ｅ）同じシーンの結果として生じる画像をキャプチャーすることを自動的に開始し、前記同じシーンの結果として生じる次の画像をキャプチャーするタイミングは、前記表情が変化したことを判定する時間に対応するように、前記表情が変わるために予め設定した一定時間又は予測時間の一方又は両方の時間だけ遅延させることを備えている方法。
2. 請求項１に記載の方法は、前記現在の画像が不満足であることの通知を提供することを、さらに備え、前記通知は、視覚的又は聴覚的、又はその組合せである。
3. 請求項１に記載の方法は、さらに、
   （i）１以上のプレビュー画像を取得し、
   （ii）前記１以上のプレビュー画像中の１以上の目の存在と位置を判定し、
   （iii）現在の画像の目の領域の特定は、少なくとも前記プレビュー画像中の目の存在と位置の判定結果に一部基づいて行うこと
   を備えている。
4. 請求項１に記載の方法において、前記特定は、顔の領域内の目の領域に対応する１以上のピクセルの群を特定することを備え、前記判定は、目の領域が瞬き行為中であるか否かを判定することを備え、そして瞬き行為中である場合、前記拒絶は、瞬きが完了するまでの間は、永久の画像として処理するための候補としてそのシーンは不適格にすることを備えていることを特徴とする。
5. 請求項４に記載の方法において、現在の画像はプレビュー画像を備え、不適格とすることはそのシーンの画像をフル解像度でキャプチャーすることを遅延することを備えている、ことを特徴とする。
6. 請求項５の方法において、前記遅延することは、瞬きがいつ完了して、瞬きが完了するおおよその時間によって、不適格とする期間がいつ終了するか予測することを備えている、ことを特徴とする。
7. 請求項４の方法において、目が瞬きをしているかどうかの判定は、目の開閉の程度を判定することを備えている、ことを特徴とする。
8. 請求項４の方法において、現在の画像はフル解像度でキャプチャーした画像を備え、不適格とすることは現在の画像に対する更なる処理を差し控えることを備えている、ことを特徴とする。
9. 請求項４の方法において、現在の画像はフル解像度でキャプチャーした画像を備え、方法は、現在の画像からのピクセルと、別の画像からの瞬きしている目に対応する開いた目のピクセルを含む合成画像を組み立てることを備えている、ことを特徴とする。
10. 請求項４の方法において、目の領域の特定は、顔の領域を特定すること、及び目の領域を判定するために顔の領域を分析することを備えている、ことを特徴とする。
11. 請求項４の方法において、不適格としたことに起因して、現在の画像に代わる新たな画像をキャプチャーすることをさらに備えることを特徴とする。
12. 請求項４の方法において、瞬きしていることに関する警告信号を提供することを更に備えていることを特徴とする。
13. 請求項４の方法において、そのシーン内の第２の顔の第２の目の領域を特定し、第２の目の領域が瞬き行為中であるか否かを判定し、そして瞬き行為中である場合、第２の目が瞬きを完了するまでの間は、永久の画像として処理するための候補としてそのシーンは不適格にすること更に備えている、ことを特徴とする。
14. 請求項４の方法は、さらに、
    （i）１以上のプレビュー画像を取得し、
    （ii）前記１以上のプレビュー画像中の１以上の目の存在と位置を判定し、
    （iii）現在の画像の目の領域の特定は、少なくとも前記プレビュー画像中の目の存在と位置の判定結果に一部基づいて行うこと
    を備えていることを特徴とする。
15. 画像化する光学システムと、デジタル画像検出器と、記録媒体と、顔の表情に基づき、永久保存するには不満足であるとして取得した画像を不適格にする方法を実行する１以上のプロセッサをプログラミングするための前記媒体に格納されたプログラム命令と、を含む画像取得装置であって、前記方法が、
    （ａ）顔の領域を含むシーンの現在の画像を取得し、
    （ｂ）顔の領域内の１以上の顔の部位に対応する１以上のピクセルの群を特定し、
    （ｃ）前記顔の部位の１以上の表情が不満足であるか否かを判定し、不満足である場合には、
    （ｄ）現在の画像を保存することを拒絶し、及び
    （ｅ）同じシーンの結果として生じる画像をキャプチャーすることを自動的に開始し、前記同じシーンの結果として生じる次の画像をキャプチャーするタイミングは、前記表情が変化したことを判定する時間に対応するように、前記表情が変わるために予め設定した一定時間又は予測時間の一方又は両方の時間だけ遅延させることを備えている装置。