JP5004972B2 - デジタル画像の前景又は背景分割 - Google Patents

Description

本発明は、前景/背景分割で既知であるデジタル画像の前景領域と背景領域を識別する方法に関する。

いくつかのアプリケーションでは画像の前景/背景を分別する能力が有効である。ＰＣＴ出願（Ｎｏ．ＰＣＴ／ＥＰ２００６／００５１０９）では、フラッシュ画像と非フラッシュ画像の分析に基づいて分別が検討されている。

しかしながら、例えば明るい太陽光のもとでは、フラッシュ画像と非フラッシュ画像は、十分な識別力を提供できない場合がある。

ぼけ量の解析から距離を求める手法は、別々の焦点距離で２以上の画像から深度マップを生成する既知の画像解析方法である。この技術の要約はhttp://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/FAVARO1/dfdtutorial.html. に開示されている。

ＦＡＶＡＲＯでは２以上の、それぞれ非合焦である画像の輝度の統計的分析に基づいて画像の外観の奥行きを測定する。ＦＡＶＡＲＯでは、ぼやけたピクセルは与えられたガウシアン畳み込み演算カーネルと一致するという知識に基づいて、逆畳み込み演算を適用しピクセルのボケ程度まで現し、この順々で深度マップの生成に使用される。ＦＡＶＡＲＯでは、一度画像が取得されたら、奥行きの演算のため専門のアプローチが必要であり、分類する輝度マップはそれぞれの画像の奥行き演算に使用するために生成される。
これは現行の画像入手方法に比べ、本質的な追加のプロセスをあらわす。

米国特許出願公開第２００３/００５２９９１号明細書、ヒューレット・パッカードでは、別々の焦点距離で取得した、それぞれ連続した画像を、製品間でピクセル周囲のピクセルの明るさの違いに基づいて各ピクセルの比較マップを生成することを開示している。明るさの違いが大きいほど、ピクセルは合焦と考えられる。ピクセルに関して、一番比較が大きいレベルの画像はファインダーからのピクセルの距離を示すために取得される。

これにより、カメラに景色の深度マップを生成することを可能にする。カメラのアプリケーションは距離情報に基づいて、模擬日中シンクロを提供する。ここで、特に比較マップは現行の画像入手方法に比べ本質的な追加のプロセスで生成される必要がある。

米国特許出願公開第２００４/００７６３３５号明細書、エプソンでは、低い奥行きの視界画像分割方法を記載している。エプソンでは、シャープに合焦した領域は、高周波成分を含むといった知見に基づくものである。米国特許出願公開第２００３/０２１９１７２号明細書、フィリップスでは、その離散コサイン変換（ＤＣＴ）係数の尖度（分散の形）に従って、一つの画像の鮮度を演算することを開示している。米国特許出願公開第２００４/０１２０５９８号明細書（Ｘｉａｏ−Ｆａｎ Ｆｅｎｇ）は同様に、一つの画像のＤＣＴブロックを使用し、画像中のボケを見つけることを開示している。エプソン、フィリップス、Ｆｅｎgのそれぞれでは、一つの画像の解析に基づくものであり、画像の前景領域と背景領域を確実に識別することが出来ない。

他の先行技術である米国特許出願公開第２００３/００９１２２５号明細書には、二つのステレオ画像により深度マップの生成が記載されている。

本発明の目的は、デジタル画像の前景領域と背景領域を識別する改良された方法を提供する。

本発明の第１の観点によると、景色のデジタル画像における前景領域と背景領域を識別する方法を提供し、その方法は、実質的に同一景色である第１及び第２の画像を取得し、取得した画像をＤＣＴコード化された形式で記憶する。第１の画像は、前景が背景より合焦状態で取得した画像であり、第２の画像は、背景が前景より合焦状態で取得した画像である。そして、選択された高次ＤＣＴ係数の合計が第２の画像における等価の領域に対して減少又は増加しているかどうかに応じて第１の画像の領域を前景又は背景として割り当てる。

本発明において、二つの画像が同一解像度である場合であって、二つの領域が実質上景色の同一部分に相当する場合、又は一方の画像が他方の画像より高い解像度を有する場合であって、高解像度の画像の領域に相当する景色の部分が、低解像度の画像の領域に相当する景色の部分に実質上すべて含まれる場合には、実質的に同一景色である二つの画像におけるそれぞれの領域は等価である。

二つの画像が、例えばカメラの僅かな動きに起因して実質上同一でない場合には、二つの画像を整合させる段階を追加する必要がある。

第１と第２の画像がデジタルカメラで取得される場合において、第１の画像を相対的に高い解像度の画像とし、第２の画像を相対的に低い解像度である第１の画像のプレビュー画像又はポストビュー画像とすることが好ましい。

画像がデジタルカメラによって取得されるとき、上記処理は例えば、メイン画像が記憶された後、ポスト処理段階としてカメラ内で実行したり、外部でのポスト処理段階としてパーソナルコンピューター又はサーバーコンピューターといった別のデバイスで実行したりすることができる。

前者の場合では、二つのＤＣＴコード化された画像を、これらが前景/背景分割と最終画像の生成に必要とされる限り、カメラの揮発性メモリに記憶させることができる。一方、後者の場合では、両方の画像を不揮発性メモリに記憶させることが好ましい。低解像度のプレビュー画像又はポストビュー画像を使用する場合では、低解像度の画像を高解像度の画像のファイルヘッダーの部分として記憶することができる。

いくつかのケースでは、二つの画像の選択された領域だけを比較する必要がある。例えば、顔探知アルゴリズムにより画像に顔が含まれることが分かっていれば、本技術を、顔を含むとともに顔を囲む領域に適用して、背景から顔を区切る精度を向上させることができる。

本発明では、ＤＣＴブロックで提供される固有の周波数情報を用い、高次ＤＣＴ係数の合計を、ブロックが合焦状態であるかどうかの指標として使用している。主被写体が合焦状態から外れて、高次の周波係数が低下するブロックは前景として取得され、残りのブロックは背景又は境界領域を示す。従来のデジタルカメラにおける画像取得と記憶処理は、取得した画像を中間段階の処理としてＤＣＴ形式に変換するため、本発明は実質的に処理を追加することなく、このようなカメラにより実行することができる。

この技術は、ＰＣＴ出願Ｎｏ．ＰＣＴ/ＥＰ２００６/００５１０９で記載されているように、カメラのフラッシュにより生成された違いが不十分である場合に有効である。その二つの技術はまた、お互いを補足するため有利に組み合わすことができる。

本発明の第２の観点によると、二以上の景色の画像の前景/背景分析に基づいて、デジタル画像取得デバイスに対して画像の向きを判別する方法を提供する。
本発明の方法は、（１）デジタル画像取得デバイスに対する画像の向きを判別する方法であって、前記デジタル画像取得デバイスを用いておおよその同一景色の２つの画像を取得し、前記２つの画像のうち対応する境界に隣接した少なくとも一部分を比較して、前記一部分が背景よりも前景から成るかどうかを判別し、前景の基準度合いよりも高い前記一部分に応じて、前記画像はこの下部に前記一部分が位置している状態で方向付けされているかを判別すること、を特徴とする。
（２）また、上記（１）の方法において、前記２つの画像は、フラッシュ画像と非フラッシュ画像とを有しており、前記比較において、前記一部分のピクセルの輝度レベルを比較することを特徴とする。
（３）上記（１）の方法において、前記２つの画像は、非フラッシュ画像であり、前記比較において、前記一部分の少なくとも１つのブロックにおいて高次ＤＣＴ係数を比較することを特徴とする。
（４）上記（１）の方法において、前記画像の向きに従って前記デジタル画像取得デバイスの向きを暗示することを特徴とする。
（５）上記（１）の方法において、前記比較において、前記２つの画像における複数の境界と隣接するそれぞれの部分を比較し、他の部分に比較して前景の度合いが最も高いと判別された部分を前記画像の下部に位置していると予測することを特徴とする。
（６）上記（５）の方法において、前記画像の下部に位置すると予測された部分において、前景の度合いは、反対側の境界に隣接する前景の度合いよりも少なくとも一部で所定のしきい値だけ高いことを特徴とする。
（７）上記（６）の方法において、前記しきい値は、前記画像の露出レベル、前記画像がインドア又はアウトドアに分類されるかどうか、あるいはこれらの組合せにより変化することを特徴とする。
（８）上記（５）の方法において、 前記画像の下部に位置すると予測された一部分において、前景の度合いは、少なくとも隣接境界に隣接する部分における前景の度合いよりも高く、前記隣接境界に隣接する部分における前景の度合いは、反対側の境界に隣接する部分における前景の度合いよりも高いことを特徴とする。
（９）また、本発明は、撮影用フィルムを用いないデジタル画像取得システムであって、おおよその同一景色の二つの画像を取得する手段と、前記２つの画像のうち対応する境界に隣接する少なくとも一部分を比較して、前記一部分が背景よりも前景から成るかどうかを判別する手段と、前景の基準度合いよりも高い前記一部分に応じて、前記画像はこの下部に前記一部分が位置している状態で方向付けされていることを判別する手段と、を有することを特徴とする。
（１０）本発明は、デジタル画像取得デバイスであり、プロセッサが読み取り可能なコードが記憶された、プロセッサが読み取り可能な１つまたは複数の記憶装置であり、前記プロセッサが読み取り可能なコードは、１つまたは複数のプロセッサが上記（１）〜（８）のいずれかの方法を実行するようにプログラムされたコードであることを特徴とする。
（１１）また本発明は、デジタル画像を取得するレンズおよびイメージセンサと、一つまたは複数のプロセッサと、前記プロセッサが読み取り可能なコードが記憶された、前記プロセッサが読み取り可能な１つまたは複数の記憶装置であり、前記プロセッサが読み取り可能なコードは、前記プロセッサが上記（１）〜（８）のいずれかの方法を実行するようにプログラムされたコードであることを特徴とする記憶装置と、を有する。

本発明の方法は、タスクを実行するために必要な演算が比較的単純であるため、カメラ内で有効に実行するのに役立つ。

本発明の実施形態について、一例として、図を参照しながら説明する。
図１は本発明の実施形態に従って動作するカメラ装置のブロック図である。 図２は本発明の実施形態による方法の流れを示す。 図３は肖像画のための前景/背景マップを示す。

図１は本発明の実施形態に従って動作する画像取得デバイス２０のブロック図を示す。本実施形態で携帯用デジタルカメラである画像取得デバイス２０はプロセッサ１２０を含む。デジタルカメラで実行される多くの処理は、ブロック１２０の「プロセッサ」として、マイクロプロセッサ、中央処理装置、コントローラー、デジタルシグナルプロセッサ、及び/又は、用途が明確な集積回路で動作する、ソフトウェアで実行されたり、制御されたりする。

一般的に、ボタンや表示ディスプレイなどの周辺制御機器やすべてのユーザーインターフェイスはマイクロコントローラー１２２で制御される。プロセッサ１２０は、シッターボタンの半押し（プリキャプチャーモード３２）などの１２２においてのユーザーインプットに応じて、デジタル取得処理を開始し制御する。

周囲の明かり露出は、フラッシュを使用するかを自動で決定するために光センサ４０を使用し測定される。被写体までの距離は、画像取得デバイス６０上で像を結像する焦点機構５０を使用し測定される。フラッシュを使用する場合、プロセッサ１２０はフラッシュデバイス７０に、シャッターボタンの全押しのもとで、画像取得デバイス６０による画像の記録と実質的に一致させて撮影光を生成させる。画像取得デバイス６０はカラー画像をデジタル処理で記録する。画像取得デバイスは当業者に知られており、デジタル記録を行うためにＣＣＤ（電荷結合素子）又はＣＭＯSを有していることがある。

フラッシュは、光センサ４０又はカメラのユーザーによる手動入力７２のどちらかに応じて選択的に生成される。画像取得デバイス６０で記録された高解像度の画像は、ダイナミックランダムアクセスメモリ、又は不揮発性メモリといったコンピューターメモリで構成される画像記憶部８０に記憶される。カメラには、画像のプレビューとポストビューのためにＬＣＤなどのディスプレイ１００が設置されている。

シャッターボタンが半押しされ、プレキャプチャーモード３２にてプレビュー画像を生成する場合では、ディスプレイ１００は、ユーザーが画像構成を決定する手助けとなるだけでなく、フォーカシングや露出の決定にも使用される。一時記憶部８２は一つ、又は複数のプレビュー画像の記憶に使用され、画像記憶部８０の一部、又は別部材とすることができる。プレビュー画像は普通、画像取得デバイス６０によって生成される。速さとメモリ効率の理由から、プレビュー画像は普通、シャッターボタンが全押しされ取得される主要画像より低いピクセル解像度であり、一般的なプロセッサ１２０、又は専用のハードウェア、又はその組み合わせの一部とすることができるソフトウェア１２４を使用し取得した未加工画像のサブサンプリングで生成される。このハードウェアサブシステムの設定次第で、プレ取得画像処理はプレビュー画像の記憶より前に、予め定めされたテスト基準を満たす場合がある。

このようなテスト基準は、最後の高解像度の画像がシャッターボタンの全押しにより取得されるまで、プリキャプチャーモード３２の間、前に保存されたプレビュー画像を０．５秒おきに新しく取得したプレビュー画像に常に置き換えるなどの順番とすることができる。

さらに洗練された基準はプレビュー画像の中身の解析を含む。例えば、新しいプレビュー画像を前の記録された画像と置き換えるかどうかを決める前に、変更用の画像をテストする。他の基準は、鮮度などの画像解析、又は露出状態、最後の画像にフラッシュが使用されるかどうか、被写体への距離予測などのメタデータ解析に基づくものである。

テスト基準に合致しない場合、カメラは先立ち取得したプレビュー画像を廃棄しながら、次のプレビュー画像を取得し続ける。この処理はシャッターボタンの全押しにより最後の高解像度の画像が得られ、保存されるまで続く。

複数のプレビュー画像を保存することができる場合、ユーザーが最後の写真を取得するまで、新しいプレビュー画像は先入れ先出し（ＦＩＦＯ）方式のスタックに置かれる。複数のプレビュー画像を記憶する理由は、最後のプレビュー画像、又はいずれか１つのプレビュー画像は、例えば赤目補正処理、又は本実施形態では、ポートレートモード処理において、最後の高解像度の画像と比較するための最良の基準画像とならないかもしれないからである。複数の画像を記憶することにより、より良い基準画像が得られ、また後述する整合行程でプレビュー画像と最後に取得した画像の間における整合を行うことができる。

後述するように、カメラがポートレートモードのとき、カメラは１つ以上の低解像度のポストビュー画像を取得し一時記憶部８２に記憶できる。ポストビュー画像は、基本的にプレビュー画像と同一であるが、主な高解像度の画像が取得後に発生する点で異なる。

本実施形態では、カメラ２０はユーザー選択モード３０を有する。ユーザーモード３０は、例えば、画像に特別な効果のフィルターを適用したり、画像を修正又は訂正したりするための大きな処理の一部として、画像における前景/背景分割を要求するものである。よって、ユーザーモード３０では、前景及び背景の分割がそれ自体で終わることはない。しかしながら、上記モード３０の分割だけが本発明に関連あり、それに従ってそれらの観点のみ説明する。

ユーザーモード３０が選択されると、シャッターボタンが押し下げられたとき、画像が実質的に同一の景色となるような近い時間間隔で、カメラは自動的に一連の画像を取得し記憶する。特定の数、解像度、及び一続きの画像、並びに画像の異なる部分が合焦又は非合焦であるかどうかの内容は、後述するように特定の実施形態に依存する。ユーザモードプロセッサ９０は後述するフローに従って記憶された画像を解析及び処理する。プロセッサ９０はカメラ２０になくてはならない。実際に、それは適切にプログラミングされたプロセッサ１２０又は、デスクトップコンピュータなどの外部処理デバイス１０の一部とすることができる。

本実施形態では、プロセッサ９０は取得した画像をＤＣＴ形式に処理する。上記で説明したように、従来のデジタルカメラの画像取得と記憶処理は、中間処理工程として取得した画像をＤＣＴ形式でコード化して、一時的に記憶される。画像は最終的に例えばＪＰＧ形式で記憶される。このため、中間でＤＣＴコード化された画像はプロセッサ９０で直ちに利用できる。

図２により、本発明によるユーザーモード処理の実施形態の流れを説明する。

まず、ステップ２００でユーザーモード３０が選ばれる。ここで、シャッターボタンが全押しされると、カメラは二つのデジタル画像をＤＣＴ形式で自動的に取得し記憶する。

ステップ２０２、高いピクセル解像度の画像（画像Ａ）。この画像は、合焦状態である前景の主被写体、又は少なくとも実質上背景より合焦状態である前景の主被写体を有する。

ステップ２０４、低いピクセル解像度のポストビュー画像（画像Ｂ）。この画像は、合焦状態である背景、又は少なくとも実質上前景の主被写体より合焦状態である背景を有する。デジタルカメラの自動焦点アルゴリズムは通常、背景で精度良い合焦が得られるように中心を外れた複数ポイントでのフォーカスをサポートするようになっている。そのようなサポートを利用できないときは、カメラは無限遠に合焦させることができる。

これら二つの画像は、それぞれの画像で得られる景色が実質的に同一になるように高速で連続して取得される。

本実施形態において、ステップ２００から２０６は、カメラ２０で必然的に実行される。これから説明する残りの処理はカメラ、又は外部デバイス１０で実行することができる。

ステップ２０６において、画像ＡとＢは、それらの画像を取得している間における、被写体又はカメラの僅かな動きを補正するために整合（アライメント）される。アライメントアルゴリズムは既知である。そして、ステップ２０８で、前景に合焦した画像Ａの高周波（ＨＦ）マップは、画像における複数のＤＣＴブロックのそれぞれ又は少なくとも大部分に対して、選択された高次ＤＣＴ係数を合計することにより生成される。背景として、８×８ブロックのピクセルに対して、初め（ｄ．ｃ．）の成分から最も高い周波数成分までの６４のＤＣＴ係数のセットが生成される。

この実施形態では、ブロックにおけるＤＣＴ係数の上位２５％が、ブロックにおける全体的なＨＦインデックスを提供するために用いられる。画像のＤＣＴブロックのすべてが上記マップを生成するために使用されないならば、前景の主被写体が含まれていると予期される領域に注目すべきである。例えば、画像の極端なエッジは、これらのほとんどが背景となるため、しばしば省略される。ここでは、最終的なマップをマップＡという。

次にステップ２１０で、背景に合焦した画像ＢのＨＦマップ（マップＢ）は、マップＡと同一工程で、ＤＣＴブロックのＨＦインデックスを演算することによって生成される。

ここで、ステップ２１２で、マップＢからマップＡを減算することにより、差分マップが生成される。これはステップ２１０で得られたＨＦインデックスから、ステップ２０８で得られたＨＦインデックスを個々減算することにより行われる。画像Ａは画像Ｂよりも高いピクセル解像度であるため、画像ＢのＤＣＴブロックは画像ＡのＤＣＴブロックよりも景色の大きな領域に相当する。このため、マップＡの各ＨＦインデックは、撮影時の被写体又はカメラの僅かな動きを許容し、マップＡのＤＣＴブロックに相当する景色の領域を実質的に含むＤＣＴブロックが景色の領域に相当するマップＢのＨＦインデックスから減算される。それは、画像Ａ内のいくつかの隣接したＤＣＴブロックにおける、ＨＦインデックスは、画像Ｂ内、１つのＤＣＴブロックに相当するマップＢの同一のＨＦインデックスから減算されることを意味する。

ステップ２１４では、差分マップの値を用いることにより、デジタル前景/背景マップが生成される。ここで、ステップ２１２で画像ＡのＤＣＴブロックにおけるＨＦインデックスが減算された画像ＢのＤＣＴブロックにおけるＨＦインデックスと、画像ＡのＤＣＴブロックにおけるＨＦインデックスとの差分が正又は負かにより、画像Ａの各ＤＣＴブロックは画像の前景又は背景の領域に相当するとして割り当てられる。

最後にステップ２１６で、追加的な形態技術、領域補間技術、関連する画像処理技術、単体又は他の前景/背景分割技術との組み合わせにより、最終的な前景/背景マップをより強化し強調できる。

最終的な前景/背景マップ２１８に対しては、そしてユーザー選択モード３０によって実行される機能に従って、画像を処理するために、画像ＡのＤＣＴコード化、又はＪＰＧ形式を適用できる。

プロセッサ９０がカメラ２０と一体となっている場合、最終的に処理されたＪＰＧ画像は画像ディスプレイ１００に表示されたり、内蔵のメモリ又はＣＦカード、ＳＤカードのような取り外し可能なメモリである永続性メモリ１１２に記録されたり、有線又は無線の画像出力装置１０を介してパーソナルコンピューター、サーバー、又はプリンターといった他の装置にダウンロードされる。プロセッサ９０がデスクトップコンピュータなどの外部デバイス１０で実行される実施形態では、最終処理画像は上述した記憶や表示のため、カメラ２０に戻されたり、カメラの外部で記憶及び表示されたりする。

前述した実施形態の変形が可能である。例えば、画像Ｂとして、ポストビュー画像よりも低解像度のプレビュー画像とすることができる。また、画像Ａと画像Ｂの両方を同一の解像度で高解像度の画像とすることができる。この場合において、画像ＢのＤＣＴブロックは画像ＡのＤＣＴブロックと同一景色の領域に相当する。よって、ステップ２１２で、差分マップはマップＢのそれぞれ異なるＨＦインデックスからマップＡの各ＨＦインデックスを減算することにより生成されることがある。

例えば、同一の景色の領域、又は撮影時に、被写体又はカメラの僅かな動きを許容する実質的に同一の景色の領域に相当するマップＢのＨＦインデックスを用いることができる。

他の実施形態では、画像Ａと画像Ｂの両方として、低解像度のプレビュー画像及び/又は同一解像度のポストビュー画像を用い、これから取得した前景/背景マップは、三つ目の実質的に同一景色のより高解像度の画像に適用される。

さらに他の実施形態では、画像Ａと画像Ｂは違うピクセル解像度を有しており、またＤＣＴコード化より前に、二つの画像のピクセル解像度は、低い側の解像度の画像をアップサンプリングすることにより、又は高い側の解像度の画像をサブサンプリングすることにより一致させられる。

上記実施形態では、デジタルの前景/背景マップを生成して記憶することについて説明したが、他のアルゴリズムにおいて各ＤＣＴブロックに直接対応する画像領域の前景/背景指定を行うことが可能であり、デジタルマップを形式的に生成して記憶する必要はない。

他の実施形態では、マップやブロック解析によるＤＣＴブロックの比較に基づくのではなく、同様のＨＦ特性を有する領域を得るために、各マップをまずプレ処理しておくことができる。例えば、所定のしきい値よりも高いＨＦ成分を備える隣接するブロックをグループ化し、所定のしきい値よりも低いＨＦ成分を備える隣接するブロックをグループ化する。前景及び背景の画像からの領域は、それらが前景又は背景かを判別するために比較することができる。

上述した通り、画像内において前景および背景を分離する機能は様々な用途で有効である。

本発明のさらなる観点では、上述した実施形態を用いて、又は例えばＰＣＴ/ＥＰ２００６/００５１０９のフラッシュに基づく技術を用いて演算するかどうかに関わらず、画像の前景/背景マップを使った特定の用途としては、カメラに対する画像の向きを検知することがある。（上記技術は、当然のことながらデジタル画像取得デバイスに適用できる。）ほとんどの状況では、機械的デバイスを追加することなく、これは撮影を行うときカメラの向きを示唆する。

図３を参照すると、発明の観点は、一般的な景色に対して一般的に向けられたカメラにおいて、近い画像前景（この場合では被写体３０）は画像の下部に位置し、遠い背景はその上部に位置するといった観点に基づいている。

フラッシュを用いた前景及び背景の分割では、カメラに近い前景３０は遠い背景よりもフラッシュを反射する。よって、フラッシュを用いた景色の画像とフラッシュを用いていない景色の画像の差分を演算することより、画像の向きを検知でき、カメラの向きが示唆される。（上記実施形態で説明したように二つの画像のＤＣＴ係数を解析するとき、対応する解析が適応する）。

例となる実施としては二つの基準画像を（又はプレビュー画像、解像度が適切に一致した前回の画像とメイン画像の組み合わせ）、フラッシュを用いたものと、フラッシュを用いていないものを使用し、それらを階調レベルに変換する。

各ピクセルに対して、フラッシュを用いない画像の階調レベルを、フラッシュを用いた画像に相当するものから減算して差分画像を取得する。他の実施では、差分の代わりに比率を用いることができる。

各潜在的画像又はカメラ方向指示のため、ボックスは差分画像で取得される。直立カメラの画像センサーアレイ１０では、ボックス１２がカメラの直立方向と、ボックス１６がカメラの反転された方向と、ボックス１４が景色に対してカメラの時計回りと、またボックス１８が景色に対してカメラの逆時計回りと関連付けられる。

各ボックス１２から１８に対して、差分画像の平均値が演算される。いくつかの実施で見られるように、ボックス１２から１８に相当する画像の部分に対して差分を演算するだけでよい。

明確にするために、図３のボックスは画像の両端まで延びるものとして示していないが、例示的な実施としては、ボックスサイズをdimとして、ボックス１８を左＝０、上＝０から右＝dim、下＝画像高さ、に広げることができる。他の実施では、平均（ヒストグラム）の代わりに、他の適切な領域を、与えられた方向又は他の測定の単位を関連付けることができる。

ボックス１２から１８に関する平均値の最大が演算され、最大値に相当するボックスを、残りの領域に対して前景の度合いが最も高い領域とみなす。これは、この領域が基準画像の下部に位置することを示すものと考える。図３の例では、ボックスの差分画像のうち最大の差分はボックス１２で起こるはずで、よって直立の被写体を示し、被写体の通常の姿勢を前提として直立のカメラの方向を示す。いくつかの実施では、ボックス１６は現実のインカメラ方向でないときには使用する必要がない。

いくつかの実施では、仮想の画像方向を確認するためにいくつかのテストを実行することは有益である。例えば、最大平均値は他の値に対して優勢かどうか判別するためにテストされ、この優勢性又は別な方法から確信の度合いを示すことができる。必要な優勢性の度合いは、異なるタイプの画像（昼又は夜、ＰＣＴ/ＥＰ２００６/００５１０９で説明されているインドア又はアウトドア）に対して実験的に変更することができる。カメラ内で使用される他の画像解析要素からの情報は、確信の度合いを判別するためのこのステップで組み合わすことができる。

一つの例となる画像解析要素は、プレビュー画像のストリームにおいて、動作可能な顔追跡モジュールである。この要素は、領域が顔で、関連付けられた方向であることの確信度合いを含み、追跡された顔領域と関連して過去のデータを記憶する。複数の顔が存在する場合には、確信の度合いを判別するために、これらのデータを組み合わせることができる。

画像の仮定された左側と右側における差分値が等価であり、仮定された下部よりも小さく、仮定された上部より大きい場合には、方向が正しく検知される傾向がある。

画像の向きを知ることは多くのさらなるカメラアプリケーションに有益である。なぜなら、フラッシュ又は非フラッシュに基づく分割を利用してマップが生成されたかどうかにより、前景/背景マップはインドアとアウトドアの両方の画像に対して取得することができるからである。例えば、画像内において被写体の向きを知ることは、すべての可能性のある方向における被写体を識別しようとする前の処理を軽減する。
この発明は、発明の観点軌道から外れることなく修正や変化される場合があり、ここで説明した実施形態に限るものでなく、本発明の範囲から外れない限りにおいて、実施形態を変形したり、変更したりすることができる。

Claims (11)

1. デジタル画像取得デバイスに対する画像の向きを判別する方法であって、
   前記デジタル画像取得デバイスを用いておおよその同一景色の２つの画像を取得し、
   前記２つの画像のうち対応する境界に隣接した少なくとも一部分を比較して、前記一部分が背景よりも前景から成るかどうかを判別し、
   前景の基準度合いよりも高い前記一部分に応じて、前記画像はこの下部に前記一部分が位置している状態で方向付けされているかを判別すること、
   を特徴とする方法。
2. 前記２つの画像は、フラッシュ画像と非フラッシュ画像とを有しており、前記比較において、前記一部分のピクセルの輝度レベルを比較することを特徴とする請求項１に記載の方法。
3. 前記２つの画像は、非フラッシュ画像であり、前記比較において、前記一部分の少なくとも１つのブロックにおいて高次ＤＣＴ係数を比較することを特徴とする請求項１に記載の方法。
4. 前記画像の向きに従って前記デジタル画像取得デバイスの向きを暗示することを特徴とする請求項１に記載の方法。
5. 前記比較において、前記２つの画像における複数の境界と隣接するそれぞれの部分を比較し、他の部分に比較して前景の度合いが最も高いと判別された部分を前記画像の下部に位置していると予測することを特徴とする請求項１に記載の方法。
6. 前記画像の下部に位置すると予測された部分において、前景の度合いは、反対側の境界に隣接する前景の度合いよりも少なくとも一部で所定のしきい値だけ高いことを特徴とする請求項５に記載の方法。
7. 前記しきい値は、前記画像の露出レベル、前記画像がインドア又はアウトドアに分類されるかどうか、あるいはこれらの組合せにより変化することを特徴とする請求項６に記載の方法。
8. 前記画像の下部に位置すると予測された一部分において、前景の度合いは、少なくとも隣接境界に隣接する部分における前景の度合いよりも高く、前記隣接境界に隣接する部分における前景の度合いは、反対側の境界に隣接する部分における前景の度合いよりも高いことを特徴とする請求項５に記載の方法。
9. 撮影用フィルムを用いないデジタル画像取得システムであって、
   おおよその同一景色の二つの画像を取得する手段と、
   前記２つの画像のうち対応する境界に隣接する少なくとも一部分を比較して、前記一部分が背景よりも前景から成るかどうかを判別する手段と、
   前景の基準度合いよりも高い前記一部分に応じて、前記画像はこの下部に前記一部分が位置している状態で方向付けされていることを判別する手段と、を有することを特徴とするデジタル画像取得システム。
10. プロセッサが読み取り可能なコードが記憶された、プロセッサが読み取り可能な１つまたは複数の記憶装置であり、
    前記プロセッサが読み取り可能なコードは、１つまたは複数のプロセッサが請求項１〜８のいずれか１項に記載の方法を実行するようにプログラムされたコードである
    ことを特徴とする記憶装置。
11. デジタル画像を取得するレンズおよびイメージセンサと、
    一つまたは複数のプロセッサと、
    前記プロセッサが読み取り可能なコードが記憶された、前記プロセッサが読み取り可能な１つまたは複数の記憶装置であり、前記プロセッサが読み取り可能なコードは、前記プロセッサが請求項１〜８のいずれか１項に記載の方法を実行するようにプログラムされたコードであることを特徴とする記憶装置と、
    を有するデジタル画像取得デバイス。

Images