JP4243280B2 - デジタル撮像装置において動きを推定する方法及び装置 - Google Patents

Description

本発明は、包括的にはデジタル写真に関し、より詳細にはデジタル撮像装置において動きを推定する技法に関する。

［関連出願］
本願は、本願と同日に出願された「Method and Apparatus for Exposure Correction in a Digital Imaging Device」（ヒューレットパッカード社整理番号２００４０５８６５−１）に関連するものである。

カメラの動き、被写体の動き、又は両方によりブレる画像(blurred image)は、デジタル静止写真を含む静止写真における共通の問題である。ブレ補正アルゴリズムが存在するが、このようなアルゴリズムでは、フレーム内の動きを推定する必要があり得る。

したがって、デジタル撮像装置において動きを推定する改良された方法及び装置が当該技術分野において必要なことは明らかである。

上記課題を解決するために、本発明に係るデジタル撮像装置において動きを推定する改良された方法及び装置は、以下のような特徴を有する方法及び装置として提供される。

（１）デジタル撮像装置により取り込まれたデジタル画像内の動きを推定する方法であって、少なくとも１つのフィールド及びフィールド全体を保持可能な遮光シフトレジスタ(optically shielded shift register)を有するＣＣＤセンサアレイの特定のフィールドを短期間露出(expose)して、短露出画像データを生成するステップと、前記特定のフィールドを長期間露出して、長露出画像データを生成するステップであって、前記長期間は前記短期間に所定の係数を掛けたものである、ステップと、前記短露出データ及び前記長露出データのうち最初に生成されたものを前記遮光シフトレジスタに転送するステップと、前記ＣＣＤセンサアレイの前記特定のフィールド以外のフィールドを、前記短期間及び前記長期間を合わせた期間中、露出するステップであって、前記デジタル画像は少なくとも１つのフィールドからの画像データから成る、ステップと、前記短露出画像データと前記長露出画像データとを相関させ、前記デジタル画像内の動きの推定を導出するステップとを含む、デジタル画像内の動きを推定する方法。

（２）前記短露出画像データ及び前記長露出画像データは、明領域を取り巻く前記デジタル画像の少なくとも１つの局所領域内で相関がとられる、（１）に記載のデジタル画像内の動きを推定する方法。

（３）前記短期間及び前記長期間のうち最初に発生する期間中にストローブを発生させることをさらに含む、（１）に記載のデジタル画像内の動きを推定する方法。

（４）前記短期間及び前記長期間のうち２番目に発生する期間中にストローブを発生させることをさらに含む、（１）に記載のデジタル画像内の動きを推定する方法。

（５）デジタル撮像装置であって、光センサを含む少なくとも１つの行セット及びフィールド全体を保持可能な遮光シフトレジスタを含むＣＣＤセンサアレイと、以下の方法を実行するように構成される動き推定ロジックとを備え、該方法は、前記ＣＣＤセンサアレイの特定の行セットを短期間露出して短露出画像データを生成するステップと、前記特定の行セットを長期間露出して長露出画像データを生成するステップであって、前記長期間は前記短期間に所定の係数を掛けたものである、ステップと、前記短露出データ及び前記長露出データのうち最初に生成されたものを前記遮光シフトレジスタに転送するステップと、前記特定の行セット以外の行セットを、前記短期間及び前記長期間を合わせた期間中、露出するステップであって、デジタル画像は少なくとも１つの行セットからの画像データから成る、ステップと、前記短露出画像データと前記長露出画像データとを相関させ、前記デジタル画像内の動きの推定を導出するステップとを含む、デジタル撮像装置。

図１Ａは、本発明の例示的な実施形態によるデジタル撮像装置１００の機能ブロック図である。デジタル撮像装置１００は、シーンの光画像をデジタル画像に変換可能な任意の装置であってもよい。限定ではなく例として、デジタルカメラ、デジタルカムコーダ、デジタルカメラ機能を備えた個人情報端末（ＰＤＡ）、及びデジタルカメラ機能を備えた無線電話（たとえば、携帯電話又はＰＣＳ電話）が挙げられる。図１Ａでは、コントローラ１０５（たとえば、マイクロプロセッサ又はマイクロコントローラ）が、データバス１１０を介して撮像モジュール１１５、メモリ１２０、ディスプレイバッファ及び制御ロジック１２５、及び入力制御機構１３０と通信することができる。ディスプレイバッファ及び制御ロジック１２５は次いで、ディスプレイ１３５とインタフェースする。ディスプレイ１３５は、たとえば、液晶ディスプレイ（ＬＣＤ）であってもよい。光学系１４０は光画像を生成し、光画像は撮像モジュール１１５によりデジタル画像に変換される。入力制御機構１３０は、シャッタボタン、メニュー及び取り込まれたデジタル画像を閲覧するためのナビゲーションボタン、並びにデジタル撮像装置１００の動作を制御する他の入力制御機構を含むことができる。

図１Ｂは、本発明の例示的な実施形態による撮像モジュール１１５の機能ブロック図である。撮像モジュール１１５は、ＣＣＤセンサアレイ１４５、タイミング発生器／アナログフロントエンド（ＴＧ／ＡＦＥ）１５０、及びデジタル信号プロセッサ（ＤＳＰ）１５５を備えることができる。図１Ａに示すように、いくつかの実施形態では、撮像モジュール１１５は、ＤＳＰ１５５を介してコントローラ１０５と直接通信することができる。図１Ｂに示すように、データ信号及び制御信号の両方が、撮像センサ１４５とＴＧ／ＡＦＥ１５０とを結び付ける。

図１Ｃは、本発明の例示的な実施形態によるメモリ１２０の機能図である。メモリ１２０は、ランダムアクセスメモリ（ＲＡＭ）１６０、不揮発性メモリ１６５、露出制御ロジック１７０、及び動き推定ロジック１７５を含むことができる。いくつかの応用例では、不揮発性メモリ１６５は取り外し可能な種類のもの（たとえば、セキュアデジタルメモリカード又はマルチメディアメモリカード）であってもよい。露出制御ロジック１７０及び動き推定ロジック１７５については、この詳細な説明の後の部分においてさらに詳細に説明する。一般に、露出制御ロジック１７０及び動き推定ロジック１７５の機能は、ソフトウェア、ファームウェア、ハードウェア、又はこれらの任意の組み合わせで実施することができる。たとえば、露出制御ロジック１７０及び動き推定ロジック１７５は、コントローラ１０５により実行されるファームウェアであってもよい。

図２Ａは、本発明の例示的な実施形態によるＣＣＤセンサアレイ１４５に関連するベイヤーパターンの一部の図である。図２Ａに示すように、ＣＣＤセンサアレイ１４５は複数のフィールドを有する。「フィールド」は、ＣＣＤセンサアレイ１４５から１つの単位として読み出すことができる光センサの行のセット（「行セット」）として定義することができる。フィールドは一緒になって画像の「フレーム」を構成する。図２Ａに示す例では、ＣＣＤセンサアレイ１４５は３つのフィールド（２１０、２１５、及び２２０）を有し、図２Ａにおいてそれぞれフィールド１、フィールド２、及びフィールド３と記される。本発明の原理によるＣＣＤセンサアレイ１４５は、一般に１つ又は複数のフィールドを有することができる。図２Ａ中の文字「Ｒ」、「Ｇ」、及び「Ｂ」は、赤、緑、及び青のカラーチャネルをそれぞれ表す。フィルタ（図２Ａに示さず）の使用を通して、各ピクセル２０５が３色のうちの特定の１色を感知するようにする。

従来の（従来技術による）デジタルカメラのＣＣＤセンサアレイは通常、以下のように動作する。ＣＣＤセンサアレイのすべてのフィールドが、所定の期間にわたって同時に光に露出される。露出が完了すると、ＣＣＤセンサアレイの１つのフィールドが、遮光シフトレジスタ（「垂直シフトレジスタ」と呼ばれる場合もある）に転送される。シフトレジスタ内のフィールドは次いで、装置からクロックアウトされ、ＣＣＤセンサアレイ外部のメモリに記憶される。このプロセスは、すべてのフィールドがＣＣＤセンサアレイから読み出されるまで、ＣＣＤセンサアレイの残りの各フィールド毎に繰り返される。フィールド全体をシフトレジスタに転送するために必要な時間は通常、非常に短い（たとえば、約マイクロ秒）。しかし、シフトレジスタからデータをクロックアウトするために必要な時間は通常、総露出時間よりもはるかに長い。たとえば、露出が約１〜１０ｍｓであっても、単一のフィールドに関連する画像データをシフトレジスタから読み出すための時間は、１００ｍｓであり得る。

図２Ｂは、本発明の例示的な実施形態によるＣＣＤセンサアレイ１４５の一部の図である。図２Ｂに示すように、特定のフィールド（ＣＣＤセンサアレイ１４５のＮ個のフィールドのうちの任意の１つ。但し、Ｎは１以上の整数）からのピクセル２０５は、遮光シフトレジスタ（「シフトレジスタ」）２２５に転送することができる。シフトレジスタ２２５は実質的に、追加の１フィールドメモリとして動作することができ、ＣＣＤセンサアレイ１４５のフィールド全体を、別のフィールドをシフトレジスタ２２５にロードしなければならなくなるまで記憶することができる。ＣＣＤセンサアレイ１４５のこの側面を図３Ａ及び図３Ｂに示すように利用することができる。

図３Ａ及び図３Ｂは、本発明の例示的な実施形態によるＣＣＤセンサアレイ１４５の特定のフィールドの長短両方の露出を示す図である。図３Ａでは、ＣＣＤセンサアレイ１４５の特定のフィールドはまず、短期間３０５露出される。「特定のフィールド」の選択は任意であり、ＣＣＤセンサアレイ１４５が１つのみのフィールドを有する場合のＣＣＤセンサアレイ１４５の唯一のフィールドを含む、ＣＣＤセンサアレイ１４５のＮ個のフィールドのうちの任意の１つであってもよい。たとえば、特定のフィールドはフィールド１（２１０）であってもよい。特定のフィールドを短期間露出した結果得られる画像データは、シフトレジスタ２２５に転送することができ、同じ特定のフィールドを長期間３１０（すなわち、短期間３０５と比較して長い期間）にわたって再度露出することができる。図３Ａに示すように、ＣＣＤセンサアレイ１４５の特定のフィールド以外のいずれのフィールドも、デジタル画像の総露出時間３２０に等しい期間３１５にわたって露出することができる。総露出時間３２０が過ぎると、短期間３０５に関連する画像データはシフトレジスタ２２５にあり、長期間３１０に関連する画像データは特定のフィールドの光センサにあり、特定のフィールド以外の任意のフィールドに関連する画像データはそれぞれの光センサにある。したがって、特定のフィールドの短露出からの画像データをシフトレジスタ２２５から読み出し、特定のフィールドの長露出からの画像データをシフトレジスタ２２５に転送し、特定のフィールドの長露出からの画像データをシフトレジスタ２２５から読み出すことができ、このプロセスは、デジタル画像全体がＣＣＤセンサアレイ１４５から読み出されるまで、特定のフィールド以外のいずれのフィールドに対しても繰り返すことができる。

図３Ｂは、短期間３０５及び長期間３１０の順番が逆になった以外は図３Ａと同様であり、特定のフィールドの短露出及び長露出をいずれの順番でも行うことができることを示す。

図３Ｃは、本発明の例示的な実施形態による、ストローブパルス３２５が短期間３０５及び長期間３１０の両方の一部に跨る図である。デジタル撮像装置１００と共にストローブを使用することは任意選択的であるが、用途によっては有利であり得る。図３Ｄでは、本発明の例示的な実施形態により、特定のフィールドの最初の露出（この例では、長露出）中に第１のストローブパルス３３０を発生させ、特定のフィールドの次の露出（この例では、短露出）中に第２のストローブパルス３３５を発生させる。第１のストローブパルス３３０及び第２のストローブパルス３３５は、持続時間かエネルギー、又はその両方が不同のものであってもよい（持続時間が不同のものを図３Ｄに示す）。

長期間３１０を短期間３０５に所定の係数を掛けたものにすることにより、特定のフィールドの短露出からの画像データ（「短露出画像データ」）を使用して、特定のフィールドの長露出でクリッピングされた画像データ（「長露出画像データ」）のダイナミックレンジを拡張することができる。これを図４Ａに示し、ここで短露出画像データ４０５を所定の係数４１０と掛けて、ダイナミックレンジ拡張画像データ４１５が生成される。たとえば、所定の係数４１０が８である（すなわち、長期間３１０の長さが、短期間３０５の８倍に等しい）場合、長露出画像データにおいてクリッピングされた(clipped)ピクセルに空間的に対応する短露出画像データ４０５におけるピクセルに８（所定の係数４１０）を掛けて、クリッピングされたピクセルが、オーバーフローしなかったならば何であったかを推定（外挿）することができる。この例では、クリッピングされたピクセルのダイナミックレンジは事実上、最大で３ビットだけ拡張される。一般に、所定の係数４１０がＸに等しい場合（但し、Ｘは２以上の２のべき乗）、この技法を用いて、ダイナミックレンジをｌｏｇ₂（Ｘ）ビットだけ拡張することができる。

いくつかの実施形態では、クリッピングされたピクセルがＣＣＤセンサアレイ１４５の各種フィールドにおいて識別され、クリッピングされたピクセルのダイナミックレンジが短露出画像データ４０５を使用して拡張される前に、短露出画像データ４０５及び長露出画像データを組み合わせて（たとえば、スケーリングして一緒にして）単一のフィールド（「結合された特定のフィールド」）を形成することができる。このような実施形態では、結合された特定のフィールドは、ＣＣＤセンサアレイ１４５のその他のフィールドと同じように処理することができる。結合された特定のフィールドにおいて、クリッピングされた画像データが見つかる場合、短露出画像データ４０５を使用して、そのクリッピングされた画像データのダイナミックレンジを拡張することができる。

ＣＣＤセンサアレイ１４５が２つ以上のフィールドを有している場合、短露出画像データ４０５を使用して、特定のフィールド以外のフィールドにおいてクリッピングされた画像データのダイナミックレンジも拡張することができる。これには補間(interpolation)が必要であるが、補間技法はデジタル画像処理技術において既知であることを当業者は理解するであろう。図４Ｂは、本発明の例示的な実施形態によるＣＣＤセンサアレイ１４５に関連するベイヤーパターンの一部の図である。図４Ｂの例では、一般性を失うことなく、特定のフィールドはフィールド１（２１０）であると仮定する。フィールド２中の丸の付いた「Ｒ」（赤）ピクセルがクリッピングされ、フィールド１（２１０）の短露出画像データ４０５の２つの四角の付いた赤ピクセルに所定の係数４１０を掛け、これを使用してフィールド２中のクリッピングされた（丸の付いた）赤ピクセルの値を補間することができる。たとえば、フィールド２中の丸の付いたピクセルの下にあるフィールド１中の赤ピクセルを所定の係数４１０でスケーリングして２／３の重みを付けることができ、フィールド２中の丸の付いたピクセルの上にある（いくらか離れている）フィールド１中の赤ピクセルを所定の係数４１０でスケーリングして１／３の重みを付けることができる。次いで、フィールド１（２１０）からスケーリングされ重み付けられた赤ピクセル（短露出画像データ４０５の部分）を一緒にして、フィールド２中のクリッピングされた赤ピクセルの推定を形成することができる。他の多くの補間方式が可能であり、これらはすべて特許請求される本発明の範囲内にあるとみなされる。

図５Ａは、本発明の例示的な実施形態によるデジタル撮像装置の露出を補正する方法のフローチャートである。５０５において、露出制御ロジック１７０は、ＣＣＤセンサアレイ１４５のＮ個のフィールド（Ｎは１以上）のうちの特定のフィールドを、ＣＣＤセンサアレイ１４５の他のフィールドが（もしあれば）露出される総露出時間３２０よりも短い時間露出させる。特定のフィールドのこの最初の露出は、上述したように特定のフィールドの次の露出と比較して短くても長くてもよい。５１０において、露出制御ロジック１７０は、ステップ５０５における特定のフィールドの露出からの画像データをシフトレジスタ２２５に転送する。５１５において、露出制御ロジックは特定のフィールドを、総露出時間の残りの時間露出させることができる。特定のフィールドのこの２番目の露出は、上述したように、ステップ５０５における最初の露出と比較して短くても長くてもよい。露出制御ロジック１７０は、５２０において、特定のフィールドの長露出（又は任意選択的に、結合された特定のフィールド）及びＣＣＤセンサアレイ１４５の特定のフィールド以外の任意のフィールドにおいてクリッピングされた画像データを識別することができる。露出制御ロジック１７０は、５２５において、短露出画像データ４０５（短露出及び長露出が生成される順序に応じてステップ５０５又はステップ５１５から）を使用して、クリッピングされた画像データのダイナミックレンジを拡張することができる。上述したようにこれは、図４Ｂと併せて説明したように、短露出画像データ４０５に所定の係数４１０を掛けること、及び補間技法を用いることを含むことができる。５３０において、プロセスを終了することができる。

図５Ｂは、本発明の別の例示的な実施形態によるデジタル撮像装置の露出を補正する方法のフローチャートである。この特定の実施形態では、５３５において、露出制御ロジック１７０は、図３Ｃと併せて説明したように、短期間３０５及び長期間３１０両方の一部に跨るストローブパルス３２５をトリガする（特定のフィールドの最初の露出中に）。方法のその他の部分は図５Ａと同じである。ストローブパルス３２５を発生させる際、露出制御ロジック１７０は、長期間３１０中に発生するストローブパルスのエネルギーと短期間３０５中に発生するストローブパルスのエネルギーとの比率を、およそ所定の係数４１０に等しくさせることができる。このようにして、長露出画像データの露出時間及びストローブ照明の両方が、短露出画像データ４０５の露出時間及びストローブ照明に所定の係数４１０を掛けたものになり、上述したようにクリッピングされた画像データのダイナミックレンジの拡張が容易になる。

図５Ｃは、本発明のさらに別の例示的な実施形態によるデジタル撮像装置の露出を補正する方法のフローチャートである。図５Ｃに示す方法は、図３Ｄと併せて説明したように、２つの別個のストローブパルス（３３０及び３３５）を使用することを含む。５４０において（特定のフィールドの最初の露出中）、露出制御ロジック１７０は、特定のフィールドの最初の露出のおおよそ末尾（すなわち、短期間３０５又は長期間３１０のうちのいずれか最初に発生するほうのおおよそ末尾）で終わる第１のストローブパルス３３０を発生させることができる。５４５において、露出制御ロジックは、特定のフィールドの２番目の露出のおおよそ冒頭（すなわち、短期間３０５又は長期間３１０のうちのいずれか２番目に発生するほうのおおよそ冒頭）に開始される第２のストローブパルス３３５を発生させることができる。上述したように、第１及び第２のストローブパルス（３３０及び３３５のそれぞれ）の持続時間、エネルギー、又はこれら両方は不同であってもよい。たとえば、２つのストローブパルス３３０及び３３５のうちの長い方に関連するエネルギーは、おおよそ、２つのストローブパルス３３０及び３３５のうちの短い方に所定の係数４１０を掛けたものであることができる。２つのストローブパルス３３０及び３３５のうちの長い方を、任意選択的に長期間３１０内に発生させることができ、２つのストローブパルス３３０及び３３５のうちの短い方を、任意選択的に短期間３０５内で発生させることができる。

露出補正（クリッピングされた画像データのダイナミックレンジ拡張）が、デモザイク処理されていない画像データに対して上に示したように行われる場合でも、デジタル撮像装置１００での下流のデモザイク処理アルゴリズムはいずれも変更のないままであることができる（ダイナミックレンジ拡張により作成される、１ピクセル当たりの追加ビットを処理することができることの他に）。

任意選択的に、クリッピングされた画像データのダイナミックレンジ拡張後、圧縮されていない画像データのダイナミックレンジを、デジタル写真技術において既知のように、適切な色比率が保たれるように制御下で圧縮することができる。たとえば、クリッピングされた画像データのダイナミックレンジを拡張する際、公称１２ビット画像データは１５ビット（所定の係数４１０は８）に拡張することができ、ここから８ビット圧縮画像データが最終的に導出される。たとえば、ＪＰＥＧ（Joint Photographic Experts Group）デジタル画像は通常、１ピクセル当たり２４ビット（１カラーチャネル当たり８ビット）であり、ＪＰＥＧにより使用されるｓＲＧＢ規格は、ガンマ関数２．２を指定しており、これはダイナミックレンジを圧縮させる。

任意選択的に、短露出画像データ４０５及び長露出画像データを異なるアパーチャ設定で取り込み、得られるデジタル画像の被写界深度を操作することができる。同様に、短露出画像データ４０５及び長露出画像データを任意選択的に異なるフォーカス設定で取り込み、得られるデジタル画像の被写界深度を操作することができる。短期間３０５及び長期間３１０は両方とも総露出時間３２０よりも短いため、短露出画像データ４０５及び長露出画像データをそれぞれ、任意選択的にＣＣＤセンサアレイ１４５から異なる利得量で読み出すことができ、これにより特定のフィールドからの画像データの強度分解能(intensity resolution)が増大する可能性がある。

シフトレジスタ２２５を使用してＣＣＤセンサアレイ１４５の特定のフィールドの追加の露出を記憶する技法は、動き推定の問題にも適用することができる。単一フレーム内の動きを推定することができる場合、撮像処理技術において既知のブレ補正アルゴリズムをデジタル画像に適用して、ブレの影響を低減することができる。このようなブレは、カメラの動きか被写体の動き、又はその両方に起因し得る。

図６は、本発明の例示的な実施形態によるＣＣＤセンサアレイ１４５の特定のフィールドの別個の露出間の動きを示す。特定のフィールドの別個の露出（短露出画像データ４０５及び長露出画像データ）は、露出補正と併せて上述した方法と同じ方法で取り込むことができる。図６では、特定のフィールドの最初の露出６１０は、第１の位置にある被写体（ここでは、単純な円）の画像を含む。特定のフィールドの２番目の露出６１５（図６に破線の円で表される）は、単一の画像「フレーム」内の第２の位置にある同じ被写体を含む。特定のフィールド以外のＣＣＤセンサアレイ１４５のいずれのフィールドでも（また、十分な長さの特定のフィールドのいずれの露出でも）、この被写体の動きはブレとして現れる。

露出補正と同様に、特定のフィールドを短露出及び長露出の両方で取り込むことが有利であり得る。短露出は、長露出よりもより有効に動きを「フリーズ」させ、次の動き推定の助けになる。動きは、特定のフィールドの一方の露出中にストローブパルスを発生させることによって「フリーズ」させることもできる。たとえば、一実施形態では、特定のフィールドの最初に発生する露出中にストローブパルスを発生させることができる。別の実施形態では、特定のフィールドの２番目に発生する露出中にストローブパルスを発生させることができる。

図７Ａは、本発明の例示的な実施形態によるデジタル画像の動きを推定する方法のフローチャートである。ステップ５０５〜ステップ５１５（短露出画像データ４０５及び長露出画像データの取り込みを含む）は、図５Ａのステップに対応する。露出補正と同様に、短期間３０５及び長期間３１０はいずれの順序で発生してもよい。短露出画像データ４０５及び長露出画像データが取り込まれると、動き推定ロジック１７５が、７０５において、短露出画像データ４０５及び長露出画像データを相関付けて、画像フレーム内の動きを推定することができる。たとえば、動き推定ロジック１７５は、デジタル撮像装置１００又はシーン内の被写体が特定のフィールドの最初の露出と２番目の露出の間でどのように移動したかを記述する動きベクトルを導出することができる。

動き推定アルゴリズムは比較的単純である場合もあれば、非常に複雑な場合もある。ビデオ符号化技術において既知の高度な動き推定の一例は、ＭＰＥＧ（Moving Pictures Expert Group）ビデオ圧縮規格に関連して実施されるものである。ＭＰＥＧ圧縮に関連して使用される高度な動き推定技法は、動き推定のパフォーマンスを向上させることができる。このような向上としては、たとえば、ステップ７０５における短露出画像データ４０５と長露出画像データの相関付けに役立つ高速探索アルゴリズム又は効率的な計算方式を挙げることができる。高度なＭＰＥＧ動き推定の一例は、米国特許第６，４８０，６２９号に見出すことができ、この開示を参照により本明細書に援用する。いくつかの実施形態では、動き推定ロジック１７５は、デジタル画像内のハイライト（明領域）を識別し、識別されたハイライトを取り巻く局所領域内の短露出画像データ４０５と長露出画像データを相関付けることができる。

上述したように、７０５において導出される動き推定は、続くブレ補正アルゴリズムへの入力としての役割を果たすことができる。

図７Ｂは、本発明の別の例示的な実施形態によるデジタル画像の動きを推定する方法のフローチャートである。図７Ｂに示す方法は、特定のフィールドの最初の露出中にストローブパルスを発生させるステップ７１０（図５Ｃのステップ５４０と同様）が図７Ａの方法と異なり、ここで、上述したように、最初の露出は特定のフィールドの次の露出と比較して長くても短くてもよい。上述したように、別法として、ストローブパルスを特定のフィールドの２番目の露出中に発生させてもよい。

いくつかの実施形態では、同じ短露出画像データ４０５及び長露出画像データを使用して露出補正及び動き推定の両方をデジタル撮像装置１００において行うことができる。他の実施形態では、２つの技法のうちの一方のみがデジタル撮像装置１００において実施される。

上述した実施形態はＣＣＤセンサアレイを採用するが、等価の機能（すなわち、少なくとも１つのフィールド及び単一の露出サイクル中に特定のフィールドの２つ以上の露出を記憶する機能）を有する任意の撮像センサを本発明の実施に使用することができる。

本発明の上記説明は、例示及び説明を目的として提示されている。網羅的、すなわち本発明を開示した厳密な形態に限定するものではなく、他の変更及び変形が上記教示に鑑みて可能であり得る。実施形態は、本発明の原理及びその実際の適用を最もよく説明し、それにより当業者が、意図する特定の用途に適するように本発明を各種実施形態及び各種変更形態で最もよく利用できるようにするために選択され説明された。添付の特許請求の範囲は、従来技術により制限される範囲を除き、本発明の他の代替の実施形態を包含するものと解釈されるものである。

本発明の例示的な実施形態によるデジタル撮像装置の機能ブロック図である。 本発明の例示的な実施形態による、図１Ａに示すデジタル撮像装置の撮像モジュールの機能ブロック図である。 本発明の例示的な実施形態による、図１Ａのデジタル撮像装置のメモリの機能図である。 本発明の例示的な実施形態による、撮像センサに関連するベイヤーパターンの一部の図である。 本発明の例示的な実施形態によるＣＣＤセンサアレイの一部の図である。 本発明の例示的な実施形態によるＣＣＤセンサアレイの特定のフィールドの長短露出を示す図である。 本発明の例示的な実施形態によるＣＣＤセンサアレイの特定のフィールドの長短露出を示す図である。 本発明の例示的な実施形態によるＣＣＤセンサアレイの特定のフィールドの長短両方の露出の一部に跨るストローブパルスを示す図である。 本発明の別の例示的な実施形態によるＣＣＤセンサアレイの特定のフィールドの長露出中及び短露出中のそれぞれの別個のストローブパルスを示す図である。 本発明の例示的な実施形態によるクリッピングされた画像データのダイナミックレンジ拡張についてのブロック図である。 本発明の例示的な実施形態による、補間を通して、短露出画像データをどのように使用して、ＣＣＤセンサアレイの特定のフィールド以外のフィールドにおける画像データのダイナミックレンジを拡張することができるかを示す図である。 本発明の例示的な実施形態によるデジタル撮像装置の露出を補正する方法のフローチャートである。 本発明の別の例示的な実施形態によるデジタル撮像装置の露出を補正する方法のフローチャートである。 本発明のさらに別の例示的な実施形態によるデジタル撮像装置の露出を補正する方法のフローチャートである。 本発明の例示的な実施形態によるＣＣＤセンサアレイの特定のフィールドの別個の露出間の動きの図である。 本発明の例示的な実施形態によるデジタル画像の動きを推定する方法のフローチャートである。 本発明の別の例示的な実施形態によるデジタル画像の動きを推定する方法のフローチャートである。

符号の説明

１００ デジタル撮像装置
１０５ コントローラ
１１５ 撮像モジュール
１２０ メモリ
１２５ ディスプレイバッファ及び制御ロジック
１３０ 入力制御機構
１３５ ディスプレイ
１４５ ＣＣＤセンサアレイ
１６５ 不揮発性メモリ
１７０ 露出制御ロジック
１７５ 動き推定ロジック
２２５ 遮光シフトレジスタ
３２０ 総露出時間
３０５ 短期間
３１０ 長期間
３１５ 他のフィールドの露出
４０５ 短露出画像データ
４１０ 所定の係数
４１５ ダイナミックレンジ拡張画像データ

Claims (3)

1. デジタル撮像装置により取り込まれたデジタル画像内の動きを推定する方法であって、
   少なくとも１つのフィールド及びフィールド全体を保持可能な遮光シフトレジスタを有するＣＣＤセンサアレイの特定のフィールドを短期間露出して、短露出画像データを生成するステップと、
   前記特定のフィールドを長期間露出して、長露出画像データを生成するステップであって、前記長期間は前記短期間に所定の係数を掛けたものである、ステップと、
   前記短期間と前記長期間との一部に跨って、又は、前記短期間と前記長期間とのそれぞれの期間において、ストローブパルスを発生させるステップであって、前記長期間中に生じるストローブパルスのエネルギーと前記短期間中に生じるストローブパルスのエネルギーとの比率が、前記所定の係数と等しい、ストローブパルスを発生させるステップと、
   前記短露出データ及び前記長露出データのうち最初に生成されたものを前記遮光シフトレジスタに転送するステップと、
   前記ＣＣＤセンサアレイの前記特定のフィールド以外のフィールドを、前記短期間及び前記長期間を合わせた期間中、露出するステップであって、前記デジタル画像は少なくとも１つのフィールドからの画像データから成る、ステップと、
   前記短露出画像データと前記長露出画像データとを相関させ、前記デジタル画像内の動きの推定を導出するステップと
   を含む、デジタル画像内の動きを推定する方法。
2. 前記短露出画像データ及び前記長露出画像データは、明領域を取り巻く前記デジタル画像の少なくとも１つの局所領域内で相関がとられる、請求項１に記載のデジタル画像内の動きを推定する方法。
3. デジタル撮像装置であって、
   光センサを含む少なくとも１つの行セット及びフィールド全体を保持可能な遮光シフトレジスタを含むＣＣＤセンサアレイと、
   以下の方法を実行するように構成される動き推定ロジックと
   を備え、
   該方法は、
   前記ＣＣＤセンサアレイの特定の行セットを短期間露出して短露出画像データを生成するステップと、
   前記特定の行セットを長期間露出して長露出画像データを生成するステップであって、前記長期間は前記短期間に所定の係数を掛けたものである、ステップと、
   前記短期間と前記長期間との一部に跨って、又は、前記短期間と前記長期間とのそれぞれの期間において、ストローブパルスを発生させるステップであって、前記長期間中に生じるストローブパルスのエネルギーと前記短期間中に生じるストローブパルスのエネルギーとの比率が、前記所定の係数と等しい、ストローブパルスを発生させるステップと、
   前記短露出データ及び前記長露出データのうち最初に生成されたものを前記遮光シフトレジスタに転送するステップと、
   前記特定の行セット以外の行セットを、前記短期間及び前記長期間を合わせた期間中、露出するステップであって、デジタル画像は少なくとも１つの行セットからの画像データから成る、ステップと、
   前記短露出画像データと前記長露出画像データとを相関させ、前記デジタル画像内の動きの推定を導出するステップとを含む、デジタル撮像装置。

Images