JP4972724B2 - インタリーブ画像を捕捉する方法及び装置 - Google Patents

Description

本発明は、デジタル写真技術に関する。

代表的なデジタルカメラにおいて、レンズがシーン（景観、光景）の画像を電子アレイ光センサに投影する。センサ及び関連電子回路が、当たった光を読み取り、シーン位置の明るさ、色又はこれらの両方を表わす数値の配列を作成する。この数値の配列は、デジタル写真、デジタル画像、或いは単に画像又は写真と呼ばれることがある。

カメラユーザが写真を作成する際、カメラは、「最終」写真を得るために多数の準備写真を撮ることがある。この開示では、「最終」写真とは、撮影者が撮影し後で使用するために蓄えようとする写真のことである。シーンに関する情報を収集するために準備写真の少なくとも幾つかを使用することができ、それにより最終写真を撮るためにカメラを適切に構成することができる。例えば、準備写真の幾つかを分析してシーンの明るさを決定し、それにより、最終写真を撮るためのレンズ口径や露光時間等の露光パラメータを設定することができる。準備写真の幾つかの色の分布を調べて、最終写真にどんな種類のホワイトバランス調整を適用すべきかを決定することができる。

準備写真の幾つかをカメラの電子ディスプレイに表示させることができ、それによりユーザは、どれが最終写真に近いかを知ることができる。ディスプレイに一連の準備写真が表示されたとき、表示された「ライブビュー（ｌｉｖｅ ｖｉｅｗ：実況画像の閲覧）」は、撮影者が最終写真を作成するのに役立つ。デジタルカメラによっては光学ファインダを備えていないものがあるので、デジタルカメラによっては、このライブビューは、撮影者が写真を作成するために使用できる唯一の手段である。

準備写真の幾つかは、カメラのレンズの焦点合わせに使用されることがある。一般に、焦点は、１つ又は複数のレンズ要素を移動させることによって調整され、特定の焦点設定での焦点品質は、その焦点設定で得られる写真の空間コントラスト計量値（spatial contrast metric）を計算することによって評価される。焦点合わせは、複数の試験的な焦点設定で撮影された写真の空間コントラスト計量値を計算し、次にその計算した計量値に基づいて、焦点位置を焦点が最適になるまで調整することによって達成することができる。このプロセスは繰り返しの場合があり、幾つかの試験写真の撮影を必要とする場合がある。例えばデジタル一眼レフ（ＳＬＲ）カメラなどの幾つかのカメラは、焦点合わせ専用のセンサを備えることがあり、それにより、メインの電子アレイ光センサを、焦点合わせ中の中断なしにライブビュー準備写真を撮るために使用することができる。しかしながら、この追加のセンサは、カメラのコストと複雑さを高める。ライブビューと焦点合わせの両方並びにカメラが実行する他の機能に単一の電子アレイ光センサを使用することが望ましい。

準備写真のこのような様々な用途は、極めて異なる要件を有する。ライブビューの間にディスプレイに表示される写真は、ノイズがほとんどなく且つ色が適正な優れた品質のものであることが望ましい。そのため、特にシーンが薄暗いときに、ライブビュー用に撮影される写真の露光時間を比較的長くしなければならない場合がある。しかしながら、被写体の動きが空間コントラスト分析に及ぼす影響が小さく且つ焦点合わせを素早く行えるように、自動焦点合わせに使用される写真の露光時間は比較的短くなければならない。

これらの要件が矛盾するため、従来のカメラは、自動焦点合わせの間ライブビューを単純に中断していた。これは、作成をライブビューに依存する撮影者を混乱させることがある。更に、連続的な焦点合わせとライブビューが両立しないので、多くの民生デジタルカメラは、スポーツ行事等の変化の早いシーンの撮影には不都合である。

単一の電子アレイ光センサを使用しながら、デジタルカメラが実行する複数の機能（ライブビュー及び自動焦点合わせ等）を両立させる。

インタリーブ写真を撮影する方法において、少なくとも第１組と第２組の画素を含む電子アレイ光センサを光にさらす段階と、前記第２組の画素が光にさらされ続けている間に前記第１組の画素を２回以上読み出す段階であって、各前記読み出しによって、第１の露光時間を有する第１の種類のデジタル画像を得る段階と、前記第２組の画素を読み出す段階であって、前記読み出しによって、前記第１の露光時間より長い第２の露光時間を有する第２の種類のデジタル画像を得る段階と、最終写真に備えて前記２つの種類のデジタル画像を様々な目的に使用する段階とを含む。

カメラにおいて、少なくとも第１組と第２組の画素を更に含む電子アレイ光センサと、前記電子アレイ光センサにシーンの画像を投影するレンズと、論理回路であって、前記電子アレイ光センサが前記シーンからの光にさらされている間に、前記第２組の画素に光を受け続けながら前記第１組の画素から短い露光時間の写真を２回以上読み出し、前記第２組の画素から長い露光時間の写真を読み出し、最終写真を撮る準備の間に２種類の写真を様々な目的に使用するように構成された論理回路と、を含む。

図１は、本発明の例示的な実施形態によるデジタルカメラ１００の簡略化したブロック図を示す。レンズ１０１は、シーンから出る光を集めて、光１０２を電子アレイ光センサ１０３に導く。センサ１０３は、しばしば画素と呼ばれる光感応素子のアレイからなる。アレイ１０３の各画素は、レンズ１０１の作用により特定のシーン位置に対応する。共通のタイプの電子アレイ光センサが、各画素において、画素に当たる光の強さに比例した割合で電荷を生成し、その電荷を電荷結合素子（ＣＣＤ）に蓄える。そのようなセンサは、しばしば「ＣＣＤセンサ」又は単に「ＣＣＤ」と呼ばれる。例えば、能動画素相補型金属酸化膜半導体（ＣＭＯＳ）センサ等の他の種類のセンサも使用することができる。多くのカメラにおいて、各センサ画素は、シーンに関する色情報が得られるようにカラーフィルタを有する。当業者は、本発明の少なくとも幾つかの態様がカラー機能のあるカメラでもカラー機能のないカメラでも実施できることを理解するであろう。センサ１０３は、画像データ信号１０４を論理回路１１０に送る。論理回路１１０は、アナログ−デジタル変換器、マイクロプロセッサ又はデジタル信号プロセッサ、又は他の種類の回路、或いはこられの任意の組み合わせからなることができる。

論理回路１１０は、画像データ信号１０４を、センサ画素位置で測定された光強度を表わすデジタル値に変換する。このようなデジタル値の順序付けられた配列は、それぞれ特定のシーン位置の明るさ、色又はその両方を表わし、デジタル画像、デジタル写真、或いは単に画像又は写真と呼ばれることがある。センサ１０３の画素位置に対応するデジタル値は、「画素値」と呼ばれることがある。デジタル画像を適切に変換し表示すると、そのデジタル画像から元のシーンの表現を再現することができる。

論理回路１１０は、また、カメラ１００の動作の全体的な制御、制御信号１０５によるセンサ１０３の制御、ディスプレイ１０９とユーザ制御部１１２を介したカメラユーザとの対話、デジタル画像処理、並びに処理し表示し又は印刷するための他の機器へのデジタル画像伝送などの他の機能を実行することができる。論理回路１１０は、レンズ制御信号１１３をレンズ１０１に送ることによって自動焦点合わせを実行することができる。

フラッシュ又はストロボユニット１０６は、論理回路１１０によって制御されるストロボ電子回路１０８の制御下で、シーンに補助光１０７を提供することができる。メモリ１１１は、カメラによって捕捉されたデジタル画像、並びにカメラ構成情報、論理回路１１０のプログラム命令、及び他の要素を記憶する。メモリ１１１は、不揮発性メモリ（フラッシュメモリ等）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、以上その他の種類のメモリの任意の組み合わせからなることができる。ユーザ制御部１１２は、ユーザがカメラ１００の動作を制御するボタン、ダイヤル、スイッチ又は他の装置を有することができる。

図２Ａと図２Ｂはそれぞれ、カメラ１００の前面斜視図と後面斜視図を示す。レンズ１０１は、図２Ａに見ることができ、ディスプレイ１０９は、図２Ｂに見ることができる。また、特に関心のあるユーザ制御部も見える。シャッタボタン２０１（ユーザ制御部１１２の１つ）は、写真を撮るためにユーザが押す制御部である。この制御部は、カメラ１００が実際の機械的シャッタを含まない場合でも、歴史的な理由から「シャッタボタン」と呼ばれる。シャッタボタン２０１は、カメラ１００をＳ１とＳ２と呼ばれる連続する２つの状態にすることができる。状態Ｓ１は、シャッタボタンが部分的に押されたときに生じ、状態Ｓ２は、シャッタボタンが完全に押されたときに生じる。Ｓ１で、カメラは自動焦点合わせと露光決定を実行することができる。Ｓ２で、「最終」写真が実際に撮影され、メモリ１１１に記憶される。

図３は、本発明の例示的な実施形態で使用できる例示的な３フィールドＣＣＤセンサ３００の単純化した回路図を示す。例示的なセンサ３００は、市販のＣＣＤセンサを表す。本発明は、センサ３００等のＣＣＤセンサ又はＣＭＯＳセンサを使用して実施することができる。センサ３００は、９行からなり、各行は６個の画素３０１からなる。実際のセンサは、数百万や数千万もの多数の画素を有する場合があり、図３の６ｘ９画素パターンと、青フィルタと緑フィルタを有する画素が最上行にある実施態様が、何度も繰り返される場合がある。例示的なセンサ３００は、説明を分かりやすくし描画を容易にするために少数の画素だけが示されている。センサ３００は、一律の縮尺で示されていない。各画素３０１は、画素に当たる光の強さに比例した割合で画素に電荷が蓄積する特性を有する半導体領域である。例示的なセンサ３００において、各画素には、赤、緑又は青のいずれかのカラーフィルタが、よく知られているＢａｙｅｒ（ベイヤー）パターンで取り付けられており、その結果、各画素が、主に可視スペクトルのサブセットに対応している。他の種類と構成のフィルタを使用することもできる。

画素の列の隣りには垂直シフトレジスタ３０２がある。垂直シフトレジスタ３０２は、画素３０１と同じように構成され、やはり電荷を保持することができるが、遮蔽材料３０３によって入射光から遮られている。例示的なセンサ３００は、各垂直シフトレジスタが３つの画素に対応するという点で「３フィールド」ＣＣＤである。

センサ３００を使用した完全な最大解像度の最終写真の捕捉は、以下のように進む。画素３０１は、中にある電荷をセンサ３００の基板に流すことによって電荷が空になる。これは「フラッシュ」操作と呼ばれることがあり、ＦＬＵＳＨ信号（フラッシュ信号）に応じて行われる。次に、画素３０１は、シーンからの光に一定期間さらされる。最終写真の場合、露光は、露光時間の終わりで、機械的シャッタを閉じ光がそれ以上画素３０１に達しないように遮ることによって止められることが好ましい。次に、フィールド（領域）（１）の画素の内容が、ＴＲＡＮＳＦＥＲ₁信号（移送信号₁）に応じて、画素３０１とシフトレジスタ３０２の電位を調整することによって垂直シフトレジスタ３０２に転送され、その結果、電荷がシフトレジスタに移動する。（当業者は、図３のＴＲＡＮＳＦＥＲ信号とＳＨＩＦＴ信号（シフト信号）が概念的であり単純化されていることを理解するであろう）それぞれのシフトまたは転送は、実際には、１組の信号の電圧を順次調整することによって行うことができる。）次に、ＳＨＩＦＴ ＶＥＲＴ信号（垂直シフト信号）に応じて、垂直シフトレジスタ３０２の内容が一行ずつ水平シフトレジスタ３０４に移される。垂直シフトと垂直シフトの間に、ＳＨＩＦＴ ＨＯＲＩＺ信号（水平シフト信号）に応じて、水平シフトレジスタ３０４の内容が１画素ずつ出力段３０５に移される。それぞれの水平シフトごとに、（出力）電圧Ｖ_outは、最も最近のシフトで出力段３０５に達した電荷の量を一時的に反映し、従って露光時間の間に対応する画素に当たった光の量も示す。この電圧は、アナログ−デジタル変換器（図示せず）を使用して数値に変換され、この数値は記憶される。

フィールド（１）からの全ての電荷が処理されたとき、（２Ａ）と（２Ｂ）と示した行からなる第２のフィールド内の画素の内容は、信号ＴＲＡＮＳＦＥＲ_2A（移送信号_2A）とＴＲＡＮＳＦＥＲ_2B（移送信号_2B）を使用して垂直シフトレジスタに転送される。次に、電荷は、出力段３０５と水平シフトレジスタ３０４を介して順次移され変換され、得られた数値が記憶される。（３Ａ）と（３Ｂ）と示した行からなる第３のフィールドの画素の内容は、同じように処理され、３つのフィールドからの得られた数値が組み合わされてデジタル写真が形成される。

以上述べたプロセスは、最大解像度カラー画像を生成し、センサ３００の基本動作を示しているが、センサ３００を制御する他の多くの方法が可能である。例えば、特定の露光に関してセンサ３００から全ての画素電荷を読み出さなくてもよい。フィールド（１）から全ての電荷を読み出して変換し、残っている電荷を単にフラッシュしてもよい。得られた数値の配列を使用して、最大解像度より低い解像度の写真を作成することができる。この開示では、「解像度」は、特定の視野を表わすために使用される画素の数を指す。高解像度写真は、特定の視野を表わすために多数の画素を使用し、低解像度写真は、同じ視野を表わすためにより少数の画素を使用する。低解像度写真は、数値への変換後に電荷ドメインまたはデジタル方式でデシメーションするか画素を結合することによって、高解像度写真から作成することができる。

別の例において、「ビンニング（蓄積）」プロセスを使用してシフトレジスタ内で複数の画素からの電荷を組み合わせることができる。例えば、複数のフィールドからの画素が垂直シフトレジスタ３０２に同時に転送される。これは「垂直ビンニング（ｖｅｒｔｉｃａｌ ｂｉｎｎｉｎｇ）」と呼ばれる。垂直ビンニングの別の例において、水平シフトレジスタ３０４の電荷を出力段３０５に移す前に、複数の垂直シフトレジスタ３０２の内容を水平シフトレジスタ３０４に移してもよい。また、「水平ビンニング」も可能である。例えば、変換前に複数の水平シフトレジスタ３０４から電荷を出力段３０５に移してもよい。

ビンニングによって、最大解像度より低い解像度の写真が得られ、電荷をセンサ３００から素早く移すことができるので、低い解像度の写真を最大解像度写真よりも素早く撮影することができる。一般に、長すぎる露光時間や複数の画素位置からの電荷の結合のために、画素やシフトレジスタが、オーバフローし即ち「飽和する」ほど電荷を蓄積しないように注意される。場合によって、異なるカラーフィルタを有する画素からの電荷がビンニングされるか同じ色を有する画素からの電荷がビンニングされることがあり、或いはビンニングによって、異なる色の画素からの電荷が組み合わされるか同じ色の画素だけからの電荷が組み合わされる場合がある。この後者の技術は、センサ３００の設計によって容易になり、フィールド（２）及び（３）は、サブフィールド（２Ａ）及び（２Ｂ）と、サブフィールド（３Ａ）及び（３Ｂ）にそれぞれ更に細分される。サブフィールドは、信号ＴＲＡＮＳＦＥＲ_2A（移送信号_2A）、ＴＲＡＮＳＦＥＲ_2B（移送信号_2B）、ＴＲＡＮＳＦＥＲ_3A（移送信号_3A）及びＴＲＡＮＳＦＥＲ_3B（移送信号_3B）を使用して個別に垂直シフトレジスタ３０２に転送されてもよい。

本発明の例示的な実施形態によれば、カメラは、センサ３００のこれらの機能を使用して、センサがずっと光にさらされている間に少なくとも２種類のインタリーブされた（一定の順序で作成された）断続的な写真を撮ることができる。第１の種類の写真は、比較的短い露光時間を有し、カメラに含まれる電子アレイ光センサの第１組の画素を使用して撮影される。第２の種類の写真は、比較的長い露光時間を有し、電子アレイ光センサの第２組の画素を使用して撮影される。長い露光の第２の種類の各写真ごとに、短い露光の第１の種類の複数の写真を撮ることができる。カメラは、比較的短い露光時間を有する写真を使用して自動焦点合わせを行い、自動焦点合わせを実行している間に、比較的長い露光時間を有する写真を使用して、ライブビュー表示で写真をディスプレイに順次表示することが好ましい。このように、自動焦点合わせ中にライブビューを継続することができ、素早く変化するシーンの写真技術が改善される。各写真が適切に露光されるようにビンニングを使用することができる。２種類の写真は同じ解像度の写真でなくてもよく、同じ色特性でなくてもよい。２種類の写真の他の使用法も可能である。

図４は、本発明の単純な例示的な実施形態においてセンサ３００がどのように制御されるかを例示するタイミング図を示す。この例において、比較的短い露光時間で断続的な写真を撮るために使用される第１組の画素は、フィールド（２）と（３）の両方を構成する。比較的長い露光時間で断続的な写真を撮るために使用される第２組の画素は、単にフィールド（１）である。論理回路１１０は、以下のように例示的なセンサ３００に制御信号を供給する。

センサ３００は、以下のシーケンス全体の間ずっとカメラレンズからの光を受ける。準備写真を撮る間に機械的シャッタは使用されず、センサ３００の全電子制御が使用される。最初に、ＦＬＵＳＨ信号がアサートされ、全ての画素の電荷が空にされる。時間ＥＸＰ１の後、時間４０１で、フィールド（２）及び（３）内の画素から全ての電荷が垂直シフトレジスタ３０２に転送される。この動作により、フィールド（２）及び（３）内の電荷のビンニングが行われ、このビンニングによって、異なる色の画素からの電荷が組み合わされる。転送動作によって、フィールド（２）及び（３）の画素の電荷が空になり、それらのフィールド内の画素が有効にフラッシュされる。センサ３００がまだ光にさらされているので、フィールド（２）及び（３）内の画素はすぐに新しい電荷を蓄積し始める。

フィールド（２）及び（３）からの電荷が、シフトレジスタ３０２に転送された後で、ＳＨＩＦＴ ＶＥＲＴの３回のアサーションと、ＳＨＩＦＴ ＶＥＲＴの各アサーションに対して６回のＳＨＩＦＴ ＨＯＲＩＺのアサーションを使用して、電荷がセンサ３００から一行ずつ且つ一画素ずつ移される。従って、フィールド（２）及び（３）の画素から得られるデジタル写真は、比較的短い露光時間ＥＸＰ１で撮影される。

時間４０２で、もう１回露光時間ＥＸＰ１が経過した。比較的短い露光時間ＥＸＰ１を有する第２の写真が、ＳＨＩＦＴ ＶＥＲＴの３回のアサーションとＳＨＩＦＴ ＨＯＲＩＺの１８回のアサーションを使用して、フィールド（２）及び（３）内の電荷を垂直シフトレジスタにセンサ３００からもう１回転送することによって、センサ３００から読み出される。次に、フィールド（２）及び（３）内の画素は、すぐに新しい電荷を蓄積し始める。図４が一律の縮尺ではなく、またフィールド（２）及び（３）からの短い露光時間に写真が定期的に現れることができることに注意されたい。

時間４０３で、フィールド（２）及び（３）の画素から第２の画像が読み出された直後に、フィールド（１）の画素に蓄積していた電荷は、垂直シフトレジスタ３０２に転送され次にセンサ３００から読み出される。（次に、フィールド（１）の画素は、新しい電荷を蓄積し始める。）従って、フィールド（１）で画素から得られたデジタル写真は、比較的長い露光時間ＥＸＰ２で撮影される。正確に言うと、この例において、時間ＥＸＰ２は、時間ＥＸＰ１のちょうど２倍以上であり、その後で第２組の画素から得られる写真は、時間ＥＸＰ１の２倍の間隔で現れる。次にプロセスが繰り返す。時間４０４で、露光時間ＥＸＰ１を有する別の写真が、フィールド（２）及び（３）から読み出され、再び時間ＥＸＰ１が経過した後で写真がフィールド（２）及び（３）とフィールド（１）から読み出される。

このプロセスは、何度も繰り返すことがある。例えば、カメラ１００は、「焦点追跡」モードを備えることがあり、このモードでは、シャッタボタン２０１が位置Ｓ１に保持されている限り、カメラは絶えず焦点を計測しなおして調整すると同時に撮影者が継続的に構成を洗練させることができるライブビュー表示も維持する。シャッタボタン２０１が更に位置Ｓ２まで押されたとき、焦点合わせや他の調整が既に完了しているので、カメラ１００は、最小遅延で最終写真を撮ることができる。

長い露光時間の画像を得る際に異なる色の画素からの電荷のビンニングが行われないため、この画像は、色が重要な用途に適する。例えば、この写真は、ライブビューシーケンスで表示されてもよく、次の最終写真の適切なホワイトバランス調整を決定するために分析されてもよい。（画面１０９に収まるように写真の大きさを変更する等の他の調整が行われてもよい。）フィールド（２）及び（３）から得られる短い露光時間の画像を撮影する際、異なる色の画素からの電荷がビンニングされ、その結果得られる画像がフルカラーでなくなる。しかしながら、これらの画像は、特に水平方向に、焦点品質を有効に評価できるだけの空間コントラストを維持している。また、短い露光時間の画像の各要素を形成するために２つの電荷がビンニングされるので、そのような露光は、一般に、フィールド（１）の長い持続時間の露光を行うときの垂直シフトレジスタ３０２と水平シフトレジスタ３０４の電荷容量のほぼ同じ部分を使用する。露光時間ＥＸＰ１とＥＸＰ２が、シーンの照明状態に対して適切に選択されると仮定すると、実質的に飽和が回避される。（露光時間のそのような選択は、当該技術分野において周知である。）
センサ３００から画像を読み出すのに必要な時間は、どれだけのビンニングが実行されるか、電荷が数値に変換されずに廃棄されるかどうかなどの幾つかの要因に依存する。写真の露光時間は、シーンの照明、レンズ口径、モーションブラー制限、画像データ信号に適用されるアナログ及びデジタル利得、写真の読み出し中にビンニングが行われるかどうかを含むがこれらに限定されない多くの他の要因に依存する。読み出し時間が露光時間より短い場合、カメラは、「露光限定（ｅｘｐｏｓｕｒｅ ｌｉｍｉｔｅｄ）」であると言われる。即ち、連続した写真を撮ることができる頻度は、各写真を露光するのに必要な時間によって限定される。読み出し時間が露光時間より長い場合、カメラは、「読出し限定」であると言われる。図４において、カメラ１００は、露光限定である。各露光時間ＥＸＰ１及びＥＸＰ２は、センサ３００から画像を読み出すのに必要な時間より長い。

照明状態や他の要因により、両方の画像を読み出すのに必要な時間が、ＥＸＰ１より長くなると、図４の例では、時間４０２から時間４０４までの間に第１組の画素と第２組の画素の両方から画像を読み出すことができなくなる。必要に応じて、ＦＬＵＳＨ信号は、時間４０３のすぐ後の時間４０５に点線で示したように再びアサートされ（オン状態にされ）、その結果、第１組の画素から得た全ての写真は、それらの写真が全く定期的に撮影されていない場合でも、露光時間ＥＸＰ１を有する。（ＦＬＵＳＨ信号が時間４０５でアサートされた場合、両方の組の画素の露光が再開されるが、この再開は図４には示されていない。）この場合、第２組の画素の露光時間（ＥＸＰ２）は、ＥＸＰ１の２倍よりわずかに長い。

極めて多くの他のインタリーブシーケンスが可能である。図５は、本発明の第２の例示的な実施形態においてセンサ３００がどのように制御されるか例示するタイミング図を示す。この例の組の画素は、図４の例と同じものである。第１組の画素は、両方のフィールド（２）及び（３）を構成し、第２組の画素は単にフィールド（１）である。図５の例において、以下の制御シーケンスを使用して、長い露光時間の写真ごとに６つの短い露光時間の写真が得られる。

最初に、ＦＬＵＳＨ信号がアサートされ、画素の電荷が空にされる。時間ＥＸＰ１の後、時間５０１で、信号ＴＲＡＮＳＦＥＲ_2A、ＴＲＡＮＳＦＥＲ_2B、ＴＲＡＮＳＦＥＲ_3A及びＴＲＡＮＳＦＥＲ_3Bをアサートすることによって、第１組の画素からの電荷が、垂直シフトレジスタ３０２に転送される。次に、垂直シフトレジスタ３０２の内容が、水平シフトレジスタ３０４に移される。この例において、ＳＨＩＦＴ ＶＥＲＴは、間に水平シフトなしに３回アサートされる。このシーケンスによって、電荷が垂直シフトレジスタ３０２から水平シフトレジスタ３０４に垂直方向にビンニングされる。これは、フィールド（２）及び（３）の両方が垂直レジスタ３０２に転送されるときに行われる垂直ビンニングに追加して行われる。従って、各水平シフトレジスタは、６つの異なる画素で生じた電荷を保持する。次に、水平シフトレジスタ３０４は、ＳＨＩＦＴ ＨＯＲＩＺの６回のアサーションを使用して読み出される。従って、フィールド（２）及び（３）から得られたデジタル写真は、比較的短い露光時間ＥＸＰ１で撮られ、異なる色の画素からビンニングされた電荷から変換されたデジタル値を含む。この写真は、焦点品質を評価するのに十分な空間コントラストを維持するが、ディスプレイ１０９に表示される場合は真の色でなくなる。

この第１の写真からの読み出し中に、フィールド（２）及び（３）の画素は新しい電荷を蓄積する。時間ＥＸＰ１が再び経過した後、時間５０２で、フィールド（２）及び（３）が再び読み出され、別の短時間の写真が得られる。このプロセスは、６回実行される。得られた短い露光時間の写真はそれぞれ、自動焦点に使用することができる。

時間５０３で、フィールド（１）からの電荷が、垂直シフトレジスタ３０２に転送され、垂直ビンニングなしにセンサ３００から読み出される。従って、フィールド（１）の画素から得られたデジタル写真は、ＥＸＰ１の約６倍の比較的長い露光時間ＥＸＰ２で撮影される。異なる色の画素からの電荷のビンニングは行われず、従ってこの写真は、正確な色の写真であり、ライブビュー表示に適している。

図５の例において、カメラは、読出し限定であり、従って、ＦＬＵＳＨ信号が、時間５０４でアサートされ、プロセスが再び始まり、その結果６つの新しい短い露光時間の写真と１つの長い露光時間の写真が得られる。水平シフトレジスタ３０４内を水平シフトする際に、各水平シフトレジスタ３０４は、短い露光時間の写真の場合に６つの画素位置からの電荷を含み、長い露光時間の写真の場合には１つの画素位置だけからの電荷を含む。しかしながら、長い露光時間ＥＸＰ２が、短い露光時間ＥＸＰ１の約６倍なので、（シーンの明るい部分に対応する）処理される電荷の最大量は同等である。この状態に露光時間が適切な限り、飽和は回避される。

図６は、本発明の第３の例示的な実施形態においてセンサ３００がどのように制御されるかを例示するタイミング図を示す。この第３の例示的な実施形態において、比較的短い露光時間で写真を撮るために使用される第１組の画素は、フィールド（１）及びサブフィールド（２Ａ）と（３Ａ）を構成する。比較的長い露光時間で写真を撮るために使用される第２組の画素は、サブフィールド（２Ｂ）及び（３Ｂ）を構成する。この例示的な実施形態において、同じ色の画素からの電荷のビンニングが、長い露光時間の写真を撮る際に使用され、異なる色の画素からの電荷のビンニングが、短い露光時間の写真を撮る際に使用される。制御シーケンスは以下のとおりである。

最初に、画素から電荷がフラッシュされる。時間ＥＸＰ１の後で、時間６０１で、信号ＴＲＡＮＳＦＥＲ₁、ＴＲＡＮＳＦＥＲ_2A及びＴＲＡＮＳＦＥＲ_3Aをアサートすることによって、フィールド（１）及びサブフィールド（２Ａ）と（３Ａ）からの電荷が垂直シフトレジスタ３０２に転送される。サブフィールド（２Ａ）及び（３Ａ）内の上側の行が垂直シフトレジスタを共有するので、この転送によって何らかの垂直ビンニングが行われる。次に、電荷は、（より多くの垂直ビンニングを行わせる）ＳＨＩＦＴ ＶＥＲＴの３回のアサーションを使用して垂直シフトレジスタ３０２の３つの行全てを水平シフトレジスタ３０４に移し、次にＳＨＩＦＴ ＨＯＲＩＺの６回のアサーションを使用して水平シフトレジスタ３０４を読み出すことによって読み出される。従って、フィールド（１）及びサブフィールド（２Ａ）と（３Ａ）から得られたデジタル写真は、比較的短い露光時間ＥＸＰ１で撮影され、異なる色の画素からビンニングされた電荷から変換されたデジタル値を含む。この写真は、焦点品質を評価するのに十分な空間コントラストを維持するが、ディスプレイ１０９に表示される場合は真の色でなくなる。これらの３つ写真は、サブフィールド（２Ｂ）及び（３Ｂ）の画素が電荷を蓄積し続けている間に撮影される。

３つの短い露光時間の写真を撮った後で、長い露光時間の写真が、サブフィールド（２Ｂ）及び（３Ｂ）から読み出される。時間６０２で、信号ＴＲＡＮＳＦＥＲ_2B及びＴＲＡＮＳＦＥＲ_3Bをアサートすることよって、サブフィールド（２Ｂ）及び（３Ｂ）からの電荷が、垂直シフトレジスタ３０２に転送される。次に、その電荷が、ＳＨＩＦＴ ＶＥＲＴの２回のアサーションを使用して水平シフトレジスタ３０４に移される。最上組の垂直シフトレジスタ３０２が、サブフィールド（２Ｂ）及び（３Ｂ）によって使用されないので、第３のアサーションは不要である。そうであっても、これらの垂直シフトによって同じ色の画素だけから電荷の垂直ビンニングが行われるので、得られるデジタル画像は適正な色を保持する。より大きなセンサでは、サブフィールド（２Ｂ）及び（３Ｂ）の何行かに赤と緑ではなく青と緑の画素があり、それにより、この段階で撮影される長い露光時間の写真は、フルカラーのものになり、ライブビューシーケンスの一部としてディスプレイ１０９に示すのに適していることに注意されたい。次に、電荷は、ＳＨＩＦＴ ＨＯＲＩＺの６回のアサーションを使用して水平シフトレジスタ３０４から読み出される。システムが読出し限定である場合、ＦＬＵＳＨ信号は、時間６０３で再びアサートされることがある。

図６の例において、両方の組の画素の露光は、時間６０３でＦＬＵＳＨが再びアサートされたときに再開するように示されており、長い露光時間の写真の露光時間は、短い露光時間の写真の露光時間の３倍より少し長い。（システムが露光限定であり、ＦＬＵＳＨが再アサートされない場合は、長い露光時間の写真（第１の後の）の露光時間は、短い露光時間の写真の露光時間のちょうど３倍になる可能性があるが、これは起こる確率は小さい。）長い露光時間の写真に実行される各電荷変換は、２個の画素から生じる電荷を変換し、短い露光時間の写真に実行される各電荷変換は、７個の画素から生じる電荷を変換する。従って、短い露光時間の写真と長い露光時間の写真において電荷がビンニングされる画素数の比率（７：２）は、短い露光時間に対する長い露光時間の比率（約３：１）とほぼ同じである。これらの比率をほぼ等しく維持するということは、２種類の写真が、シフトレジスタの電荷保持容量（ｃｈａｒｇｅ ｃａｒｒｙｉｎｇ ｃａｐａｃｉｔｙ）のほぼ同じ部分を使用するということである。これは必要条件ではないが、２種類の画像が同等の信号レベルを有しまたレベルを最適化し飽和を回避することができるため、望ましい場合がある。

短い露光時間の写真と長い露光時間の写真を読み出す際に電荷がビンニングされる画素数の比率は、短い露光時間に対する長い露光時間の比率の０．５〜１．５倍であることが好ましい。この関係を求めるために、ビンニングなしの写真の読み出し（各出力段の変換が１つの画素だけから生じる電荷を変換する）は１個の画素の「ビンニング」と見なされる。例えば、図５に示した第２の例示的な実施形態において、長い露光時間の写真は、ビンニングなしに読み出されるが、６個の画素からの電荷は、短い露光時間の各写真を読み出す際にビンニングされる。長い露光時間ＥＸＰ２は、短い露光時間ＥＸＰ１の約６倍である。従って、短い露光時間の写真と長い露光時間の写真において電荷がビンニングされる画素数の比率（６：１）は、短い露光時間に対する長い露光時間の比率（約６：１）とほぼ同じである。

センサ３００が、２組以上の画素に区分されてもよい。例えば、１つの組はフィールド（１）を構成し、第２組はサブフィールド（２Ａ）及び（３Ａ）を構成し、第３組はサブフィールド（２Ｂ）及び（３Ｂ）を構成する。フィールド１は、ビンニングなしに読み出され、サブフィールド（２Ａ）及び（３Ａ）は、１変換当たり４個の画素の異なる色の垂直ビンニングを使用して読み出され、サブフィールド（２Ｂ）及び（３Ｂ）は、１変換当たり２個の画素の同じ色の垂直ビンニングを使用して読み出されることがある。第１組の画素は、第２組の画素の４回の読み出しに１回読み出されることが好ましく、第３組は、第２組の２回の読み出しに１回読み出されることが好ましい。他の区分も可能である。

本発明の第４の例示的な実施形態によれば、デジタルカメラは、ＣＣＤセンサではなくＣＭＯＳセンサを電子アレイ光センサとして使用する。また、ＣＭＯＳセンサは画素からなり、各画素は、当たる光の強さに比例する割合で電荷を蓄積する。しかしながら、ＣＭＯＳセンサから画像を読み出す方法は、ＣＣＤセンサから画像を読み出す方法と極めて異なる。ＣＭＯＳセンサの各画素は、また、画素によって集められた電荷の量に比例する電圧を生成する回路を含む。これらの電圧は、センサの両端の電荷を出力段に移すことなく直接読み出すことができる。幾つかのＣＭＯＳセンサ設計において、各画素は、個々にアドレス指定可能である。即ち、任意の画素の電圧（露光時間中に画素に当たる光の明るさを示す）は、いつでも読み出すことができる。読み出しは、画素電圧を読み出すプロセスによって画素の電荷が空になる「破壊的」なものでもよく、画素電圧を読み出すプロセスによって画素の電荷が空にならない「非破壊的」なものでもよい。

図７は、ＣＭＯＳセンサ７００の極めて単純化した構成図を示し、本発明の例示的な実施形態によるその使用法を示す。センサ７００は、１８行６列の画素７０１からなる。（実際のセンサは更に多くの画素を有する。）画素７０１は、更に、よく知られているＢａｙｅｒパターンのカラーフィルタを含む。部分７０２によって例示された各画素領域の一部分は、画素によって集められた電荷の量に比例する電圧を生成する回路に当てられる。様々な制御信号７０３が、センサ７００の動作を制御し、様々な出力信号７０４が、センサ７００の出力をセンサ７００を含むカメラ内の論理回路に送る。

画素を個別に読み出すことができるので、センサ７００は、前述の例示的な実施形態と類似の方式で容易に操作することができる。図７に、第３の例示的な実施形態と類似の動作を示す。センサ７００は、アナログ−デジタル変換器を含んでもよく、或いは外部から供給されてもよい。組の画素をＣＭＯＳセンサ７００から読み出し、得たデジタル値は、ＣＣＤセンサからの電荷を移し変換することによって生成されたかのように組み合わされる。この例において、図７の網掛けした画素は、あるタイプの画像を読み出す１組の画素を構成し、網掛けしていない画素は、別のタイプの画像を読み出す別の組の画素を構成する。動作において、センサ７００は、光に連続的にさらされている。網掛けしていない画素は定期的に読み出される。示した組の７個の画素の値を単純に加えることによって、得られた画素値を、垂直ビンニングと同じように組み合わせることができる。そのような画像は、異なる色の画素から読み出した値を組み合わせて、比較的短い露光時間で得られる。この種類の画像は、自動焦点合わせの計算に適している。読み出しが破壊的な場合、各画素は、各読み出し時に電荷が空にされ、新しい電荷を蓄積し始める。

網掛けしていない画素から約３つの短い露光時間の写真を得た後で、網掛けした画素から写真が読み出される。この写真は、比較的長い露光時間を有する。示した同じ色の組の２つの画素の値を組み合わせた場合、画像はそのフルカラーの性質を維持し、ライブビュー表示に適している。センサ７００等のＣＭＯＳセンサの画素を、他の多くの形で組に分けることができる。

本発明の別の例示的な実施形態において、多くの種類のインタリーブ写真（一定の順序で作成される写真）の１つは、最終写真の露光パラメータの設定に使用するのに特に適している。この例示的な実施形態において、これらの特別の露光設定の写真は、ライブビューに適した写真と交互に一定の順序で作成（撮影）される。このようにして、ライブビューは、最終写真の露光パラメータが決定されている間に中断なしに実質的に継続することができる。露光パラメータを選択する際に、シーンの明るさを評価するために使用される準備写真には飽和画素がないことが望ましい。飽和画素は、対応するシーン位置の明るさのシーンの他の部分の明るさに対する十分な情報を提供せず、飽和画素があると最終写真の露光に誤りが生じることがある。

この例示的な実施形態において、様々なインタリーブ写真のうちの１種類が、飽和が生じないように極めて短い露光時間で撮影される。これを達成するため、１組の画素（例えば、フィールド（１））が露光され極めて素早く読み出されそれにより飽和が回避される。この飽和していない写真は、最終写真の露光パラメータを設定するために使用される。第２組の画素（例えば、フィールド（２）と（３））が、別の目的で読み出され使用され、繰り返される。異なる色の画素からの電荷又は画素のビンニング又は組み合わせが行われない場合は、第２組の画素からの画像は、ライブビュー表示に適している。

図８は、本発明の例示的な実施形態による方法８００のフローチャートを示す。段階８０１で、少なくとも第１組と第２組の画素を含む電子アレイ光センサが光にさらされる。段階８０２で、第１組の画素が、第２組の画素が光にさらされ続けている間に２回以上読み出され、それぞれの読み出しによって第１の露光時間を有するデジタル画像が得られる。段階８０３で、第２組の画素が読み出され、第１の露光時間より長い第２の露光時間を有する第２の種類のデジタル画像が得られる。段階８０４で、２種類のデジタル画像が、最終写真のために様々な目的に使用される。

本発明の例示的な実施形態によるデジタルカメラの簡略化したブロック図である。 図１のカメラの前面斜視図である。 図１のカメラの後面斜視図である。 本発明の例示的な実施形態による３フィールドＣＣＤセンサの単純化した回路図である。 本発明の単純な例示的実施形態において図３のセンサをどのように制御するかを例示するタイミング図である。 本発明の第２の例示的な実施形態において図３のセンサをどのように制御するかを例示するタイミング図である。 本発明の第３の例示的な実施形態において図３のセンサをどのように制御するかを例示するタイミング図である。 ＣＭＯＳセンサの極めて単純化した構成図であり、本発明の例示的な実施形態によるその使用法を示す。 本発明の例示的な実施形態による方法のフローチャートである。

符号の説明

１００ カメラ
１０１ レンズ
１０３ 電子アレイ光センサ
１１０ 論理回路
３００ センサ
３０１ 画素
３０２ 垂直シフトレジスタ
３０３ 遮蔽材料
３０４ 水平シフトレジスタ
３０５ 出力段

Claims (7)

1. インタリーブ写真を撮影する方法であって、
   少なくとも第１組と第２組の画素を含む電子アレイ光センサを光にさらす段階と、
   前記第２組の画素が光にさらされ続けている間に前記第１組の画素を２回以上読み出す段階であって、各前記読み出しによって、第１の露光時間を有する第１の種類のデジタル画像を得る段階と、
   前記第２組の画素を読み出す段階であって、前記読み出しによって、前記第１の露光時間より長い第２の露光時間を有する第２の種類のデジタル画像を得る段階と、
   最終写真に備えて前記２つの種類のデジタル画像を様々な目的に使用する段階とを含み、
   前記第１組の画素を読み出す段階が、前記第１組の画素としての異なる色の画素からの電荷のビンニングを行う段階であり、
   前記第２組の画素を読み出す段階が、前記第２組の画素としての同じ色の画素からの電荷のビンニングを行う段階であることを特徴とする方法。
2. 前記第１の種類の画像が、前記電子アレイ光センサを含むカメラの自動焦点合わせに使用されることを特徴とする請求項１に記載の方法。
3. 前記第２の種類の前記画像が、ライブビュー表示に使用されることを特徴とする請求項１に記載の方法。
4. 前記電子アレイ光センサが光にさらされている間に請求項１の読み出す段階と使用する段階の両方を繰り返し実行する段階と、
   前記第２の露光時間を有する前記画像を使用して、自動焦点合わせの間に継続するライブビュー表示を提供する段階とを更に含むことを特徴とする請求項１に記載の方法。
5. カメラであって、
   少なくとも第１組と第２組の画素を含む電子アレイ光センサと、
   前記電子アレイ光センサにシーンの画像を投影するレンズと、
   論理回路であって、前記電子アレイ光センサが前記シーンからの光にさらされている間に、前記第１組の画素としての異なる色の画素からの電荷のビンニングにより、前記第２組の画素に光を受け続けながら前記第１組の画素から短い露光時間の写真を２回以上読み出し、前記第２組の画素としての同じ色の画素からの電荷のビンニングにより、前記第２組の画素から長い露光時間の写真を読み出し、最終写真を撮る準備の間に２種類の写真を様々な目的に使用するように構成された論理回路と、
   を含むことを特徴とするカメラ。
6. 前記論理回路が、前記長い露光時間の写真をライブビュー表示に使用するように構成されたことを特徴とする請求項５に記載のカメラ。
7. 前記論理回路が、前記レンズの自動焦点合わせを実行する際に前記短い露光時間の写真を使用するように構成されたことを特徴とする請求項５に記載のカメラ。

Images