JP5262247B2 - 撮像装置、撮像方法及びプログラム - Google Patents

Description

本発明は、例えばＣＭＯＳイメージセンサを用いたデジタルカメラ等に好適な撮像装置、撮像方法及びプログラムに関する。

従来、電子スチルカメラで１回の露光中、撮像素子から複数回の非破壊読出しを行なった上で画像合成を行ない、露出条件がより好ましい撮影画像を取得する技術が考えられている。（例えば、特許文献１）
特開１０−１７３９８８号公報

上記特許文献１に記載された技術では、画面中の複数の領域毎に異なる露出条件の画像を部分的に採用して画像全面で良好な露出条件を得るべく、１回の露光中に全画面に渡る非破壊読出し動作を複数回繰返し実行する。そのため、信号の読出しに係る処理の負担が大きいという問題があった。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、撮像素子からの画像信号の読出し処理に係る負担を軽減しながら、画像全体にわたって良好な露出状態の撮像を実現可能な撮像装置、撮像方法及びプログラムを提供することにある。

請求項１記載の発明は、撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力する撮像素子と、上記撮像素子の撮像面を分割する複数のエリア毎に露光量を取得する露光量取得手段と、上記露光量取得手段で得た複数のエリア毎の露光量により、１回の露光期間中で上記撮像素子の複数のエリア毎に露光時間を調整して駆動し、撮像素子から画像信号を得る露光制御手段と、上記撮像素子から得た１画面分の画像信号を記憶する記憶手段とを具備し、上記露光量取得手段は、上記露光制御手段により上記撮像素子の複数のエリア同時に１回の露光を開始してから予め設定されたタイミングで、上記撮像素子での露光に基づく電荷の蓄積を阻害しない非破壊読出しにより露光量を取得し、上記露光制御手段は、上記露光量取得手段で得る複数のエリア毎の露光量に基づき、エリア毎の露光時間を決定して、前記1回の露光を開始してから上記撮像素子による各エリアの露光時間が前記決定した露光時間に達したタイミングで各エリアから画像信号を出力させることを特徴とする。

請求項２記載の発明は、上記請求項１記載の発明において、上記撮像素子への被写体像の入射を開閉制御するシャッタ機構と、上記シャッタ機構により上記露光制御手段による撮影露光の直前に上記撮像素子への入射を遮断した状態で上記撮像素子の複数のエリア毎の暗電流を測定する測定手段と、上記測定手段での測定結果により上記記憶手段で記憶する画像信号を複数のエリア毎に補正する補正手段とをさらに具備したことを特徴とする。

請求項３記載の発明は、上記請求項２記載の発明において、上記撮像素子の少なくとも１エリアでの露光時間を決定する露光時間決定手段をさらに具備し、上記露光量取得手段は、上記露光時間決定手段で決定した露光時間の終了タイミングより速いタイミングで上記非破壊読出しにより露光量を取得することを特徴とする。

請求項４記載の発明は、上記請求項１記載の発明において、上記複数のエリアは上記撮像素子の撮像面を構成する画素単位とすることを特徴とする。

請求項５記載の発明は、上記請求項１記載の発明において、上記露光制御手段は、１回の露光期間中で最大となる露光量を上記撮像素子の受光容量に合わせて制限することを特徴とする。

請求項６記載の発明は、上記請求項１記載の発明において、上記露光制御手段は、露光量が多い側の少なくとも１つのエリアの露光時間を上記撮像素子の受光容量に対応させることを特徴とする。

請求項７記載の発明は、上記請求項１記載の発明において、上記記憶手段に記憶した画像信号を複数のエリア毎に輝度調整する輝度調整手段をさらに具備したことを特徴とする。

請求項８記載の発明は、上記請求項７記載の発明において、上記輝度調整手段は、露光時間と露光量とに基づいて画像信号を複数のエリア毎に輝度調整することを特徴とする。

請求項９記載の発明は、上記請求項１記載の発明において、上記露光制御手段は、上記撮像素子の複数のエリア毎に露光の前後で電荷の蓄積をリセットすることを特徴とする。

請求項１０記載の発明は、上記請求項１記載の発明において、上記記憶手段は、画像信号及び複数のエリア毎の露光時間を対応付けて記憶することを特徴とする。

請求項１１記載の発明は、撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力する撮像素子を備えた撮像装置での撮像方法であって、上記撮像素子の撮像面を分割する複数のエリア毎に露光量を取得する露光量取得工程と、上記露光量取得工程で得た複数のエリア毎の露光量により、１回の露光期間中で上記撮像素子の複数のエリア毎に露光時間を調整して駆動し、撮像素子から画像信号を得る露光制御工程と、上記撮像素子から得た１画面分の画像信号を記憶する記憶工程と
を有し、上記露光量取得工程は、上記露光制御工程により上記撮像素子の複数のエリア同時に１回の露光を開始してから予め設定されたタイミングで、上記撮像素子での露光に基づく電荷の蓄積を阻害しない非破壊読出しにより露光量を取得し、上記露光制御工程は、上記露光量取得工程で得る複数のエリア毎の露光量に基づき、エリア毎の露光時間を決定して、前記1回の露光を開始してから上記撮像素子による各エリアの露光時間が前記決定した露光時間に達したタイミングで各エリアから画像信号を出力させることを特徴とする。

請求項１２記載の発明は、撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力する撮像素子を備えた撮像装置が内蔵するコンピュータ用のプログラムであって、上記撮像素子の撮像面を分割する複数のエリア毎に露光量を取得する露光量取得ステップと、上記露光量取得ステップで得た複数のエリア毎の露光量により、１回の露光期間中で上記撮像素子の複数のエリア毎に露光時間を調整して駆動し、撮像素子から画像信号を得る露光制御ステップと、上記撮像素子から得た１画面分の画像信号を記憶する記憶ステップとをコンピュータに実行させ、上記露光量取得ステップは、上記露光制御ステップにより上記撮像素子の複数のエリア同時に１回の露光を開始してから予め設定されたタイミングで、上記撮像素子での露光に基づく電荷の蓄積を阻害しない非破壊読出しにより露光量を取得し、上記露光制御ステップは、上記露光量取得ステップで得る複数のエリア毎の露光量に基づき、エリア毎の露光時間を決定して、前記1回の露光を開始してから上記撮像素子による各エリアの露光時間が前記決定した露光時間に達したタイミングで各エリアから画像信号を出力させることを特徴とする。

本発明によれば、撮像素子からの画像信号の読出し処理に係る負担を軽減しながら、画像全体にわたって良好な露出状態の撮像を実現することが可能となる。

以下本発明をデジタルカメラに適用した場合の一実施形態について図面を参照して説明する。本実施形態では、撮像素子としてＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｉｎｄｕｃｔｏｒ）イメージセンサを用いる。
図１は、本実施形態に係るデジタルカメラ１０の回路構成を示すものである。同図で、レンズ光学系１１によりメカニカルシャッタ１２を介して、ＣＭＯＳイメージセンサ１３の撮像面上に被写体の光像が結像される。

モニタ状態でこのＣＭＯＳイメージセンサ１３での撮像により得た画像信号は画像処理部１４に送られ、相関二乗サンプリングや自動ゲイン調整、Ａ／Ｄ変換処理が実行された後に画素補間処理、γ補正処理を含むカラープロセス処理が施されてバッファメモリ１５に一時的に保持される。

このバッファメモリ１５に保持された画像データが画像処理部１４に読出されて表示部１６へ送られ、モニタ画像として表示される。

以上の動作をすべて制御部１７が統括制御する。この制御部１７はＣＰＵで構成され、メインメモリ１８、プログラムメモリ１９と接続される。メインメモリ１８は、ＳＤＲＡＭ（シンクロナスＤＲＡＭ）で構成される。プログラムメモリ１９は、後述する撮影モード時の制御を含む動作プログラムやデータ等を記憶した不揮発性メモリで構成される。

制御部１７はプログラムメモリ１９から必要なプログラムやデータ等を読出し、メインメモリ１８に適宜一時的に展開記憶させながら、このデジタルカメラ１０全体の制御動作を司る。

上記制御部１７は、キー操作部２０から直接入力されるキー操作信号に対応して各種制御動作を実行するもので、システムバスＳＢを介して上記画像処理部１４、表示部１６の他、レンズ光学系駆動部２１、フラッシュ駆動部２２、ＣＭＯＳドライバ２３、メモリカード２４、及び音声処理部２５とも接続される。

キー操作部２０は、例えば電源キー、撮影モードキー、再生モードキー、メニューキー、カーソルキー、セットキー、シーンプログラムキー等を備える。

レンズ光学系駆動部２１は、制御部１７からの制御信号を受けてレンズモータ（Ｍ）２６を回転制御し、上記レンズ光学系１１を構成する複数のレンズ中の一部、具体的にはフォーカスレンズ及びズームレンズの位置をそれぞれ光軸方向に沿って移動させる。

またレンズ光学系駆動部２１は、制御部１７からの制御信号に基づいてステッピングモータで構成されるシャッタモータ２７を回動駆動し、上記メカニカルシャッタ１２の開閉制御を行なう。

メカニカルシャッタ１２は、静止画撮影時にＣＭＯＳイメージセンサ１３の電子シャッタを閉じるタイミングに同期させて全閉状態とすることで、それ以上の露光動作が係属されるのを回避する。

フラッシュ駆動部２２は、静止画像撮影時に制御部１７からの制御信号を受けて複数の白色高輝度ＬＥＤで構成されるフラッシュ部２８を撮影タイミングに同期して点灯駆動する。

メモリカード２４は、カードコネクタＣを介してこのデジタルカメラ１０に着脱自在に装着される画像データ等の記録用のメモリである。

音声処理部２５は、ＰＣＭ音源等の音源回路を備え、音声の録音時にはこのデジタルカメラ１０の筐体前面に配設されたマイクロホン部２９より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＡＡＣ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ−４ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）形式でデータ圧縮して音声データファイルを作成し、上記メモリカード２４へ送出する。

一方、音声処理部２５は、音声の再生時にメモリカード２４から読出されてきた音声データファイルの圧縮を解いてアナログ化し、上記デジタルカメラ１０の背面に設けられるスピーカ部３０を駆動して、拡声放音させる。

次に上記実施形態の動作について説明する。
なお、上記キー操作部２０の一部を構成するシャッタキーは、２段階の操作ストロークを有するものとする。すなわち、シャッタキーを操作していない状態から、全ストロークの半分程度押圧操作する、所謂「半押し」状態で適度なクリック感が得られると共に、第１段階の操作状態をスイッチで検出して、ＡＦ（自動合焦）機能及びＡＥ（自動露出）機能及びを働かせ、撮影条件として合焦距離とシャッタ速度、及び絞り値をロックする。

この半押し状態からさらに続けて全ストローク分押圧操作する、所謂「全押し」状態となると、上記ロックした撮影条件での撮影を実行し、撮影により得た画像データをメモリカード２４に記録する。

図２は、静止画の撮影モード下で実行される基本的な処理内容を示すもので、その制御動作は制御部１７がプログラムメモリ１９に記憶されている動作プログラムをメインメモリ１８に展開することで実行される。

同図では、まずモニタ状態で所定のフレームレート、例えば３０［フレーム／秒］により被写体像を撮影して表示部１６でスルー画像表示した後（ステップＳ１０１）、キー操作部２０のシャッタキーが半押し操作されたか否かを判断する（ステップＳ１０２）、という処理を繰返し実行することで、スルー画像の表示を行ないながらシャッタキーが半押し操作されるのを待機する。

このとき、スルー画像は上記フレームレートに対応して充分に速いシャッタ速度、例えば１／１２５［秒］に固定されて撮影されるもので、ＡＥ機能による絞り値の可変制御及びＡＦ機能による画像中の所定位置での合焦制御が実行される。

キー操作部２０のシャッタキーが半押し操作されると上記ステップＳ１０２でそれを判断し、あらためて適正な合焦位置及び露出条件を得るべくＡＦ処理及びＡＥ処理を実行する（ステップＳ１０３，Ｓ１０４）。このときシャッタ速度は、上記スルー画像のための撮影時とは関連なく、その時点で設定されている撮影モードやシーンプログラム等に基づいてあらたに決定される。

そして、上記決定されたシャッタ速度（ＳＳ）が予め設定される閾値としてのシャッタ速度（ＳＳｔｈ）、例えば１／６０［秒］より速いか否かを判断する（ステップＳ１０５）。

ここで決定されたシャッタ速度が閾値としてのシャッタ速度より速いと判断した場合には、通常の撮影動作を実行するべく、さらにまだシャッタキーは半押し操作されているか否かを判断する（ステップＳ１０６）。シャッタキーが依然として半押し操作されていることを確認すると、次にシャッタキーが全押し操作されたか否かを判断する（ステップＳ１０７）。

ここでまだ全押し操作されていないと判断すると、再び上記ステップＳ１０６からの処理に戻る。こうしてステップＳ１０６，Ｓ１０７の処理を繰返し実行することで、シャッタキーの半押し操作が解除されるか、全押し操作されるのを待機する。

シャッタキーの半押し操作が解除された場合、上記ステップＳ１０６でそれを判断し、再び上記ステップＳ１０１のスルー画像表示からの処理に戻る
また、シャッタキーが全押し操作されると、ステップＳ１０７でそれを判断し、直前のステップＳ１０３，Ｓ１０４で決定した撮影条件での撮影動作を実行する（ステップＳ１０８）。

さらに、上記ステップＳ１０８での撮影に際しては、ＣＭＯＳイメージセンサ１３での露光を終了するタイミングに同期してメカニカルシャッタ１２を全閉制御することで、それ以上の露光を一時的に停止する。

上記撮影動作により画像処理部１４から得た画像データに画像処理部１４で上述した適宜画像処理を施した上でバッファメモリ１５に一時的に記憶する。

しかるに、上記撮影に基づくＣＭＯＳイメージセンサ１３での各画素単位の電荷量の読出し動作とリセット動作によりＣＭＯＳイメージセンサ１３の各画素位置では蓄積された電荷が転送され、且つあらたな電荷の蓄積がない状態となる。

このようなリセット動作を伴う電荷量の読出し動作を、以下の文中及び図面では「破壊読出し」と称するものとする。

この状態を一定時間、例えば０．３［秒］だけ維持した後に、再度ＣＭＯＳイメージセンサ１３の各画素単位での破壊読出しによる電荷量の読出しを行なうことで、ＣＭＯＳイメージセンサ１３に生じている暗電流に基づくノイズ成分を読出す。同ノイズを、以下の文中及び図面では「暗ノイズ」と呼称する。

こうして得た暗ノイズを用いて、バッファメモリ１５に記憶している画像データに修正処理を施す（ステップＳ１１０）。

上記ステップＳ１０９，Ｓ１１０の処理により、ＣＭＯＳイメージセンサ１３に発生する暗ノイズ成分を画像データから除去し、正確な画像データを得ることができる。
なお、上記ステップＳ１０８での撮影に関しては、シャッタ速度が閾値より速い場合での動作であり、暗ノイズの影響が無視できる程度に低いと考えることもできる。そのため、上記ステップＳ１０９，Ｓ１１０の処理は省略するものとしてもよい。

その後、バッファメモリ１５に記憶される画像データを所定のデータファイル形式、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式で規定されるＡＤＣＴ（適応離散コサイン変換）等のデータ圧縮処理を施してデータ量を大幅に減らし、当該形式でデータファイル化した上でこのデジタルカメラ１０の記録媒体であるメモリカード２４に記録する（ステップＳ１１１）。

以上で一連の撮影動作を完了し、次の撮影に備えるために再び上記ステップＳ１０１からの処理に戻る。

また、上記ステップＳ１０５で直前のステップＳ１０４での処理により決定されたシャッタ速度（ＳＳ）が予め設定される閾値としてのシャッタ速度（ＳＳｔｈ）、例えば１／６０［秒］と同じか、あるいは遅いと判断した場合には、次にまだシャッタキーが半押し操作されているか否かを判断する（ステップＳ１１２）。シャッタキーが依然として半押し操作されていることを確認すると、次にシャッタキーが全押し操作されたか否かを判断する（ステップＳ１１３）。

ここでまだ全押し操作されていないと判断すると、再び上記ステップＳ１１２からの処理に戻る。こうしてステップＳ１１２，Ｓ１１３の処理を繰返し実行することで、シャッタキーの半押し操作が解除されるか、全押し操作されるのを待機する。

シャッタキーの半押し操作が解除された場合、上記ステップＳ１１２でそれを判断し、再び上記ステップＳ１０１のスルー画像表示からの処理に戻る
また、シャッタキーが全押し操作されると、ステップＳ１１３でそれを判断し、次にＣＭＯＳイメージセンサ１３の全画素を一旦リセットすると共にメカニカルシャッタ１２を全閉制御することで、それ以上のＣＭＯＳイメージセンサ１３への露光を一時的に停止する。

メカニカルシャッタ１２の全閉制御とＣＭＯＳイメージセンサ１３のリセット動作によりＣＭＯＳイメージセンサ１３の各画素位置では電荷が一掃され、あらたな電荷の蓄積がない状態となる。

この状態を一定時間、例えば０．３［秒］だけ維持した後に、再度ＣＭＯＳイメージセンサ１３の各画素単位での破壊読出しによる電荷量の読出しを行なうことで、ＣＭＯＳイメージセンサ１３の暗ノイズを読出し、保持しておく（ステップＳ１１４）。

その後、撮影処理を実行する（ステップＳ１１５）。
図３は、この撮影処理の詳細な内容を示すサブルーチンである。まず、その処理当初に露光時間を示す変数ｔを初期値「０」に設定する（ステップＳ２０１）。次に、メカニカルシャッタ１２を全開制御し、ＣＭＯＳイメージセンサ１３での露光を開始させる（ステップＳ２０２）。

さらに、時間変数ｔの値を「＋１」更新設定する（ステップＳ２０３）。この更新設定した時間変数ｔの値が所定の時間値ｔ１となったか否かを判断し（ステップＳ２０４）、まだ時間値ｔ１に達していなければ、再び上記ステップＳ２０３からの処理に戻る。

ここで、所定の時間値ｔ１は、直前のステップＳ１０４で決定したシャッタ速度ＳＳの１／４の値が設定されるものとする。例えばシャッタ速度ＳＳが１／３０［秒］（正確には１／３２［秒］）であれば、時間値ｔ１はその１／４の１／１２５［秒］（正確には１／１２８［秒］）となる。

しかるに上記ステップＳ２０３，Ｓ２０４の処理を繰返し実行し、変数ｔの値が時間値ｔ１になった時点で、ステップＳ２０４でそれを判断し、ＣＭＯＳイメージセンサ１３の全画素から、リセット動作を伴わず、画素毎の露光による電荷の蓄積を以後も続行する非破壊読出しでその時点での露光量を取得する（ステップＳ２０５）。

こうして取得したＣＭＯＳイメージセンサ１３の全画素の露光量により、画素毎の露光時間ｔ２、及び最長露光時間ｔlim を決定する（ステップＳ２０６）。

ここで画素毎の露光時間ｔ２は、上記時間値ｔ１で取得した露光量を基に、当該画素位置での露光量が当該画素を構成するフォトダイオードの飽和容量の９０［％］に達すると見込まれる露光時間を設定する。

また、最長露光時間ｔlimは、例えば上記時間値ｔ１で取得した全画素の露光量の平均値を求め、平均値となる画素を構成するフォトダイオードの飽和容量の９０［％］に達すると見込まれる露光時間を設定する。

上記設定結果に基づき、各画素位置と露光時間ｔ２との関係を示すテーブルを作成してメインメモリ１８に保持する（ステップＳ２０７）。

図４はこうして作成されたテーブルの内容を例示する図である。
同図で、縦軸は露光時間ｔ２を上記時間値ｔ１との差で表したものであり、横軸が各画素位置を示している。テーブル中の符号“１”が時間ｔ２と画素位置とを対応付けるものである。併せて、少なくとも１つの画素位置で符号が“１”となっている時間ｔ２に対し、フラグＦ（ｔ）が“１”にセットされる。

上記テーブル作成後、さらに時間変数ｔを「＋１」更新設定し、更新設定した変数ｔの値から上記テーブルの時間ｔ２に相当するフラグＦ（ｔ）の内容を参照し（ステップＳ２０８）、フラグＦ（ｔ）が“１”にセットされているか否かを判断する（ステップＳ２０９）。

ここで“１”にセットされていないと判断した場合には、その時点での時間変数ｔを露光時間ｔ２として設定した画素位置は存在しないことになるため、再び上記ステップＳ２０８からの処理に戻る。

こうしてステップＳ２０８，Ｓ２０９の処理を繰返すことで、時間変数ｔを順次更新設定しながら、露光時間ｔ２として設定した画素位置が現れるのを待機する。

しかして、ステップＳ２０９でフラグＦ（ｔ）が“１”にセットされていると判断した場合、その時点での時間変数ｔの内容を露光時間ｔ２として設定した画素があることになる。

そのため、上記テーブルで符号が“１”となっているすべての画素位置に対してそれぞれ、リセット動作を伴わず、露光による電荷の蓄積を以後も続行する非破壊読出しでその画素の露光量を取得し、画像データの一部としてバッファメモリ１５に保持する（ステップＳ２１０）。

その後、ＣＭＯＳイメージセンサ１３のすべての画素位置からの露光量の読出しを終了したか否かを判断する（ステップＳ２１１）。ここで、まだ終了していないと判断した場合には、さらにその時点の時間変数ｔが上記最長露光時間ｔlim を超えたか否かを判断する（ステップＳ２１２）。

時間変数ｔが最長露光時間ｔlim を超えていないと判断すると、再び上記ステップＳ２０８からの処理に戻る。

このように、時間変数ｔを順次更新設定しながら、時間変数ｔが露光時間ｔ２として設定した内容になる毎に、対応する画素位置での露光量を非破壊読出しで取得して、画像データの一部としてバッファメモリ１５に保持していく。

その後、ＣＭＯＳイメージセンサ１３のすべての画素位置からの露光量を非破壊読出しで取得する前に、時間変数ｔが上記最長露光時間ｔlim を超えた場合、上記ステップＳ２１２でそれを判断し、読出しを行なっていない残るすべての画素位置からそれぞれ露光量を非破壊読出しで取得して画像データの一部としてバッファメモリ１５に保持する（ステップＳ２１３）。

そして、上記ステップＳ２１３で最長露光時間ｔlim を超えて残るすべての画素位置から露光量を取得した場合、または上記ステップＳ２１１ですべての画素位置からの露光量の読出しを終了した場合、次いで撮影直前に上記ステップＳ１４で取得した画素毎の暗ノイズを用いて、バッファメモリ１５に保持している画像データに修正処理を施す（ステップＳ２１４）。

その後、画素毎の露光量と露光時間とを勘案して、露光量が同じであれば露光時間の短い方が結果的に露光量が多いものとなるように各画素毎の露光量調整を行なう（ステップＳ２１５）。

さらに、上記露光量調整後の画像データに対し、各種プロセス処理を施して１枚の画像としての画像データを生成する（ステップＳ２１６）。以上で図３の撮影処理のサブルーチンを終了し、メインルーチンである図２に戻る。

図２では、ステップＳ１１５の撮影処理後に、バッファメモリ１５に記憶される画像データを所定のデータファイル形式、例えばＪＰＥＧ形式で規定されるデータ圧縮処理を施してデータ量を大幅に減らし、当該形式でデータファイル化した上でこのデジタルカメラ１０の記録媒体であるメモリカード２４に記録する（ステップＳ１１６）。

以上で一連の撮影動作を完了し、次の撮影に備えるために再び上記ステップＳ１０１からの処理に戻る。

上記図３で説明した撮影処理について補足説明する。
図５（Ａ）は、画素毎に得られる輝度と露光時間との関係を示すものである。同図（Ａ）に示す如く、一般的な撮影のように輝度の明暗に関係なく露光時間を一律に設定した場合の輝度と画素毎の露光量を図５（Ｂ）に例示する。

このような一般的な撮影では、輝度の低い部分で露光による電荷の蓄積を得ることができず、階調が得られずに一様に黒くなる、所謂「黒つぶれ」と呼称される領域Ａｂｋと、輝度の高い部分で露光が飽和して、階調が得られずに一様に白くなる、所謂「白とび」と呼称される領域Ａｗｔとが発生することになる。

したがって、図５（Ｂ）中で上記２つの領域Ａｂｋ，Ａｗｔに挟まれた領域が輝度に対する階調表現が可能領域となり、この範囲がＣＣＤやダイナミックレンジとなる。一般に、ＣＣＤやＣＭＯＳイメージセンサ等の固体撮像素子は、銀塩フィルムに比して、ラチチュードとも称されるこのダイナミックレンジが極端に劣るものとされている。

これに対し、図６（Ａ）は、上記図３で説明した露光方法による、画素毎に得られる輝度と露光時間との関係を示すものである。ここでは、平均的な輝度の画素に合わせて最長露光時間ｔlim を設定することで、平均以下の輝度の画素はいずれも上記最長露光時間ｔlim だけ露光するものとしている。加えて、平均より高い輝度の画素については、輝度が大きいだけ短くなるような露光時間ｔ２を設定している。

このような露光時間の設定により、輝度の明暗と実際に各画素で得られる露光量の関係は図６（Ｂ）に示すようになる。

平均的な輝度より高い輝度の画素位置ではいずれも、当該画素の露光が飽和するレベルより若干低い値、例えばその画素のフォトダイオードの飽和容量の９０［％］となるような露光時間ｔ２を設定することで、露光量が高いレベルで等しい値となっている。

したがって、白とびとなる領域Ａｗｔの発生を確実に阻止することができるものの、このまま画像データとして記録した場合には、平均的な輝度より高い輝度の画素位置に限定すれば、全体に平板で不自然な描写となってしまうことになる。

一方で、輝度の低い画素位置に関しては、長い露光時間を設定することで、確実に黒つぶれとなる領域Ａｂｋを狭めることができ、低輝度側ではダイナミックレンジを拡大できる。

そこで、上記ステップＳ２１５で各画素間の露光量を露光時間に基づいて調整することにより、上記狭まった黒つぶれ領域Ａｂｋを除いて、全体にダイナミックレンジを大幅に拡大した画像を得ることができる。

図７はその調整結果を示すもので、狭い黒つぶれ領域Ａｂｋ以外では、白とび領域Ａｗｔが発生することなく、ダイナミックレンジが大幅に拡大された、きわめて自然で表現力の豊かな描写が可能であることが理解できる。

図８は、上記図３の撮影処理に係る、特に明るい画素、明るい画素、平均以下の明るさの画素の露光タイミングを示す。シャッタキーの全押し操作のタイミングをＳとし、一定時間、例えば０．３［秒］だけ暗ノイズ検出のための期間ＬＣが設けられ、その後続けて全画素とも露光を開始している。

露光の開始タイミングをｔ０とすると、その後、ＡＥ処理で設定されたシャッタ速度に対応して設定されタイミングｔ１で全画素とも非破壊読出しにより露光量が取得される。その取得された露光量により、その後に当該画素の画像データとして露光量を取得するタイミングｔ２が決定されるもので、上述した如く露光量の多い画素ほど露光時間が短く設定される。また、露光量の少ない画素でも、電荷が飽和しない範囲で本来のシャッタ速度に比して大幅に長い露光時間が設定されるため、黒つぶれの発生する領域を大幅に減少させることができる。

各画素とも計２回の電荷量の読出し処理により画像データを取得でき、そのうちの初めの１回は電荷量を取得するだけでその後に保持する必要もないため、上記特許文献１に記載された、１枚の画像データを得るために複数枚分の記憶部を必要とするような技術とは異なり、回路規模を非常に小さく抑えることができる。

なお、露光量の多い画素位置では、露光時間ｔ２のタイミングで電荷量が非破壊読出しにより取得された後も電荷の蓄積が継続されるので、フォトダイオードに蓄積される電荷がオーバーフローし、当該画素と隣接し、まだ電荷の読出しを終えていない画素がある場合にはその画素で白とびが生じてしまう可能性もある。この場合の白とびは、露光量の多い画素を中心にして円状に広がるものと思われる。

しかしながら、実際に露光量の多い画素に隣接して、露光量が極端に少ない画像が存在することは一般的にほぼないと考えられるので、上述したような不具合の影響を受けることは少ないものと考える。

また、上記実施形態では、平均的な露光量の画素に合わせて最長露光時間ｔlim を設定するものとしたが、特に露光量が多い画素と、露光量が少ない画素とが近在する場合には、上記最長露光時間ｔlim を短く設定することにより、上述した不具合の影響を受けることをさらに回避できる。

また、上述した如く非常にダイナミックレンジの広い画像を取得できるため、そのままでは既存のＪＰＥＧ形式のデータファイルでは階調数が充分に表現することができないことも考えられる。

そのため、ガンマ補正により任意の階調領域を圧縮することで、画像データの保存に適したより好ましい撮影画像を取得することができる。

このように本実施形態によれば、撮像素子からの画像の読出し処理に係る処理上、及び回路上の負担を共に軽減しながらも、画像全体にわたって良好な露出状態の撮像を実現することが可能となる。

特に、本実施形態では、全画素同時に露光を開始し、露光開始から所定時間経過した時点ｔ１で非破壊読出しにより露光量を取得し、そのまま露光を続行して各画素毎に画像データを得るための露光量取得のタイミングｔ２を異なるようにしているため、シャッタキーを操作してから即時露光を開始することができ、所謂レリーズタイムラグを最少限に抑えることができる。

その場合、露光を開始してから非破壊読出しにより露光量を取得するまでの時間ｔ１は、事前のＡＥ処理で決定したシャッタ速度に基づいて充分に短い時間を設定するものとしたので、露光量が多く、速いタイミングで露光が飽和する可能性の高い画素にも時間的な余裕を持って対処することができ、白とびの発生を回避できる。

加えて、上記実施形態では、撮影時にメカニカルシャッタ１２を用いることで暗ノイズを測定し、撮影後の画像データの補正を行なうものとしているため、暗電流による影響を排除して、より高い画質を得ることができる。

なお、上記実施形態では、画素単位で露光時間を異なるものとして説明したが、本発明はこれに限らず、ＣＭＯＳイメージセンサ１３の撮像面を少なくとも複数のエリアに分割し、そのエリア毎に露光時間を調整することにより、撮像面全体を一律の露光時間で制御する場合に比して、黒つぶれ及び白とびの発生範囲を減少させて、ダイナミックレンジを広げることができる。

しかしながら、エリアの分割数を増大し、本実施形態のように画素単位とすることにより、最大限に緻密で最も広いダイナミックレンジを実現できる。

また、上記実施形態では、露光量が多い画素での露光量をその受光容量に応じて制限するものとした。これにより、白とびの発生を抑えてダイナミックレンジの拡大に寄与できる
さらに、上記実施形態では、露光量が多い画素位置での露光時間をその受光容量に対応して極力多くなるものとしたので、白とびの発生を回避しながらも表現力のある描写にできる。

また、上記実施形態では、撮像面全面の画像データを取得後に、取得した画像データを分割単位毎に輝度調整するものとしたので、明るい部分が平坦な描写となってしまうのを避け、表現力のある画像を得ることができる。

この点で、具体的には分割単位毎に露光時間と露光量とに基づいて画像データを輝度調整するものとしたので、調整の基準が明確であり、簡易な演算で表現力のある画像を得ることができる。

なお、上記実施形態では、画素毎に上述した如く一定時間の露光で得た露光量に露光時間を決定するものとしたが、これに加えて露光量の分布パターンを参照し、当該分布パターンにより露光時間を決定するものとしてもよい。

これにより、特に一部が突出して周囲と異なる露光量となるのを避け、撮影の失敗等を未然に回避できる。

また、上記露光量の分布に基づいて最長露光時間を設定するものとすれば、露光時間が延びて画像にぶれ等が発生するのを極力回避できる。

なお、上記実施形態では、上記図８に示した如く全画素一斉に露光を開始し、一定時間経過時に非破壊読出しで各画素の露光量を取得し、取得した露光量に応じて以後の露光時間を制御するものとしたが、本発明はこれに限るものではない。

図９は、そのような他の動作例を示すものであり、シャッタキーの全押し操作のタイミングＳから、直ちに暗ノイズ検出期間ＬＣを経て全画素一斉に露光を開始し、以後所定の時間間隔で非破壊読出しにより全画素の露光量をサンプリングし続ける。そして、露光量が所定量に達したと思われる画素から順に非破壊読出しによる露光量の取得を停止させていくもので、非破壊読出しを行なう回数は増えるものの、上記図４に示したようなテーブルの作成を必要とせず、非常に簡易な制御手法により露光制御を実現できる。

さらに、上記図８、図９に説明した如く全画素の露光の開始タイミングを一致させるのではなく、終了タイミングを一致させることも考えられる。

図１０は、そのような露光制御の動作例を示すものである。同図では、シャッタキーの全押し操作のタイミングＳから、所定の時間ｔｐとなるまで全画素同時にリセット動作を伴う破壊読出しにより露光量を取得し、各画素毎の露光時間を算出する。その後、露光時間を長く設定した画素から順次先に露光を開始させることで、最終的に全画素の露光終了のタイミングを一致させるものである。

このような制御手法を採ることで、非破壊読出しを一切行わず、リセット動作を伴う破壊読出しのみで画素毎に露光時間を異ならせることができる。

このように動作は、リセット動作が画素単位、あるいはエリア単位で制御できる固体撮像素子を用いることにより実現できる。現状の実用段階では、そのような分割領域毎にリセット動作を行なう固体撮像素子は一般化していないが、技術的にはそのような動作が可能なＣＭＯＳイメージセンサを現時点でも製造可能であることを確認している。

また、図１０で説明した露光制御手法によれば、露光時間の終了を全画素で一致させることができるため、そのタイミングにメカニカルシャッタを同期させて全閉制御するものとすれば、フォーカルプレーン蓄積やローリングシャッタとも呼称されるライン露光の弊害を回避できる。

さらに、上述した如く撮像面の分割領域毎に電荷の蓄積をリセットできる固体撮像素子を用いることで、当該領域の露光量読出しを終えた時点でリセット動作を行ない、露光が飽和してオーバーフローにより隣接する周囲の領域にまで白とびが生じるのを確実に回避できる。

また、上記実施形態では、データ圧縮を伴うようなデータファイル形式で記録媒体に画像データを記録するものとしたが、一切のデータ圧縮処理を行なわないままに画像データの記録を実行し、以後はレタッチソフト等の利用により画像データを加工できるものとしてもよい。

例えば現状では規格化されていないＲＡＷデータに、さらに画素単位での露光時間の情報を付加して記録できるようなデータファイル形式を用いるものとすれば、より高い画質が要求されるような要求にも対応することができ、積極的に利用される可能性がある。

さらに、上記実施形態では、図３に示した撮影動作を、ＡＥ処理で決定したシャッタ速度の値に対応して実行するか否か判断するものとしたが、これに限らず、ほとんどのデジタルカメラで採用されているシーンプログラム機能の１つとして採用するものとしてもよい。

図１１は、そのようなシーンプログラム機能の１つとして、サンプル画像ＳＩ及び説明文と共に「暗〜明・被写体混合」と名付けた本撮影処理を選択する画面を例示するものである。同図では、
「暗い被写体〜明るい被写体が含まれるとき、
すべてに露出があったダイナミックレンジの広い撮影が可能です。
逆光補正にも使用できます。
注）レリーズ図タイムラグが少し延びます 」
なる説明文を付して、「３２」番の番号が付けられた当該シーンプログラムをサンプル画像ＳＩと共に例示している。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件により適宜の組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

本発明の一実施形態に係るデジタルカメラの電子回路の機能構成を示すブロック図。 同実施形態に係る静止画撮影モードでの処理内容を示すフローチャート。 同実施形態に係る上記図２の撮影処理のサブルーチンの内容を示すフローチャート。 同実施形態に係る上記図３のサブルーチンで作成される露光タイミングテーブルの内容を例示する図。 一律に露光時間を設定した場合の輝度と露光量の関係を示す図。 同実施形態に係る輝度と露光時間、及び露光量の関係を示す図。 同実施形態に係る調整後の輝度と露光時間、及び露光量の関係を示す図。 同実施形態に係る露光量に応じた露光時間の違いを示す図。 同実施形態に係る他の撮影制御動作を例示する図。 同実施形態に係る他の撮影制御動作を例示する図。 同実施形態に係るシーンプログラム機能での画面表示例を示す図。

符号の説明

１０…デジタルカメラ、１１…レンズ光学系、１２…メカニカルシャッタ、１３…ＣＭＯＳイメージセンサ、１４…画像処理部、１５…バッファメモリ、１６…表示部、１７…制御部、１８…メインメモリ、１９…プログラムメモリ、２０…キー操作部、２１…レンズ光学系駆動部、２２…フラッシュ駆動部、２３…ＣＭＯＳドライバ、２４…メモリカード、２５…音声処理部、２６…レンズモータ（Ｍ）、２７…シャッタモータ（Ｍ）、２８…フラッシュ部、２９…マイクロホン部、３０…スピーカ部、Ｃ…カードコネクタ、ＳＢ…システムバス。

Claims (12)

1. 撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力する撮像素子と、
   上記撮像素子の撮像面を分割する複数のエリア毎に露光量を取得する露光量取得手段と、
   上記露光量取得手段で得た複数のエリア毎の露光量により、１回の露光期間中で上記撮像素子の複数のエリア毎に露光時間を調整して駆動し、撮像素子から画像信号を得る露光制御手段と、
   上記撮像素子から得た１画面分の画像信号を記憶する記憶手段と
   を具備し、
   上記露光量取得手段は、上記露光制御手段により上記撮像素子の複数のエリア同時に１回の露光を開始してから予め設定されたタイミングで、上記撮像素子での露光に基づく電荷の蓄積を阻害しない非破壊読出しにより露光量を取得し、
   上記露光制御手段は、上記露光量取得手段で得る複数のエリア毎の露光量に基づき、エリア毎の露光時間を決定して、前記1回の露光を開始してから上記撮像素子による各エリアの露光時間が前記決定した露光時間に達したタイミングで各エリアから画像信号を出力させる
   ことを特徴とする撮像装置。
2. 上記撮像素子への被写体像の入射を開閉制御するシャッタ機構と、
   上記シャッタ機構により上記露光制御手段による撮影露光の直前に上記撮像素子への入
   射を遮断した状態で上記撮像素子の複数のエリア毎の暗電流を測定する測定手段と、
   上記測定手段での測定結果により上記記憶手段で記憶する画像信号を複数のエリア毎に補正する補正手段と
   をさらに具備したことを特徴とする請求項１記載の撮像装置。
3. 上記撮像素子の少なくとも１エリアでの露光時間を決定する露光時間決定手段をさらに具備し、
   上記露光量取得手段は、上記露光時間決定手段で決定した露光時間の終了タイミングより速いタイミングで上記非破壊読出しにより露光量を取得する
   ことを特徴とする請求項１記載の撮像装置。
4. 上記複数のエリアは上記撮像素子の撮像面を構成する画素単位とすることを特徴とする請求項１記載の撮像装置。
5. 上記露光制御手段は、１回の露光期間中で最大となる露光量を上記撮像素子の受光容量に合わせて制限することを特徴とする請求項１記載の撮像装置。
6. 上記露光制御手段は、露光量が多い側の少なくとも１つのエリアの露光時間を上記撮像素子の受光容量に対応させることを特徴とする請求項１記載の撮像装置。
7. 上記記憶手段に記憶した画像信号を複数のエリア毎に輝度調整する輝度調整手段をさらに具備したことを特徴とする請求項１記載の撮像装置。
8. 上記輝度調整手段は、露光時間と露光量とに基づいて画像信号を複数のエリア毎に輝度調整することを特徴とする請求項７記載の撮像装置。
9. 上記露光制御手段は、上記撮像素子の複数のエリア毎に露光の前後で電荷の蓄積をリセットすることを特徴とする請求項１記載の撮像装置。
10. 上記記憶手段は、画像信号及び複数のエリア毎の露光時間を対応付けて記憶することを特徴とする請求項１記載の撮像装置。
11. 撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力する撮像素子を備えた撮像装置での撮像方法であって、
    上記撮像素子の撮像面を分割する複数のエリア毎に露光量を取得する露光量取得工程と、
    上記露光量取得工程で得た複数のエリア毎の露光量により、１回の露光期間中で上記撮像素子の複数のエリア毎に露光時間を調整して駆動し、撮像素子から画像信号を得る露光制御工程と、
    上記撮像素子から得た１画面分の画像信号を記憶する記憶工程と
    を有し、
    上記露光量取得工程は、上記露光制御工程により上記撮像素子の複数のエリア同時に１回の露光を開始してから予め設定されたタイミングで、上記撮像素子での露光に基づく電荷の蓄積を阻害しない非破壊読出しにより露光量を取得し、
    上記露光制御工程は、上記露光量取得工程で得る複数のエリア毎の露光量に基づき、エリア毎の露光時間を決定して、前記1回の露光を開始してから上記撮像素子による各エリアの露光時間が前記決定した露光時間に達したタイミングで各エリアから画像信号を出力させる
    ことを特徴とする撮像方法。
12. 撮像面に入射される被写体像に応じて画素単位で電荷を蓄積し、蓄積した電荷量に対応した画像信号を出力する撮像素子を備えた撮像装置が内蔵するコンピュータ用のプログラムであって、
    上記撮像素子の撮像面を分割する複数のエリア毎に露光量を取得する露光量取得ステップと、
    上記露光量取得ステップで得た複数のエリア毎の露光量により、１回の露光期間中で上記撮像素子の複数のエリア毎に露光時間を調整して駆動し、撮像素子から画像信号を得る露光制御ステップと、
    上記撮像素子から得た１画面分の画像信号を記憶する記憶ステップと
    をコンピュータに実行させ、
    上記露光量取得ステップは、上記露光制御ステップにより上記撮像素子の複数のエリア同時に１回の露光を開始してから予め設定されたタイミングで、上記撮像素子での露光に基づく電荷の蓄積を阻害しない非破壊読出しにより露光量を取得し、
    上記露光制御ステップは、上記露光量取得ステップで得る複数のエリア毎の露光量に基づき、エリア毎の露光時間を決定して、前記1回の露光を開始してから上記撮像素子による各エリアの露光時間が前記決定した露光時間に達したタイミングで各エリアから画像信号を出力させる
    ことを特徴とするプログラム。

Images