JP6395627B2 - 撮像装置、撮像装置の制御方法 - Google Patents

Description

本発明は、メカニカルシャッタと電子シャッタとを使用可能な撮像装置、撮像装置の制御方法に関する。

デジタルカメラ等の撮像装置において、従来より、被写体光を遮光するシャッタ幕（あるいはシャッタ羽根等）を機械的に駆動して露出時間を制御するメカニカルシャッタが使用されている。

これに対して近年、撮像素子のリセットタイミングと読出タイミングとを制御することにより露出時間を制御する電子シャッタによる撮影モードを搭載する撮像装置が提案されている。

電子シャッタは、メカニカルシャッタに比べて、静音化（シャッタの走行音や走行停止音などが発生しない）、連写性能の向上（遮光した状態を維持して画像データを読み出す必要がなく、読み出し直後に次のフレームの露光が開始される）、低消費電力化（例えばシャッタ幕等の機械的な走行に電力を要しない）等を図ることができる。

そして、撮像装置にメカニカルシャッタと電子シャッタとの両方を搭載して使い分けを行う技術も提案されている。

まず、現在の一般的な技術においては、例えばＣＭＯＳイメージセンサのローリング読み出しによる電子シャッタの幕速度は、例えばフォーカルプレーンシャッタ等のメカニカルシャッタの幕速度よりもかなり遅いために、電子シャッタを用いると、フォーカルプレーンシャッタを用いるよりも、移動する被写体の歪みが大きい画像が撮像されてしまう。一方で、メカニカルシャッタを用いると、メカニカルな駆動機構を動作させることになるために、電子シャッタを用いるよりも大きな消費電力が必要となる。

そこで例えば、特開２０１３−１７９４８８号公報には、被写体の動きを検知して、被写体の動きが小さい場合には電子シャッタを用いて撮影を行い、被写体の動きが大きい場合にはメカニカルシャッタを用いて撮影を行う技術が記載されている。これにより、動く被写体の歪みを低減すると共に、低消費電力化を図ることが可能となっている。

特開２０１３−１７９４８８号公報

ところで、メカニカルシャッタを用いる場合には、最初に読み出される画素は露出時間が終了してから読み出されるまでの経過時間が短いが、最後に読み出される画素は露出時間が終了してから読み出されるまでの経過時間が長くなる（本発明の実施形態に係る図２の時間ａ，ｂ等参照）。このとき、撮像素子の各画素に設けられているフォトダイオードは、電荷蓄積終了後に読み出されるまでの経過時間が長くなるにつれて、蓄積電荷量が減少する性質をもっている（本発明の実施形態に係る図５参照）。

従って、読み出しにより露出時間が終了する（つまり、露光終了と読み出しとがほぼ同時となる）電子シャッタを用いた撮像は、メカニカルシャッタを用いた撮像に比べて、蓄積終了後の電荷量の減少がほとんどないために、同一のゲインで増幅すると、得られる画像の特に高輝度部分の明るさが異なってしまう（本発明の実施形態に係る図７の画素値Ｐｅ，Ｐｍ等参照）。

本発明は上記事情に鑑みてなされたものであり、電子シャッタとメカニカルシャッタとの何れを用いた場合にも、高輝度部分の明るさが適切なダイナミックレンジの広い画像データを得ることができる撮像装置、撮像装置の制御方法を提供することを目的としている。

本発明のある態様による撮像装置は、被写体光を複数の画素により光電変換して画像データを生成し、生成した画像データの画素値を順次読み出す撮像素子と、上記被写体光の遮光と通過を制御することにより、上記撮像素子により生成される画像データの露出時間を制御するメカニカルシャッタと、上記メカニカルシャッタ使用時には露出時間が経過して遮光した後に上記撮像素子からの画素値の順次読み出しを制御し、電子シャッタ使用時には上記撮像素子の各画素を順次リセットして露出時間が経過した画素からの画素値の順次読み出しを制御する撮像制御部と、上記画像データの各画素の画素値を、画素値の大小に関わらず一律のゲインで増幅するゲイン乗算部と、上記メカニカルシャッタと上記電子シャッタとの何れを使用するかを制御すると共に、上記メカニカルシャッタを使用するときの上記ゲインの値が上記電子シャッタを使用するときの上記ゲインの値よりも大きくなるように、上記メカニカルシャッタと上記電子シャッタとの何れを使用するかに応じて上記ゲインを異なる値に設定する制御部と、を備えている。

本発明のある態様による撮像装置の制御方法は、被写体光を複数の画素により光電変換して画像データを生成し、生成した画像データの画素値を順次読み出す撮像素子と、上記被写体光の遮光と通過を制御することにより、上記撮像素子により生成される画像データの露出時間を制御するメカニカルシャッタと、を備える撮像装置の制御方法であって、上記メカニカルシャッタ使用時には露出時間が経過して遮光した後に上記撮像素子からの画素値の順次読み出しを制御し、電子シャッタ使用時には上記撮像素子の各画素を順次リセットして露出時間が経過した画素からの画素値の順次読み出しを制御する撮像制御ステップと、上記画像データの各画素の画素値を、画素値の大小に関わらず一律のゲインで増幅するゲイン乗算ステップと、上記メカニカルシャッタと上記電子シャッタとの何れを使用するかを制御すると共に、上記メカニカルシャッタを使用するときの上記ゲインの値が上記電子シャッタを使用するときの上記ゲインの値よりも大きくなるように、上記メカニカルシャッタと上記電子シャッタとの何れを使用するかに応じて上記ゲインを異なる値に設定する制御ステップと、を有する。

本発明の撮像装置、撮像装置の制御方法によれば、電子シャッタとメカニカルシャッタとの何れを用いた場合にも、高輝度部分の明るさが適切なダイナミックレンジの広い画像データを得ることが可能となる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１において、メカニカルシャッタ使用時の撮像動作を示すタイミングチャート。 上記実施形態１において、電子シャッタ使用時の撮像動作を示すタイミングチャート。 上記実施形態１において、画素値に対して行われる信号値の調整を示す線図。 上記実施形態１において、露光終了後に画素値が読み出されるまでの時間が長くなると、画素のフォトダイオードに蓄積された飽和電荷量が減少する様子を示す線図。 上記実施形態１において、フォトダイオードに蓄積されている電荷の量に応じた減少割合の様子を示す線図。 上記実施形態１において、電子シャッタにより得られた画素値とメカニカルシャッタにより得られた画素値とに対して行われる信号値の調整を、同一のガンマ曲線を用いて行う例を示す線図。 上記実施形態１において、電子シャッタにより得られた画素値とメカニカルシャッタにより得られた画素値とに対して行われる信号値の調整を、異なるガンマ曲線を用いて行う例を示す線図。 上記実施形態１において、撮像素子の温度に応じて画素からの出力値が変化する様子を示す線図。 上記実施形態１における撮像装置の撮像動作を示すフローチャート。 上記実施形態１の図１０のステップＳ３におけるシャッタ種類自動設定の処理の詳細を示すフローチャート。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１１は本発明の実施形態１を示したものであり、図１は撮像装置１の構成を示すブロック図である。

この撮像装置１は、例えばデジタルカメラとして構成されていて、レンズ１１と、モータ１２と、フォーカス制御部１３と、絞り機構１４と、モータ１５と、絞り制御部１６と、シャッタ１７と、モータ１８と、シャッタ制御部１９と、撮像素子２１と、温度測定部２２と、データバス２３と、ＡＥ処理部２４と、ＡＦ処理部２５と、画像処理部２６と、不揮発性メモリ２７と、内蔵メモリ２８と、圧縮伸張部２９と、ＬＣＤドライバ３１と、ＬＣＤ３２と、着脱メモリ３３と、入力部３４と、電源部３５と、ＣＰＵ３６と、を備えている。

レンズ１１は、被写体の光学像を撮像素子２１上に結像するための撮像光学系である。

モータ１２は、レンズ１１を駆動するレンズ駆動部である。

フォーカス制御部１３は、ＣＰＵ３６からの指令に基づきモータ１２を制御して、レンズ１１を合焦位置に駆動する。

絞り機構１４は、開口径を変化させることにより、レンズ１１を介して撮像素子２１に到達する被写体光束の通過範囲を制限する。この絞り機構１４の開口径の変化により、例えば、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。

モータ１５は、絞り機構１４を駆動して開口径を変化させる絞り駆動部である。

絞り制御部１６は、ＣＰＵ３６からの指令に基づきモータ１５を制御して、絞り機構１４を駆動し所定の開口径に調整する。

シャッタ１７は、被写体光の遮光と通過を制御することにより、撮像素子２１により生成される画像データの露出時間を制御するメカニカルシャッタである。このシャッタ１７は、具体例としては、先幕と後幕とを有するフォーカルプレーンシャッタとして構成されている。

モータ１８は、シャッタ１７の先幕と後幕とをチャージ状態へ駆動するシャッタ駆動部である。

シャッタ制御部１９は、このモータ１８によりチャージされた先幕および後幕の内の、まず先幕をリリースし、その後に露出時間が経過したタイミングで後幕をリリースすることで、シャッタ１７の開閉動作による被写体光の通過時間、つまり露出時間を制御する。

撮像素子２１は、２次元状に配列された複数の画素を有し、レンズ１１、絞り機構１４、および開状態のシャッタ１７を介して入射された被写体光を光電変換して画像データを生成し、生成した画像データの画素値を順次読み出す撮像部である。ここに、各画素は、受光量に応じた量の電荷を発生するフォトダイオードを含んで構成される。

この撮像素子２１により生成されたアナログの画像データは、撮像素子２１の内部または外部に設けられた図示しないＡ／Ｄ変換部によりデジタルの画像データに変換された後にデータバス２３を介して転送され、内蔵メモリ２８に一旦記憶される。

温度測定部２２は、撮像素子２１の温度、または撮像装置１内における撮像素子２１の近傍の温度を測定し、測定した温度をＣＰＵ３６へ出力する。

データバス２３は、撮像装置１内のある場所で発生した各種のデータや制御信号を、撮像装置１内の他の場所へ転送するためのバスラインである。本実施形態におけるデータバス２３は、撮像素子２１と、ＡＥ処理部２４と、ＡＦ処理部２５と、画像処理部２６と、不揮発性メモリ２７と、内蔵メモリ２８と、圧縮伸張部２９と、ＬＣＤドライバ３１と、着脱メモリ３３と、ＣＰＵ３６と、に接続されている。

ＡＥ処理部２４は、撮像素子２１により得られた画像データに基づき被写体の輝度を測定する輝度検出部であり、さらに測定した輝度に基づき、被写体の暗部と明部の輝度差（輝度ダイナミックレンジ）を検出する輝度分布検出部である。ＡＥ処理部２４は、測定した輝度や輝度差をＣＰＵ３６へ出力する。

ＡＦ処理部２５は、撮像素子２１により得られた画像データから高周波成分の信号を抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ＡＦ処理部２５は、取得した合焦評価値をＣＰＵ３６へ出力する。

画像処理部２６は、撮像素子２１から読み出された画像データに対して、同時化処理、階調変換処理、ホワイトバランス処理、ノイズ低減処理、エッジ強調処理、ガンマ変換処理等の種々の画像処理を行うものである。また、この画像処理部２６は、高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）撮影モードにおいて露出を異ならせて撮影された複数の画像データに基づき、高ダイナミックレンジ画像データを合成する高ダイナミックレンジ合成処理部を含んでいる。さらに、画像処理部２６は、例えばライブビュー時にフレーム毎に取得される各画像データに基づいて、被写体の動き量を検出する動体検出部を含んでいる。

不揮発性メモリ２７は、ＣＰＵ３６により実行される処理プログラムや、処理プログラムを実行する際に必要なパラメータ、あるいはユーザの設定データ等の、この撮像装置１に係る各種の情報を不揮発に記憶する記憶媒体である。この不揮発性メモリ２７が記憶する情報は、ＣＰＵ３６により読み取られる。

内蔵メモリ２８は、上述した撮像素子２１により得られた画像データ、あるいは画像処理部２６または圧縮伸張部２９において処理された画像データ等の各種データを一時的に記憶する記憶部であり、高速な書き込み／読み出しが可能なメモリとなっている。従って、内蔵メモリ２８は、画像処理部２６が各種の画像処理を行う際のワークメモリとしても利用される。

圧縮伸張部２９は、画像データを記録する際には、内蔵メモリ２８から画像データを読み出して、読み出した画像データを例えばＪＰＥＧ圧縮方式に従って圧縮し、圧縮された画像データを内蔵メモリ２８に再び記憶させる。こうして内蔵メモリ２８に記憶された圧縮された画像データは、ＣＰＵ３６によりヘッダ等が付加されて、記録用の画像ファイルとして整えられ、ＣＰＵ３６の制御に基づき着脱メモリ３３に記録される。

また、圧縮伸張部２９は、読み出された画像データの伸張も行う。すなわち、記録済み画像の再生を行う場合には、ＣＰＵ３６の制御に基づき、例えばＪＰＥＧファイルが着脱メモリ３３から読み出され、内蔵メモリ２８に一旦記憶される。圧縮伸張部２９は、内蔵メモリ２８に記憶されたＪＰＥＧ画像データを読み出して、読み出したＪＰＥＧ画像データをＪＰＥＧ伸張方式に従って伸張し、伸張した画像データを内蔵メモリ２８に記憶させる。

ＬＣＤドライバ３１は、内蔵メモリ２８に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、ＬＣＤ３２を駆動制御して映像信号に基づく画像をＬＣＤ３２に表示させる。このＬＣＤドライバ３１により行われる画像表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、着脱メモリ３３に記録されたＪＰＥＧファイルの再生表示、ライブビュー表示、および撮像装置１に関する設定を行うためのメニュー表示などが含まれる。

ＬＣＤ３２は、上述したようなＬＣＤドライバ３１の駆動制御により、画像を表示すると共に、この撮像装置１に係る各種の情報を表示する。

着脱メモリ３３は、画像データを不揮発に記録する記録媒体であり、例えば撮像装置１に着脱可能なメモリカード等により構成されている。従って、着脱メモリ３３は、撮像装置１に固有の構成である必要はない。

入力部３４は、この撮像装置１に対する各種の操作入力を行うための操作部であり、撮像装置１の電源をオン／オフするめの電源ボタン、画像の撮影開始を指示するためのレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置１の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の各種操作ボタンを含んでいる。ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定可能な項目には、撮影モード（通常撮影モード、高ダイナミックレンジ撮影モード等）、再生モードにおける再生対象ファイルの選択、ＩＳＯ感度の設定などが含まれている（従って、入力部３４はＩＳＯ感度を設定する感度設定部を兼ねている）。この入力部３４に対して操作が行われると、操作内容に応じた信号が入力部３４からＣＰＵ３６へ出力される。

電源部３５は、ＣＰＵ３６を含むこの撮像装置１内の各部に電力を供給する。

ＣＰＵ３６は、この撮像装置１内の各部を統括的に制御する制御部である。ＣＰＵ３６は、入力部３４から操作入力が行われると、不揮発性メモリ２７に記憶されている処理プログラムに従って、不揮発性メモリ２７から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。

このＣＰＵ３６は、ＡＥ処理部２４により測定された輝度に基づき、プログラム線図等を用いて、適正露出値に対応する絞り値、露出時間（シャッタ速度ともいう）、ＩＳＯ感度を算出する露出値算出部を兼ねている。ＣＰＵ３６は、メカニカルのシャッタ１７と電子シャッタとの何れを使用するかを制御すると共に、何れを使用するかに応じて画素値に乗算するゲインを後述するように異なる値に設定する。そしてＣＰＵ３６は、算出した絞り値に基づき絞り制御部１６を介して絞り機構１４の制御を行い、算出した露出時間に基づきシャッタ制御部１９を介してシャッタ１７の制御を行いあるいは撮像素子２１の露光タイミングを制御して素子シャッタを行わせ、算出したＩＳＯ感度に基づき撮像素子２１または画像処理部２６に増幅を行わせる。このようにして、露出演算結果に基づく自動露出（ＡＥ）制御が行われる。

また、ＣＰＵ３６は、ＡＦ処理部２５により取得された合焦評価値が最大値を取るように、フォーカス制御部１３を介してレンズ１１を駆動することにより、コントラストＡＦを行う。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用の位相差ＡＦセンサ（あるいは撮像素子２１上の位相差検出用画素）を用いて位相差ＡＦを行うようにしても構わない。

さらに、ＣＰＵ３６は、静止画または動画の画像撮影における露光量や撮像タイミングの制御を行う。例えば、ＣＰＵ３６は、メカニカルシャッタ使用時には露出時間が経過して遮光した後に撮像素子２１からの画素値の順次読み出しを制御し、電子シャッタ使用時には撮像素子２１の各画素を順次リセットして露出時間が経過した画素からの画素値の順次読み出しを制御する撮像制御部として機能する。

そして、ＣＰＵ３６は、画像処理部２６により生成された画像データをファイル形式に変換して着脱メモリ３３へ記録する制御を行う。

図２は、メカニカルシャッタ使用時の撮像動作を示すタイミングチャートである。この図２および次に説明する図３においては、横軸が時間の経過を示し、縦軸が撮像素子２１の垂直方向に配列された各水平ラインの並びを示している。

メカニカルシャッタは、チャージを行うと、先幕が遮光状態、後幕が開放状態にそれぞれなっている。そして、先幕により遮光されている状態において、まず、全画素を一括してリセットＲＳＴする。

その後、先幕ＭＳＦをリリースして走行を開始し、第１ラインから最終ラインへ向けて順次露光を行う。第１ラインの露出時間Ｔｅｘｐが経過した時点で後幕ＭＳＲをリリースして走行を開始し、第１ラインから最終ラインへ向けて順次露光を終了する。このとき、先幕ＭＳＦの走行特性と後幕ＭＳＲの走行特性とが同一となるようにシャッタ１７が構成されているために、任意のラインの露出時間がＴｅｘｐとなる。

後幕ＭＳＲの走行が終了して撮像素子２１が遮光状態になったら、ローリング読み出しにより各画素の画素値の読み出しＲＤを例えば１ラインずつ順次に行う。この露光終了後の画素値を読み出すときには、撮像素子２１は遮光されているために、各画素による新たな電荷の蓄積が行われることはない。メカニカルシャッタが全ラインを走行するのに要する時間に比べて、全ラインをローリング読み出しするのに要する時間は長いために、露光終了時点から読出時点までの時間間隔は、図示のように、読み出し開始ラインが時間ａで最も短く、その後順次長くなって、読み出し終了ラインが時間ｂ（ここに、ｂ＞ａ）で最も長くなる。

一方、図３は、電子シャッタ使用時の撮像動作を示すタイミングチャートである。

電子シャッタ使用時には、メカニカルのシャッタ１７は予め開放状態に維持されていて、撮像素子２１には被写体光が継続的に入射している。

この状態で、各画素のリセットＲＳＴを、ローリング読み出しＲＤと同じ速度（電子シャッタはシャッタ幕を走行させるものではないが、同様の機能を果たすものの比喩として、この速度を幕速度ともいう）で順次行う。任意の画素について、リセットＲＳＴしてから露出時間Ｔｅｘｐが経過した時点で画素値の読み出しＲＤを行う。

すなわち、電子シャッタの場合には、露光終了と画素値の読み出しが同時であるために、露光終了後に画素値が読み出されるまでの時間は全画素について等しく０であり、読み出し開始ラインと読み出し終了ラインとで違いはない。また、電子シャッタ使用時には、読み出し直後であっても被写体光が入射しているために、新たな電荷の蓄積が常時行われる。

図４は画素値に対して行われる信号値の調整を示す線図である。

まず、画素により取得される画素値Ｐは、図示のように、飽和レベルに達するまでは画素の露光量が増加するに従って例えば比例して増加するが、飽和レベルに達したところで露光量が増加してもレベルが変化しなくなる。

このような画像データの各画素の画素値Ｐに対して、まず、ゲイン乗算部（線形増幅部）により、画素値の大小に関わらず一律のゲインｇを乗算してｇ×Ｐを得ることで増幅が行われる。このゲインｇは、飽和電荷量に対応する画素値が出力ダイナミックレンジの上限値となるように（つまり、最大輝度値となるように）、値が決定される。ここに、ゲイン乗算部は、例えば撮像素子２１の増幅機能、あるいは画像処理部２６により行われる増幅処理などが該当する。

さらに、画像処理部２６内において、上述したゲイン乗算部により増幅された画像データの各画素の画素値ｇ×Ｐに対してガンマ変換処理が行われ、γ（ｇ×Ｐ）が得られる。ここに、ガンマ変換処理は、入力された画素値を、画素値の大小に応じた異なる増幅率で変化させるガンマ曲線γにより変換する処理である。こうして、画像処理部２６により行われるガンマ変換処理がガンマ変換部（非線形増幅部）に該当する。

図５は、露光終了後に画素値が読み出されるまでの時間が長くなると、画素のフォトダイオードに蓄積された飽和電荷量が減少する様子を示す線図である。

各画素に設けられているフォトダイオードは、漏れ電荷が発生することが知られており、露光終了後に蓄積している電荷が漏れ出すだけでなく、例えば光電変換を行って新たな電荷を蓄積している最中にも漏れ電荷が発生している。

このとき、画素のフォトダイオードに蓄積されている飽和電荷量は、露光終了時点からの時間が経過するに従って例えば単調減少し、時間ａで読み出される読み出し開始ラインよりも、時間ｂで読み出される読み出し終了ラインの方が減少量が大きい。

従って、メカニカルシャッタを用いる場合に比べて、電子シャッタを用いる場合には蓄積電荷のロスが少ない利点がある。

図６は、フォトダイオードに蓄積されている電荷の量に応じた減少割合の様子を示す線図である。

フォトダイオードから漏れ出す電荷は、フォトダイオードに蓄積されている電荷量が多いほど多くなるが、単純に蓄積電荷量に比例するわけではなく、例えば蓄積電荷量が小さいときには漏れ電荷量はほとんど無視し得る程度であるが、飽和電荷量に近付くにつれて漏れ電荷量が急激に増大する。図６は、このような減少割合の傾向の概略を示している。

図７は、電子シャッタにより得られた画素値とメカニカルシャッタにより得られた画素値とに対して行われる信号値の調整を、同一のガンマ曲線を用いて行う例を示す線図である。なお、この図７および後で説明する図８においては、メカニカルシャッタの場合の画素値Ｐｍとして、最終ラインから得られる画素値（つまり、漏れ電荷による電荷量の減少が画像内において最も大きいラインの画素値）を示している。

電子シャッタは、上述したように、露光終了と画素値の読み出しが同時であるために、露光終了後にフォトダイオードから漏れ出す電荷はほぼ０である。これに対して、メカニカルシャッタの場合には、同一の電荷量が蓄積されたときでも、図５に示したように、読み出し開始ラインにおいて読み出される画素値よりも、読み出し終了ラインにおいて読み出される画素値の方が（特に、飽和電荷量に近いところでより大きな減少割合で）小さくなる。

従って、電子シャッタを用いて露光し画素から読み出される画素値Ｐｅは、メカニカルシャッタを用いて露光し画素から読み出される画素値Ｐｍと比較して、飽和電荷量が大きいために、より大きい露光量（メカニカルシャッタを用いた場合の最大露光量Ｅｍよりも大きい最大露光量Ｅｅ）に対応する高い画素値までが出力として得られ、ダイナミックレンジが広い。従って、飽和電荷量に対応する画素値が出力ダイナミックレンジの上限値となるように決定されるゲインｇは、画素値Ｐｅと画素値Ｐｍとで異なる値となり、画素値Ｐｅに対応するのがゲインｇｅ、画素値Ｐｍに対応するのがゲインｇｍであって、ｇｅ＜ｇｍとなる。

このとき、メカニカルシャッタの場合には、読み出し開始ラインと読み出し終了ラインとで電荷の減少量が異なるために、飽和電荷量に対応する画素値が出力ダイナミックレンジの上限値となるように乗算するゲインｇｍの値は、ラインによって異なることになる。この点に関して、本実施形態においては、読み出し終了ラインの飽和電荷量に対応する画素値が出力ダイナミックレンジの上限値となるゲインｇｍの値を、全ラインに対して適用するようにしている。

これにより、画像全体に対して一律の値のゲインｇｍを乗算するだけで、全ての画素について、飽和電荷量に対応する画素値を出力ダイナミックレンジの上限値とすることができる（なお、ゲインｇｍを乗算すると出力ダイナミックレンジの上限値を超えてしまう画素値については、出力ダイナミックレンジの上限値に丸められる処理が行われる）。

その後に、ゲインｇｅを乗算した後の画素値ｇｅ×Ｐｅと、ゲインｇｍを乗算した後の画素値ｇｍ×Ｐｍと、に同一のガンマ曲線γを用いてガンマ変換を行うと、γ（ｇｅ×Ｐｅ）、γ（ｇｍ×Ｐｍ）となるが、上述したようにｇｅ＜ｇｍであるために、標準的な明るさ部分（例えば、出力ダイナミックレンジの１／８の明るさの部分）における画素値はγ（ｇｍ×Ｐｍ）＞γ（ｇｅ×Ｐｅ）となり、電子シャッタを用いた撮影の方がメカニカルシャッタを用いた撮影よりも低ＩＳＯ感度撮影となっている（ここに、撮像装置１のＩＳＯ感度は、画素値によらない固定値として乗算するゲインｇと、画像処理における画素値に応じた変換曲線であるガンマ曲線γと、の両方により決定される）。

また、図８は、電子シャッタにより得られた画素値とメカニカルシャッタにより得られた画素値とに対して行われる信号値の調整を、異なるガンマ曲線を用いて行う例を示す線図である。

この図８に示す例では、固定のゲインｇｅ，ｇｍで各増幅した後の画素値ｇｅ×Ｐｅ，ｇｍ×Ｐｍを、それぞれ異なるガンマ曲線γｅ，γｍを用いてガンマ変換したときの様子を示しており、ここでは同一のＩＳＯ感度撮影となるような（具体的には、出力ダイナミックレンジの１／８の明るさの部分における出力値の傾きが同一となるような）ガンマ曲線γｅ，γｍが選択されている。この例ではさらに、標準的な明るさ部分（例えば、出力ダイナミックレンジの１／８の明るさの部分）における画素値が、γｍ（ｇｍ×Ｐｍ）＝γｅ（ｇｅ×Ｐｅ）となっている。

ここで、ダイナミックレンジの１／８としているのは一例であり、ハイライトのダイナミックレンジとシャドー（暗い側）のダイナミックレンジの設計によって決めるべき値である。

図７および図８の何れに示す例においても、メカニカルシャッタのときに飽和電荷量に到達する最大露光量Ｅｍよりも、電子シャッタのときに飽和電荷量に到達する最大露光量Ｅｅの方が大きいために、電子シャッタを用いればハイライト側の露光量ダイナミックレンジをより広くすることができる。

さらに、図９は、撮像素子２１の温度に応じて画素からの出力値が変化する様子を示す線図である。この図９には、一例として、メカニカルシャッタを用いて温度１０℃，２０℃，３０℃，４０℃，５０℃の撮像素子２１により露光を行い出力された画素値Ｐｍの例を示している。

各画素に設けられているフォトダイオードは、撮像素子２１が高温になるに従って飽和電荷量が小さくなる特性を備えている。

従って、図示のように、撮像素子２１から出力される画素値Ｐｍの上限は温度が高いほど低くなっており、撮像素子２１の温度が高い場合にはダイナミックレンジ（出力ダイナミックレンジおよび露光量ダイナミックレンジ）が狭くなり、温度に応じた大きさのゲインｇｍで増幅する必要があることが分かる。

このゲインｇｍは、撮像素子２１の温度がｔ℃であるときに最終ラインから得られる飽和電荷量に対応する画素値をＰｍｍａｘ（ｔ）、出力ダイナミックレンジの上限値をＰｏｕｔｍａｘとすると、
ｇｍ＝Ｐｏｕｔｍａｘ／Ｐｍｍａｘ（ｔ）
となるように設定すれば良い。

なお、ここではメカニカルシャッタにより得られる画素値Ｐｍを例に挙げたが、電子シャッタにより得られる画素値Ｐｅについても同様の温度特性となり、温度に応じた大きさのゲインｇｅで増幅する必要がある。

このゲインｇｅも上述したゲインｇｍと同様に、撮像素子２１の温度がｔ℃であるときに得られる飽和電荷量に対応する画素値をＰｅｍａｘ（ｔ）とすると、
ｇｅ＝Ｐｏｕｔｍａｘ／Ｐｅｍａｘ（ｔ）
となるように設定すれば良い。

このときに、γが同じままであると感度（ＩＳＯ感度）がゲイン上昇分だけ上がってしまうので、γを調整してダイナミックレンジの１／８の部分の感度が変わらないようにすることが必要である。

こうして電子シャッタ撮影は、メカニカルシャッタ撮影よりも幕速度が遅いために、移動する被写体の歪みが画像に発生してしまうデメリットがある反面で、飽和電荷量が大きいために、
（１）低ＩＳＯ感度での撮影が可能となる
（２）ハイライト側の露光量ダイナミックレンジを広くすることができる
といったメリットがある。

そこで、本実施形態の撮像装置１では、電子シャッタとメカニカルシャッタそれぞれのメリットを活かすように、撮影時の各種条件に応じてシャッタ種類の自動設定を行うことが可能となっている。

図１０は、撮像装置１の撮像動作を示すフローチャートである。

図示しないメイン処理からこの処理に入ると、ＣＰＵ３６が、シャッタ種類を手動で選択する設定がなされているか否かを判定する（ステップＳ１）。

ここで、手動での選択が設定されていると判定された場合には、手動設定に応じてＣＰＵ３６がシャッタ種類を電子シャッタまたはメカニカルシャッタの何れかに設定する（ステップＳ２）。

また、ステップＳ１において手動での選択が設定されていないと判定された場合には、ＣＰＵ３６が、後で図１１を参照して説明するようなシャッタ種類の自動設定を行う（ステップＳ３）。

ステップＳ２またはステップＳ３の処理を行ってシャッタ種類が設定されたら、ＣＰＵ３６は、設定されたのが電子シャッタであるか否かを判定する（ステップＳ４）。

ここで電子シャッタであると判定された場合には、ＣＰＵ３６が、電子シャッタ撮影時に設定可能なＩＳＯ感度範囲の中から、手動でのＩＳＯ感度設定があった場合にはその設定に応じたＩＳＯ感度を、また、手動でのＩＳＯ感度設定がない場合には自動処理によりプログラム線図等に応じたＩＳＯ感度を、設定する（ステップＳ５）。

ここに、電子シャッタはメカニカルシャッタよりも上述したように低ＩＳＯ感度撮影が可能であるために、電子シャッタを使用するときに設定可能なＩＳＯ感度範囲と、メカニカルシャッタを使用するときに設定可能なＩＳＯ感度範囲とは異なっており、ここでは電子シャッタを使用するために、電子シャッタ撮影に応じたＩＳＯ感度範囲の中からＩＳＯ感度の設定を行っている。

次に、ＣＰＵ３６は、設定されたＩＳＯ感度に応じた電子シャッタ用のゲインｇｅの値を設定する（ステップＳ６）。このゲインｇｅの設定に際しては、上述したように、温度測定部２２から取得した撮像素子２１の温度を考慮するとさらに良い。

そして、入力部３４のレリーズボタンにより画像の撮影開始を指示するレリーズ操作が行われたところで、ＣＰＵ３６の制御に基づき、電子シャッタを用いて撮像素子２１により露光を行い画像データを読み出す撮像動作を実行する（ステップＳ７）。

こうして画像データが得られたら、ＣＰＵ３６の制御に基づき、画像処理部２６で各種の画像処理を行うと共に、現像処理の一部として、例えば電子シャッタ用のガンマ曲線γｅを用いたガンマ変換を行う（ステップＳ８）。なお、ここでは電子シャッタ用のガンマ曲線γｅを用いたが、図７に示したように、メカニカルシャッタと共通のガンマ曲線γを用いることも可能である。

一方、ステップＳ４において、電子シャッタでない（つまり、メカニカルシャッタである）と判定された場合には、ＣＰＵ３６が、メカニカルシャッタ撮影時に設定可能なＩＳＯ感度範囲の中から、手動でのＩＳＯ感度設定があった場合にはその設定に応じたＩＳＯ感度を、また、手動でのＩＳＯ感度設定がない場合には自動処理によりプログラム線図等に応じたＩＳＯ感度を、設定する（ステップＳ９）。

続いて、ＣＰＵ３６は、設定されたＩＳＯ感度に応じたメカニカルシャッタ用のゲインｇｍの値を設定する（ステップＳ１０）。このゲインｇｍの設定に際しては、上述したように、温度測定部２２から取得した撮像素子２１の温度を考慮するとさらに良い。

そして、入力部３４のレリーズボタンにより画像の撮影開始を指示するレリーズ操作が行われたところで、ＣＰＵ３６の制御に基づき、メカニカルシャッタを用いて撮像素子２１により露光を行い画像データを読み出す撮像動作を実行する（ステップＳ１１）。

こうして画像データが得られたら、ＣＰＵ３６の制御に基づき、画像処理部２６で各種の画像処理を行うと共に、現像処理の一部として、メカニカルシャッタ用のガンマ曲線γｍを用いたガンマ変換を行う（ステップＳ１２）。なお、ここではメカニカルシャッタ用のガンマ曲線γｍを用いたが、図７に示したように、電子シャッタと共通のガンマ曲線γを用いることも可能である。

このように、本実施形態の撮像装置１では、電子シャッタ時とメカニカルシャッタ時で、画素出力に乗算するゲインｇを異なる値にし（図７参照）、さらに、必要に応じてガンマ曲線γも異なる曲線にしている（図８参照）。

ステップＳ８またはステップＳ１２の処理を行ったら、ＣＰＵ３６が、画像処理後の画像データを画像ファイルとして着脱メモリ３３に保存し（ステップＳ１３）、この処理からメイン処理にリターンする。

図１１は、図１０のステップＳ３におけるシャッタ種類自動設定の処理の詳細を示すフローチャートである。

この処理に入ると、まずＣＰＵ３６は、高ダイナミックレンジ（ＨＤＲ）撮影モードに設定されているか否かを判定する（ステップＳ２１）。

ここで、高ダイナミックレンジ（ＨＤＲ）撮影モードに設定されていないと判定された場合には、ライブビュー時にフレーム毎に取得される各画像データに基づいて、画像処理部２６の動体検出部が被写体の動き量を測定する（ステップＳ２２）。

そして、ＣＰＵ３６は、測定された動き量が予め設定した閾値以上であるか否かを判定する（ステップＳ２３）。

ここで、動き量が閾値未満であると判定された場合には、ＡＥ処理部２４が被写体の輝度を測定して（ステップＳ２４）、ＣＰＵ３６は、現在設定されている露出時間、絞り値、およびＩＳＯ感度で定まる露出値が、測定された輝度に基づいてＣＰＵ３６により算出された適正露出値よりもオーバーになるか否かを判定する（ステップＳ２５）。

ここに、被写体の輝度が高い場合には、露出時間を短くする（シャッタ速度を速くする）ことと、絞りを絞ることと、ＩＳＯ感度を下げることと、の少なくとも１つを行うことにより、適正露出を得ることができる。

しかし、シャッタ速度を遅くして故意に被写体をぶらし動きを表現したい、あるいは、絞りを開放して背景のボケを大きくしたい、などのユーザの作画意図がある場合があり、このような場合にはＩＳＯ感度をより低くすることができる方が撮影の範囲が広がって有利である。

そこで、このステップＳ２５においては、ユーザの手動設定等により露出オーバーとなってしまう場合に、より低ＩＳＯ感度まで対応可能な電子シャッタに切り替えるようにしている。

ここで露出オーバーにならないと判定された場合には、さらに、測定した輝度に基づいてＡＥ処理部２４が被写体の輝度差（輝度ダイナミックレンジ）を測定する（ステップＳ２６）。

ＣＰＵ３６は、測定した輝度差が予め設定した閾値以上であるか否かを判定して（ステップＳ２７）、輝度差が閾値未満であると判定された場合には、温度測定部２２により測定された撮像素子２１（もしくは、撮像装置１内における撮像素子２１の近傍）の温度を取得する（ステップＳ２８）。

ＣＰＵ３６は、取得した温度が予め設定した閾値以上であるか否かを判定する（ステップＳ２９）。

ここで温度が閾値未満であると判定された場合、または、上述したステップＳ２３において動き量が閾値以上であると判定された場合には、メカニカルシャッタを使用するように選択して設定する（ステップＳ３０）。

また、ステップＳ２１において高ダイナミックレンジ（ＨＤＲ）撮影モードに設定されていると判定された場合、ステップＳ２５において露出オーバーになると判定された場合、ステップＳ２７において輝度差（輝度ダイナミックレンジ）が閾値以上であると判定された場合、ステップＳ２９において温度が閾値以上であると判定された場合には、ＣＰＵ３６は、電子シャッタを使用するように選択して設定する（ステップＳ３１）

こうして、ステップＳ３０またはステップＳ３１の処理を行ってシャッタ種類を設定したら、図１０に示した処理にリターンする。

なお、図１１には明示していないが、上述したように、電子シャッタとメカニカルシャッタとでは設定可能なＩＳＯ感度範囲が異なっているために、感度設定部により設定されたＩＳＯ感度に設定可能であるのが電子シャッタを使用するときとメカニカルシャッタを使用するときとの何れか一方のみである場合には、ＣＰＵ３６は、該一方を使用するように制御するようになっている。

また、図１１においては、複数の判断分岐により電子シャッタとメカニカルシャッタとの何れを用いるかを決定したが、これら全ての判断を行う必要はなく、何れか１つ以上（２つ以上の場合には任意の組み合わせ）を行うだけでも構わない。あるいは、さらにその他の判断分岐を追加するようにしても良い。

このような実施形態１によれば、メカニカルシャッタと電子シャッタとの何れを使用するかに応じてゲインを異なる値に設定するようにしたために、何れのシャッタを用いた場合にも、高輝度部分の明るさが適切なダイナミックレンジ（例えば出力ダイナミックレンジ）の広い画像データを得ることができる。

そして、電子シャッタを用いる場合には、より低ＩＳＯ感度での低ノイズ撮影が可能となり、特にハイライト側のダイナミックレンジ（例えば露光量ダイナミックレンジ）が広い画像を撮影することができる。一方、メカニカルシャッタを用いる場合には、幕速が速いために、ローリング読み出しに起因する被写体の動体歪みを小さくすることができる。

また、ＨＤＲ撮影モードのときには電子シャッタを用いるようにしたために、よりダイナミックレンジ（例えば露光量ダイナミックレンジ）の広い画像を得ることが可能となる。

さらに、被写体の動き量が大きい場合にメカニカルシャッタを用いるようにしたために、被写体の動体歪みを有効に低減することができる。

そして、ユーザの手動設定等により露出オーバーとなってしまう場合に、より低ＩＳＯ感度まで対応可能な電子シャッタに切り替えることでＩＳＯ感度の設定値を下げることが可能となり、露出オーバーを低減することができる。

加えて、被写体の輝度差が大きいと判定した場合に、よりダイナミックレンジ（例えば露光量ダイナミックレンジ）の広い電子シャッタを用いるようにしたために、暗部の黒つぶれや明部の白飛びを抑制した画像を撮影することが可能となる。

また、撮像素子２１の温度が高い場合には、飽和電荷量がより大きい電子シャッタを用いるようにしたために、高温になるに従って飽和電荷量が小さくなるフォトダイオードの特性を補って、よりダイナミックレンジ（例えば露光量ダイナミックレンジ）の広い画像を取得することができる。

なお、上述では主として撮像装置について説明したが、撮像装置を上述したように制御する制御方法であっても良いし、コンピュータに撮像装置を上述したように制御させるための制御プログラム、該制御プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…撮像装置
１１…レンズ
１２…モータ
１３…フォーカス制御部
１４…絞り機構
１５…モータ
１６…絞り制御部
１７…シャッタ（メカニカルシャッタ）
１８…モータ
１９…シャッタ制御部
２１…撮像素子（ゲイン乗算部）
２２…温度測定部
２３…データバス
２４…ＡＥ処理部（輝度分布検出部）
２５…ＡＦ処理部
２６…画像処理部（ゲイン乗算部、ガンマ変換部、動体検出部、高ダイナミックレンジ合成処理部）
２７…不揮発性メモリ
２８…内蔵メモリ
２９…圧縮伸張部
３１…ＬＣＤドライバ
３２…ＬＣＤ
３３…着脱メモリ
３４…入力部（感度設定部）
３５…電源部
３６…ＣＰＵ（撮像制御部、制御部、露出値算出部）

Claims (11)

1. 被写体光を複数の画素により光電変換して画像データを生成し、生成した画像データの画素値を順次読み出す撮像素子と、
   上記被写体光の遮光と通過を制御することにより、上記撮像素子により生成される画像データの露出時間を制御するメカニカルシャッタと、
   上記メカニカルシャッタ使用時には露出時間が経過して遮光した後に上記撮像素子からの画素値の順次読み出しを制御し、電子シャッタ使用時には上記撮像素子の各画素を順次リセットして露出時間が経過した画素からの画素値の順次読み出しを制御する撮像制御部と、
   上記画像データの各画素の画素値を、画素値の大小に関わらず一律のゲインで増幅するゲイン乗算部と、
   上記メカニカルシャッタと上記電子シャッタとの何れを使用するかを制御すると共に、上記メカニカルシャッタを使用するときの上記ゲインの値が上記電子シャッタを使用するときの上記ゲインの値よりも大きくなるように、上記メカニカルシャッタと上記電子シャッタとの何れを使用するかに応じて上記ゲインを異なる値に設定する制御部と、
   を備えることを特徴とする撮像装置。
2. 上記ゲイン乗算部により増幅された上記画像データの各画素の画素値を、画素値の大小に応じた異なる増幅率で変化させるガンマ曲線により変換するガンマ変換部をさらに備え、
   上記制御部は、上記メカニカルシャッタと上記電子シャッタとの何れを使用するかに応じて、さらに、上記ガンマ曲線を異なる曲線に設定することを特徴とする請求項１に記載の撮像装置。
3. 上記制御部は、上記電子シャッタを使用する場合には上記撮像素子から読み出される画素の飽和電荷量に対応する画素値が最大輝度値となるように上記ゲインを設定し、上記メカニカルシャッタを使用する場合には上記撮像素子から最後に読み出される画素の飽和電荷量に対応する画素値が最大輝度値となるように上記ゲインを設定して、上記増幅を行うことを特徴とする請求項２に記載の撮像装置。
4. 上記撮像素子または上記撮像素子の近傍の温度を測定する温度測定部をさらに備え、
   上記制御部は、さらに上記温度測定部により測定された温度に応じて、上記ゲインを設定することを特徴とする請求項３に記載の撮像装置。
5. ＩＳＯ感度を設定する感度設定部をさらに備え、
   上記メカニカルシャッタを使用するときに設定可能なＩＳＯ感度範囲と、上記電子シャッタを使用するときに設定可能なＩＳＯ感度範囲とは異なり、
   上記制御部は、上記感度設定部により設定されたＩＳＯ感度に設定可能であるのが上記電子シャッタを使用するときと上記メカニカルシャッタを使用するときとの何れか一方のみである場合には、該一方を使用するように制御することを特徴とする請求項１に記載の撮像装置。
6. 被写体の輝度ダイナミックレンジを検出する輝度分布検出部をさらに備え、
   上記制御部は、上記輝度ダイナミックレンジが予め設定した閾値以上である場合には、上記電子シャッタを使用するように制御することを特徴とする請求項１に記載の撮像装置。
7. 被写体の動き量を検出する動体検出部をさらに備え、
   上記制御部は、上記被写体の動き量が予め設定した閾値以上である場合には、上記メカニカルシャッタを使用するように制御することを特徴とする請求項１に記載の撮像装置。
8. 被写体の輝度に基づき適正露出値を算出する露出値算出部をさらに備え、
   上記制御部は、現在設定されている露出値が上記露出値算出部により算出された適正露出値よりもオーバーである場合には、上記電子シャッタを使用するように制御することを特徴とする請求項１に記載の撮像装置。
9. 上記撮像素子または上記撮像素子の近傍の温度を測定する温度測定部をさらに備え、
   上記制御部は、上記温度測定部により測定された温度が予め設定した閾値以上である場合には、上記電子シャッタを使用するように制御することを特徴とする請求項１に記載の撮像装置。
10. 高ダイナミックレンジ撮影モードにおいて露出を異ならせて撮影された複数の画像データに基づき、高ダイナミックレンジ画像データを合成する高ダイナミックレンジ合成処理部をさらに備え、
    上記制御部は、上記高ダイナミックレンジ撮影モードが設定されている場合には、上記電子シャッタを使用するように制御することを特徴とする請求項１に記載の撮像装置。
11. 被写体光を複数の画素により光電変換して画像データを生成し、生成した画像データの画素値を順次読み出す撮像素子と、
    上記被写体光の遮光と通過を制御することにより、上記撮像素子により生成される画像データの露出時間を制御するメカニカルシャッタと、
    を備える撮像装置の制御方法であって、
    上記メカニカルシャッタ使用時には露出時間が経過して遮光した後に上記撮像素子からの画素値の順次読み出しを制御し、電子シャッタ使用時には上記撮像素子の各画素を順次リセットして露出時間が経過した画素からの画素値の順次読み出しを制御する撮像制御ステップと、
    上記画像データの各画素の画素値を、画素値の大小に関わらず一律のゲインで増幅するゲイン乗算ステップと、
    上記メカニカルシャッタと上記電子シャッタとの何れを使用するかを制御すると共に、上記メカニカルシャッタを使用するときの上記ゲインの値が上記電子シャッタを使用するときの上記ゲインの値よりも大きくなるように、上記メカニカルシャッタと上記電子シャッタとの何れを使用するかに応じて上記ゲインを異なる値に設定する制御ステップと、
    を有することを特徴とする撮像装置の制御方法。

Images