(実施形態1)
以下、図面に基づいて、本発明の実施形態につき説明する。
(撮像装置の外観構造の説明)
図1は、第1の実施形態にかかる撮像装置が好適に適用される小型のデジタルカメラ1の外観を示す図であり、(a)はその上面図、(b)は正面図、(c)は背面図をそれぞれ示している。このデジタルカメラ(撮像装置)1は、カメラ本体ボディ10の頂面には電源スイッチ101及びレリーズスイッチ102等が、正面側にはフラッシュ発光部103及び撮影レンズ窓104等が、また背面側にはモード設定スイッチ105などの各種の操作ボタンや液晶モニター(LCD)からなるLCD表示部106等がそれぞれ配置されている。そして本体ボディ10の内部には、各種本体機器のほか、屈曲型の鏡胴20が配置されている。
電源スイッチ101は、カメラ1の電源をON(起動)、OFF(起動停止)するための押下スイッチであり、押下動作によりカメラ電源のON、OFFが順次繰り返される。またモード設定スイッチ105は、静止画を撮影する静止画撮影モード及び動画を撮影する動画撮影モード、あるいは後述する露光量制御パラメータ算出優先モード及びダイナミックレンジ制御パラメータ算出優先モードといった各種モードを設定するためのものである。
レリーズスイッチ102は、途中まで押し込んだ「半押し状態」の操作と、さらに押し込んだ「全押し状態」の操作とが可能とされた押下スイッチである。例えば前記静止画撮影モードにおいて、レリーズスイッチ102が半押しされると、被写体の静止画を撮影するための準備動作(後述の自動露出制御や自動焦点制御等の準備動作)が実行され、レリーズスイッチ102が全押しされると、撮影動作(後述する撮像センサを露光し、その露光によって得られた画像信号に所定の画像処理を施してメモリカード等に記録する一連の動作)が実行される。また、前記動画撮影モードにおいて、レリーズスイッチ102が全押しされると、所定の動画撮影動作が実行され、再度レリーズスイッチ102が全押しされると、動画撮影動作が終了される。
フラッシュ発光部103は、レリーズスイッチ102が半押しされている状態(静止画撮影モード)において、被写体像が暗い場合に発光して被写体を照明する。撮影レンズ窓104は、被写体の光学像を、本体ボディ10の内部に配置された屈曲型鏡胴20へ取り入れるための開口部である。また表示部106は、内蔵する記録媒体に記録された記録画像を再生表示させたり、撮影待機中や動画撮影モードにおいてビデオ撮影された被写体のスルー画像(ライブビュー画像)を表示させたりするものである。なお、前記モード設定スイッチ105以外に、ズームスイッチ、メニュー選択スイッチ、選択決定スイッチ等のプッシュスイッチ群が備えられている。
屈曲型の鏡胴20は、前記撮影レンズ窓104を通して被写体像を取り入れ、本体ボディ10の内部に配置されている撮像センサ30へ導く撮影レンズ系を構成するものである。この鏡胴20は、ズーミングやフォーカシング駆動時においてもその長さの変動しない、つまり本体ボディ10から外部に突出することのない鏡胴である。この鏡胴20の内部には、光軸に沿って直列的に配置されるズームレンズブロックや固定レンズブロックからなる撮影光学系を構成するレンズ群21(図2参照)と、このレンズ群21の適所に配置される絞り22とが備えられている。さらに前記レンズ群21の適所にはシャッタ23が配置されており、該シャッタ23の開閉動作により撮影光学系の光路が遮光若しくは通光されるようになっている。すなわち、絞り22の開口面積設定度合い及びシャッタ23の開閉動作制御等により、撮像センサ30の露光量が制御されるものである。
(撮像装置の電気的構成の全体的な説明)
図2は、本発明にかかるデジタルカメラ1における撮像処理ブロック図である。このデジタルカメラ1は、操作部100、上述した屈曲型の鏡胴20、撮像センサ30、信号処理部40、全体制御部50、及び駆動部60などを備えている。なお、操作部100は、前記で説明した電源スイッチ101、レリーズスイッチ102及びモード設定スイッチ105などからなる。
撮像センサ30は、鏡胴20内のレンズ群21により結像された被写体光像の光量に応じ、R(赤)、G(緑)、B(青)の各成分の画像信号(撮像センサ30の各画素で受光された画素信号の信号列からなる信号)に光電変換して信号処理部40へ出力するものである。本実施形態においては、この撮像センサ30として、入射光量に対して出力画素信号(光電変換により発生する出力電気信号)が線形的ではなく対数的に変換されて出力される対数変換型固体撮像素子が用いられる。なお当該撮像センサ30は、入射光量が少ない場合は、出力画素信号が線形的に変換されて出力される特性を有しており、その光電変換特性が線形的である領域(線形特性領域=暗時)と対数的である領域(対数特性領域=明時)とを備えている。さらに前記線形特性領域と対数特性領域との切り替り点(変曲点)が、特定の制御信号(ダイナミックレンジ制御信号)により任意に制御可能とされている。この撮像センサ30の構成、動作等については後に詳述する。
タイミング生成回路(タイミングジェネレータ)31は、撮像センサ30による撮影動作(露光に基づく電荷蓄積や蓄積電荷の読出し等)を制御するものである。タイミング生成回路31は、全体制御部50からの撮影制御信号に基づいて所定のタイミングパルス(画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号等)を生成して撮像センサ30に出力し、動画撮影モード時(スルー画表示モード時)には、例えば1/30(秒)毎にフレーム画像を取り込み、順次信号処理部40に出力させる。また、静止画撮影モード時の露光中には撮像センサ30の露光動作に連動して電荷を蓄積させ(すなわち、被写体光像を画像信号に光電変換させ)、その蓄積電荷を信号処理部40に出力させる。さらにタイミング生成回路31は、後述のA/D変換器402において用いられるA/D変換用のクロックも生成する。
信号処理部40は、撮像センサ30から送出される画像信号に所定のアナログ信号処理およびデジタル信号処理を施すもので、前記画像信号の信号処理は、該画像信号を構成するそれぞれの画素信号ごとに行われる。この信号処理部40は、アナログ信号処理部401、A/D変換器402、黒基準補正部403、FPN補正部404、評価値検出部405、ホワイトバランス(WB)制御部406、色補間部407、3×3色補正部408、階調変換部409、ノイズキャンセル部410及び画像メモリ411を備えている。
アナログ信号処理部401は、撮像センサ30から出力される画像信号(撮像センサ30の各画素で受光されたアナログ信号群)に所定のアナログ信号処理を施すもので、アナログ画像信号に含まれるリセット雑音を低減するCDS回路(相関二重サンプリング回路)と、アナログ画像信号のレベルを補正するAGC回路(オートゲインコントロール回路)とを備えている。なお、AGC回路は、適正露出が得られなかった場合等に、後段のA/D変換器402の入力電圧範囲に合うよう、アナログ画像信号を適正な増幅率で増幅して撮影画像のレベル不足を補償するアンプ機能も有している。
A/D変換器402は、アナログ信号処理部401から出力されるアナログ画像信号を、例えば12ビットのデジタル画像信号(画像データ)に変換する役目を果たす。このA/D変換器402は、前記タイミング生成回路31から入力されるA/D変換用のクロックに基づいて、アナログ画像信号をデジタル画像信号に変換する。
黒基準補正部403は、A/D変換器402から入力されるデジタル画像信号の黒レベル(暗黒時の画像信号レベル)を基準の値(例えば、A/D変換後のデジタル信号レベルで0)に補正するために、A/D変換器402から入力される画像信号レベルをSD1とし、また暗黒時の画像信号レベルをSD2とするときに、
SD1−SD2
の演算を行う。なお、かかる黒基準補正は、全体制御部50から入力される撮像センサ30の光電変換特性に対応した撮像ダイナミックレンジ情報に基づいて行われる。これは、本実施形態にかかるデジタルカメラ1においては、撮像センサ30の光電変換特性が制御可能とされており、従ってA/D変換器402から入力されるデジタル画像信号の暗黒時における画像信号レベルが、撮像センサ30の光電変換特性の変化により変動することから、その変動に追従した正確な黒基準補正が行えるようにするためである。
FPN(Fixed Pattern Noise)補正部404は、黒基準補正部403から入力される画像信号のFPN(固定パターンノイズ)を除去するためのものである。固定パターンノイズとは、撮像センサ30の各画素回路が備えるFETの閾値バラツキ等が要因となって生じる、各画素が発生する画像信号の出力値のバラツキに起因するノイズである。FPN補正部404は、黒基準補正部403から入力される画像信号レベルをSD3とし、また黒基準補正部403から入力される画像信号の固定パターン成分をSD4とするとき、
SD3−SD4
の演算を行う。
評価値検出部405は、撮像センサ30で実際に撮影された画像信号から、自動露出制御(AE)、自動焦点制御(AF;オートフォーカス)、或いはホワイトバランス制御(WB制御)等を行うに際してのベース値となる評価値、すなわちAE評価値、AF評価値、ホワイトバランス評価値(以降、WB評価値という)等を検出する。例えばAE制御を行う場合、
(1)撮像ターゲットとなる被写体の輝度レベル及び輝度範囲を計測し、
(2)その輝度レベル及び輝度範囲に適合する出力が撮像センサから得られるよう、必要な露出制御量を算出し、
(3)前記算出結果に基づいて露光量等を具体的に調整し、本撮像に臨む、
というステップが一般的に採られるが、この評価値検出部405においては、前記ステップ(1)の役目を担うべく、撮像センサ30で実際に撮影された画像信号から被写体の輝度レベル及び輝度範囲が求められ、これがAE評価値として全体制御部50へ出力され、後段ステップにおけるAE制御動作用に供される。
またAF制御の場合は、例えばフォーカスレンズ(レンズ群21)の光軸方向の駆動と撮像センサ30による撮像動作とを交互に行いながら、その撮像動作により得た画像のコントラストが最大となるフォーカスレンズの位置が求められ(所謂山登り検出方式)、これがAF評価値として全体制御部50へ出力され、後段ステップにおけるAF制御動作の用に供される。さらにホワイトバランス制御は、出力画像の色を被写体の光源色に適したものに補正することを目的とするもので、この場合、前段のFPN補正部404から入力される画像信号に基づいてR、G、B各色の輝度比及び輝度差が評価値検出部405で算出され、これがWB評価値として全体制御部50へ出力されるものである。これら評価値の具体的な取得方法等については、後に詳述する。
ホワイトバランス制御部406は、全体制御部50から与えられるダイナミックレンジ情報と前記WB評価値とに基づいて、画像信号の色バランスが所定の色バランスになるよう、各色成分R、G、Bの各画素データのレベルを変換する補正を行う。なお本実施形態では、撮像センサ30として線形特性領域と対数特性領域とを備えるものを用いることから、線形特性領域及び対数特性領域ごとにWB評価値を取得し、各々の領域に適したホワイトバランス補正を行うようにすることが望ましい。
色補間部407は、ホワイトバランス制御部406から入力される画像信号の各色成分R、G、Bごとに、フレーム画像の不足する画素位置のデータを補間するものである。すなわち、本実施形態で用いられる対数変換型の撮像センサ30のカラーフィルタ構造は、Gが市松状でR、Bが線順次配列された所謂ベイヤー方式が採用されている関係上、色情報が不足していることから、色補間部407は、実在する複数の画素データを用いて実在しない画素位置の画素データを補間するものである。
具体的には色補間部407は、高帯域まで画素を持つGの色成分のフレーム画像については、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、メディアン(中間値)フィルターを用いて、補間すべき画素位置の周辺に実在する画素データのうち、最大値と最小値とを除去した画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。また、R、Bの色成分については、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、補間すべき画素位置の周辺に実在する画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。
図3に、撮像センサ30のカラーフィルタ構造の一例を示す。かかるカラーフィルタ構造において、前記色補間による各画素における色成分R、G、Bの画像信号は、例えば以下のようにして生成される。
(イ)アドレス11(B11)の色補間式
R11=(R00+R20+R02+R22)/4
G11=(Gr10+Gb01+Gb21+Gr12)/4
B11=B11
(ロ)アドレス12(Gr12)の色補間式
R12=(R02+R22)/2
G12=Gr12
B12=(B11+B13)/2
(ハ)アドレス21(Gb21)の色補間式
R21=(R20+R22)/2
G21=Gb21
B21=(B11+B31)/2
(ニ)アドレス22(R22)の色補間式
R22=R22
G22=(Gb21+Gr12+Gr32+Gb23)/4
B22=(B11+B31+B13+B33)/4
3×3色補正部408は、色補間部407から入力される色成分R、G、Bの画像信号の彩度を補正(色合いを補正)するものである。3×3色補正部408は、色成分R、G、Bの画像信号のレベル比を変換する3種類の変換係数を有し、撮影シーンに応じた変換係数で前記レベル比を変換して画像データの彩度を補正する。例えば、a1〜c3の合計9個の変換係数を用い、次のように画像信号を線形変換する。
R´=a1*R+a2*G+a3*B
G´=b1*R+b2*G+b3*B
B´=c1*R+c2*G+c3*B
階調変換部409は、3×3色補正部408から入力される色成分R、G、Bの画像信号が適切な出力レベルになるよう、画像信号のレベルを色成分毎に所定のガンマ特性を用いて非線形変換すると共にオフセット調整する。すなわち階調変換部409は、ホワイトバランス調整及び色補正がなされた画像信号の階調特性(γカーブやデジタルゲイン)を、LCD表示部106や外部出力されるモニターテレビ等の階調特性に補正するものである。階調変換部409においては、全体制御部50から入力されるダイナミックレンジ情報と、評価値検出部405で検出されたAE評価値等に基づいて、画像信号の階調特性を変化させる。
ノイズキャンセル部410は、階調変換部409から入力される画像信号のノイズ成分を除去すると共に、エッジ成分のみを抽出・強調することで、画像のシャープネスを良好な状態に補正するものである。ノイズキャンセル部410は、全体制御部50から入力されるダイナミックレンジ情報に基づいて、コアリング係数(画像信号のノイズ成分のみを除去し、エッジ成分を抽出する係数及び強調する係数)を変化させることで、適正な補正を行う。
画像メモリ411は、ROMやRAM等のメモリからなり、信号処理部40での信号処理を終えた画像データを一時的に保存するもので、例えば1フレーム分の画像データを記憶し得る容量を有している。
メモリカードI/F部412は、信号処理部40で生成されたメモリカード記録用画像データを、メモリカード107に記録させるべく出力するためのインターフェイスである。またメモリカード107は、静止画像や動画像などの画像データを記録して保存しておくためのメモリであって、デジタルカメラ1に対して取り外し自在とされており、外部の記録媒体との画像データ交換を可能とするものである。LCD表示I/F部413は、信号処理部40で生成されたLCD表示用画像データを、例えばNTSC方式若しくはPAL方式の画像信号に変換してLCD表示部106に出力するためのインターフェイスである。
全体制御部50は、CPU(中央演算処理装置)等からなり、デジタルカメラ1の撮影動作を集中制御するものである。すなわち全体制御部50は、前記信号処理部40の各部から送られてくる情報(前述のAE評価値、AF評価値、WB評価値等)と、本デジタルカメラ1の動作モード等に基づき、信号処理部40の各部が必要とするパラメータ等の動作情報を算出して送信することで、各処理部の動作を制御する。このほか全体制御部50は、撮影動作のためのタイミング生成回路31の制御、レンズ群21のズーミングやフォーカシング駆動、並びに絞り22及びシャッタ23の駆動のための駆動部60の制御、画像信号の出力制御などを行う。
図4は、全体制御部50の機能を説明するための機能ブロック図である。全体制御部50は、情報受信部501及び情報送信部502、メモリ部515を具備する演算部510、制御信号発生部520、出力レベル判定部530及び入出力部540を備えている。
情報受信部501は、信号処理部40の評価値検出部405にて検出されるAE評価値、AF評価値及びWB評価値を取得し、これらを演算部510が備える各パラメータ算出部へ振り分けて送信する。一方、情報送信部502は、信号処理部40において必要とされる情報(光電変換特性情報やコアリング係数等)をメモリ部515から適宜取り出し、信号処理部40の各処理部に適時振り分けて送信する。
演算部510は、前記情報受信部501から与えられる評価値に基づいて制御パラメータを算出する動作を為すもので、露光量制御パラメータ算出部511及びダイナミックレンジ制御パラメータ算出部512からなるAE制御パラメータ算出部5110、AF制御パラメータ算出部513、ホワイトバランス(WB)制御パラメータ算出部514及びメモリ部515を備えている。
前記メモリ部515はROMやRAM等からなり、撮像センサ30の光電変換特性の情報(撮影に際しての所望の光電変換特性を得るための情報)、すなわち、後述する露光時間設定値や絞り設定値、或いは光電変換特性設定値(該光電変換特性に対応するダイナミックレンジ情報)を記憶する光電変換特性情報記憶部516、ノイズキャンセル部410において用いられるコアリング係数の設置位置を記憶するコアリング係数記憶部517、撮像センサ30の線形特性領域と対数特性領域とで得られたデータに対するデータ変換(相互変換)を行うための変換情報、すなわちLUT(Look Up Table)等を記憶するLUT記憶部518等から構成されている。
なお、光電変換特性情報記憶部516は、光電変換特性そのもの(後述する図10に示すような光電変換特性曲線)が記憶される構成であってもよい。また、LUT記憶部518は、上記LUTの他に、後述する露光時間(T1)や絞りの開口面積(S2)の値と露光時間設定値や絞り設定値とのデータ変換を行うLUT、光電変換特性の変曲点の値(出力レベル)と光電変換特性設定値とのデータ変換を行うLUT、最大輝度出力レベルから光電変換特性設定値を出力するLUTもしくは最大輝度出力レベルの変化量から光電変換特性設定値の変化量を出力するLUT、或いは飽和画素数の値と変曲点変化量(ΔVth)の値とのデータ変換を行うLUT等、種々のデータ変換用のLUTを記憶している。また、上述した通り、光電変換特性情報記憶部516、コアリング係数記憶部517及びLUT記憶部518に記憶されているデータ値は、適宜情報送信部502から信号処理部40の適所へ送信されるようになっている。
AE制御パラメータ算出部5110は、被写体の輝度に応じた露出制御(AE制御)を行うべく、撮影の際の最適な露光量と撮像センサ30の光電変換特性とに設定するための制御パラメータを算出する。すなわち、AE制御パラメータ算出部5110の露光量制御パラメータ算出部511は、露光時間や絞りを最適化するための制御パラメータを算出するものであり、露光量制御パラメータ算出部511は、評価値検出部405にて検出されるAE評価値と、前記光電変換特性情報記憶部516に記憶されている前記AE評価値取得時点における撮像センサ30の光電変換特性情報とに基づいて、被写体輝度に応じた露光時間設定値や絞り設定値を算出する。
また、ダイナミックレンジ制御パラメータ算出部512は、被写体輝度に応じ撮像センサ30の光電変換特性を最適化するための制御パラメータを算出するものである。ダイナミックレンジ制御パラメータ算出部512は、例えばダイナミックレンジ設定用の被写体輝度が、当該撮像センサ30における所望の飽和出力レベルになるような光電変換特性設定値を算出する。この算出に際しても、光電変換特性情報記憶部516に記憶されている前記AE評価値取得時点における撮像センサ30の光電変換特性情報が参照される。
また、AE制御パラメータ算出部5110は、AE制御時に、上述の露光量制御パラメータの算出及びダイナミックレンジ制御パラメータの算出のいずれかを優先させる、制御パラメータの算出優先順位を設定する算出優先順位設定部5111を備えている。この算出優先順位設定部5111における優先順位の設定は、ユーザによるモード設定スイッチ105等の操作部100からの指示入力(入力信号)に応じてなされる。なお、露光量制御パラメータの算出が優先される場合(モード)を露光量制御パラメータ算出優先モード、ダイナミックレンジ制御パラメータの算出が優先される場合(モード)をダイナミックレンジ制御パラメータ算出優先モードという。後記で詳述するが、本実施形態においては、このAE制御パラメータ算出部5110における算出優先順位設定部5111により、AE制御を行うに際して、露光量制御(露光量制御パラメータの算出)及びダイナミックレンジ制御(ダイナミックレンジ制御パラメータの算出)のいずれかを優先させて行わせる点に特徴がある。
AF制御パラメータ算出部513は、評価値検出部405にて検出されるAF評価値に基づいて、被写体の撮影にあたり最適な焦点距離に設定するための制御パラメータを算出する。この制御パラメータの算出にあたり、参照するAF評価値を、撮像センサ30の対数特性領域及び線形特性領域のそれぞれで取得し、それぞれの特性領域の特徴を活用して粗測距(対数特性領域から得たAF評価値)用、詳測距(線形特性領域から得たAF評価値)用の制御パラメータを算出するよう構成することが好ましい。
ホワイトバランス制御パラメータ算出部514は、評価値検出部405にて検出されるWB評価値に基づいて、画像信号の色バランスが所定の色バランスに設定するための制御パラメータを算出する。この制御パラメータの算出にあたり、同様に参照するAF評価値を、撮像センサ30の対数特性領域及び線形特性領域のそれぞれで取得し、それぞれの特性領域に応じた制御パラメータを算出するよう構成することが好ましい。
制御信号発生部520は、前記演算部510で算出された各種の制御パラメータに応じて、各制御動作要素を駆動させるための制御信号を生成するもので、該制御信号発生部520は、ダイナミックレンジ制御信号発生部521、センサ露光時間制御信号発生部522、シャッタ制御信号発生部523、ズーム/フォーカス制御信号発生部524及び絞り制御信号発生部525を備えて構成されている。
ダイナミックレンジ制御信号発生部521は、前記ダイナミックレンジ制御パラメータ算出部512において算出された撮像センサ30の光電変換特性設定値に応じて、光電変換特性が線形特性領域から対数特性領域に切り替える出力レベルポイント(変曲点)を調整する撮像センサ30の駆動信号を生成し、これをタイミング生成回路31へ送信する。タイミング生成回路31は、入力された駆動信号に応じて、撮像センサ30のダイナミックレンジを制御するタイミング信号を生成して撮像センサ30を駆動させる。具体的には、後述するように撮像センサ30の光電変換特性は、当該撮像センサ30に対する信号φVPS(φVPSにおける電圧VPHの高さ、或いは時間ΔTの長さ)を制御することでその変曲点が変動することから、ダイナミックレンジ制御信号発生部521は、光電変換特性設定値に応じて、前記信号φVPSを制御するためのタイミング生成回路31に対する駆動信号を制御することで、撮像センサ30のダイナミックレンジを被写体の輝度に適するよう制御する。
センサ露光時間制御信号発生部522は、撮像センサ30の露光時間(積分時間)を、絞り22やシャッタ23等のメカ操作に依らず、電子回路的な制御動作により制御するための制御信号を発生するものである。センサ露光時間制御信号発生部522は、前記露光量制御パラメータ算出部511にて算出された最適な露光量に基づいて、所期の露光時間が確保されるよう撮像センサ30の駆動信号(具体的には、後述するように撮像センサ30に対する信号φVPSが中電位Mとなる時間ΔSを制御する信号)を生成し、これをタイミング生成回路31へ送信する。タイミング生成回路31は、入力された駆動信号に応じて、撮像センサ30の露光時間を制御するタイミング信号を生成して撮像センサ30を駆動させる。
シャッタ制御信号発生部523は、同様に露光量制御パラメータ算出部511にて算出された最適な露光量に基づいて、シャッタ23のシャッタスピード(シャッタ開放時間)を露光時間に合わせて設定する制御信号を生成する。またズーム/フォーカス制御信号発生部524は、前記AF制御パラメータ算出部513にて算出された最適な焦点距離に基づいて、レンズ群21を駆動させるための制御信号を生成する。さらに絞り制御信号発生部525は、前記露光量制御パラメータ算出部511にて算出された最適な露光量に基づいて、絞り22の開口面積を設定する制御信号を生成する。これらシャッタ制御信号発生部523、ズーム/フォーカス制御信号発生部524及び絞り制御信号発生部525にて生成された制御信号は、駆動部60の対応箇所へそれぞれ送信される。
出力レベル判定部530は、露光量制御パラメータ及びダイナミックレンジ制御パラメータの算出時の或るパラメータに対する撮像センサ30の出力レベル(後述するVth2やVmax2)と、所定の出力レベル(後述するVlimitやVmax)との比較を行い両者の大小を判定するものである。出力レベル判定部530は、或る出力レベルを監視することで、露光量制御パラメータ及びダイナミックレンジ制御パラメータの算出における光電変換特性の過大な変化を規制する(所望の露光量やダイナミックレンジの確保が困難となるような光電変換特性へ変化してしまわないよう調節する)ものであるとも言える。
入出力部540は、メモリカードI/F部412及びLCD表示I/F部413と接続され、操作部100からの指示信号等に対応して、撮影画像に対して所定の画像処理を行った後、その撮影画像信号をメモリカード107に記録させたり、LCD表示部106に表示させたり、或いは逆にメモリカード107から画像信号を取り入れたりする出入力作用を為す。
図2に戻って、駆動部60は、前記制御信号発生部520で生成された制御信号に基づいて、実際に当該デジタルカメラ1が具備するメカ駆動部を動作させるもので、シャッタ駆動部61、ズーム/フォーカス駆動部62及び絞り駆動部63を備えている。
シャッタ駆動部61は、前記シャッタ制御信号発生部523から与えられる制御信号に応じて、シャッタ23が所定時間開放されるようシャッタ23を開閉駆動する。ズーム/フォーカス駆動部62は、ズーム/フォーカス制御信号発生部524から与えられる制御信号に応じて、レンズ群21のズームレンズブロックまたはフォーカスレンズブロックを動作させるモータ等を動作させ、前記レンズブロックを焦点位置に移動させる。さらに絞り駆動部63は、絞り制御信号発生部525から与えられる制御信号に応じ、絞り22を駆動し、所定の開口量に絞りを設定するものである。
(動作の全体的なフローの説明)
以上の通り構成された本実施形態にかかるデジタルカメラ1の動作につき、先ず全体的なフローを説明する。図5は、デジタルカメラ1の全体的な動作の一例を示すフローチャートである。図示する通り、動作を大略的に区分すると、AE評価値、AF評価値、及びWB評価値等の評価値を検出する評価値検出ステップ(ステップS1)と、得られた評価値に基づき各種パラメータを算出する制御パラメータ算出ステップ(ステップS2)と、算出された各種パラメータを該当するデジタルカメラ1各部に設定し、当該パラメータに応じた撮影状態となるようにデジタルカメラ1各部を駆動する制御パラメータを設定する制御パラメータ設定ステップ(ステップS3)とからなる。
前記各ステップS1〜S3においては、具体的には以下の処理が行われる。
先ず、評価値検出ステップS1では、各種の制御のベースとなる評価値情報を取得し、該評価値情報に基づいて評価値を算出する。AE制御の場合は、撮像ターゲットとなる被写体の輝度レベルが計測(検出)され、この計測値からAE評価値が算出されることとなる。前記輝度レベル及び輝度範囲の検出に際しては、撮像センサ30により実際に撮像された撮影画像から求めることが合理的であり、撮像センサ30は静止画及び動画の撮像が可能であることから、
(ステップS1−1)静止画からの検出:撮像センサ30により、評価値検出用の画像を本撮影前の静止画にて取得して輝度レベル及び輝度範囲を計測する。
(ステップS1−2)動画からの計測:撮像センサ30により、評価値検出用の画像を本撮影前の動画にて取得して輝度レベル及び輝度範囲を計測する。
という2通りの輝度情報の取得ステップを例示することができる。しかる後、
(ステップS1−3)評価値の算出:取得した画像の輝度情報に基づいてAE評価値を含む各種評価値を評価値検出部405により算出する。
というステップが行われる。
次にステップS2では、評価値に基づき各種パラメータが算出されるが、AE制御の場合は、露光量又はダイナミックレンジがAE制御の要素となることから、これらの制御パラメータが、前記AE評価値に基づいて算出される。すなわちステップS2としては、
(ステップS2−1)露光量制御パラメータの算出:全体制御部50により、AE評価値に基づいて露光量制御パラメータを算出する。
(ステップS2−2)ダイナミックレンジ制御パラメータの算出:全体制御部50により、AE評価値に基づいてダイナミックレンジ制御パラメータを算出する。
という2通りのパラメータ算出ステップを例示することができる。
最後にステップS3では、デジタルカメラ1各部を駆動する制御パラメータの設定が為される。AE制御の場合は、前記(ステップS2−1)又は(ステップS2−2)に基づく制御パラメータの設定が行われる、すなわちステップS3としては、
(ステップS3−1)露光量制御パラメータの設定:算出された露光量制御パラメータに基づいてメモリ部515や制御信号発生部520等に当該パラメータを設定し、タイミング生成回路31や駆動部60を動作させる。
(ステップS3−2)ダイナミックレンジ制御パラメータの設定:算出されたダイナミックレンジ制御パラメータに基づいて、メモリ部515や制御信号発生部520等に当該パラメータを設定し、タイミング生成回路31を動作させる。
という2通りのパラメータ設定ステップを例示することができる。
(本実施形態で用いる撮像センサの基本的特性について)
以下、上述した各ステップにつき順次詳述するが、本実施形態においては、その光電変換特性として入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサ30を用いることが前提とされている関係上、先ず本実施形態で用いられる撮像センサ30の基本的特性について、その具体的な一例を詳述する。
図7は、撮像センサ30の一例である二次元のMOS型固体撮像装置の概略構成図である。同図において、G11〜Gmnは、行列(マトリクス)配列された画素を示している。この画素G11〜Gmnからなる画素部の外周縁部近傍には、垂直走査回路301と水平走査回路302とが配設されている。垂直走査回路301は、行のライン(信号線)304−1、304−2、・・・304−n(これらを纏めて行ライン304という)を順次走査する。水平走査回路302は、各画素から出力信号線306−1、306−2、・・・306−m(これらを纏めて出力信号線306という)に導出された光電変換信号を画素毎に水平方向に順次読み出す。なお、各画素は電源ライン305により電力供給がなされている。各画素には、前記各ラインや出力信号線だけでなく、他のライン(例えばクロックライン)も接続されているが、図7では図示を省略している。
出力信号線306−1、306−2、・・・306−mには、それぞれ、後述のトランジスタT5と対になって増幅回路を構成する定電流源307−1、307−2、・・・307−m(これらを纏めて定電流源307という)が設けられている。ただし、この増幅回路として、定電流源307に代えて抵抗やトランジスタ(MOSトランジスタ)を設けてもよい。この出力信号線306を介して出力される各画素の撮像時の画像データ及びリセット時の補正データが、順次、選択回路(サンプルホールド回路)308−1、308−2、・・・308−m(これらを纏めて選択回路308という)に出力される。この選択回路308に対して、行毎に画像データ及び補正データが出力されてサンプルホールドされる。サンプルホールドされた画像データ及び補正データは、列毎に、補正回路309に出力され、補正回路309において、感度バラツキによるノイズ成分が除去されるように、補正データに基づいて画像データの補正が行われる。そして、補正回路309から各画素の感度バラツキが補正された画像データが、各画素毎にシリアルに出力される。
図8は、図7に示す各画素G11〜Gmnの構成例を示す回路図である。同図に示すように、画素は、フォトダイオードPD、MOSFET(Metal Oxide Semiconductor Field Effect Transistor)としてのトランジスタT1〜T6、及び積分用のコンデンサとしてのキャパシタCから構成されている。トランジスタT1〜T6は、ここではPチャンネルMOSFETが採用されている。φVD、φV、φVPS、φRST、φS及びRSBは、各トランジスタやキャパシタCに対する信号(電圧)を示し、GNDは接地を示している。
フォトダイオードPDは、感光部(光電変換部)であり、被写体からの入射光量に応じた電気信号(光電流IPD)を出力する。トランジスタT5は、図7に示す定電流源307と対になってソースフォロワ増幅用の増幅回路(ソースフォロワアンプ)を構成するものであり、後述する電圧VOUTに対する増幅(電流増幅)を行う。トランジスタT6は、ゲートに印加する電圧に応じてオン、オフされるスイッチとして動作する信号読み出し用のトランジスタである。すなわち、トランジスタT6のソースは、図7に示す出力信号線306に接続されており、オンした場合、トランジスタT5で増幅された電流を出力電流として出力信号線306へ導出する。
トランジスタT2は、同トランジスタのゲートに、光電流IPDに対して線形変換又は対数変換した電圧を発生させる。ところで、MOSFETでは、ゲート電圧が閾値以下の時に、サブスレッショルド電流と呼ばれる微小電流が流れるが、トランジスタT2はこのサブスレッショルド特性を利用して前記線形変換又は対数変換を行う。
具体的には、撮像する被写体の輝度が低い(被写体が暗い)場合、すなわち、フォトダイオードPDに入射される入射光量が少ない場合には、トランジスタT2のゲート電位が同トランジスタのソース電位より高くなっており、トランジスタT2が所謂カットオフ状態でありトランジスタT2にサブスレッショルド電流が流れず(トランジスタT2がサブスレッショルド領域で動作せず)、フォトダイオードPDで発生する光電流がフォトダイオードPDの寄生容量に流れて電荷が蓄積され、蓄積電荷量に応じた電圧が発生する。このときT1はオンされているので、上記の寄生容量に蓄積された電荷の量に応じた電圧が、電圧VGとしてトランジスタT2、T3のゲートに発生する。この電圧VGにより、トランジスタT3に電流が流れ、この電圧VGに比例した量の電荷がキャパシタCに蓄積される(トランジスタT3とキャパシタCとで積分回路を構成している)。そして、トランジスタT3とキャパシタCとの接続ノードa、すなわち出力VOUTには、光電流IPDの積分値に対して線形的に比例した電圧が現れる。このときトランジスタT4はオフ状態である。そして、トランジスタT6がオンされると、キャパシタCに蓄積された電荷がトランジスタT5を介して出力電流として出力信号線306に導出される。この出力電流は、光電流IPDの積分値を線形的に変換した値となっている。これが当該撮像センサ30の、線形特性領域における動作である。
一方、撮像する被写体の輝度が高く(被写体が明るく)、フォトダイオードPDに入射される入射光量が多い場合には、トランジスタT2のゲート電位が同トランジスタのソース電位以下となり、トランジスタT2にサブスレッショルド電流が流れ(トランジスタT2がサブスレッショルド領域で動作し)、光電流IPDを自然対数的に変換した値の電圧VGがトランジスタT2、T3のゲートに発生する。そして、この電圧VGにより、トランジスタT3に電流が流れ、キャパシタCに、光電流IPDの積分値を自然対数的に変換した値と同等の電荷が蓄積される。これにより、キャパシタCとトランジスタT3との接続ノードa(出力VOUT)には、光電流IPDの積分値を自然対数的に変換した値に比例した電圧が生じる。このときトランジスタT4はオフ状態である。そして、トランジスタT6がオンされると、キャパシタCに蓄積された電荷がトランジスタT5を介して出力電流として出力信号線306に導出される。この出力電流は、光電流IPDの積分値を自然対数的に変換した値となっている。これが当該撮像センサ30の、対数特性領域における動作である。以上のように、各画素によって、入射光量(被写体輝度)に応じて線形的又は自然対数的に比例した電圧が出力される。
トランジスタT1は、リセット時のノイズデータ(トランジスタT2の製造バラツキに起因して発生するノイズ信号)を取り出す際に用いるためのスイッチである。トランジスタT1は、リセット時以外にはオン状態とされており、トランジスタT2(のドレイン)及びフォトダイオードPD間に光電流IPDが流れるようになっている。リセット時には、オフ状態となりフォトダイオードPDの光電流IPDが遮断され、前記のバラツキ分だけが取り出される。この取り出されたバラツキ分(ノイズ信号)は、後述の映像信号から減算される。
トランジスタT4は、該トランジスタT4のゲートに印加される電圧に応じてオン、オフされるスイッチとして動作する、キャパシタCをリセットするためのトランジスタである。トランジスタT4がオンされるとリセット電圧(前記信号RSBの電圧)が印加され、キャパシタCに蓄積されていた電荷(電荷量)が元の状態、すなわち積分開始前の状態に戻される。
図9は、撮像センサ30(画素)の撮像動作に関するタイミングチャートの一例である。ここではPチャンネルMOSFETの極性上、以下のようにHi(ハイ)でオフ、Low(ロー)でオンとなる。先ず、信号φVが符号311に示す位置でLowとなり、トランジスタT6がオンされ、映像信号が読み出される、すなわちキャパシタCに蓄積されている電荷が出力電流(映像信号)として出力信号線306に導出される。次に信号φSが符号312に示す位置でHiとなり、トランジスタT1がオフされてフォトダイオードPDが切り離される。次に信号φVPSが符号313に示す位置でHiとなり、トランジスタT2のリセットが行われる。また、トランジスタT2がリセットされるのと同時に、信号φRSTが符号314に示す位置でLowとなり、トランジスタT4がオンされ、キャパシタC(接続ノードa)に信号RSBによるリセット電圧が印加されて(接続ノードaの電位がRSBの電位(VRSB)となり)、キャパシタCの(電荷の)リセットが行われる。このようにトランジスタT2及びキャパシタCがリセットされた後、符号315に示す位置で信号φVが再度LowとなってトランジスタT6がオンされ、出力信号線306にノイズ信号が導出される。
次に、信号φSが符号316に示す位置でLowになり(トランジスタT1がオンされ)、フォトダイオードPDの切り離しが解除される。そして、信号φVPSが符号318に示す位置で中電位Mとなって、残像低減のためにフォトダイオードPDの寄生容量のリセットを行う。また、次フレームの積分開始電圧を一定にするために、信号φRSTが符号317に示す位置で再度LowとなってトランジスタT4がオンされ、キャパシタCのリセットが再度行われる。
その後、信号φVPSが符号319に示す位置でMからLowになり、フォトダイオードPDの寄生容量のリセットが終了する。併せて、信号φRSTもLowからHiとなりキャパシタCのリセット動作も終了される。このときの時刻t1からキャパシタCの積分が開始され、信号φVがHiからLowとなる符号311に示す位置、すなわち次フレームにおける映像信号の読み出しが開始される時刻t2までの間、当該積分が継続される。この時刻t1、t2間の時間がキャパシタCの積分時間、すなわち撮像における露光時間となる。この露光時間は、前記中電位Mとなる信号φVPSを与える時間ΔS(長さ)を制御することで制御される。この時間ΔSは、タイミング生成回路31を介したセンサ露光時間制御信号発生部522によって制御される。
信号φVDは、前記増幅回路(ソースフォロワアンプ)の動作範囲に合わせ込むべく、或いは映像信号やノイズ信号に発生するオフセットの調整を行うべく電位操作を行うものである。信号φVDのVh、Vm及びVlは、それぞれ高電位、中電位及び低電位を示している。
撮像センサ30は、上述のように被写体の輝度に応じて線形変換又は対数変換した出力信号を得ることが可能であり、図10に示すような光電変換特性320を有している。同図に示すように、光電変換特性320は、変曲点321を境にして線形特性領域と対数特性領域とに分かれている。この変曲点321は、線形特性領域から対数特性領域へ切り替わる点であり、この変曲点321のセンサ出力の値をVthで示している。一般的に、線形特性領域では、幅広い輝度範囲の被写体の撮像は不可能であるものの(ダイナミックレンジが狭い)、画像全体の階調性を高くすることができ(高いコントラストを得ることができ)、暗い被写体(例えば曇天時や日陰での被写体)であっても階調性豊かな高品位な画像を得ることができる。一方、対数特性領域では、高輝度での階調性は乏しくなるが、幅広い輝度範囲の被写体の撮像が可能であり(ダイナミックレンジが広い)、明るい被写体(例えば直射日光が照射されていたり、直射日光が背後に存在たりする被写体)であっても、暗い部分も含め、奥行きのある高品位な画像を得ることができる。
ところで、この光電変換特性320(変曲点321)は、トランジスタT2のソースに入力されている信号φVPSの、Hi及びLowの電圧の差を変化させることにより変化(移動)させることができる。すなわち、当該Hi時の電圧をVPHとし、Low時の電圧をVPLとすると、電圧の差ΔVPS(=VPH−VPL)(図9参照)を変化させることにより、図11に示すように、光電変換特性320(変曲点321)から、光電変換特性322(変曲点324)や光電変換特性323(変曲点325)へ任意に変化させることができる。このように光電変換特性が変化することにより、線形特性領域と対数特性領域との比率が変化し、光電変換特性322に示すように線形特性領域の割合が大きな光電変換特性、或いは光電変換特性323に示すように対数特性領域の割合が大きな光電変換特性を得ることができる。この場合、光電変換特性の全てが線形特性領域又は対数特性領域となるように変化させてもよい。
本実施形態では、電圧VPHを変化させることによりΔVPSを変化させ、撮像センサ30の光電変換特性を変化させている。図11では、VPHが高くなるほど(ΔVPSが大きくなるほど)、線形特性領域の割合が増えて光電変換特性322側へ変化し、VPHが低くなるほど(ΔVPSが小さくなるほど)、対数特性領域の割合が増えて光電変換特性323側へ変化する。この電圧VPHは、タイミング生成回路31を介したダイナミックレンジ制御信号発生部521によって制御される。
なお、光電変換特性を上述のように変化させるために、電圧VPHとなる信号φVPSを与える時間ΔTを変化させてもよい。この場合、時間ΔTを長いほど線形特性領域の割合が大きくなり、短いほど対数特性領域の割合が大きくなるように光電変換特性が変化する。図11では、前記時間ΔTが長い場合が光電変換特性322に、時間ΔTが短い場合が光電変換特性323に相当する。
(評価値検出ステップS1)
続いて、信号処理部40の評価値検出部405におけるAE評価値等の評価値の具体的な取得方法について説明する。
(ステップS1−1)静止画からの評価値検出例
図12は、上述した撮像センサ30が実際に撮像した静止画像から、被写体のAE評価値等を検出する場合の動作例を示すフローチャートである。すなわち、本実施形態にかかるデジタルカメラ1で静止画を撮影(本撮影)する場合において、その本撮影の前にAE評価値を取得するための静止画を撮影(予備撮影)し、該予備撮影画像に基づいてAE評価値を算出するフローを示している。この評価値検出手法は、デジタル一眼レフカメラ等の、撮影準備段階において被写体光像が光学ファインダに入射され撮像センサ30には入光しないタイプの撮像装置に好適な手法である。
先ず、本デジタルカメラ1の電源スイッチ101が押下され電源ONとされている状態において、撮影開始の操作が為されたかが確認され(ステップS111)、レリーズスイッチ102が操作(例えば半押し操作)されると(ステップS111のYES)、予備撮影準備の動作が開始される(ステップS112)。
ステップS112では、AE評価値を算出するために予備撮影を行うに当り、当該予備撮影のためのダイナミックレンジ制御が行われる。ここでのダイナミックレンジ制御は、被写体の輝度を広い範囲で感知できるよう、撮像センサ30が最大のダイナミックレンジを備えるように制御される。つまり、デジタル一眼レフカメラ等においては、予備撮影のチャンスは本撮影の前の1回しかないことから、いかなる被写体であってもその輝度を確実に検出できるよう、広いダイナミックレンジに設定される。
このため、撮像センサ30が全領域において対数変換出力動作をなすよう、撮像センサ30の動作状態が制御される。具体的には、レリーズスイッチ102が半押しされると、全体制御部50から予備撮影モードへの移行指示が各部に出され、これを受けてダイナミックレンジ制御信号発生部521が、例えば図8に示すトランジスタT2のソースに入力されている信号φVPSの、Hi及びLowの電圧の差を変化させる(この場合、前述のΔVPSを小さくする。図9参照)信号を発生し、これにより撮像センサ30の対数特性領域の割合が増加されるよう制御される。なお、広いダイナミックレンジを確保するという観点からは全領域を対数特性領域とすることが望ましいが、必ずしも全領域を対数特性領域に変換せずとも良く、ある程度線形特性領域が残存していてもよい。
続いて、予備撮影のための露出制御が行われ、予備撮影が行われる(ステップS113)。具体的には、例えばセンサ露光時間制御信号発生部522が、前記信号φVPSが中電位Mとなる時間ΔSの長さを所定の露光時間に合わせて設定する駆動信号を生成し、これをタイミング生成回路31に送ることで撮像センサ30の予備撮影用露出制御(露光量制御)が行われる。この他、シャッタ制御信号発生部523によって生成された制御信号に基づくシャッタ駆動部61によるシャッタ23のシャッタスピードの調整、及び絞り制御信号発生部525によって生成された制御信号に基づく絞り駆動部63により絞り22の調整によっても露出制御が行われる。このような露出制御が為された上で、静止画の予備撮影が行われる。そして、撮影された予備撮影画像に基づいて、評価値検出部405によりAE評価値が算出される(ステップS114)。このAE評価値算出ステップについては、後記で詳述する。AE評価値が算出されると予備撮影は終了し(ステップS115)、当該AE評価値に基づく露出制御が行われた上で本撮影が開始されることとなる(ステップS116)。なお、以上はAE評価値を取得する場合について説明したが、AF評価値やホワイトバランス評価値についても同様にして取得することができる。
(ステップS1−2)動画からの評価値検出例
図13は、撮像センサ30が継続的に撮像している動画像から、被写体のAE評価値等を検出する場合の動作例を示すフローチャートである。すなわち、本デジタルカメラ1が撮影待機中にある場合や、動画撮影モードにある場合、或いは本実施形態の撮像装置をデジタルムービィに適用した場合において、撮像センサ30が撮像している全てのフレーム画像を用いて、AE評価値を算出するフローを示している。
先ず、撮影開始の操作が為されたかが確認され(ステップS121)、例えばモード設定スイッチ105が操作されて動画撮影モードに移行され撮影開始が確認されると(ステップS121のYES)、動画の撮影が開始される(ステップS122)。この撮影開始時における撮像ダイナミックレンジ、露光時間、及び絞り等の各制御値は、初期設定値とされる。
続いて、ステップS122において撮像された画像に基づいて、評価値検出部405によりAE評価値が算出される(ステップS123)。そして検出されたAE評価値に基づいて、ダイナミックレンジ制御信号発生部521により信号φVPSの設定を変化させてダイナミックレンジを制御し、またシャッタ駆動信号発生部523及び絞り制御信号発生部525にて生成される制御信号により絞りを制御する等して、所定の撮像AE制御が行われる(ステップS124)。
そして撮影が終了したかが確認され(ステップS125)、撮影の終了指令が無い場合は(ステップS125のNO)、前記ステップS123に戻り同様なAE評価値算出、及びステップS124の撮像AE制御が繰り返されるものである。すなわち、動画撮影が行われているときに、その撮影画像の全てがAE評価値検出のための評価画像として活用され、得られたAE評価値に基づいて次の撮影のための撮像AE制御が行われるというサイクルが繰り返されるものである。なお、撮影画像の全てを評価画像とせず、撮影画像の一部(例えば撮影画像の数フレームに1枚の割合)を評価画像とし、該評価画像からAE評価値を取得するようにしてもよい。
(ステップS1−3)評価値の算出
次に、上記のフローにおける評価値算出のステップ(上記ステップS114、S123)について詳述する。図14は、評価値検出部405の機能を説明するための機能ブロック図である。評価値検出部405は、分割測光部4051、ヒストグラム算出部4052及び飽和判別部4055を備えている。
分割測光部4051は、被写体に対する分割測光(マルチパターン測光)方式による測光を行うものである。すなわち、分割測光部4051は、撮像センサ30による撮像によって得られた撮影画像を所定数の領域(及び区画)に分割し、当該撮影画像(各領域や区画)における輝度を画像信号(画像データ)から検出するものである。図15は、撮像センサによる分割測光に際しての撮像領域(測光範囲)の分割の状態を示す模式図である。符号330は、撮像センサ30による撮像によって得られた撮像領域(撮像領域330)であり、この撮像領域330において被写体が撮影(撮像)される。この撮像領域330には撮像センサ30を構成する撮像素子に対応した多数の画素情報、すなわち被写体の輝度情報が含まれている。撮像領域330は、例えば撮像領域330の中央部である中央領域と、この中央領域の周辺部である周辺領域とに区分されており、さらに中央領域及び周辺領域はそれぞれ所定数の検出ブロック(検出区画)に分割されている。中央領域は、例えばA、B、C、・・・Z、AA、AB、・・・AJブロック(A〜AJブロック)といった36個の検出ブロックに分割されており、周辺領域は、例えば第1〜第16ブロックといった16個の検出ブロックに分割されている。本実施形態では、この中央領域に撮像されている被写体を主被写体とし(以降、中央領域のことを主被写体領域331という)、周辺領域に撮像されている被写体を周辺被写体と称する(以降、周辺領域のことを周辺被写体領域332という)。なお、主被写体領域331の中央部におけるO、P、U及びVブロックから形成される領域は、フォーカス制御のためのAF評価値の検出が行われるAF領域(AF領域333)となっている。また、主被写体領域331における(撮影画像の)輝度を主被写体輝度、周辺被写体領域332における輝度を周辺被写体輝度という。
ヒストグラム算出部4052は、各A〜AJブロック毎の主被写体輝度ヒストグラム(分布)を算出すると共に、このA〜AJブロック毎の主被写体輝度ヒストグラムを用いて、図16(a)に示すような主被写体領域331全体における主被写体全体輝度ヒストグラムを算出する。また、各第1〜第16ブロック毎の周辺被写体輝度ヒストグラムを算出すると共に、この第1〜第16ブロック毎の主被写体輝度ヒストグラムを用いて、図16(b)に示すような周辺被写体領域332全体における周辺被写体全体輝度ヒストグラムを算出する。
また、ヒストグラム算出部4052は、前記算出した主被写体全体輝度ヒストグラム及び周辺被写体全体輝度ヒストグラムを用いて、主被写体全体の輝度範囲及び周辺被写体全体の輝度範囲を算出する。この算出の際、所定の閾値を用いて足切りを行う、すなわちこの閾値より小さい度数の輝度データを使用しない。主被写体においては、図16(a)に示すように閾値D1にて足切りを行い、D1以上の度数を有する輝度の最小値L1〜最大値L8の範囲を主被写体全体輝度範囲とする。同様に、周辺被写体においては、図16(b)に示すように閾値D2にて足切りを行い、D2以上の度数を有する輝度の最小値L12〜最大値L19の範囲を主被写体全体輝度範囲とする。この閾値による「足切り」は、ノイズ等による誤差を低減するために行われる。なお、図16に示す各輝度ヒストグラムの輝度(画像(輝度)データ)は、ここでは説明の便宜上、L1〜L19などとしているが、実際には、例えば8ビットでの画像データを扱う場合には、256段階(階調)で表し、例えばL1〜L256となる。
ヒストグラム算出部4052は、平均輝度算出部4053及び最大/最小輝度算出部4054を備えている。平均輝度算出部4053は、各A〜AJブロック毎の主被写体の平均輝度、及び各第1〜第16ブロック毎の周辺被写体の平均輝度を算出する。この平均輝度は、R、G、Bの各色に対して算出される。当該平均輝度の算出においては、各A〜AJブロック及び各第1〜第16ブロック毎にそれぞれ主被写体輝度ヒストグラム及び周辺被写体輝度ヒストグラムを算出し、前記と同様に所定の閾値を設定して「足切り」を行い、この足切り後の各輝度値を平均することにより各平均輝度を得る。
最大/最小輝度算出部4054は、各A〜AJブロック毎の主被写体の最大/最小輝度、及び各第1〜第16ブロック毎の周辺被写体の最大/最小輝度を算出する。この場合も同様に、各ブロック毎に算出した主被写体輝度ヒストグラム又は周辺被写体輝度ヒストグラムに対して所定の閾値での「足切り」を行い、足切り後の各輝度値(輝度範囲)から最大又は最小輝度を算出する。
なお、ヒストグラム算出部4052は、後述の飽和判別部4055による飽和判別に用いるべく、主被写体領域331及び周辺被写体領域332を合わせた全撮像領域(撮像領域330)における全領域輝度ヒストグラムを算出する。ただし、この全領域輝度ヒストグラムは、上記主被写体全体輝度ヒストグラム及び周辺被写体全体輝度ヒストグラムを合わせることによって算出してもよい。
飽和判別部4055は、前記ヒストグラム算出部4052によって算出された全領域輝度ヒストグラムに基づいて、AE(AF、WB)評価値検出時に撮像センサ30の出力が飽和しているか否かを判別するものである。
図17は、撮像センサの出力飽和時における全領域輝度ヒストグラムの一例を示すグラフ図である。同図中におけるPmaxは、撮像センサ30が飽和出力レベルVmax(撮像センサ30の出力レベルの最大値)となっているときのセンサ入射輝度(飽和輝度)を示し、Pmaxthは、飽和/非飽和の判別を行うべく所定の閾値として設定されたセンサ出力Vmaxthに対するセンサ入射輝度(輝度閾値)を示している。また、Dthは、同様に飽和/非飽和の判別を行うべく予め閾値として設定された度数(度数閾値)を示している。ただし、前記Vmaxは、実際の最大出力レベルとしての飽和出力レベルとしてもよいし、任意に設定した(例えばこの実際の最大出力レベルより幾分低く設定された出力レベルとしての)飽和出力レベルとしてもよい。
飽和判別部4055は、全領域輝度ヒストグラム341において、輝度閾値Pmaxth以上及び度数閾値Dth以上となる同図中の符号342に示す斜線領域(飽和領域342という)における総度数、すなわち総画素数(飽和領域での総画素数を飽和画素数という)を算出し、該飽和画素数が所定数以上である場合に、撮像センサ30の出力レベルが飽和していると判別する(所定数より少ない場合は飽和していないと判別する)。なお、飽和/非飽和の判別は、飽和輝度Pmaxの度数(画素数)のみを用いて行ってもよい。
評価値検出部405は、上述のように、分割測光を行い、主被写体及び周辺被写体領域の各検出ブロックにおける輝度情報(画像データ)から、平均輝度、最大/最小輝度、輝度ヒストグラム或いは輝度範囲等の情報をAE(AF、WB)評価値として検出する。この評価値データは、情報受信部501を介して演算部510の各種評価値に対応するパラメータ算出部、例えばAE評価値であればAE制御パラメータ算出部5110に、AF評価値であればAF制御パラメータ算出部513に、WB評価値であればホワイトバランス制御パラメータ算出部514に出力され、当該各算出部においてこの評価値に基づき各種制御パラメータが算出される。
(AE制御パラメータ算出ステップS2)
続いて、本実施形態にかかる、撮像センサ30の光電変換特性に基づいた露光量制御及びダイナミックレンジ制御によるAE制御について以下に詳述する。図18は、AE制御を行う場合において、撮像センサの光電変換特性が変化する様子を示すグラフ図であり、(a)は、露光量制御を行う場合の変化を示し、(b)は、ダイナミックレンジ制御を行う場合の変化を示す図である。図18(a)、(b)は、横軸がセンサ入射輝度、縦軸がセンサ出力であり、横軸は対数座標(センサ入射輝度の対数値)となっている。ただし、センサ入射輝度とは、撮像センサ30に入射された被写体の輝度を示しており、以降、単に輝度という。
前記露光量制御及びダイナミックレンジ制御は、具体的には、下記(A)、(B)の各制御に基づいて行われる。
(A)シャッタ23及び/又は撮像センサ30における露光時間、すなわちシャッタ23の開放時間及び/又は撮像センサ30の積分時間、及び/又は絞り23の開口面積の制御に基づく露光量制御。
(B)撮像センサ30の光電変換特性の制御(具体的には、光電変換特性の変曲点位置の制御;図22参照)に基づくダイナミックレンジ制御。
本実施形態においては、AE制御を行うに際し、上記(A)の露光量制御に関する露光量制御パラメータの算出、(B)のダイナミックレンジ制御に関するダイナミックレンジ制御パラメータの算出のいずれかを優先させて行うということが特徴点となるが、まずは、(A)、(B)の制御それぞれについて説明し、後記において当該いずれかの制御パラメータの算出を優先させることについて詳述する。
(ステップS2−1)露光量制御パラメータの算出
先ず(A)の場合の露光量制御について図18(a)を用いて説明する。光電変換特性601は、AE評価値取得時点において光電変換特性情報記憶部516に記憶されている撮像センサ30の光電変換特性である。光電変換特性601は変曲点603(このときのセンサ出力はVth)を境として線形特性領域と対数特性領域とに分かれている。この光電変換特性601が、露光量設定用の所定の輝度(露光量設定用輝度)に対して所定のセンサ出力が得られる光電変換特性602へ変化する露光量を得るための露光量制御パラメータ(露光量設定値)、すなわち前記露光時間を制御するための露光時間設定値及び絞りの開口面積を制御するための絞り設定値が、露光量制御パラメータ算出部511によって算出される。
ここでは、光電変換特性601の線形特性領域における所定の輝度Lt1(前記露光量設定用輝度に相当)に対するセンサ出力の値(点605でのセンサ出力)が、Vtarget(点606でのセンサ出力)となるような光電変換特性602を算出する、換言すれば、光電変換特性601を、点606を通る光電変換特性602となるように符合608に示す矢印方向(矢印608方向)に向けて変化(移動)させる(このとき、変曲点603は変曲点604へ平行移動され、センサ出力Vthの値は変化しない)。ただし、Vtargetとは、センサ出力の或る目標となるターゲット出力であり、予め設定された値である。このVtargetは露光量制御パラメータ算出部511等に記憶されている。
この場合、輝度Lt1におけるセンサ出力が、光電変換特性601の点605でのセンサ出力から光電変換特性602の点606でのセンサ出力(Vtarget)まで増加するように、すなわち同じ大きさの輝度に対するセンサ出力が増加するように、露光量の増加を図ることができる露光時間設定値や絞り設定値が算出される。別の見方をすれば、Vtargetに相当する輝度がLt2(点607での輝度)からLt1へ変化し、すなわちVtargetのセンサ出力を得るための輝度がLt2より小さいLt1で済むように当該露光量が増加される露光時間設定値や絞り設定値が、露光量制御パラメータ算出部511によって算出される。このとき、当該露光時間設定値や絞り設定値に基づいて、シャッタ23の開放時間又は撮像センサ30による積分時間が増加され、また、絞り22の開口面積が増加されるように制御される。
なお、光電変換特性601から光電変換特性602へ変化する場合、Vmaxにおける輝度がLm2からLm1まで変化(低下)し、ダイナミックレンジは低下する。Vmaxとは、撮像センサ30におけるセンサ出力の最大値、すなわち飽和出力レベルである。ただし、当該Vmaxは、物理的な最大出力レベルとしての飽和出力レベルとしてもよいし、任意に設定した(例えばこの物理的な最大出力レベルより幾分低く設定された出力レベルとしての)飽和出力レベルとしてもよい。
また、図18(a)の場合では、露光量設定用輝度(Lt1)に対してVtargetを得るために、光電変換特性を矢印608方向に変化させているが、矢印608方向と逆方向(右方向)に向けて変化(移動)させてもよい。また、AE評価値取得時における光電変換特性が、既に上述のように露光量設定用輝度に対してVtargetが得られるものとなっている場合には、光電変換特性は変化(移動)されない。ただし、この場合、前回のAE評価値取得時における露光時間設定値や絞り設定値と同じ値になったとしても、今回における露光時間設定値や絞り設定値の算出が行われる構成であってもよい。
(ステップS2−2)ダイナミックレンジ制御パラメータの算出
次に、前記(B)の場合のダイナミックレンジ制御について図18(b)を用いて説明する。光電変換特性701は、AE評価値取得時において光電変換特性情報記憶部516に記憶されている撮像センサ30の光電変換特性である。光電変換特性701は変曲点703(このときのセンサ出力はVth1)を境として線形特性領域と対数特性領域とに分かれている。ダイナミックレンジ制御パラメータ(光電変換特性設定値)は、この光電変換特性701が、ダイナミックレンジ設定用の所定の輝度(ダイナミックレンジ設定用輝度)に対して所定のセンサ出力が得られる光電変換特性702へと変化されるような光電変換特性の制御値、具体的には、変化後の光電変換特性(702)における変曲点(変曲点704)の位置(該変曲点に対する出力レベル)に関する設定値として求められる。この光電変換特性設定値はダイナミックレンジ制御パラメータ算出部512により算出される。
ここでは、ダイナミックレンジにおける最大輝度として設定した輝度Lm20をダイナミックレンジ設定用被写体輝度とし、該輝度Lm20に対するセンサ出力の値が、撮像センサ30の飽和出力レベルであるVmax(図18(a)に示すVmaxと同様)となるように光電変換特性曲線702を算出する。換言すれば、光電変換特性701を、点704を通る光電変換特性702となるように符合705に示す矢印方向(矢印705方向)に向けて変化させる。このとき、変曲点703は変曲点704へ移り、該変曲点に対するセンサ出力もVth1からVth2へ変化する。
この場合、輝度Lm20におけるセンサ出力が点706でのセンサ出力(Vover:Vmaxを超えるセンサ出力値)から点707でのセンサ出力(Vmax)まで減少されるような光電変換特性設定値が算出される。別の見方をすれば、センサ出力Vmaxを得ることが可能な最大輝度がLm10(点708での輝度)からLm20へと大きくなるような(ダイナミックレンジを広げるような)光電変換特性設定値が、ダイナミックレンジ制御パラメータ算出部512によって算出される。
なお、光電変換特性701から光電変換特性702へ変化する場合、Vtargetにおける輝度はLt10からLt20まで変化(増加)し、露光量は低下する。ただし、この図18(b)に示すVtargetは、露光量の変化について説明するために設定したものであり、図18(a)に示すVtargetの値とは異なっていてもよい。
また、図18(b)の場合では、ダイナミックレンジ設定用輝度(Lm20)に対してVmaxを得るために、光電変換特性を矢印705方向に変化させているが、矢印705方向と逆方向(上方向)に向けて変化させてもよい。また、AE評価値取得時点における光電変換特性が、上述のようにダイナミックレンジ設定用輝度に対してVmaxが得られるものとなっている場合には、光電変換特性は変化されない。ただし、この場合、前回のAE評価値取得時における光電変換特性設定値と同じ値になったとしても今回における光電変換特性設定値の算出が行われる構成であってもよい。
このように前記(A)の露光量制御、及び(B)のダイナミックレンジ制御によるAE制御により、露光量設定用輝度を光電変換特性の線形特性領域で撮影し、且つ所定のセンサ出力レベルで出力すると共に、ダイナミックレンジ設定用輝度(ここでは被写体の最大輝度;ダイナミックレンジにおける最大輝度)がセンサ飽和出力レベル以下となるようにして撮影することが可能となる。
(露光量制御パラメータの算出方法の詳細説明)
ここで、前記図18(a)の露光量制御の場合における、評価値検出部405によって検出されたAE評価値に基づく、露光量制御パラメータ算出部511による露光量制御パラメータ(露光時間設定値及び絞り設定値)の算出について、より具体的に説明する。
図19は、図18(a)における輝度Lt1(露光量設定用輝度)に対するセンサ出力の値がVtargetとなるようにするための演算方法の一例について説明する図である。同図における光電変換特性α1は、AE評価値取得時における光電変換特性であり、変曲点611(これに対するセンサ出力はVth)を境として線形特性領域612と対数特性領域613とに分かれている。光電変換特性β1は、光電変換特性α1における対数特性領域613を線形特性(線形特性領域614)に変換した場合の、すなわち全て線形特性領域となる光電変換特性を示している。
図19に示すA点におけるLtLinは、光電変換特性α1の線形特性領域612における平均輝度(線形特性領域平均輝度)であり、この輝度LtLinに対するセンサ出力がVtLinとなっている。また、B点におけるLtLogは、光電変換特性α1の対数特性領域613における平均輝度(対数特性領域平均輝度)であり、この輝度LtLogに対するセンサ出力がVtLogとなっている。先ず、この光電変換特性α1の対数特性領域613におけるLtLogに対するB点が、線形特性領域614上のC点に移るように、すなわち対数特性領域613におけるLtLogに対するセンサ出力の値(VtLog)が線形特性領域614での値(VtLogLin)となるようにデータ変換が行われる(これにより、光電変換特性α1での各データを線形特性領域でのデータに統一して扱えるようになる)。前記対数特性領域613(光電変換特性α1)から線形特性領域614(光電変換特性β1)へのデータ変換は、LUT記憶部518に記憶されているLUTを用いて行われる。そして、A点でのVtLinとC点でのVtLogLinとから、以下の式により、D点でのセンサ出力VtAveが算出される。なお、VtAveにおける輝度LtAveが、図18(a)に示す露光量設定用輝度としてのLt1に相当する。
VtAve=(VtLin*k1)+(VtLogLin*(1−k1))
ただし、k1=m/(m+n)
m:A点の輝度LtLinの算出時に用いた総画素数
n:B点の輝度LtLogの算出時に用いた総画素数
このように、LtLin及びLtLogの値から、VtLin及びVtLogLinの値を算出し、VtLin及びVtLogLinの値からVtAveを算出する。
次に、このVtAveが、図18(a)に示すVtargetとなるような露光量の増幅率Gain(ゲイン)、この露光量の増幅率Gainに基づく露光時間の増幅率Gt及び絞りの増幅率Gs、さらに、増幅率Gt及びGsに基づくそれぞれ露光時間T2及び絞りの開口面積S2を以下の式により算出する。ただし、当該各式を用いたGt及びGsの値の算出は、以下図20に示すフローチャートによる場合分けによって決定される。
Gain=Vtarget/VtAve
Gt*Gs=Gain
≪露光時間に関する増幅率を算出する式≫
Tmax/T1=Gtmax(露光時間の最大増幅率)
Tmin/T1=Gtmin(露光時間の最小増幅率)
Gain/Gtmax=GGtmax(最大増幅率での不足分を補うための増幅率)
Gain/Gtmin=GGtmin(最小増幅率での不足分を補うための増幅率)
T2=T1*Gt
ただし、T1:AE評価値検出時の露光時間
T2:AE補正後の露光時間
Tmax:撮像センサ30の最大露光時間
Tmin:撮像センサ30の最小露光時間
≪絞りに関する増幅率を算出する式≫
Smax/S1=Gsmax(絞りの最大増幅率)
Smin/S1=Gsmin(絞りの最小増幅率)
Gain/Gsmax=GGsmax(最大増幅率での不足分を補うための増幅率)
Gain/Gsmin=GGsmin(最小増幅率での不足分を補うための増幅率)
S2=S1*Gs
ただし、S1:AE評価値検出時の絞りの開口面積
S2:AE補正後の絞りの開口面積
Smax:絞り22の最大開口率
Smin:絞り22の最小開口率
図20のフローチャートに示すように、先ず、VtAveがVtargetの値と同じ値である場合、すなわち露光量の増幅率Gain=1.0であり、露光量の制御(露光量制御パラメータの変更)が必要ない場合には(ステップS11のYES)、露光時間の増幅率Gt=1.0及び絞りの増幅率Gs=1.0となり(ステップS12)、露光時間及び絞りの開口面積は変更されない。増幅率Gain=1.0でなく(ステップS11のNO)、また、Gain>1.0であり(ステップS13のYES)、且つGain>Gtmaxでない場合には(ステップS14のNO)、すなわちGainが1.0より大きく、露光量の制御が必要であり、露光量の増幅率Gainが露光時間の増幅率Gt(最大増幅率Gtmax以下の増幅率Gt)にて対応できる場合には、Gt=Gain及びGs=1.0となる(ステップS15)。
前記ステップS13において、Gain>1.0でなく(ステップS13のNO)、且つGain<Gtminでない場合には(ステップS16のNO)、前記ステップS15の場合と同様に、Gainが1.0より小さく露光量の制御が必要であり、露光量の増幅率Gainが、露光時間の増幅率Gt(最小増幅率Gtmin以上の増幅率Gt)にて対応できるため、Gt=Gain及びGs=1.0となる(ステップS17)。
前記ステップS14において、Gain>Gtmaxであり(ステップS14のYES)、且つGsmax>GGtmaxである場合には(ステップS18のYES)、Gt=Gtmax及びGs=GGtmaxとなる(ステップS19)。このステップS19では、露光量の増幅率Gainが、露光時間の最大増幅率Gtmaxよりも大きな値となってしまい、絞りの増幅率Gsを変化させることなく(Gs=1.0)、露光時間の増幅率Gtだけで対応することできないため、当該Gainに対するGtの増幅率の不足分を、絞りの増幅率Gsを変化させることで対応(補充)している。ただし、この絞りの増幅率Gsの値としては、露光時間の最大増幅率Gtmaxでの不足分を補うための増幅率GGtmaxが用いられる。これは、増幅率GGtmaxが、絞りの最大増幅率Gsmaxよりも小さい値であるため(絞りの最大増幅率Gsmaxを用いる必要がなく)、露光時間に関する増幅率GGtmaxを用いている。これにより、絞りを制御するための値(増幅率
)を、前記絞りに関する増幅率を算出する式を用いて算出する手間が省かれる。
また、前記ステップS16において、Gain<Gtminであり(ステップS16のYES)、且つGsmin<GGtminである場合には(ステップS21のYES)、Gt=Gtmin及びGs=GGtminとなる(ステップS22)。この場合も前記ステップS19と同様に、露光量の増幅率Gainが、露光時間の最小増幅率Gtminよりも小さな値となってしまい、絞りの増幅率Gsを変化させることなく(Gs=1.0)、露光時間の増幅率Gtだけで対応することできないため、Gainに対するGtの増幅率の不足分を、絞りの増幅率Gsを変化させることで対応している。ただし、この絞りの増幅率Gsの値としては、露光時間の最小増幅率Gtminでの不足分を補うための増幅率GGtminが用いられる。これは、増幅率GGtminが、絞りの最小増幅率Gsminよりも小さい値であるため(絞りの最小増幅率Gsminを用いる必要がなく)、露光時間に関する増幅率GGtminを用いている。この場合も同様に、絞りを制御するための値(増幅率)を、前記絞りに関する増幅率を算出する式を用いて算出する手間が省かれる。
前記ステップS18において、Gsmax>GGtmaxでない場合には(ステップS18のNO)、Gt=Gtmax及びGs=Gsmaxとなる(ステップS20)。また、前記ステップS21において、Gsmin<GGtminでない場合には(ステップS21のNO)、Gt=Gtmin及びGs=Gsminとなる(ステップS23)。前記ステップS20においては、増幅率GGtmaxが、絞りの最大増幅率Gsmax以上の値となる場合に、絞りの増幅率Gsの値として最大増幅率Gsmaxが用いられている。同様に、前記ステップS23においては、増幅率GGtminが、絞りの最小増幅率Gsmin以下の値となる場合に、絞りの増幅率Gsの値として最小増幅率Gsminが用いられている。
なお、本実施形態では、図20のフローチャートに示すように、露光量の増幅率Gainを得るための制御パラメータを選択する際、露光時間の増幅率Gtを優先させている(露光時間の制御を優先させている)が、絞りの増幅率Gsを優先させる(絞りの制御を優先させる)構成であってもよい。また、本実施形態では、1つの露光量設定用輝度(Lt1)に対して、増幅率Gt及びGsの算出を行っているが、2つ以上の露光量設定用輝度に対して同様の算出を行ってもよく、この場合には、それぞれで算出した増幅率(Gt、Gs)の平均値、或いは最大値や最小値を用いる構成であってもよい。
このようにして増幅率Gt、Gsが算出され、このGt、GsからそれぞれAE補正後の露光時間T2、AE補正後の絞りの開口面積S2が算出される。そして、これらT2及びS2に応じた撮像センサ30やシャッタ23に対する設定値(露光時間設定値)、或いは絞り22に対する設定値(絞り設定値)が、それぞれLUTを用いたデータ変換によって算出される。そして、当該データ変換によって得られた露光時間設定値や絞り設定値は、光電変換特性情報記憶部516に記憶される(或いは前回のAE評価値取得時点における露光時間設定値や絞り設定値を、当該新たに得られた同設定値で更新する構成であってもよい。以下の光電変換特性設定値に対しても同様である)。
なお、シャッタ制御信号発生部523及び絞り制御信号発生部525は、それぞれ露光量制御パラメータ算出部511で算出された露光時間設定値及び絞り設定値に基づいて、撮像センサ30やシャッタ23による露光時間(積分時間)が前記T2となるような、或いは絞り22の開口面積が前記S2となるような、シャッタ駆動部61及び絞り駆動部63に対する制御信号を発生させる。
ここで、前記図19に示す線形特性領域平均輝度LtLinに対応するセンサ出力レベルVtLin及び対数特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogの具体的な算出方法について説明する。先ず、線形特性領域平均輝度LtLinに対応するセンサ出力レベルVtLinの算出方法について説明する。図15に示す主被写体領域331における各検出ブロック(A〜AJブロック)によって検出した被写体の輝度情報を基に、当該各検出ブロック毎の線形特性領域での平均輝度(ブロック線形平均輝度という)を算出する。このブロック線形平均輝度の算出は、R、G及びBの3色それぞれの線形特性領域の平均値(色線形平均値という)を用いて行う。すなわち、A〜AJブロックから得られるR色の色線形平均値をそれぞれAveRA、AveRB、・・・AveRAJとして算出し、同様に、G色、及びB色の色線形平均値をそれぞれAveGA、AveGB、・・・AveGAJ、及びAveBA、AveBB、・・・AveBAJとして算出する。そして、これらRGB各色の色線形平均値を用いて、以下の色空間変換を行う式により、A〜AJブロック毎のブロック線形平均輝度を算出する。例えばAブロックに対するブロック線形平均輝度をAveYAとすると、AveYAは次式にて求めることができる。
AveYA=AveRA*K1+AveGA*K2+AveBA*K3
ただし、K1、K2、K3:RGBからYCbCrへの色空間変換に用いる係数であり、例えばK1=0.2989、K2=0.5866、K3=0.1145である。
他のB〜AJブロックに対しても同様に演算し、この結果、A〜AJブロック毎のブロック線形平均輝度AveYA、AveYB、・・・AveYAJを算出する。そして、さらにこれらブロック線形平均輝度AveYA、AveYB、・・・AveYAJ全体での平均値を算出する。この平均値のことをMainYとすると、MainYが前記線形特性領域平均輝度LtLinに対応するセンサ出力レベルVtLinとなる。
一方、対数特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogの算出も、前記線形特性領域平均輝度LtLinの場合と同様にして行う。すなわち、図15に示す主被写体領域331におけるA〜AJブロックによって検出した被写体の輝度情報を基に、当該各検出ブロック毎の対数特性領域での平均輝度(ブロック対数平均輝度という)を算出する。このブロック対数平均輝度の算出は、R、G及びBの3色それぞれの対数特性領域の平均値(色対数平均値という)を用いて行う。すなわち、A〜AJブロックから得られるR色の色対数平均値をそれぞれAveRLogA、AveRLogB、・・・AveRLogAJとして算出し、同様に、G色、及びB色の色対数平均値をそれぞれAveGLogA、AveGLogB、・・・AveGLogAJ、及びAveBLogA、AveBLogB、・・・AveBLogAJとして算出する。
ところで、これら対数特性領域でのRGB各色の色対数平均値は、一旦、LUT記憶部518に記憶されているLUTを用いて線形特性領域での値に変換して線形データとしておき、この線形データに変換された値を用いて前記と同様に色空間変換の式を用い、A〜AJブロック毎のブロック対数平均輝度AveYLogA、AveYLogB、・・・AveYLogAJを算出する。そして、さらにこれらブロック対数平均輝度AveYLogA、AveYLogB、・・・AveYLogAJ全体での平均値を算出する。この平均値のことをMainYLogとすると、MainYLogが前記線形特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogLinとなる。なお、前記各A〜AJブロックでの各色の色線形平均値(色対数平均値)は、当該各A〜AJブロック毎の線形特性領域(対数特性領域)での輝度ヒストグラムを算出すると共に輝度ヒストグラムの「足切り」を行い、該足切り後の各輝度値を平均することにより算出してもよい。
ところで、前記図19、20において説明した増幅率Gain(露光量制御パラメータ)の具体的な算出方法は、以下に示すものであってもよい。先ず、主被写体領域331における各A〜AJブロックでのRGB各色における輝度の最大値(色最大値という)を算出する。すなわち、R色の最大値をそれぞれMaxRA、MaxRB、・・・MaxRAJとして算出し、同様に、G色、及びB色の最大値をそれぞれMaxGA、MaxGB、・・・MaxGAJ、及びMaxBA、MaxBB、・・・MaxBAJとして算出する。そして、これら各色毎の輝度の最大値を用いて、以下の色空間変換を行う式により、A〜AJブロック毎のブロック最大輝度を算出する。例えばAブロックに対するブロック最大輝度をMaxYAとすると、MaxYAは次式にて求めることができる。
MaxYA=MaxRA*K1+MaxGA*K2+MaxBA*K3
ただし、前記と同様に例えばK1=0.2989、K2=0.5866、K3=0.1145である。他のB〜AJブロックに対しても同様に演算し、この結果、A〜AJブロック毎のブロック最大輝度MaxYA、MaxYB、・・・MaxYAJを算出する。そして、さらにこれらブロック最大輝度MaxYA、MaxYB、・・・MaxYAJ全体での最大値(主被写体領域331での最大輝度値という)を算出する。この最大輝度値のことをMaxYとすると、MaxYが、図21に示す輝度Ltmaxに対応するセンサ出力レベルVtAve2となる。
同様に、各A〜AJブロックでのRGB各色における輝度の最小値(色最小値)を、それぞれMinRA、MinRB、・・・MinRAJ、及びMinGA、MinGB、・・・MinGAJ、及びMinBA、MinBB、・・・MinBAJとして算出し、これらの最小値を用いて前記と同様の色空間変換の式によりA〜AJブロック毎のブロック最小輝度MinYA、MinYB、・・・MinYAJを算出する。そして、さらにこれらブロック最小輝度MinYA、MinYB、・・・MinYAJ全体での最小値(主被写体領域a2での最小輝度値という)を算出する。この最小輝度値のことをMinYとすると、MinYが、図21に示す輝度Ltminに対応するセンサ出力レベルVtAve1となる。
ただし、前記色最大値及び色最小値のうちで対数特性領域での値であるものに対しては、同様にLUTを用いての線形特性領域への変換を行った後に色空間変換を行う。また、各A〜AJブロックでの各色の色最大値及び色最小値は、当該各A〜AJブロック毎に輝度ヒストグラムを算出すると共に輝度ヒストグラムの「足切り」を行い、該足切り後の各輝度値から算出してもよい。
そして、図21に示すように、輝度Ltminに対するセンサ出力値VtAve1が、予め設定されたターゲット出力値であるVtarget1となるような増幅率(Vtarget1/VtAve1;第1増幅率という)を算出すると共に、輝度Ltmaxに対するセンサ出力値VtAve2が、予め設定されたターゲット出力値であるVtarget2となるような増幅率(Vtarget2/VtAve2;第2増幅率という)を算出し、これら2つの増幅率のうちの小さい方の増幅率を選択し、当該選択された増幅率を前記露光量の増幅率Gainとして、前記図20に示すように場合分けを行い、露光時間の増幅率Gt及び絞りの増幅率Gsを算出する構成であってもよい。
なお、上述のように第1及び第2増幅率のうちの大きい方を選択してもよく、或いは、第1及び第2増幅率を比較して一方を選択するのではなく、第1又は第2増幅率のみを算出して用いる構成であってもよい。また、これら第1及び第2増幅率を平均したものを用いる構成であってもよい。また、上記Vtarget1やVtarget2の値は、露光量制御パラメータ算出部511等に記憶されている。
また、前記最小輝度値MinY及び最大輝度値MaxYは、各A〜AJブロックの輝度ヒストグラムを纏めてなるA〜AJブロック全体での全体輝度ヒストグラムから算出してもよい。この場合、同様に「足切り」を行うことで当該全体輝度ヒストグラムにおける輝度範囲を算出し、この輝度範囲から最小輝度値MinY及び最大輝度値MaxYを算出する。なお、当該算出時に、最小輝度値MinY=最大輝度値MaxY−輝度範囲、或いは最大輝度値MaxY=最小輝度値MinY+輝度範囲というように、最小又は最大輝度値の一方の輝度値と輝度範囲とから、他方の輝度値を求めてもよい。
(ダイナミックレンジ制御パラメータの算出方法の詳細説明)
続いて、前記図18(b)の露光量制御の場合における、評価値検出部405によって検出されたAE評価値に基づく、ダイナミックレンジ制御パラメータ算出部512によるダイナミックレンジ制御パラメータ(光電変換特性設定値)の算出についてより具体的に説明する。
図22は、ダイナミックレンジ制御パラメータ算出に際しての、光電変換特性における変曲点の位置の算出方法について説明するグラフ図であり、(a)は、輝度Lmaxに対して所定のセンサ出力となるように光電変換特性を変化させた場合の図であり、(b)は、光電変換特性をモデル化した場合の図である。先ず、図22(a)において、輝度Lmaxは、ダイナミックレンジ設定用輝度であり、例えば図18(b)に示すLm20に相当するものとする。光電変換特性α2は変曲点711を有する変化前の光電変換特性、光電変換特性β2は変曲点712を有する変化後の光電変換特性を示している。Vmax2は、撮像センサ30の飽和出力レベル(最大出力レベル)を示している。輝度Lmaxに対するセンサ出力の値が、光電変換特性α2上のE点でのVmax1から光電変換特性β2上のF点でのVmax2へ移るように光電変換特性を変化させる。この場合、光電変換特性α2は、変曲点711でのセンサ出力Vth1から変曲点712でのセンサ出力Vth2となる変曲点の変化量ΔVthに応じて光電変換特性β2の状態へ変化する。
ところで、前記Vth2は、E、F点間のセンサ出力ΔVmax(=Vmax2−Vmax1)から算出される。これについて説明する。図22(b)に示すように、光電変換特性α2、β2における線形特性領域及び対数特性領域をそれぞれモデル化(グラフ化)して関数(数式)で表すと、以下のように表される。
線形特性領域をモデル化した関数:V=K2*L(光電変換特性α2、β2で共通)
対数特性領域をモデル化した関数:V=K1*ln(L)+Wα(光電変換特性α2)
:V=K1*ln(L)+Wβ(光電変換特性β2)
ただし、K1、K2は定数、Lはセンサ入射輝度(図22の横軸座標)、Wα及びWβは切片を示している。
ここで、ΔVmaxは、ΔVmax=Wβ−Wαと表されるので、前記V=K1*ln(L)+Wβの数式は、V=K1*ln(L)+Wα+ΔVmaxと表される。この数式と、前記V=K2*Lの数式との交点713におけるセンサ出力値がVth2となる。したがって、交点713(の座標)を算出するための当該2つの数式の連立式;K1*ln(L)+Wα+ΔVmax=K2*Lを満たす「L」の値、すなわち図22(b)に示す輝度Lを求めることによって、該輝度Lに対応するセンサ出力のVth2が算出される。ただし、算出された出力レベルVth2が飽和出力レベルVmax2より大きくなる場合には、撮像センサ30は、対数特性領域の無い線形特性領域のみの光電変換特性を有することとなる。
そして、上述のように算出したVth2に応じた撮像センサ30に対する設定値、すなわち、光電変換特性の変曲点がVth2の位置となるように光電変換特性を変化させるための設定値(光電変換特性設定値)が、LUTを用いた当該Vth2のデータ変換によって算出される。そして、当該データ変換によって得られた変曲点Vth2に対応する光電変換特性設定値は、光電変換特性情報記憶部516に記憶される。なお、ダイナミックレンジ制御信号発生部521は、ダイナミックレンジ制御パラメータ算出部512で算出された光電変換特性設定値に基づいて、撮像センサ30の光電変換特性(の変曲点位置)が上述のように変化するような、タイミング生成回路31に対する制御信号を発生させる。
ところで、前記図22に示すダイナミックレンジ設定用輝度である輝度Lmaxに対応するセンサ出力レベルVmax1の具体的な算出方法は以下のとおりである。先ず、前記図19における対数特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogの算出と同様に、図15に示す主被写体領域331(A〜AJブロック)での対数特性領域平均輝度を算出すると共に、周辺被写体領域332(第1〜第16ブロック)での対数特性領域平均輝度を、主被写体領域331での場合と同様に算出する。そして、これら主被写体領域331及び周辺被写体領域332で算出した対数特性領域平均輝度を比較して大きな方の対数特性領域平均輝度を選択し、該選択した対数特性領域平均輝度に対応するセンサ出力レベルをVmax1とする。
なお、主被写体領域331及び周辺被写体領域332において、前記対数特性領域平均輝度だけでなく、図19における線形特性領域平均輝度LtLinと同様の線形特性領域平均輝度に対応するセンサ出力も算出し、主被写体領域331及び周辺被写体領域332毎にこれら線形特性領域平均輝度と対数特性領域平均輝度とを平均した全特性領域平均輝度を算出し、これら各領域における全特性領域平均輝度のうちの大きな方を輝度Lmaxに対応するセンサ出力とする構成であってもよい。ただし、当該輝度が同じ大きさであった場合には、いずれの輝度値を輝度Lmaxに対応するセンサ出力としてもよい(以降も同様)。
また、主被写体領域331のみでの対数特性領域平均輝度(或いは線形特性領域平均輝度と合わせた全特性領域平均輝度)から輝度Lmaxに対応するセンサ出力を得る構成であってもよいし、周辺被写体領域332のみでの対数特性領域平均輝度(或いは線形特性領域平均輝度と合わせた全特性領域平均輝度)から輝度Lmaxに対応するセンサ出力を得る構成であってもよい。
さらに、輝度Lmaxに対応するセンサ出力の具体的な算出方法は、以下に示すものであってもよい。すなわち、先ず、前記図21における最大輝度値Ltmax(MaxY)に対応するセンサ出力の算出と同様に、主被写体領域331での最大輝度値を算出すると共に、周辺被写体領域332での最大輝度値を、主被写体領域331での場合と同様に算出する。そして、これら主被写体領域331及び周辺被写体領域332で算出した最大輝度値を比較して大きな方の最大輝度値を選択し、該選択した最大輝度値に対応するセンサ出力レベルを求め、この出力レベルに対応する輝度を輝度Lmaxとする。なお、主被写体領域331のみでの最大輝度値から輝度Lmaxに対応するセンサ出力を得る構成であってもよいし、周辺被写体領域332のみでの最大輝度値から輝度Lmaxに対応するセンサ出力を得る構成であってもよい。
ところで、図22に示すような、光電変換特性設定値に基づく光電変換特性(変曲点位置)の制御は、実際には、前記図15で説明したように、飽和判別部4055(図14参照)によって撮像センサ30の出力レベルが飽和していないと判別された場合に行われ、該出力レベルが飽和していると判別された場合には、飽和画素数に応じて、図23(a)に示すようにΔVth分だけ変曲点での出力レベルを低下させるように、すなわち、撮像センサ30によって、より高輝度側での撮影を可能とするべくダイナミックレンジを広げるように光電変換特性を変化させる。ここでは、光電変換特性α3から光電変換特性β3へ変化させる。ただし、このΔVthの値は、図23(b)に示すように、飽和画素数が増加するにつれて増加するように設定されており、該飽和画素数に対応するΔVthの算出は、LUTによるデータ変換によって行われる構成となっている。そして、この算出されたΔVthを、AE評価値時算出時における光電変換特性α3の変曲点721での出力レベルVth1から減算することにより、変化後の光電変換特性β3(光電変換特性α3と比較してダイナミックレンジが広くなる特性)の変曲点722での出力レベルVth2が得られる。さらに、当該得られたVth2に応じた撮像センサ30に対する設定値(光電変換特性設定値)が、LUTによるデータ変換によって算出される。そして、当該データ変換によって得られた変曲点Vth2に対応する光電変換特性設定値は、光電変換特性情報記憶部516に記憶される。
上述のように、(A)の露光量制御、及び(B)のダイナミックレンジ制御によってAE制御が行われるが、ここで、露光量制御及びダイナミックレンジ制御において、すなわち露光量制御パラメータ及びダイナミックレンジ制御パラメータの算出においていずれかを優先させることについて、以下に詳述する。
露光量制御及びダイナミックレンジ制御によってAE制御を行うにあたり、露光量制御パラメータ及びダイナミックレンジ制御パラメータのいずれかの算出を優先(重視)して行う、すなわち、当該パラメータ算出を行う順番(優先順位)として、以下の(1)、(2)の場合がある。
(1)露光量制御パラメータ算出優先モード:先ず露光量制御パラメータの算出を行った後に、ダイナミックレンジ制御パラメータの算出を行う。
(2)ダイナミックレンジ制御パラメータ算出優先モード:先ずダイナミックレンジ制御パラメータの算出を行った後に、露光量制御パラメータの算出を行う。
先ず、上記(1)の露光量制御パラメータの算出を優先させる場合について説明する。図24は、露光量制御パラメータ算出優先モードにおいてAE制御を行う場合の、撮像センサ30の光電変換特性が変化する様子を示すグラフ図であり、(a)は、露光量制御パラメータの算出を行う場合の変化を示し、(b)は、ダイナミックレンジ制御パラメータの算出を行う場合の変化を示している。ただし、図24(a)におけるパラメータ算出が先ず行われ、次に図24(b)におけるパラメータ算出が行われる。
図24(a)において、評価値検出部405により検出されたAE評価値を用いて、露光量制御パラメータ算出部511により、線形特性領域において、露光量設定用の被写体輝度(Lt1)に対する撮像センサ30のセンサ出力が、所定の目標出力レベル(Vtarget)となる(このような光電変換特性が得られる)ような露光量制御パラメータ(露光量設定値;露光時間設定値及び絞り設定値)の算出が行われる。この露光量制御パラメータの算出方法は、上記図18(a)の場合と同じであり、その説明を省略する。なお、図24(a)における露光量制御パラメータの算出に際しては、輝度Lt1のセンサ出力をVtargetとするべく、AE評価値検出時の光電変換特性621から光電変換特性622へ変化するように露光量(露光時間及び絞り開口面積)の増加が図られる露光量制御パラメータが算出される。ただし、光電変換特性621は、光電変換特性情報記憶部516に予め固定して(設定)記憶された光電変換特性であってもよいし、前回のAE制御時において設定された光電変換特性であってもよい。
続いて、図24(a)における露光量制御パラメータの算出が行われた後、図24(b)におけるダイナミックレンジ制御パラメータの算出が行われる。このとき、評価値検出部405により検出されたAE評価値を用いて、ダイナミックレンジ制御パラメータ算出部512により、ダイナミックレンジ設定用の被写体輝度(被写体最大輝度であるLm20)に対する撮像センサ30のセンサ出力が、所定の出力レベル(撮像センサ30の飽和出力レベルVmax)となる(このような光電変換特性が得られる)ようなダイナミックレンジ制御パラメータ(光電変換特性設定値)の算出が行われる。このダイナミックレンジ制御パラメータの算出方法は、上記図18(b)の場合と同じであり、その説明を省略する。なお、図24(b)におけるダイナミックレンジ制御パラメータの算出に際しては、輝度Lm20のセンサ出力をVmaxとするべく、光電変換特性731から光電変換特性732へ変化するように、すなわち変曲点の出力レベルがVth1からVth2まで減少されるようなダイナミックレンジ制御パラメータが算出される。ただし、光電変換特性731は、図24(a)における露光量制御パラメータ算出後の光電変換特性622に相当する。
ところで、図24(b)においてダイナミックレンジ制御パラメータの算出を行う場合(上記光電変換特性731から光電変換特性732へ変化させる場合)、当該変化後の光電変換特性732の変曲点の出力レベルVth2が算出され、このVth2の値が、或る所定の出力レベルVlimitより低い場合には、当該出力レベルVth2がVlimit以上になるよう、Vth2の出力レベルの補正、具体的には、出力レベルVth2を所定出力レベル分だけ引き上げる(増加させる)演算が行われる。このVlimitは、以下の式に示すように、図24(a)におけるVtargetを基準にして予め設定されているものである。
Vlimit=Vtarget+ΔV
ΔV:所定の出力レベル量
このΔVとしては、例えば先の露光量制御(図24(a))において優先的に確保した露光量、すなわち上記被写体輝度Lt1に対する出力レベルが目標出力レベルVtargetとなる露光量が確保され得るのに十分な出力レベル量が設定される。
このように、露光量制御パラメータ算出優先モードにおいての露出制御では、光電変換特性を制御するパラメータ(Vth2、ダイナミックレンジ制御パラメータ)の算出に関して制限が設けられる。
なお、上記補正における所定出力レベル分の引き上げは、Vth2とVlimitとの差分量(出力レベル差)を算出して当該差分量分を一度に引き上げることにより行ってもよいし、所定の出力レベル分ずつ段階的に引き上げる構成であってもよい(Vth2がVlimit以上になるのであれば引き上げ動作は1回で完了してもよい)。また、出力レベルを一度演算してから比較レベルと比較するのではなく、演算の結果得られる出力レベルVth2がVlimitを下回らないように演算を行うようにしても構わない。さらに、変曲点の出力レベルVth2そのものを算出して出力レベルVlimitと比較するのではなく、予め比較レベルを変曲点とする光電変換特性を求め、その光電変換特性を得るための制御パラメータを記憶しておき、この記憶されている制御パラメータと演算により得られる制御パラメータとの比較を行い、出力レベルVth2がVlimitを下回るような相対関係となった場合に算出された制御パラメータを記憶されている制御パラメータで置き換えるようにしてもよい。
次に、上記(2)のダイナミックレンジ制御パラメータの算出を優先させる場合について説明する。図25は、ダイナミックレンジ制御パラメータ算出優先モードにおいてAE制御を行う場合の、撮像センサ30の光電変換特性が変化する様子を示すグラフ図であり、(a)は、ダイナミックレンジ制御パラメータの算出を行う場合の変化を示し、(b)は、露光量制御パラメータの算出を行う場合の変化を示している。ただし、図25(a)におけるパラメータ算出が先ず行われ、次に図25(b)におけるパラメータ算出が行われる。
図25(a)において、評価値検出部405により検出されたAE評価値を用いて、ダイナミックレンジ制御パラメータ算出部512により、ダイナミックレンジ設定用の被写体輝度(被写体最大輝度であるLm20)に対する撮像センサ30のセンサ出力が、当該ダイナミックレンジ制御用に仮に設定した飽和出力レベル(以降、仮飽和出力レベルという)Vmax1となる(このような光電変換特性が得られる)ようなダイナミックレンジ制御パラメータの算出が行われる。この場合のダイナミックレンジ制御パラメータの算出方法も上記図18(b)の場合と同じであり、その説明を省略する。上記仮飽和出力レベルVmax1は、後続(図25(b))の露光量制御を行うことによって、同図中の矢印に示すように光電変換特性全体が変化(移動)し、ここでのダイナミックレンジ制御後の輝度Lm20に対する出力レベル(仮飽和出力レベルVmax1)が変化することを想定しているために、仮の値として設定されるものである。ただし、この仮飽和出力レベルVmax1の値を飽和出力レベルVmaxの値としてもよい。
なお、図25(a)におけるダイナミックレンジ制御パラメータの算出に際しては、輝度Lm20のセンサ出力を仮飽和出力レベルVmax1とするべく、AE評価値検出時の光電変換特性741から、光電変換特性742へ変化するように、すなわち変曲点の出力レベルがVth1からVth2まで増加されるようなダイナミックレンジ制御パラメータが算出される。ただし、光電変換特性741は、光電変換特性情報記憶部516に予め固定して(設定)記憶された光電変換特性であってもよいし、前回のAE制御時において設定された光電変換特性であってもよい。
続いて、図25(a)におけるダイナミックレンジ制御パラメータの算出が行われた後、図25(b)における露光量制御パラメータの算出が行われる。このとき、評価値検出部405により検出されたAE評価値を用いて、露光量制御パラメータ算出部511により、線形特性領域において露光量設定用の被写体輝度(Lt1)に対する撮像センサ30のセンサ出力が、所定の目標出力レベル(Vtarget)となる(このような光電変換特性が得られる)露光量制御パラメータの算出が行われる。この場合の露光量制御パラメータの算出方法も上記図18(a)の場合と同じであり、その説明を省略する。なお、図25(b)における露光量制御パラメータの算出では、輝度Lt1のセンサ出力をVtargetとするべく、光電変換特性631から、光電変換特性632へ変化するように露光量(露光時間及び絞り開口面積)の増加が図られる露光量制御パラメータが算出される。ただし、光電変換特性631は、図25(a)におけるダイナミックレンジ制御パラメータ算出後の光電変換特性742に相当する。
ところで、図25(b)において露光量制御パラメータの算出を行う場合(上記光電変換特性631から光電変換特性632へ変化させる場合)、当該変化後の光電変換特性632における被写体輝度Lm20に対する出力レベルVmax2が算出され、このVmax2の値が、撮像センサ30の飽和出力レベルVmaxより大きい場合には、当該出力レベルVmax2がVmax以下となるよう、Vmax2の出力レベルの補正、具体的には、出力レベルVmax2を所定出力レベル分だけ引き下げる(減少させる)演算が行われる。
このVmax2を所定出力レベル分だけ引き下げる演算は、輝度Lt1でのセンサ出力がVtargetとなる(輝度Lm20でのセンサ出力がVmax2となる)増幅率Gain(Gain=Vtarget/VtAve;図18(a)での説明参照)を所定増幅率分だけ低下させる演算であってもよいし、露光時間の増幅率Gtや絞りの増幅率Gsを低下させる演算であってもよい。
このように、ダイナミックレンジ制御パラメータ算出優先モードにおいての露出制御では、露光量を制御するパラメータ(増幅率、露光量制御パラメータ)の算出に関して制限が設けられる。
なお、上記補正における増幅率等の所定レベル分の引き下げは、輝度Lm20のセンサ出力がVmaxとなる増幅率(VmGainとする)と、上記増幅率Gainとの差分量(増幅率差)を算出して当該差分量分を一度に引き下げることにより行ってもよいし、所定の出力レベル分ずつ段階的に引き下げる構成であってもよい(GainがVmGain以下となるのであれば引き下げ動作は1回で完了してもよい)。また、被写体輝度Lm20に対する出力レベルVmax2を一度演算してから飽和出力レベルVmaxと比較するのではなく、演算の結果得られる出力レベルVmax2が飽和出力レベルVmaxを上回らないように演算を行うようにしても構わない。さらに、上記(1)の露光量制御パラメータ算出優先モードで説明したのと同様に、出力レベルVmax2そのものを算出して飽和出力レベルと比較するのではなく、制御パラメータの比較を行うようにしてもよい。
次に、上記(1)の露光量制御パラメータ算出優先モード及び(2)のダイナミックレンジ制御パラメータ算出優先モードにおける各制御パラメータ算出のフローについて、以下図26、27を用いて説明する。図26は、図24に示す露光量制御パラメータ算出優先モードの場合の各制御パラメータ算出のフローの一例を示すフローチャートである。先ず、ユーザによるモード設定スイッチ105等の操作部100からの指示入力に基づいて、算出優先順位設定部5111により制御パラメータの算出優先順位の設定、すなわち露光量制御パラメータの算出を優先させる露光量制御パラメータ算出優先モードが設定される(ステップS31)。次に、露光量設定用の被写体輝度(Lt1)に対する撮像センサ30のセンサ出力が、所定の目標出力レベル(Vtarget)となるような露光量制御パラメータ(露光量設定値;露光時間設定値及び絞り設定値)の算出が行われる(ステップS32)。そして、当該算出された露光時間設定値及び絞り設定値が光電変換特性情報記憶部516に記憶され、露光時間設定値及び絞り設定値のデジタルカメラ1に対する設定が行われる(ステップS33)。次に、ダイナミックレンジ設定用の被写体輝度(被写体最大輝度であるLm20)に対する撮像センサ30のセンサ出力が、所定の出力レベル(飽和出力レベルVmax)となるようなダイナミックレンジ制御パラメータ(光電変換特性設定値)の算出が行われる(ステップS34)。そして、出力レベル判定部530により、変化後の光電変換特性の変曲点の出力レベルVth2がVlimit以上であるか否かが判定され、Vth2がVlimit以上でないと判定された場合には(ステップS35のNO)、上記ステップS34に戻り、Vth2を所定出力レベル分だけ引き上げる演算(出力レベルVth2の補正)が行われるとともに、当該補正されたVth2に応じた光電変換特性設定値の算出が行われる。Vth2がVlimit以上であると判定された場合には(ステップS35のYES)、当該算出された光電変換特性設定値が光電変換特性情報記憶部516に記憶され、光電変換特性設定値のデジタルカメラ1に対する設定が行われる(ステップS36)。
図27は、図25に示すダイナミックレンジ制御パラメータ算出優先モードの場合の各制御パラメータ算出のフローの一例を示すフローチャートである。先ず、ユーザによるモード設定スイッチ105等の操作部100からの指示入力に基づいて、算出優先順位設定部5111により制御パラメータの算出優先順位の設定、すなわちダイナミックレンジ制御パラメータの算出を優先させるダイナミックレンジ制御パラメータ算出優先モードが設定される(ステップS41)。次に、ダイナミックレンジ設定用の被写体輝度(被写体最大輝度であるLm20)に対する撮像センサ30のセンサ出力が、所定の出力レベル(飽和出力レベルVmax)となるようなダイナミックレンジ制御パラメータ(光電変換特性設定値)の算出が行われる(ステップS42)。そして、当該算出された光電変換特性設定値が光電変換特性情報記憶部516に記憶され、光電変換特性設定値のデジタルカメラ1に対する設定が行われる(ステップS43)。次に、露光量設定用の被写体輝度(Lt1)に対する撮像センサ30のセンサ出力が、所定の目標出力レベル(Vtarget)となるような露光量制御パラメータ(露光量設定値;露光時間設定値及び絞り設定値)の算出が行われる(ステップS44)。そして、出力レベル判定部530により、変化後の光電変換特性に対する輝度Lm20における出力レベルVmax2が飽和出力レベルVmaxより大きいか否かが判定され、Vmax2がVmaxより大きいと判定された場合には(ステップS45のYES)、上記ステップS44に戻り、Vmax2を所定出力レベル分だけ引き下げる演算(例えば増幅率Gainを低下させる補正)が行われるとともに、当該補正されたGainに応じた露光時間設定値及び絞り設定値の算出が行われる。Vmax2がVmaxより大きくないと判定された場合には(ステップS45のNO)、当該算出された露光時間設定値及び絞り設定値が光電変換特性情報記憶部516に記憶され、露光時間設定値及び絞り設定値のデジタルカメラ1に対する設定が行われる(ステップS46)。
なお、上記図26、27においては、各制御パラメータを算出し、当該算出ごとに各制御パラメータの設定を行う構成となっているが、図28、29に示す通り、全ての制御パラメータを算出してから、当該各制御パラメータの設定を行う構成であってもよい。すなわち、先ず図28において、算出優先順位設定部5111に露光量制御パラメータ算出優先モードが設定され(ステップS51)、上記図26に示すステップS32と同様に、露光量制御パラメータ(露光時間設定値及び絞り設定値)の算出が行われる(ステップS52)。次に、上記ステップS34、S35と同様に、ダイナミックレンジ制御パラメータ(光電変換特性設定値)の算出が行われ(ステップS53)、出力レベル判定部530によって出力レベルVth2がVlimit以上であるか否かが判定され、Vth2がVlimit以上でないと判定された場合には(ステップS54のNO)、ステップS53に戻って、Vth2を所定出力レベル分だけ引き上げる演算が行われるとともに、当該補正されたVth2に応じた光電変換特性設定値の算出が行われる。そして、Vth2がVlimit以上であると判定された場合には(ステップS54のYES)、ステップS52及びS53(ステップS54のNO)において算出された露光時間設定値及び絞り設定値、並びに光電変換特性設定値が光電変換特性情報記憶部516に記憶され、当該各設定値のデジタルカメラ1に対する設定が行われる(ステップS55)。
次に図29においては、算出優先順位設定部5111にダイナミックレンジ制御パラメータ算出優先モードが設定され(ステップS61)、上記図27に示すステップS42と同様に、ダイナミックレンジ制御パラメータ(光電変換特性設定値)の算出が行われる(ステップ62)。次に、上記ステップS44、S45と同様に、露光量制御パラメータ(露光時間設定値及び絞り設定値)の算出が行われ(ステップS63)、出力レベル判定部530によって出力レベルVmax2が飽和出力レベルVmaxより大きいか否かが判定され、Vmax2がVmaxより大きいと判定された場合には(ステップS64のYES)、ステップS63に戻って、Vmax2を所定出力レベル分だけ引き下げる演算が行われるとともに、当該補正されたGainに応じた光時間設定値及び絞り設定値の算出が行われる。そして、Vmax2がVmaxより大きくないと判定された場合には(ステップS64のNO)、ステップS62及びS63(ステップS64のYES)において算出された光電変換特性設定値、並びに露光時間設定値及び絞り設定値が光電変換特性情報記憶部516に記憶され、当該各設定値のデジタルカメラ1に対する設定が行われる(ステップS65)。本実施形態においては、上記(1)の露光量制御パラメータ算出優先モード、(2)のダイナミックレンジ制御パラメータ算出優先モードのいずれにおいても、露光量制御パラメータ算出及びダイナミックレンジ制御パラメータ算出という2段階の演算により撮像に用いるべき光電変換特性を決定しているので、光電変換特性決定までの処理を簡単で速やかに行うことができる。なお、上記実施形態では、優先する制御を先に実行するようにしているが、必ずしもこの限りではなく、例えば、以下のような変形例を採用すれば、優先しない方の制御を先に行うこともできる。(変形例1)露光量制御→ダイナミックレンジ制御の順序で制御を行うが、ダイナミックレンジ制御において変曲点の規制を設けないようにする。このようにすると、結果的にダイナミックレンジ制御を優先することができる。(変形例2)ダイナミックレンジ制御→露光量制御の順序で制御を行うが、露光量制御において飽和出力レベルの規制を設けないようにする。このようにすると、結果的に露光量制御を優先することができる。
(ステップS3−1)露光量制御パラメータの設定
上記ステップS2−1で説明したような手法でAE制御のための露光量制御パラメータが算出されたならば、該露光量制御パラメータに基づいてAE制御が行われ、実際の撮像動作が行われる。すなわち、静止画像を撮影する場合は、予備撮影画像より取得されたAE評価値に基づいたAE制御がなされた上で本撮影が行われる。また、動画像を撮影する場合は、例えば直前に撮影された撮影画像より取得されたAE評価値に基づいたAE制御がなされた上で順次動画撮影が行われる。
具体的には、全体制御部50の露光量制御パラメータ算出部511で算出された露光量制御パラメータは制御信号発生部520に入力され、実際の露光量制御動作を行わせる駆動信号を生成するタイミング生成回路31や駆動部60を動作させるための制御信号が制御信号発生部520の各部で生成される。すなわち、制御信号発生部520のセンサ露光時間制御信号発生部522は、前記露光量制御パラメータに応じて、所期の露光時間が確保されるよう撮像センサ30の制御信号を生成し、これをタイミング生成回路31へ送信する。ここでの制御信号は、例えば図9に示すタイミングチャートにおいて、撮像センサ30に対する信号φVPSが中電位Mとなる時間ΔSを、露光量制御パラメータに応じて適宜な時間に設定する信号(つまり、フォトダイオードPDの寄生容量のリセット動作終了時刻t1から次フレームの映像信号読み出しが開始される時刻t2までの積分時間を適宜な時間に設定する信号)である。タイミング生成回路31は、入力された駆動信号に応じて、撮像センサ30の露光時間を制御するタイミング信号を生成して撮像センサ30を駆動させる。
またシャッタ制御信号発生部523は、同様に露光量制御パラメータに基づいて、シャッタ23のシャッタスピード(シャッタ開放時間)を露光時間に合わせて設定する制御信号を生成する。この制御信号は駆動部60のシャッタ駆動部61へ送られ、シャッタ駆動部61は該制御信号に基づいてシャッタ23の駆動信号を生成し、露光量制御パラメータに応じたシャッタ23のシャッタ開放動作を行わせる。
さらに絞り制御信号発生部525も、同様に露光量制御パラメータに基づいて、絞り22の開口面積を設定する制御信号を生成する。この制御信号は絞り駆動部63へ送られ、絞り駆動部63は該制御信号に基づいて絞り22の駆動信号を生成し、露光量制御パラメータに応じた絞り22の開口面積設定動作を行わせる。
以上のように、露光量制御(積分時間の制御)の要素としては、タイミング生成回路31のよる撮像センサ30の駆動制御、シャッタスピード制御及び絞り制御があり、これら3つの制御を全て行うようにしても良いが、高速に制御を達成する観点からは、図21のフローチャートに基づいて説明したように、タイミング生成回路31による電子回路的な露光量制御を優先させるようにすることが望ましい。
(ステップS3−2)ダイナミックレンジ制御パラメータの設定
一方、ダイナミックレンジ制御により本実施形態にかかるAE制御を行う場合、全体制御部50のダイナミックレンジ制御パラメータ算出部512で算出されたダイナミックレンジ制御パラメータは制御信号発生部520に入力され、そのダイナミックレンジ制御信号発生部521において、実際のダイナミックレンジ制御動作を行わせる制御信号が生成される。
すなわちダイナミックレンジ制御信号発生部521は、ダイナミックレンジ制御パラメータ算出部512において算出された撮像センサ30の光電変換特性設定値に応じて、光電変換特性が線形特性領域から対数特性領域に切り替わる出力レベルポイント(変曲点)を調整する撮像センサ30の制御信号を生成し、これをタイミング生成回路31へ送信する。ここでの制御信号は、例えば図9に示すタイミングチャートにおいて、撮像センサ30に対する信号φVPSを、算出されたダイナミックレンジ制御パラメータに応じて適宜設定する制御信号である。
つまり、前記φVPSにおける電圧VPHの高さ、或いは時間ΔTの長さを制御することでその変曲点が変動されることから、ダイナミックレンジ制御信号発生部521は、ダイナミックレンジ制御パラメータに基づいてφVPSを制御する制御信号を生成し、これをタイミング生成回路31へ送信する。そしてタイミング生成回路31は、入力された制御信号に応じて、撮像センサ30のダイナミックレンジを制御するタイミング信号を生成して撮像センサ30を、所定の光電変換特性の状態として実際に駆動させるものである。
以上、AE制御を中心に説明したが、実際のデジタルカメラ1においては、AF制御やWB制御等も行われる。AF制御の場合も同様に、撮像センサ30の撮影画像から取得したAF評価値に基づいて制御を行うことができる。例えば、図14に示した主被写体領域331のO、P、U及びVブロックから検出される輝度ヒストグラムを活用し、評価値検出部405にて隣接輝度とのコントラストが最大となるポイントを求める所謂「山登り法」等によってAF評価値を算出することができる。この場合、撮像センサ30の線形特性領域及び対数特性領域の各々からAF評価値を検出し、それぞれの特性領域の特徴を生かし、例えば対数特性領域から得られるAF評価値を、AF制御に際しての粗測距用として用い、また線形特性領域から得られるAF評価値を、詳測距用として用いるようにすることが望ましい。
このようにして評価値検出部405で検出されたAF評価値は、全体制御部50のAF制御パラメータ算出部513へ送られる。AF制御パラメータ算出部513は、該AF評価値に応じたAF制御パラメータを算出し、これをズーム/フォーカス制御信号発生部524へ送信する。該ズーム/フォーカス制御信号発生部524にて、入力されたAF制御パラメータに応じた制御信号が生成され、これがズーム/フォーカス駆動部62へ送信される。そして、ズーム/フォーカス駆動部62により前記制御信号に応じた駆動信号が生成され、該駆動信号により鏡胴20のレンズ群21がフォーカス駆動されるものである。
またWB制御についても、撮像センサ30の撮影画像から取得したWB評価値に基づいて制御を行うことができる。この場合も、撮像センサ30の線形特性領域及び対数特性領域の各々からWB評価値を検出することが望ましい。すなわち、撮影画像に基づきニュートラルな画像によるWB評価値検出を行うものとし、前記ニュートラル画像として線形特性領域と対数特性領域との2種類の画像に基づき、各RGBレベル(R−Log,G−Log,B−Log,R−Lin,G−Lin,B−Lin)を検出するよう構成することが望ましい。評価値検出部405はこのようなWB評価値を検出し、該WB評価値をホワイトバランス制御部406へ送り、ホワイトバランス制御部406により適宜な色バランスとなるようホワイトバランス補正が行われるものである。
(実施形態2)
以下、図面に基づいて、本発明の第2の実施形態につき説明する。
第2の実施形態では、第1の実施形態とAE制御方法が異なるものとなっている。第1の実施形態におけるAE制御は、図18(a)に示す露光量制御と、図18(b)に示すダイナミックレンジ制御とによって行われ、以下、(A)、(B)に示すように(この(A)(B)は前述の内容を要約したもの)、露光量制御は、露光時間(撮像センサの積分時間、或いはシャッタの開放時間)と、絞り(絞りの開口面積)との制御によってなされ、一方、ダイナミックレンジ制御は、光電変換特性(変曲点位置)の制御によってなされる構成であった。
(A)露光量制御(露光時間制御(積分時間やシャッタ開放時間制御)、或いは絞り制御(絞りの開口面積制御))
(B)ダイナミックレンジ制御(光電変換特性制御(変曲点位置制御))
これに対し、第2の実施形態におけるAE制御では、以下[A]〜[C]に示すように、露光量制御を、絞り制御に基づく露光量制御と積分時間やシャッタ開放時間の制御に基づく露光量制御との各場合で(独立して)行い、ダイナミックレンジ制御を、前記と同様に光電変換特性(変曲点位置)の制御によって行うようにする。
[A]露光量制御(絞り制御(絞りの開口面積制御))
[B]ダイナミックレンジ制御(光電変換特性制御(変曲点位置制御))
[C]露光量制御(露光時間制御(積分時間制御やシャッタ開放時間制御))
このようなAE制御方法の違いに関し、第1の実施形態と本実施形態とでは、図30に示すように、撮像センサ30a、全体制御部50a(演算部510a、制御信号発生部520a)及びタイミング生成回路31a等が異なる構成とされている。第1の実施形態と同様の構成を有するものについては同一の番号を付し、この説明を省略する。なお、第2の実施形態におけるデジタルカメラをデジタルカメラ1aとする。
先ず、撮像センサ30aについて詳述する。図31は、第2の実施形態にかかるデジタルカメラ1aの撮像センサ30aにおける各画素の回路構成図の一例を示すものであり、第1の実施形態の図7に示す各画素G11〜Gmnに相当するものである。同図に示すように、撮像センサ30aの各画素G11〜Gmnは、フォトダイオードPD1、MOSFET(Metal Oxide Semiconductor Field Effect Transistor)としてのトランジスタT10〜T13、及びFD(Floating Diffusion)から構成されている。トランジスタT10〜T13は、ここではNチャンネルMOSFETが採用されている。VDD、φRSB、φRST、φTX及びφVは、各トランジスタに対する信号(電圧)を示し、GNDは接地を示している。
フォトダイオードPD1は、感光部(光電変換部)であり、被写体からの入射光量に応じた電気信号(光電流IPD1)を出力する。トランジスタT12は、図7に示す定電流源307と対になってソースフォロワ増幅用の増幅回路(ソースフォロワアンプ)を構成するものであり、後述する電圧V1OUTに対する増幅(電流増幅)を行う。トランジスタT13は、ゲートに印加する電圧(信号φV)に応じてオン、オフされるスイッチとして動作する信号読み出し用のトランジスタである。トランジスタT13のソースは、図7に示す出力信号線306に接続されており、トランジスタT13がオンした場合、トランジスタT12で増幅された電流を出力電流として出力信号線306へ導出する。
トランジスタT10は、同トランジスタのゲートに印加される電圧に応じてオン、オフされるスイッチとして動作するものであって、当該ゲート電位の高低によるオン、オフ切り替えに応じて、フォトダイオードPD1で発生した光電流IPD1(電荷)のFDに対する転送、非転送の切り替えを行う所謂転送ゲートとなるものである。フォトダイオードPD1で発生した光電流IPD1はフォトダイオードPD1の寄生容量に流れてその電荷が蓄積され、蓄積電荷量に応じた電圧が発生する。このときトランジスタT10がオン状態であれば、この寄生容量に蓄積された電荷(負電荷)がFDへ向けて移動する。FDは、電荷(信号電荷)を一旦保持しておく電荷保持部であり、この保持した電荷を電圧に変える(電荷電圧変換を行う)所謂キャパシタの役割を担うものである。
トランジスタT11(リセットゲートトランジスタ)は、同トランジスタのゲート電圧の高低によるオン、オフ切り替えに応じてFDに対するリセットバイアスの印加、非印加の切り替えを行うものであるとともに(例えばトランジスタT11がオン状態の場合、トランジスタT10もオン状態となっており、トランジスタT11、FD、トランジスタT10及びフォトダイオードPD1を挟んだφRSB及びGND間にリセットバイアスがかけられた状態となる)、ゲート電圧を後述のMid電位(中電位)とすることで、フォトダイオードPD1からFDに移動する電荷(FDを流れる電流)のFD及びトランジスタT11による電荷電圧変換によってそれぞれ線形変換及び対数変換を行わせるものである。
この場合、トランジスタT11にはMid電位に応じた電流(リセット電流)が流れ、トランジスタT11のソースが当該リセット電流に応じた電位となる。そして、フォトダイオードPD1から移動してくる電荷による電位が、Mid電位に応じたトランジスタT11のソース電位より小さい場合には(撮像する被写体の輝度が低く、つまり被写体が暗く、フォトダイオードPD1に入射される入射光量が少ない場合には)、FDにおいて線形変換としての電荷電圧変換が行われ、一方、当該ソース電位を超える場合には(撮像する被写体の輝度が高く、つまり被写体が明るく、フォトダイオードPD1に入射される入射光量が多い場合には)、トランジスタT11において対数変換としての電荷電圧変換が行われる。
これにより、FDとトランジスタT12との接続ノード、すなわち出力V1OUTには、FDにおける光電流IPD1の積分値による線形出力としての電圧、或いはトランジスタT11における光電流IPD1に応じた電流−電圧変換による対数出力としての電圧が現れる。すなわち、光電変換特性における線形特性領域での出力値は、当該FDにおける光電流IPD1の積分値となるが、対数特性領域については、FD部に蓄えられた電荷による電位がトランジスタT11(リセットゲート)のソース電流を超えた領域において、光電流IPD1と等しい電流が該トランジスタT11に流れ、このトランジスタT11において光電流IPD1が電流−電圧変換された値(電圧)が当該出力値としてFD部に現れる。このトランジスタT11での電流−電圧変換が上記対数変換に相当する。したがって、後述するように、線形特性領域での出力値にはFD部や寄生容量部での積分効果が現れて、撮像センサ30aの露光時間に応じて該線形特性領域(線形特性領域の傾き)が変化するが、対数特性領域での出力値には、FD部や寄生容量部での積分効果は現れず、撮像センサ30aの露光時間に関わらず該対数特性領域の光電変換特性は固定となる(この場合の対数特性領域には時間の概念が含まれないと表現することもできる)。そして、トランジスタT13がオンされると、これら各電圧に応じたトランジスタT12による増幅電流が、トランジスタT13を介して出力電流として出力信号線306に導出される。このように第2の実施形態において、撮像センサ30a(各画素)は、前記撮像センサ30におけるキャパシタCやトランジスタT3からなる積分回路を備えておらず、当該積分回路を備えずにFD(或いはこのFDに対する転送ゲートやリセットゲート等)を備えた回路構成とされることで、被写体輝度(或いはセンサ入射輝度)に応じて線形変換又は対数変換された出力信号を得ることが可能となる。
なお、撮像センサ30aは、撮像センサ30と比べて回路構成がより簡易なものとなっていることから(例えば上述のようにキャパシタCやトランジスタT3からなる積分回路等が削除された回路構成となっているため)、撮像センサ30aの開口率が増加し、センサ面に入射される光に対する感度(センサ出力)が向上する。
図32は、撮像センサ30aの前記図31に示す画素の撮像動作に関するタイミングチャートの一例であり、図32(a)は、全画素における垂直ブランク期間中の電荷蓄積(露光)動作に関するタイミングチャートを示し、図32(b)は、水平ブランク期間中における、電荷蓄積終了後の垂直走査による各行の画素の電荷掃き出し動作に関するタイミングチャートを示している。ここではNチャンネルMOSFETの極性上、以下のようにHi(ハイ)でオン、Low(ロー)でオフとなる。
まず、図32(a)において、符号801で示す位置で信号φRSTをHi、符号802で示す位置で信号φTXをHiにする。これによりFDに対して前記リセットバイアスが印加される。そして、信号φRST、φTXの両方がHiである期間内に、符号803で示す位置で信号φRSBを一旦Lowとすることで、FD部の電位を高輝度光入射時の状態にセットし(電荷ゼロの状態から電荷蓄積が開始できるようにセットし)、さらに当該電位を符号804に示す位置でHiに戻すことで、全画素のFDに対するリセット(リフレッシュ)動作を行う。このFDに対するリセット動作によりFD部の電荷の安定性が保たれるようになる。
その後、符号805に示す位置で、全画素同時にトランジスタT11のゲートに対する信号φRSTをHiから中(Middle)電位(この電位をMidと表現する)とし、このMid電位となっている期間(符号805の位置から後述の符号806の位置までの区間)において、FDでの電荷の蓄積及びこの蓄積電荷に対する線形変換又は対数変換での電圧変換を行う。このとき、信号φRSTのHi電位とMid電位との差分(この差分をΔRSTとする)の大きさに応じて、線形変換(又は対数変換)される割合が変化する。
具体的には、ΔRSTが大きいほど、撮像センサ30aの光電変換特性の変曲点におけるセンサ出力レベル(Vth)が高くなり、つまり光電変換特性における線形特性領域の割合が大きくなり(対数特性領域の割合が小さくなり)、ΔRSTが小さいほど、同変曲点レベルが低くなり、線形特性領域の割合が小さくなる(対数特性領域の割合が大きくなる)。このように、差分ΔRSTの大きさを制御することによって、前記図11での説明と同様、撮像センサ30aの光電変換特性の変曲点の出力レベル(変曲点位置)が制御されることになる(これは後述の図35に示す場合に相当する)。
なお、前記ΔRST(Midレベル)の制御は、線形特性領域と対数特性領域との傾きがいずれも固定された状態で変曲点の位置を変化させていく、つまり光電変換特性における線形特性から対数特性への切り替わり点(オフセット)を変化させる制御であるとも言える。
ところで、上述のように信号φTXがHiの状態において、信号φRSTがHiからMidとなる時点を開始点として、信号φTXがHiからLowとなり且つ信号φRSTがMidからLowとなる時点を終了点とした期間、すなわち信号φRSTがMidとなっている期間(この期間をΔLとする)が、ここではこの期間ΔLが撮像センサ30aの各画素の露光時間(積分時間)つまり電荷の蓄積時間(蓄積時間ΔL)となる。この蓄積時間ΔLの長さの制御は、後述するタイミング生成回路31aを介したセンサ露光時間制御信号発生部522aによって行われる。なお、前記ΔRST値の大きさの制御、すなわち信号φRSTをHiからMidにするときのMid電位のレベルの制御は、後述するタイミング生成回路31aを介したダイナミックレンジ制御信号発生部521aによって行われる。
そして、符号806の位置で信号φTXをHiからLowにするとともに、符号807の位置で信号φRSTをMidからLowにすることで、電荷蓄積期間(この電荷蓄積期間をΔLとする)内にFDに蓄積された電荷がホールドされる(全画素同時に電荷の蓄積動作が終了される)。
次に、図32(b)において、前記図32(a)での全画素に対する電荷蓄積が終了した後、図7に示す垂直走査回路301による垂直走査によって選択された行(画素行)の信号φVを、符号811に示す位置でHiとすることでトランジスタT13をオンし、当該選択された行の各画素のFDに蓄積された電荷を垂直信号線(図7に示す出力信号線306−1、306−2、・・・306−m)に読み出す(掃き出す)。ただし、この符号811に示す位置での電荷読み出し動作は、図32(a)の符号806(807)に示す位置での電荷蓄積終了を受けて開始されることを示している。そして、この読み出した信号電荷を垂直信号線で伝送させ、図7に示す各選択回路308に備えるサンプルホールド回路に一旦保持させる。
その後、符号812に示す位置において、前記選択された行の(各画素に対する)信号φRSTをLowからHiに変化させ、同時に、符号813に示す位置において当該選択された行の信号φRSBをHiからLowにすることで、FD部の電位を高輝度入射時の状態にセットする。そして、信号φRSTをHiにしたままの状態で、符号814に示す位置において信号φRSBをHiに戻し、リセットゲート(トランジスタT11)の閾値に応じた値にFDをリセットする。この状態で信号φVを符号815に示す位置でHiとすることで、ノイズ信号を垂直信号線に読み出し、図7に示す後段の補正回路309に備えたノイズ用サンプルホールド回路に保持する。
ところで、図32(b)に示す信号φSHS及びφSHNは、それぞれ後段の選択回路308における(シグナル用)サンプルホールド回路及び補正回路309におけるノイズ用サンプルホールド回路でのサンプルホールド制御信号を示している。これらサンプルホールド制御信号に基づいて、符号816及び符号817に示すように、前記符号811、815に示す信号φVがHiとなるタイミングに応じて、それぞれ各サンプルホールド回路によりシグナル(画像信号)及びノイズ(ノイズ信号)がサンプルホールドされる。そして、このサンプルホールドにより得られた画像信号とノイズ信号との差分をとる(シグナル信号からノイズ信号を減算する)ことで、当該各行の各画素に対する、リセットゲートの閾値ばらつきが除去された画像信号が得られる。なお、信号φTXは、水平ブランク期間中において常時Lowレベルとなっている。
図30に戻って、デジタルカメラ1aの全体制御部50aでは、AE制御パラメータ算出部5110aにおいて、第1の実施形態と同様、被写体輝度に応じた露出制御(AE制御)を行うべく、撮影の際の最適な露光量と撮像センサ30aの光電変換特性(ダイナミックレンジ)とに設定するための制御パラメータが算出される。これに関し、第2の実施形態では、上述した[A]、[B]、[C]の各場合の制御に関する制御パラメータが算出される。AE制御パラメータ算出部5110aは、露光量制御パラメータ算出部511aとしての露光時間制御パラメータ算出部5112及び絞り制御パラメータ算出部5113と、ダイナミックレンジ制御パラメータ算出部512aとを備えている。
露光時間制御パラメータ算出部5112は、露光時間を最適化するための制御パラメータを算出するものであり、前記評価値検出部405において検出されるAE評価値と、前記光電変換特性情報記憶部516に記憶されているAE評価値取得時点における撮像センサ30aの光電変換特性情報とに基づいて、被写体輝度に応じた露光時間設定値を算出する。この露光時間設定値は、露光量設定用の所定の輝度(露光量設定用輝度)に対して所定のセンサ出力が得られる光電変換特性へと変化する露光量となるように、露光時間(撮像センサ30aの積分時間、或いはシャッタ23の開放時間)を制御するためのための設定値である。
絞り制御パラメータ算出部5113は、絞りを最適化するための制御パラメータを算出するものであり、前記露光時間設定値と同様に、評価値検出部405にて検出されるAE評価値と、光電変換特性情報記憶部516に記憶されているAE評価値取得時点における撮像センサ30aの光電変換特性情報とに基づいて、被写体輝度に応じた絞り設定値を算出する。この絞り設定値は、露光量設定用輝度に対して所定のセンサ出力が得られる光電変換特性へと変化する露光量となるように、絞り(絞り22の開口面積)を制御するための設定値である。
ダイナミックレンジ制御パラメータ算出部512aは、被写体輝度に応じて撮像センサ30aの光電変換特性(ダイナミックレンジ)を最適化するための制御パラメータを算出するものである。ダイナミックレンジ制御パラメータ算出部512aは、ダイナミックレンジ設定用の被写体輝度に対して撮像センサ30aが飽和出力レベルとなる光電変換特性(ダイナミックレンジ)が得られるように、光電変換特性の変曲点位置を制御するための光電変換特性設定値を算出する。この算出に際しても、光電変換特性情報記憶部516に記憶されているAE評価値取得時点における撮像センサ30aの光電変換特性情報が参照される。
全体制御部50aの露光量制御パラメータ算出部511a及びダイナミックレンジ制御パラメータ算出部512aにより算出された露光量制御パラメータ(露光時間制御パラメータや絞り制御パラメータ)、及びダイナミックレンジ制御パラメータは、制御信号発生部520aに入力され、実際の露光量制御動作を行わせる駆動信号を生成するタイミング生成回路31aや駆動部60を動作させるための制御信号が制御信号発生部520aの各部で生成される。この制御信号発生部520aでは、特にダイナミックレンジ制御信号発生部521a及びセンサ露光時間制御信号発生部522aにおける動作が、撮像センサ30aに対するものとして第1の実施形態の場合と異なっている。
すなわち、ダイナミックレンジ制御信号発生部521aは、ダイナミックレンジ制御パラメータ算出部512aにおいて算出された撮像センサ30aの光電変換特性設定値に応じて、線形特性領域から対数特性領域への切り替わり点である変曲点の出力レベルを調整するためのタイミング生成回路31a(撮像センサ30a)に対する駆動信号を生成し、これをタイミング生成回路31aへ送信する。上述したように撮像センサ30aの光電変換特性は当該撮像センサ30aに対する信号φRSTのHiとMidとの差分ΔRSTを制御することでその変曲点が変動することから、ダイナミックレンジ制御信号発生部521aは、この信号φRSTのΔRST(Midレベル)の大きさを制御するべくタイミング生成回路31aに対する駆動信号を制御することで、撮像センサ30aのダイナミックレンジが被写体の輝度に適するよう制御する。なお、タイミング生成回路31aは、入力された当該ΔRSTに対応する駆動信号に応じて、撮像センサ30aのダイナミックレンジを制御するタイミング信号を生成して撮像センサ30aを駆動させる。
また、センサ露光時間制御信号発生部522aは、露光時間制御パラメータ算出部5112において算出された露光時間設定値に応じて、所要の露光時間を確保するためのタイミング生成回路31aに対する駆動信号を生成し、これをタイミング生成回路31aへ送信する。ここでの駆動信号は、上述したように撮像センサ30aに対する信号φRSTが中電位Midとなる蓄積時間ΔLを、露光時間設定値に応じて適宜な時間に設定する制御信号である。なお、タイミング生成回路31aは、上記と同様、入力されたΔLに対応する駆動信号に応じて、撮像センサ30aの露光時間を制御するタイミング信号を生成して撮像センサ30aを駆動させる。
なお、前記絞り制御パラメータ算出部5113によって算出された絞り設定値は絞り制御信号発生部525に入力され、絞り制御信号発生部525では、この絞り設定値に基づいて、絞り22の開口面積を設定するための駆動部60に対する駆動信号を生成し、これを駆動部60へ送信する。また、シャッタ制御信号発生部523では、同様に、露光時間制御パラメータ算出部5112にて算出された露光時間設定値に基づいて、シャッタ23のシャッタスピード(シャッタ開放時間)を該露光時間に合わせて設定する制御信号を生成し、これを駆動部60へ送信する。
ところで、前記AE制御パラメータ算出部5110aは、第1の実施形態と同様、算出優先順位設定部5111aを備えている。算出優先順位設定部5113は、AE制御時における、露光量制御パラメータの算出、すなわち[A]の場合の絞り制御パラメータの算出及び[C]の場合の露光時間制御パラメータの算出と、[B]の場合のダイナミックレンジ制御パラメータの算出との3つの場合の制御パラメータの算出優先順位を設定する。算出優先順位設定部5111aにおける当該優先順位の設定は、同様に、ユーザによるモード設定スイッチ105等による操作部100からの指示入力に応じてなされる。なお、露光量制御パラメータの算出が優先される場合(モード)を露光量制御パラメータ算出優先モード、ダイナミックレンジ制御パラメータの算出が優先される場合(モード)をダイナミックレンジ制御パラメータ算出優先モードという。ただし、絞り制御パラメータと露光時間制御パラメータとのどちらが先に算出されたとしても(これらは同じ露光量制御パラメータ算出であるので)、ダイナミックレンジ制御パラメータの算出より優先されていれば、露光量制御パラメータ算出優先モードという。このAE制御における[A]、[B]、[C]の各制御を優先順位を設定して行うということについては後に詳述する。
次に、図33〜図35を用いて、本実施形態のAE制御における、上述の[A]絞り制御に基づく露光量制御、[B]光電変換特性制御に基づくダイナミックレンジ制御、[C]露光時間制御に基づく露光量制御について説明する。
図33は、[A]における、「絞り制御」に基づく露光量制御を行う場合の撮像センサ30aの光電変換特性が変化する様子を示すグラフ図である。ただし、同図の横軸は、第1の実施形態における光電変換特性グラフ(例えば図18)の横軸に示す「センサ入射輝度」ではなく、「被写体輝度」となっている(図34、35も同じ)。これは、ここで扱う横軸の輝度が、被写体からの輝度光によって撮像センサが所定時間(積分時間、シャッタ開放時間)露光された結果得られる値としての所謂時間の概念を含む輝度値(センサ入力輝度)ではなく、被写体の輝度そのものの値(絶対的な輝度値)であることを示すものである。なお、縦軸は第1の実施形態と同じくセンサ出力を示している。
図33に示すように、絞り、すなわち絞り22の開口面積が制御されることで、撮像センサ30aの光電変換特性全体が、符号Hで示す矢印方向に変化(移動)する。具体的には、第1の実施形態における図18(a)の場合と同様に、例えば、光電変換特性821の線形特性領域における所定の輝度Lt1(露光量設定用輝度)に対するセンサ出力の値(点822でのセンサ出力)が、Vtarget(点823でのセンサ出力)となる(ここでは輝度Lt1でのセンサ出力は点822から点823へ増加している)ような光電変換特性831を算出する(このとき、変曲点824は変曲点825へ平行移動され、センサ出力Vthの値は変化しない)。換言すれば、Vtargetとなるセンサ出力を得るための被写体輝度が、輝度Lt2からLt1へと変化(低下)するように光電変換特性が変化する。なお、上述したように被写体輝度を扱うことにより、露光時間に依存せず、すなわち時間(露光時間)の概念とは関係なく、絞りの開口面積を変化させて、その絶対的な輝度としての被写体輝度に対して得られるセンサ出力値を変化させることができる。これにより、図33に示すように光電変換特性全体が変化するように制御することが可能となる。
ここで、前記露光量設定用輝度(輝度Lt1)に対するセンサ出力の値が、Vtargetとなるよう光電変換特性を変化させるために必要な絞り22の開口面積は、第1の実施形態と同様にして算出する。具体的には、例えば前記図19、21で説明した方法と同様にして増幅率Gain(=Vtarget/VtAve)を求め、この増幅率Gainから、前記図20に示すように場合分けを行うなどして増幅率Gt及び増幅率Gsを算出し(Gain=Gt*Gs)、さらにこれら増幅率Gt及び増幅率Gsから露光時間T2及び絞りの開口面積S2を算出するという方法で行う(当該演算によって得られる絞りの開口面積S2が、図33での露光量制御で用いられる絞りの開口面積に相当し、この絞り開口面積が得られるよう調整するための設定値が「絞り設定値」となる)。
前記絞りの開口面積を求めるための演算は(絞りの開口面積を算出する過程で露光時間も自ずと算出される)、演算部510aの絞り制御パラメータ算出部5113にて行われる。なお、これに限らず、例えば絞りの開口面積を導出する途中過程での演算(例えば増幅率Gt及び増幅率Gsの算出)は、露光時間制御パラメータ算出部5112にて行い、その後、増幅率Gsからの絞りの開口面積の算出を、絞り制御パラメータ算出部5113で行うようにしてもよい。
なお、上記演算に用いる例えば輝度Lt1といった輝度情報は、第1の実施形態と同様、分割測光部4051にて分割測光を行い主被写体輝度や周辺被写体輝度を求めるとともに、ヒストグラム算出部4052や最大/最小輝度算出部4054において輝度ヒストグラムや最大・最小輝度の情報等を求め、これらの情報を用いて算出してもよい(以下の[C]、[B]の場合も同様である)。
図34は、前記[C]における、「露光時間制御」に基づく露光量制御を行う場合の撮像センサ30aの光電変換特性が変化する様子を示すグラフ図である。第1の実施形態では、露光時間を制御することで線形特性領域及び対数特性領域(光電変換特性全体)が変化していたが(図18(a)参照)、本実施形態では撮像センサ30aの特性上、露光時間(積分時間)が変化しようとも、被写体輝度に対して対数変換されて出力されるセンサ出力値は変化しない、つまり対数特性領域には露光時間に関する時間の概念が含まれず、したがって、露光時間を変化させることにより、対数特性領域が固定された状態で(対数特性領域の位置や傾きが変化せずに)線形特性領域の傾きが変化する。
図34においては、露光時間が変化することで、例えば実線で示す光電変換特性841の線形特性領域における傾きK1が、2点鎖線で示す光電変換特性851の線形特性領域における傾きK2へと変化する(逆の変化もある)。線形特性領域の傾きが変化する一方で、対数特性領域は固定された状態となっているため、見かけ上、線形特性領域と対数特性領域との切り替わり点である変曲点の位置が、符号Iで示す矢印方向(対数特性領域の傾きに沿った方向)に例えば変曲点842から変曲点852に移動されるようにして、光電変換特性841から光電変換特性851へと変化する。なお、線形特性領域の傾きが変化する(見かけ上の変曲点位置が変化する)ことにより、光電変換特性における線形特性領域と対数特性領域との割合も変化する。
具体的には、露光時間を制御することによって、例えば同じ被写体輝度(例えばLt100)に対するセンサ出力が、光電変換特性841における符号843に示すセンサ出力レベルから光電変換特性851における符号853に示すセンサ出力レベル(Vtarget)まで増加する(被写体輝度が同じでも、それが露光される時間が増加すれば、それに応じてセンサ出力が増加する)。換言すれば、Vtargetとなるセンサ出力を得るための被写体輝度が、光電変換特性841に対するLt200から光電変換特性851に対するLt100へと変化(低下)するように光電変換特性が変化する。
ところで、露光時間の制御は、上述したように撮像センサ30aの積分時間(蓄積時間ΔL)、及び/又はシャッタ23の開放時間(シャッタ速度)の制御によって行われるが、上記輝度Lt100(露光量設定用輝度)に対するセンサ出力の値がVtargetとなるよう光電変換特性を変化させるために必要な撮像センサ30aの積分時間、或いはシャッタ23の開放時間は、上記[A]の絞りの制御による露光量制御の場合と同様にして算出する。すなわち、先ず増幅率Gain(=Vtarget/VtAve)を求め、この増幅率Gainから、増幅率Gt及び増幅率Gsを算出し(Gain=Gt*Gs)、さらにこれら増幅率Gt及び増幅率Gsから露光時間T2及び絞りの開口面積S2を算出するという方法で行う(当該演算によって得られる露光時間T2が、図34での露光量制御で用いられる露光時間に相当し、この露光時間が得られるよう調整するための設定値が「露光時間設定値」となる)。
前記露光時間設定値を求めるための演算は(露光時間を算出する過程で絞りの開口面積も自ずと算出される)、露光時間制御パラメータ算出部5112にて行われる。なお、この場合も前記[A]と同様、露光時間を導出する途中過程での演算(増幅率Gt及び増幅率Gsの算出)は、絞り制御パラメータ算出部5113にて行い、その後、増幅率Gtからの露光時間の算出を、露光時間制御パラメータ算出部5112において行うようにしてもよい。
このように、露光時間を制御して、対数特性領域を固定させた状態で線形特性領域を変化させるような露光量制御を行うことで、ダイナミックレンジを維持したまま、つまり図34においてセンサ出力飽和レベルVmaxに対する被写体輝度Lm100の値を変化させることなく、線形特性領域だけ変化させる制御が可能となる。
換言すれば、当該[C]の場合の露光量制御が可能となることで、例えば全体的に露光量を調整したい場合、すなわち暗い場所で撮影された画像を全体的に明るくしたい場合には、[A]における光電変換特性全体を変化させてダイナミックレンジを広げることが可能な露光量制御を行い(図33参照)、一方、例えばダイナミックレンジはこれでよいものの、輝度が低い部分の画像の露光量調整(コントラストや明るさの調整)を行いたい場合には、[C]の露光量制御を行う、というように、露光量制御方法の選択肢(自由度)が増すことになり、ひいてはより精度の高いAE制御が行えるようになる。なお、デジタルカメラ1aは、[A]の絞り制御に基づく露光量制御を行う構成、又は[C]の露光時間制御に基づく露光量制御を行う構成の何れか一方のみを備えている、すなわち当該露光量制御を、絞り制御又は露光時間制御の何れか一方のみの制御により行う構成であってよい。
図35は、前記[B]における、「光電変換特性制御」に基づくダイナミックレンジ制御を行う場合の撮像センサ30aの光電変換特性が変化する様子を示すグラフ図である。ここでは、光電変換特性、すなわち変曲点の出力レベル(センサ出力Vth)が制御されることでダイナミックレンジの制御が行われる。具体的には、第1の実施形態における図18(b)の場合と同様、例えばダイナミックレンジ設定用被写体輝度である輝度Lm20に対するセンサ出力が、光電変換特性861における点862でのセンサ出力(Vover)から光電変換特性871における点872でのセンサ出力(Vmax;撮像センサ30aの飽和出力レベル)まで減少するように、別の見方をすれば、センサ出力Vmaxを得ることが可能な最大輝度が、点863での輝度Lm10から点872での輝度Lm20へと大きくなるように(ダイナミックレンジが広がるように)、変曲点位置が変曲点864(Vth1)から変曲点874(Vth2)に変化される(この変曲点の変化によって、対数特性領域が符号Jで示す矢印方向(センサ出力軸方向)に傾きが一定のまま平行移動する)。
このようにダイナミックレンジを制御するための変曲点位置の制御に関する光電変換特性設定値は、ダイナミックレンジ制御パラメータ算出部512aによって算出される。光電変換特性設定値の算出方法は、図22に示す第1の実施形態と同様である。すなわち、光電変換特性の線形特性領域及び対数特性領域をそれぞれモデル化することで、所要のダイナミックレンジを確保するべく変化(移動)した後の光電変換特性の変曲点(図35では例えば変曲点874;Vth2)を算出し、変化前の光電変換特性の変曲点(例えば変曲点864;Vth1)がこの変化後の変曲点の位置となるよう光電変換特性を変化させるための制御値として「光電変換特性設定値」が算出される。
この算出された光電変換特性設定値に基づいて、実際に変曲点の出力レベル(Vth)を変化させるための制御信号、つまり上述したΔRST(信号φRSTのMid電位のレベル)を制御するための信号がダイナミックレンジ制御信号発生部521aにより発生される。そして、このΔRSTが制御されることにより、撮像センサ30aの光電変換特性における変曲点での出力レベルが制御される。図35においては、光電変換特性861に対する或るΔRSTによる変曲点864の出力レベルがセンサ出力865である場合、例えばこのΔRSTを減少させると、センサ出力865からセンサ出力875へと出力レベルが小さくなり、これに応じて変曲点位置も光電変換特性871の変曲点874へと移動する(ΔRSTを増加させる場合は逆に変曲点874から変曲点864へと変化する)。このように、[B]の場合のダイナミックレンジ制御における光電変換特性の制御は、ΔRSTの制御によって実現される。
なお、第2の実施形態においても同様に、光電変換特性設定値に基づく光電変換特性(変曲点位置)の制御は、飽和判別部4055(図14参照)によって撮像センサ30の出力レベルが飽和していないと判別された場合に行われ、該出力レベルが飽和していると判別された場合には、飽和画素数に応じてΔVth分だけ変曲点での出力レベルを低下させるように(図23(a)参照)、すなわち撮像センサ30aによって、より高輝度側での撮影を可能とするべくダイナミックレンジを広げるように光電変換特性を変化させてもよい。
上述のように、[A]絞り制御(露光量制御)、[B]ダイナミックレンジ制御、及び[C]露光時間制御(露光量制御)によってAE制御が行われるが、ここで、絞り制御パラメータの算出、露光時間制御パラメータの算出、及びダイナミックレンジ制御パラメータの算出を優先順位をつけて行うということについて、以下に詳述する。
[A]〜[C]の制御によりAE制御を行うにあたり、[A]〜[C]における制御パラメータの算出の順番(優先順位)として、大別すると以下の<1>、<2>の場合がある。
<1> 露光量制御パラメータ算出優先モード:先ず露光量制御パラメータ(絞り制御パラメータ、露光時間制御パラメータ)の算出を行った後に、ダイナミックレンジ制御パラメータの算出を行う。
<2> ダイナミックレンジ制御パラメータ算出優先モード:先ずダイナミックレンジ制御パラメータの算出を行った後に、露光量制御パラメータ(絞り制御パラメータ、露光時間制御パラメータ)の算出を行う。
先ず、上記<1>の露光量制御パラメータの算出を優先させる場合について説明する。
図36〜38は、露光量制御パラメータ算出優先モードにおいてAE制御を行う場合の、撮像センサ30aの光電変換特性が変化する様子を示すグラフ図であり、図36は[A]の絞り制御パラメータの算出を行う場合の変化を示し、図37は[C]の露光時間制御パラメータの算出を行う場合の変化を示し、図38は[B]のダイナミックレンジ制御パラメータの算出を行う場合の変化を示している。
露光量制御パラメータ算出優先モードでは、以下の制御パラメータ算出順序となる。
(順序パターン1.1)[A]、[C]の順に制御パラメータを算出した後、[B]の制御パラメータ算出を行うパターン
(順序パターン1.2)[C]、[A]の順に制御パラメータを算出した後、[B]の制御パラメータ算出を行うパターン
ここでは、(順序パターン1.1)を一例として以下に詳述する。
先ず図36に示す[A]の制御において、評価値検出部405により検出されたAE評価値を用いて、絞り制御パラメータ算出部5113により、線形特性領域において、露光量設定用の被写体輝度(Lt1)に対する撮像センサ30aのセンサ出力が、所定の目標出力レベル(Vtarget’)となる光電変換特性が得られるような絞り設定値(絞り制御パラメータ)が算出される(この絞り設定値の算出方法は、前記図33の場合と同じであり説明を省略する)。なお、図36においては、輝度Lt1のセンサ出力をVtarget’とするべく、AE評価値検出時の光電変換特性901から光電変換特性902へ変化するように露光量(絞り開口面積)の増加が図られる絞り設定値が算出される。ただし、光電変換特性901は、光電変換特性情報記憶部516に予め固定して(設定)記憶された光電変換特性であってもよいし、前回のAE制御時において設定された光電変換特性であってもよい。
次に、前記図36における絞り制御パラメータの算出が行われた後、図37に示す[C]の制御における露光時間制御パラメータの算出が行われる。この場合も上記図36と同様、評価値検出部405により検出されたAE評価値を用いて、露光時間制御パラメータ算出部5112により、線形特性領域において、露光量設定用の被写体輝度(Lt1)に対する撮像センサ30aのセンサ出力が、新たな目標出力レベル(Vtarget)となる光電変換特性が得られるような露光時間設定値(露光時間制御パラメータ)が算出される(図36での目標出力レベルVtarget’の値を固定しておいて、このVtarget’に対する輝度Lt1の値を当該[C]の制御用に新たに設定することで変化後の光電変換特性を得てもよい)。この露光時間設定値の算出方法は、前記図34の場合と同じであり説明を省略する。なお、図37における制御の場合は、対数特性領域(の傾き及び位置)が固定された状態で線形特性領域(の傾き)が変化し、見かけ上、光電変換特性902(図36に示す光電変換特性902に該当)の変曲点903(Vth1)が変曲点904(Vth1’)へと移動されてなる光電変換特性905が得られる。
さらに、前記図37における露光時間制御パラメータの算出が行われた後、図38に示す[B]の制御におけるダイナミックレンジ制御パラメータの算出が行われる。この場合、評価値検出部405により検出されたAE評価値を用いて、ダイナミックレンジ制御パラメータ算出部512aにより、ダイナミックレンジ設定用の被写体輝度(被写体最大輝度であるLm20)に対する撮像センサ30aのセンサ出力が、撮像センサ30aの飽和出力レベルVmaxとなる光電変換特性が得られるような光電変換特性設定値(ダイナミックレンジ制御パラメータ)が算出される。この光電変換特性設定値の算出方法は、前記図35の場合と同じでありその説明を省略する。なお、図38におけるダイナミックレンジ制御パラメータの算出に際しては、輝度Lm20のセンサ出力をVmaxとするべく、前記図37に示す光電変換特性905から光電変換特性906へ変化するような、すなわち変曲点の出力レベルがVth1’からVth2まで下がるような光電変換特性設定値が算出される。
ところで、図38におけるダイナミックレンジ制御パラメータの算出において、光電変換特性905から光電変換特性906へ変化させる場合、当該変化後の光電変換特性906の変曲点の出力レベルVth2が算出され、このVth2の値が、或る所定の出力レベルVlimitより低い場合には、出力レベルVth2がVlimit以上となるよう、Vth2の出力レベルの補正、具体的には、出力レベルVth2を所定出力レベル分だけ引き上げる(増加させる)演算が行われる。このVlimitは、以下の式に示すように、図37におけるVtargetを基準にして予め設定されているものである。
Vlimit=Vtarget+ΔV
ΔV:所定の出力レベル量
このΔVとしては、例えば先の露光量制御(図37)において優先的に確保した露光量、すなわち前記被写体輝度Lt1に対する出力レベルが目標出力レベルVtargetとなる露光量が確保され得るのに十分な出力レベル量が設定される。
このように、露光量制御パラメータ算出優先モードにおいての露出制御では、光電変換特性を制御するパラメータ(Vth2、ダイナミックレンジ制御パラメータ)の算出に関して制限が設けられる。
なお、第1の実施形態と同様、上記補正における所定出力レベル分の引き上げは、Vth2とVlimitとの差分量(出力レベル差)を算出して当該差分量分を一度に引き上げることにより行ってもよいし、所定の出力レベル分ずつ段階的に引き上げる構成であってもよい。また、出力レベルを一度演算してから比較レベルと比較するのではなく、演算の結果得られる出力レベルVth2がVlimitを下回らないよう演算する構成であってもよい。さらに、変曲点の出力レベルVth2そのものを算出して出力レベルVlimitと比較するのではなく、予め比較レベルを変曲点とする光電変換特性を求め、その光電変換特性を得るための制御パラメータを記憶しておき、この記憶されている制御パラメータと演算により得られる制御パラメータとの比較を行い、出力レベルVth2がVlimitを下回るような相対関係となった場合に算出された制御パラメータを記憶されている制御パラメータで置き換えるようにしてもよい。
ところで、(順序パターン1.2)の場合、すなわち[C]、[A]、[B]の順に制御パラメータを算出する場合は、上述の順序パターン1.1と同様である。これを概略して説明すると、先ず図37において、光電変換特性902が光電変換特性905となるよう(見かけ上変曲点903が変曲点904へ移動するよう)露光時間制御パラメータの算出を行い、次に図36において、前記光電変換特性905(光電変換特性901に相当)が光電変換特性902へと変化するよう絞り制御パラメータの算出を行う。ただし、ここでの絞り制御パラメータ算出の際は、先の図37における露光量設定用の被写体輝度及びこれの目標出力レベルの値と異なる設定値を用いてもよい。さらに引き続き図38において、前記図36の光電変換特性902(図38の光電変換特性905に相当)が光電変換特性906へと変化するようダイナミックレンジ制御パラメータの算出を行う。
この順序パターン1.2の場合も順序パターン1.1と同様、図38の[B]の場合の制御パラメータ算出の際には、変化後の光電変換特性906の変曲点Vth2の値が、出力レベルVlimitより低い場合、出力レベルVth2が図37に示すVlimit以上となるよう出力レベルVth2を所定出力レベル分だけ引き上げる演算が行われる。当該引き上げの演算方法も上述と同様であり、その説明を省略する。
なお、上述においては、露光量制御における[A]の絞り制御及び[C]の露光時間制御に対して制御順位(優先順位)を設けてこれらを実行しているが、[A]及び[C]の制御(パラメータ算出の演算)を同時に実行(並列処理)してもよい。
次に、前記<2>のダイナミックレンジ制御パラメータの算出を優先させる場合について説明する。図39〜41は、ダイナミックレンジ制御パラメータ算出優先モードにおいてAE制御を行う場合の、撮像センサ30aの光電変換特性が変化する様子を示すグラフ図であり、図39は[B]のダイナミックレンジ制御パラメータの算出を行う場合の変化を示し、図40は[A]の絞り制御パラメータの算出を行う場合の変化を示し、図41は[C]の露光時間制御パラメータの算出を行う場合の変化を示している。
ダイナミックレンジ制御パラメータ算出優先モードでは、以下の制御パラメータ算出順序となる。
(順序パターン2.1)[B]の制御パラメータを算出した後、[A]、[C]の順に制御パラメータの算出を行うパターン
(順序パターン2.2)[B]の制御パラメータを算出した後、[C]、[A]の順に制御パラメータの算出を行うパターン
ここでは、(順序パターン2.1)を一例として以下に詳述する。
先ず図39に示す[B]の制御において、評価値検出部405により検出されたAE評価値を用いて、ダイナミックレンジ制御パラメータ算出部512aにより、ダイナミックレンジ設定用の被写体輝度(被写体最大輝度であるLm20)に対する撮像センサ30aのセンサ出力が、当該ダイナミックレンジ制御用に仮に設定した飽和出力レベルVmax1となる光電変換特性が得られるような光電変換特性設定値(ダイナミックレンジ制御パラメータ)が算出される。この光電変換特性設定値の算出方法は、前記図35の場合と同じでありその説明を省略する。前記仮飽和出力レベルVmax1は、後続(図40、41)の露光量制御を行うことによって同図中の矢印に示すように光電変換特性全体が変化(移動)し、ここでのダイナミックレンジ制御後の輝度Lm20に対する出力レベル(仮飽和出力レベルVmax1)が変化することを想定しているために、仮の値として設定されるものである。ただし、この仮飽和出力レベルVmax1の値を飽和出力レベルVmaxの値としてもよい。
なお、図39の[B]においては、輝度Lm20のセンサ出力を仮飽和出力レベルVmax1とするべく、AE評価値検出時の光電変換特性911から光電変換特性912へ変化するような(変曲点の出力レベルがVth1からVth2まで増加するような)光電変換特性設定値が算出される。ただし、光電変換特性911は、光電変換特性情報記憶部516に予め固定して(設定)記憶された光電変換特性であってもよいし、前回のAE制御時において設定された光電変換特性であってもよい。
次に、前記図39におけるダイナミックレンジ制御パラメータの算出が行われた後、図40に示す[A]の制御における絞り制御パラメータの算出が行われる。この場合、評価値検出部405により検出されたAE評価値を用いて、絞り制御パラメータ算出部5113により、線形特性領域において、露光量設定用の被写体輝度(Lt1)に対する撮像センサ30aのセンサ出力が、所定の目標出力レベル(Vtarget’)となる光電変換特性が得られるような絞り設定値(絞り制御パラメータ)が算出される(この絞り設定値の算出方法は、前記図33の場合と同じであり説明を省略する)。なお、図40においては、輝度Lt1のセンサ出力をVtarget’とするべく、光電変換特性912(図39に示す光電変換特性912に該当)から光電変換特性913へ変化するように露光量(絞り開口面積)の増加が図られる絞り設定値が算出される。
上記図40における絞り制御パラメータの算出においては、光電変換特性912から光電変換特性913へ変化させる場合、当該変化後の光電変換特性913における被写体輝度Lm20に対する出力レベルVmax2が算出され、このVmax2の値が、撮像センサ30aの飽和出力レベルVmaxより大きい場合には、この出力レベルVmax2がVmax以下となるよう、Vmax2の出力レベルの補正、具体的には、出力レベルVmax2を所定出力レベル分だけ引き下げる(減少させる)演算が行われる。
このVmax2を所定出力レベル分だけ引き下げる演算は、輝度Lt1でのセンサ出力がVtargetとなる(輝度Lm20でのセンサ出力がVmax2となる)増幅率Gain(Gain=Vtarget/VtAve)を所定増幅率分だけ低下させる演算により行う。ただし当該増幅率Gainの低下は、露光時間の増幅率Gtを固定したまま絞りの増幅率Gsを低下させる(露光時間の増幅率Gtは変化させずに絞りの増幅率Gsを変化させる)演算となる。
このように、ダイナミックレンジ制御パラメータ算出優先モードにおいての露出制御では、先のダイナミックレンジ制御において調整されたダイナミックレンジに対し影響を与えてしまう露光量制御パラメータ(増幅率Gain、絞り制御パラメータ)の算出に関して制限が設けられる。
なお、第1の実施形態と同様、上記補正における増幅率等の所定レベル分の引き下げは、輝度Lm20のセンサ出力がVmaxとなる増幅率(VmGainとする)と、上記増幅率Gainとの差分量(増幅率差)を算出して当該差分量分を一度に引き下げることにより行ってもよいし、所定の出力レベル分ずつ段階的に引き下げる構成であってもよい。また、被写体輝度Lm20に対する出力レベルVmax2を一度演算してから飽和出力レベルVmaxと比較するのではなく、演算の結果得られる出力レベルVmax2が飽和出力レベルVmaxを上回らないように演算を行うようにしても構わない。さらに、前記<1>の露光量制御パラメータ算出優先モードで説明したのと同様に、出力レベルVmax2そのものを算出して飽和出力レベルと比較するのではなく、制御パラメータの比較を行うようにしてもよい。
さらに、前記図40における絞り制御パラメータの算出が行われた後、図41に示す[C]の制御における露光時間制御パラメータの算出が行われる。この場合も上記図40と同様、評価値検出部405により検出されたAE評価値を用いて、露光時間制御パラメータ算出部5112により、線形特性領域において、露光量設定用の被写体輝度(Lt1)に対する撮像センサ30aのセンサ出力が、新たな目標出力レベル(Vtarget)となる光電変換特性が得られるような露光時間設定値(露光時間制御パラメータ)が算出される(図36での目標出力レベルVtarget’の値を固定しておいて、このVtarget’に対する輝度Lt1の値を当該[C]の制御用に新たに設定することで変化後の光電変換特性を得てもよい)。この露光時間設定値の算出方法は、前記図34の場合と同じであり説明を省略する。なお、図41における制御の場合は、対数特性領域(の傾き及び位置)が固定された状態で、すなわち図40での光電変換特性のダイナミックレンジが固定された状態で、線形特性領域(の傾き)が変化し、見かけ上、光電変換特性913の変曲点914(Vth2)が変曲点915(Vth2’)へと移動されてなる光電変換特性916が得られる。
なお、(順序パターン2.2)の場合、すなわち[B]、[C]、[A]の順に制御パラメータを算出する場合は、上述の(順序パターン2.1)と同様である。これを概略して説明すると、先ず図39において、光電変換特性911が光電変換特性912となるようダイナミックレンジ制御パラメータの算出を行い、次に図41において、前記光電変換特性912(光電変換特性913に相当)が光電変換特性916へと変化するよう露光時間制御パラメータの算出を行う。さらに引き続き図40において、前記図41の光電変換特性916(図40の光電変換特性912に相当)が光電変換特性913へと変化するよう絞り制御パラメータの算出を行う。ただし、ここでの絞り制御パラメータ算出の際は、先の図41における露光量設定用の被写体輝度及びこれの目標出力レベルの値と異なる設定値を用いてもよい。
この(順序パターン2.2)の場合も(順序パターン2.1)と同様、図40の[A]の場合の制御パラメータ算出の際には、変化後の光電変換特性913の被写体輝度Lm20に対する出力レベルVmax2の値が飽和出力レベルVmaxより大きい場合、出力レベルVmax2がVmax以下となるよう、出力レベルVmax2を所定出力レベル分だけ引き下げる演算が行われる。当該引き下げの演算方法も上述と同様であり、その説明を省略する。
なお、このダイナミックレンジ制御パラメータ算出優先モードにおいても、上述と同様、露光量制御における[A]の絞り制御及び[C]の露光時間制御に対して制御順位(優先順位)を設定せずに、[A]及び[C]の制御(パラメータ算出の演算)を同時に実行(並列処理)してもよい。
次に、第2の実施形態における、上記<1>の露光量制御パラメータ算出優先モード及び<2>のダイナミックレンジ制御パラメータ算出優先モードにおける各制御パラメータ算出のフローについて、以下図42、43を用いて説明する。図42は、図36〜38に示す露光量制御パラメータ算出優先モードの場合の各制御パラメータ算出のフローの一例を示すフローチャートである。先ず、ユーザによるモード設定スイッチ105等の操作部100からの指示入力に基づいて、算出優先順位設定部5111aによって制御パラメータの算出優先順位の設定、すなわち露光量制御パラメータの算出をダイナミックレンジ制御パラメータの算出よりも優先させる露光量制御パラメータ算出優先モードが設定される。ただし、この場合の露光量制御パラメータの算出においては、露光時間制御パラメータの算出及び絞り制御パラメータの算出が行われるが、これら露光時間制御パラメータ算出及び絞り制御パラメータ算出のうち何れの方が先に実行されるかについての情報は、例えば算出優先順位設定部5111aに予め記憶されており、前記ユーザによる指示入力等によりこれらが選択され、その選択に応じて各制御パラメータの算出優先順位が設定される(例えば、絞り制御パラメータ算出、露光時間制御パラメータ算出、ダイナミックレンジ制御パラメータ算出の順に、或いは、露光時間制御パラメータ算出、絞り制御パラメータ算出、ダイナミックレンジ制御パラメータ算出の順に実行される優先順位が設定される)(ステップS71)。
次に、露光量設定用の被写体輝度(Lt1)に対する撮像センサ30aのセンサ出力が、所定の目標出力レベル(Vtarget)となるような露光量設定値(露光量制御パラメータ)、つまり露光時間設定値(露光時間制御パラメータ)及び絞り設定値(絞り制御パラメータ)の算出が行われる。ただし、この被写体輝度(Lt1)に対する目標出力レベル(Vtarget)の算出は、当該各設定値の算出優先順位に応じて謂わば2段階で行われる。すなわち、例えば図36、37に示すように絞り設定値、露光時間設定値の順で算出される場合には、先ず被写体輝度Lt1に対して目標出力レベルVtarget’となるような絞り設定値が算出され(図36)、次にこの同じ被写体輝度Lt1に対して目標出力レベルVtargetとなるような露光時間設定値が算出される(図37)(ステップS72)。なお、ステップS72において、ここでは、絞り設定値、露光時間設定値の順序で算出されているが、この逆の順序で算出されてもよいし、或いはこれら設定値の算出が同時に行われてもよい。
そして、当該算出された露光時間設定値及び絞り設定値が光電変換特性情報記憶部516に記憶され、露光時間設定値及び絞り設定値のデジタルカメラ1aに対する設定が行われる(ステップS73)。次に、ダイナミックレンジ設定用の被写体輝度(被写体最大輝度であるLm20)に対する撮像センサ30aのセンサ出力が、所定の出力レベル(飽和出力レベルVmax)となるようなダイナミックレンジ制御パラメータ(光電変換特性設定値)の算出が行われる(ステップS74)。そして、出力レベル判定部530により、変化後の光電変換特性の変曲点の出力レベルVth2がVlimit以上であるか否かが判定され、Vth2がVlimit以上でないと判定された場合には(ステップS75のNO)、上記ステップS74に戻り、Vth2を所定出力レベル分だけ引き上げる演算(出力レベルVth2の補正)が行われるとともに、当該補正されたVth2に応じた光電変換特性設定値の算出が行われる。Vth2がVlimit以上であると判定された場合には(ステップS75のYES)、当該算出された光電変換特性設定値が光電変換特性情報記憶部516に記憶され、光電変換特性設定値のデジタルカメラ1aに対する設定が行われる(ステップS76)。
図43は、図39〜41に示すダイナミックレンジ制御パラメータ算出優先モードの場合の各制御パラメータ算出のフローの一例を示すフローチャートである。先ず、ユーザによるモード設定スイッチ105等の操作部100からの指示入力に基づいて、算出優先順位設定部5111aによって制御パラメータの算出優先順位の設定、すなわちダイナミックレンジ制御パラメータの算出を露光量制御パラメータの算出よりも優先させるダイナミックレンジ制御パラメータ算出優先モードが設定される。ただし、このモードでの露光量制御パラメータの算出においても、上記図42の場合と同様、露光時間制御パラメータの算出及び絞り制御パラメータの算出が行われるが、これら露光時間制御パラメータ算出及び絞り制御パラメータ算出のうち何れの方が先に実行されるかについての情報は、例えば算出優先順位設定部5111aに予め記憶されており、前記ユーザによる指示入力等によりこれらが選択され、その選択に応じて各制御パラメータの算出優先順位が設定される(例えば、ダイナミックレンジ制御パラメータ算出、絞り制御パラメータ算出、露光時間制御パラメータ算出の順に、或いは、ダイナミックレンジ制御パラメータ算出、露光時間制御パラメータ算出、絞り制御パラメータ算出の順に実行される優先順位が設定される)(ステップS81)。
次に、ダイナミックレンジ設定用の被写体輝度(被写体最大輝度であるLm20)に対する撮像センサ30aのセンサ出力が、所定の出力レベル(仮飽和出力レベルVmax1)となるようなダイナミックレンジ制御パラメータ(光電変換特性設定値)の算出が行われる(ステップS82)。そして、当該算出された光電変換特性設定値が光電変換特性情報記憶部516に記憶され、光電変換特性設定値のデジタルカメラ1aに対する設定が行われる(ステップS83)。
次に、露光量設定用の被写体輝度(Lt1)に対する撮像センサ30aのセンサ出力が、所定の目標出力レベル(Vtarget)となるような露光量設定値(露光量制御パラメータ)、つまり露光時間設定値(露光時間制御パラメータ)及び絞り設定値(絞り制御パラメータ)の算出が行われる。ただし、この被写体輝度(Lt1)に対する目標出力レベル(Vtarget)の算出は、当該各設定値の算出優先順位に応じて謂わば2段階で行われる。すなわち、例えば図40、41に示すように絞り設定値、露光時間設定値の順で算出される場合には、先ず被写体輝度Lt1に対して目標出力レベルVtarget’となるような絞り設定値が算出され(図40)、次にこの同じ被写体輝度Lt1に対して目標出力レベルVtargetとなるような露光時間設定値が算出される(図41)(ステップS84)。なお、ステップS84において、ここでは、絞り設定値、露光時間設定値の順序で算出されているが、この逆の順序で算出されてもよいし、或いはこれら設定値の算出が同時に行われてもよい。
そして、出力レベル判定部530により、変化後(ここでは、図40に示す絞り設定値の算出後)の光電変換特性に対する輝度Lm20における出力レベルVmax2が飽和出力レベルVmaxより大きいか否かが判定され、Vmax2がVmaxより大きいと判定された場合には(ステップS85のYES)、上記ステップS84に戻り、Vmax2を所定出力レベル分だけ引き下げる演算(例えば増幅率Gain(絞りの増幅率Gs)を低下させる補正)が行われるとともに、当該補正されたGainに応じた絞り設定値の算出が行われる。Vmax2がVmaxより大きくないと判定された場合には(ステップS85のNO)、当該算出された露光時間設定値及び絞り設定値が光電変換特性情報記憶部516に記憶され、露光時間設定値及び絞り設定値のデジタルカメラ1aに対する設定が行われる(ステップS86)。
なお、上記図42、43に示すフローにおいては、各制御パラメータを算出し、当該算出ごとに各制御パラメータの設定を行う構成となっているが、図44、45に示すフローの通り、全ての制御パラメータを算出してから、当該各制御パラメータの設定を行う構成であってもよい。すなわち、先ず図44において、算出優先順位設定部5111aに露光量制御パラメータ算出優先モード(絞り制御及び露光時間制御、ダイナミックレンジ制御の順となる制御優先順位)が設定され(ステップS91)、上記図42に示すステップS72と同様に、露光時間設定値及び絞り設定値の算出が行われる(ステップS92)。次に、上記ステップS74、S75と同様に、光電変換特性設定値の算出が行われ(ステップS93)、出力レベル判定部530によって出力レベルVth2がVlimit以上であるか否かが判定され、Vth2がVlimit以上でないと判定された場合には(ステップS94のNO)、ステップS93に戻って、Vth2を所定出力レベル分だけ引き上げる演算が行われるとともに、当該補正されたVth2に応じた光電変換特性設定値の算出が行われる。そして、Vth2がVlimit以上であると判定された場合には(ステップS94のYES)、ステップS92及びS93(ステップS94のNO)において算出された露光時間設定値及び絞り設定値、並びに光電変換特性設定値が光電変換特性情報記憶部516に記憶され、当該各設定値のデジタルカメラ1aに対する設定が行われる(ステップS95)。
次に図45においては、算出優先順位設定部5111aにダイナミックレンジ制御パラメータ算出優先モード(ダイナミックレンジ制御、絞り制御及び露光時間制御の順となる制御優先順位)が設定され(ステップS101)、上記図43に示すステップS82と同様に、光電変換特性設定値の算出が行われる(ステップ102)。次に、上記ステップS84、S85と同様に、露光時間設定値及び絞り設定値の算出が行われ(ステップS103)、出力レベル判定部530によって出力レベルVmax2が飽和出力レベルVmaxより大きいか否かが判定され、Vmax2がVmaxより大きいと判定された場合には(ステップS104のYES)、ステップS103に戻って、Vmax2を所定出力レベル分だけ引き下げる演算が行われるとともに、当該補正されたGain(絞りの増幅率Gs)に応じた絞り設定値の算出が行われる。そして、Vmax2がVmaxより大きくないと判定された場合には(ステップS104のNO)、ステップS102及びS103(ステップS104のYES)において算出された光電変換特性設定値、並びに露光時間設定値及び絞り設定値が光電変換特性情報記憶部516に記憶され、当該各設定値のデジタルカメラ1aに対する設定が行われる(ステップS105)。
第2の実施形態においては、上記<1>の露光量制御パラメータ算出優先モード、<2>のダイナミックレンジ制御パラメータ算出優先モードのいずれにおいても、露光量制御パラメータ算出(絞り制御パラメータ算出及び露光時間制御パラメータ算出)、及びダイナミックレンジ制御パラメータ算出という2段階(或いは、絞り、露光時間、ダイナミックレンジ制御パラメータ算出の3段階)の演算により撮像に用いるべき光電変換特性を決定しているので、光電変換特性決定までの処理を簡単で速やかに行うことができる。なお、上記第2の実施形態では、優先する制御を先に実行するようにしているが、必ずしもこの限りではなく、例えば、以下のような変形例を採用すれば、優先しない方の制御を先に行うこともできる。(変形例1’)露光量制御(絞り制御、露光時間制御)→ダイナミックレンジ制御の順序で制御を行うが、ダイナミックレンジ制御において変曲点の規制を設けないようにする。このようにすると、結果的にダイナミックレンジ制御を優先することができる。(変形例2’)ダイナミックレンジ制御→露光量制御(絞り制御、露光時間制御)の順序で制御を行うが、露光量制御において飽和出力レベルの規制を設けないようにする。このようにすると、結果的に露光量制御を優先することができる。
以上のように、第1の実施形態における撮像装置(デジタルカメラ1)によれば、被写体の輝度情報に基づいて評価値検出部405によりAE評価値が検出され、このAE評価値を用いて、光電変換特性に基づき、露光量制御パラメータ算出部511(露光量制御手段)による露光量制御が行われると共にダイナミックレンジ制御パラメータ算出部512(ダイナミックレンジ制御手段)によるダイナミックレンジ制御が行われることによってAE制御が行われる。算出優先順位設定部5111には、これら露光量制御パラメータ算出部511による露光量制御と、ダイナミックレンジ制御パラメータ算出部512によるダイナミックレンジ制御とのいずれかを優先させることを示す優先順位(の情報)が設定される。このように、デジタルカメラ1が備える撮像センサ30の光電変換特性と関連付けて、露光量制御パラメータ算出部511による露光量制御とダイナミックレンジ制御パラメータ算出部512によるダイナミックレンジ制御とが行われると共に、当該優先順位に応じた露光量制御とダイナミックレンジ制御とによるデジタルカメラ1のAE制御が可能となるため、被写体輝度に応じて、被写体を最適な露光状態で且つ所定のダイナミックレンジを確保した状態で撮像することができ、さらには、撮影における各状況に応じて、露光量(制御)かダイナミックレンジ(制御)かのいずれかに重きを置いて露出制御を行いたいといった場合にも対応することができる、より自由度の高いAE制御が可能なデジタルカメラ1を提供することができる。
また、算出優先順位設定部5111に、露光量制御パラメータの算出を優先させる優先順位の情報が設定され、この設定に基づいて、先ず露光量制御パラメータ算出部511による露光量制御パラメータの算出が優先して行われ、この次にダイナミックレンジ制御パラメータ算出部512によるダイナミックレンジ制御パラメータの算出が行われるため、露光量(制御)により重きを置きつつ、すなわち所望の露光量の確保を優先しつつ、所要の(例えば最低限必要な)ダイナミックレンジの確保も行うといったAE制御が可能となる。
また、算出優先順位設定部5111に、ダイナミックレンジ制御パラメータの算出を優先させる優先順位の情報が設定され、この設定に基づいて、先ずダイナミックレンジ制御パラメータ算出部512によるダイナミックレンジ制御パラメータの算出が優先して行われ、この次に露光量制御パラメータ算出部511による露光量制御パラメータの算出が行われるため、ダイナミックレンジ(制御)により重きを置きつつ、すなわち所望のダイナミックレンジの確保を優先しつつ、所要の(例えば最低限必要な)露光量の確保も行うといった露出制御が可能となる。
また、先ず線形特性領域において露光量設定用の被写体輝度Lt1に対する撮像センサ30の出力レベルが、所定の目標出力レベルVtargetとなるように露光量の制御が行われるため、低輝度の被写体でも高コントラストな画像信号が得られる線形特性領域での撮像における所望の露光量を優先して確保することができると共に、ダイナミックレンジ設定用の被写体輝度Lm20(例えば最大被写体輝度)に対する撮像センサ30の出力レベルが飽和出力レベルVmaxとなるように、すなわち被写体輝度(被写体輝度の範囲)に対するセンサ出力が撮像センサ30の出力レベル範囲に入るように、所要のダイナミックレンジ(被写体輝度の範囲)の確保を図ることができる。
また、ダイナミックレンジ制御パラメータ算出部512によって、変曲点出力レベルVth2が比較用出力レベルVlimitを下回らない(以上となる)ようにダイナミックレンジ制御パラメータの算出が行われるため、露光量制御を行った後の(露光量制御パラメータ算出後の)、ダイナミックレンジ制御(ダイナミックレンジ制御パラメータの算出)によって、先の露光量制御において優先的に確保した露光量が損なわれてしまう、すなわち、上記の露光量設定用の被写体輝度Lt1に対する撮像センサ30の出力レベルが目標出力レベルVtargetとなる露光量が確保できなくなるといったことを防止でき、露光量制御を優先させた露出制御を確実に行うことができる。
また、先ずダイナミックレンジ設定用の被写体輝度Lm20に対する撮像センサ30の出力レベルが所定の仮飽和出力レベルVmax1となるように、すなわち被写体輝度(被写体輝度の範囲)に対するセンサ出力が撮像センサ30の出力レベル範囲に入るように、所望のダイナミックレンジを優先して確保することができると共に、線形特性領域において露光量設定用の被写体輝度Lt1に対する撮像センサ30の出力レベルが所定の目標出力レベルVtargetとなるように露光量の制御が行われ、低輝度の被写体でも高コントラストな画像信号が得られる線形特性領域での撮像における所要の露光量の確保を図ることができる。
また、露光量制御パラメータ算出部511によって、比較用出力レベルVmax2が飽和出力レベルVmaxを上回らない(以下となる)ように露光量制御パラメータの算出が行われるため、ダイナミックレンジ制御を行った後の(ダイナミックレンジ制御パラメータ算出後の)、露光量制御(露光量制御パラメータの算出)によって、先のダイナミックレンジ制御によって優先的に確保したダイナミックレンジが損なわれて(狭くなって)しまう、すなわち、ダイナミックレンジ設定用の被写体輝度Lm20に対する撮像センサ30の出力レベルが飽和出力レベルVmaxをオーバーしてしまい、撮像センサ30の出力レベル範囲を最大限利用したより広いダイナミックレンジの確保ができなくなるといったことを防止でき、ダイナミックレンジ制御を優先させた露出制御を確実に行うことができる。
また、本発明の第2の実施形態における撮像装置(デジタルカメラ1a)によれば、撮像センサ30aが対数特性領域での光電変換を露光時間に依存せず実行することが可能に構成され、露光量制御パラメータ算出部511a(露光量制御手段)が備える絞り制御パラメータ算出部5113(絞り制御手段)によって、絞り22に対する絞り開口面積の調整に関する絞り設定値に基づいて露光量が制御され、また露光量制御パラメータ算出部511aが備える露光時間制御パラメータ算出部5112(露光時間制御手段)によって、撮像センサ30aに対する露光時間の調整に関する露光時間設定値に基づいて露光量が制御される。そして算出優先順位設定部5111a(優先順位設定手段)によって、絞り制御パラメータ算出部5113による絞り制御パラメータの算出及び/又は露光時間制御パラメータ算出部5112による露光時間制御パラメータの算出を示す露光量制御パラメータの算出を優先させる優先順位が設定され、全体制御部50a(露出制御手段)によって、それぞれ独立してAE制御可能に構成された絞り制御手段及び/又は露光時間制御手段、並びにダイナミックレンジ制御手段によるAE制御において、算出優先順位設定部5111aにより設定された優先順位に基づき、順に、前記絞り制御パラメータの算出及び/又は露光時間制御パラメータの算出、前記ダイナミックレンジ制御パラメータの算出が行われる。
このように、撮像センサ30aの(対数特性領域での光電変換が露光時間に依存せず実行されるという)光電変換特性と関連付けて、所定の優先順位に基づき、順に、絞り制御パラメータの算出及び/又は露光時間制御パラメータの算出、ダイナミックレンジ制御パラメータの算出が行われるため、絞り制御及び/又は露光時間制御による露光量制御に重きを置いてAE制御を行いたいといった場合にも対応することができ、さらに当該ダイナミックレンジ制御より優先させた露光量制御においても、絞り制御及び/又は露光時間制御に対する優先順位を設定することができ、より自由度の高い、また当該優先順位に応じた効率の良いAE制御が可能となる撮像装置を提供することができる。
また、ダイナミックレンジ制御パラメータ算出部512a(ダイナミックレンジ制御手段)によって、変曲点出力レベル(Vth2;図38参照)が比較用出力レベル(Vlimit)以上となるようにダイナミックレンジ制御パラメータの算出が行われるため、所定の優先順位に応じて、順に、絞り制御及び/又は露光時間制御、ダイナミックレンジ制御の各制御が行われる場合であっても、露光量制御を行った後の(絞り制御パラメータ及び/又は露光時間制御パラメータ算出後の)、ダイナミックレンジ制御(ダイナミックレンジ制御パラメータの算出)によって、先の露光量制御において優先的に確保した露光量が損なわれてしまう、すなわち、露光量設定用の被写体輝度(Lt1)に対する撮像センサ30aの出力レベルが目標出力レベル(Vtarget)となる露光量が確保できなくなるといったことを防止でき、露光量制御を優先させたAE制御を確実に行うことができる。
また、撮像センサ30aの(対数特性領域での光電変換が露光時間に依存せず実行されるという)光電変換特性と関連付けて、所定の優先順位に基づき、順に、ダイナミックレンジ制御パラメータの算出、絞り制御パラメータの算出及び/又は露光時間制御パラメータの算出が行われるため、ダイナミックレンジ制御に重きを置いてAE制御を行いたいといった場合にも対応することができ、さらに当該ダイナミックレンジ制御より後に実行する露光量制御においても、絞り制御及び/又は露光時間制御に対する優先順位を設定することができ、より自由度の高い、また当該優先順位に応じた効率の良いAE制御が可能となる撮像装置を提供することができる。
また、露光量制御パラメータ算出部511a(露光量制御手段)によって、比較用出力レベル(Vmax2;図40参照)が飽和出力レベル(Vmax)以下となるように露光量制御パラメータの算出が行われるため、所定の優先順位に応じて、順に、ダイナミックレンジ制御、絞り制御及び/又は露光時間制御の各制御が行われる場合であっても、ダイナミックレンジ制御を行った後の(ダイナミックレンジ制御パラメータの算出後の)、露光量制御(絞り制御パラメータ及び/又は露光時間制御パラメータ算出)によって、先のダイナミックレンジ制御において優先的に確保したダイナミックレンジが損なわれてしまう、すなわち、ダイナミックレンジ設定用の被写体輝度(Lm20)に対する撮像センサ30aの出力レベルが飽和出力レベル(Vmax)をオーバーしてしまい、撮像センサ30aの出力レベル範囲を最大限利用したより広いダイナミックレンジの確保ができなくなるといったことを防止でき、ダイナミックレンジ制御を優先させたAE制御を確実に行うことができる。
さらに、撮像センサ30aにフローティングディフュージョン(FD)とリセットバイアス印加用のトランジスタ(トランジスタT11)とが備えられ、該トランジスタのゲート電圧が中電位(Mid;図32(a)参照)に設定されることで線形特性領域及び対数特性領域からなる光電変換特性を有する信号が出力されるため、簡易な構成による撮像センサ30aを用いて、線形特性領域及び対数特性領域を有する光電変換特性を得ることが可能となると共に、AE制御に関してそれぞれ独立した制御であり(各制御別に異なる光電変換特性の変化が得られる)かつ制御の優先順位が設定された、絞り制御及び/又は露光時間制御、並びにダイナミックレンジ制御によるAE制御を実現することが可能となる。
なお、本発明は、以下の態様をとることができる。
(A)上記第1の実施形態では、撮像センサ30の各画素において、PチャンネルMOSFETを採用しているが、NチャンネルMOSFETを採用してもよい。また、上記第2の実施形態では、撮像センサ30aの各画素において、NチャンネルMOSFETを採用しているが、PチャンネルMOSFETを採用してもよい。
(B)上記第1及び第2の実施形態について、これら各場合と同様に動作する(第1の実施形態では、例えば露光量制御としての絞り制御及び露光時間制御に応じて光電変換特性全体が変化する。第2の実施形態では、例えば絞り制御により光電変換特性全体が変化するものの、露光時間制御については、線形特性領域では積分効果があり該特性が露光時間に応じて変化するが、対数特性領域では積分効果がなく露光時間に依らず該特性が固定される。ただし、各実施形態も変曲点位置の制御に基づくダイナミックレンジ制御が行われる)撮像センサであれば、いずれの撮像センサであってもよい。
(C)上記第1(第2)の実施形態では、撮像センサ30(撮像センサ30a)によって被写体輝度を検出しているが、撮像センサ30(撮像センサ30a)とは別に設けた測光素子(被写体の輝度を複数の受光素子にて分割して測光する素子)等を用いて被写体輝度(AE評価値)を検出するようにしてもよい。ただし、機構の簡略化の観点からは撮像センサ30(撮像センサ30a)により撮像される実際の撮影画像から得られる画像信号に基づいて被写体輝度(AE評価値)を検出することが望ましい。
(D)上記第1(第2)の実施形態では、シャッタ23及び撮像センサ30(撮像センサ30a)の構成を備えて露光時間を制御する構成であるが、シャッタ23及び撮像センサ30(撮像センサ30a)のいずれか一方のみの構成を備えて露光時間を制御する構成としてもよい。
(E)上記第1の実施形態では、露光時間T2及び絞りの開口面積S2をLUTによるデータ変換することにより得られた撮像センサ30やシャッタ23、絞り22に対する設定値を、それぞれ露光時間設定値及び絞り設定値としているが、増幅率Gt、Gs(又は露光時間T2、絞りの開口面積S2)を、それぞれ露光時間設定値及び絞り設定値としてもよい。同様に、変曲点の出力レベルVth2(又はΔVth)を光電変換特性設定値としてもよい。第2の実施形態の場合もこれと同様、増幅率Gt、Gsを、それぞれ露光時間設定値及び絞り設定値としてもよいし、変曲点の出力レベルを光電変換特性設定値としてもよい。
(F)上記第1及び第2の実施形態では、評価値算出用の画像データとしてRGB原色データを用いているが、その他の画像データ、例えば補色画像データ、モノクロ輝度データ等を用いてもよい。
(G)撮像領域330の分割(領域分割)は、分割測光方式による分割でなくともよく、例えばスポット測光方式或いは中央部部分測光方式等、いずれの方式によってもよい。また、撮像領域330の主被写体領域331及び周辺被写体領域332のブロック構成は、図15に示すような構成でなくともよい。また、当該ブロック毎に評価値を算出しているが、主被写体領域331と周辺被写体領域332との2つの領域(2ブロック;各領域を1ブロックとする)における評価値を算出する構成であってもよい。また、撮像領域330を主被写体領域331及び周辺被写体領域332といった2つの領域に分けるのではなく、3つ以上の領域に分け、当該各領域(のブロック)での輝度情報から評価値を算出し、これに基づくAE制御を行う構成としてもよい。或いは撮像領域を分けずに当該1つの撮像領域に対して同様に評価値を算出してAE制御を行う構成としてもよい、さらに、撮像領域330の上述のような各領域(ブロック)の領域設定を、ユーザの操作指示に応じて随時行う構成であってもよい。
(H)上記第2の実施形態では、[A]、[B]、[C]による絞りの制御、ダイナミックレンジの制御、及び露光時間の制御(設定)を行うことでAE制御が行われる構成となっているが、これに限らず、[A]、[B]、[C]における何れか1つの制御(設定)によってAE制御が行われる構成であっても構わない。すなわち、
[A]:絞り制御(設定)のみによって、露光量設定用の被写体(主被写体)輝度(例えば図33に示す輝度Lt1)が線形特性領域において、所望の出力レベル(Vtarget)となるように制御する。ただし、この場合、変曲点の出力レベル(Vth)は、所望の出力レベル(Vtarget)よりも高いレベルに設定されている。なお、この[A]の絞り制御のみによるAE制御は、全体的に露光量を制御したいとき、つまりダイナミックレンジを変化させて画像全体の明るさを調整しつつ線形特性領域(低輝度画像)の調整(例えばコントラスト調整)を行いたいような場合に有効となる。
[B]:ダイナミックレンジ制御(設定)のみによって、露光量設定用の被写体(主被写体)輝度が線形特性領域にて撮像されるように制御する(例えば図35において輝度Lt10をこの露光量設定用の被写体輝度とすると、被写体輝度Lt10が線形特性領域に入るように光電変換特性の変曲点位置をVth2からVth1へ移動させる制御を行う)。
なお、露光量設定用の被写体輝度が対数特性領域にある場合には、前記図19での説明と同様、所定のLUTを用いて当該対数特性領域を線形特性領域へ変換し、この変換した線形特性領域における、前記露光量設定用の被写体輝度に対するセンサ出力値を算出し、当該算出したセンサ出力値よりも高いレベルの変曲点出力レベルとなるよう光電変換特性設定を行う。なお、この[B]のダイナミックレンジ制御のみによるAE制御は、線形特性領域(低輝度画像のGain)は固定(維持)したままで、ダイナミックレンジを調整したいような場合に有効となる。
[C]:露光時間制御(設定)のみによって、露光量設定用の被写体(主被写体)輝度が線形特性領域において、所望の出力レベル(Vtarget)となるように制御する。ただし、この場合、変曲点の出力レベル(Vth)が所望の出力レベル(Vtarget)を下回らないよう制御する。なお、この[C]の露光時間制御のみによるAE制御は、ダイナミックレンジは固定(維持)したままで、線形特性領域(低輝度画像)を調整したいような場合に有効となる。
(I)上記(H)の変形態様に関し、各優先モードにおける露光量制御を、[A]、[C]における何れか一方のみの制御によって行ってもよい。具体的には、露光量制御パラメータ算出優先モードにおいて、順に[A]、[B]と制御してもよいし([C]の制御は実施しない)、順に[C]、[B]と制御してもよい([A]の制御は実施しない)。一方、ダイナミックレンジ制御パラメータ算出優先モードにおいては、同様に、順に[B]、[A]と制御してもよいし([C]の制御は実施しない)、順に[B]、[C]と制御してもよい([A]の制御は実施しない)。