JP4374515B2 - Imaging apparatus and imaging method - Google Patents

Imaging apparatus and imaging method Download PDF

Info

Publication number
JP4374515B2
JP4374515B2 JP2000243085A JP2000243085A JP4374515B2 JP 4374515 B2 JP4374515 B2 JP 4374515B2 JP 2000243085 A JP2000243085 A JP 2000243085A JP 2000243085 A JP2000243085 A JP 2000243085A JP 4374515 B2 JP4374515 B2 JP 4374515B2
Authority
JP
Japan
Prior art keywords
exposure
value
short
luminance
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000243085A
Other languages
Japanese (ja)
Other versions
JP2002057939A (en
Inventor
大輔 熊谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000243085A priority Critical patent/JP4374515B2/en
Publication of JP2002057939A publication Critical patent/JP2002057939A/en
Application granted granted Critical
Publication of JP4374515B2 publication Critical patent/JP4374515B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は撮像装置及び撮像方法に関し、例えば監視用のビデオカメラに適用して好適なものである。
【０００２】
【従来の技術】
従来、異なる露光量で撮像された２種類の画像を合成してダイナミックレンジの広い画像（明るい領域から暗い領域まで表現された画像）を生成するいわゆる広ダイナミックレンジを実現したビデオカメラがある。
【０００３】
このビデオカメラは、露光量の異なる２種類の画像を撮像する方法として、例えば撮像素子として固体撮像素子（ＣＣＤ：Charge Coupled Device ）を用い、当該ＣＣＤが有する機能である電子シャッタによって露光時間を変化させることにより、時分割的に２種類の画像を撮像する方法を採用している。
【０００４】
この方法では、任意の１フィールド期間において、通常の撮像と同様に電荷の蓄積及び読み出しを行った後、垂直ブランキング期間を利用して再度電荷の蓄積及び読み出しを行うことにより、１フィールド期間内に露光時間の異なる２種類の画像すなわち長時間露光画像と短時間露光画像を得るようになされている。
【０００５】
このようにしてこのビデオカメラは、被写体のうち暗い部分の再現性が高い長時間露光画像を得ると共に、当該被写体のうち明るい部分の再現性が高い短時間露光画像を得、この長時間露光画像と短時間露光画像を合成することにより、ダイナミックレンジの広い合成画像を生成する。
【０００６】
【発明が解決しようとする課題】
ところで一般的にビデオカメラにおいては、撮像対象の被写体に対応した自然な画像を生成することを目的として、絞り機構によって入射光量を調整することによりＣＣＤに到達する光量を制御する露出制御を行うようになされている。
【０００７】
その際、上述の広ダイナミックレンジを実現したビデオカメラにおいては、撮像された長時間露光画像及び短時間露光画像のうち長時間露光画像から得られる露出状態のみを基に露出制御を行う方法が考えられているが、この方法では、撮像対象の被写体に対応する自然な画像を得るという点においては未だ不十分であった。
【０００８】
本発明は以上の点を考慮してなされたもので、撮像対象に対応する自然な合成画像を生成し得る撮像装置及び撮像方法を提案しようとするものである。
【０００９】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、被写体から入射される入射光の光量を調整する絞り機構を開閉動作する開閉動作手段と、被写体から受光し画像を互いに露光時間が異なる長時間露光時間及び短時間露光時間で撮像する撮像手段と、長時間露光時間で撮像した長時間露光画像と短時間露光時間で撮像した短時間露光画像とを生成する画像生成手段と、長時間露光画像及び短時間露光画像を合成することにより１枚の合成画像を生成する合成画像生成手段と、短時間露光画像及び短時間露光画像からそれぞれ輝度信号を抽出することにより長時間露光輝度信号及び短時間露光輝度信号を生成する輝度信号生成手段と、長時間露光輝度信号の１フィールド期間中における各画素の輝度値の中から最小の長時間露光ボトム値を検出する長時間露光ボトム値検出手段と、短時間露光輝度信号の１フィールド期間中における各画素の輝度値の中から最大の短時間露光ピーク値を検出する短時間露光ピーク値検出手段と、長時間露光輝度信号のうち各画素の輝度値を１フィールド期間積分することにより長時間露光輝度信号積分値を算出する長時間露光輝度信号積分値算出手段と、短時間露光輝度信号のうち各画素の輝度信号を１フィールド期間積分することにより短時間露光輝度信号積分値を算出する短時間露光輝度信号積分値算出手段と、長時間露光輝度信号における画像の諧調を視覚的に認識することが可能な輝度値のうち最小輝度値を示す黒つぶれレベル、短時間露光輝度信号における画像の諧調を視覚的に認識することが可能な輝度値のうち最大輝度値を示す白つぶれレベル及び長時間露光画像の露光時間と短時間露光画像の露光時間との比を示す露光比を入力する入力手段と、入力手段から入力された白つぶれレベルと露光比とを乗算することにより得られる値を黒つぶれレベルで除算し、除算することにより得られる値に対して対数演算を施すことにより、露光制御を行なう際に目標となる目標ダイナミックレンジを算出する目標ダイナミックレンジ算出手段と、短時間露光ピーク値検出手段によって検出された短時間露光ピーク値と露光比とを乗算することにより得られる値を長時間露光ボトム値で除算し、除算して得られる値に対し対数演算を施すことにより、撮像された被写体のダイナミックレンジを算出する被写体ダイナミックレンジ算出手段と、長時間露光ボトム値検出手段によって検出された長時間露光ボトム値を黒つぶれレベルで除算することにより得られる値に対して対数演算を施すことにより、画像の諧調を視覚的に認識可能な最小輝度値と被写体の最小輝度値とのレンジ差を示す黒つぶれエラー量を算出する黒つぶれエラー量算出手段と、短時間露光ピーク値を白つぶれレベルで除算することにより得られる値に対して対数演算を施すことにより、画像の諧調を視覚的に認識可能な最大輝度値と被写体の最大輝度値とのレンジ差を示す白つぶれエラー量を算出する白つぶれエラー量算出手段と、短時間露光輝度信号積分値と露光比とを乗算することにより得られる値と長時間露光輝度信号とを加算することにより得られる値を１フィールド当たりの信号検出回数値を２倍した値で除算することにより被写体の輝度値を平均化した被写体輝度平均値を算出する被写体輝度平均値算出手段と、目標ダイナミックレンジが被写体ダイナミックレンジよりも大きいか否かを判断する判断手段と、判断手段によって目標ダイナミックレンジが被写体ダイナミックレンジよりも大きいと判断した場合、被写体輝度平均値をユーザが所望する輝度値に一致させるように絞り開閉動作手段を制御し、被写体ダイナミックレンジが目標ダイナミックレンジよりも大きいと判断した場合、黒つぶれエラー量と白つぶれエラー量との差分を算出することにより得られる差分値がゼロとなるように絞り開閉動作を制御する露出制御手段とを設けることにより、被写体のダイナミックレンジが目標ダイナミックレンジを越えていても黒つぶれレベルと白つぶれレベルとを設定することによって被写体の長時間露光ボトム値と短時間露光ピーク値が黒つぶれレベル値と白つぶれレベル値から大きく外れないように絞り機構開閉して露出を制御できるので、被写体ダイナミックレンジに応じた露出制御を行なうことができる。
【００１０】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１１】
図１において、１は全体として監視用のビデオカメラの構成を示し、被写体側から入射される入射光Ｌ１は、絞り機構部２に入射され、当該絞り機構部２によってその光量が調節された後、固体撮像素子（ＣＣＤ：Charge Coupled Device）３に入射される。
【００１２】
ＣＣＤ３は、受光した入射光Ｌ１を光電変換することにより時分割的に露光量の異なる２枚の画像を撮像するようになされている。すなわちＣＣＤ３は、任意の１フィールド期間において、通常の撮像と同様に電荷の蓄積及び読み出しを行った後、垂直ブランキング期間を利用して再度電荷の蓄積及び読み出しを行うことにより、１フィールド期間内に露光時間の異なる２枚の画像を生成するようになされている。
【００１３】
このようにしてＣＣＤ３は、長時間露光画像Ｓ１Ａ及び短時間露光画像Ｓ１Ｂを生成し、これらを信号処理回路４に送出する。信号処理回路４は、長時間露光画像Ｓ１Ａと短時間露光画像Ｓ１Ｂをそのまま検出部５に送出しながら、これら長時間露光画像Ｓ１Ａと短時間露光画像Ｓ１Ｂを合成することにより、ダイナミックレンジの広い１枚の合成画像Ｓ２を生成し、これを信号出力回路６に送出する。
【００１４】
その際、信号処理回路６は、長時間露光画像Ｓ１Ａと短時間露光画像Ｓ１Ｂを合成する方法として、例えば撮像された露光量の比に応じた係数を各画像に積算した後、しきい値処理によって各画像を切り換えて出力することにより合成画像Ｓ２を生成する方法を採用している。
【００１５】
信号出力回路６は、合成画像Ｓ２に対して所定の画像処理を施すことによりＮＴＳＣ（National Television System）方式のテレビジョン信号Ｓ３に変換し、これを外部のモニタ（図示せず）に出力し表示する。
【００１６】
ところで検出部５は、図２に示すように、信号処理回路４から供給される長時間露光画像Ｓ１Ａ及び短時間露光画像Ｓ１Ｂを信号分離回路１０に入力する。信号分離回路１０は、長時間露光画像Ｓ１Ａ及び短時間露光画像Ｓ１Ｂからそれぞれ輝度信号を分離することにより長時間露光輝度信号Ｓ１０Ａ及び短時間露光輝度信号Ｓ１０Ｂを得、このうち長時間露光輝度信号Ｓ１０Ａをボトム値検出回路１１Ａ及び積分回路１２Ａに送出すると共に、短時間露光輝度信号Ｓ１０Ｂをピーク値検出回路１１Ｂ及び積分回路１２Ｂに送出する。
【００１７】
ボトム値検出回路１１Ａは、供給された長時間露光輝度信号Ｓ１０Ａの１フィールド期間中における各画素の輝度値の中から最小のものを検出し、これを長時間露光ボトム値Ｓ１１Ａとして演算部１４に送出する。
【００１８】
一方、ピーク値検出回路１１Ｂは、供給された短時間露光輝度信号Ｓ１０Ｂの１フィールド期間中における各画素の輝度値の中から最大のものを検出し、これを短時間露光ピーク値Ｓ１１Ｂとして演算部１４に送出する。
【００１９】
また積分回路１２Ａは、供給された長時間露光輝度信号Ｓ１０Ａのうちの各画素の輝度値を１フィールド期間積分（すなわち加算）し、その結果得た長時間露光輝度信号積分値Ｓ１２Ａを演算部１４に送出する。
【００２０】
一方、積分回路１２Ｂは、供給された短時間露光輝度信号Ｓ１０Ｂのうちの各画素の輝度値を１フィールド期間積分し、その結果得た短時間露光輝度信号積分値Ｓ１２Ｂを演算部１４に送出する。
【００２１】
ところでこのビデオカメラ１においては、ユーザが入力部１５を操作することにより設定した種々のパラメータを演算部１４に入力するようになされており（図１）、このパラメータとしては次のようなものがある。
【００２２】
すなわち、検出部５で得られる長時間露光輝度信号Ｓ１０Ａにおける画像の階調を視覚的に認識することが可能な輝度値のうちの最小値を示す黒つぶれレベルと、検出部５で得られる短時間露光輝度信号Ｓ１０Ｂにおける画像の階調を視覚的に認識することが可能な輝度値のうちの最大値を示す白つぶれレベルと、長時間露光画像Ｓ１Ａの露光時間に対する短時間露光画像Ｓ１Ｂの露光時間の比（すなわち長時間露光画像Ｓ１Ａの露光時間を短時間露光画像Ｓ１Ｂの露光時間で除算した値）を示す露光比とがある。
【００２３】
演算部１４は、図３に示すように入力部１５において設定された黒つぶれレベルＳ１５Ａをダイナミックレンジ演算回路１６Ａ及び１７Ａに入力し、白つぶれレベルＳ１５Ｂを乗算器１８Ａ及びダイナミックレンジ演算回路１７Ｂに入力し、さらに露光比Ｓ１６を乗算器１８Ａ、１８Ｂ及び１９に入力する。
【００２４】
また演算部１４は、検出部５から供給される長時間露光ボトム値Ｓ１１Ａをダイナミックレンジ演算回路１６Ｂ及び１７Ａに入力し、短時間露光ピーク値Ｓ１１Ｂを乗算器１８Ｂ及びダイナミックレンジ演算回路１７Ｂに入力する。
【００２５】
さらに演算部１４は、検出部５から供給される長時間露光輝度信号積分値Ｓ１２Ａを加算器２０に入力し、短時間露光輝度信号積分値Ｓ１２Ｂを乗算器１９に入力する。
【００２６】
乗算器１８Ａは、白つぶれレベルＳ１５Ｂと露光比Ｓ１６を乗算し、その乗算結果をダイナミックレンジ演算回路１６Ａに送出する。ダイナミックレンジ演算回路１６Ａは、白つぶれレベルＳ１５Ｂに露光比Ｓ１６を乗算した値を黒つぶれレベルＳ１５Ａで除算した後、対数演算を行うことにより、露出制御を行う際に目標となるダイナミックレンジを算出し、これを目標ダイナミックレンジＳ２０Ａとして露出制御部２５に送出する。
【００２７】
乗算器１８Ｂは、短時間露光ピーク値Ｓ１１Ｂと露光比Ｓ１６を乗算し、その乗算結果をダイナミックレンジ演算回路１６Ｂに送出する。ダイナミックレンジ演算回路１６Ｂは、短時間露光ピーク値Ｓ１１Ｂに露光比Ｓ１６を乗算した値を長時間露光ボトム値Ｓ１１Ａで除算した後、対数演算を行うことにより、実際に撮像された被写体のダイナミックレンジを算出し、これを被写体ダイナミックレンジＳ２０Ｂとして露出制御部２５に送出する。
【００２８】
ダイナミックレンジ演算回路１７Ａは、長時間露光ボトム値Ｓ１１Ａを黒つぶれレベルＳ１５Ａで除算した後、対数演算を行うことにより、画像の階調を視覚的に認識することが可能な輝度値のうちの最小値と実際に撮像された被写体の輝度値のうちの最小値とのレンジ差を表すダイナミックレンジを算出し、これを黒つぶれエラー量Ｓ２１Ａとして露出制御部２５に送出する。
【００２９】
ダイナミックレンジ演算回路１７Ｂは、短時間露光ピーク値Ｓ１１Ｂを白つぶれレベルＳ１５Ｂで除算した後、対数演算を行うことにより、画像の階調を視覚的に認識することが可能な輝度値のうちの最大値と実際に撮像された被写体の輝度値のうちの最大値とのレンジ差を表すダイナミックレンジを算出し、これを白つぶれエラー量Ｓ２１Ｂとして露出制御部２５に送出する。
【００３０】
乗算器１９は、短時間露光輝度信号積分値Ｓ１２Ｂと露光比Ｓ１６を乗算し、その乗算結果を加算器２０に送出する。加算器２０は、長時間露光輝度信号積分値Ｓ１２Ａと短時間露光輝度信号積分値Ｓ１２Ｂに露光比Ｓ１６を乗算した値とを加算し、その加算結果を除算器２６に送出する。
【００３１】
ところで乗算器２７には、検出部５における１フィールドあたりの信号検出回数値（すなわち画素の総数）が入力されるようになされており、乗算器２７は、当該検出部５の１フィールド当たりの信号検出回数値に２を乗算し、その乗算結果を除算器２６に送出する。
【００３２】
除算器２６は、長時間露光輝度信号積分値Ｓ１２Ａと短時間露光輝度信号積分値Ｓ１２Ｂに露光比Ｓ１６を乗算した値との和を、検出部５の１フィールド当たりの信号検出回数値を２倍した値で除算することにより、被写体の輝度値の平均値を算出し、これを被写体平均値Ｓ２２として露出制御部２５に送出する。
【００３３】
露出制御部２５は、演算部１４から目標ダイナミックレンジＳ２０Ａ及び被写体ダイナミックレンジＳ２０Ｂが供給されると、図４に示す露出制御手順ＲＴ１を実行する。すなわち図４において露出制御部２５は、露出制御手順ＲＴ１に入ると、ステップＳＰ１に移って目標ダイナミックレンジＳ２０Ａが被写体ダイナミックレンジＳ２０Ｂより大きいか否か判断する。
【００３４】
この結果、ステップＳＰ１において肯定結果が得られると、このことは実際に撮像された被写体のダイナミックレンジが階調を視覚的に認識可能な画像のダイナミックレンジより小さいことを表しており、このとき露出制御部２５はステップＳＰ２に移って、広ダイナミックレンジを実現したビデオカメラでない通常のビデオカメラと同様に、演算部１４から供給された被写体平均値Ｓ２２を、入力部１５においてユーザの入力操作に応じて設定された収束目標値Ｓ２５すなわちユーザが所望する輝度値に一致させるように、絞り機構部２を駆動するための露出駆動情報Ｓ２６を生成し、これを露出駆動部３０に送出する。
【００３５】
これに対してステップＳＰ１において否定結果が得られると、このことは実際に撮像された被写体のダイナミックレンジが階調を視覚的に認識可能な画像のダイナミックレンジより大きいこと、すなわち撮像された被写体の画像を全てにわたって階調の認識をすることができるような露出を得ることが不可能であることを表しており、このとき露出制御部２５はステップＳＰ３に移って、演算部１４から供給された黒つぶれエラー量Ｓ２１Ａと白つぶれエラー量Ｓ２１Ｂの差分を算出する。
【００３６】
そして露出制御部２５は、続くステップＳＰ４に移って、黒つぶれエラー量Ｓ２１Ａと白つぶれエラー量Ｓ２１Ｂの差分が０になるように、絞り機構部２を駆動するための露出駆動情報Ｓ２６を生成し、これを露出駆動部３０に送出する。このように露出制御部２５は、長時間露光ボトム値Ｓ１１Ａと短時間露光ピーク値Ｓ１１Ｂが、ともに黒つぶれレベルＳ１５Ａと白つぶれレベルＳ１５Ｂから大きく外れないように露出制御を行い、撮像された被写体の画像に黒くつぶれた領域と白くつぶれた領域とが均等に発生するようにしている。このようにして露出制御部２５は、１フィールド毎に露出制御を実行し、現フィールドの露出制御を実行した場合には、ステップＳＰ１に戻って上述の処理を繰り返すことにより、次のフィールドの露出制御を実行する。
【００３７】
露出駆動部３０は、検出部５、演算部１４及び露出制御部２５と共に露出制御回路ブロック３１を構成し、露出制御部２５から露出駆動情報Ｓ２６が供給されると、当該露出駆動情報Ｓ２６に応じた露出駆動信号Ｓ２７を生成し、これを絞り機構部２に送出する。絞り機構部２は、絞りの開閉動作を制御し入射光量を調節することにより、ＣＣＤ３に到達する光量を制御するようになされている。
【００３８】
以上の構成において、このビデオカメラ１は、異なる露光量で撮像された長時間露光画像Ｓ１Ａ及び短時間露光画像Ｓ１Ｂを合成することによりダイナミックレンジの広い合成画像Ｓ２を生成し、これを外部のモニタに送出して表示する。
【００３９】
ところで露出制御回路ブロック３１では、入力部１５におけるユーザの入力操作に応じて設定された階調認識可能な最小輝度値を示す黒つぶれレベルＳ１５Ａと、階調認識可能な最大輝度値を示す白つぶれレベルＳ１５Ｂと、長時間露光画像Ｓ１Ａ及び短時間露光画像Ｓ１Ｂの露光時間比を示す露光比Ｓ１６とを基に、露出制御を行う際の目標となる目標ダイナミックレンジを算出し、これによりＣＣＤ３及び信号処理回路４の特性に応じた任意の階調認識可能な目標ダイナミックレンジＳ２０Ａを設定することを可能としている。
【００４０】
また露出制御回路ブロック３１は、長時間露光画像Ｓ１Ａを構成する各画素のうちの最小輝度値を示す長時間露光ボトム値Ｓ１１Ａと、短時間露光画像Ｓ１Ｂを構成する各画素のうちの最大輝度値を示す短時間露光ピーク値Ｓ１１Ｂと、露光比Ｓ１６とを基に、実際に撮像された被写体の被写体ダイナミックレンジＳ２０Ｂを算出する。
【００４１】
また露出制御回路ブロック３１は、長時間露光ボトム値Ｓ１１Ａと黒つぶれレベルＳ１５Ａを基に、階調認識可能な最小輝度値と実際の被写体の最小輝度値のレンジ差を示す黒つぶれエラー量Ｓ２１Ａを算出すると共に、短時間露光ピーク値Ｓ１１Ｂと白つぶれレベルＳ１５Ｂを基に、階調認識可能な最大輝度値と実際の被写体の最大輝度値のレンジ差を示す白つぶれエラー量Ｓ２１Ｂを算出する。
【００４２】
さらに露出制御回路ブロック３１は、長時間露光画像Ｓ１Ａの各画素の輝度値を加算した長時間露光輝度信号積分値Ｓ１２Ａと、短時間露光画像Ｓ１Ｂの各画素の輝度値を加算した短時間露光輝度信号積分値Ｓ１２Ｂと、露光比Ｓ１６とを基に、実際に撮像された被写体の輝度値の平均値を示す被写体平均値Ｓ２２を算出する。
【００４３】
そして露出制御回路ブロック３１は、目標ダイナミックレンジＳ２０Ａと被写体ダイナミックレンジＳ２０Ｂを比較し、その結果、目標ダイナミックレンジＳ２０Ａが被写体ダイナミックレンジＳ２０Ｂよりも大きいと判断した場合には、被写体平均値Ｓ２２を収束目標値（すなわちユーザが所望する輝度値）に一致させるように露出制御を行うのに対して、被写体ダイナミックレンジＳ２０Ｂが目標ダイナミックレンジＳ２０Ａよりも大きいと判断した場合には、黒つぶれエラー量Ｓ２１Ａと白つぶれエラー量Ｓ２１Ｂが一致（すなわち黒くつぶれた領域と白くつぶれた領域が均等に発生）するように露出制御を行う。
【００４４】
このようにこのビデオカメラ１は、実際に撮像された被写体のダイナミックレンジに応じた露出制御を実行することができ、従って撮像対象の被写体に対応する自然な合成画像Ｓ２を生成し得る。
【００４５】
以上の構成によれば、目標ダイナミックレンジＳ２０Ａが被写体ダイナミックレンジＳ２０Ｂよりも大きいと判断した場合には、被写体平均値Ｓ２２をユーザ所望の輝度値に一致させるように露出制御を行うのに対して、被写体ダイナミックレンジＳ２０Ｂが目標ダイナミックレンジＳ２０Ａよりも大きいと判断した場合には、黒くつぶれた領域と白くつぶれた領域が均等に発生するように露出制御を行うことにより、撮像された被写体のダイナミックレンジに応じた露出制御を実行することができ、従って撮像対象の被写体に対応する自然な合成画像Ｓ２を生成し得る。
【００４６】
なお上述の実施の形態においては、目標ダイナミックレンジＳ２０Ａが被写体ダイナミックレンジＳ２０Ｂより小さいと判断された場合には、黒つぶれエラー量Ｓ２１Ａと白つぶれエラー量Ｓ２１Ｂの差分が０になるように露出制御を行った場合について述べたが、本発明はこれに限らず、長時間露光輝度信号Ｓ１０Ａから黒つぶれレベルＳ１５Ａ未満の輝度値を有する画素を検出しその画素数をカウントすると共に、短時間露光輝度信号Ｓ１０Ｂから白つぶれレベルＳ１５Ｂ以上の輝度値を有する画素を検出しその画素数をカウントし、これらカウント値の和が最小になるように露出制御を行うようにしても良い。この場合、カウント値の和は、画像中において黒くつぶれた領域や白くつぶれた領域のような階調認識が不可能な領域の面積を表しており、当該カウント値の和が最小になるように露出制御を行うことにより、階調認識可能な領域が最大となる画像を得ることができる。
【００４７】
また上述の実施の形態においては、本発明を監視用のビデオカメラ１に適用した場合について述べたが、本発明はこれに限らず、例えば車載用のカメラ、家庭用のビデオカメラなどのように、他の種々の撮像装置に本発明を広く適用し得る。
【００４８】
【発明の効果】
上述のように本発明によれば、入力手段から入力された白つぶれレベルと露光比とを乗算することにより得られる値を黒つぶれレベルで除算し、除算することにより得られる値に対して対数演算を施すことにより、露光制御を行なう際に目標となる目標ダイナミックレンジを算出する目標ダイナミックレンジ算出手段と、短時間露光ピーク値検出手段によって検出された短時間露光ピーク値と露光比とを乗算することにより得られる値を長時間露光ボトム値で除算し、除算することにより得られる値に対し対数演算を施すことにより、撮像された被写体のダイナミックレンジを算出する被写体ダイナミックレンジ算出手段と、長時間露光ボトム値検出手段によって検出された長時間露光ボトム値を黒つぶれレベルで除算することにより得られる値に対して対数演算を施すことにより、画像の諧調を視覚的に認識可能な最小輝度値と被写体の最小輝度値とのレンジ差を示す黒つぶれエラー量を算出する黒つぶれエラー量算出手段と、短時間露光ピーク値を白つぶれレベルで除算することにより得られる値に対して対数演算を施すことにより、画像の諧調を視覚的に認識可能な最大輝度値と被写体の最大輝度値とのレンジ差を示す白つぶれエラー量を算出する白つぶれエラー量算出手段と、短時間露光輝度信号積分値と露光比とを乗算することにより得られる値と長時間露光輝度信号とを加算することにより得られる値を１フィールド当たりの信号検出回数値を２倍した値で除算することにより被写体の輝度値を平均化した被写体輝度平均値を算出する被写体輝度平均値算出手段と、目標ダイナミックレンジが被写体ダイナミックレンジよりも大きいか否かを判断する判断手段と、判断手段によって目標ダイナミックレンジが被写体ダイナミックレンジよりも大きいと判断した場合、被写体輝度平均値をユーザが所望する輝度値に一致させるように絞り開閉動作手段を制御し、被写体ダイナミックレンジが目標ダイナミックレンジよりも大きいと判断した場合、黒つぶれエラー量と白つぶれエラー量との差分を算出することにより得られる差分値がゼロとなるように絞り開閉動作を制御する露出制御手段とを設けることにより、被写体のダイナミックレンジが目標ダイナミックレンジを越えていても黒つぶれレベルと白つぶれレベルとを設定することによって被写体の長時間露光ボトム値と短時間露光ピーク値がともに黒つぶれレベルと白つぶれレベルから大きく外れないように露出制御できるので、被写体ダイナミックレンジに応じた露出制御を行なうことができ、かくして被写体に対応する自然な画像を撮像し得る撮像装置を実現できる。
【図面の簡単な説明】
【図１】本発明による撮像装置の一実施の形態を示すブロック図である。
【図２】検出部の構成を示すブロック図である。
【図３】演算部の構成を示すブロック図である。
【図４】露出制御手順を示すフローチャートである。
【符号の説明】
１……ビデオカメラ、２……絞り機構部、３……ＣＣＤ、４……信号処理回路、５……検出部、１０……信号分離回路、１１Ａ……ボトム値検出回路、１１Ｂ……ピーク値検出回路、１２Ａ、１２Ｂ……積分回路、１４……演算部、１５……入力部、１６Ａ、１６Ｂ、１７Ａ、１７Ｂ……ダイナミックレンジ演算回路、１８Ａ、１８Ｂ、１９、２０……加算器、２６……除算器、２５……露出制御部、２７……乗算器、３０……露出駆動部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus and an imaging method, and is suitable for application to a video camera for monitoring, for example.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there is a video camera that realizes a so-called wide dynamic range that generates an image with a wide dynamic range (an image expressed from a bright region to a dark region) by combining two types of images captured with different exposure amounts.
[0003]
This video camera uses a solid-state image sensor (CCD: Charge Coupled Device) as an image sensor as a method for capturing two types of images with different exposure amounts, and changes the exposure time by an electronic shutter that is a function of the CCD. Thus, a method of capturing two types of images in a time division manner is adopted.
[0004]
In this method, charge accumulation and readout are performed in an arbitrary one field period in the same manner as in normal imaging, and then charge accumulation and readout are performed again using a vertical blanking period. In addition, two types of images having different exposure times, that is, a long exposure image and a short exposure image are obtained.
[0005]
In this way, the video camera obtains a long-time exposure image with high reproducibility of the dark part of the subject and also obtains a short-time exposure image with high reproducibility of the bright part of the subject. And a short exposure image are combined to generate a combined image with a wide dynamic range.
[0006]
[Problems to be solved by the invention]
Incidentally, in general, in a video camera, exposure control is performed to control the amount of light reaching the CCD by adjusting the amount of incident light with a diaphragm mechanism for the purpose of generating a natural image corresponding to the subject to be imaged. Has been made.
[0007]
At that time, in a video camera that realizes the above-mentioned wide dynamic range, a method of performing exposure control based only on the exposure state obtained from the long-time exposure image out of the captured long-time exposure image and short-time exposure image is considered. However, this method is still insufficient in that a natural image corresponding to the subject to be imaged is obtained.
[0008]
The present invention has been made in consideration of the above points, and an object of the present invention is to propose an imaging apparatus and an imaging method capable of generating a natural composite image corresponding to an imaging target.
[0009]
[Means for Solving the Problems]
In order to solve such a problem, in the present invention, an opening / closing operation means for opening / closing an aperture mechanism for adjusting the amount of incident light incident from a subject, a long exposure time for receiving images from the subject, and images having different exposure times, and Imaging means for imaging with a short exposure time, image generating means for generating a long exposure image taken with a long exposure time and a short exposure image taken with a short exposure time, a long exposure image and a short time Composite image generating means for generating a single composite image by combining the exposure images, and extracting the luminance signal from the short exposure image and the short exposure image, respectively, thereby extracting the long exposure luminance signal and the short exposure luminance signal. And a minimum long exposure bottom value from the luminance value of each pixel during one field period of the long exposure luminance signal. Time exposure bottom value detection means, short exposure peak value detection means for detecting the maximum short exposure peak value from the luminance values of each pixel in one field period of the short exposure brightness signal, and long exposure brightness A long-time exposure luminance signal integrated value calculating means for calculating a long-time exposure luminance signal integrated value by integrating the luminance value of each pixel in the signal for one field period; and a luminance signal of each pixel in the short-time exposure luminance signal. A short-time exposure luminance signal integral value calculating means for calculating a short-time exposure luminance signal integrated value by integrating one field period; and a luminance value capable of visually recognizing the gradation of an image in the long-time exposure luminance signal. Among them, the blackout level indicating the minimum luminance value and the whitening level indicating the maximum luminance value among the luminance values capable of visually recognizing the gradation of the image in the short-time exposure luminance signal. Obtained by multiplying the exposure ratio indicating the ratio between the exposure time of the image and the long exposure image and the exposure time of the short exposure image, and the whitening level input from the input means and the exposure ratio. A target dynamic range calculating means for calculating a target dynamic range which is a target when performing exposure control by dividing a value obtained by dividing the black value by a blackout level and performing a logarithmic operation on the value obtained by the division; Dividing the value obtained by multiplying the short exposure peak value detected by the time exposure peak value detection means by the exposure ratio by the long exposure bottom value, and performing a logarithmic operation on the value obtained by the division The subject dynamic range calculating means for calculating the dynamic range of the photographed subject and the length detected by the long-time exposure bottom value detecting means By applying a logarithmic operation to the value obtained by dividing the time exposure bottom value by the blackout level, the range difference between the minimum luminance value that can visually recognize the gradation of the image and the minimum luminance value of the subject is obtained. By applying a logarithmic operation to the value obtained by dividing the short-exposure peak value by the white-out level, the gradation of the image is visually determined. Obtained by multiplying the whiteout error amount calculating means for calculating the whiteout error amount indicating the range difference between the recognizable maximum luminance value and the maximum luminance value of the subject, and the short-time exposure luminance signal integral value and the exposure ratio. The luminance value of the subject is averaged by dividing the value obtained by adding the obtained value and the long-time exposure luminance signal by the value obtained by doubling the signal detection count value per field. Subject brightness average value calculating means for calculating the subject brightness average value, determination means for determining whether or not the target dynamic range is larger than the subject dynamic range, and determining that the target dynamic range is larger than the subject dynamic range If the subject aperture range is controlled so that the subject brightness average value matches the brightness value desired by the user, and the subject dynamic range is determined to be larger than the target dynamic range, By providing exposure control means that controls the aperture opening and closing operation so that the difference value obtained by calculating the difference with the amount becomes zero, the blackout level is achieved even if the dynamic range of the subject exceeds the target dynamic range And the whitening level It can be controlled for a long time exposure exposure bottom value and the short exposure peak value and mechanism closing diaphragm so as not to deviate significantly from the level values and white collapse level value underexposure body performs exposure control in accordance with the subject dynamic range be able to.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
[0011]
In FIG. 1, reference numeral 1 denotes the overall configuration of a video camera for monitoring, and incident light L1 incident from the subject side is incident on the diaphragm mechanism unit 2 and the amount of light is adjusted by the diaphragm mechanism unit 2. Then, it is incident on a solid-state imaging device (CCD: Charge Coupled Device) 3.
[0012]
The CCD 3 captures two images with different exposure amounts in a time-division manner by photoelectrically converting the received incident light L1. That is, the CCD 3 performs charge accumulation and readout in an arbitrary one field period in the same manner as in normal imaging, and then performs charge accumulation and readout again using the vertical blanking period, so that it can be performed within one field period. In addition, two images having different exposure times are generated.
[0013]
In this manner, the CCD 3 generates the long exposure image S1A and the short exposure image S1B and sends them to the signal processing circuit 4. The signal processing circuit 4 combines the long exposure image S1A and the short exposure image S1B while sending the long exposure image S1A and the short exposure image S1B to the detection unit 5 as they are. A composite image S <b> 2 of sheets is generated and sent to the signal output circuit 6.
[0014]
At that time, as a method for synthesizing the long-time exposure image S1A and the short-time exposure image S1B, the signal processing circuit 6 integrates, for example, a coefficient corresponding to the ratio of the captured exposure amounts to each image, and then performs threshold processing. The method of generating the composite image S2 by switching and outputting each image by the above is adopted.
[0015]
The signal output circuit 6 performs predetermined image processing on the synthesized image S2 to convert it into an NTSC (National Television System) television signal S3, which is output to an external monitor (not shown) for display. To do.
[0016]
Meanwhile, as shown in FIG. 2, the detection unit 5 inputs the long-time exposure image S1A and the short-time exposure image S1B supplied from the signal processing circuit 4 to the signal separation circuit 10. The signal separation circuit 10 obtains a long exposure luminance signal S10A and a short exposure luminance signal S10B by separating the luminance signals from the long exposure image S1A and the short exposure image S1B, and among them, the long exposure luminance signal S10A. Is sent to the bottom value detection circuit 11A and the integration circuit 12A, and the short-time exposure luminance signal S10B is sent to the peak value detection circuit 11B and the integration circuit 12B.
[0017]
The bottom value detection circuit 11A detects the minimum one of the luminance values of each pixel in one field period of the supplied long-time exposure luminance signal S10A, and uses this as the long-time exposure bottom value S11A to the calculation unit 14. Send it out.
[0018]
On the other hand, the peak value detection circuit 11B detects the maximum luminance value of each pixel in one field period of the supplied short-time exposure luminance signal S10B, and uses this as the short-time exposure peak value S11B. 14 to send.
[0019]
The integrating circuit 12A integrates (i.e., adds) the luminance value of each pixel in the supplied long-time exposure luminance signal S10A for one field period, and the long-time exposure luminance signal integrated value S12A obtained as a result is calculated by the calculation unit 14. To send.
[0020]
On the other hand, the integration circuit 12B integrates the luminance value of each pixel in the supplied short-time exposure luminance signal S10B for one field period, and sends the short-time exposure luminance signal integration value S12B obtained as a result to the calculation unit 14. .
[0021]
By the way, in this video camera 1, various parameters set by the user operating the input unit 15 are input to the calculation unit 14 (FIG. 1). is there.
[0022]
That is, the blackening level indicating the minimum value of the luminance values that can visually recognize the gradation of the image in the long-time exposure luminance signal S10A obtained by the detection unit 5, and the shortness obtained by the detection unit 5. Exposure of the short-time exposure image S1B with respect to the exposure level of the long-exposure image S1A and the whitening level indicating the maximum value among the luminance values capable of visually recognizing the gradation of the image in the time-exposure luminance signal S10B There is an exposure ratio indicating a time ratio (that is, a value obtained by dividing the exposure time of the long exposure image S1A by the exposure time of the short exposure image S1B).
[0023]
As shown in FIG. 3, the calculation unit 14 inputs the blackout level S15A set in the input unit 15 to the dynamic range calculation circuits 16A and 17A, and inputs the whiteout level S15B to the multiplier 18A and the dynamic range calculation circuit 17B. Further, the exposure ratio S16 is input to the multipliers 18A, 18B and 19.
[0024]
The calculation unit 14 inputs the long-time exposure bottom value S11A supplied from the detection unit 5 to the dynamic range calculation circuits 16B and 17A, and inputs the short-time exposure peak value S11B to the multiplier 18B and the dynamic range calculation circuit 17B. .
[0025]
Further, the calculation unit 14 inputs the long-time exposure luminance signal integrated value S12A supplied from the detection unit 5 to the adder 20, and inputs the short-time exposure luminance signal integrated value S12B to the multiplier 19.
[0026]
Multiplier 18A multiplies whitening level S15B and exposure ratio S16, and sends the multiplication result to dynamic range calculation circuit 16A. The dynamic range calculation circuit 16A calculates a target dynamic range when performing exposure control by performing logarithmic calculation after dividing the value obtained by multiplying the whitening level S15B by the exposure ratio S16 by the blacking level S15A. This is sent to the exposure control unit 25 as the target dynamic range S20A.
[0027]
Multiplier 18B multiplies short-time exposure peak value S11B and exposure ratio S16, and sends the multiplication result to dynamic range calculation circuit 16B. The dynamic range calculation circuit 16B divides the value obtained by multiplying the short-time exposure peak value S11B by the exposure ratio S16 by the long-time exposure bottom value S11A, and then performs logarithmic calculation to obtain the dynamic range of the actually captured subject. This is calculated and sent to the exposure controller 25 as the subject dynamic range S20B.
[0028]
The dynamic range calculation circuit 17A divides the long-exposure bottom value S11A by the blackout level S15A and then performs logarithmic calculation, whereby the minimum of the luminance values that can visually recognize the gradation of the image. The dynamic range representing the difference between the value and the minimum value of the luminance values of the actually captured subject is calculated, and this is sent to the exposure control unit 25 as a blackout error amount S21A.
[0029]
The dynamic range calculation circuit 17B divides the short-time exposure peak value S11B by the whitening level S15B and then performs a logarithmic calculation, thereby making it possible to visually recognize the gradation of the image as the maximum luminance value. A dynamic range representing the difference between the value and the maximum value of the luminance values of the actually captured subject is calculated, and this is sent to the exposure control unit 25 as a whiteout error amount S21B.
[0030]
The multiplier 19 multiplies the short-time exposure luminance signal integral value S12B and the exposure ratio S16, and sends the multiplication result to the adder 20. The adder 20 adds the long-time exposure luminance signal integrated value S12A and the short-time exposure luminance signal integrated value S12B multiplied by the exposure ratio S16, and sends the addition result to the divider 26.
[0031]
By the way, the multiplier 27 is inputted with the number of signal detection times per field (that is, the total number of pixels) in the detector 5, and the multiplier 27 receives the signal per field of the detector 5. The detection count value is multiplied by 2, and the multiplication result is sent to the divider 26.
[0032]
The divider 26 doubles the signal detection count value per field of the detector 5 by adding the sum of the long-time exposure luminance signal integrated value S12A and the short-time exposure luminance signal integrated value S12B to the exposure ratio S16. By dividing by the calculated value, the average value of the luminance values of the subject is calculated, and this is sent to the exposure control unit 25 as the subject average value S22.
[0033]
When the target dynamic range S20A and the subject dynamic range S20B are supplied from the calculation unit 14, the exposure control unit 25 executes the exposure control procedure RT1 shown in FIG. That is, in FIG. 4, when entering the exposure control procedure RT1, the exposure control unit 25 moves to step SP1 and determines whether or not the target dynamic range S20A is larger than the subject dynamic range S20B.
[0034]
As a result, if an affirmative result is obtained in step SP1, this means that the dynamic range of the actually captured subject is smaller than the dynamic range of the image whose gradation can be visually recognized. The control unit 25 moves to step SP2, and the subject average value S22 supplied from the calculation unit 14 is input to the input unit 15 in accordance with the input operation of the user in the same manner as a normal video camera that is not a video camera realizing a wide dynamic range. Then, exposure drive information S26 for driving the diaphragm mechanism unit 2 is generated so as to match the convergence target value S25 set in step S25, that is, the luminance value desired by the user, and this is sent to the exposure drive unit 30.
[0035]
On the other hand, if a negative result is obtained in step SP1, this means that the dynamic range of the actually captured subject is larger than the dynamic range of the image in which the gradation can be visually recognized, that is, the captured subject. This means that it is impossible to obtain an exposure that can recognize the gradation over the entire image. At this time, the exposure control unit 25 moves to step SP3 and is supplied from the calculation unit 14. The difference between the blackout error amount S21A and the whiteout error amount S21B is calculated.
[0036]
Then, the exposure control unit 25 proceeds to step SP4, and generates exposure drive information S26 for driving the aperture mechanism unit 2 so that the difference between the blackout error amount S21A and the whiteout error amount S21B becomes zero. This is sent to the exposure driving unit 30. In this way, the exposure control unit 25 performs exposure control so that the long exposure bottom value S11A and the short exposure peak value S11B do not greatly deviate from the blacked out level S15A and the whited out level S15B, and An area that is crushed in black and an area that is crushed in white are generated uniformly in the image. In this way, the exposure control unit 25 executes the exposure control for each field, and when the exposure control for the current field is executed, the process returns to step SP1 and repeats the above-described process to thereby expose the next field. Execute control.
[0037]
The exposure drive unit 30 constitutes an exposure control circuit block 31 together with the detection unit 5, the calculation unit 14, and the exposure control unit 25. When exposure drive information S26 is supplied from the exposure control unit 25, the exposure drive unit 30 responds to the exposure drive information S26. The generated exposure drive signal S27 is generated and sent to the aperture mechanism unit 2. The diaphragm mechanism unit 2 controls the amount of light reaching the CCD 3 by controlling the opening / closing operation of the diaphragm and adjusting the amount of incident light.
[0038]
In the above configuration, the video camera 1 generates a composite image S2 having a wide dynamic range by combining the long-time exposure image S1A and the short-time exposure image S1B captured with different exposure amounts. Sent to and displayed.
[0039]
By the way, in the exposure control circuit block 31, a blackout level S15A indicating the minimum luminance value that can be recognized by gradations set according to the input operation of the user in the input unit 15, and a whiteout that indicates the maximum luminance value that can be recognized by gradation. Based on the level S15B and the exposure ratio S16 indicating the exposure time ratio between the long-time exposure image S1A and the short-time exposure image S1B, a target dynamic range that is a target when performing exposure control is calculated, and thereby the CCD 3 and the signal It is possible to set a target dynamic range S20A capable of recognizing an arbitrary gradation according to the characteristics of the processing circuit 4.
[0040]
The exposure control circuit block 31 also has a long exposure bottom value S11A indicating the minimum luminance value among the pixels constituting the long exposure image S1A, and a maximum luminance value among the pixels constituting the short exposure image S1B. The subject dynamic range S20B of the actually captured subject is calculated based on the short-time exposure peak value S11B and the exposure ratio S16.
[0041]
Further, the exposure control circuit block 31 calculates a blackout error amount S21A indicating a range difference between the minimum luminance value that can be recognized by the gradation and the minimum luminance value of the actual subject based on the long exposure bottom value S11A and the blackout level S15A. In addition to the calculation, based on the short-time exposure peak value S11B and the whitening level S15B, the whitening error amount S21B indicating the range difference between the maximum luminance value that can be recognized by the gradation and the maximum luminance value of the actual subject is calculated.
[0042]
Furthermore, the exposure control circuit block 31 adds the long-time exposure luminance signal integrated value S12A obtained by adding the luminance values of the respective pixels of the long-time exposure image S1A and the short-time exposure luminance obtained by adding the luminance values of the respective pixels of the short-time exposure image S1B. Based on the signal integration value S12B and the exposure ratio S16, the subject average value S22 indicating the average value of the luminance values of the actually captured subject is calculated.
[0043]
Then, the exposure control circuit block 31 compares the target dynamic range S20A and the subject dynamic range S20B. As a result, if it is determined that the target dynamic range S20A is larger than the subject dynamic range S20B, the subject average value S22 is set as the convergence target. When the exposure control is performed so as to match the value (that is, the brightness value desired by the user), but the subject dynamic range S20B is determined to be larger than the target dynamic range S20A, the blackout error amount S21A and the white The exposure control is performed so that the collapse error amount S21B matches (that is, the area that is crushed black and the area that is crushed white are evenly generated).
[0044]
As described above, the video camera 1 can perform exposure control according to the dynamic range of the actually captured subject, and thus can generate a natural composite image S2 corresponding to the subject to be imaged.
[0045]
According to the above configuration, when it is determined that the target dynamic range S20A is larger than the subject dynamic range S20B, the exposure control is performed so that the subject average value S22 matches the user-desired luminance value. When it is determined that the subject dynamic range S20B is larger than the target dynamic range S20A, exposure control is performed so that the blacked out region and the whited out region are evenly generated, thereby obtaining the dynamic range of the imaged subject. Accordingly, it is possible to execute the corresponding exposure control, and thus it is possible to generate a natural composite image S2 corresponding to the subject to be imaged.
[0046]
In the above-described embodiment, when it is determined that the target dynamic range S20A is smaller than the subject dynamic range S20B, the exposure control is performed so that the difference between the blackout error amount S21A and the whiteout error amount S21B becomes zero. The present invention is not limited to this, but the present invention is not limited to this. A pixel having a luminance value less than the black-out level S15A is detected from the long-time exposure luminance signal S10A, and the number of pixels is counted. It is also possible to detect pixels having a luminance value equal to or higher than the whiteout level S15B from S10B, count the number of pixels, and perform exposure control so that the sum of these count values is minimized. In this case, the sum of the count values represents the area of a region in which gradation recognition is impossible such as a blacked out region or a whited out region in the image, and the sum of the count values is minimized. By performing exposure control, it is possible to obtain an image in which the area where gradation can be recognized is maximized.
[0047]
In the above-described embodiment, the case where the present invention is applied to the surveillance video camera 1 has been described. However, the present invention is not limited to this, and for example, an in-vehicle camera, a home video camera, and the like. The present invention can be widely applied to various other imaging devices.
[0048]
【The invention's effect】
As described above, according to the present invention, the value obtained by multiplying the whiteout level input from the input unit and the exposure ratio is divided by the blackout level, and the logarithm is obtained with respect to the value obtained by the division. Multiplying the target dynamic range calculation means for calculating the target dynamic range that is the target when performing exposure control, and the exposure ratio by the short-time exposure peak value detected by the short-time exposure peak value detection means. Subject dynamic range calculating means for calculating the dynamic range of the imaged subject by dividing the value obtained by dividing by the long-time exposure bottom value and performing a logarithmic operation on the value obtained by the division; It is obtained by dividing the long exposure bottom value detected by the time exposure bottom value detection means by the blackout level. A blackout error amount calculating means for calculating a blackout error amount indicating a range difference between the minimum luminance value capable of visually recognizing the gradation of the image and the minimum luminance value of the subject by performing a logarithmic operation on the value; By applying a logarithmic operation to the value obtained by dividing the short-time exposure peak value by the whitening level, the range between the maximum luminance value that can visually recognize the gradation of the image and the maximum luminance value of the subject This is obtained by adding a value obtained by multiplying the short-time exposure luminance signal integral value and the exposure ratio by the white-out error amount calculating means for calculating a white-out error amount indicating a difference, and the long-time exposure luminance signal. Subject luminance average value calculating means for calculating a subject luminance average value by averaging the luminance value of the subject by dividing the obtained value by a value obtained by doubling the signal detection frequency value per field; The determination means for determining whether or not the dynamic range is larger than the subject dynamic range, and when the determination means determines that the target dynamic range is larger than the subject dynamic range, the subject luminance average value matches the luminance value desired by the user If the subject dynamic range is determined to be larger than the target dynamic range, the difference value obtained by calculating the difference between the blackout error amount and the whiteout error amount is zero. By providing an exposure control means for controlling the opening / closing operation of the aperture , even if the dynamic range of the subject exceeds the target dynamic range, the blackout level and the whiteout level are set to set the long exposure bottom of the subject. Both black value and short-time exposure peak value Since the exposure can be controlled so as not to deviate significantly from the level and the white-out level, it is possible to perform exposure control according to the subject dynamic range, thus realizing an imaging device that can capture a natural image corresponding to the subject.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of an imaging apparatus according to the present invention.
FIG. 2 is a block diagram illustrating a configuration of a detection unit.
FIG. 3 is a block diagram illustrating a configuration of a calculation unit.
FIG. 4 is a flowchart showing an exposure control procedure.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Video camera, 2 ... Diaphragm mechanism part, 3 ... CCD, 4 ... Signal processing circuit, 5 ... Detection part, 10 ... Signal separation circuit, 11A ... Bottom value detection circuit, 11B ... Peak Value detection circuit, 12A, 12B ... integration circuit, 14 ... calculation unit, 15 ... input unit, 16A, 16B, 17A, 17B ... dynamic range calculation circuit, 18A, 18B, 19, 20 ... adder, 26... Divider 25. Exposure controller 27. Multiplier 30. Exposure driver

Claims (3)

被写体から入射される入射光の光量を調整する絞り機構を開閉動作する絞り開閉動作手段と、
上記被写体から受光し画像を互いに露光時間が異なる長時間露光時間及び短時間露光時間で撮像する撮像手段と、
上記長時間露光時間で撮像した長時間露光画像と上記短時間露光時間で撮像した短時間露光画像とを生成する画像生成手段と、
上記長時間露光画像及び上記短時間露光画像を合成することにより１枚の合成画像を生成する合成画像生成手段と、
上記短時間露光画像及び上記短時間露光画像からそれぞれ輝度信号を抽出することにより長時間露光輝度信号及び短時間露光輝度信号を生成する輝度信号生成手段と、
上記長時間露光輝度信号の１フィールド期間中における各画素の輝度値の中から最小の長時間露光ボトム値を検出する長時間露光ボトム値検出手段と、
上記短時間露光輝度信号の１フィールド期間中における上記各画素の輝度値の中から最大の短時間露光ピーク値を検出する短時間露光ピーク値検出手段と、
上記長時間露光輝度信号のうち上記各画素の輝度値を１フィールド期間積分することにより長時間露光輝度信号積分値を算出する長時間露光輝度信号積分値算出手段と、
上記短時間露光輝度信号のうち上記各画素の輝度信号を１フィールド期間積分することにより短時間露光輝度信号積分値を算出する短時間露光輝度信号積分値算出手段と、
上記長時間露光輝度信号における上記画像の諧調を視覚的に認識することが可能な輝度値のうち最小輝度値を示す黒つぶれレベル、上記短時間露光輝度信号における画像の諧調を視覚的に認識することが可能な輝度値のうち最大輝度値を示す白つぶれレベル及び上記長時間露光画像の露光時間と上記短時間露光画像の露光時間との比を示す露光比を入力する入力手段と、
上記入力手段から入力された上記白つぶれレベルと上記露光比とを乗算することにより得られる値を上記黒つぶれレベルで除算し、除算することにより得られる値に対して対数演算を施すことにより、露光制御を行なう際の目標となる目標ダイナミックレンジを算出する目標ダイナミックレンジ算出手段と、
上記短時間露光ピーク値検出手段によって検出された上記短時間露光ピーク値と上記露光比とを乗算することにより得られる値を上記長時間露光ボトム値で除算し、除算することにより得られる値に対し対数演算を施すことにより、撮像された被写体の上記画像の輝度値範囲を表す被写体ダイナミックレンジを算出する被写体ダイナミックレンジ算出手段と、
上記長時間露光ボトム値検出手段によって検出された上記長時間露光ボトム値を上記黒つぶれレベルで除算することにより得られる値に対して対数演算を施すことにより、上記画像の諧調を視覚的に認識可能な上記最小輝度値と上記被写体の最小輝度値とのレンジ差を示す黒つぶれエラー量を算出する黒つぶれエラー量算出手段と、
上記短時間露光ピーク値を上記白つぶれレベルで除算することにより得られる値に対して対数演算を施すことにより、上記画像の諧調を視覚的に認識可能な上記最大輝度値と上記被写体の最大輝度値とのレンジ差を示す白つぶれエラー量を算出する白つぶれエラー量算出手段と、
上記短時間露光輝度信号積分値と上記露光比とを乗算することにより得られる値と上記長時間露光輝度信号とを加算することにより得られる値を１フィールド当たりの信号検出回数値を２倍した値で除算することにより被写体の輝度値を平均化した被写体輝度平均値を算出する被写体輝度平均値算出手段と、
上記目標ダイナミックレンジが上記被写体ダイナミックレンジよりも大きいか否かを判断する判断手段と、
上記判断手段によって上記目標ダイナミックレンジが上記被写体ダイナミックレンジよりも大きいと判断した場合、上記被写体輝度平均値をユーザが所望する輝度値に一致させるように上記絞り開閉動作手段を制御し、上記被写体ダイナミックレンジが上記目標ダイナミックレンジよりも大きいと判断した場合、上記黒つぶれエラー量と上記白つぶれエラー量との差分を算出することにより得られる差分値がゼロとなるように上記絞り開閉動作手段を制御する露出制御手段と
を具える撮像装置。 Aperture opening / closing operation means for opening / closing an aperture mechanism for adjusting the amount of incident light incident from the subject ;
Imaging means for receiving light from the subject and capturing images with a long exposure time and a short exposure time with different exposure times ;
Image generating means for generating a long-time exposure image captured with the long-time exposure time and a short-time exposure image captured with the short-time exposure time;
A composite image generating means for generating one composite image by combining the long exposure image and the short exposure image;
A luminance signal generating means for generating a long exposure luminance signal and a short exposure luminance signal by extracting a luminance signal from the short exposure image and the short exposure image, respectively;
A long exposure bottom value detection means for detecting a minimum long exposure bottom value from the luminance values of each pixel in one field period of the long exposure luminance signal;
Short-time exposure peak value detection means for detecting a maximum short-time exposure peak value from the luminance values of the respective pixels during one field period of the short-time exposure luminance signal;
Long-time exposure luminance signal integrated value calculating means for calculating a long-time exposure luminance signal integrated value by integrating the luminance value of each pixel of the long-time exposure luminance signal for one field period;
Short-time exposure luminance signal integral value calculating means for calculating a short-time exposure luminance signal integrated value by integrating the luminance signal of each pixel among the short-time exposure luminance signals for one field period;
Of the luminance values that can visually recognize the tone of the image in the long-time exposure luminance signal, the blackout level indicating the minimum luminance value, and the tone of the image in the short-time exposure luminance signal are visually recognized. An input means for inputting a whitening level indicating a maximum brightness value among the possible brightness values and an exposure ratio indicating a ratio between an exposure time of the long-time exposure image and an exposure time of the short-time exposure image;
By dividing the value obtained by multiplying the whitening level input from the input means by the exposure ratio by the blackening level, and performing a logarithmic operation on the value obtained by the division, Target dynamic range calculating means for calculating a target dynamic range as a target when performing exposure control;
A value obtained by multiplying the short-time exposure peak value detected by the short-time exposure peak value detection means and the exposure ratio is divided by the long-time exposure bottom value, and is obtained by dividing. Subject dynamic range calculating means for calculating a subject dynamic range representing a luminance value range of the image of the imaged subject by performing a logarithmic operation;
Visually recognizing the tone of the image by performing a logarithmic operation on the value obtained by dividing the long exposure bottom value detected by the long exposure bottom value detection means by the blackout level. A blackout error amount calculating means for calculating a blackout error amount indicating a range difference between the minimum luminance value possible and the minimum luminance value of the subject;
By applying a logarithmic operation to the value obtained by dividing the short-time exposure peak value by the whitening level, the maximum luminance value that allows the gradation of the image to be visually recognized and the maximum luminance of the subject A whiteout error amount calculating means for calculating a whiteout error amount indicating a range difference from the value;
The value obtained by multiplying the integral value of the short-time exposure luminance signal and the exposure ratio and the value obtained by adding the long-time exposure luminance signal are doubled the number of signal detection times per field. Subject luminance average value calculating means for calculating a subject luminance average value obtained by averaging the luminance values of the subject by dividing by the value;
Determination means for determining whether the target dynamic range is larger than the subject dynamic range;
When the determination means determines that the target dynamic range is larger than the subject dynamic range, the aperture opening / closing operation means is controlled to match the subject brightness average value with the brightness value desired by the user, and the subject dynamic range is set. When it is determined that the range is larger than the target dynamic range , the aperture opening / closing operation means is controlled so that the difference value obtained by calculating the difference between the blackout error amount and the whiteout error amount becomes zero. that comprises and exposure control means for imaging device. 上記露出制御手段は、
上記判断手段によって上記被写体ダイナミックレンジが上記目標ダイナミックレンジよりも大きいと判断した場合、上記黒つぶれレベル未満の輝度値を有する黒つぶれ画素数及び上記白つぶれレベル以上の輝度値を有する白つぶれ画素数を検出し、上記黒つぶれ画素数と上記白つぶれ画素数との和が最小となるように上記絞り開閉動作手段を制御する
請求項１に記載の撮像装置。 The exposure control means includes
When the determination unit determines that the subject dynamic range is larger than the target dynamic range, the number of blackout pixels having a luminance value less than the blackout level and the number of whiteout pixels having a luminance value equal to or higher than the whitening level And the aperture opening / closing operation means is controlled so that the sum of the number of blackout pixels and the number of whiteout pixels is minimized.
The imaging apparatus according to 請 Motomeko 1. 絞り開閉動作手段により、被写体から入射される入射光の光量を調整する絞り機構を開閉動作する絞り開閉動作ステップと、
撮像手段により、上記被写体から受光し画像を互いに露光時間が異なる長時間露光時間及び短時間露光時間で撮像する撮像ステップと、
画像生成手段により、上記長時間露光時間で撮像した長時間露光画像と上記短時間露光時間で撮像した短時間露光画像とを生成する画像生成ステップと、
合成画像生成手段により、上記長時間露光画像及び上記短時間露光画像を合成することにより１枚の合成画像を生成する合成画像生成ステップと、
輝度信号生成手段により、上記短時間露光画像及び上記短時間露光画像からそれぞれ輝度信号を抽出することにより長時間露光輝度信号及び短時間露光輝度信号を生成する輝度信号生成ステップと、
長時間露光ボトム値検出手段により、上記長時間露光輝度信号の１フィールド期間中における各画素の輝度値の中から最小の長時間露光ボトム値を検出する長時間露光ボトム値検出ステップと、
短時間露光ピーク値検出手段により、上記短時間露光輝度信号の１フィールド期間中における各画素の輝度値の中から最大の短時間露光ピーク値を検出する短時間露光ピーク値検出ステップと、
長時間露光輝度信号積分値算出手段により、上記長時間露光輝度信号のうち各画素の輝度値を１フィールド期間積分することにより長時間露光輝度信号積分値を算出する長時間露光輝度信号積分値算出ステップと、
短時間露光輝度信号積分値算出手段により、上記短時間露光輝度信号のうち各画素の輝度信号を１フィールド期間積分することにより短時間露光輝度信号積分値を算出する短時間露光輝度信号積分値算出ステップと、
入力手段を用いて、上記長時間露光輝度信号における上記画像の諧調を視覚的に認識することが可能な輝度値のうち最小輝度値を示す黒つぶれレベル、上記短時間露光輝度信号における画像の諧調を視覚的に認識することが可能な輝度値のうち最大輝度値を示す白つぶれレベル及び上記長時間露光画像の露光時間と上記短時間露光画像の露光時間との比を示す露光比を入力する入力ステップと、
目標ダイナミックレンジ算出手段により、上記入力手段から入力された上記白つぶれレベルと上記露光比とを乗算することにより得られる値を上記黒つぶれレベルで除算し、除算結果の値に対して対数演算を施すことにより、露光制御を行なう際に目標となる目標ダイナミックレンジを算出する目標ダイナミックレンジ算出ステップと、
被写体ダイナミックレンジ算出手段により、上記短時間露光ピーク値検出ステップによって検出された上記短時間露光ピーク値と上記露光比とを乗算することにより得られる値を上記長時間露光ボトム値で除算し、除算することにより値に対し対数演算を施すことにより、撮像された被写体の上記画像の輝度値範囲を表す被写体ダイナミックレンジを算出する被写体ダイナミックレンジ算出ステップと、
黒つぶれエラー量算出手段により、上記長時間露光ボトム値検出ステップによって検出された上記長時間露光ボトム値を上記黒つぶれレベルで除算することにより値に対して対数演算を施すことにより、上記画像の諧調を視覚的に認識可能な上記最小輝度値と上記被写体の最小輝度値とのレンジ差を示す黒つぶれエラー量を算出する黒つぶれエラー量算出ステップと、
白つぶれエラー量算出手段により、上記短時間露光ピーク値を上記白つぶれレベルで除算することにより得られた値に対して対数演算を施すことにより、上記画像の諧調を視覚的に認識可能な上記最大輝度値と上記被写体の最大輝度値とのレンジ差を示す白つぶれエラー量を算出する白つぶれエラー量算出ステップと、
被写体輝度平均値算出手段により、上記短時間露光輝度信号積分値と上記露光比とを乗算することにより得られる値と上記長時間露光輝度信号とを加算することにより得られる値を１フィールド当たりの信号検出回数値を２倍した値で除算することにより被写体の輝度値を平均化した被写体輝度平均値を算出する被写体輝度平均値算出ステップと、
判断手段により、上記目標ダイナミックレンジが上記被写体ダイナミックレンジよりも大きいか否かを判断する判断ステップと、
上記判断手段によって上記目標ダイナミックレンジが上記被写体ダイナミックレンジよりも大きいと判断した場合、上記被写体輝度平均値をユーザが所望する輝度値に一致させるように上記絞り開閉動作手段を制御し、上記被写体ダイナミックレンジが上記目標ダイナミックレンジよりも大きいと判断した場合、上記黒つぶれエラー量と上記白つぶれエラー量との差分を算出することにより得られる差分値がゼロとなるように上記絞り開閉動作手段を露出制御手段により制御する露出制御ステップと
を具える撮像方法。 An aperture opening / closing operation step for opening / closing an aperture mechanism for adjusting the amount of incident light incident from the subject by the aperture opening / closing operation means ;
The imaging unit, an imaging step for imaging a long time together exposure time images received from the subject is different exposure time and short exposure time,
An image generation step of generating a long exposure image captured at the long exposure time and a short exposure image captured at the short exposure time by an image generation means;
A composite image generating step of generating one composite image by combining the long-time exposure image and the short-time exposure image by a composite image generation means;
A luminance signal generation step of generating a long exposure luminance signal and a short exposure luminance signal by extracting a luminance signal from the short exposure image and the short exposure image by a luminance signal generation means;
A long exposure bottom value detection step of detecting a minimum long exposure bottom value from the luminance values of each pixel during one field period of the long exposure luminance signal by a long exposure bottom value detection means;
A short-time exposure peak value detecting step of detecting a maximum short-time exposure peak value from the luminance values of each pixel during one field period of the short-time exposure luminance signal by means of a short-time exposure peak value detection unit;
The long-time exposure luminance signal integral value calculation means calculates the long-time exposure luminance signal integral value by integrating the luminance value of each pixel in the long-time exposure luminance signal by one field period. Steps,
The short-time exposure luminance signal integral value calculation means calculates the short-time exposure luminance signal integral value by integrating the luminance signal of each pixel among the short-time exposure luminance signals for one field period. Steps,
Using the input means, the darkness level indicating the minimum luminance value among the luminance values capable of visually recognizing the gradation of the image in the long exposure luminance signal, and the gradation of the image in the short exposure luminance signal Among the brightness values that can be visually recognized, and an exposure ratio that indicates the ratio of the exposure time of the long-time exposure image and the exposure time of the short-time exposure image and the whitening level indicating the maximum luminance value An input step;
The target dynamic range calculation means divides the value obtained by multiplying the whitening level input from the input means by the exposure ratio by the blackening level, and performs logarithmic calculation on the result of the division. A target dynamic range calculating step for calculating a target dynamic range that is a target when performing exposure control by performing,
The subject dynamic range calculation means divides the value obtained by multiplying the short exposure peak value detected by the short exposure peak value detection step and the exposure ratio by the long exposure bottom value and divides the value. A subject dynamic range calculating step for calculating a subject dynamic range representing a luminance value range of the image of the imaged subject by performing a logarithmic operation on the value,
By applying a logarithmic operation to the value by dividing the long exposure bottom value detected by the long exposure bottom value detection step by the black loss level by the black loss error amount calculating means, A blackout error amount calculating step for calculating a blackout error amount indicating a range difference between the minimum luminance value capable of visually recognizing gradation and the minimum luminance value of the subject;
By performing a logarithmic operation on the value obtained by dividing the short-time exposure peak value by the whitening level by the whitening error amount calculating means, the gradation of the image can be visually recognized. A whiteout error amount calculating step for calculating a whiteout error amount indicating a range difference between the maximum luminance value and the maximum luminance value of the subject;
A value obtained by multiplying the short-time exposure luminance signal integrated value by the exposure ratio and the long-time exposure luminance signal by the subject luminance average value calculation means is obtained per field. A subject luminance average value calculating step for calculating a subject luminance average value obtained by averaging the luminance values of the subjects by dividing the signal detection frequency value by a value that is doubled;
A determination step of determining whether the target dynamic range is larger than the subject dynamic range by a determination unit;
When the determination means determines that the target dynamic range is larger than the subject dynamic range, the aperture opening / closing operation means is controlled to match the subject brightness average value with the brightness value desired by the user, and the subject dynamic range is set. When it is determined that the range is larger than the target dynamic range , the aperture opening / closing operation means is exposed so that the difference value obtained by calculating the difference between the blackout error amount and the whiteout error amount becomes zero. An exposure control step controlled by a control means ;
An imaging method comprising :
JP2000243085A 2000-08-10 2000-08-10 Imaging apparatus and imaging method Expired - Lifetime JP4374515B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000243085A JP4374515B2 (en) 2000-08-10 2000-08-10 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000243085A JP4374515B2 (en) 2000-08-10 2000-08-10 Imaging apparatus and imaging method

Publications (2)

Publication Number Publication Date
JP2002057939A JP2002057939A (en) 2002-02-22
JP4374515B2 true JP4374515B2 (en) 2009-12-02

Family

ID=18733997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000243085A Expired - Lifetime JP4374515B2 (en) 2000-08-10 2000-08-10 Imaging apparatus and imaging method

Country Status (1)

Country Link
JP (1) JP4374515B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048561A (en) 2002-07-15 2004-02-12 Fuji Photo Film Co Ltd Imaging unit and photometric instrument
JP4720118B2 (en) * 2004-07-07 2011-07-13 コニカミノルタホールディングス株式会社 Imaging device
KR101857294B1 (en) * 2011-12-09 2018-05-11 엘지이노텍 주식회사 Apparatus and method for abtaing High Dynamic Range image
JP5749224B2 (en) 2012-07-13 2015-07-15 株式会社東芝 The camera module
JP2014050042A (en) 2012-09-03 2014-03-17 Toshiba Corp Image processor and solid-state imaging device

Also Published As

Publication number Publication date
JP2002057939A (en) 2002-02-22

Similar Documents

Publication Publication Date Title
US7948538B2 (en) Image capturing apparatus, image capturing method, exposure control method, and program
US8885093B2 (en) Image pickup apparatus, image pickup method, exposure control method, and program
US7444075B2 (en) Imaging device, camera, and imaging method
US7580058B2 (en) Image capturing apparatus and image capturing method
JP2000115632A (en) Video signal processor
JP6732726B2 (en) Imaging device, imaging method, and program
JPH03204281A (en) Image pickup device
US9113117B2 (en) Image-taking apparatus and method for controlling the same
JP4374515B2 (en) Imaging apparatus and imaging method
JP2002232777A (en) Imaging system
JP2006287814A (en) Imaging apparatus and method of determining motion vector
JP2019029833A (en) Imaging apparatus
JP2010011153A (en) Imaging apparatus, imaging method and program
JP5515852B2 (en) Imaging apparatus and image generation program
JP2011155619A (en) Imaging apparatus and imaging method
JP5772064B2 (en) Imaging apparatus and image generation program
KR100252159B1 (en) Digital still camera
JP3540662B2 (en) Digital camera
JP2015037222A (en) Image processing apparatus, imaging apparatus, control method, and program
JP4401272B2 (en) Exposure control device
JP7273642B2 (en) Image processing device and its control method and program
JP2001069400A (en) Image pickup device
JP5533752B2 (en) Image signal processing device
JP5351663B2 (en) Imaging apparatus and control method thereof
JP2010035120A (en) Video camera image sensing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090813

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090826

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 3