JP4314883B2 - 撮像装置及び撮像方法 - Google Patents
撮像装置及び撮像方法 Download PDFInfo
- Publication number
- JP4314883B2 JP4314883B2 JP2003142197A JP2003142197A JP4314883B2 JP 4314883 B2 JP4314883 B2 JP 4314883B2 JP 2003142197 A JP2003142197 A JP 2003142197A JP 2003142197 A JP2003142197 A JP 2003142197A JP 4314883 B2 JP4314883 B2 JP 4314883B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image signal
- flash
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Stroboscope Apparatuses (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像される領域の光量が不足しているときに、閃光を発光して、撮像される領域に光を照射した状態で撮像を行う撮像装置及び撮像方法に関する。
【０００２】
【従来の技術】
近年、例えばデジタルカメラなど、ＣＣＤ（Charge Coupled Device）イメージセンサを光電変換素子として用いた撮像装置が、ユーザの間で広く使用されている。
【０００３】
上述した撮像装置では、例えば夜間や暗所など、低照度環境下で撮像を行うときに、撮像する領域の光量不足を補うために、フラッシュ機能が備えられている。フラッシュ機能は、例えばキセノンランプなどの発光手段を用いて閃光を発光し、撮像する領域に照射する機能である。フラッシュ機能を動作させながら撮像を行うこと（以下、フラッシュ撮像という。）により、低照度環境下で撮像を行ったときにも、被写体がはっきりと映し出されている画像を生成することができる。
【０００４】
しかし、撮像する領域内に被写体が複数あり、それぞれ撮像装置からの距離が異なるときに、撮像装置から近い距離に位置する被写体が最適露出となる光量の閃光を発光しながらフラッシュ撮像を行うと、図５に示すように、撮像装置から遠い距離に位置する被写体が、露出アンダーとなるために階調がない画像（以下、黒つぶれした画像という。）が得られる。また、撮像装置から遠い距離に位置する被写体が最適露出となる光量の閃光を発光しながらフラッシュ撮像を行うと、図２に示すように、撮像装置から近い距離に位置する被写体が露出オーバーとなり、階調がない画像（以下、白とびした画像という。）が得られる。さらに、各被写体の中間に光量を合わせたフラッシュ撮像を行ったときには、撮像装置から近い距離に位置する被写体は白とびしており、且つ撮像装置から遠い距離に位置する被写体は黒つぶれしている画像が得られる。
【０００５】
以上説明した現象が生じる原因としては、適正露出とするために必要な発光手段の発光量が距離の二乗に比例するために、撮像装置から近い距離に位置する被写体と遠い距離に位置する被写体とで適正露出になる発光量が大きく異なること、並びに撮像装置に備えられているＣＣＤのダイナミックレンジが狭いことなどが挙げられる。
【０００６】
ところで、ＣＣＤのダイナミックレンジの狭さを補う方法として、異なる露光量で撮像を行って複数の画像を生成し、得られた画像を合成する方法が提案されている（例えば、特許文献１参照。）。
【０００７】
この方法では、長時間露光させて撮像することによって第１の画像を生成するとともに、短時間露光させて撮像することによって第２の画像を生成し、第１の画像の画像信号と第２の画像の画像信号とから、第１の画像において白とびしていない部分と第２の画像において黒つぶれしていない部分とを検出し、第１の画像と第２の画像とを合成することによって、ダイナミックレンジの広い画像を生成している。
【特許文献１】
特開２００２−１０１３４７号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、フラッシュ撮像では、被写体に強い光を一瞬照射しながら撮像を行っている。被写体に強い光を照射しているために、フラッシュ撮像を行っていない場合と比較して、露光時間を変化させても、画像信号のレベルはほとんど変化しない。
【０００９】
したがって、撮像装置から近い距離に位置する被写体が最適露出となる光量の閃光を発光しながらフラッシュ撮像を行った場合には、露光時間を長くしても、撮像装置から遠い距離に位置する被写体は黒つぶれしてしまう。また、撮像装置から遠い距離に位置する被写体が最適露出となる光量の閃光を発光しながらフラッシュ撮像を行った場合には、露光時間を短くしても、撮像装置から近い距離に位置する被写体は白とびしてしまう。
【００１０】
すなわち、フラッシュ撮像を行うときには、露光時間を変化させて第１の画像と第２の画像とを生成して合成しても、白とびや黒つぶれがない画像を得ることは困難となる。
【００１１】
本発明は、以上説明した従来の実情を鑑みて提案したものであり、撮像する領域内に撮像装置からの距離が異なる被写体が複数ある状態で、閃光発光手段による発光を行いながら撮像したときに、撮像装置からの被写体の距離に拘わらず、全体が階調をもち、適切な明るさとされた画像を得ることが可能な撮像装置及び撮像方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明に係る撮像装置は、 被写体を撮像して画像信号を生成する撮像手段と、閃光を発光し、上記被写体を照射する閃光照射手段と、上記画像信号から画像信号が所定の値以上である白とび画素を検出する白とび画素検出手段と、上記白とび画素を補正する白とび画素補正手段とを備え、上記撮像手段は、上記閃光照射手段が閃光を発光しない状態で上記被写体を撮像する第１の撮像と、上記閃光照射手段が弱い強度の閃光を発光した状態で上記被写体を撮像する第２の撮像と、上記閃光照射手段が強い強度の閃光を発光した状態で上記被写体を撮像する第３の撮像とを行い、上記白とび画素検出手段は、上記第３の撮像によって得られた画像信号から白とび画素を検出し、上記白とび画素補正手段は、上記第３の撮像によって得られた画像信号のうち、上記白とび画素検出手段によって検出された白とび画素を、上記第１の撮像によって得られた画像信号と、上記第２の撮像によって得られた画像信号とに基づいて、補正することを特徴とする。
【００１３】
本発明に係る撮像装置は、 被写体を撮像して画像信号を生成する撮像手段と、閃光を発光し、上記被写体を照射する閃光照射手段と、上記画像信号から画像号が所定の値未満である黒つぶれ画素を検出する黒つぶれ画素検出手段と、上記黒つぶれ画素を補正する黒つぶれ画素補正手段とを備え、上記撮像手段は、上記閃光照射手段が閃光を発光しない状態で上記被写体を撮像する第１の撮像と、上記閃光照射手段が弱い強度の閃光を発光した状態で上記被写体を撮像する第２の撮像と、上記閃光照射手段が強い強度の閃光を発光した状態で上記被写体を撮像する第３の撮像とを行い、上記黒つぶれ画素検出手段は、上記第２の撮像によって得られた輝度信号から黒つぶれ画素を検出し、上記黒つぶれ画素補正手段は、上記第２の撮像によって得られた画像信号のうち、上記黒つぶれ画素検出手段によって検出された黒つぶれ画素を、上記第１の撮像によって得られた画像信号と、上記第３の撮像によって得られた画像信号とに基づいて、補正することを特徴とする。
【００１４】
本発明に係る撮像方法は、閃光が照射されない状態で被写体を撮像する第１の撮像と、弱い強度の閃光が照射された状態で上記被写体を撮像する第２の撮像と、強い強度の閃光が照射された状態で上記被写体を撮像する第３の撮像とを行い、上記第３の撮像によって得られた画像信号が所定の値以上である白とび画素を検出し、上記白とび画素の画像信号を、上記第１の撮像によって得られた画像信号と、上記第２の撮像によって得られた画像信号とに基づいて、補正することを特徴とする。
【００１５】
本発明に係る撮像方法は、閃光が照射されない状態で被写体を撮像する第１の撮像と、弱い閃光が照射された状態で上記被写体を撮像する第２の撮像と、強い強度の閃光が照射された状態で上記被写体を撮像する第３の撮像とを行い、上記第２の撮像によって得られた画像信号が所定の値未満である黒つぶれ画素を検出し、上記黒つぶれ画素の画像信号を、上記第１の撮像によって得られた画像信号と、上記第３の撮像によって得られた画像信号とに基づいて、補正することを特徴とする撮像方法。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
【００１７】
図１に示すように、本発明を適用した撮像装置１は、撮像される領域から入射される光を集光するレンズ２と、レンズ２から射出される光の光量を調整して射出する絞り３と、絞り３から射出された光を受光して画像信号を生成し、生成した画像信号を出力するＣＣＤ（Charge Coupled Device）４とを備える。
【００１８】
また、撮像装置１は、ＣＣＤ４から出力された画像信号の出力レベルを自動的に制御するＡＧＣ（Auto Gain Control）回路５と、ＡＧＣ回路５から供給された画像信号をデジタル信号に変換するアナログデジタル変換回路（以下、Ａ／Ｄ変換回路という。）６と、Ａ／Ｄ変換回路６から出力された画像信号から輝度信号Ｙ及び色差信号Ｃを生成するＹ／Ｃ信号生成回路７と、Ｙ／Ｃ信号生成回路７から供給された輝度信号Ｙ及び色差信号Ｃを検波する検波回路８と、検波回路８で算出された値に基づいて各部を制御する制御回路９と、Ｙ／Ｃ信号生成回路７から出力された色差信号Ｃ及び輝度信号Ｙを処理する画像信号処理部１０と、画像信号処理部１０に供給された画像信号や画像信号処理部１０によって処理された画像信号を記憶するメモリ１１とを備える。
【００１９】
また、撮像装置１は、制御回路９による制御に基づいて、レンズ２及び絞り３を駆動するドライバ１２と、閃光を発光するフラッシュ発光部１４と、制御回路９による制御に基づいてフラッシュ発光部１４を駆動するフラッシュ駆動回路１５と、ユーザによって押圧されることにより制御回路９に所定の信号を送信するレリーズボタン１６とを備える。
【００２０】
絞り３は、中心に開口３ａが設けられており、開口３ａの大きさが可変とされている。開口３ａの大きさは、ドライバ１２によって変えられる。開口３ａが大きいほど、ＣＣＤ４に対して供給される光の量が多くなる。
【００２１】
ＣＣＤ４は、絞り３を介して受光面に結像された撮像光を、画素毎に電気信号に変換して１画面分の画像信号を出力し、ＡＧＣ回路５に供給する。ＣＣＤ４は、固有のダイナミックレンジがあり、ダイナミックレンジ以上又はダイナミックレンジ以下の強度である撮像光を受光すると出力がクリップされてしまう。そして、ダイナミックレンジ以上の強度である撮像光を受光した部分から出力された画像信号に基づいて画像を生成すると、白く階調のない（以下、白とびという。）画像となり、ダイナミックレンジ以下の強度である撮像光を受光した部分から出力された画像信号に基づいて画像を生成すると、黒く階調のない（以下、黒つぶれという。）画像となる。
【００２２】
また、ＣＣＤ４は、制御回路９による制御に応じて、撮像光を受光してから画像信号を出力するまでの時間、すなわち、画像信号を蓄積する時間を制御する電子シャッタ機能が備えられている。
【００２３】
検波回路８は、Ｙ／Ｃ信号生成回路７によって生成された輝度信号Ｙ及び色差信号Ｃのうち、ＣＣＤ４の所定の領域（以下、検波領域という。）から出力された画像信号に基づいて形成された輝度信号Ｙ及び色差信号Ｃを、検波する。具体的に説明すると、検波回路８は、検波領域から出力された画像信号に基づいて生成された輝度信号Ｙの高周波成分の積分値を算出する。また、検波回路８は、検波領域から出力された画像信号に基づいて生成された色差信号Ｃの積分値を算出する。また、検波回路８は、検波領域から出力された画像信号に基づいて生成された輝度信号Ｙの積分値を算出する。
【００２４】
制御回路９は、検波回路８で算出された値に基づいて各部を制御する。詳述すると、制御回路９は、輝度信号Ｙの高周波成分の積分値に基づいて、レンズ２が合焦しているか否かを判断してドライバ１２を駆動し、レンズ２の位置を移動させて焦点を合わせる。また、制御回路９は、輝度信号Ｙの積分値に基づいてドライバ１２を駆動し、絞り３に設けられた開口３ａの大きさを変化させる。また、制御回路９は、色差信号Ｃの積分値に基づいてホワイトバランスを算出する。また、制御回路９は、フラッシュ発光部１４が閃光を発光した状態で撮像を行う（以下、フラッシュ撮像という。）設定とされているときに、輝度信号Ｙの積分値に基づいてフラッシュ駆動回路１５を駆動し、フラッシュ発光部１４から閃光を発光させる。また、制御回路９は、輝度信号Ｙの積分値に基づいてフラッシュ発光部１４が発光する閃光の強度を決定する。
【００２５】
画像信号処理部１０は、Ｙ／Ｃ信号生成回路７によって生成された輝度信号Ｙと色差信号Ｃとから、静止画像信号や動画像信号を生成して出力する。また、画像信号処理部１０は、ガンマ補正、コントラストの補正など、各種の補正も行う。また、画像信号処理部１０は、制御回路９で算出されたホワイトバランスに基づいてホワイトバランスを制御する。また、画像信号処理部１０では、制御回路９の制御に基づいて、メモリ１１に対する画像信号の記録や、メモリ１１に記憶されている画像信号の読み出しを行う。
【００２６】
また、画像信号処理部１０では、フラッシュ撮像により得られた画像信号から、露出オーバーであり、画像として映し出されたときに、図２に示すように白とびが生じて階調がなくなる画素を検出して補正し、全体に亘って階調がある画像を映し出すことが可能な画像信号を生成する（以下、階調補正という。）。階調補正は、ガンマ補正の前段で行うことが好ましい。なお、階調補正の具体的な方法については、後述する。
【００２７】
フラッシュ発光部１４は、フラッシュ駆動回路１５によって駆動されることにより、閃光を発光して被写体に照射する。フラッシュ発光部１４は、例えば撮像装置１における筐体の前面部や上部など、被写体に光を照射する位置に取り付けられている。すなわち、フラッシュ発光部１４は、レンズ２の光軸方向であって、レンズ２から前方へ向かう方向に光を照射するように設けられている。なお、フラッシュ発光部１４が閃光を発光するタイミングや、フラッシュ発光部１４が発光する閃光の強度などは、制御回路９がフラッシュ駆動回路１５の駆動を制御することによって、調整される。
【００２８】
レリーズボタン１６は、ユーザによって押圧されることで、制御回路９に信号を供給するスイッチである。レリーズボタン１６は、全く押されない状態（以下、オフという。）と、深く押しこまれた状態（以下、深押しという。）と、深押しの半分の深さまで押しこまれた状態（以下、半押しという。）との３つの状態をとる。レリースボタン１６は、３つの状態に応じて異なる信号を制御回路９に供給する。すなわち、レリーズボタン１６の状態によって、撮像装置１の動作が変化する。本実施の形態では、レリースボタン１６が深押しされることにより、撮像装置１が画像信号の生成を開始する。
【００２９】
つぎに、以上説明した撮像装置１が、被写体を撮影するときの動作について、図３に示すフローチャートを用いて説明する。
【００３０】
先ず、ユーザがレリーズボタン１６を深押しすることにより撮像が開始となり、ステップＳＴ１に進む。
【００３１】
ステップＳＴ１では、制御回路９が、検波回路８によって生成される輝度信号Ｙの積分値に基づいて、撮像される領域が明るいか暗いかを判断する。制御回路９は、撮像される領域が明るいと判断したときにはフラッシュ撮像を行わない決定をしてステップＳＴ２に進み、撮像される領域が暗いと判断したときにはフラッシュ撮像を行う決定をしてステップＳＴ３に進む。なお、撮像装置１がフラッシュ撮像をする設定とされているときには、制御回路９による判断に拘わらず、ステップＳＴ３に進む。
【００３２】
ステップＳＴ２では、制御回路９が各部を制御して、フラッシュ発光部１４による閃光の発光がない状態での撮像（通常の撮像）を行う。そして、ステップＳＴ１２に進む。
【００３３】
また、ステップＳＴ３では、制御回路９は、絞り３に設けられた開口３ａの大きさ、ＡＧＣ回路５から出力される画像信号のレベル、電子シャッタの設定を決定する。
【００３４】
なお、開口３ａの大きさは、後述するステップＳＴ４で予備の撮像を行うことによって得られる画像信号から生成された画像に、白とびが生じない程度の大きさとすることが好ましい。予備の撮像によって得られる画像信号から生成された画像に白とびが生じていると、後述するステップＳＴ６で発光量の決定を正確に行うことが困難となる。また、予備の撮像によって得られる画像信号に生じるノイズを低減するために、ＡＧＣ回路５から出力される画像信号のレベルは、低めに設定することが好ましい。
【００３５】
次に、ステップＳＴ４で、制御回路９がＣＣＤ４とフラッシュ駆動回路１５とを制御し、フラッシュ発光部１４から閃光を発光させた状態で、予備の撮像を行う。予備の撮像のときにフラッシュ発光部１４が発光する閃光の強度は、予め決定されている。そして、Ｙ／Ｃ信号生成回路７が予備の撮像により得られた画像信号から輝度信号Ｙを生成し、検波回路８が検波領域毎に輝度信号Ｙを積分する。
【００３６】
次に、ステップＳＴ５で、制御回路９が、ステップＳＴ４で生成された検波領域毎の輝度信号Ｙの積分値から、フラッシュ発光部１４から発光される閃光の強度を決定する。具体的に説明すると、輝度信号Ｙの積分値が高い検波領域には撮像装置１から近い距離に位置する被写体があると考えられ、輝度信号Ｙの積分値が低い検波領域には、撮像装置１から遠い距離に位置する被写体があると考えられる。制御回路９は、所定の値より大きい輝度信号Ｙの積分値に基づいて、近い距離に位置する被写体が最適露出となる閃光の強度（以下、弱い最適強度という。）を決定し、所定の値より小さい輝度信号の積分値Ｙに基づいて、遠い距離に位置する被写体が最適露出となる閃光の強度（以下、強い最適強度という。）を決定する。すなわち、予備撮像を行うことにより、近い距離に位置する被写体が最適露出となる画像信号と、遠い距離に位置する被写体が最適露出となる画像信号とを、生成することが可能となる。
【００３７】
次に、ステップＳＴ６で、制御回路９がＣＣＤ４を制御し、フラッシュ発光部１４から閃光が発光されない状態で、被写体を撮像する（以下、第１の撮像という。）。そして、Ｙ／Ｃ信号生成回路７が、第１の撮像により得られた画像信号から輝度信号Ｙを生成する。
【００３８】
次に、ステップＳＴ７で、制御回路９がＣＣＤ４とフラッシュ駆動回路１５とを制御し、フラッシュ発光部１４からステップＳＴ５で決定された弱い最適強度の閃光が発光された状態で、被写体を撮像する（以下、第２の撮像という。）。そして、Ｙ／Ｃ信号生成回路７が、第２の撮像により得られた画像信号から輝度信号Ｙを生成する。
【００３９】
次に、ステップＳＴ８で、制御回路９がＣＣＤ４とフラッシュ駆動回路１５とを制御し、フラッシュ発光部１４からステップＳＴ５で決定された強い最適強度の閃光が発光された状態で、被写体を撮像する（以下、第３の撮像という。）。そして、Ｙ／Ｃ信号生成回路７が、第３の撮像により得られた画像信号から輝度信号Ｙを生成する。
【００４０】
なお、ステップＳＴ６〜８で第１〜第３の撮像を行うときには、絞り３に設けられた開口３ａの大きさ、ＡＧＣ回路５から出力される画像信号のレベル、電子シャッタの設定を変更しないことが好ましい。変更したときには、第１〜第３の撮像によって得られる画像信号を補正する必要が生じる。
【００４１】
次に、ステップＳＴ９で、制御回路９の制御に基づいて、画像信号生成回路１０が、第３の撮像により得られた輝度信号ＹがＦ１以上である画素（以下、白とび画素という。）があるか否かを判断する。Ｆ１は、ＣＣＤ４が受光する光の光量に基づいて決定される値であり、輝度信号ＹがＦ１以上の画像信号に基づいて生成された画像は白とびする。すなわち、制御回路９は、第３の撮像によって得られた画像信号に基づいて画像を生成したときに白とびしている画素を検出する。画像信号生成回路１０が白とび画素を検出したときにはステップＳＴ１０に進み、白とび画素を検出しないときにはステップＳＴ１２に進む。
【００４２】
ステップＳＴ１０では、制御回路９の制御に基づいて、画像信号生成回路１０が、以下の式１に示す演算を行い、正規化輝度信号Ｓ１を生成する。
【００４３】
Ｓ１＝Ｍ／Ｌ×（Ｎ−Ｐ）＋Ｐ…式１
但し、Ｍは第３の撮像のときにフラッシュ発光部１４が発光した閃光の光量であり、Ｌは第２の撮像のときにフラッシュ発光部１４が発光した閃光の光量であり、Ｎは第２の撮像で得られた画像信号から生成された輝度信号Ｙであり、Ｐは第１の撮像で得られた画像信号から生成された輝度信号Ｙである。
【００４４】
次に、ステップＳＴ１１では、制御回路９の制御に基づいて、画像信号生成回路１０が、第３の撮像により得られた画像信号の輝度信号Ｙのうち、ステップＳＴ９で検出された白とび画素の輝度信号Ｙを正規化輝度信号Ｓ１で置換することにより、画像信号の合成を行う。
【００４５】
正規化輝度信号Ｓ１は、フラッシュ発光部１４が強い最適強度の閃光を発光したときに得られた画像信号から生成された輝度信号Ｙの理論値である。したがって、正規化輝度信号Ｓ１を使用して画像を生成することにより、白とびがない画像を生成できる。また、白とびしている被写体は、正規化輝度信号Ｓ１によって画像を生成することにより、露出オーバーであるものの階調が見られる。しかしながら、正規化輝度信号Ｓ１は、第３の撮像で得られた画像信号から生成された輝度信号Ｙと比較して、シグナル／ノイズ比が高い。すなわち、正規化輝度信号Ｓ１に基づいて画像全体を生成すると、全体に亘って階調が見られるもののシグナル／ノイズ比が高い画像となる。したがって、白とび画素の輝度信号Ｙのみを正規化輝度信号Ｓ１で置換することにより、全体に亘って階調が見られ、且つ画像信号全体のシグナル／ノイズ比を低く抑えた画像を得ることができる。
【００４６】
そして、ステップＳＴ１２で、制御回路９の制御に基づいて、画像信号生成回路１０が、静止画像信号や動画像信号を生成して出力する。画像信号生成回路１０から出力された画像信号に基づいて生成された画像は、図４に示すように、全体に亘って階調がある画像となる。
【００４７】
なお、ステップＳＴ９で白とび画素を検出せずにステップＳＴ１２に進むときには、ステップＳＴ１２では、第３の撮像により得られた画像信号に基づいて静止画像信号や動画像信号を生成する。
【００４８】
以上説明したように、本発明を適用した撮像装置１によれば、撮像装置１からの距離が異なる被写体が複数ある状態で、フラッシュ発光部１４による閃光の発光を行いながら被写体を撮像するときに、撮像装置１から近い距離に位置する被写体と撮像装置１から遠い距離に位置する被写体とがともに階調をもち、全体に階調がある画像を提供することが可能となる。
【００４９】
なお、画像信号生成回路１０は、ステップＳＴ１２の後で、画像信号に対してフィルタリング処理を行うことが好ましい。画像信号生成回路１０が、ステップＳＴ１２の後で画像信号に対してフィルタリング処理を行うことにより、ステップＳＴ１２で合成された画像信号に基づいて画像を映し出したときに、例えば階調が異なるなど、輝度信号Ｙが正規化輝度信号Ｓ１で置換された範囲の画像と、他の範囲の画像との間に生じる微小な差をなくすことが可能となる。
【００５０】
ところで、画像信号処理部１０は、図５に示すように、露出が不充分なために階調がなくなった画素（以下、黒つぶれ画素という。）を検出して、黒つぶれ画素の輝度信号Ｙを補正することにより、全体に亘って階調がある画像を映し出すことが可能な画像信号を生成しても良い。以下では、画像信号処理部１０が黒つぶれ画素の輝度信号を補正するときの撮像装置１の動作について、図６に示すフローチャートを用いて説明する。
【００５１】
ステップＳＴ２１〜２８までは、それぞれ図３に示すステップＳＴ１〜８までと同一となる。
【００５２】
次に、ステップＳＴ２９で、制御回路９の制御に基づいて、画像信号生成回路１０が、第２の撮像により得られた輝度信号Ｙが所定の値Ｆ２未満である黒つぶれ画素があるか否かを判断する。Ｆ２は、ＣＣＤ４が受光する光の光量に基づいて決定される値であり、輝度信号ＹがＦ２未満の画像信号に基づいて生成された画像は黒つぶれする。すなわち、制御回路９は、第２の撮像によって得られた画像信号に基づいて画像を生成したときに黒つぶれしている画素（以下、黒つぶれ画素という。）を検出する。画像信号生成回路１０が黒つぶれ画素を検出したときにはステップＳＴ３０に進み、黒つぶれ画素を検出しないときにはステップＳＴ３２に進む。
【００５３】
ステップＳＴ３０では、制御回路９の制御に基づいて、画像信号生成回路１０が、以下の式２に示す演算を行い、正規化輝度信号Ｓ２を生成する。
【００５４】
Ｓ２＝Ｌ／Ｍ×（Ｏ−Ｐ）＋Ｐ…式２
但し、Ｏは第３の撮像で得られた画像信号から生成された輝度信号Ｙである。
【００５５】
次に、ステップＳＴ３１では、制御回路９の制御に基づいて、画像信号生成回路１０が、第２の撮像で得られた画像信号の輝度信号Ｙのうち、ステップＳＴ２９で検出された黒つぶれ画素の輝度信号Ｙを正規化輝度信号Ｓ２で置換することにより、画像信号の合成を行う。
【００５６】
そして、ステップＳＴ３２で、制御回路９の制御に基づいて、画像信号生成回路１０が、静止画像や動画像を生成し、出力する。出力された画像信号に基づいて生成された画像は、図４に示すように黒つぶれがなく、全体に亘って階調がある画像となる。
【００５７】
【発明の効果】
本発明に係る撮像装置及び撮像方法では、閃光を発光しない状態で被写体を撮像する第１の撮像と、弱い閃光を発光した状態で被写体を撮像する第２の撮像と、強い閃光を発光した状態で被写体を撮像する第３の撮像とを行う。そして、第３の撮像により得られた画像信号から生成された輝度信号がＦ１以上である白とび画素を検出する。また、以下の式１に示す演算を行った後、白とび画素の輝度信号をＳ１で置換した後に、画像の生成を行う。
【００５８】
Ｓ１＝（Ｍ／Ｌ）×（Ｎ−Ｐ）＋Ｐ…式１
【００５９】
また、本発明に係る撮像装置及び撮像方法では、閃光を発光しない状態で被写体を撮像する第１の撮像と、弱い閃光を発光した状態で被写体を撮像する第２の撮像と、強い閃光を発光した状態で被写体を撮像する第３の撮像とを行う。そして、第２の撮像により得られた画像信号から生成された輝度信号がＦ２未満である黒つぶれ画素を検出する。また、以下の式２に示す演算を行った後、黒つぶれ画素の輝度信号をＳ２で置換した後に、画像の生成を行う。
【００６０】
Ｓ２＝Ｌ／Ｍ×（Ｏ−Ｐ）＋Ｐ…式２
【００６１】
したがって、本発明に係る撮像装置及び撮像方法によれば、撮像装置からの距離が異なる被写体が複数ある状態で、閃光発光手段による閃光の発光を行いながら撮像をするときに、撮像装置から近い距離に位置する被写体と撮像装置から遠い距離に位置する被写体との両方がともに階調をもち、全体に亘って階調がある画像を提供することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した撮像装置を示すブロック図である。
【図２】白とびがある画像を説明する図である。
【図３】本発明を適用した撮像装置の動作を説明するためのフローチャートである。
【図４】白とびが補正された画像を説明する図である。
【図５】黒つぶれがある画像を説明する図である。
【図６】本発明を適用した撮像装置が黒つぶれを補正するときの動作を説明するためのフローチャートである。
【符号の説明】
１ 撮像装置、２ レンズ、３ 絞り、４ ＣＣＤ、５ ＡＧＣ回路、６ Ａ／Ｄ変換回路、７ Ｙ／Ｃ信号生成回路、８ 検波回路、９ 制御回路、１０ 画像信号処理部、１１ メモリ、１２ ドライバ、１４ フラッシュ発光部、１５ フラッシュ駆動回路、１６ レリーズボタン
【発明の属する技術分野】
本発明は、撮像される領域の光量が不足しているときに、閃光を発光して、撮像される領域に光を照射した状態で撮像を行う撮像装置及び撮像方法に関する。
【０００２】
【従来の技術】
近年、例えばデジタルカメラなど、ＣＣＤ（Charge Coupled Device）イメージセンサを光電変換素子として用いた撮像装置が、ユーザの間で広く使用されている。
【０００３】
上述した撮像装置では、例えば夜間や暗所など、低照度環境下で撮像を行うときに、撮像する領域の光量不足を補うために、フラッシュ機能が備えられている。フラッシュ機能は、例えばキセノンランプなどの発光手段を用いて閃光を発光し、撮像する領域に照射する機能である。フラッシュ機能を動作させながら撮像を行うこと（以下、フラッシュ撮像という。）により、低照度環境下で撮像を行ったときにも、被写体がはっきりと映し出されている画像を生成することができる。
【０００４】
しかし、撮像する領域内に被写体が複数あり、それぞれ撮像装置からの距離が異なるときに、撮像装置から近い距離に位置する被写体が最適露出となる光量の閃光を発光しながらフラッシュ撮像を行うと、図５に示すように、撮像装置から遠い距離に位置する被写体が、露出アンダーとなるために階調がない画像（以下、黒つぶれした画像という。）が得られる。また、撮像装置から遠い距離に位置する被写体が最適露出となる光量の閃光を発光しながらフラッシュ撮像を行うと、図２に示すように、撮像装置から近い距離に位置する被写体が露出オーバーとなり、階調がない画像（以下、白とびした画像という。）が得られる。さらに、各被写体の中間に光量を合わせたフラッシュ撮像を行ったときには、撮像装置から近い距離に位置する被写体は白とびしており、且つ撮像装置から遠い距離に位置する被写体は黒つぶれしている画像が得られる。
【０００５】
以上説明した現象が生じる原因としては、適正露出とするために必要な発光手段の発光量が距離の二乗に比例するために、撮像装置から近い距離に位置する被写体と遠い距離に位置する被写体とで適正露出になる発光量が大きく異なること、並びに撮像装置に備えられているＣＣＤのダイナミックレンジが狭いことなどが挙げられる。
【０００６】
ところで、ＣＣＤのダイナミックレンジの狭さを補う方法として、異なる露光量で撮像を行って複数の画像を生成し、得られた画像を合成する方法が提案されている（例えば、特許文献１参照。）。
【０００７】
この方法では、長時間露光させて撮像することによって第１の画像を生成するとともに、短時間露光させて撮像することによって第２の画像を生成し、第１の画像の画像信号と第２の画像の画像信号とから、第１の画像において白とびしていない部分と第２の画像において黒つぶれしていない部分とを検出し、第１の画像と第２の画像とを合成することによって、ダイナミックレンジの広い画像を生成している。
【特許文献１】
特開２００２−１０１３４７号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、フラッシュ撮像では、被写体に強い光を一瞬照射しながら撮像を行っている。被写体に強い光を照射しているために、フラッシュ撮像を行っていない場合と比較して、露光時間を変化させても、画像信号のレベルはほとんど変化しない。
【０００９】
したがって、撮像装置から近い距離に位置する被写体が最適露出となる光量の閃光を発光しながらフラッシュ撮像を行った場合には、露光時間を長くしても、撮像装置から遠い距離に位置する被写体は黒つぶれしてしまう。また、撮像装置から遠い距離に位置する被写体が最適露出となる光量の閃光を発光しながらフラッシュ撮像を行った場合には、露光時間を短くしても、撮像装置から近い距離に位置する被写体は白とびしてしまう。
【００１０】
すなわち、フラッシュ撮像を行うときには、露光時間を変化させて第１の画像と第２の画像とを生成して合成しても、白とびや黒つぶれがない画像を得ることは困難となる。
【００１１】
本発明は、以上説明した従来の実情を鑑みて提案したものであり、撮像する領域内に撮像装置からの距離が異なる被写体が複数ある状態で、閃光発光手段による発光を行いながら撮像したときに、撮像装置からの被写体の距離に拘わらず、全体が階調をもち、適切な明るさとされた画像を得ることが可能な撮像装置及び撮像方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明に係る撮像装置は、 被写体を撮像して画像信号を生成する撮像手段と、閃光を発光し、上記被写体を照射する閃光照射手段と、上記画像信号から画像信号が所定の値以上である白とび画素を検出する白とび画素検出手段と、上記白とび画素を補正する白とび画素補正手段とを備え、上記撮像手段は、上記閃光照射手段が閃光を発光しない状態で上記被写体を撮像する第１の撮像と、上記閃光照射手段が弱い強度の閃光を発光した状態で上記被写体を撮像する第２の撮像と、上記閃光照射手段が強い強度の閃光を発光した状態で上記被写体を撮像する第３の撮像とを行い、上記白とび画素検出手段は、上記第３の撮像によって得られた画像信号から白とび画素を検出し、上記白とび画素補正手段は、上記第３の撮像によって得られた画像信号のうち、上記白とび画素検出手段によって検出された白とび画素を、上記第１の撮像によって得られた画像信号と、上記第２の撮像によって得られた画像信号とに基づいて、補正することを特徴とする。
【００１３】
本発明に係る撮像装置は、 被写体を撮像して画像信号を生成する撮像手段と、閃光を発光し、上記被写体を照射する閃光照射手段と、上記画像信号から画像号が所定の値未満である黒つぶれ画素を検出する黒つぶれ画素検出手段と、上記黒つぶれ画素を補正する黒つぶれ画素補正手段とを備え、上記撮像手段は、上記閃光照射手段が閃光を発光しない状態で上記被写体を撮像する第１の撮像と、上記閃光照射手段が弱い強度の閃光を発光した状態で上記被写体を撮像する第２の撮像と、上記閃光照射手段が強い強度の閃光を発光した状態で上記被写体を撮像する第３の撮像とを行い、上記黒つぶれ画素検出手段は、上記第２の撮像によって得られた輝度信号から黒つぶれ画素を検出し、上記黒つぶれ画素補正手段は、上記第２の撮像によって得られた画像信号のうち、上記黒つぶれ画素検出手段によって検出された黒つぶれ画素を、上記第１の撮像によって得られた画像信号と、上記第３の撮像によって得られた画像信号とに基づいて、補正することを特徴とする。
【００１４】
本発明に係る撮像方法は、閃光が照射されない状態で被写体を撮像する第１の撮像と、弱い強度の閃光が照射された状態で上記被写体を撮像する第２の撮像と、強い強度の閃光が照射された状態で上記被写体を撮像する第３の撮像とを行い、上記第３の撮像によって得られた画像信号が所定の値以上である白とび画素を検出し、上記白とび画素の画像信号を、上記第１の撮像によって得られた画像信号と、上記第２の撮像によって得られた画像信号とに基づいて、補正することを特徴とする。
【００１５】
本発明に係る撮像方法は、閃光が照射されない状態で被写体を撮像する第１の撮像と、弱い閃光が照射された状態で上記被写体を撮像する第２の撮像と、強い強度の閃光が照射された状態で上記被写体を撮像する第３の撮像とを行い、上記第２の撮像によって得られた画像信号が所定の値未満である黒つぶれ画素を検出し、上記黒つぶれ画素の画像信号を、上記第１の撮像によって得られた画像信号と、上記第３の撮像によって得られた画像信号とに基づいて、補正することを特徴とする撮像方法。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
【００１７】
図１に示すように、本発明を適用した撮像装置１は、撮像される領域から入射される光を集光するレンズ２と、レンズ２から射出される光の光量を調整して射出する絞り３と、絞り３から射出された光を受光して画像信号を生成し、生成した画像信号を出力するＣＣＤ（Charge Coupled Device）４とを備える。
【００１８】
また、撮像装置１は、ＣＣＤ４から出力された画像信号の出力レベルを自動的に制御するＡＧＣ（Auto Gain Control）回路５と、ＡＧＣ回路５から供給された画像信号をデジタル信号に変換するアナログデジタル変換回路（以下、Ａ／Ｄ変換回路という。）６と、Ａ／Ｄ変換回路６から出力された画像信号から輝度信号Ｙ及び色差信号Ｃを生成するＹ／Ｃ信号生成回路７と、Ｙ／Ｃ信号生成回路７から供給された輝度信号Ｙ及び色差信号Ｃを検波する検波回路８と、検波回路８で算出された値に基づいて各部を制御する制御回路９と、Ｙ／Ｃ信号生成回路７から出力された色差信号Ｃ及び輝度信号Ｙを処理する画像信号処理部１０と、画像信号処理部１０に供給された画像信号や画像信号処理部１０によって処理された画像信号を記憶するメモリ１１とを備える。
【００１９】
また、撮像装置１は、制御回路９による制御に基づいて、レンズ２及び絞り３を駆動するドライバ１２と、閃光を発光するフラッシュ発光部１４と、制御回路９による制御に基づいてフラッシュ発光部１４を駆動するフラッシュ駆動回路１５と、ユーザによって押圧されることにより制御回路９に所定の信号を送信するレリーズボタン１６とを備える。
【００２０】
絞り３は、中心に開口３ａが設けられており、開口３ａの大きさが可変とされている。開口３ａの大きさは、ドライバ１２によって変えられる。開口３ａが大きいほど、ＣＣＤ４に対して供給される光の量が多くなる。
【００２１】
ＣＣＤ４は、絞り３を介して受光面に結像された撮像光を、画素毎に電気信号に変換して１画面分の画像信号を出力し、ＡＧＣ回路５に供給する。ＣＣＤ４は、固有のダイナミックレンジがあり、ダイナミックレンジ以上又はダイナミックレンジ以下の強度である撮像光を受光すると出力がクリップされてしまう。そして、ダイナミックレンジ以上の強度である撮像光を受光した部分から出力された画像信号に基づいて画像を生成すると、白く階調のない（以下、白とびという。）画像となり、ダイナミックレンジ以下の強度である撮像光を受光した部分から出力された画像信号に基づいて画像を生成すると、黒く階調のない（以下、黒つぶれという。）画像となる。
【００２２】
また、ＣＣＤ４は、制御回路９による制御に応じて、撮像光を受光してから画像信号を出力するまでの時間、すなわち、画像信号を蓄積する時間を制御する電子シャッタ機能が備えられている。
【００２３】
検波回路８は、Ｙ／Ｃ信号生成回路７によって生成された輝度信号Ｙ及び色差信号Ｃのうち、ＣＣＤ４の所定の領域（以下、検波領域という。）から出力された画像信号に基づいて形成された輝度信号Ｙ及び色差信号Ｃを、検波する。具体的に説明すると、検波回路８は、検波領域から出力された画像信号に基づいて生成された輝度信号Ｙの高周波成分の積分値を算出する。また、検波回路８は、検波領域から出力された画像信号に基づいて生成された色差信号Ｃの積分値を算出する。また、検波回路８は、検波領域から出力された画像信号に基づいて生成された輝度信号Ｙの積分値を算出する。
【００２４】
制御回路９は、検波回路８で算出された値に基づいて各部を制御する。詳述すると、制御回路９は、輝度信号Ｙの高周波成分の積分値に基づいて、レンズ２が合焦しているか否かを判断してドライバ１２を駆動し、レンズ２の位置を移動させて焦点を合わせる。また、制御回路９は、輝度信号Ｙの積分値に基づいてドライバ１２を駆動し、絞り３に設けられた開口３ａの大きさを変化させる。また、制御回路９は、色差信号Ｃの積分値に基づいてホワイトバランスを算出する。また、制御回路９は、フラッシュ発光部１４が閃光を発光した状態で撮像を行う（以下、フラッシュ撮像という。）設定とされているときに、輝度信号Ｙの積分値に基づいてフラッシュ駆動回路１５を駆動し、フラッシュ発光部１４から閃光を発光させる。また、制御回路９は、輝度信号Ｙの積分値に基づいてフラッシュ発光部１４が発光する閃光の強度を決定する。
【００２５】
画像信号処理部１０は、Ｙ／Ｃ信号生成回路７によって生成された輝度信号Ｙと色差信号Ｃとから、静止画像信号や動画像信号を生成して出力する。また、画像信号処理部１０は、ガンマ補正、コントラストの補正など、各種の補正も行う。また、画像信号処理部１０は、制御回路９で算出されたホワイトバランスに基づいてホワイトバランスを制御する。また、画像信号処理部１０では、制御回路９の制御に基づいて、メモリ１１に対する画像信号の記録や、メモリ１１に記憶されている画像信号の読み出しを行う。
【００２６】
また、画像信号処理部１０では、フラッシュ撮像により得られた画像信号から、露出オーバーであり、画像として映し出されたときに、図２に示すように白とびが生じて階調がなくなる画素を検出して補正し、全体に亘って階調がある画像を映し出すことが可能な画像信号を生成する（以下、階調補正という。）。階調補正は、ガンマ補正の前段で行うことが好ましい。なお、階調補正の具体的な方法については、後述する。
【００２７】
フラッシュ発光部１４は、フラッシュ駆動回路１５によって駆動されることにより、閃光を発光して被写体に照射する。フラッシュ発光部１４は、例えば撮像装置１における筐体の前面部や上部など、被写体に光を照射する位置に取り付けられている。すなわち、フラッシュ発光部１４は、レンズ２の光軸方向であって、レンズ２から前方へ向かう方向に光を照射するように設けられている。なお、フラッシュ発光部１４が閃光を発光するタイミングや、フラッシュ発光部１４が発光する閃光の強度などは、制御回路９がフラッシュ駆動回路１５の駆動を制御することによって、調整される。
【００２８】
レリーズボタン１６は、ユーザによって押圧されることで、制御回路９に信号を供給するスイッチである。レリーズボタン１６は、全く押されない状態（以下、オフという。）と、深く押しこまれた状態（以下、深押しという。）と、深押しの半分の深さまで押しこまれた状態（以下、半押しという。）との３つの状態をとる。レリースボタン１６は、３つの状態に応じて異なる信号を制御回路９に供給する。すなわち、レリーズボタン１６の状態によって、撮像装置１の動作が変化する。本実施の形態では、レリースボタン１６が深押しされることにより、撮像装置１が画像信号の生成を開始する。
【００２９】
つぎに、以上説明した撮像装置１が、被写体を撮影するときの動作について、図３に示すフローチャートを用いて説明する。
【００３０】
先ず、ユーザがレリーズボタン１６を深押しすることにより撮像が開始となり、ステップＳＴ１に進む。
【００３１】
ステップＳＴ１では、制御回路９が、検波回路８によって生成される輝度信号Ｙの積分値に基づいて、撮像される領域が明るいか暗いかを判断する。制御回路９は、撮像される領域が明るいと判断したときにはフラッシュ撮像を行わない決定をしてステップＳＴ２に進み、撮像される領域が暗いと判断したときにはフラッシュ撮像を行う決定をしてステップＳＴ３に進む。なお、撮像装置１がフラッシュ撮像をする設定とされているときには、制御回路９による判断に拘わらず、ステップＳＴ３に進む。
【００３２】
ステップＳＴ２では、制御回路９が各部を制御して、フラッシュ発光部１４による閃光の発光がない状態での撮像（通常の撮像）を行う。そして、ステップＳＴ１２に進む。
【００３３】
また、ステップＳＴ３では、制御回路９は、絞り３に設けられた開口３ａの大きさ、ＡＧＣ回路５から出力される画像信号のレベル、電子シャッタの設定を決定する。
【００３４】
なお、開口３ａの大きさは、後述するステップＳＴ４で予備の撮像を行うことによって得られる画像信号から生成された画像に、白とびが生じない程度の大きさとすることが好ましい。予備の撮像によって得られる画像信号から生成された画像に白とびが生じていると、後述するステップＳＴ６で発光量の決定を正確に行うことが困難となる。また、予備の撮像によって得られる画像信号に生じるノイズを低減するために、ＡＧＣ回路５から出力される画像信号のレベルは、低めに設定することが好ましい。
【００３５】
次に、ステップＳＴ４で、制御回路９がＣＣＤ４とフラッシュ駆動回路１５とを制御し、フラッシュ発光部１４から閃光を発光させた状態で、予備の撮像を行う。予備の撮像のときにフラッシュ発光部１４が発光する閃光の強度は、予め決定されている。そして、Ｙ／Ｃ信号生成回路７が予備の撮像により得られた画像信号から輝度信号Ｙを生成し、検波回路８が検波領域毎に輝度信号Ｙを積分する。
【００３６】
次に、ステップＳＴ５で、制御回路９が、ステップＳＴ４で生成された検波領域毎の輝度信号Ｙの積分値から、フラッシュ発光部１４から発光される閃光の強度を決定する。具体的に説明すると、輝度信号Ｙの積分値が高い検波領域には撮像装置１から近い距離に位置する被写体があると考えられ、輝度信号Ｙの積分値が低い検波領域には、撮像装置１から遠い距離に位置する被写体があると考えられる。制御回路９は、所定の値より大きい輝度信号Ｙの積分値に基づいて、近い距離に位置する被写体が最適露出となる閃光の強度（以下、弱い最適強度という。）を決定し、所定の値より小さい輝度信号の積分値Ｙに基づいて、遠い距離に位置する被写体が最適露出となる閃光の強度（以下、強い最適強度という。）を決定する。すなわち、予備撮像を行うことにより、近い距離に位置する被写体が最適露出となる画像信号と、遠い距離に位置する被写体が最適露出となる画像信号とを、生成することが可能となる。
【００３７】
次に、ステップＳＴ６で、制御回路９がＣＣＤ４を制御し、フラッシュ発光部１４から閃光が発光されない状態で、被写体を撮像する（以下、第１の撮像という。）。そして、Ｙ／Ｃ信号生成回路７が、第１の撮像により得られた画像信号から輝度信号Ｙを生成する。
【００３８】
次に、ステップＳＴ７で、制御回路９がＣＣＤ４とフラッシュ駆動回路１５とを制御し、フラッシュ発光部１４からステップＳＴ５で決定された弱い最適強度の閃光が発光された状態で、被写体を撮像する（以下、第２の撮像という。）。そして、Ｙ／Ｃ信号生成回路７が、第２の撮像により得られた画像信号から輝度信号Ｙを生成する。
【００３９】
次に、ステップＳＴ８で、制御回路９がＣＣＤ４とフラッシュ駆動回路１５とを制御し、フラッシュ発光部１４からステップＳＴ５で決定された強い最適強度の閃光が発光された状態で、被写体を撮像する（以下、第３の撮像という。）。そして、Ｙ／Ｃ信号生成回路７が、第３の撮像により得られた画像信号から輝度信号Ｙを生成する。
【００４０】
なお、ステップＳＴ６〜８で第１〜第３の撮像を行うときには、絞り３に設けられた開口３ａの大きさ、ＡＧＣ回路５から出力される画像信号のレベル、電子シャッタの設定を変更しないことが好ましい。変更したときには、第１〜第３の撮像によって得られる画像信号を補正する必要が生じる。
【００４１】
次に、ステップＳＴ９で、制御回路９の制御に基づいて、画像信号生成回路１０が、第３の撮像により得られた輝度信号ＹがＦ１以上である画素（以下、白とび画素という。）があるか否かを判断する。Ｆ１は、ＣＣＤ４が受光する光の光量に基づいて決定される値であり、輝度信号ＹがＦ１以上の画像信号に基づいて生成された画像は白とびする。すなわち、制御回路９は、第３の撮像によって得られた画像信号に基づいて画像を生成したときに白とびしている画素を検出する。画像信号生成回路１０が白とび画素を検出したときにはステップＳＴ１０に進み、白とび画素を検出しないときにはステップＳＴ１２に進む。
【００４２】
ステップＳＴ１０では、制御回路９の制御に基づいて、画像信号生成回路１０が、以下の式１に示す演算を行い、正規化輝度信号Ｓ１を生成する。
【００４３】
Ｓ１＝Ｍ／Ｌ×（Ｎ−Ｐ）＋Ｐ…式１
但し、Ｍは第３の撮像のときにフラッシュ発光部１４が発光した閃光の光量であり、Ｌは第２の撮像のときにフラッシュ発光部１４が発光した閃光の光量であり、Ｎは第２の撮像で得られた画像信号から生成された輝度信号Ｙであり、Ｐは第１の撮像で得られた画像信号から生成された輝度信号Ｙである。
【００４４】
次に、ステップＳＴ１１では、制御回路９の制御に基づいて、画像信号生成回路１０が、第３の撮像により得られた画像信号の輝度信号Ｙのうち、ステップＳＴ９で検出された白とび画素の輝度信号Ｙを正規化輝度信号Ｓ１で置換することにより、画像信号の合成を行う。
【００４５】
正規化輝度信号Ｓ１は、フラッシュ発光部１４が強い最適強度の閃光を発光したときに得られた画像信号から生成された輝度信号Ｙの理論値である。したがって、正規化輝度信号Ｓ１を使用して画像を生成することにより、白とびがない画像を生成できる。また、白とびしている被写体は、正規化輝度信号Ｓ１によって画像を生成することにより、露出オーバーであるものの階調が見られる。しかしながら、正規化輝度信号Ｓ１は、第３の撮像で得られた画像信号から生成された輝度信号Ｙと比較して、シグナル／ノイズ比が高い。すなわち、正規化輝度信号Ｓ１に基づいて画像全体を生成すると、全体に亘って階調が見られるもののシグナル／ノイズ比が高い画像となる。したがって、白とび画素の輝度信号Ｙのみを正規化輝度信号Ｓ１で置換することにより、全体に亘って階調が見られ、且つ画像信号全体のシグナル／ノイズ比を低く抑えた画像を得ることができる。
【００４６】
そして、ステップＳＴ１２で、制御回路９の制御に基づいて、画像信号生成回路１０が、静止画像信号や動画像信号を生成して出力する。画像信号生成回路１０から出力された画像信号に基づいて生成された画像は、図４に示すように、全体に亘って階調がある画像となる。
【００４７】
なお、ステップＳＴ９で白とび画素を検出せずにステップＳＴ１２に進むときには、ステップＳＴ１２では、第３の撮像により得られた画像信号に基づいて静止画像信号や動画像信号を生成する。
【００４８】
以上説明したように、本発明を適用した撮像装置１によれば、撮像装置１からの距離が異なる被写体が複数ある状態で、フラッシュ発光部１４による閃光の発光を行いながら被写体を撮像するときに、撮像装置１から近い距離に位置する被写体と撮像装置１から遠い距離に位置する被写体とがともに階調をもち、全体に階調がある画像を提供することが可能となる。
【００４９】
なお、画像信号生成回路１０は、ステップＳＴ１２の後で、画像信号に対してフィルタリング処理を行うことが好ましい。画像信号生成回路１０が、ステップＳＴ１２の後で画像信号に対してフィルタリング処理を行うことにより、ステップＳＴ１２で合成された画像信号に基づいて画像を映し出したときに、例えば階調が異なるなど、輝度信号Ｙが正規化輝度信号Ｓ１で置換された範囲の画像と、他の範囲の画像との間に生じる微小な差をなくすことが可能となる。
【００５０】
ところで、画像信号処理部１０は、図５に示すように、露出が不充分なために階調がなくなった画素（以下、黒つぶれ画素という。）を検出して、黒つぶれ画素の輝度信号Ｙを補正することにより、全体に亘って階調がある画像を映し出すことが可能な画像信号を生成しても良い。以下では、画像信号処理部１０が黒つぶれ画素の輝度信号を補正するときの撮像装置１の動作について、図６に示すフローチャートを用いて説明する。
【００５１】
ステップＳＴ２１〜２８までは、それぞれ図３に示すステップＳＴ１〜８までと同一となる。
【００５２】
次に、ステップＳＴ２９で、制御回路９の制御に基づいて、画像信号生成回路１０が、第２の撮像により得られた輝度信号Ｙが所定の値Ｆ２未満である黒つぶれ画素があるか否かを判断する。Ｆ２は、ＣＣＤ４が受光する光の光量に基づいて決定される値であり、輝度信号ＹがＦ２未満の画像信号に基づいて生成された画像は黒つぶれする。すなわち、制御回路９は、第２の撮像によって得られた画像信号に基づいて画像を生成したときに黒つぶれしている画素（以下、黒つぶれ画素という。）を検出する。画像信号生成回路１０が黒つぶれ画素を検出したときにはステップＳＴ３０に進み、黒つぶれ画素を検出しないときにはステップＳＴ３２に進む。
【００５３】
ステップＳＴ３０では、制御回路９の制御に基づいて、画像信号生成回路１０が、以下の式２に示す演算を行い、正規化輝度信号Ｓ２を生成する。
【００５４】
Ｓ２＝Ｌ／Ｍ×（Ｏ−Ｐ）＋Ｐ…式２
但し、Ｏは第３の撮像で得られた画像信号から生成された輝度信号Ｙである。
【００５５】
次に、ステップＳＴ３１では、制御回路９の制御に基づいて、画像信号生成回路１０が、第２の撮像で得られた画像信号の輝度信号Ｙのうち、ステップＳＴ２９で検出された黒つぶれ画素の輝度信号Ｙを正規化輝度信号Ｓ２で置換することにより、画像信号の合成を行う。
【００５６】
そして、ステップＳＴ３２で、制御回路９の制御に基づいて、画像信号生成回路１０が、静止画像や動画像を生成し、出力する。出力された画像信号に基づいて生成された画像は、図４に示すように黒つぶれがなく、全体に亘って階調がある画像となる。
【００５７】
【発明の効果】
本発明に係る撮像装置及び撮像方法では、閃光を発光しない状態で被写体を撮像する第１の撮像と、弱い閃光を発光した状態で被写体を撮像する第２の撮像と、強い閃光を発光した状態で被写体を撮像する第３の撮像とを行う。そして、第３の撮像により得られた画像信号から生成された輝度信号がＦ１以上である白とび画素を検出する。また、以下の式１に示す演算を行った後、白とび画素の輝度信号をＳ１で置換した後に、画像の生成を行う。
【００５８】
Ｓ１＝（Ｍ／Ｌ）×（Ｎ−Ｐ）＋Ｐ…式１
【００５９】
また、本発明に係る撮像装置及び撮像方法では、閃光を発光しない状態で被写体を撮像する第１の撮像と、弱い閃光を発光した状態で被写体を撮像する第２の撮像と、強い閃光を発光した状態で被写体を撮像する第３の撮像とを行う。そして、第２の撮像により得られた画像信号から生成された輝度信号がＦ２未満である黒つぶれ画素を検出する。また、以下の式２に示す演算を行った後、黒つぶれ画素の輝度信号をＳ２で置換した後に、画像の生成を行う。
【００６０】
Ｓ２＝Ｌ／Ｍ×（Ｏ−Ｐ）＋Ｐ…式２
【００６１】
したがって、本発明に係る撮像装置及び撮像方法によれば、撮像装置からの距離が異なる被写体が複数ある状態で、閃光発光手段による閃光の発光を行いながら撮像をするときに、撮像装置から近い距離に位置する被写体と撮像装置から遠い距離に位置する被写体との両方がともに階調をもち、全体に亘って階調がある画像を提供することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した撮像装置を示すブロック図である。
【図２】白とびがある画像を説明する図である。
【図３】本発明を適用した撮像装置の動作を説明するためのフローチャートである。
【図４】白とびが補正された画像を説明する図である。
【図５】黒つぶれがある画像を説明する図である。
【図６】本発明を適用した撮像装置が黒つぶれを補正するときの動作を説明するためのフローチャートである。
【符号の説明】
１ 撮像装置、２ レンズ、３ 絞り、４ ＣＣＤ、５ ＡＧＣ回路、６ Ａ／Ｄ変換回路、７ Ｙ／Ｃ信号生成回路、８ 検波回路、９ 制御回路、１０ 画像信号処理部、１１ メモリ、１２ ドライバ、１４ フラッシュ発光部、１５ フラッシュ駆動回路、１６ レリーズボタン
Claims (16)
- 被写体を撮像して画像信号を生成する撮像手段と、
閃光を発光し、上記被写体を照射する閃光照射手段と、
上記画像信号から画像信号が所定の値以上である白とび画素を検出する白とび画素検出手段と、
上記白とび画素を補正する白とび画素補正手段とを備え、
上記撮像手段は、上記閃光照射手段が閃光を発光しない状態で上記被写体を撮像する第１の撮像と、上記閃光照射手段が弱い強度の閃光を発光した状態で上記被写体を撮像する第２の撮像と、上記閃光照射手段が強い強度の閃光を発光した状態で上記被写体を撮像する第３の撮像とを行い、
上記白とび画素検出手段は、上記第３の撮像によって得られた画像信号から白とび画素を検出し、
上記白とび画素補正手段は、上記第３の撮像によって得られた画像信号のうち、上記白とび画素検出手段によって検出された白とび画素の画像信号を、上記第１の撮像によって得られた画像信号と、上記第２の撮像によって得られた画像信号とに基づいて、補正すること
を特徴とする撮像装置。 - 上記白とび画素補正手段は、上記第３の撮像によって得られた画像信号から生成された輝度信号のうち、上記白とび画素の画像信号から生成された輝度信号を、以下の式１によって得られたＳ１で置換すること
を特徴とする請求項１記載の撮像装置。
Ｓ１＝Ｍ／Ｌ×（Ｎ−Ｐ）＋Ｐ …式１
（但し、Ｍは第３の撮像のときに閃光照射手段が発光した光の光量であり、Ｌは第２の撮像のときに閃光照射手段が発光した光の光量であり、Ｎは第２の撮像で得られた画像信号から生成された輝度信号であり、Ｐは第１の撮像で得られた画像信号から生成された輝度信号である。） - 上記画像信号から画像信号が所定の値未満である黒つぶれ画素を検出する黒つぶれ画素検出手段と、
上記黒つぶれ画素を補正する黒つぶれ画素補正手段とを備え、
上記黒つぶれ画素検出手段は、上記第２の撮像によって得られた画像信号から黒つぶれ画素を検出し、
上記黒つぶれ画素補正手段は、上記第２の撮像によって得られた画像信号のうち、上記黒つぶれ画素検出手段によって検出された黒つぶれ画素を、上記第１の撮像によって得られた画像信号と、上記第３の撮像によって得られた画像信号とに基づいて、補正すること
を特徴とする請求項１記載の撮像装置。 - 上記黒つぶれ画素補正手段は、上記第２の撮像によって得られた画像信号から生成された輝度信号のうち、上記黒つぶれ画素の画像信号から生成された画像輝度信号を、以下の式２によって得られたＳ２で置換すること
を特徴とする請求項３記載の撮像装置。
Ｓ２＝Ｌ／Ｍ×（Ｏ−Ｐ）＋Ｐ …式２
（但し、Ｌは第２の撮像のときに閃光照射手段が発光した光の光量であり、Ｍは第３の撮像のときに閃光照射手段が発光した光の光量であり、Ｏは第３の撮像で得られた画像信号から生成された輝度信号であり、Ｐは第１の撮像で得られた画像信号から生成された輝度信号である。） - 上記画像信号に基づいて、上記閃光手段が発光する閃光の強度を決定する閃光強度決定手段を備え、
上記撮像手段は、上記第１の撮像の前に、上記閃光手段が所定の強度の閃光を発光した状態で被写体の撮像を行う予備撮像を行い、
上記閃光強度決定手段は、上記第２の撮像のときに上記閃光発光手段が発光する閃光の強度を、上記予備撮像によって得られた画像信号のうち所定の値より大きい画像信号に基づいて決定し、上記第３の撮像のときに上記閃光発光手段が発光する閃光の強度を、上記予備撮像によって得られた画像信号のうち所定の値より小さい画像信号に基づいて決定すること
を特徴とする請求項１記載の撮像装置。 - 被写体を撮像して画像信号を生成する撮像手段と、
閃光を発光し、上記被写体を照射する閃光照射手段と、
上記画像信号から画像信号が所定の値未満である黒つぶれ画素を検出する黒つぶれ画素検出手段と、
上記黒つぶれ画素を補正する黒つぶれ画素補正手段とを備え、
上記撮像手段は、上記閃光照射手段が閃光を発光しない状態で上記被写体を撮像する第１の撮像と、上記閃光照射手段が弱い強度の閃光を発光した状態で上記被写体を撮像する第２の撮像と、上記閃光照射手段が強い強度の閃光を発光した状態で上記被写体を撮像する第３の撮像とを行い、
上記黒つぶれ画素検出手段は、上記第２の撮像によって得られた輝度信号から黒つぶれ画素を検出し、
上記黒つぶれ画素補正手段は、上記第２の撮像によって得られた画像信号のうち、上記黒つぶれ画素検出手段によって検出された黒つぶれ画素を、上記第１の撮像によって得られた画像信号と、上記第３の撮像によって得られた画像信号とに基づいて、補正すること
を特徴とする撮像装置。 - 上記黒つぶれ画素補正手段は、上記第２の撮像によって得られた画像信号から生成された輝度信号のうち、上記黒つぶれ画素の画像信号から生成された輝度信号を、以下の式２によって得られたＳ２で置換すること
を特徴とする請求項６記載の撮像装置。
Ｓ２＝Ｌ／Ｍ×（Ｏ−Ｐ）＋Ｐ…式２
（但し、Ｌは第２の撮像のときに閃光照射手段が発光した光の光量であり、Ｍは第３の撮像のときに閃光照射手段が発光した光の光量であり、Ｏは第３の撮像で得られた画像信号から生成された輝度信号であり、Ｐは第１の撮像で得られた画像信号である。） - 上記画像信号に基づいて、上記閃光手段が発光する閃光の強度を決定する閃光強度決定手段を備え、
上記撮像手段は、上記第１の撮像の前に、上記閃光手段が所定の強度の閃光を発光した状態で被写体の撮像を行う予備撮像を行い、
上記閃光強度決定手段は、上記第２の撮像のときに上記閃光発光手段が発光する閃光の強度を、上記予備撮像によって得られた画像信号のうち所定の値より大きい画像信号に基づいて決定し、上記第３の撮像のときに上記閃光発光手段が発光する閃光の強度を、上記予備撮像によって得られた画像信号のうち所定の値より小さい画像信号に基づいて決定すること
を特徴とする請求項６記載の撮像装置。 - 閃光が照射されない状態で被写体を撮像する第１の撮像と、弱い強度の閃光が照射された状態で上記被写体を撮像する第２の撮像と、強い強度の閃光が照射された状態で上記被写体を撮像する第３の撮像とを行い、
上記第３の撮像によって得られた画像信号が所定の値以上である白とび画素を検出し、
上記白とび画素の画像信号を、上記第１の撮像によって得られた画像信号と、上記第２の撮像によって得られた画像信号とに基づいて、補正すること
を特徴とする撮像方法。 - 以下の式１に示す演算を行い、
上記白とび画素の画像信号から生成された輝度信号を、上記式１によって得られたＳ１で置換すること
を特徴とする請求項９記載の撮像方法。
Ｓ１＝Ｍ／Ｌ×（Ｎ−Ｐ）＋Ｐ…式１
（但し、Ｍは第３の撮像のときに閃光照射手段が発光した光の光量であり、Ｌは第２の撮像のときに閃光照射手段が発光した光の光量であり、Ｎは第２の撮像で得られた画像信号から生成された輝度信号であり、Ｐは第１の撮像で得られた画像信号から生成された輝度である。） - 上記第２の撮像によって得られた画像信号が所定の値未満である黒つぶれ画素を検出し、
上記黒つぶれ画素の画像信号を、上記第１の撮像によって得られた画像信号と、上記第３の撮像によって得られた画像信号とに基づいて、補正すること
を特徴とする請求項９記載の撮像方法。 - 以下の式２に示す演算を行い、
上記黒つぶれ画素の画像信号から生成された輝度信号を、上記式２によって得られたＳ２で置換すること
を特徴とする請求項１１記載の撮像方法。
Ｓ２＝Ｌ／Ｍ×（Ｏ−Ｐ）＋Ｐ…式２
（但し、Ｌは第２の撮像のときに閃光照射手段が発光した光の光量であり、Ｍは第３の撮像のときに閃光照射手段が発光した光の光量であり、Ｏは第３の撮像で得られた画像信号から生成された輝度信号であり、Ｐは第１の撮像で得られた画像信号から生成された輝度信号である。） - 上記第１の撮像の前に、上記閃光手段が所定の強度の閃光を発光した状態で被写体の撮像を行う予備撮像を行い、
上記第２の撮像のときに発光する閃光の強度を、上記予備撮像によって得られた画像信号のうち所定の値より大きい画像信号に基づいて決定し、上記第３の撮像のときに発光する閃光の強度を、上記予備撮像によって得られた画像信号のうち所定の値より小さい画像信号に基づいて決定すること
を特徴とする請求項９記載の撮像方法。 - 閃光が照射されない状態で被写体を撮像する第１の撮像と、弱い閃光が照射された状態で上記被写体を撮像する第２の撮像と、強い強度の閃光が照射された状態で上記被写体を撮像する第３の撮像とを行い、
上記第２の撮像によって得られた画像信号が所定の値未満である黒つぶれ画素を検出し、
上記黒つぶれ画素の画像信号を、上記第１の撮像によって得られた画像信号と、上記第３の撮像によって得られた画像信号とに基づいて、補正すること
を特徴とする撮像方法。 - 以下の式２に示す演算を行い、
上記黒つぶれ画素の画像信号から生成された輝度信号を、上記式２によって得られたＳ２で置換すること
を特徴とする請求項１４記載の撮像方法。
Ｓ２＝Ｌ／Ｍ×（Ｏ−Ｐ）＋Ｐ…式２
（但し、Ｌは第２の撮像のときに閃光照射手段が発光した光の光量であり、Ｍは第３の撮像のときに閃光照射手段が発光した光の光量であり、Ｏは第３の撮像で得られた画像信号から生成された輝度信号であり、Ｐは第１の撮像で得られた画像信号から生成された輝度信号である。） - 上記第１の撮像の前に、上記閃光手段が所定の強度の閃光を発光した状態で被写体の撮像を行う予備撮像を行い、
上記第２の撮像のときに発光する閃光の強度を、上記予備撮像によって得られた画像信号のうち所定の値より大きい画像信号に基づいて決定し、上記第３の撮像のときに発光する閃光の強度を、上記予備撮像によって得られた画像信号のうち所定の値より小さい画像信号に基づいて決定すること
を特徴とする請求項１４記載の撮像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003142197A JP4314883B2 (ja) | 2003-05-20 | 2003-05-20 | 撮像装置及び撮像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003142197A JP4314883B2 (ja) | 2003-05-20 | 2003-05-20 | 撮像装置及び撮像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004349837A JP2004349837A (ja) | 2004-12-09 |
| JP4314883B2 true JP4314883B2 (ja) | 2009-08-19 |
Family
ID=33530353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003142197A Expired - Fee Related JP4314883B2 (ja) | 2003-05-20 | 2003-05-20 | 撮像装置及び撮像方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4314883B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7443443B2 (en) * | 2005-07-28 | 2008-10-28 | Mitsubishi Electric Research Laboratories, Inc. | Method and apparatus for enhancing flash and ambient images |
| US7403707B2 (en) * | 2005-07-28 | 2008-07-22 | Mitsubishi Electric Research Laboratories, Inc. | Method for estimating camera settings adaptively |
| JP2009206651A (ja) * | 2008-02-26 | 2009-09-10 | Ricoh Co Ltd | 撮像装置 |
| JP4934123B2 (ja) * | 2008-09-30 | 2012-05-16 | 富士フイルム株式会社 | 撮影装置および方法 |
| US7978231B2 (en) * | 2008-11-07 | 2011-07-12 | Cisco Technology, Inc. | Method for automatic exposure control within a video capture device |
| US8436914B2 (en) | 2008-11-07 | 2013-05-07 | Cisco Technology, Inc. | Method for automatic exposure control within a video capture device |
| JP5136369B2 (ja) * | 2008-11-13 | 2013-02-06 | 株式会社ニコン | 撮像装置 |
| JP2021033163A (ja) * | 2019-08-28 | 2021-03-01 | キヤノン株式会社 | 撮像装置及びその制御方法 |
-
2003
- 2003-05-20 JP JP2003142197A patent/JP4314883B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004349837A (ja) | 2004-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2709355B1 (en) | Imaging apparatus and control method | |
| US8929727B2 (en) | Image pickup apparatus and controlling method therefor | |
| TWI331280B (en) | Imaging apparatus and imagine method | |
| US7616874B2 (en) | Image-taking apparatus | |
| US7486884B2 (en) | Imaging device and imaging method | |
| US9456145B2 (en) | Apparatus for photographing that carries out a pre-flash photography | |
| JP4516503B2 (ja) | 撮像システムおよびその制御方法 | |
| US8237850B2 (en) | Electronic camera that adjusts the distance from an optical lens to an imaging surface | |
| JP2007135140A (ja) | 撮像装置 | |
| JP3900880B2 (ja) | 画像撮像装置 | |
| US20110044680A1 (en) | Imaging apparatus and control method therefor | |
| JP2009147608A (ja) | 撮像装置、撮像装置の制御方法、撮像装置の制御方法のプログラム及び撮像装置の制御方法のプログラムを記録した記録媒体 | |
| JP4314883B2 (ja) | 撮像装置及び撮像方法 | |
| JP3610291B2 (ja) | 電子カメラ | |
| US20100097500A1 (en) | Photographing apparatus and photographing method | |
| JP4360011B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP2004096345A (ja) | 撮像装置 | |
| JP2007081487A (ja) | 撮像装置および電子情報機器 | |
| JP2007025558A (ja) | 露出制御方法及び装置並びに撮像装置 | |
| JP2006243371A (ja) | ストロボ装置，及びその制御方法、並びにデジタルスチルカメラ | |
| JP4592892B2 (ja) | 電子カメラ | |
| JP2003302570A (ja) | デジタルカメラ | |
| JP2011114442A (ja) | 電子カメラ | |
| JP2008092416A (ja) | 撮像装置及び画像処理方法 | |
| JP2006197499A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060414 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090305 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090428 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090511 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120529 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130529 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |