以下、本発明の実施例について、図面を参照しながら詳細に説明する。
まず、図1を参照して、本実施例における撮像装置(デジタルカメラ)の構成について説明する。図1は、本実施例における撮像装置の構成を示すブロック図である。
撮像装置100において、10は撮影レンズ(撮像光学系)、12は絞り機能を備える機械式シャッター、14は被写体像(光学像)を光電変換して画像信号としての電気信号(アナログ信号)を出力する撮像素子である。16は、撮像素子14から出力されたアナログ信号をデジタル信号に変換するA/D変換器である。18は、撮像素子14およびA/D変換器16にクロック信号および制御信号を供給するタイミング発生回路であり、メモリ制御回路22およびシステム制御回路50により制御される。本実施例において、機械式シャッター12に代えて、撮像素子14のリセットタイミングを制御する電子シャッターを用いて蓄積時間を制御することができ、動画撮影などに使用可能である。
20は画像処理回路であり、A/D変換器16からのデータまたはメモリ制御回路22からのデータに対して所定の画素補間処理、色変換処理、ノイズ除去処理、エッジ強調処理などを行う。また画像処理回路20は、メモリ制御回路22からの画像データに対して、顔検出のためのウェーブレット変換処理などを行う。また画像処理回路20は、TTL方式のAWB(オートホワイトバランス)処理を行うために撮像画像(画像データ)を用いて所定の演算処理を行う。そして、得られた演算結果をWB(ホワイトバランス)評価値として算出し、算出されたWB評価値に基づいて画像データの色変換などを行う。更に、画像処理回路20は、TTL方式のAF処理、AE処理、および、EF処理をそれぞれ行うためのAF評価値、AE評価値、および、EF評価値を算出するため、撮像画像(画像データ)を用いて所定の演算処理を行う。システム制御回路50は、画像処理回路20から得られたAF評価値、AE評価値、および、EF評価値に基づいて、所定のアルゴリズムに従って露光制御手段40および測距制御手段42を制御する。
また後述のように、画像処理回路20は、現像回路202、フィルタ回路205、二値化回路207、および、合成回路209を備えて構成される。これらの各回路は、システム制御回路50により制御される。好ましくは、システム制御回路50は、撮影シーンが夜景であると判定した場合、現像回路202、フィルタ回路205、二値化回路207、および、合成回路209を動作させる。また好ましくは、システム制御回路50は、撮影モードが夜景モードに設定されている場合、現像回路202、フィルタ回路205、二値化回路207、および、合成回路209を動作させる。
22はメモリ制御回路であり、A/D変換器16、タイミング発生回路18、画像処理回路20、メモリ30(記憶手段)、および、圧縮・伸長回路32を制御する。A/D変換器16から出力されたデータ(画像信号)は、画像処理回路20およびメモリ制御回路22を介して、または、直接メモリ制御回路22を介して、メモリ30に記憶される。
28は、TFT−LCDなどを備えて構成される画像表示部である。メモリ30に書き込まれた表示用の画像データは、メモリ制御回路22を介して画像表示部28(表示手段)に表示される。画像表示部28を用いて撮像画像(画像データ)を逐次表示することにより、電子ファインダ機能を実現することが可能である。また画像表示部28は、システム制御回路50の指示に基づいて、任意に表示のON/OFFを行うことが可能である。画像表示部28は、その表示をOFFにした場合、撮像装置100(画像処理装置)の電力消費を低減することができる。
30は、撮影した静止画像や動画像を格納するメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能となる。またメモリ30は、システム制御回路50の作業領域としても使用可能である。
31は、EEPROM(フラッシュメモリ)などを備えて構成された不揮発性メモリである。システム制御回路50が実行するプログラム(プログラムコード)は、不揮発性メモリ31に書き込まれる。システム制御回路50は、不揮発性メモリ31に記憶されたプログラムを逐次読み出しながら撮像装置100の機能を実行する。また、不揮発性メモリ31には、システム情報を記憶する領域やユーザ設定情報を記憶する領域などが設けられている。このような構成により、種々の情報や設定を次回の起動時に読み出して復元することが可能となる。
32は適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する圧縮・伸長回路である。圧縮・伸長回路32は、メモリ30に格納された画像を読み込んで圧縮処理または伸長処理を行い、処理したデータをメモリ30に書き込む。40は、絞り機能を備える機械式シャッター12を制御する露光制御手段である。露光制御手段40は、フラッシュ48と連携することによりフラッシュ調光機能を有する。42は、撮影レンズ10のフォーカシングを制御する測距制御手段である。44は、撮影レンズ10のズーミングを制御するズーム制御手段である。48はフラッシュ(ストロボまたは発光手段)であり、AF補助光の投光機能、および、フラッシュ調光機能を有する。露光制御手段40および測距制御手段42は、TTL方式を用いて制御されている。50は、撮像装置100(画像処理装置)の全体を制御するシステム制御回路(制御手段)である。システム制御回路50は、画像処理回路20による撮像画像(画像データ)の演算結果に基づいて、露光制御手段40および測距制御手段42を制御する。
60、62、64、66、70、72は、システム制御回路50の各種の動作指示を入力するための操作手段である。これらの操作手段は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置などの単数または複数の組み合わせにより構成される。以下、これらの操作手段について具体的に説明する。
60はモードダイアルスイッチである。モードダイアルスイッチ60は、電源オフ、静止画撮影モード、パノラマ撮影モード、動画撮影モード、スナップ動画撮影モード、再生モード、マルチ画面再生、PC接続モード、テレビ受信モードなどの各機能モードを切り替え設定することができる。また、モードダイアルスイッチ60は、夜景モードなどの撮影モードを設定可能である。62は第1シャッタースイッチ(SW1)である。第1シャッタースイッチ62は、シャッターボタンの操作途中でONとなり、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理などの撮影準備動作開始を指示する。
64は第2シャッタースイッチ(SW2)である。第2シャッタースイッチ64は、シャッターボタンの操作完了でONとなり、一連の処理の動作開始を指示する。この一連の処理において、まず、撮像素子14から読み出された信号(画像データ)をA/D変換器16およびメモリ制御回路22を介してメモリ30に書き込む画像取り込み処理が行われる。また、画像処理回路20やメモリ制御回路22での演算を用いた現像処理、および、メモリ30から画像データを読み出し、圧縮・伸長回路32で圧縮処理を行う処理が行われる。そして、記録媒体120に画像データを書き込む記録処理が行われる。
66は、表示切替スイッチであり、画像表示部28の表示切替を行うことができる。この機能により、光学ファインダ104を用いて撮影を行う際に、TFT−LCDなどを備えて構成される画像表示部28への電流供給を遮断して省電力を図ることが可能となる。70は、各種ボタンやタッチパネルなどを備えて構成される操作部である。操作部70は、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタンなどを備えている。また操作部70は、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタンなども備えている。
72は、ユーザが撮像画像の倍率変更の指示を行うズーム操作手段としてのズームスイッチである。ズームスイッチ72は、撮像画角を望遠側に変更させるテレスイッチ、および、撮像画角を広角側に変更させるワイドスイッチを備えて構成される。ズームスイッチ72を操作は、ズーム制御手段44に撮影レンズ10の撮像画角の変更を指示して光学ズーム操作を行うためのトリガとなる。また、ズームスイッチ72の操作は、画像処理回路20による画像の切り出しや、画素補間処理などによる撮像画角の電子的な変更のトリガともなる。
74は、撮影シーン検出部(撮影シーン検出手段)である。撮影シーン検出部74は、夜景や昼間などの撮影シーンを検出(判定)する。86は、アルカリ電池やリチウム電池などの一次電池、または、NiCd電池、NiMH電池、Li電池などの二次電池、および、ACアダプターなどを備えて構成される電源手段である。90は、メモリカードやハードディスクなどの記録媒体とのインタフェース(I/F)である。92は、メモリカードやハードディスクなどの記録媒体と接続を行うコネクタである。なお本実施例において、記録媒体を取り付けるインタフェースおよびコネクタを一系統だけ有する場合について説明しているが、これに限定されるものではない。記録媒体を取り付けるインタフェースおよびコネクタは、複数系統を備えていてもよい。
104は光学ファインダである。撮像装置100は、画像表示部28による電子ファインダ機能を用いることなく、光学ファインダ104のみを用いて撮影を行うことが可能である。110は通信手段である。通信手段110は、USB、IEEE1394、LAN、無線通信などの各種通信機能を有する。112は、通信手段110により撮像装置100(画像処理装置)を他の機器と接続するコネクタまたは無線通信を用いる場合のアンテナである。120は、メモリカードやハードディスクなどの記録媒体である。記録媒体120は、半導体メモリや磁気ディスクなどを備えて構成される記録部122、撮像装置100とのインタフェース124(I/F)、および、撮像装置100と接続を行うコネクタ126を備えている。
なお、本実施例の撮像装置100は、撮影レンズ10を一体化して構成されているが、これに限定されるものではない。本実施例は、撮像装置本体と、撮像装置本体に着脱可能な撮影レンズ(撮像光学系)とを組み合わせて構成される撮像システムにも適用可能である。
<第1の実施形態>
次に、図2を参照して、第1の実施形態における画像処理回路20の構成について説明する。図2(a)は、画像処理回路20の構成を示すブロック図である。撮像素子14からの撮像信号(画像信号)は、A/D変換器16によりA/D変換され、RGBのベイヤー配列のCRW画像201が生成される。CRW画像201は、画像処理回路20の現像回路202に入力される。
現像回路202(生成手段、現像手段)は、CRW画像201にデモザイキング処理を施した後、輝度信号(Y信号)および色差信号(UV信号)に変換し、エッジ強調、ホワイトバランス、ガンマ変換などの画像処理を施したYUV画像を生成する。このとき、現像回路202は、ガンマカーブの異なる二度のガンマ変換を実施することにより、暗画像203(第1の画像)および明画像204(第2の画像)の二画像が得られる。すなわち現像回路202(生成手段)は、撮像素子14からの画像信号に対して互いに異なるパラメータを用いて、第1の画像および第2の画像を生成する。このとき、第2の画像は、第1の画像よりも明るくなるように互いに異なるパラメータが設定される。このため、明画像204(第2の画像)は、暗画像203(第1の画像)よりも明るい画像である。好ましくは、現像回路202は、パラメータとしてガンマカーブを変更することにより、暗画像203および暗画像203よりも輝度の高い明画像204を生成する。なお本実施形態において、第1の画像および第2の画像は、一枚の撮影画像を用いて生成された画像であるが、これに限定されるものではない。例えば、互いに異なる露出で撮影された複数の撮影画像を用いて生成された画像であってもよい。
本実施形態において、現像回路202(生成手段)は、互いに異なるパラメータとしてガンマカーブを異ならせることにより、第1の画像および第1の画像よりも明るい第2の画像を生成する。ただし本実施形態は、これに限定されるものではない。例えば、現像回路202は、互いに異なるパラメータとしてデジタルゲインを異ならせることにより、第1の画像および第1の画像よりも明るい第2の画像を生成するように構成してもよい。
フィルタ回路205(フィルタ処理手段)は、明画像204(第2の画像)に対してエッジ強調を含むフィルタ処理を行い、フィルタ処理された明画像206を生成する。なお本実施形態において、フィルタ回路205は現像回路202により現像された画像に対するフィルタ処理としてエッジ強調処理を行うように構成されているが、これに限定されるものではなく、低周波成分をぼかすローパスフィルタ処理なども含まれる。例えば、フィルタ処理手段としてのフィルタ回路205が現像回路202(生成手段)に含まれていてもよい。この場合、現像回路202により生成された明画像(第2の画像)は、フィルタ処理された明画像となる。これにより、現像回路(フィルタ回路を含む現像回路)は、現像およびエッジ強調の両方を行うことになる。
二値化回路207(領域設定手段)は、所定の輝度を閾値として暗画像203を二値化し、後段の合成用の合成マップ208を生成する。すなわち二値化回路207は、暗画像203を用いて第1の領域および第2の領域を設定する。好ましくは、二値化回路207は、暗画像203のうち、第1の輝度よりも高い領域を第1の領域(高輝度領域)として設定する。また好ましくは、二値化回路207は、暗画像203のうち、第2の輝度よりも低い領域を第2の領域(低輝度領域)として設定する。
合成回路209(合成手段)は、合成マップ208を用いて、暗画像203とエッジ強調された明画像206とを合成し、合成画像であるYUV画像210を生成して出力する。このように合成回路209は、第1の領域に対して暗画像203(第1の画像)を割り当て、第2の領域に対してエッジ強調された明画像206(エッジ強調された第2の画像)を割り当てることにより、合成画像(出力画像)を生成する。すなわち合成回路209は、第1の画像の明るさに基づいて第1の画像および第2の画像を合成して合成画像を生成する。
図2(b)は、撮影構図の一例である。図2(b)において、211は想定する夜景シーンである。また、212は建物などの明るい被写体、213は山などの暗い被写体、214は夜空である。図2(c)は、夜景シーン211を二値化回路207により二値化した結果を示している。図2(c)において、221は二値化回路207により生成された合成マップである。222は、二値化の際に第1の閾値(所定の閾値)よりも輝度が高いと判定された領域(第1の領域)である。223は、二値化の際に第2の閾値(所定の閾値)よりも輝度が低いと判定された領域(第2の領域)である。なお、第1の閾値と第2の閾値は、本実施形態では互いに同一にして二値化しているが、互いに異なるように設定して多値に分類してもよい。このとき、分類された値の分だけ現像の明るさ(カーブ)も多値にわたらせて、3以上の複数の明るさで現像された画像を複数の明るさごとに分類された合成マップのそれぞれの領域で主として用いて合成画像を生成してもよい。
合成回路209は、合成マップ221(208)を用いて、輝度が高い領域222に対しては暗画像203を貼り付け、輝度が低い領域223に対してはエッジ強調された明画像206を貼りつけることにより、画像合成を行う。
続いて、図6を参照して、本実施形態における画像処理回路20の機能について詳述する。図6(a)は、ガンマカーブの一例であり、現像回路202内のガンマ変換を行う回路の入力YUV画像(入力画像)と出力YUV画像(出力画像)との関係を示している。図6(a)において、横軸、縦軸は入、出力YUV画像をそれぞれ示している。図6(a)には、ガンマカーブの一例として、明るく現像するためのガンマカーブ601、および、暗く現像するためのガンマカーブ602が示されている。なお本実施形態において、暗画像および明画像の生成において互いに異なるガンマを用いるものとして説明しているが、これに限定されるものではない。暗画像および明画像の生成において、輝度によらずリニアなゲインをかけてもよい。
図6(b)は、本実施形態におけるフィルタ処理手段の一例である。図6(b)には、3×3画素のエッジ強調フィルタ(フィルタ回路205)が示されるが、フィルタ処理手段はこれに限定されるものではない。
図6(c)は、本実施形態における二値化の一例である。図6(c)において、横軸は入力輝度レベル(IN)、縦軸は出力輝度レベル(OUT)をそれぞれ示している。二値化回路207は、入力輝度レベルが所定の閾値611よりも低い場合、0を出力する。一方、入力輝度レベルが所定の閾値611よりも高い場合、1を出力する。なお本実施形態において、合成マップ208(221)として二値化されたマップを用いて説明しているが、これに限定されるものではなく、階調的な多値を有する合成マップを用いてもよい。
続いて、図3を参照して、本実施形態における撮像装置100の動作について説明する。図3は、撮像装置100の動作を示すフローチャートである。図3の各ステップは、主に、システム制御回路50の指令に基づいて画像処理回路20により実行される。
まずステップS301において、ユーザが第2シャッタースイッチ64(SW2)をオンにすると、撮影動作が開始し、画像処理回路20はCRW画像201を取得する。続いてステップS302において、現像回路202は、ガンマカーブ602を用いてCRW画像201を暗く現像して暗画像203を生成する。そしてステップS303において、現像回路202は、ガンマカーブ601を用いてCRW画像301を明るく現像して明画像204を生成する。
続いてステップS304において、フィルタ回路205は、明画像204に対してエッジ強調を行い、明画像206を生成する。またステップS305において、二値化回路207は、暗画像203に対して、閾値611に基づいて二値化することにより合成マップ208を生成する。そしてステップS306において、合成回路209は、合成マップ208(221)を用いて、暗画像203とエッジ強調された明画像206とを合成する。ここで、合成マップ208(221)において1の値である領域は暗画像203を主として用い、0の値である領域は明画像206を主として用いて合成する。合成マップ208(21)における0と1の境界部はなだらかに合成比率を変化させて目立たなくしてもよい。このとき合成回路209は、第1の画像のうち、第1のレベルよりも信号レベルの高い領域には第1の画像を主として用いて、第1のレベルよりも信号レベルの低い領域には第2の画像を主として用いるように合成画像を生成する。
以上のように、本実施形態では、撮影画像を複数の明るさで現像し、領域ごとに明るさに応じてそれぞれの画像を主として用いて合成画像を生成することで、明るさの異なる複数の被写体を有するシーンでも所望の画像を取得することが出来る。さらに、星空を想定した画角内の暗部に、明るめに現像され、エッジ強調を行った画像を用いることで、星の輝きが強調された合成画像を得ることが出来る。また、田舎の夜景などの低照度の撮影シーンにおいては、星空を適正露出とし、星を強調するとともに、一緒の画像に含まれる山や木などの低コントラストの被写体はエッジ強調されにくいため、星の強調処理の弊害を目立たなくすることができる。
<第2の実施形態>
図4を参照して、第2の実施形態における画像処理回路20aの構成について説明する。本実施形態では、ストロボ発光画像を用いることで、人物等の手前の被写体を適切な明るさで写しつつ、星空が適正な明るさで写った画像を生成する。
図4(a)、(b)は、画像処理回路20aの構成を示すブロック図である。図4(a)は画像処理回路20aのうち背景画像を生成する部位を示し、図4(b)は画像処理回路20aの全体を示している。
本実施形態において、背景画像は、図4(a)に示される構成により生成される。なお、図4(a)の参照符号401〜410は、第1の実施形態における図2(a)の参照符号201〜210とそれぞれ対応するため、それらの説明は省略する。
図4(b)において、画像処理回路20aは、ストロボ(フラッシュ48などの発光手段)を発光させて撮影した画像(CRW画像411)を取得する。また画像処理回路20aは、ストロボを発光させずに撮影した画像(CRW画像412)を取得する。ストロボを発光して取得したCRW画像411は、現像回路413(生成手段、現像手段)に出力される。現像回路413は、CRW画像411を現像し、YUV画像414(第3の画像)を生成する。また、ストロボを発光せずに撮影した画像(CRW画像412)は、現像回路415(生成手段、現像手段)に出力される。現像回路415は、CRW画像412を現像し、YUV画像416(第4の画像)を生成する。このように現像回路413、415は、ストロボ(フラッシュ48)を発光させて撮影した画像である第3の画像、および、ストロボを発光させずに撮影した画像である第4の画像を生成する。
差分検出回路417(領域設定手段)は、YUV画像414(ストロボ発光させて得られたYUV画像)とYUV画像416(ストロボ発光させずに得られたYUV画像)の二つの画像の差分を求め、ストロボ照射マップ418を生成する。すなわち差分検出回路417は、第3の画像と第4の画像との差分に基づいて、第3の領域(ストロボ照射領域)および第4の領域(ストロボ非照射領域)を設定する。例えば、差分検出回路417は、第3の画像と第4の画像との差分が所定の閾値よりも大きい領域を第3の領域として設定する。
合成回路419(合成手段)は、ストロボ照射マップ418(合成マップ)を用いて、YUV画像414(ストロボ照射画像)とYUV画像410(図4(a)に示されるように生成された背景画像)とを合成し、YUV画像420(第2の合成画像)を生成する。すなわち合成回路419は、第3の領域に対して第3の画像を割り当て、第4の領域に対してYUV画像410(第1の画像および第2の画像から生成された合成画像)を割り当てることにより、第2の合成画像を生成する。
図4(c)は、撮影構図の一例である。図4(c)において、421は想定する夜景シーンである。422は人物などのストロボが到達する距離に位置する主被写体、423は建物などの明るい被写体、424は山などの暗い被写体、425は夜空である。図4(d)は、夜景シーン421に関して、差分検出回路417により差分を求めた結果である。図4(d)において、431は差分検出回路417により生成されたストロボ照射マップ(ストロボ照射マップ418)、432はストロボが照射された領域、433はストロボが照射されなかった領域である。
合成回路419は、ストロボ照射マップ431(合成マップ)を用いて、ストロボが照射された領域432に、YUV画像414(ストロボ発光して得られた画像)を張り付ける。また合成回路419は、ストロボが照射されなかった領域433に、YUV画像410(背景画像)を貼り付ける。このように合成回路419は、領域432、433にYUV画像414、410をそれぞれ張り付けて画像を合成する。なお本実施形態において、現像回路402、413、415は、互いに別の回路であるとして説明しているが、現像回路402、413、415は同一の現像回路であってもよい。同様に、合成回路409、419についても、同一の合成回路であってもよい。また、二値化回路407および差分検出回路417は同一の領域設定手段として構成することができるが、互いに異なる領域設定手段(第1の領域設定手段および第2の領域設定手段)として構成してもよい。
続いて、図5(a)、(b)を参照して、本実施形態における撮像装置100の動作について説明する。図5(a)、(b)は、撮像装置100の動作を示すフローチャートである。図5(a)、(b)の各ステップは、主に、システム制御回路50の指令に基づいて画像処理回路20aにより実行される。
まずステップS501において、ユーザが第2シャッタースイッチ64(SW2)を操作すると(SW2がオンになると)、撮影動作が開始し、画像処理回路20aはストロボを発光させて撮影した画像(CRW画像411)を取得する。そしてステップS502において、画像処理回路20aはストロボを発光させずに撮影した画像(CRW画像412)を取得する。
続いてステップS503において、現像回路413は、CRW画像411(ストロボ発光させて撮影した画像)を現像してYUV画像414を生成する。そしてステップS504において、現像回路415は、CRW画像412(ストロボ発光させずに撮影した画像)を現像してYUV画像416を生成する。続いてステップS505において、差分検出回路417は、ステップS503にて生成されたYUV画像414とステップS504にて生成されたYUV画像416との差分を求め、ストロボ照射マップ418を生成する。
続いてステップS506において、画像処理回路20aは、別途撮影した画像に基づいて背景画像(YUV画像410)を生成する。ステップS506の詳細については後述する。そしてステップS507において、合成回路419は、ステップS505にて生成されたストロボ照射マップ418を用いて、YUV画像414(ストロボ発光させて得られた画像)とYUV画像410(背景画像)とを合成する。
次に、図5(b)を参照して、背景画像の生成(ステップS506)について詳述する。図5(b)は、背景画像の生成(ステップS506)を示すフローチャートである。まずステップS511において、撮影(長秒)により、画像処理回路20aはCRW画像401を取得する。続いてステップS512において、現像回路402は、CRW画像401を暗く現像して暗画像403を生成する。そしてステップS513において、現像回路402は、CRW画像401を明るく現像して明画像404を生成する。
続いてステップS514において、フィルタ回路405は、明画像404に対してエッジ強調を行い、明画像406を生成する。またステップS515において、二値化回路407は、暗画像403に対して、ある輝度値を閾値として二値化することにより合成マップ408を生成する。そしてステップS516において、合成回路409は、合成マップ408を用いて、暗画像403とエッジ強調された明画像406とを合成する。
なお本実施形態において、発光画像、非発光画像、および、背景画像の順に撮影するものとして説明しているが、これに限定されるものではなく、撮影順序は任意に変更可能である。また本実施形態において、発光と非発光画像の撮影および現像、背景画像の撮影、現像、および合成の順に処理するものとして説明しているが、これに限定されるものではなく、処理順序は任意に変更可能である。また本実施形態において、撮影回数を三回として説明しているが、撮影回数はこれに限定されるものではない。
このように生成手段(現像回路402、413、415)は、被写体に向けて光を照射する発光手段(フラッシュ48)が発光している状態で撮影した画像である第3の画像を生成し、発光手段が発光していない状態で撮影した画像である第4の画像を生成する。そして合成手段(差分検出回路417)は、第3の画像と第4の画像との差分に基づいて第3の画像と合成画像とを合成して第2の合成画像を生成する。好ましくは、合成手段は、第3の画像と第4の画像との差分が所定の閾値よりも大きい領域に第3の画像を主として用い、差分が所定の閾値よりも小さい領域には、合成画像を主として用いて第2の合成画像を生成する。
以上のように、本実施形態では、撮影画像を複数の明るさで現像し、領域ごとに明るさに応じてそれぞれの画像を主として用いて合成画像を生成することで、明るさの異なる複数の被写体を有するシーンでも所望の画像を取得することができる。また、星空を想定した画角内の暗部に、明るめに現像され、エッジ強調を行った画像を用いることで、星の輝きが強調された合成画像を得ることができる。
また、星を強調するとともに高輝度部分をエッジ強調量が適量な画像に置き換えることにより、建物などの明るい被写体のエッジ強調量を適量に設定することができる。また、主被写体を撮影するためのストロボ発光画像とストロボ非発光の背景画像とを明るさに応じて合成することにより、主被写体および背景のそれぞれを適正露出とする合成画像を生成することが可能である。
<第3の実施形態>
次に、第3の実施形態における画像処理回路について説明する。本実施形態における画像処理回路の基本構成は、図2および図6を参照して説明した第1の実施形態の画像処理回路20と同様であるため、これらの説明は省略する。
図7を参照して、本実施形態(および、後述の第4の実施形態)において想定する撮影シーンについて説明する。図7(a)は、都会の夜景シーン701であり、明るい被写体である建物702と星空703から構成されている。図7(b)は、田舎の夜景シーン711であり、山や木などの暗い被写体712と星空713から構成されている。図7(c)は、昼間のシーン721であり、建物722と空723から構成されている。なお、都会の夜景シーン701には明るい被写体(建物702)のみが示されているが、これに限定されるものではなく、暗い被写体があってもよい。
続いて、図8を参照して、本実施形態における撮像装置100の動作について説明する。図8は、撮像装置100の動作を示すフローチャートである。図8の各ステップは、主に、システム制御回路50の指令に基づいて画像処理回路20により実行される。
撮像装置100の電源がオンになると、まずステップS801において、システム制御回路50は、照度Bvの閾値として、明るい側の閾値ThH、および、暗い側の閾値ThLの二つの閾値を設定する。続いてステップS802において、システム制御回路50(画像処理回路20)は、撮影開始前のライブ画像表示時における撮影環境の照度Bvを取得する。そしてステップS803において、システム制御回路50は、第2シャッタースイッチ64(SW2)がオンになったか否かを判定する。スイッチSW2がオンでない場合、システム制御回路50は、ステップS802にて照度Bvの取得を繰り返し、一定の周期で照度Bvを更新する。
一方、スイッチSW2がオンになると、ステップS804において、撮影動作が開始し、画像処理回路20はCRW画像201を取得する。続いてステップS805において、システム制御回路50は、照度Bvと明るい側の閾値ThH(第2の閾値)とを比較する。照度Bvが閾値ThHよりも小さい場合、ステップS806に進む。一方、照度Bvが閾値ThH以上である場合、ステップS814に進む。
ステップS806において、システム制御回路50は、照度Bv(第3の画像の明るさ)と暗い側の閾値ThL(第1の閾値)とを比較する。照度Bvが閾値ThLよりも小さい場合(照度Bvが第1の閾値よりも小さい場合)、ステップS812に進む。一方、照度Bvが閾値ThL以上である場合(照度が第1の閾値以上である場合)、ステップS807に進む。ステップS807において、画像処理回路20の現像回路202は、取得したCRW画像201を暗く現像し、暗画像203を生成する。またステップS808において、現像回路202は、CRW画像201を明るく現像し、明画像204を生成する。
続いてステップS809において、フィルタ回路205は、明画像204に対してエッジ強調を行い、明画像206を生成する。またステップS810において、二値化回路207は、暗画像203に対して、ある輝度値を閾値として二値化することにより合成マップ208を生成する。そしてステップS811において、合成回路209は、合成マップ208を用いて、暗画像203とエッジ強調された明画像206とを合成する。
ステップS806にて照度Bvが暗い側の閾値ThLよりも小さい場合、ステップS812において、現像回路202は、CRW画像201を明るく現像し、明画像204を生成する。そしてステップS813において、フィルタ回路205は、明画像204に対してエッジ強調を行う。また、ステップS805にて照度Bvが明るい側の閾値ThH以上である場合、現像回路202は、CRW画像201を明るく現像し、明画像204を生成する。
このように本実施形態において、システム制御回路50は、照度Bvが第1の閾値以上である場合(Bv≧ThL)、エッジ強調を行い、かつ合成画像を生成するように、フィルタ回路205および合成回路209を制御する(ステップS807〜S811)。好ましくは、システム制御回路50は、照度Bvが第1の閾値よりも小さい場合(Bv<ThL)、合成画像を生成せず、エッジ強調された第2の画像を出力するように、フィルタ回路205および合成回路209を制御する(ステップS812、S813)。より好ましくは、システム制御回路50は、照度Bvが第1の閾値よりも大きい第2の閾値以上である場合(Bv≧ThH)、エッジ強調および合成画像の生成のいずれも行うことなく、第2の画像を出力する(ステップS814)。
以上のように、本実施形態では、撮影画像を複数の明るさで現像し、領域ごとに明るさに応じてそれぞれの画像を主として用いて合成画像を生成することで、明るさの異なる複数の被写体を有するシーンでも所望の画像を取得することができる。また、星空を想定した画角内の暗部に、明るめに現像され、エッジ強調を行った画像を用いることで、星の輝きが強調された合成画像を得ることができる。また、シーンの明るさに応じて撮影方法及び記録方法を制御することで、昼間などの高照度の撮影シーンにおいては、エッジ強調や白とび対策を実施すると弊害が出やすい。このため、エッジ強調や白とび対策を実施しないことによりそのような弊害を目立たなくすることができる。
<第4の実施形態>
次に、第4の実施形態における画像処理回路について説明する。本実施形態における画像処理回路の基本構成は、図4を参照して説明した第2の実施形態の画像処理回路20aと同様であるため、これらの説明は省略する。
続いて、図9(a)、(b)を参照して、本実施形態における撮像装置100の動作について説明する。図9(a)、(b)は、撮像装置100の動作を示すフローチャートである。図9(a)、(b)の各ステップは、主に、システム制御回路50の指令に基づいて画像処理回路20aにより実行される。
撮像装置100の電源がオンになると、まずステップS901において、システム制御回路50は、照度Bvの閾値として、明るい側の閾値ThH、および、暗い側の閾値ThLの二つの閾値を設定する。続いてステップS902において、システム制御回路50(画像処理回路20a)は、撮影開始前のライブ画像表示時における撮影環境の照度Bvを取得する。そしてステップS903において、システム制御回路50は、第2シャッタースイッチ64(SW2)がオンになったか否かを判定する。スイッチSW2がオンでない場合、システム制御回路50は、ステップS902にて照度Bvの取得を繰り返し、一定の周期で照度Bvを更新する。
一方、スイッチSW2がオンになると、ステップS904において、撮影動作が開始し、画像処理回路20aはストロボを発光させて撮影した画像(CRW画像411)を取得する。そしてステップS905において、画像処理回路20aはストロボを発光させずに撮影した画像(CRW画像412)を取得する。
続いてステップS906において、現像回路413は、CRW画像411(ストロボ発光させて撮影した画像)を現像してYUV画像414を生成する。そしてステップS907において、現像回路415は、CRW画像412(ストロボ発光させずに撮影した画像)を現像してYUV画像416を生成する。続いてステップS908において、差分検出回路417は、ステップS906にて生成されたYUV画像414とステップS907にて生成されたYUV画像416との差分を求め、ストロボ照射マップ418を生成する。
続いてステップS909において、画像処理回路20aは、別途撮影した画像に基づいて背景画像(YUV画像410)を生成する。ステップS909の詳細については後述する。そしてステップS910において、合成回路419は、ステップS908にて生成されたストロボ照射マップ418を用いて、YUV画像414(ストロボ発光させて得られた画像)とYUV画像410(背景画像)とを合成する。
次に、図9(b)を参照して、背景画像の生成(ステップS909)について詳述する。図9(b)は、背景画像の生成(ステップS909)を示すフローチャートである。まずステップS911において、撮影(長秒)により、画像処理回路20aはCRW画像401を取得する。続いてステップS912において、システム制御回路50は、照度Bvと明るい側の閾値ThHとを比較する。照度Bvが閾値ThHよりも小さい場合、ステップS913に進む。一方、照度Bvが閾値ThH以上である場合、ステップS921に進む。
ステップS913において、システム制御回路50は、照度Bvと暗い側の閾値ThLとを比較する。照度Bvが閾値ThLよりも小さい場合、ステップS919に進む。一方、照度Bvが閾値ThL以上である場合、ステップS914に進む。ステップS914において、画像処理回路20aの現像回路402は、取得したCRW画像401を暗く現像し、暗画像403を生成する。またステップS915において、現像回路402は、CRW画像401を明るく現像し、明画像404を生成する。
続いてステップS916において、フィルタ回路405は、明画像404に対してエッジ強調を行い、明画像406を生成する。またステップS917において、二値化回路407は、暗画像403に対して、ある輝度値を閾値として二値化することにより合成マップ408を生成する。そしてステップS918において、合成回路409は、合成マップ408を用いて、暗画像403とエッジ強調された明画像406とを合成する。
ステップS913にて照度Bvが暗い側の閾値ThLよりも小さい場合、ステップS919において、現像回路402は、CRW画像401を明るく現像し、明画像404を生成する。そしてステップS920において、フィルタ回路405は、明画像404に対してエッジ強調を行う。また、ステップS912にて照度Bvが明るい側の閾値ThH以上である場合、現像回路402は、CRW画像401を明るく現像し、明画像404を生成する。
なお本実施形態において、発光画像、非発光画像、および、背景画像の順に撮影するものとして説明しているが、これに限定されるものではなく、撮影順序は任意に変更可能である。また本実施形態において、発光と非発光画像の撮影および現像、背景画像の撮影、現像、および合成の順に処理するものとして説明しているが、これに限定されるものではなく、処理順序は任意に変更可能である。また本実施形態において、撮影回数を三回として説明しているが、撮影回数はこれに限定されるものではない。また本実施形態において、撮影後に照度Bvと閾値との関係に応じて処理を分岐するように構成されているが、これに限定されるものではなく、撮影前に照度Bvと閾値との関係に応じて処理を分岐させてもよい。この場合、撮影枚数をより削減することができる。
第3、第4の実施形態によれば、都会の夜景などの中照度の撮影シーンにおいては、星空を適正露出とし、星を強調するとともに建物などの明るい被写体のエッジ強調を抑えて、かつ建物などの明るい被写体の白とびを軽減することができる。また、田舎の夜景などの低照度の撮影シーンにおいては、星空を適正露出とし、星を強調するとともに、一緒の画像に含まれる山や木などの低コントラストの被写体はエッジ強調されにくいため、星の強調処理の弊害を目立たなくすることができる。またシーンの明るさに応じて撮影方法及び記録方法を制御することで、昼間などの高照度の撮影シーンにおいては、エッジ強調や白とび対策を実施すると弊害が出やすい。このため、エッジ強調や白とび対策を実施しないことによりそのような弊害を目立たなくすることができる。
なお、上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウエアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、コンピュータに供給されてインストールされるプログラムコード自体も本発明を実現可能である。すなわち、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータなど、プログラムの形態を問わない。プログラムを供給するための記憶媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
各実施形態によれば、明るさの異なる複数の被写体を有するシーンでも所望の画像を取得可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。