JP4645414B2 - 撮像装置 - Google Patents

Description

本発明は、撮影した電子画像から主要被写体を抽出する撮像装置に関する。

撮影画像から主要な被写体を抽出する技術が知られている（特許文献１参照）。特許文献１には、撮影時に被写体を照明する照明装置を発光させて得られる撮影画像と、撮影時に照明装置を発光させないで得られる撮影画像とを比較し、画像データが変化している領域を抽出する技術が開示されている。

特開平１０−２１０３４０号公報

一般に、比較する画像間で画像データの変化領域を検出する際、画像がぼけているか否かによる差分も検出されるため、比較する撮影画像のぼけ状態を揃えておくことが望ましい。引用文献１には、この点について何も開示されていない。

請求項１の発明による撮像装置は、撮影レンズを通して被写体像を撮影し、画像信号を出力する撮像素子と、被写体を照明する照明装置に発光を指示する発光指示手段と、撮影指示に応じて、前記照明装置の発光が禁止されていない場合であって(1)測光値が所定値未満の場合、前記被写体を照明した撮影の後に前記被写体を照明しない撮影を行い、(2)測光値が所定値以上の場合、前記被写体を照明しない撮影の後に前記被写体を照明する撮影を行うように前記撮像素子および前記発光指示手段を制御する撮影制御手段と、前記被写体を照明した撮影と前記被写体を照明しない撮影のうちの一方の撮影において適正露出が得られるように、前記撮影レンズの絞り値を設定するとともに、他方の撮影においても前記絞り値を変更しないように制御する露出制御手段と、前記被写体を照明した撮影による画像と前記被写体を照明しない撮影による画像とを用いて主要被写体領域を抽出する被写体抽出手段とを備えることを特徴とする。
請求項２の発明による撮像装置は、請求項１に記載の撮像装置において、前記被写体を照明した撮影による画像および前記被写体を照明しない撮影による画像のうち、先に撮影した画像に基づく処理画像を記録媒体に記録する記録手段をさらに備えることを特徴とする。
請求項３の発明による撮像装置は、請求項１に記載の撮像装置において、前記撮影制御手段は、後に撮影する画像を先に撮影する画像より低解像度で撮影させることを特徴とする。
請求項４の発明による撮像装置は、撮影レンズを通して被写体像を撮影し、画像信号を出力する撮像素子と、被写体を照明する照明装置に発光を指示する発光指示手段と、撮影指示に応じて、前記照明装置の発光が禁止されていない場合であって(1)測光値が所定値未満の場合、(2)測光値が所定値以上の場合、いずれの場合でも、前記被写体を照明しない撮影の後に前記被写体を照明する撮影を行うように前記撮像素子および前記発光指示手段を制御する撮影制御手段と、前記被写体を照明した撮影と前記被写体を照明しない撮影のうちの一方の撮影において適正露出が得られるように、前記撮影レンズの絞り値を設定するとともに、他方の撮影においても前記絞り値を変更しないように制御する露出制御手段と、前記被写体を照明した撮影による画像と前記被写体を照明しない撮影による画像とを用いて主要被写体領域を抽出する被写体抽出手段と、前記(1)測光値が所定値未満の場合には、後に撮影した画像に基づく処理画像を、前記(2)測光値が所定値以上の場合、先に撮影した画像に基づく処理画像を、それぞれ記録媒体に記録する記録手段と、を備えることを特徴とする。

本発明による撮像装置では、主要被写体領域を抽出するために用いる被写体を照明した撮影による画像と、被写体を照明しない撮影による画像との間でぼけ状態を揃えることができる。

以下、図面を参照して本発明を実施するための最良の形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態による撮像装置の一例を示すブロックダイアグラムである。図１において、撮像装置は、撮像素子１と、撮影レンズ２と、レンズ駆動回路３と、制御回路５と、操作部材７と、撮像素子駆動回路８と、信号処理回路９と、データ処理回路１０と、圧縮／伸張回路１１と、モニタ１３と、表示制御回路１４と、測光回路１５と、照明装置２０とを有し、着脱可能な記録媒体１２が装着されている。記録媒体１２は、メモリカードなどで構成される。

撮影レンズ２は撮影光学系を構成する複数枚数のレンズ群で構成され、撮像素子１の撮像面上に被写体像を結像させる。撮影レンズ２は不図示のフォーカスレンズを含み、レンズ駆動回路３がフォーカスレンズを光軸方向に進退駆動することにより、撮影レンズ２のフォーカス調節が行われる。また、撮影レンズ２は不図示のズームレンズを含み、レンズ駆動回路３がズームレンズを光軸方向に進退駆動することにより、撮影レンズ２のズーム調節が行われる。レンズ駆動回路３は、制御回路５から出力されるレンズ駆動指令に応じてレンズ駆動信号を発生し、発生したレンズ駆動信号で不図示のレンズ駆動機構を駆動することにより、各レンズを移動させる。

撮像素子１は、静止画像の単写撮像とともに、静止画像の連続撮像、および動画像の撮像が可能である。撮像素子１は、例えばCCD撮像素子あるいはCMOS型撮像素子などによって構成される。

撮像素子駆動回路８は、制御回路５から出力される指令に応じて所定タイミングの駆動信号を発生し、発生した駆動信号を撮像素子１へ供給する。撮像素子１は、供給された駆動信号によって電荷蓄積（撮像）や蓄積電荷の読み出しが制御される。制御回路５は、測光回路１５による被写体の測光データを用いて明るさ情報を求め、明るさ情報に基づいて撮像素子１の電荷蓄積時間などを決定する。なお、撮像素子１から読み出された画像信号をもとに、撮像素子１の電荷蓄積時間などを決定する構成としてもよい。この場合には、撮像素子１は、測光回路１５の機能も司る。

撮像素子１から読み出された画像信号は、信号処理回路９へ入力される。信号処理回路９は、制御回路５からの指令に応じて入力信号に対する直流再生、増幅、A/D変換、ホワイトバランス、およびガンマ変換等の信号処理を施し、信号処理後のデータを画像データとしてデータ処理回路１０へ出力する。

データ処理回路１０は、制御回路５からの指令に応じて、モニタ１３に再生画像を表示させるために必要な解像度変換処理を画像データに施し、解像度変換（画素数変換）処理後の画像データを圧縮/伸張回路１１および表示制御回路１４へそれぞれ出力する。

表示制御回路１４は、制御回路５からの指令に応じて、データ処理回路１０から入力される画像データに所定の信号処理を施してモニタ１３へ出力する。表示制御回路１４はさらに、上記画像データに撮影メニュー、カーソルなどのオーバーレイ画像データを重畳する処理を行う。これにより、オーバーレイ画像が重畳された被写体画像がモニタ１３に表示される。

圧縮/伸張回路１１は、制御回路５からの指令に応じて、データ処理回路１０から入力される画像データに所定の形式で圧縮処理を施し、圧縮後のデータを記録媒体１２へ記録する。撮影時に記録媒体１２へ画像データを記録する場合、記録する画像データに対応する再生画像がモニタ１３に表示される。

なお、記録媒体１２に記録されている画像データによる再生画像をモニタ１３に表示することも可能に構成される。この場合の圧縮/伸張回路１１は、制御回路５からの指令に応じて記録媒体１２に記録されている画像データを読み出し、読み出しデータに対して復号化処理を施した上で復号化後のデータをデータ処理回路１０へ送る。再生時にデータ処理回路１０が復号化データに解像度変換処理を施して表示制御回路１４へ出力することにより、再生画像がモニタ１３に表示される。

照明装置２０は、撮影時に制御回路５からの発光指示に応じて指示された光量で発光し、主要被写体を照明する。撮像装置は、照明装置２０の発光を禁止する設定が行われている場合、または照明装置２０の発光が禁止されていない状態で測光値（測光回路１５による測光データから得られる明るさ情報）が所定値以上の場合は、撮影時に照明装置２０を発光させない。撮像装置は、上記のいずれにも該当しない場合（強制発光させる設定が行われている場合を含む）、撮影時に照明装置２０を発光させる。照明装置２０に対して発光を指示する／しないの判定は制御回路５が行う。

操作部材７はレリーズ釦や撮影シーンモード設定ダイアルなどを含み、操作内容に応じた操作信号を制御回路５へ出力する。制御回路５は、レリーズ釦の半押し押下操作に基づくレリーズ操作信号が操作部材７から入力されると、撮像素子１から読み出される画像信号の中で、撮像画面内にあらかじめ設定されているフォーカス検出領域に対応する信号を用いて公知のコントラスト方式のＡＦ（オートフォーカス）動作を行う。

具体的には、信号処理回路９によって信号処理された画像データのうち、フォーカス検出領域に対応するデータについての高周波数成分の積算値（いわゆる焦点評価値）を最大にするように、レンズ駆動指令（フォーカス調節信号）をレンズ駆動回路３へ送る。焦点評価値を最大にするフォーカスレンズの位置は、撮像素子１によって撮像される被写体像のエッジのぼけをなくし、画像のコントラストを最大にする（尖鋭度を高める）合焦位置である。制御回路５は、焦点評価値の山（極大値）が複数存在する場合は、撮像装置に最も近い山に対応する位置へフォーカスレンズを駆動させる。

本実施の形態では、撮像レンズ２内のフォーカスレンズを移動しながら順次得られる画像データ（映像信号）を撮影画面内の複数のフォーカス検出領域ごとに解析し、各領域に対応する画像のコントラスト値を最大にするフォーカスレンズ位置をもとに、各領域に位置する被写体の(相対的な)撮影距離を取得可能に構成されている。

なお、上記コントラスト方式のＡＦ動作に加えて、公知の瞳分割方式による位相差ＡＦ動作を行うように構成してもよい。この場合にも、各領域に位置する被写体の撮影距離を得ることができる。

操作部材７はズーム操作部材も含む。制御回路５は、ズーム操作に基づくズーム操作信号が操作部材７から入力されると上述したレンズ駆動指令を発生し、レンズ駆動回路３にズームレンズを進退駆動させる。これにより、撮像素子１の撮像面上に結像される被写体像が拡大もしくは縮小し、光学的にズーム調節される。

制御回路５はさらに、ズーム操作に基づくズーム操作信号が操作部材７から入力されるとデータ処理回路１０へ指令を出力し、画像信号に対する解像度変換（画素数変換）処理の変換比率を操作信号に応じて変化させる。これにより、モニタ１３に再生表示される画像が拡大もしくは縮小し、電気的にズーム調節される（電子ズーム）。解像度変換比率は電子ズーム倍率に対応する。データ処理回路１０が電子ズーム倍率を高める方向に変換比率を変える場合、再生画像の一部が拡大されてモニタ１３に表示される（拡大率が上がる反面、再生画像の表示範囲は狭くなる）。反対に、データ処理回路１０が電子ズーム倍率を低くする方向に変換比率を変える場合、モニタ１３に表示される再生画像の拡大率が下がる反面、再生画像の表示範囲は広くなる。

撮像装置が行うスルー画撮影動作と本撮影動作について説明する。スルー画撮影は、本撮影の前段階として行われる予備撮影であり、本撮影は、レリーズ全押し操作信号（撮影指示）に応じて行われる撮影である。

＜スルー画撮影＞
本実施形態の撮像装置は、静止画撮影モードにおいて、操作部材７からレリーズ釦の半押し操作に基づく半押し操作信号が制御回路５へ入力されると、上述したＡＦ動作とスルー画撮影動作（低解像度高速読み出しモード）を開始する。スルー画撮影動作は、半押し操作信号の入力が継続されている間に所定のフレームレートで繰り返し行われる。

また、撮像装置が動画撮影モードに設定されている場合にも、スルー画撮影動作と同様の撮像動作を所定のフレームレートで繰り返し行う。繰り返し得られるスルー画像を用いてＡＦ動作を行う（いわゆるコンティニュアスＡＦ）ことにより、移動する被写体を追尾しながらフォーカス調節をすることができる。これにより、移動する被写体にピントを合わせるとともに、スルー画撮影時（フレームごと）における被写体の撮影距離情報が得られる。

制御回路５は、操作部材７（レリーズ釦）からの半押し操作信号を検出すると撮像素子駆動回路８へ指示を送り、スルー画撮影動作を実行するための駆動信号を出力させる。撮像素子１は、スルー画撮影動作のための駆動信号を受けて、例えば、６０フレーム/秒の高フレームレートで蓄積電荷を連続的に出力する。スルー画撮影用の露出条件は測光回路１５による測光データに基づいて決定される。信号処理回路９は、入力された信号に上述した信号処理を施すとともに、撮像素子１上において近傍に位置する同色画素(単板カラーの撮像素子の場合)の信号を加算し、本撮影時に比べて低解像度の映像信号としてデータ処理回路１０へ出力する。低解像度の映像信号を得るために近傍の画素信号を加算する代わりに、撮像素子１から蓄積電荷信号を間引き読み出しするように構成してもよい。

データ処理回路１０が解像度変換処理を施した画像データを表示制御回路１４へ出力することにより、スルー画像がモニタ１３に表示される。これにより、撮影者は、これから本撮影しようとする被写界の状態をモニタ１３の画面で観察することができる。

＜静止画本撮影動作＞
スルー画撮影動作に続いてレリーズ釦が全押し操作されると、全押し操作信号が制御回路５へ入力される。撮像装置は、全押し操作信号に応じて静止画本撮影動作（高解像度読み出しモード）を開始する。

制御回路５は、操作部材７（レリーズ釦）からの全押し操作信号を検出すると撮像素子駆動回路８へ指示を送り、静止画本撮影動作を実行するための駆動信号を出力させる。撮像素子１は、静止画本撮影動作のための駆動信号を受けて、露出演算結果に基づく本撮影用の電荷蓄積を行って蓄積電荷を出力する。本撮影用の露出条件は、測光回路１５の信号値から得られる直近の明るさ情報に基づいて決定される。信号処理回路９は入力された信号に上述した信号処理を施し、スルー画撮影時に比べて高解像度の画像信号としてデータ処理回路１０へ出力する。

データ処理回路１０が解像度変換処理を施した画像データを表示制御回路１４へ出力することにより、本撮影画像がモニタ１３に表示される。また、圧縮/伸張回路１１によって圧縮処理された画像データが記録媒体１２へ記録される。

＜ぼけ付加処理＞
電気的なぼかしを画像に付加する（すなわち、画像にぼかしを加える）動作について説明する。画像に対して電気的にぼかしを加える（以後、画像ぼけの付加と呼ぶ）とは、画像処理によって画像を加工し、擬似的にピントを外した画像を生成するものである。本実施形態による撮像装置では、画像データにローパスフィルタ（LPF）処理を施して画像の高域空間周波数成分を劣化させることにより、画像のエッジを不鮮明にし、画像のコントラストを低下させる。

撮像装置は、撮影シーンモードがポートレートモードおよびマクロモードのいずれかに設定されている場合に画像ぼけの付加が許可され、撮影シーンモードが遠景モードに設定されている場合には画像ぼけの付加が禁止される。ここで、ポートレートモードは人物を主要被写体とする撮影モード、マクロモードは近接撮影を行う撮影モード、遠景モードは風景を被写体とする撮影モードである。許可および禁止の判定は制御回路５が行う。

また、撮影シーンモードが夜景ポートレートモードに設定されている場合であって、画像の背景領域に所定レベル以上の明るさを有する領域が存在する場合にも、撮像装置は画像ぼけの付加が許可される。一方、画像の背景領域に所定レベル以上の明るさを有する領域が存在しない場合には、画像ぼけの付加が禁止される。画像の背景領域に所定レベル以上の明るさ領域が存在するか否かは、データ処理回路１０へ入力されたスルー画用の映像信号を用いて判定される。

制御回路５は、上述した画像ぼけの付加を禁止する場合、少なくとも撮影時において禁止すれば、記録媒体１２に記録された画像データを読み出して再生する再生時には許可するように構成してよい。

本発明は、以上説明した撮像装置が画像ぼけを付加する領域を決定する処理に特徴を有する。制御回路５が画像ぼけを付加する撮影処理の流れについて、図２のフローチャートを参照して説明する。図２による撮影処理は、画像ぼけの付加が許可された場合に起動する。

図２のステップＳ１０１において、制御回路５はレリーズ釦が半押し操作されたか否かを判定する。制御回路５は、操作部材７（レリーズ釦）から半押し操作信号が入力されるとステップＳ１０１を肯定判定してステップＳ１０２へ進み、半押し操作信号が入力されない場合にはステップＳ１０１を否定判定し、当該判定処理を繰り返す。

ステップＳ１０２において、制御回路５は、上述したスルー画撮影動作を開始させてステップＳ１０３へ進む。

ステップＳ１０３において、制御回路５は、上述したＡＦ動作を開始させてステップＳ１０４へ進む。

ステップＳ１０４において、制御回路５はレリーズ釦が全押し操作されたか否かを判定する。制御回路５は、操作部材７（レリーズ釦）から全押し操作信号が入力されるとステップＳ１０４を肯定判定してステップＳ１０６へ進み、全押し操作信号が入力されない場合にはステップＳ１０４を否定判定し、ステップＳ１０５へ進む。

ステップＳ１０５において、制御回路５はレリーズ釦が半押し操作されているか否かを判定する。制御回路５は、操作部材７から半押し操作信号が継続して入力されている場合にステップＳ１０５を肯定判定してステップＳ１０３へ戻り、半押し操作信号が入力されていない場合にはステップＳ１０５を否定判定し、ステップＳ１０１へ戻る。ステップＳ１０３へ戻る場合はスルー画撮影動作、ＡＦ動作が継続される。

全押し操作信号を検出した場合に進むステップＳ１０６において、制御回路５は、ＡＥ（オート露出演算）動作を行ってステップＳ１０７へ進む。制御回路５は、測光回路１５による測光データに基づいて露出演算を行い、制御シャッター秒時（すなわち撮像素子１の電荷蓄積時間）および制御絞り値を決定する。

本実施形態では、画像ぼけの付加が許可されている場合にレリーズ釦の１回の全押し操作に基づいて本撮影を２回行う。１回の撮影は撮影時に照明装置２０を発光させる撮影であり、もう１回の撮影は撮影時に照明装置２０を発光させない撮影である。ただし、上述したように照明装置２０の発光を禁止する設定が行われている場合は、照明装置２０を発光させない撮影のみを行う。この場合の制御回路５は表示制御回路１４に指令を送り、たとえば、「発光が禁止されています」というメッセージの重畳処理を行わせる。これにより、メッセージがオーバーレイ表示された画像がモニタ１３に表示される。

ステップＳ１０７において、制御回路５は、適正露出が得られるように撮影レンズ２の絞りを制御絞り値に制御するとともに、撮像素子１の露光時間を制御シャッター秒時に制御して１回目の本撮影動作を行い、ステップＳ１０８へ進む。制御回路５は、照明装置２０を強制発光させる設定が行われている場合、または照明装置２０の発光が禁止されていない状態で測光値が所定値未満の場合、ステップＳ１０７の撮影時に照明装置２０を発光させる。また、制御回路５は、照明装置２０の発光が禁止されていない状態で測光値が所定値以上の場合は、ステップＳ１０７の撮影時に照明装置２０を発光させない。

ステップＳ１０８において、制御回路５は、ステップＳ１０７における制御絞り値、制御シャッター秒時、光学ズーム倍率（焦点距離）を維持したままで２回目の本撮影を行い、ステップＳ１０９へ進む。制御回路５は、ステップＳ１０７の本撮影において照明装置２０を発光させた場合、ステップＳ１０８の撮影時に照明装置２０を発光させない。また、制御回路５は、ステップＳ１０７の本撮影において照明装置２０を発光させていない場合は、ステップＳ１０８の撮影時に照明装置２０を発光させる。

ステップＳ１０９において、制御回路５は撮影画像の中から主要被写体を抽出してステップＳ１１０へ進む。具体的には、照明装置２０を発光させて取得した撮影画像と、照明装置２０を発光させないで取得した撮影画像との間で位置合わせ処理を行った上で画素ごとに明るさの比（すなわち、非発光撮影による画素データ（画像信号）÷発光撮影による画素データ（画像信号））を算出し、算出した比が所定値以下の領域を主要被写体領域と判定する。なお、主要被写体領域の判定には、特定色（たとえば肌色）を抽出する技術、輪郭情報を抽出する（たとえば、あらかじめ登録されているデータとの間でパターンマッチングを行う）技術などと併用してもよい。

ステップＳ１１０において、制御回路５は、ステップＳ１０７で取得した撮影画像のうち、ステップＳ１０９で抽出した主要被写体以外の領域（すなわち背景領域）に対する画像ぼけの付加をデータ処理回路１０へ指示する。データ処理回路１０が画像ぼけの付加および解像度変換処理を施した信号を表示制御回路１４へ出力することにより、画像ぼけが付加された画像がモニタ１３に表示される。

データ処理回路１０は、入力される画像のデータのうち背景領域に対応するデータに対してLPF処理を施すことによって画像ぼけを付加する。LPF処理の特性（フィルタの段数、遮断周波数など）は、撮影画面内の各被写体毎の距離情報に応じて変化させる。具体的には、上述の明るさの比が大きいほど撮影距離が大きいと判断し、例えば、LPF処理の遮断周波数を低くする。この結果、撮影距離が大きい背景領域ほど、強いぼけ効果が付加される。なお、上述のLPF処理に代えて、点拡がり関数を用いた畳み込み演算を行って画像ぼけを付加する構成としてもよい。この場合、付加されるぼけの量は、点拡がり関数の特性を変更することによって変更することができる。

制御回路５はさらに、画像ぼけを付加後に圧縮処理した本撮影画像のデータを記録媒体１２に記録し、図２による処理を終了する。記録媒体１２へ保存される画像は、ステップＳ１０７で取得した撮影画像に基づく画像である。

＜モニタの表示例＞
画像ぼけを付加した画像をモニタ１３へ表示する場合の表示態様について、図３を参照して説明する。図３(a)は、画像ぼけを付加しないで撮影画像を表示するモニタ１３を例示する図である。図３(a)において、主要被写体３００の背後に被写体３０１が、被写体３０１のさらに後方に被写体３０２が、それぞれ存在する。撮像装置は、ＡＦ動作によってフォーカス調節され、撮像装置に最至近の主要被写体３００に合焦している。

図３(a)に例示した撮影画像に画像ぼけを付加する場合、合焦している主要被写体３００より遠方に位置する被写体の領域に画像ぼけが付加される。付加されるぼけ量は、主要被写体３００の撮影距離との差がより大きい（より遠方に位置する）被写体３０２の方が被写体３０１よりも大きい。本実施形態の撮像装置は、このような画像ぼけを付加した撮影画像を図３(b)のようにモニタ１３に表示する。

図３(b)によれば、画像ぼけが付加された領域／付加されない領域を撮影者が容易に視認できるように、画像ぼけを付加しない領域(この場合は主要被写体３００の領域)の境界部を強調表示する。本実施形態では、主要被写体３００の輪郭を太線で表示して強調を表す。また、画像ぼけの付加量は遠方に位置する被写体ほど大きくしてよく、主要な各被写体の輪郭の線の太さを変えることによって強調の違いを表すことができる。なお、図３(b)では、画像ぼけを付加しない領域＝主要被写体３００の領域の例を示したが、合焦状態にない被写体であっても画像ぼけを付加しない場合があってもよい。すなわち、画像ぼけを付加しない領域は、必ずしも合焦状態にある主要被写体とは限らない。

このように画像ぼけが付加された画像は、画像ぼけを付加しない領域(この場合は主要被写体３００の領域)と、画像ぼけを付加した領域(この場合は主要被写体３０１および３０２を含む領域)とを含む全領域画像としてモニタ１３に表示される。

以上説明した第一の実施形態によれば、以下の作用効果が得られる。
（１）全押し操作に応じて本撮影を２回行い、１回目に撮影された（ステップＳ１０７）本撮影画像（第２画像）を記録（保存）用画像とし、この画像に画像ぼけを付加するようにした。レリーズボタンの全押し操作タイミングに近い撮像タイミングで得た画像を記録用とすることで、全押し操作後の２回目に撮影された（ステップＳ１０８）本撮影画像（第１画像）を記録用にする場合に比べて、記録用画像の撮影タイミングを撮影者の所望タイミングに近づけることができ、シャッターチャンスを外すおそれが少なくなる。

（２）主要被写体領域の検出に用いる２画像の撮影時（ステップＳ１０７およびステップＳ１０８）における制御絞り値、光学ズーム倍率（焦点距離）を維持するようにしたので、撮影レンズ２の絞り値、光学ズーム状態に起因する光学的なぼけ量も維持される。これにより、主要被写体領域を抽出するために算出される発光／非発光時の画素データ（画像信号）比の演算において両画像の光学的なぼけ量の違いに起因する被写体領域の誤検出が発生することなく、被写体領域の抽出を正確に行うことができる。また、２画像の撮影時における制御シャッター秒時を維持する構成としたので、手ぶれ等によって一方の画像のぶれ量が他方の画像のぶれ量に比較して極端に大きくなり、上述の比の演算（すなわち、主要被写体領域の抽出）が正確に行われなくなるといったことが防止される。

（変形例１）

ステップＳ１１０において、モニタ１３に画像ぼけを付加した画像を表示することなく、記録媒体１２に記録する撮影画像のデータにのみ、画像ぼけを付加する構成としてもよい。この場合の圧縮/伸張回路１１は、全押し操作（ステップＳ１０４）後１回目に撮影された本撮影画像に圧縮符号化処理を行った上で、主要被写体以外の領域に対応する撮影画像データに高域空間周波数成分を抑制する処理を施し、当該処理後のデータを記録媒体１２に記録する。

（変形例２）
照明装置２０が撮像装置に内蔵される例を説明したが、外付けの照明装置を撮像装置に電気的に接続して使用する場合にも本発明を適用できる。

（変形例３）
測光値は、測光回路１５による検出値から得る他に、撮像素子１による画像信号の信号レベルから得る構成としてもよい。

（変形例４）
照明装置２０を発光させない高解像度の本撮影を先に、照明装置２０を発光させる高解像度の本撮影を後に行うように構成してもよい。具体的には、（Ａ）照明装置２０を強制発光するように設定されている場合、（Ｂ）照明装置２０の発光が禁止されておらず、測光回路１５による測光値が所定の値未満の場合、（Ｃ）照明装置の発光が禁止されておらず、測光回路１５による測光値が所定の値以上の場合、のいずれの場合にも被写体を照明しない撮影の後に、被写体を照明する撮影を行う。またこの際に、上記（Ａ）または上記（Ｂ）の場合、被写体を照明した撮影による画像と被写体を照明しない撮影による画像とのうち後に撮影した画像を記録媒体１２に記録し、上記（Ｃ）の場合、被写体を照明した撮影による画像と被写体を照明しない撮影による画像とのうち先に撮影した画像に基づく処理画像を記録媒体１２に記録する。すなわち、上記（Ａ）、（Ｂ）の場合には、ステップＳ１０６で行われるＡＥ動作では、１回目の本撮影による画像ではなく、２回目の本撮影による画像を適正露出にするための露出条件を設定する。この場合、１回目の本撮影による画像は露光量が適正露出ではなくなる。データ処理回路１０は、上述の明るさの比を求める演算処理を行う際に、照明装置２０の発光／非発光によって撮影された画像のレベルを揃えるように、１回目の本撮影による画像データに増幅処理を施した上で演算処理を行い、主要被写体領域を抽出する。このような構成とすれば、照明装置２０による照明光で被写体に撮影終了を知らせることができる。

（第二の実施形態）
ステップＳ１０８で行う２回目の本撮影を、スルー画撮影と同様の低解像度の撮影にするようにしてもよい。この場合の制御回路５は、ステップＳ１０８において、ステップＳ１０７における制御絞り値、光学ズーム倍率（焦点距離）、制御シャッター秒時を維持したままで低解像度の本撮影を行わせる。これによって信号処理回路９は、撮像素子１上において近傍に位置する同色画素(単板カラーの撮像素子の場合)の信号を加算し、ステップＳ１０７の撮影時に比べて低解像度の映像信号としてデータ処理回路１０へ出力する。なお、近傍の画素信号を加算する代わりに、撮像素子１から蓄積電荷信号を間引き読み出しするように構成してもよい。

ステップＳ１０７の本撮影において照明装置２０を発光させた場合、照明装置２０を発光させないでステップＳ１０８の撮影を行う点、ステップＳ１０７の本撮影において照明装置２０を発光させていない場合、照明装置２０を発光させてステップＳ１０８の撮影を行う点は、それぞれ第一の実施形態と同様である。

ステップＳ１０９において、制御回路５は撮影画像の中から主要被写体を抽出する。この場合のデータ処理回路１０は、ステップＳ１０８で取得した低解像度の撮影画像（第１画像）に解像度変換（画素数変換）処理を施し、ステップＳ１０７で取得した高解像度の撮影画像（第２画像）との間で上述の比を画素毎に算出する演算処理が行えるように両画像の画素数を揃える。制御回路５は、第２画像および解像度変換後の第１画像を用い、照明装置２０を発光させて取得した撮影画像と、照明装置２０を発光させないで取得した撮影画像との間で画素ごとに明るさの比（すなわち、非発光撮影による画素データ（画像信号）÷発光撮影による画素データ（画像信号））を算出し、算出した比が所定値以下の領域を主要被写体領域と判定する。

なお、主要被写体領域の判定に、特定色（たとえば肌色）を抽出する技術や輪郭情報を抽出する（たとえば登録データとの間のパターンマッチングを行う）技術などと併用してよい点は、第一の実施形態と同様である。

以上説明した第二の実施形態によれば、第一の実施形態の作用効果に加えて、以下の作用効果が得られる。
（１）全押し操作に応じて行う本撮影のうち、２つめ（ステップＳ１０８）の撮影画像（第２画像）を低解像度で行うようにした。データ数が少ない低解像度撮影することにより、撮影（ステップＳ１０７およびＳ１０８）に要する合計時間（信号処理時間を含む）を短縮できる。

（２）ステップＳ１０８における低解像度の撮影を全押し操作前のスルー画撮影（ステップＳ１０２）と同様の解像度にしたので、新たな回路を追加しなくてもよい。

（変形例５）
高解像度の撮影画像（第２画像）を得る本撮影（ステップＳ１０７）に時間がかかる場合に、低解像度の撮影画像（第１画像）を得る撮影（ステップＳ１０８）と、ステップＳ１０７の本撮影との間の順序を入れ替えてもよい。高解像度の撮影に要する時間（信号処理時間を含む）に比べて短時間ですむ低解像度の撮影を先に行うことにより、２つの本撮影の間隔を短くすることができる。この結果、被写体の動きに起因する２つの本撮影画像間の被写体の変位が小さくなるから、ステップＳ１０９において行われる２画像間の比の算出時に、２画像間の位置合わせ（共通の被写体を構成する画素データの位置合わせ）を行うための動き補償演算処理が簡単になり、制御回路５の負担を軽減できる。変形例５の場合、記録媒体１２へ保存される撮影画像（処理画像）は、後から撮影された撮影画像に基づく画像である。

このように上記の構成によれば、主要被写体領域を正確に抽出できるので、特に画像ぼけを付加する場合に、主要被写体領域に画像ぼけを付加してしまう、あるいは主要被写体領域から離間した領域に画像ぼけを付加してしまうといったことが防止され、自然な画像ぼけの付加画像を得ることができる。

上述したように決定した抽出方法で取得した主要被写体領域は、フォーカス調節処理時のフォーカスエリアとして用いたり、測光処理時の測光エリアとして用いたり、ズームアップ（ズームダウン）処理時の拡大／縮小の中心エリアとして用いてもよい。また、さらには撮影画像中の主要被写体領域と背景領域とを個別に符号化する際に用いてもよい。

以上の説明はあくまで一例であり、発明を解釈する上で、上記の実施形態の構成要素と本発明の構成要素との対応関係に何ら限定されるものではない。

本発明による撮像装置の一例を示すブロックダイアグラムである。 制御回路が画像ぼけを付加する撮影処理の流れについて説明するフローチャートである。 (a)画像ぼけを付加しない撮影画像を例示する図である。(b)画像ぼけを付加した撮影画像を例示する図である。

符号の説明

１…撮像素子
２…撮影レンズ
３…レンズ駆動回路
５…制御回路
７…操作部材
９…信号処理回路
１０…データ処理回路
１１…圧縮／伸張回路
１２…記録媒体
１３…モニタ
１４…表示制御回路
１５…測光回路
２０…照明装置

Claims (4)

1. 撮影レンズを通して被写体像を撮影し、画像信号を出力する撮像素子と、
   被写体を照明する照明装置に発光を指示する発光指示手段と、
   撮影指示に応じて、前記照明装置の発光が禁止されていない場合であって(1)測光値が所定値未満の場合、前記被写体を照明した撮影の後に前記被写体を照明しない撮影を行い、(2)測光値が所定値以上の場合、前記被写体を照明しない撮影の後に前記被写体を照明する撮影を行うように前記撮像素子および前記発光指示手段を制御する撮影制御手段と、
   前記被写体を照明した撮影と前記被写体を照明しない撮影のうちの一方の撮影において適正露出が得られるように、前記撮影レンズの絞り値を設定するとともに、他方の撮影においても前記絞り値を変更しないように制御する露出制御手段と、
   前記被写体を照明した撮影による画像と前記被写体を照明しない撮影による画像とを用いて主要被写体領域を抽出する被写体抽出手段とを備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記被写体を照明した撮影による画像および前記被写体を照明しない撮影による画像のうち、先に撮影した画像に基づく処理画像を記録媒体に記録する記録手段をさらに備えることを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記撮影制御手段は、後に撮影する画像を先に撮影する画像より低解像度で撮影させることを特徴とする撮像装置。
4. 撮影レンズを通して被写体像を撮影し、画像信号を出力する撮像素子と、
   被写体を照明する照明装置に発光を指示する発光指示手段と、
   撮影指示に応じて、前記照明装置の発光が禁止されていない場合であって(1)測光値が所定値未満の場合、(2)測光値が所定値以上の場合、いずれの場合でも、前記被写体を照明しない撮影の後に前記被写体を照明する撮影を行うように前記撮像素子および前記発光指示手段を制御する撮影制御手段と、
   前記被写体を照明した撮影と前記被写体を照明しない撮影のうちの一方の撮影において適正露出が得られるように、前記撮影レンズの絞り値を設定するとともに、他方の撮影においても前記絞り値を変更しないように制御する露出制御手段と、
   前記被写体を照明した撮影による画像と前記被写体を照明しない撮影による画像とを用いて主要被写体領域を抽出する被写体抽出手段と、
   前記(1)測光値が所定値未満の場合には、後に撮影した画像に基づく処理画像を、前記(2)測光値が所定値以上の場合、先に撮影した画像に基づく処理画像を、それぞれ記録媒体に記録する記録手段と、を備えることを特徴とする撮像装置。
   

Images