JP5223663B2

JP5223663B2 - 撮像装置

Info

Publication number: JP5223663B2
Application number: JP2008329704A
Authority: JP
Inventors: 佑子服部
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2008-12-25
Filing date: 2008-12-25
Publication date: 2013-06-26
Anticipated expiration: 2028-12-25
Also published as: JP2010154187A

Description

本発明は、被写体像を撮像する撮像部を備える撮像装置に関する。

近年、予め設定された撮像条件に基づいて、複数の撮影モードのうちから一の撮影モードを選択し、選択された撮影モードに基づいて撮像する撮像装置がある（特許文献１参照）。
特開２００３−１８４３３号公報

しかしながら、撮像条件は被写体像や撮影時のユーザ要求に応じて異なり、予め設定されている撮像条件だけでは、ユーザの所望する画像を得るための撮像条件として対応できない場合がある。例えば、人物を被写体像として撮影する場合、ユーザは、人物だけを撮影することを目的としている場合もあるが、特定の背景中に存在する人物を撮像することを目的とし、人物および背景の両方を適切な撮像条件で撮像したいという場合もある。このように、被写体像内の対象においてユーザの重要度が異なる場合、被写体像や既に設定されている撮像条件に応じて撮像モードや撮像条件が画一的に決定されると、ユーザの所望する画像が得られない問題がある。

本発明は、このような事情を考慮し、上記の問題を解決すべくなされたものであって、その目的は、撮影状況や被写体像内の対象における重要度に基づき撮像条件を決定し、よりユーザの要求に近い画像を撮像する撮像装置を提供することにある。

上記問題を解決するため、本発明にかかる撮像装置は、撮像条件に基づき被写体像を撮像する撮像部と、ユーザから前記撮像条件に関するユーザ設定情報が入力される操作部と、前記ユーザ設定情報、あるいは前記撮像部によって撮像される際の撮像状況に関する撮像状況情報のうち少なくともいずれか一方の情報に基づき、前記被写体像における主要被写体を検出する主要被写体検出部と、前記撮像状況情報に基づき検出される撮像時のシーン又はイベントと関連する被写体が背景被写体に含まれている場合、前記主要被写体に対する前記背景被写体の重要度が高いと判断する背景解析部と、前記主要被写体検出部によって検出された前記主要被写体と、前記被写体像のうち前記主要被写体以外の背景被写体との関係性、及び、前記背景解析部によって判断された前記背景被写体の重要度に基づき、前記撮像部における前記撮像条件の設定を制御する撮像制御部と、を備えることを特徴とする。
上記問題を解決するため、本発明にかかる撮像装置は、撮像条件に基づき被写体像を撮像する撮像部と、ユーザから前記撮像条件に関するユーザ設定情報が入力される操作部と、前記ユーザ設定情報、あるいは前記撮像部によって撮像される際の撮像状況に関する撮像状況情報のうち少なくともいずれか一方の情報に基づき、前記被写体像における主要被写体を検出する主要被写体検出部と、前記撮像部が撮像した複数の被写体画像において、前記主要被写体以外の背景に出現するターゲットの出現回数に基づき、前記主要被写体に対する前記背景被写体の重要度を判断する背景解析部と、前記主要被写体検出部によって検出された前記主要被写体と、前記被写体像のうち前記主要被写体以外の背景被写体との関係性、及び、前記背景解析部によって判断された前記背景被写体の重要度に基づき、前記撮像部における前記撮像条件の設定を制御する撮像制御部と、を備えることを特徴とする。

本発明によれば、撮影状況や被写体像内の対象における重要度に基づき撮像条件を決定し、よりユーザの要求に近い画像を撮像する撮像装置を提供することができる。

以下、図面を参照して、本発明にかかる撮像装置の一実施形態について説明する。図１は、本発明の一実施の形態にかかる撮像装置１の構成を示す概略図である。
図１に示すとおり、本実施の形態にかかる撮像装置１は、撮像部１０と、レンズ１１と、光学系１２と、撮像素子１３と、Ａ/Ｄ変換部１４と、ＣＰＵ１５と、バッファメモリ部１６と、操作部１７と、画像処理部１８と、メモリ部１９と、Ｉ／Ｆ（インターフェース）部２０とを備える。

撮像部１０は、レンズ１１、光学系１２、撮像素子１３およびＡ/Ｄ変換部１４を含み、設定された撮像条件（例えば絞り値、露出値等）に基づきＣＰＵ１５によって制御され、入射した光からデジタル信号である画像情報を生成する。
すなわち、光学系１２は、設定されている絞り値に基づき、レンズ１１から入射する光の光量を制御し、撮像素子１３の受光面に結像させる。撮像素子１３は、設定されている露出値に基づき、撮像素子１３の露出時間を制御し、受光面に結像した画像情報を光電変換する。Ａ/Ｄ変換部１４は、撮像素子１３から出力されたアナログ信号の画像情報をデジタル信号に変換する。
このように、撮像部１０は、シャッターボタン等を介してユーザから撮像指示を受けると、設定された絞り値、露出値等の撮像条件に基づき、レンズ１１に入射した光から画像信号を生成し、撮像画像情報としてメモリ部１９に記憶する。

なお、本実施の形態において、撮像部１０は、レンズ１１に入射される光から、画像信号を生成し、撮像状況に関する撮像状況情報を取得する撮像状況取得部として機能する。ユーザからの撮像指示に基づき撮像部１０によって被写体が撮像される時を除き、撮像部１０は、撮像状況情報としての画像信号を生成し、バッファメモリ部１６に記憶する。この撮像状況情報として、撮像部１０によって画像信号が撮像される以前に、撮像部１０によって得られる画像情報を、以下、スルー画情報と呼称する。

ＣＰＵ１５は、撮像装置１を統括的に制御する。詳細については後述するが、ＣＰＵ１５は、画像処理部１８によって画像処理された画像信号に関する情報や、操作部１７を介してユーザによって入力された撮像条件に関するユーザ設定情報等に基づき、撮像部１０を制御する撮像制御機能を有する。なお撮像条件とは、撮影する際の条件であって、絞り値、シャッター速度、露出値、フォーカスポイント、あるいは被写界深度等のパラメータによって決定される。

バッファメモリ部１６は、撮像部１０によって撮像された画像信号を一時的に記憶するメモリであって、例えばスルー画情報を一時的に記憶する。
操作部１７は、操作ボタンあるいは操作画面等を備え、ユーザに操作されることによって撮像条件に関するユーザ設定情報が入力される入力部である。入力されたユーザ設定情報は、操作部１７からＣＰＵ１５へ出力され、ＣＰＵ１５が、このユーザ設定情報に基づき、メモリ部１９に記憶されている撮像条件の各パラメータを変更する。

画像処理部１８は、複数の画像処理条件に基づき、メモリ部１９に記録されている撮像画像情報や、バッファメモリ部１６に記憶されているスルー画情報に対して、画像処理を行う画像処理機能を備える。
例えば、画像処理部１８は、顔認識機能を有し、スルー画情報あるいは撮像画像情報に対して顔認識のための画像処理をし、画像情報の中から「顔」に対応する領域を認識する。また、画像処理部１８は、顔認識機能によって検出された「顔」が予め登録されている個人情報に対応するか否かを判断し、検出された「顔」の個人認証を行う個人認証機能や、撮像時におけるターゲット（例えば、人物や建物等）の時系列での出現頻度を検出する出現頻度検出機能等の特定の被写体を検出する機能や、撮影シーンの環境設定やイベント内容を検出するイベント認識機能等のシーン認識機能を備える。なお、それぞれの機能についての詳細は後述する。
また、画像処理部１８は、バッファメモリ部１６に記録されているスルー画情報に対して、主要被写体検出条件に基づき画像処理を行う主要被写体検出機能と、検出された主要被写体に対する背景被写体の重要度を判断する背景解析機能等を備える。なお、詳細については後述するが、主要被写体とは、被写体像の中から主要被写体検出条件を満たす対象として主要被写体検出部によって検出される被写体である。

メモリ部１９は、撮像部１０によって撮像された撮像画像情報、および、撮像装置１の動作に関する設定値や撮像部１０の撮像条件、あるいは画像処理部１８によって参照される画像処理条件や主要被写体検出条件、背景重要条件等を記憶している。詳細については後述するが、主要被写体検出条件および背景重要条件は、これらの条件を満たす画像信号を検出するための判断データであって、後述する閾値や、閾値を含むテーブル等であり、撮像装置１やレンズ１１等の性能、あるいは撮像条件等に応じて、メモリ部１９に記憶されている。
Ｉ／Ｆ部２０は、カードメモリ等の外部の記憶媒体２と接続され、この記憶媒体２への情報の書込み、読み出し、あるいは消去を行う。

次に、図２を用いて、撮像装置１についてより詳細に説明する。図２は、図１に示した撮像装置１の機能を説明するためのブロック図である。
ＣＰＵ１５は、画像処理制御部１５１と、撮像制御部１５２を含み、画像処理部１８は、主要被写体検出部１８１と、背景検出部１８２と、背景解析部１８３と、撮像画像処理部１８４とを含む。

主要被写体検出部１８１は、（１）ユーザ設定情報、あるいは撮像部１０によって撮像される際の撮像状況に関する（２）撮像状況情報のうち、少なくともいずれか一方の情報に基づき、被写体像における主要被写体を検出する。
（１）すなわち、主要被写体検出部１８１は、撮像条件に関するユーザ設定情報に基づき、スルー画情報に対して主要被写体を特定するための画像処理をし、被写体像の中から主要被写体を検出する。
例えば、主要被写体検出部１８１は、撮像条件として、ユーザによって絞り値が設定されている場合、設定された絞り値に応じた被写界深度の範囲（ＡＦエリア）にある被写体像を主要被写体として検出する。

（２）また、主要被写体検出部１８１は、メモリ部１９に記憶されている主要被写体検出条件に基づき、撮像状況情報であるスルー画情報に対して主要被写体を特定するための画像処理をし、被写体像の中から主要被写体を検出する。
例えば、主要被写体検出部１８１は、スルー画情報に対して、顔認識機能や、個人認証機能、イベント認識機能、出現頻度検出機能等の画像処理をし、これら特定の被写体を検出する機能やシーン認識機能のそれぞれに応じた主要被写体検出条件に基づき、以下の通り、主要被写体を特定する。

例えば、主要被写体検出部１８１は、顔認識機能を利用する場合、スルー画情報に顔認識の画像処理をし、検出された「顔」に対応する領域のサイズを、主要被写体検出条件として設定されている主要被写体顔サイズと比較し、主要被写体顔サイズよりも大きい場合、この「顔」を含む人物を主要被写体として検出する。なお、主要被写体顔サイズは、スルー画情報が取得された際の絞り値や被写界深度等によって異なり、例えば、絞り値が高く被写界深度が深い場合は、画像全体にピントが合わせられるため、絞り値が低く被写界深度が浅い場合に比べて、主要被写体顔サイズは小さい。

また、主要被写体検出部１８１は、個人認証機能を利用する場合、主要被写体検出条件として個人認証機能に利用される個人情報に基づき、スルー画情報に顔認識画像処理をすることにより検出された「顔」と、予め登録されている個人情報（検出された「顔」が特定のユーザであることを判断するため、当該ユーザの顔の特徴を表す情報）とが一致するか否かを検出する。顔認識された「顔」と個人情報が一致した場合、主要被写体検出部１８１は、顔認識された「顔」の人物が、登録されている個人情報の人物であることを識別し、この顔認識された「顔」を含む人物を主要被写体として検出する。

さらに、主要被写体検出部１８１は、イベント認識機能を利用する場合、撮影時のシーンに応じて主要被写体を特定する。例えば、撮像装置１が、外部の音声を取得するマイクや、画像処理部１が、スルー画情報等に基づき撮像シーンのイベントを認識するイベント認識機能を備えている場合、主要被写体検出部１８１は、マイクから取得された音声やスルー画情報等に基づき撮影時のシーン（イベント）を認識し、イベントに応じて主要被写体を検出する。例えば、イベント認識機能によって、撮影時のシーンが「遊園地」であることが認識された場合、主要被写体検出部１８１は、遊園地シーンにおける主要被写体として予め設定されているキャラクターや人物が、スルー画情報に含まれているか否かを判断する。例えば、主要被写体検出部１８１は、画像処理されたスルー画情報から、これらキャラクターや人物を認識するためのパラメータと類似する部分を、キャラクターや人物等であると認識し、主要被写体として検出する。
また、主要被写体検出部１８１は、イベント認識機能を利用して、ユーザによって設定された撮像状況の情報に基づき、主要被写体を検出することができる。例えば、撮像部１０によって撮像される際の撮像状況に関する情報として、撮影時のシーン（イベント）が、操作部１７を介してユーザにより「運動会」と設定された場合、主要被写体検出部１８１は、運動服を着た人物を主要被写体として検出する。

さらにまた、主要被写体検出部１８１は、出現頻度検出機能を利用する場合、撮影時において出現頻度の高いターゲットを主要被写体として検出する。例えば、主要被写体検出部１８１は、撮影時より前のスルー画情報を画像処理し、同一視できるターゲットを検出する。この同一視できるターゲットが検出された場合、主要被写体検出部１８１は、このターゲットの出現頻度が、主要被写体検出条件としての設定時間内における出現回数よりも多い場合、検出されたターゲットを主要被写体として検出する。主要被写体検出部１８１は、例えば、設定時間内に、ターゲットが含まれているスルー画情報の枚数を算出することで、出現回数を検出する。

主要被写体検出部１８１は、上述の通り主要被写体を検出することができ、また、上述の複数のユーザ設定情報あるいは撮像状況情報のうち、少なくともいずれか一方の情報に基づき、もしくは、上述の複数の機能を組み合わせることによっても、被写体像における主要被写体を検出することができる。

また、主要被写体検出部１８１は、検出された主要被写体の性質や種類を検出する。例えば、主要被写体検出部１８１は、検出された主要被写体の画像信号を画像処理し、検出された画像信号の種類（例えば、人物、花、建物等）を検出する。また、撮像条件として、シャッター速度を決定する設定（例えば、連写モード、シャッター優先）がユーザによって設定されている場合、主要被写体検出部１８１は、主要被写体が動きのある被写体であると検出する。

背景検出部１８２は、主要被写体検出部１８１によって検出された主要被写体に基づき、スルー画情報から、被写体像における背景被写体を検出する。背景検出部１８２は、例えば、主要被写体検出部１８１によって主要被写体が検出されたスルー画情報から、検出された主要被写体を除去した画像情報を背景被写体として検出する。背景検出部１８２は、検出された背景被写体の画像信号を画像処理し、検出された画像信号の種類（例えば、風景、建物、人並み等）を検出する。

背景解析部１８３は、背景検出部１８２により検出された背景被写体を解析し、背景重要条件に基づき、主要被写体に対する背景被写体の重要度を判断する。
背景解析部１８３は、例えば、スルー画情報の画像全体に対する主要被写体の面積の割合と、背景被写体の面積の割合とを比較し、画像全体に対する背景被写体の割合が、背景重要条件としての閾値（例えば、７５％）以上であった場合、背景被写体の重要度が高いと判断する。また、背景解析部１８３は、画像全体に対する背景被写体の割合が背景重要条件としての閾値より低い場合は、背景被写体の重要度が低いと判断する。
なお、背景被写体の重要度とは、撮像状況情報やユーザによる設定情報に基づき、背景被写体が、主要被写体に比べ、ユーザによる撮影の意思や関心が高い被写体であるか否かを示す程度である。背景被写体の重要度が高い場合は、画像全体を撮像したいというユーザの意思等があると推測され、背景被写体の重要度が低い場合は、背景被写体はぼやけてしまっても構わず、主要被写体を中心に撮像したいというユーザの意思等があると推測される。

また、背景解析部１８３は、背景被写体の画像内容を解析し、背景被写体の複雑度（テクスチャー）に基づき、背景被写体の複雑度が背景重要条件としての複雑度以上である場合、背景被写体の重要度が高いと判断する。一方、背景被写体の複雑度が背景重要要件としての複雑度よりも低い場合は、背景被写体の重要度が低いと判断される。背景解析部１８３は、例えば、背景被写体の画像信号の輝度値を周波数成分に変換し、この周波数成分の分布から、複雑度の高い高周波成分と複雑度の低い低周波成分との関係性に基づき複雑度を解析する。

さらに、背景解析部１８３は、操作部１７を介してユーザによって設定された撮像条件（ユーザ設定情報）に基づき、背景被写体の重要度を判断する。例えば、背景解析部１８３は、ユーザによって設定された撮像条件として絞り値に基づき、絞り値が高い場合は、被写界深度が深くなるため、画像全体にピントを合わせたいというユーザの意思を推測し、背景被写体の重要度が高いと判断する。一方、絞り値が低い場合、被写界深度が浅くなるため、背景解析部１８３は、バック（背景被写体）がぼけてしまっても構わず、特定の被写体（主要被写体）を適切に撮像したいというユーザの意思等を推測し、背景被写体の重要度が低いと判断する。本実施の形態において、背景解析部１８３は、絞り値と、背景重要条件としての閾値とを比較し、絞り値が閾値以上である場合は背景被写体の重要度が高く、絞り値が閾値より低い場合は背景被写体の重要度が低いと判断する。

さらにまた、背景解析部１８３は、イベント認識機能を利用する場合、撮影時のシーンに応じて背景被写体の重要度を判断する。例えば、背景解析部１８３は、ユーザによって設定された撮像状況の情報に基づき、撮像部１０によって撮像される際の撮像状況に関する情報として、撮影時のシーン（イベント）が、操作部１７を介してユーザによって「運動会」と設定された場合、背景解析部１８３は、運動服を着た人物が背景被写体に含まれている場合、この背景被写体の重要度が高いと判断する。また、背景解析部１８３は、マイクから取得された音声やスルー画情報等に基づき撮影時のシーン（イベント）が「遊園地」であることを認識した場合、キャラクター等を含む背景被写体の重要度が高いと判断する。

また、背景解析部１８３は、出現頻度検出機能を利用する場合、背景被写体の画像処理をし、撮影時において出現頻度の高いターゲットが背景被写体から検出された場合、背景重要度が高いと判断する。例えば、背景解析部１８３は、撮影時より前のスルー画情報を画像処理し、比較画像のターゲットの画像同士を比較し、その比較結果に基づく類似度に従い、同一視できるターゲットを検出する。背景解析部１８３は、このターゲットの出現頻度が、背景重要条件としての設定時間内における出現回数よりも多い場合、検出されたターゲットを含む背景被写体の重要度が高いと判断する。なお、背景重要条件としての設定時間内における出現回数は、主要被写体検出条件の出現回数より少ない値であることが好ましい。これにより、背景解析部１８３は、主要被写体としては検出されなかったが、背景重要条件を満たす出現頻度がやや高いターゲットが、背景被写体において重要なターゲットであることを解析し、このターゲットおよび主要被写体を共に適切に撮像したいというユーザ意思があることを推測することができる。

このように、背景解析部１８３は、上述の通り背景被写体の重要度を判断することができ、また、上述の複数の機能を組み合わせることによっても、可能である。

撮像画像処理部１８４は、撮像制御部１５２によって設定された撮像条件に基づいて、撮像部１０が被写体像を撮像することによって得られた画像信号（撮像画像信号）に対して画像処理をする。
また、撮像画像処理部１８４は、画像処理制御部１５１によって制御される画像処理条件に基づき、撮像画像信号に対して画像処理をする。本実施の形態において、画像処理条件としては、例えば、ピクチャーコントロールシステムやＤライティング機能がある。ピクチャーコントロールシステムは、「スタンダード」、「ニュートラル」、「ビビッド」、「モノクローム」の４種の基本的設定に基づき、当該設定に応じて撮像画像信号の構成要素（輪郭強調、コントラスト、明るさ、色の濃さ、色合い）等を補正する機能である。例えば、「スタンダード」は、撮像画像信号が人物や風景を含み、画像全体に適切な補正が適応される設定である。また、Ｄライティング機能は、逆光や光量不足などで暗くなった被写体の明るさを補正する機能である。

画像処理制御部１５１は、同一のスルー画情報において、主要被写体検出部１８１によって検出された主要被写体と、背景検出部１８２によって検出された背景被写体との関係性に基づき、撮像画像処理部１８４における画像処理条件を制御する。

撮像制御部１５２は、同一のスルー画情報において、主要被写体検出部１８１によって検出された主要被写体と、背景検出部１８２によって検出された背景被写体との関係性に基づき、撮像部１０における撮像条件を制御する。また、撮像制御部１５２には、背景解析部１８３によって背景被写体の重要度が判断された場合、この背景被写体の重要度に基づき、撮像部１０における撮像条件を制御する。

次に、図３、４に示すスルー画情報の一例を用いて、本発明にかかる撮像装置１の処理方法の一例について説明する。図３、４は、スルー画情報の一例を示す概略図である。
図３に示す通り、スルー画情報３には、中央より左側に人物３１のほぼ全身が撮像され、この人物３１の後方に大仏３２と、複数の木３３と、複数の観光客３４が撮像されている。スルー画情報３は、撮像条件に関するユーザ設定情報として絞り値＝１１が設定された条件で撮像部１０によって取得された画像情報である。

このスルー画情報３が、撮像部１０によって取得され、ＣＰＵ１５に出力されると、ＣＰＵ１５は、主要被写体検出部１８１にスルー画情報３を出力する。
主要被写体検出部１８１は、スルー画情報３を画像処理し、ユーザ設定情報、あるいは撮像部１０によって撮像される際の撮像状況に関する撮像状況情報のうち、少なくともいずれか一方の情報に基づき、被写体像における主要被写体を検出する。

主要被写体検出部１８１は、例えば、顔認識機能を利用して、スルー画情報３から人物３１の「顔」を認識し、スルー画情報３が取得された際の撮像条件（絞り値や焦点距離等）に応じた主要被写体顔サイズ（主要被写体検出条件）と比較する。人物３１の「顔」が主要被写体検出条件を満たしている場合、主要被写体検出部１８１は、この人物３１の「顔」のサイズに対応する主要被写体として、太線で示す人物３１と対応する画像信号を検出する。主要被写体検出部１８１は、主要被写体が検出された場合、背景検出部１８２あるいはＣＰＵ１５に、スルー画情報３、および主要被写体として人物３１に対応する画像信号と画像の種類（人物）を出力する。

背景検出部１８２は、主要被写体検出部１８１によって検出された主要被写体としての人物３１の画像信号が入力された場合、スルー画情報３の画像信号と、主要被写体の画像信号との差分を算出し、背景被写体の画像信号を検出する。背景検出部１８２は、背景被写体の画像信号を画像処理し、背景被写体の種類が風景であることを検出し、この背景被写体の画像信号と画像の種類（風景）を背景解析部１８３およびＣＰＵ１５に出力する。

背景解析部１８３は、背景検出部１８２から背景被写体の画像信号が入力されると、この背景被写体の画像信号を画像処理し、背景重要条件に基づき、背景被写体の重要度を判断する。
背景解析部１８３は、例えば、主要被写体である人物３１に対する、背景被写体の面積比の割合を算出する。スルー画情報３の背景被写体は、主要被写体に対して、画像全体の８０％を占めており、背景重要条件（例えば、７５％以上）を満すため、背景解析部１８３は、背景被写体の重要度が高いと判断する。

また、背景解析部１８３は、背景被写体の画像信号を周波数成分に変換し、背景被写体の複雑度を判断する。スルー画情報３の背景被写体の画像信号の周波数分布は、観光客３４に対応する部分で複雑度が高く、背景重要条件を満たすため、背景解析部１８３は、背景重要条件を満たすとして、背景被写体の重要度が高いと判断する。
さらに、背景解析部１８３は、メモリ部１９に記憶されている撮像条件のうち、絞り値がユーザによって設定変更されているか否かを検出する。背景解析部１８３は、絞り値がユーザによって設定されている場合、この絞り値が背景重要条件（例えば、絞り値が９以上）を満たしているか否かを判断する。スルー画情報３は、撮像条件が、ユーザによって設定された絞り値＝１１で取得された画像信号であるため、背景解析部１８３が、背景重要度条件を満たし、背景被写体の重要度が高いと判断する。

さらにまた、背景解析部１８３は、出現頻度検出機能を利用し、背景被写体の画像信号に、背景重要条件を満たすターゲットが存在するか否かを検出する。背景解析部１８３は、例えば、３０秒前のスルー画情報において大仏３２と同一視できるターゲットが検出され、設定時間内における大仏３２の出現回数が背景重要条件を満たす場合、背景被写体の重要度が高いと判断する。
このように、スルー画情報３が、これら複数の背景重要条件の全てを満たす場合、背景解析部１８３は、スルー画情報３の背景被写体の重要度が高いと判断し、判断結果をＣＰＵ１５に出力する。

撮像制御部１５２は、主要被写体検出部１８１によって主要被写体として検出された人物３１の画像信号と、背景検出部１８２によって検出された背景被写体の画像信号、および背景解析部１８３によって判定された背景被写体の重要度の判断結果が入力されると、この主要被写体の人物３１と背景被写体との関係性、および背景被写体の重要度に基づき、撮像部１０における撮像条件を制御する。すなわち、撮像制御部１５２は、スルー画情報３は背景被写体の重要度が高いと判断され、主要被写体が人物、背景被写体が風景であることが検出されているため、主要被写体および背景被写体がともに最適な明るさで撮像されるよう、撮像条件としての露出制御の設定をマルチＡＥに制御する。
これにより、スルー画情報３が取得された後に、撮像部１０によって撮像された撮像画像情報３Ｓは、主要被写体３１および背景被写体が、ともに最適な明るさで撮像される。

また、画像処理制御部１５１は、主要被写体検出部１８１によって主要被写体として検出された人物３１の画像信号と、背景検出部１８２によって検出された背景被写体の画像信号が入力されると、この主要被写体の人物３１と背景被写体との関係性に基づき、撮像画像処理部１８４における画像条件を制御する。すなわち、画像情報制御部１５１は、主要被写体検出部１８１によって主要被写体が人物３１であり、背景検出部１８２によって背景被写体が風景であることが検出されているため、撮像画像処理部１８４の画像処理条件として、主要被写体および背景被写体がともに最適な明るさで撮像されるよう、ピクチャーコントロールシステムを「スタンダード」に設定し、Ｄライティング機能をＯＮに設定する。

これにより、撮像画像処理部１８４は、画像処理制御部１５１によって制御された画像処理条件に基づき、スルー画情報３が取得された後に、撮像部１０によって撮像された撮像画像情報３Ｓに対して、画像処理をする。よって、撮像画像信号３Ｓは、ピクチャーコントロールシステムにより、主要被写体３１および背景被写体がともに最適な明るさに補正され、背景被写体に暗い部分があった場合は、Ｄライティングにより補正される。

次に、図４に示すスルー画情報４について説明する。なお、図３を用いて上述したことを同様の構成や手順については、以下省略して説明する。
図４に示す通り、スルー画情報４には、中央に人物４１と、人物の後方に複数の木４２が撮像されている。スルー画情報４は、撮像条件に関するユーザ設定情報として絞り値＝５が設定された条件で撮像部１０によって取得された画像情報である。

このスルー画情報４が撮像部１０によって取得されると、主要被写体検出部１８１が、スルー画情報４から主要被写体を検出する。
主要被写体検出部１８１は、例えば、スルー画情報４を画像処理し、スルー画情報４が、絞り値＝５で取得された画像であって、焦点距離が近いため、被写界深度の範囲は狭い画像であることを検出する。そして、主要被写体検出部１８１は、このスルー画情報４に適した主要被写体検出方法として、撮像条件に関するユーザ設定情報に基づき検出する方法を選択し、スルー画情報４が取得された際に、撮像部１０の撮像条件として設定されていた撮像条件がユーザによって設定されたユーザ設定情報を含んでいるか否かを検出する。ユーザによって設定された絞り値が検出された場合、主要被写体検出部１８１は、絞り値に応じた被写界深度の範囲にある被写体を検出する。
主要被写体検出部１８１は、顔認識機能を利用して、絞り値に応じた被写界深度の範囲にある被写体として検出された画像情報が「顔」を含んでいることが認識されると、人物４１を主要被写体の画像情報として検出し、画像処理する。主要被写体検出部１８１は、検出された主要被写体である人物４１に対応する画像信号および画像の種類（人物）を、背景検出部１８２およびＣＰＵ１５に出力する。

背景検出部１８２は、主要被写体検出部１８１によって検出された主要被写体である人物４１の画像信号が入力された場合、背景被写体の画像信号を検出し、画像処理をする。背景検出部１８２は、背景被写体が特に意味をなさない種類の画像であること（すなわち、画像の種類が特定されないこと）を検出し、この背景被写体の画像信号と画像の種類（不特定）を背景解析部１８３およびＣＰＵ１５に出力する。

背景解析部１８３は、背景検出部１８２から背景被写体の画像信号が入力されると、この背景被写体の画像信号を画像処理し、背景重要条件に基づき、背景被写体の重要度を判断する。背景解析部１８３は、スルー画情報４が、背景被写体の画像全体に占める割合が４０％であり、背景の複雑度が低く、ユーザによって設定された絞り値＝５であって、出現頻度の高いターゲットが検出されなかった場合、背景被写体がいずれの背景重要条件も満たしていないとして、背景被写体の重要度が低いと判断する。本実施の形態においては、上述の通り、複数の背景重要条件の全てが満たされない場合に、背景解析部１８３が、スルー画情報４の背景被写体の重要度が低いと判断する。

上述の通り、撮像制御部１５２は、画像処理部１８によって、スルー画情報４は背景被写体の重要度が低く、主要被写体が人物、背景被写体が特定されていない画像であると検出されているため、主要被写体のみが最適な明るさで撮像されるよう、撮像条件としての露出制御の設定を顔ＡＥに制御する。
これにより、スルー画情報４が取得された後に、撮像部１０によって撮像された撮像画像情報４Ｓは、主要被写体である人物４１が最適な明るさで撮像される。なお、この場合、背景被写体の明るさは制御されないが、白トビしたり、ぼやけてしまったとしても、主要被写体である人物４１が最適な明るさで撮像されている以上、ユーザの所望する画像を撮像することができる。

また、画像情報制御部１５１は、主要被写体検出部１８１によって主要被写体が人物４１であり、背景検出部１８２によって背景被写体が特定されない画像であると検出されているため、撮像画像処理部１８４の画像処理条件として、主要被写体である人物４１が最適な明るさで撮像されるよう、ピクチャーコントロールシステムを「ポートレート」に設定し、Ｄライティング機能をＯＦＦに設定する。
これにより、撮像画像処理部１８４は、画像情報制御部１５１によって制御された画像処理条件に基づき、スルー画情報４が取得された後に、撮像部１０によって撮像された撮像画像情報４Ｓに対して、画像処理をする。よって、撮像画像信号４Ｓは、ピクチャーコントロールシステムにより、主要被写体４１が最適な明るさに補正される。なお、背景被写体に暗い部分があった場合であっても、Ｄライティングにより補正されないため、明るさの補正が不要な背景被写体においてＤライティングされることによる不要なノイズ悪化を防止することができる。

上述の通り、本発明によると、被写体像におけるユーザの重要度を検出し、主要被写体と背景被写体の性質や種類に応じて、撮像部１０による撮像条件や、撮像画像処理部１８４における画像処理条件を変更することができる。
つまり、本発明の一実施形態にかかる撮像装置１は、ユーザ設定条件あるいは撮像状況情報等のうち少なくともいずれか一つの情報に基づき主要被写体を検出し、主要被写体と背景被写体との関係性に基づき、撮像部１０あるいは撮像画像処理部１８４を制御する。これにより、ユーザの撮像条件の意図や、撮像時における撮像状況等が推測され、撮像条件や画像処理条件にフィードバックされるため、よりユーザの要求に近い画像を撮像することができる。

また、本発明の一実施形態にかかる撮像装置１は、主要被写体に対する背景被写体の重要度を判断する背景解析部を備え、判断された背景被写体の重要度に基づき、撮像部１０あるいは撮像画像処理部１８４を制御する。これにより、例えば、人物を撮影する撮像モードが設定されていた場合であっても、この人物を主要被写体とした場合の、人物と背景被写体との関係性から推測されるユーザの意図や撮影時における撮像状況等が反映され、ユーザや撮像状況に応じた撮像条件あるいは画像処理条件に変更することができる。これは、画一的な撮像モード設定では実現できなかったことであり、ユーザフレンドリーなシーン認識機能を提供することができる。
さらに、本発明の一実施形態にかかる撮像装置１は、撮像状況取得部として、撮像部１０を利用し、スルー画情報を取得する。これにより、新たに撮像時前の画像情報を取得する構造を設けなくてよく、コスト軽減化に貢献し、既存の構成を有効に利用することができる。

なお、本実施の形態において、撮像状況取得部は、撮像部１０を利用し、スルー画情報を取得する例を用いて説明したが、本発明はこれに限られず、例えば、レンズ１１に入射した光を撮像部１０の光路上から分離させて得られる光を取得するＡＦセンサや、サブイメージセンサ等を利用する構成であってもよい。

本発明の一実施の形態にかかる撮像装置の構成を示すブロック図である。図１に示した撮像装置の機能を説明するためのブロック図である。本発明のエンコーダにかかる第２の実施形態を示す概略斜視図である。図１に示した撮像状況取得部である撮像部によって取得されたスルー画情報の一例を示す概略図である。図１に示した撮像状況取得部である撮像部によって取得されたスルー画情報の他の例を示す概略図である。

符号の説明

１・・・撮像装置、１０・・・撮像部、１７・・・操作部、１８・・・画像処理、１５１・・・画像処理制御部、１５２・・・撮像制御部、１８１・・・主要被写体検出部、１８３・・・背景解析部、

Claims

撮像条件に基づき被写体像を撮像する撮像部と、
ユーザから前記撮像条件に関するユーザ設定情報が入力される操作部と、
前記ユーザ設定情報、あるいは前記撮像部によって撮像される際の撮像状況に関する撮像状況情報のうち少なくともいずれか一方の情報に基づき、前記被写体像における主要被写体を検出する主要被写体検出部と、
前記撮像状況情報に基づき検出される撮像時のシーン又はイベントと関連する被写体が背景被写体に含まれている場合、前記主要被写体に対する前記背景被写体の重要度が高いと判断する背景解析部と、
前記主要被写体検出部によって検出された前記主要被写体と、前記被写体像のうち前記主要被写体以外の背景被写体との関係性、及び、前記背景解析部によって判断された前記背景被写体の重要度に基づき、前記撮像部における前記撮像条件の設定を制御する撮像制御部と、
を備えることを特徴とする撮像装置。
撮像条件に基づき被写体像を撮像する撮像部と、
ユーザから前記撮像条件に関するユーザ設定情報が入力される操作部と、
前記ユーザ設定情報、あるいは前記撮像部によって撮像される際の撮像状況に関する撮像状況情報のうち少なくともいずれか一方の情報に基づき、前記被写体像における主要被写体を検出する主要被写体検出部と、
前記撮像部が撮像した複数の被写体画像において、前記主要被写体以外の背景に出現するターゲットの出現回数に基づき、前記主要被写体に対する前記背景被写体の重要度を判断する背景解析部と、
前記主要被写体検出部によって検出された前記主要被写体と、前記被写体像のうち前記主要被写体以外の背景被写体との関係性、及び、前記背景解析部によって判断された前記背景被写体の重要度に基づき、前記撮像部における前記撮像条件の設定を制御する撮像制御部と、
を備えることを特徴とする撮像装置。
前記撮像制御部によって設定された前記撮像条件に基づいて、前記撮像部が前記被写体像を撮像することによって得られた画像信号に対して画像処理を施す画像処理部（撮像画像処理部）と、
前記主要被写体および前記背景被写体の関係性に基づき、前記画像処理部における画像処理条件を制御する画像処理制御部をさらに備えることを特徴とする請求項１あるいは２に記載の撮像装置。
前記撮像状況情報は、
前記画像信号が撮像される以前に、前記撮像部によって得られる画像情報に基づく得られることを特徴とする請求項１から３のうちいずれか一項に記載の撮像装置。
前記主要被写体と前記背景被写体との関係性とは、前記主要被写体の性質又は種類、及び、前記背景被写体の性質又は種類に応じたものであることを特徴とする請求項１から４のうちいずれか一項に記載の撮像装置。