JP6703787B2

JP6703787B2 - 撮像装置及びその制御方法、プログラム、記憶媒体

Info

Publication number: JP6703787B2
Application number: JP2016129131A
Authority: JP
Inventors: 福井　貴明; 貴明福井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-06-29
Filing date: 2016-06-29
Publication date: 2020-06-03
Anticipated expiration: 2036-06-29
Also published as: JP2018006911A

Description

本発明は、撮影シーンの解析を行い、解析の結果に応じてユーザに複数の撮影設定を提示する撮像装置に関するものである。

従来の撮像装置では、ユーザは、シャッター速度や絞り値などの露出値、ホワイトバランス（以下ＷＢ）制御値や色パラメータなどの画質制御値を所望の値に設定して撮影を行うことにより、自分が望む画質を得ている。

また、近年のデジタルカメラにおいては、カメラの撮影に不慣れなユーザのために、シーンを解析し、その結果に応じて、最適な撮影モードを提示したり、自動的に色パラメータや露出補正値を設定するシーンオート機能などを有するものが提案されている。このようなカメラは、例えば特許文献１などに記載されている。

特許第３９４８６５２号公報

しかしながら、上記の前者のようなシーンオート機能が提案される以前のカメラにおいては、好ましい画像を撮影するためには、カメラの撮影機能についての専門的な知識が不可欠となり、一般のユーザが思い通りの画像を得ることは難しいという問題があった。
また、シーンオート機能を搭載したカメラでは、カメラがシーンに応じた最適な状態を設定するため、どのようなカメラ設定を行った結果最終的な画像を得られたのかを理解することが難しく、ユーザがカメラの機能を覚えることが難しいという問題があった。
本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影しようとするシーンに対して適切な撮像装置の設定と、その設定で得られる画像との関係をユーザに分かりやすく表示できる撮像装置を提供することである。

本発明に係わる撮像装置は、第１の撮影設定に基づいて、第１の画像を撮像する撮像手段と、前記第１の撮影設定と前記第１の画像の特徴量とに基づいて、被写体のシーンを判別するシーン判別手段と、前記シーン判別手段による判別の結果に基づいて、複数の異なる撮影設定の候補を生成する候補生成手段と、前記候補生成手段によって生成された前記複数の異なる撮影設定の候補に基づいて、該撮影設定の候補により得られる効果を反映した画像を生成する画像生成手段と、前記画像生成手段によって生成された画像を表示手段に表示させる表示制御手段と、を備え、前記候補生成手段は、前記撮影設定の優先度を算出し、前記表示制御手段は、前記優先度に基づいて前記撮影設定の候補を前記表示手段に表示させ、前記表示制御手段は、前記候補生成手段が前記撮影設定の候補を生成する前にユーザによる撮影設定がなされていた場合には、ユーザによる撮影設定、および、前記優先度に基づく前記撮影設定の候補を前記表示手段に表示させ、前記候補生成手段が前記撮影設定の候補を生成する前にユーザによる撮影設定がなされていなかった場合には、前記優先度に基づく前記撮影設定の候補を前記表示手段に表示させることを特徴とする。

本発明によれば、撮影しようとするシーンに対して適切な撮像装置の設定と、その設定で得られる画像との関係をユーザに分かりやすく表示できる撮像装置を提供することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示したブロック図。第１の実施形態における信号処理を示したブロック図。第１の実施形態における信号処理を示したブロック図。カメラ撮影機能の設定例を示した図。階調補正の設定の例を示した図。撮像装置の起動から撮影に至る動作の流れを示したフローチャート。撮影パラメータ決定処理の動作を示すフローチャート撮影手順を示す概念図。撮影設定の選択画面生成処理を示したブロック図。画像補正処理を示したブロック図。画像補正設定例を示した図。ボカシ処理を示したブロック図。シーン判別を行う例を示した図。画像をブロック分割した様子を示す図。各ブロック色の検出設定を示した図。明るさ判定の条件を示した図。撮影設定提案処理を示すフローチャート。撮影設定提案処理を示すフローチャート。撮影設定提案処理を示すフローチャート。撮影設定提案処理を示すフローチャート。撮影設定提案処理を示すフローチャート。色処理効果の検出・撮影設定を示した図。撮影提案内容の例を示した図。第２の実施形態におけるカメラ撮影機能を示す概念図。第２の実施形態におけるカメラ撮影機能を示す概念図。第２の実施形態におけるカメラ撮影機能を示す概念図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示したブロック図である。図１において、ユーザによりユーザインタフェース（以下、ＵＩ）１１２を介して撮影指示が入力されると、撮像装置は撮影動作を行う。具体的には、システムコントローラ１０７は、撮影レンズ１０２の焦点位置を調節するとともに、絞り、メカシャッター、ＣＭＯＳセンサなどからなる撮像素子１０１を制御して撮影を行う。撮影がなされると、撮像素子１０１からはアナログの画像信号が出力され、ＡＦＥ回路（アナログフロントエンド）１５０により、ゲインが調整されるとともに、デジタル信号に変換される。ＡＦＥ回路１５０から出力されたデジタルの画像信号は、バッファメモリ１０３に蓄えられる。その後、システムコントローラ１０７の制御によって、ホワイトバランス補正係数やガンマパラメータなどの信号処理パラメータが信号処理回路１４０に設定される。信号処理回路１４０は、バッファメモリ１０３から読み出された画像信号に対して画像生成用の信号処理を行い、ＹＵＶ画像データが生成される。

生成されたＹＵＶ画像データは、画像記録が行われる場合には、圧縮・伸長回路１０４に送られてＪＰＥＧファイルとして圧縮処理され、記録装置１０５によって記録媒体１０６に記録される。リサイズを行う場合には、リサイズ回路１３１によりサイズ変換処理が行われる。また、画像を表示する場合は、バッファメモリ１０３に蓄えられたＹＵＶ画像データは、表示制御回路１０８によって表示に適した信号に変換される。表示制御回路１０８から出力された信号は、Ｄ／Ａ変換器１０９によりアナログ信号に変換され、モニタ装置１１０に表示される。

また、カメラ撮影設定などのＵＩ１１２を用いたカメラ制御を行う場合には、システムコントローラ１０７はユーザインタフェース画面を生成する。生成されたユーザインタフェース画面は、バッファメモリ１０３に格納され、表示制御回路１０８を介してモニタ装置１１０に表示される。表示制御回路１０８は、ＹＵＶ画像データとユーザインタフェース画面を冗長表示することも可能である。その場合、画像合成回路１３３により画像の冗長処理が行われる。

また、撮影された画像から顔を検出する場合は、顔検出回路１２０が、バッファメモリ１０３に蓄えられたＹＵＶ画像データから顔を検出し、画像中における顔の座標を出力する。また、顔を検出した領域に対して、ヒストグラム回路１３０を用いて輝度値のヒストグラムを取得することにより、顔領域の明るさなどの画像情報を取得することができる。また、画面を複数の領域に分割して、領域ごとのヒストグラムを取得する場合には、バッファメモリ１０３からＹＵＶ画像データを読み出して、画面内色分布取得回路１３２により画面内の色分布を取得する。その場合、画面を複数の領域に分割し、分割された領域ごとにＹＵＶの積分値を取得し、そのデータから彩度、色相、輝度などの画像データを取得することができる。画面内のヒストグラムは、ＹＵＶ画像データをヒストグラム回路１３０で解析することにより取得可能である。信号処理されたＹＵＶ画像データを補正する場合は、画像補正回路１６０が補正処理を行う。

次に、図２Ａは、撮像素子１０１で得られたＲＡＷデータからＹＵＶ画像データを生成する画像処理の流れを示したブロック図である。画像データが取得されると、信号処理回路１４０内のＷＢ（ホワイトバランス）検出設定部１７２は、撮影画像のＷＢモードや被写体輝度（Ｂｖ値）や撮影感度などの撮影条件に応じて、ＷＢ検出パラメータ１７１を用いてＷＢ検出設定値を算出する。ＷＢ検出設定値は、ＷＢ検出回路１７０に設定される。取得されたＲＡＷデータに対して、ＷＢ検出回路１７０において、設定されたＷＢ検出値に基づいて白領域の抽出が行われる。ＷＢ演算部１７３は、ＷＢ検出回路１７０からの検出結果を用いてＷＢ係数を算出する。算出されたＷＢ係数を用いて、ＷＢ処理回路１７４によりＲＡＷデータに対してＷＢ処理がなされる。一方、ＷＢ係数と色温度との関係をあらかじめ算出しておくことにより、検出されたＷＢ係数に応じた色温度を得ることができる。画像処理パラメータ算出部１８０は、検出された色温度、色変換パラメータ、撮影ＩＳＯ感度、絞り値などに応じて画像処理パラメータの算出を行う。また、信号処理部１４０Ａにおいてノイズリダクション処理、エッジ強調処理、色再現変換処理、階調変換処理などがなされ、ＹＵＶ画像データが生成される。

図２Ｂは、信号処理部１４０Ａにおける処理の流れを示したブロック図である。撮像素子１０１から出力されデジタル信号に変換されたＲＡＷデータに対して、ＷＢ処理回路１７４で白のゲインが調整され、色信号作成回路１４１において、色温度ごとに色変換マトリクス処理や階調変換処理などが行われ、色差信号が作成される。色変換マトリクス回路で変換された色差信号は、ＲＧＢ変換され、色階調変換回路１４５によって色階調変換される。色階調変換後のＲＧＢ信号は、再び色差信号に変換され、彩度強調回路１４６によって彩度が調整される。

一方、ＷＢ処理回路１７４からの信号は、輝度信号作成回路１４２で、ＩＳＯ感度、撮影パラメータ、絞り値などに応じた補間処理、エッジ強調処理、ノイズリダクション処理が施されて輝度信号が作成される。その後、輝度階調変換回路１４３によって階調変換が行われ、輝度補正回路１４４によって輝度信号の色相に応じて補正が行われ、輝度信号として出力される。

図３は、カメラの撮影設定の例を示した図である。設定可能な項目として、例えば、明るさ、被写体ぶれ、背景ボケ、色合い設定、色合い補正（アンバーブルー）、色合い補正（グリーンマゼンタ）、クッキリ感、鮮やかさ、仕上がり補正の９種類の設定が可能な例を示している。これらのカメラ設定に応じて、撮影制御値や信号処理のパラメータが設定される。

図３において、明るさ補正は、ＡＥ（自動露出制御）で決定した露出制御値に対して、露出補正値を設定する。設定された補正値に応じてプログラム線図に基づいて、制御値の変更を行う。本実施形態では、１／３段刻みで−３段〜＋３段までの±９段階の設定が可能な例を示している。

背景ボケ設定は、撮影の際の絞り値の設定を表しており、絞り値を開くほど被写界深度が浅くなり背景のボケが大きくなる。シャッター速度の設定に応じてＩＳＯ感度値や絞り設定を変更して、明るさを保ちつつ背景ボケを変化させる機能である。シャッター速度設定は、１／３段刻みで±６段階の−２段〜＋２段までの設定が可能な例を示しており、段数は、適正露光のシャッター速度からの差分を示している。−６とは、標準よりも２段遅いシャッター速度で撮影する設定を意味する。

色合い設定は、基本的なホワイトバランス設定を意味する。オートはオートホワイトバランス設定を表し、画像を解析し、画像に最適なホワイトバランス設定を行う。オート以外のホワイトバランス設定は、各光源に合わせたＷＢ設定であり、ＷＢ設定値（ホワイトバランス設定値）を各光源に合わせてあらかじめ算出しておくことにより設定が行われる。

色合い補正（Ｇ−Ｍｇ）、色合い補正（Ａ−Ｂ）は、色合い設定で決定したＷＢ設定値に補正値を加えることで、ホワイトバランス設定の微調整を行う機能である。ここで、撮像素子のカラーフィルタ配列に基づくグレー被写体のセンサー出力値をＲ，Ｇ１，Ｇ２，Ｂとし、各色に対応するＷＢ係数を（ＷＢ_Ｒ，ＷＢ_Ｇ１，ＷＢ_Ｇ２，ＷＢ_Ｂ）とすると、各ＷＢ処理は下記の式で表現される。

Ｇ１’＝Ｇ１×ＷＢ_Ｇ１
Ｒ’＝Ｒ×ＷＢ_Ｒ
Ｂ’＝Ｂ×ＷＢ_Ｂ
Ｇ２’＝Ｇ１×ＷＢ_Ｇ１
ここで、Ｒ’，Ｇ１’，Ｇ２’，Ｂ’の値が同じ値になると、ホワイトバランスが適切に設定されたことになる。

また、ＷＢ係数に対する、ＷＢ評価値を（Ｃｘ，Ｃｙ）とすると、ＷＢ評価値は下記のように表現される。

Ｃｘ＝（Ｒ−Ｂ）／Ｙ×１０２４
Ｃｙ＝｛Ｒ＋Ｂ−（Ｇ１＋Ｇ２）｝／Ｙ×１０２４
Ｙ＝（Ｒ＋Ｇ１＋Ｇ２＋Ｂ）／４
ここで、Ｃｘ，Ｃｙの値はＷＢ係数（ＷＢ_Ｒ，ＷＢ_Ｇ１，ＷＢ_Ｇ２，ＷＢ_Ｂ）から算出可能であり、逆にＣｘ，Ｃｙから、ＷＢ係数の平均値を１０２４と仮定することで、ＷＢ係数を算出できる。またＣｘ，Ｃｙの値を用いて、それぞれのＣｘ，Ｃｙに対するＷＢ補正値をΔＣｘ，ΔＣｙとし、ＷＢ補正設定値（Ａ−Ｂ）をα、ＷＢ補正設定値（Ｇ−Ｍｇ）をβとすると、以下のようにＣｘ，Ｃｙの値を補正することで、ＷＢ補正を行うことができる。

Ｃｘ’＝Ｃｘ＋α×ΔＣｘ
Ｃｙ’＝Ｃｙ＋β×ΔＣｙ
本実施形態においては、α、βは±９段階まで設定可能として説明する。

仕上がり設定は、各カメラのシーンに応じた標準的な画質設定を表したものであり、本実施形態においては、標準、風景、ポートレイト、ニュートラル、忠実の５種類の設定が可能である。これらの設定では、各シーンに応じて、色信号作成回路１４１、色階調変換回路１４５、彩度強調回路１４６、輝度階調変換回路１４３、輝度補正回路１４４の設定を各設定に最適になるようにパラメータを設定する。

一般的に、標準では、鮮やかさやコントラストをやや高くして見栄えのよい絵作りがなされ、風景撮影では、標準よりもさらにコントラストや鮮やかさを高くする。また、ポートレイトでは、標準より肌色をやや明るく、彩度を控えめにし、明るめの領域でやわらかい輝度階調となるように設定する。ニュートラルでは、標準よりも彩度とコントラストを控えめに設定し、忠実では、実際の被写体の色味を忠実に表現できるようにパラメータを設定する。

クッキリ感は、輝度階調変換回路１４３で設定されるガンマ特性を変更することで調節することができる。図４は、輝度階調変換回路１４３で設定される階調特性を示しており、コントラスト−４〜＋４までの階調特性が示されている。暗部を暗くし、且つ白とびを早く生じさせることで、画像のコントラスト感を強めることができる。

鮮やかさの設定は、図２Ｂの彩度強調回路１４６で設定される画像処理パラメータで調節され、下記の式で表現される。

Ｕ’＝（１＋鮮やかさの設定値×ΔＧａｉｎ）×Ｕ
Ｖ’＝（１＋鮮やかさの設定値×ΔＧａｉｎ）×Ｖ
ここでΔＧａｉｎは、鮮やかさの設定に応じた彩度の強調量を制御するパラメータであり、例えばΔＧａｉｎを０.１として、設定値を−４〜＋４まで変更可能とすると、標準の彩度設定に対して０.６倍〜１.４倍の鮮やかさの設定を行うことが可能となる。

図５は、本実施形態における、撮像装置の起動から撮影に至る動作の流れを示したフローチャートである。Ｓ１０１ではライブビューの表示を行う。Ｓ１０２では電源がＯＦＦされているか否かを検出し、ＯＦＦ状態の場合はシャットダウンしてカメラ動作を終了する。ＯＮ状態の場合は、Ｓ１０３に進む。Ｓ１０３では解析ボタンが押されたか否かの判定を行う。解析ボタンが押された場合、Ｓ２００に進み、後述する撮影パラメータ決定処理を行う。本実施形態では、Ｓ２００で決定される撮影パラメータは３種類として説明を行う。Ｓ１０５では、撮影効果の設定の選択または変更がなされたことの検出を行い、撮影効果の設定の変更が行われた場合には、Ｓ３００に進み、撮影パラメータの反映処理を行う。

ここで、撮影パラメータとは、シャッター速度、絞り値、露出補正値、ＩＳＯ感度、コントラスト、シャープネス、彩度、色味、ホワイトバランス設定、フィルタ効果などである。シャッター速度、絞り値、露出補正値の変更は、撮影レンズ１０２の制御パラメータや撮像素子１０１の制御を変更することにより行う。ＩＳＯ感度の変更は、ＡＦＥ１５０のゲイン制御により行う。コントラスト、シャープネス、色味、フィルタ効果の変更は、画像処理パラメータ算出部１８０を制御して、信号処理部１４０Ａに対する現像設定を変更することにより行う。ホワイトバランス設定の変更は、ＷＢ演算部１７３を制御し、ＷＢ処理回路１７４の動作を変更することにより行う。

Ｓ１０７では、レリーズボタンの半押しでＯＮするスイッチＳＷ１がＯＮされたか否かを判定する。スイッチＳＷ１のＯＮによる撮影待機指示があった場合には、Ｓ１０８に進んで撮影準備を行う。具体的には、ＡＥ（自動露出制御）による測光、ＡＦ（オーフォト―カス）による焦点検出を行い、実際の撮影条件を決定する。そして、Ｓ１０９の撮影待機状態において、レリーズボタンの全押しでＯＮするスイッチＳＷ２がＯＮされると（Ｓ１１０：ＹＥＳ）、Ｓ１１２に進む。Ｓ１１２では、本撮影指示がなされたとして、決定された撮影条件で本撮影を行う。一方、Ｓ１１０でスイッチＳＷ２がＯＮされなかった場合には、Ｓ１１１に進み、スイッチＳＷ１の解除の判定を行う。Ｓ１１１において、スイッチＳＷ１がＯＦＦされない場合は、Ｓ１０９に戻り、撮影待機状態を継続する。また、スイッチＳＷ１がＯＦＦされて、撮影待機状態が解除された場合、Ｓ１０１に戻ってライブビューの表示状態となる。

図６は、図５のＳ２００における撮影パラメータ決定処理の動作を示すフローチャートである。図５のＳ１０３において、解析ボタンの押下が判定されると、Ｓ２０１ではシーン解析用の撮影を行う。シーン解析用の撮影設定は、事前のユーザの撮影設定によらず標準の設定が好ましい。たとえば逆光や夜景を検出するにあたり、画面のヒストグラム解析などを行うことが一般的であるが、その場合は画面の明るさが適正レベルであることが正しくシーン判別を行うために必要である。同様にしてＡＦや色再現を解析する場合においても標準設定が望ましい。

Ｓ２０２では、ＡＦ動作を行い、主要被写体へのピント合わせを行う。ＡＦ（オートフォーカス）の手法としては、公知の位相差検出方式の焦点検出などを用いることができる。Ｓ２０３でＡＥ（自動露出制御）を行い、標準の明るさに設定し、同時にＷＢ検出を行い、ＡＷＢ（オートホワイトバランス制御）の処理を行う。

Ｓ２０４では、Ｓ２０２〜Ｓ２０３で設定された撮影設定によりシーン解析用の画像を撮影する。Ｓ２０５では、シーン解析を行う。シーン解析は、例えば次のような項目について解析する。まず、顔検出により人物の存在を判定する。ＡＦ結果から、被写体までの距離情報を算出し、マクロ撮影を判別する。ＡＥ結果、画面内の色味や輝度値、ＡＦ距離情報などから夜景、夕景、風景、屋内シーンなどを判別する。被写体輝度値（Ｂｖ値）と画面内のヒストグラムから逆光を判別する。画面内のヒストグラム結果から画面内の色分布などを取得して、主要被写体を判別する。

Ｓ２０６では、シーン解析結果に応じて、撮影パラメータを３種類決定する。Ｓ２０７では、Ｓ２０１において設定された解析用の撮影設定を、元の撮影設定に戻す処理を行う。

図７は本実施形態において、図５のＳ１０３で解析ボタンが押されてから、選択画面において撮影設定の候補を選択し、ライブビュー画像に反映する様子を示した概念図である。図７のシーンは、逆光状態を表しており、背景が明るく被写体がやや暗くなっているような撮影シーンを想定している。

図７（ａ）では、ライブビュー画像を表示しつつ、同時に解析ボタンを表示している様子を示している。図７（ｂ）は、図７（ａ）において解析ボタンを押した結果、シーンに応じた３種類の撮影設定の候補（候補生成）と、その設定にした際の画像効果のイメージが表示されている状態を示している。図７（ｂ）において、設定候補１では、露出を下げ、背景を適正露出にした結果、人物が暗くなっている様子を示している。設定候補２では、露出を高くした結果、人物が適正に撮影され背景がさらに明るくなっている様子を示している。設定候補３では、露出を１段下げた結果、背景の露出が白とびしない程度に抑えられ、コントラストを下げて暗部の暗い部分を持ち上げた結果、人物がやや明るくなった様子を示している。

ここで表示したイメージ図は、解析ボタンを押下した際に取り込まれた画像に対して、上記のような撮影設定で得られる画像に近くなるような画像処理を施して表示をしている。この画像処理は、ハードウェアとして高速な処理回路を搭載することで、ライブビュー画像に対して行い、表示することも可能である。

図７（ｂ）で、ユーザにより例えば設定候補１が選択されると、設定候補１の撮影設定で撮影がなされ、ライブビュー画像として表示される。ここでのライブビュー画像は、前述したような画像処理回路での補正ではなく、実際に露出を設定して撮影された画像を表示したものである。また図７（ｃ）に示すように、モニタ装置上に撮影設定が表示され、この撮影設定からユーザがさらに設定を変更することも可能である。図７（ｄ）は、図７（ｃ）で本撮影指示がなされ、静止画撮影を行った後のレビュー画像を表示した状態を示している。

図８は、図７（ｂ）の３種類の撮影設定の選択画面を生成する動作の流れを示すブロック図である。図６のＳ２０４におけるシーン解析用画像取得動作で得られたＹＵＶ画像データは、システムコントローラ１０７により実現されるシーン解析部２００でシーン判別が行われる。シーン解析部２００は、図１の顔検出回路１２０、ヒストグラム回路１３０、画面内色分布取得回路１３２、撮影レンズ１０２へのシャッター、絞りの制御値、等から得られる情報をもとに、システムコントローラ１０７が演算を行うことで実現される。システムコントローラ１０７により実現される撮影設定決定部２１０は、シーン解析部２００によって決定されたシーン情報に応じて、３種類の撮影設定を決定する。システムコントローラ１０７で実現される画像処理設定部２２０は、決定された撮影設定に応じて画像処理パラメータを決定する。決定された画像処理パラメータは、後述する図９の処理で用いられる画像処理パラメータである。

一方、ＹＵＶ画像データは、リサイズ回路１３１によってパラメータ変更の影響を表示するためのサイズにリサイズされ、画像補正回路１６０によって、３種類の画像処理が施され、画像合成回路１３３によって、元のＹＵＶ画像データと合成される。ここで、画像処理パラメータの変更による画像変換は、ＲＡＷ画像から信号処理回路１４０によって生成することが可能である。しかし、図７で既に説明したように、解析した画像に簡易的な画像処理を施すことで、疑似的に生成することも可能である。そうすることで同一の画像から複数の効果を与えた画像を簡単な処理で生成することができるため、ユーザによる撮影設定の比較や、撮影設定の選択のための画面を容易に表示することができるという利点がある。またＹＵＶ画像から生成するため、ＲＡＷ画像を保存しておく必要がなく、処理速度やメモリー使用量が削減でき、システム制御の簡易化も容易となる。

図９は、画像補正回路１６０における処理の流れを示したブロック図である。ＹＵＶ／ＲＧＢ変換回路１６０は、ＹＵＶ画像データをＲＧＢ画像データに変換する。トーンカーブ補正回路１６２は、ＲＧＢごとにトーンカーブ補正を行う。トーンカーブ補正は、露出補正処理、コントラスト補正処理、ＲＧＢごとにトーンカーブを変えることでＷＢを変える処理を行う。

３ｘ３マトリクス回路１６３は、ＲＧＢ信号に３ｘ３の行列をかける処理である。色再現や色合いの変換、彩度の補正が可能である。ボカシ処理回路１６４は、画像周辺部をぼかす背景ボカシ処理、画像の垂直ラインごとにボカシ量をコントロールするジオラマ風フィルタ処理、等が可能である。これ以外にも周辺の明るさを下げるトイカメラ風処理や、明るい部分に十字のフィルタをかけるクロスフィルタ風処理なども可能である。ＲＧＢ／ＹＵＶ変換回路１６５はＲＧＢ画像データをＹＵＶ画像データに変換する。

図１０は、図９に示した画像補正回路１６０で行う画像補正設定の例を示した図である。画像補正回路１６０は、通常現像を行ったＹＵＶ画像データに対して、撮影設定を変更した場合の画像効果を疑似的に生成する画像処理回路である。本実施形態における撮影設定を変更する処理は、露出補正処理、コントラスト補正処理、ホワイトバランス変更処理、色の濃さの変更処理、色相の変更処理、背景ボカシ処理などである。

図１０（ａ）は、露出補正用のトーンカーブ特性を示した図である。露出補正用のトーンカーブは下記の演算式で生成可能である。

ＡＥCorrect（ｘ）＝γ（γ^-1（ｘ）×２^{露出補正値} ）
ここでγ（ｘ）は、図２Ｂに示される輝度階調変換回路１４３で設定される標準の階調変換特性を示し、γ^-1（ｘ）は、γ（ｘ）の逆変換特性を示す。

図１０Ｂは、コントラスト補正用のトーンカーブの特性を示した図である、
ＣｏｎｔCorrect（ｘ）＝γi（γ0^-1（ｘ））
コントラスト設定値ｉ＝−４〜＋４
ここでは、γi（）は、図２Ｂに示される輝度階調変換回路１４３で設定される、コントラスト補正が設定された場合の階調変換特性を示し、添え字のｉは設定値を示している。ｉの値については、０が標準を示し、＋方向がコントラストを強める変換を示し、−方向がコントラストを弱める変換を示す。

図１０（ｃ）は、ＷＢ補正用のトーンカーブの特性を示した図である。本実施形態では、ＲＡＷ撮影時に使われたＡＷＢ係数と、補正後のＷＢ係数の比率によって、ＲＧＢそれぞれのトーンカーブを算出する。

ＧａｉｎＲ＝ＷＢ_Ｒ＿補正後／ＷＢ_Ｒ＿ＡＷＢ
ＧａｉｎＲ＝ＷＢ_Ｇ＿補正後／ＷＢ_Ｇ＿ＡＷＢ
ＧａｉｎＲ＝ＷＢ_Ｂ＿補正後／ＷＢ_Ｂ＿ＡＷＢ
ＷＢCorrectＲ（ｘ）＝ｃγ（ｃγ^-1（ｘ）×ＧａｉｎＲ）
ＷＢCorrectＧ（ｘ）＝ｃγ（ｃγ^-1（ｘ）×ＧａｉｎＧ）
ＷＢCorrectＢ（ｘ）＝ｃγ（ｃγ^-1（ｘ）×ＧａｉｎＢ）
ここでｃγ（）は、図２Ｂに示される色階調変換回路１４５で用いられる階調特性を示しており、色用のガンマカーブである。本実施形態ではＷＢ係数比率は０.１刻みのカーブを図示しているが、０.１以下のゲインは線形補間を用いて階調変換特性を決定してもよい。

図１０（ａ）、１０（ｂ）、１０（ｃ）示される階調特性は、露出補正、コントラスト補正、ＷＢ補正の順で合成され、合成されたトーンカーブ特性が図９のトーンカーブ補正回路１６２にそれぞれ設定される。

次に、彩度補正、色相補正の手法について説明する。ＪＰＥＧデータの場合、色差信号とＲＧＢ変換式には下記の関係式が定義されている。

逆行列により、ＹＵＶ信号からＲＧＢ信号は以下のように求められる。

ＹＵＶの色差信号に対する補正処理である色差信号補正処理は、彩度強調パラメータをαとすると下記のように表現できる。

つまり、彩度補正パラメータは下記の式で表現できる。

色相角度変換も、回転角度Θとすると、

と表現でき、

となる。

色相角度変換と彩度強調パラメータは合成することができ、

ただし、Ｑ＝Ｍ^-1・Ｐ・Ｋ・Ｍ
と表現でき、合成された演算マトリクスＱを３×３マトリクス回路１６３に設定することで色の補正を行うことが可能となる。もちろん彩度強調、色相角度変換だけでなく、各種風景やポートレイトの色再現用の変換式も３ｘ３マトリクスで表現することは可能であり、前述したマトリクスＱに合成することで、画像変換処理を行うことができる。

図１１は、図９に示されるボカシ処理回路１６４の処理の手順を示したブロック図である。画像データは、ボカシ処理部１６６によって、ローパスフィルタやガウシアンフィルタを適用されることでボカシ処理が行われる。ボカシ処理されていない画像に対しては画素ごとに画像合成比率を表す合成マスクが乗算され、一方、ボカシ処理された画像は、１から上記の合成マスクの合成比率が減算され、両画像が合成される。図１１（ｂ）は、画像周辺をボカシ画像とする合成マスクの一例を示している。これらの合成マスクは、主被写体を検出することによって主被写体の位置から決定してもよい。また、この例では２値化された合成マスクを示しているが、徐々に合成比率を変化させて滑らかに合成処理をするようにしてもよい。その場合、合成マスクに対してボカシ処理フィルタを適用することで生成することができる。

図１２は、本実施形態におけるシーン判別の例を示した図である。以下、図６のＳ２０５におけるシーン解析の方法について説明する。本実施形態においては、シーン判別を行うために、例えば、顔検出結果、動きベクトル、被写体距離、画面内距離情報、被写体輝度、面内輝度分布、面内色分布、画像内コントラスト等を用いる。以下、前述した各シーン判別に用いる情報の算出方法について説明する。

顔検出方法には、一般的にニューラルネットワークに代表される学習を用いた方法、目や鼻といった物理的な形状の特徴のある部位を画像領域からテンプレートマッチングを用いて検出する方法がある。その他にも、肌の色や目の形といった画像特徴量を検出し統計的に解析する手法など、多数提案されており、それらのうちの複数の方法を組み合わせて用いるのが一般的である。さらに、ウェーブレット変換と画像特徴量を利用して顔検出する方法や、テンプレートマッチング等を組み合わせた方法なども提案されている。いずれにしても画像中からの顔の検出は、多くの公知の方法で実施可能であるので、本実施形態では詳細な説明は省略する。

主被写体動き検出は、例えば、検出された顔の位置が複数のフレーム間で所定距離以上移動しているか否か判断をすることにより行う。顔検出以外にも、オートフォーカスで決定されたピント位置のフレーム間での移動量などによって判定してもよい。また、例えばＵＩ１１２やモニタ装置１１０の画像上でユーザにより指定された被写体について時系列的にテンプレートマッチングを行い、フレーム間での移動量から動きを判定する手法などを用いてもよい。この主被写体の動き判定についても多数の提案がなされており、詳細な説明は省略する。

面内色分布データは、画面内色分布取得回路１３２が、図２における信号処理回路１４０から出力されるＹＵＶ画像データを複数のブロックに分割し、ブロック毎にＹＵＶの平均値を算出することにより得られる。図１３は、ＹＵＶ画像データを面内で複数のブロックに分割している様子を示した図である。

面内ブロック毎にＹＵＶ値から下記の式を用いて、彩度Ｓ、色相Ｈを算出する。

輝度Ｙ
色相Ｈ＝tａn^-1（Ｖ／Ｕ）
彩度Ｓ＝√（Ｕ²＋Ｖ²）
ブロックごとのＹＨＳのデータが面内色分布データとなる。

図１４は、ブロックデータにおける各ブロックの輝度・色相・彩度の検出閾値をシーン判定条件の上限と下限で表した図である。各閾値に含まれるブロック数を算出し、画面の全ブロックに対する割合を算出する。算出された割合を、画面割合Ｌと画面割合Ｈの数値に照らし合わせて、シーン判別度を算出する。算出された割合が画面割合Ｌを下回る場合は色シーン判別度を０、画面割合Ｈを上回る場合には色シーン判別度を１００とし、画面割合Ｌと画面割合Ｈの間の割合の場合は、線形補間を用いて色シーン判別度を算出する。被写体輝度（Brightness Value、以下Ｂｖ値と記す）は、図６のＳ２０３において測光を行った時の明るさから算出する。ＡＥの手法については多数の公知例があるため、詳細な説明は省略する。本実施形態においては一般的なＡＥの手法に基づいて説明する。

ＡＥ測光時に取得された画像から、ブロック積分値を取得し、ブロック輝度値Ｙ[i]を算出する。

Ｙ[i]＝０.３＊Ｒ[i]＋０.３＊Ｇ１[i]＋０.３＊Ｇ２[i]＋Ｂ[i]
（ｉ:ブロック位置）
ブロック輝度値に、ブロック毎の主要被写体の重みや中央重点の重みＡＥ_Weightが乗算されて輝度値Ｙ_Aveが算出される。

Ｙ_Ave＝Σ（ＡＥ_Weight[i]×Ｙ[i]）
算出された輝度値がＡＥ目標値（ＡＥ_Target）になるように、測光値との露出段差DeltaＢｖを計算する。

DeltaＢｖ＝ｌｏｇ₂（Ｙ_Ave/ＡＥ_Target）
算出された露出段差を測光時の露出値に加算することで、被写体輝度を算出する。

Ｂｖ＝Ａｖ＋Ｔｖ−Ｓv＋DeltaＢｖ
上記露出計算に使用するＡｐｅｘ値は定義により算出可能である。

Ａｖ：Ａｖ＝ｌｏｇ₂Ｆ² Ｆ：ＦＮｏ
Ｔｖ：Ｔｖ＝ｌｏｇ₂（１／T）Ｔ：シャッター速度
Ｓｖ：Ｓｖ＝ｌｏｇ₂（Ｓ×０.３２）Ｓ：ＩＳＯ感度値
適正露出の時には、下記の式が成り立つ。

Ａｖ＋Ｔｖ＝Ｂｖ＋Ｓｖ
算出された被写体輝度値から、あらかじめ設定されたプログラム線図に基づいて絞り値、シャッター速度、感度を算出する。

適正露出を算出する場合の測光方式としては、評価測光、中央重点測光、平均測光、スポット測光などがある。評価測光などでは、主要被写体が顔であることを検出した場合に、例えば顔の明るさが適正になるように露出条件を決定する。

また測光時に検出されたＢｖ値に対して、ブロックごとに適正レベルからの輝度差分を算出することで、ブロックＢｖ値（ブロック輝度値）も算出可能である。ブロック積分値か算出された輝度値をBlockＹとし、ＡＥターゲット値をＡＥ_Targetとすると、ブロック輝度値は下記の式で表現される。

BlockＢｖ[i]＝Ｂｖ＋ｌｏｇ₂（BlockＹ[i]／ＡＥ_Target）
（ｉはブロック位置を示す）
被写体距離は、ＡＦ（オートフォーカス）の結果から算出される。オートフォーカスの方式には、コントラスト検出方式と位相差検出方式がある。位相差検出方式の中には、撮像面内に位相差を検出する画素が配置された撮像素子を用いて、画面全体にわたり被写体距離を算出できる方式もある。

コントラスト検出方式と位相差検出方式のいずれにおいても、画像領域を複数のブロックに分割し、領域ごとにフォーカス位置を算出することで、撮影レンズの焦点距離、絞り値を用いて被写体までの距離を算出することができる。画面内の全てのブロック領域について被写体距離を算出し、画面内距離情報とすることができる。その中から主要被写体の距離を算出する場合に。主要被写体の判別方法としては次のようなものがある。例えば、画面の中の顔領域を主要被写体と判定する。それ以外にも、画面中央部に近い近距離被写体、周辺と異なる色の被写体、ユーザによりモニタ装置の画面を用いて設定された被写体などを主要被写体と判定する。これらの方法により主要被写体を判別し、その距離を検出することができる。

画像内コントラスト値は、ヒストグラム回路１３０によって算出されるヒストグラム結果から算出される。輝度値のヒストグラムの上位１０％と下位１０％の輝度値の差分や、ヒストグラムから算出される標準偏差値をコントラスト値とすることができる。

カメラ状態を判定する手法としては、角速度センサを用いる方法がある。角速度センサの出力から、カメラが静止状態である場合には三脚装着状態、一定方向に動いている場合には流し撮り状態、不連続に移動している場合には手持ち撮影状態、などと判定することができる。最近のデジタルカメラは、ジャイロセンサなどの角速度センサを用いた手振れ補正機構を有するものが多くなってきており、このようなセンサをカメラ状態の判定に流用することができる。

以下、図１２に示したシーン判別方法について説明する。

＜ポートレイト判定＞
ポートレイト判定では、図１の顔検出回路１２０の検出結果から、顔が画面の中心付近で一定以上の大きさであり、且つ顔の数が２人以下である場合にポートレイトシーンと判定する。より具体的には、顔の位置、顔の大きさ、顔検出信頼度、人数などに基づいてポートレイト度の値を算出し、所定の値以上の場合、ポートレイトシーンであると判定する。

ポートレイト度＝顔位置重み×顔大きさ重み×顔信頼度×人数重み
顔位置重み：中央→１００％、像高８割以上→０％
顔大きさ重み：画角２０％以上→１００％、画角５％未満→０％
顔信頼度：０％〜１００％
人数重み：１人→１００％、２人→５０％、３人→３０％、４人以上→０％
ここで顔位置重みを決定する場合、例えば検出した複数の顔の全てに対して、顔の中心位置と大きさから重要度を算出し、顔の重要度が最も高い顔を主顔、それ以外の顔を副顔として、顔位置重みを決定する。

主被写体動き検出は、前述した被写体動き量を算出することで行うことができる。また、画像相関を用いた手法で使用する複数フレームの画像データの取得は、図５のＳ１０３において解析ボタンが押下された後に複数フレームを取得してもよい。あるいは、ライブ画像表示中に事前に画像を取得し、解析ボタンの押下時点での判定によってシーン判別を行ってもよい。

＜被写体動き判定＞
主被写体の動き量に応じて、所定値以上の動きがあった場合に、動き被写体として判定してもよい。また動き量とフレーム間のデータ取得時間との関係から、被写体ぶれを起こさない、最適なシャッター速度の算出を行うことが可能である。

＜風景判定＞
風景判定は、図６のＳ２０３において測光を行って得られた被写体輝度と、画面内色分布取得回路１３２のデータを用いて行う。判定条件としては、例えば所定の被写体輝度値以上であること、及び面内色味判定によって得られた緑ブロック、青ブロックの数を用いる。

＜マクロ判定＞
マクロ判定は、ＡＦから算出される主要被写体の距離を用いて行う。撮影レンズ１０２の焦点距離に対して、被写体距離が所定の割合未満の場合、例えば被写体距離が焦点距離の２０倍未満の場合に、マクロ撮影と判定する。それ以上の距離の場合は距離情報に応じて、例えば焦点距離の４０倍までの間の場合にマクロ判定度を０として、マクロ判別度を算出する。焦点距離の倍率は、撮影レンズ１０２の絞り値に応じて変更してもよい。

＜ダイナミックスレンジ判定＞
撮影シーンに対してダイナミックレンジの計算を行う。本実施形態においては、コントラストデータから、所定輝度以上の画素数をカウントし、その数が所定数以上の場合に、明部側のダイナミックレンジが不足していると判断する。逆に所定輝度値以下の画素数をカウントして、その数が所定数以上の場合に暗部側のダイナミックレンジが不足していると判断する。また、カウントされた画素数に応じて、オーバー側、アンダー側のダイナミックレンジの不足量を推定してもよい。

＜逆光判定＞
逆光判定では、画像中心部分または主被写体検出部分のブロックＢｖ値の平均値と、画像周辺部分のブロックＢｖ値の平均値の差分を算出し、背景の方が所定以上明るい場合に逆光と判断する。また、逆光度の判定を行う場合には、上記の差分が、たとえば２段未満の場合には逆光度０％とし、４段以上ある場合に逆光度１００％として判定を行うことが可能である。

＜明るさ（屋外・屋内）判定＞
明るさ判定は、被写体輝度を用いて行う。所定の被写体輝度以上、例えば、Ｂｖ＝５以上の場合に屋外と判定し、Ｂｖ＝５未満の場合に、屋内と判定することが可能である。被写体輝度以外にも面内の色分布を見て、緑、青といった被写体が多い場合には、屋外判定の度合いを強めるなどの判定を行ってもよい。例えば、図１５のように、青・緑ブロック数に応じてＢｖ上限以上で屋外度１００％、Ｂｖ下限以下で０％とし、中間Ｂｖの場合には線形補間を行い、屋外度を算出する。

＜青空判定＞
青空判定は、Ｂｖ値および面内色情報を用いて行う。例えば、
条件１：Ｂｖ７以上、青色ブロック４０％以上
条件２：Ｂｖ５以上、青色ブロック２０％以上、白色ブロック３０％以上
のどちらかの条件を満たす場合に青空と判定する。また、条件１、条件２で検出されるブロック数の割合によって青空度を算出する。

＜夜景判定＞
夜景判定では、Ｂｖ値が０以下であり、且つヒストグラムのコントラスト値が所定の値以上の場合に夜景と判定する。Ｂｖ値が低く、コントラスト値が高いほど値が大きくなるように夜景度を算出する。

＜夕景判定＞
夕景判定は、Ｂｖ値および面内色情報を用いて行う。
条件１：Ｂｖ２以上５以下、オレンジブロック４０％以上、青色ブロック２０％以上、コントラスト値３０以上
条件２：Ｂｖ５以上１０以下、オレンジブロック２０％以上、青色ブロック４０％以上、コントラスト値３０以上
のどちらかの条件を満たす場合に、夕景と判定する。オレンジブロックの数に応じて夕景度を算出することも可能である。

＜スポットライト判定＞
スポットライト判定では、画像中心部分または主被写体検出部分のブロックＢｖ値の平均値と、画像周辺部分のブロックＢｖ値の平均値の差分を算出し、例えば４段以上周辺輝度値が低い場合にスポットライトがあると判定する。また、上記の差分の大きさに応じてスポットライト度を算出してもよい。

＜背景距離＞
背景距離の算出は、既に説明した画面内距離マップを用いて行う。ブロックごとに被写体距離のヒストグラムを生成し、主要被写体距離に対して、例えば深度換算で５深度以上離れている領域のうち、最も出現頻度が高い領域の距離を背景被写体距離としてもよい。あるいは、所定の数以上のブロックを有するブロックのうち最も離れた距離にある領域を背景距離としてもよい。背景距離から所定の距離以内の領域のブロックを背景領域として設定することで、主被写体領域と背景領域の設定および被写体距離の算出が可能となる。

＜色シーン判定＞
色シーン判定では、黄色、青色、赤色、緑色の色シーン判別度を算出する。色シーン判別度は、前述したブロック積分値から算出された色相、彩度から所定の条件を満たす面内ブロック数を抽出し、その数に基づいて算出する。

次に、図６のＳ２０６における撮影パラメータの決定方法について説明する。本実施形態では、シーン解析結果に応じて３種類の撮影パラメータの提示を行うことを前提に説明する。図１６Ａは、シーン判別から撮影提案内容の決定に至る動作の流れを示したフローチャートである。

図１６Ａにおいて、Ｓ３０１では、ペア提案内容の抽出処理を行う。ペア提案とは、２種類の対比させた撮影設定を提示することを意味する。２種類の対比させた撮影設定を提示することで、より撮影設定の差分を際立たせることができ、ユーザに撮影設定の効果の差分を知らしめることができる。

図１６Ｂは、ペア提案設定を選択する動作の流れを示すフローチャートである。Ｓ４０１では、ポートレイトシーン判定を行う。ポートレイトシーンでは、被写界深度を浅くして背景をぼかした撮影を行う撮影設定と、被写界深度を深くして背景をはっきりと写す撮影設定のパラメータが閾値以上離れた２種の撮影設定を提案することができる。

顔検出結果のポートレイト度、および主被写体距離と背景被写体距離の差分から得られる主要被写体と背景被写体との深度差分に応じて、深度差分効果適応度を算出する。顔検出結果および深度差分適応度の双方が所定値以上の場合にポートレイト提案を行うと判断する。Ｓ４０１でポートレイト提案を行うと判断された場合は、Ｓ４０２において、絞り値をＦ２.８にした設定とＦ１１.０にした設定の両方をペアとして提案する。

Ｓ４０３では、マクロ撮影の提案を行うことが可能か否かの判定を行う。マクロ撮影では背景をぼかした撮影方法と背景もぼかさずに撮影する撮影方法の提案を行うことができる。マクロ提案判定では、マクロ判定結果と、主被写体距離と背景距離との間の深度差分を計算し、深度差分適応度を算出する。マクロ判定結果および深度差分適応度が所定値以上の場合にマクロ提案可能と判断する。Ｓ４０３でマクロ提案可能と判断された場合は、Ｓ４０４において、絞り値をＦ２.８にした設定とＦ１１.０にした設定の両方をペアとして提案する。

Ｓ４０５では、逆光撮影適応シーン判定を行う。逆光シーンでは主被写体の明るさを所定の明るさにして撮影する方法と、主被写体をシルエット調にして撮影する方法を提案することができる。逆光提案は既に説明した逆光判定に基づいて行う。Ｓ４０５で逆光提案可能と判断された場合は、Ｓ４０６において、主被写体領域および背景領域のそれぞれのブロックに対してDeltaＢｖを求め、露出設定値を決定する。算出された露出設定値から露出補正設定値を算出する。

次に、図１６ＡのＳ３０２において、シングル提案の抽出を行う。シングル提案とは、解析したシーン情報に基づいて、シーンに適した適応度および撮影設定を決定する処理である。

図１６Ｃは、図１６ＡのＳ３０２におけるシングル提案の流れを示すフローチャートである。図１６Ｃにおいて、Ｓ５０１では、ポートレイトシーンのシーン判別度を決定し、判別度が所定の閾値以上の場合に、ポートレイト撮影する撮影設定を決定する。ポートレイトシーン判別度は前述した式に基づいて算出する。

ポートレイト判別度が所定の閾値以上の場合、ポートレイト判別度に応じて、絞り値を開放側に設定し、顔色の明るさが明るくなるように露出設定を＋３にし、階調性が滑らかになるようにコントラスト設定を−３にし、仕上がり設定をポートレイトに設定する。

Ｓ５０２では風景シーン判別度を算出し、風景シーン判別度が所定の閾値以上の場合には風景撮影設定を決定する。風景シーンの判別では、明るさ判定結果が明るく、被写体距離が所定の距離以上に遠く、図１４の白・黒・灰色・肌色以外の色ブロックの合計が所定以上の割合、例えば３０％を占めている場合に風景シーンと判定する。風景シーンと判定した場合には、撮影設定を風景に設定するとともに、彩度およびコントラストを＋３、露出値を−１に設定する。

Ｓ５０３では、夕景シーン判別度の算出を行い、夕景シーン判別度が所定の閾値以上の場合には、夕景撮影設定を決定する。夕景シーンの判別では、前述の夕景判定の判定結果を用いる。夕景判定がなされた場合には、露出を−２、彩度設定を＋２、色合い設定を日陰に設定する。

Ｓ５０４では、夜景シーン判別度の算出を行い、夜景シーン判別度が所定の閾値以上の場合には夜景撮影設定を決定する。夜景シーンの判定では、前述の夜景判定結果を用いる。夜景判定がなされた場合には、顔が検出されていない場合は、露出を−２、コントラスト＋２に設定する。顔が検出されていた場合は、露出−１、コントラスト＋１に設定する。顔が検出されていた場合には、黒締めを強くしすぎて顔がつぶれがちになることを避ける設定にし、検出されていない場合には、黒締めを強くして見栄えが良い設定にする。

Ｓ５０５では、ハイキー撮影設定決定処理を行う。ハイキー撮影の判定では、明るさ判定が明るいと判定され、白と判定された色ブロックが画面内に所定の割合以上ある場合にハイキー撮影設定を行う。具体的には、
条件１：白色ブロックが１０％以上
条件２：明るいと判定されている
条件３：黒ブロックが１０％以下であり、白色ブロックが６０％以下である
を満たす場合にハイキー撮影と判定する。ハイキー判別度は、白色ブロックの割合を用いて決定する。白色ブロックが１０％でハイキー度３０％、白色ブロックが３０％でハイキー度を７０％と判定する。ハイキー判定がなされた場合には、露出設定を＋６、彩度を−３、コントラストを−２に設定する。

Ｓ５０６では、ローキー撮影設定決定処理を行う。ローキー撮影の判定では、撮影シーンが所定値以上のコントラストを有し、且つ中間調の階調を有し、黒ブロックおよび白ブロックが所定値以上のブロック数を持つ場合にローキー撮影設定を行う。具体的には、
条件１：白色ブロックが１０％以上３０％以下である
条件２：黒ブロックが１０％以上３０％以下である
条件３：コントラスト（画像の輝度標準偏差）が５０以上である
を満たす場合にローキー撮影と判定する。ローキー判別度は、上記判定を満たす場合に、５０％と設定する。ローキー判定がなされた場合には、露出設定を−６、彩度を＋３、コントラストを＋２に設定する。

Ｓ５０７では、モノクロ撮影設定決定処理を行う。モノクロ撮影の判定では、撮影シーンが所定値以上のコントラストを有し、且つ中間調の階調ブロックおよび白ブロックが所定値以上のブロック数を持つ場合にモノクロ撮影設定を行う。具体的には、
条件１：白色ブロックが１０％以上３０％以下である
条件２：白ブロックと黒ブロック以外のブロックが画面の５０％を有する
条件３：コントラスト（画像の輝度標準偏差）が５０以上である
を満たす場合にモノクロ撮影と判定する。モノクロ判別度は、上記判定を満たす場合に、４０％と設定する。

モノクロ判定がなされ、顔が未検出または顔のサイズが所定の大きさ以下の場合には、色ブロック割合から次のように決定する。赤色ブロック数、青色ブロック数、黄色ブロックと肌色ブロックの合計ブロック数を計算し、赤色ブロックが最も多い場合にはピンク設定、青色ブロックが多い場合には紫設定、黄色・肌色ブロックが多い場合にはセピア設定、それ以外は白黒設定とする。顔の大きさが一定の大きさ以上の場合には、白黒設定を行い、かつコントラスト−４、露出補正−２に設定する。

次に、図１６ＡのＳ３０３において、色効果提案の抽出を行う。色効果提案とは、解析したシーン情報に基づいて、シーンに適した色効果設定の決定および撮影設定の決定を行う。

図１６Ｄは、色効果提案の内容を決定する動作の流れを示したフローチャートである。Ｓ６０１〜Ｓ６０４は、それぞれ各色のフィルタ決定処理を示しており、各色の処理内容は同様でありパラメータのみが異なるため、代表的な例を用いて説明する。

図１７は、色の検出設定および、検出された場合のシーン判別度と撮影設定を示した図である。本実施形態では、黄色、青色に対しての設定について説明するが、他の色に対しても同様に設定できるため、本実施形態においては説明を省略する。

図１６ＤのＳ６０１では、黄色系色効果設定の撮影設定決定処理を行う。黄色系色効果設定の判定では、図１７に示すように、Ｂｖ６以上で、画面に占める黄色ブロック割合が４０％以上の場合、黄色色効果適応シーンと判定し、シーン判別度を５０％と決定する。設定としては、露出＋３、色合い設定を日陰、色合い補正（Ａ−Ｂ）を＋７とする。黄色の被写体は高い反射率を有する場合が多く、露出がアンダーとなるように制御されることが多いため、露出を高めに、さらにＷＢを高色温度の設定にすることで画面全体の黄色味が強くなる。このように撮影設定を行うと、全体の色がアンバー側に寄って、夕暮れの暖かいイメージを表現することができる。
同様にして、Ｂｖ６以上で黄色ブロックが２０％以上の場合、シーン判別度を４０％に決定する。その場合の設定は、露出を＋３、コントラストを＋３、彩度を＋２、色合い設定を太陽、色合い補正（Ａ−Ｂ）を＋９とする。このように設定することで、アンバーにかぶらせて、朝の光に包まれているイメージを持った画像が撮影できる。

Ｂｖ６以上で黄色ブロックが１０％以上かつ２０％未満、そしてマクロ判定がなされた場合、シーン判定度を３０％に決定する。その場合の設定は、露出を−２、彩度を−２、色合い設定を日陰、色合い補正（Ａ−Ｂ）を＋７、色合い補正（Ｇ−Ｍｇ）を＋４とする。このように設定することで、アンバーで暖かさをだしつつ、やや暗めでレトロな雰囲気に撮影することができる。

同様にして、Ｓ６０２において緑系色効果設定の撮影設定決定処理を、Ｓ６０３において青系色効果設定の撮影設定決定処理を、Ｓ６０４においてマゼンタ系色効果設定の撮影設定決定処理を行う。

なお、図１８は、判別されたシーンの種別と提案種類の関係を示した図である。既に上記で説明したが、シーンの種別に応じて、図１８に示したような処理を画像に施し、その効果をユーザに示すことで、撮影効果の提案を行う。

次に、図１６ＡのＳ３０４において、撮影提案決定処理を行う。図１６Ｅは、Ｓ３０４の撮影提案決定処理の詳細動作を示したフローチャートである。

図１６Ｅにおいて、Ｓ７０１ではペア提案の有無を確認する。ペア提案を有する場合は、ペア提案を優先的に採用する。ペア提案が存在しない場合には、Ｓ７０２に進み、シングル提案の中で、シーン判定結果でシーンに適応すると判定したシーンの提案内容を採用する。シーン適応結果が３つ以上ある場合には、シーン判別度の高いものから２種類を採用する。Ｓ７０３では、色効果適応シーンを抽出する。Ｓ７０１でのペア提案およびＳ７０２でのシーン適応数の残りの数の提案内容をシーン適応度の高いものから選択可能数だけ提案内容として採用する。

上記の提案処理で提案内容の数が必要数分だけ得られない場合には、ハイキー、ローキー、モノクロ、色効果提案のなかから必要数分だけ、ランダムに採用する。また、上記の提案で採用されている提案効果については、ランダムな採用は行わない。同様にモノクロ・色効果提案がすでに提案されている場合には、モノクロや同系色の色効果提案はランダム抽出の候補から除外する
さらに、３つの撮影設定が決定されたら、各候補の類似度を算出する。各撮影設定ごとに差分を取得し、項目ごとに重みをかけて差分値を計算する。項目の重みとしては、画像に対する影響の高い設定である、明るさ設定、背景ボケ設定、仕上がり設定、色合い設定の重みを大きくし、被写体ぶれ、色合い補正（Ａ−Ｂ）、色合い補正（Ｇ−Ｍｇ）、クッキリ感、鮮やかさの重みを小さく設定する。これらの撮影設定の差分に重みを乗算し、所定の差分以上にならなかった場合には、優先度の低い撮影設定候補の削除を行い、前述した撮影設定抽出フローに新たな撮影設定の抽出を行う。

前述したように、撮影設定をシーン適応度で決定し、シーン適応度に応じて画像候補の表示を行う。具体的には、図６Ｂの画面の例では、設定候補１，２，３にはシーン適応度の高い順に候補を配置する。また、ペア提案がされた場合には、候補１、候補２にペア提案の画像が配置される。シングル提案の設定が選択された場合には、シングル提案と色効果提案の中で、シーン適応度の高いものから配置する。ランダムで選択された候補は、下位候補として配置される。このように配置を行うことで、より効果的にユーザーに撮影候補を知らしめることができる。

なお、本実施形態では説明しなかったが、動きの判定を行って、シャッター速度の提案を行ってもよい。流し撮りを行っていると判定した場合や、常時同じ動きをしている領域が存在する場合には、フレーム間の動き量とフレーム間隔から、被写体ブレを起こさない最適なシャッター速度を計算し、最適なシャッター速度とそれより遅いシャッター速度のペア提案を行う。また被写体の動きを検出した場合には、被写体ブレを起こさない秒時の提案を行ってもよい。

また主被写体と背景被写体との深度差分が少なく、背景のボケ量が少ないと判定した場合には、主被写体領域と背景領域を領域分割し、背景領域を距離情報に基づいて画像処理よりぼかし、主被写体領域と合成することでボケを大きくすることができる。同様に主被写体が画面中央付近に存在すると判定した場合には、周辺の明るさを極端に下げたトイカメラ風の処理を適応してもよい。また、風景撮影と判定した場合には、画面下部の一部分を残し、その部分から離れた領域に強くぼかし処理を行うジオラマ風フィルタを適用するなどの処理を行ってもよい。

なお、本実施形態と同様の処理を、本撮影で得られたＲＡＷ画像やＹＵＶ画像を編集する際に行うことも可能である。本撮影で得られた画像をメモリから読み出し、この画像に対してシーン解析を行い、解析されたシーンに応じた複数の設定を選択する。そして、選択された複数の設定のそれぞれに応じた処理を適用した複数の画像を生成し、メモリから読み出した画像とともに表示すればよい。ただし、撮影時の処理ではないため、シャッター速度や絞りの設定はできない。そこで、シャッター速度や絞りの設定に代えて、デジタルゲインや背景ボカシ処理を適用するにすればよい。また、被写体距離については、本撮影時に画像とともにメタデータに埋め込むようにしておけばよい。

［第２の実施形態］
以下、本発明の第２の実施形態について説明する。図１９乃至図２１は、第２の実施形態における撮影設定候補の提案動作の流れを示す概念図である。

図１９（ａ）において解析ボタンが押され、図１９（ｂ）において撮影候補が表示された様子を示している。図１９（ｃ）〜（ｅ）では、撮影候補１が選択され、その状態で連写指示である本撮影ボタンが押され続けることで、撮影候補１から３まですべての撮影を順次行っている様子を示している。

解析前にユーザによる撮影設定が行われずに解析ボタンを押された場合には、ユーザはおすすめの撮影設定を知りたくて行動していると考えられるため、適応度の高い撮影設定から撮影を行うことは妥当と考えられる。また、連続撮影指示がなされた場合に、全ての候補の撮影を一度に行うことにより、ユーザが複雑な撮影設定を行うことなく、複数のおすすめとなる撮影設定の画像が得られる。

図２０では、図１９と同様の条件の場合に、単写での撮影が指示された場合を示している。図２０では、解析直後には、解析判定で最も優先順位が高い撮影設定がはじめから選択され、さらに本撮影後には次の優先順位となる撮影設定に自動的に切り替わっている。本撮影後に撮影設定が順次に切り替わることで、ユーザは、撮影設定に合わせた効果を持った画像を得ることができる。例えば、逆光のペア提案の場合において、主被写体に合わせた露出設定と背景に合わせた露出設定に応じて、撮影時のＡＦの位置や画角を変えるなど、撮影設定に応じて好ましい画像を得られるような撮影を行うことができる。

図２１は、ユーザにより撮影設定が変更された状態において、解析ボタンが押された場合を示している。図２１では、解析された後においても、元々ユーザがカスタマイズした撮影設定の状態になっている。ユーザがカスタマイズしている状態で解析ボタンを押すことは、ユーザがカスタマイズした撮影設定とは他に好ましい撮影設定がないか確認をしている可能性が高いと考えられる。そのために、他の候補を提案しながらも、ユーザのカスタマイズした設定も同時に表示している。

このように設定することで、容易に他の撮影設定をカメラに提案させることができ、ユーザは好ましい撮影設定を容易に探し出すことが可能になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：撮像素子、１０２：撮影レンズ、１０７：システムコントローラ、１１０：モニタ装置、１１２：ユーザインタフェース、１２０：顔検出回路、１３２：画面内色分布取得回路、１４０：信号処理回路

Claims

第１の撮影設定に基づいて、第１の画像を撮像する撮像手段と、
前記第１の撮影設定と前記第１の画像の特徴量とに基づいて、被写体のシーンを判別するシーン判別手段と、
前記シーン判別手段による判別の結果に基づいて、複数の異なる撮影設定の候補を生成する候補生成手段と、
前記候補生成手段によって生成された前記複数の異なる撮影設定の候補に基づいて、該撮影設定の候補により得られる効果を反映した画像を生成する画像生成手段と、
前記画像生成手段によって生成された画像を表示手段に表示させる表示制御手段と、
を備え、
前記候補生成手段は、前記撮影設定の優先度を算出し、前記表示制御手段は、前記優先度に基づいて前記撮影設定の候補を前記表示手段に表示させ、
前記表示制御手段は、前記候補生成手段が前記撮影設定の候補を生成する前にユーザによる撮影設定がなされていた場合には、ユーザによる撮影設定、および、前記優先度に基づく前記撮影設定の候補を前記表示手段に表示させ、前記候補生成手段が前記撮影設定の候補を生成する前にユーザによる撮影設定がなされていなかった場合には、前記優先度に基づく前記撮影設定の候補を前記表示手段に表示させることを特徴とする撮像装置。
前記画像生成手段は、前記複数の異なる撮影設定の候補に基づいて、該撮影設定の候補により得られる効果を反映した複数の画像を生成し、前記表示制御手段は、生成された複数の画像を前記表示手段に表示させることを特徴とする請求項１に記載の撮像装置。
前記表示手段により表示された前記複数の画像から、ユーザが１つの画像を選択するための選択手段をさらに備えることを特徴とする請求項２に記載の撮像装置。
前記選択手段により選択された画像に対応する撮影設定を用いて前記撮像手段に撮影を行わせる制御手段をさらに備えることを特徴とする請求項３に記載の撮像装置。
前記選択手段により選択された撮影設定を用いて前記撮像手段が撮影を行った場合、前記制御手段は、撮影が終了した後に、前記優先度に基づいて前記撮影に用いられた撮影設定とは異なる前記撮影設定の候補を前記撮像手段に設定することを特徴とする請求項４に記載の撮像装置。
前記表示手段に前記撮影設定の候補が表示されている状態で連続撮影が指示された場合、前記撮影設定の候補から順に１つの撮影設定を選択して連続撮影を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記画像生成手段は、前記第１の画像に対して画像処理を施すことにより、前記撮影設定の候補により得られる効果を反映した画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記候補生成手段は、シャッター速度、絞り値、露出補正値、ホワイトバランス設定値、彩度、色合い、コントラスト、フィルタ効果のうちの少なくとも１つの設定を前記第１の撮影設定と異ならせることにより、前記撮影設定の候補を生成することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
第１の撮影設定に基づいて、第１の画像を撮像する撮像手段を備える撮像装置を制御する方法であって、
前記第１の画像を撮像した撮影設定と前記第１の画像の特徴量とに基づいて、被写体のシーンを判別するシーン判別工程と、
前記シーン判別工程における判別の結果に基づいて、複数の異なる撮影設定の候補を生成する候補生成工程と、
前記候補生成工程において生成された前記複数の異なる撮影設定の候補に基づいて、該撮影設定の候補により得られる効果を反映した画像を生成する画像生成工程と、
前記画像生成工程において生成された画像を表示手段に表示させる表示制御工程と、
を有し、
前記候補生成工程では、前記撮影設定の優先度を算出し、前記表示制御工程では、前記優先度に基づいて前記撮影設定の候補を前記表示手段に表示させ、
前記表示制御工程では、前記候補生成工程において前記撮影設定の候補を生成する前にユーザによる撮影設定がなされていた場合には、ユーザによる撮影設定、および、前記優先度に基づく前記撮影設定の候補を前記表示手段に表示させ、前記候補生成工程において前記撮影設定の候補を生成する前にユーザによる撮影設定がなされていなかった場合には、前記優先度に基づく前記撮影設定の候補を前記表示手段に表示させることを特徴とする撮像装置の制御方法。
請求項９に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
請求項９に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。