JP5647209B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

デジタルカメラ等の撮像装置においては、撮影時の被写体の露出値（明るさ）が適正になるように露出値を制御することが一般に行われている。しかしながら、逆光シーンの撮影時には、被写体と背景部の何れか一方の露出値を適正にしようとすると、他方の露出値が適正とならない場合がある。これに対し、特許文献１は、露出値の異なる複数回の撮像を行い、この複数回の撮像の結果として得られた画像を合成することにより、逆光シーン等であっても被写体と背景部の露出値がともに適正な広ダイナミックレンジの画像を得られるようにしている。

特開平１−６０１５６号公報

特許文献１の技術によれば、逆光時においても被写体が黒く潰れてしまったり、背景部が白く飛んでしまったりすることがない。一方で、逆光等の強い光源の下で発生するフレアを撮影効果として利用する撮影技法も知られている。このように、撮影シーンや撮影者の意図によっては、逆光シーン等で特有の効果を積極的に利用する場合がある。特許文献１の技術では、このような逆光シーン等に特有の効果を残すような露出制御を行うことが困難である。

本発明は、前記の事情に鑑みてなされたもので、逆光シーン等に特有の効果を積極的に利用して露出制御を行うことが可能な撮像装置及び撮像方法を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、撮像素子で受光した光束を光電変換することによって画像データを得る撮像部と、前記画像データから主要被写体の顔部を検出する主要被写体検出部と、前記画像データにおける前記顔部の露出値と背景部の露出値とを比較し、前記背景部の露出値が前記顔部の露出値よりも大きい場合に現在の撮影シーンがフレアポートシーンであることを撮影者に対して通知するとともに、前記撮影者によるフレアポート撮影の実行の指示に従って、前記顔部と前記背景部との境目エリアの露出値を予め定められた第１の適正レベルよりもオーバーな第２の適正レベルにするように露出制御をする制御部とを具備することを特徴とする。
前記の目的を達成するために、本発明の第２の態様の撮像装置は、撮像素子で受光した光束を光電変換することによって画像データを得る撮像部と、前記画像データから主要被写体の顔部を検出する主要被写体検出部と、前記画像データにおける前記顔部の露出値と背景部の露出値とを比較し、前記背景部の露出値が前記顔部の露出値よりも大きい場合に現在の撮影シーンがフレアポートシーンであることを撮影者に対して通知するとともに、前記撮影者によるフレアポート撮影の実行の指示に従って、前記顔部の露出値を予め定められた第１の適正レベルよりもオーバーな第２の適正レベルにするように露出制御をする制御部とを具備し、前記制御部は、さらに、前記顔部の表情に応じて前記撮影シーンがフレアポートレートシーンであることを判定することを特徴とする。

また、前記の目的を達成するために、本発明の第３の態様の撮像方法は、撮像部により、撮像素子で受光した光束を光電変換することによって画像データを得て、主要被写体検出部により、前記画像データから主要被写体の顔部を検出し、制御部により、前記画像データにおける前記顔部の露出値と背景部の露出値とを比較し、前記背景部の露出値が前記顔部の露出値よりも大きい場合に現在の撮影シーンがフレアポートシーンであることを撮影者に対して通知するとともに、前記撮影者によるフレアポート撮影の実行の指示に従って、前記顔部と前記背景部との境目エリアの露出値を予め定められた第１の適正レベルよりもオーバーな第２の適正レベルにするように露出制御をすることを特徴とする。
前記の目的を達成するために、本発明の第４の態様の撮像方法は、撮像部により、撮像素子で受光した光束を光電変換することによって画像データを得て、主要被写体検出部により、前記画像データから主要被写体の顔部を検出し、制御部により、前記画像データにおける前記顔部の露出値と背景部の露出値とを比較し、前記背景部の露出値が前記顔部の露出値よりも大きい場合に現在の撮影シーンがフレアポートシーンであることを撮影者に対して通知するとともに、前記撮影者によるフレアポート撮影の実行の指示に従って、前記顔部の露出値を予め定められた第１の適正レベルよりもオーバーな第２の適正レベルにするように露出制御をし、前記制御部により、前記顔部の表情に応じて前記撮影シーンがフレアポートレートシーンであることを判定することを特徴とする。

本発明によれば、逆光シーン等に特有の撮影効果を積極的に利用して露出制御を行うことが可能な撮像装置及び撮像方法を提供することができる。

本発明の各実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。 合成処理回路の内部の構成を示すブロック図である。 画像処理回路の内部の構成を示すブロック図である。 本発明の第１の実施形態のデジタルカメラの動作を示したフローチャートである。 図５（ａ）は顔部の露出データについて示す図であり、図５（ｂ）は背景部の露出データについて示す図である。 フレアポートレートシーンであることを撮影者に通知する際の通知例を示す図である。 図７（ａ）は逆光シーンの一例を示す図であり、図７（ｂ）は図７（ａ）の一点鎖線Ａに沿った輝度の分布を示す図である。 図８（ａ）は顔部の像の黒潰れを示した図であり、図８（ｂ）は背景部の白飛びについて示した図であり、図８（ｃ）は広ダイナミックレンジの画像を得る画像処理について示した図である。 フレアポートレート画像を得るための制御の例を示す図である。 本発明の第２の実施形態のデジタルカメラの動作を示したフローチャートである。 図１１（ａ）はフレアポートレートシーンの輝度分布を示す図であり、図１１（ｂ）はフレアポートレートシーン用の露出制御を示す図である。 複数回の露出動作によってフレアポートレート画像を得る場合の、フレアポートレート撮影に先立つスルー画表示の際のタイミングチャートである。 本発明の第３の実施形態のデジタルカメラの動作を示したフローチャートである。 フレアポートレートシーンであったことを撮影者に通知する際の通知例を示す図である。 変形例１のフレアポートレートモード用の露出動作について示すフローチャートである。 変形例１のフレアポートレートモード用の露出動作について説明するための図である。 変形例２のフレアポートレートモード用の露出動作について示すフローチャートである。 変形例１と変形例２とを組み合わせたフレアポートレートモード用の露出動作について示すフローチャートである。 変形例３の処理を示すフローチャートである。 フレアポートレートシーンであるとみなす表情の例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の各実施形態に係る撮像装置の一例としてのデジタルカメラ（以下、カメラと言う）１００の構成を示すブロック図である。図１に示すように、カメラ１００は、撮影光学系１０１と、撮像素子１０２と、撮像処理回路１０３と、バス１０４と、ＲＡＭ１０５と、合成処理回路１０６と、画像処理回路１０７と、顔検出回路１０８と、表示部１０９と、インターフェース（Ｉ/Ｆ）１１０と、記録媒体１１１と、ＲＯＭ１１２と、操作部１１３と、マイクロコンピュータ（マイコン）１１４とを有している。

撮影光学系１０１は、撮影レンズ１０１ａと、絞り１０１ｂとを有している。撮影レンズ１０１ａは、図示しない被写体の光束を撮像素子１０２に集光する。撮影レンズ１０１ａは、フォーカスレンズやズームレンズ等を有する光学系として構成されていても良い。フォーカスレンズは、撮影レンズ１０１ａのフォーカス位置を調整するためのレンズである。また、ズームレンズは、撮影レンズ１０１ａの焦点距離を調整するためのレンズである。撮影レンズ１０１ａを構成する可動なレンズは、マイコン１１４の制御に従ってその光軸方向に沿って駆動される。絞り１０１ｂは、開閉自在に構成され、その開口径に応じて撮影光学系１０１を介して撮像素子１０２に集光される光の量を調整する。絞り１０１ｂは、マイコン１１４の制御に従って駆動される。

撮像素子１０２は、撮影光学系１０１を介して集光された被写体の光束を受光するための光電変換面を有している。光電変換面は、光の量を電荷量に変換するための光電変換素子（例えばフォトダイオード）等からなる画素が２次元状に配置されている。また、光電変換面の表面には、例えばベイヤ配列のカラーフィルタが配置されている。このような撮像素子１０２は、撮影光学系１０１を介して集光された光を電気信号（撮像信号）に変換する。撮像素子１０２の動作制御は、マイコン１１４によって行われる。

ここで、撮像素子１０２は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子１０２の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。

撮像素子１０２とともに撮像部として機能する撮像処理回路１０３は、アナログ処理部２０１と、Ａ/Ｄ変換部２０２と、画素データ分離部２０３と、輝度データ生成部２０４と、エリア別出力部２０５とを有し、撮像素子１０２で得られた撮像信号を処理する。

アナログ処理部２０１は、撮像素子１０２から入力された撮像信号に対してＣＤＳ処理やＡＧＣ処理といった各種のアナログ信号処理を施す。例えば、ＣＤＳ処理は、撮像信号における暗電流ノイズ成分を除去するための処理である。また、ＡＧＣ処理は、撮像信号の増幅処理である。

Ａ/Ｄ変換部２０２は、アナログ処理部２０１でアナログ処理された撮像信号をデジタルデータとしての画像データに変換する。画像データは、撮像素子１０２の画素単位で得られる画素データの集まりである。なお、撮像素子１０２のカラーフィルタ配列がベイヤ配列であれば、画像データもベイヤ配列に対応したものとなる。以下、このようなベイヤ配列に対応した画像データをベイヤデータと言う。

画素データ分離部２０３は、Ａ/Ｄ変換部２０２で得られたベイヤデータを画素データの色成分毎に分離する。例えば、撮像素子１０２のカラーフィルタ配列がベイヤ配列の場合、画素データ分離部２０３は、Ａ/Ｄ変換部２０２で得られたベイヤデータを、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３成分の画素データ又はＲ、Ｇｒ、Ｇｂ、Ｂの４成分の画素データに分離する。

輝度データ生成部２０４は、画素データ分離部２０３で得られたＲデータ、Ｇデータ、Ｂデータから輝度データを生成する。撮像素子１０２のカラーフィルタ配列がベイヤ配列の場合、例えば水平２画素及び垂直２画素に隣接して配置される４画素（Ｒ、Ｇｒ、Ｇｂ、Ｂ）からなるエリア単位で輝度データを求める。輝度データは、例えば各色成分の画素データを所定の係数で重み付け混合したものとする。この場合、以下の（式１）で示すようにして輝度データを演算する。
Ｙ＝（ｒ×Ｒ＋ｇｒ×Ｇｒ＋ｇｂ×Ｇｂ＋ｂ×Ｂ）/（ｒ＋ｇｒ＋ｇｂ＋ｂ）
（式１）
ここで、（式１）のＲ、Ｇｒ、Ｇｂ、及びＢは、それぞれ、対応する画素データの画素値を示す。また、ｒ、ｇｒ、ｇｂ、ｂは、係数である。係数は、例えばｒ＝ｇｒ＝ｇｂ＝ｂ＝1.0である。この他、ｒ＝0.3、ｇｒ＝ｇｂ＝0.5、ｂ＝0.１のように色の明るさに応じて設定しても良い。この色の明るさに応じた係数の数値は、一例である。

この他、Ｇデータの値を輝度データとみなしても良い。ただし、ベイヤ配列の場合、各エリア内に２つのＧデータ（Ｇｒ、Ｇｂ）が含まれているので、以下の（式２）で示すように、ＧｒデータとＧｂデータの平均値を輝度データとする。
Ｙ＝（Ｇｒ＋Ｇｂ）/２ （式２）
エリア別出力部２０５は、画素データ分離部２０３において色成分毎に分離された画素データ（ベイヤデータ）又は輝度データ生成部２０４で生成された輝度データをエリア毎に積算することにより得られる露出データをバス１０４に出力する。

バス１０４は、カメラ１００の内部で発生した各種のデータを転送するための転送路である。ＲＡＭ１０５は、カメラ１００の内部で発生した各種のデータを一時的に記憶するための記憶部である。ＲＡＭ１０５は、合成処理回路１０６又は画像処理回路１０７における処理の際のバッファメモリとしても使用される。

合成処理回路１０６は、複数回の露出動作によって得られた複数のベイヤデータを合成して合成ベイヤデータを生成する。合成処理回路１０６の詳細については後で詳しく説明する。

画像処理回路１０７は、撮像処理回路１０３のエリア別出力部２０５から出力されたベイヤデータ又は合成処理回路１０６で生成された合成ベイヤデータに対して種々の画像処理を施す。画像処理回路１０７の詳細については後で詳しく説明する。

主要被写体検出部の一例として機能する顔検出回路１０８は、画像データにおける主要被写体としての顔部を検出する。顔部の検出手法は、特徴量マッチング等の周知の手法を用いることができる。また、顔検出回路１０８に個人別の顔部の特徴量を予め記憶させておくことにより、特定の個人の顔部を検出するようにしても良い。

表示部１０９は、例えばカメラ１００の背面に設けられており、画像処理回路１０７において処理された画像データに基づく画像等の各種の画像を表示する。Ｉ/Ｆ１１０は、マイコン１１４が、記録媒体１１１とデータ通信するための仲介をするインターフェースである。記録媒体１１１は、撮影動作により得られた画像ファイルが記録される記録媒体である。

ＲＯＭ１１２は、合成処理回路１０６における合成処理用の合成比テーブル、画像処理回路１０７における各種の画像処理用の画像処理パラメータ、その他のカメラ１００の動作に必要な各種のパラメータを記憶している。ここで、本実施形態におけるＲＯＭ１１２は、２種類の露出制御を行うための２種類の露出の基準値を記憶している。また、ＲＯＭ１１２は、マイコン１１４が実行する種々のプログラムも記憶している。

操作部１１３は、撮影者がカメラ１００の各種の操作をするための操作部である。本実施形態における操作部１１３は、レリーズボタンと、モードボタンと、メニューボタンと、再生ボタンと、電源ボタンとを有している。ここで、これらのボタンは、一部又は全部をタッチパネルによって操作される仮想的な操作部として構成しても良い。

レリーズボタンは、ファースト（１ｓｔ）レリーズスイッチとセカンド（２ｎｄ）レリーズスイッチの２段スイッチを有している。レリーズボタンが半押しされて、１ｓｔレリーズスイッチがオンされた場合に、マイコン１１４は、ＡＥ処理やＡＦ処理等の撮影準備処理を実行する。また、レリーズボタンが全押しされて、２ｎｄレリーズスイッチがオンされた場合に、マイコン１１４は、画像記録動作（撮影動作）を実行する。
行する。

モードボタンは、カメラ１００の動作モードを指示するための操作部である。本実施形態では、カメラ１００が撮影モードと再生モードとを動作モードとして少なくとも有している。撮影モードは、記録用の画像を得るためのモードである。一方、再生モードは、記録された画像を再生するためのモードである。

メニューボタンは、メニュー画面の表示を指示するための操作部である。メニュー画面において、撮影者は、カメラ１００の各種の設定を変更することが可能である。なお、メニュー画面内で、カメラ１００の撮影モードや再生モード時の詳細な動作モードを設定する。

再生ボタンは、マイコン１１４に対して画像ファイルの再生を指示するための操作部である。

電源ボタンは、カメラ１００の電源のオン又はオフを指示するための操作部である。

マイコン１１４は、デジタルカメラ１００の各種シーケンスを統括的に制御する制御部である。このマイコン１１４は、操作部１１３の何れかの操作部材が操作された場合に、その操作に対応して図１に示す各エリアを制御する。本実施形態におけるマイコン１１４は、ＡＦ制御部３０１と、ＡＥ制御部３０２と、表示制御部３０３の機能を有している。ＡＦ制御部３０１としての機能は、撮影レンズ１０１ａを被写体に合焦させるためのＡＦ動作を制御する機能である。ＡＥ制御部３０２としての機能は、撮像素子１０２を介して得られる画像データ（ベイヤデータ）の露出値を調整するためのＡＥ動作を制御する機能である。表示制御部３０３としての機能は、表示部１０９に各種の画像を表示させる際の制御をする機能である。

図２は、合成処理回路１０６の内部の構成を示すブロック図である。図２に示す合成処理回路１０６は、位置ずれ量検出部４０１と、合成部４０２とを有している。

位置ずれ量検出部４０１は、複数回の露出動作によって得られた複数のベイヤデータ（図２ではベイヤデータ１とベイヤデータ２の２つ）の間の位置ずれ（被写体像ずれ）量を検出する。位置ずれ量は、例えばベイヤデータ１とベイヤデータ２の間の動きベクトルである。なお、動きベクトルは、ベイヤ画像データ間での画像マッチングを利用した手法等の周知の手法を用いて算出可能である。

合成部４０２において合成される複数のベイヤデータは、異なる露出タイミングで取得されるベイヤデータである。それぞれの露出タイミングにおいてカメラ１００又は被写体に動きがなければベイヤデータ間の位置ずれは生じない。しかしながら、通常は、それぞれの露出タイミングにおいてカメラ１００と被写体の何れかに動きが生じ、ベイヤデータ間の位置ずれが生じる。位置ずれがある状態のベイヤデータを合成してしまうと、合成後のベイヤデータにおいて被写体の像が二重になる可能性がある。したがって、合成部４０２における合成に先立ってベイヤデータ間の位置ずれを補正する。このための補正量を位置ずれ量検出部４０１において算出する。

ここで、図２では、２つのベイヤデータを入力して位置ずれ量を検出する例を示しているが、合成部４０２において合成されるベイヤデータの数が３つ以上である場合、位置ずれ量検出部４０１は、これらの３つ以上のベイヤデータの間の位置ずれ量を検出する。

合成部４０２は、入力された複数のベイヤデータの対応する画素データ同士を合成比テーブルから取得した合成比に従って合成して合成ベイヤデータを生成する。合成部４０２は、位置ずれ量検出部４０１で算出されたずれ補正量に従ってベイヤデータ間の位置ずれを補正してから合成を行う。

図３は、画像処理回路１０７の内部の構成を示すブロック図である。図３に示す画像処理回路１０７は、ノイズ低減処理（ＮＲ）部５０１と、ホワイトバランス処理（ＷＢ）部５０２と、同時化処理部５０３と、色変換部５０４と、階調変換部５０５と、ＹＣ変換部５０６と、エッジ抽出部５０７と、エッジ強調部５０８と、エッジ合成部５０９と、リサイズ部５１０と、圧縮部５１１と、伸長部５１２と、増幅部５１３とを有している。

ＮＲ部５０１は、ＲＡＭ１０５からベイヤデータを読み出し、読み出したベイヤデータに対して高周波ノイズ等を除去するためのノイズ低減処理を施す。ノイズ低減処理は、例えばコアリング処理を用いて行う。

ＷＢ部５０２は、ＮＲ部５０１によって処理されたベイヤデータの色バランスを補正するためのホワイトバランス補正処理を施す。ホワイトバランス補正処理は、例えば、画素データに色成分毎のゲイン値（ホワイトバランスゲイン）を乗じることによって行う。

同時化処理部５０３は、ＷＢ部５０２から出力された１画素がＲＧＢ何れかの色成分を有しているベイヤデータに対して補間処理を施すことによって、ベイヤデータを１画素がＲＧＢ３色の色成分を有している画像データ（ＲＧＢデータ）に変換する同時化処理を行う。

色変換部５０４は、画像の色再現を適切なものとするための色変換処理を行う。この処理としては、例えばカラーマトリクス演算処理がある。カラーマトリクス演算処理は、ＲＧＢデータに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理である。この他、色変換部５０４は、彩度・色相の補正を行う。

階調変換部５０５は、色変換部５０４から出力されたＲＧＢデータに対して階調変換処理を施す。階調変換処理とは、ＲＧＢデータを所定の階調変換テーブルを用いて変換することで画像の階調を補正する処理である。

ＹＣ変換部５０６は、階調変換部５０５から出力されたＲＧＢデータをＹＣデータ（輝度・色差データ）に変換する。ＲＧＢデータからＹＣデータへの変換は、ＲＧＢデータに対して所定の輝度・色差変換マトリクスを乗じることによって行う。

エッジ抽出部５０７は、ＮＲ部５０１から出力されたベイヤデータに対してバンドパスフィルタ処理等を施してエッジ成分信号を抽出する。エッジ強調部５０８は、エッジ抽出部５０７で抽出されたエッジ成分信号にエッジ強調係数を乗じる。エッジ合成部５０９は、ＹＣ変換部５０６で得られた輝度（Ｙ）データに、エッジ強調部５０８から出力されたエッジ成分信号を加算することによって、画像におけるエッジ成分を強調する。

リサイズ部５１０は、エッジ合成部５０９から出力されたエッジ成分強調済みの輝度（Ｙ）データとＹＣ変換部で得られた色差（Ｃ）データとを記録又は表示に適するようにリサイズする。

圧縮部５１１は、リサイズ部５１０でリサイズされたＹＣデータに対して圧縮処理を施し、圧縮処理により得られた画像データ（圧縮画像データ）をＲＡＭ１０５に記憶させる。ここで、圧縮部５１１は、静止画撮影の際には、例えば周知のＪＰＥＧ方式を用いてＹＣデータを圧縮する。また、圧縮部５１１は、動画撮影の際には、例えば周知のＭＰＥＧ方式を用いてＹＣデータを圧縮する。

伸長部５１２は、画像ファイルに含まれている圧縮画像データを伸長し、伸長処理により得られた画像データ（ＹＣデータ）をＲＡＭ１０５に記憶させる。ここで、伸長部５１２は、圧縮画像データがＪＰＥＧ方式で圧縮されている場合には、ＪＰＥＧ方式を用いて圧縮画像データを伸長する。また、伸長部５１２は、圧縮画像データがＭＰＥＧ方式で圧縮されている場合には、ＭＰＥＧ方式を用いて圧縮画像データを伸長する。

増幅部５１３は、画像データ（ＹＣデータ）の増幅処理を行う。この増幅部は、露出補正処理のために用いられる。

以下、上述したカメラ１００の動作についてさらに説明する。図４は、第１の実施形態のカメラ１００の動作を示したフローチャートである。

カメラ１００の電源がオンされると、図４の処理が開始される。図４の処理の開始時に、マイコン１１４は、カメラ１００の動作モードが撮影モードであるか否かを判定する（ステップＳ１０１）。

ステップＳ１０１において、動作モードが撮影モードであると判定した場合に、マイコン１１４は、スルー画表示用の露出動作を行う（ステップＳ１０２）。この露出動作において、マイコン１１４は、顔検出回路１０８で検出される顔部の露出値が予め定められた第１の適正値となるように制御する。このために、マイコン１１４は、画像データ（ベイヤデータ又はＹＣデータ）を顔検出回路１０８に入力し、顔検出回路１０８に顔検出を実行させる。そして、マイコン１１４は、顔検出回路１０８によって検出された顔部の露出値が、第１の適正値となるように露出条件（絞り１０１ｂの開口量、撮像素子１０２の露出時間等）を設定する。この露出条件に従ってマイコン１１４が絞り１０１ｂや撮像素子１０２を制御することにより、撮像素子１０２を介して得られるベイヤデータにおける顔部の露出値を第１の適正値とする。第１の適正値は、例えば１８％グレーを基準として得られた露出値である。

スルー画表示用の露出動作の後、マイコン１１４は、スルー画表示を行う（ステップＳ１０３）。スルー画表示動作として、マイコン１１４は、撮像動作の結果としてＲＡＭ１０５に逐次記憶されるベイヤデータに対する画像処理を、画像処理回路１０７に実行させる。画像処理回路１０７は、ベイヤデータに対してＮＲ処理からリサイズ処理までを実行し、この結果として得られるＹＣデータをＲＡＭ１０５に記憶させる。この後、マイコン１１４は、ＹＣデータをＲＡＭ１０５から読み出し、読み出したＹＣデータを表示部１０９に入力し、表示部１０９に画像を表示させる。このような一連の処理により、撮影者は、表示部１０９に表示された画像を用いて被写体の状態を確認することが可能である。

スルー画表示動作の後、マイコン１１４は、１ｓｔレリーズスイッチがオンであるか否かを判定する（ステップＳ１０４）。ステップＳ１０４において、１ｓｔレリーズスイッチがオンでないと判定した場合に、マイコン１１４は、処理をステップＳ１０１に戻す。

ステップＳ１０４において、１ｓｔレリーズスイッチがオンであると判定した場合に、マイコン１１４は、ＡＦ動作を行う（ステップＳ１０５）。ＡＦ動作において、マイコン１１４は、撮像素子１０２を介して得られたベイヤデータを例えば積算することによって合焦評価値を取得する。そして、マイコン１１４は、取得した合焦評価値により、コントラストを評価しつつ、撮影レンズ１０１ａのフォーカスレンズを微少量ずつ駆動させる。その後、マイコン１１４は、コントラストが最大となった時点でフォーカスレンズの駆動を停止させる。このようなＡＦ処理は、所謂コントラスト方式のＡＦ処理である。ＡＦ処理として位相差ＡＦ処理を用いるようにしても良い。また、ＡＦ動作に先立って顔検出回路１０８により、顔部が検出されている。この顔部に合焦するようにフォーカスレンズを駆動させるようにしても良い。

ＡＦ動作の後、マイコン１１４は、ＡＥ動作を行う。本実施形態においては、顔部の明るさと背景部の明るさとの関係に応じて２種類のＡＥ動作を使い分ける。一つは、一般的なＡＥ動作であり、１８％グレーを基準として得られた露出値を露出制御の基準とするＡＥ動作である。もう一つは、１８％グレーを基準として得られた露出値よりもオーバーである所定の露出値を露出の基準とするＡＥ動作である。

何れのＡＥ動作を行うのかを判定するために、マイコン１１４は、撮像処理回路１０３から、顔部の露出データＥｆを取得する（ステップＳ１０６）。具体的な処理として、マイコン１１４は、輝度データ生成部２０４で生成された輝度データのうち、顔検出回路１０８で検出された顔部に対応する輝度データを用いて顔部の露出データＥｆを算出する。

図５（ａ）は、顔部の露出データＥｆについて示す図である。図５（ａ）は、ベイヤデータを１２×９のエリアＡＲに分割した例である。露出データはベイヤデータのエリアＡＲ毎に得られるものであり、１つのエリアＡＲの露出データはエリア内の輝度データを積算したものである。顔部の露出データＥｆは、エリア別出力部２０５からエリアＡＲ毎に得られる露出データのうち、顔部に対応したエリア（黒塗りのエリア）の露出データである。ここで、挙げた手法は一例であってこの他の手法によって露出データＥｆを取得しても良い。

また、マイコン１１４は、撮像処理回路１０３から、背景部の露出データＥｓを取得する（ステップＳ１０７）。具体的な処理として、マイコン１１４は、輝度データ生成部２０４で生成された輝度データのうち、背景部に対応する輝度データを用いて背景部の露出データＥｓを算出する。

図５（ｂ）は、背景部の露出データＥｓについて示す図である。背景部の露出データＥｓは、例えば、エリア別出力部２０５からエリアＡＲ毎に得られる露出データのうち、背景部に対応したエリア（黒塗りのエリア）の露出データである。背景部とは、顔部のエリアから所定エリア以上離れたエリアであって、顔部の輝度データと異なる値であって略均一な輝度データを有するエリアからなるエリアである。背景部を顔部以外の全ての領域としても良い。

露出データＥｆ及びＥｓを取得した後、マイコン１１４は、背景部と顔部との露出データの差ΔＥ＝Ｅｓ−Ｅｆを算出する（ステップＳ１０８）。続いて、マイコン１１４は、ΔＥが閾値Ｔｈよりも大きいか否かを判定する（ステップＳ１０９）。閾値Ｔｈは、撮影シーンがフレアポートシーンであるか否かを判定するための閾値であって例えばカメラ１００の設計時に設定され、ＲＯＭ１１２に記憶される。本実施形態におけるフレアポートレートシーンは、逆光状態の被写体（顔部）を含むシーンのことを言う。

ステップＳ１０９において、ΔＥがＴｈよりも大きい、即ちフレアポートレートシーンであると判定した場合に、マイコン１１４は、フレアポートレートシーンであることを撮影者に通知する（ステップＳ１１０）。

図６は、フレアポートレートシーンであることを撮影者に通知する際の通知例を示す図である。ここで、図６は、表示による通知の例である。表示による通知の場合、マイコン１１４は、例えばフレアポートレートシーンであることを通知するための文字Ｄを表示部１０９に表示させる。このとき、マイコン１１４は、フレアポートレート撮影を行うか否かを撮影者に選択させるための選択ボタンＢ１、Ｂ２も表示させる。図６の例は、選択ボタンＢ１をＯＫボタン、選択ボタンＢ２をＮＧボタンとしている。

通知は、表示部１０９への表示によって行うだけでなく、ＬＥＤを点灯させることによって通知を行うようにしても良いし、音声によって通知を行うようにしても良い。

フレアポートレートシーンであることを通知した後、マイコン１１４は、フレアポートレート撮影を行うか否かを判定する（ステップＳ１１１）。ステップＳ１１１において、マイコン１１４は、撮影者によって選択ボタンＢ１が選択された場合には、フレアポートレート撮影を行うと判定する。また、撮影者によって選択ボタンＢ２が選択された場合には、フレアポートレート撮影を行わないと判定する。

ステップＳ１１１において、フレアポートレート撮影を行うと判定した場合、マイコン１１４は、撮影モードをフレアポートレートモードとしてフレアポートレート撮影用の露出動作を行う（ステップＳ１１２）。この露出動作において、マイコン１１４は、顔検出回路１０８で検出される顔部の露出値が、第１の適正値よりもオーバーである第２の適正値となるように制御する。このために、マイコン１１４は、画像データ（ベイヤデータ又はＹＣデータ）を顔検出回路１０８に入力し、顔検出回路１０８に顔検出を実行させる。そして、マイコン１１４は、顔検出回路１０８によって検出された顔部の露出値が第２の適正値となるように露出条件（絞り１０１ｂの開口量、撮像素子１０２の露出時間等）を設定する。この露出条件に従ってマイコン１１４が絞り１０１ｂや撮像素子１０２を制御することにより、撮像素子１０２を介して得られるベイヤデータにおける顔部の露出値を第２の適正値とする。なお、フレアポートレートモード時の露出制御の詳細については後で詳しく説明する。

露出動作の後、マイコン１１４は、露出動作の結果をスルー画表示に反映させる（ステップＳ１１３）。その後、マイコン１１４は、２ｎｄレリーズスイッチがオンであるか否かを判定する（ステップＳ１１４）。ステップＳ１１４において、２ｎｄレリーズスイッチがオンでないと判定した場合に、マイコン１１４は、処理をステップＳ１０４に戻す。即ち、２ｎｄレリーズスイッチがオンされずに１ｓｔレリーズスイッチがオンされている場合には、ＡＦ動作及びＡＥ動作が継続される。

また、ステップＳ１１４において、２ｎｄレリーズスイッチがオンであると判定した場合に、マイコン１１４は、撮影動作を行う（ステップＳ１１５）。撮影動作の後、マイコン１１４は、処理をステップＳ１０１に戻す。撮影動作において、マイコン１１４は、２ｎｄレリーズスイッチがオンされる直前の露出条件（顔部の露出値を適正にする露出条件か又はフレアポートレートモードの露出条件）に従って絞り１０１ｂや撮像素子１０２を制御する。撮像素子１０２を介して得られたベイヤデータは、一旦、ＲＡＭ１０５に記憶される。画像処理回路１０７は、ＲＡＭ１０５からベイヤデータを読み出し、読みだしたベイヤデータに対してＮＲ部５０１によるノイズ低減処理から圧縮部５１１による圧縮処理までの一連の画像処理を施し、画像処理により得られた圧縮画像データをＲＡＭ１０５に記憶させる。その後、マイコン１１４は、圧縮画像データに対して所定のヘッダ情報を付与して画像ファイルを生成し、生成した画像ファイルをＩ/Ｆ１１０を介して記録媒体１１１に記録する。なお、ヘッダ情報としては、ファイル名、ファイルサイズ、露出条件等の撮影動作時の各種情報が記録される。

ステップＳ１０９において、ΔＥがＴｈ以下であると判定した場合に、マイコン１１４は、現在の撮影モードがフレアポートレートモードであるか否かを判定する（ステップＳ１１６）。ステップＳ１１６において、現在の撮影モードがフレアポートレートモードであると判定した場合、マイコン１１４は、処理をステップＳ１１０に移行させる。後で詳しく説明するが、フレアポートレートモードの露出制御により、被写体の顔部の露出値と背景部の露出値とがともに撮像素子１０２の飽和レベルの近傍となる。この場合、その後のステップＳ１０９の判定において、ΔＥがＴｈ以下となる可能性が生じる。本実施形態では、ステップＳ１１６の判定を行うことにより、フレアポートレートモードの露出制御が行われた後は撮影者によってフレアポートレート撮影を行わないとの選択がされるまではフレアポートレートモードの露出制御を継続できるようにしている。

ステップＳ１１１においてフレアポートレート撮影を行わないと判定した場合又はステップＳ１１６において現在の撮影モードがフレアポートレートモードでないと判定した場合に、マイコン１１４は、被写体の顔部の露出値を第１の適正値とする露出動作を行う（ステップＳ１１７）。この露出動作において、マイコン１１４は、顔検出回路１０８で検出される顔部の露出値が予め定められた第１の適正値となるように制御する。その後、マイコン１１４は、処理をステップＳ１１３に移行させる。

また、ステップＳ１０１において、動作モードが撮影モードでないと判定した場合に、マイコン１１４は、動作モードが再生モードであるか否かを判定する（ステップＳ１１８）。ステップＳ１１８において、動作モードが再生モードでないと判定した場合に、マイコン１１４は、処理をステップＳ１０１に戻す。

また、ステップＳ１１８において、動作モードが再生モードであると判定した場合に、マイコン１１４は、再生モードの動作を行う。再生モードの動作については簡単に説明する。再生モードにおいて、マイコン１１４は、記録媒体１１１に記録されている画像ファイルの一覧を表示部１０９に表示させる。例えば、一覧表示された画像ファイルの中から撮影者が所望の画像ファイルを選択して再生ボタンを押すと、マイコン１１４は、その選択された画像ファイルから圧縮画像データを読み出し、読みだした圧縮画像データを画像処理回路１０７に入力する。画像処理回路１０７は、入力された圧縮画像データを伸長し、伸長により得られた画像データ（ＹＣデータ）をＲＡＭ１０５に記憶させる。その後、マイコン１１４は、ＲＡＭ１０５に記憶された画像データを表示部１０９に入力して画像の表示を行う。

以下、第１の実施形態におけるフレアポートレート撮影の露出制御についてさらに説明する。前述したように、本実施形態においては、フレアポートレート撮影の露出制御は、逆光状態の被写体（顔部）を含むシーンにおいて行われ得る。図７（ａ）は、逆光シーンの一例を示す図である。また、図７（ｂ）は、図７（ａ）の一点鎖線Ａに沿った輝度の分布を示す図である。図７（ｂ）に示すように、逆光シーンは、背景部Ｓの輝度が顔部Ｆの輝度よりも大きなシーンである。

ここで、Ａ/Ｄ変換部２０２は、ダイナミックレンジと呼ばれる、Ａ/Ｄ変換可能な輝度範囲を有している。図７（ｂ）では、ダイナミックレンジをＤＲで示している。ダイナミックレンジＤＲの最大値ＤＲＨよりも高輝度の撮像信号及びダイナミックレンジの最小値ＤＲＬよりも低輝度の撮像信号は、それぞれ、Ａ/Ｄ変換の際にダイナミックレンジＤＲの最大値ＤＲＨ及び最小値ＤＲＬにクリップされる。

逆光シーンで顔部Ｆを撮影する場合、背景部Ｓの輝度をダイナミックレンジＤＲに収めるように露出制御をすると、背景部Ｓよりも低輝度である顔部Ｆの輝度がさらに低くなる。このため、図８（ａ）のように、顔部Ｆの像が黒潰れする場合がある。逆に、顔部Ｆの輝度を適正にするように露出制御をすると、顔部Ｆよりも高輝度である背景部Ｓの輝度がさらに高くなる。このため、図８（ｂ）のように、背景部Ｓが白飛びする場合がある。

さらに、近年では、図８（ａ）で示した露出制御により得られた画像と図８（ｂ）で示した露出制御により得られた画像を合成することにより、図８（ｃ）に示すような、黒潰れ及び白飛びのない広ダイナミックレンジの画像を得る技術も知られている。しかしながら、シーンによっては、合成をすることによってかえって不自然な画像になる場合があり得る。

本実施形態は、逆光シーン等のようなまぶしさを感じさせるシーンの中の被写体はまぶしさを感じさせるべきであるという、撮影者による主観的な要素を反映したフレアポートレート撮影を可能とする。具体的には、フレアポートレートシーンにおいては、図９に示すように、顔部Ｆの露出値を、第１の適正値Ｅ１よりもオーバーな第２の適正値Ｅ２とするように露出制御をする。第２の適正値Ｅ２は、例えばダイナミックレンジＤＲの最大値ＤＲＨとする。

以上説明したように、本実施形態によれば、顔部を含む逆光シーンであるフレアポートレートシーンにおいて、図９に示すようにあえて顔部をオーバーにするように露出制御することにより、逆光シーンのポートレート写真にふさわしいハイキーの画像（フレアポートレート画像）を自動露出制御によって得ることが可能である。

また、図９のような露出制御を行うことにより、人物の顔の周りにフレアが発生し易くなる。このように、本実施形態では意図してフレアの発生確率を高めることで、より逆光シーンにふさわしい画像を得られることが期待される。

ここで、図９の例では、第２の適正値Ｅ２をダイナミックレンジＤＲの最大値ＤＲＨとしているが、第２の適正値Ｅ２は、第１の適正値Ｅ１からダイナミックレンジＤＲの最大値ＤＲＨまでの範囲であれば良い。最適な撮影効果が得られるような露出値を実験等によって求めておき、この値を第２の適正値Ｅ２としてＲＯＭ１１２に記憶させても良い。

また、本実施形態では、人物の顔部を含む逆光シーンをフレアポートレートシーンであるとしている。しかしながら、フレアポートレートシーンにおける主要被写体は必ずしも人物の顔部とする必要はない。この場合、カメラ１００に、対象とする主要被写体を検出する回路を持たせておけば良い。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第１の実施形態においては、人物の顔部と背景部との輝度差が十分にある逆光シーンに対してフレアポートレートモードの露出制御を行っており、背景部と人物の顔部との輝度差が十分にない逆光シーンでは顔部の露出値を適正にする通常の露出制御を行うようにしている。これに対し、第２の実施形態は、背景部と人物の顔部との輝度差が十分にない逆光シーンにおいてもフレアポートレートモードの露出制御を行ったのと同等の画像を得られるようにするものである。ここで、第２の実施形態におけるカメラ１００の全体構成及び画像処理回路１０７の構成は、第１の実施形態で説明したものと同様である。したがって、これらの構成については説明を省略する。

図１０は、第２の実施形態におけるカメラ１００の動作を示したフローチャートである。ここで、第１の実施形態と同様のステップの処理については図４と同様のステップ符号を付すことで説明を省略する。即ちステップＳ１０１〜Ｓ１１５の処理と、Ｓ１１８の処理については説明を省略する。

ステップＳ１０９において、ΔＥがＴｈ以下であると判定した場合に、マイコン１１４は、図６で示したような、フレアポートレート撮影を行うか否かを撮影者に選択させるための選択ボタンＢ１、Ｂ２を表示部１０９に表示させる（ステップＳ２０１）。だだし、フレアポートレートシーンではないので、フレアポートレートシーンであることを通知するための文字Ｄを表示させる必要はない。

選択ボタンＢ１、Ｂ２を表示部１０９に表示させた後、マイコン１１４は、フレアポートレート撮影を行うか否かを判定する（ステップＳ２０２）。この判定は、ステップＳ１１１と同様に行う。

ステップＳ２０２において、フレアポートレート撮影を行わないと判定した場合に、マイコン１１４は、被写体の顔部の露出値を第１の適正値とする露出動作を行う（ステップＳ２０３）。この露出動作において、マイコン１１４は、顔検出回路１０８で検出される顔部の露出値が予め定められた第１の適正値となるように制御する。その後、マイコン１１４は、処理をステップＳ１１３に移行させる。

また、ステップＳ２０２において、フレアポートレート撮影を行うと判定した場合に、マイコン１１４は、背景部の露出値が、第２の適正値よりもオーバーとなるように制御する（ステップＳ２０４）。背景部は、図５（ｂ）を参照して説明したのと同様、顔部の輝度データと異なる値であって略均一な輝度データを有するエリアからなるエリアである。また、第２の実施形態においては、例として、第２の適正値がダイナミックレンジＤＲの最大値ＤＲＨよりも小さな露出値であるとする。

続いて、マイコン１１４は、顔検出回路１０８で検出される顔部の露出値が、第２の適正値となるように制御する（ステップＳ２０５）。ステップＳ２０５の処理は、ステップ１１２と同様である。

背景部の露出値を第２の適正値よりもオーバーとした画像データ（ベイヤデータ）と顔部の露出値を第２の適正値とした画像データ（ベイヤデータ）とを得た後、マイコン１１４は、これらの２フレームの画像データを合成処理回路１０６によって合成する（ステップＳ２０６）。その後、マイコン１１４は、処理をステップＳ１１３に移行させる。合成処理においては、顔部のエリアについては、ステップＳ２０５で得られたベイヤデータを合成に使用し、背景部のエリアについては、ステップＳ２０４で得られたベイヤデータを合成する。このような合成を行うことにより、背景部が暗い場合であってもフレアポートレート撮影をしたのと同等の画像を得ることが可能である。

ここで、ステップＳ２０４〜Ｓ２０６の処理がなされた後でステップＳ１１５の撮影動作が行われる場合、ステップＳ２０４〜Ｓ２０６と同様の複数回の露出動作を行って得られた画像データを合成することによって得られた画像データを画像処理回路１０７において画像処理し、画像ファイルとして記録媒体１１１に記録する。

以下、ステップＳ２０４〜Ｓ２０６で示したフレアポートレート撮影の露出制御についてさらに説明する。前述したように、ステップＳ２０４〜Ｓ２０６で示した露出制御は、例えば図１１（ａ）で示すような、顔部Ｆの輝度が背景部Ｓの輝度よりも大きなシーンで行われ得る。このよう顔部Ｆの輝度が背景部Ｓの輝度よりも大きなシーンでは、第１の実施形態におけるフレアポートレート撮影の露出制御と同様の露出制御を行っても、背景部Ｓの露出値が顔部Ｆの露出値を超えることはなく、第１の実施形態と同様の画像を得ることはできない。

本実施形態においては、図１１（ｂ）で示すように、背景部の露出値を第２の適正値よりもオーバーとする露出制御と顔部Ｆの露出値を第２の適正値Ｅ２に合わせる露出制御とを行い、両者の結果を合成することにより、背景部が顔部よりも暗いシーン等であってもフレアポートレート画像を得ることが可能である。

ここで、図１０の例においては、ΔＥがＴｈ以下であってフレアポートレート撮影に先立つスルー画表示のために、２回の露出動作を行うようになっている。実際には、画像表示の１フレームにつき、１回ずつの露出動作を行うだけでも良い。

図１２は、このような変形例における、フレアポートレート撮影に先立つスルー画表示の際のタイミングチャートである。スルー画表示用の露出動作は、同期信号ＶＤに同期するように行われる。本変形例では、図１２に示すように、露出時間の異なる２種類の露出動作が交互に且つ繰り返し行われる。露出動作ＥＸ１、ＥＸ３、ＥＸ５は、前述のステップＳ２０４で示した、背景部の露出値を第２の適正値よりもオーバーとする露出動作である。一方、露出動作ＥＸ２、ＥＸ４、ＥＸ６は、前述のステップＳ２０５で示した、顔部の露出値を第２の適正値とする露出動作である。

それぞれの露出動作の後、撮像処理回路１０３によって撮像信号の読み出しが行われる。図１２では、露光動作ＥＸ１の後の読み出しをＲ１、露光動作ＥＸ２の後の読み出しをＲ２、露光動作ＥＸ３の後の読み出しをＲ３、露光動作ＥＸ４の後の読み出しをＲ４、露光動作ＥＸ５の後の読み出しをＲ５、露光動作ＥＸ６の後の読み出しをＲ６として示している。

それぞれのフレームにおいてベイヤデータが読み出された後、ベイヤデータの合成処理が、合成処理回路１０において行われる。ここで、本変形例においては、直前の２フレームのベイヤデータが合成処理される。したがって、合成処理は、２フレーム目の読み出しＲ２の終了後から順次行われる。例えば、読み出しＲ２の後は、図１２で示すように、１フレーム目と２フレーム目のベイヤデータを合成する合成処理Ｃ１２が行われる。また、読み出しＲ３の後は、２フレーム目と３フレーム目のベイヤデータを合成する合成処理Ｃ２３が行われる。以後同様に、読み出しＲ４の後は、３フレーム目と４フレーム目のベイヤデータを合成する合成処理Ｃ３４が行われ、読み出しＲ５の後は、４フレーム目と５フレーム目のベイヤデータを合成する合成処理Ｃ４５が行われる。

それぞれのフレームにおいてベイヤデータが合成された後、合成ベイヤデータに対する画像処理が、画像処理回路１０７において行われる。図１２では、合成処理Ｃ１２の後の画像処理をＩＰ１２、合成処理Ｃ２３の後の画像処理をＩＰ２３、合成処理Ｃ３４の後の画像処理をＩＰ３４、合成処理Ｃ４５の後の画像処理をＩＰ４５として示している。

画像処理の後、画像表示（スルー画表示）が行われる。図１２は、画像処理ＩＰ１２の後の画像表示をＤ１２、画像処理ＩＰ２３の後の画像表示をＤ２３、画像処理ＩＰ３４の後の画像表示をＤ３４、画像処理ＩＰ４５の後の画像表示をＤ４５として示している。図１２に示すように、画像表示は、３フレーム目の露出動作の終了後から順次行われる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。第１及び第２の実施形態においては、撮影モード時の露出制御によって、逆光シーンのポートレート写真にふさわしいハイキーの画像（フレアポートレート画像）を得るようにしている。これに対し、第３の実施形態は、再生モード時の露出補正処理を利用してフレアポートレート画像と同等の撮影効果の画像を得るようにするものである。ここで、第３の実施形態におけるカメラ１００の全体構成及び画像処理回路１０７の構成は、第１の実施形態で説明したものと同様である。したがって、これらの構成については説明を省略する。

図１３は、第３の実施形態におけるカメラ１００の動作を示したフローチャートである。ここで、第１の実施形態と同様のステップの処理については図４と同様のステップ符号を付すことで説明を省略する。即ちステップＳ１０１〜Ｓ１０５、Ｓ１１７、Ｓ１１３〜１１５の処理と、Ｓ１１８の処理については説明を省略する。

ステップＳ１１８において、動作モードが再生モードであると判定した場合に、マイコン１１４は、再生モードの動作を行う。第３の実施形態において、マイコン１１４は、記録媒体１１１に記録されている画像ファイルの一覧を表示部１０９に表示させる（ステップＳ３０１）。その後、マイコン１１４は、一覧表示された画像ファイルのうちの何れかが撮影者によって選択されたか否かを判定する（ステップＳ３０２）。

ステップＳ３０２において、画像ファイルの選択がなされたと判定した場合に、マイコン１１４は、選択された画像ファイルを再生する（ステップＳ３０３）。具体的には、マイコン１１４は、圧縮画像データを読み出し、読みだした圧縮画像データを画像処理回路１０７に入力する。画像処理回路１０７は、入力された圧縮画像データを伸長し、伸長により得られた画像データ（ＹＣデータ）をＲＡＭ１０５に記憶させる。その後、マイコン１１４は、ＲＡＭ１０５に記憶された画像データを表示部１０９に入力して画像の表示を行う。

画像ファイルの再生後、画像ファイルの再生後、マイコン１１４は、再生された画像ファイルにおける顔部の露出データＥｆを取得する（ステップＳ３０４）。その後、マイコン１１４は、再生された画像ファイルにおける背景部の露出データＥｓを取得する（ステップＳ３０５）。顔部及び背景部の位置は、図５を参照して説明したとおりである。

露出データＥｆ及びＥｓを取得した後、マイコン１１４は、背景部と顔部との露出データの差ΔＥ＝Ｅｓ−Ｅｆを算出する（ステップＳ３０５）。続いて、マイコン１１４は、ΔＥが閾値Ｔｈよりも大きいか否かを判定する（ステップＳ３０７）。閾値Ｔｈは、第１の実施形態で説明したものと同様、撮影シーンがフレアポートシーンであったか否かを判定するための閾値であって例えばカメラ１００の設計時に設定され、ＲＯＭ１１２に記憶されている。

ステップＳ３０７において、ΔＥがＴｈよりも大きい、即ちフレアポートレートシーンであると判定した場合に、マイコン１１４は、撮影された画像がフレアポートレートシーンであったことを撮影者に通知する（ステップＳ３０８）。

図１４は、フレアポートレートシーンであったことを撮影者に通知する際の通知例を示す図である。ここで、図１４は、表示による通知の例である。表示による通知の場合、マイコン１１４は、フレアポートレートシーンであったことを通知するための文字Ｄを表示部１０９に表示させる。このとき、マイコン１１４は、フレアポートレート用の露出補正を適用するか否かを撮影者に選択させるための選択ボタンＢ３、Ｂ４も表示させる。図９の例は、選択ボタンＢ３を採用ボタンとし、選択ボタンＢ４を不採用ボタンとしている。

通知は、表示部１０９への表示によって行うだけでなく、ＬＥＤを点灯させることによって通知を行うようにしても良いし、音声によって通知を行うようにしても良い。

フレアポートレートシーンであったことを通知した後、マイコン１１４は、フレアポートレート用の露出補正を行うか否かを判定する（ステップＳ３０９）。ステップＳ３０９において、マイコン１１４は、撮影者によって選択ボタンＢ３が選択された場合には、フレアポートレート用の露出補正を行うと判定する。また、撮影者によって選択ボタンＢ４が選択された場合には、フレアポートレート用の露出補正を行わないと判定する。

ステップＳ３０９において、フレアポートレート用の露出補正を行うと判定した場合、マイコン１１４は、フレアポートレート用の露出補正を行う（ステップＳ３１０）。この露出補正において、マイコン１１４は、顔検出回路１０８で検出された顔部の輝度が、第１の適正値よりもオーバーである第２の適正値となるように、再生中の画像データの各画素の増幅処理を画像処理回路１０７の増幅部５１３によって施す。このような増幅処理を行うことによって、図９で示した露出動作を行ったのと同等のフレアポートレート画像を得ることが可能である。なお、顔部と背景部とで増幅率を変えることにより、第２の実施形態のような背景部のほうが顔部よりも暗いシーンであってもフレアポートレート画像を得ることができる。

ステップＳ３０７においてΔＥがＴｈ以下であると判定した場合、ステップＳ３０９においてフレアポートレート用の露出補正を行わないと判定した場合、又はステップＳ３１０において露出補正を行った後、マイコン１１４は、画像ファイルの再生を終了するか否かを判定する（ステップＳ３１１）。ステップＳ３１１において、マイコン１１４は、例えば、撮影者により、再生ボタンが再び押された場合に再生を終了すると判定する。

ステップＳ３１１において、画像ファイルの再生を終了しないと判定した場合に、マイコン１１４は、処理をステップＳ３０３に戻して画像ファイルの再生を継続する。なお、露出補正が行われた後は、露出補正後の画像データに基づいて表示を行う。また、ステップＳ３１１において、画像ファイルの再生を終了すると判定した場合に、マイコン１１４は、処理をステップＳ１１８に戻す。

以上説明したように、本実施形態によれば、再生モード時に露出補正を行うことにより、撮影動作時と同等のフレアポートレート画像を得ることが可能である。

［変形例１］
以下、前述の実施形態の変形例を説明する。前述した第１の実施形態においては、顔部の露出値を第２の適正値とするように露出制御を行っている。これに対し、顔部と背景部との境目エリアの露出値を第２の適正値とするようにしても良い。

図１５は、変形例１のフレアポートレートモード用の露出動作について示すフローチャートである。この処理は、図４のステップＳ１１２に代えて行われる。

図１５において、マイコン１１４は、画像データ（ベイヤデータ又はＹＣデータ）のうち、顔部の周囲のローコントラストエリアを検出する（ステップＳ４０１）。顔部周囲のローコントラストエリアとは、図１６（ａ）に示すように、顔部に対応したエリアの周囲（背景部よりも顔部に近いエリア）のエリアで且つ輝度変化の小さいエリア（黒塗りのエリア）である。ここで、挙げた手法は一例であってこの他の手法によって検出しても良い。

ローコントラストエリアを検出した後、マイコン１１４は、検出したローコントラストエリアのうちの最も明るい（輝度の高い）エリアを検出する（ステップＳ４０２）。前述したように、フレアポートレートシーンは、顔部を含む逆光シーンであるので、ステップＳ４０２で検出したエリアは、背景部に最も近いエリアであると考えることができる。

続いて、マイコン１１４は、ステップＳ４０２で検出したエリアと顔検出回路１０８で検出された顔部との境目のエリアを露出制御の対象にするエリアとして検出する（ステップＳ４０３）。その後、マイコン１１４は、ステップＳ４０３で検出した境目のエリアの露出値を第２の適正値とする露出動作を行う（ステップＳ４０４）。そして、マイコン１１４は、図１５の処理を終了させる。

以上説明した変形例１では、顔部と背景部との境目のエリアの露出値を第２の適正値とするように露出制御している。このエリアは、最もフレアの影響を受けやすく、このエリアの露出値を第２の適正値とすることで、図１６（ｂ）に示すように、人物の顔部の周囲にフレアＦＬが発生する可能性をより高めて、第１の実施形態よりも、逆光シーンのポートレート写真にふさわしいハイキーの画像を得られることが期待される。

前述の変形例１は、第１の実施形態と同様、１回の露出動作でフレアポートレート画像を得る例である。これに対し、第２の実施形態と同様に複数回の露出動作を行うようにしても良い。この際、境目のエリアの露出値を第２の適正値とする露出制御と背景部を白く飛ばす露出制御とを組み合わせても良いし、顔部の露出値を第２の適正値とする露出制御と境目のエリアを白く飛ばす露出制御とを組み合わせても良い。

さらに、フレアは、背景の明るい部分からの光によって発生するものである。したがって、図１６（ｃ）に示すような、前述のローコントラストエリア内の最も大きな露出データＥｓｍａｘを有するエリアに隣接するエリア（黒塗りのエリア）又はその周囲に相当するエリアの露出値を第２の適正値とするように露出制御しても良い。これによって、さらに自然なフレア光表現が可能となる。

［変形例２］
前述の各実施形態では、輝度データ生成部２０４で生成される輝度データから算出される露出データを用いて露出制御している。これに対し、ベイヤデータのＲ、Ｇ、Ｂ成分のそれぞれを用いて露出制御をするようにしても良い。

図１７は、変形例２のフレアポートレートモード用の露出動作について示すフローチャートである。この処理は、図４のステップＳ１１２に代えて行われる。

図１７において、マイコン１１４は、撮像処理回路１０３の画素データ分離部２０３によって３色成分に分離されたベイヤデータを取得し、取得した色成分毎のベイヤデータを図５で示したエリア毎に積算して色成分毎の露出データを生成する（ステップＳ５０１）。Ｇ成分の露出データは、Ｇｒ成分の露出データとＧｂ成分の露出データとの加算値とする。

続いて、マイコン１１４は、露出値を漸増させるように露出動作を行う（ステップＳ５０２）。この露出動作において、マイコン１１４は、露出値が予め定めた所定量（例えば＋１ＥＶ）だけ増加するように露出条件（絞り１０１ｂの開口量、撮像素子１０２の露出時間等）を設定し、この設定に従って絞り１０１ｂや撮像素子１０２を制御する。

露出動作の後、マイコン１１４は、顔検出回路１０８で検出される顔部に対応したＲ成分の露出データ、Ｇ成分の露出データ、Ｂ成分の露出データの何れかが飽和レベルの直前となったか否かを判定する（ステップＳ５０３）。例えば、Ｒ成分の露出データ、Ｇ成分の露出データ、Ｂ成分の露出データの何れかがダイナミックレンジＤＲの最大値ＤＲＨの８０％の値となった場合に、飽和レベルの直前となったと判定する。

ステップＳ５０３において、Ｒ成分の露出データ、Ｇ成分の露出データ、Ｂ成分の露出データの何れもが飽和レベルの直前となっていないと判定した場合に、マイコン１１４は、背景部に対応したＲ成分の露出データ、Ｇ成分の露出データ、Ｂ成分の露出データの何れかが飽和レベルとなったか否かを判定する（ステップＳ５０４）。

ステップＳ５０４において、背景部に対応したＲ成分の露出データ、Ｇ成分の露出データ、Ｂ成分の露出データの何れもが飽和レベルとなっていないと判定した場合に、マイコン１１４は、処理をステップＳ５０２に戻す。この場合、マイコン１１４は、露出値が再び漸増するように露出動作を継続する。

また、ステップＳ５０３において顔部分に対応したＲ成分の露出データ、Ｇ成分の露出データ、Ｂ成分の露出データの何れかが飽和レベルの直前となったと判定した場合又はステップＳ５０４において背景部に対応したＲ成分の露出データ、Ｇ成分の露出データ、Ｂ成分の露出データの何れかが飽和レベルとなっていないと判定した場合に、マイコン１１４は、露出動作を終了する。そして、マイコン１１４は、図１７の処理を終了させる。

以上説明した変形例２では、ベイヤデータのＲ成分、Ｇ成分、Ｂ成分からそれぞれの色成分に対応した露出データを算出し、色成分毎に露出値の判定を行って露出制御をしている。これにより、前述した各実施形態よりも細かく露出値を制御することが可能である。

図１８は、変形例１と変形例２とを組み合わせたフレアポートレートモード用の露出動作について示すフローチャートである。この処理も、図４のステップＳ１１２に代えて行われる。

図１８において、マイコン１１４は、図１５のステップＳ４０１及びステップＳ４０２と同様の手法を用いて検出された最も明るいエの色成分毎の露出データを生成する（ステップＳ６０１）。

続いて、マイコン１１４は、露出値を漸増させるように露出動作を行う（ステップＳ６０２）。この露出動作は、図１７で説明した露出動作と同様である。

露出動作の後、マイコン１１４は、最も明るいエリアに対応したＲ成分の露出データ、Ｇ成分の露出データ、Ｂ成分の露出データの何れかが飽和レベルとなったか否かを判定する（ステップＳ６０３）。

ステップＳ６０３において、最も明るいエリアに対応したＲ成分の露出データ、Ｇ成分の露出データ、Ｂ成分の露出データの何れもが飽和レベルとなっていないと判定した場合に、マイコン１１４は、処理をステップＳ６０２に戻す。この場合、マイコン１１４は、露出値が再び漸増するように露出動作を継続する。

また、ステップＳ６０３において、最も明るいエリアに対応したＲ成分の露出データ、Ｇ成分の露出データ、Ｂ成分の露出データの何れかが飽和レベルとなっていないと判定した場合に、マイコン１１４は、露出動作を終了する。そして、マイコン１１４は、図１８の処理を終了させる。

以上説明した変形例においても、ベイヤデータのＲ成分、Ｇ成分、Ｂ成分からそれぞれの色成分に対応した露出データを算出し、色成分毎に露出値の判定を行って露出制御をしている。これにより、前述した各実施形態よりも細かく露出値を制御することが可能である。

ここで、前述の変形例２では、ベイヤデータをＲ成分、Ｇ成分、Ｂ成分に分けて露出値を判定するようにしている。これは、撮像素子１０２で得られた画像データが原色系のベイヤデータであるためである。撮像素子１０２のカラーフィルタ配列が原色系ベイヤ配列と異なる場合には、それに応じて露出値を判定する色成分も異なることとなる。

［変形例３］
前述の各実施形態及び各変形例においては、顔部を含む逆光シーンをフレアポートレートシーンであるとしてフレアポートレート撮影を行うようにしている。これに対し、被写体に表情により、逆光シーンでなくともフレアポート撮影を行えるようにしても良い。本変形例では、例えば撮影者にモデル風のポートレート写真を撮影しようとする意図がある場合には、フレアポートレートシーンであるとみなしてフレアポートレート撮影を行えるようにする。

図１９は、変形例３の処理を示すフローチャートである。なお、本変形例における顔検出回路１０８は、顔部を検出するだけでなく、顔部を構成する顔パーツ（目部、鼻部、口部等）の配置から被写体の表情も検出する。

図１９において、マイコン１１４は、顔検出回路１０８により、画像データにおける顔部及び顔部を構成する顔パーツを検出させる（ステップＳ７０１）。

顔部及び顔パーツを検出させた後、マイコン１１４は、顔検出回路１０８が検出した顔部の高さが、表示部１０９の画面高さ（即ち表示部１０９に表示させる画像データの高さ）に対して所定の高さ（１/６の高さ）以上を有しているか否かを判定する（ステップＳ７０２）。顔部の高さが、表示部１０９の画面高さに対してある程度の値を有している場合、撮影者にポートレート撮影の意図があると考える。顔部の高さは、図２０（ａ）に示すように、頭頂から顎先までの距離Ｈとする。このＨが画面高さの１/６以上である場合に、ステップＳ７０２をＹｅｓに分岐する。ここでは、画面高さの１/６を閾値としているが、この値は１/６に限るものではない。

ステップＳ７０２において、顔検出回路１０８が検出した顔部の高さが、表示部１０９の画面高さに対して１/６の高さ以上を有していると判定した場合に、マイコン１１４は、顔検出回路１０８が検出した目部の高さが、目部の幅に対して所定の長さ（１/３）以上を有しているか否かを判定する（ステップＳ７０３）。目部の高さが、目部の幅に対してある程度の値を有している場合、被写体である人物が目をぱっちりと開いている状態であると考えることができる。このような場合にも、撮影者にポートレート撮影の意図があると考える。目部の高さは、図２０（ａ）に示すように、目部の上端から下端までの距離ｈとする。また、目部の幅は、目部の右端から左端までの距離ｄとする。ｈがｄの１/３以上である場合に、ステップＳ７０３をＹｅｓに分岐する。ここでは、目部の幅の１/３を閾値としているが、この値は１/３に限るものではない。

ステップＳ７０３において、顔検出回路１０８が検出した目部の高さが、目部の幅に対して１/３以上の長さを有していると判定した場合に、マイコン１１４は、顔検出回路１０８が検出した唇部の上唇と下唇とを結ぶ線が直線状であるか又は上唇と下唇とが上下対称であるか否かを判定する（ステップＳ７０４）。上唇と下唇とを結ぶ線が直線状である例を図２０（ｂ）のＭ２で示し、上唇と下唇とが上下対称である例を図２０（ａ）のＭ１で示す。被写体である人物が図２０（ａ）又は図２０（ｂ）で示す何れかの表情をしている場合も、撮影者にポートレート撮影の意図があると考える。

ステップＳ７０４において、顔検出回路１０８が検出した唇部の上唇と下唇とを結ぶ線が直線状であるか又は上唇と下唇とが上下対称であると判定した場合に、マイコン１１４は、当該撮影シーンがフレアポートレートシーンであるとして撮影者に、フレアポートレート撮影を実行することを推奨する。

また、ステップＳ７０２において顔部の高さが表示部１０９の画面高さに対して１/６の高さ以上を有していないと判定した場合、ステップＳ７０３において目部の高さが目部の幅に対して１/３以上の長さを有していないと判定した場合、ステップＳ２０４において唇部の上唇と下唇とを結ぶ線が直線状でなく且つ上唇と下唇とが上下対称でもないと判定した場合、マイコン１１４は、当該撮影シーンがフレアポートレートシーンでないとして、撮影者に、フレアポートレート撮影を実行することを推奨しない。

以上説明した変形例によれば、逆光シーンでない場合であってもフレアポートレート撮影を行うことが可能である。

ここで、前述の各実施形態で説明した逆光シーンの判定と被写体の表情の判定とを組み合わせて行うようにしても良い。例えば、顔部を含む逆光シーンで且つ図１９のステップＳ７０４の判定でＹｅｓに分岐した場合に撮影者にフレアポートレートシーン撮影を実行することを推奨するようにしても良い。

また、図２０で示した表情の例は一例であって、モデル撮影等で用いられる種々の顔パーツの配置を適用して良い。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００…デジタルカメラ（カメラ）、１０１…撮影光学系、１０１ａ…撮影レンズ、１０１ｂ…絞り、１０２…撮像素子、１０３…撮像処理回路、１０４…バス、１０５…ＲＡＭ、１０６…合成処理回路、１０７…画像処理回路、１０８…顔検出回路、１０９…表示部、１１０…インターフェース、１１１…記録媒体、１１２…ＲＯＭ、１１３…操作部、１１４…マイクロコンピュータ（マイコン）、２０１…アナログ処理部、２０２…Ａ/Ｄ変換部、２０３…画素データ分離部、２０４…輝度データ生成部、２０５…エリア別出力部、３０１…ＡＦ制御部、３０２…ＡＥ制御部、３０３…表示制御部、４０１…位置ずれ量検出部、４０２…合成部、５０１…ノイズ低減処理（ＮＲ）部、５０２…ホワイトバランス処理（ＷＢ）部、５０３…同時化処理部、５０４…色変換部、５０５…階調変換部、５０６…ＹＣ変換部、５０７…エッジ抽出部、５０８…エッジ強調部、５０９…エッジ合成部、５１０…リサイズ部、５１１…圧縮部、５１２…伸長部、５１３…増幅部

Claims (7)

1. 撮像素子で受光した光束を光電変換することによって画像データを得る撮像部と、
   前記画像データから主要被写体の顔部を検出する主要被写体検出部と、
   前記画像データにおける前記顔部の露出値と背景部の露出値とを比較し、前記背景部の露出値が前記顔部の露出値よりも大きい場合に現在の撮影シーンがフレアポートシーンであることを撮影者に対して通知するとともに、前記撮影者によるフレアポート撮影の実行の指示に従って、前記顔部と前記背景部との境目エリアの露出値を予め定められた第１の適正レベルよりもオーバーな第２の適正レベルにするように露出制御をする制御部と、
   を具備することを特徴とする撮像装置。
2. 撮像素子で受光した光束を光電変換することによって画像データを得る撮像部と、
   前記画像データから主要被写体の顔部を検出する主要被写体検出部と、
   前記画像データにおける前記顔部の露出値と背景部の露出値とを比較し、前記背景部の露出値が前記顔部の露出値よりも大きい場合に現在の撮影シーンがフレアポートシーンであることを撮影者に対して通知するとともに、前記撮影者によるフレアポート撮影の実行の指示に従って、前記顔部の露出値を予め定められた第１の適正レベルよりもオーバーな第２の適正レベルにするように露出制御をする制御部と、
   を具備し、
   前記制御部は、さらに、前記顔部の表情に応じて前記撮影シーンがフレアポートレートシーンであることを判定することを特徴とする撮像装置。
3. 前記制御部は、前記撮像部で得られる画像データにおける前記顔部の露出値を前記第２の適正レベルとする第１の露出制御と、前記撮像部で得られる画像データにおける前記背景部の露出値を前記第２の適正レベルを超える所定の適正レベルとする第２の露出制御とを実行し、
   前記第１の露出制御によって得られた画像データと前記第２の露出制御によって得られた画像データとを合成する合成処理部をさらに具備することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記画像データを増幅処理する増幅部を含み、
   前記制御部は、前記増幅部を制御して、前記画像データにおける前記顔部の露出値が前記第２の適正レベルとなり、前記画像データにおける前記背景部の露出値が前記第２の適正レベルを超えるように露出制御をすることを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記第１の適正レベルは、１８％グレーを基準として得られた露出値であることを特徴
   とする請求項１乃至４の何れか１項に記載の撮像装置。
6. 撮像部により、撮像素子で受光した光束を光電変換することによって画像データを得て、
   主要被写体検出部により、前記画像データから主要被写体の顔部を検出し、
   制御部により、前記画像データにおける前記顔部の露出値と背景部の露出値とを比較し、前記背景部の露出値が前記顔部の露出値よりも大きい場合に現在の撮影シーンがフレアポートシーンであることを撮影者に対して通知するとともに、前記撮影者によるフレアポート撮影の実行の指示に従って、前記顔部と前記背景部との境目エリアの露出値を予め定められた第１の適正レベルよりもオーバーな第２の適正レベルにするように露出制御をする、
   ことを特徴とする撮像方法。
7. 撮像部により、撮像素子で受光した光束を光電変換することによって画像データを得て、
   主要被写体検出部により、前記画像データから主要被写体の顔部を検出し、
   制御部により、前記画像データにおける前記顔部の露出値と背景部の露出値とを比較し、前記背景部の露出値が前記顔部の露出値よりも大きい場合に現在の撮影シーンがフレアポートシーンであることを撮影者に対して通知するとともに、前記撮影者によるフレアポート撮影の実行の指示に従って、前記顔部の露出値を予め定められた第１の適正レベルよりもオーバーな第２の適正レベルにするように露出制御をし、
   前記制御部により、前記顔部の表情に応じて前記撮影シーンがフレアポートレートシーンであることを判定する、
   ことを特徴とする撮像方法。

Images