以下、図面を参照して本発明の実施形態を説明する。
[第1の実施形態]
まず、本発明の第1の実施形態について説明する。図1は、本発明の各実施形態に係る撮像装置の一例としてのデジタルカメラ(以下、カメラと言う)100の構成を示すブロック図である。図1に示すように、カメラ100は、撮影光学系101と、撮像素子102と、撮像処理回路103と、バス104と、RAM105と、合成処理回路106と、画像処理回路107と、顔検出回路108と、表示部109と、インターフェース(I/F)110と、記録媒体111と、ROM112と、操作部113と、マイクロコンピュータ(マイコン)114とを有している。
撮影光学系101は、撮影レンズ101aと、絞り101bとを有している。撮影レンズ101aは、図示しない被写体の光束を撮像素子102に集光する。撮影レンズ101aは、フォーカスレンズやズームレンズ等を有する光学系として構成されていても良い。フォーカスレンズは、撮影レンズ101aのフォーカス位置を調整するためのレンズである。また、ズームレンズは、撮影レンズ101aの焦点距離を調整するためのレンズである。撮影レンズ101aを構成する可動なレンズは、マイコン114の制御に従ってその光軸方向に沿って駆動される。絞り101bは、開閉自在に構成され、その開口径に応じて撮影光学系101を介して撮像素子102に集光される光の量を調整する。絞り101bは、マイコン114の制御に従って駆動される。
撮像素子102は、撮影光学系101を介して集光された被写体の光束を受光するための光電変換面を有している。光電変換面は、光の量を電荷量に変換するための光電変換素子(例えばフォトダイオード)等からなる画素が2次元状に配置されている。また、光電変換面の表面には、例えばベイヤ配列のカラーフィルタが配置されている。このような撮像素子102は、撮影光学系101を介して集光された光を電気信号(撮像信号)に変換する。撮像素子102の動作制御は、マイコン114によって行われる。
ここで、撮像素子102は、CCD方式やCMOS方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子102の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。
撮像素子102とともに撮像部として機能する撮像処理回路103は、アナログ処理部201と、A/D変換部202と、画素データ分離部203と、輝度データ生成部204と、エリア別出力部205とを有し、撮像素子102で得られた撮像信号を処理する。
アナログ処理部201は、撮像素子102から入力された撮像信号に対してCDS処理やAGC処理といった各種のアナログ信号処理を施す。例えば、CDS処理は、撮像信号における暗電流ノイズ成分を除去するための処理である。また、AGC処理は、撮像信号の増幅処理である。
A/D変換部202は、アナログ処理部201でアナログ処理された撮像信号をデジタルデータとしての画像データに変換する。画像データは、撮像素子102の画素単位で得られる画素データの集まりである。なお、撮像素子102のカラーフィルタ配列がベイヤ配列であれば、画像データもベイヤ配列に対応したものとなる。以下、このようなベイヤ配列に対応した画像データをベイヤデータと言う。
画素データ分離部203は、A/D変換部202で得られたベイヤデータを画素データの色成分毎に分離する。例えば、撮像素子102のカラーフィルタ配列がベイヤ配列の場合、画素データ分離部203は、A/D変換部202で得られたベイヤデータを、R(赤)、G(緑)、B(青)の3成分の画素データ又はR、Gr、Gb、Bの4成分の画素データに分離する。
輝度データ生成部204は、画素データ分離部203で得られたRデータ、Gデータ、Bデータから輝度データを生成する。撮像素子102のカラーフィルタ配列がベイヤ配列の場合、例えば水平2画素及び垂直2画素に隣接して配置される4画素(R、Gr、Gb、B)からなるエリア単位で輝度データを求める。輝度データは、例えば各色成分の画素データを所定の係数で重み付け混合したものとする。この場合、以下の(式1)で示すようにして輝度データを演算する。
Y=(r×R+gr×Gr+gb×Gb+b×B)/(r+gr+gb+b)
(式1)
ここで、(式1)のR、Gr、Gb、及びBは、それぞれ、対応する画素データの画素値を示す。また、r、gr、gb、bは、係数である。係数は、例えばr=gr=gb=b=1.0である。この他、r=0.3、gr=gb=0.5、b=0.1のように色の明るさに応じて設定しても良い。この色の明るさに応じた係数の数値は、一例である。
この他、Gデータの値を輝度データとみなしても良い。ただし、ベイヤ配列の場合、各エリア内に2つのGデータ(Gr、Gb)が含まれているので、以下の(式2)で示すように、GrデータとGbデータの平均値を輝度データとする。
Y=(Gr+Gb)/2 (式2)
エリア別出力部205は、画素データ分離部203において色成分毎に分離された画素データ(ベイヤデータ)又は輝度データ生成部204で生成された輝度データをエリア毎に積算することにより得られる露出データをバス104に出力する。
バス104は、カメラ100の内部で発生した各種のデータを転送するための転送路である。RAM105は、カメラ100の内部で発生した各種のデータを一時的に記憶するための記憶部である。RAM105は、合成処理回路106又は画像処理回路107における処理の際のバッファメモリとしても使用される。
合成処理回路106は、複数回の露出動作によって得られた複数のベイヤデータを合成して合成ベイヤデータを生成する。合成処理回路106の詳細については後で詳しく説明する。
画像処理回路107は、撮像処理回路103のエリア別出力部205から出力されたベイヤデータ又は合成処理回路106で生成された合成ベイヤデータに対して種々の画像処理を施す。画像処理回路107の詳細については後で詳しく説明する。
主要被写体検出部の一例として機能する顔検出回路108は、画像データにおける主要被写体としての顔部を検出する。顔部の検出手法は、特徴量マッチング等の周知の手法を用いることができる。また、顔検出回路108に個人別の顔部の特徴量を予め記憶させておくことにより、特定の個人の顔部を検出するようにしても良い。
表示部109は、例えばカメラ100の背面に設けられており、画像処理回路107において処理された画像データに基づく画像等の各種の画像を表示する。I/F110は、マイコン114が、記録媒体111とデータ通信するための仲介をするインターフェースである。記録媒体111は、撮影動作により得られた画像ファイルが記録される記録媒体である。
ROM112は、合成処理回路106における合成処理用の合成比テーブル、画像処理回路107における各種の画像処理用の画像処理パラメータ、その他のカメラ100の動作に必要な各種のパラメータを記憶している。ここで、本実施形態におけるROM112は、2種類の露出制御を行うための2種類の露出の基準値を記憶している。また、ROM112は、マイコン114が実行する種々のプログラムも記憶している。
操作部113は、撮影者がカメラ100の各種の操作をするための操作部である。本実施形態における操作部113は、レリーズボタンと、モードボタンと、メニューボタンと、再生ボタンと、電源ボタンとを有している。ここで、これらのボタンは、一部又は全部をタッチパネルによって操作される仮想的な操作部として構成しても良い。
レリーズボタンは、ファースト(1st)レリーズスイッチとセカンド(2nd)レリーズスイッチの2段スイッチを有している。レリーズボタンが半押しされて、1stレリーズスイッチがオンされた場合に、マイコン114は、AE処理やAF処理等の撮影準備処理を実行する。また、レリーズボタンが全押しされて、2ndレリーズスイッチがオンされた場合に、マイコン114は、画像記録動作(撮影動作)を実行する。
モードボタンは、カメラ100の動作モードを指示するための操作部である。本実施形態では、カメラ100が撮影モードと再生モードとを動作モードとして少なくとも有している。撮影モードは、記録用の画像を得るためのモードである。一方、再生モードは、記録された画像を再生するためのモードである。
メニューボタンは、メニュー画面の表示を指示するための操作部である。メニュー画面において、撮影者は、カメラ100の各種の設定を変更することが可能である。なお、メニュー画面内で、カメラ100の撮影モードや再生モード時の詳細な動作モードを設定する。
再生ボタンは、マイコン114に対して画像ファイルの再生を指示するための操作部である。
電源ボタンは、カメラ100の電源のオン又はオフを指示するための操作部である。
マイコン114は、デジタルカメラ100の各種シーケンスを統括的に制御する制御部である。このマイコン114は、操作部113の何れかの操作部材が操作された場合に、その操作に対応して図1に示す各エリアを制御する。本実施形態におけるマイコン114は、AF制御部301と、AE制御部302と、表示制御部303の機能を有している。AF制御部301としての機能は、撮影レンズ101aを被写体に合焦させるためのAF動作を制御する機能である。AE制御部302としての機能は、撮像素子102を介して得られる画像データ(ベイヤデータ)の露出値を調整するためのAE動作を制御する機能である。表示制御部303としての機能は、表示部109に各種の画像を表示させる際の制御をする機能である。
図2は、合成処理回路106の内部の構成を示すブロック図である。図2に示す合成処理回路106は、位置ずれ量検出部401と、合成部402とを有している。
位置ずれ量検出部401は、複数回の露出動作によって得られた複数のベイヤデータ(図2ではベイヤデータ1とベイヤデータ2の2つ)の間の位置ずれ(被写体像ずれ)量を検出する。位置ずれ量は、例えばベイヤデータ1とベイヤデータ2の間の動きベクトルである。なお、動きベクトルは、ベイヤ画像データ間での画像マッチングを利用した手法等の周知の手法を用いて算出可能である。
合成部402において合成される複数のベイヤデータは、異なる露出タイミングで取得されるベイヤデータである。それぞれの露出タイミングにおいてカメラ100又は被写体に動きがなければベイヤデータ間の位置ずれは生じない。しかしながら、通常は、それぞれの露出タイミングにおいてカメラ100と被写体の何れかに動きが生じ、ベイヤデータ間の位置ずれが生じる。位置ずれがある状態のベイヤデータを合成してしまうと、合成後のベイヤデータにおいて被写体の像が二重になる可能性がある。したがって、合成部402における合成に先立ってベイヤデータ間の位置ずれを補正する。このための補正量を位置ずれ量検出部401において算出する。
ここで、図2では、2つのベイヤデータを入力して位置ずれ量を検出する例を示しているが、合成部402において合成されるベイヤデータの数が3つ以上である場合、位置ずれ量検出部401は、これらの3つ以上のベイヤデータの間の位置ずれ量を検出する。
合成部402は、入力された複数のベイヤデータの対応する画素データ同士を合成比テーブルから取得した合成比に従って合成して合成ベイヤデータを生成する。合成部402は、位置ずれ量検出部401で算出されたずれ補正量に従ってベイヤデータ間の位置ずれを補正してから合成を行う。
図3は、画像処理回路107の内部の構成を示すブロック図である。図3に示す画像処理回路107は、ノイズ低減処理(NR)部501と、ホワイトバランス処理(WB)部502と、同時化処理部503と、色変換部504と、階調変換部505と、YC変換部506と、エッジ抽出部507と、エッジ強調部508と、エッジ合成部509と、リサイズ部510と、圧縮部511と、伸長部512と、増幅部513とを有している。
NR部501は、RAM105からベイヤデータを読み出し、読み出したベイヤデータに対して高周波ノイズ等を除去するためのノイズ低減処理を施す。ノイズ低減処理は、例えばコアリング処理を用いて行う。
WB部502は、NR部501によって処理されたベイヤデータの色バランスを補正するためのホワイトバランス補正処理を施す。ホワイトバランス補正処理は、例えば、画素データに色成分毎のゲイン値(ホワイトバランスゲイン)を乗じることによって行う。
同時化処理部503は、WB部502から出力された1画素がRGB何れかの色成分を有しているベイヤデータに対して補間処理を施すことによって、ベイヤデータを1画素がRGB3色の色成分を有している画像データ(RGBデータ)に変換する同時化処理を行う。
色変換部504は、画像の色再現を適切なものとするための色変換処理を行う。この処理としては、例えばカラーマトリクス演算処理がある。カラーマトリクス演算処理は、RGBデータに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理である。この他、色変換部504は、彩度・色相の補正を行う。
階調変換部505は、色変換部504から出力されたRGBデータに対して階調変換処理を施す。階調変換処理とは、RGBデータを所定の階調変換テーブルを用いて変換することで画像の階調を補正する処理である。
YC変換部506は、階調変換部505から出力されたRGBデータをYCデータ(輝度・色差データ)に変換する。RGBデータからYCデータへの変換は、RGBデータに対して所定の輝度・色差変換マトリクスを乗じることによって行う。
エッジ抽出部507は、NR部501から出力されたベイヤデータに対してバンドパスフィルタ処理等を施してエッジ成分信号を抽出する。エッジ強調部508は、エッジ抽出部507で抽出されたエッジ成分信号にエッジ強調係数を乗じる。エッジ合成部509は、YC変換部506で得られた輝度(Y)データに、エッジ強調部508から出力されたエッジ成分信号を加算することによって、画像におけるエッジ成分を強調する。
リサイズ部510は、エッジ合成部509から出力されたエッジ成分強調済みの輝度(Y)データとYC変換部で得られた色差(C)データとを記録又は表示に適するようにリサイズする。
圧縮部511は、リサイズ部510でリサイズされたYCデータに対して圧縮処理を施し、圧縮処理により得られた画像データ(圧縮画像データ)をRAM105に記憶させる。ここで、圧縮部511は、静止画撮影の際には、例えば周知のJPEG方式を用いてYCデータを圧縮する。また、圧縮部511は、動画撮影の際には、例えば周知のMPEG方式を用いてYCデータを圧縮する。
伸長部512は、画像ファイルに含まれている圧縮画像データを伸長し、伸長処理により得られた画像データ(YCデータ)をRAM105に記憶させる。ここで、伸長部512は、圧縮画像データがJPEG方式で圧縮されている場合には、JPEG方式を用いて圧縮画像データを伸長する。また、伸長部512は、圧縮画像データがMPEG方式で圧縮されている場合には、MPEG方式を用いて圧縮画像データを伸長する。
増幅部513は、画像データ(YCデータ)の増幅処理を行う。この増幅部は、露出補正処理のために用いられる。
以下、上述したカメラ100の動作についてさらに説明する。図4は、第1の実施形態のカメラ100の動作を示したフローチャートである。
カメラ100の電源がオンされると、図4の処理が開始される。図4の処理の開始時に、マイコン114は、カメラ100の動作モードが撮影モードであるか否かを判定する(ステップS101)。
ステップS101において、動作モードが撮影モードであると判定した場合に、マイコン114は、スルー画表示用の露出動作を行う(ステップS102)。この露出動作において、マイコン114は、顔検出回路108で検出される顔部の露出値が予め定められた第1の適正値となるように制御する。このために、マイコン114は、画像データ(ベイヤデータ又はYCデータ)を顔検出回路108に入力し、顔検出回路108に顔検出を実行させる。そして、マイコン114は、顔検出回路108によって検出された顔部の露出値が、第1の適正値となるように露出条件(絞り101bの開口量、撮像素子102の露出時間等)を設定する。この露出条件に従ってマイコン114が絞り101bや撮像素子102を制御することにより、撮像素子102を介して得られるベイヤデータにおける顔部の露出値を第1の適正値とする。第1の適正値は、例えば18%グレーを基準として得られた露出値である。
スルー画表示用の露出動作の後、マイコン114は、スルー画表示を行う(ステップS103)。スルー画表示動作として、マイコン114は、撮像動作の結果としてRAM105に逐次記憶されるベイヤデータに対する画像処理を、画像処理回路107に実行させる。画像処理回路107は、ベイヤデータに対してNR処理からリサイズ処理までを実行し、この結果として得られるYCデータをRAM105に記憶させる。この後、マイコン114は、YCデータをRAM105から読み出し、読み出したYCデータを表示部109に入力し、表示部109に画像を表示させる。このような一連の処理により、撮影者は、表示部109に表示された画像を用いて被写体の状態を確認することが可能である。
スルー画表示動作の後、マイコン114は、1stレリーズスイッチがオンであるか否かを判定する(ステップS104)。ステップS104において、1stレリーズスイッチがオンでないと判定した場合に、マイコン114は、処理をステップS101に戻す。
ステップS104において、1stレリーズスイッチがオンであると判定した場合に、マイコン114は、AF動作を行う(ステップS105)。AF動作において、マイコン114は、撮像素子102を介して得られたベイヤデータを例えば積算することによって合焦評価値を取得する。そして、マイコン114は、取得した合焦評価値により、コントラストを評価しつつ、撮影レンズ101aのフォーカスレンズを微少量ずつ駆動させる。その後、マイコン114は、コントラストが最大となった時点でフォーカスレンズの駆動を停止させる。このようなAF処理は、所謂コントラスト方式のAF処理である。AF処理として位相差AF処理を用いるようにしても良い。また、AF動作に先立って顔検出回路108により、顔部が検出されている。この顔部に合焦するようにフォーカスレンズを駆動させるようにしても良い。
AF動作の後、マイコン114は、AE動作を行う。本実施形態においては、顔部の明るさと背景部の明るさとの関係に応じて2種類のAE動作を使い分ける。一つは、一般的なAE動作であり、18%グレーを基準として得られた露出値を露出制御の基準とするAE動作である。もう一つは、18%グレーを基準として得られた露出値よりもオーバーである所定の露出値を露出の基準とするAE動作である。
何れのAE動作を行うのかを判定するために、マイコン114は、撮像処理回路103から、顔部の露出データEfを取得する(ステップS106)。具体的な処理として、マイコン114は、輝度データ生成部204で生成された輝度データのうち、顔検出回路108で検出された顔部に対応する輝度データを用いて顔部の露出データEfを算出する。
図5(a)は、顔部の露出データEfについて示す図である。図5(a)は、ベイヤデータを12×9のエリアARに分割した例である。露出データはベイヤデータのエリアAR毎に得られるものであり、1つのエリアARの露出データはエリア内の輝度データを積算したものである。顔部の露出データEfは、エリア別出力部205からエリアAR毎に得られる露出データのうち、顔部に対応したエリア(黒塗りのエリア)の露出データである。ここで、挙げた手法は一例であってこの他の手法によって露出データEfを取得しても良い。
また、マイコン114は、撮像処理回路103から、背景部の露出データEsを取得する(ステップS107)。具体的な処理として、マイコン114は、輝度データ生成部204で生成された輝度データのうち、背景部に対応する輝度データを用いて背景部の露出データEsを算出する。
図5(b)は、背景部の露出データEsについて示す図である。背景部の露出データEsは、例えば、エリア別出力部205からエリアAR毎に得られる露出データのうち、背景部に対応したエリア(黒塗りのエリア)の露出データである。背景部とは、顔部のエリアから所定エリア以上離れたエリアであって、顔部の輝度データと異なる値であって略均一な輝度データを有するエリアからなるエリアである。背景部を顔部以外の全ての領域としても良い。
露出データEf及びEsを取得した後、マイコン114は、背景部と顔部との露出データの差ΔE=Es−Efを算出する(ステップS108)。続いて、マイコン114は、ΔEが閾値Thよりも大きいか否かを判定する(ステップS109)。閾値Thは、撮影シーンがフレアポートシーンであるか否かを判定するための閾値であって例えばカメラ100の設計時に設定され、ROM112に記憶される。本実施形態におけるフレアポートレートシーンは、逆光状態の被写体(顔部)を含むシーンのことを言う。
ステップS109において、ΔEがThよりも大きい、即ちフレアポートレートシーンであると判定した場合に、マイコン114は、フレアポートレートシーンであることを撮影者に通知する(ステップS110)。
図6は、フレアポートレートシーンであることを撮影者に通知する際の通知例を示す図である。ここで、図6は、表示による通知の例である。表示による通知の場合、マイコン114は、例えばフレアポートレートシーンであることを通知するための文字Dを表示部109に表示させる。このとき、マイコン114は、フレアポートレート撮影を行うか否かを撮影者に選択させるための選択ボタンB1、B2も表示させる。図6の例は、選択ボタンB1をOKボタン、選択ボタンB2をNGボタンとしている。
通知は、表示部109への表示によって行うだけでなく、LEDを点灯させることによって通知を行うようにしても良いし、音声によって通知を行うようにしても良い。
フレアポートレートシーンであることを通知した後、マイコン114は、フレアポートレート撮影を行うか否かを判定する(ステップS111)。ステップS111において、マイコン114は、撮影者によって選択ボタンB1が選択された場合には、フレアポートレート撮影を行うと判定する。また、撮影者によって選択ボタンB2が選択された場合には、フレアポートレート撮影を行わないと判定する。
ステップS111において、フレアポートレート撮影を行うと判定した場合、マイコン114は、撮影モードをフレアポートレートモードとしてフレアポートレート撮影用の露出動作を行う(ステップS112)。この露出動作において、マイコン114は、顔検出回路108で検出される顔部の露出値が、第1の適正値よりもオーバーである第2の適正値となるように制御する。このために、マイコン114は、画像データ(ベイヤデータ又はYCデータ)を顔検出回路108に入力し、顔検出回路108に顔検出を実行させる。そして、マイコン114は、顔検出回路108によって検出された顔部の露出値が第2の適正値となるように露出条件(絞り101bの開口量、撮像素子102の露出時間等)を設定する。この露出条件に従ってマイコン114が絞り101bや撮像素子102を制御することにより、撮像素子102を介して得られるベイヤデータにおける顔部の露出値を第2の適正値とする。なお、フレアポートレートモード時の露出制御の詳細については後で詳しく説明する。
露出動作の後、マイコン114は、露出動作の結果をスルー画表示に反映させる(ステップS113)。その後、マイコン114は、2ndレリーズスイッチがオンであるか否かを判定する(ステップS114)。ステップS114において、2ndレリーズスイッチがオンでないと判定した場合に、マイコン114は、処理をステップS104に戻す。即ち、2ndレリーズスイッチがオンされずに1stレリーズスイッチがオンされている場合には、AF動作及びAE動作が継続される。
また、ステップS114において、2ndレリーズスイッチがオンであると判定した場合に、マイコン114は、撮影動作を行う(ステップS115)。撮影動作の後、マイコン114は、処理をステップS101に戻す。撮影動作において、マイコン114は、2ndレリーズスイッチがオンされる直前の露出条件(顔部の露出値を適正にする露出条件か又はフレアポートレートモードの露出条件)に従って絞り101bや撮像素子102を制御する。撮像素子102を介して得られたベイヤデータは、一旦、RAM105に記憶される。画像処理回路107は、RAM105からベイヤデータを読み出し、読みだしたベイヤデータに対してNR部501によるノイズ低減処理から圧縮部511による圧縮処理までの一連の画像処理を施し、画像処理により得られた圧縮画像データをRAM105に記憶させる。その後、マイコン114は、圧縮画像データに対して所定のヘッダ情報を付与して画像ファイルを生成し、生成した画像ファイルをI/F110を介して記録媒体111に記録する。なお、ヘッダ情報としては、ファイル名、ファイルサイズ、露出条件等の撮影動作時の各種情報が記録される。
ステップS109において、ΔEがTh以下であると判定した場合に、マイコン114は、現在の撮影モードがフレアポートレートモードであるか否かを判定する(ステップS116)。ステップS116において、現在の撮影モードがフレアポートレートモードであると判定した場合、マイコン114は、処理をステップS110に移行させる。後で詳しく説明するが、フレアポートレートモードの露出制御により、被写体の顔部の露出値と背景部の露出値とがともに撮像素子102の飽和レベルの近傍となる。この場合、その後のステップS109の判定において、ΔEがTh以下となる可能性が生じる。本実施形態では、ステップS116の判定を行うことにより、フレアポートレートモードの露出制御が行われた後は撮影者によってフレアポートレート撮影を行わないとの選択がされるまではフレアポートレートモードの露出制御を継続できるようにしている。
ステップS111においてフレアポートレート撮影を行わないと判定した場合又はステップS116において現在の撮影モードがフレアポートレートモードでないと判定した場合に、マイコン114は、被写体の顔部の露出値を第1の適正値とする露出動作を行う(ステップS117)。この露出動作において、マイコン114は、顔検出回路108で検出される顔部の露出値が予め定められた第1の適正値となるように制御する。その後、マイコン114は、処理をステップS113に移行させる。
また、ステップS101において、動作モードが撮影モードでないと判定した場合に、マイコン114は、動作モードが再生モードであるか否かを判定する(ステップS118)。ステップS118において、動作モードが再生モードでないと判定した場合に、マイコン114は、処理をステップS101に戻す。
また、ステップS118において、動作モードが再生モードであると判定した場合に、マイコン114は、再生モードの動作を行う。再生モードの動作については簡単に説明する。再生モードにおいて、マイコン114は、記録媒体111に記録されている画像ファイルの一覧を表示部109に表示させる。例えば、一覧表示された画像ファイルの中から撮影者が所望の画像ファイルを選択して再生ボタンを押すと、マイコン114は、その選択された画像ファイルから圧縮画像データを読み出し、読みだした圧縮画像データを画像処理回路107に入力する。画像処理回路107は、入力された圧縮画像データを伸長し、伸長により得られた画像データ(YCデータ)をRAM105に記憶させる。その後、マイコン114は、RAM105に記憶された画像データを表示部109に入力して画像の表示を行う。
以下、第1の実施形態におけるフレアポートレート撮影の露出制御についてさらに説明する。前述したように、本実施形態においては、フレアポートレート撮影の露出制御は、逆光状態の被写体(顔部)を含むシーンにおいて行われ得る。図7(a)は、逆光シーンの一例を示す図である。また、図7(b)は、図7(a)の一点鎖線Aに沿った輝度の分布を示す図である。図7(b)に示すように、逆光シーンは、背景部Sの輝度が顔部Fの輝度よりも大きなシーンである。
ここで、A/D変換部202は、ダイナミックレンジと呼ばれる、A/D変換可能な輝度範囲を有している。図7(b)では、ダイナミックレンジをDRで示している。ダイナミックレンジDRの最大値DRHよりも高輝度の撮像信号及びダイナミックレンジの最小値DRLよりも低輝度の撮像信号は、それぞれ、A/D変換の際にダイナミックレンジDRの最大値DRH及び最小値DRLにクリップされる。
逆光シーンで顔部Fを撮影する場合、背景部Sの輝度をダイナミックレンジDRに収めるように露出制御をすると、背景部Sよりも低輝度である顔部Fの輝度がさらに低くなる。このため、図8(a)のように、顔部Fの像が黒潰れする場合がある。逆に、顔部Fの輝度を適正にするように露出制御をすると、顔部Fよりも高輝度である背景部Sの輝度がさらに高くなる。このため、図8(b)のように、背景部Sが白飛びする場合がある。
さらに、近年では、図8(a)で示した露出制御により得られた画像と図8(b)で示した露出制御により得られた画像を合成することにより、図8(c)に示すような、黒潰れ及び白飛びのない広ダイナミックレンジの画像を得る技術も知られている。しかしながら、シーンによっては、合成をすることによってかえって不自然な画像になる場合があり得る。
本実施形態は、逆光シーン等のようなまぶしさを感じさせるシーンの中の被写体はまぶしさを感じさせるべきであるという、撮影者による主観的な要素を反映したフレアポートレート撮影を可能とする。具体的には、フレアポートレートシーンにおいては、図9に示すように、顔部Fの露出値を、第1の適正値E1よりもオーバーな第2の適正値E2とするように露出制御をする。第2の適正値E2は、例えばダイナミックレンジDRの最大値DRHとする。
以上説明したように、本実施形態によれば、顔部を含む逆光シーンであるフレアポートレートシーンにおいて、図9に示すようにあえて顔部をオーバーにするように露出制御することにより、逆光シーンのポートレート写真にふさわしいハイキーの画像(フレアポートレート画像)を自動露出制御によって得ることが可能である。
また、図9のような露出制御を行うことにより、人物の顔の周りにフレアが発生し易くなる。このように、本実施形態では意図してフレアの発生確率を高めることで、より逆光シーンにふさわしい画像を得られることが期待される。
ここで、図9の例では、第2の適正値E2をダイナミックレンジDRの最大値DRHとしているが、第2の適正値E2は、第1の適正値E1からダイナミックレンジDRの最大値DRHまでの範囲であれば良い。最適な撮影効果が得られるような露出値を実験等によって求めておき、この値を第2の適正値E2としてROM112に記憶させても良い。
また、本実施形態では、人物の顔部を含む逆光シーンをフレアポートレートシーンであるとしている。しかしながら、フレアポートレートシーンにおける主要被写体は必ずしも人物の顔部とする必要はない。この場合、カメラ100に、対象とする主要被写体を検出する回路を持たせておけば良い。
[第2の実施形態]
次に、本発明の第2の実施形態について説明する。第1の実施形態においては、人物の顔部と背景部との輝度差が十分にある逆光シーンに対してフレアポートレートモードの露出制御を行っており、背景部と人物の顔部との輝度差が十分にない逆光シーンでは顔部の露出値を適正にする通常の露出制御を行うようにしている。これに対し、第2の実施形態は、背景部と人物の顔部との輝度差が十分にない逆光シーンにおいてもフレアポートレートモードの露出制御を行ったのと同等の画像を得られるようにするものである。ここで、第2の実施形態におけるカメラ100の全体構成及び画像処理回路107の構成は、第1の実施形態で説明したものと同様である。したがって、これらの構成については説明を省略する。
図10は、第2の実施形態におけるカメラ100の動作を示したフローチャートである。ここで、第1の実施形態と同様のステップの処理については図4と同様のステップ符号を付すことで説明を省略する。即ちステップS101〜S115の処理と、S118の処理については説明を省略する。
ステップS109において、ΔEがTh以下であると判定した場合に、マイコン114は、図6で示したような、フレアポートレート撮影を行うか否かを撮影者に選択させるための選択ボタンB1、B2を表示部109に表示させる(ステップS201)。だだし、フレアポートレートシーンではないので、フレアポートレートシーンであることを通知するための文字Dを表示させる必要はない。
選択ボタンB1、B2を表示部109に表示させた後、マイコン114は、フレアポートレート撮影を行うか否かを判定する(ステップS202)。この判定は、ステップS111と同様に行う。
ステップS202において、フレアポートレート撮影を行わないと判定した場合に、マイコン114は、被写体の顔部の露出値を第1の適正値とする露出動作を行う(ステップS203)。この露出動作において、マイコン114は、顔検出回路108で検出される顔部の露出値が予め定められた第1の適正値となるように制御する。その後、マイコン114は、処理をステップS113に移行させる。
また、ステップS202において、フレアポートレート撮影を行うと判定した場合に、マイコン114は、背景部の露出値が、第2の適正値よりもオーバーとなるように制御する(ステップS204)。背景部は、図5(b)を参照して説明したのと同様、顔部の輝度データと異なる値であって略均一な輝度データを有するエリアからなるエリアである。また、第2の実施形態においては、例として、第2の適正値がダイナミックレンジDRの最大値DRHよりも小さな露出値であるとする。
続いて、マイコン114は、顔検出回路108で検出される顔部の露出値が、第2の適正値となるように制御する(ステップS205)。ステップS205の処理は、ステップ112と同様である。
背景部の露出値を第2の適正値よりもオーバーとした画像データ(ベイヤデータ)と顔部の露出値を第2の適正値とした画像データ(ベイヤデータ)とを得た後、マイコン114は、これらの2フレームの画像データを合成処理回路106によって合成する(ステップS206)。その後、マイコン114は、処理をステップS113に移行させる。合成処理においては、顔部のエリアについては、ステップS205で得られたベイヤデータを合成に使用し、背景部のエリアについては、ステップS204で得られたベイヤデータを合成する。このような合成を行うことにより、背景部が暗い場合であってもフレアポートレート撮影をしたのと同等の画像を得ることが可能である。
ここで、ステップS204〜S206の処理がなされた後でステップS115の撮影動作が行われる場合、ステップS204〜S206と同様の複数回の露出動作を行って得られた画像データを合成することによって得られた画像データを画像処理回路107において画像処理し、画像ファイルとして記録媒体111に記録する。
以下、ステップS204〜S206で示したフレアポートレート撮影の露出制御についてさらに説明する。前述したように、ステップS204〜S206で示した露出制御は、例えば図11(a)で示すような、顔部Fの輝度が背景部Sの輝度よりも大きなシーンで行われ得る。このよう顔部Fの輝度が背景部Sの輝度よりも大きなシーンでは、第1の実施形態におけるフレアポートレート撮影の露出制御と同様の露出制御を行っても、背景部Sの露出値が顔部Fの露出値を超えることはなく、第1の実施形態と同様の画像を得ることはできない。
本実施形態においては、図11(b)で示すように、背景部の露出値を第2の適正値よりもオーバーとする露出制御と顔部Fの露出値を第2の適正値E2に合わせる露出制御とを行い、両者の結果を合成することにより、背景部が顔部よりも暗いシーン等であってもフレアポートレート画像を得ることが可能である。
ここで、図10の例においては、ΔEがTh以下であってフレアポートレート撮影に先立つスルー画表示のために、2回の露出動作を行うようになっている。実際には、画像表示の1フレームにつき、1回ずつの露出動作を行うだけでも良い。
図12は、このような変形例における、フレアポートレート撮影に先立つスルー画表示の際のタイミングチャートである。スルー画表示用の露出動作は、同期信号VDに同期するように行われる。本変形例では、図12に示すように、露出時間の異なる2種類の露出動作が交互に且つ繰り返し行われる。露出動作EX1、EX3、EX5は、前述のステップS204で示した、背景部の露出値を第2の適正値よりもオーバーとする露出動作である。一方、露出動作EX2、EX4、EX6は、前述のステップS205で示した、顔部の露出値を第2の適正値とする露出動作である。
それぞれの露出動作の後、撮像処理回路103によって撮像信号の読み出しが行われる。図12では、露光動作EX1の後の読み出しをR1、露光動作EX2の後の読み出しをR2、露光動作EX3の後の読み出しをR3、露光動作EX4の後の読み出しをR4、露光動作EX5の後の読み出しをR5、露光動作EX6の後の読み出しをR6として示している。
それぞれのフレームにおいてベイヤデータが読み出された後、ベイヤデータの合成処理が、合成処理回路10において行われる。ここで、本変形例においては、直前の2フレームのベイヤデータが合成処理される。したがって、合成処理は、2フレーム目の読み出しR2の終了後から順次行われる。例えば、読み出しR2の後は、図12で示すように、1フレーム目と2フレーム目のベイヤデータを合成する合成処理C12が行われる。また、読み出しR3の後は、2フレーム目と3フレーム目のベイヤデータを合成する合成処理C23が行われる。以後同様に、読み出しR4の後は、3フレーム目と4フレーム目のベイヤデータを合成する合成処理C34が行われ、読み出しR5の後は、4フレーム目と5フレーム目のベイヤデータを合成する合成処理C45が行われる。
それぞれのフレームにおいてベイヤデータが合成された後、合成ベイヤデータに対する画像処理が、画像処理回路107において行われる。図12では、合成処理C12の後の画像処理をIP12、合成処理C23の後の画像処理をIP23、合成処理C34の後の画像処理をIP34、合成処理C45の後の画像処理をIP45として示している。
画像処理の後、画像表示(スルー画表示)が行われる。図12は、画像処理IP12の後の画像表示をD12、画像処理IP23の後の画像表示をD23、画像処理IP34の後の画像表示をD34、画像処理IP45の後の画像表示をD45として示している。図12に示すように、画像表示は、3フレーム目の露出動作の終了後から順次行われる。
[第3の実施形態]
次に、本発明の第3の実施形態について説明する。第1及び第2の実施形態においては、撮影モード時の露出制御によって、逆光シーンのポートレート写真にふさわしいハイキーの画像(フレアポートレート画像)を得るようにしている。これに対し、第3の実施形態は、再生モード時の露出補正処理を利用してフレアポートレート画像と同等の撮影効果の画像を得るようにするものである。ここで、第3の実施形態におけるカメラ100の全体構成及び画像処理回路107の構成は、第1の実施形態で説明したものと同様である。したがって、これらの構成については説明を省略する。
図13は、第3の実施形態におけるカメラ100の動作を示したフローチャートである。ここで、第1の実施形態と同様のステップの処理については図4と同様のステップ符号を付すことで説明を省略する。即ちステップS101〜S105、S117、S113〜115の処理と、S118の処理については説明を省略する。
ステップS118において、動作モードが再生モードであると判定した場合に、マイコン114は、再生モードの動作を行う。第3の実施形態において、マイコン114は、記録媒体111に記録されている画像ファイルの一覧を表示部109に表示させる(ステップS301)。その後、マイコン114は、一覧表示された画像ファイルのうちの何れかが撮影者によって選択されたか否かを判定する(ステップS302)。
ステップS302において、画像ファイルの選択がなされたと判定した場合に、マイコン114は、選択された画像ファイルを再生する(ステップS303)。具体的には、マイコン114は、圧縮画像データを読み出し、読みだした圧縮画像データを画像処理回路107に入力する。画像処理回路107は、入力された圧縮画像データを伸長し、伸長により得られた画像データ(YCデータ)をRAM105に記憶させる。その後、マイコン114は、RAM105に記憶された画像データを表示部109に入力して画像の表示を行う。
画像ファイルの再生後、画像ファイルの再生後、マイコン114は、再生された画像ファイルにおける顔部の露出データEfを取得する(ステップS304)。その後、マイコン114は、再生された画像ファイルにおける背景部の露出データEsを取得する(ステップS305)。顔部及び背景部の位置は、図5を参照して説明したとおりである。
露出データEf及びEsを取得した後、マイコン114は、背景部と顔部との露出データの差ΔE=Es−Efを算出する(ステップS305)。続いて、マイコン114は、ΔEが閾値Thよりも大きいか否かを判定する(ステップS307)。閾値Thは、第1の実施形態で説明したものと同様、撮影シーンがフレアポートシーンであったか否かを判定するための閾値であって例えばカメラ100の設計時に設定され、ROM112に記憶されている。
ステップS307において、ΔEがThよりも大きい、即ちフレアポートレートシーンであると判定した場合に、マイコン114は、撮影された画像がフレアポートレートシーンであったことを撮影者に通知する(ステップS308)。
図14は、フレアポートレートシーンであったことを撮影者に通知する際の通知例を示す図である。ここで、図14は、表示による通知の例である。表示による通知の場合、マイコン114は、フレアポートレートシーンであったことを通知するための文字Dを表示部109に表示させる。このとき、マイコン114は、フレアポートレート用の露出補正を適用するか否かを撮影者に選択させるための選択ボタンB3、B4も表示させる。図9の例は、選択ボタンB3を採用ボタンとし、選択ボタンB4を不採用ボタンとしている。
通知は、表示部109への表示によって行うだけでなく、LEDを点灯させることによって通知を行うようにしても良いし、音声によって通知を行うようにしても良い。
フレアポートレートシーンであったことを通知した後、マイコン114は、フレアポートレート用の露出補正を行うか否かを判定する(ステップS309)。ステップS309において、マイコン114は、撮影者によって選択ボタンB3が選択された場合には、フレアポートレート用の露出補正を行うと判定する。また、撮影者によって選択ボタンB4が選択された場合には、フレアポートレート用の露出補正を行わないと判定する。
ステップS309において、フレアポートレート用の露出補正を行うと判定した場合、マイコン114は、フレアポートレート用の露出補正を行う(ステップS310)。この露出補正において、マイコン114は、顔検出回路108で検出された顔部の輝度が、第1の適正値よりもオーバーである第2の適正値となるように、再生中の画像データの各画素の増幅処理を画像処理回路107の増幅部513によって施す。このような増幅処理を行うことによって、図9で示した露出動作を行ったのと同等のフレアポートレート画像を得ることが可能である。なお、顔部と背景部とで増幅率を変えることにより、第2の実施形態のような背景部のほうが顔部よりも暗いシーンであってもフレアポートレート画像を得ることができる。
ステップS307においてΔEがTh以下であると判定した場合、ステップS309においてフレアポートレート用の露出補正を行わないと判定した場合、又はステップS310において露出補正を行った後、マイコン114は、画像ファイルの再生を終了するか否かを判定する(ステップS311)。ステップS311において、マイコン114は、例えば、撮影者により、再生ボタンが再び押された場合に再生を終了すると判定する。
ステップS311において、画像ファイルの再生を終了しないと判定した場合に、マイコン114は、処理をステップS303に戻して画像ファイルの再生を継続する。なお、露出補正が行われた後は、露出補正後の画像データに基づいて表示を行う。また、ステップS311において、画像ファイルの再生を終了すると判定した場合に、マイコン114は、処理をステップS118に戻す。
以上説明したように、本実施形態によれば、再生モード時に露出補正を行うことにより、撮影動作時と同等のフレアポートレート画像を得ることが可能である。
[変形例1]
以下、前述の実施形態の変形例を説明する。前述した第1の実施形態においては、顔部の露出値を第2の適正値とするように露出制御を行っている。これに対し、顔部と背景部との境目エリアの露出値を第2の適正値とするようにしても良い。
図15は、変形例1のフレアポートレートモード用の露出動作について示すフローチャートである。この処理は、図4のステップS112に代えて行われる。
図15において、マイコン114は、画像データ(ベイヤデータ又はYCデータ)のうち、顔部の周囲のローコントラストエリアを検出する(ステップS401)。顔部周囲のローコントラストエリアとは、図16(a)に示すように、顔部に対応したエリアの周囲(背景部よりも顔部に近いエリア)のエリアで且つ輝度変化の小さいエリア(黒塗りのエリア)である。ここで、挙げた手法は一例であってこの他の手法によって検出しても良い。
ローコントラストエリアを検出した後、マイコン114は、検出したローコントラストエリアのうちの最も明るい(輝度の高い)エリアを検出する(ステップS402)。前述したように、フレアポートレートシーンは、顔部を含む逆光シーンであるので、ステップS402で検出したエリアは、背景部に最も近いエリアであると考えることができる。
続いて、マイコン114は、ステップS402で検出したエリアと顔検出回路108で検出された顔部との境目のエリアを露出制御の対象にするエリアとして検出する(ステップS403)。その後、マイコン114は、ステップS403で検出した境目のエリアの露出値を第2の適正値とする露出動作を行う(ステップS404)。そして、マイコン114は、図15の処理を終了させる。
以上説明した変形例1では、顔部と背景部との境目のエリアの露出値を第2の適正値とするように露出制御している。このエリアは、最もフレアの影響を受けやすく、このエリアの露出値を第2の適正値とすることで、図16(b)に示すように、人物の顔部の周囲にフレアFLが発生する可能性をより高めて、第1の実施形態よりも、逆光シーンのポートレート写真にふさわしいハイキーの画像を得られることが期待される。
前述の変形例1は、第1の実施形態と同様、1回の露出動作でフレアポートレート画像を得る例である。これに対し、第2の実施形態と同様に複数回の露出動作を行うようにしても良い。この際、境目のエリアの露出値を第2の適正値とする露出制御と背景部を白く飛ばす露出制御とを組み合わせても良いし、顔部の露出値を第2の適正値とする露出制御と境目のエリアを白く飛ばす露出制御とを組み合わせても良い。
さらに、フレアは、背景の明るい部分からの光によって発生するものである。したがって、図16(c)に示すような、前述のローコントラストエリア内の最も大きな露出データEsmaxを有するエリアに隣接するエリア(黒塗りのエリア)又はその周囲に相当するエリアの露出値を第2の適正値とするように露出制御しても良い。これによって、さらに自然なフレア光表現が可能となる。
[変形例2]
前述の各実施形態では、輝度データ生成部204で生成される輝度データから算出される露出データを用いて露出制御している。これに対し、ベイヤデータのR、G、B成分のそれぞれを用いて露出制御をするようにしても良い。
図17は、変形例2のフレアポートレートモード用の露出動作について示すフローチャートである。この処理は、図4のステップS112に代えて行われる。
図17において、マイコン114は、撮像処理回路103の画素データ分離部203によって3色成分に分離されたベイヤデータを取得し、取得した色成分毎のベイヤデータを図5で示したエリア毎に積算して色成分毎の露出データを生成する(ステップS501)。G成分の露出データは、Gr成分の露出データとGb成分の露出データとの加算値とする。
続いて、マイコン114は、露出値を漸増させるように露出動作を行う(ステップS502)。この露出動作において、マイコン114は、露出値が予め定めた所定量(例えば+1EV)だけ増加するように露出条件(絞り101bの開口量、撮像素子102の露出時間等)を設定し、この設定に従って絞り101bや撮像素子102を制御する。
露出動作の後、マイコン114は、顔検出回路108で検出される顔部に対応したR成分の露出データ、G成分の露出データ、B成分の露出データの何れかが飽和レベルの直前となったか否かを判定する(ステップS503)。例えば、R成分の露出データ、G成分の露出データ、B成分の露出データの何れかがダイナミックレンジDRの最大値DRHの80%の値となった場合に、飽和レベルの直前となったと判定する。
ステップS503において、R成分の露出データ、G成分の露出データ、B成分の露出データの何れもが飽和レベルの直前となっていないと判定した場合に、マイコン114は、背景部に対応したR成分の露出データ、G成分の露出データ、B成分の露出データの何れかが飽和レベルとなったか否かを判定する(ステップS504)。
ステップS504において、背景部に対応したR成分の露出データ、G成分の露出データ、B成分の露出データの何れもが飽和レベルとなっていないと判定した場合に、マイコン114は、処理をステップS502に戻す。この場合、マイコン114は、露出値が再び漸増するように露出動作を継続する。
また、ステップS503において顔部分に対応したR成分の露出データ、G成分の露出データ、B成分の露出データの何れかが飽和レベルの直前となったと判定した場合又はステップS504において背景部に対応したR成分の露出データ、G成分の露出データ、B成分の露出データの何れかが飽和レベルとなっていないと判定した場合に、マイコン114は、露出動作を終了する。そして、マイコン114は、図17の処理を終了させる。
以上説明した変形例2では、ベイヤデータのR成分、G成分、B成分からそれぞれの色成分に対応した露出データを算出し、色成分毎に露出値の判定を行って露出制御をしている。これにより、前述した各実施形態よりも細かく露出値を制御することが可能である。
図18は、変形例1と変形例2とを組み合わせたフレアポートレートモード用の露出動作について示すフローチャートである。この処理も、図4のステップS112に代えて行われる。
図18において、マイコン114は、図15のステップS401及びステップS402と同様の手法を用いて検出された最も明るいエの色成分毎の露出データを生成する(ステップS601)。
続いて、マイコン114は、露出値を漸増させるように露出動作を行う(ステップS602)。この露出動作は、図17で説明した露出動作と同様である。
露出動作の後、マイコン114は、最も明るいエリアに対応したR成分の露出データ、G成分の露出データ、B成分の露出データの何れかが飽和レベルとなったか否かを判定する(ステップS603)。
ステップS603において、最も明るいエリアに対応したR成分の露出データ、G成分の露出データ、B成分の露出データの何れもが飽和レベルとなっていないと判定した場合に、マイコン114は、処理をステップS602に戻す。この場合、マイコン114は、露出値が再び漸増するように露出動作を継続する。
また、ステップS603において、最も明るいエリアに対応したR成分の露出データ、G成分の露出データ、B成分の露出データの何れかが飽和レベルとなっていないと判定した場合に、マイコン114は、露出動作を終了する。そして、マイコン114は、図18の処理を終了させる。
以上説明した変形例においても、ベイヤデータのR成分、G成分、B成分からそれぞれの色成分に対応した露出データを算出し、色成分毎に露出値の判定を行って露出制御をしている。これにより、前述した各実施形態よりも細かく露出値を制御することが可能である。
ここで、前述の変形例2では、ベイヤデータをR成分、G成分、B成分に分けて露出値を判定するようにしている。これは、撮像素子102で得られた画像データが原色系のベイヤデータであるためである。撮像素子102のカラーフィルタ配列が原色系ベイヤ配列と異なる場合には、それに応じて露出値を判定する色成分も異なることとなる。
[変形例3]
前述の各実施形態及び各変形例においては、顔部を含む逆光シーンをフレアポートレートシーンであるとしてフレアポートレート撮影を行うようにしている。これに対し、被写体に表情により、逆光シーンでなくともフレアポート撮影を行えるようにしても良い。本変形例では、例えば撮影者にモデル風のポートレート写真を撮影しようとする意図がある場合には、フレアポートレートシーンであるとみなしてフレアポートレート撮影を行えるようにする。
図19は、変形例3の処理を示すフローチャートである。なお、本変形例における顔検出回路108は、顔部を検出するだけでなく、顔部を構成する顔パーツ(目部、鼻部、口部等)の配置から被写体の表情も検出する。
図19において、マイコン114は、顔検出回路108により、画像データにおける顔部及び顔部を構成する顔パーツを検出させる(ステップS701)。
顔部及び顔パーツを検出させた後、マイコン114は、顔検出回路108が検出した顔部の高さが、表示部109の画面高さ(即ち表示部109に表示させる画像データの高さ)に対して所定の高さ(1/6の高さ)以上を有しているか否かを判定する(ステップS702)。顔部の高さが、表示部109の画面高さに対してある程度の値を有している場合、撮影者にポートレート撮影の意図があると考える。顔部の高さは、図20(a)に示すように、頭頂から顎先までの距離Hとする。このHが画面高さの1/6以上である場合に、ステップS702をYesに分岐する。ここでは、画面高さの1/6を閾値としているが、この値は1/6に限るものではない。
ステップS702において、顔検出回路108が検出した顔部の高さが、表示部109の画面高さに対して1/6の高さ以上を有していると判定した場合に、マイコン114は、顔検出回路108が検出した目部の高さが、目部の幅に対して所定の長さ(1/3)以上を有しているか否かを判定する(ステップS703)。目部の高さが、目部の幅に対してある程度の値を有している場合、被写体である人物が目をぱっちりと開いている状態であると考えることができる。このような場合にも、撮影者にポートレート撮影の意図があると考える。目部の高さは、図20(a)に示すように、目部の上端から下端までの距離hとする。また、目部の幅は、目部の右端から左端までの距離dとする。hがdの1/3以上である場合に、ステップS703をYesに分岐する。ここでは、目部の幅の1/3を閾値としているが、この値は1/3に限るものではない。
ステップS703において、顔検出回路108が検出した目部の高さが、目部の幅に対して1/3以上の長さを有していると判定した場合に、マイコン114は、顔検出回路108が検出した唇部の上唇と下唇とを結ぶ線が直線状であるか又は上唇と下唇とが上下対称であるか否かを判定する(ステップS704)。上唇と下唇とを結ぶ線が直線状である例を図20(b)のM2で示し、上唇と下唇とが上下対称である例を図20(a)のM1で示す。被写体である人物が図20(a)又は図20(b)で示す何れかの表情をしている場合も、撮影者にポートレート撮影の意図があると考える。
ステップS704において、顔検出回路108が検出した唇部の上唇と下唇とを結ぶ線が直線状であるか又は上唇と下唇とが上下対称であると判定した場合に、マイコン114は、当該撮影シーンがフレアポートレートシーンであるとして撮影者に、フレアポートレート撮影を実行することを推奨する。
また、ステップS702において顔部の高さが表示部109の画面高さに対して1/6の高さ以上を有していないと判定した場合、ステップS703において目部の高さが目部の幅に対して1/3以上の長さを有していないと判定した場合、ステップS204において唇部の上唇と下唇とを結ぶ線が直線状でなく且つ上唇と下唇とが上下対称でもないと判定した場合、マイコン114は、当該撮影シーンがフレアポートレートシーンでないとして、撮影者に、フレアポートレート撮影を実行することを推奨しない。
以上説明した変形例によれば、逆光シーンでない場合であってもフレアポートレート撮影を行うことが可能である。
ここで、前述の各実施形態で説明した逆光シーンの判定と被写体の表情の判定とを組み合わせて行うようにしても良い。例えば、顔部を含む逆光シーンで且つ図19のステップS704の判定でYesに分岐した場合に撮影者にフレアポートレートシーン撮影を実行することを推奨するようにしても良い。
また、図20で示した表情の例は一例であって、モデル撮影等で用いられる種々の顔パーツの配置を適用して良い。
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。