JP6445844B2 - 撮像装置および撮像装置で実行される方法 - Google Patents

Description

本発明は、撮像装置および撮像装置で実行される方法に関し、特には補助光源を用いて撮影された画像を取り扱い可能な撮像装置および撮像装置で実行される方法に関する。

暗いシーンでの撮影時に撮影感度を増加したり、露出不足の状態で撮影された暗い画像を明るくするために画素の値を増幅したりすると、ノイズが増加して画質が劣化することが知られている。そのため、被写体を照射する光量が不足している場合には、フラッシュなどの補助光源を用いて光量を補って撮影するのが一般的である。しかし、カメラが内蔵する補助光源を用いた場合など、被写体の正面から補助光を照射して撮影すると、被写体の陰影が減少し、立体感の少ない平坦な画像になってしまう場合がある。

このような問題に対し、特許文献１には、照射方向の異なる補助光源を複数備え、個々の補助光源を照射して撮影を行って得られた画像を選択可能に提示するカメラが開示されている。

特開２００５−１６７３７６号公報（第１実施形態）

特許文献１に記載された方法によれば、補助光源を用いた撮影結果から、ユーザが好ましいと感じる陰影のある被写体の画像を選択することを可能にすることができる。しかし、複数の補助光源を備える必要があるため、カメラのコストアップにつながる。さらに、補助光源が増加すると必要な撮影回数も増加するため、最終的に１つの画像が選択されるまでに時間を要してしまう。また、複数回の撮影の間に被写体が移動したり、例えば目を瞑ったりした場合、希望する画像が得られない場合もある。

本発明はこのような従来技術の課題に鑑みてなされたもので、補助光源を利用した撮影で得られる画像における陰影を簡便な方法で適切に補正可能な撮像装置および撮像装置で実行される方法の提供を目的とする。

上述の目的は、補助光源を用いて撮影された画像に対し、仮想光源の効果を付加する補正処理を適用する適用手段と、補正処理を適用する画像を撮影するための補助光源の発光量および、補正処理に用いるパラメータを決定する決定手段と、を有し、決定手段は、発光量とパラメータとを、補助光源を用いて撮影する被写体の陰影度合いであって、補助光源を用いずに撮影された画像における被写体の陰影度合いに基づいて決定することを特徴とする撮像装置によって達成される。

このような構成により本発明によれば、補助光源を利用した撮影で得られる画像における陰影を簡便な方法で適切に補正可能な撮像装置および撮像装置で実行される方法を提供できる。

本発明の実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図 図１の画像処理部の機能構成例を示すブロック図 図１のリライティング処理部の機能構成例を示すブロック図 実施形態において距離画像から法線マップを生成する方法の例を説明するための図 第１実施形態におけるリライティングパラメータ決定処理を説明するためのフローチャート 第１実施形態における陰影度合いの決定方法の例を説明するための図 第１実施形態におけるリライティング処理の具体例を説明するための図 第１実施形態におけるリライティング処理の具体例を説明するための図 第１実施形態における環境光源位置の推定方法を説明するための図 第２実施形態におけるリライティングパラメータ決定処理を説明するためのフローチャート 第２実施形態における陰影度合いの推定方法を説明するための図

以下、本発明の例示的な実施形態を、添付の図面に基づいて詳細に説明する。なお、以下に説明する実施形態では、本発明に係る撮像装置の一例としてのデジタルカメラに適用した例について説明する。なお、本発明は補助光源を発光させて撮影する機能を有する任意の電子機器において実施可能であり、電子機器には、携帯電話機、タブレット端末、ゲーム機、パーソナルコンピュータ等が含まれる。

●（第１実施形態）
図１は、本発明の第１実施形態に係るデジタルカメラ１００の構成例を示すブロック図である。
図１において、レンズ群１０１は、フォーカスレンズを含むズームレンズである。絞り機能を備えるシャッター１０２が、レンズ群１０１と撮像部１０３との間に設けられている。撮像部１０３は、レンズ群１０１によって撮像面に形成される光学像を画素単位の電気信号に変換するＣＣＤ／ＣＭＯＳイメージセンサを代表とする撮像素子を有する。Ａ／Ｄ変換器１０４は、撮像部１０３が出力するアナログ信号をデジタル信号（画像データ）に変換する。

画像処理部１０５は、Ａ／Ｄ変換器１０４から出力される画像データに対し、色補間（デモザイク）、ホワイトバランス調整、γ補正、輪郭強調、ノイズリダクション、色補正などの各種画像処理を行う。画像メモリ１０６は画像データを一時的に記憶する。メモリ制御部１０７は、画像メモリ１０６の読み書きを制御する。Ｄ／Ａ変換器１０８は、画像データをアナログ信号に変換する。表示部１０９はＬＣＤや有機ＥＬディスプレイ等の表示装置を有し、各種ＧＵＩやライブビュー画像、記録媒体１１２から読み出して再生した画像などを表示する。コーデック部１１０は、画像メモリ１０６に記憶されている画像データを例えば記録や外部出力のために符号化したり、画像ファイルに含まれる符号化画像データを例えば表示のために復号したりする。

インタフェース（Ｉ／Ｆ）１１１は、例えば半導体メモリカードやカード型ハードディスクなどの着脱可能な記録媒体１１２を、デジタルカメラ１００と機械的および電気的に接続する。システム制御部５０は例えばＣＰＵやＭＰＵなどのプログラマブルなプロセッサであってよい。システム制御部５０は、例えば不揮発性メモリ１２１や内蔵する不揮発性メモリに記録されたプログラムを実行して必要なブロックや回路を制御することにより、デジタルカメラ１００の機能を実現する。

リライティング処理部１１４は、撮影画像にリライティング処理を行う。リライティング処理とは、画像中の被写体に対して、仮想的な光源からの光を照射することで、明るさを補正する補正処理である。リライティング処理部１１４は、マイクロプロセッサとソフトウェアの組み合わせよって実現されてもよい。また、ＡＳＩＣ(Application Specific Integrated Circuit)やＰＬＤ(Programmable Logic Device)のようなハードウェアによって実現されてもよい。ＰＬＤにはＦＰＧＡ(Field-Programmable Gate Array）、ＰＬＡ(Programmable Logic Array)などが含まれる。

なお、リライティング処理は
・リライティング処理の実行が指定された状態で撮影された画像
・メニュー画面等からリライティング処理の実施が指示された、例えば記録媒体１１２に記録済の画像
に対して実施することができる。なお、リライティング処理において撮影時の情報が必要な場合、不揮発性メモリ１２１またはシステムメモリ１２２から読み出したり、画像ファイルのヘッダなどから取得したりするものとする。

顔検出部１１３は、撮影された画像に含まれる顔領域を検出し、検出された顔領域のそれぞれについて、位置、大きさ、信頼度などの顔情報を求める。なお、顔検出部１１３はニューラルネットワークに代表される学習を用いた手法、目、鼻、口などの特徴部位を、画像領域からテンプレートマッチングを用い探し出し類似度が高ければ顔とみなす手法など、任意の方法を用いて顔領域を検出することができる。

操作部１２０は、ユーザがデジタルカメラ１００に各種の指示を入力するためのボタンやスイッチなどの入力デバイスをまとめて記載したものである。表示部１０９がタッチディスプレイである場合、タッチパネルは操作部１２０に含まれる。また、音声入力や視線入力など、非接触で指示を入力するタイプの入力デバイスが操作部１２０に含まれてもよい。

不揮発性メモリ１２１は電気的に消去・記録可能な、例えばＥＥＰＲＯＭ等であってよい。不揮発性メモリ１２１は、各種の設定値、ＧＵＩデータをはじめ、システム制御部５０がＭＰＵやＣＰＵである場合には、システム制御部５０が実行するためのプログラムが記録される。
システムメモリ１２２は、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読みだしたプログラム等を展開するために用いる。

補助光源１２３は典型的にはフラッシュなどの閃光装置であるが、連続点灯するＬＥＤなどの光源であってもよい。補助光源１２３はその発光量をデジタルカメラ１００が制御可能であればデジタルカメラ１００が内蔵している必要はない。また、内蔵と外付けの補助光源を併用してもよい。測距センサ１２４は被写体との距離を測定し、画素値が距離情報を表す距離画像を生成する。

次に、デジタルカメラ１００における撮影時の動作について説明する。
例えば撮像部１０３は、シャッター１０２が開いている際にレンズ群１０１が撮像面に形成する被写体像を撮像素子によって光電変換し、アナログ画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は撮像部１０３から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換し画像処理部１０５に出力する。

画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、又は、メモリ制御部１０７からの画像データに対し、色補間（デモザイク）、γ補正、輪郭強調、ノイズリダクション、色補正などの各種画像処理を行う。

また、画像処理部１０５では、撮影で得られた画像データを用いて輝度やコントラストなどに関する所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が測距制御、露光制御を行う。このように、本実施形態のデジタルカメラ１００では、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理を行う。画像処理部１０５ではさらに、撮影で得られた画像データを用いたオートホワイトバランス（ＡＷＢ）調整も行う。

画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。

また、Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示装置に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。

コーデック部１１０は、画像メモリ１０６に記録された画像データをＪＰＥＧやＭＰＥＧなどの規格に基づき符号化する。システム制御部５０は符号化した画像データに対して予め定められたヘッダなどを付与して画像ファイルを形成し、インタフェース１１１を介して記録媒体１１２に記録する。

なお、現在のデジタルカメラでは、撮影スタンバイ状態においては動画撮影を行い、撮影された動画を表示部１０９に表示し続けることにより表示部１０９を電子ビューファインダ（ＥＶＦ）として機能させるのが一般的である。この場合、シャッター１０２は開いた状態とし、撮像部１０３のいわゆる電子シャッターを用いて例えば３０フレーム／秒の撮影を行う。

そして、操作部１２０に含まれるシャッターボタンが半押しされると上述のＡＦ，ＡＥ制御が行われ、全押しされると記録用の静止画撮影（本撮影）が実行され、記録媒体１１２に記録される。また、動画撮影ボタンなどにより動画撮影が指示された場合は、記録媒体１１２への動画記録を開始する。

（画像処理部）
図２は画像処理部１０５の機能構成例を示すブロック図である。
図１のＡ／Ｄ変換器１０４から出力された画像データは、同時化処理部２００に入力される。画像データは、撮像素子に設けられたカラーフィルタを構成する色成分の１つに対応した値を有する。一般的に用いられるベイヤー配列の原色カラーフィルタが用いられる場合、画像データは、Ｒ画素，Ｇ画素，Ｂ画素のデータから構成される。同時化処理部２００はこのような画像データに対して同時化処理（デモザイク処理とも呼ばれる）を行い、画素が有していない色成分を補って、各画素がＲ，Ｇ，Ｂ成分を有する画像データを生成する。Ｒ，Ｇ，Ｂ成分を以下では色信号と呼ぶ。

ＷＢ増幅部２０１は、システム制御部５０が算出するホワイトバランスゲイン値に基づき各画素の色信号Ｒ，Ｇ，Ｂにゲインを適用し、ホワイトバランスを調整する。

ホワイトバランスが調整された画像データはＷＢ増幅部２０１から輝度・色信号生成部２０２に入力される。輝度・色信号生成部２０２は、画像データのＲＧＢ成分から輝度信号Ｙを生成し、輪郭強調処理部２０３へ出力する。また、輝度・色信号生成部２０２は、色信号Ｒ，Ｇ，Ｂを色変換処理部２０５へ出力する。

輪郭強調処理部２０３では、輝度信号Ｙに対して輪郭強調処理を行い、輝度ガンマ処理部２０４へ出力する。輝度ガンマ処理部２０４では輝度信号Ｙに対してガンマ補正を行い、補正後の輝度信号Ｙをメモリ制御部１０７を通じて画像メモリ１０６に出力する。

色変換処理部２０５は、マトリクス演算などにより、色信号Ｒ，Ｇ，Ｂを所望のカラーバランスへ変換して、色ガンマ処理部２０６および陰影情報取得部２０８へ出力する。色ガンマ処理部２０６では、色信号Ｒ，Ｇ，Ｂに対してガンマ補正を行い、補正後の色信号Ｒ，Ｇ，Ｂを色差信号生成部２０７へ出力する。色差信号生成部２０７は、ガンマ補正後の色信号Ｒ，Ｇ，Ｂから、例えばＲＧＢ−ＹＵＶ変換により、色差信号Ｒ−Ｙ（ＶまたはＣｒ），Ｂ−Ｙ（ＵまたはＣｂ）を生成する。色差信号生成部２０７は、色差信号をメモリ制御部１０７を通じて画像メモリ１０６に出力する。

画像メモリ１０６に出力された、輝度信号Ｙ，色信号Ｒ−ＹおよびＢ−Ｙは、コーデック部１１０によって符号化され、システム制御部５０により記録媒体１１２に記録されたり、外部へ出力されたりする。

陰影情報取得部２０８は、色変換処理部２０５の出力する色信号Ｒ，Ｇ，Ｂから、環境光源によって被写体に生じた陰影の状態を解析するための情報（陰影情報）を取得し、メモリ制御部１０７を通じて画像メモリ１０６に出力する。
本実施形態では、被写体の平均輝度情報および顔領域の輝度ヒストグラム情報を陰影情報として取得する。

（リライティング処理）
次にリライティング処理部１１４の構成および動作について図３を用いて説明する。
リライティング処理が必要な場合（例えばユーザ操作により処理の実行が選択されている場合）、システム制御部５０は画像処理部１０５の出力する輝度および色差信号をリライティング処理部１１４に入力し、仮想光源によるリライティング処理を行う。

ＲＧＢ信号変換部３０１は入力された輝度信号（Ｙ）および色差信号（Ｂ−Ｙ，Ｒ−Ｙ）を、色信号（Ｒ，Ｇ，Ｂ）に変換し、デガンマ処理部３０２へ出力する。デガンマ処理部３０２は、色信号Ｒ，Ｇ，Ｂに対し、デガンマ処理（輝度ガンマ処理部２０４および色ガンマ処理部２０６で行ったガンマ補正処理の逆処理）を適用する。デガンマ処理部３０２は、デガンマ処理後の色信号Ｒｔ，Ｇｔ，Ｂｔを反射成分算出部３０４およびゲイン処理部３０５に出力する。

また、法線算出部３０３は、測距センサ１２４から出力される距離画像から被写体表面の法線を算出し、法線の情報を出力する。反射成分算出部３０４は、デガンマ処理部３０２の出力する色信号Ｒｔ，Ｇｔ，Ｂｔから、仮想光が被写体に反射した成分を表す色信号Ｒａ，Ｇａ，Ｂａを算出し、仮想光付加部３０６に出力する。ゲイン処理部３０５はデガンマ処理部３０２の出力する色信号Ｒｔ，Ｇｔ，Ｂｔに対してゲインを適用し、ゲイン適用後の色信号Ｒｇ，Ｇｇ，Ｂｇを仮想光付加部３０６に出力する。仮想光付加部３０６は反射成分（色信号Ｒａ，Ｇａ，Ｂａ）を用い、画像信号（色信号Ｒｇ，Ｇｇ，Ｂｇ）に対して仮想光源によるリライティング効果を付加し、色信号Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔを出力する。

ガンマ処理部３０７は、リライティング効果が付加された色信号Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔにガンマ補正を適用し、色信号Ｒ’ｏｕｔ，Ｇ’ｏｕｔ，Ｂ’ｏｕｔを出力する。輝度・色差信号変換部３０８は、色信号Ｒ’ｏｕｔ，Ｇ’ｏｕｔ，Ｂ’ｏｕｔをＹＵＶ形式に変換し、リライティング処理後の画像を表す輝度信号Ｙと色差信号Ｂ−Ｙ，Ｒ−Ｙを出力する。

リライティング処理部１１４の動作の詳細について説明する。
リライティング処理部１１４は、画像処理部１０５が出力し、画像メモリ１０６に記録された輝度および色差信号Ｙ，Ｂ−Ｙ，Ｒ−Ｙをシステム制御部５０を通じて取得する。ＲＧＢ信号変換部３０１は、入力された輝度および色差信号Ｙ，Ｂ−Ｙ，Ｒ−Ｙを色信号Ｒ，Ｇ，Ｂに変換し、デガンマ処理部３０２へ出力する。

デガンマ処理部３０２は、画像処理部１０５の輝度ガンマ処理部２０４および色ガンマ処理部２０６で適用されたガンマ特性の逆の特性を色信号Ｒ，Ｇ，Ｂに適用し、線形の入出力特性に対応する色信号Ｒｔ，Ｇｔ，Ｂｔに変換する。デガンマ処理部３０２は、変換後の色信号Ｒｔ，Ｇｔ，Ｂｔを、反射成分算出部３０４およびゲイン処理部３０５に出力する。

一方、法線算出部３０３は測距センサ１２４から取得した距離画像から法線マップを算出する。上述の通り、距離画像は各画素がその位置における被写体距離を表す情報である。距離画像から法線マップを生成する方法に特に制限は無く、公知の方法を用いることができるが、具体的な生成方法の例を図４を用いて説明する。

図４は、撮影時におけるカメラと被写体の関係の例を、垂直上方から示した図である。ここでは、撮像面に平行な方向に水平座標を設定し、光軸に平行な方向に距離座標を設定している。この場合、被写体４０１に対して、撮影画像の水平方向の差分ΔＨに対する距離（奥行き）Ｄの差分ΔＤから勾配情報を算出し、勾配情報から面の法線ベクトルＮを算出することが可能である。距離画像を構成する画素の値と図４に示す原理により、撮影画像の各画素に対応する法線ベクトルＮを算出可能である。法線算出部３０３は、撮影画像の各画素に対応する法線ベクトルＮの情報を法線マップとして反射成分算出部３０４に出力する。

反射成分算出部３０４では、仮想光源と被写体との距離Ｋ、法線ベクトルＮの情報、および仮想光源パラメータ（後述する処理でシステム制御部５０が決定する）に基づき、所定の位置に設置した仮想光の、被写体表面での反射成分を算出する。具体的には、仮想光源と被写体表面との距離Ｋの２乗に反比例し、被写体の法線ベクトルＮと光源方向ベクトルＬとの内積に比例するように、撮影画像に対応する座標位置の反射成分を算出する。

仮想光の反射成分の算出処理について、再度図４を用いて説明する。図４において、仮想光源４０２が図の位置に配置されているものとする。この場合、カメラ１００で撮影された撮影画像の水平座標Ｈ１に対応する画素に対する仮想光の反射成分は、座標Ｈ１における法線ベクトルＮ１と仮想光源の方向ベクトルＬ１と内積に比例し、仮想光源４０２と被写体４０１との距離Ｋ１に反比例する。なお、ここでは説明の簡略化のため垂直座標は省略している。

この関係に基づき、仮想光の被写体反射成分の色信号Ｒａ，Ｇａ，Ｂａは以下の式で表すことができる。
Ｒａ ＝ α× （−Ｌ・Ｎ）／Ｋ＾２ × Ｒｗ × Ｒｔ
Ｇａ ＝ α× （−Ｌ・Ｎ）／Ｋ＾２ × Ｇｔ
Ｂａ ＝ α× （−Ｌ・Ｎ）／Ｋ＾２ × Ｂｗ × Ｂｔ
ここで、αは仮想光源の強度、Ｌは仮想光源の３次元方向ベクトル、Ｎは被写体の３次元法線ベクトル、Ｋは仮想光源と被写体の距離である。また、Ｒｔ，Ｇｔ，Ｂｔはデガンマ処理部３０２から出力された色信号値、Ｒｗ，Ｂｗは光源の色を制御するパラメータである。

本実施形態では、図５を用いて後述するように、仮想光源の色を環境光源の色に合わせるために、制御パラメータＲｗ，Ｂｗを設定する。制御パラメータＲｗ，Ｂｗは仮想光源が非発光の状態における色信号の値と、仮想光源が発光している状態における色信号の値から、以下の様に算出することができる。
Ｒｗ ＝ （Ｒ非発光／Ｇ非発光） ／ （Ｒｔ／Ｇｔ）
Ｂｗ ＝ （Ｂ非発光／Ｇ非発光） ／ （Ｂｔ／Ｇｔ）
反射成分算出部３０４は、このように算出した、仮想光源の反射成分に相当する色信号Ｒａ，Ｇａ，Ｂａを、仮想光付加部３０６へ出力する。

一方、ゲイン処理部３０５では、デガンマ処理部３０２から入力した色信号Ｒｔ，Ｇｔ，Ｂｔに対し、次式のように、システム制御部５０から指定される１／Ｓのゲインを適用し、ゲイン調整後の色信号Ｒｇ，Ｇｇ，Ｂｇを出力する。
Ｒｇ ＝ Ｒｔ ／ Ｓ
Ｇｇ ＝ Ｇｔ ／ Ｓ
Ｂｇ ＝ Ｂｔ ／ Ｓ
ここで、１／Ｓは補助光源１２３の光（補助光）で照射された部分の明るさを落とすゲインである。このゲインの効果および決定方法に関しては後述する。

仮想光付加部３０６では、補助光で照射された被写体領域の色信号Ｒｇ，Ｇｇ，Ｂｇに対して仮想光の反射成分（色信号Ｒａ，Ｇａ，Ｂａ）を付加し、仮想光を反映した色信号Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔを求める。
Ｒｏｕｔ ＝ Ｒｇ ＋ Ｒａ
Ｇｏｕｔ ＝ Ｇｇ ＋ Ｇａ
Ｂｏｕｔ ＝ Ｂｇ ＋ Ｂａ
なお、補助光で照射されていない被写体領域については、仮想光の反射成分はないものとして取り扱う。

仮想光付加部３０６から出力された色信号Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔはガンマ処理部３０７に入力される。ガンマ処理部３０７では、入力された色信号に対してガンマ補正を適用し、色信号Ｒ’ｏｕｔ，Ｇ’ｏｕｔ，Ｂ’ｏｕｔを出力する。輝度・色差信号変換部３０８では、ガンマ補正後の色信号Ｒ’ｏｕｔ，Ｇ’ｏｕｔ，Ｂ’ｏｕｔをＹＵＶ形式に変換し、リライティング処理後の画像信号として輝度信号Ｙ、色差信号Ｒ−Ｙ，Ｂ−Ｙ信号を出力する。

システム制御部５０は、リライティング処理部１１４が出力した輝度信号および色差信号を、メモリ制御部１０７を制御して画像メモリ１０６に書き込む。そして、システム制御部５０は、コーデック部１１０を制御して、画像メモリ１０６から輝度及び色差信号を符号化し、Ｉ／Ｆ１１１を介して記録媒体１１２に記録したり、外部へ出力したりする。

（リライティング処理パラメータの決定動作）
次に、システム制御部５０が、上述したリライティング処理部１１４に用いるリライティング処理パラメータ（仮想光源パラメータ、ゲイン、補助光源１２３の発光量）を決定する動作について説明する。本実施形態において、システム制御部５０は、リライティング処理パラメータを、画像処理部１０５が出力する陰影情報に基づいて決定する。

システム制御部５０は、本撮影に先立ちプレ撮影動作を実行する。プレ撮影はユーザによる操作部１２０への操作をトリガーとして行ってもよいし、プレビュー画像の生成のための撮影として自動で行ってもよい。プレ撮影は補助光源１２３を発光させずに行うことを除き、ライブビュー用の画像撮影や本撮影と同様の処理によって実施することができる。プレ撮影によって得られた画像は、画像処理部１０５で上述の処理を行い、メモリ制御部１０７を通じて画像メモリ１０６に記憶される。

図５は、本撮影前のプレ撮影（非発光）の際のシステム制御部５０の動作を示したフローチャートである。以下、図５のフローチャートに従って、システム制御部５０が陰影状態に基づき、リライティング処理パラメータを決定する動作について説明する。

Ｓ５０１でシステム制御部５０は、リライティング処理の実行が必要かどうかを判定する。この判定は、例えば操作部１２０に対するユーザからの操作によってリライティング処理の実行もしくはリライティング処理を伴う動作の実行が設定されているかどうかに基づいて行うことができる。システム制御部５０はリライティング処理の実行が必要と判定された場合には処理をＳ５０２に進め、リライティング処理の実行が不要と判定された場合には処理を終了する。

Ｓ５０２でシステム制御部５０は、プレ撮影された画像の明るさを解析する。具体的には、システム制御部５０は、画像処理部１０５が画像メモリ１０６に出力した陰影情報のうち、被写体の平均輝度情報を解析する。被写体の平均輝度情報から、被写体の明るさが不足している（予め定められた適正な明るさ未満である）場合、システム制御部５０は補助光源１２３の発光（補助光）が必要と判断する。システム制御部５０は、補助光源１２３の発光が必要と判断した場合は処理をＳ５０３に進め、補助光源１２３の発光が不要と判断した場合は、処理を終了する。

Ｓ５０３でシステム制御部５０は、画像処理部１０５が画像メモリ１０６に出力した陰影情報のうち、顔領域の輝度ヒストグラム情報を解析し、被写体に生じている陰影度合いを算出する。陰影度合いとは、明部と暗部の分布が広がっている度合いを示す値であり、図６を用いて具体的に説明する。

図６（Ａ）および（Ｂ）はプレ撮影で得られた画像の例を示し、図６（Ｃ）は（Ａ）の顔領域６０１の輝度ヒストグラムを、図６（Ｄ）は顔領域６０２の輝度ヒストグラムを示している。なお、システム制御部５０は、顔領域に含まれる画素のうち、予め定められた肌色の色相・彩度を持つ画素を抽出し、抽出した画素の輝度ヒストグラムを生成する。

システム制御部５０は、輝度ヒストグラムの度数が所定の閾値ＴＨ以上ある輝度の階調数に基づいて、陰影度合いを算出する。具体的な算出方法に制限はないが、システム制御部５０は、度数が閾値ＴＨ以上となる輝度の広がりが大きいほど、陰影度合いが高くなるように算出する。より具体的には、度数が閾値ＴＨ以上となる最低輝度と最高輝度の差が大きいほど陰影度合いが高くなるように算出する。これにより、陰影度合いは、被写体領域内に明るい部分と暗い部分（陰部分）が強く出ていれば高くなり、全体的に明るい場合や暗い場合は低くなる。度数が閾値ＴＨ以上となる最低輝度と最高輝度の差の大きさと、陰影度合いの具体値との関係は適宜決定することができる。

具体的には、図６（Ａ）は逆光での撮影のため、被写体全体が陰になっており、顔領域６０１の輝度ヒストグラム（図６（Ｃ））のうち、度数が閾値ＴＨ以上となる輝度は低輝度部に集中し、その広がりＷ１は小さい（狭い）。一方、図６（Ｂ）は室内での撮影であり、被写体には照明が当たっている部分と陰になっている部分が混在し、顔領域６０２の輝度ヒストグラム（図６（Ｄ））において、度数が閾値ＴＨ以上となる輝度の広がりＷ２は大きい（広い）。したがって、陰影度合いは、顔領域６０１よりも顔領域６０２の方が高くなる。

図５に戻り、Ｓ５０４でシステム制御部５０は、Ｓ５０３で算出した陰影度合いが少ない（所定値以下）か否かを判定し、陰影度合いが所定値以下であればＳ５０５に、陰影度合いが所定値を超えている場合はＳ５０８に、それぞれ処理を進める。

Ｓ５０５およびＳ５０８でシステム制御部５０は、プレ撮影の後に行う本撮影時の補助光源の発光量を決定する。具体的には、システム制御部５０は、被写体の陰影度合いが所定値以下の場合（Ｓ５０５）、補助光源の発光によって適正露出となるような、通常の発光量を決定する。これは、陰影度合いが少ない場合には補助光源の発光によって仮に陰影が弱くなったとしても、その影響は小さいと考えられるからである。

一方、陰影度合いが所定値を超える場合（Ｓ５０８）、システム制御部５０は通常よりも低い（通常より弱い）補助光源の発光量を決定する。これは、陰影度合いが少なくない場合、環境光によって被写体に生じている陰影が補助光源の発光により弱くなった場合に与える影響が大きいと考えられるからである。そのため、通常よりも弱めに発光させて、環境光で生じている陰影への影響を抑制する。通常よりも弱く発光させることで不足する露光量は、仮想光源によるリライティング処理によって補う。

Ｓ５０６、Ｓ５０７およびＳ５０８、Ｓ５０９でシステム制御部５０は、ゲインおよび仮想光源パラメータを決定する。
被写体の陰影度合いが所定値以下の場合、Ｓ５０６でシステム制御部５０は、被写体領域の明るさを低減させるように、リライティング処理部１１４のゲイン処理部３０５（図３）のゲイン（１／Ｓ）を設定する。ここで、Ｓ＞１であり、被写体領域の明るさを補助光源非発光時における明るさと同等または近い値に低減させるようにＳの値を設定することができる。

図７の例を参照して説明する。図７（Ａ）は、逆光シーンにおいて補助光源を発光させずに撮影された画像の例を示し、被写体領域の陰影度合いが所定値以下である。図７（Ａ）と同じシーンで、通常の発光量（被写体領域が適正露出になるようにする発光量）で補助光源を発光させて撮影した画像の例を図７（Ｂ）に示す。図７（Ｂ）の画像に対し、上述したゲイン（１／Ｓ）を適用することで、図７（Ｃ）に示すような、補助光源を発光させない図７（Ａ）に近い明るさの状態にする。

Ｓ５０７でシステム制御部５０は、仮想光源反射成分（Ｒａ，Ｇａ，Ｂａ）を生成する際に用いる仮想光源の強度αおよび仮想光源の位置を仮想光源パラメータとして決定する。
仮想光源の強度αは、仮想光源の位置における仮想光の輝度値に相当する。仮想光源の強度αは、被写体表面に到達した際に、ゲイン処理部３０５で低下させた輝度を補う値に決定することができる。

この場合、システム制御部５０は、仮想光源の強度αを仮想光源から被写体距離Ｋだけ離れた位置における輝度α’が
α’＝１−（１／Ｓ）
を満たすように決定することができる。なお、主被写体と仮想光源との距離Ｋについては、例えば主被写体領域を均一な明るさで照射できるように、光源モデルを勘案して予め定められているものとする。

また、システム制御部５０は、仮想光源の位置を、主被写体（人物）に対して陰影を付けやすい方向に設定する。例えば、図７（Ｃ）に示すように、主被写体を斜めの方向、例えば水平方向において４５度の方向から照射する位置に設定することができる。被写体に対する照射角度は、光軸に対する角度として定めてもよいし、被写体が人物である場合のように、向きを判別できる場合には被写体の正面の法線に対する角度として定めてもよい。

このようにして、システム制御部５０は仮想光源パラメータ（強度、位置（角度及び距離））およびゲイン処理部３０５のゲイン（１／ＳまたはＳ）を決定し、リライティング処理部１１４に設定する。これらの設定に従ってリライティング処理部１１４が上述のリライティング処理を実行することで、図７（Ｄ）に示すような陰影のある画像を得ることが可能となる。リライティング処理を行う画像は補助光源を点灯させて被写体領域が適正露出となるように撮影している（図７（Ｂ））ため、ゲインを下げて暗くした部分を仮想光で明るくする処理を行っても暗部ノイズが増幅されることがない。

一方、被写体の陰影度合いが所定値を超えている場合、Ｓ５０９、Ｓ５１０でシステム制御部５０は、図６（Ｂ）に示すような環境光源により陰影が生じている被写体の本撮影画像に対するリライティング処理のゲインおよび仮想光源パラメータを決定する。

まずＳ５０９でシステム制御部５０は、ゲイン処理部３０５に設定するゲイン（１／Ｓ）＝１、すなわちＳ＝１に設定する。これは、本撮影された画像の明るさを変更しないことを意味する。なお、ゲイン処理部３０５は、１／Ｓ＝１の場合、ゲイン１を画像に適用してもよいし、ゲインの適用を行わなくてもよい。

次にＳ５１０でシステム制御部５０は、仮想光反射成分（色信号Ｒａ，Ｇａ，Ｂａ）を生成する際に用いる仮想光源の強度αを、補助光源を弱く発光したことで、適正露出に対して不足する露光量を補う強度に設定する。
また、システム制御部５０は、仮想光が環境光と同様に被写体を照射するように、仮想光源の位置（仮想光の照射方向）を決定する。環境光源の位置（環境光の照射方向）の推定方法に制限は無いが、例えば主被写体の陰影の向きから推定することができる。

環境光源の位置の推定方法について、図９に示す例を用いて具体的に説明する。主被写体が人物であった場合、システム制御部５０は顔領域９０１から肌色部分の平均輝度を水平方向および垂直方向について取得する。そして、システム制御部５０は、顔の肌色領域の水平方向の平均輝度分布９０２に基づき、顔の左右で鼻を中心として左右のどちらが明るいかを判定する。図９の例では左側の方が明るい分布をしている。この場合、環境光源は顔に向かって左側に位置していると推定することができる。同様に、システム制御部５０は、顔の肌色領域の垂直方向の平均輝度分布９０３に基づいて、鼻の中心を基準に上下のどちらが明るいかを判定する。図９の例では、上下で大きな差はないため、環境光源は鼻と同じような高さにあると推定することができる。

このようにして、水平方向および垂直方向における環境光源の位置を推定し、被写体に対して環境光源と同様の方向で、被写体から距離Ｋ離れた位置に仮想光源を設定する。

このようなゲインならびに仮想光源パラメータの設定により実施されるリライティング処理について、図８を用いて説明する。
図８（Ａ）は補助光源を発光させずにプレ撮影された画像の例を示し、環境光により被写体領域の陰影度合いが所定値以上である。図８（Ａ）と同じシーンで、Ｓ５０８で決定した、通常の発光量（被写体領域が適正露出になるようにする発光量）よりも少ない発光量で補助光源を発光させて撮影した画像の例を図８（Ｂ）に示す。補助光源を弱めに発光することで、環境光による陰影が残っている。

上述の通り、Ｓ５０９でゲイン（１／Ｓ）＝１とするため、図８（Ｂ）の画像に対して仮想光源によるリライティングを行う。図８（Ｃ）はリライティング処理を模式的に示しており、Ｓ５１０で決定したように、環境光源と同様の方向に仮想光源を設定する。仮想光源の強度αは、補助光源を弱く発光したことによる被写体の明るさ不足を補償するように定める。図８（Ｄ）がリライティング処理後の画像である。このように、環境光による被写体の陰影度合いが所定値を超えている場合には、本撮影時の補助光源の発光量を通常よりも弱くし、環境光による陰影を補助光によって無くさないようにする。そして、補助光の不足分をリライティング処理によって補うことにより、被写体の明るさを適正にしつつ、自然な陰影のある画像を得ることができる。特に、仮想光が環境光と同様の方向から被写体を照射するように仮想光源の位置を設定することで、リライティング処理によって自然な陰影を増やすことが可能となる。

このように本実施形態では、補助光源を用いずに撮影された画像において検出された、環境光によって生じている被写体の陰影の度合いに応じて、本撮影時の補助光源の発光量および、リライティング処理に用いるゲインおよび仮想光源パラメータを決定する。具体的には、環境光による陰影度合いが低い場合には、通常の発光量で補助光源を発光させて得られた画像の明るさを低減してからリライティング処理を行う。そのため、逆光シーンなどで撮影された被写体に対して、リライティング処理によって暗部ノイズを増大することなく陰影を付加することが可能となる。また、環境光による陰影度合いが低くない場合には、通常よりも少ない発光量で補助光源を発光させて得られた画像に対してリライティング処理を適用する。そのため、補助光によって環境光による自然な陰影をなくしてしまうことなく、適正な明るさで、自然な陰影を有する画像を得ることができる。

なお、本実施形態では、被写体の陰影度合い（環境光による陰影の強さ）を、被写体の特徴領域の輝度ヒストグラムに基づき判定した。しかし、陰影度合いの判定方法はこれに限定されず、他の任意の方法を用いることができる。例えば、撮影シーンの明るさ情報や、逆光状態であるかのシーン判定結果を利用して、陰影状態を判定することが可能である。具体的には、逆光シーンや暗いシーンであれば陰影度合いが低いと判定することができ、逆光シーンでも暗いシーンと判別されなければ陰影度合いが低くないと判定することができる。

また、被写体の形状情報を利用して陰影度合いを判定してもよい。形状情報は、被写体が複雑な形状をしている度合いを示し、例えば測距センサ１２４から取得した距離情報の振幅の空間周波数から得ることができる。具体的には、距離情報の振幅の空間周波数が高いと判定される場合は、距離が複雑に変化した被写体であるため、表面の凹凸が多い複雑な形状であると判定でき、距離情報の振幅の空間周波数が低いと判定される場合は、表面が平面状の被写体であると判定できる。

例えば、図６（Ｅ）の画像における被写体（人物）が着ている着物のように被写体が複雑な形状をしている場合、リライティングで正確な陰影をつけようとした場合に非常に高精度な形状情報（距離情報）が必要となる。そのため、環境光源によって元から生じている陰影を補助光で無くさないように補助光源の発光量を弱めに設定するようにすることで、自然な陰影を保ちながら適切な露出量の画像を得ることができる。

また、本実施形態では、被写体の陰影度合いが低いと判定された場合、本撮影時に通常の発光量で補助光源を発光させるものとして説明した。しかし、通常の発光量に限定するものではなく、例えば、通常よりも強い発光量にすることも可能である（ただし、照射された領域が白とびしない程度の発光量とする）。ゲイン低下後にリライティング処理で明るくする部分について、予め明るく撮影しておくことで、リライティング処理によって暗部ノイズが増幅されることを抑制できる。

また、被写体の陰影度合いが低くないと判定された場合、本撮影時に通常の発光量より弱く発光させ、露出条件は変更しないものとして説明した。しかし、露出量を増やすように露出条件を変更し、その分、補助光源の発光量をさらに低くするようにしてもよい。これにより、補助光源を弱く発光しても生じてしまう陰影の消失を低減させることが可能となる。

また、本実施形態では、理解および説明を容易にするため、主被写体が人物（顔）である場合を例に説明したが、主被写体は人物に限定されず、検出可能ないかなる被写体であってもよい。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。第１実施形態では、環境光によって被写体に生じている陰影の度合いに応じて、リライティング処理パラメータ（補助光源の発光量、ゲイン、および仮想光源パラメータ）を決定した。本実施形態では、補助光によって生じる陰影度合いを予測し、予測結果に応じてリライティング処理パラメータを決定する。本実施形態では、補助光によって生じる陰影度合いを、被写体の距離情報によって推定する。

本実施形態は第１実施形態と同様の構成を有するデジタルカメラで実施可能であり、システム制御部５０によるリライティング処理パラメータの決定処理が異なる。そのため、以下では本実施形態に係るリライティング処理パラメータの決定処理について説明し、第１実施形態と共通する構成や動作についての説明は省略する。

図１０は、本撮影前のプレ撮影（非発光）の際のシステム制御部５０の動作を示したフローチャートであり、第１実施形態と同様の処理を行うステップには同じ参照数字を付してある。以下、図１０のフローチャートに従って、システム制御部５０が陰影状態に基づき、リライティング処理パラメータを決定する動作について説明する。

Ｓ５０１、Ｓ５０２では、第１実施形態と同様、システム制御部５０は、リライティング処理の実行が必要性を判定し（Ｓ１００１）、リライティング処理の実行が必要な場合には補助光源１２３の発光が必要なシーンか否かを判定する（Ｓ１００２）。

Ｓ１００３でシステム制御部５０は、測距センサ１２４（図１）からの距離画像を解析し、主被写体の奥行き（主被写体の存在する距離範囲）および、主被写体と背景との距離を算出する。この算出について図１１を用いて説明する。

図１１は撮影被写体の例を示し、図１１（Ａ）は主被写体が人物である例である。この例で主被写体の人物は右手をカメラ側に差し出しており、被写体には奥行きがある。システム制御部５０は、主被写体の手前（手）から奥（顔）までの距離を、奥行き情報として算出する。具体的には、システム制御部５０は、距離画像の主被写体領域を既知の処理により切り出し、主被写体領域内の画素が表す被写体距離の最小値と最大値の差を奥行き情報として算出することができる。図１０（Ｂ）も人物が主被写体の例であるが、この人物は手を差し出したりしておらず、被写体領域の奥行きは図１０（Ａ）の例よりも小さくなる。

次に、主被写体と背景との距離について説明する。図１１の（Ａ）および（Ｂ）のシーンでは、主被写体（人物）と背景との間に一定以上の距離（例えば５ｍ以上）がある。一方、図１１（Ｃ）に示す例では、室内シーンであり、主被写体である人物のすぐ奥に壁があるため、主被写体と背景との距離が小さい。この場合、主被写体領域と背景領域との距離は、例えば、主被写体の顔部分１１０１の距離と、画面上部にある主被写体領域でない領域１１０２、１１０３の距離との差から算出することが可能である。

このようにしてＳ１００３でシステム制御部５０は、被写体の距離情報として、主被写体の奥行き情報および主被写体と背景との距離情報を算出し、例えばシステムメモリ１２２に記憶する。

Ｓ１００４でシステム制御部５０は、Ｓ１００３で算出した主被写体の奥行きが所定の閾値以下であるか判定し、閾値以下の場合はＳ１００５へ、閾値より大きい場合はＳ５０８へ処理を進める。

Ｓ１００５でシステム制御部５０は、主被写体と背景との距離が所定の閾値以下であるか判定し、閾値以下の場合はＳ５０８へ、閾値より大きい場合はＳ５０５へ処理を進める。
Ｓ５０５〜Ｓ５１０は第１実施形態と同様の処理を行うため、詳細な説明は省略する。

本実施形態では、主被写体の奥行が閾値より大きいか、主被写体と背景との距離が閾値以下の場合、補助光源の発光量を通常より弱くし、環境光によって生じている陰影を残しつつリライティング処理を行う。これは、図１１（Ａ）のように主被写体の奥行きが閾値より大きい場合、主被写体領域内における補助光の効果に差が生じるからである。つまり、同一人物の領域のうち、カメラに近い場所には補助光が強く、遠い場所には補助光が弱くあたる。補助光に起因する輝度差は自然な陰影でなく、リライティングにより陰影を付加しても不自然さは残ってしまう。そのため、主被写体の奥行きが閾値以上の場合には補助光源を弱めに発光させ、環境光で生じた陰影を活用する。

また、主被写体と背景（壁）との距離が近い（閾値以下の）、図１１（Ｃ）のようなシーンでは、補助光が強いと、図１１（Ｄ）に示すように、補助光によって主被写体の影１１０４が背景に生じてしまう。このような影があると、後からリライティング処理によって仮想光を付加した場合に、仮想光による陰影と相反して不自然な陰影の画像の原因となる。また、仮想光によって、補助光によって生じた影を消すのは困難である。そのため、主被写体と背景との距離が閾値以下の場合は、補助光源の発光量を通常より小さくし、補助光による強い影が生じにくくする。

このように、主被写体が適正な明るさになるように補助光源を照射すると、リライティング処理に弊害が生じたり、不自然な陰影になってしまう場合は、補助光源を弱く発光し、リライティング処理で光量を補う。

一方、主被写体の奥行が閾値以下か、主被写体と背景との距離が閾値より大きい場合には、上述した補助光による影響が生じにくいため、補助光源を通常の発光量で発光させ、リライティング処理で陰影を加えるようにする。

以上で説明したように、本実施形態では、被写体の距離情報を利用して、リライティング処理パラメータを決定する構成とした。これにより、補助光による効果がリライティング処理後の画像を不自然にさせる可能性のあるシーンにおいても、環境光によって生じている陰影を活かしつつ、リライティング処理で主被写体の明るさを適正にすることが可能である。

なお、本実施形態では、被写体の距離情報を利用してリライティング処理パラメータを決定したが、距離情報に加えて、第１実施形態で説明した陰影情報を考慮してもよい。
この場合、被写体の陰影度合いを判定する第１実施形態のＳ５０４の処理を、Ｓ１００４の前〜Ｓ１００５の後のどこかに追加するようにすればよい。つまり、主被写体の陰影度合いが所定値より大きいか、主被写体の奥行が閾値より大きいか、主被写体と背景との距離が閾値以下の場合に、Ｓ５０８〜Ｓ５１０の処理を行うようにすればよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

５０…システム制御部、１０１…光学系、１０３…撮像部、１０５…画像処理部、１０７…メモリ制御部、１０９…表示部、１１３…顔検出部、１１４…リライティング処理部、１２０…操作部、１２３…補助光源、１２４…測距センサ

Claims (14)

1. 補助光源を用いて撮影された画像に対し、仮想光源の効果を付加する補正処理を適用する適用手段と、
   前記補正処理を適用する画像を撮影するための前記補助光源の発光量および、前記補正処理に用いるパラメータを決定する決定手段と、を有し、
   前記決定手段は、前記発光量と前記パラメータとを、前記補助光源を用いて撮影する被写体の陰影度合いであって、前記補助光源を用いずに撮影された画像における前記被写体の陰影度合いに基づいて決定することを特徴とする撮像装置。
2. 前記決定手段は、前記補正処理で前記被写体に陰影が付加されるように前記パラメータを決定することを特徴とする請求項１記載の撮像装置。
3. 前記決定手段は、前記補助光源を用いずに撮影された画像における前記被写体の領域の輝度情報に基づいて、前記陰影度合いを算出することを特徴とする請求項１または２に記載の撮像装置。
4. 前記決定手段は、前記被写体の陰影度合いが所定値以下であれば、前記補助光源の発光量を、前記被写体が適切な明るさとなるような通常の発光量に決定することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記決定手段は、前記被写体の陰影度合いが所定値以下であれば、前記補助光源を用いて撮影した画像の明るさを低減させた後、前記補正処理によって前記被写体の明るさを補正するように前記パラメータを決定することを特徴とする請求項４に記載の撮像装置。
6. 前記決定手段は、前記被写体の陰影度合いが所定値以下でなければ、前記補助光源の発光量を、前記被写体が適切な明るさとなるような通常の発光量よりも小さい発光量に決定することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記決定手段は、前記被写体の陰影度合いが所定値以下でなければ、前記補助光源を用いて撮影した画像の明るさを変更せずに、前記補正処理によって前記被写体の明るさを補正するように前記パラメータを決定することを特徴とする請求項６に記載の撮像装置。
8. 前記決定手段は、前記被写体の陰影度合いが所定値以下でなければ、前記パラメータのうち、前記補正処理に用いる仮想光源の位置を、環境光源と同じ方向で決定することを特徴とする請求項６または７に記載の撮像装置。
9. さらに、前記被写体および背景の距離情報を取得する取得手段を有し、
   前記決定手段は、前記発光量と前記パラメータとを、前記距離情報に基づいて推定された陰影度合いに基づいて決定することを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. さらに、前記被写体および背景の距離情報を取得する取得手段を有し、
    前記決定手段は、前記距離情報に基づいて、前記被写体の奥行きが閾値以下と判定されない場合には、前記陰影度合いが前記所定値以下でない場合と同様に前記パラメータを決定することを特徴とする請求項４から８のいずれか１項に記載の撮像装置。
11. 前記決定手段は、前記距離情報に基づいて、前記被写体と前記背景との距離の差が閾値以下と判定された場合には、前記陰影度合いが前記所定値以下でない場合と同様に前記パラメータを決定することを特徴とする請求項１０に記載の撮像装置。
12. 前記決定手段は、前記距離情報に基づいて、前記被写体の奥行きが閾値以下と判定され、かつ前記被写体と前記背景との距離の差が閾値以下と判定されない場合には、前記陰影度合いが前記所定値以下である場合と同様に前記パラメータを決定することを特徴とする請求項１０または１１に記載の撮像装置。
13. 撮像装置で実行される方法であって、
    補助光源を用いて撮影された画像に対し、仮想光源の効果を付加する補正処理を適用する適用工程と、
    前記補正処理を適用する画像を撮影するための前記補助光源の発光量および、前記補正処理に用いるパラメータを決定する決定工程と、を有し、
    前記決定工程においては、前記発光量と前記パラメータとを、前記補助光源を用いて撮影する被写体の陰影度合いであって、前記補助光源を用いずに撮影された画像における前記被写体の陰影度合いに基づいて決定することを特徴とする方法。
14. 撮像装置が備えるコンピュータを、請求項１から１２のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。