JP7199849B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像を補正する技術に関する。

従来、撮影後の画像内の被写体に対して、仮想的な光源からの光を照射するライティング処理技術が知られている。このライティング処理により、例えば撮影時の照明条件等がよくなくても、好ましい画像を得ることが可能となる。また、例えば特許文献１には、顔領域全体の平均輝度よりも低い輝度領域を影領域として抽出し、その抽出した影領域の明度を上げる処理を行うことで、撮影画像に対して擬似的なライティング処理を行う技術が開示されている。

特開２０１０－１３５９９６号公報

ここで、ライティング処理の対象となる被写体の一例としては顔を挙げることができる。顔には例えば頬、鼻、眼、口等の様々な部位があり、ライティング処理ではこれら各部位を有する顔の明るさを補正するような処理が行われる。ライティング処理では輝度（明るさ）に基づく補正を行うが、顔に対してライティング処理を行った場合、明るさのみならず、例えば肌のテクスチャの再現や、顔内の陰影のつき方等にも影響を与えてしまうことがある。

例えば、顔内では部位等により肌のテクスチャが異なっており、頬や小鼻の部位では毛穴等のような複数のドット状のテクスチャ、目元や口元の部位では小皺のような複数の線状のテクスチャとなり、各部位によってテクスチャに含まれる周波数成分が異なる。一方で、ライティング処理によりテクスチャの補正を行う場合、その補正後のテクスチャの再現目標は、例えば被写体の性別や年齢、ユーザの好みによって異なる。しかし、ライティング処理により明るさに基づく補正を行った場合、例えばテクスチャを強調し過ぎたり、逆にテクスチャを消失させてしまったりすることがある。また顔内の陰影のつき方についても、被写体の性別や年齢、ユーザの好みによって、例えばコントラストを強調した印象にしたいか、柔らかい光を当てたような陰影のあまりつかない印象にしたいかなど、異なることが多い。しかし、ライティング処理により明るさに基づく補正では、被写体の性別や年齢、ユーザの好みに応じた、望ましい陰影のつき方を得ることが難しい。これらのことは被写体が顔である場合に限らず、他の被写体である場合にも起こり得る。このように、従来のライティング処理技術では、例えば肌のテクスチャや陰影の再現特性を好適に制御することが困難である。

そこで、本発明は、撮影画像の被写体に対する擬似的なライティングにおいて、被写体のテクスチャや陰影の再現特性を好適に制御した画像を取得可能にすることを目的とする。

本発明の画像処理装置は、仮想光源を設定する設定手段と、撮影により得られた入力画像から、被写体の部分領域の特徴を解析する解析手段と、入力画像に基づいて前記仮想光源を被写体に照射した際の反射色成分を生成し、前記入力画像に対して、前記反射色成分に基づく補正を行う手段であって、前記設定手段により設定された情報と前記解析手段による解析結果の情報とに基づいて前記反射色成分の特性を制御する処理手段と、を有し、前記設定手段は、前記仮想光源の光の拡散の度合を設定し、前記処理手段は、前記仮想光源の光の拡散の度合いが大きい場合には、前記部分領域の着目画素近傍の３次元形状の変化量に基づいて、前記着目画素近傍の陰影が低減するよう、前記反射色成分の特性を制御することを特徴とする。

本発明によれば、撮影画像の被写体に対する擬似的なライティングにおいて、被写体のテクスチャや陰影の再現特性を好適に制御した画像を取得できる。

デジタルカメラの構成例を示す図である。 画像処理部の構成例を示す図である。 リライティングのパラメータ設定処理のフローチャートである。 被写体と仮想光源の関係を示す図である。 リライティング処理部の構成例を示す図である。 リライティング処理部の動作を示すフローチャートである。

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
以下、本発明に係る画像処理装置の一適用例としてデジタルカメラを例に挙げて説明する。図１は、本実施形態のデジタルカメラ１００の概略的な構成例を示すブロック図である。

レンズ群１０１は、フォーカスレンズとズームレンズおよび絞りを備えた撮像光学系であり、撮像部１０３が備える撮像素子上に被写体等の光学像を結像させる。シャッター１０２は、例えばフォーカルプレーンシャッターであり、システム制御部５０による制御の下で開閉動作が行われる。
撮像部１０３は、レンズ群１０１を介して撮像素子上に形成された光学像を光電変換により電気信号に変換してアナログ画像信号を出力する。撮像部１０３の撮像素子は、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサである。撮像素子の撮像面には、三原色のＲ（赤），Ｇ（緑），Ｂ(青）の各色成分に対応したカラーフィルタがいわゆるベイヤー配列と呼ばれる配列で画素毎に設けられている。このため、撮像部１０３からは、ベイヤー配列に対応したＲＧＢの各画素の色信号からなるアナログ画像信号が出力される。
Ａ／Ｄ変換部１０４は、撮像部１０３から出力されたアナログ画像信号をデジタル画像データに変換し、その画像データを画像処理部１０５とメモリ制御部１０７に出力する。

画像メモリ１０６は、メモリ制御部１０７による制御の下、撮像部１０３にて撮像されてＡ／Ｄ変換部１０４でデジタル変換された画像データや、後述する画像処理部１０５による画像処理後の画像データ等を、一時的に記憶する。また、画像メモリ１０６は、Ｉ／Ｆ部１１１を介して記録媒体１１２から読み込まれた画像データや、表示部１０９に表示するための画像データ等の記憶も行う。
記録媒体１１２は、例えば半導体メモリカードやカード型ハードディスク等であり、デジタルカメラ１００に着脱可能となされており、このデジタルカメラ１００にて撮影された画像データや他のデジタルカメラにより撮影された画像データ等が記録される。
Ｉ／Ｆ部１１１は、記録媒体１１２とデジタルカメラ１００とを電気的に接続するインターフェース部である。デジタルカメラ１００にて撮影された画像データはＩ／Ｆ部１１１を介して記録媒体１１２に送られて記録され、また、記録媒体１１２から読み出された画像データはＩ／Ｆ部１１１を介して画像メモリ１０６等に送られる。

顔・器官検出部１１３は、撮像部１０３で撮像されてＡ／Ｄ変換部１０４から出力された画像やメモリ制御部１０７が画像メモリ１０６から読み出した画像に対して、所定の画像解析処理を行うことにより、画像内から人の顔が映っている領域を検出する。さらに顔・器官検出部１１３は、検出した顔領域内で、眼、鼻、口、頬、耳等の顔に含まれる器官とその器官位置を検出する。顔・器官検出部１１３による顔と器官の検出データは、メモリ制御部１０７を介して、画像メモリ１０６に一時的に記憶され、また必要に応じて画像メモリ１０６から読み出されて後述する画像処理部１０５やリライティング処理部１１４に送られる。

Ｄ／Ａ変換器１０８は、撮像部１０３にて撮像されてＡ／Ｄ変換部１０４から出力された画像データや画像メモリ１０６から読み出された画像データ、記録媒体１１２から読み出された画像データ等を、アナログ映像信号に変換して表示部１０９に出力する。
表示部１０９は、ＬＣＤ（液晶ディスプレイ）等の表示装置を有し、Ｄ／Ａ変換器１０８から出力されたアナログ映像信号に基づく画像を表示する。表示部１０９には、撮影等された画像や、いわゆるライブビュー表示の際に撮像部１０３にて撮像されているライブビュー画像等が表示されることになる。また、表示部１０９には、デジタルカメラ１００をユーザが操作等する際のユーザインタフェース画像も表示される。
操作部１２０は、デジタルカメラ１００のシャッターボタンや各種スイッチ、表示部１０９の画面上等に配されたタッチパネル等を含み、ユーザによる操作を検知し、その検知した操作情報をシステム制御部５０に通知する。

コーデック部１１０は、画像データを圧縮符号化・復号化する。コーデック部１１０は、画像メモリ１０６に記憶された画像データを、ＪＰＥＧやＭＰＥＧなどの規格に準拠した形式で圧縮符号化する。コーデック部１１０にて圧縮符号化された画像データは、システム制御部５０による制御の下、Ｉ／Ｆ部１１１を介して記録媒体１１２に記録される。また、コーデック部１１０は、システム制御部５０による制御の下、Ｉ／Ｆ部１１１を介して記録媒体１１２から読み出された、圧縮符号化された画像データの復号化を行うことも可能である。

不揮発性メモリ１２１は、補助記憶装置として、プログラムやパラメータなどを格納するＥＥＰＲＯＭなどの不揮発性の半導体メモリを含む。
システムメモリ１２２は、主記憶装置として、不揮発性メモリ１２１から読み出したプログラム等を展開する他、システム制御部５０の動作用の定数、変数を記憶する。すなわちシステムメモリ１２２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読み出したプログラム等が展開される。

システム制御部５０は、ＣＰＵ又はＭＰＵを含み、不揮発性メモリ１２１に記憶されているプログラムをシステムメモリ１２２の作業領域に展開することにより実行して、本実施形態のデジタルカメラ１００全体の各機能を制御する。例えば、システム制御部５０は、ユーザによる操作部１２０の操作入力や設定状態を基に、撮影の制御や、各種画像処理の制御、リライティング処理の制御、カメラ動作モードの切り替え等の各種の制御を行う。本実施形態に係るプログラムには、デジタルカメラ１００における被写体撮影時の基本動作プログラムの他に、後述するリライティング処理の制御、後述するフローチャートの処理を実行等するためのプログラムも含まれる。システム制御部５０が実行するプログラムは、不揮発性メモリ１２１に予め格納されている場合だけでなく、記録媒体１１２等から取得されてもよく、或いは不図示のネットワーク等を介して取得されてもよい。

画像処理部１０５は、撮像部１０３にて撮像された画像、あるいは画像メモリ１０６から読み出された画像に対して、ホワイトバランス処理、γ（ガンマ）処理、輪郭強調、色補正処理などの各種の画像処理を行う。また、画像処理部１０５は、顔・器官検出部１１３による顔領域と器官の位置などの検出結果の情報や、撮像された画像データ等を用いて、露光制御や測距制御等に用いられる評価値を算出する。この算出された評価値の情報は、システム制御部５０に送られる。このときのシステム制御部５０は、画像処理部１０５にて算出された評価値に基づいて、例えば被写体の顔に対して露出を合わせる露光制御や、顔あるいは眼にピントを合わせる測距制御等を行う。具体的には、システム制御部５０は、いわゆるＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の制御を行う。露光制御や測距制御等を行う際に用いられる評価値とその算出処理については公知の様々な技術を用いることができ、ここではそれらの説明及び図示は省略する。

リライティング処理部１１４は、撮像部１０３にて撮像された画像や、画像メモリ１０６から読み出された画像に対して、リライティング処理（ライティング処理）を行う。本実施形態に係るリライティング処理とは、画像中の特定の被写体の領域に対し、仮想光源からの光を照射して明るさを補正するとともに、被写体の領域におけるテクスチャと階調特性の少なくともいずれかを含む質感をも補正する処理となされている。この時のシステム制御部５０は、顔・器官検出部１１３による顔領域と器官の位置などの検出結果を参照して、リライティング処理部１１４におけるリライティング処理を制御する。本実施形態に係るリライティング処理の詳細については後述する。

＜画像処理部の概略構成＞
図２は、画像処理部１０５の構成例を示したブロック図である。
図２において、画像処理部１０５は、輝度・色生成部２００、輪郭強調部２０１、輝度ガンマ処理部２０２、ＷＢ増幅部２０３、色変換部２０４、色ガンマ処理部２０５、色差生成部２０６を有する。

画像処理部１０５において、輝度・色生成部２００には、例えば撮像部１０３にて撮像されてＡ／Ｄ変換部１０４によりデジタル変換された画像データが入力される。輝度・色生成部２００に入力された画像データは、いわゆるベイヤー配列に対応したＲ，Ｇ，Ｂのデータである。輝度・色生成部２００は、ベイヤー配列に対応した入力画像データに対して同時化処理を行い、Ｒ，Ｇ，Ｂの各色信号（以下、ＲＧＢ信号と表記する。）を生成する。また、輝度・色生成部２００は、ＲＧＢ信号から輝度信号Ｙを生成する。輝度・色生成部２００は、ＲＧＢ信号をＷＢ増幅部２０３へ出力し、輝度信号Ｙを輪郭強調部２０１へ出力する。

輪郭強調部２０１は、輝度・色生成部２００から供給された輝度信号Ｙからなる画像に対して輪郭強調処理を行い、その輪郭強調処理後の輝度信号Ｙを輝度ガンマ処理部２０２へ出力する。
輝度ガンマ処理部２０２は、輪郭強調部２０１から供給された輝度信号Ｙに対してガンマ補正を行う。このガンマ補正後の輝度信号Ｙは、画像メモリ１０６に送られて一時的に記憶される。

ＷＢ増幅部２０３は、後述するようにしてシステム制御部５０が算出したホワイトバランスゲイン値に基づき、色信号であるＲＧＢ信号にゲインをかけてホワイトバランスを調整する処理を行う。ＷＢ増幅部２０３でホワイトバランスが調整されたＲＧＢ信号は、色変換部２０４に送られる。
色変換部２０４は、ホワイトバランス調整後のＲＧＢ信号に対してマトリクス演算を行うことにより、所望のカラーバランスのＲＧＢ信号に変換する。この所望のカラーバランスになされたＲＧＢ信号は、色ガンマ処理部２０５へ送られる。
色ガンマ処理部２０５は、色変換部２０４から供給されたＲＧＢ信号に対してガンマ補正を行った後、色差生成部２０６へ出力する。
色差生成部２０６は、色ガンマ処理部２０５による色ガンマ処理後のＲＧＢ信号から、色差信号Ｒ－Ｙ，Ｂ－Ｙを生成する。これら色差信号Ｒ－Ｙ，Ｂ－Ｙは、画像メモリ１０６に送られて一時的に記憶される。

画像メモリ１０６に一時的に記憶された、輝度信号Ｙと色差信号Ｒ－Ｙ，Ｂ－Ｙからなる画像データは、その後、システム制御部５０による制御の下、図１のコーデック部１１０に送られる。これにより、コーデック部１１０では、それら輝度信号Ｙと色差信号Ｒ－Ｙ，Ｂ－Ｙからなる画像データを所定の規格に基づいて圧縮符号化する。そして、コーデック部１１０により圧縮符号化されたデータは、システム制御部５０による制御の下、前述したように、Ｉ／Ｆ部１１１を介して記録媒体１１２に記録される。また、本実施形態において、後述するリライティング処理が実行される場合、画像メモリ１０６に一時的に記憶された輝度信号Ｙと色差信号Ｒ－Ｙ，Ｂ－Ｙは、リライティング処理部１１４に送られる。

＜リライティング処理＞
次に、本実施形態におけるリライティング処理について説明する。
本実施形態では、リライティング処理の一例として、人物の顔画像に対し、ユーザの指示に基づいて仮想光源の光を照射し、顔の明るさ、顔内の肌のテクスチャ、顔内の陰影等を、好適に補正するような画像補正処理を想定している。
本実施形態のデジタルカメラ１００において、リライティング処理部１１４によるリライティング処理の実行に先立ち、システム制御部５０は、リライティング処理の制御パラメータを算出する。そして、システム制御部５０は、その制御パラメータを、リライティング処理部１１４に対して設定する。

図３には、システム制御部５０がリライティング処理の制御パラメータを設定する処理のフローチャートを示す。なお、図３に示したフローチャートの処理は、システム制御部５０が本実施形態に係るプログラムを実行することにより実現される。なお、以下の説明では、各処理のステップＳ３０１～ステップＳ３０４をＳ３０１～Ｓ３０４と略記する。これらのことは後述する他のフローチャートにおいても同様であるとする。

先ずＳ３０１において、システム制御部５０は、操作部１２０からユーザの操作情報を取得する。ここで、本実施形態のデジタルカメラ１００において、リライティング処理は、例えばユーザ操作によりリライティング処理を実行するカメラ動作モードが選択されている場合に行われるとする。また、本実施形態のデジタルカメラ１００において、ユーザインタフェース画面に表示される各種設定メニューの中には、リライティング処理を実行するカメラ動作モードを選択するためのメニューが用意されている。リライティング処理のメニューには、仮想光源の位置、仮想光源の強度α（明るさ）、仮想光源の光質β、仮想光源の方向（方向ベクトル）、仮想光源と被写体との間の距離等のパラメータ入力メニューが含まれる。このため、ユーザは、操作部１２０およびユーザインタフェース画面を介して、リライティング処理を実行するカメラ動作モードの選択、および、仮想光源の位置、強度α、光質β、方向、距離等の各パラメータを設定することができる。そして、システム制御部５０は、操作部１２０からの操作情報を基に、リライティング処理を実行するカメラ動作モードが選択されたこと、また、仮想光源の位置、強度α、光質β等の各パラメータを取得する。なお、仮想光源の位置、強度α、光質β等の各パラメータは、数値等の入力により設定されてもよいし、プリセットされた中から選択することにより設定されてもよい。

ここで、仮想光源の光質βとは、例えば、様々な方向に拡散されたやわらかい光や、あまり拡散していない硬い光などのような、光の特徴（性質）つまり光の拡散の度合いを表すをパラメータである。例えば硬い光の場合、光源からの光が拡散されずに被写体に直接照射されることになるため、陰影が強くつき、例えば毛穴や皺などのテクスチャも強調される。一方、柔らかい光の場合には、仮想光源の光が拡散されて被写体に照射されるため、陰影があまりつかず、毛穴や皺などのテクスチャの再現も滑らかになる。したがって、仮想光源の光質βを設定することにより、被写体の表面の質感や、陰影を制御することが可能となる。仮想光源の光質βのパラメータは、ユーザからの指示により設定されてもよいし、予め被写体の属性ごとに対応して用意された複数の光質の中から、システム制御部５０が判定した被写体の属性に応じて選択されてもよい。システム制御部５０が光質βを設定する場合、システム制御部５０は、例えば、顔や器官の検出結果に基づいて、被写体の性別や年齢を判定して、それらを被写体の属性として取得する。そして、システム制御部５０は、それら年齢や年齢の被写体属性を基に、仮想光源の光質βのパラメータを設定する。具体例として、システム制御部５０は、例えば、被写体が女性である場合には柔らかい光の光質を設定するパラメータを選択し、被写体が男性である場合にはコントラストを強調した硬い光の光質を設定するパラメータを選択するようなことが考えられる。

次にＳ３０２において、システム制御部５０は、Ｓ３０１で設定された仮想光源の位置、強度α、光質β、方向、距離等の各パラメータを、リライティング処理部１１４の制御パラメータとして設定する。図４には、仮想光源４０１の位置と、被写体４００に対して仮想光源からの光が照射される範囲（照射範囲４０３）と、照射範囲４０３内の中心照射位置４０２と、仮想光源４０１から中心照射位置４０２までの距離Ｄの一例を示した図である。なお、仮想光源の照射範囲４０３とは、仮想光源の影響を受ける範囲であり、したがって照射範囲４０３の外側は仮想光源の影響を受けない領域となる。

次のＳ３０３において、システム制御部５０は、入力画像の画素毎に、仮想光源からの距離Ｄ（ｐ）を算出し、各画素位置と対応付けてシステムメモリ１２２に格納する。
そしてＳ３０４において、システム制御部５０は、入力画像の各画素位置において、どの程度の仮想光源反射色成分が付加されるかを示す、補正重み情報ＲＬ＿ｍａｐを、下記の式（１）を用いて算出して、システムメモリ１２２に格納する。

ＲＬ＿ｍａｐ＝α・（Ｌ・Ｎ（ｐ））／（Ｄ（ｐ）²） 式（１）

式（１）において、αは仮想光源の強度、Ｌは被写体に対する仮想光源の方向ベクトル（図４中で矢印により示されるベクトル）、Ｄ（ｐ）は画素位置ｐにおける仮想光源と被写体との間の距離である。仮想光源の強度α、仮想光源の方向ベクトルＬ、仮想光源から被写体上の中心照射位置までの距離Ｄは、Ｓ３０１においてユーザ入力を基に設定されるパラメータである。また、式（１）のＮ（ｐ）は画素位置ｐにおける被写体の法線情報としての法線ベクトルであり、被写体における法線ベクトルＮは、リライティング処理前にシステム制御部５０によって予め生成されてシステムメモリ１２２に保持されているものとする。例えば、システム制御部５０は、予め視点を変えて複数枚撮影された画像を参照し、それら画像間の視差に基づいて被写体の３次元形状モデルを生成し、その３次元形状モデルの法線ベクトルを生成する。３次元形状モデルの法線ベクトルとは、つまり、被写体における３次元形状を表している情報である。システム制御部５０は、この法線ベクトルＮの情報を予め生成してシステムメモリ１２２に保持させているとする。なお、法線ベクトルの生成手法は一例であり、別の手法により法線ベクトルを生成してもよい。

次にリライティング処理部１１４の構成および動作について説明する。
図５はリライティング処理部１１４の構成例を示したブロック図である。図５に示すように、リライティング処理部１１４は、ＲＧＢ変換部５０１、デガンマ処理部５０２、法線解析部５０３、特徴解析部５０４、平滑化部５０５、付加部５０６、ガンマ処理部５０７、輝度色差変換部５０８を有する。

図５において、ＲＧＢ変換部５０１は、入力された輝度・色差信号（Ｙ，Ｂ－Ｙ，Ｒ－ＹをＲＧＢ信号に変換し、その変換後のＲＧＢ信号をデガンマ処理部５０２へ出力する。
デガンマ処理部５０２は、ＲＧＢ変換部５０１から入力されたＲＧＢ信号に対して、画像処理部１０５の色ガンマ処理部２０５で用いられたガンマ特性の逆特性を用いた演算処理（つまりデガンマ処理）を行うことによりＲＧＢのリニアデータに変換する。そして、デガンマ処理部５０２は、そのデガンマ処理後のＲＧＢ信号Ｒｔ，Ｇｔ，Ｂｔを、特徴解析部５０４と平滑化部５０５と付加部５０６とに出力する。

法線解析部５０３は、システム制御部５０から入力される法線ベクトルＮを参照し、着目画素近傍の法線ベクトルの変化の特徴を解析、つまり被写体における３次元形状の変化量を解析する。この法線解析部５０３による法線特徴解析結果の情報は、平滑化部５０５へ送られる。法線解析部５０３において着目画素近傍の法線ベクトルの変化の特徴を解析する理由等の詳細は後述する。
特徴解析部５０４は、デガンマ処理後のＲＧＢ信号Ｒｔ，Ｇｔ，Ｂｔを参照して、そのＲＧＢ信号からなる画像内の被写体の部分領域について周波数成分、色の成分などの特徴量を解析する。この特徴解析部５０４による画像特徴解析結果の情報は、平滑化部５０５へ送られる。特徴解析部５０４において画像内の被写体の部分領域について周波数成分、色成分などの特徴量を解析する理由等の詳細は後述する。

平滑化部５０５は、法線解析部５０３からの法線解析結果と、特徴解析部５０４からの画像特徴解析結果と、システム制御部５０から出力される仮想光源の光質βのパラメータとに基づいて、平滑化処理の特性を制御可能となされている。また本実施形態の平滑化部５０５は、例えばｍ×ｍ画素の空間フィルタ処理を行うものとし、その際の平滑化のフィルタ係数の設定により、任意の方向について平滑化の強度を調整できるものとする。平滑化部５０５は、当該決定した特性による平滑化処理を、デガンマ処理後のＲＧＢ信号に対して実行し、その平滑化処理後のＲＧＢ信号を付加部５０６へ出力する。平滑化部５０５における平滑化処理の特性制御の詳細は後述する。

付加部５０６は、仮想光源によるリライティングの効果を入力画像に付加するための仮想光源反射色成分の生成処理と補正処理とを行う。
付加部５０６は、先ず平滑化処理後のＲＧＢ信号と、システム制御部５０にて設定された補正重み情報ＲＬ＿ｍａｐとを用い、式（２）、式（３）、式（４）の演算により、仮想光源からのＲＧＢの反射色成分Ｒｖ（ｐ），Ｇｖ（ｐ），Ｂｖ（ｐ）を生成する。

Ｒｖ（ｐ）＝ＲＬ＿ｍａｐ（ｐ）・ｆ（Ｒｔ（ｐ），β） 式（２）
Ｇｖ（ｐ）＝ＲＬ＿ｍａｐ（ｐ）・ｆ（Ｇｔ（ｐ），β） 式（３）
Ｂｖ（ｐ）＝ＲＬ＿ｍａｐ（ｐ）・ｆ（Ｂｔ（ｐ），β） 式（４）

これら式（２）～式（４）において、Ｒｔ（ｐ），Ｇｔ（ｐ），Ｂｔ（ｐ）は、それぞれ、画素位置ｐにおける被写体のＲＧＢの各反射色成分を示している。平滑化部５０５における平滑化処理はｆ（ｘ，β）という関数で定義されており、ｘは平滑化対象である画素位置ｐごとの被写体のＲＧＢの反射色成分Ｒｔ（ｐ），Ｇｔ（ｐ），Ｂｔ（ｐ）である。式中のβは、平滑化処理の強度（平滑化の度合いが強いかあるいは弱いか）を示すパラメータであり、前述した仮想光源の光質βのパラメータで指定される係数である。そしてｆ（ｘ，β）が平滑化処理の結果、すなわちｆ（Ｒｔ（ｐ），β），ｆ（Ｇｔ（ｐ），β），ｆ（Ｂｔ（ｐ），β）は、画素位置ｐごとの各反射色成分Ｒｔ（ｐ），Ｇｔ（ｐ），Ｂｔ（ｐ）を光質βのパラメータに対応した係数で平滑化したものである。これら式（２）～式（４）において算出されるＲＧＢの反射色成分Ｒｖ（ｐ），Ｇｖ（ｐ），Ｂｖ（ｐ）は、仮想光源を付加して顔内の陰影を調整する階調特性を表している。

次に付加部５０６は、画素位置ｐごとに生成した反射色成分Ｒｖ（ｐ），Ｇｖ（ｐ），Ｂｖ（ｐ）を、式（５）、式（６）、式（７）のように、デガンマ処理後の各画素位置ｐのリニアＲＧＢ信号Ｒｔ（ｐ），Ｇｔ（ｐ），Ｂｔ（ｐ）に加算（付加）する。これにより、画素位置ｐごとに仮想光源の光が照射された反射色成分のＲＧＢ信号ＲＬ（ｐ），ＧＬ（ｐ），ＢＬ（ｐ）が生成される。

ＲＬ（ｐ）＝Ｒｔ（ｐ）＋Ｒｖ（ｐ） 式（５）
ＧＬ（ｐ）＝Ｇｔ（ｐ）＋Ｇｖ（ｐ） 式（６）
ＢＬ（ｐ）＝Ｂｔ（ｐ）＋Ｂｖ（ｐ） 式（７）

付加部５０６は前述のように画素位置ｐごとに生成した反射色成分のＲＧＢ信号ＲＬ（ｐ），ＧＬ（ｐ），ＢＬ（ｐ）からなる画像のＲＧＢ信号Ｒ＿ｏｕｔ，Ｇ＿ｏｕｔ，Ｂ＿ｏｕｔを、ガンマ処理部５０７へ出力する。
ガンマ処理部５０７は、付加部５０６から出力されたＲＧＢ信号Ｒ＿ｏｕｔ，Ｇ＿ｏｕｔ，Ｂ＿ｏｕｔに対してガンマ補正を行う。ガンマ処理部５０７では、画像処理部１０５の色ガンマ処理部２０５で用いられたガンマ特性によるガンマ補正が行われ、そのガンマ補正後のＲＧＢ信号Ｒ'ｏｕｔ，Ｇ'ｏｕｔ，Ｂ'ｏｕｔが輝度色差変換部５０８へ出力される。

輝度色差変換部５０８は、入力されたＲＧＢ信号Ｒ'ｏｕｔ，Ｇ'ｏｕｔ，Ｂ'ｏｕｔから輝度信号Ｙと色差信号Ｒ－Ｙ，Ｂ－Ｙを生成する。そして、これらリライティング処理後の輝度信号Ｙと色差信号Ｒ－Ｙ，Ｂ－Ｙは、メモリ制御部１０７を介して画像メモリ１０６に蓄積された後、例えばコーデック部１１０による圧縮符号化等が行われる。また、システム制御部５０は、リライティング処理後の輝度信号Ｙと色差信号Ｒ－Ｙ，Ｂ－ＹをＩ／Ｆ部１１１を介して記録媒体１１２に記録し、更には、表示部１０９においてリライティング処理後の画像として表示するよう制御する。

次に、法線解析部５０３と平滑化部５０５における処理の作用について説明する。
本実施形態のリライティング処理では、前述した式（２）、式（３）、式（４）に示したように、撮影時の被写体の反射色成分を平滑化した信号を元に、仮想光源の反射色成分を生成する。したがって、平滑化部５０５において、どのような平滑化処理を行うかによって、リライティング処理時の、被写体のテクスチャ、陰影の再現が影響を受ける。また、例えば一様な平滑化が行われた場合には、好ましいテクスチャ、陰影が再現できない場合がある。
そこで、本実施形態において、法線解析部５０３では着目画素近傍の法線ベクトルの変化の特徴を解析し、平滑化部５０５ではその法線解析結果に基づいて仮想光源反射色成分を生成するための平滑化処理の方向と強度を局所的に制御する。

例えば、被写体の顔の輪郭、鼻、眼の周りなどは、法線ベクトルの変化が大きく、陰影を制御したい領域であるので、仮想光源について設定された光質のパラメータに応じた陰影が再現できるように、平滑化部５０５での平滑化の方向と強度を制御する。
一方、顔内の頬、口の周りなどは、法線ベクトルの変化が小さく、毛穴や皺、しみ等のテクスチャを制御したい領域であるので、仮想光源の光質のパラメータに応じたテクスチャが再現できるよう、平滑化部５０５での平滑化の方向と強度を制御する。

また、テクスチャ再現を制御するために、平滑化の方向と強度を決める際には、特徴解析部５０４による特徴解析結果も参照する。例えば顔内の頬や小鼻等の器官近傍の部分領域は毛穴のようなドット状のテクスチャ領域となり、目元や口元などの部分領域は皺のような線状のテクスチャ領域となり、それぞれのテクスチャ領域に対する平滑化の方向と強度は異なるべきである。また、肌の部分領域がしみのような色むらのあるテクスチャ領域である場合も、平滑化の方向と強度は、ドット状のテクスチャ領域や線状のテクスチャ領域の場合とは異なるべきである。つまり、着目画素の近傍が、毛穴のようなドット状のテクスチャ領域なのか、皺のような線状のテクスチャ領域なのか、しみのような色むらのあるテクスチャ領域なのかによって、それらを低減または強調するための平滑化の方向、強度は異なる。したがって、特徴解析部５０４において、着目画素周辺にどのような周波数成分、色成分などの特徴が含まれているかを予め解析しておく。平滑化部５０５では、その解析結果を基に、顔の部分領域が毛穴のようなドット状のテクスチャ領域なのか、皺のような線状のテクスチャ領域なのか、しみのような色むらのあるテクスチャ領域なのかを判定する。そして、平滑化部５０５では、光質βのパラメータとテクスチャの判定結果とを基に、平滑化の方向と強度を設定する。例えば、例えばドット状のテクスチャを低減したい場合には、周囲の画素を参照した平均値処理のような平滑化処理を行い、例えば皺のような線状のテクスチャである場合には、皺のエッジを消す方向の平滑化処理を行うようにする。また、しみのような色むらのテクスチャである場合には、色むらを低減するように、より広い範囲を参照した平滑化処理を行うようにする。

次に、図６のフローチャートを参照して、前述した着目画素におけるリライティング処理の流れを説明する。図６のフローチャートの処理は、システム制御部５０による制御の下、図５に示したリライティング処理部１１４により着目画素ごとに実行される。

Ｓ６１０において、リライティング処理部１１４は、システム制御部５０にて算出された補正重み情報ＲＬ＿ｍａｐを参照し、着目画素が、仮想光源の照射範囲内か否かを判定する。リライティング処理部１１４は、着目画素における補正重み情報ＲＬ＿ｍａｐの値が所定の値以上である場合には、仮想光源の照射範囲内であると判定してＳ６１１に処理を進める。一方、リライティング処理部１１４は、着目画素における補正重み情報ＲＬ＿ｍａｐの値が所定の値未満である場合には、着目画素が仮想光源の照射範囲外であると判定して、その着目画素における図６のフローチャートの処理を終了する。

Ｓ６１１に進むと、リライティング処理部１１４の法線解析部５０３は、着目画素における法線ベクトルとその着目画素の周辺の各画素の法線ベクトルとの差分を算出し、その法線ベクトルの差分が最も大きくなる周辺画素を求める。そして、法線解析部５０３は、着目画素から、当該差分が最も大きくなる周辺画素の方向、つまり法線ベクトルの変化が最も大きくなる方向とその変化量とを、それら画素位置と対応付けて、法線ベクトルの変化の特徴として記憶する。Ｓ６１１の後、リライティング処理部１１４の処理は、平滑化部５０５にて行われるＳ６１２に進む。

Ｓ６１２に進むと、平滑化部５０５は、着目画素について、システム制御部５０から仮想光源の光質βのパラメータ（設定値）を取得する。
次のＳ６１３において、平滑化部５０５は、法線解析部５０３での解析結果である法線ベクトルの変化の特徴を取得して参照することで、着目画素が法線ベクトルの変化が大きい領域に含まれるか否かを判定する。一例として、人物の顔領域の場合、例えば鼻の近傍や顔の輪郭の領域では法線ベクトルが大きく変化し、例えば眼の下や頬などの領域では法線ベクトルの変化は小さい。平滑化部５０５は、法線ベクトルの変化量が例えば所定の変化量閾値より大きい場合には、法線ベクトルの変化が大きい領域に含まれると判定してＳ６１４に処理を進める。一方、平滑化部５０５は、法線ベクトルの変化量が所定の変化量閾値以内である場合には、法線ベクトルの変化が小さい領域に含まれると判定してＳ６１５に処理を進める。

Ｓ６１４に進むと、平滑化部５０５は、仮想光源の光質βのパラメータが所定の設定閾値ＴＨ以上（β≧ＴＨ）か否かを判定する。ここで、光質βのパラメータの値は、例えば０からｎまで１ずつ増加する整数の値をとるように定義されているとする。また、仮想光源の光質βは、その値が大きいほど、光の拡散の度合いが高い、いわゆる柔らかい光であることを示しており、逆に、値が小さいほど、光の拡散の度合いが低い、いわゆる硬い光であることを示しているとする。そして平滑化部５０５は、光質βの値が所定の設定閾値ＴＨ以上である場合には仮想光源は柔らかい光に設定されているとみなしてＳ６１６に処理を進める。一方、平滑化部５０５は、光質βの値が所定の設定閾値ＴＨ未満である場合には仮想光源は硬い光に設定されているとみなしてＳ６１７に処理を進める。

Ｓ６１６に進んだ場合、平滑化部５０５は、着目画素における法線解析結果の法線ベクトルの変化の方向を参照し、法線ベクトルの変化が大きい方向に対し、平滑化の度合いを強めるように平滑化処理を設定する。
一方、Ｓ６１７に進んだ場合、平滑化部５０５は、着目画素における法線解析結果の法線ベクトルの変化の方向を参照し、法線ベクトルの変化が小さい方向に対し、平滑化の度合いを強めるように平滑化処理を設定する。
平滑化部５０５は、前述したようにｍ×ｍ画素の空間フィルタ処理が可能であり、平滑化のフィルタ係数の設定により任意の方向について平滑化の強度を調整可能となされている。このため、Ｓ６１６またはＳ６１７のように法線ベクトルの変化の方向に応じた平滑化処理が可能である。Ｓ６１６またはＳ６１７の後、リライティング処理部１１４の処理は、付加部５０６で行われる後述するＳ６２０に進む。

また、Ｓ６１５に進んだ場合、平滑化部５０５は、特徴解析部５０４から、着目画素における特徴解析結果の周波数成分や色成分の特徴量を取得して参照することで、着目画素およびその周辺画素の領域がどのようなテクスチャの領域に含まれるかを推定する。例えば、平滑化部５０５は、着目画素およびその周辺を含む領域において、輝度信号がドット状に短い周期で変動することに起因する高周波成分が多く含まれる場合に、その領域は毛穴のテクスチャ領域であると判定する。また、平滑化部５０５は、着目画素およびその周辺を含む領域において、輝度信号が細線状の周期で変動することによる周波数成分が含まれる場合、その領域は皺のテクスチャ領域であると判定する。Ｓ６１５の後、平滑化部５０５は、Ｓ６１８に処理を進める。

Ｓ６１８に進むと、平滑化部５０５は、Ｓ６１５で着目画素とその周辺画素を含む領域について推定したテクスチャの特徴を基に、平滑化処理における平滑化の方向を決定する。例えば、テクスチャの特徴が毛穴のテクスチャであると推定した場合、平滑化部５０５は、着目画素の周囲の画素を参照して空間的な平滑化処理を行うようにする。また例えば、テクスチャの特徴が皺のテクスチャであると推定した場合、平滑化部５０５は、皺の方向に対して直交する方向について平滑化の強度が大きくなるように平滑化処理の特性を設定する。また例えば、テクスチャの特徴がしみのテクスチャであると推定した場合、平滑化部５０５は、しみとなって見える色の低周波の変動を、弱める方向に、平滑化処理を行うようにする。

次のＳ６１９に進むと、平滑化部５０５は、仮想光源の光質βの設定されたパラメータの値に応じて、平滑化の強度を決定する。
ここで、光質βの値が大きいほど、拡散の度合いの高い、いわゆる柔らかい光が照射されるので、毛穴や皺、しみのようなテクスチャが目立たなくなるよう、平滑化部５０５では平滑化の強度を強める。具体的には、平滑化部５０５がｍ×ｍ画素の空間フィルタ処理である場合に、低域成分のみを通過するような帯域の狭いローパスフィルタの特性を設定して、平滑化の強度を強くする。
また例えば、光質βの値が小さいほど、拡散の度合いの低い、いわゆる硬い光が照射されるので、毛穴や皺、しみのようなテクスチャが強調されるよう、平滑化部５０５での平滑化の強度を弱める。具体的には、平滑化部５０５がｍ×ｍ画素の空間フィルタ処理である場合、低域から中域までを通過するような帯域の広いローパスフィルタの特性を設定し、平滑化の強度を弱める。Ｓ６１９の後、リライティング処理部１１４の処理は、付加部５０６で行われるＳ６２０に進む。

Ｓ６２０に進むと、付加部５０６は、平滑化部５０５の出力と、システム制御部５０によって設定されたリライティングの補正重み情報ＲＬ＿ｍａｐとを用いて、仮想光源からの反射色成分を前述した式（２）、式（３）、式（４）の演算により生成する。

次にＳ６２１において、付加部５０６は、Ｓ６２０で生成した仮想光源反射色成分を、デガンマ処理部５０２から出力されるリニアＲＧＢ信号に付加（加算）する。
以上により、着目画素におけるリライティング処理が終了する。

以上説明したように、本実施形態のデジタルカメラ１００においては、仮想光源が照射される被写体の部分領域の法線ベクトルと、被写体のテクスチャの特徴とに基づいて、仮想光源の反射色成分を生成するための平滑化処理を制御する。本実施形態のデジタルカメラ１００によれば、撮影画像に対し、仮想光源を照射した際のテクスチャと階調特性の少なくともいずれかを含む質感を調整可能となる。すなわち、本実施形態のデジタルカメラ１００によれば、撮影画像に対し、仮想的な被写体反射光成分を生成してリライティング処理を行う場合に影響を受ける、被写体のテクスチャ、陰影の再現特性を良好に制御した画像を得ることができる。

なお、前述した図２の画像処理部１０５や図５のリライティング処理部１１４は、ハードウェア構成だけでなく、図２や図５の各部の処理をＣＰＵ等がプログラムを実行して実現するソフトウェア構成により実現されてもよい。また、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。このソフトウェア構成のためのプログラムは、予め用意されている場合だけでなく、不図示の外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。

また前述の実施形態では、デジタルカメラの撮影画像がリライティング処理される場合を例に挙げたが、例えばスマートフォンやタブレット端末等、工業用カメラ、車載カメラ、医療用カメラなどからの撮影画像をリライティング処理する場合にも適用可能である。またパーソナルコンピュータによりリライティング処理が行われてもよい。

本発明に係る信号処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：デジタルカメラ、５０：システム制御部、１０５：画像処理部、１０９：表示部、１１３：顔・器官検出部、１１４：リライティング処理部、１２０：操作部

Claims (13)

1. 仮想光源を設定する設定手段と、
   撮影により得られた入力画像から、被写体の部分領域の特徴を解析する解析手段と、
   入力画像に基づいて前記仮想光源を被写体に照射した際の反射色成分を生成し、前記入力画像に対して、前記反射色成分に基づく補正を行う手段であって、前記設定手段により設定された情報と前記解析手段による解析結果の情報とに基づいて前記反射色成分の特性を制御する処理手段と、を有し、
   前記設定手段は、前記仮想光源の光の拡散の度合を設定し、
   前記処理手段は、前記仮想光源の光の拡散の度合いが大きい場合には、前記部分領域の着目画素近傍の３次元形状の変化量に基づいて、前記着目画素近傍の陰影が低減するよう、前記反射色成分の特性を制御することを特徴とする画像処理装置。
2. 前記処理手段は、前記仮想光源の光の拡散の度合いが大きい場合には、前記部分領域の着目画素近傍の３次元形状の変化量と周波数成分と色成分との、少なくともいずれかの特徴に基づいて、前記着目画素近傍の画素の値の変化を低減するように、前記反射色成分の特性を制御することを特徴とする請求項１に記載の画像処理装置。
3. 仮想光源を設定する設定手段と、
   撮影により得られた入力画像から、被写体の部分領域の特徴を解析する解析手段と、
   入力画像に基づいて前記仮想光源を被写体に照射した際の反射色成分を生成し、前記入力画像に対して、前記反射色成分に基づく補正を行う手段であって、前記設定手段により設定された情報と前記解析手段による解析結果の情報とに基づいて前記反射色成分の特性を制御する処理手段と、を有し、
   前記設定手段は、前記仮想光源の光の拡散の度合を設定し、
   前記処理手段は、前記仮想光源の光の拡散の度合いが小さい場合には、前記部分領域の着目画素近傍の３次元形状の変化量に基づいて、前記着目画素近傍の陰影が強調されるように、前記反射色成分の特性を制御することを特徴とする画像処理装置。
4. 前記処理手段は、前記仮想光源の光の拡散の度合いが小さい場合には、前記部分領域の着目画素近傍の３次元形状の変化量と周波数成分と色成分との、少なくともいずれかの特徴に基づいて、前記着目画素近傍の画素の値の変化を強調するように、前記反射色成分の特性を制御することを特徴とする請求項３に記載の画像処理装置。
5. 前記解析手段は、前記部分領域の３次元形状、周波数成分、色成分の、少なくともいずれかの特徴を解析することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記設定手段は、ユーザの指示に基づいて、前記仮想光源の光の拡散の度合いを設定することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記設定手段は、前記入力画像における被写体の特徴を検出し、前記被写体の特徴に基づいて、前記仮想光源の光の拡散の度合いを設定することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
8. 前記処理手段は、平滑化手段を有し、前記設定手段により設定された情報と前記解析手段による解析結果の情報とに基づいて、前記平滑化手段における平滑化の方向と強度との少なくともいずれかを制御して、前記反射色成分の特性を制御することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記処理手段は、前記設定手段により設定された情報と前記解析手段による解析結果の情報とに基づいて、前記入力画像に対する重み付け加算を行うことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 画像処理装置が実行する画像処理方法であって、
    仮想光源を設定する設定工程と、
    撮影により得られた入力画像から、被写体の部分領域の特徴を解析する解析工程と、
    入力画像に基づいて前記仮想光源を被写体に照射した際の反射色成分を生成し、前記入力画像に対して、前記反射色成分に基づく補正を行う工程であって、前記設定工程により設定された情報と前記解析工程による解析結果の情報とに基づいて前記反射色成分の特性を制御する処理工程と、を有し、
    前記設定工程では、前記仮想光源の光の拡散の度合を設定し、
    前記処理工程では、前記仮想光源の光の拡散の度合いが大きい場合には、前記部分領域の着目画素近傍の３次元形状の変化量に基づいて、前記着目画素近傍の陰影が低減するよう、前記反射色成分の特性を制御することを特徴とする画像処理方法。
11. 画像処理装置が実行する画像処理方法であって、
    仮想光源を設定する設定工程と、
    撮影により得られた入力画像から、被写体の部分領域の特徴を解析する解析工程と、
    入力画像に基づいて前記仮想光源を被写体に照射した際の反射色成分を生成し、前記入力画像に対して、前記反射色成分に基づく補正を行う工程であって、前記設定工程により設定された情報と前記解析工程による解析結果の情報とに基づいて前記反射色成分の特性を制御する処理工程と、を有し、
    前記設定工程では、前記仮想光源の光の拡散の度合を設定し、
    前記処理工程では、前記仮想光源の光の拡散の度合いが小さい場合には、前記部分領域の着目画素近傍の３次元形状の変化量に基づいて、前記着目画素近傍の陰影が強調されるように、前記反射色成分の特性を制御することを特徴とする画像処理方法。
12. 画像を撮像して入力画像を取得する撮像手段と、
    請求項１から９のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする撮像装置。
13. コンピュータを、請求項１から９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images