JP7301683B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本開示の技術は、撮像画像中の被写体の明るさを補正するための画像処理技術に関する。

暗所での撮像では、被写体に当たる光を補うために拡散光を照射するストロボ等の補助光源を利用する場合がある。補助光源を利用した撮像の場合、補助光源から被写体までの距離が長くなるほど光は広く拡散し、被写体に当たる光が減少する。このため、複数の被写体が異なる距離にある場合では、遠くの被写体ほど補助光源からの光の光量が少なくなるため暗く写ってしまう。

このような補助光源を利用した際の被写体の明るさを補正する方法として、被写体までの距離情報を利用して被写体毎の明るさを補正する方法がある。この補正時に利用する被写体までの距離情報を取得するための方法として、特許文献１の画像処理装置で採用されている方法が知られている。特許文献１の画像処理装置では、補助光を照射して撮像して得られた画像データと補助光を照射せずに撮像して得られた画像データとに基づき、被写体の反射特性の影響を除去した画素値を算出する。そして、算出した画素値と光が距離に応じて減衰する特性とに基づき被写体までの距離に関する情報を取得する。

特開２０１２－８５０９３号公報

しかしながら、特許文献１の画像処理装置では、光沢が発生している被写体に対しては精度よく被写体までの距離に関する情報を取得することが困難である。その結果、光沢が発生している被写体に対しては、明るさの補正の精度が低下するという課題がある。

本開示の技術は、同一シーンに対して、補助光を第１の明るさで点灯させて撮像して得られた第１の画像データと、前記補助光を前記第１の明るさと異なる第２の明るさで点灯させて撮像して得られた第２の画像データとを取得する画像取得手段と、前記第１の画像データ又は前記第２の画像データにおいて複数の被写体に対応する複数の被写体領域を設定する領域設定手段と、前記複数の被写体領域に対して、各被写体領域の反射特性に関する特徴量に基づき前記各被写体領域内から選択領域を選択する領域選択手段と、前記第１の画像データおよび前記第２の画像データにおける前記選択領域の画素値に基づいて、前記第１の画像データの各被写体領域の画素値を補正する補正手段と、を有することを特徴とする画像処理装置である。

本開示の技術は、被写体の反射特性を考慮して、被写体間の距離に応じた被写体の明るさの補正を適切に行うことができる。

実施形態１に係る画像処理装置を備えた撮像装置の外観を示す図である。 実施形態１に係る画像処理装置を備えた撮像装置の内部構成を示す図である。 実施形態１に係る画像処理装置の機能構成および画像処理部２０８と接続される構成を示すブロック図である。 実施形態１に係る画像処理装置における処理の手順を示すフローチャートである。 実施形態１に係る画像データの例を示す図である。 実施形態１に係る被写体領域の例を示す図である。 実施形態１に係る特徴量取得処理の概要を示す図である。 実施形態１に係る領域選択処理の概要を示す図である。 実施形態１に係る補助光到達率推定処理の手順を示すフローチャートである。 実施形態１に係る補正処理の手順を示すフローチャートである。 実施形態１に係る補正処理の概要を示す図である。 実施形態２に係る被写体領域の例を示す図である。 実施形態２に係る特徴量取得処理の流れを示す図である。 実施形態２に係る特徴量取得処理の概要を示す図である。 実施形態２に係る領域選択処理の概要を示す図である。 実施形態２に係る補正委処理の概要を示す図である。 実施形態３に係る特徴量取得処理の流れを示す図である。 実施形態３に係る特徴量取得処理の概要を示す図である。 実施形態３に係る領域選択処理の概要を示す図である。 実施形態４に係る補助光到達率推定処理の流れを示す図である。 実施形態４に係る位置合わせ処理の概要を示す図である。

＜撮像装置の外観＞
図１は、本開示の技術の実施形態に係る画像処理装置を備えた撮像装置の外観を示す図であり、図１（ａ）は撮像装置の前面を示し、図１（ｂ）は背面の外観を示している。撮像装置１０１は、光学部１０２、撮像ボタン１０３、補助光源であるストロボ１０４、距離画像取得部１０５、表示部１０６、及び操作ボタン１０７を備える。

光学部１０２は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、及びシャッターによって構成される鏡筒であり、被写体からの光を集光する。

撮像ボタン１０３は、主にユーザが撮像の開始を撮像装置１０１に指示するためのボタンである。加えて、撮像ボタン１０３は、操作ボタン１０７のように各種設定を行うためのボタンの１つとしても用いることができる。

ストロボ１０４は、撮像の開始に合わせて発光させることができる照明である。図１では撮像装置１０１に内蔵されているが、外付けであってもよく、撮像ボタン１０３による撮像の開始の指示に連動して動作するものであれば撮像装置１０１に取り付けられていなくてもよい。

距離画像取得部１０５は、撮像指示に応じて被写体の距離画像データを取得する。ここで、距離画像データとは、画像の各画素の画素値として、その画素に対応する被写体までの距離を示す距離情報を格納した画像データのことを意味する。距離画像取得部１０５は、赤外光を発光する赤外発光部と、被写体で反射した赤外光を受光する受光部とを備える。距離画像取得部１０５は、赤外発光部から出射された赤外光が被写体で反射し、その反射光を受光部で受光するまでの時間に基づき、撮像装置１０１から被写体までの距離値を算出する。そして、算出した距離値と受光部のセンサ画素数や画角等を含む距離撮像情報に基づいて、被写体の位置情報を算出し、距離画像データを生成する。

なお、距離画像データの取得方法は、必ずしもこれに限らない。したがって、例えば、距離画像取得部１０５の代わりに光学部１０２と同様の光学系を設け、異なる２つの視点から撮像された画像データ間の視差に基づいて、三角測量を行うことにより距離画像データを取得してもよい。また後述するように、被写体に対応する画素領域である被写体領域を抽出するために距離画像データを用いない場合は、距離画像取得部１０５を省いてもよい。

表示部１０６は、撮像装置１０１にて処理された画像データや他の各種データを表示する、液晶ディスプレイ等の表示装置である。なお、図１の例に示すように、撮像装置１０１は光学ファインダを備えていないので、フレーミング操作（ピントや構図の確認）は表示部１０６を用いて行われる。即ち、撮像装置１０１に関して、表示部１０６においてライブビュー画像を確認しながら撮像が行われるので、フレーミングやフォーカシングの操作が行われるとき、表示部１０６は、電子ファインダとしても機能する。その他、表示部１０６では、カメラ設定メニューや現像パラメータ設定画面等も表示する。

操作ボタン１０７は、撮像装置１０１の動作モードの切り換え操作や、撮像パラメータ等をユーザが撮像装置１０１に指示するためのボタンである。なお、撮像装置１０１は、動作モードの１つとして、ストロボ１０４を点灯させた撮像とストロボ１０４を消灯させた撮像を連続して行うストロボ撮像モードを備える。また、撮像装置１０１は、動作モードの１つとして、ストロボ１０４から被写体までの距離に応じた被写体の明るさの違いを補正する補正処理モードを備える。そのため、ユーザは、操作ボタン１０７又は撮像ボタン１０３を用いて、補正処理モードへの切り替え、補正処理に用いるパラメータの設定を行うことができる。

その他、表示部１０６は、タッチスクリーン機能を備えていてもよく、その場合、タッチスクリーンを用いたユーザ指示を操作ボタン１０７の入力として扱うことも可能である。

＜撮像装置１０１の内部構成＞
図２は、本開示の実施形態に係る画像処理装置を備えた撮像装置１０１の内部構成を示すブロック図である。

ＣＰＵ２０１は、各構成の処理の全てに関わり、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２や、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３に格納された命令を順に読み込み、解釈し、その解釈結果に従って処理を実行する。ＲＯＭ２０２は、ＣＰＵ２０１により実行されるプログラム等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１により実行されるプログラムや各種画像データ等を記憶する。

光学系制御部２０４は、光学部１０２に対して、フォーカスを合わせる、シャッターを開く、絞りを調整する等のＣＰＵ２０１から指示された制御を行う制御回路である。

制御部２０５は、撮像ボタン１０３や操作ボタン１０７からのユーザ指示を受取り、撮像、ライティング補正処理モードへの切り換え、照明パラメータの設定等の制御を行う制御回路である。

カラー撮像素子部２０６は、光学部１０２にて集光された光情報を電流値に変換する撮像素子を備える。カラー撮像素子部２０６は、ベイヤ配列等の所定の配列を有するカラーフィルタをさらに備え、カラーフィルタを撮像素子と組み合わせて用いることで光学部１０２において集光された光から被写体の色情報を取得することができる。

Ａ／Ｄ変換部２０７は、カラー撮像素子部２０６において検知された輝度情報および色情報を含む画素値をデジタル信号値に変換し、ＲＡＷ画像データとする処理回路である。なお、本実施形態では、同時刻に撮像した距離画像データとＲＡＷ画像データを取得できるものとする。

画像処理部２０８は、Ａ／Ｄ変換部２０７で取得されたＲＡＷ画像データに対して現像処理を行い、各画素がＲＧＢ成分に対応する３チャンネルを有するカラー画像データを生成する。また、画像処理部２０８は、カラー画像データや距離画像データを用いて、カラー画像データにゲイン補正処理を施した補正画像データを生成する。なお、画像処理部２０８の内部構成及び機能は、後述の図３を用いて詳述する。

キャラクタージェネレーション部２０９は、文字やグラフィック等を生成する処理回路である。キャラクタージェネレーション部２０９により生成された文字やグラフィックは、表示部１０６において、カラー画像データや補正画像データ等に重畳して表示される。

エンコーダ部２１０は、ＲＡＷ画像データやカラー画像データ等の各種画像データを所定のファイルフォーマットに変換する。本実施形態では、撮像時の情報等が各種画像データと共に保存されるものとする。

メディアＩ／Ｆ２１１は、ＰＣ／メディア２１３（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード等）に、画像データを送受信するためのインタフェースである。メディアＩ／Ｆ２１１としては、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等が用いられる。メディアＩ／Ｆ２１１を通じて受信された画像データは、ＲＡＭ２０３に記憶され画像処理部２０８によって各種画像処理されることができる。

システムバス２１２は、上記構成間でデータを送受信するためのバスである。

＜画像処理部の内部構成＞
図３は、本実施形態における画像処理装置である画像処理部２０８の機能構成および画像処理部２０８と接続される構成を含むブロック図である。本実施形態では、同一シーンに対して、ストロボ１０４を点灯させて撮像したストロボＯＮ画像データと、ストロボ１０４を消灯させて撮像したストロボＯＦＦ画像データとを取得する。ここで同一シーンとは、完全に同一のシーンに限定するものではなく、被写体の形状・配置が僅かに変化していても同一シーンとみなすものとする。そしてそれら２つの画像データと、距離画像データから取得した撮像装置１０１から各被写体までの距離値とに基づき、被写体毎のストロボ光（補助光）の到達率（補助光到達率）を推定する。そして、推定した被写体毎の補助光到達率に基づき、ストロボＯＮ画像データの各被写体に対応する被写体領域の明るさをそれぞれ補正する。

被写体領域設定部３０１は、ＲＡＭ２０３から取得したストロボＯＮ画像データに対して、距離画像データおよび制御部２０５から得られるユーザ操作に基づいて、被写体領域を設定する。

特徴量取得部３０２は、ＲＡＭ２０３から取得したストロボＯＮ画像データ等に基づき各被写体に対応する輝度および彩度に基づく光沢情報、鏡面反射率に基づく光沢情報、法線情報等の反射特性に関する特徴量を取得する。

領域選択部は３０３、特徴量取得部３０２で取得した特徴量に基づき被写体領域設定部３０１で設定した被写体領域の一部を選択する。

補助光到達率推定部３０４は、ＲＡＭ２０３から取得したストロボＯＮ画像データおよびストロボＯＦＦ画像データと領域選択部３０３で選択された領域に基づき、ストロボ光が各被写体に到達する比率である補助光到達率を推定する。補助光到達率は、ストロボ光が拡散光であるため、ストロボ１０４と被写体との距離に応じて変化する。

補正処理部３０５は、補助光到達率推定部３０４から取得した被写体毎の補助光到達率に基づき、ストロボＯＮ画像データに対してゲイン補正処理を施すことにより被写体の明るさを補正した補正画像データを生成する。なお、撮像装置１０１は、補正画像データをＲＡＭ２０３やＰＣ／メディア２１３等の記憶装置に出力して記憶することや、表示部１０６に出力して表示することができる。

＜画像処理部の処理フロー＞
図４は、本開示の実施形態に係る画像処理装置である画像処理部２０８における処理の手順を示すフローチャートである。

Ｓ４０１において、画像処理部２０８は、まず、補正対象のストロボＯＮ画像データについて複数の被写体領域ｒ₁～ｒ_Nを選択する。

つぎにＳ４０２において、画像処理部２０８は、選択した複数の被写体領域ｒ₁～ｒ_Nについて、各被写体に対応する光沢情報等の特徴量を取得する。

続いてＳ４０３において、画像処理部２０８は、各被写体領域ｒ_iについて、取得した特徴量に基づき被写体領域の一部を選択する。

そしてＳ４０４において、画像処理部２０８は、特徴量に基づき選択した各被写体領域ｒ_iの一部領域について、ストロボＯＮ画像データの画素値とストロボＯＦＦ画像データの画素値とに基づき各被写体に対応する補助光到達率を推定する。

その後Ｓ４０５において、画像処理部２０８は、推定した補助光到達率に基づき、ストロボＯＮ画像データの各被写体領域ｒ_iの明るさをそれぞれ補正し、補正画像データを生成する。

最後にＳ４０６において、画像処理部２０８は、補正画像データをＲＡＭ２０３等に出力する。

以下、上記画像処理部２０８の動作手順の詳細について述べる。

Ｓ４０１において、被写体領域設定部３０１は、制御部２０５で取得したユーザ入力およびＲＡＭ２０３から取得した距離画像データに基づき対応する画像データにおける被写体領域ｒ_iを設定する。まず、本ステップで使用する距離画像データと、対応する画像データおよび被写体について説明する。

図５（ａ）～（ｃ）に、本実施形態におけるストロボＯＮ画像データ５０１、ストロボＯＦＦ画像データ５０２、距離画像データ５０３の例を示す。図５（ｄ）は、撮像装置１０１、被写体Ａ、被写体Ｂを撮像装置１０１の光学部１０２の光軸に直交する方向から見た図である。ストロボＯＮ画像データ５０１の画素ｘ（＝（ｉ，ｊ））に対応する画素値はＩ（ｘ）と表し、画素値としてＲＧＢ値が格納されているものとする。ストロボＯＦＦ画像データ５０２についても同様に、画素ｘに対応する画素値をＪ（ｘ）と表すものとする。距離画像データ５０３の画素ｘには画素値Ｄ（ｘ）として撮像装置１０１から被写体までの距離値を格納しているものとする。本実施形態では、図５（ａ）～（ｄ）に示すように、向かって右前に被写体Ａ、左奥に被写体Ｂが存在するシーンを例として動作手順を述べる。

本Ｓ４０１では、まずユーザが選択した被写体Ａおよび被写体Ｂに対応する少なくとも一画素の位置情報を制御部２０５より取得する。次に、距離画像データ５０３に基づき、被写体Ａに対応する画素の位置情報に対応する被写体Ａと撮像装置１０１との距離値を被写体距離ｄ_Aとして取得する。そして、距離画像データ５０３から被写体距離ｄ_Aに近い距離値を持つ画素を抽出し被写体領域ｒ_Aとする。被写体Ｂについても同様に、距離画像データ５０３および被写体Ｂに対応する画素の位置情報に基づき被写体距離ｄ_Bを取得し、距離画像データ５０３から被写体距離ｄ_Bに近い距離値を持つ画素を抽出し被写体領域ｒ_Bとする。図６（ａ）に被写体領域ｒ_Aを白抜きした二値画像データ６０１、図６（ｂ）に被写体領域ｒ_Bを白抜きした二値画像データ６０２を示す。

Ｓ４０２において、特徴量取得部３０２がＲＡＭ２０３から取得したストロボＯＮ画像データ５０１と被写体領域設定部３０１で設定した被写体領域ｒ_A、ｒ_Bとに基づいて、ストロボＯＮ画像データ５０１における各被写体領域ｒ_A、ｒ_Bの特徴量を取得する。本実施形態では光沢情報を特徴量として取得する。本実施形態では光沢情報として輝度および彩度に基づく光沢の強い領域（高輝度低彩度領域ｇ_lsｒ）を抽出する。高輝度低彩度領域ｇ_lsｒは、ＲＧＢの画素値から算出した輝度値と彩度値に対する閾値処理等により抽出することができる。例えば、ストロボＯＮ画像データ５０１の被写体領域に含まれる画素のうち、輝度値が高く所定の閾値以上であり、彩度値が低く所定の閾値以下である画素値を持つ画素からなる領域を光沢領域とする。図７に、高輝度低彩度領域ｇ_lsｒの例を示す。被写体領域ｒ_Aに対応する高輝度低彩度領域ｇ_lsｒ_Aを白抜きした二値画像データ７０１、被写体領域ｒ_Bに対応する高輝度低彩度領域ｇ_lsｒ_Bを白抜きした二値画像データ７０２を示す。

Ｓ４０３において、領域選択部３０３が特徴量取得部３０２で取得した特徴量に基づき、被写体領域設定部３０１で設定した被写体領域内から一部の領域を選択する。以下、この選択した領域のことを選択領域という。本実施形態では、特徴量として取得した光沢領域を被写体領域から除外したものを選択領域とする。図８（ａ）に被写体領域ｒ_Aを白抜きした二値画像データ６０１と高輝度低彩度領域ｇ_lsｒ_Aを白抜きした二値画像データ７０１に基づいて取得した選択領域ｓｒ_Aを白抜きした二値画像データ８０１の例を示す。また図８（ｂ）に被写体領域ｒ_Bを白抜きした二値画像データ６０２と高輝度低彩度領域ｇ_lsｒ_Bを白抜きした二値画像データ７０２に基づいて取得した選択領域ｓｒ_Bを白抜きした二値画像データ８０２の例を示す。

Ｓ４０４において、補助光到達率推定部３０４がストロボＯＮ画像データ５０１とストロボＯＦＦ画像データ５０２との選択領域ｓｒ_A、ｓｒ_Bを示す二値画像データ８０１、８０２とに基づき、ストロボ１０４が発するストロボ光の補助光到達率を推定する。本ステップでの補助光到達率推定処理の詳細については後述する。

Ｓ４０５において、補正処理部３０５が、ストロボＯＮ画像データ５０１に対して、被写体毎に推定した補助光到達率に基づき、各被写体に対応する被写体領域ｒ_A、ｒ_Bの明るさをそれぞれ補正し、補正画像データを生成する。本ステップでの補正処理の詳細については後述する。

Ｓ４０６において、補正処理部３０５が、生成した補正画像データをＰＣ／メディア２１３に出力し記録する。また、表示部１０６に補正画像データを出力し表示してもよい。その後、画像処理部２０８での一連の処理を終了する。

＜補助光到達率推定処理＞
ここでは、Ｓ４０４で補助光到達率推定部３０４が行う補助光到達率推定処理について説明する。本実施形態における補助光到達率推定処理では、ストロボＯＮ画像データ５０１とストロボＯＦＦ画像データ５０２の選択領域ｓｒ_A、ｓｒ_Bに基づき、被写体毎の補助光到達率を推定する。図９に補助光到達率推定処理の手順を示す。

Ｓ９０１において、補助光到達率推定部３０４が、撮像シーンの環境光とストロボ光の明るさの比を推定する。本実施形態ではストロボＯＮ画像データ５０１における画素値Ｉ（ｘ）とストロボＯＦＦ画像データ５０２における画素値Ｊ（ｘ）を、下式（１）のように環境光およびストロボ光の明るさと反射率との積としてモデル化する。

ここで、Ｌ_aは環境光の明るさ、Ｌ_sはストロボ光の明るさ、α（ｘ）は画素ｘに対応する被写体と撮像装置１０１との距離におけるストロボ光の補助光到達率を表す。Ｒ（ｘ）は反射率、βはストロボＯＮ画像データ５０１とストロボＯＦＦ画像データ５０２の露出比を表す。βはストロボＯＮ画像データ５０１とストロボＯＦＦ画像データ５０２の撮像条件等に基づいて設定する。このとき、α（ｘ）は、式（１）から式（２）のように求めることができる。

つぎに本実施形態では、基準とする選択領域ｓｒ_tにおけるストロボＯＮ画像データ５０１の平均画素値Ｉ_{t_ave}と選択領域ｓｒ_tにおけるストロボＯＦＦ画像データ５０２の平均画素値Ｊ_{t_ave}を下式（３）のように求める。

ここで、ｓｒ_tは基準選択領域、Ｍ_tは基準選択領域ｓｒ_tの画素数である。基準選択領域ｓｒ_tは、複数の被写体Ａ、Ｂの中から明るさの基準となる基準被写体に対応する選択領域、すなわち選択領域ｓｒ_A、ｓｒ_Bのいずれか一方である。本実施形態では、ユーザ操作に基づいて基準被写体を選択する。また、本実施形態では、式（２）に基準被写体の平均画素値Ｉ_{t_ave}、Ｊ_{t_ave}を適用したときの補助光到達率αを１とすると、式（２）、（３）に基づき環境光の明るさＬ_sとストロボ光の明るさＬ_aの比の近似値ωは、下式（４）のように求まる。

Ｓ９０２において、補助光到達率推定部３０４が、環境光の明るさＬ_sとストロボ光の明るさＬ_aの比を式（４）に基づきωとして、各被写体と撮像装置１０１との距離におけるストロボ光の補助光到達率α（ｘ）を推定する。補助光到達率推定部３０４では、補助光到達率α（ｘ）の近似値を式（２）、（４）に基づいて下式（５）のように算出する。

以上の処理により、ストロボ光の補助光到達率α（ｘ）を推定することができる。

このように本実施形態では、被写体領域ｒ_A、ｒ_Bから高輝度低彩度領域ｇ_lsｒ_A、ｇ_lsｒ_Bをそれぞれ除いた選択領域ｓｒ_A、ｓｒ_Bの画素値Ｉ（ｘ）、Ｊ（ｘ）に基づき、ストロボ１０４が発するストロボ光の補助光到達率α（ｘ）を算出する。そのため本実施形態では、被写体の光沢の影響を受けずにストロボ光の補助光到達率α（ｘ）を推定することができる。

＜補正処理＞
ここでは、Ｓ４０５で補正処理部３０５が行う補正処理について説明する。本実施形態における補正処理では、補正処理部３０５がストロボＯＮ画像データ５０１と補助光到達率推定部３０４で推定した補助光到達率α（ｘ）に基づき被写体の明るさをゲイン処理により補正した補正画像データを生成する。図１０に補正処理の手順を示す。

Ｓ１００１において、補正処理部３０５が、各被写体に対応した、画素値の補正係数であるゲイン値を算出する。ｉ番目の被写体に対応するゲイン値ｇ_iは、環境光とストロボ光の明るさの比ωおよび補助光到達率α（ｘ）に基づき式（６）に従い算出する。

ここで、ｒ_iはｉ番目の被写体に対応する被写体領域、Ｍ_iはｒ_iの画素数を示す。次に式（７）に従い、基準選択領域ｓｒ_tを設定した基準被写体のゲイン値ｇ_tを利用して各被写体に対応するゲイン値ｇ_iを補正し、補正ゲイン値ｇ′_iを算出する。

Ｓ１００２において、補正処理部３０５が、補正ゲイン値ｇ′_iを利用してストロボＯＮ画像データの画素値Ｉ（ｘ）の明るさを補正し、補正画素値Ｉ′（ｘ）を生成する。補正画素値Ｉ′（ｘ）は下式（８）のように求まる。

ここで、Ｒ_i（ｘ）はｉ番目の被写体領域を示すマップであり、下式（９）のような値を持つ。

以上の処理により、ｉ番目の被写体領域ｒ_iに対して対応する補正ゲイン値ｇ′_iで明るさが補正された補正画像を取得することができる。このように本実施形態では、被写体領域から光沢領域を除いた選択領域を用いて補助光到達率αを求め、求めた補助光到達率αに基づき光沢領域も含む被写体領域に対して補正を行う。

図１１に補正画像データ１１０１の例を示す。被写体領域ｒ_A６０１の補正後の画素値Ｉ′（ｘ）（ｘ∈ｒ_A）は、ｇ′_AＩ（ｘ）となる。また被写体領域ｒ_B６０２の補正後の画素値Ｉ′（ｘ）（ｘ∈ｒ_B）は、ｇ′_BＩ（ｘ）となる。また、被写体領域ｒ_A６０１および被写体領域ｒ_B６０２以外の補正後の画素値Ｉ′（ｘ）（ｘ∈ｒ_A、ｒ_B）は、Ｉ（ｘ）となる。なお、例えば被写体Ａを基準被写体とした場合は、ｇ′_A＝１となり、被写体領域ｒ_A６０１の補正後の画素値Ｉ′（ｘ）（ｘ∈ｒ_A）は、Ｉ（ｘ）となる。

このように、被写体領域毎に求めた補正ゲイン値ｇ′で画素値を補正することにより、ストロボ光の補助光到達率αが異なる被写体間の明るさの差を小さくすることができる。

以上のように、本開示の実施形態に係る画像処理装置によれば、光沢のある被写体に対しても反射特性情報に基づいて被写体間の距離に応じた被写体毎の明るさの補正を適切に行うことができる。

なお、本実施形態では距離画像データに基づいて被写体領域を抽出しているが、被写体領域の抽出方法はこれに限らない。例えば、ストロボＯＮ画像データ５０１から認識処理を利用して特定の被写体領域を抽出してもかまわない。あるいは、ユーザが被写体領域を指定してもかまわない。このように被写体領域の抽出に距離画像データを使用しない場合は、撮像装置１０１から被写体までの距離情報である距離画像データは、本開示の画像処理部２０８での処理において不要である。そのため、距離情報取得手段である距離画像取得部１０５は省くことができる。

また、本実施形態では光沢情報として被写体の輝度値が高く彩度値が低い画素値を有する領域を抽出しているが、光沢領域の抽出方法はこれに限らない。例えば、光沢情報として被写体の鏡面反射成分を抽出し、鏡面反射成分に対して閾値処理を施して光沢領域を抽出することもできる。この場合は、物体色である拡散反射成分と光源色である鏡面反射成分との線形和で被写体からの反射光を表す二色性反射モデルを利用してストロボＯＮ画像データを拡散反射成分と鏡面反射成分に分離する。その後、鏡面反射成分に対して閾値処理を施し、鏡面反射成分が所定の値よりも大きい画素値を有する領域を抽出することで光沢領域が取得できる。

また、本実施形態ではユーザ操作に基づいて選択した基準被写体に基づいて環境光とストロボ光の明るさの比ωを求めているが、ωの求め方はこれに限らない。例えば、最もストロボ光が明るい被写体を基準被写体としてωを算出してもよい。具体的には、まず式（１０）に従い、各被写体に対応する選択領域ｓｒ_iに基づいてω_iを算出する。

そして、式（１１）に従いω_iの最大値をωとして利用すればよい。

また、本実施形態ではゲイン値ｇ_iを式（７）に従い補正ゲイン値ｇ′_iを利用しているが、式（６）のゲイン値ｇ_iをそのまま補正せずに利用してもかまわない。

以上の処理により、最もストロボ光が明るい被写体を基準被写体とすることができる。

なお、本実施形態では、Ｓ４０１において被写体の位置情報をユーザ入力に基づき取得したが、画像処理部２０８により顔等、特定の形状を検出し、検出した特定の形状を含む領域を被写体の位置情報として取得するようにしてもよい。

［第２実施形態］
第１実施形態では特徴量として取得した光沢情報に基づいて被写体領域から選択領域を抽出していたが、本実施形態では特徴量として取得した被写体の鏡面反射特性情報に基づいて被写体領域から選択領域を抽出する。なお、本実施形態では被写体が人物の場合を例に説明をする。

図１２（ａ）に本実施形態におけるストロボＯＮ画像データ１２０１およびストロボＯＦＦ画像データ１２０２を示す。また、図１２（ｂ）に本実施形態における被写体Ａの被写体領域ｒ_A１２０３および被写体Ｂの被写体領域ｒ_B１２０４を示す。本実施形態では第１実施形態と比較して、Ｓ４０２で特徴量取得部３０２が行う特徴量取得処理と、Ｓ４０３で領域選択部３０３が行う領域選択処理が異なる。以下、各処理について説明する。

＜第２実施形態における特徴量取得処理＞
ここでは、本実施形態においてＳ４０２で特徴量取得部３０２が行う特徴量取得処理について説明する。本実施形態における特徴量取得処理では、ストロボＯＮ画像データ１２０１内の顔情報に基づき被写体の低鏡面反射領域ｇ_mｒを取得する。図１３に、第２実施形態における特徴量取得処理の手順を示す。

Ｓ１３０１において、特徴量取得部３０２が、ストロボＯＮ画像データ１２０１から各被写体に対応する顔情報を取得する。なお、本実施形態の顔情報には目、鼻、口等の顔器官の位置情報を含むものとする。顔情報の取得には、例えばテンプレートマッチングや、Ｈａａｒ－Ｌｉｋｅ特徴量を用いたアルゴリズム等を利用することができる。

Ｓ１３０２において、特徴量取得部３０２がＳ１３０１で取得した各被写体の顔情報に基づいてストロボＯＮ画像データ１２０１に対応する鏡面反射特性マップを生成する。本実施形態における鏡面反射特性マップは、顔鏡面反射特性テンプレートをストロボＯＮ画像データ１２０１から取得した顔情報に基づいて位置合わせすることによって取得する。

図１４（ａ）、（ｂ）に、顔鏡面反射特性テンプレート１４０１と鏡面反射特性マップ１４０２の例をそれぞれ示す。顔鏡面反射特性テンプレート１４０１は、雛形となる顔の鏡面反射特性を表す鏡面反射率を画素値として持つ画像データである。また、顔鏡面反射特性テンプレート１４０１における目、鼻、口等の顔器官の位置情報を保持しているものとする。本実施形態では顔の鏡面反射率を画素値として持っているものとする。例えば、髪、目、鼻、口領域に対応する画素は高い鏡面反射率を画素値として持ち、それ以外の肌領域に対応する画素は低い鏡面反射率を画素値として持つ。

本ステップＳ１３０２では、まずストロボＯＮ画像データ１２０１に含まれる各被写体の顔器官の位置情報と、顔鏡面反射特性テンプレート１４０１の対応する顔器官の位置情報とを対応付ける。次に、対応付けた位置情報に基づき、顔鏡面反射特性テンプレート１４０１をストロボＯＮ画像データ１２０１に含まれる各被写体の顔の画像に応じた形状に変換させるための変換パラメータを算出する。変換パラメータとしては射影変換パラメータあるいはアフィン変換パラメータ等が利用できる。そして、算出した変換パラメータに基づいて各被写体の顔の画像の形状に合うように顔鏡面反射特性テンプレート１４０１を変形させ、各被写体に対応する顔鏡面反射特性テンプレート１４０１を合成することによって鏡面反射特性マップ１４０２を生成する。

Ｓ１３０３において、特徴量取得部３０２が、Ｓ１３０２で取得した鏡面反射特性マップ１４０２に基づいて低鏡面反射領域ｇ_mｒを抽出する。ここでは、閾値処理により鏡面反射特性マップ１４０２から画素値（鏡面反射率）の小さな画素を抽出することにより、所定の鏡面反射率よりも小さな低鏡面反射領域ｇ_mｒを抽出する。図１４（ｃ）に低鏡面反射領域ｇ_mｒを白抜きした二値画像データ１４０３の例を示す。

＜第２実施形態における領域選択処理＞
ここでは、本実施形態においてＳ４０３で領域選択部３０３が行う領域選択処理について説明する。本実施形態における領域選択処理では、低鏡面反射領域ｇ_mｒを白抜きした二値画像データ１４０３に基づき各被写体領域ｒ_A、ｒ_Bのうち、低鏡面反射領域ｇ_mｒに含まれる画素のみを選択領域とする。

図１５（ａ）に、被写体領域ｒ_Aを白抜きした二値画像データ１２０３と低鏡面反射領域ｇ_mｒを白抜きした二値画像データ１４０３に基づいて取得した選択領域ｓｒ_Aを白抜きした二値画像データ１５０１の例を示す。また図１５（ｂ）に、被写体領域ｒ_Bを白抜きした二値画像データ１２０４と低鏡面反射領域ｇ_mｒを白抜きした二値画像データ１４０３に基づいて取得した選択領域ｓｒ_Bを白抜きした二値画像データ１５０２の例をそれぞれ示す。

以上の処理により、被写体の鏡面反射特性情報、すなわち二値画像データ１５０１、１５０２に基づいて、ストロボＯＮ画像データ１２０１の被写体領域ｒ_A、ｒ_Bの低鏡面反射領域ｇ_mｒを選択することができる。図１６に、本選択領域ｓｒ_A、ｓｒ_Bに基づいて被写体の明るさが補正された補正画像データ１６０１の例を示す。

以上のように、本開示の実施形態に係る画像処理装置によれば、光沢のある被写体に対しても被写体の反射特性情報に基づき被写体間の距離に応じた被写体毎の明るさの補正を適切に行うことができる。

なお、被写体領域の設定は、顔検出結果に基づいて画像処理部２０８が適当な領域を設定してもかまわない。例えば、図１２（ｃ）に示すように顔情報に基づき、顔器官に合わせて設定した適当な円形の領域を被写体領域ｒ_A、ｒ_Bとしてもよい。または実施形態１と同様に、ユーザ入力に基づき被写体領域を選択してもよい。

また、本実施形態では領域選択処理に置いて低鏡面反射領域ｇ_mｒのみを選択領域ｓｒとしているが、第１実施形態で使用した高輝度低彩度領域ｇ_lsｒも選択領域ｓｒに含めてもかまわない。この場合、特徴量取得処理において、低鏡面反射領域ｇ_mｒに加え、第１実施形態と同様の方法で高輝度低彩度領域ｇ_lsｒも取得する。そして、領域選択処理では被写体領域ｒおよび低鏡面反射領域ｇ_mｒに含まれ、高輝度低彩度領域ｇ_lsｒに含まれない画素を選択領域ｓｒとすればよい。

［第３実施形態］
これまで述べた実施形態では特徴量として所得した光沢情報あるいは反射特性情報に基づいて被写体領域ｒ_A、ｒ_Bから選択領域ｓｒ_A、ｓｒ_Bを抽出していた。これに対し本実施形態では、特徴量として取得した被写体の形状情報に基づき被写体領域から選択領域を抽出する。

これまでの実施形態では式（４）に従い環境光とストロボ光の明るさの比ωを推定してきた。しかしながら、この方法では被写体の形状に基づく陰影の影響を考慮していない。撮像装置１０１に向いていない表面では、その表面での反射光のうち光学部１０２に入射する光が減少して陰が発生する。そのため、被写体に撮像装置１０１に向いていない表面が多く、陰が多く発生している場合、環境光とストロボ光の明るさの比ωの推定精度が低下する。

そこで本実施形態では、被写体の形状情報を利用し、撮像装置１０１に対して正面に近い向き、すなわち被写体表面の法線と撮像装置１０１の撮像方向とのなす角度が所定の範囲以内の領域を選択する。これにより、被写体形状に応じて発生する陰影に起因した推定精度の低下を抑制することができる。本実施形態では第２実施形態と比較して、Ｓ４０２で特徴量取得部３０２が行う特徴量取得処理と、Ｓ４０３で領域選択部３０３が行う領域選択処理が異なる。以下、各処理について説明する。

＜第３実施形態における特徴量取得処理＞
ここでは、本実施形態においてＳ４０２で特徴量取得部３０２が行う特徴量取得処理について説明する。本実施形態における特徴量取得処理では、ストロボＯＮ画像データ１２０１内の顔情報に基づき被写体の低鏡面反射領域ｇ_mｒと正面領域ｆｒを取得する。図１７に、第３実施形態における特徴量取得処理の手順を示す。なお、Ｓ１７０１からＳ１７０３までは第２実施形態で説明したＳ１３０１からＳ１３０３までと同一のため説明を省略する。

Ｓ１７０４において、特徴量取得部３０２が、Ｓ１７１０１で取得した各被写体の顔情報に基づいてストロボＯＮ画像データ１２０１に対応する法線マップを生成する。本実施形態では、予め雛形となる顔の三次元形状に基づき生成した顔法線テンプレートをストロボＯＮ画像データ１２０１中の顔に当てはめることで各被写体に対応した法線マップを生成する。

図１８（ａ）、（ｂ）に、顔法線テンプレート１８０１と法線マップ１８０２の例を示す。顔法線テンプレートは、雛形となる顔の三次元形状の所定の位置からの見えに対応した顔の二次元形状を構成する画素を含む画像データである。この顔法線テンプレートの画像データは、顔を構成する各画素が、各画素に対応する顔の三次元形状上の位置の法線ベクトルを画素値として持つ。また、顔法線テンプレートにおける目、鼻、口等の顔器官の位置情報を保持しているものとする。

本ステップＳ１７０４では、まずストロボＯＮ画像データ１２０１に含まれる各被写体の顔器官の位置情報と、顔法線テンプレート１８０１の対応する顔器官の位置情報とを対応付ける。次に、対応付けた位置情報に基づき、顔法線テンプレート１８０１をストロボＯＮ画像データ１２０１に含まれる各被写体の顔の画像に応じた形状に変換させるための変換パラメータを算出する。変換パラメータとしては射影変換パラメータあるいはアフィン変換パラメータ等が利用できる。そして、算出した変換パラメータに基づいて各被写体の顔の画像の形状に対応するように顔法線テンプレート１８０１を変形させ、各被写体に対応する顔法線テンプレート１８０１を合成することによって法線マップ１８０２を生成する。

Ｓ１７０５において、特徴量取得部３０２が、被写体毎に、対応する法線マップ１８０２に基づき撮像装置１０１に対して正面に近い向きを示す法線ベクトルを持つ正面領域ｆｒを抽出する。具体的には、撮像装置１０１の撮像方向である光学部１０２の光軸ベクトルと法線マップの各画素の法線ベクトルとの内積が、閾値以上となる画素を正面領域ｆｒとして抽出する。図１８（ｃ）に、抽出した正面領域ｆｒを白抜きした二値画像データ１８０３の例を示す。

＜第３実施形態における領域選択処理＞
ここでは、本実施形態においてＳ４０３で領域選択部３０３が行う領域選択処理について説明する。本実施形態における領域選択処理では、低鏡面反射領域ｇ_mｒの二値画像データ１４０３と正面領域ｆｒの二値画像データ１８０３に基づき、各被写体領域ｒ_A、ｒ_Bのうち低鏡面反射領域ｇ_mｒかつ正面領域ｆｒを選択領域ｓｒ_A、ｓｒ_Bとする。図１９（ａ）に、被写体領域ｒ_Aの二値画像データ１２０３と低鏡面反射領域ｇ_mｒの二値画像データ１４０３と正面領域ｆｒの二値画像データ１８０３に基づいて取得した選択領域ｓｒ_Aを白抜きした二値画像データ１９０１の例を示す。また、図１９（ｂ）に、被写体領域ｒ_Bの二値画像データ１２０４と低鏡面反射領域ｇ_mｒの二値画像データ１４０３と正面領域ｆｒのた二値画像データ１８０３に基づいて取得した選択領域ｓｒ_Bを白抜きした二値画像データ１９０２の例を示す。

なお、本実施形態では顔法線テンプレート１８０１を１つだけ用意していたが、顔の向きが異なる複数の顔法線テンプレート１８０１を複数用意しておいてもかまわない。この場合、Ｓ１７０４において、被写体の顔の向きに合った顔法線テンプレート１８０１を選択することができる。選択方法としては、例えば顔器官の位置情報に基づいて変換パラメータを算出する際に生じる誤差の値を各顔法線テンプレート１８０１で算出し、誤差が最も小さなものを選択すればよい。あるいは、被写体の顔器官の座標から顔の向きを推定し、最も顔の向きが近い顔法線テンプレート１８０１を選択してもよい。

また、本実施形態では法線情報を取得するために顔法線テンプレート１８０１を利用していたが、被写体の顔器官の位置情報に基づいて顔の三次元形状を当てはめ、当てはめた三次元形状から法線情報を取得してもかまわない。

以上のように、本開示の実施形態に係る画像処理装置によれば、光沢のある被写体に対しても被写体の反射特性情報に基づき被写体間の距離に応じた被写体毎の明るさの補正を適切に行うことができる。

［第４実施形態］
これまで述べた実施形態ではストロボＯＮ画像データ１２０１とストロボＯＦＦ画像データ１２０２とにおいて被写体の位置ずれがないものとして説明をしてきた。しかしながら、実際に撮像を行う場合は撮像装置１０１のぶれや被写体の動き等により、ストロボＯＮ画像データ１２０１とストロボＯＦＦ画像データ１２０２とにおいて被写体の位置がずれることがある。本実施形態では、補助光到達率推定処理において選択領域ｓｒ_A、ｓｒ_Bに基づきストロボＯＮ画像データ１２０１とストロボＯＦＦ画像データ１２０２の位置合わせを行うことにより、被写体の位置ずれの影響を抑制する。本実施形態ではこれまでの実施形態と比較して、Ｓ４０４で補助光到達率推定部３０４が行う補助光到達率推定処理が異なる。以下、本実施形態における補助光到達率推定処理について説明する。

＜第４実施形態における補助光到達率推定処理＞
ここでは、本実施形態においてＳ４０４で補助光到達率推定部３０４が行う補助光到達率推定処理について説明する。図２０に、第４実施形態における補助光到達率推定処理の手順を示す。本実施形態における補助光到達率推定処理では、まずＳ２００１においてストロボＯＮ画像データとストロボＯＦＦ画像データの位置合わせを行う。その後、Ｓ２００２、Ｓ２００３において実施形態１のＳ９０１、Ｓ９０２と同様の処理で各被写体と撮像装置１０１との距離におけるストロボ１０４が発するストロボ光の補助光到達率α（ｘ）を推定する。以下、Ｓ２００２、Ｓ２００３は説明を省略し、Ｓ２００１の処理についてのみ述べる。

図２１は、Ｓ２００１における位置合わせ処理の概要を示す図である。本ステップでは被写体の位置ずれがあるストロボＯＮ画像データ２１０１とストロボＯＦＦ画像データ２１０２を、各被写体の選択領域ｓｒ_A、ｓｒ_Bに基づいて被写体毎に位置合わせする。この際、各被写体の選択領域ｓｒ_A、ｓｒ_Bの周辺が一致するように優先的に位置合わせを行う。

位置合わせ処理としては、例えばエッジ情報に基づくテンプレートマッチングや、エッジやコーナー等の特徴点の対応付けに基づく幾何変換処理等が利用できる。エッジ情報に基づくテンプレートマッチングを利用する場合、まずストロボＯＮ画像データ２１０１とストロボＯＦＦ画像データ２１０２とに対し、それぞれハイパスフィルタ等を利用してエッジ抽出を行う。そして、ストロボＯＮ画像データ２１０１のエッジに対して選択領域ｓｒ_A、ｓｒ_Bからの距離に基づいて重みづけを行い、これをテンプレートとする。この際、選択領域ｓｒ_A、ｓｒ_Bからの距離が遠いほど小さな重みとする。

このテンプレートを利用してストロボＯＦＦ画像データ２１０２のエッジとマッチングを行い、ストロボＯＮ画像データ２１０１とストロボＯＦＦ画像データ２１０２との被写体の位置ずれ量を計算する。そして、算出した位置ずれ量が最小になる位置にストロボＯＦＦ画像データ２１０２を補正して補正ストロボＯＦＦ画像データを生成する。重みの小さなエッジはマッチング処理において影響が小さくなるため、重みの大きな選択領域ｓｒ_A、ｓｒ_Bを優先的に位置合わせすることができる。

図２１に、被写体Ａに合わせて位置ずれを補正した補正ストロボＯＦＦ画像データ２１０３と、被写体Ｂに合わせて位置ずれを補正した補正ストロボＯＦＦ画像データ２１０４の例を示す。

以降の処理では、ストロボＯＮ画像データ２１０１と補正ストロボＯＦＦ画像データ２１０３、２１０４を利用して補助光到達率の推定を行う。すなわち、被写体Ａに対する補助光到達率推定処理にはストロボＯＦＦ画像データとして補正ストロボＯＦＦ画像データ２１０３を用いる。また被写体Ｂに対する補助光到達率推定処理にはストロボＯＦＦ画像データとして補正ストロボＯＦＦ画像データ２１０４を用いる。これにより、被写体の位置ずれに起因する推定誤差を抑制することができる。

以上のように、本開示の実施形態に係る画像処理装置によれば、ストロボＯＮ画像データとストロボＯＦＦ画像データとに被写体の位置ずれがある場合においても、反射特性情報に基づき被写体間の距離に応じた被写体の明るさの補正を適切に行うことができる。

なお、上記実施形態では、ストロボＯＮ画像データに対して補正を行っているが、ストロボＯＦＦ画像データに対して補正を行ってもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 撮像装置
１０４ ストロボ
２０８ 画像処理部

Claims (15)

1. 同一シーンに対して、補助光を点灯させて撮像して得られた第１の画像データと、前記補助光を点灯させずに撮像して得られた第２の画像データとを取得する画像取得手段と、
   前記第１の画像データ又は前記第２の画像データにおいて複数の被写体に対応する複数の被写体領域を設定する領域設定手段と、
   前記複数の被写体領域に対して、各被写体領域の反射特性に関する特徴量に基づき前記各被写体領域内から選択領域を選択する領域選択手段と、
   前記第１の画像データおよび前記第２の画像データにおける前記選択領域の画素値に基づいて、前記第１の画像データの各被写体領域の画素値を補正する補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記補正手段は、前記補助光の光源と前記被写体との間の距離に応じて変化する補正係数に基づき前記各被写体領域の画素値を補正する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記第１の画像データと前記第２の画像データとの対応する前記選択領域の画素値の明るさの比を取得し、前記明るさの比の前記被写体領域の間での差を小さくするように前記各被写体領域の画素値を補正する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記補正手段は、前記各被写体領域の画素値を、前記複数の被写体領域のうちの１つの前記明るさの比に近づけるように補正する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記領域選択手段は、前記被写体の光沢の強さを前記特徴量とし、前記被写体領域のうち前記光沢の強さが所定の閾値以下である領域を前記選択領域として選択する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記領域選択手段は、前記被写体の輝度値および彩度値を前記特徴量とし、前記輝度値が第１の閾値以上であり、かつ前記彩度値が第２の閾値以下である画素値の領域を前記選択領域として選択する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記領域選択手段は、前記被写体の鏡面反射率を前記特徴量とし、前記鏡面反射率が所定の閾値以下の画素値の領域を前記選択領域として選択する
   ことを特徴とする請求項５に記載の画像処理装置。
8. 前記領域選択手段は、前記被写体の少なくとも一部の形状に対応する鏡面反射率を画素値として有する鏡面反射特性テンプレートを有し、前記鏡面反射特性テンプレートを前記第１の画像データ又は前記第２の画像データにおける前記被写体の少なくとも一部に適用することにより前記被写体の鏡面反射率を取得する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記領域選択手段は、前記被写体の法線情報を前記特徴量とし、前記被写体の表面の法線と前記第１の画像データおよび前記第２の画像データの撮像方向とのなす角度が所定の範囲以内である領域を前記選択領域として選択する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
10. 前記領域選択手段は、前記被写体の少なくとも一部の形状に対応する法線情報を画素値として有する法線テンプレートを有し、前記法線テンプレートを前記第１の画像データ又は前記第２の画像データにおける前記被写体の少なくとも一部に適用することにより前記被写体の法線情報を取得する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記第１の画像データの前記選択領域とそれに対応する前記第２の画像データの前記選択領域とを位置合わせする位置合わせ手段をさらに備え、
    前記補正手段は、位置合わせされた前記選択領域の画素値に基づき、前記各被写体領域の画素値を補正する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記被写体間の距離に関する距離情報を取得する距離情報取得手段をさらに備え、
    前記領域設定手段は、前記距離情報に基づき前記被写体領域を設定する
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記領域設定手段は、前記被写体の特定の形状を検出し、検出した前記特定の形状を含む領域を前記被写体領域として設定する
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 同一シーンに対して、補助光を第１の明るさで点灯させて撮像された第１の画像データと、前記補助光を前記第１の明るさと異なる第２の明るさで点灯させて撮像された第２の画像データとを取得するステップと、
    前記第１の画像データ又は前記第２の画像データにおいて複数の被写体領域を設定するステップと、
    前記複数の被写体領域に対して、各被写体領域の反射特性に関する特徴量に基づき前記各被写体領域内から選択領域を選択するステップと、
    前記第１の画像データおよび前記第２の画像データにおける前記選択領域の画素値に基づいて、前記第１の画像データの各被写体領域の画素値を補正するステップと、
    を有することを特徴とする画像処理方法。
15. コンピュータを請求項１乃至１３のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images