JP6808482B2

JP6808482B2 - 画像処理装置、画像処理方法、およびプログラム

Info

Publication number: JP6808482B2
Application number: JP2016254826A
Authority: JP
Inventors: 宏史鈴木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-12-28
Filing date: 2016-12-28
Publication date: 2021-01-06
Anticipated expiration: 2036-12-28
Also published as: JP2018107741A; US20180182079A1; US10489895B2

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、撮像手段で撮像された画像を補正するために用いて好適なものである。

従来、人物の撮影において、光源・人物・撮像装置の位置関係によっては、撮影した画像において、人物の肌の一部にハイライト領域（所謂テカリ領域）が生じる場合がある。特にストロボを使用して撮影された画像の人物の顔にハイライト領域が生じると、撮影された画像の見栄えとして好ましくない。このため、撮影された画像に含まれるハイライト領域を画像処理装置で補正する処理が行われる。特許文献１では、ストロボを使用して撮影する場合に、撮影された画像における顔周辺部（首など）の肌色領域を参照して、当該画像において顔に生じているハイライト領域を補正する技術が開示されている。

特開２０１０−２００３１２号公報

しかしながら、特許文献１に記載の技術では、ハイライト領域の色を、首などの顔周辺部の肌色に近づける。従って、陰影の付き方や化粧の具合によってハイライト領域の周辺の肌色と首などの顔周辺部の肌色とが異なる場合がある。この場合、補正後のハイライト領域の肌色とハイライト領域の周辺の肌色とが異なり、補正後の色が不自然になる虞がある。
そこで、本発明は、ハイライト補正後のハイライト領域の色と当該ハイライト領域の周辺の色との差異を低減することを目的とする。

本発明の画像処理装置は、ストロボによる発光がなされた状態で撮像手段により撮像された画像であって、被写体の顔の領域を含む画像である第１画像から、前記顔の領域のうち、輝度が閾値よりも高い領域である第１領域を検出する検出手段と、前記第１領域の色を、前記第１画像における前記第１領域と異なる領域である第２領域の色を用いて補正する補正手段と、を有し、前記補正手段は、ストロボによる発光がなされていない状態で撮像手段により撮像された画像であって、前記被写体の顔の領域を含む画像である第２画像から、前記第１画像の前記第１領域に対応する領域を第３領域として検出し、前記第３領域の画素値と、前記第２画像の前記第３領域と異なる領域の画素値とを比較した結果に基づいて、前記第２画像のうち、前記第３領域と異なる領域から第４領域を検出し、前記第４領域に対応する前記第１画像の領域を前記第２領域として決定することを特徴とする。

本発明によれば、ハイライト補正後のハイライト領域の色と当該ハイライト領域の周辺の色との差異を低減することができる。従って、ハイライト補正後の肌の色が不自然になることを抑制することができる。

デジタルカメラの構成を示す図である。画像処理部の構成を示す図である。画像処理部の処理を示すフローチャートである。参照領域の設定方法を説明する図である。対応領域内の輝度の平均値と、閾値との関係を示す図である。ストロボの発光量と、ハイライト補正の係数との関係を示す図である。

以下、図面を参照しながら、実施形態を説明する。本実施形態では、デジタルカメラに画像処理装置が搭載される場合を例に挙げて説明する。デジタルカメラは、例えば、デジタルスチルカメラ、デジタルムービーカメラ、工業用カメラ、車載用カメラ、または医療用カメラなどである。ただし、撮像手段で撮像された画像に対する画像処理を行う機能を有する装置であれば、以下の実施形態で説明する画像処理装置が搭載される装置は、デジタルカメラに限定されない。例えば、携帯端末（携帯電話やタブレット端末など）またはパーソナルコンピュータなどの情報処理装置に、本実施形態で説明する画像処理装置を搭載してもよい。

図１は、デジタルカメラ１００の構成の一例を示すブロック図である。
図１において、レンズ群１０１は、ズームレンズおよびフォーカスレンズを含む。シャッター１０２は、絞り機能を備える。シャッター１０２は、システム制御部５０の制御に応じて撮像部１０３に含まれる撮像素子を露光する。撮像部１０３は、レンズ群１０１を通して得られる光学像を光電変換により電気信号に変換する。撮像部１０３は、ＣＣＤ／ＣＭＯＳイメージセンサ等の撮像素子を含む。Ａ／Ｄ変換器１０４は、撮像部１０３から読み出されたアナログ信号をデジタル信号に変換して画像処理部１０５に画像データを出力する。

画像処理部１０５は、Ａ／Ｄ変換器１０４から出力された画像データまたはメモリ制御部１０７から出力された画像データに対して、ホワイトバランス処理、γ処理、色補正処理などの各種画像処理を行う。画像メモリ１０６は、画像処理部１０５が各種画像処理を行う際に一時的に画像データを記憶する。また、画像メモリ１０６は、記録媒体インタフェース（Ｉ／Ｆ）１１１を介して記録媒体１１２から読み込まれた画像データや、表示部１０９に表示するための画像データを記憶する。メモリ制御部１０７は、画像メモリ１０６の読み書きを制御する。Ｄ／Ａ変換器１０８は、例えば、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に出力する。表示部１０９は、ＬＣＤ（Liquid Crystal Display）などの表示器を有する。表示部１０９は、デジタルカメラ１００で撮影された画像、記録媒体１１２から読み出された画像、ライブビュー画像などを表示する。また、表示部１０９は、デジタルカメラ１００に対する操作をユーザが行うためのユーザインターフェースを表示する。コーデック部１１０は、画像データを圧縮符号化・復号化する。コーデック部１１０は、画像メモリ１０６に記録された画像データを例えばＭＰＥＧなどの規格に準拠した形式で符号化または復号化する。

記録媒体Ｉ／Ｆ１１１は、記録媒体１１２を、デジタルカメラ１００と機械的および電気的に接続する。記録媒体１１２は、例えば、半導体メモリカードやカード型ハードディスクなどの着脱可能な記録媒体である。システム制御部５０は、ＣＰＵ（Central Processing Unit）またはＭＰＵ（Micro Processing Unit）を含む。システム制御部５０は、例えば、不揮発性メモリ１２４に記憶されているプログラムをシステムメモリ１２６の作業領域に展開することにより実行して、デジタルカメラ１００全体の各機能を制御する。

操作部１２０は、前述した表示部１０９で表示されるインタフェースとしてのタッチパネルと、ボタンおよびスイッチとを含む。操作部１２０は、操作部１２０に対するユーザによる操作の内容をシステム制御部５０に通知する。電源スイッチ１２１は、デジタルカメラ１００に対して供給される電源のオン・オフを行うために操作されるスイッチである。電源制御部１２２は、電池の装着の有無、電池の種類、および電池の残量の検出を行う。電源部１２３は、デジタルカメラ１００に対して電源を供給する。
不揮発性メモリ１２４は、電気的に消去・記録可能な記憶媒体である。例えばＥＥＰＲＯＭ等が不揮発性メモリ１２４として用いられる。システムタイマ１２５は、各種制御に用いる時間や、内蔵された時計の時間を計測する。システムメモリ１２６は、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２４から読み出したプログラム等を展開するシステムメモリである。測距センサ１２７は、デジタルカメラ１００から被写体までの距離を測定する。ストロボ１３０は、撮影時に被写体に対して発光する光源装置である。

次に、本実施形態のデジタルカメラ１００における被写体の撮影時の基本的な処理の流れの一例について説明する。まず、撮像部１０３は、レンズ群１０１およびシャッター１０２を介して入射した光を光電変換し、アナログ画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ画像信号をデジタル画像信号に変換し画像処理部１０５に出力する。
画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、または、メモリ制御部１０７から読み出した画像データに対し、ホワイトバランスなどの色変換処理およびγ処理などを行う。そして、画像処理部１０５は、これらの処理により得られる、ベイヤーＲＧＢデータ、輝度・色差信号Ｙ、Ｒ−Ｙ、Ｂ−Ｙのうち、何れかの画像データを出力する。画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。また、画像処理部１０５は、撮影により得られた画像データを用いて所定の演算処理を行う。システム制御部５０は、画像処理部１０５における演算の結果に基づいて露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理などが行われる。画像処理部１０５は更に、撮影により得られた画像データを解析して、光源を推定し、推定した光源に基づきＡＷＢ（オートホワイトバランス）処理を行う。

画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。
また、Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に出力する。表示部１０９は、ＬＣＤなどの表示器に、Ｄ／Ａ変換器１０８から出力されたアナログ信号に応じた表示を行う。コーデック部１１０は、画像メモリ１０６に記録された画像データをＭＰＥＧなどの規格に基づき圧縮符号化する。
以上の基本動作以外に、システム制御部５０は、前述した不揮発性メモリ１２４に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。この際、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２４から読み出したプログラム等をシステムメモリ１２６に展開する。

次に、ハイライト補正を行う際の画像処理部１０５の処理の一例について図２〜図６に基づいて説明する。本実施形態では、ストロボ発光時の第１画像と、ストロボ非発光時の第２画像とを連続で撮影し、ハイライト補正の対象となる被写体が、第１画像および第２画像の２枚の画像間でほぼ同じ位置にあると見なせる場合を例に挙げて説明する。ここで、ストロボ発光時の第１画像とは、ストロボ１３０を発光した状態で、被写体である人物の顔を含む領域を撮影することにより得られる画像である。ストロボ非発光時の第２画像とは、ストロボ１３０を非発光の状態で、被写体である人物の顔を含む領域を撮影することにより得られる画像である。尚、以下の説明では、ストロボ発光時の第１画像を必要に応じて第１画像と略称し、ストロボ非発光時の第２画像を必要に応じて第２画像と略称する。

図２は、画像処理部１０５の機能的な構成の一例を示す図である。図３は、ハイライト補正を行う際の画像処理部１０５の処理の一例を示すフローチャートである。図３を参照しながら、画像処理部１０５の処理の概要の一例を説明する。
ステップＳ３０１では、画像処理部１０５は、ストロボ発光時の第１画像およびストロボ非発光時の第２画像をそれぞれ取得する。

ステップＳ３０２では、被写体領域検出部２０１は、第１画像から顔領域を検出する。例えば、被写体領域検出部２０１は、予め設定された顔の各器官の特徴量と、第１画像とに基づいて、第１画像から、目や口などの器官を検出し、その検出の結果に基づいて顔領域を検出することができる。かかる顔領域の検出方法は、既存の方法を用いることにより実現することができるので、ここでは、その詳細な説明を省略する。また、顔領域の検出方法には、種々の方法があり、顔領域の検出方法は、前述した方法に限定されない。

ステップＳ３０３では、ハイライト領域検出部２０２は、ステップＳ３０２で検出された顔領域の中で輝度が高い領域をハイライト領域として検出する。
ステップＳ３０４では、参照領域設定部２０３は、第２画像に基づいて、第１画像から、ステップＳ３０３で検出されたハイライト領域を補正する際に参照する参照領域を設定する。
ステップＳ３０５では、ハイライト補正部２０４は、ステップＳ３０４で設定された参照領域の補色を算出する。
ステップＳ３０６では、ハイライト補正部２０４は、ステップＳ３０５で算出された補色を参照して、ステップＳ３０３で検出されたハイライト領域に対してハイライト補正を行う。

次に、ステップＳ３０３〜Ｓ３０６の処理の詳細の一例について説明する。
ステップＳ３０３では、ハイライト領域検出部２０２は、顔領域中の高輝度領域を検出する。高輝度領域を検出する方法の一例として、顔領域の各画素の輝度が、所定の閾値Ｔ１以上であるか否かを判定し、輝度が閾値Ｔ１以上である画素を、高輝度領域を構成する画素として抽出する方法が挙げられる。閾値Ｔ１としては、例えば、顔領域の平均輝度を用いることが考えられる。しかしながら、閾値Ｔ１の決め方はこの方法に限らない。ハイライト領域検出部２０２は、抽出した各画素が相互に隣接する場合、それらの画素を同一のハイライト領域を構成する画素として扱う。このステップＳ３０３の処理によって、顔領域の各画素のうち、輝度が閾値Ｔ１以上である画素がハイライト領域として抽出される。本実施形態では、例えば、ハイライト領域により、第１領域の一例が実現される。

ステップＳ３０４では、参照領域設定部２０３は、参照領域を設定する。参照領域は、第１画像の領域のうち、ステップＳ３０３で検出したハイライト領域を補正する際にハイライト補正部２０４が参照する領域である。図４は、参照領域の設定方法の一例を説明する図である。図４（ａ）は、ストロボ発光時の第１画像の一例を示し、図４（ｂ）は、ストロボ非発光時の第２画像の一例を示す。

図４（ａ）に示すように、ハイライト領域４０１が検出されると、参照領域設定部２０３は、まず、ハイライト領域４０１の各画素に対応する第２画像内の領域（Ｓ１）を対応領域４０２として設定する。対応領域（Ｓ１）４０２は、第１画像におけるハイライト領域４０１の各画素と同じ座標の第２画像内の画素で構成される領域とする。本実施形態では、例えば、対応領域４０２により、第３領域の一例が実現される。

次に、参照領域設定部２０３は、第２画像内で対応領域（Ｓ１）４０２と画素値が近い領域（Ｓ２）を類似領域４０３として検出する。参照領域設定部２０３は、例えば、次のようにして類似領域（Ｓ２）４０３を検出する。まず、参照領域設定部２０３は、対応領域（Ｓ１）４０２内の輝度の平均値Ａｖｇを算出する。次に、参照領域設定部２０３は、第２画像の顔領域の各画素の輝度値Ｉｎに対して、式（１）のように閾値Ｔ２を用いて、対応領域（Ｓ１）４０２内の輝度の平均値Ａｖｇと画素値Ｉｎとが近い画素を、類似領域（Ｓ２）４０３を構成する画素として検出する。
｜Ｉｎ − Ａｖｇ｜＜Ｔ２・・・（１）
本実施形態では、例えば、式（１）の左辺の値（｜Ｉｎ − Ａｖｇ｜）により、第３領域の画素値と、第２画像の前記第３領域と異なる領域の画素値との近さを評価する値の一例が実現される。また、本実施形態では、例えば、式（１）のようにして、第３領域の画素値と、第２画像の前記第３領域と異なる領域の画素値との近さを評価する値と閾値とが比較される。

参照領域設定部２０３は、式（１）を満たす輝度値Ｉｎを有する画素であって、相互に隣接する画素からなる領域を、１つの類似領域（Ｓ２）４０３とする。参照領域設定部２０３は、複数の類似領域（Ｓ２）４０３を検出した場合、複数の類似領域（Ｓ２）４０３の１つを選択する。例えば、参照領域設定部２０３は、複数の類似領域（Ｓ２）４０３のそれぞれについて、式（１）の左辺（｜Ｉｎ − Ａｖｇ｜）の総和を導出し、総和が最小である類似領域（Ｓ２）４０３を選択することができる。また、参照領域設定部２０３は、複数の類似領域（Ｓ２）４０３のうち、ハイライト領域４０１に最も近い類似領域（Ｓ２）４０３を選択することができる。また、参照領域設定部２０３は、大きさが閾値以上である類似領域（Ｓ２）４０３の中から、前述した基準に従って類似領域（Ｓ２）４０３を１つ選択してもよい。

図５は、対応領域（Ｓ１）４０２内の輝度の平均値Ａｖｇと、閾値Ｔ２との関係の一例を示す図である。図５に示すように、参照領域設定部２０３は、光ショットノイズを考慮して、対応領域（Ｓ１）４０２内の輝度の平均値Ａｖｇが大きくなるにつれて、閾値Ｔ２も大きくなるように式（１）の閾値Ｔ２を設定する。図５では、対応領域（Ｓ１）４０２内の輝度の平均値Ａｖｇに比例するように閾値Ｔ２が設定される場合を例に挙げて説明したが、これらの関係は比例関係に限定されない。例えば、対応領域（Ｓ１）４０２内の輝度の平均値Ａｖｇが大きくなるにつれて、閾値Ｔ２が非線形で大きくなるようにしても良い。また、参照領域設定部２０３は、光ショットノイズ以外のノイズを考慮して閾値Ｔ２を設定して良い。本実施形態では、例えば、対応領域（Ｓ１）４０２内の輝度の平均値Ａｖｇにより、第２画像の第３領域の画素値の代表値の一例が実現される。

また、ここでは、画素値として輝度値を用いる場合について説明したが、画素値は輝度値に限られず、例えば、ＲＧＢ値などを画素値として用いても良い。本実施形態では、例えば、類似領域４０３により、第４領域の一例が実現される。また、本実施形態では、例えば、図５に従って閾値Ｔ２が設定されることにより、第２画像の第３領域と異なる領域の画素値に基づいて、閾値が変更される。

次に、参照領域設定部２０３は、検出した類似領域（Ｓ２）４０３の各画素と同じ座標の第１画像内の画素で構成される領域を参照領域４０４として設定する。ストロボ非発光時の第２画像を使用することで、ハイライト領域の肌の色が、ハイライトが生じていない状態でどのような色であるのかを特定し、特定した色に近い第１画像内の領域を参照領域４０４として設定することが可能になる。本実施形態では、参照領域４０４により、第１領域の一例が実現される。

ステップＳ３０５では、ハイライト補正部２０４は、ステップＳ３０４で設定された参照領域４０４の補色を算出する。ハイライト補正部２０４は、参照領域４０４として設定された各画素の色を平均した色を算出し、更にその補色を算出する。例えば、ハイライト補正部２０４は、以下のように補色を算出する。
各画素の色をＲＧＢ空間上で（Ｒ，Ｇ，Ｂ）と表すものとし、参照領域４０４に含まれる画素数をｉ２とすると、参照領域４０４の色Ｃｓは、式（２）〜式（５）のようにして求まる。
Ｃｓ＝（ＡｖｇＲ，ＡｖｇＧ、ＡｖｇＢ）・・・（２）
ＡｖｇＲ＝ΣＲ／ｉ２・・・（３）
ＡｖｇＧ＝ΣＧ／ｉ２・・・（４）
ＡｖｇＢ＝ΣＢ／ｉ２・・・（５）
ここで、Ｒ，Ｇ，Ｂはそれぞれ０〜２５５の範囲の値をとるものとする。Ｒ，Ｇ，Ｂは０〜２５５の範囲の値をとるので、参照領域４０４の色Ｃｓの補色Ｃｃは、式（６）のように求まる。
Ｃｃ＝（２５５−ＡｖｇＲ，２５５−ＡｖｇＧ，２５５−ＡｖｇＢ）・・・（６）

ステップＳ３０６では、ハイライト補正部２０４は、ステップＳ３０５で算出した補色Ｃｃを参照してハイライト領域４０１に対してハイライト補正を行う。この処理では、式（７）のように、ハイライト補正前の各画素の色Ｃｈに対して、係数ｋｙを使用して、ハイライト補正後の各画素の色ＣＨを算出する。
ＣＨ＝Ｃｈ−ｋｙ×Ｃｃ・・・（７）

式（７）において、ハイライト補正前の各画素の色Ｃｈに対して乗算する係数ｋｙは適宜決めて良いが、ここでは、式（８）のようにハイライト領域４０１の各画素の輝度Ｙｈに基づいて決まるとする。
ｋｙ＝α×（Ｙｈ／２５５）・・・（８）
ここで、輝度は０〜２５５の範囲で表すとする。また、係数αは０〜１の範囲を取る値であり、ハイライト補正の程度を調節するために用いる。係数αの値はユーザが適宜決めて良い。本実施形態では、例えば、ハイライト補正前の各画素の色Ｃｈの値（（Ｒ，Ｇ，Ｂ））により、第１領域の色の値が実現される。また、例えば、参照領域４０４の色Ｃｓの値（（ＡｖｇＲ，ＡｖｇＧ、ＡｖｇＢ））により、第２領域の色の代表値の一例が実現される。また、例えば、参照領域４０４の色Ｃｓの補色Ｃｃの値（（２５５−ＡｖｇＲ，２５５−ＡｖｇＧ，２５５−ＡｖｇＢ））により、第２領域の色の代表値の補色の値が実現される。また、例えば、係数ｋｙにより、第２領域の色の代表値の補色の値に乗算される係数の一例が実現される。

また、係数ｋｙは、式（８）の計算により求める方法に限らず、ストロボ１３０の発光量に応じて決めても良い。図６は、ストロボ１３０の発光量と、ハイライト補正の係数ｋｙとの関係との一例を示す図である。ストロボ１３０の発光量が大きいほどハイライトの強度も増すため、図６に示すようにストロボ１３０の発光量が大きいほどハイライト補正の係数ｋｙを大きくし、ハイライト領域４０１に対する色の補正量が大きくなるようにしても良い。例えば、ハイライト補正部２０４は、ストロボ１３０の発光量と係数αとを相互に関連付けるテーブルを予め記憶し、このテーブルを用いて係数αを決定すれば、各画素の輝度Ｙｈと、ストロボ１３０の発光量との双方を考慮して係数ｋｙを決定できる。ただし、ハイライト補正部２０４は、各画素の輝度Ｙｈを考慮せずに係数ｋｙを決定してもよい。このようにする場合、例えば、ハイライト補正部２０４は、ストロボ１３０の発光量と係数ｋｙとを相互に関連付けるテーブルを予め記憶し、このテーブルを用いて係数ｋｙを決定することができる。

本実施形態では、ハイライト領域４０１が１つの場合を例に挙げて説明したが、ハイライト領域４０１が複数検出された場合でも、本実施形態で説明したのと同様にハイライト補正を行うことができる。例えば、ステップＳ３０３でハイライト領域４０１が複数検出された場合、ハイライト領域４０１毎にステップＳ３０４からステップＳ３０６の処理を繰り返し行えばよい。

以上のように本実施形態では、画像処理部１０５は、ストロボ発光時の第１画像におけるハイライト領域４０１に対応する対応領域４０２をストロボ非発光時の第２画像から抽出する。次に、画像処理部１０５は、対応領域４０２と画素値が近い領域を類似領域４０３としてストロボ非発光時の第２画像から抽出する。次に、画像処理部１０５は、ストロボ発光時の第１画像に対し、類似領域４０３に対応する領域を参照領域４０４として設定する。次に、画像処理部１０５は、参照領域４０４の色に基づいて、ハイライト領域４０１の色を補正する。従って、ハイライト補正後のハイライト領域の色と当該ハイライト領域の周辺の色との差異を低減することができる。よって、ハイライト補正後の肌の色が不自然になることを抑制することができる。

ここで、ストロボ発光時の第１画像とストロボ非発光時の第２画像とで、ハイライト補正を行う対象の被写体の画像内の相対的な位置が変わることを考慮してもよい。例えば、ストロボ発光時の第１画像の撮影とストロボ非発光時の第２画像の撮影とに時間差がある場合、被写体が大きく移動している可能性がある。そこで、ハイライト補正部２０４は、ストロボ発光時の第１画像とストロボ非発光時の第２画像とにおける被写体の移動量を検出し、移動量が小さいほどハイライト補正で参照する参照領域４０４の検出の精度が高いとして、ハイライト補正の補正量を大きくする。言い換えると、ハイライト補正部２０４は、被写体の移動量が大きいほどハイライト補正の補正量を小さくする。ハイライト補正部２０４は、例えば、ハイライト補正の補正量を大きくする場合、係数ｋｙ（例えば係数α）を大きくし、ハイライト補正の補正量を小さくする場合、係数ｋｙ（例えば係数α）を小さくする。尚、被写体の移動量は、例えば、動きベクトルを用いる方法など、既存の方法を用いることにより実現することができるので、ここでは、その詳細な説明を省略する。

また、別の方法として、ハイライト補正を行う対象の被写体の画像内の相対的な位置が変わることを考慮してもよい。例えば、ハイライト補正部２０４は、ストロボ発光時の第１画像とストロボ非発光時の第２画像との撮影時間の差（撮像間隔）が小さいほどハイライト補正の補正量を大きくし、逆にこれらの撮影時間の差が大きいほどハイライト補正の補正量を小さくしても良い。

その他、ハイライト補正部２０４は、前述したストロボ１３０の発光量、被写体の移動量、および撮影間隔の少なくとも何れか２つの指標を組み合わせて係数ｋｙを決定してもよい。尚、ハイライト補正部２０４は、例えば、ストロボ１３０の発光量、被写体の移動量、および撮影間隔の少なくとも１つと、係数ｋｙまたは係数αとを相互に関連付けて記憶するテーブルを予め記憶し、このテーブルを用いることにより、係数ｋｙを導出できる。例えば、ハイライト補正部２０４は、ストロボ１３０の発光量、被写体の移動量、および撮影間隔の少なくとも１つと、係数αとを相互に関連付けるテーブルを用いて係数αを決定すれば、各画素の輝度Ｙｈも考慮して係数ｋｙを決定できる。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０５：画像処理部、２０１：被写体領域検出部、２０２：ハイライト領域検出部、２０３：参照領域設定部、２０４：ハイライト補正部

Claims

ストロボによる発光がなされた状態で撮像手段により撮像された画像であって、被写体の顔の領域を含む画像である第１画像から、前記顔の領域のうち、輝度が閾値よりも高い領域である第１領域を検出する検出手段と、
前記第１領域の色を、前記第１画像における前記第１領域と異なる領域である第２領域の色を用いて補正する補正手段と、を有し、
前記補正手段は、ストロボによる発光がなされていない状態で撮像手段により撮像された画像であって、前記被写体の顔の領域を含む画像である第２画像から、前記第１画像の前記第１領域に対応する領域を第３領域として検出し、前記第３領域の画素値と、前記第２画像の前記第３領域と異なる領域の画素値とを比較した結果に基づいて、前記第２画像のうち、前記第３領域と異なる領域から第４領域を検出し、前記第４領域に対応する前記第１画像の領域を前記第２領域として決定することを特徴とする画像処理装置。
前記補正手段は、前記第３領域の画素値と、前記第２画像の前記第３領域と異なる領域の画素値との近さを評価する値を導出し、前記導出した値と閾値とを比較した結果に基づいて、前記第４領域を検出することを特徴とする請求項１に記載の画像処理装置。
前記補正手段は、前記第２画像の前記第３領域の画素値の代表値に基づいて、前記閾値を変更することを特徴とする請求項２に記載の画像処理装置。
前記補正手段は、前記第１領域の画素値と、前記ストロボによる発光量と、前記第１画像および前記第２画像における前記被写体の移動量と、前記第１画像および前記第２画像の撮像間隔との少なくとも何れか１つに基づいて、前記第１領域の色の補正量を決定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
前記補正手段は、前記第１領域の色の値と、前記第２領域の色の代表値の補色の値と、前記第２領域の色の代表値の補色の値に乗算される係数とを用いて、前記第１領域の色の補正量を決定することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
ストロボによる発光がなされた状態で撮像工程により撮像された画像であって、被写体の顔の領域を含む画像である第１画像から、前記顔の領域のうち、輝度が閾値よりも高い領域である第１領域を検出する検出工程と、
前記第１領域の色を、前記第１画像における前記第１領域と異なる領域である第２領域の色を用いて補正する補正工程と、を有し、
前記補正工程は、ストロボによる発光がなされていない状態で撮像工程により撮像された画像であって、前記被写体の顔の領域を含む画像である第２画像から、前記第１画像の前記第１領域に対応する領域を第３領域として検出し、前記第３領域の画素値と、前記第２画像の前記第３領域と異なる領域の画素値とを比較した結果に基づいて、前記第２画像のうち、前記第３領域と異なる領域から第４領域を検出し、前記第４領域に対応する前記第１画像の領域を前記第２領域として決定することを特徴とする画像処理方法。
請求項１〜５の何れか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。