JP4537142B2 - 画像処理方法及びその装置、撮像装置、プログラム - Google Patents

Description

本発明は、フラッシュ撮影などで発生する、赤目に代表される瞳色調不良を補正する画像処理装置及び方法に関する。

従来より、カメラ等の撮像装置により、暗所で人物等の被写体にストロボ光を照射して撮影した時に、被写体の網膜反射等の原因により、瞳の色が赤色や金色に写る瞳色調不良が発生する現象が知られている。

このような瞳色調不良の補正方法として、操作者が画像中の赤目領域を指定し、この赤目領域のデータ修正量を赤目領域内の位置によって可変とすることで、自然な赤目の修正を行う方法が提案されている（例えば特許文献１参照）。また、撮影された画像を表示し、画像中の目を含む所定領域を手動で指定して、指定した所定領域から赤目又は金目を抽出し、抽出された赤目又は金目を修正する方法が提案されている（例えば特許文献２参照）。
特開２０００−１３４４８６号公報 特開２００１−６１０７１号公報

しかしながら、上記従来技術では、修正後の領域が不自然な画像になることがあり、また、領域を指定するなど操作者の操作が煩雑であった。

そこで、本発明の目的は、フラッシュ撮影などで発生する、上述の赤目や金目といった瞳色調不良を、より自然な瞳色調不良が発生していない瞳の画像へと簡単に補正する補正方法を提供することである。

上記課題を解決するために、本発明によれば、画像処理方法に、画像を入力する入力ステップと、前記画像から目領域を抽出する目領域抽出ステップと、前記目領域から、所定の閾値以下の輝度を持ち、瞳孔付近を含む環状領域の内側に、瞳色調不良候補領域を設定する瞳色調不良候補領域設定ステップと、前記瞳色調不良候補領域から赤目に特有の画素成分範囲内である赤目画素を抽出する赤目画素抽出ステップと、前記瞳色調不良候補領域から所定値以上の輝度値である高輝度画素を抽出する高輝度画素抽出ステップと、前記赤目画素と前記高輝度画素とを内包する楕円領域若しくは円形領域を設定する設定ステップと、前記楕円領域若しくは円形領域中の、前記瞳色調不良候補領域を越えない範囲を瞳色調不良領域として抽出する瞳色調不良領域抽出ステップと、前記瞳色調不良領域内から高輝度領域を抽出する高輝度領域抽出ステップと、前記瞳色調不良領域から前記高輝度領域を除いた領域を赤目領域とし、該赤目領域を補正する赤目領域補正ステップと、前記高輝度領域を前記赤目領域補正ステップとは異なる手法で補正する高輝度領域補正ステップとを備える。

また本発明の他の態様によれば、画像処理装置に、画像を入力する入力手段と、前記画像から目領域を抽出する目領域抽出手段と、前記目領域から、所定の閾値以下の輝度を持ち、瞳孔付近を含む環状領域の内側に、瞳色調不良候補領域を設定する瞳色調不良候補領域設定手段と、前記瞳色調不良候補領域から赤目に特有の画素成分範囲内である赤目画素を抽出する赤目画素抽出手段と、前記瞳色調不良候補領域から所定値以上の輝度値である高輝度画素を抽出する高輝度画素抽出手段と、前記赤目画素と前記高輝度画素とを内包する楕円領域若しくは円形領域を設定する設定手段と、前記楕円領域若しくは円形領域中の、前記瞳色調不良候補領域を越えない範囲を瞳色調不良領域として抽出する瞳色調不良領域抽出手段と、前記抽出した瞳色調不良領域内から高輝度領域を抽出する高輝度領域抽出手段と、前記瞳色調不良領域から前記高輝度領域を除いた領域を赤目領域とし、該赤目領域を補正する赤目領域補正手段と、前記高輝度領域を前記赤目領域補正手段とは異なる手法により補正する高輝度領域補正手段とを備える。

以上説明したように、本発明によれば、フラッシュ撮影などで発生する、赤目や金目といった瞳色調不良を、より自然な瞳色調不良が発生していない瞳の画像へと簡単に補正することが可能になる。

以下、添付図面を参照しながら、本発明の実施形態を説明する。

（第１の実施形態）
第１の実施の形態として、瞳色調不良が発生した人物の顔を含む画像を入力画像データとし、画像中の瞳色調不良を補正する画像処理装置を説明する。本実施形態では、人物の瞳を瞳色調不良の補正対象として扱うが、この瞳色調不良補正方法は、特に人物に限るものではなく、例えば犬等の動物にも適用可能である。

図１は、本実施形態の画像処理装置の機能構成を示したものである。また図２は、瞳色調不良補正処理のフローチャートである。まず本実施形態による瞳色調不良補正処理の概要について、図１及び図２を用いて説明する。

画像入力部１０は瞳色調不良補正の対象となる画像を入力するモジュールである。この画像入力部１０により画像データを入力する（ステップＳ２０）。瞳色調不良領域抽出部１１は、入力された画像中の瞳色調不良領域を抽出する（ステップＳ２１）。高輝度領域抽出部１２は、瞳色調不良抽出部１１で抽出された瞳色調不良領域内から、所定値以上の輝度値を有する画素を抽出することで、瞳色調不良領域内の高輝度領域を抽出する（ステップＳ２２）。

赤目領域抽出部１３は、赤目領域として補正すべき領域を抽出するモジュールであり、瞳色調不良領域抽出部１１において抽出された瞳色調不良領域から、高輝度領域抽出部１２において抽出された高輝度領域を除いた領域を赤目領域として抽出する（ステップＳ２３）。

赤目補正処理部１４は、赤目領域抽出部１３において抽出された赤目領域を補正するモジュールである。この赤目補正処理部１４では、赤目領域抽出部１３で抽出された赤目領域内において、入力画像の各画素に対し所定の補正を加える（ステップＳ２４）。

高輝度領域補正処理部１５は、高輝度領域抽出部１２で抽出された高輝度領域を補正するモジュールであり、高輝度領域内において、入力画像の各画素に対し、赤目補正処理部１４とは異なる所定の補正を行う（ステップＳ２５）。このような補正を行うことにより、赤目や金目等の瞳色調不良を、瞳色調不良が発生していないより自然な瞳画像へと補正することが可能になる。

図３は、画像中の人物の瞳の瞳色調不良を補正する詳細処理手順を示すフローチャートである。以下、図３を用いて、瞳色調不良補正方法について詳細に説明する。

まず、画像入力（ステップＳ３００）において瞳色調不良補正を行う画像データを入力する。次に画像表示（ステップＳ３０１）で、入力された画像データを画像として表示する。

続いて、目領域抽出（ステップＳ３０２）において、表示された画像中から概略の目領域を抽出する。抽出の方法としては、例えばポインティングデバイス等を利用して手動で領域の指定を行えばよい。またテンプレートマッチング等の公知のパターン認識技術を用いて、入力画像中から自動的に目領域を抽出するような方法でも構わない。本実施形態においては、ポインティングデバイス等を用い、瞳孔付近から目の外側に向けてドラッグすることで、目を内包する瞳孔付近を中心とした円形領域もしくは楕円領域を目領域として抽出する。ここで抽出された目領域が以降の補正処理の処理対象領域となる。

瞳色調不良領域抽出（ステップＳ３０３）では、抽出した目領域中から、瞳色調不良領域を抽出する。ここでは代表的な瞳色調不良である、赤目と金目等が発生している領域を抽出する。本実施形態における瞳色調不良領域抽出処理手順のフローチャートを図４に示す。以下、本実施形態での瞳色調不良領域抽出について図４を用いて説明する。

まず最低輝度値検出（ステップＳ３０３０）で、目領域中の各画素の輝度値の最低値Ｖｍｉｎを検出する。次に、初期閾値設定（ステップＳ３０３１）において、最低輝度値検出（ステップＳ３０３０）で検出した最低輝度値に基づいて、次の低輝度領域抽出（ステップＳ３０３２）の閾値処理で使用する、初期閾値Ｐ＿Ｔｈを決定する。この初期閾値Ｐ＿Ｔｈは例えば、Ｐ＿Ｔｈ＝Ｖｍｉｎ＋ｂや、Ｐ＿Ｔｈ＝η＊Ｖｍｉｎ（ｂ、ηは正定数）というように設定すればよい。ｂやηは予め設定しておくが、ここでは最初の低輝度領域抽出（ステップＳ３０３２）において抽出される低輝度領域が少ない方が好ましい。そのためここでは、ｂやηを比較的小さい値にしておく。

続いて、低輝度領域抽出（ステップＳ３０３２）では、初期閾値設定（ステップＳ３０３１）もしくは後述の閾値再設定（ステップＳ３０３４）において設定された閾値を用いて、目領域中の、閾値以下の輝度値である画素を抽出する低輝度領域抽出を行う。

次に、環状判定分岐（ステップＳ３０３３）において、低輝度領域抽出（ステップＳ３０３２）で抽出された目領域中の全ての低輝度領域の中で、環状であるものがあるかどうかを判定し、その結果によりに処理のフローが分岐する。ここでの抽出領域が環状であるというのは、抽出領域の形状が図５の（Ａ）、（Ｂ）に示すような白色領域の形状であることを意味する。以下このようなものを簡単に環と呼ぶ。

ちなみに、図５中のグレーで示した円５０は、前述の目領域抽出（ステップＳ３０２）において選択した目領域の外周であり、白で示した領域５１は、低輝度領域抽出（ステップＳ３０３２）で抽出された目領域中の低輝度領域を示している。また、図５中の５２は、瞳孔付近として指定された位置、即ち目領域抽出（ステップＳ３０２）において指定した瞳孔付近（ポインティングデバイスでのドラッグの始点位置）を示している。以下では、この点を簡単に瞳孔付近点と呼ぶ。

また、黒で示した領域５３は、環の内側の領域（後述）と呼ぶ。この環状判定分岐（ステップＳ３０３３）では、環がなければ閾値再設定（ステップＳ３０３４）に進み、環があった場合に次の瞳孔環状内判定分岐（ステップＳ３０３５）に進む。

環状判定分岐（ステップＳ３０３３）における、環があるかどうかの判定方法について以下に説明する。まず低輝度領域として抽出された画素以外の非低輝度画素に対し、つながっている全ての画素、即ち連結成分には同じラベルを付け、異なった連結成分には異なるラベルを付ける、いわゆるラベリング処理を行って非低輝度領域を抽出し、ラベル付けされた連結成分の内、全周囲を低輝度領域に囲まれている連結成分を検出する。そして、このような全周囲を低輝度領域に囲まれている連結成分が検出された場合は環が存在し、検出されなければ環が存在しないことになる。このようにして、環があるかないかの判定を行うが、全周囲を低輝度領域に囲まれている連結成分の内、所定面積よりも小さなものは無視するなどしても構わない。所定面積としては、予め決めておいた定数でも良いし、目領域抽出（ステップＳ３０２）において選択した目領域の面積に比例した値としても良い。本実施形態では上記処理により環があるかないかの判定を行うが、特に限定するものではなく、その他の方法を用いても構わない。

環状判定分岐（ステップＳ３０３３）において環がなかった場合は、閾値再設定（ステップＳ３０３４）に進み、低輝度領域抽出（ステップＳ３０３２）において用いる閾値の再設定を行う。閾値再設定（ステップＳ３０３４）では、直前の低輝度領域抽出（ステップＳ３０３２）において使用された閾値に対し、低輝度領域として抽出される画素が多くなるように閾値を再設定する。例えば、直前低輝度領域抽出（ステップＳ３０３２）において用いた閾値をＴｈ＿Ｏｌｄ、再設定する閾値をＴｈ＿Ｎｅｗとした時、Ｔｈ＿Ｎｅｗ＝Ｔｈ＿Ｏｌｄ＋Δｂや、Ｔｈ＿Ｎｅｗ＝Δη＊Ｔｈ＿Ｏｌｄ（Δｂ、Δηは正定数）というように再設定してやればよい。このような閾値の再設定を行い、低輝度領域抽出（ステップＳ３０３２）、環状判定分岐（ステップＳ３０３３）をループすることで、適切な低輝度領域の抽出が可能になる。

環状判定分岐（ステップＳ３０３３）で環があった場合は、瞳孔環状内判定分岐（ステップＳ３０３５）に進み、環状判定分岐（ステップＳ３０３３）で検出されたそれぞれ全ての環について、その環の内側の領域に、瞳孔付近点が入っているかどうかの判定を行い、その結果によりに処理のフローが分岐する。この環の内側の領域とは、環状判定分岐（ステップＳ３０３３）でのラベリングされた連結成分に対応する。つまり、環の内側に接して存在する非低輝度領域を意味する。この領域中に、瞳孔付近点が存在していれば、次の処理である瞳色調不良領域候補決定（ステップＳ３０３６）に進み、存在していなければ、また閾値再設定（ステップＳ３０３４）に戻るというループ処理を行う。ここで判定された、内側の領域に瞳孔付近点が入っている環を、以下では候補環と呼ぶ。

瞳色調不良候補決定（ステップＳ３０３６）では、次の処理である特定色相画素抽出（ステップＳ３０３７）、及び特定輝度画素抽出（ステップＳ３０３８）の処理を行う瞳色調不良候補領域を決定する。ここではまず、候補環の内側に接する非低輝度領域を内包する領域を初期計数領域として設定し、この初期計数領域内の低輝度領域抽出（ステップＳ３０３２）において抽出された低輝度画素の画素数をカウントし、さらにこの領域の円形度を算出する。

そして、この初期計数領域から、徐々に候補環を構成する連結成分、つまり低輝度画素の領域を超えない範囲で計数領域の外周を拡大していき、その都度低輝度画素の画素数カウントと円形度の算出を行う。ここでの円形度は、計数領域の面積をＳ、計数領域の外周長をＬとした時、Ｓ／Ｌ^２として算出すればよい。円形度の算出方法は、特にこの方法に限るものではなく、外周が滑らかである場合、円形度が高くなるようなものであれば、その他の方法でも構わない。これらの低輝度画素のカウント数と円形度を、予め決めておいた適当な重み付けにより評価し、評価値が最大になった時の計数領域を瞳色調不良候補領域とする。

上記処理により、白目部分や瞼の肌色部分を含まない、概略瞳の領域と一致する領域を、瞳色調不良候補領域として抽出することが可能になる。低輝度領域を超えない範囲で計数領域の外周を拡大していく場合、瞳孔付近点を有する環の内側の領域とは別の、環の内側の領域が処理上問題になることがあるので、そのような領域は無視する、若しくは予め低輝度画素としてしまえばよい。上記方法により白目部分や肌色部分を含まない、瞳色調不良候補領域を決定することができるが、このような適切な領域を決定できる方法であれば、その他の方法を用いても構わない。

次に、特定色相画素抽出（ステップＳ３０３７）、及び特定輝度画素抽出（ステップＳ３０３８）において、瞳色調不良候補決定（ステップＳ３０３６）で決定された瞳色調不良候補領域中の瞳色調不良画素の抽出を行う。特定色相画素抽出（ステップＳ３０３７）では、色相が赤目に特有の色相範囲、つまり色相が赤に近い画素を赤目画素として抽出し、特定輝度画素抽出（ステップＳ３０３８）では、金目等に特有の輝度、つまり黒目と見なすことができる上限の輝度値よりも輝度値が高い画素を高輝度画素として抽出する。

本実施形態では上記方法により瞳色調不良画素の抽出を行うが、瞳色調不良画素に特有の、色相や彩度、明度といった成分を利用して抽出してもよい。また背景技術で述べた特許文献２に開示されている、赤成分、及び緑成分について、各画素の色度と、所定領域中の色度の平均を比較するといった方法を用いても構わない。

最後に、瞳色調不良領域決定（ステップＳ３０３９）において、補正を行う瞳色調不良領域の決定を行う。ここでは、特定色相画素抽出（ステップＳ３０３７）、及び特定輝度画素抽出（ステップＳ３０３８）で抽出された、赤目画素と高輝度画素を全て内包し、尚且つ面積が最小であるような楕円領域若しくは円形領域を設定し、その楕円領域若しくは円形領域中の瞳色調不良候補決定（ステップＳ３０３６）において決定された瞳色調不良候補領域を超えない範囲を瞳色調不良領域とする。

上記のように、楕円若しくは円形領域を補正対象の領域とすることで、抽出された赤目画素及び高輝度画素のみを補正した時に現れる違和感（瞳の内部がまだら模様になる）が発生せずに、瞳色調不良領域を補正することができる。また、楕円若しくは円形領域を補正領域として設定することで、補正領域が白目や瞼の肌色領域まで広がってしまうことがあるが、上記のように概略瞳領域と一致する、瞳色調不良候補決定（ステップＳ３０３６）において決定された瞳色調不良候補領域を超えない範囲を補正対象とすることで、誤って肌色部分や白目部分が補正されることを防ぐことができる。

以上の処理が、瞳色調不良領域抽出（ステップＳ３０３）における瞳色調不良領域抽出処理である。本実施形態では上記方法を用い、瞳色調不良領域を抽出したが、その他の方法であっても、瞳色調不良領域を抽出できるようなものであればよい。

瞳色調不良領域抽出（ステップＳ３０３）を行うと、高輝度領域抽出（ステップＳ３０４）に進む。ここでの処理は、瞳色調不良領域中の金目若しくはキャッチライト等に対応する高輝度領域を抽出する。ここでの高輝度領域抽出は、瞳色調不良領域抽出（ステップＳ３０３）での特定輝度画素抽出（ステップＳ３０３８）の処理結果をそのまま流用しても良いし、新たに設定した値を利用して高輝度画素の抽出を行っても良い。このようにして抽出された高輝度画素を高輝度領域として抽出する。

次に赤目領域決定（ステップＳ３０５）において、赤目として補正を行う赤目領域を決定する。ここでは、瞳色調不良領域抽出（ステップＳ３０３）で抽出された瞳色調不良領から、高輝度領域抽出（ステップＳ３０４）で抽出された高輝度領域を除いた領域を赤目領域と決定する。

赤目領域として決定された領域の画素は、次の赤目補正処理（ステップＳ３０６）において、赤目補正処理がなされる。赤目補正の処理としては、本実施形態では単純に、輝度、及び彩度を低下させる処理を行うが、例えば、瞳色調不良候補決定（ステップＳ３０３６）で抽出された瞳色調不良候補領域から、瞳色調不良領域抽出（ステップＳ３０３）で抽出された瞳色調不良領域を除いた領域を分析し、その領域の平均的な色相や彩度、明度、若しくは色度といった補正のためのパラメータを抽出して、補正対象の画素の上記パラメータが、その抽出したパラメータに近づくように補正する等、赤目中の赤成分を消すことができ、適切な黒目の色や輝度になるように補正する方法であればその他の方法でも構わない。

ここまでの処理により、赤目補正が完了する。この後に続く処理として、高輝度領域抽出（ステップＳ３０４）で抽出された高輝度領域に上記赤目補正とは異なる補正処理を行うことで、より自然な補正が可能になる。以下に、この後に続く処理である、高輝度領域に関する補正処理について説明する。

まず、高輝度領域面積算出（ステップＳ３０７）において、高輝度領域抽出（ステップＳ３０４）で抽出された高輝度領域について、前述の環状判定分岐（ステップＳ３０３３）で説明したラベリング処理を行い、全ての連結成分それぞれの面積を算出する。

そして、次の面積判定分岐（ステップＳ３０８）で、それぞれの連結成分の面積が所定値以上であるかどうかを判定し、それぞれの連結成分について処理のフローが分岐する。ここで用いる面積の所定値は、予め定めた定数であっても構わないが、瞳色調不良領域抽出（ステップＳ３０３）での、瞳色調不良候補決定（ステップＳ３０３６）で決定された瞳色調不良候補領域、つまり概略瞳の面積に比例した値を所定値として用いるのが好適である。例えば、ここで用いる面積の所定値を、瞳色調不良候補領域の面積（つまり瞳の面積）の約１０％の面積等というようにすればよい。

面積判定分岐（ステップＳ３０８）において、高輝度領域面積が所定値以下であると判定された連結成分については、キャッチライト領域決定（ステップＳ３１４）に進み、所定値以上である連結成分については、金目が発生したと判定し、高輝度領域内最大輝度画素検出（ステップＳ３０９）に進む。

はじめに、高輝度領域面積が所定値以下であると判定された連結成分に対する処理、即ちキャッチライト領域決定（ステップＳ３１４）に直接進む処理について説明する。ここでのキャッチライト領域決定（ステップＳ３１４）では、単純に高輝度領域面積が所定値以下であると判定された連結成分の領域をキャッチライト領域として決定する。

そして、キャッチライト領域として決定された領域は、次のキャッチライト補正処理（ステップＳ３１３）において、キャッチライト補正処理がなされる。キャッチライト補正処理は、本実施形態においては、単純に彩度の低下のみを実行する。これにより、自然な位置にキャッチライトを残したまま瞳色調不良の補正が可能になる。本実施形態では彩度の低下のみを行うが、自然なキャッチライトとなるような補正方法であれば、その他の方法でも構わない。

高輝度領域面積が所定値以上であると判定された連結成分では、まず高輝度領域内最大輝度画素検出（ステップＳ３０９）で、その連結成分内の最大の輝度値を持つ画素を検出する。次に、キャッチライト領域決定（ステップＳ３１０）において、高輝度領域内最大輝度画素検出（ステップＳ３０９）で検出された、最大の輝度値を持つ画素を中心とする所定形状の領域を、キャッチライト領域として決定する。

本実施形態ではこの所定形状として、瞳色調不良領域抽出（ステップＳ３０３）での、瞳色調不良候補決定（ステップＳ３０３６）で決定された瞳色調不良候補領域の面積に比例する面積、例えば５％程度の面積である円形の形状を用いる。この所定形状に関しては、例えば星型としたり、面積を予め定めたのものとしたりする等、自然なキャッチライト領域になるような形状であればその他の形状でも構わない。

続いて、金目領域決定（ステップＳ３１１）において、キャッチライト領域決定（ステップＳ３１０）で決定されたキャッチライト領域をこの連結成分から除いた領域を金目領域として決定する。ここで決定された金目領域である画素に対して、次の金目補正処理（ステップＳ３１２）で、金目補正処理を行う。金目補正処理としては、前述の赤目補正処理（ステップＳ３０６）で行った補正処理と同様の処理を行えばよい。

そして最後に、キャッチライト補正処理（Ｓ３１３）において、キャッチライト領域決定（ステップＳ３１０、Ｓ３１４）で決定されたキャッチライト領域である画素に対して、前述のキャッチライト補正処理を行う。

上記の高輝度領域の連結成分に対する補正処理を、全ての連結成分に対して行うことで、高輝度領域の補正処理が完了する。上記方法のように、赤目補正処理（ステップＳ３０６）までに行った赤目補正処理と、高輝度領域面積算出（ステップＳ３０７）以降の処理とを行うことにより、赤目や金目等の多種の瞳色調不良に対応でき、尚且つ自然である瞳色調不良補正が可能になる。

以上、第１の実施の形態は、瞳色調不良が発生した人物の顔を含む画像を入力画像データとし、画像中の瞳色調不良を補正する方法の例として説明した。

図７は、本実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。この画像処理装置は、撮像装置の一部として、もしくは撮像装置と接続されて利用され、上述した補正処理を行なう。

ＣＰＵ７１は、ＲＯＭ７２やＲＡＭ７３に格納されているプログラムやデータを用いて本装置全体の制御を行うと共に、後述する各処理を実行する。

ＲＯＭ７２は、ブートプログラムや本装置の設定データ等を格納する。

ＲＡＭ７３は、ＣＰＵ７１が各種の処理を実行する際に必要とするワークエリアを備えると共に、ＨＤＤ７６からロードされたプログラムやデータを一時的に記憶するためのエリアを備える。

キーボード７４は、ユーザからの各種の指示をＣＰＵ７１に対して入力することができる操作部である。更に、マウスなどのポインティングデバイスを備えるようにしてもよい。

ＣＲＴ７５はＣＰＵ７１による処理結果を文字や画像などでもって表示することができる表示装置である。ＣＲＴ７５に代えて液晶表示装置などを設けてもよい。

ハードディスクドライブ装置（ＨＤＤ）７６は、大容量の外部記憶装置であり、ＯＳ（オペレーティングシステム）や、図１に示した各部の機能をＣＰＵ７１に実現させるためのプログラムやデータが保存されており、これらの一部もしくは全部はＣＰＵ４１による制御でもってＲＡＭ７３にロードされる。また、ＨＤＤ７６には、補正データやモデルデータなどが保存されており、これらについても必要に応じてＣＰＵ７１の制御に従ってＲＡＭ７３にロードされる。外部記憶装置として、更にＣＤやＤＶＤなどのドライブ装置を設けてもよい。

Ｉ／Ｆ７７は、外部装置とのデータ通信のためのインタフェースである。例えば、補正対象を含む画像のデータを、このＩ／Ｆ７７に接続しているディジタルカメラから入力したり、コンピュータからダウンロードしたりすることもできる。なお、画像のデータはＲＡＭ７３に一時的に記憶され、そこでＣＰＵ７１の処理対象となる。上述の各部はバス７８に接続している。

（第２の実施形態）
本発明の第２の実施の形態では、撮影した画像中に存在する人物の瞳色調不良を、本実施形態の瞳色調不良補正装置により自動的に補正して記録する撮像装置を示す。

図６は、本実施形態の撮像装置の機能構成を示したブロック図である。以下、図６を用いて、実施形態２の撮像装置について詳細に説明する。

結像光学系６０は、被写体の光学像を光電変換素子アレイ６１に結像するための、レンズ・絞り等で構成される光学系である。光電変換素子アレイ６１は、ＣＣＤ等の光電変換素子を２次元アレイ状に配置したものであり、結像光学系６０により光電変換素子アレイ６１上に結像された光学像を電気信号に変換する。

画像生成部６２は、ＡＤ変換器等で構成されており、光電変換素子アレイ６１で電気信号に変換された信号からデジタルの画像データを生成する処理部である。画像記録部６３は、画像生成部６２により生成されたデジタルの画像データを記録するメモリである。

測光部６４は、被写体の明るさを測るモジュールであり、測光部６４において測られた被写体の明るさに関する信号は、結像光学系６０、画像生成部６２、ストロボ使用判定部６５に送られ、結像光学系６０の絞り調整、画像生成部６２のゲインコントロール、ストロボ使用判定部６５のストロボ使用判定に用いられる。この測光部６４は、光電変換素子アレイ６１の信号を流用して実現しても構わない。

ストロボ使用判定部６５は、測光部６４からの被写体の明るさに関する信号を受け、ストロボ光の使用の有無を決定するモジュールである。被写体の明るさが所定値以下であれば、ストロボ光を使用すると判定、つまりフラッシュ撮影を行うと判定し、所定値以上であればストロボ光を使用しないと判定する。このストロボ光使用判定部６５により、ストロボ光を使用すると判定された場合、ストロボ光発生部、及び画像補正処理部６７にストロボ光を使用するという信号が発せられる。

ストロボ光発生部６６は、ストロボ光源等で構成され、ストロボ光使用判定部６５のストロボ光使用判定信号を受け、撮影時にストロボ光を発生させる。図中、点線内で囲まれた画像補正処理部６７は、ストロボ光使用判定部６５のストロボ光使用判定信号を受けた場合に、撮影がなされた後、画像記録部６３に記録された画像データに対して瞳色調不良補正のための処理を行う処理部である。

この画像補正処理部６７により、被写体が人物等であり瞳色調不良が発生していた場合に、その瞳色調不良補正データを生成し、補正画像記録部６８に瞳色調不良補正データを送る。

補正画像記録部６８は、画像記録部６３に記録された画像データと、画像補正処理部６７で生成された瞳色調不良補正データに基づき画像データを補正し、補正された補正画像を記録する。

画像補正処理部６７、及び補正画像記録部６８での処理に関して、以下にさらに詳細に説明する。画像補正処理部６７での処理手法の内、実施形態１で説明したものと同様であるものの詳細に関しては説明を割愛し、実施形態１と異なるものについてのみ詳細に説明をする。

画像補正処理部６７は、図６に示すように、顔検出部６７０、顔サイズ算出部６７１、目検出部６７２、瞳抽出部６７３、瞳色調不良補正部６７４で構成されており、撮影された画像データを入力し、フラッシュ撮影時に人物の瞳に瞳色調不良が発生した場合に、瞳色調不良補正データを生成するモジュールである。

顔検出部６７０は、画像記録部６３に記録された画像データを入力し、その画像中の顔を検出する。入力された画像データから顔を検出するには、例えば特許２７３５０２８号公報の人物顔画像照合装置に開示されている、異なる２方向にそれぞれ輝度極小をなす複数Ｖ字エッジ抽出し、その論理積をとり、顔構造点抽出、構造点間距離に基づき照合する手法や、特許３０７８１６６号公報の物体認識方法に開示されている、局所的特徴要素の配置情報を抽出し照合する手法、若しくは単純に標準顔をテンプレートとして用いたテンプレートテンプレートマッチング等を用いればよい。上記列挙した手法以外であっても、顔の存在と位置を判定できるものであればその他の手法を用いても構わない。本実施形態においては、単純に複数解像度でのテンプレートマッチングを利用して顔検出を行う。

次いで顔サイズ算出部６７１において、顔検出部６７０で検出された全ての顔の、凡その顔のサイズを算出する。顔のサイズの算出としては、例えば肌色抽出を行って、その抽出された領域の面積を算出する手法や、顔位置付近に対しエッジ検出を行い頭部の輪郭を検出してそのサイズを算出する等の手法を用いる等すればよい。本実施形態では、顔検出部６７０において複数解像度によるテンプレートマッチングを利用して顔検出を実行しているため、いずれの解像度において顔検出がなされたかによって顔のサイズを判定する。

目検出部６７２は、顔検出部６７０で検出された全ての顔について、顔サイズ算出部６７１で算出された顔のサイズに基づいて目の検出を行う。ここでの目の検出も顔検出部６７２での顔の検出と同様に、目の存在と位置を判定できるものであれば構わない。本実施形態では、顔サイズ算出部により算出された顔のサイズに基づいて、そのサイズに比例する適切なサイズの目のテンプレートを設定し、それを顔のサイズによって決まる凡そ目が存在するであろう範囲においてテンプレートマッチングを行い目の検出をする。

瞳抽出部６７３は、目検出部６７２で検出された全ての目において瞳部分を抽出する。瞳部分の抽出としては、実施形態１の瞳色調不良領域抽出（ステップＳ３０３）での、最低輝度値検出（ステップＳ３０３０）から瞳色調不良領域候補決定（ステップＳ３０３６）までの処理手法を適用すればよい。実施形態１では、瞳孔付近点を、ポインティングデバイス等を用いた目領域指定のためのドラッグの始点としたが、本実施形態では上記のような指定は行わない。そこで本実施形態では、目検出部６７２でのテンプレートマッチングによる目検出の結果を利用して、瞳孔付近点を設定する。つまり、テンプレートマッチングにより算出された類似度が最も高かった位置での、テンプレート画像の瞳孔付近を瞳孔付近点として設定する。本実施形態では上記示した実施形態１で用いた手法を応用して瞳抽出を行うが、肌色や白目を含まない瞳の範囲を抽出できるものであればその他の手法でも構わない。

瞳色調不良補正部６７４では、瞳抽出部６７３で抽出されたそれぞれの瞳部分に対し瞳色調不良判定をし、瞳色調不良が発生している瞳について、顔サイズ算出部６７１で算出された顔サイズが予め定めた値よりも大きければ、高解像度用の瞳色調不良を補正するための補正データを生成し、小さければ低解像度用の瞳色調不良を補正するための補正データを生成する。これは、顔サイズが大きい、例えば顔の領域が３００×３００画素以上といった高解像度な顔の場合では、低解像度な顔において行う瞳色調不良補正のように、瞳色調不良領域の画素値を変更するだけでは補正後の違和感があるため、高解像度の場合の補正では、違和感のない詳細な補正処理を行うためである。

瞳色調不良判定としては、本実施形態では瞳抽出部６７３で抽出された各々の瞳部分の平均色相や平均輝度といったパラメータを抽出し、それらが赤目や金目が発生していない時の平均色相や平均輝度の所定範囲外である場合に瞳色調不良が発生していると判定する。瞳色調不良判定はこの手法に限るものではなく、色度の範囲を利用する等のその他の方法でも構わない。

次に、瞳色調不良が発生していると判定された瞳部分において、瞳色調不良領域を抽出し、そこから赤目領域と高輝度領域の抽出を行う。ここでは、実施形態１の瞳色調不良領域抽出（ステップＳ３０３）での、特定色相画素抽出（ステップＳ３０３７）、から瞳色調不良領域決定（ステップＳ３０３９）までと、高輝度領域抽出（ステップＳ３０４）、赤目領域決定（ステップＳ３０５）を抽出された瞳部分に対して実行すればよい。

次いで、抽出された赤目領域と、高輝度領域それぞれに対し、顔サイズ算出部６７１で算出された顔サイズの大小に応じて、高解像度用、若しくは低解像度用の赤目領域補正データ生成と高輝度領域補正データ生成を行う。

赤目領域補正データ生成では、顔サイズが所定サイズより小さい場合、つまり低解像度用の赤目領域補正データ生成では、実施形態１での赤目補正処理（ステップＳ３０６）と同様の手法を適用して、赤目領域内である画素の輝度や彩度の補正を行ったものを赤目領域補正データとして生成する。

顔サイズが所定サイズより大きい場合、つまり高解像度用の赤目領域補正データ生成では、単に輝度や彩度を修正しただけでは、画像拡大時に違和感があるため、上記低解像度用の赤目領域補正データ生成とは異なる手法により赤目領域補正データを生成する。

本実施形態では、予め用意した虹彩テンプレートを用い、そのテンプレートに対し、所定の方法で抽出したサイズ・色相・輝度等のパラメータを与えて補正データ用のテンプレートを生成し、それを赤目領域補正データとする。補正データ用のテンプレート作成時に抽出する各パラメータは、サイズのパラメータとしては、瞳抽出部６７３で抽出された瞳部分の面積を抽出し、補正データ用テンプレートの面積を、その面積に概略一致するような面積にすればよい。また、色相や輝度等のパラメータに関しては、瞳部分の内で、瞳色調不良領域を除いた領域、特に瞳の外周付近の画素の平均色相や輝度を抽出して、補正データ用テンプレートの各画素が、そのパラメータに近いものになるようにすればよい。

本実施形態では上記虹彩テンプレートを用いた赤目領域補正データ生成をするが、画像拡大時に違和感がないような補正データを生成するのであればその他の方法でも構わない。

高輝度領域補正データ生成では、まず実施形態１の高輝度領域面積算出（ステップＳ３０９）、及び面積判定分岐（ステップＳ３０８）での処理と同様の手法を適用して、抽出された全ての高輝度領域の面積を算出し、その面積により各高輝度領域がキャッチライトであるのか金目であるのかを判定する。そしてその判定結果に基づいて、それぞれ異なる手法を用いて高輝度領域補正データを生成する。

高輝度領域の面積が所定値以上、つまり金目であると判定された高輝度領域では、実施形態１と同様に、高輝度領域内最大輝度画素検出（ステップＳ３０９）、及びキャッチライト領域決定（Ｓ３１０）の手法を適用して高輝度領域のキャッチライト領域を決定し、高輝度領域からキャッチライト領域を除いた領域を金目領域として決定する。

この金目領域における高輝度領域補正データの生成では、上述した赤目領域補正データの生成と同様の手法を適用し、顔サイズに応じて低解像度用か高解像度用の補正データを生成する。

高解像度用の虹彩テンプレートを利用した補正データ生成では、上記赤目領域補正データと虹彩の模様が一致するように補正データを生成することが好ましい。キャッチライト領域における高輝度領域補正データの生成では、低解像度用の補正データ生成であれば、実施形態１のキャッチライト補正処理（ステップＳ３１３）と同様の処理を適用して、その領域内である画素の彩度のみを下げたものを高輝度領域補正データとして生成する。

高解像度用の補正データ生成では、やはりここでも、画像拡大時に違和感がないように、まず瞳抽出部６７３で抽出した瞳部分の外側の領域において、彩度が所定値以下で輝度が所定値以上の領域、つまり白目領域の画素から、撮影環境の光源色を推定するため、白目領域の画素の平均色相、平均輝度を抽出し、それを補正色として決定する。

次いで、決定した補正色を用いてキャッチライト領域における高輝度領域補正データを生成する。そして、金目領域における高輝度領域補正データと、キャッチライト領域における高輝度領域補正データを統合し、それをこの高輝度領域の高輝度領域補正データとする。この統合においては、低解像度用の補正データ生成の場合は、単純に各領域の補正データを足し合わせたものとすればよいが、高解像度用の補正データ生成の場合は、違和感を無くすため、キャッチライト領域と金目領域の境界部分をキャッチライト領域の面積に応じたスケーリングで暈かしたもの、例えばカーネルサイズがキャッチライト領域の面積の平方根に比例したサイズであるローパスフィルタ等で暈かしたものを高輝度領域補正データとする。

高輝度領域の面積が所定値以下である場合、つまり金目が発生していないと判定された場合は、その領域をキャッチライト領域として決定し、その領域において高輝度補正データを生成する。この補正データに関しては、上記のキャッチライト領域における補正データ生成と同様の手法を適用して、高解像度用と低解像度用に分けて補正データを生成し、それをこの高輝度領域の高輝度領域補正データとする。

画像補正処理部６７で、上記説明した手法を適用して赤目領域補正データと、高輝度領域補正データとを生成し、補正画像記録部６８において、これらの補正データと、画像記録部６３に記録された画像データとを用いて瞳色調不良補正を行い、その補正画像をメモリに記録する。ここでの補正では、画像補正処理部６７で生成した補正データに、画像記録部６３に記録された画像データの補正データが対応する領域で単純に置き換えるようにしても良いが、補正の違和感を無くすため、置き換えた補正データに対し、赤目領域補正データと元画像データと高輝度領域補正データのそれぞれの境界線部分を、赤目領域や高輝度領域の面積に応じたスケーリングで暈かすようにする方が好ましい。このような補正を行うことで、フラッシュ撮影時に瞳色調不良が発生した場合に、その瞳色調不良を自動的に自然な瞳へと補正して記録することが可能になる。

以上、第２の実施の形態として、撮影した画像中に存在する人物の瞳色調不良を、第１実施形態の画像処理装置により自動的に補正して記録する撮像装置の例を説明した。

（その他の実施形態）
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、カメラもしくはコンピュータのＣＰＵやＭＰＵが記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、カメラもしくはコンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、カメラ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、カメラもしくはコンピュータに挿入された機能拡張カードや、カメラもしくはコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

第１の実施形態に係る画像処理装置の機能構成を示す図である。 第１の実施形態の処理手順を示すフローチャートである。 瞳色調不良補正処理手順を示すフローチャートである。 瞳色調不良領域抽出処理手順を示すフローチャートである。 低輝度領域抽出結果を示す図である。 撮像装置の構成を示す図である。 画像処理装置のハードウェア構成を示すブロック図である。

Claims (29)

1. 画像を入力する入力ステップと、
   前記画像から目領域を抽出する目領域抽出ステップと、
   前記目領域から、所定の閾値以下の輝度を持ち、瞳孔付近を含む環状領域の内側に、瞳色調不良候補領域を設定する瞳色調不良候補領域設定ステップと、
   前記瞳色調不良候補領域から赤目に特有の画素成分範囲内である赤目画素を抽出する赤目画素抽出ステップと、
   前記瞳色調不良候補領域から所定値以上の輝度値である高輝度画素を抽出する高輝度画素抽出ステップと、
   前記赤目画素と前記高輝度画素とを内包する楕円領域若しくは円形領域を設定する設定ステップと、
   前記楕円領域若しくは円形領域中の、前記瞳色調不良候補領域を越えない範囲を瞳色調不良領域として抽出する瞳色調不良領域抽出ステップと、
   前記瞳色調不良領域内から高輝度領域を抽出する高輝度領域抽出ステップと、
   前記瞳色調不良領域から前記高輝度領域を除いた領域を赤目領域とし、該赤目領域を補正する赤目領域補正ステップと、
   前記高輝度領域を前記赤目領域補正ステップとは異なる手法で補正する高輝度領域補正ステップとを有することを特徴とする画像処理方法。
2. 前記赤目に特有の画素成分範囲として、色相、彩度、輝度、色度の少なくとも１つの範囲を用いることを特徴とする請求項１に記載の画像処理方法。
3. 前記高輝度領域抽出ステップでは、前記瞳色調不良領域から前記所定値以上の輝度値である高輝度画素を抽出することを特徴とする請求項１に記載の画像処理方法。
4. 前記高輝度画素を抽出する際の前記所定値は、黒目と見なせる画素の輝度値の上限値であることを特徴とする請求項１に記載の画像処理方法。
5. 前記赤目領域補正ステップでは、前記赤目領域の画素の輝度、若しくは輝度と彩度とを低下させる補正を行なうことを特徴とする請求項１に記載の画像処理方法。
6. 前記赤目領域補正ステップでは、予め用意した虹彩テンプレートに対し、所定のパラメータを与えて補正用のテンプレートを生成するステップを有し、当該補正用テンプレートに基づいて前記赤目領域を補正することを特徴とする請求項１に記載の画像処理方法。
7. 前記高輝度領域補正ステップは、前記高輝度領域の面積を算出する面積算出ステップと、当該算出した面積に基づいて前記高輝度領域が金目であるかどうかを判定する金目判定ステップを有することを特徴とする請求項１に記載の画像処理方法。
8. 前記金目判定ステップにより前記高輝度領域が金目であると判定された場合に、当該高輝度領域を金目領域とキャッチライト領域とに区分する区分ステップと、前記高輝度領域が金目であると判定されなかった場合に、当該高輝度領域をキャッチライト領域と判定するステップとを有することを特徴とする請求項７に記載の画像処理方法。
9. 前記区分ステップは、前記高輝度領域中の画素の内、輝度値が最大である画素を検出するステップと、当該検出された輝度値が最大である画素の位置に基づいて、前記高輝度領域中に所定のキャッチライト領域を決定するステップとを有し、前記高輝度領域から前記決定されたキャッチライト領域を除いた領域を金目領域とすることを特徴とする請求項８に記載の画像処理方法。
10. 前記区分された金目領域を補正する金目領域補正ステップを有することを特徴とする請求項８または請求項９に記載の画像処理方法。
11. 前記金目領域補正ステップは、前記金目領域の画素の輝度、若しくは輝度と彩度とを低下させる補正を行なうことを特徴とする請求項１０に記載の画像処理方法。
12. 前記金目領域補正ステップは、予め用意した虹彩テンプレートに対し、所定のパラメータを与えて補正用のテンプレートを生成するステップを有し、当該補正用テンプレートに基づいて、前記金目領域を補正することを特徴とする請求項１０に記載の画像処理方法。
13. 前記区分されたキャッチライト領域を補正するキャッチライト領域補正ステップを有することを特徴とする請求項８または請求項９に記載の画像処理方法。
14. 前記キャッチライト領域補正ステップは、前記キャッチライト領域の画素の彩度を低下させる補正を行なうことを特徴とする請求項１３に記載の画像処理方法。
15. 前記キャッチライト領域補正ステップは、白目領域の画素の色相、彩度、輝度、及び色度の少なくとも１つを用いて補正色を決定するステップを有し、当該補正色に基づいて、前記キャッチライト領域の画素を補正することを特徴とする請求項１３に記載の画像処理方法。
16. 前記所定のパラメータは、瞳領域から前記瞳色調不良領域を除いた領域中の画素の色相、彩度、輝度、色度、及び補正対象のサイズの少なくとも１つであることを特徴とする請求項６または１２に記載の画像処理方法。
17. 前記赤目領域補正ステップにおいて、補正領域の境界を暈かして補正することを特徴とする請求項１に記載の画像処理方法。
18. 前記金目領域補正ステップにおいて、補正領域の境界を暈かして補正することを特徴とする請求項１０に記載の画像処理方法。
19. 前記キャッチライト領域補正ステップにおいて、補正領域の境界を暈かして補正することを特徴とする請求項１３に記載の画像処理方法。
20. 前記赤目領域補正ステップにおいて、補正対象のサイズに応じて補正方法を選択することを特徴とする請求項１に記載の画像処理方法。
21. 前記金目領域補正ステップにおいて、補正対象のサイズに応じて補正方法を選択することを特徴とする請求項１０に記載の画像処理方法。
22. 前記キャッチライト領域補正ステップにおいて、補正対象のサイズに応じて補正方法を選択することを特徴とする請求項１３に記載の画像処理方法。
23. 前記補正対象のサイズは、補正対象となる瞳色調不良が発生している人物の顔のサイズであることを特徴とする請求項１６または２０乃至２２いずれか１項に記載の画像処理方法。
24. 前記補正対象のサイズは、補正対象となる瞳色調不良が発生している人物の目のサイズであることを特徴とする請求項１６または２０乃至２２いずれか１項に記載の画像処理方法。
25. 画像を入力する入力手段と、
    前記画像から目領域を抽出する目領域抽出手段と、
    前記目領域から、所定の閾値以下の輝度を持ち、瞳孔付近を含む環状領域の内側に、瞳色調不良候補領域を設定する瞳色調不良候補領域設定手段と、
    前記瞳色調不良候補領域から赤目に特有の画素成分範囲内である赤目画素を抽出する赤目画素抽出手段と、
    前記瞳色調不良候補領域から所定値以上の輝度値である高輝度画素を抽出する高輝度画素抽出手段と、
    前記赤目画素と前記高輝度画素とを内包する楕円領域若しくは円形領域を設定する設定手段と、
    前記楕円領域若しくは円形領域中の、前記瞳色調不良候補領域を越えない範囲を瞳色調不良領域として抽出する瞳色調不良領域抽出手段と、
    前記抽出した瞳色調不良領域内から高輝度領域を抽出する高輝度領域抽出手段と、
    前記瞳色調不良領域から前記高輝度領域を除いた領域を赤目領域とし、該赤目領域を補正する赤目領域補正手段と、
    前記高輝度領域を前記赤目領域補正手段とは異なる手法により補正する高輝度領域補正手段とを有することを特徴とする画像処理装置。
26. 被写体画像を生成する画像生成手段と、請求項２５に記載の画像処理装置とを有し、前記画像生成手段により生成された被写体画像中の瞳色調不良を前記画像処理装置で補正することを特徴とする撮像装置。
27. 前記被写体画像から顔を検出する顔検出手段と、前記顔検出手段による顔検出結果に基づいて、前記被写体画像における補正処理の適用範囲を限定する手段とを有することを特徴とする請求項２６に記載の撮像装置。
28. 被写体の明るさを測る測光手段と、該測光手段からの前記被写体の明るさ信号に基づいてストロボ光の使用の有無を決定するストロボ光使用判定手段と、ストロボ光発生手段と、前記ストロボ光使用判定手段がストロボ光を使用すると判定した場合に、前記ストロボ光発生手段と前記画像処理装置とに起動命令を発する手段とを有することを特徴とする請求項２６または２７に記載の撮像装置。
29. コンピュータに請求項１乃至２４いずれか１項に記載の画像処理方法を実行させることを特徴とするプログラム。

Images