JP6327071B2

JP6327071B2 - 画像処理装置および画像処理方法

Info

Publication number: JP6327071B2
Application number: JP2014179390A
Authority: JP
Inventors: 純平松永; 小林　正幸; 正幸小林
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2014-09-03
Filing date: 2014-09-03
Publication date: 2018-05-23
Anticipated expiration: 2034-09-03
Also published as: KR20160028350A; CN105391996B; KR101715486B1; EP2993641B1; EP2993641A1; CN105391996A; US9542599B2; US20160063305A1; JP2016053830A

Description

本発明は、輝度不良が発生した画像を補正する画像処理技術に関する。

カメラ等の撮像装置によって、ストロボ光を照射して人物の顔を撮影した場合、ストロボの光に起因して、人物の瞳が赤く写ってしまう色調不良現象（赤目現象）が発生する。これに対応するため、赤目現象が発生した画像を補正し、本来の色調に修正する技術が数多く提案されている。例えば、特許文献１には、撮影した画像から赤目が発生した領域を抽出し、当該領域に対して色調の補正を行うデジタルカメラが記載されている。

特開２００６−０４０２３０号公報

特許文献１に記載の方法では、色調不良が発生している領域以外の、色調が正常な領域を分析し、当該領域における色相や彩度、明度を抽出して、色調不良が発生している領域を補正するためのパラメータを生成し、補正を行っている。

一方で、赤目現象とは別の現象として、ハレーションがある。ハレーションとは、ストロボが瞳に強く反射することによって、瞳が白飛びしてしまう現象である。
ハレーションについても、前述した方法で補正が行えるようにも思える。しかし、ハレーションが発生すると、輝度の階調情報が失われてしまう。前述した方法では、色調不良が発生した領域の色調を補正することはできても、輝度の階調情報が失われてしまった領域を復元することはできない。

ハレーションが発生した領域を正常な状態に復元するためには、輝度の階調情報を補完しなければならない。例えば、正常な状態の瞳の画像を保持しておき、輝度不良が発生した領域にペーストするといった方法が考えられる。しかし、全く別の画像をペーストすると、明るさや色調が元の画像と馴染まず、違和感のある画像になってしまうといった別の問題が発生する。

本発明は上記の課題を考慮してなされたものであり、目の内部に発生したハレーションを補正する画像処理装置において、より自然な補正を行う技術を提供することを目的とする。

前述した課題を解決するために、本発明に係る画像処理装置は、
人物の顔が含まれた画像である顔画像の少なくとも一部を補正する画像処理装置であって、顔画像を取得する画像取得手段と、前記顔画像から、瞳が含まれる領域である瞳領域を抽出する領域抽出手段と、前記瞳領域内におけるハレーションの発生有無を判定する判定手段と、補正用のテンプレート画像である第一のテンプレート画像を取得する第一のテンプレート取得手段と、前記顔画像から、前記人物に対応する基準色を取得する基準色取得手段と、前記第一のテンプレート画像と、前記基準色とを用いて第二のテンプレート画像を生成する第二のテンプレート取得手段と、前記瞳領域のうち、少なくともハレーションが発生している領域に、前記第二のテンプレート画像を合成することで当該ハレーショ
ンを補正する補正手段と、を有することを特徴とする。

本発明に係る画像処理装置は、取得した画像から瞳領域を抽出し、当該瞳領域内におけるハレーションの発生有無を判定したうえで、当該ハレーションの補正を行う装置である。瞳領域とは、瞳が含まれる領域であり、典型的には、瞳の中心点を中心座標とする円形領域であるが、ハレーションが発生しうる領域を含んでいれば、これ以外であってもよい。
ハレーションの補正は、第一のテンプレート画像を用いて行う。第一のテンプレート画像とは、輝度不良を起こしていない、正常な状態の瞳に対応する画像である。ハレーションの補正は、瞳領域の内部に第一のテンプレート画像を合成（例えばペースト）することで行うことができるが、本発明では、基準色を用いて、第一のテンプレート画像から第二のテンプレート画像を生成したうえで、当該第二のテンプレート画像を合成する。
基準色とは、補正対象の人物に対応する色である。基準色は、第二のテンプレート画像を合成する位置の近傍にある画素から取得することが好ましい。例えば、対象人物の虹彩の色を好適に用いることができる。
かかる構成によると、補正対象の人物に対応する基準色を利用して第二のテンプレート画像を生成するため、第一のテンプレート画像を無加工で合成した場合と比較して、より自然な画像処理結果を得ることができる。

また、前記第一のテンプレート画像はグレースケール画像であり、前記第二のテンプレート取得手段は、前記基準色を用いて、前記第一のテンプレート画像をカラー画像に変換し、第二のテンプレート画像とすることを特徴としてもよい。

基準色を用いて第一のテンプレート画像をカラー化することで、第一のテンプレート画像の色相を、合成先の色相と適合させることができる。
グレースケール画像からカラー画像への変換は、例えば、基準色のＲＧＢ値に基づいて、Ｒ値とＧ値の関係、および、Ｒ値とＢ値の関係を求めたうえで、ＲＧＢ値を輝度値に変換する式に対する逆問題を解くことで得ることができる。もちろん、他の方法を用いて輝度値をＲＧＢ値に変換してもよい。

また、本発明に係る画像処理装置は、前記第一のテンプレート画像の輝度を前記顔画像に適合させるための補正値を、前記基準色に基づいて算出する補正値算出手段をさらに有し、前記第二のテンプレート取得手段は、前記補正値を用いて、前記第一のテンプレート画像の輝度を調整したうえでカラー画像への変換を行うことを特徴としてもよい。

第一のテンプレート画像は、補正対象の画像とは別の画像であるため、そのまま合成した場合、輝度が適合せず、違和感を生じさせる場合がある。例えば、周囲と比べて、合成した領域だけが明るくなったり、暗くなったりする場合がある。そこで、本発明では、第一のテンプレート画像の輝度を前記顔画像に適合させるための補正値を求めたうえで、当該補正値を用いて第一のテンプレート画像の輝度を調整する。なお、補正値は、取得した基準色を利用して求めることができる。
かかる構成によると、輝度が適合した状態で合成を行うことができるため、違和感の少ない画像処理結果を得ることができる。

また、前記基準色取得手段は、前記瞳領域から、虹彩に対応する領域であって、かつ、ハレーションが発生していない領域を抽出し、当該領域に含まれる画素から基準色を取得することを特徴としてもよい。

基準色は、補正対象の人物の、目の虹彩に対応する領域から取得することが好ましい。ハレーションは主に虹彩の内部で発生するため、虹彩の色を基準色とすることで、合成先
の色相と第一のテンプレート画像の色相とを適合させることができる。

また、前記基準色取得手段は、前記瞳領域に、虹彩に対応する領域であって、かつ、ハレーションが発生していない領域が含まれていない場合に、前記顔画像から、前記人物の肌に対応する領域を抽出し、当該領域に含まれる画素の色に基づいて基準色を取得することを特徴としてもよい。

一方、虹彩全体にハレーションが発生している場合は、虹彩の色情報が失われているため、前述した手法では基準色を取得することができない。そこで、人物の肌に対応する画素の色に基づいて、基準色を取得してもよい。この場合、虹彩の色を再現することはできないが、画像中に多く存在する色に基づいて基準色を設定するため、色相の不適合に起因する違和感を抑えることができる。

また、本発明に係る撮像装置は、前述した画像処理装置と、画像を撮像する撮像手段と、を有することを特徴とする。本発明は、撮像手段によって撮像した画像を補正する機能を有する撮像装置に好適に適用することができる。

なお、本発明は、上記手段の少なくとも一部を含む画像処理装置として特定することができる。また、本発明は、上記画像処理装置が行う画像処理方法として特定することもできる。また、本発明は、コンピュータに上記画像処理方法を実行させるプログラムとして特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

本発明によれば、目の内部に発生したハレーションを補正する画像処理装置において、より自然な補正を行うことができる。

実施形態に係る画像処理装置のシステム構成図である。実施形態におけるテンプレート画像の例である。実施形態における顔画像の一部を表した図である。実施形態における輝度値ヒストグラムの例である。ハレーション領域を例示する図である。Ｒ値とＧ値、Ｒ値とＢ値の対応関係を表す近似曲線を説明する図である。二分探索の方法を説明する図である。画像処理装置が行う処理のフローチャートである。顔領域および瞳領域の抽出処理を詳細に説明するフローチャートである。瞳の状態判定を行う処理を詳細に説明するフローチャートである。画像の補正処理を詳細に説明するフローチャートである。

以下、本発明の好ましい実施形態について図面を参照しながら説明する。
本実施形態に係る画像処理装置は、画像に含まれる人の瞳に色調不良または輝度不良が発生していることを検出し、当該不良を補正する装置である。図１は、本実施形態に係る画像処理装置１０のシステム構成図である。

（システム構成）
本実施形態に係る画像処理装置１０は、画像取得部１１、瞳検出部１２、瞳状態判定部１３、瞳補正部１４、テンプレート画像記憶部１５、入出力部１６から構成される。

画像取得部１１は、処理対象の画像（人間の顔を含む画像。以下、顔画像）を取得する手段であり、典型的には、固定ディスクドライブやフラッシュメモリといった記憶装置である。なお、画像取得部１１は、装置の外部から画像を取得する手段（例えば、インタフェース装置や無線通信装置）であってもよいし、レンズと撮像素子を介して画像を撮像する手段であってもよい。

瞳検出部１２は、画像取得部１１が取得した顔画像から、人間の瞳に対応する領域を抽出する手段である。具体的には、画像から人間の顔を検出し、目が含まれる範囲をクリッピングしたうえで、当該範囲に含まれる目の位置を特定し、瞳の中心点を決定する。また、瞳の中心点を中心とする円形領域（以下、瞳領域）を抽出する。瞳領域を抽出する具体的な方法については後述する。なお、本明細書において、瞳領域という語は、瞳孔の中心点を中心座標とした、所定の大きさを持つ領域を表す語として用いる。

瞳状態判定部１３は、瞳検出部１２が抽出した瞳領域に対して、その状態を判定する手段である。具体的には、赤目の発生有無、金目の発生有無、ハレーションの発生有無を判定する。詳細な判定方法については後述する。なお、金目とは、赤目と同様の原理によって、瞳が黄色に写ってしまう色調不良現象である。

瞳補正部１４は、瞳状態判定部１３が行った判定結果に基づいて、赤目または金目、および、ハレーションの補正を行う手段である。本実施形態では、瞳補正部１４は、テンプレート画像記憶部１５に記憶されているテンプレート画像（後述）を用いて、ハレーションの補正を行う。なお、赤目および金目に対しては、公知の技術を用いて補正を行う。
なお、瞳補正部１４が補正を行う対象の領域は、必ずしも瞳領域と同一でなくてもよい。例えば、瞳領域から、肌に対応する領域を削除した領域であってもよし、瞳領域から、虹彩以外の領域を削除した領域であってもよい。

テンプレート画像記憶部１５は、ハレーションの補正を行うための画像（テンプレート画像）を記憶する手段である。本実施形態では、ハレーションが発生していない、正常な状態の瞳に対応するグレースケール画像をテンプレート画像として記憶させておき、補正を行う顔画像に応じて、着色ならびに明るさの調整を行ったうえで、当該顔画像に合成することでハレーションの補正を行う。図２は、テンプレート画像記憶部１５に記憶されるテンプレート画像の例である。テンプレート画像は、複数人の平均的な瞳を表した２５６階調のグレースケール画像である。

テンプレート画像は、ハレーションが発生しうる領域を含んでいれば、例えば、符号２０１のように虹彩全体を含んだ画像であってもよいし、符号２０２のように、虹彩の一部のみを含んだ画像であってもよい。また、テンプレート画像は、瞳（瞳孔）の中心点を中心とする画像であることが好ましい。このようにすることで、補正対象の顔画像との位置合わせが容易になる。当該テンプレート画像を用いて、ハレーションが発生した顔画像を補正する具体的な方法については後述する。
なお、テンプレート画像は、虹彩部分のみに輝度情報を有する画像であってもよい。例えば、白目に対応する領域を透明化したものであってもよい。

入出力部１６は、ユーザが行った入力操作を受け付け、ユーザに対して情報を提示する手段である。具体的には、タッチパネルとその制御手段、液晶ディスプレイとその制御手段から構成される。タッチパネルおよび液晶ディスプレイは、本実施形態では一つのタッチパネルディスプレイからなる。

なお、以上に説明した各手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Pr
ogrammable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などによって実現されてもよいし、これらの組合せによって実現されてもよい。
前述した手段がソフトウェアとして構成される場合、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることによって各手段が機能する。（ＣＰＵ、補助記憶装置、主記憶装置はいずれも不図示）

（従来技術の問題点）
まず、従来技術の問題点について説明する。
図３に示した画像３０１は、画像取得部１１によって取得された顔画像の一部（目の周辺領域）をクリッピングした画像である。また、符号３０２は、瞳に対応する領域（瞳領域）である。ここでは、瞳領域３０２の内部に、ストロボの反射に起因するハレーションが発生しているものとする。

ハレーションが発生すると、当該領域から輝度の階調情報が失われる。すなわち、ハレーションを補正しようとした場合、失われた輝度情報を補完する必要がある。例えば、図２に示したようなテンプレート画像を、瞳領域３０２に合成（例えばペースト）することで補正を行う手法が一般的に用いられている。しかし、テンプレート画像をペーストしようとした場合、一般的に、以下の二つの問題が発生する。

第一の問題は、色相に関する問題である。人間の目が有する虹彩には、様々な色が存在するため、虹彩色が適合するテンプレート画像を用いなければ、虹彩が本来と異なる色になってしまったり、左右の目で虹彩色が異なってしまったりといったように、違和感のある画像となってしまう場合がある。しかし、全ての色に適合するテンプレート画像を予め用意することは現実的ではない。

第二の問題は、明るさに関する問題である。テンプレート画像は、予め定められた輝度で作成された画像であるため、そのままペーストを行うと、周囲の明るさと馴染まず、違和感のある画像となってしまう場合がある。

以上に述べた問題点を解決するために、本実施形態に係る画像処理装置では、瞳領域に含まれる、ハレーションを起こしていない虹彩部分に存在する画素の色を取得し、補正に用いる基準色（以下、補正基準色）とする。また、当該補正基準色を用いて、テンプレート画像の輝度を補正し、かつ、グレースケール画像であるテンプレート画像をカラー化する。以下、具体的な方法について説明する。

（ハレーションの検出）
テンプレート画像を補正する方法を説明する前に、瞳領域内にハレーションが発生していることを検出し、当該ハレーションが発生している領域（以下、ハレーション領域）を抽出する方法について説明する。

図４は、瞳領域３０２に含まれる画素の輝度値ヒストグラムである。画像３０１はＲＧＢ画像であるが、ここでは、説明を簡単にするために、ＲＧＢ値を輝度値に変換したヒストグラムを例示する。ヒストグラムの横軸は輝度値、縦軸は度数（画素数）である。
瞳領域にハレーションが発生しているか否かは、輝度の分布によって判定することができる。ハレーションが発生している場合、輝度分布が高輝度側において突出する。本例では、符号４０１で示した部分が、ハレーションに起因する輝度分布の突出部である。また、輝度分布が高輝度側において突出していることは、閾値を越える輝度値を持つ画素の割合で判定することができる。例えば、閾値４０２よりも輝度値が高い画素が、瞳領域３０２に含まれる画素のうち、所定の割合以上（例えば２０％以上）あった場合に、当該瞳領域にてハレーションが発生していると判定することができる。

ここで用いる閾値４０２は、固定値としてもよいが、判別分析法を用いて設定することが好ましい。判別分析法は、二値化処理において、最適な閾値を設定するための方法である。具体的には、輝度値ヒストグラムを低輝度クラスと高輝度クラスに分離し、それらの平均値および分散値に基づいて各クラスの分離度を求め、分離度が最大となる閾値を算出する。本手法については既知のものであるため、詳細な説明は省略する。このように、閾値を動的に設定することで、瞳領域においてハレーションが発生しているか否かを精度よく判定することができる。

顔画像に判別分析法を適用した結果、高輝度クラスに分類された画素からなる領域が、ハレーション領域であると推定することができる。なお、ハレーション領域が大きすぎる場合（例えば、瞳領域よりも大きい場合）や、小さすぎる場合（例えば、領域内の画素数が所定値以下である場合）、当該領域はハレーションではないと判定することが好ましい。

この他にも、瞳領域内の輝度分布の分離度が所定の値よりも小さい場合、さらなる判定処理を行い、ハレーションの発生有無を決定するようにしてもよい。クラスの分離度が小さい場合、判別分析法では正確な判定が行えないケースがあるためである。

（補正基準色と補正基準輝度値の取得）
次に、補正基準色を取得する方法について説明する。
ここでは、図５のように、瞳領域３０２に対して、ハレーション領域５０１が設定されたものとする。本例では、瞳領域３０２からハレーション領域５０１を削除することで、ハレーションを起こしていない虹彩部分に対応する領域を抽出することができる。
ただし、瞳領域３０２には、虹彩のほか、強膜（白目）や肌が含まれている可能性があるため、更に、これらを除去する処理を行う。具体的には、色情報に基づいて、強膜や肌に対応する領域を抽出し、当該領域を削除する。なお、色情報以外に、器官の形状や配置についての情報を用いて削除を行ってもよい。

前述した処理の結果、虹彩に対応する領域を抽出することができる。本実施形態では、当該領域に存在する画素の色（すなわち虹彩色）を補正基準色とする。本例では、補正基準色をＲＧＢ値で表したものを、Ｃ_eye（Ｒ_eye，Ｇ_eye，Ｂ_eye）とする。例えば、茶色の虹彩を持つ人物である場合、補正基準色は茶系統の色となり、青色の虹彩を持つ人物である場合、補正基準色は青系統の色となる。なお、対象の画素が複数ある場合は、色の平均をとってもよいし、他の方法によって色を特定してもよい。

なお、ハレーションが瞳領域の全体に及んでいる場合など、虹彩色が取得できない場合がある。このような場合、瞳領域の近傍から、肌が存在する領域（以下、肌領域）を抽出し、当該肌領域に存在する画素の色を取得したうえで、数式１によって、補正基準色に変換する。数式１におけるＲ_skin，Ｇ_skin，Ｂ_skinは、肌領域に存在する画素の色をＲＧＢ値で表したものである。

本実施形態では、補正基準色を用いて、補正基準輝度値Ｙ_eyeを生成する。補正基準輝
度値とは、テンプレート画像を合成する際の輝度補正を行うための値であり、補正基準色
を単純に輝度値に置き換えたものである。当該輝度値は、ＲＧＢそれぞれに対する明るさの感じ方の差異を考慮して算出されたものであり、数式２によって求めることができる。

（テンプレート画像の変換）
次に、取得した補正基準色と補正基準輝度値を用いて、テンプレート画像の輝度を調整し、カラー画像に変換する方法について説明する。
本実施形態では、まず、数式３によって、テンプレート画像の輝度を調整する。なお、Ｌはテンプレート画像の横方向の画素数、Ｍはテンプレート画像の縦方向の画素数、Ｙ_{template(i,j)}はテンプレート画像の座標ｉ，ｊにおける輝度値、Ｙ_avgはテンプレート画像の虹彩内部の平均輝度値、Ｙ_eyeは補正基準輝度値である。
このように、テンプレート画像における虹彩内部の平均輝度であるＹ_avgと、人物に依
存する補正基準輝度値であるＹ_eyeにそれぞれ重みを付け、テンプレート画像の輝度値を
調整することで、テンプレート画像の輝度を好ましい状態にすることができる。

以上の処理により、輝度が調整された後のテンプレート画像Ｙ_i,jを得ることができる
。

次に、輝度が調整された後のテンプレート画像Ｙ_i,j（以下、単にテンプレート画像Ｙ_i,jと称する）をカラー画像に変換する処理について説明する。本実施形態では、輝度値がテンプレート画像Ｙ_i,jの輝度値に一致するようなＲＧＢ値の組み合わせを、補正基準色
を用いて求める。

（１）Ｒ値およびＧ値の比と、Ｒ値およびＢ値の比について近似曲線を求める
まず、補正基準色から、Ｒ値およびＧ値と、Ｒ値およびＢ値の組み合わせを取得する。ここでは、補正基準色Ｃ_eye（Ｒ_eye，Ｇ_eye，Ｂ_eye）が（１００，１６０，１５０）であった場合を例に説明を行う。この場合、Ｒ値およびＧ値の組み合わせと、Ｒ値およびＢ値の組み合わせを図６のグラフ上にプロットすると、点６０１および６０２のようになる。
次に、プロットした点と、（０，０）および（２５５，２５５）の３点を通る近似曲線を求める。近似曲線を求めるための手法は、どのようなものであってもよい。この結果、近似曲線６０３および６０４を得ることができる。

（２）二分探索によって、ＲＧＢ値を特定する
次に、二分探索を用いて、輝度値がテンプレート画像Ｙ_i,jの輝度値と一致するような
ＲＧＢ値の組み合わせを求める。
まず、Ｒ値を１２７と置き、対応するＧ値およびＢ値を、近似曲線から求める。そして、数式２を用いて、当該ＲＧＢ値の組み合わせに対応する輝度値を取得する。ここで、求まった輝度値と、Ｙ_i,jの輝度値とを比較し、差異があった場合、Ｒ値を更新して再度計
算を行う。具体的には、図７のように、１２７という値を起点として、差異が小さくなる方向にＲ値を更新しながら、絞り込みを行っていく。例えば、求まった輝度値が、Ｙ_i,j
の輝度値よりも大きい場合、Ｒ値を小さくし、求まった輝度値が、Ｙ_i,jの輝度値よりも
小さい場合、Ｒ値を大きくする。
このような処理を行うと、最終的に、目標の輝度値に対応するＲＧＢ値の組み合わせを
特定することができる。また、当該処理を、テンプレート画像Ｙ_i,jの全ての画素につい
て行うことで、グレースケールのテンプレート画像を、カラー画像に変換することができる。

（画像の合成）
次に、補正領域を生成する。補正領域とは、カラー化したテンプレート画像をペーストする先の領域であって、ハレーションを含む領域である。補正領域は、例えば、瞳領域と同一の領域であってもよいし、瞳の中心点を中心とした、テンプレート画像と同一の大きさを持つ領域であってもよい。

補正領域には、肌に対応する領域など、不要な領域が含まれている場合があるため、補正領域からこれらの領域を削除する処理を行うことが好ましい。例えば、色情報を用いて、不要な領域（例えば肌色領域）を抽出し、対応する領域を削除する。この際、色情報以外に、器官の形状や配置についての情報を用いて領域の削除を行ってもよい。また、異なる基準を用いて複数の処理を行い、処理結果を結合するようにしてもよい。例えば、色情報に基づいて領域を削除する処理と、形状情報に基づいて領域を削除する処理を行い、残った領域同士を結合する処理を行ってもよい。適切な形状の補正領域を生成することができれば、任意の手法を用いることができる。

そして、補正領域に、カラー化したテンプレート画像をペーストする。なお、補正領域以外の領域はマスクされた状態となる。ペーストは、瞳の中心位置を考慮して行うことが好ましい。また、ペーストを行う際には、補正対象の虹彩の直径を計測したうえで、当該直径が一致するようにテンプレート画像をリサイズすることが好ましい。

（処理フローチャート）
次に、以上に説明した機能を実現するための処理フローチャートについて説明する。
図８は、本実施形態に係る画像処理装置１０の処理フローチャートである。当該処理は、ユーザの操作（例えば、記憶された画像を読み込む操作）によって開始される。なお、本実施形態では、ハレーションの補正処理と同時に、赤目および金目を補正する処理を同時に行う。赤目および金目を補正する処理については、随時説明する。

まず、ステップＳ１１で、画像取得部１１が画像を取得する。本実施形態では、予め記憶されている画像を記憶装置から取得するが、通信手段や撮像手段を介して画像を取得してもよい。
次に、ステップＳ１２で、瞳検出部１２が、取得した画像から顔および瞳に対応する領域を抽出する。図９は、ステップＳ１２で行う処理の内容を詳細に示したフローチャートである。

まず、ステップＳ１２１で、画像に含まれる顔に対応する矩形領域（顔領域）を抽出する。画像から顔領域を抽出する方法は公知のものであるため、詳細な説明は省略する。
次に、ステップＳ１２２で、顔領域に含まれる目を検出する。具体的には、目尻、目頭、目の中心などに対応する特徴点を検出する。なお、特徴点の検出に失敗した場合、フィルタリングを行った後、マッチング処理によって目を検出するようにしてもよい。
次に、ステップＳ１２３で、画像の正規化を行う。具体的には、顔領域をクリッピングして、目を含む所定のサイズの矩形画像を生成する。この際、任意の補間手法を用いて解像度の変換を行ってもよい。また、顔領域が水平ではない場合、画像を回転する処理を行ってもよい。本ステップにより、瞳を探索するための領域が特定される。

次に、ステップＳ１２４で、検出した目の中に位置する瞳の中心点を探索する。瞳の中心点は、例えば、顔領域に対応するＲＧＢ画像を単一色の画像に変換したうえで、輝度に
よるマッチングを行い、スコアを算出することで求めることができる。
瞳の中心点が決定されると、当該点を中心とする所定の大きさの円形領域を生成し、瞳領域とする。所定の大きさとは、固定の大きさであってもよいし、人物ごとに異なる大きさであってもよい。また、領域の形は正円であってもよいし、楕円であってもよい。また、他の形状であってもよい。

図８に戻って説明を続ける。
次に、ステップＳ１３で、瞳状態判定部１３が、瞳領域の状態を判定する。瞳に発生する色調不良および輝度不良には、「赤目」「金目」「ハレーション」の三種類が存在するため、本ステップでは、瞳の状態がどれに当てはまるかを判定する。図１０は、ステップＳ１３で行う処理の内容を詳細に示したフローチャートである。

ステップＳ１３０１〜Ｓ１３０５は、瞳領域に色調不良がみられるか、すなわち、赤目または金目が発生しているかをチェックする処理である。
まず、ステップＳ１３０１で、画像の色空間を、ＲＧＢからＬａｂへと変換する。
次に、ステップＳ１３０２で、瞳領域に含まれる各画素について、以下のいずれかに該当するかをそれぞれ判定する。
・θが３５０度〜５５度の範囲にあり、かつ、ｄが０．２以上
・θが３１５度〜３５０度の範囲にあり、かつ、ｄが０．７以上
なお、θは、ＣＩＥＬａｂ表色系における色相角であり、ｄは、彩度を表す値（原点からの距離）である。また、上記条件は、ａ軸およびｂ軸の最大値が１である場合の例である。当該条件によって、画素が赤系の色であるか否かを判定する。

次に、ステップＳ１３０３で、上記条件を満たす画素の数が、瞳領域に存在する画素数に対して所定の割合（例えば１０％以上）以上存在するか否かを判定し、存在する場合は、当該瞳領域において赤目が発生していると判定する（Ｓ１３０４）。また、存在しない場合は、当該瞳領域において赤目は発生していないと判定する（Ｓ１３０５）。

金目の判定も、赤目の判定と同様の方法で行うことができる。金目の判定を行う場合、色条件を、金色（黄色）に対応するものに置き換えればよい。例えば、以下のような条件を用いることができる。
・θが６５度〜１１５度の範囲にあり、かつ、ｄが０．２以上
なお、本例では、画像の色空間をＬａｂに変換したうえで色相の判定を行ったが、他の方法を用いて色相の判定を行ってもよい。

ステップＳ１３０６〜Ｓ１３１０は、瞳領域にハレーションが発生しているかをチェックする処理である。
まず、ステップＳ１３０６で、画像の色空間を、ＲＧＢからグレースケールへと変換する。
次に、ステップＳ１３０７で、瞳領域に含まれる画素の輝度値を高輝度クラスと低輝度クラスに分離するための閾値ｔを判別分析法によって算出する。

ステップＳ１３０８では、ステップＳ１３０７で求めた閾値ｔを用いて、ハレーションの判定を行う。すなわち、閾値ｔを超える輝度を持つ画素の数の、全体に対する割合を算出し、得られた割合が所定の割合より大きい場合、ハレーションありと判定し（ステップＳ１３０９）、所定の割合より小さい場合、ハレーションなしと判定する（ステップＳ１３１０）。このとき、ステップＳ１３０８で得られた分離度が所定の閾値より低い、すなわち、輝度分布が高輝度クラスと低輝度クラスに十分に分離していない場合、ハレーションの発生有無を確定させるため、他の判定処理を追加実行してもよい。

赤目および金目の発生チェック、および、ハレーションの発生チェックを行った結果、少なくともいずれかに該当すると判断された場合、処理をステップＳ１４へ遷移させる（ステップＳ１３１１）。どちらにも該当しないと判断された場合は、処理を終了させる。

図８に戻って説明を続ける。
ステップＳ１４では、瞳補正部１４が、瞳領域に対して補正を行う。図１１は、ステップＳ１４で行う処理の内容を詳細に示したフローチャートである。

まず、ステップＳ１４１で、画像の正規化を行う。具体的には、顔領域をクリッピングして、瞳の中心座標を中心とした、所定のサイズの矩形画像を生成する。この際、任意の補間手法を用いて解像度の変換を行ってもよい。また、顔領域が水平ではない場合、画像を回転する処理を行ってもよい。

次に、ステップＳ１４２で、前述した方法によって、補正領域を生成する。例えば、瞳領域と同一の領域を補正領域とする。
前述したように、ステップＳ１４２で生成した補正領域は、肌に対応する領域など、補正する必要のない領域を含んでいる可能性があるため、ステップＳ１４３で、当該補正する必要のない領域を削除し、補正領域を整形する。本ステップを実行することで、目の内側に対応する領域のみが抽出された状態となる。

ステップＳ１４４では、補正対象によって処理を分岐させる。ステップＳ１３で判定を行った結果は、（１）赤目または金目、（２）ハレーション、（３）両方、の三パターンが考えられる。このうち、（１）については、色調の補正のみで対応することができるが、（２）については、ハレーションによって輝度情報が失われているため、輝度情報の補完（ハレーション補正）を行う必要がある。また、（３）についても、輝度情報が失われているため、ハレーション補正を優先して行う必要がある。

したがって、判定結果が上記（１）であった場合、赤目または金目の補正を行い（ステップＳ１４５）、判定結果が上記（２）または（３）であった場合、ハレーションの補正を行う（ステップＳ１４６）。
赤目または金目の補正は、色調を変更する既知の手法によって行うことができる。また、ハレーションの補正は、前述したように、輝度を調整し、カラー化した状態のテンプレート画像を、補正領域にペーストすることで行うことができる。上記（３）のケースについては、テンプレート画像をペーストすることで、色調不良が発生した領域も同時に補正することができる。なお、ハレーションの補正と、色調補正を独立して行うようにしてもよい。

以上に説明したように、本実施形態に係る画像処理装置は、人物に対応する補正基準色を求め、当該補正基準色を用いて、テンプレート画像の輝度を調整し、当該テンプレート画像をカラー化する。これにより、対象人物がどのような虹彩色を持つ場合であっても、また、補正対象の顔画像がどのような明るさである場合であっても、自然な色と明るさでハレーションを補正することができる。

（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。

例えば、実施形態の説明では、記憶装置に記憶された画像に対して処理を行う画像処理装置を例に説明を行ったが、画像は必ずしも記憶装置から取得する必要はなく、例えば、装置の外部から有線または無線ネットワークを介して取得してもよい。
また、本発明は、画像を撮像する撮像手段と、前述した画像処理装置とを組み合わせ、輝度不良が発生した領域を補正する機能を有する撮像装置として実施してもよい。

１０画像処理装置
１１画像取得部
１２瞳検出部
１３瞳状態判定部
１４瞳補正部
１５テンプレート画像記憶部
１６入出力部

Claims

人物の顔が含まれた画像である顔画像の少なくとも一部を補正する画像処理装置であって、
顔画像を取得する画像取得手段と、
前記顔画像から、瞳が含まれる領域である瞳領域を抽出する領域抽出手段と、
前記瞳領域内におけるハレーションの発生有無を判定する判定手段と、
補正用のテンプレート画像である第一のテンプレート画像を取得する第一のテンプレート取得手段と、
前記顔画像から、前記人物に対応する基準色を取得する基準色取得手段と、
前記第一のテンプレート画像と、前記基準色とを用いて第二のテンプレート画像を生成する第二のテンプレート取得手段と、
前記瞳領域のうち、少なくともハレーションが発生している領域に、前記第二のテンプレート画像を合成することで当該ハレーションを補正する補正手段と、を有し、
前記第一のテンプレート画像はグレースケール画像であり、
前記第二のテンプレート取得手段は、前記基準色を用いて、前記第一のテンプレート画像をカラー画像に変換し、前記第二のテンプレート画像とする
ことを特徴とする、画像処理装置。
前記第一のテンプレート画像の輝度を前記顔画像に適合させるための補正値を、前記基準色に基づいて算出する補正値算出手段をさらに有し、
前記第二のテンプレート取得手段は、前記補正値を用いて、前記第一のテンプレート画像の輝度を調整したうえでカラー画像への変換を行う
ことを特徴とする、請求項１に記載の画像処理装置。
前記基準色取得手段は、前記瞳領域から、虹彩に対応する領域であって、かつ、ハレーションが発生していない領域を抽出し、当該領域に含まれる画素から基準色を取得する
ことを特徴とする、請求項１または２に記載の画像処理装置。
前記基準色取得手段は、前記瞳領域に、虹彩に対応する領域であって、かつ、ハレーションが発生していない領域が含まれていない場合に、前記顔画像から、前記人物の肌に対
応する領域を抽出し、当該領域に含まれる画素の色に基づいて基準色を取得する
ことを特徴とする、請求項３に記載の画像処理装置。
画像を撮像する撮像手段と、
請求項１から４のいずれか１項に記載の画像処理装置と、
を有することを特徴とする、撮像装置。
人物の顔が含まれた画像である顔画像の少なくとも一部を補正する画像処理装置が行う画像処理方法であって、
顔画像を取得する画像取得ステップと、
前記顔画像から、瞳が含まれる領域である瞳領域を抽出する領域抽出ステップと、
前記瞳領域内におけるハレーションの発生有無を判定する判定ステップと、
補正用のテンプレート画像である第一のテンプレート画像を取得する第一のテンプレート取得ステップと、
前記顔画像から、前記人物に対応する基準色を取得する基準色取得ステップと、
前記第一のテンプレート画像と、前記基準色とを用いて第二のテンプレート画像を生成する第二のテンプレート取得ステップと、
前記瞳領域のうち、少なくともハレーションが発生している領域に、前記第二のテンプレート画像を合成することで当該ハレーションを補正する補正ステップと、を含み、
前記第一のテンプレート画像はグレースケール画像であり、
前記第二のテンプレート取得ステップでは、前記基準色を用いて、前記第一のテンプレート画像をカラー画像に変換し、前記第二のテンプレート画像とする
ことを特徴とする、画像処理方法。
請求項６に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。