JP4158343B2

JP4158343B2 - 画像中の赤目領域を特定するプログラム、画像処理装置および記録媒体

Info

Publication number: JP4158343B2
Application number: JP2001044807A
Authority: JP
Inventors: 宏樹吉田
Original assignee: Konica Minolta Business Technologies Inc
Current assignee: Konica Minolta Business Technologies Inc
Priority date: 2001-02-21
Filing date: 2001-02-21
Publication date: 2008-10-01
Anticipated expiration: 2021-02-21
Also published as: JP2002247596A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像中の赤目領域を特定する技術に関する。
【０００２】
【従来の技術】
被写体が人物の場合に、正面からフラッシュを用いて撮影を行うと、フラッシュの光が虹彩により反射されて瞳が真っ赤あるいは金色に写る赤目現象が生じることがある（以下、赤目現象の生じている目を「赤目」と称する）。
【０００３】
従来より、このような赤目は画像として非常に不自然に感じられるため、画像処理による補正が提案されている。例えば、特開平９−２６１５８０号公報では、一対の目を含む領域とその中央点を操作者が指定し、指定された領域を対象に赤目現象が生じている赤目領域を特定して補正する方法が提案されている。
【０００４】
【発明が解決しようとする課題】
ところが、赤目は撮影された状況または被写体の個人差等によって色相等の特徴量が異なること、画像内の瞳の占める割合が異なること等の理由から赤目領域の特定が難しく、従来の方法では赤目現象の生じている領域の特定が不十分、かつ処理に多くの時間がかかるという問題があった。
【０００５】
本発明は、上記課題に鑑みなされたものであり、迅速かつ精度よく赤目領域の特定を行うことを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、画像中の赤目領域を特定するプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、画像中の目領域を含む対象領域の特徴量に基づいて、前記対象領域から虹彩領域を含む複数の特徴領域を抽出する工程と、前記虹彩領域と他の特徴領域との配置関係に基づいて赤目領域を特定する工程と、を実行させ、前記配置関係に、前記虹彩領域と前記他の特徴領域との接触の度合いが含まれ、前記接触の度合いが、前記虹彩領域の境界のうち、前記他の特徴領域と接する側の境界の全長と、前記虹彩領域と前記他の特徴領域とが接触する接触部分の長さとの割合として求められ、前記割合が、所定値をこえる場合に、前記他の特徴領域を前記赤目領域に含めるように赤目領域を特定し、前記特徴量には、色相および彩度が含まれ、前記複数の特徴領域を抽出する工程において、前記色相および彩度が所定の範囲にある領域を前記虹彩領域として抽出が行われる。
【０００９】
請求項２に記載の発明は、請求項１に記載のプログラムであって、特定された前記赤目領域の面積が前記対象領域の面積に対して所定の割合よりも小さい場合に、前記赤目領域が存在しないと判定する工程をさらに実行させる。
【００１０】
請求項３に記載の発明は、請求項１または２に記載のプログラムであって、前記配置関係に、前記虹彩領域と前記他の特徴領域との包含関係が含まれる。
【００１１】
請求項４に記載の発明は、請求項３に記載のプログラムであって、前記複数の特徴領域を抽出する工程において、瞳孔領域の抽出が行われ、前記瞳孔領域が抽出され、かつ前記瞳孔領域以外の特徴領域に前記瞳孔領域が内包されない場合に、前記赤目領域を特定する工程において前記赤目領域が存在しないと判定される。
【００１２】
請求項５に記載の発明は、請求項１に記載のプログラムであって、画素値から導かれる少なくとも２種類の特徴量に基づいて、前記対象領域から前記複数の特徴領域が抽出される。
【００１３】
請求項６に記載の発明は、請求項５に記載のプログラムであって、前記複数の特徴領域を抽出する工程において、少なくとも所定の色相範囲に基づいて虹彩領域の抽出が行われ、少なくとも所定の明度範囲に基づいて瞳孔領域の抽出が行われ、前記所定の色相範囲および前記所定の明度範囲に基づいて虹彩外領域の抽出が行われ、前記瞳孔領域が抽出されず、かつ前記虹彩外領域が前記虹彩領域の中に存在する場合に、前記赤目領域を特定する工程において前記赤目領域が存在しないと判定される。
【００１４】
請求項７に記載の発明は、請求項１ないし６のいずれかに記載のプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、画像中の目領域を含む対象領域を決定する工程と、前記対象領域を前記画像に対する前記対象領域の大きさの割合に応じた大きさの単位領域に分割する工程と、をさらに実行させ、前記赤目領域を特定する工程において、前記単位領域を単位として演算を行うことにより前記赤目領域を特定する。
【００１５】
請求項８に記載の発明は、画像処理装置であって、画像中の目領域を含む対象領域の特徴量に基づいて、前記対象領域から虹彩領域を含む複数の特徴領域を抽出する手段と、前記虹彩領域と他の特徴領域との配置関係に基づいて赤目領域を特定する手段と、前記赤目領域の画素値を補正する手段とを備え、前記配置関係に、前記虹彩領域と前記他の特徴領域との接触の度合いが含まれ、前記接触の度合いが、前記虹彩領域の境界のうち、前記他の特徴領域と接する側の境界の全長と、前記虹彩領域と前記他の特徴領域とが接触する接触部分の長さとの割合として求められ、前記割合が、所定値をこえる場合に、前記他の特徴領域を前記赤目領域に含めるように赤目領域を特定し、前記特徴量には、色相および彩度が含まれ、前記複数の特徴領域を抽出する手段において、前記色相および彩度が所定の範囲にある領域を前記虹彩領域として抽出が行われる。
【００１６】
請求項９に記載の発明は、画像中の赤目領域を特定するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記プログラムのコンピュータによる実行は、前記コンピュータに、画像中の目領域を含む対象領域の特徴量に基づいて、前記対象領域から虹彩領域を含む複数の特徴領域を抽出する工程と、前記虹彩領域と他の特徴領域との配置関係に基づいて赤目領域を特定する工程とを実行させ、前記配置関係に、前記虹彩領域と前記他の特徴領域との接触の度合いが含まれ、前記接触の度合いが、前記虹彩領域の境界のうち、前記他の特徴領域と接する側の境界の全長と、前記虹彩領域と前記他の特徴領域とが接触する接触部分の長さとの割合として求められ、前記割合が、所定値をこえる場合に、前記他の特徴領域を前記赤目領域に含めるように赤目領域を特定し、前記特徴量には、色相および彩度が含まれ、前記複数の特徴領域を抽出する工程において、前記色相および彩度が所定の範囲にある領域を前記虹彩領域として抽出が行われる。
【００１７】
請求項１０に記載の発明は、請求項８に記載の画像処理装置であって、画像中の目領域を含む対象領域を決定する手段と、前記対象領域を前記画像と前記対象領域との大きさの割合に応じた大きさの単位領域に分割する手段と、をさらに備え、前記赤目領域を特定する手段が、前記単位領域を単位として演算を行うことにより前記赤目領域を特定する。
【００１８】
請求項１１に記載の発明は、請求項９に記載の記録媒体であって、前記プログラムのコンピュータによる実行は、前記コンピュータに、画像中の目領域を含む対象領域を決定する工程と、前記画像に対する前記対象領域の大きさの割合に応じた大きさの単位領域に前記対象領域を分割する工程と、をさらに実行させ、前記赤目領域を特定する工程が、前記単位領域を単位として演算を行うことにより前記赤目領域を特定する。
【００１９】
【発明の実施の形態】
図１は、本実施の形態に係る画像処理装置１を示す外観図である。画像処理装置１は、デジタル化された画像のデータを取得し、画像中の赤目領域を特定して補正する機能を有している。画像処理装置１は、図１に示すように、使用者からの入力を受け付けるキーボード１１１およびマウス１１２、並びに使用者に対する指示メニューや取得した画像等の表示を行うディスプレイ１２を備える。
【００２０】
画像処理装置１には、内部に画像のデータ等を記憶する固定ディスク１６１を有しており、さらに、プログラムを格納した記録ディスク９１や画像データを格納した記録媒体であるメモリカード９２が、それぞれ読取装置１６２やカードスロット１６３により装填可能となっている。
【００２１】
図２は、画像処理装置１の構成を示すブロック図である。画像処理装置１は、ＣＰＵ１３、ＲＡＭ１４およびＲＯＭ１５をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、ディスプレイ１２、操作部１１として操作者からの入力を受け付けるキーボード１１１およびマウス１１２、データ等を保存する固定ディスク１６１、光ディスク、磁気ディスク、光磁気ディスク等の記録媒体である記録ディスク９１から情報の読み取りを行う読取装置１６２、並びに、メモリカード９２から情報の読み取りを行うカードスロット１６３が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。
【００２２】
また、操作部１１からの入力操作に基づいてＣＰＵ１３を介してＲＡＭ１４と固定ディスク１６１、読取装置１６２およびカードスロット１６３との間で各種データの受け渡しが可能とされており、ディスプレイ１２には、ＣＰＵ１３の制御により、各種情報の表示やＲＡＭ１４、固定ディスク１６１、メモリカード９２等に記憶されいてる画像の表示が行われる。
【００２３】
図３は、ＣＰＵ１３がＲＡＭ１４内のプログラム１４１に従って動作することにより実現される機能構成を他の構成とともに示す図である。プログラム１４１は、記録ディスク９１から読取装置１６２を介して固定ディスク１６１に記憶され、固定ディスク１６１からＲＡＭ１４へと転送されることにより、ＣＰＵ１３が実行可能な状態とされる。
【００２４】
図３に示す構成のうち、表示制御部２０１、対象領域決定部２０２、サイズ決定部２０３、特徴領域抽出部２０４、赤目領域特定部２０５、および補正部２０６が、ＣＰＵ１３等により実現される機能を示す。
【００２５】
表示制御部２０１は、使用者の指示を操作部１１から受け付け、表示する画像のデータをメモリカード９２や固定ディスク１６１等の記録部１６からＲＡＭ１４へと転送するとともに必要な処理を行ってディスプレイ１２に画像として表示させる。
【００２６】
対象領域決定部２０２は、操作部１１から使用者の指定を受け付けることにより、ＲＡＭ１４に記憶された画像データ３０１の一部を、赤目現象の生じている目の領域を含む対象領域として決定する。サイズ決定部２０３は、対象領域について後述する処理を行う単位となる単位領域の大きさを決定する。特徴領域抽出部２０４は、対象領域に対して単位領域毎の処理を行い、特徴量に応じて複数の特徴領域を抽出する。
【００２７】
図４は、赤目領域特定部２０５の機能構成を示す図である。赤目領域特定部２０５は、特徴領域抽出部２０４にて抽出された各特徴領域の大きさを検出するサイズ検出部２０５ａ、各特徴領域の接触度合いを検出する接触度合い検出部２０５ｂ、各特徴領域の包含関係を検出する包含関係検出部２０５ｃ、およびこれらの検出結果から赤目領域を特定する特定部２０５ｄからなる。
【００２８】
図３に示す補正部２０６は、特定された赤目領域に対して補正を行い、補正済画像データ３０２を生成してＲＡＭ１４に記憶させる。
【００２９】
図５ないし図８は、画像処理装置１が赤目領域を特定して補正する際の動作の流れを示す図である。以下、図３ないし図８を参照して画像処理装置１が赤目現象に対する補正を行う動作について説明する。
【００３０】
まず、使用者がディスプレイ１２を見ながら記録部１６中の画像データのうち所望のものを選択すると、表示制御部２０１が選択された画像データ３０１をＲＡＭ１４に読み込むとともにディスプレイ１２に画像が表示される（ステップＳ１０１）。その後、使用者が赤目に対する色補正（以下、「赤目補正」という。）が必要な領域をマウス１１２を用いて指定することにより、対象領域決定部２０２が演算対象となる対象領域を決定する（ステップＳ１０２）。
【００３１】
図９ないし図１１は、表示されている画像４０１に対して対象領域の指定が行われる様子を示す図である。まず、図９に示すように対象領域決定部２０２は、マウス１１２により移動させることができるカーソル４１０と、使用者に対して画像４０１中に始点を指定するよう促すメッセージ４１１とをディスプレイ１２に表示する。使用者がカーソル４１０を移動させ任意の点を始点として指定すると、図１０に示すように画像４０１中に終点を指定するよう促すメッセージ４１２がさらにディスプレイ１２に表示される。使用者がカーソル４１０を再び移動させ任意の点を終点として指定し、画像４０１中の始点と終点の指定が終了すると、図１１に示すように対象領域決定部２０２は、指定された二点を対角とする長方形の領域を対象領域４０２として決定する。これにより、画像４０１中の目領域を含む対象領域４０２が決定される。
【００３２】
対象領域４０２が決定されると、サイズ決定部２０３により、対象領域４０２の画素数Ｎ１とパラメータＳとに基づいて、数１により単位領域の一辺の画素数（以下、「単位領域サイズ」という。）ｎ（単位領域の大きさはｎ×ｎとされる。）が求められる（ステップＳ１０３）。
【００３３】
【数１】

【００３４】
なお、パラメータＳは画像４０１と対象領域４０２との画素数の比を示す値であり、画像４０１の画素数をＮ２とすると数２により定まるパラメータである。
【００３５】
【数２】

【００３６】
また、関数Ｆは、パラメータＳが小さいほど出力する単位領域サイズｎを小さくし、対象領域４０２の画素数Ｎ１が大きいほど出力する単位領域サイズｎを大きくする関数であり、例えば数３ないし数５のような入出力関係を有する関数である。
【００３７】
【数３】

【００３８】
【数４】

【００３９】
【数５】

【００４０】
このような関数Ｆを用いて単位領域サイズを決定することにより、画像４０１に対する対象領域４０２の大きさの割合に応じた大きさの単位領域に対象領域４０２を分割でき、その後は単位領域を単位として演算を行うことにより、画素毎に演算する場合に比べて高速で、かつノイズの影響を受けにくい精度のよい赤目領域の特定ができる。なお、ｎの最小値は１であり、その場合、対象領域４０２は画素毎に処理されることとなる。
【００４１】
対象領域４０２および単位領域サイズｎが決定されると、特徴領域抽出部２０４は、対象領域４０２の各単位領域のＲＧＢ値（平均のＲＧＢ値）をＬ^*ａ^*ｂ^*表色系の色空間へと変換し（ステップＳ１０４）、さらに、Ｌ^*ａ^*ｂ^*値を色相、彩度、明度の特徴量へと変換する（ステップＳ１０５）。
【００４２】
次に、特徴量に基づいて特徴領域である瞳孔領域、虹彩領域および虹彩外領域の抽出が行われる。具体的には、彩度および明度が一定の範囲にある領域（彩度、明度ともに低い範囲にある領域）が瞳孔領域として対象領域４０２から抽出され、色相および彩度が一定の範囲にある領域（色相は赤からやや黄色、彩度は高い範囲にある領域）が虹彩領域として抽出される。さらに、瞳孔領域と同じ明度範囲であり、虹彩領域と同じ色相範囲の領域が虹彩外領域として対象領域４０２から抽出される（ステップＳ１０６）。
【００４３】
図１２ないし図１６は、特徴領域抽出部２０４により、対象領域４０２から抽出される特徴領域を例示した図である。符号５０１は瞳孔領域、符号５０２（５０２ａ，５０２ｂ）は虹彩領域、符号５０３は虹彩外領域を示す。
【００４４】
それぞれの特徴領域の判定に用いられる特徴量の範囲は、赤目現象の生じていない正常時の特徴量から定められるものではなく、赤目現象が生じている場合の特徴量から統計的に定められる。したがって、このような特徴量に該当する各特徴領域は赤目現象の生じている可能性がある領域として抽出されていることを意味する。逆に、いずれの特徴領域としても抽出されなかった領域は赤目補正が必要でない領域と判定されたこととなる。
【００４５】
特徴領域は対象領域４０２の画素値から導かれる少なくとも２種類の特徴量に基づいて瞳孔領域５０１、虹彩領域５０２および虹彩外領域５０３として抽出されることから、１種類の特徴量による抽出に比べて個々の画像のデータの撮影状況等による影響を受けにくくすることができ、赤目領域の特定を精度よく行うことが実現される。
【００４６】
特徴領域抽出部２０４により、瞳孔領域５０１、虹彩領域５０２および虹彩外領域５０３として抽出された特徴領域は、色相、彩度および明度という特徴量が一定の範囲内にあることに基づいて判定されたものである。したがって、図１２ないし図１６に示す各特徴領域には実際は目の領域でないものも含まれている可能性がある。目ではない領域において赤目現象が生じることはなく、そのような領域に赤目補正を行うと不自然な画像となるから、赤目領域から除外する必要がある。また、赤目現象が生じているが、赤目現象の生じ方が異常であるため、補正を行わない方が好ましい場合もある。以下に赤目領域特定部２０５が特徴領域から赤目領域を特定する手法について説明する。
【００４７】
まず、赤目領域特定部２０５のサイズ検出部２０５ａが、各特徴領域の大きさを単位領域の数として求められる（ステップＳ２０１）。次に、特定部２０５ｄは、フラグＣＦを０に初期化し（ステップＳ２０２）、一の虹彩領域５０２について大きさが所定値Ｐ１を超えるか否かを判定する（ステップＳ２０３）。なお、フラグＣＦは赤目領域とみなされる虹彩領域５０２が存在する場合には１がセットされ、存在しない場合には０がセットされるフラグであり、所定値Ｐ１は対象領域４０２に対する虹彩の大きさの比率を統計的に算出して予め定められる値である。
【００４８】
虹彩領域５０２の大きさが所定値Ｐ１以下の場合は、この虹彩領域５０２は赤目領域には含められない（すなわち、赤目領域の一部ではないとみなされる。）（ステップＳ２０４）。虹彩領域５０２の大きさが所定値Ｐ１を超える場合は、虹彩領域５０２を赤目領域に含め（すなわち、赤目領域の一部を構成すると判定される。）（ステップＳ２０５）、フラグＣＦに１がセットされる（ステップＳ２０６）。
【００４９】
続いて、特定部２０５ｄにより虹彩領域５０２が他に存在するか否かが判定され（ステップＳ２０７）、対象領域４０２の中に虹彩領域５０２が複数存在している場合（図１２は、虹彩外領域５０２ａと虹彩領域５０２ｂが存在する様子を例示している。）にはステップＳ２０２〜Ｓ２０６が繰り返される。これにより、全ての虹彩領域５０２について赤目領域として特定すべき領域であるか否かが判定される。
【００５０】
ここで、所定値Ｐ１と比較することにより、各虹彩領域５０２が赤目領域を構成するか否かが判定される理由について説明する。画像中の人間の目の大きさが既知の場合、その内部に存在する虹彩の大きさは予測可能な大きさとなる。したがって、虹彩領域５０２の大きさに基づいてそれらの領域が実際の虹彩にほぼ一致する領域であるか否かを判断することができる。例えば、図１２に示す虹彩領域５０２ｂのようにあまりに小さいものは虹彩ではなく、対象領域４０２の中にホクロのような虹彩と特徴量が似ているものが存在するために、誤って虹彩領域５０２として抽出された可能性が高い。
【００５１】
一方、対象領域４０２は図１１に示すように目の大きさに基づいて指定されるものであるから、対象領域４０２の大きさと実際の虹彩の大きさとの比はほぼ一定の範囲内であると予測することができる。ここで、単位領域の大きさは対象領域４０２の大きさに基づいて決定されることから（数１を参照）、虹彩領域５０２に含まれる単位領域の数は、虹彩領域５０２と対象領域４０２との大きさの比を示す値となる。そこで、ステップＳ２０３では単位領域を基準とする虹彩領域５０２の大きさを用いることにより、目の大きさに対して小さすぎる虹彩領域５０２を赤目領域から除外している。その結果、適切な虹彩領域５０２のみが赤目領域として特定される。
【００５２】
対象領域４０２に存在する全ての虹彩領域５０２について大きさの判定が終了すると、赤目領域であると判定された虹彩領域５０２（以下、「赤目虹彩領域５０２」と称する。）が存在するか否かを、特定部２０５ｄがフラグＣＦにより確認する（ステップＳ２０８）。赤目現象は赤目となっている虹彩が存在する必要があり、赤目虹彩領域５０２が全く存在しない場合（ＣＦ＝０の場合）は赤目現象は生じていないと判断でき、赤目補正の要否を示すフラグＣが０にセットされる（図８：ステップＳ２３６）。赤目虹彩領域５０２が一つでも存在する場合（ＣＦ＝１の場合）は赤目現象が生じている可能性があるため、以下の処理が実行される。
【００５３】
まず、虹彩外領域５０３と赤目虹彩領域５０２とが接触している場合には、接触度合い検出部２０５ｂにより、赤目虹彩領域５０２の境界のうち虹彩外領域５０３と接する境界の全長Ｌ１１（例えば、赤目虹彩領域５０２がドーナツ状であり、虹彩外領域５０３が赤目虹彩領域５０２に外接する場合には外周のみの長さ）、および、接触部分の長さＬ１２が求められ、数６により虹彩外領域５０３と赤目虹彩領域５０２との接触率Ｔ１が求められる。
【００５４】
【数６】

【００５５】
同様に、瞳孔領域５０１と赤目虹彩領域５０２とが接触している場合には、赤目虹彩領域５０２の境界のうち瞳孔領域５０１と接する境界の全長Ｌ２１、および、接触部分の長さＬ２２が求められ、数７により瞳孔領域５０１と赤目虹彩領域５０２との接触率Ｔ２が求められる（ステップＳ２１１〜Ｓ２１３）。
【００５６】
【数７】

【００５７】
なお、長さＬ１１，Ｌ１２，Ｌ２１，Ｌ２２は、数６および数７により比に変換されるため、単位領域の数で求められてもよいし、単に画素数として求められてもよい。また、赤目虹彩領域５０２と虹彩外領域５０３とが接しない場合には、接触率Ｔ１は０とされ、赤目虹彩領域５０２と瞳孔領域５０１とが接しない場合には、接触率Ｔ２は０とされる。
【００５８】
接触率が求まると、特定部２０５ｄは、虹彩外領域５０３と赤目虹彩領域５０２との接触率Ｔ１を所定値Ｐ２と比較し（ステップＳ２１４）、接触率Ｔ１が所定値Ｐ２以下の場合は虹彩外領域５０３は赤目補正が必要でない領域とみなされ、赤目領域に含められない（ステップＳ２１５）。接触率Ｔ１が所定値Ｐ２を超える場合は虹彩外領域５０３も赤目補正が必要な領域であるとみなされ、赤目領域に含められる（ステップＳ２１６）。なお、所定値Ｐ２は赤目現象の起きている場合に抽出される虹彩領域と虹彩外領域との接触率を統計的に算出して予め定められる。
【００５９】
同様に、瞳孔領域５０１と赤目虹彩領域５０２との接触率Ｔ２を所定値Ｐ３と比較し（ステップＳ２１７）、接触率Ｔ２が所定値Ｐ３以下の場合は瞳孔領域５０１は赤目補正が必要でない領域とみなされ、赤目領域に含められない（ステップＳ２１８）。接触率Ｔ２が所定値Ｐ３を超える場合は瞳孔領域５０１は赤目補正が必要な領域とみなされ、赤目領域に含められる（ステップＳ２１９）。なお、所定値Ｐ３も赤目現象の起きている場合に抽出される虹彩領域と瞳孔領域との接触率を統計的に算出して予め定められる。
【００６０】
以上のように、赤目虹彩領域５０２との接触率に基づいて虹彩外領域５０３や瞳孔領域５０１を赤目領域の一部として特定するか否かが判断される。一般に、赤目現象の特性として、一つの目において赤目領域は分散して存在するのではなく、赤目虹彩領域５０２およびその周囲に存在する。したがって、赤目虹彩領域５０２以外の特徴領域は、赤目虹彩領域５０２との接触度合いが大きいもののみが赤目領域として特定される。
【００６１】
例えば、図１３に示す虹彩外領域５０３は、いずれも虹彩領域５０２との接触率が低いため赤目現象の生じている虹彩外領域ではない可能性が高い。そこで、これらの虹彩外領域５０３は赤目領域としては特定されない。また、図１４に示すように、虹彩領域５０２と全く接触していない瞳孔領域５０１が存在する場合は（図１４では、瞳孔領域５０１の周囲が特徴領域とはなっていない。）、瞳孔領域５０１の周囲にて赤目現象は生じていない可能性が高い。
【００６２】
逆に、図１５に示すように、瞳孔領域５０１の周囲全体が虹彩領域５０２と接触しており、虹彩領域５０２の外周のほとんどが虹彩外領域５０３に接する場合には、虹彩領域５０２とともに瞳孔領域５０１および虹彩外領域５０３にて赤目現象が生じているといえる。したがって、図１５に示す場合には瞳孔領域５０１、虹彩領域５０２および虹彩外領域５０３の全てが赤目領域として特定される。
【００６３】
このように、赤目虹彩領域５０２と他の特徴領域との接触の度合いに基づいて虹彩外領域５０３および瞳孔領域５０１を赤目領域とすべきか否かを判定することにより、赤目領域を適切に特定することができる。
【００６４】
次に、特定部２０５ｄは、以上の処理により特定された赤目領域の大きさを単位領域の数として算出し、所定値Ｐ４と比較する（ステップＳ２２０）。赤目領域の大きさが所定値Ｐ４以下の場合は、特定された赤目領域に赤目補正を施すべきでないと判断してフラグＣに０をセットする（図８：ステップＳ２３６）。赤目領域が対象領域４０２に対して小さい場合、補正を必要としない赤目現象であったり、赤目現象が実際には生じていない可能性があるからである。なお、所定値Ｐ４は、対象領域４０２に対する補正すべき赤目領域の大きさの比率を統計的に算出して得られる値である。
【００６５】
赤目領域の大きさが所定値Ｐ４を超える場合は、次に、包含関係検出部２０５ｃにより、各特徴領域の包含関係が検出される。
【００６６】
人間の目の特性を考慮した場合、瞳孔領域は虹彩領域または虹彩外領域に内包され、虹彩外領域は虹彩領域の外側に存在していなければならない。例えば、図１６に示すように、赤目虹彩領域５０２に瞳孔領域５０１が内包されていない場合は、瞳孔領域が誤検出された、あるいは、特殊な状態で撮影された可能性があり、瞳孔領域５０１が瞳孔に対応していない、あるいは、赤目領域として補正の対象とすべきでないと想定される。
【００６７】
そこで、まず、特定部２０５ｄは、これまでの処理にて特定された赤目領域に瞳孔領域５０１が存在するか否かを判定し（ステップＳ２３１）、瞳孔領域５０１が存在する場合には、さらに瞳孔領域５０１を中心として虹彩領域５０２および虹彩外領域５０３が瞳孔領域５０１を内包する状態で周囲に存在するか否かを判定する（ステップＳ２３２）。瞳孔領域５０１が内包されていない場合には、特定された赤目領域は補正すべき赤目領域ではないとみなしてフラグＣに０がセットされる（ステップＳ２３６）。内包される場合には特定された赤目領域をそのまま維持し、フラグＣが１にセットされる（ステップＳ２３７）。
【００６８】
このように、瞳孔領域５０１が抽出され、かつ他の特徴領域に瞳孔領域５０１が内包されない場合に、赤目領域が存在しないと判定することにより、赤目補正の要否を適切に判定することができる。
【００６９】
一方、瞳孔領域５０１が存在しない場合には、これまでの処理にて特定された赤目領域に虹彩外領域５０３が存在するか否かの判定が行われる（ステップＳ２３３）。虹彩外領域５０３が存在する場合には、赤目虹彩領域５０２の中に虹彩外領域５０３が存在するか否かを判定し（ステップＳ２３４）、虹彩外領域５０３が赤目虹彩領域５０２の内部に存在する場合は、赤目領域が存在しない（すなわち、以上の処理にて特定された赤目領域には赤目補正を施すべきではない。）と判断してフラグＣが０にセットされる（ステップＳ２３５）。虹彩外領域５０３が存在しないか、若しくは赤目虹彩領域５０２の内部に虹彩外領域５０３が存在しない場合には、特定された赤目領域が維持され、フラグＣに１がセットされる（ステップＳ２３７）。
【００７０】
このように、瞳孔領域５０１が抽出されず、赤目領域として虹彩外領域５０３が抽出されており、かつ虹彩外領域５０３が虹彩領域５０２の中に存在する場合に赤目領域が存在しないと判定することにより、特徴領域の抽出が不適切に行われた場合の赤目領域の特定が防止される。その結果、不適切な赤目補正が防止される。
【００７１】
その後、補正部２０６はフラグＣが１であるか否かを確認し（ステップＳ２３８）、フラグＣが０の場合は特定された赤目補正を実行せず（ステップＳ２３９）、フラグＣが１であれば赤目領域を黒っぽく塗りつぶし、正常な目の色に補正する。補正後のデータは対象領域４０２以外の画像データ３０１と合成されて補正済画像データ３０２とされる（ステップＳ２４０）。なお、生成される補正済画像データ３０２には、補正済みであることを示す識別子が付加されてもよい。その場合には再度表示等する際に補正済みであるか否かを判定する処理を行うことによって、再度一連の補正処理を行うことが防止される。
【００７２】
以上のように、画像処理装置１では赤目現象が生じている可能性のある画像のデータに対して、赤目現象が生じるている場合には、補正すべき部分を高速かつ精度よく特定して適切な補正が行われる。
【００７３】
以上、本発明の一の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【００７４】
例えば、上記実施の形態では、対象領域４０２が特徴量に基づいて各特徴領域に分割された後、虹彩領域の大きさ判定、虹彩領域と他の特徴領域との接触率による判定、赤目領域の大きさ判定、および特徴領域の包含関係による判定の順番で赤目領域の特定を行っているが、各判定処理はこの順番に限られるものではない。例えば、赤目領域の大きさが最後に判定されてもよく、特徴領域の包含関係による判定が行われた後に、虹彩領域と他の特徴領域との接触率による判定が行われる等してもよい。また、接触率や包含関係以外の赤目虹彩領域５０２と他の特徴領域の配置関係が赤目領域の特定に利用されてもよい。
【００７５】
また、上記実施の形態では、赤目領域に対する補正の方法として、赤目領域を瞳の色に最も近いと考えられる黒色で塗りつぶすという手法を用いているが、補正方法は上記の方法に限定されるものではない。例えば、赤目現象は瞳があざやかな赤色に強調されることによって生じるのであるから、画素値のＲＧＢの値のうちＲの値を下げる、または明度を下げる等の方法によって補正されてもよい。
【００７６】
また、画像処理装置１への画像のデータの取得方法は、上記実施の形態のようにメモリカード９２から読み込まれるのではなく、例えば、ケーブル接続、通信回線または無線等により画像処理装置１と他の装置とが信号の送受信を行うことによって画像のデータの取得がされてもよい。画像処理装置１に撮像部を設けて画像のデータが取得されてもよい。
【００７７】
また、操作部１１は上記実施の形態のように、キーボードやマウスに限られるものではなく、画像処理装置１を使用者の指示に従って操作できるものであれば他のものが用いられてもよい。例えば、専用のボタンが設けられていてもよく、タッチパネル式ディスプレイやタブレット等のようにディスプレイと一体となったものであってもよい。
【００７８】
また、上記実施の形態に係る処理をＣＰＵ１３に実行させるプログラムはＲＯＭ１５に予め書き込まれていてもよい。
【００７９】
また、画像処理装置１では、一連の画像処理が全てＣＰＵによるソフトウェア的処理で実行されているが、それらの処理の一部または全部を専用の回路により実現することも可能である。特に、反復演算をロジック回路にて構築することにより、迅速な画像処理が実現される。
【００８０】
また、上記実施の形態では、対象領域４０２の形状を長方形としたがこれに限られるものではない。例えば、楕円形状や使用者が任意に指定する形状等であってもよい。さらに、上記の実施の形態では、対象領域４０２は使用者によって指定されたが、画像認識または特徴量による判定等により自動的に対象領域４０２が決定されてもよい。
【００８１】
また、上記実施の形態では特徴量として色相、彩度、明度が用いられるが、Ｌ^*ａ^*ｂ^*、ＬＵＶ、ＸＹＺ等の表色系における値が特徴量として利用されてもよく、ＲＧＢの値がそのまま特徴量とされてもよい。
【００８２】
【発明の効果】
請求項１ないし１４の発明では、特徴量に基づいて虹彩領域等を抽出し、虹彩領域と他の特徴領域との配置関係に基づいて赤目領域を特定することにより、赤目領域を適切に特定することができる。
【００８３】
また、請求項１の発明では、虹彩領域と他の特徴領域との接触度合いを利用し、接触度合いとして、虹彩領域において他の特徴領域と接する境界の全長と接触部分の長さとの割合が利用されることにより、赤目領域を適切に特定することができる。
【００８４】
また、請求項３の発明では、赤目領域の面積が対象領域の面積に比べて小さい場合に赤目領域ではないと判定することにより、不適切な赤目領域の特定が防止される。
【００８５】
また、請求項４の発明では、虹彩領域と他の特徴領域との包含関係が利用され、請求項５の発明では、瞳孔領域が抽出され、瞳孔領域以外の特徴領域に瞳孔領域が内包されない場合に赤目領域ではないと判定することにより、赤目領域を適切に特定することができる。
【００８６】
また、請求項６の発明では、画素値から導かれる少なくとも２種類の特徴量に基づいて、特徴領域の抽出をすることにより、精度よく赤目領域の特定ができる。
【００８７】
また、請求項７の発明では、虹彩外領域を利用することにより、精度よく赤目領域を特定することができる。
【００８８】
請求項８，１１および１２の発明では、対象領域を対象領域の大きさの割合に応じた大きさの単位領域を単位として演算することにより、迅速かつ精度よく赤目領域を特定することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の外観図である。
【図２】画像処理装置の構成を示すブロック図である。
【図３】画像処理装置の赤目領域を特定する機能構成をブロックにて示す図である。
【図４】赤目領域特定部の構成を示す図である。
【図５】画像処理装置が赤目領域を特定する動作の流れを示す図である。
【図６】画像処理装置が赤目領域を特定する動作の流れを示す図である。
【図７】画像処理装置が赤目領域を特定する動作の流れを示す図である。
【図８】画像処理装置が赤目領域を特定する動作の流れを示す図である。
【図９】対象領域を指定する際の画面を示す図である。
【図１０】対象領域を指定する際の画面を示す図である。
【図１１】対象領域を示す図である。
【図１２】抽出された特徴領域の例を示す図である。
【図１３】抽出された特徴領域の例を示す図である。
【図１４】抽出された特徴領域の例を示す図である。
【図１５】抽出された特徴領域の例を示す図である。
【図１６】抽出された特徴領域の例を示す図である。
【符号の説明】
１画像処理装置
１１操作部
１３ＣＰＵ
１４ＲＡＭ
１５ＲＯＭ
１４１プログラム
２０２対象領域決定部
２０３サイズ決定部
２０４特徴領域抽出部
２０５赤目領域特定部
２０６補正部
２０５ａサイズ検出部
２０５ｂ接触度合い検出部
２０５ｃ包含関係検出部
２０５ｄ特定部
Ｓ１０２〜Ｓ１０６，Ｓ２０１〜Ｓ２０４，Ｓ２１１〜Ｓ２２０，Ｓ２３１〜Ｓ２４０ステップ

Claims

画像中の赤目領域を特定するプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、
画像中の目領域を含む対象領域の特徴量に基づいて、前記対象領域から虹彩領域を含む複数の特徴領域を抽出する工程と、
前記虹彩領域と他の特徴領域との配置関係に基づいて赤目領域を特定する工程と、
を実行させ、
前記配置関係に、前記虹彩領域と前記他の特徴領域との接触の度合いが含まれ、
前記接触の度合いが、前記虹彩領域の境界のうち、前記他の特徴領域と接する側の境界の全長と、前記虹彩領域と前記他の特徴領域とが接触する接触部分の長さとの割合として求められ、
前記割合が、所定値をこえる場合に、前記他の特徴領域を前記赤目領域に含めるように赤目領域を特定し、
前記特徴量には、色相および彩度が含まれ、前記複数の特徴領域を抽出する工程において、前記色相および彩度が所定の範囲にある領域を前記虹彩領域として抽出が行われることを特徴とするプログラム。
請求項１に記載のプログラムであって、
特定された前記赤目領域の面積が前記対象領域の面積に対して所定の割合よりも小さい場合に、前記赤目領域が存在しないと判定する工程、
をさらに実行させることを特徴とするプログラム。
請求項１または２に記載のプログラムであって、
前記配置関係に、前記虹彩領域と前記他の特徴領域との包含関係が含まれることを特徴とするプログラム。
請求項３に記載のプログラムであって、
前記複数の特徴領域を抽出する工程において、瞳孔領域の抽出が行われ、
前記瞳孔領域が抽出され、かつ前記瞳孔領域以外の特徴領域に前記瞳孔領域が内包されない場合に、前記赤目領域を特定する工程において前記赤目領域が存在しないと判定されることを特徴とするプログラム。
請求項１に記載のプログラムであって、
画素値から導かれる少なくとも２種類の特徴量に基づいて、前記対象領域から前記複数の特徴領域が抽出されることを特徴とするプログラム。
請求項５に記載のプログラムであって、
前記複数の特徴領域を抽出する工程において、少なくとも所定の色相範囲に基づいて虹彩領域の抽出が行われ、少なくとも所定の明度範囲に基づいて瞳孔領域の抽出が行われ、前記所定の色相範囲および前記所定の明度範囲に基づいて虹彩外領域の抽出が行われ、
前記瞳孔領域が抽出されず、かつ前記虹彩外領域が前記虹彩領域の中に存在する場合に、前記赤目領域を特定する工程において前記赤目領域が存在しないと判定されることを特徴とするプログラム。
請求項１ないし６のいずれかに記載のプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、
画像中の目領域を含む対象領域を決定する工程と、
前記対象領域を前記画像に対する前記対象領域の大きさの割合に応じた大きさの単位領域に分割する工程と、
をさらに実行させ、
前記赤目領域を特定する工程において、前記単位領域を単位として演算を行うことにより前記赤目領域を特定することを特徴とするプログラム。
画像処理装置であって、
画像中の目領域を含む対象領域の特徴量に基づいて、前記対象領域から虹彩領域を含む複数の特徴領域を抽出する手段と、
前記虹彩領域と他の特徴領域との配置関係に基づいて赤目領域を特定する手段と、
前記赤目領域の画素値を補正する手段と、
を備え、
前記配置関係に、前記虹彩領域と前記他の特徴領域との接触の度合いが含まれ、
前記接触の度合いが、前記虹彩領域の境界のうち、前記他の特徴領域と接する側の境界の全長と、前記虹彩領域と前記他の特徴領域とが接触する接触部分の長さとの割合として求められ、
前記割合が、所定値をこえる場合に、前記他の特徴領域を前記赤目領域に含めるように赤目領域を特定し、
前記特徴量には、色相および彩度が含まれ、前記複数の特徴領域を抽出する手段において、前記色相および彩度が所定の範囲にある領域を前記虹彩領域として抽出が行われることを特徴とする画像処理装置。
画像中の赤目領域を特定するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記プログラムのコンピュータによる実行は、前記コンピュータに、
画像中の目領域を含む対象領域の特徴量に基づいて、前記対象領域から虹彩領域を含む複数の特徴領域を抽出する工程と、
前記虹彩領域と他の特徴領域との配置関係に基づいて赤目領域を特定する工程と、
を実行させ、
前記配置関係に、前記虹彩領域と前記他の特徴領域との接触の度合いが含まれ、
前記接触の度合いが、前記虹彩領域の境界のうち、前記他の特徴領域と接する側の境界の全長と、前記虹彩領域と前記他の特徴領域とが接触する接触部分の長さとの割合として求められ、
前記割合が、所定値をこえる場合に、前記他の特徴領域を前記赤目領域に含めるように赤目領域を特定し、
前記特徴量には、色相および彩度が含まれ、前記複数の特徴領域を抽出する工程において、前記色相および彩度が所定の範囲にある領域を前記虹彩領域として抽出が行われることを特徴とする記録媒体。
請求項８に記載の画像処理装置であって、
画像中の目領域を含む対象領域を決定する手段と、
前記対象領域を前記画像と前記対象領域との大きさの割合に応じた大きさの単位領域に分割する手段と、
をさらに備え、
前記赤目領域を特定する手段が、前記単位領域を単位として演算を行うことにより前記赤目領域を特定することを特徴とする画像処理装置。
請求項９に記載の記録媒体であって、前記プログラムのコンピュータによる実行は、前記コンピュータに、
画像中の目領域を含む対象領域を決定する工程と、
前記画像に対する前記対象領域の大きさの割合に応じた大きさの単位領域に前記対象領域を分割する工程と、
をさらに実行させ、
前記赤目領域を特定する工程が、前記単位領域を単位として演算を行うことにより前記赤目領域を特定することを特徴とする記録媒体。