JP4345622B2 - 瞳色推定装置 - Google Patents

Description

本発明は、画像（特に人の顔が撮像された画像）を撮像する撮像装置や、画像を扱う情報処理装置や出力装置、ソフトウェア等に適用されて有効な技術に関する。

従来から、デジタルカメラ・銀塩方式カメラを問わず、撮像された人物の瞳孔ないし瞳全体が赤く撮像されてしまう赤目現象が問題となっている。同様の問題として、人物の瞳孔ないし瞳全体が金色に撮像されてしまう金目現象もある。このような赤目・金目現象（以下、赤目現象を例に説明する）は、瞳の瞳孔部分から眼球内に入射したフラッシュ光が網膜で反射して起こる現象である。昨今は、カメラの小型化が進みカメラの光軸とフラッシュとの距離が近くなっているため、赤目現象の発生率が高くなり、改めて問題となっている。

このような赤目現象を撮影時に防止・軽減する技術として、赤目防止フラッシュが提案されている。これは、撮影直前にフラッシュを軽く発光した後に改めてフラッシュを発光させる技術である。この技術によれば、最初の発光により被撮像者の瞳孔が収縮され、その後のフラッシュによる赤目現象の発生が防止・軽減される。

しかし、赤目現象が発生してしまった場合には、撮り直すことが可能でない限り、赤目を画像補正する必要がある。このような画像補正の技術として、赤目現象が発生している画素を指定しこの画素の色を変更することで補正する方法が提案されている（特許文献１参照）。

また、赤目現象が発生している画素の色を変更する際には、変更後の瞳の色を決定する必要がある。瞳の色を決定する技術として、人種毎に予め記録されている瞳の色をユーザが選択し、その色を用いて瞳の画素の色を変更する技術が提案されている（特許文献２参照）。また、同様の技術として、「西洋人風に仕上がるもの」や「東洋人風」などのように複数のパターンから自然に見える瞳の色を選択し、その色を用いて変更を行う技術も提案されている（特許文献３参照）。
特許第２６３４５１１号 特開平０５−０１９３８２号公報 特開２００１−０６９３３３号公報

しかしながら、赤目現象が発生してしまった瞳の画像では、本来の瞳の色が喪失されてしまっている。このため、このように赤目現象の発生した瞳の画像から、本来の瞳の色を推定することは困難であった。本来の瞳の色を推定できないのであれば、当然のことながら、従来の技術を用いて補正を実行しようとしても自然な画像を生成することは困難である。

また、例え特許文献２，３に記載された技術を適用したとしても、ユーザが被写体の人種を目視により推定する必要があった。一般的に、人種に関する知識を有するユーザは決して多くないため、人種に基づいて瞳の色を推定することは、ユーザにとっては難しい処理でありまた煩わしい処理であった。

さらに、瞳の色の補正方法として、本来の瞳の色を推定することにより瞳の色の置き換えを行うのではなく、単に赤目現象が発生した瞳の色から赤みを取り除く方法が考えられる。しかし、このような補正方法を行う場合にも問題がある。人間の視覚は色彩対比で色味を判断するという特性を持つ。このため、例えば被写体が赤ら顔である場合や赤色照明下での撮影の場合には、単に瞳の色から赤みを取り除く補正を行うのみでは、かえって不自然な画像が生成される可能性がある。

本発明の目的は、撮像された人物画像から、赤目現象など瞳部分の画像に発生しうる異常が生じていないと認められる場合における当該人物の瞳の色（撮像された画像における本来の瞳の色）を推定することができる技術を提供することである。

以下の説明において、肌の色とはあらゆる人・人種の肌の色を意味し、特定の人・人種の肌の色には限定されない。

〈第一の態様〉
上記問題を解決するため、本発明は以下のような構成をとる。第一の態様は、瞳色推定装置であって、肌の色特定手段と瞳色推定手段とを含む。

肌の色特定手段は、入力された画像における被写体人物の肌の色を特定する。肌の色特定手段は、ユーザによって手動で肌の色を特定するように構成されても良い。肌の色特定手段は、ユーザによって入力画像を元に指定された色，ユーザによって指定された画像中の画素の色（即ち、ユーザによって指定された箇所の実測値）などを、当該人物の肌の色として特定するように構成されても良い。また、肌の色特定手段は、ユーザによる入力に基づいて肌の色を特定するように構成されても良い。肌の色特定手段は、ユーザによって指定された画像中の領域における画素の色の統計結果（平均値，最頻値，中間値など）等を、当該人物の肌の色として特定するように構成されても良い。

また、肌の色特定手段は、ユーザによる入力から独立して肌の色を特定するように構成されても良い。このように構成される肌の色特定手段については、第二の態様の項において説明する。

瞳色推定手段は、肌の色特定手段によって特定された肌の色に基づいて、画像中に表されるべき当該人物の瞳の色を推定する。瞳色推定手段が推定する「画像中に表れるべき当該人物の瞳の色」とは、入力された画像における瞳領域の色そのものではなく、赤目／金目現象のような異常が発生せずに撮像された場合の画像に表れると認められる瞳の色を指し、言い換えれば本来出力されるべき瞳の色を指す。

このように構成された第一の態様では、入力された画像から被写体人物の肌の色が特定され、この肌の色に基づいて当該人物の瞳の色が推定される。このため、この画像における肌の色について色彩対比が考慮された、自然で違和感の無い瞳の色を推定することが可能となる。従って、赤目現象や金目現象などの発生により本来の瞳の色が喪失されてしまった画像から、本来の瞳の色（異常が生じなかった場合に表れる（出力される）と認められる瞳の色）を推定することが可能となる。

〈第二の態様〉
第二の態様は、瞳色推定装置であって、顔検出手段及び肌の色特定手段と、第一の態様における瞳色推定手段とを備えて構成される。

顔検出手段は、入力された画像における被写体人物の顔領域を検出する。「顔領域」とは、被写体人物の顔の一部又は全体を含む領域である。

第二の態様における肌の色特定手段は、顔検出手段によって検出された顔領域に含まれる画素の色から、当該人物の肌の色を特定する。肌の色特定手段は、顔検出手段によって検出された顔領域における画素の色の統計結果（平均値，最頻値，中間値など）等を、当該人物の肌の色として特定するように構成されても良い。

このように構成された第二の態様では、入力された画像から被写体人物の肌の色が特定され、この肌の色に基づいて当該人物の瞳の色が推定される。このため、第一の態様と同様に、この画像における肌の色について色彩対比が考慮された、自然で違和感の無い瞳の色を推定することが可能となる。従って、赤目現象や金目現象などの発生により本来の瞳の色が喪失されてしまった画像から、本来の瞳の色（異常が生じなかった場合に現れる（出力される）と認められる瞳の色）を推定することが可能となる。

第二の態様では、肌の色特定手段は、顔検出手段による検出結果に基づいて処理を行うことにより、ユーザによる入力から独立して（即ち、肌の色の特定処理に際してユーザによる色や色を特定するための画像中の領域の指定がなくても）肌の色を特定することができる。このため、ユーザの手間を省くことが可能となる。

〈第三の態様〉
第三の態様では、第一又は第二の態様の構成に加えて、さらに瞳領域特定手段及び判断手段が備えられる。瞳領域特定手段は、画像における被写体人物の瞳の領域を特定する。瞳領域特定手段は、ユーザの入力に基づいて瞳の領域を特定するように構成されても良いし、ユーザによる入力から独立して瞳の領域を特定するように構成されても良い。

判断手段は、瞳色推定手段によって推定された瞳の色と瞳領域特定手段によって特定された瞳の領域の色とを比較する。判断手段は、この比較結果に基づいて、画像における瞳部分に異常が発生しているか否か判断する。画像の瞳部分に発生する異常とは、例えば赤目現象や金目現象などであり、瞳部分の一部又は全部の色について発生する異常である。

このように構成された第三の態様では、肌の色から推定された瞳の色と、画像から特定された瞳の領域の色とが比較され、画像における瞳部分に異常が発生しているか否か判断される。従って、ユーザはこの判断結果を元に、この画像に対する対応を容易に決定することが可能となる。例えば、ユーザは、異常が発生している画像に対して補正を行うことを考えている場合、この判断結果を元に補正をするか否か判断することができる。また、例えば、ユーザは、撮像した画像に異常が発生している場合に撮像し直すことを考えている場合、この判断結果を元に撮像のし直しを行うか否か判断することができる。

〈第四の態様〉
第四の態様では、第二の態様の構成に加えて、さらに瞳検出手段及び判断手段が備えられる。

瞳検出手段は、顔検出手段によって検出された当該人物の瞳領域を検出する。「瞳領域」とは、被写体人物の瞳の一部又は全体を含む領域である。

判断手段は、瞳色推定手段によって推定された瞳の色と、瞳検出手段によって検出された瞳領域から特定される色とを比較することにより、処理対象となっている画像における当該人物の瞳の色に異常が発生しているか否か判断する。例えば、判断手段は、検出された瞳領域の各画素の色と推定された瞳の色とを比較することにより判断を行う。また、判断手段は、検出された瞳領域の各画素の色から統計処理によって一つの代表値を特定し、この代表値と推定された瞳の色とを比較することにより判断を行っても良い。

第四の態様では、肌の色から推定された瞳の色と、検出された瞳領域における色とが比較され、画像における瞳部分に異常が発生しているか否か判断される。このため、第三の態様と同様に、ユーザはこの判断結果を元にこの画像に対する対応を容易に決定することが可能となる。また、第四の態様では、判断手段は、瞳検出手段による検出結果に基づいて処理を行うことにより、ユーザによる入力から独立して（即ち、瞳の色の特定処理に際してユーザによる色や色を特定するための画像中の領域の指定がなくても）瞳の色を特定することができる。このため、ユーザの手間を省くことが可能となる。

〈第五の態様〉
第五の態様では、第一又は第二の態様の構成に加えて、さらに補正手段が備えられる。補正手段は、瞳色推定手段によって推定された瞳の色に基づいて、当該人物の瞳の色を補正する。補正手段は、ユーザの入力に基づいて補正を行うように構成されても良いし、ユーザの入力から独立して補正を行うように構成されても良い。例えば、補正手段は、ユーザによって指定された瞳の画素に対して補正を行うように構成されても良い。また、例えば、補正手段は、ユーザによって指定された瞳の領域に対して補正を行うように構成されても良い。また、例えば、補正手段は、ユーザによって指定された色や画素に基づいて決定される瞳の領域に対して補正を行うように構成されても良い。

第五の態様では、瞳色推定手段によって推定された瞳の色に基づいて、画像中の当該人物の瞳の色が補正される。このため、色彩対比が考慮された補正、言い換えれば自然で違和感のない補正を瞳に対して行うことができる。即ち、補正品質の向上を図ることが出来る。

〈第六の態様〉
第六の態様では、第二の態様の構成に加えて、さらに第四の態様における瞳検出手段及び補正手段が備えられる。

第六の態様における補正手段は、瞳検出手段によって検出された瞳領域に対し、瞳色推定手段によって推定された瞳の色に基づいて、瞳の色の補正を行う。

第六の態様では、第五の態様と同様に、瞳色推定手段によって推定された瞳の色に基づいて、画像中の当該人物の瞳の色が補正される。このため、色彩対比が考慮された補正、言い換えれば自然で違和感のない補正を瞳に対して行うことができる。即ち、補正品質の向上を図ることが出来る。

また、第六の態様における補正手段は、瞳検出手段による検出結果に基づいて処理を行うことにより、ユーザによる入力から独立して瞳の色の補正を行うことができる。このため、ユーザが瞳色推定装置に対して画素や領域の指定を行う必要が無くなり、ユーザの手間を省くことが可能となる。

〈第七の態様〉
第七の態様では、第三又は第四の態様の構成に加えて、さらに補正手段が備えられる。第七の態様における補正手段は、判断手段により瞳の色に異常が発生していると判断された場合に、瞳色推定手段によって推定された瞳の色に基づいて、当該人物の瞳の色を補正する。即ち、第七の態様における補正手段は、判断手段により異常が発生していると判断された場合に、第五の態様に備えられた補正手段のように動作する。

第七の態様によれば、判断手段による判断結果に基づいて補正処理が実施される。このため、例えば補正処理が不要な画像に対して補正処理を実行してしまうなどの無駄な処理を省くことが可能となる。

また、第七の態様に備えられた補正手段は、補正処理を行う場合に第五の態様に備えられた補正手段のように動作するため、瞳色推定手段によって推定された瞳の色に基づいて、画像中の当該人物の瞳の色が補正される。このため、色彩対比が考慮された補正、言い換えれば自然で違和感のない補正を瞳に対して行うことができる。即ち、補正品質の向上を図ることが出来る。

〈第八の態様〉
第八の態様では、第四の態様の構成に加えて、さらに補正手段が備えられる。第八の態様における補正手段は、第七の態様における補正手段と同様に、判断手段により瞳の色に異常が発生していると判断された場合に補正処理を実施する。また、第八の態様における補正手段は、第六の態様における補正手段と同様に、瞳検出手段によって検出された瞳領域に対し、瞳色推定手段によって推定された瞳の色に基づいて、瞳の色の補正を行う。

第八の態様によれば、第七の態様と同様に、例えば補正処理が不要な画像に対して補正処理を実行してしまうなどの無駄な処理を省くことが可能となる。

また、第八の態様に備えられた補正手段は、補正処理を行う場合に第六の態様に備えられた補正手段のように動作するため、以下のような効果を奏する。即ち、第五の態様と同様に、瞳色推定手段によって推定された瞳の色に基づいて、画像中の当該人物の瞳の色が補正される。このため、色彩対比が考慮された補正、言い換えれば自然で違和感のない補正を瞳に対して行うことができる。即ち、補正品質の向上を図ることが出来る。また、第六の態様と同様に、瞳検出手段による検出結果に基づいて処理が行われることにより、ユーザによる入力から独立して瞳の色の補正が実施できる。このため、ユーザが瞳色推定装置に対して画素や領域の指定を行う必要が無くなり、ユーザの手間を省くことが可能となる。

〈第九の態様〉
第九の態様では、第三，四，七，及び八の態様における判断手段が以下のように構成される。第九の態様では、判断手段は、画像に発生する異常の例として、赤目が発生しているか否かを判断する。具体的には、判断手段は、瞳色推定手段によって推定された瞳の色における赤みと、瞳検出手段によって検出された瞳領域から特定される色における赤みとを比較することにより、画像における瞳部分が赤目になっているか否か判断する。

〈第十の態様〉
第十の態様では、第五乃至第八の態様における補正手段が以下のように構成される。第十の態様では、補正手段は、補正対象となる画素について、当該画素の明度を維持して補正を行う。第八の態様のように瞳検出手段が備えられる場合には、第十の態様における補正手段は、瞳検出手段によって検出された瞳領域の画素について、当該画素の明度を維持して補正を行う。

ところで、一般的に、人間の視覚はいわゆるキャッチライト（眼球表面で起こる正反射現象）によって眼球の球形や眼球表面の湿潤感を捉える。このため、キャッチライトの無い瞳の画像は、人にとって不自然な画像として捉えられることがある。

また、赤目現象や金目現象の発生した瞳の画像では、キャッチライトそのものは失われてしまっている場合があるが、その画像における明度の分布はキャッチライトの場合と同様の分布を持つ場合が多い。

第十の態様では、上記のように画素の明度を維持して補正が行われる。このため、いわゆるキャッチライトを失うことなく、眼球の球形や眼球表面の湿潤感を補正後の瞳の画像において自然に表現することが可能となる。従って、高品質の画像補正を実現できる。

〈第十一の態様〉
第十一の態様では、上記各態様において、瞳色推定手段は、瞳部分に異常が発生していないと認められる被写体人物を含む画像から得られる肌の色と瞳の色との統計処理の結果に基づいて得られる、肌の色と瞳の色との相関関係にさらに基づいて、瞳の色を推定するように構成される。ここで言う「統計処理の結果」とは、瞳の画像に異常が発生していないと認められる被写体人物を含む画像における肌の色と瞳の色とについて実施される統計処理の結果である。瞳色推定手段は、上記相関関係に基づいて構成された、肌の色と瞳の色とを対応付けたテーブルに基づいて瞳の色を推定するように構成されても良い。また、瞳色推定手段は、上記相関関係に基づいて取得される、肌の色と瞳の色との関係式に基づいて瞳の色を推定するように構成されても良い。

このように構成されることにより、瞳色推定手段は、被写体人物の肌の色に基づいて、統計処理の結果に裏付けられた、より自然な瞳の色を推定することが可能となる。

〈第十二の態様〉
第十二の態様では、上記各態様において、近似式記憶手段，人種推定手段及び選択手段をさらに備える。近似式記憶手段は、瞳の色を推定するために使用される近似式と人種とを対応づけて記憶する。このような近似式は、第十一の態様で示される統計処理の結果によって得られる近似式であり、予め取得されている式である。人種推定手段は、被写体人物の人種を推定する。人種推定手段には、既存のどのような人種推定技術が適用されても良い。選択手段は、推定された人種に対応づけて近似式記憶手段に記憶される近似式を選択する。また、第十二の態様では、瞳色推定手段は、選択された近似式を用いることにより、特定された肌の色に基づいて、瞳の色を推定する。

人種によって瞳の色が異なることは経験的事実によるものである。従って、異なる人種が被写体となっている場合に、同じ近似式を用いて瞳の色を推定することは精度を下げてしまう可能性がある。しかし、第十二の態様によれば、被写体の人種に応じてより適切な瞳の色を推定することが可能となる。このため、より自然な瞳の色を推定することが可能となる。

〈第十三の態様〉
第十三の態様では、上記各態様において、近似式記憶手段，環境推定手段及び選択手段をさらに備える。近似式記憶手段は、瞳の色を推定するために使用される近似式と環境とを対応づけて記憶する。このような近似式は、第十一の態様で示される統計処理の結果によって得られる近似式であり、予め取得されている式である。環境推定手段は、自装置が動作している環境又は入力された画像が撮像された環境を推定する。環境推定手段は、どのような基準に従って環境を推定しても良い。例えば、環境推定手段は、自装置に搭載されたＯＳや自装置そのものに設定されている使用言語，タイムゾーン，地域情報，電話番号などに基づいて環境を推定しても良い。また、環境推定手段は、撮像された画像に付加されている情報（例えばＥＸＩＦや他のヘッダ情報）に基づいて環境を推定しても良い。選択手段は、推定された環境に対応づけて近似式記憶手段に記憶される近似式を選択する。また、第十三の態様では、瞳色推定手段は、選択された近似式を用いることにより、特定された肌の色に基づいて、瞳の色を推定する。

人種によって瞳の色が異なることは経験的事実によるものである。そして、環境（国や地域など）によって人種の構成が異なることも経験的事実によるものである。従って、異なる環境において撮像された画像などでは、被写体となっている人種も異なる可能性があり、同じ近似式を用いて瞳の色を推定することは精度を下げてしまう可能性がある。しかし、第十三の態様によれば、自装置が動作している環境に応じて適切な瞳の色を推定することが可能となる。このため、より自然な瞳の色を推定することが可能となる。

〈その他〉
第一乃至第十三の態様は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、上記した第一乃至第十三の態様における各手段が実行する処理を情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体をもって上述した作用及び効果が得られても良い。また、第一乃至第十三の態様における各手段が実行する処理を情報処理装置が実行する方法をもって上述した作用及び効果が得られても良い。また、第一乃至第十三の態様は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置やミニラボ機やその他の画像処理装置に備えられても良い。

本発明によれば、入力された画像における肌の色について色彩対比が考慮された瞳の色を推定することができる。従って、赤目現象や金目現象などの発生により画像から本来の瞳の色が喪失されてしまっていても、本来の瞳の色を推定することが可能となる。

次に、図を用いて瞳色推定装置について説明する。なお、瞳色推定装置についての以下の説明は例示であり、その構成は以下の説明に限定されない。

［第一実施形態］
〔システム構成〕
まず、瞳色推定装置の第一実施形態である瞳色推定装置１ａについて説明する。瞳色推定装置１ａは、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ：Random Access Memory），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory），ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory），マスクＲＯＭ等を含む），ＦＲＡＭ（Ferroelectric RAM），ハードディスク等を指す。

図１は、瞳色推定装置１ａの機能ブロックの例を示す図である。瞳色推定装置１ａは、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、記憶部２，顔検出部３，肌の色特定部４，及び瞳色推定部５ａ等を含む装置として機能する。顔検出部３，肌の色特定部４，及び瞳色推定部５ａは、プログラムがＣＰＵによって実行されることにより実現される。また、顔検出部３，肌の色特定部４，及び瞳色推定部５ａは、それぞれが専用のチップとして構成されても良い。また、各処理部によって実施される処理内容に応じて、ハードウェア・ソフトウェアでの向き不向きがある。このため、これらはハードウェア・ソフトウェアのハイブリッドとして実装されても良い。以下、瞳色推定装置１ａが備える各機能部について説明する。

〈記憶部〉
記憶部２は、瞳色推定装置１ａに入力される画像を記憶する。記憶部２は、いわゆるＲＡＭを用いて構成されても良いし、いわゆるＲＯＭを用いて構成されても良い。

記憶部２に入力される画像とは、例えば不図示の撮像装置によって撮像された画像や、不図示の情報処理装置からインタフェースを介して伝送される画像や、不図示の記録媒体などから読み出された画像などである。

〈顔検出部〉
顔検出部３は、記憶部２に記憶される画像のうち、瞳色推定装置１ａの処理対象となっている画像について、顔検出処理を実施する。顔検出処理では、顔検出部３は、処理の対象となる画像を記憶部２から読み出し、読み出された画像から顔矩形６を検出する。図２は、顔矩形の例（顔矩形６）を示す図である。顔矩形６とは、被写体人物の顔部を含む矩形である。

顔検出部３は、顔矩形６を検出すると、顔矩形情報を出力する。顔矩形情報とは、顔矩形６の大きさや位置を示す情報である。例えば、顔矩形情報は、顔矩形６の幅と左上角の座標とを示す。この顔矩形情報により、他の処理部は、処理対象の画像における被写体人物の顔の位置を特定する。

顔検出部３による顔検出処理は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔の構成要素（目，鼻，耳など）に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、クロマキー処理によって頭髪の頂点が検出され、この頂点に基づいて顔を検出するように構成されても良い。また、顔検出部３は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部３は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。また、顔検出部３による顔検出処理は、その他、既存のどのような方法によって実現されても良い。

〈肌の色特定部〉
肌の色特定部４は、顔検出部３によって検出された顔矩形６の領域から、被写体人物の肌の色の代表値を取得する。以後、この処理を肌の色特定処理と呼ぶ。肌の色特定部４は、肌の色特定処理において、例えば顔矩形６に含まれる画素のカラー値の統計値を代表値として取得する。より好ましい形態としては、肌の色特定部４は、顔矩形６に含まれる画素のうち、所定の画素のカラー値の統計値を取得するように構成される。

「所定の画素」とは、例えば顔矩形６の顔矩形情報から特定される領域に含まれる画素である。より具体的な例としては、例えば顔矩形６の顔矩形情報から幾何学的に特定される領域内の画素であっても良い。図３は、このような領域の例を示す図である。図３では、このような領域の例として、顔矩形６の幅の３／４を直径とし、顔矩形６の中心（図３における“ｐ”）を中心とする円内の領域が特定される。

また、「所定の画素」とは、例えば顔矩形６に含まれる画素のうち肌の色計測のノイズ要因となる画素を排除した残りの画素であっても良い。このようなノイズ要因となる画素の例として、顔の要素（例：眉毛，眼球，唇，鼻孔）や肌のてかり部分などの画素がある。

また、「所定の画素」とは、例えば顔矩形６に含まれる画素のうち、エッジ抽出などの処理によって特定される顔輪郭の内側に含まれる画素であっても良い。また、上記の「所定の画素」の特定方法は必要に応じて組み合わせられても良い。

そして、肌の色特定部４は、所定の画素に基づいて統計処理を実施し、被写体人物の肌の色の代表値を取得する。統計処理は、中間値，平均値，最頻値などの単純な処理であっても良い。また、統計処理では、ヒストグラムから例えば３σ等の方法で範囲を区切ることでノイズ要因を排除する処理がさらに実施されても良い。

肌の色特定部４は、肌の色統計処理を行うに当たり、上記した方法と異なる方法によって被写体人物の肌の色の代表値を取得するように構成されても良い。例えば、肌の色特定部４は、顔矩形６内の特定の画素のカラー値を代表値として取得するように構成されても良い。

〈瞳色推定部〉
瞳色推定部５ａは、肌の色特定部４によって取得された肌の色の代表値に基づいて、この被写体人物の瞳の色を推定する。以下、瞳色推定部５ａによって推定される瞳の色を「瞳推定色」と呼ぶ。瞳色推定部５ａは、ＲＧＢ各色の変換関数（近似式）に基づいて瞳推定色を取得する。この近似式は、被写体人物の画像における肌の色と、赤目などの異常が発生していないと認められる画像における瞳の色との相関を示す。この近似式は、前処理として予め取得されている式である。まず、この近似式の導出法について説明する。

まず、赤目や金目など瞳の画像について異常が発生していないと認められる画像（言い換えれば「違和感のない画像」，「被写体人物の瞳が正常に撮像されたと認められる画像」）がサンプル画像として多数集められる。これらのサンプル画像について統計処理を行うことにより、被写体人物の画像における肌の色と、異常が発生していないと認められる画像における瞳の色との相関が得られる。具体的には、まず、各サンプル画像における被写体人物の肌の色の代表値Ｓｎ（Ｓｒｎ，Ｓｇｎ，Ｓｂｎ）と、当該人物の瞳の正常な色の代表値Ｅｎ（Ｅｒｎ，Ｅｇｎ，Ｅｂｎ）とが取得される。これらの代表値は、例えば肌の色特定部４によって実施される統計処理と同様の方法によって取得される。これらの代表値は、その他どのような方法によって得られても良い。

次に、例えば各色の変換関数が一次方程式で近似できると仮定する。即ち、以下のような式によって各色の変換関数が表されると仮定する。

ここで、“ｃ”はｒｇｂのいずれかを示す。また、“Ａ”，“Ｂ”は係数を示す。前処理では、各サンプル画像における肌の色の代表値Ｓｎと瞳の正常な色の代表値Ｅｎとに基づいて最小二乗法により係数“Ａ”及び“Ｂ”の値が決定される。このようにして、前処理において、ＲＧＢ各色についての近似式、即ち肌の色から瞳の正常な色を推定するための３つの近似式が取得される。

次に、上記の近似式を用いた瞳推定色の取得法について説明する。瞳色推定部５ａは、予め取得されている近似式に対し、肌の色特定部４によって取得された肌の色の代表値を代入し、当該被写体の瞳の正常な色（即ち瞳推定色）を推定する。

上記の説明では、前処理において一次方程式の近似式を取得する場合について説明したが、言うまでもなく、一次方程式以外の近似式に基づいて前処理及び瞳色推定部５ａの処理が実施されても良い。

〔動作例〕
図４は、瞳色推定装置１ａの動作例を示すフローチャートである。図４を用いて、瞳色推定装置１ａの動作例について説明する。

まず、顔検出部３が、処理対象となる画像から被写体人物の顔を検出する（Ｓ０１）。即ち、処理対象となる画像から顔矩形６を検出し顔矩形情報を取得する。次に、肌の色特定部４が、顔検出部３によって取得された顔矩形情報に基づいて肌の色の代表値を特定する（Ｓ０２）。次に、瞳色推定部５ａが、肌の色特定部４によって取得された肌の色の代表値と予め取得されている近似式とを用いて、顔検出部３によって顔が検出された人物の瞳色を推定し瞳推定色を取得する（Ｓ０３）。そして、瞳色推定部５ａは、推定された瞳推定色を出力する（Ｓ０４）。

〔作用／効果〕
瞳色推定装置１ａでは、予め取得された近似式に基づいて、入力画像の被写体人物の肌の色から当該人物の瞳の正常な色、即ち画像中に表されるべき瞳の色を推定する。このため、入力画像に赤目や金目などの問題が発生していた場合であっても、このような赤目や金目による瞳の異常な色から独立して、被写体人物の瞳の正常な色を推定することが可能となる。従って、ユーザは、このように推定された瞳推定色に基づいて、入力画像の瞳部分について補正を行うべきか否か判断することができる。即ち、ユーザは、入力画像の瞳の色と瞳推定色とを比較することにより、この入力画像の瞳部分について補正すべき否か判断することが容易となる。また、ユーザは、このように推定された瞳推定色に基づいて、入力画像の瞳部分について補正を行い、違和感のない正常な色の瞳を有した画像を得ることが可能となる。

このような瞳色推定装置１ａは、例えばデジタルスチル／ビデオカメラ等の撮像装置やこのような撮像装置を備えた情報処理装置などに適用されても良い。撮像装置などは、瞳色推定装置１ａが適用されることにより、出力される瞳推定色に基づいて、撮像された画像に赤目や金目などの異常が発生しているか否か判断することが可能となる。同様に、瞳色推定装置１ａが適用されることにより、瞳の画像について補正すべき色（即ち瞳推定色）を得ることが可能となる。よって、これらの撮像装置などは、その判断に応じて適当な補正を行うことやユーザに警告を行うことやユーザに瞳推定色を提示すること等も可能となる。

［第二実施形態］
〔システム構成〕
次に、瞳色推定装置の第二実施形態である瞳色推定装置１ｂについて説明する。図５は、瞳色推定装置１ｂの機能ブロックの例を示す図である。瞳色推定装置１ｂは、瞳検出部７及び判断部８をさらに備える点で瞳色推定装置１ａと異なる。以下、瞳色推定装置１ｂについて、瞳色推定装置１ａと異なる点について説明する。なお、瞳検出部７及び判断部８は、プログラムがＣＰＵによって実行されることにより実現される。また、瞳検出部７及び判断部８は、それぞれが専用のチップとして構成されても良い。また、各処理部はハードウェア・ソフトウェアのハイブリッドとして実装されても良い。

〈瞳検出部〉
瞳検出部７は、記憶部２に記憶される画像のうち、瞳色推定装置１ｂの処理対象となっている画像について、瞳検出処理を実施する。瞳検出処理では、瞳検出部７は、処理の対象となる画像のうち顔検出部３によって検出された顔矩形６内の画像を記憶部２から読み出し、読み出された画像から瞳領域を検出する。瞳領域とは、顔検出部３によって顔が検出された被写体人物の瞳を含む画像である。

瞳検出部７による瞳検出処理は、瞳の形に対応した基準テンプレートを用いたテンプレートマッチングによって瞳を検出するように構成されても良い。このとき、瞳検出部７は、顔検出部３によって検出された顔矩形６の大きさから推定される瞳径に対応したテンプレートを選択して瞳検出処理を実施するように構成されても良い。また、このとき、瞳検出部７は、検出された顔矩形６の位置から大体の瞳位置を推定することにより、テンプレートマッチングを実施する領域を限定するように構成されても良い。また、瞳検出部７による瞳検出処理は、テンプレートマッチング以外のどのような方法によって実現されても良い。例えば、瞳検出部７は、入力画像についてエッジ抽出した上で瞳の輪郭を追跡することにより瞳を検出するように構成されても良い。瞳検出部７は、瞳検出処理によって瞳を検出すると、瞳の領域を示す情報（以下、「瞳領域情報」と呼ぶ）を出力する。

〈判断部〉
判断部８は、瞳検出部７によって出力された瞳領域情報に基づいて、入力画像上における瞳を示す各画素の色を特定する。即ち、例えば入力画像において赤目や金目などの異常が発生している場合には、判断部８は、異常が発生した画像における色を特定する。

次に、判断部８は、瞳領域情報に基づいて瞳の領域を判断し、瞳の領域に含まれる各画素について、その画素が有している色は瞳として正常な色であるか否か判断する。具体的には、判断部８は、入力画像上において特定された色と、瞳色推定部５ａによって推定された瞳推定色とを比較することにより、上記判断を行う。

判断部８は、例えば、瞳推定色と瞳領域内の各画素の色とについて、以下の式に基づいて特徴量Ｄを取得する。この場合、判断部８は、瞳推定色と瞳領域の各画素における色とについて赤みの度合いを示す特徴量Ｄを取得し、特に赤目現象の有無について判断する。

判断部８は、瞳推定色についての特徴量Ｄと、瞳領域内の各画素における色についての特徴量Ｄとを比較することにより、各画素についての赤み度合いを判断する。そして、判断部８は、瞳推定色における特徴量Ｄよりも大きな特徴量Ｄを有する画素が瞳領域内に所定の割合以上存在する場合、この入力画像において異常（この場合は赤目現象）が発生していると判断する。

なお、判断部８が判断に用いる特徴量Ｄは、他の定義に基づいて取得されても良い。例えば、判断部８は、金目度合いを判断するための特徴量Ｄ‘を取得して比較・判断を行うように構成されても良い。

〔動作例〕
図６は、瞳色推定装置１ｂの動作例を示すフローチャートである。図６を用いて、瞳色推定装置１ｂの動作例について説明する。なお、瞳色推定装置１ｂの動作のうち、瞳色推定装置１ａと同様の処理については図４におけるフローチャートと同様の符号を付しその説明を省略する。

瞳色推定装置１ｂでは、瞳色推定部５ａが瞳推定色を推定した後（Ｓ０３）、瞳検出部７が瞳領域を検出する（Ｓ０５）。次に、判断部８は、瞳色推定部５ａによって推定された瞳推定色と、瞳検出部７によって検出された瞳領域内の各画素の色とに基づいて、入力画像の瞳について赤目や金目などの異常が発生しているか否か判定する（Ｓ０６）。そして、判断部８は判定結果を出力する（Ｓ０７）。なお、瞳色推定部５ａが瞳推定色を推定する処理（Ｓ０３）の前に、瞳検出部７が瞳領域を検出する処理（Ｓ０５）が実行されても良い。

〔作用／効果〕
瞳色推定装置１ｂでは、瞳色推定装置１ａと同様の処理に基づいて推定された瞳推定色に基づいて、入力画像の瞳の画像に赤目現象や金目現象などの異常が発生しているか否か判断される。このため、ユーザは入力画像について、赤目現象や金目現象などの異常が発生しているか否かについて、客観的な判断を得ることが可能となる。従って、ユーザは、入力画像について、例えば異常が発生していると認められる画像に対して補正を行う場合には、補正を行うべきか否か容易に判断することが可能となる。同様に、ユーザは、入力画像について、例えば異常が発生しているときに再取得を望む場合は、再取得すべきか否か（例えば撮像やダウンロードなどの処理を再度行うべきか否か）容易に判断することが可能となる。

このような瞳色推定装置１ｂは、例えば、瞳色推定装置１ａと同様にデジタルスチル／ビデオカメラ等の撮像装置やこのような撮像装置を備えた情報処理装置に適用されても良い。瞳色推定装置１ｂが適用されることにより、撮像された画像に赤目や金目などの異常が発生しているか否か判断することが可能となり、その判断に応じて適当な補正を行うことやユーザに警告を行うことも可能となる。

〔変形例〕
判断部８は、被写体人物の左右の瞳それぞれについて独立して判断を実施し、それぞれの瞳について判定結果を出力するように構成されても良い。

また、瞳推定装置１ｂは、入力画像中に複数の被写体人物の顔等が検出された場合、全員に対して判定処理などを実施するように構成されても良いし、所定の条件を満たす被写体人物（例：顔矩形６の大きさが所定の大きさ以上の人物，画面中央付近に位置する人物，顔認証の結果判断される特定の人物）についてのみ判定処理などを実施するように構成されても良い。

［第三実施形態］
〔システム構成〕
次に、瞳色推定装置の第三実施形態である瞳色推定装置１ｃについて説明する。図７は、瞳色推定装置１ｃの機能ブロックの例を示す図である。瞳色推定装置１ｃは、補正部９をさらに備える点で瞳色推定装置１ｂと異なる。以下、瞳色推定装置１ｃについて、瞳色推定装置１ｂと異なる点について説明する。なお、補正部９は、プログラムがＣＰＵによって実行されることにより実現される。また、補正部９は、それぞれが専用のチップとして構成されても良い。また、各処理部はハードウェア・ソフトウェアのハイブリッドとして実装されても良い。

〈補正部〉
補正部９は、判断部８による判断結果に基づいて補正処理を実施する。即ち、補正部９は、判断部８によって、入力画像の瞳の画像に異常が発生していると判断された場合に補正処理を実施する。補正部９は、瞳色推定部５ａによって推定される瞳推定色に基づいて、瞳検出部７によって検出された瞳領域内の画素の色を補正する。以下、補正部９が実施する補正処理の一例について説明する。

補正部９は、補正対象となる画素の色について、その明度を維持したままで瞳推定色に置き換える。ここでは、補正部９は、補正対象となる画素についてその明度Ｙを以下の式に基づいて取得する。

なお、Ｒ，Ｇ，Ｂの各値は０乃至２５５の整数値とする。そして、補正部９は、瞳推定色のＲ，Ｇ，Ｂのそれぞれの値（即ち近似式から取得されるＥｒ，Ｅｇ，Ｅｂの値）の比率を維持したまま、補正対象となる画素の明度Ｙと同じ明度が得られるようなＲＧＢ値（以下、Ｎｒ，Ｎｇ，Ｎｂとする）を取得する。補正部９は、このようにして得られたＮｒ，Ｎｇ，Ｎｂの値を、補正対象となる画素に対して付与することにより補正処理を実施する。

〔動作例〕
図８は、瞳色推定装置１ｃの動作例を示すフローチャートである。図８を用いて、瞳色推定装置１ｃの動作例について説明する。なお、瞳色推定装置１ｃの動作のうち、瞳色推定装置１ｂと同様の処理については図６におけるフローチャートと同様の符号を付しその説明を省略する。

瞳色推定装置１ｃでは、判断部８が異常の発生について判定した後（Ｓ０６）、補正部９はその判定結果に基づいて補正処理が必要か否か判断する。補正処理が必要である場合（Ｓ０８−ＹＥＳ）、即ち判断部８によって瞳の画像について異常が発生していると判断された場合、補正部９は補正処理を実施し（Ｓ０９）、処理は終了する。一方、補正処理が必要でない場合（Ｓ０８−ＮＯ）、即ち判断部８によって瞳の画像について異常が発生していないと判断された場合、処理は終了する。

〔作用／効果〕
瞳色推定装置１ｃでは、瞳色推定装置１ｂと同様の処理に基づいて実施される判断部８による判定処理の判定結果に基づいて、入力画像の瞳部分に対する補正処理の要否が判断される。そして、この判断結果に従って、瞳色推定装置１ａと同様の処理に基づいて推定された瞳推定色を用いた補正処理が実施される。このため、赤目現象や金目現象など異常が発生している画像について、ユーザの手を煩わせることなく、被写体人物の瞳の色が正常な色に補正される。

また、瞳色推定装置１ｃでは、補正処理が実施される際に、入力画像の補正対象となる画素の明度が維持されたままで、瞳推定色に基づいた色が決定される。即ち、瞳推定色のＲＧＢの比率及び元の画素の明度が維持されたままで色の置き換えが実施される。このため、単純に瞳推定色に置き換えられる場合と異なり、より自然な補正処理を実施することが可能となる。具体的には、いわゆるキャッチライトなどの瞳表面で発生する自然現象による効果を失うことなく、眼球の球形や眼球表面の湿潤感を補正後の瞳の画像において自然に表現することが可能となる。従って、高品質の画像補正を実現できる。

〔変形例〕
瞳色推定装置１ｃは、判断部８を省いて構成されても良い。この場合、補正部９は、判断部８による判断結果から独立して補正処理を実施するように構成される。この場合、例えばユーザによる判断に基づいて補正処理を実施するように構成されても良い。

このように構成されることにより、例えば判断部８が赤目現象についてのみ判断するように構成されていた場合であっても、金目現象を起こした瞳や、黒すぎるなどの理由により違和感を与える瞳などについても補正処理が実施される。従って、判断部８では判断できなかった異常についても対処することが可能となる。

また、判断部８は、被写体人物の左右の瞳それぞれについて独立して判断を実施し、必要な瞳についてのみ補正部９が補正処理を実施するように構成されても良い。このように構成されることにより、本来補正すべきでない瞳に対して補正処理を行ってしまうことを防止するとともに、処理の高速化を図ることが可能となる。

また、瞳推定装置１ｃは、入力画像中に複数の被写体人物の顔等が検出された場合、全員に対して判定処理や補正処理などを実施するように構成されても良いし、所定の条件を満たす被写体人物（例：顔矩形６の大きさが所定の大きさ以上の人物，画面中央付近に位置する人物，顔認証の結果判断される特定の人物）についてのみ判定処理や補正処理などを実施するように構成されても良い。

［第四実施形態］
〔システム構成〕
次に、瞳色推定装置の第四実施形態である瞳色推定装置１ｄについて説明する。図９は、瞳色推定装置１ｄの機能ブロックの例を示す図である。瞳色推定装置１ｄは、人種推定部１０をさらに備える点で瞳色推定装置１ａと異なる。また、瞳色推定装置１ｄは、瞳色推定部５ａに代えて瞳色推定部５ｄを備える点でも瞳色推定装置１ａと異なる。なお、瞳色推定部５ｄ及び人種推定部１０は、プログラムがＣＰＵによって実行されることにより実現される。また、瞳色推定部５ｄ及び人種推定部１０は、それぞれが専用のチップとして構成されても良い。また、各処理部はハードウェア・ソフトウェアのハイブリッドとして実装されても良い。

〈人種推定部〉
人種推定部１０は、顔検出部３によって検出された顔について、画像を用いることにより、いずれの人種の人間の顔であるかを推定する。人種推定部１０は、画像から被写体の人種を推定する技術であれば、どのような技術が適用されることにより実現されても良い。以下、人種推定部１０に適用可能な人種推定技術の具体例について説明する。

人種推定部１０は、顔検出部３によって検出された顔について特徴量を取得し、その特徴量に基づいてパターン認識を行うことにより属性を推定する。このような処理を実現するため、人種推定部１０は、特徴抽出部１１及び属性推定部１２を含む。以下、それぞれが行う処理について説明する。

〈〈特徴抽出部〉〉
まず、特徴抽出部１１は、顔検出部３によって検出された顔における複数の特徴点を設定する（特徴点設定処理）。そして、特徴抽出部１１は、特徴点設定処理によって設定された特徴点を元に、この被写体の顔の特徴量として各特徴点の特徴量を取得する（特徴量取得処理）。以下、特徴点設定処理及び特徴量取得処理について説明する。

〈〈〈特徴点設定処理〉〉〉
特徴点設定処理において、まず特徴抽出部１１は検出された顔の器官を検出する。顔の器官とは、例えば目，鼻，鼻孔，口（唇），眉，顎，額などである。特徴抽出部１１は、いずれの顔の器官を検出しても良く、複数の器官を検出しても良い。例えば特徴抽出部１１は、被写体の顔の両目及び口を検出するように構成される。

次に、特徴抽出部１１は、検出された顔の画像をグレースケールの画像に変換する。また、特徴抽出部１１は、検出された顔の器官の位置関係に基づいて、検出された顔の画像の角度正規化やサイズ正規化を実施する。これらの処理をまとめて前処理と呼ぶ。また、画像をグレースケールに変換する処理は、顔検出部３における処理や特徴点設定処理におけるどの時点で実行されても良い。

次に、特徴抽出部１１は、検出された顔の器官（以下、「注視点」と呼ぶ：例えば両目や口を示す点）の位置に基づいて、複数の特徴点の位置を設定する。特徴抽出部１１は、注視点に近いほど密に、注視点から離れるほど粗に特徴点を設定する。

図１０（ａ）は、顔検出部３によって検出された被写体の顔を示す図である。図１０（ｂ）は、特徴点設定処理によって設定された複数の特徴点の例を示す図である。図１０（ｂ）において、黒塗りの丸は注視点を示し、斜線の丸は注視点に基づいて設定された特徴点を示す。以下に説明する特徴量取得処理において、注視点が特徴点として取り扱われても良い。

このような特徴点設定処理は、例えば以下の論文に記載されたＲｅｔｉｎａサンプリングを適用することによって実現できる。

F. Smeraldiand J. Bigun, “Facial features detection by saccadic exploration of the Gabor decomposition”, International Conference on Image Processing, ICIP-98, Chicago, October 4-7, volume 3, pages 163-167, 1998.

〈〈〈特徴量取得処理〉〉〉
特徴量取得処理において、特徴抽出部１１は特徴点設定処理によって設定された各特徴点に対し、ガボールフィルタを畳み込む。即ち、特徴抽出部１１は、各特徴点についてガボールウェーブレット変換（Gabor Wavelets Transformation：GWT）を実施する。図１１は、特徴量取得処理において使用されるガボールフィルタの例（実部）である。特徴抽出部１１は、図１１に示されるような解像度と方位とを変化させた複数のガボールフィルタを畳み込むことにより、特徴点周辺における濃淡特徴の周期性と方向性とを特徴量として取得する。

数４は、ガボールフィルタを表す式である。ガボールフィルタの使用において、式中のｋとθとの値を変更することにより、濃淡特徴から任意の周期性と方向性とを特徴量として取得することが可能となる。

特徴抽出部１１は、特徴量取得処理によって得られる各特徴点の特徴量を、属性推定部１２へ渡す。なお、特徴抽出部１１は、顔検出部３によって検出された顔のうち、所定の条件を満たす全ての顔について処理を行うように構成されても良い。所定の条件とは、例えば所定の大きさ以上の顔，所定の位置（例えば画像中央の領域），所定の向きの（例えば正面を向いている）顔などの条件である。

〈〈属性推定部〉〉
属性推定部１２は、特徴抽出部１１から受け取る各特徴点の特徴量に基づいて、顔検出部３によって検出された被写体の属性情報を推定する。属性情報とは、その人に関する情報であり、例えば人種、年代、性別などが項目として含まれる。属性推定部１２は、予め学習処理が完了しているパターン認識の識別器に対して各特徴点の特徴量を入力することにより、被写体の属性情報を推定する。属性推定部１２は、パターン認識の識別器としてサポートベクターマシン（Support Vector Machine：ＳＶＭ）を用いて処理を行う。以下、属性情報のうち人種を推定する場合を例として、サポートベクターマシンについて説明する。

サポートベクターマシンは、二つのクラスに属する学習データの真ん中を通る超平面を識別の境界面とし、パターン認識を行う手法である。サポートベクターマシンにおける識別器は、数５に示される識別関数を用いることにより、入力されたデータ（ここでは全特徴点における特徴量）が二つのクラスのいずれに属するかを推定する。

数５において、ｌは、学習処理によって選別された学習データの個数、即ち属性推定部１２による属性推定処理に用いられる学習データの個数を示す。α_ｉは、ラグランジュ乗数を示す。ｘ_ｉ，ｙ_ｉは学習データを示す。ｙ_ｉは“−１”又は“１”のいずれかを有し、ｘ_ｉが二つのクラスのいずれに属するかを示す。ｂはバイアス項、即ちパラメタを示す。学習処理によりこれらの値が決定され、属性推定部１２はその学習処理の結果を記憶する。

また、数５において、Ｋはカーネル関数を示す。カーネル関数を使って、入力データをより高い次元に非線形に写像するサポートベクターマシンの非線形拡張が提案されており、これにより、より実問題に対して有効な識別器を構築することが可能である。このようなカーネル関数の代表的なものに、多項式カーネル（数６参照）やガウシアンカーネル（数７参照）等がある。属性推定部１２において、いずれのカーネル関数が適用されても良い。

サポートベクターマシンは、二つのクラスを識別する識別器を構成する学習法であり、複数種（三種以上）の人種を識別（推定）するためには複数のサポートベクターマシンを組み合わせる必要がある。属性推定部１２は、二分木探索を適用することにより、サポートベクターマシンを用いたマルチクラスタリングを実現する。図１２は、属性推定部１２における人種推定処理に適用される二分木探索の例を示す図である。ここでは、被写体の人種がコーカソイド、ネグロイド、モンゴロイドのいずれであるかを推定する処理を例として説明する。設計に応じて他の人種がさらに候補として含まれるように構成されても良い。

属性推定部１２は、まず、サポートベクターマシンを用いて、被写体の人物がネグロイドであるか否かについて推定する。そして、被写体の人物がネグロイドではないと推定された場合には、属性推定部１２は、被写体の人物がモンゴロイドであるか否か（又はコーカソイドであるか否か）について推定する。属性推定部１２は、人種以外の属性情報の項目、即ち年代や性別についても同様に二分木探索を行うことによって各項目についての推定処理を行う。そして、属性推定部１２は、推定された属性情報を瞳色推定部５ｄへ渡す。

〈瞳色推定部〉
瞳色推定部５ｄは、肌の色特定部４によって取得された肌の色の代表値及び人種推定部１０によって取得された属性情報に基づいて、この被写体人物の瞳の色を推定する。以下、瞳推定部５ｄが行う処理について具体的に説明する。

まず、予め各人種に対応づけられた近似式（数１に相当）が得られる。具体的には、各サンプル画像として各人種の被写体を含むサンプル画像が用意され、それぞれの人種に対応した近似式が得られる。そして、各人種に対応する近似式が瞳色推定部５ｄによって記憶される。被写体の瞳の色を推定する際には、瞳色推定部５ｄは、まず人種推定部１０の推定結果に応じて、一つの近似式を選択する。そして、瞳色推定部５ｄは、選択された近似式を用いて、肌の色特定部４の出力に従い、被写体の瞳の色を推定する。このときの処理は、瞳色推定部５ａと同様の処理となる。

〔動作例〕
図１３は、瞳色推定装置１ｄの動作例を示すフローチャートである。図１３を用いて、瞳色推定装置１ｄの動作例について説明する。なお、瞳色推定装置１ｄの動作例のうち、瞳色推定装置１ａと同様の処理については図４におけるフローチャートと同様の符号を付しその説明を省略する。

瞳色推定装置１ｄでは、肌の色特定部４が肌の色を特定した後（Ｓ０２）、人種推定部１０が被写体の人種を推定する（Ｓ１０）。次に、瞳色推定部５ｄは、特定された肌の色及び推定された人種に基づいて、処理に用いる近似式を選択する（Ｓ１１）。瞳色推定部５ｄは、選択された近似式を用いることにより、人種に応じた被写体の本来の瞳の色を推定する（Ｓ１２）。そして、瞳色推定部５ｄは、推定結果である瞳推定色を出力し処理を終了する（Ｓ０４）。

〔作用／効果〕
瞳色推定装置１ａにおいて用いられる近似式は、予めこの近似式を得る際に使用されるサンプル画像のセットの内容に依存していた。従って、このサンプル画像のセットが、例えば日本人の画像を多く含むセットであった場合、近似式は日本人に適した式として得られる。このため、このような近似式をそのまま欧米人の画像に適用した場合、得られる瞳推定色は、青みが少なく黒くなりすぎてしまい不適切な色が得られてしまうという問題があった。このような問題に対し、瞳推定装置１ｄでは、人種推定部１０が被写体の人種を推定し、瞳色推定部５ｄはその推定結果である人種に応じて用いる近似式を選択する。従って、瞳色推定部５ｄにより被写体の瞳の色が推定される際に、被写体の人種に応じた適切な瞳の色が推定結果として得られる。

〔変形例〕
瞳色推定装置１ｄは、瞳色推定装置１ｂのように瞳検出部７及び判断部８をさらに備えるように構成されても良い。また、瞳色推定装置１ｄは、瞳色推定装置１ｃのように補正部９をさらに備えるように構成されても良い。

また、瞳色推定装置１ｄでは、瞳色推定に用いられる近似式の選択は瞳色推定部５ｄによって実行されたが、人種推定部１０によってこの選択が実行されても良い。

［第五実施形態］
〔システム構成〕
次に、瞳色推定装置の第五実施形態である瞳色推定装置１ｅについて説明する。図１４は、瞳色推定装置１ｅの機能ブロックの例を示す図である。瞳色推定装置１ｅは、環境推定部１３をさらに備える点で瞳色推定装置１ａと異なる。また、瞳色推定装置１ｅは、瞳色推定部５ａに代えて瞳色推定部５ｅを備える点でも瞳色推定装置１ａと異なる。なお、瞳色推定部５ｅ及び環境推定部１３は、プログラムがＣＰＵによって実行されることにより実現される。また、瞳色推定部５ｅ及び環境推定部１３は、専用のチップとして構成されても良い。また、各処理部は、ハードウェア・ソフトウェアのハイブリッドとして実装されても良い。

〈環境推定部〉
環境推定部１３は、瞳色推定装置１ｅが設置された環境や動作している環境を推定する（環境推定処理）。そして、環境推定部１３は、推定結果に基づいて、瞳色推定部５ｅにおいて使用される近似式を取得する（近似式取得処理）。以下、環境推定処理及び近似式取得処理について説明する。

〈〈環境推定処理〉〉
環境推定処理では、環境推定部１３は、所定の基準に従って、瞳色推定装置１ｅが設置された環境や動作している環境を推定する。例えば、環境推定部１３は、ＯＳ（Operating System）に設定されている地域情報やメインテナンス情報の電話番号指定などを基準として環境を推定しても良い。また、環境推定部１３は、ＯＳや機器本体に設定されているタイムゾーンを基準として環境を推定しても良い。また、環境推定部１３は、ＯＳや機器本体に設定されている使用言語を基準として環境を推定しても良い。

〈〈近似式取得処理〉〉
近似式取得処理では、環境推定部１３は、環境推定処理における推定結果に基づいて、瞳色推定部５ｅにて使用される近似式を取得する。環境推定部１３は、予め複数の近似式を記憶している。この複数の近似式は、それぞれ環境に対応づけて記憶される。即ち、環境推定処理によって推定された環境に対し、一つの近似式が近似式取得処理において取得される。

環境推定部１３が記憶する各近似式は、数１と同様の近似式であり、予め各環境に対応づけて算出されている。例えば、モンゴロイドが７０％，コーカソイドが２０％，ネグロイドが１０％の人種構成比である環境に対応する近似式は以下のようにして求められる。まず、人種構成比に対応するサンプル画像が用意される。サンプル画像が全部で１０００枚用いられる場合は、モンゴロイドの画像は７００枚，コーカソイドの画像は２００枚，ネグロイドの画像は１００枚用意される。このとき用意される画像は、いずれも正常な瞳の画像を有する画像である。そして、全サンプル画像について肌の色と瞳の色との値をＲＧＢ各色別にグラフにプロットされ、最小二乗法により、ＲＧＢ各色についての数１に対応する近似式が取得される。言い換えれば、各環境に応じた人種構成比に基づいてサンプルセットを作成することにより、各環境に対応づけられた近似式が取得される。

〈瞳色推定部〉
瞳色推定部５ｅは、環境推定部１３によって取得された近似式を用いて瞳色を推定する。このときの具体的な処理は、環境推定部１３によって取得された近似式を用いる点を除けば、瞳色推定部５ａと同様の処理となる。

〔動作例〕
図１５は、瞳色推定装置１ｅの動作例を示すフローチャートである。図１５を用いて、瞳色推定装置１ｅの動作例について説明する。なお、瞳色推定装置１ｅの動作例のうち、瞳色推定装置１ｅと同様の処理については図４におけるフローチャートと同様の符号を付しその説明を省略する。

瞳色推定装置１ｅでは、肌の色特定部４が肌の色を特定した後（Ｓ０２）、環境推定部１３が環境推定処理を実施することにより環境を推定する（Ｓ１３）。そして、環境推定部１３はさらに、近似式取得処理を実施することにより近似式を取得する（Ｓ１４）。この後、瞳色推定部５ｅは、近似式取得処理によって得られた近似式を用いて瞳推定色を推定し（Ｓ１５）、この色を出力する（Ｓ０４）。

〔作用／効果〕
瞳色推定装置５ｅによれば、被写体の人種について推定処理を行うことなく、瞳色推定装置１ｅが設置された環境や動作している環境を推定することにより、その環境に適した近似式が取得される。このため、具体的な処理は異なるものの、瞳色推定装置１ｄと同様の効果を得ることができる。即ち、例えば日本において瞳色推定装置１ｅが動作した場合などには、日本の人種構成比に基づいて算出された近似式が使用され瞳色が推定される。一方、瞳色推定装置１ｅがコーカソイドの多い国において動作した場合などには、その人種構成比に基づいて算出された近似式が使用され瞳色が推定される。従って、被写体の人種に応じた適切な瞳推定色が得られる。このとき、瞳色推定装置１ｄと異なり、被写体の人種推定という複雑な処理を必要としないため、瞳色推定装置１ｅでは、処理の高速化やコストの削減、装置の小型化などを図ることができる。

〔変形例〕
瞳色推定装置１ｅは、瞳色推定装置１ｂのように瞳検出部７及び判断部８をさらに備えるように構成されても良い。また、瞳色推定装置１ｅは、瞳色推定装置１ｃのように補正部９をさらに備えるように構成されても良い。

また、瞳色推定装置１ｅでは、近似式取得処理は、瞳色推定部５ｅによって実行されても良い。

また、瞳色推定装置１ａ〜１ｅは、デジタルカメラやミニラボ機などに搭載されることにより、瞳の色の画像補正を行う際に使用されても良い。

また、環境推定部１３は、入力された画像に付加された情報（例えばＥＸＩＦや他のヘッダ情報など）に基づいて、入力された画像が撮像された環境を推定しても良い。

瞳色推定装置の第一実施形態の機能ブロックの例を示す図である。 顔矩形の例を示す図である。 肌の色の代表値を取得する際に特定される領域の例を示す図である。 瞳色推定装置の第一実施形態の動作例を示すフローチャートである。 瞳色推定装置の第二実施形態の機能ブロックの例を示す図である。 瞳色推定装置の第二実施形態の動作例を示すフローチャートである。 瞳色推定装置の第三実施形態の機能ブロックの例を示す図である。 瞳色推定装置の第三実施形態の動作例を示すフローチャートである。 瞳色推定装置の第四実施形態の機能ブロックの例を示す図である。 特徴点の設定例を示す図である。 ガボールフィルタの例を示す図である。 二分木探索の例を示す図である。 瞳色推定装置の第四実施形態の動作例を示すフローチャートである。 瞳色推定装置の第五実施形態の機能ブロックの例を示す図である。 瞳色推定装置の第五実施形態の動作例を示すフローチャートである。

符号の説明

１ａ，１ｂ，１ｃ，１ｄ，１ｅ 瞳色推定装置
２ 記憶部
３ 顔検出部
４ 肌の色特定部
５ａ，５ｄ，５ｅ 瞳色推定部
６ 顔矩形
７ 瞳検出部
８ 判断部
９ 補正部
１０ 人種推定部
１１ 特徴抽出部
１２ 属性推定部
１３ 環境推定部

Claims (16)

1. 入力された画像における被写体人物の肌の色を特定する肌の色特定手段と、
   前記肌の色特定手段によって特定された肌の色に基づいて、前記画像中に表されるべき当該人物の瞳の色を推定する瞳色推定手段と
   を備える瞳色推定装置。
2. 入力された画像における被写体人物の顔の一部又は全体を含む顔領域を検出する顔検出手段と、
   前記顔検出手段によって検出された顔領域に含まれる画素の色から、当該人物の肌の色を特定する肌の色特定手段と、
   前記肌の色特定手段によって特定された肌の色に基づいて、前記画像中に表されるべき当該人物の瞳の色を推定する瞳色推定手段と
   を備える瞳色推定装置。
3. 前記顔検出手段によって検出された当該人物の瞳の一部又は全体を含む瞳領域を検出する瞳検出手段と、
   前記瞳色推定手段によって推定された瞳の色と前記瞳検出手段によって検出された瞳領域から特定される色とを比較することにより、前記画像における当該人物の瞳の色に異常が発生しているか否か判断する判断手段と
   をさらに備える請求項２に記載の瞳色推定装置。
4. 前記判断手段は、前記瞳色推定手段によって推定された瞳の色における赤みと、前記瞳検出手段によって検出された瞳領域から特定される色における赤みとを比較することにより、前記画像における当該人物の瞳部分が赤目になっているか否か判断する請求項３に記載の瞳色推定装置。
5. 前記顔検出手段によって検出された当該人物の瞳の一部又は全体を含む瞳領域を検出する瞳検出手段と、
   前記瞳検出手段によって検出された瞳領域に対し、前記瞳色推定手段によって推定された瞳の色に基づいて、瞳の色の補正を行う補正手段とをさらに備える請求項２に記載の瞳色推定装置。
6. 前記判断手段により瞳の色に異常が発生していると判断された場合に、前記瞳検出手段によって検出された瞳領域に対し、前記瞳色推定手段によって推定された瞳の色に基づいて、瞳の色の補正を行う補正手段をさらに備える請求項３に記載の瞳色推定装置。
7. 前記補正手段は、前記瞳検出手段によって検出された瞳領域の画素について、当該画素の明度を維持して補正を行う請求項５に記載の瞳色推定装置。
8. 瞳色推定手段は、瞳部分に異常が発生していないと認められる被写体人物を含む画像から得られる肌の色と瞳の色との統計処理の結果に基づいて得られる、肌の色と瞳の色との相関関係にさらに基づいて瞳の色を推定する請求項２に記載の瞳色推定装置。
9. 入力された画像における被写体人物の肌の色を特定するステップと、
   前記特定するステップにおいて特定された肌の色に基づいて、当該人物の瞳の色を推定するステップと
   を情報処理装置に実行させるプログラム。
10. 入力された画像における被写体人物の顔領域を検出するステップと、
    前記検出するステップにおいて検出された顔領域に含まれる画素の色から、当該人物の肌の色を特定するステップと、
    前記特定するステップにおいて特定された肌の色に基づいて、当該人物の瞳の色を推定するステップと
    を情報処理装置に実行させるプログラム。
11. 情報処理装置が、入力された画像における被写体人物の肌の色を特定するステップと、
    情報処理装置が、前記特定するステップにおいて特定された肌の色に基づいて、当該人物の瞳の色を推定するステップと
    を含む瞳色推定方法。
12. 情報処理装置が、入力された画像における被写体人物の顔領域を検出するステップと、
    情報処理装置が、前記検出するステップにおいて検出された顔領域に含まれる画素の色から、当該人物の肌の色を特定するステップと、
    情報処理装置が、前記特定するステップにおいて特定された肌の色に基づいて、当該人物の瞳の色を推定するステップと
    を含む瞳色推定方法。
13. 瞳の色を推定するために使用される近似式と人種とを対応づけて記憶する近似式記憶手段と、
    前記被写体人物の人種を推定する人種推定手段と、
    推定された人種に対応づけて前記近似式記憶手段に記憶される前記近似式を選択する選択手段と、をさらに備え、
    前記瞳色推定手段は、前記近似式を用いることにより、前記特定された肌の色に基づいて、前記瞳の色を推定する
    請求項２に記載の瞳色推定装置。
14. 瞳の色を推定するために使用される近似式と環境とを対応づけて記憶する近似式記憶手段と、
    自装置が動作している環境又は前記入力された画像が撮像された環境を推定する環境推定手段と、
    推定された環境に対応づけて前記近似式記憶手段に記憶される前記近似式を選択する選択手段と、をさらに備え、
    前記瞳色推定手段は、前記近似式を用いることにより、前記特定された肌の色に基づいて、前記瞳の色を推定する
    請求項２に記載の瞳色推定装置。
15. 画像を撮像する撮像手段と、
    撮像された画像における被写体人物の顔の一部又は全体を含む顔領域を検出する顔検出手段と、
    前記顔検出手段によって検出された顔領域に含まれる画素の色から、当該人物の肌の色を特定する肌の色特定手段と、
    前記肌の色特定手段によって特定された肌の色に基づいて、前記画像中に表されるべき当該人物の瞳の色を推定する瞳色推定手段と、
    前記顔検出手段によって検出された当該人物の瞳の一部又は全体を含む瞳領域を検出する瞳検出手段と、
    前記瞳検出手段によって検出された瞳領域に対し、前記瞳色推定手段によって推定された瞳の色に基づいて、瞳の色の補正を行う補正手段と
    を備える撮像装置。
16. 画像を入力する画像入力手段と、
    入力された画像における被写体人物の顔の一部又は全体を含む顔領域を検出する顔検出手段と、
    前記顔検出手段によって検出された顔領域に含まれる画素の色から、当該人物の肌の色を特定する肌の色特定手段と、
    前記肌の色特定手段によって特定された肌の色に基づいて、前記画像中に表されるべき当該人物の瞳の色を推定する瞳色推定手段と、
    前記顔検出手段によって検出された当該人物の瞳の一部又は全体を含む瞳領域を検出する瞳検出手段と、
    前記瞳検出手段によって検出された瞳領域に対し、前記瞳色推定手段によって推定された瞳の色に基づいて、瞳の色の補正を行う補正手段と
    を備えるミニラボ機。

Images