JP4396387B2 - 画像補正装置 - Google Patents

Description

本発明は、撮像された画像、特に人物を被写体とした画像に対する画像補正に適用されて有効な技術に関する。

従来、人物が撮像された画像において、いわゆる「テカリ」の発生が問題となっている。テカリとは、写真撮像時に発せられるストロボ等の光が、被写体人物の肌の表面で反射（特に鏡面反射）することにより、肌の一部が白く撮像されてしまうことである。このため、テカリが発生した部位（以下、「テカリ部位」と呼ぶ）は、周囲の肌に比べて高輝度に撮像されてしまう。このようなテカリは、その画像を見る者に対して不快な印象を与える。このため、テカリが発生してしまった画像において、テカリを除去若しくは軽減する技術が要求されている。

このような要求に対し、従来、オペレータが目視で高輝度の部位を見つけフォトレタッチソフト等を使用することにより手動で高輝度の部位の明るさや輝度を下げることによりテカリを抑制する補正方法が実現されている。

また、画像の中から被写体人物の目が含まれる領域を選択し、選択された領域の中から高輝度部位を判別し、判別した高輝度部位をその周囲の画素値に基づいて塗りつぶす技術も提案されている（特許文献１参照）。
特開２００２−２６９５４５号公報

しかしながら、従来のように画像の中の高輝度部位に対して無条件に輝度を下げる処理が実施された場合、本来なら輝度を下げる必要のない高輝度部位（例えば肌以外の高輝度部位）についても輝度を下げる処理が実施されてしまう可能性があった。上記のような肌以外の高輝度部位の具体例としては、髪のつや、唇のつや、瞳の輝きなどがある。このような高輝度部位は、特に被写体が女性である場合は、テカリとは逆に画像を見る者に対して良い印象を与える。従って、これらの高輝度部位については、その輝度は不必要に下げられるべきではない。このような問題は、上記のように画像の中から被写体人物の目が含まれる領域を選択する方法であっても解決されない。

そこで本発明はこれらの問題を解決し、輝度を下げる必要のある特定の部位に生じた高輝度部分のみを補正し、テカリを除去若しくは軽減するための装置を提供することを目的とする。

上記問題を解決するため、本発明は以下のような構成をとる。本発明の第一の態様は、画像補正装置であって、検出手段，領域決定手段，及び補正手段を含む。検出手段は、入力された画像から被写体の所定部位を検出する。被写体の所定部位とは、特に人物の身体部位であり、例えば人物の顔，目，口，鼻，鼻孔，顔の輪郭部，額，耳，頬などである。領域決定手段は、検出された所定部位の位置及び入力された画像の各画素の輝度又は明度に基づいて、画像補正を実施する領域を決定する。そして、補正手段は、決定された領域に含まれる画素に対し、その輝度又は明度が下がるような画像補正を実施する。ここで、輝度又は明度が下がるような画像補正とは、画素の輝度又は明度の値を下げるだけでなく、画素の赤成分を上げるなどの色成分を調整することにより実質的に輝度又は明度が下が
る補正処理を含む。

本発明の第一の態様では、輝度又は明度を下げる対象となる領域として、単に輝度又は明度の値が高い領域が特定されるのではなく、被写体の所定部位に含まれる領域内で且つ輝度又は明度が高い領域が特定される。そして、このように特定された領域についてのみ、輝度又は明度が下がるような画像補正が実施される。このため、輝度を下げる必要のない部位については高輝度を維持することが可能となる。言い換えれば、輝度を下げる必要のある特定の部位に生じた高輝度部分のみを補正し、テカリを除去若しくは軽減することが可能となる。

本発明の第二の態様は、画像補正装置であって、検出手段，強度値算出手段，及び補正手段を含む。検出手段は、第一の態様における検出手段と同様に、入力された画像から被写体の所定部位を検出する。強度値算出手段は、各画素について、検出された所定部位を主に占める色成分にその画素の色成分がどれだけ近いかを示す強度値を算出する。そして、補正手段は、各画素に対してその輝度又は明度が下がるような画像補正を実施する。このとき、補正手段は、強度値及び入力された画像の各画素の輝度又は明度に基づいて、各画素に対し実施する補正の程度を決定することにより上記のような画像補正を実施する。補正の程度とは、例えば輝度又は明度の下げ幅の大きさや、画素の各色成分（例えばＲ，Ｇ，Ｂや、Ｌ，ａ，ｂなどの各成分）の変化量や変化割合などを示す。

本発明の第二の態様では、各画素に対し実施される補正の程度が、各画素の色成分が所定部位を主に占める色成分にどれだけ近いかに応じて決定される。このため、例えば所定部位を主に占める色成分が、被写体の肌の色となるように設計されることにより、被写体の肌の色に応じた補正を行うことが可能となる。この場合、例えば被写体の肌の色である部分では補正の程度を大きく設定し、被写体の肌の色ではない部分については補正の程度を小さく抑えるように設定することが可能となる。このように設計されることにより、例えば被写体の肌に生じたテカリのみを除去若しくは軽減し、肌以外に生じた輝きを維持させることが可能となる。

本発明の第二の態様における補正手段は、各画素における強度値が所定部位を主に占める色成分に遠いことを示すほど、又はその画素における輝度や明度が低い値を有するほど、補正の程度を弱め、この画素の新たな色成分として入力された画像の画素の色成分に近い色成分を算出し、各画素における強度値が所定部位を主に占める色成分に近いことを示しかつその画素における輝度や明度が高い値を有するほど、補正の程度を強め、この画素の新たな色成分として輝度や明度が下げられた色成分を算出するように構成されても良い。

顔や鼻や頬や額など（所定部位の例）を主に占める色成分とは、一般的にはその人の肌の色となる。このため、上記のように構成され、且つ人の肌の色が主な色成分となる部位を検出するように構成されることにより、その人の肌の色に近い色を有し且つ輝度や明度が高い部位（例えば肌のテカリの部分）に対する補正の程度を強めることが可能となる。この場合、髪の毛や唇や瞳など、その人の肌の色とは異なる色を有する部位については、補正の程度は弱められる。このため、このような部位における輝きが損なわれることを防止・軽減することができる。また、肌の色が違う多様な人種に対しても適用することができる。

また、本発明の第二の態様における画像補正装置は、入力された画像に対しぼかし処理を実施するぼかし手段をさらに備えるように構成されても良い。この場合、補正手段は、各画素における強度値が所定部位を主に占める色成分に遠いことを示すほど、又はその画素における輝度や明度が低い値を有するほど、補正の程度を弱め、この画素の新たな色成
分として入力された画像の画素の色成分に近い色成分を算出し、各画素における強度値が所定部位を主に占める色成分に近いことを示しかつその画素における輝度や明度が高い値を有するほど、補正の程度を強め、この画素の新たな色成分として、ぼかし処理が実施された場合の色成分に近い色成分を算出するように構成される。

このように構成されることにより、補正が強められた場合には、補正後の画素として、入力された画像に対してぼかし処理が実施された場合の色成分に近い色成分が算出される。即ち、ぼかし処理によって輝度や明度の高さがある程度抑制された色成分を用いて画像補正が行われる。このため、違和感のない自然な画像補正を実現することが可能となる。

また、本発明の第二の態様におけるぼかし手段は、強度値が所定部位を主に占める色成分に近いことを示す値を有する画素のみを用いてみぼかし処理を実施するように構成されても良い。このように構成されることにより、例えば所定部位を主に占める色成分が肌の色である場合、毛（例えば髪の毛や眉毛や睫毛や髭など）や瞳や鼻孔や唇など、肌の色でない部分の色がぼかし処理に用いられない。このため、ぼかし処理によって得られる各画素の値は、肌の色そのものまたは肌の色に近い色成分のみによって取得される値となり、肌の色以外の色成分の影響を受けることがない。従って、補正後の肌の部分に、上記のような肌の色以外の部分の色の影響を受けることなく、自然で違和感のない画像補正を実現することが可能となる。

本発明の第三の態様は、画像補正装置であって、検出手段及び補正手段を含む。検出手段は、第一の態様における検出手段と同様に、入力された画像から被写体の所定部位を検出する。補正手段は、各画素に対してその輝度又は明度が下がるような画像補正を実施する。このとき、補正手段は、検出された所定部位の位置及び入力された画像の各画素の輝度又は明度に基づいて、各画素に対し実施する補正の程度を決定する。

本発明の第三の態様では、例えば、検出された所定部位の位置に基づき位置が決定される所定の図形の領域内に位置する画素のみに対し、輝度又は明度の値に基づいた補正の程度が決定されても良い。このため、本発明の第三の態様によっても、本発明の第一の態様と同様の効果を得ることが可能となる。さらに、本発明の第三の態様では、検出された所定部位の位置に基づいて決定される１以上の点の位置と各画素の位置との方向及び距離と、その画素の輝度又は明度とに基づいて、実施される補正の程度が決定されても良い。このため、本発明の第三の態様によれば、各画素の位置に応じて補正の程度が調整可能となり、より自然な画像補正を実現することが可能となる。

本発明の第四の態様は、画像補正装置であって、検出手段，強度値算出手段，及び補正手段を含む。検出手段は、第一の態様における検出手段と同様に、入力された画像から被写体の所定部位を検出する。強度算出手段は、第二の態様における強度値算出手段と同様に、各画素について、検出された所定部位を主に占める色成分にその画素の色成分がどれだけ近いかを示す強度値を算出する。そして、補正手段は、各画素に対してその輝度又は明度が下がるような画像補正を実施する。このとき、補正手段は、検出された所定部位の位置、強度値、及び入力された画像の各画素の輝度又は明度に基づいて、各画素に対し実施する補正の程度を決定する。このように構成された本発明の第四の態様では、強度値及び各画素の輝度又は明度のみならず、さらに検出された所定部位の位置にも基づいて補正の程度が決定される。従って、各画素についてより適切な補正処理を実施することが可能となる。

また、本発明の第四の態様における補正手段は、各画素における強度値が所定部位を主に占める色成分に遠いことを示すほど、又はその画素における輝度や明度が低い値を有するほど、補正の程度を弱め、この画素の新たな色成分として入力された画像の画素の色成
分に近い色成分を算出し、各画素における強度値が所定部位を主に占める色成分に近いことを示しかつその画素における輝度や明度が高い値を有するほど、補正の程度を強め、この画素の新たな色成分として輝度や明度が下げられた色成分を算出するように構成されても良い。

また、本発明の第四の態様における画像補正装置は、入力された画像に対しぼかし処理を実施するぼかし手段をさらに備えるように構成されても良い。この場合、補正手段は、各画素における強度値が所定部位を主に占める色成分に遠いことを示すほど、又はその画素における輝度や明度が低い値を有するほど、補正の程度を弱め、この画素の新たな色成分として入力された画像の画素の色成分に近い色成分を算出し、各画素における強度値が所定部位を主に占める色成分に近いことを示しかつその画素における輝度や明度が高い値を有するほど、補正の程度を強め、この画素の新たな色成分として、ぼかし処理が実施された場合の色成分に近い色成分を算出するように構成される。

このように構成されることにより、補正が強められた場合には、補正後の画素として、入力された画像に対してぼかし処理が実施された場合の色成分に近い色成分が算出される。即ち、ぼかし処理によって輝度や明度の高さがある程度抑制された色成分を用いて画像補正が行われる。このため、違和感のない自然な画像補正を実現することが可能となる。

また、本発明の第四の態様におけるぼかし手段は、強度値が所定部位を主に占める色成分に近いことを示す値を有する画素についてのみぼかし処理を実施するように構成されても良い。

このように構成されることにより、例えば所定部位を主に占める色成分が肌の色である場合、毛（例えば髪の毛や眉毛や睫毛や髭など）や瞳や鼻孔や唇など、肌の色でない部分の色がぼかし処理に用いられない。このため、ぼかし処理によって得られる各画素の値は、肌の色そのものまたは肌の色に近い色成分のみによって取得される値となり、肌の色以外の色成分の影響を受けることがない。従って、補正後の肌の部分に、上記のような肌の色以外の部分の色の影響を受けることなく、自然で違和感のない画像補正を実現することが可能となる。

また、第三の態様又は第四の態様における補正手段は、検出された所定部位の位置に基づいて人の顔が含まれると推定される領域を決定し、この領域内に含まれる画素に対して各画素の輝度又は明度に基づいた画像補正を実施するように構成されても良い。このように構成されることにより、人の顔以外の部位に不必要に輝度又は明度を下げる画像補正を行うことを防止することが可能となる。従って、人の顔以外の部位であって高い輝度又は明度を有すべき部位（例えば、髪の毛や宝飾品など）について、不必要に上記のような画像補正を実施し、却って不自然な画像となってしまうことを防止することが可能となる。

また、第三の態様又は第四の態様における補正手段は、検出された所定部位の位置に基づいて人の顔の肌においてテカリが生じると推定される領域を決定し、この領域内に含まれる画素に対して各画素の輝度又は明度に基づいた画像補正を実施するように構成されても良い。このように構成されることにより、人の顔の肌においてテカリが生じると推定されない領域に対して不必要に輝度又は明度を下げる画像補正を行うことを防止することが可能となる。このため、例えば瞳の輝きや髪の毛の輝きや唇の輝きなどを画像補正によって失ってしまうことを防止することが可能となる。

また、第三の態様又は第四の態様における補正手段は、検出された所定部位の位置に基づいて両目及び／又は口の位置を推定し、両目及び／又は口以外の領域における画素に対して各画素の輝度又は明度に基づいた画像補正を実施するように構成されても良い。この
ように構成されることにより、人の両目及び／又は口の領域に対して不必要に輝度又は明度を下げる画像補正を行うことを防止することが可能となる。このため、例えば瞳の輝きや唇の輝きなどを画像補正によって失ってしまうことを防止することが可能となる。

また、第二の態様，第三の態様，又は第四の態様における補正手段は、各画素における補正の程度を数値として取得し、この値に対し平滑化処理を実施することにより得られる数値に基づいて補正処理を実施するように構成されても良い。

ところで、従来は、輝度の高い画素について単純にその輝度を下げる処理を行っていたため、その領域のみが周囲に比べて暗くなった印象を見る者に与え、補正後の画像が不自然になってしまうという問題があった。このような問題を解決する方法として、テカリ部位のみではなく、画像全体の輝度をテカリ部位に応じて下げる方法もあった。しかし、このような方法では、本来なら輝度を下げる必要のない高輝度部位や、そもそも高輝度ではない部位の輝度までもが下がってしまい、被写体の顔や背景全体が暗くなってしまうという問題があった。

このような問題に対し、上記のように構成された第二の態様，第三の態様，及び第四の態様では、補正の程度を示す値に対して平滑化処理が実施される。このため、ある領域のみが周囲に比べて極端に補正されることを防止することが可能となり、より自然な画像補正を実現することが可能となる。

第一〜第四の態様は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した第一〜第四の態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。また、本発明は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されても良い。

本発明によれば、輝度又は明度を下げる対象となる領域として、単に輝度又は明度の値が高い領域が特定されるのではなく、各画素の位置や色成分（具体的には、検出される所定部位を主に占める色成分に近いか否かなど）などに応じて、補正をするか否か、又は補正の程度などが判断される。そして、判断結果に応じて、輝度又は明度が下がるような画像補正が実施される。従って、輝度を下げる必要のない部位（例えば、髪の毛や瞳や唇など）については高輝度を維持することが可能となる。言い換えれば、輝度を下げる必要のある特定の部位に生じた高輝度部分のみを補正し、テカリを除去若しくは軽減することが可能となる。

［システム構成］
まず、画像補正装置１のシステム構成について説明する。画像補正装置１は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory），マスクＲＯＭ等を含む），ハードディスク等を指す。

図１は、画像補正装置１の機能ブロックの例を示す図である。画像補正装置１は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、画像入力部２，顔検出部３，テカリ強度取得部４，画像補正部５，及び画像出力部６等を含む装置として機能する。顔検出部３，
テカリ強度取得部４，及び画像補正部５は、プログラムがＣＰＵによって実行されることにより実現される。また、顔検出部３，テカリ強度取得部４，及び画像補正部５は専用のチップとして構成されても良い。次に、画像補正装置１が含む各機能部について説明する。

〔画像入力部〕
画像入力部２は、原画像のデータを画像補正装置１へ入力するためのインタフェースとして機能する。画像入力部２によって、画像補正装置１の外部から、原画像のデータが画像補正装置１へ入力される。画像入力部２は、画像補正装置１へ原画像のデータを入力するためのどのような既存技術を用いて構成されても良い。

例えば、ネットワーク（例えばローカル・エリア・ネットワークやインターネット）を介して原画像のデータが画像補正装置１へ入力されても良い。この場合、画像入力部２はネットワークインタフェースを用いて構成される。また、デジタルカメラやスキャナやパーソナルコンピュータや記録装置（例えばハードディスクドライブ）等から原画像のデータが画像補正装置１へ入力されても良い。この場合、画像入力部２は、デジタルカメラやパーソナルコンピュータや記録装置などと画像補正装置１とをデータ通信可能に接続する規格（例えばＵＳＢ（Universal Serial Bus）やＳＣＳＩ（Small Computer System Interface）等の有線接続やｂｌｕｅｔｏｏｔｈ等の無線接続の規格）に応じて構成される。
また、記録媒体（例えば各種フラッシュメモリやフロッピー（登録商標）ディスクやＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disc、Digital Video Disc））に記録された原画像のデータが画像補正装置１へ入力されても良い。この場合、画像入力部２は、記録媒体からデータを読み出す装置（例えばフラッシュメモリリーダやフロッピーディスクドライブやＣＤドライブやＤＶＤドライブ）を用いて構成される。

また、画像補正装置１がデジタルカメラ等の撮像装置又はデジタルカメラ等の撮像装置を備える各種装置（例えばＰＤＡ（Personal Digital Assistant）や携帯電話機）の内部に含まれ、撮像された画像が原画像のデータとして画像補正装置１へ入力されても良い。この場合、画像入力部２は、ＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等を用いて構成されても良いし、ＣＣＤやＣＭ
ＯＳセンサなどによって撮像された原画像のデータを顔検出部３に入力させるためのインタフェースとして構成されても良い。また、画像補正装置１が、プリンタやディスプレイ等の画像出力装置の内部に含まれ、出力データとしてこの画像出力装置に入力された画像が原画像のデータとして画像補正装置１へ入力されても良い。この場合、画像入力部２は、これらの画像出力装置に入力された原画像のデータを画像補正装置１において取り扱い可能なデータに変換する装置などを用いて構成される。

また、画像入力部２は上記された複数の場合に応じることが可能となるように構成されても良い。

〔顔検出部〕
顔検出部３は、原画像から人の顔を検出し、検出された顔の位置や大きさ等を示す顔情報を特定する。顔検出部３は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部３は、顔の構成要素（目，鼻，耳など）に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部３は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されても良い。また、顔検出部３は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部３は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。また、顔検出部３による
顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。

また、原画像から複数の人の顔が検出された場合、特定の基準に従って処理の対象となる顔が決定される。所定の基準とは、例えば顔の大きさ、顔の向き、画像中における顔の位置などである。

〔テカリ強度取得部〕
テカリ強度取得部４は、まず、原画像の各画素について高輝度強度を取得する。高輝度強度とは、所定の閾値（例えば数１におけるテカリ閾値ｔ）以上の輝度を有する画素の輝度の高さを示す値である。例えば数１に示された式に基づいて各画素における高輝度強度が算出される。

なお、テカリ閾値の値は、予め設計者やユーザによって与えられる値であっても良いし、原画像から得られる情報を元に設定されても良い。例えば、原画像全体や原画像における顔部分（顔検出部３によって取得される顔情報により示される顔の部分）の輝度の統計値（重心，平均，最頻値など）に基づいて設定されても良い。また、例えば、あるテカリ閾値によって決定される高輝度領域（“０”よりも大きい高輝度強度を有する画素により構成される領域）の面積をフィードバックすることにより、高輝度領域の面積が適正な値となるテカリ閾値が求められるように構成されても良い。ただしこの場合は、高輝度領域の適正な面積の値（値域）が予め設定されている必要がある。

次に、テカリ強度取得部４は、取得された高輝度強度に基づいて、各画素におけるテカリ強度を取得（算出）する。テカリ強度とは、テカリが生じていると推定される画素に対して与えられる値であり、例えば０〜１の値を有する。以下の説明においては、テカリ強度は１に近い値であるほどテカリが強く発生していることを示し、０に近い値であるほどテカリの発生が弱いことを示す。即ち、テカリ強度が高いほど充分な補正処理が必要であることを示し、テカリ強度が低いほど補正処理があまり必要ではないことを示す。このため、例えばテカリ強度が“０”である画素については補正処理（補正処理については後述する）を実行しないように画像補正装置１を構成することで、補正処理の精度を維持しつつ（即ち自然な補正処理を実現しつつ）処理時間を削減することが可能となる。

テカリ強度取得部４は、顔検出部３によって取得される顔情報及び高輝度強度に基づいてテカリ強度を取得する。以下、テカリ強度取得部４がテカリ強度を取得する際に実施し得るいくつかの処理例について説明する。

〈第一の取得処理〉
第一の取得処理においては、テカリ強度取得部４は、原画像における各画素の肌の色強
度を取得し、肌の色強度と高輝度強度とに基づいて各画素のテカリ強度を取得する。

まず、肌の色強度について説明する。図２は、肌の色強度を取得する処理の概要を示す図である。また、図３は、肌の色強度を取得する際に使用される肌の色成分のヒストグラムの例を示す図である。肌の色強度とは、各画素における肌の色の度合いを示す値である。例えば、肌の色強度が高いほどその画素の色は肌の色に近く、肌の色強度が低いほどその画素の色は肌の色からかけはなれた色となるように設計することができる。

次に、肌の色強度を取得する処理の例について説明する。肌の色強度を取得する処理において、テカリ強度取得部４は、まず、顔検出部３によって取得された顔情報に基づき、顔矩形７を特定する。顔矩形７は、顔検出部３によって検出された顔の領域を示す矩形である。次に、テカリ強度取得部４は、特定された顔矩形７に基づき、サンプリング領域８を特定する。サンプリング領域８は、顔検出部３によって顔が検出された人物（被写体）の肌の色をサンプリングするための領域である。サンプリング領域８は、例えば顔矩形７の中心座標と顔矩形７の幅及び高さに定数（例えば１より小さい値）が乗じられた値によって特定される。サンプリング領域８は他の方法によって特定されても良い。サンプリング領域８は、目や鼻の穴など、肌の色とは明らかに異なる色を有する領域を含まないように設定されるのが望ましい。

次に、テカリ強度取得部４は、サンプリング領域８内の画素値（色成分の値）をサンプリングする。テカリ強度取得部４は、サンプリングされた色成分の値を基に、図３に示されるようなヒストグラムを形成する。図３では、Ｌａｂ色空間に基づいて形成されたヒストグラムを例として示す。ヒストグラムが形成されると、テカリ強度取得部４は、横軸（Ｌ又はａ，ｂの値）における上下１０％の成分（図３斜線部）をカットする。ここで言う１０％という数値は、設計者やユーザによって適宜変更されても良い。この後、テカリ強度取得部４は、肌の色成分のヒストグラムにおいてカットされていない部分のＬａｂの値を用いて、サンプリング領域８内における標準偏差と重心とを算出する。そして、テカリ強度取得部４は、算出されたこれら六つの値を用いた数２の式により、原画像の各画素における肌の色強度を算出する。なお、図２に示される肌の色強度画像とは、肌の色強度が画素値として与えられることにより表現される画像である。

肌の色成分のヒストグラムの形成において、図３における横軸の両端から累積１０％分がカットされるため、ノイズ成分を除去し、肌の色の成分の分布をより正確に得ることが可能となる。ここで言うノイズ成分とは、例えばサンプリング領域８内の鼻の穴や目など、肌の色以外の色成分を主として有する画素についての情報である。このような処理により、サンプリング領域８内に鼻の穴や目など、肌の色以外の色成分が含まれてしまった場合にも、これらについての情報をノイズとして削除することが可能となる。

そして、テカリ強度取得部４は、各画素において、高輝度強度と肌の色強度とを乗算す
ることによりテカリ強度を算出する。

〈第二の取得処理〉
第二の取得処理においては、テカリ強度取得部４は、原画像における被写体の肌の領域（以下、「肌領域」と呼ぶ）を特定し、肌領域と高輝度強度とに基づいて各画素のテカリ強度を取得する。

まず、肌領域の特定法について説明する。図４は、肌領域の例を示す図である。図４において、白い部分は肌領域を示し、この領域に含まれる各画素は“１”を有する。また、図４において黒い部分は肌領域以外の領域を示し、この領域に含まれる各画素は“０”を有する。テカリ強度取得部４は、原画像において肌の色を有する画素を特定し、これらの画素によって構成される肌領域を特定する。このとき、肌の色は、予め設計者やユーザによって定義されていても良いし、第一の取得処理において説明したサンプリング領域８内の各画素値に基づいた統計値などによって定義されても良い。また、テカリ強度取得部４は、第一の取得処理において説明した肌の色強度を各画素について取得し、この値について閾値を設けることにより肌領域を特定するように構成されても良い。テカリ強度取得部４は、特定された肌領域の画素に対して“１”の値を付与し、肌領域以外の領域の画素に対して“０”の値を付与することにより、肌領域と他の領域とを区別する。

テカリ強度取得部４は、肌領域を特定する際に、黒孤立領域を除去するように構成されても良い。具体的には、テカリ強度取得部４は、肌領域によって囲まれた小さな他の領域を肌領域として置き換えるように構成されても良い。このような処理が実施されることにより、顔の要素（眼，鼻孔，口など）やにきびやしわなどの領域も肌領域として特定することが可能となる。

そして、テカリ強度取得部４は、肌領域に含まれる画素のみについて、高輝度強度をテカリ強度として取得する。この処理は、例えば各画素について高輝度強度と肌領域で有るか否かを示す値（上記した“１”又は“０”の値）を乗算することにより実現できる。テカリ強度取得部４は、高輝度強度を取得する前に肌領域を特定し、肌領域に含まれる画素のみについて高輝度強度を算出するように構成されても良い。

〈第三の取得処理〉
第三の取得処理においては、テカリ強度取得部４は、原画像において被写体の顔があると推定される領域（以下、「顔領域」と呼ぶ）を特定し、顔領域と高輝度強度とに基づいて各画素のテカリ強度を取得する。

まず、顔領域の特定法について説明する。図５は、顔領域の例を示す図である。図５において、白い部分は顔領域を示し、この領域に含まれる画素は“１”を有する。また、図５において黒い部分は顔領域以外の領域を示し、この領域に含まれる画素は“０”を有する。テカリ強度取得部４は、顔検出部３によって取得された顔情報に従い、顔領域を特定する。例えば、テカリ強度取得部４は、顔の位置及び大きさに従って矩形の位置や幅及び高さを決定することで、図５（ａ）に示されるような顔領域を特定しても良い。また、テカリ強度取得部４は、顔の位置及び大きさに従って円や楕円の中心や半径などを決定することで、図５（ｂ）に示されるような顔領域を特定しても良い。そして、テカリ強度取得部４は、特定された顔領域の画素に対して“１”の値を付与し、顔領域以外の領域の画素に対して“０”の値を付与することにより、顔領域と他の領域とを区別する。

また、テカリ強度取得部４は、上記のように特定された顔領域と他の領域との境界をぼかすことにより、その境界に位置する画素に対し顔領域を示す値と他の領域を示す値との間の値（上記例では０〜１の小数値）を与えるように構成されても良い（図５（ｃ）参照
）。

そして、テカリ強度取得部４は、顔領域に含まれる画素のみについて、高輝度強度をテカリ強度として取得する。この処理は、例えば各画素について高輝度強度と顔領域で有るか否かを示す値（上記した“１”又は“０”の値）を乗算することにより実現できる。また、テカリ強度取得部４は、図５（ｃ）に示されるように顔領域と他の領域との境界をぼかすように構成された場合、各画素について、顔領域を取得する際に得られた値（“０”以上“１”以下の値）と高輝度強度とを乗算することによりテカリ強度を算出するように構成されても良い。また、テカリ強度取得部４は、高輝度強度を取得する前に顔領域を特定し、顔領域に含まれる画素のみについて高輝度強度を算出するように構成されても良い。

〈第四の取得処理〉
第四の取得処理においては、テカリ強度取得部４は、原画像において被写体の顔のテカリが発生すると推定される領域（以下、「テカリ推定領域」と呼ぶ）を特定し、テカリ推定領域と高輝度強度とに基づいて各画素のテカリ強度を取得する。

まず、テカリ推定領域の特定法について説明する。図６は、テカリ推定領域の例を示す図である。図６において、白い部分はテカリ推定領域を示し、この領域に含まれる画素は“１”を有する。また、図６において黒い部分はテカリ推定領域以外の領域を示し、この領域に含まれる画素は“０”を有する。テカリ強度取得部４は、例えば、顔検出部３によって取得された顔情報及びテカリテンプレートを用いることによりテカリ推定領域を特定できる。

テカリテンプレートとは、人物の顔の中でテカリが発生しやすい領域を抽出するためのテンプレートである。例えば、テカリテンプレートは、テカリ推定領域（図６参照）と同様の形を有する。テカリテンプレートは、例えば被写体のいわゆるティーゾーン（額及び額から鼻先へかけての領域）や鼻の脇や両頬などを含む領域を抽出するように構成されても良い。テカリテンプレートは、目や唇などを含む領域を抽出しないように構成されるのが望ましい。テカリテンプレートは、予め設計者やユーザによってテカリ強度取得部４に対して与えられるデータである。テカリ強度取得部４は、顔情報に従い、原画像においてテカリテンプレートをあてはめる位置を決定する。具体的には、例えば顔情報から被写体の額中央の位置を推定し、この位置に対してテカリテンプレートの額中央に相当する部分を合致させるように位置が決定されても良い。また、テカリ強度取得部４は、顔情報に従い、テカリテンプレートを変形（拡大や縮小や回転など）させるように構成されても良い。例えば、顔情報から被写体の顔が大きいと判断できる場合にはこの顔の大きさに従ってテカリテンプレートを拡大するように構成されても良いし、顔情報から被写体の顔が傾いていると判断できる場合にはこの顔の傾きに従ってテカリテンプレートを回転するように構成されても良い。このようにしてテカリ推定領域が特定され、テカリ強度取得部４は、特定されたテカリ推定領域の画素に対して“１”の値を付与する。また、テカリ強度取得部４は、テカリ推定領域以外の画素に対して“０”の値を付与する。このようにして、テカリ強度取得部４は、テカリ推定領域と他の領域とを区別する。

そして、テカリ強度取得部４は、テカリ推定領域に含まれる画素のみについて、高輝度強度をテカリ強度として取得する。この処理は、例えば各画素について高輝度強度とテカリ推定領域で有るか否かを示す値（上記した“１”又は“０”の値）を乗算することにより実現できる。テカリ強度取得部４は、高輝度強度を取得する前にテカリ推定領域を特定し、テカリ推定領域に含まれる画素のみについて高輝度強度を算出するように構成されても良い。

〈第五の取得処理〉
第五の取得処理においては、テカリ強度取得部４は、原画像において被写体の両目や口があると推定される領域（以下、「目口領域と呼ぶ」）を特定し、目口領域と高輝度強度とに基づいて各画素のテカリ強度を取得する。

まず、目口領域の特定法について説明する。図７は、目口領域の例を示す図である。図７において、黒い部分は目口領域を示し、この領域に含まれる画素は“０”を有する。また、図７において白い部分は目口領域以外の領域を示し、この領域に含まれる画素は“１”を有する。テカリ強度取得部４は、顔検出部３によって取得された顔情報及び目口テンプレートを用いることにより目口領域を特定する。

目口テンプレートとは、人物の顔の中で両目及び口の領域をマスクするためのテンプレートであり、目口領域（図７参照）と同様の形を有する。目口テンプレートは、例えば被写体の両目及び口の三カ所のマスクが一体として構成されても良い。この場合、目口テンプレートは被写体の顔の位置や大きさなどに従って位置や変形の度合いが決定される。一方、目口テンプレートは、右目のテンプレート，左目のテンプレート，口のテンプレートがそれぞれ独立して構成されても良い。この場合、目口テンプレートは、被写体の顔の中からそれぞれ推定される左目の位置、右目の位置、口の位置に従ってそれぞれの位置が決定される。このとき、大きさや回転などの変形の種類や程度もテンプレートごとに決定されても良い。目口テンプレートは、例えば楕円や矩形を用いて構成されても良いし、目や口の形に似せた幾何学形状を用いて構成されても良い。図７（ａ）は楕円のテンプレートによって特定された目口領域の例を示し、図７（ｂ）は目や口の形に似せた幾何学形状のテンプレートによって特定された目口領域の例を示す。

このようにして目口領域が特定され、テカリ強度取得部４は、特定された目口領域の画素に対して“０”の値を付与する。また、テカリ強度取得部４は、目口領域以外の画素に対して“１”の値を付与する。このようにして、テカリ強度取得部４は、目口領域と他の領域とを区別する。

そして、テカリ強度取得部４は、目口領域以外の画素のみについて、高輝度強度をテカリ強度として取得する。この処理は、例えば各画素について高輝度強度と目口領域で有るか否かを示す値（上記した“０”又は“１”の値）を乗算することにより実現できる。テカリ強度取得部４は、高輝度強度を取得する前に目口領域を特定し、目口領域に含まれる画素のみについて高輝度強度を算出するように構成されても良い。以上で、第五の取得処理についての説明を終わる。

テカリ強度取得部４は、第一〜第五のいずれかの取得処理を実行することにより、各画素のテカリ強度を取得する。テカリ強度取得部４は、第一〜第五の取得処理の実行によってテカリ強度を取得した後、テカリ強度が取得されなかった画素に対しては“０”のテカリ強度を付与するように構成されても良い。

また、テカリ強度取得部４は、第一〜第五の取得処理のいずれかといずれかとを組み合わせることにより、テカリ強度を取得するように構成されても良い。例えば、第一の取得処理と他のいずれかの取得処理とを組み合わせることにより、他のいずれかの取得処理において特定される領域に含まれる画素（第五の目口領域の場合はこの領域に含まれない画素）のみについて、高輝度強度と肌の色強度とを乗算することによりテカリ強度を算出するように構成されても良い。また、第一の取得処理と第三の取得処理が組み合わされた場合には、顔領域と他の領域との境界をぼかすように設計されても良い。

なお、上記の説明において、所定の領域（肌領域，顔領域，テカリ発生領域，目口領域
以外の領域など）に含まれる画素には“１”が与えられ他の領域には“０”が与えられたが、この具体的な値に拘泥する必要はなく、同様の結果を得られるのであれば他の値をもって実装・設計されても良い。

〔画像補正部〕
画像補正部５は、各画素におけるテカリ強度に応じて、原画像に対し画像補正処理を実施する。このとき、画像補正部５は、以下に示す第一の補正処理か第二の補正処理に従って画像補正処理を実施する。以下、第一の補正処理及び第二の補正処理について説明する。

〈第一の補正処理〉
図８は、第一の補正処理の概要を示す図である。第一の補正処理においては、画像補正部５は、テカリ強度及び原画像を用いることにより、補正画像を作成する。具体的には、画像補正部５は、各画素について数３に従った処理を行い、補正画像における輝度（補正後の輝度Ｖ）を算出する。なお、図８に示されるテカリ強度画像とは、各画素のテカリ強度の値をグレースケールの画像として表現したものである。

数３の式を用いることにより、画像補正部５は、テカリ強度が高い（強い）ほど、テカリ補正係数ｐの影響を強く受けた値を補正後の輝度として算出する。一方、画像補正部５は、テカリ強度が弱い（低い）ほど、テカリ補正係数ｐの影響を受けることなく原画像の輝度に近い値を補正後の輝度として算出する。そして、テカリ補正係数ｐは“１”以下の任意の数値であるため、テカリ強度が高い画素の補正後の輝度は、原画像の輝度に比べて低い値として算出される。このようにしてテカリ部分の輝度が抑制された画像を得ることが可能となる。なお、テカリ補正係数ｐは、設計者やユーザによって“１”以下の値として任意に決定されて良い。

数３においては原画像における各画素の輝度を用いて補正後の輝度を算出しているが、数３と同様の式を用いることにより原画像における各画素の各色成分を用いて補正後の各色成分の値を算出するように構成されても良い。具体的には、例えばＲＧＢ色空間に基づいて処理を行う場合、数３におけるＶがＶｒ，Ｖｇ，Ｖｂのように補正後の各色成分の値に置き換えられ、数３におけるＶｓが、Ｖｓｒ，Ｖｓｇ，Ｖｓｂのように原画像の各色成分の値に置き換えられる。このとき、ｐの値（テカリ補正係数）も各色成分に応じて異なる値がｐｒ，ｐｇ，ｐｂのように設定されても良い。ＲＧＢ色空間の他にも、ＨＳＶ色空間やＬａｂ色空間に従って処理が実施されても良い。

〈第二の補正処理〉
図９は、第二の補正処理の概要を示す図である。第二の補正処理においては、画像補正
部５は、テカリ強度，ぼかし画像及び原画像を用いることにより、補正画像を作成する。具体的には、画像補正部５は、各画素について数４に従った処理を行い、補正画像における輝度（補正後の輝度Ｖ）を算出する。なお、図９に示されるテカリ強度画像とは、図８に示されるテカリ強度画像と同様の画像である。

数４では、補正後の輝度Ｖを算出する際に、原画像に対してぼかし処理を施すことにより得られる輝度Ｖｓｍｏｏｔｈが用いられる。Ｖｓｍｏｏｔｈの値は、原画像に対して移動平均フィルタや荷重平均フィルタ（ガウシアンフィルタを含む）をかけることにより取得できる。この処理は、画像補正部５が実施しても良いし、不図示の他の機能部によって実施されても良い。以下の説明においては、画像補正部５がぼかし処理を実施する場合について説明する。

数４に従った処理では、テカリ強度の高い画素については、原画像に対してぼかし処理が施された場合の輝度Ｖｓｍｏｏｔｈの影響を強く受けた輝度が算出される。このため、数３の場合と異なり、Ｖｓｍｏｏｔｈの値、即ちテカリ部分がぼかし処理によって平滑化された値を用いて補正される。従って、数３に比べてより自然な画像補正が実現される。

また、数４に従った処理ではＶｓｍｏｏｔｈに対しテカリ補正係数ｐが乗ぜられているが、テカリ補正係数ｐを用いないように（言い換えれば、ｐの値を“１”として処理を行うように）画像補正部５が構成されても良い。

また、画像補正部５は、各画素におけるＶｓｍｏｏｔｈを算出する際に、肌の色に近い色を有する画素についてのみぼかし処理を行うように構成されても良い。このような処理は、例えば各画素について肌の色強度を算出することにより実現できる。このように構成されることにより、ぼかし処理を実施する際に、例えば髪や目などの肌の色以外の色を有する画素と隣接する肌の色の画素に対し、肌の色以外の色がにじむことを防止することが可能となる。このため、Ｖｓｍｏｏｔｈの値を肌の色のみに基づいて算出することが可能となる。従って、最終的に得られる補正後の輝度Ｖの値を、髪の毛や目などの影響を受けることなく、肌の色のみに基づいて適正に取得することが可能となる。

数４においては原画像における各画素の輝度を用いて補正後の輝度を算出しているが、第一の補正処理の場合と同様に、数４と同様の式を用いることにより原画像における各画素の各色成分を用いて補正後の各色成分の値を算出するように構成されても良い。具体的には、例えばＲＧＢ色空間に基づいて処理を行う場合、数４におけるＶやＶｓは第一の補正処理における場合と同様にＶｒ，Ｖｇ，Ｖｂや、Ｖｓｒ，Ｖｓｇ，Ｖｓｂのように各色成分の値に置き換えられる。さらに、第二の補正処理の場合は、数４におけるＶｓｍｏｏ
ｔｈが、Ｖｓｍｏｏｔｈｒ，Ｖｓｍｏｏｔｈｇ，Ｖｓｍｏｏｔｈｂのように各色成分の値に置き換えられる。このとき、ｐの値（テカリ補正係数）も各色成分に応じて異なる値がｐｒ，ｐｇ，ｐｂのように設定されても良い。ＲＧＢ色空間の他にも、ＨＳＶ色空間やＬａｂ色空間に従って処理が実施されても良い。以上で、第二の補正処理についての説明を終える。

画像補正部５は、このような第一の補正処理又は第二の補正処理を行うことで、全画素について補正後の輝度Ｖを取得し、輝度Ｖにより構成される補正画像を作成する。

〔画像出力部〕
画像出力部６は、画像補正部５によって作成された補正画像のデータを画像補正装置１の外部へ出力するためのインタフェースとして機能する。画像出力部６によって、画像補正装置１から、補正画像のデータが画像補正装置１の外部へ出力される。画像出力部６は、画像補正装置１から補正画像のデータを出力するためのどのような既存技術を用いて構成されても良い。

例えば、ネットワークを介して補正画像のデータが画像補正装置１から出力されても良い。この場合、画像出力部６はネットワークインタフェースを用いて構成される。また、パーソナルコンピュータ等の他の情報処理装置や記録装置へ補正画像のデータが出力されても良い。この場合、画像出力部６は、パーソナルコンピュータ等の他の情報処理装置や記録装置と画像補正装置１とをデータ通信可能に接続する規格に応じて構成される。また、記録媒体に対し補正画像のデータが出力（書き込み）されても良い。この場合、画像出力部６は、これらの記録装置又は記録媒体へデータを書き込む装置（例えばフラッシュメモリライタやフロッピーディスクドライブやＣＤ−ＲドライブやＤＶＤ−Ｒドライブ）を用いて構成される。

また、画像補正装置１が、プリンタやディスプレイ等の画像出力装置の内部に含まれ、プリントアウトされる画像のデータやディスプレイに表示される画像のデータとして補正画像のデータが出力されるように構成されても良い。この場合、画像出力部６は、画像補正装置１において生成された補正画像のデータをこれらの画像出力装置において取り扱い可能なデータに変換する装置などを用いて構成される。

また、画像出力部６は上記された複数の場合に応じることが可能となるように構成されても良い。

［動作例］
図１０は、画像補正装置１の動作例を示すフローチャートである。図１０を用いて画像補正装置１の動作例について説明する。まず、顔検出部３が、入力された画像から被写体人物の顔を検出し（Ｓ０１）、顔情報を取得する。次に、テカリ強度取得部４は、テカリ強度取得処理を実行することにより、各画素のテカリ強度を取得する（Ｓ０２）。

図１１は、テカリ強度取得処理における画像補正装置１の動作例を示す図である。なお、図１１は、第一の取得処理と第三の取得処理とを組み合わせた方法によってテカリ強度を取得する処理を例として示している。以下、図１１を用いてテカリ強度取得処理の例について説明する。

まず、テカリ強度取得部４は、原画像の各画素について高輝度強度を算出する（Ｓ０４）。次に、テカリ強度取得部４は、顔検出部３によって取得された顔情報を基にサンプリング領域８を特定し（Ｓ０５）、サンプリング領域８内の画素の色を基に肌の色についての情報を取得する。具体的には、サンプリング領域８内の画素の色について標準偏差と重
心とを算出する（Ｓ０６）。そして、テカリ強度取得部４は、この標準偏差と重心とに基づいて各画素の肌の色強度を算出する（Ｓ０７）。次に、テカリ強度取得部４は、顔情報を基に顔領域を特定する（Ｓ０８）。そして、テカリ強度取得部４は、各画素の高輝度強度、肌の色強度、及び顔領域に基づいて、各画素のテカリ強度を算出する（Ｓ０９）。このようにしてテカリ強度取得処理が終了する。

図１０を用いた説明に戻る。テカリ強度取得処理が終了すると、画像補正部５は、各画素のテカリ強度に基づいて画像補正処理を実行する（Ｓ０３）。

図１２は、画像補正処理における画像補正装置１の動作例を示す図である。なお、図１２は、第二の補正処理によって補正画像を生成する処理を例として示している。以下、図１２を用いて画像補正処理の例について説明する。

まず、画像補正部５は、原画像に対しぼかし処理を実行することでぼかし画像を生成する（Ｓ１０）。次に、画像補正部５は、原画像、ぼかし画像、及び各画素のテカリ強度を用いることにより、各画素の補正後の輝度を算出する（Ｓ１１）。そして、この輝度に基づき、画像補正部５は、補正画像を生成する（Ｓ１２）。このようにして画像補正処理は終了する。そして、生成された補正画像は、画像出力部６によって画像補正装置１の外部に出力される。

［作用／効果］
画像補正装置１によれば、単に原画像中の高輝度の画素について補正が行われるのではなく、顔検出部３によって検出された被写体の顔情報に基づいてテカリ強度が算出され、補正が行われる。具体的には、例えば肌の色を有する高輝度の画素、被写体の顔の中で肌の色が強い（肌の色強度が高い）高輝度の画素、被写体の顔の中の高輝度の画素、被写体の顔の中でテカリがあると推定される箇所の高輝度の画素、被写体の目や口を除いた部分の高輝度の画素などに対し高いテカリ強度が与えられ、テカリ強度に応じた画像補正が実施される。このとき、実施される画像補正は、画素の輝度や明度を下げるような処理である。このため、被写体の肌の部分に生じたテカリ部分のみに画像補正を実施し、テカリを除去又は軽減することが可能となる。また、テカリ強度に応じた画像補正では、画素の輝度が均一に下げられるのではなく、肌の色の成分や輝度の高低などに応じて補正の強さが変化する。従って、違和感のない自然な補正が実現される。

［変形例］
テカリ強度取得部４又は画像補正部５は、各画素のテカリ強度に対し、移動平均フィルタや荷重平均フィルタ（ガウシアンフィルタを含む）をかけるように構成されても良い。このように構成されることにより、テカリ強度の急激な変化が抑制される。このため、画像補正部５において実施される画像補正処理がより自然に違和感なく実現される。例えば、隣接する二つの画素（例：テカリ強度が１に近い値の画素と、テカリ強度が０である画素）において、一方と他方とのテカリ強度に差があると、実施される画像補正の程度が著しく異なってしまう。この場合、見た目に境界が生じてしまい、結果として不自然な画像補正処理となってしまう。しかし、このような隣接する二つの画素においてテカリ強度の急激な変化が抑制されると、このような境界が生じることが防止され、違和感のない自然な画像補正が実現される。

また、本説明における画像補正装置１では、テカリ強度取得部４と画像補正部５とが別の機能部として構成され、画像全体の画素におけるテカリ強度が一度算出された後に改めて画像補正が実施されているが、これらの処理を一度に行うように画像補正装置１が構成されても良い。具体的には、各画素におけるテカリ強度が算出された際にその画素についての補正後の輝度値まで算出し、その後に他の画素についてテカリ強度及び補正後の輝度
値の算出が実施されるように構成されても良い。即ち、各画素について一連の処理としてテカリ強度の算出と補正後の輝度値の算出とが実施されるように構成されても良い。このように構成されることにより、処理に要するリソースを削減し、処理を高速化することが可能となる。

また、画像補正装置１は、顔検出部３に代えて他の被写体部位を検出する機能部を備えるように構成されても良い。例えば、被写体の目（瞳）、鼻孔、額、顔の輪郭、唇などの位置を顔の位置によらずに検出する機能部を用いて構成されても良い。これらの機能部は、既存のどのような技術が適用されることにより実現されても良い。このように構成された場合、サンプリング領域８、肌領域、顔領域、テカリ推定領域、目口領域などは、この機能部によって検出された部位の位置に基づいて特定される。例えば、下記の論文に記載された技術を適用することにより瞳の位置を検出することが可能となる。

湯浅真由美、福井和広，山口修、「パターンとエッジの統合エネルギー最小化に基づく高精度な瞳検出」、信学技報、2000年、Vol.100、No.134、pp.79-84
また、顔矩形７やサンプリング領域８は、矩形以外の幾何学形状により特定されても良い。

画像補正装置の機能ブロックの例を示す図である。 肌の色強度を取得する処理の概要を示す図である。 肌の色成分のヒストグラムの例を示す図である。 肌領域の例を示す図である。 顔領域の例を示す図である。 テカリ推定領域の例を示す図である。 目口領域の例を示す図である。 第一の補正処理の概要を示す図である。 第二の補正処理の概要を示す図である。 画像補正装置の動作例を示すフローチャートである。 テカリ強度取得処理における画像補正装置の動作例を示す図である。 画像補正処理における画像補正装置の動作例を示す図である。

符号の説明

１ 画像補正装置
２ 画像入力部
３ 顔検出部
４ テカリ強度取得部
５ 画像補正部
６ 画像出力部
７ 顔矩形
８ サンプリング領域

Claims (12)

1. 入力された画像から被写体の所定部位を検出する検出手段と、
   前記所定部位に含まれる各画素について、前記所定部位を主に占める色成分にその画素の色成分がどれだけ近いかを示す強度値を算出する強度値算出手段と、
   前記強度値及び入力された画像の各画素の輝度又は明度に基づいて前記所定部位に含まれる各画素のテカリの強さを表すテカリ強度を算出し、前記テカリ強度が高いほどその輝度又は明度が下がるような画像補正を実施する補正手段であって、
   各画素における強度値が前記所定部位を主に占める色成分に遠いことを示すほど、又はその画素における輝度や明度が低い値を有するほど、テカリ強度を低く算出して補正の程度を弱め、この画素の新たな色成分として前記入力された画像の画素の色成分に近い色成分を算出し、各画素における強度値が前記所定部位を主に占める色成分に近いことを示しかつその画素における輝度や明度が高い値を有するほど、テカリ強度を高く算出して補正の程度を強め、この画素の新たな色成分として輝度や明度が下げられた色成分を算出する補正手段と
   を含む画像補正装置。
2. 入力された画像から人の顔が含まれると推定される顔領域を検出する検出手段と、
   前記顔領域に含まれる各画素について、前記顔領域を主に占める色成分にその画素の色成分がどれだけ近いかを示す強度値を算出する強度値算出手段と、
   前記強度値及び入力された画像の各画素の輝度又は明度に基づいて前記顔領域に含まれる各画素のテカリの強さを表すテカリ強度を算出し、前記テカリ強度が高いほどその輝度又は明度が下がるような画像補正を実施する補正手段であって、
   各画素における強度値が前記顔領域を主に占める色成分に遠いことを示すほど、又はその画素における輝度や明度が低い値を有するほど、テカリ強度を低く算出して補正の程度を弱め、この画素の新たな色成分として前記入力された画像の画素の色成分に近い色成分を算出し、各画素における強度値が前記顔領域を主に占める色成分に近いことを示しかつその画素における輝度や明度が高い値を有するほど、テカリ強度を高く算出して補正の程度を強め、この画素の新たな色成分として輝度や明度が下げられた色成分を算出する補正手段と
   を含む画像補正装置。
3. 入力された画像に対しぼかし処理を実施するぼかし手段をさらに備え、
   前記補正手段は、各画素における強度値が前記顔領域を主に占める色成分に近いことを示しかつその画素における輝度や明度が高い値を有する場合、テカリ強度を高く算出して補正の程度を強め、この画素の新たな色成分として、前記ぼかし処理が実施された場合の色成分に近い色成分を算出する請求項２に記載の画像補正装置。
4. 前記ぼかし手段は、前記強度値が前記顔領域を主に占める色成分に近いことを示す値を有する画素のみを用いてぼかし処理を実施する請求項３に記載の画像補正装置。
5. 前記補正手段は、前記顔領域の位置にも基づいて、各画素に対し実施する補正の程度を決定する請求項２〜４のいずれか１項に記載の画像補正装置。
6. 前記補正手段は、検出された前記顔領域の位置に基づいて人の顔の肌においてテカリが生じると推定される領域を決定し、この領域内に含まれる画素に対して各画素の輝度又は明度に基づいた前記画像補正を実施する請求項２〜５のいずれか１項に記載の画像補正装置。
7. 前記補正手段は、検出された前記顔領域の位置に基づいて両目及び／又は口の位置を推定し、両目及び／又は口以外の領域における画素に対して各画素の輝度又は明度に基づいた前記画像補正を実施する請求項２〜６のいずれか１項に記載の画像補正装置。
8. 前記補正手段は、各画素における補正の程度を数値として取得し、この値に対し平滑化処理を実施することにより得られる数値に基づいて補正処理を実施する請求項２〜７のいずれか１項に記載の画像補正装置。
9. 入力された画像から人の顔が含まれると推定される顔領域を検出するステップと、
   前記顔領域に含まれる各画素について、前記顔領域を主に占める色成分にその画素の色成分がどれだけ近いかを示す強度値を算出するステップと、
   前記強度値及び入力された画像の各画素の輝度又は明度に基づいて前記顔領域に含まれる各画素のテカリの強さを表すテカリ強度を算出し、前記テカリ強度が高いほどその輝度又は明度が下がるような画像補正を実施する補正ステップであって、
   各画素における強度値が前記顔領域を主に占める色成分に遠いことを示すほど、又はその画素における輝度や明度が低い値を有するほど、テカリ強度を低く算出して補正の程度を弱め、この画素の新たな色成分として前記入力された画像の画素の色成分に近い色成分を算出し、各画素における強度値が前記顔領域を主に占める色成分に近いことを示しかつその画素における輝度や明度が高い値を有するほど、テカリ強度を高く算出して補正の程度を強め、この画素の新たな色成分として輝度や明度が下げられた色成分を算出する補正ステップと
   を情報処理装置に実行させるためのプログラム。
10. 前記補正ステップでは、前記顔領域の位置にも基づいて、各画素に対し実施する補正の程度を決定する請求項９に記載のプログラム。
11. 情報処理装置が、入力された画像から人の顔が含まれると推定される顔領域を検出するステップと、
    情報処理装置が、前記顔領域に含まれる各画素について、前記顔領域を主に占める色成分にその画素の色成分がどれだけ近いかを示す強度値を算出するステップと、
    情報処理装置が、前記強度値及び入力された画像の各画素の輝度又は明度に基づいて前記顔領域に含まれる各画素のテカリの強さを表すテカリ強度を算出し、前記テカリ強度が
    高いほどその輝度又は明度が下がるような画像補正を実施する補正ステップであって、
    各画素における強度値が前記顔領域を主に占める色成分に遠いことを示すほど、又はその画素における輝度や明度が低い値を有するほど、前記情報処理装置がテカリ強度を低く算出して補正の程度を弱め、この画素の新たな色成分として前記入力された画像の画素の色成分に近い色成分を算出し、各画素における強度値が前記顔領域を主に占める色成分に近いことを示しかつその画素における輝度や明度が高い値を有するほど、前記情報処理装置がテカリ強度を高く算出して補正の程度を強め、この画素の新たな色成分として輝度や明度が下げられた色成分を算出する補正ステップと
    を含む画像補正方法。
12. 前記補正ステップでは、情報処理装置が、前記顔領域の位置にも基づいて、各画素に対し実施する補正の程度を決定する請求項１１に記載の画像補正方法。

Images