JP6627530B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関する。

原画像の推定照明光成分を算出する照明光成分推定部と、推定照明光成分を補正した補正推定照明光成分を出力する推定照明光成分補正部と、原画像の輝度成分を補正された推定照明光成分で除算することで輝度成分を補正するレティネックス処理部と、補正された輝度成分のゲイン調整を行なうゲイン調整部とを備え、推定照明光成分補正部は、０から基準値までの値の推定照明光成分は、補正推定照明光成分の最大値に変換し、基準値より大きい値の推定照明光成分は、推定照明光成分の値よりも補正推定照明光成分の値が大きな値となるように変換し、かつ、推定照明光成分の値が大きくなるにつれて、補正推定照明光成分の増加率が減少するような特性を用いる画像処理装置は知られている（例えば、特許文献１参照）。

特開２０１２−１０８８９８号公報

ここで、０から基準値までの値の推定照明光成分を、補正推定照明光成分の最大値に変換して、レティネックス処理を行う構成を採用した場合、暗部については、原画像のままとなるので、ノイズの発生は抑制されたとしても、視認性は向上しない。また、基準値より大きい値の推定照明光成分を、推定照明光成分の値よりも補正推定照明光成分の値が大きな値となるように、かつ、推定照明光成分の値が大きくなるにつれて、補正推定照明光成分の増加率が減少するように変換して、レティネックス処理を行う構成を採用した場合、明部については、明るくなるにつれてレティネックスの効果を弱めるようにしているので、白飛びの発生は抑制されたとしても、視認性は思い通りに向上しない。

視認性を向上し、ノイズ又は白飛びの発生を抑制するには、原画像の反射率成分の強調度合いと、原画像の暗部又は明部の保持度合いとを用いて、原画像の反射率成分を強調することが考えられる。その際、強調度合いに関係なく保持度合いを決定する構成を採用することも考えられる。しかしながら、原画像の反射率成分の強調度合いによってノイズや白飛びの発生度合いも異なるため、強調度合いに関係なく保持度合いを決定する構成を採用した場合には、視認性の向上とノイズ又は白飛びの発生の抑制とを両立できない可能性が高い。

視認性を向上し、疑似輪郭の発生を抑制するには、原画像の反射率成分の強調度合いと、原画像の疑似輪郭を発生させる特定色の保持度合いとを用いて、原画像の反射率成分を強調することが考えられる。その際、強調度合いに関係なく保持度合いを決定する構成を採用することも考えられる。しかしながら、原画像の反射率成分の強調度合いによって疑似輪郭の発生度合いも異なるため、強調度合いに関係なく保持度合いを決定する構成を採用した場合には、視認性の向上と疑似輪郭の発生の抑制とを両立できない可能性が高い。

本発明の目的は、原画像の反射率成分の強調度合いと、原画像の暗部又は明部の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく保持度合いを決定するよう構成された場合に比較して、視認性の向上とノイズ又は白飛びの発生の抑制とを両立できる可能性を高くすることにある。

また、本発明の他の目的は、原画像の反射率成分の強調度合いと、原画像の疑似輪郭を発生させる特定色の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく特定色の保持度合いを決定するよう構成された場合に比較して、視認性の向上と疑似輪郭の発生の抑制とを両立できる可能性を高くすることにある。

請求項１に記載の発明は、原画像から、当該原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、前記原画像と、当該原画像の反射率成分の強調度合いとを用いて、当該原画像の暗部及び明部の少なくとも何れか一方の保持度合いを決定する決定手段と、前記反射率画像と、前記強調度合いと、前記保持度合いとを用いて、前記原画像の反射率成分が強調された強調画像を生成する強調画像生成手段とを備えたことを特徴とする画像処理装置である。
請求項２に記載の発明は、前記決定手段は、前記保持度合いとして、前記原画像の暗部及び明部の保持度合いである明暗部保持度合いを決定することを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記決定手段は、前記原画像の暗い画素ほど、前記明暗部保持度合いが高くなり、かつ、前記原画像の明るい画素ほど、当該明暗部保持度合いが高くなるように、当該明暗部保持度合いを決定することを特徴とする請求項２に記載の画像処理装置である。
請求項４に記載の発明は、前記決定手段は、前記強調度合いが高いほど、前記明暗部保持度合いが高くなるように、当該明暗部保持度合いを決定することを特徴とする請求項２に記載の画像処理装置である。
請求項５に記載の発明は、前記決定手段は、前記保持度合いとして、前記原画像の暗部の保持度合いである暗部保持度合いと、前記原画像の明部の保持度合いである明部保持度合いとを決定することを特徴とする請求項１に記載の画像処理装置である。
請求項６に記載の発明は、前記決定手段は、前記原画像の暗い画素ほど、前記暗部保持度合いが高くなるように、当該暗部保持度合いを決定し、前記原画像の明るい画素ほど、前記明部保持度合いが高くなるように、当該明部保持度合いを決定することを特徴とする請求項５に記載の画像処理装置である。
請求項７に記載の発明は、前記決定手段は、前記強調度合いが高いほど、前記暗部保持度合いが高くなるように、当該暗部保持度合いを決定し、前記強調度合いが高いほど、前記明部保持度合いが高くなるように、当該明部保持度合いを決定することを特徴とする請求項５に記載の画像処理装置である。
請求項８に記載の発明は、操作者が画面上で行った操作に予め対応付けられた前記強調度合いを設定する設定手段を更に備えたことを特徴とする請求項１に記載の画像処理装置である。
請求項９に記載の発明は、原画像から、当該原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、前記原画像の反射率成分の強調度合いを用いて、当該原画像の疑似輪郭を発生させる色として予め定められた特定色の部分の保持度合いである第１の保持度合いを決定する第１の決定手段と、前記反射率画像と、前記強調度合いと、前記第１の保持度合いとを用いて、前記原画像の反射率成分が強調された強調画像を生成する強調画像生成手段とを備えたことを特徴とする画像処理装置である。
請求項１０に記載の発明は、前記原画像から、前記特定色の部分を抽出する抽出手段を更に備え、前記強調画像生成手段は、前記原画像の前記特定色の部分が前記第１の保持度合いを用いて強調され、かつ、前記原画像の前記特定色の部分以外が前記第１の保持度合いを用いて強調されない前記強調画像を生成することを特徴とする請求項９に記載の画像処理装置である。
請求項１１に記載の発明は、前記第１の決定手段は、前記強調度合いが高いほど、前記第１の保持度合いが高くなるように、当該第１の保持度合いを決定することを特徴とする請求項９に記載の画像処理装置である。
請求項１２に記載の発明は、前記原画像と、前記強調度合いとを用いて、当該原画像の暗部及び明部の少なくとも何れか一方の保持度合いである第２の保持度合いを決定する第２の決定手段を更に備え、前記強調画像生成手段は、前記第２の保持度合いを更に用いて、前記強調画像を生成することを特徴とする請求項９に記載の画像処理装置である。
請求項１３に記載の発明は、コンピュータに、原画像から、当該原画像の反射率成分を画素値とする反射率画像を生成する機能と、前記原画像と、当該原画像の反射率成分の強調度合いとを用いて、当該原画像の暗部及び明部の少なくとも何れか一方の保持度合いを決定する機能と、前記反射率画像と、前記強調度合いと、前記保持度合いとを用いて、前記原画像の反射率成分が強調された強調画像を生成する機能とを実現させるためのプログラムである。
請求項１４に記載の発明は、コンピュータに、原画像から、当該原画像の反射率成分を画素値とする反射率画像を生成する機能と、前記原画像の反射率成分の強調度合いを用いて、当該原画像の疑似輪郭を発生させる色として予め定められた特定色の部分の保持度合いである第１の保持度合いを決定する機能と、前記反射率画像と、前記強調度合いと、前記第１の保持度合いとを用いて、前記原画像の反射率成分が強調された強調画像を生成する機能とを実現させるためのプログラムである。

請求項１の発明によれば、原画像の反射率成分の強調度合いと、原画像の暗部又は明部の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく暗部又は明部の保持度合いを決定するよう構成された場合に比較して、視認性の向上とノイズ又は白飛びの発生の抑制とを両立できる可能性が高くなる。
請求項２の発明によれば、原画像の反射率成分の強調度合いと、原画像の暗部及び明部の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく暗部及び明部の保持度合いを決定するよう構成された場合に比較して、視認性の向上とノイズ及び白飛びの発生の抑制とを両立できる可能性が高くなる。
請求項３の発明によれば、原画像の反射率成分の強調度合いと、原画像の暗部の保持度合いと、原画像の明部の保持度合いとを用いて、原画像の反射率成分を強調するよう構成された場合に比較して、ノイズ及び白飛びの発生の抑制が容易になる。
請求項４の発明によれば、原画像の反射率成分の強調度合いの高さに関係なく、原画像の暗部及び明部の保持度合いの高さを決定するよう構成された場合に比較して、強調度合いを高めたときに目立つノイズ及び白飛びの発生を抑制する可能性が高くなる。
請求項５の発明によれば、原画像の反射率成分の強調度合いと、原画像の暗部の保持度合いと、原画像の明部の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく暗部の保持度合いと明部の保持度合いとを決定するよう構成された場合に比較して、視認性の向上とノイズ及び白飛びの発生の抑制とを両立できる可能性が高くなる。
請求項６の発明によれば、原画像の反射率成分の強調度合いと、原画像の明部及び暗部の保持度合いとを用いて、原画像の反射率成分を強調するよう構成された場合に比較して、ノイズ及び白飛びの発生の抑制の精度が高くなる。
請求項７の発明によれば、原画像の反射率成分の強調度合いの高さに関係なく、原画像の暗部の保持度合いの高さと原画像の明部の保持度合いの高さとを決定するよう構成された場合に比較して、強調度合いを高めたときに目立つノイズ及び白飛びの発生を抑制する可能性が高くなる。
請求項８の発明によれば、操作者が設定した視認性を確保した上でノイズ及び白飛びの発生を抑制することができる。
請求項９の発明によれば、原画像の反射率成分の強調度合いと、原画像の疑似輪郭を発生させる特定色の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく特定色の保持度合いを決定するよう構成された場合に比較して、視認性の向上と疑似輪郭の発生の抑制とを両立できる可能性が高くなる。
請求項１０の発明によれば、原画像の反射率成分の強調度合いと、特定色との距離に応じた特定色の保持度合いとを用いて、原画像の全体にわたって反射率成分を強調するよう構成された場合に比較して、視認性の向上と疑似輪郭の発生の抑制とを両立する処理の負荷が軽減される。
請求項１１の発明によれば、原画像の反射率成分の強調度合いの高さに関係なく、原画像の疑似輪郭を発生させる特定色の保持度合いの高さを決定するよう構成された場合に比較して、強調度合いを高めたときに目立つ疑似輪郭の発生を抑制する可能性が高くなる。
請求項１２の発明によれば、原画像の暗部又は明部の保持度合いを更に用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく暗部又は明部の保持度合いを決定するよう構成された場合に比較して、ノイズ又は白飛びの発生の抑制を更に両立できる可能性が高くなる。
請求項１３の発明によれば、原画像の反射率成分の強調度合いと、原画像の暗部又は明部の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく暗部又は明部の保持度合いを決定するよう構成された場合に比較して、視認性の向上とノイズ又は白飛びの発生の抑制とを両立できる可能性が高くなる。
請求項１４の発明によれば、原画像の反射率成分の強調度合いと、原画像の疑似輪郭を発生させる特定色の保持度合いとを用いて、原画像の反射率成分を強調する際に、強調度合いに関係なく特定色の保持度合いを決定するよう構成された場合に比較して、視認性の向上と疑似輪郭の発生の抑制とを両立できる可能性が高くなる。

本発明の第１の実施の形態における画像処理装置の機能構成例を示したブロック図である。 原画像がＲＧＢ画像である場合の多層画像生成部による多層画像の生成の様子を示した図である。 （ａ）〜（ｃ）は、σの値によって多層画像の各層の画像の周波数が異なることを示した図である。 原画像が輝度色度画像である場合の多層画像生成部による多層画像の生成の様子を示した図である。 本発明の第１の実施の形態で決定される明暗部保持パラメータと原画像の画素値との関係の例を示したグラフである。 視認性パラメータが大きい場合の明暗部保持パラメータの原画像の画素値に対する変化の例を示したグラフである。 本発明の第２の実施の形態における画像処理装置の機能構成例を示したブロック図である。 本発明の第２の実施の形態で決定される暗部保持パラメータと原画像の画素値との関係の例を示したグラフである。 本発明の第２の実施の形態で決定される明部保持パラメータと原画像の画素値との関係の例を示したグラフである。 暗部保持パラメータと明部保持パラメータの積と原画像の画素値との関係の例を示したグラフである。 白飛びを抑制したい場合の明部保持パラメータと原画像の画素値との関係の例を示したグラフである。 白飛びを抑制したい場合の暗部保持パラメータと明部保持パラメータの積と原画像の画素値との関係の例を示したグラフである。 視認性パラメータが大きい場合の暗部保持パラメータの原画像の画素値に対する変化の例を示したグラフである。 視認性パラメータが大きい場合の明部保持パラメータの原画像の画素値に対する変化の例を示したグラフである。 本発明の第３の実施の形態における画像処理装置の機能構成例を示したブロック図である。 ユーザインタラクションに応じて各パラメータの強度を決定する方法の例を示した図である。 ユーザインタラクションに応じて各パラメータの強度を決定する方法の例を示した図である。 本発明の第１乃至第３の実施の形態における画像処理装置の動作例を示したフローチャートである。 本発明の第４の実施の形態における画像処理装置の機能構成例を示したブロック図である。 本発明の第４の実施の形態で決定される肌部保持パラメータと視認性パラメータとの関係の例を示したグラフである。 本発明の第５の実施の形態における画像処理装置の機能構成例を示したブロック図である。 本発明の第５の実施の形態で決定される肌領域及び肌領域以外についての最終的な再現パラメータと原画像の画素値との関係の例を示したグラフである。 本発明の第５の実施の形態で決定される肌領域についての最終的な再現パラメータと原画像の画素値との関係が視認性パラメータの変化に応じてどのように変化するかを例示したグラフである。 本発明の第４及び第５の実施の形態における画像処理装置の動作例を示したフローチャートである。 本発明の実施の形態における画像処理装置のハードウェア構成例を示したブロック図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

［実施の形態の背景］
画像を扱って文書を作成する作業は、ＰＣ（Personal Computer）を駆使してモニタを観ながら行うのが一般的である。このような作業においては、近年急速に普及しているタブレット等のＩＣＴ（Information and Communication Technology）デバイスを用いるユーザも増えている。

一般に、事務作業やＤＴＰ（DeskTop Publishing）作業の現場のようなオフィス環境では、環境光の変化に左右されることは少ない。一方で、快適に持ち運べるＩＣＴデバイスには、場所を問わず作業できるという利点はあるが、環境光の変化等、持ち運んだ先に大きく左右されるという欠点もある。

また、画像を扱う作業には、上記のような文書を作成する作業の他にも、ユーザがカメラ付きタブレット等で撮影した画像をそれぞれのデバイスに保存する作業がある。ユーザが互いに画像を見せ合ったり画像で状況を説明したりするシーンもよく見られるようになった。

このように、近年のモニタ環境の特徴としては、従来のモニタ環境とは違って、「手軽に使え」、「使用場所が多様」であることが挙げられる。そして、この近年のモニタ環境では、使用方法や使用環境が従来とは異なることから、色合わせよりも「視認性」の方が重視されている。

「視認性」とは、視対象がはっきり見えるか否かの特性である。画像の視認性を高める方法には、ガンマ補正、ヒストグラムイコライゼーション、ダイナミックレンジ圧縮等に代表される画像処理分野の基本手法がある。

ガンマ補正では、暗部や対象となる領域を盛り上げるカーブを生成し、画素値に適用することで、暗部を明るくする。ヒストグラムイコライゼーションでは、画像のヒストグラムの偏りをなくすカーブを生成し、画素値に適用することで、ヒストグラムが平滑化される再現を行う。ダイナミックレンジ圧縮では、画像の周辺輝度に応じて補正量を変えることで、コントラストを低下させることなく低輝度及び高輝度を表現する。

また、視覚特性を利用した視認性向上の方法には、レティネックス原理を利用したものもある。レティネックスは、人間が反射率によってシーンを知覚しているという考え方に基づき、反射率成分を強調することで視認性を高める基本原理である。

レティネックス処理では、反射率成分を推定するために、照明成分を推定する必要がある。現在のところ、平滑化を行った平滑化画像を照明成分として用いるのが一般的である。この平滑化画像を用いる手法としては、単一の平滑化画像を用いるＳＳＲ（Single-Scale Retinex）、及び、複数の平滑化画像を用いるＭＳＲ（Multi-Scale Retinex）やＩＭＳＲ（Integrated Multi-Scale Retinex）がある。ＳＳＲでは、単一の平滑化画像を用いるため、平滑化度合いが小さければ暗部領域にノイズが発生する場合があり、平滑化度合いが大きければ明暗差が大きい境界領域で不自然な帯状のディフェクト（ハロー効果）が発生する場合がある。これに対し、ＭＳＲやＩＭＳＲでは、平滑化画像を多層にするので、ノイズやハロー効果の発生は低減されると言われている。

しかしながら、反射率成分の強調度合い（再現パラメータ）を高くすると、ＭＳＲやＩＭＳＲでも、画像によってはノイズ又は白飛びが発生してしまう。

そこで、本実施の形態では、視認性パラメータと画像の明るさ情報とに応じて、ノイズ又は白飛びを抑制する暗部又は明部の保持パラメータを制御するようにした。つまり、同じ画素値でも視認性パラメータに応じて暗部又は明部の保持パラメータが変わることで、最終的な強調度合いも変わるようにする。

また、人の身体的な特徴上、顔の輪郭と首との境界や、手足を曲げた部分等には陰影ができ易い。このような陰影があると、レティネックス処理によって、疑似輪郭が発生することがある。疑似輪郭は、視認性パラメータが高いほど目立ち易く、不自然な印象を与えてしまう。例えば、視認性パラメータを高くして視認性を向上させるほど、肌部の疑似輪郭が目立つようになる。

そこで、本実施の形態では、再現する視認性のレベルに応じて疑似輪郭を抑制する肌部保持パラメータを制御する。つまり、同じ画素値でも視認性パラメータに応じて肌部保持パラメータを変えることで、最終的な強調度合いも変えるようにする。

［第１の実施の形態］
図１は、本発明の第１の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。図示するように、本実施の形態における画像処理装置１０は、照明推定部１１と、反射率推定部１２と、明暗部保持パラメータ決定部１３と、画像再現部１７とを備える。

照明推定部１１は、原画像の位置（ｘ，ｙ）に対する画素値をＩ（ｘ，ｙ）、照明成分をＩ_Ｌ（ｘ，ｙ）とすると、Ｉ（ｘ，ｙ）に基づいてＩ_Ｌ（ｘ，ｙ）を推定する（以下、この推定された照明成分の画像を「照明推定画像」という）。視覚認知の１つの特性として、網膜に入った光の１点（画像では１つの画素）の知覚量は、その１点の周辺輝度の平均に影響することが知られている。周辺輝度は推定された照明成分に相当し、照明成分の推定は、例えば、移動平均法又はガウス関数で表されるコンボリューションを行うことにより実施される。

ここで、ｘ，ｙはある画素の位置を表し、ｋは画像処理のフィルタサイズの画素分で積分した場合に結果が１になるように正規化する係数を表し、σは平滑化度合い（スケール）を表す。尚、上記の関数は一例であり、結果として画像が平滑化されるフィルタであれば如何なるものを用いてもよい。例えば、数式１を変形した関数によるフィルタで、エッジ保存を行う平滑化フィルタとして知られるバイラテラルフィルタがあるが、これを用いてもよいものとする。

レティネックス原理によれば、人の視覚特性は、注目領域の周辺から照明光を推定していることが知られている。従って、平滑化した画像は、推定された照明光を表すことになる。しかしながら、シーンによって適するスケールが異なるため、例えば、照明光の推定は、以下のようにスケール１からスケールＮまでのＮ層の画像の加重合計をとるのが望ましい。

ここで、Ｉ_Ｌ（ｘ，ｙ）は照明推定画像の画素値を表し、Ｇ_ｎ（ｘ，ｙ）はスケールｎに対する数式１を表し、Ｉ（ｘ，ｙ）は輝度画像の画素値を表し、Ｗ_ｎはスケールｎに対する重みを表し、「×」を「○」で囲んだ記号は畳み込みを表す。尚、Ｗ_ｎは、簡易的に１／Ｎとしてもよいし、層に応じて可変としてもよい。

尚、照明推定部１１内の多層画像生成部１１０による多層画像の生成の様子を図２に示す。図２には、原画像がＲＧＢの３プレーンから構成される場合において、多層画像として、スケール１からスケールＮまでのＮ層の画像が生成される例を示している。ここで、スケール１、スケール２、・・・、スケールＮの層は、数式１のσを変化させることにより得られる層であるため、平滑化度合いが異なることになる。図３（ａ）〜（ｃ）に示すように、σを変化させると画像の周波数が変化する。具体的には、（ａ）に示すようにσが小さいと高周波になり、（ｃ）に示すようにσが大きいと低周波になり、（ｂ）に示すようにσが中程度だと周波数も中程度になる。

以上のように、多層画像はＲＧＢの３プレーンのＮ層でもよいが、図４のようなものでもよい。図４は、ＲＧＢ画像を予めＹＣｂＣｒ画像のような輝度色度画像に変換しておく例を示したものであり、この例では、輝度を表すＹの１プレーンのみを多層画像に変換している。これは、輝度のみで照明成分の推定を行う場合があるためである。尚、ここでは、輝度色度で表される色空間としてＹＣｂＣｒ色空間を用いたが、Ｌ＊ａ＊ｂ＊色空間、ＨＳＶ色空間（但し、ＨＳは色度座標へ変換する）等を用いてもよい。Ｌ＊ａ＊ｂ＊色空間を用いた場合はＬ＊を、ＨＳＶ色空間を用いた場合はＶを、それぞれ輝度画像として用いればよい。また、ＳＳＲで用いられる１つのスケールの層の画像のみを照明推定画像としても構わない。

本実施の形態では、原画像の照明成分を画素値とする照明画像の一例として、照明推定画像を用いており、照明画像を生成する照明画像生成手段の一例として、照明推定部１１を設けている。

反射率推定部１２は、原画像の画素値の照明推定画像の画素値に対する比を求めることにより原画像の反射率を推定する。具体的には、以下のように反射率を表す画像（以下、「反射率推定画像」という）を求める。

ここで、Ｉ（ｘ，ｙ）は原画像の画素値を表し、Ｉ_Ｌ（ｘ，ｙ）は照明推定画像の画素値を表し、Ｉ_Ｒ（ｘ，ｙ）は反射率推定画像の画素値を表す。尚、ＲＧＢの３プレーンのそれぞれで照明推定画像を算出した場合は、数式３も、Ｉ_Ｒ（ｘ，ｙ）がＲＧＢの３プレーン分できるものとして解釈される。また、輝度成分（ＹＣｂＣｒのＹ、Ｌ＊ａ＊ｂ＊のＬ、ＨＳＶのＶ）のみを用いる場合は、１プレーンについて数式３を用いればよい。

本実施の形態では、原画像の反射率成分を画素値とする反射率画像の一例として、反射率推定画像を用いており、反射率画像を生成する反射率画像生成手段の一例として、反射率推定部１２を設けている。

明暗部保持パラメータ決定部１３は、視認性パラメータと原画像の輝度情報とに応じて、明暗部保持パラメータを決定する。詳細は後で説明する。

画像再現部１７は、反射率推定部１２が生成した反射率推定画像と、原画像とに基づいて、反射率成分を強調する処理を行う。例えば、以下のような再現式により、反射率成分を強調した再現画像を生成する。

ここで、Ｉ（ｘ，ｙ）は原画像の画素値を表し、Ｉ_Ｒ（ｘ，ｙ）は反射率推定画像の画素値を表し、Ｉ＾（ｘ，ｙ）は再現画像の画素値を表す。また、αは視認性を強調するための視認性パラメータであり、βは明暗部保持パラメータ決定部１３で決定された明暗部保持パラメータである。αはユーザの指示や画像の特徴に応じて変わるものとする。ユーザの指示としては、例えば、画面上での指の移動量やモードの選択がある。Ｉ＾（ｘ，ｙ）は、α＝１かつβ＝１の場合、反射率成分そのものとなり、α＝０又はβ＝０の場合、原画像の画素値となる。尚、本明細書では、ハット記号を、数式中では文字の真上に付すが、文中では文字の後ろに付すものとする。

また、最終的な再現パラメータは、αとβを乗じたパラメータとする。そして、再現パラメータには、視認性パラメータαを高めると暗い画素又は明るい画素ほど明暗部保持パラメータβの強度が高まるという特性を持たせる。こうすることで、暗部ノイズ又は明部の白飛びが抑制される。

尚、レティネックス再現式は幾つか提案されているが、反射率成分の重みを変えるようなものであれば、如何なる再現式を用いても構わない。例えば以下のような式を用いてもよい。

ここで、α、βは反射率のゲインを表すパラメータであり、γは再現式の切片を表すパラメータである。図１は、画像再現部１７が原画像を用いて再現画像を生成する場合について示したが、この数式５を用いた場合、画像再現部１７は原画像を用いずに再現画像を生成することになる。また、αは図１の視認性パラメータに、βは図１の明暗部保持パラメータに相当するが、γは図１には示されていないパラメータである。

本実施の形態では、原画像の反射率成分が強調された強調画像の一例として、再現画像を用いており、強調画像を生成する強調画像生成手段の一例として、画像再現部１７を設けている。

次に、明暗部保持パラメータ決定部１３について数式４を例として詳細に説明する。明暗部保持パラメータ決定部１３で決定される明暗部保持パラメータβは、暗部ノイズ及び明部の白飛びの抑制を担うパラメータである。基本的には、図５に示す通り、画素が暗い又は明るいほど明暗部保持パラメータβを小さくする。すると、原画像の重みが高くなるため、原画像の暗部と明部の状態が保たれる。従って、レティネックス処理により発生する暗部ノイズと明部の白飛びが抑制される。一方、中間の画素値では明暗部保持パラメータβを大きくする。すると、レティネックス再現画像の重みが高くなるため、視認性が高まると考えられる。

例えば、この特性を表す関数としては、次の数式の関数が考えられる。

ここで、Ｔ，Ｋは係数であり、Ｔ＞０であり、Ｋ＞０である。また、Ｋ１，Ｋ２は正規化のための係数である。０＜Ｉ（ｘ，ｙ）＜１のときにβ（Ｉ（ｘ，ｙ））が０から１の範囲に収まるように正規化する場合、Ｋ１，Ｋ２は上記のようになる。

尚、関数としては、上に凸の二次関数等、上記特性を表すものであれば如何なる関数を用いてもよい。

次いで、明暗部保持パラメータ決定部１３が、視認性パラメータαに応じて明暗部保持パラメータβを制御する方法について図６を参照して説明する。視認性パラメータαが大きい場合は、その分暗部ノイズや明部の白飛びが目立ち易くなる。そこで、明暗部保持パラメータ決定部１３は、図６の破線のように、立ち上がりを遅らせ、立ち下がりを早めた明暗部保持パラメータを決定する。この明暗部保持パラメータを用いることにより、明暗部の保持レベルが強まる。一方、視認性パラメータαが小さい場合は、暗部ノイズや明部の白飛びが目立ち難い。そこで、明暗部保持パラメータ決定部１３は、図６の実線のように、破線の明暗部保持パラメータよりも、立ち上がりを早め、立ち下がりを遅らせた明暗部保持パラメータを決定する。この明暗部保持パラメータを用いることにより、明暗部の保持レベルが弱まる。このように、視認性パラメータαの強度に応じて、明暗部保持パラメータβの強度を制御することで、より良好な視認性とノイズや白飛びの抑制とが両立される。

以上のような視認性パラメータαの強度に応じた明暗部保持パラメータβの強度の制御は、例えば、数式６のＴをαの関数とした次のような式で表される。

ここで、ｆ（α）＞０であり、Ｋ＞０である。また、図６の実線におけるｆ（α）よりも図６の破線におけるｆ（α）の方が小さいので、ｆ（α）は減少関数である。但し、この場合の減少関数は、「α_１＜α_２であればｆ（α_１）≧ｆ（α_２）」という条件が成立する関数である。つまり、全体として減少する関数であれば、同じ値が続く部分を途中に含んでいてもよい。

そこで、ｆ（α）は、例えば、次のような式で表されるものとするとよい。この式は、視認性パラメータαを場合分けして、視認性パラメータαがある値より小さい場合はｆ（α）をｓ_１とし、視認性パラメータαがある値より大きい場合はｆ（α）をｓ_２とするものである。

或いは、ｆ（α）は、連続関数としてもよい。この場合は、例えば、次の式のようにｓ_３を傾きとし、ｓ_４を切片とした一次関数とするとよい。

本実施の形態では、原画像の反射率成分の強調度合いの一例として、視認性パラメータを用いている。また、原画像の暗部及び明部の保持度合いである明暗部保持度合いの一例として、明暗部保持パラメータを用いており、原画像と強調度合いとを用いて明暗部保持度合いを決定する決定手段の一例として、明暗部保持パラメータ決定部１３を設けている。但し、明暗部保持度合いが高いと、明暗部において反射率推定画像よりも原画像の重みが高くなるので、明暗部保持パラメータの値は小さくなる。

［第２の実施の形態］
図７は、本発明の第２の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。図示するように、本実施の形態における画像処理装置１０は、照明推定部１１と、反射率推定部１２と、暗部保持パラメータ決定部１４と、明部保持パラメータ決定部１５と、画像再現部１７とを備える。ここで、照明推定部１１及び反射率推定部１２については、第１の実施の形態と同じなので説明を省略し、以下では、暗部保持パラメータ決定部１４、明部保持パラメータ決定部１５及び画像再現部１７についてのみ説明する。尚、この第２の実施の形態の基本的な考え方は、暗部保持パラメータと明部保持パラメータとを異なる関数で決定することにより、より良好な再現を行う、というものである。

画像再現部１７は、反射率推定部１２が生成した反射率推定画像と、原画像とに基づいて、反射率成分を強調する処理を行う。例えば、以下のような再現式により、反射率成分を強調した再現画像を生成する。

ここで、αは視認性を強調するための視認性パラメータ、βは暗部保持パラメータ決定部１４で決定された暗部保持パラメータ、γは明部保持パラメータ決定部１５で決定された明部保持パラメータである。Ｉ＾（ｘ，ｙ）は、α＝１かつβ＝１かつγ＝１の場合、反射率成分そのものとなり、α＝０又はβ＝０又はγ＝０の場合、原画像の画素値となる。

また、最終的な再現パラメータは、αとβとγを乗じたパラメータとする。そして、再現パラメータには、視認性パラメータαを高めると暗い画素ほど暗部保持パラメータβの強度が高まるという特性と、視認性パラメータαを高めると明るい画素ほど明部保持パラメータγの強度が高まるという特性とを持たせる。こうすることで、最終的な再現パラメータは、暗い画素でαβに近付き、明るい画素でαγに近付く。

本実施の形態では、原画像の反射率成分が強調された強調画像の一例として、再現画像を用いており、強調画像を生成する強調画像生成手段の一例として、画像再現部１７を設けている。

次に、暗部保持パラメータ決定部１４及び明部保持パラメータ決定部１５について詳細に説明する。暗部保持パラメータ決定部１４は、βの特性を変えることで、より良好な視認性を保ちつつ、暗部ノイズを抑制する。また、明部保持パラメータ決定部１５は、γの特性を変えることで、より良好な視認性を保ちつつ、明部の白飛びを抑制する。

例えば、暗部保持パラメータβを決定する関数としては、数式１１の関数が考えられる。

ここで、Ｔ１は係数であり、Ｔ１＞０である。

図８に示すように、画素が暗いほど暗部保持パラメータβは小さくなる。従って、反射率成分の寄与が小さくなり、原画像の寄与が大きくなる。

また、明部保持パラメータγを決定する関数としては、数式１２の関数が考えられる。ここで、Ｔ２，Ｔ３は係数であり、Ｔ２＞０であり、Ｔ３＞０である。尚、数式１２の関数は、図８の関数を暗部保持パラメータの軸を中心に反転させた関数の原画像画素値が０から１に対応する部分を基本とする。但し、このままだとマイナスの値しかとらないので、レンジをＴ３とし、切片を＋１とする正規化を行っている。

図９に示すように、画素が明るいほど明部保持パラメータγは小さくなる。従って、反射率成分の寄与が小さくなり、原画像の寄与が大きくなる。

これにより、原画像の画素値と、暗部保持パラメータβ×明部保持パラメータγとの関係は、図１０に太線で示したようなものとなる。つまり、第１の実施の形態における原画像の画素値と明暗部保持パラメータβとの関係に類似するものとなる。

ここで、この第２の実施の形態が第１の実施の形態と異なる点は、暗部保持パラメータβと明部保持パラメータγとがそれぞれ独立に制御される点である。例えば、図１０の形状では、暗部保持パラメータβと明部保持パラメータγとが同等の強度に決定された。これに対し、白飛びを更に抑制したい場合には、数式１２のＴ２を小さくすればよい。こうすることで、図１１に示すように、明部保持パラメータの曲線の立ち下がりが早まる。そして、この明部保持パラメータの特性と、図８の暗部保持パラメータの特性とを用いると、原画像の画素値と、暗部保持パラメータβ×明部保持パラメータγとの関係は、図１２に太線で示したようなものとなる。つまり、図１０に太線で示した形状と比べて、明るい画素でのβ×γの立ち下がりが早まっている。そのため、より白飛びが抑制される。また、このように暗部保持パラメータと明部保持パラメータとを独立に制御することで、ノイズの抑制が強まること等もある。

次いで、暗部保持パラメータ決定部１４が、視認性パラメータαに応じて暗部保持パラメータβを制御する方法について説明する。

視認性パラメータαが大きい場合は、その分暗部ノイズが目立ち易くなる。そこで、暗部保持パラメータ決定部１４は、図１３の破線のように、立ち上がりを遅らせた暗部保持パラメータを決定する。この暗部保持パラメータを用いることにより、暗部の保持レベルが強まる。一方、視認性パラメータαが小さい場合は、暗部ノイズが目立ち難い。そこで、暗部保持パラメータ決定部１４は、図１３の実線のように、破線の暗部保持パラメータよりも、立ち上がりを早めた暗部保持パラメータを決定する。この暗部保持パラメータを用いることにより、暗部の保持レベルが弱まる。このように、視認性パラメータαの強度に応じて、暗部保持パラメータβの強度を制御することで、より良好な視認性とノイズの抑制とが両立される。

以上のような視認性パラメータαの強度に応じた暗部保持パラメータβの強度の制御は、例えば、数式１１のＴ１をαの関数とした次のような式で表される。

ここで、ｆ（α）＞０である。また、図１３の実線におけるｆ（α）よりも図１３の破線におけるｆ（α）の方が小さいので、ｆ（α）は減少関数である。但し、この場合の減少関数は、「α_１＜α_２であればｆ（α_１）≧ｆ（α_２）」という条件が成立する関数である。つまり、全体として減少する関数であれば、同じ値が続く部分を途中に含んでいてもよい。

そこで、ｆ（α）は、例えば、次のような式で表されるものとするとよい。この式は、視認性パラメータαを場合分けして、視認性パラメータαがある値より小さい場合はｆ（α）をｓ_１とし、視認性パラメータαがある値より大きい場合はｆ（α）をｓ_２とするものである。

或いは、ｆ（α）は、連続関数としてもよい。この場合は、例えば、次の式のようにｓ_３を傾きとし、ｓ_４を切片とした一次関数とするとよい。

次いで、明部保持パラメータ決定部１５が、視認性パラメータαに応じて明部保持パラメータγを制御する方法について説明する。

視認性パラメータαが大きい場合は、その分明部の白飛びが目立ち易くなる。そこで、明部保持パラメータ決定部１５は、図１４の破線のように、立ち下がりを早めた明部保持パラメータを決定する。この明部保持パラメータを用いることにより、明部の保持レベルが強まる。一方、視認性パラメータαが小さい場合は、明部の白飛びが目立ち難い。そこで、図１４の実線のように、破線の明部保持パラメータよりも、立ち下がりを遅らせた明部保持パラメータを決定する。この明部保持パラメータを用いることにより、明部の保持レベルが弱まる。このように、視認性パラメータαの強度に応じて、明部保持パラメータγの強度を制御することで、より良好な視認性と白飛びの抑制とが両立される。

以上のような視認性パラメータαの強度に応じた明部保持パラメータγの強度の制御は、例えば、数式１２のＴ２をαの関数とした次のような式で表される。

ここで、ｆ（α）＞０である。また、図１４の実線におけるｆ（α）よりも図１４の破線におけるｆ（α）の方が小さいので、ｆ（α）は減少関数である。但し、この場合の減少関数は、「α_１＜α_２であればｆ（α_１）≧ｆ（α_２）」という条件が成立する関数である。つまり、全体として減少する関数であれば、同じ値が続く部分を途中に含んでいてもよい。

そこで、ｆ（α）は、例えば、次のような式で表されるものとするとよい。この式は、視認性パラメータαを場合分けして、視認性パラメータαがある値より小さい場合はｆ（α）をｓ_１とし、視認性パラメータαがある値より大きい場合はｆ（α）をｓ_２とするものである。

或いは、ｆ（α）は、連続関数としてもよい。この場合は、例えば、次の式のようにｓ_３を傾きとし、ｓ_４を切片とした一次関数とするとよい。

本実施の形態では、原画像の反射率成分の強調度合いの一例として、視認性パラメータを用いている。また、原画像の暗部の保持度合いである暗部保持度合いの一例として、暗部保持パラメータを用いており、原画像と強調度合いとを用いて暗部保持度合いを決定する決定手段の一例として、暗部保持パラメータ決定部１４を設けている。但し、暗部保持度合いが高いと、暗部において反射率推定画像よりも原画像の重みが高くなるので、暗部保持パラメータの値は小さくなる。更に、原画像の明部の保持度合いである明部保持度合いの一例として、明部保持パラメータを用いており、原画像と強調度合いとを用いて明部保持度合いを決定する決定手段の一例として、明部保持パラメータ決定部１５を設けている。但し、明部保持度合いが高いと、明部において反射率推定画像よりも原画像の重みが高くなるので、明部保持パラメータの値は小さくなる。

また、本実施の形態では、暗部保持パラメータ決定部１４及び明部保持パラメータ決定部１５を設け、画像再現部１７が、視認性パラメータに加え、暗部保持パラメータ及び明部保持パラメータを用いて、反射率成分を強調した再現画像を生成するようにしたが、この限りではない。暗部保持パラメータ決定部１４及び明部保持パラメータ決定部１５の何れか一方を設け、画像再現部１７が、視認性パラメータに加え、暗部保持パラメータ及び明部保持パラメータの何れか一方を用いて、反射率成分を強調した再現画像を生成するようにしてもよい。この意味で、暗部保持パラメータ決定部１４及び明部保持パラメータ決定部１５は、原画像の暗部及び明部の少なくとも何れか一方の保持度合いを決定する決定手段の一例である。

［第３の実施の形態］
図１５は、本発明の第３の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。図示するように、本実施の形態における画像処理装置１０は、照明推定部１１と、反射率推定部１２と、ユーザパラメータ決定部１６と、画像再現部１７とを備える。ここで、照明推定部１１、反射率推定部１２及び画像再現部１７については、第２の実施の形態と同じなので説明を省略し、ユーザパラメータ決定部１６についてのみ説明する。

ユーザパラメータ決定部１６は、視認性パラメータ、暗部保持パラメータ及び明部保持パラメータをユーザインタラクションにより決定する。各パラメータをユーザインタラクションにより決定する方法としては、如何なる方法を採用してもよいが、ここでは、２つの方法を説明する。その際、ユーザ（操作者）は指で指示するものとするが、指は指示手段の一例であり、タッチペン等、他の如何なる指示手段で指示するものとしてもよい。

第１の方法は、ユーザが指示した方向の組み合わせに応じて、各パラメータを決定する方法である。

例えば、図１６では、表示された原画像上でユーザが指を左右方向に移動させることにより、暗部保持パラメータの強度を変化させるようにしている。具体的には、ユーザが指を左に移動させると、暗部保持パラメータの強度を小さくし、ユーザが指を右に移動させると、暗部保持パラメータの強度を大きくしている。

また、図１６では、表示された原画像上でユーザが指を上下方向に移動させることにより、明部保持パラメータの強度を変化させるようにしている。具体的には、ユーザが指を上に移動させると、明部保持パラメータの強度を小さくし、ユーザが指を下に移動させると、明部保持パラメータの強度を大きくしている。

更に、図１６では、表示された原画像上でユーザがタップ操作又はダブルタップ操作を行うことにより、視認性パラメータの強度を変化させるようにしている。具体的には、ユーザが指でタップ操作を行うと、視認性パラメータの強度を大きくし、ユーザが指でダブルタップ操作を行うと、視認性パラメータの強度を小さくしている。

或いは、図１６には示していないが、表示された原画像上でユーザが指を斜め方向に移動させることにより、暗部保持パラメータと明部保持パラメータとの両方を制御するようにしてもよい。

尚、ここでは、視認性パラメータ、暗部保持パラメータ及び明部保持パラメータを独立にユーザインタラクションにより決定したが、この限りではない。即ち、視認性パラメータのみをタップ操作又はダブルタップ操作により決定してもよい。そして、暗部保持パラメータ及び明部保持パラメータについては、指を左右方向又は上下方向に移動させなくても、決定された視認性パラメータと数式１３及び数式１６とにより決定するようにしてよい。

第２の方法は、プリンタドライバ等のＵＩに表示された選択肢の選択に応じて、各パラメータを決定する方法である。

例えば、図１７では、視認性パラメータに対応する項目「視認性」、暗部保持パラメータに対応する項目「ノイズ抑制」及び明部保持パラメータに対応する項目「白飛び抑制」のそれぞれについて、３段階の強度「高」、「中」、「小」を選択肢として表示している。これに対して、ユーザは、各項目に対し、３段階の強度の何れかを選択する。図１７のように強度を選択すると、視認性パラメータの強度を大きくし、暗部保持パラメータの強度を中程度にし、明部保持パラメータを小さくする。このようにユーザが各パラメータについて選択肢の１つを選択することにより、ユーザの好みを反映しつつ、視認性と暗部ノイズ及び白飛びの抑制とが両立される。

尚、ここでは、視認性パラメータ、暗部保持パラメータ及び明部保持パラメータを独立にユーザインタラクションにより決定したが、この限りではない。即ち、視認性パラメータについてのみ３段階の強度を選択肢として表示し、視認性パラメータのみを選択肢の選択により決定してもよい。そして、暗部保持パラメータ及び明部保持パラメータについては、３段階の強度を選択肢として表示しなくても、決定された視認性パラメータと数式１３及び数式１６とにより決定するようにしてよい。

本実施の形態では、強調度合いを設定する設定手段の一例として、ユーザパラメータ決定部１６を設けている。

加えて、図１５では、ユーザパラメータ決定部１６が、第２の実施の形態の変形例として、視認性パラメータ、暗部保持パラメータ及び明部保持パラメータをユーザインタラクションにより決定するものとしたが、この限りではない。第１の実施の形態の変形例として、視認性パラメータ及び明暗部保持パラメータをユーザインタラクションにより決定するものとしてもよい。そして、その場合も、視認性パラメータをユーザインタラクションにより決定し、明暗部保持パラメータについては、決定された視認性パラメータと数式７とにより決定するようにしてよい。

［第１乃至第３の実施の形態の動作］
図１８は、本発明の第１乃至第３の実施の形態における画像処理装置１０の動作例を表すフローチャートである。尚、この動作例では、視認性パラメータに応じて明暗部保持パラメータ、暗部保持パラメータ、明部保持パラメータ等を制御する場合について説明する。

原画像が入力されると、まず、照明推定部１１が、図２及び図４に示したように、原画像から、複数の平滑化された画像を含む多層画像を生成し、これらの多層画像を用いて、照明推定画像を生成する（ステップ１０１）。

次に、反射率推定部１２が、原画像と、ステップ１０１で生成された照明推定画像とに基づいて、反射率推定画像を生成する（ステップ１０２）。

次いで、画像処理装置１０は、暗部及び明部の少なくとも何れか一方の保持パラメータを決定する（ステップ１０３）。

ここで、「暗部及び明部の少なくとも何れか一方の保持パラメータ」とは、第１の実施の形態では、明暗部保持パラメータである。即ち、第１の実施の形態では、明暗部保持パラメータ決定部１３が、原画像と視認性パラメータとに基づいて、明暗部保持パラメータを決定する。

また、「暗部及び明部の少なくとも何れか一方の保持パラメータ」とは、第２の実施の形態では、暗部保持パラメータ及び明部保持パラメータである。即ち、第２の実施の形態では、暗部保持パラメータ決定部１４が、原画像と視認性パラメータとに基づいて、暗部保持パラメータを決定すると共に、明部保持パラメータ決定部１５が、原画像と視認性パラメータとに基づいて、明部保持パラメータを決定する。

更に、「暗部及び明部の少なくとも何れか一方の保持パラメータ」とは、第３の実施の形態では、明暗部保持パラメータ、暗部保持パラメータ、明部保持パラメータの何れでもよい。但し、ユーザパラメータ決定部１６が、ユーザインタラクションにより、視認性パラメータを決定し、この視認性パラメータと原画像とを用いた計算により、明暗部保持パラメータ、暗部保持パラメータ、明部保持パラメータの何れかを決定する。

最後に、画像再現部１７が、原画像と、ステップ１０２で生成された反射率推定画像と、視認性パラメータと、ステップ１０３で決定された暗部及び明部の少なくとも何れか一方の保持パラメータとに基づいて、再現画像を生成する（ステップ１０４）。尚、ここでは、数式４を用いて再現画像を生成する場合を想定して原画像を用いることとしたが、数式５を用いて再現画像を生成する場合は、ステップ１０４で原画像を用いなくてもよい。

［第４の実施の形態］
本実施の形態は、原画像から抽出した人の肌を表す領域（以下、「肌領域」という）において、全画素に同じ肌部保持パラメータを適用する実施の形態である。以下では、疑似輪郭を発生させる領域として肌領域を例にとって説明するが、これに限るものではない。

図１９は、本発明の第４の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。図示するように、本実施の形態における画像処理装置１０は、照明推定部１１と、反射率推定部１２と、画像再現部１７と、肌領域抽出部１８と、肌部保持パラメータ決定部１９とを備える。ここで、照明推定部１１及び反射率推定部１２については、第１の実施の形態と同じなので説明を省略し、以下では、肌領域抽出部１８、肌部保持パラメータ決定部１９及び画像再現部１７についてのみ説明する。

肌領域抽出部１８は、原画像中から人の肌領域を抽出する。肌領域の抽出は、原画像をＲＧＢからＨＳＶへ変換して代表的な肌の値に近い画素を抽出する方法や、オブジェクト認識等で人間を認識してその情報と色情報とを用いて抽出する方法等、如何なる方法を用いて行ってもよい。

本実施の形態では、原画像の疑似輪郭を発生させる色として予め定められた特定色の部分の一例として、肌領域を用いており、特定色の部分を抽出する抽出手段の一例として、肌領域抽出部１８を設けている。

より詳細には、本実施の形態では、原画像においてレティネックス処理を行ったときに疑似輪郭が発生し易い領域を特定し、その特定した領域における代表的な色を「特定色」と呼んでいる。尚、疑似輪郭とは、一般に、画像処理により原画像の濃淡が強調されて段差が生じ、輪郭のような疑似的な線が生じて見える現象のことをいう。

撮影画像においては、撮影時の光源と被写体との関係で被写体の一部に陰影が生じることがよくある。このような場合、撮影画像では、本来近い色で構成されている被写体であるにも関わらず、その中で大きな濃淡差ができてしまうことになる。このように本来近い色であるにも関わらず、撮影画像にした結果、陰影により大きな濃淡ができてしまう領域を、本実施の形態では疑似輪郭が発生し易い領域としている。

ここで、特定色、つまり疑似輪郭が発生し易い領域における代表的な色を決定する方法には様々な方法があるが、基本的には原画像における疑似輪郭が発生し易い領域に属する画素群（の各々の色値）の中から「代表的な色」の値を決定する。そのため、例えば疑似輪郭が発生し易い領域が人の顔の部分と特定された場合であって、その領域内に「光の当たっている領域」と「影になっている領域」の両方が含まれる場合には、そのどちらの領域に属する画素の色も「特定色」として抽出され得る。尚、上記画素群の中からどの色値を「代表的な色」として抽出するかについても複数の方法があるが、一例として、例えば「疑似輪郭が発生し易い領域」を「肌領域」と予め定めておいた上で、肌を示す色として尤もらしい色値を予め記憶しておき、その記憶しておいた肌色を示す色値に最も近い色値を持つ画素（の色）を「代表的な色」として抽出する方法も考えられる。

例えば、人の身体的な特徴上、顔の輪郭と首との境界や、手足を曲げた部分等には陰影ができ易い。そこで、それらの領域を代表する色として、本実施の形態では「肌領域」を「特定色」として用いている。肌領域以外であっても、太陽光等の特定環境下で撮影された立体物等には陰影ができ易いため、この立体物が例えば水色であれば、特定色として水色を抽出することになる。

肌部保持パラメータ決定部１９は、視認性パラメータに応じて肌部保持パラメータを決定する。具体的には、視認性パラメータをα、肌部保持パラメータをδ（α）とすると、δ（α）は例えば数式１９で表されるものとすればよい。

図２０に、このときの視認性パラメータαと肌部保持パラメータδ（ａ）との関係を示す。視認性パラメータαが大きいほど、肌領域の疑似輪郭が目立つため、δ（α）を小さくすることで、原画像の重みを高くする。関数としては、αの増加に応じてδ（α）が減少する関数であれば、どのようなものを用いても構わない。

本実施の形態では、原画像の反射率成分の強調度合いの一例として、視認性パラメータを用いている。また、原画像の特定色の部分の保持度合いである第１の保持度合いの一例として、肌部保持パラメータを用いており、強調度合いを用いて第１の保持度合いを決定する第１の決定手段の一例として、肌部保持パラメータ決定部１９を設けている。但し、第１の保持度合いが高いと、特定色において反射率推定画像よりも原画像の重みが高くなるので、肌部保持パラメータの値は小さくなる。

画像再現部１７は、抽出した肌領域と肌領域以外とで処理を変える。肌領域の画素値は、肌部保持パラメータ決定部１９で決定した肌部保持パラメータδ（α）を用いて数式２０で算出する。肌領域以外の画素値は、δ（α）を用いずに数式２１で算出する。但し、０≦α≦１、０≦δ（α）≦１とする。

ここで、Ｉ（ｘ，ｙ）は原画像の画素値を表し、Ｉ_Ｒ（ｘ，ｙ）は反射率推定画像の画素値を表し、Ｉ＾（ｘ，ｙ）は再現画像の画素値を表す。このように、肌領域には、視認性パラメータαに応じて、１以下の肌部保持パラメータδ（α）を乗算する。これにより、反射率推定画像の画素値の重みを低下させ、原画像の画素値の重みを高めることで、疑似輪郭の発生を抑制する。

本実施の形態では、原画像の反射率成分が強調された強調画像の一例として、再現画像を用いており、強調画像を生成する強調画像生成手段の一例として、画像再現部１７を設けている。

［第５の実施の形態］
本実施の形態は、肌部保持と暗部保持と明部保持とを組み合わせた実施の形態である。

図２１は、本発明の第５の実施の形態における画像処理装置１０の機能構成例表すブロック図である。図示するように、本実施の形態における画像処理装置１０は、照明推定部１１と、反射率推定部１２と、暗部保持パラメータ決定部１４と、明部保持パラメータ決定部１５と、画像再現部１７と、肌領域抽出部１８と、肌部保持パラメータ決定部１９とを備える。ここで、照明推定部１１及び反射率推定部１２については、第１の実施の形態と同じであり、暗部保持パラメータ決定部１４及び明部保持パラメータ決定部１５については、第２の実施の形態と同じであり、肌領域抽出部１８及び肌部保持パラメータ決定部１９については、第４の実施の形態と同じなので説明を省略し、以下では、画像再現部１７についてのみ説明する。

画像再現部１７は、抽出した肌領域と肌領域以外とで処理を変える。肌領域の画素値は、肌部保持パラメータ決定部１９で決定した肌部保持パラメータδ（α）を用いて数式２２で算出する。肌領域以外の画素値は、δ（α）を用いずに数式２３で算出する。但し、０≦α≦１、０≦β≦１、０≦γ≦１、０≦δ（α）≦１とする。

ここで、数式２２と数式２３との違いについて、図２２を参照して説明する。肌領域以外については、第２の実施の形態と同じ処理となるため、実線のような関数形状のパラメータが最終的な再現パラメータとして決定される。一方、肌領域については、δ（α）を乗算するため、原画像の寄与が高まり、破線のような関数形状のパラメータが最終的な再現パラメータとして決定される。これにより、暗部と明部を保持しつつ肌部の疑似輪郭も抑制する。

また、図２２の肌領域についてのパラメータの関数形状が視認性パラメータαを高めた場合にどのように変化するかを図２３に示す。図２３の２つの破線の関数形状のうち下側の関数形状がαを高めた場合の関数形状である。αが高いほど、暗部ノイズ、明部の白飛び及び肌部の疑似輪郭が目立ち易くなるため、矢印で示すように、原画像の寄与を高くする。これにより、視認性パラメータαに応じて、暗部と明部を保持しつつ肌部の疑似輪郭も抑制する。尚、δ（α）は、数式１９のようにαの増加に応じて減少するような関数で算出すればよい。

本実施の形態では、原画像の反射率成分が強調された強調画像の一例として、再現画像を用いており、強調画像を生成する強調画像生成手段の一例として、画像再現部１７を設けている。

尚、本実施の形態では、暗部保持パラメータ決定部１４及び明部保持パラメータ決定部１５を設け、画像再現部１７が、視認性パラメータ及び肌部保持パラメータに加え、暗部保持パラメータ及び明部保持パラメータを用いて、反射率成分を強調した再現画像を生成するようにしたが、この限りではない。暗部保持パラメータ決定部１４及び明部保持パラメータ決定部１５に代えて、第１の実施の形態の明暗部保持パラメータ決定部１３を設け、画像再現部１７が、視認性パラメータ及び肌部保持パラメータに加え、明暗部保持パラメータを用いて、反射率成分を強調した再現画像を生成するようにしてもよい。或いは、暗部保持パラメータ決定部１４及び明部保持パラメータ決定部１５の何れか一方を設け、画像再現部１７が、視認性パラメータ及び肌部保持パラメータに加え、暗部保持パラメータ及び明部保持パラメータの何れか一方を用いて、反射率成分を強調した再現画像を生成するようにしてもよい。この意味で、暗部保持パラメータ及び明部保持パラメータは、原画像の暗部及び明部の少なくとも何れか一方の保持度合いである第２の保持度合いの一例であり、暗部保持パラメータ決定部１４及び明部保持パラメータ決定部１５は、原画像と強調度合いとを用いて第２の保持度合いを決定する第２の決定手段の一例である。

［第４及び第５の実施の形態の動作］
図２４は、本発明の第４及び第５の実施の形態における画像処理装置１０の動作例を表すフローチャートである。尚、この動作例では、視認性パラメータに応じて明暗部保持パラメータ、暗部保持パラメータ、明部保持パラメータ等を制御する場合について説明する。

原画像が入力されると、まず、照明推定部１１が、図２及び図４に示したように、原画像から、複数の平滑化された画像を含む多層画像を生成し、これらの多層画像を用いて、照明推定画像を生成する（ステップ１５１）。

次に、反射率推定部１２が、原画像と、ステップ１５１で生成された照明推定画像とに基づいて、反射率推定画像を生成する（ステップ１５２）。

次いで、画像処理装置１０は、暗部及び明部の少なくとも何れか一方の保持パラメータを決定する（ステップ１５３）。

但し、第４の実施の形態では、このステップ１５３は実行しないものとする。

また、「暗部及び明部の少なくとも何れか一方の保持パラメータ」とは、第５の実施の形態では、暗部保持パラメータ及び明部保持パラメータである。即ち、第５の実施の形態では、暗部保持パラメータ決定部１４が、原画像と視認性パラメータとに基づいて、暗部保持パラメータを決定すると共に、明部保持パラメータ決定部１５が、原画像と視認性パラメータとに基づいて、明部保持パラメータを決定する。

更に、「暗部及び明部の少なくとも何れか一方の保持パラメータ」とは、第５の実施の形態で暗部保持パラメータ決定部１４及び明部保持パラメータ決定部１５に代えて第１の実施の形態の明暗部保持パラメータ決定部１３を設けた変形例では、明暗部保持パラメータである。即ち、第５の実施の形態のこの変形例では、明暗部保持パラメータ決定部１３が、原画像と視認性パラメータとに基づいて、明暗部保持パラメータを決定する。

次に、肌領域抽出部１８が、原画像から肌領域を抽出する（ステップ１５４）。

次いで、肌部保持パラメータ決定部１９が、視認性パラメータに基づいて、肌部保持パラメータを決定する（ステップ１５５）。

最後に、画像再現部１７が、原画像と、ステップ１５２で生成された反射率推定画像と、視認性パラメータと、ステップ１５３で決定された暗部及び明部の少なくとも何れか一方の保持パラメータと、肌領域については、更に、ステップ１５５で決定された肌部保持パラメータとに基づいて、再現画像を生成する（ステップ１５６）。尚、ここでは、数式４を用いて再現画像を生成する場合を想定して原画像を用いることとしたが、数式５を用いて再現画像を生成する場合は、ステップ１５６で原画像を用いなくてもよい。

［画像処理装置のハードウェア構成］
本実施の形態における画像処理装置１０は、例えばＰＣにインストールされた画像処理ソフトウェアとしても実現され得るが、典型的には、画像読取り及び画像形成を行う画像処理装置１０として実現される。

図２５は、このような画像処理装置１０のハードウェア構成例を示した図である。図示するように、画像処理装置１０は、ＣＰＵ（Central Processing Unit）２１と、ＲＡＭ（Random Access Memory）２２と、ＲＯＭ（Read Only Memory）２３と、ＨＤＤ（Hard Disk Drive）２４と、操作パネル２５と、画像読取部２６と、画像形成部２７と、通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）２８とを備える。

ＣＰＵ２１は、ＲＯＭ２３等に記憶された各種プログラムをＲＡＭ２２にロードして実行することにより、後述する各機能を実現する。

ＲＡＭ２２は、ＣＰＵ２１の作業用メモリ等として用いられるメモリである。

ＲＯＭ２３は、ＣＰＵ２１が実行する各種プログラム等を記憶するメモリである。

ＨＤＤ２４は、画像読取部２６が読み取った画像データや画像形成部２７における画像形成にて用いる画像データ等を記憶する例えば磁気ディスク装置である。

操作パネル２５は、各種情報の表示やユーザからの操作入力の受付を行うタッチパネルである。ここで、操作パネル２５は、各種情報が表示されるディスプレイと、指やスタイラスペン等で指示された位置を検出する位置検出シートとからなる。

画像読取部２６は、紙等の記録媒体に記録された画像を読み取る。ここで、画像読取部２６は、例えばスキャナであり、光源から原稿に照射した光に対する反射光をレンズで縮小してＣＣＤ（Charge Coupled Devices）で受光するＣＣＤ方式や、ＬＥＤ光源から原稿に順に照射した光に対する反射光をＣＩＳ（Contact Image Sensor）で受光するＣＩＳ方式のものを用いるとよい。

画像形成部２７は、記録媒体に画像を形成する。ここで、画像形成部２７は、例えばプリンタであり、感光体に付着させたトナーを記録媒体に転写して像を形成する電子写真方式や、インクを記録媒体上に吐出して像を形成するインクジェット方式のものを用いるとよい。

通信Ｉ／Ｆ２８は、ネットワークを介して他の装置との間で各種情報の送受信を行う。

尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

１０…画像処理装置、１１…照明推定部、１２…反射率推定部、１３…明暗部保持パラメータ決定部、１４…暗部保持パラメータ決定部、１５…明部保持パラメータ決定部、１６…ユーザパラメータ決定部、１７…画像再現部、１８…肌領域抽出部、１９…肌部保持パラメータ決定部

Claims (14)

1. 原画像から、当該原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、
   前記原画像と、当該原画像の反射率成分の強調度合いとを用いて、当該原画像の暗部及び明部の少なくとも何れか一方の保持度合いを決定する決定手段と、
   前記反射率画像と、前記強調度合いと、前記保持度合いとを用いて、前記原画像の反射率成分が強調された強調画像を生成する強調画像生成手段と
   を備えたことを特徴とする画像処理装置。
2. 前記決定手段は、前記保持度合いとして、前記原画像の暗部及び明部の保持度合いである明暗部保持度合いを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記原画像の暗い画素ほど、前記明暗部保持度合いが高くなり、かつ、前記原画像の明るい画素ほど、当該明暗部保持度合いが高くなるように、当該明暗部保持度合いを決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記強調度合いが高いほど、前記明暗部保持度合いが高くなるように、当該明暗部保持度合いを決定することを特徴とする請求項２に記載の画像処理装置。
5. 前記決定手段は、前記保持度合いとして、前記原画像の暗部の保持度合いである暗部保持度合いと、前記原画像の明部の保持度合いである明部保持度合いとを決定することを特徴とする請求項１に記載の画像処理装置。
6. 前記決定手段は、前記原画像の暗い画素ほど、前記暗部保持度合いが高くなるように、当該暗部保持度合いを決定し、前記原画像の明るい画素ほど、前記明部保持度合いが高くなるように、当該明部保持度合いを決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記強調度合いが高いほど、前記暗部保持度合いが高くなるように、当該暗部保持度合いを決定し、前記強調度合いが高いほど、前記明部保持度合いが高くなるように、当該明部保持度合いを決定することを特徴とする請求項５に記載の画像処理装置。
8. 操作者が画面上で行った操作に予め対応付けられた前記強調度合いを設定する設定手段を更に備えたことを特徴とする請求項１に記載の画像処理装置。
9. 原画像から、当該原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、
   前記原画像の反射率成分の強調度合いを用いて、当該原画像の疑似輪郭を発生させる色として予め定められた特定色の部分の保持度合いである第１の保持度合いを決定する第１の決定手段と、
   前記反射率画像と、前記強調度合いと、前記第１の保持度合いとを用いて、前記原画像の反射率成分が強調された強調画像を生成する強調画像生成手段と
   を備えたことを特徴とする画像処理装置。
10. 前記原画像から、前記特定色の部分を抽出する抽出手段を更に備え、
    前記強調画像生成手段は、前記原画像の前記特定色の部分が前記第１の保持度合いを用いて強調され、かつ、前記原画像の前記特定色の部分以外が前記第１の保持度合いを用いて強調されない前記強調画像を生成することを特徴とする請求項９に記載の画像処理装置。
11. 前記第１の決定手段は、前記強調度合いが高いほど、前記第１の保持度合いが高くなるように、当該第１の保持度合いを決定することを特徴とする請求項９に記載の画像処理装置。
12. 前記原画像と、前記強調度合いとを用いて、当該原画像の暗部及び明部の少なくとも何れか一方の保持度合いである第２の保持度合いを決定する第２の決定手段を更に備え、
    前記強調画像生成手段は、前記第２の保持度合いを更に用いて、前記強調画像を生成することを特徴とする請求項９に記載の画像処理装置。
13. コンピュータに、
    原画像から、当該原画像の反射率成分を画素値とする反射率画像を生成する機能と、
    前記原画像と、当該原画像の反射率成分の強調度合いとを用いて、当該原画像の暗部及び明部の少なくとも何れか一方の保持度合いを決定する機能と、
    前記反射率画像と、前記強調度合いと、前記保持度合いとを用いて、前記原画像の反射率成分が強調された強調画像を生成する機能と
    を実現させるためのプログラム。
14. コンピュータに、
    原画像から、当該原画像の反射率成分を画素値とする反射率画像を生成する機能と、
    前記原画像の反射率成分の強調度合いを用いて、当該原画像の疑似輪郭を発生させる色として予め定められた特定色の部分の保持度合いである第１の保持度合いを決定する機能と、
    前記反射率画像と、前記強調度合いと、前記第１の保持度合いとを用いて、前記原画像の反射率成分が強調された強調画像を生成する機能と
    を実現させるためのプログラム。