JP6273750B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置、プログラムに関する。

低周波画像の輝度の低い部分においては低周波画像を強調し、低周波画像の輝度の高い部分においては低周波画像を抑制することにより、暗部のノイズが目立つことなく、且つ白い大きな物体（又はその領域、明部）が灰色化することなくダイナミックレンジを圧縮できる画像変換方法又は画像変換装置は知られている（例えば、特許文献１参照）。

視覚処理中の画素である着目画素の画素値と視覚処理後の画素値との関係を定めた所定の関数に基づいて、画素単位でダイナミックレンジの圧縮、階調補正、及びコントラスト強調のうちの少なくとも１つの視覚処理を行なう視覚処理部を設け、また、視覚処理部に入力される画像データの解像度を復元する信号処理、及び前記視覚処理による信号劣化を補正する信号処理の少なくとも一方の信号処理を、画素単位で行なう入力信号処理部を設け、この入力信号処理部では、前記関数を用いて定めたゲインに応じ、前記信号処理を行う画像処理装置も知られている（例えば、特許文献２参照）。

逆光画像部分であるか否かを、補正領域判定処理によって生成されるレティネックス画像データと原画像データとの差によって判定し、かかる逆光画像部分にデノイズ処理を施すことにより、ノイズを低減（除去）し、デノイズ処理を行った画像データに対しレティネックス処理を実行する画像処理プログラムも知られている（例えば、特許文献３参照）。

特開２００３−７６９８４号公報 特開２００９−７１６２１号公報 特開２００７−６７７４６号公報

本発明の目的は、反射率成分を強調することで画像の視認性を高める際に、画像乱れの発生を抑制することにある。

請求項１に記載の発明は、原画像から、当該原画像が少なくとも１つの平滑化度合いで平滑化された少なくとも１つの平滑化画像を含む画像群を生成する画像群生成手段と、前記画像群に含まれる前記少なくとも１つの平滑化画像を用いて、前記原画像の照明成分を画素値とする照明画像を生成する照明画像生成手段と、前記少なくとも１つの平滑化画像から、画像乱れの発生を抑制するための平滑化度合いで前記原画像が平滑化された特定の平滑化画像を選択する平滑化画像選択手段と、前記原画像と、前記特定の平滑化画像と、当該原画像及び当該特定の平滑化画像の合成度合いを表す合成度合い情報と、前記照明画像とに基づいて、当該原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、少なくとも、前記反射率画像と、前記原画像の反射率成分の強調度合いを表す強調度合い情報とに基づいて、当該原画像の視認性が高まるように再現された再現画像を生成する再現画像生成手段とを備えたことを特徴とする画像処理装置である。
請求項２に記載の発明は、前記反射率画像生成手段は、前記原画像の輝度値に応じた前記合成度合い情報に基づいて、前記反射率画像を生成することを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記原画像から、当該原画像における指定された色領域内の色の領域を表す領域画像を生成する領域画像生成手段を更に備え、前記反射率画像生成手段は、前記領域画像に応じた前記合成度合い情報に基づいて、前記反射率画像を生成することを特徴とする請求項１に記載の画像処理装置である。
請求項４に記載の発明は、前記照明画像生成手段は、前記画像群に含まれる複数の平滑化画像の画素値を加重合計することにより、前記原画像の照明成分を推定することを特徴とする請求項１乃至請求項３の何れかに記載の画像処理装置である。
請求項５に記載の発明は、前記画像群生成手段は、前記原画像を含む前記画像群を生成し、前記照明画像生成手段は、前記原画像を用いた２次計画法により、当該原画像の照明成分を推定することを特徴とする請求項１乃至請求項３の何れかに記載の画像処理装置である。
請求項６に記載の発明は、原画像から、当該原画像が少なくとも１つの平滑化度合いで平滑化された少なくとも１つの平滑化画像を含む画像群を生成する画像群生成手段と、前記画像群に含まれる少なくとも１つの画像を用いて、前記原画像の照明成分を画素値とする照明画像を生成する照明画像生成手段と、前記少なくとも１つの平滑化画像に基づいて、画像乱れの発生を抑制するための平滑化度合いで前記原画像が平滑化された特定の平滑化画像を取得する平滑化画像取得手段と、前記原画像と、前記特定の平滑化画像と、当該原画像及び当該特定の平滑化画像の合成度合いを表す合成度合い情報と、前記照明画像とに基づいて、当該原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、少なくとも、前記反射率画像と、前記原画像の反射率成分の強調度合いを表す強調度合い情報とに基づいて、当該原画像の視認性が高まるように再現された再現画像を生成する再現画像生成手段とを備え、前記平滑化画像取得手段は、前記原画像における画像乱れの発生状況に応じた前記特定の平滑化画像を取得することを特徴とする画像処理装置である。
請求項７に記載の発明は、コンピュータに、原画像から、当該原画像が少なくとも１つの平滑化度合いで平滑化された少なくとも１つの平滑化画像を含む画像群を生成する機能と、前記画像群に含まれる前記少なくとも１つの平滑化画像を用いて、前記原画像の照明成分を画素値とする照明画像を生成する機能と、前記少なくとも１つの平滑化画像から、画像乱れの発生を抑制するための平滑化度合いで前記原画像が平滑化された特定の平滑化画像を選択する機能と、前記原画像と、前記特定の平滑化画像と、当該原画像及び当該特定の平滑化画像の合成度合いを表す合成度合い情報と、前記照明画像とに基づいて、当該原画像の反射率成分を画素値とする反射率画像を生成する機能と、少なくとも、前記反射率画像と、前記原画像の反射率成分の強調度合いを表す強調度合い情報とに基づいて、当該原画像の視認性が高まるように再現された再現画像を生成する機能とを実現させるためのプログラムである。

請求項１の発明によれば、反射率成分を強調することで画像の視認性を高める際に、画像乱れの発生を抑制することができ、照明画像を生成するための画像と画像乱れの発生を抑制するための画像とを一括管理することができる。
請求項２の発明によれば、反射率成分を強調することで画像の視認性を高める際に、輝度に依存する画像乱れの発生を抑制することができる。
請求項３の発明によれば、反射率成分を強調することで画像の視認性を高める際に、指定された色領域内の色に応じた画像乱れの発生を抑制することができる。
請求項４の発明によれば、視覚特性を考慮して照明成分を推定することができる。
請求項５の発明によれば、本構成を有していない場合に比較して、原画像に対応する実際の場面の物理性質に近くなるように照明成分を推定することができる。
請求項６の発明によれば、本構成を有していない場合に比較して、画像乱れの発生を精度よく抑制することができる。
請求項７の発明によれば、反射率成分を強調することで画像の視認性を高める際に、画像乱れの発生を抑制することができ、照明画像を生成するための画像と画像乱れの発生を抑制するための画像とを一括管理することができる。

本発明の第１の実施の形態における画像処理装置の機能構成例を示したブロック図である。 原画像がＲＧＢ画像である場合の多層画像生成部による多層画像の生成の様子を示した図である。 （ａ）〜（ｃ）は、σの値によって多層画像の各層の画像の周波数が異なることを示した図である。 原画像が輝度色度画像である場合の多層画像生成部による多層画像の生成の様子を示した図である。 多層画像がＲＧＢの３プレーンから構成される場合の照明推定部による照明光の推定の様子を示した図である。 多層画像が輝度の１プレーンから構成される場合の照明推定部による照明光の推定の様子を示した図である。 多層画像に原画像が含まれる場合の照明推定部による照明光の推定の様子を示した図である。 多層画像がＲＧＢの３プレーンから構成される場合の特定層選択部による特定層の選択の様子を示した図である。 多層画像が輝度の１プレーンから構成される場合の特定層選択部による特定層の選択の様子を示した図である。 多層画像が輝度の１プレーンから構成されるが輝度ノイズだけでなく色度ノイズも除去する場合の特定層選択部による特定層の選択の様子を示した図である。 本発明の第１の実施の形態で用いる合成パラメータを定義する関数を示したグラフである。 本発明の第１の実施の形態における画像処理装置の機能構成例を色度ノイズの除去も行うように変更したブロック図である。 本発明の第１の実施の形態における画像処理装置の動作例を示したフローチャートである。 本発明の第２の実施の形態における画像処理装置の機能構成例を示したブロック図である。 本発明の第２の実施の形態で用いる距離加重を定義する関数を示したグラフである。 （ａ）及び（ｂ）は、本発明の第２の実施の形態で用いる画像の例及びこの画像の例に対する特定領域画像の例を示した図である。 本発明の第２の実施の形態における画像処理装置の動作例を示したフローチャートである。 本発明の実施の形態における画像処理装置のハードウェア構成例を示したブロック図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

［発明の背景］
画像を扱って文書を作成する作業は、ＰＣ（Personal Computer）を駆使してモニタを観ながら行うのが一般的である。このような作業においては、近年急速に普及しているタブレット等のＩＣＴ（Information and Communication Technology）デバイスを用いるユーザも増えている。

一般に、事務作業やＤＴＰ（DeskTop Publishing）作業の現場のようなオフィス環境では、環境光の変化に左右されることは少ない。一方で、快適に持ち運べるＩＣＴデバイスには、場所を問わず作業できるという利点はあるが、環境光の変化等、持ち運んだ先に大きく左右されるという欠点もある。

また、画像を扱う作業には、上記のような文書を作成する作業の他にも、ユーザがカメラ付きタブレット等で撮影した画像をそれぞれのデバイスに保存する作業がある。ユーザが互いに画像を見せ合ったり画像で状況を説明したりするシーンもよく見られるようになった。

このように、近年のモニタ環境の特徴としては、従来のモニタ環境とは違って、「手軽に使え」、「使用場所が多様」であることが挙げられる。そして、この近年のモニタ環境では、使用方法や使用環境が従来とは異なることから、色合わせよりも「視認性」の方が重視されている。

「視認性」とは、視対象がはっきり見えるか否かの特性である。画像の視認性を高める方法には、ガンマ補正、ヒストグラムイコライゼーション、ダイナミックレンジ圧縮等に代表される画像処理分野の基本手法がある。

ガンマ補正では、暗部や対象となる領域を盛り上げるカーブを生成し、画素値に適用することで、暗部を明るくする。ヒストグラムイコライゼーションでは、画像のヒストグラムの偏りをなくすカーブを生成し、画素値に適用することで、ヒストグラムが平滑化される再現を行う。ダイナミックレンジ圧縮では、画像の周辺輝度に応じて補正量を変えることで、コントラストを低下させることなく低輝度及び高輝度を表現する。

また、視覚特性を利用した視認性向上の方法には、レティネックス原理を利用したものもある。レティネックスは、人間が反射率によってシーンを知覚しているという考え方に基づき、反射率成分を強調することで視認性を高める基本原理である。

しかしながら、一般に、視認性を高めると、暗部又は特定領域のノイズが強調されるという課題がある。

そこで、本実施の形態では、画像の反射率成分を強調することで画像全体の視認性を高める際に、暗部又はノイズが目立ちやすい特定領域におけるノイズを抑制する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。図示するように、第１の実施の形態における画像処理装置１０は、多層画像生成部１１と、照明推定部１２と、特定層選択部１３と、合成反射率推定部１６と、画像再現部１７とを備える。

多層画像生成部１１は、主に、原画像を平滑化して平滑化画像を生成する処理を行う。これは、後段の反射率の推定及びノイズの除去のために行われる。平滑化は、例えば、移動平均法又は以下のガウス関数で表されるコンボリューションを行うことにより実施される。

ここで、ｘ，ｙはある画素の位置を表し、ｋは画像処理のフィルタサイズの画素分で積分した場合に結果が１になるように正規化する係数を表し、σは平滑化度合い（スケール）を表す。尚、上記の関数は一例であり、結果として画像が平滑化されるフィルタであれば如何なるものを用いてもよい。例えば、数式１を変形した関数によるフィルタで、エッジ保存を行う平滑化フィルタとして知られるバイラテラルフィルタがあるが、これを用いてもよいものとする。

多層画像生成部１１による多層画像の生成の様子を図２に示す。図２には、原画像がＲＧＢの３プレーンから構成される場合において、多層画像として、スケール１からスケールＮまでのＮ層の画像が生成される例を示している。ここで、スケール１、スケール２、・・・、スケールＮの層は、数式１のσを変化させることにより得られる。図３（ａ）〜（ｃ）に示すように、σを変化させると画像の周波数が変化する。具体的には、（ａ）に示すようにσが小さいと高周波になり、（ｃ）に示すようにσが大きいと低周波になり、（ｂ）に示すようにσが中程度だと周波数も中程度になる。

以上のように、多層画像はＲＧＢの３プレーンのＮ層でもよいが、図４のようなものでもよい。図４は、ＲＧＢ画像を予めＹＣｂＣｒ画像のような輝度色度画像に変換しておく例を示したものであり、この例では、輝度を表すＹの１プレーンのみを多層画像に変換している。これは、輝度のみで照明成分の推定を行う場合があるためである。尚、ここでは、輝度色度で表される色空間としてＹＣｂＣｒ色空間を用いたが、Ｌ＊ａ＊ｂ＊色空間、ＨＳＶ色空間（但し、ＨＳは色度座標へ変換する）等を用いてもよい。Ｌ＊ａ＊ｂ＊色空間を用いた場合はＬ＊を、ＨＳＶ色空間を用いた場合はＶを、それぞれ輝度画像として用いればよい。

また、多層画像の１層として原画像そのものが含まれてもよいものとする。これについては後述する。

本実施の形態では、少なくとも１つの平滑化画像を含む画像群の一例として、多層画像を用いており、原画像から画像群を生成する画像群生成手段の一例として、多層画像生成部１１を設けている。

照明推定部１２は、多層画像のうちの少なくとも１つの画像を用いて、原画像の照明成分を推定する（以下、この推定された照明成分の画像を「照明推定画像」という）。レティネックス原理によれば、人の視覚特性は、注目領域の周辺から照明光を推定していることが知られている。従って、平滑化した画像は、推定された照明光を表すことになる。しかしながら、シーンよって適するスケールが異なるため、例えば、照明光の推定は、以下のようにスケール１からスケールＮまでのＮ層の画像の加重合計をとるのが望ましい。

ここで、Ｌ（ｘ，ｙ）は照明推定画像の画素値を表し、Ｇ_ｎ（ｘ，ｙ）はスケールｎに対する数式１を表し、Ｉ（ｘ，ｙ）は原画像の画素値を表し、Ｗ_ｎはスケールｎに対する重みを表し、「×」を「○」で囲んだ記号は畳み込みを表す。尚、Ｗ_ｎは、簡易的に１／Ｎとしてもよいし、層に応じて可変としてもよい。

多層画像生成部１１が図２のように多層画像を生成した場合の照明推定部１２による照明光の推定の様子を図５に示す。この場合、ＲＧＢの３プレーンに数式２を適用するので、数式２は以下のように解釈される。

ここで、Ｌ_Ｒ（ｘ，ｙ），Ｌ_Ｇ（ｘ，ｙ），Ｌ_Ｂ（ｘ，ｙ）はそれぞれ照明推定画像の画素のＲ，Ｇ，Ｂ値を表し、Ｉ_Ｒ（ｘ，ｙ），Ｉ_Ｇ（ｘ，ｙ），Ｉ_Ｂ（ｘ，ｙ）はそれぞれ原画像の画素のＲ，Ｇ，Ｂ値を表す。

また、多層画像生成部１１が図４のように多層画像を生成した場合の照明推定部１２による照明光の推定の様子を図６に示す。この場合、数式２は以下のように解釈される。

ここで、Ｌ_Ｙ（ｘ，ｙ）は照明推定画像の画素の輝度値を表し、Ｉ_Ｙ（ｘ，ｙ）は原画像の画素の輝度値を表す。

以上のように、照明推定部１２では、スケール１からスケールＮまでのＮ層の画像を用いており、Ｎ≧１とする。また、このＮ層の画像は、以下の通りとする。
・Ｎ層のうち少なくとも１層の画像が、平滑化されていればよい。
・Ｎ層のうち１層の画像は、原画像そのものであってもよい。この場合、数式３及び数式４で、原画像を加えて加重合計をとってもよいし、原画像を除いて加重合計をとってもよいものとする。
・Ｎ≧２である場合は、Ｎ層のうちの少なくとも１層の画像から照明光を推定する。Ｎ＝１である場合は、１層の画像そのものを照明推定画像とする。

更に、多層画像の１層として原画像そのものが含まれる場合は、図７のように照明光を推定してもよい。図７は、輝度を表すＹの１プレーンのみを多層画像に変換した場合における照明光の推定の図６とは別の例である。このような照明光の推定は、例えば、文献「R.Kimmel,M.Elad,D.Shaked,R.Keshet,and I.Sobel,“A variational framework for retinex,”Int.J.Comput. Vis.,vol.52,no.1,pp7-23,Jan.2003」に記載された技術を用いて行うとよい。即ち、照明成分Ｌそのものを未知とし、原画像の画素値Ｉ（既知）を用いてＬの空間的滑らかさを表すエネルギー関数を定義し、エネルギー関数をＬの２次計画問題と捉えて解を算出するといった上記文献に記載された方法でＬを算出するとよい。例えば、照明光は空間で滑らかであると仮定すれば、滑らかさをＥとしたＬのエネルギー関数を以下のように定義される。

ここで、ａ，ｂは滑らかさを制御するパラメータである。Ｅ（Ｌ）はｌｏｇＬ（ｘ，ｙ）に対する２次式であるので、２次計画問題として解析的に解くことが可能である。或いは、公知の解析的手法は他にもあるのでそれを適用してもよい。

本実施の形態では、原画像の照明成分を画素値とする照明画像の一例として、照明推定画像を用いており、照明画像を生成する照明画像生成手段の一例として、照明推定部１２を設けている。

特定層選択部１３は、多層画像からノイズ（画像乱れ）を除去するための層の画像を選択する（以下、この選択された層の画像を「特定層選択画像」という）。例えば、図２に示す多層画像からの特定層選択画像の選択の様子を図８に示す。図８では、斜線ハッチングで示すように、スケール１の層がノイズを除去するために選択された層となっている。照明推定にはσに大きな値が設定された層を用いることが多いので、ノイズを除去するための層のσには、照明推定を行うスケール２からスケールＮまでの層のσよりも小さな値を設定すればよい。その場合、照明推定には、スケール１からスケールＮまでの層を用いてもよいし、スケール２からスケールＮまでの層を用いてもよい。つまり、ノイズを除去するための層は、照明推定のために用いてもよいし用いなくてもよい。

ここで、スケール１の層がノイズを除去するための層だとすると、スケール１の層を生成するためのσの値としては、ノイズを除去するのに適した値を予め用意しておけばよい（前述のように、σの値は小さいほうがよい）。

一方、ノイズの除去をより精度良く実施するために、多層画像生成部１１がノイズ除去用のσを画像におけるノイズの発生状況に応じて決めてもよい。この場合は、例えば、高周波検出フィルタ（ラプラシアンフィルタ、ＤＯＧフィルタ等）により原画像から高周波成分を算出して、暗部領域に対する高周波成分の和をノイズの指標とし、予め実験的に取得しておいたノイズの指標とノイズ除去に適したσの値との対応に基づいて、多層画像生成部１１が適応的にノイズ除去に適したσの値を得るようにしてもよい。

また、図４に示す多層画像からの特定層選択画像の選択の様子を図９に示す。図９でも、斜線ハッチングで示すように、スケール１の層がノイズを除去するために選択された層となっている。

輝度のノイズのみを除去したい場合はこれでよいが、色度のノイズも除去したい場合は、図１０に示すようにするとよい。図１０は、斜線ハッチングで示すように、ノイズを除去するための層についてのみ、色度成分のプレーン（Ｃｂ，Ｃｒプレーン）にもＹプレーンと同じ平滑化が行われており、特定層選択部１３がこの色度成分のプレーンにも平滑化が行われた層を選択する様子を示している。

尚、以上では、多層画像生成部１１が生成した多層画像から特定層選択部１３が１層を選択し、この層をそのままノイズを除去するための層としたが、この限りではない。例えば、多層画像生成部１１が生成した多層画像から特定層選択部１３が複数層を選択し、これら複数層から１層を生成してノイズを除去するための層としてもよい。或いは、多層画像生成部１１が生成した多層画像からノイズを除去するための層を選択する特定層選択部１３に代えて、原画像からノイズを除去するための層を生成する特定層生成部を設けてもよい。このような意味で、特定層選択部１３は、ノイズを除去するための層を取得する手段として捉えられる。

本実施の形態では、画像乱れの発生を抑制するための平滑化度合いで原画像が平滑化された特定の平滑化画像の一例として、特定層選択画像を用いており、特定の平滑化画像を取得する平滑化画像取得手段の一例として、特定層選択部１３を設けている。

合成反射率推定部１６は、照明推定画像と特定層選択画像とを合成しながら原画像の反射率を推定する。具体的には、以下のように特定層選択画像を合成した反射率を表す画像（以下、「合成反射率推定画像」という）を求める。

ここで、Ｒ（ｘ，ｙ）は合成反射率推定画像の画素値を表し、Ｌ（ｘ，ｙ）は照明推定画像の画素値を表し、Ｌ^ＮＲ（ｘ，ｙ）は特定層選択画像の画素値を表す。また、ｗは０から１までの加重値であり、図１の合成パラメータ（合成度合い情報）に相当する。このようにすることで、原画像の画素値が重視される領域及びノイズ除去が重視される領域のそれぞれに応じた反射率が算出される。尚、ＲＧＢの３プレーンのそれぞれで照明推定画像を算出した場合は、数式５も、Ｒ（ｘ，ｙ）がＲＧＢの３プレーン分できるものとして解釈される。

更に、本実施の形態は、ｗを図１１で表されるような輝度に応じた関数とすることで、暗部ノイズへの対応を可能とする。図１１の形状は、例えば以下の式で実現される。

ここで、Ｙ_ｉｎｆは関数の変曲点を表し、ｐは最大勾配を制御するパラメータである。

尚、図１１において、Ｙは輝度を表す。この場合、輝度は、ＹＣｂＣｒのＹであってもよいし、ＲＧＢの各値の和を平均して得られた値であってもよい。つまり、輝度は、明るさを表すものであれば、如何なる計算で求められた値でもよい。

本実施の形態では、原画像の反射率成分を画素値とする反射率画像の一例として、合成反射率推定画像を用いており、反射率画像を生成する反射率画像生成手段の一例として、合成反射率推定部１６を設けている。

画像再現部１７は、合成反射率推定部１６が生成した合成反射率推定画像と、原画像とに基づいて、反射率成分を強調する処理を行う。例えば、以下のような再現式により、反射率成分を強調した再現画像を生成する。

ここで、Ｉ＾（ｘ，ｙ）は再現画像の画素値を表す。また、αは強調度合いを表すパラメータであり、図１の強調パラメータ（強調度合い情報）に相当する。Ｉ＾（ｘ，ｙ）は、α＝１の場合、反射率成分そのものとなり、α＝０の場合、原画像の画素値となる。本実施の形態において、αは０から１までの如何なる値でもよいものとする。尚、本明細書では、ハット記号を、数式中では文字の真上に付すが、文中では文字の後ろに付すものとする。

また、再現式は、数式７に限らず、以下のような式であってもよい。

ここで、αは反射率のゲインを表すパラメータであり、βは再現式の切片を表すパラメータである。図１は、画像再現部１７が原画像を用いて再現画像を生成する場合について示したが、この数式８を用いた場合、画像再現部１７は原画像を用いずに再現画像を生成することになる。また、αは図１の強調パラメータに相当するが、βは図１には示されていないパラメータである。

尚、本実施の形態では、画像再現部１７が数式７又は数式８を用いて画像を再現することとしたが、反射率を強調する式であれば如何なる式を用いて画像を再現することとしてもよい。

本実施の形態では、再現画像を生成する再現画像生成手段の一例として、画像再現部１７を設けている。

また、ＲＧＢの３プレーン分の合成反射率推定画像が算出された場合、数式７、数式８等の再現式は３プレーン分必要となるが、ＹＣｂＣｒ、Ｌ＊ａ＊ｂ＊、ＨＳＶ等を用いて輝度の１プレーン分の合成反射率推定画像が算出された場合、数式７、数式８等の再現式は輝度の１プレーン分あればよい。この場合、色度成分であるＣｂＣｒとしては、原画像のものをそのまま使用し、ＹＣｂＣｒからＲＧＢへの変換を行って、ＲＧＢの再現画像とすればよい。

このように輝度色度画像を用いる際、例えば、輝度成分のノイズの除去のみを行う場合は、上記のような再現を行えばよい。一方で、色度成分のノイズの除去も行うために図１０のように特定層選択画像を用意した場合、図１に示したブロック図は、図１２に示すようなものとなる。

即ち、画像再現部１７は、合成反射率推定部１６で用いたのと同じ合成パラメータを用いて、再現画像の色度成分を以下のように算出する。

ここで、Ｉ_ｃ＾（ｘ，ｙ）は再現画像の色度成分を表し、Ｉ_ｃ（ｘ，ｙ）は原画像の色度成分を表し、Ｉ_ｃ ^ＮＲ（ｘ，ｙ）は特定層選択画像の色度成分（色度プレーン）を表す。尚、色度成分とは、ＣｂＣｒ、ａ＊ｂ＊、ＨＳを色度座標に変換したもの等である。また、ｗは、前述の通り、０から１までの加重値（合成パラメータ）を表す。色度は２プレーンあるので、各プレーンで数式９を使用すればよい。

図１３は、本発明の第１の実施の形態における画像処理装置１０の動作例を表すフローチャートである。

原画像が入力されると、まず、多層画像生成部１１が、図２及び図４に示したように、原画像から、少なくとも１つの平滑化された画像を含む多層画像を生成する（ステップ１０１）。

次に、照明推定部１２が、図５乃至図７に示したように、ステップ１０１で生成された多層画像のうちの少なくとも１層の画像を用いて、照明推定画像を生成する（ステップ１０２）。また、特定層選択部１３が、図８乃至図１０に示したように、ステップ１０１で生成された多層画像からノイズを除去するための層を選択し、これを特定層選択画像とする（ステップ１０３）。ここで、ステップ１０２及びステップ１０３はこの順序で実行されることとしたが、如何なる順序で実行されてもよい。或いは、ステップ１０２と、ステップ１０３とは、並行に実行されるものであってもよい。

次いで、合成反射率推定部１６が、原画像と、ステップ１０３で選択された特定層選択画像と、合成パラメータと、ステップ１０２で生成された照明推定画像とに基づいて、合成反射率推定画像を生成する（ステップ１０４）。

最後に、画像再現部１７が、原画像と、ステップ１０４で生成された合成反射率推定画像と、強調パラメータとに基づいて、再現画像を生成する（ステップ１０５）。尚、ここでは、数式７を用いて再現画像を生成する場合を想定して原画像を用いることとしたが、数式８を用いて再現画像を生成する場合は、ステップ１０５で原画像を用いなくてもよい。

［第２の実施の形態］
図１４は、本発明の第２の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。第１の実施の形態は、暗部のように輝度に応じてノイズが発生し易い領域で効果を発揮するものであったが、この第２の実施の形態は、暗部だけでなく、人の肌の色の領域等のノイズを抑制したい色領域で効果を発揮するものである。図示するように、第２の実施の形態における画像処理装置１０は、多層画像生成部１１と、照明推定部１２と、特定層選択部１３と、特定領域生成部１４と、合成反射率推定部１６と、画像再現部１７とを備える。このうち、多層画像生成部１１、照明推定部１２、特定層選択部１３、及び画像再現部１７については、第１の実施の形態と同じなので説明を省略し、以下では、特定領域生成部１４及び合成反射率推定部１６についてのみ説明する。

特定領域生成部１４は、原画像からノイズを抑制したい色を有する領域（特定領域）を表す特定領域画像を生成する。例えば、人の肌の色であれば、まず、色空間内で人の肌の色を表すものとして統計的に得られた色領域の中心（代表色）を求める。そして、原画像の各画素の画素値の代表色からの距離に応じた加重を各画素に対応する画素の画素値として原画像をマスクするマスク画像を生成し、これを特定領域画像とすればよい。

この場合、各画素の画素値の代表色からの距離をｄとすると、距離加重ｗとしては、図１５のような関数で決定されるものを使用すればよい。また、図１５のような関数としては、ある画素の画素値Ｉ（ｘ，ｙ）の代表色からの距離をｄ（ｘ、ｙ）として、距離加重ｗ（ｘ，ｙ）が以下のような式で表されるものを用いるとよい。

ここで、ｄ_ｉｎｆは関数の変曲点を表し、ｐは最大勾配を制御するパラメータである。ｄ（ｘ，ｙ）は色空間に応じて算出されるので、代表色からの距離の計算は如何なる色空間で行ってもよい。ＲＧＢ色空間でもよいし、ＣｂＣｒからなる色空間でもよい。或いは、特開２００６−１５５５９５号公報に記載されたように色情報で領域を特定してもよいし、特開２００３−２４８８２４に記載された領域特定方法を用いてもよいものとする。このような特定領域画像の生成について図１６（ａ），（ｂ）に示す。即ち、扱う画像が（ａ）のようなものである場合に、（ｂ）のような特定領域画像が生成される。

本実施の形態では、原画像における指定された色領域内の色の領域を表す領域画像の一例として、特定領域画像を用いており、領域画像を生成する領域画像生成手段の一例として、特定領域生成部１４を設けている。

合成反射率推定部１６は、特定領域生成部１４が生成した特定領域画像で、ｗ（ｘ，ｙ）が０である場合はｗ（ｘ，ｙ）に対応する領域は特定領域以外を表し、ｗ（ｘ，ｙ）が１に近付くにつれてｗ（ｘ，ｙ）に対応する領域は特定領域を表すものとすると、以下のような計算を行う。

この数式１１では、ｗ（ｘ，ｙ）の扱いが第１の実施の形態のｗの扱いとは異なるが、ｗ（ｘ，ｙ）は、第１の実施の形態の合成パラメータ（合成度合い情報）と等価である。

図１７は、本発明の第２の実施の形態における画像処理装置１０の動作例を表すフローチャートである。

原画像が入力されると、まず、多層画像生成部１１が、図２及び図４に示したように、原画像から、少なくとも１つの平滑化された画像を含む多層画像を生成する（ステップ１２１）。

次に、照明推定部１２が、図５乃至図７に示したように、ステップ１２１で生成された多層画像のうちの少なくとも１層の画像を用いて、照明推定画像を生成する（ステップ１２２）。また、特定層選択部１３が、図８乃至図１０に示したように、ステップ１２１で生成された多層画像からノイズを除去するための層を選択し、これを特定層選択画像とする（ステップ１２３）。更に、特定領域生成部１４が、原画像から、ノイズを抑制したい領域を示す特定領域画像を生成する（ステップ１２４）。ここで、ステップ１２２、ステップ１２３及びステップ１２４はこの順序で実行されることとしたが、如何なる順序で実行されてもよい。或いは、ステップ１２２、ステップ１２３及びステップ１２４の少なくとも２つのステップは並行に実行されるものであってもよい。

次いで、合成反射率推定部１６が、原画像と、ステップ１２３で選択された特定層選択画像と、ステップ１２４で生成された特定領域画像と、ステップ１２２で生成された照明推定画像とに基づいて、合成反射率推定画像を生成する（ステップ１２５）。

最後に、画像再現部１７が、原画像と、ステップ１２５で生成された合成反射率推定画像と、強調パラメータとに基づいて、再現画像を生成する（ステップ１２６）。尚、ここでは、数式７を用いて再現画像を生成する場合を想定して原画像を用いることとしたが、数式８を用いて再現画像を生成する場合は、ステップ１２６で原画像を用いなくてもよい。

［画像処理装置のハードウェア構成］
本実施の形態における画像処理装置１０は、例えばＰＣにインストールされた画像処理ソフトウェアとしても実現され得るが、典型的には、画像読取り及び画像形成を行う画像処理装置１０として実現される。

図１８は、このような画像処理装置１０のハードウェア構成例を示した図である。図示するように、画像処理装置１０は、ＣＰＵ（Central Processing Unit）２１と、ＲＡＭ（Random Access Memory）２２と、ＲＯＭ（Read Only Memory）２３と、ＨＤＤ（Hard Disk Drive）２４と、操作パネル２５と、画像読取部２６と、画像形成部２７と、通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）２８とを備える。

ＣＰＵ２１は、ＲＯＭ２３等に記憶された各種プログラムをＲＡＭ２２にロードして実行することにより、後述する各機能を実現する。

ＲＡＭ２２は、ＣＰＵ２１の作業用メモリ等として用いられるメモリである。

ＲＯＭ２３は、ＣＰＵ２１が実行する各種プログラム等を記憶するメモリである。

ＨＤＤ２４は、画像読取部２６が読み取った画像データや画像形成部２７における画像形成にて用いる画像データ等を記憶する例えば磁気ディスク装置である。

操作パネル２５は、各種情報の表示やユーザからの操作入力の受付を行うタッチパネルである。ここで、操作パネル２５は、各種情報が表示されるディスプレイと、指やスタイラスペン等で指示された位置を検出する位置検出シートとからなる。

画像読取部２６は、紙等の記録媒体に記録された画像を読み取る。ここで、画像読取部２６は、例えばスキャナであり、光源から原稿に照射した光に対する反射光をレンズで縮小してＣＣＤ（Charge Coupled Devices）で受光するＣＣＤ方式や、ＬＥＤ光源から原稿に順に照射した光に対する反射光をＣＩＳ（Contact Image Sensor）で受光するＣＩＳ方式のものを用いるとよい。

画像形成部２７は、記録媒体に画像を形成する。ここで、画像形成部２７は、例えばプリンタであり、感光体に付着させたトナーを記録媒体に転写して像を形成する電子写真方式や、インクを記録媒体上に吐出して像を形成するインクジェット方式のものを用いるとよい。

通信Ｉ／Ｆ２８は、ネットワークを介して他の装置との間で各種情報の送受信を行う。

尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

１０…画像処理装置、１１…多層画像生成部、１２…照明推定部、１３…特定層選択部、１４…特定領域生成部、１６…合成反射率推定部、１７…画像再現部

Claims (7)

1. 原画像から、当該原画像が少なくとも１つの平滑化度合いで平滑化された少なくとも１つの平滑化画像を含む画像群を生成する画像群生成手段と、
   前記画像群に含まれる前記少なくとも１つの平滑化画像を用いて、前記原画像の照明成分を画素値とする照明画像を生成する照明画像生成手段と、
   前記少なくとも１つの平滑化画像から、画像乱れの発生を抑制するための平滑化度合いで前記原画像が平滑化された特定の平滑化画像を選択する平滑化画像選択手段と、
   前記原画像と、前記特定の平滑化画像と、当該原画像及び当該特定の平滑化画像の合成度合いを表す合成度合い情報と、前記照明画像とに基づいて、当該原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、
   少なくとも、前記反射率画像と、前記原画像の反射率成分の強調度合いを表す強調度合い情報とに基づいて、当該原画像の視認性が高まるように再現された再現画像を生成する再現画像生成手段と
   を備えたことを特徴とする画像処理装置。
2. 前記反射率画像生成手段は、前記原画像の輝度値に応じた前記合成度合い情報に基づいて、前記反射率画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記原画像から、当該原画像における指定された色領域内の色の領域を表す領域画像を生成する領域画像生成手段を更に備え、
   前記反射率画像生成手段は、前記領域画像に応じた前記合成度合い情報に基づいて、前記反射率画像を生成することを特徴とする請求項１に記載の画像処理装置。
4. 前記照明画像生成手段は、前記画像群に含まれる複数の平滑化画像の画素値を加重合計することにより、前記原画像の照明成分を推定することを特徴とする請求項１乃至請求項３の何れかに記載の画像処理装置。
5. 前記画像群生成手段は、前記原画像を含む前記画像群を生成し、
   前記照明画像生成手段は、前記原画像を用いた２次計画法により、当該原画像の照明成分を推定することを特徴とする請求項１乃至請求項３の何れかに記載の画像処理装置。
6. 原画像から、当該原画像が少なくとも１つの平滑化度合いで平滑化された少なくとも１つの平滑化画像を含む画像群を生成する画像群生成手段と、
   前記画像群に含まれる少なくとも１つの画像を用いて、前記原画像の照明成分を画素値とする照明画像を生成する照明画像生成手段と、
   前記少なくとも１つの平滑化画像に基づいて、画像乱れの発生を抑制するための平滑化度合いで前記原画像が平滑化された特定の平滑化画像を取得する平滑化画像取得手段と、
   前記原画像と、前記特定の平滑化画像と、当該原画像及び当該特定の平滑化画像の合成度合いを表す合成度合い情報と、前記照明画像とに基づいて、当該原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、
   少なくとも、前記反射率画像と、前記原画像の反射率成分の強調度合いを表す強調度合い情報とに基づいて、当該原画像の視認性が高まるように再現された再現画像を生成する再現画像生成手段と
   を備え、
   前記平滑化画像取得手段は、前記原画像における画像乱れの発生状況に応じた前記特定の平滑化画像を取得することを特徴とする画像処理装置。
7. コンピュータに、
   原画像から、当該原画像が少なくとも１つの平滑化度合いで平滑化された少なくとも１つの平滑化画像を含む画像群を生成する機能と、
   前記画像群に含まれる前記少なくとも１つの平滑化画像を用いて、前記原画像の照明成分を画素値とする照明画像を生成する機能と、
   前記少なくとも１つの平滑化画像から、画像乱れの発生を抑制するための平滑化度合いで前記原画像が平滑化された特定の平滑化画像を選択する機能と、
   前記原画像と、前記特定の平滑化画像と、当該原画像及び当該特定の平滑化画像の合成度合いを表す合成度合い情報と、前記照明画像とに基づいて、当該原画像の反射率成分を画素値とする反射率画像を生成する機能と、
   少なくとも、前記反射率画像と、前記原画像の反射率成分の強調度合いを表す強調度合い情報とに基づいて、当該原画像の視認性が高まるように再現された再現画像を生成する機能と
   を実現させるためのプログラム。

Images