JP6160425B2

JP6160425B2 - 画像処理装置及びプログラム

Info

Publication number: JP6160425B2
Application number: JP2013209654A
Authority: JP
Inventors: 佐々木　信; 信佐々木
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2013-10-04
Filing date: 2013-10-04
Publication date: 2017-07-12
Anticipated expiration: 2033-10-04
Also published as: JP2015075794A

Description

本発明は、画像処理装置、プログラムに関する。

与えられた原画像を予め定められた周波数帯域ごとの周波数成分画像に分解し、各画素を処理対象画素とし処理対象画素を含む予め定められた大きさの局所領域について各周波数帯域における周波数成分の強度を算出し、局所領域における各周波数成分の強度に従って処理対象画素が属する周波数帯域を決定するとともに局所領域の各画素に対して周波数帯域の加重値を割り当てて帯域加重画像を生成する画像処理装置は知られている（例えば、特許文献１参照）。

入力画像データのうち画素値の変化が急峻なエッジを保存したままそのエッジ以外の部分を増幅することにより、エッジ以外の部分を強調して表示することができ、従来に比して一段と画像全体のコントラスト及び鮮鋭度を向上させ得る画像処理装置も知られている（例えば、特許文献２参照）。

入力画像の局所統計量に基づいた新しい画像強調手法であって、局所領域を多重に設定することで、鮮鋭かつ高コントラストな強調画像を得ることができる手法も知られている（例えば、非特許文献１参照）。

特開２０１１−１７０７１７号公報特開２００１−２９８６２１号公報

田中豪、末竹規哲、内野英治、「Ｓ次関数を用いた多重スケール画像強調」、電子情報通信学会論文誌D Vol.J91-D No.6 pp.1684-1688

本発明の目的は、反射率成分を強調することで画像の視認性を高める際に、指定された帯域を強調することにある。

請求項１に記載の発明は、原画像から、当該原画像が少なくとも１つの平滑化度合いで平滑化された少なくとも１つの平滑化画像を含む画像群を生成する画像群生成手段と、前記画像群に含まれる少なくとも１つの画像を用いて、前記原画像の照明成分を画素値とする照明画像を生成する照明画像生成手段と、前記少なくとも１つの平滑化画像に基づいて、指定された帯域を強調するための平滑化度合いで前記原画像が平滑化された特定の平滑化画像を取得する平滑化画像取得手段と、前記原画像と前記特定の平滑化画像との差分である差分画像を生成する差分画像生成手段と、前記原画像と、前記照明画像と、当該原画像の反射率成分の強調度合いを表す反射率強調度合い情報と、前記差分画像と、前記帯域の強調度合いを表す帯域強調度合い情報とに基づいて、当該原画像の視認性が高まるように再現された再現画像を生成するための処理を行う画像生成処理手段とを備えたことを特徴とする画像処理装置である。
請求項２に記載の発明は、前記画像生成処理手段は、前記原画像と、前記照明画像とに基づいて、当該原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、少なくとも、前記反射率画像と、前記反射率強調度合い情報と、前記差分画像と、前記帯域強調度合い情報とに基づいて、前記再現画像を生成する再現画像生成手段とを備えたことを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記画像生成処理手段は、前記原画像と、前記照明画像と、前記差分画像と、前記帯域強調度合い情報とに基づいて、当該原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、少なくとも、前記反射率画像と、前記反射率強調度合い情報とに基づいて、前記再現画像を生成する再現画像生成手段とを備えたことを特徴とする請求項１に記載の画像処理装置である。
請求項４に記載の発明は、前記照明画像生成手段は、前記画像群に含まれる複数の平滑化画像の画素値を加重合計することにより、前記原画像の照明成分を推定することを特徴とする請求項１乃至請求項３の何れかに記載の画像処理装置である。
請求項５に記載の発明は、前記画像群生成手段は、前記原画像を含む前記画像群を生成し、前記照明画像生成手段は、前記原画像を用いた２次計画法により、当該原画像の照明成分を推定することを特徴とする請求項１乃至請求項３の何れかに記載の画像処理装置である。
請求項６に記載の発明は、前記平滑化画像取得手段は、前記少なくとも１つの平滑化画像から前記特定の平滑化画像を選択することにより、当該特定の平滑化画像を取得することを特徴とする請求項１乃至請求項３の何れかに記載の画像処理装置である。
請求項７に記載の発明は、コンピュータに、原画像から、当該原画像が少なくとも１つの平滑化度合いで平滑化された少なくとも１つの平滑化画像を含む画像群を生成する機能と、前記画像群に含まれる少なくとも１つの画像を用いて、前記原画像の照明成分を画素値とする照明画像を生成する機能と、前記少なくとも１つの平滑化画像に基づいて、指定された帯域を強調するための平滑化度合いで前記原画像が平滑化された特定の平滑化画像を取得する機能と、前記原画像と前記特定の平滑化画像との差分である差分画像を生成する機能と、前記原画像と、前記照明画像と、当該原画像の反射率成分の強調度合いを表す反射率強調度合い情報と、前記差分画像と、前記帯域の強調度合いを表す帯域強調度合い情報とに基づいて、当該原画像の視認性が高まるように再現された再現画像を生成するための処理を行う機能とを実現させるためのプログラムである。

請求項１の発明によれば、反射率成分を強調することで画像の視認性を高める際に、指定された帯域を強調することができる。
請求項２の発明によれば、反射率成分を強調することで画像の視認性を高める際に、指定された帯域を画像において強調することができる。
請求項３の発明によれば、反射率成分を強調することで画像の視認性を高める際に、指定された帯域を強調するための反射率を得ることができる。
請求項４の発明によれば、視覚特性を考慮して照明成分を推定することができる。
請求項５の発明によれば、本構成を有していない場合に比較して、原画像に対応する実際の場面の物理性質に近くなるように照明成分を推定することができる。
請求項６の発明によれば、照明画像を生成するための画像と画像乱れの発生を抑制するための画像とを一括管理することができる。
請求項７の発明によれば、反射率成分を強調することで画像の視認性を高める際に、指定された帯域を強調することができる。

本発明の第１の実施の形態における画像処理装置の機能構成例を示したブロック図である。原画像がＲＧＢ画像である場合の多層画像生成部による多層画像の生成の様子を示した図である。（ａ）〜（ｃ）は、σの値によって多層画像の各層の画像の周波数が異なることを示した図である。原画像が輝度色度画像である場合の多層画像生成部による多層画像の生成の様子を示した図である。多層画像がＲＧＢの３プレーンから構成される場合の照明推定部による照明光の推定の様子を示した図である。多層画像が輝度の１プレーンから構成される場合の照明推定部による照明光の推定の様子を示した図である。多層画像に原画像が含まれる場合の照明推定部による照明光の推定の様子を示した図である。高周波側を強調する場合の帯域選択部による帯域画像の選択の様子を示した図である。中周波側を強調する場合の帯域選択部による帯域画像の選択の様子を示した図である。本発明の第１の実施の形態における画像処理装置の動作例を示したフローチャートである。本発明の第２の実施の形態における画像処理装置の機能構成例を示したブロック図である。本発明の第２の実施の形態における画像処理装置の動作例を示したフローチャートである。本発明の実施の形態における画像処理装置のハードウェア構成例を示したブロック図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

［発明の背景］
画像を扱って文書を作成する作業は、ＰＣ（Personal Computer）を駆使してモニタを観ながら行うのが一般的である。このような作業においては、近年急速に普及しているタブレット等のＩＣＴ（Information and Communication Technology）デバイスを用いるユーザも増えている。

一般に、事務作業やＤＴＰ（DeskTop Publishing）作業の現場のようなオフィス環境では、環境光の変化に左右されることは少ない。一方で、快適に持ち運べるＩＣＴデバイスには、場所を問わず作業できるという利点はあるが、環境光の変化等、持ち運んだ先に大きく左右されるという欠点もある。

また、画像を扱う作業には、上記のような文書を作成する作業の他にも、ユーザがカメラ付きタブレット等で撮影した画像をそれぞれのデバイスに保存する作業がある。ユーザが互いに画像を見せ合ったり画像で状況を説明したりするシーンもよく見られるようになった。

このように、近年のモニタ環境の特徴としては、従来のモニタ環境とは違って、「手軽に使え」、「使用場所が多様」であることが挙げられる。そして、この近年のモニタ環境では、使用方法や使用環境が従来とは異なることから、色合わせよりも「視認性」の方が重視されている。

「視認性」とは、視対象がはっきり見えるか否かの特性である。画像の視認性を高める方法には、ガンマ補正、ヒストグラムイコライゼーション、ダイナミックレンジ圧縮等に代表される画像処理分野の基本手法がある。

ガンマ補正では、暗部や対象となる領域を盛り上げるカーブを生成し、画素値に適用することで、暗部を明るくする。ヒストグラムイコライゼーションでは、画像のヒストグラムの偏りをなくすカーブを生成し、画素値に適用することで、ヒストグラムが平滑化される再現を行う。ダイナミックレンジ圧縮では、画像の周辺輝度に応じて補正量を変えることで、コントラストを低下させることなく低輝度及び高輝度を表現する。

また、視覚特性を利用した視認性向上の方法には、レティネックス原理を利用したものもある。レティネックスは、人間が反射率によってシーンを知覚しているという考え方に基づき、反射率成分を強調することで視認性を高める基本原理である。

更には、ＩＣＴデバイスに付属のカメラの性能の向上に伴い、表示や描画の際における画像の質感の向上等も望まれている。質感は、近年、その認知等の研究が盛んになっている分野である。

ここで、自然画像等の画像処理での質感向上は、帯域強調を表すことが多い。従来、帯域強調としては、高周波成分を対象とした「エッジ強調」が一般的であった。これは、写り込んだ対象にくっきり感を与えるものである。しかしながら、高周波成分の強調のみが質感の向上に寄与するわけではない。例えば、大まかに言うと、オブジェクトそのものに質感を与える場合は、中周波成分等の強調も考えられる。以上のように、質感を向上させるためには、帯域の選択は大きなファクターとなる。

一方で、質感を向上する一般的な手法は、コントラスト、シャープネス等を高めることである。例えば、従来は、コントラスト及びシャープネスの両方を高めることが考えられていた。しかしながら、これは、視覚特性に基づいた視認性の向上及び複数の帯域での画像強調を行うものではない。

そこで、本実施の形態では、人の視覚特性に基づいて視認性を向上する際に、低周波から高周波までの帯域での画像強調を制御できるようにする。

［第１の実施の形態］
図１は、本発明の第１の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。図示するように、第１の実施の形態における画像処理装置１０は、多層画像生成部１１と、照明推定部１２と、帯域選択部１３と、帯域差分算出部１４と、反射率推定部１５と、画像再現部１７とを備える。

多層画像生成部１１は、主に、原画像を平滑化して平滑化画像を生成する処理を行う。これは、後段の反射率の推定及び帯域の強調のために行われる。平滑化は、例えば、移動平均法又は以下のガウス関数で表されるコンボリューションを行うことにより実施される。

ここで、ｘ，ｙはある画素の位置を表し、ｋは画像処理のフィルタサイズの画素分で積分した場合に結果が１になるように正規化する係数を表し、σは平滑化度合い（スケール）を表す。尚、上記の関数は一例であり、結果として画像が平滑化されるフィルタであれば如何なるものを用いてもよい。例えば、数式１を変形した関数によるフィルタで、エッジ保存を行う平滑化フィルタとして知られるバイラテラルフィルタがあるが、これを用いてもよいものとする。

多層画像生成部１１による多層画像の生成の様子を図２に示す。図２には、原画像がＲＧＢの３プレーンから構成される場合において、多層画像として、スケール１からスケールＮまでのＮ層の画像が生成される例を示している。ここで、スケール１、スケール２、・・・、スケールＮの層は、数式１のσを変化させることにより得られる。図３（ａ）〜（ｃ）に示すように、σを変化させると画像の周波数が変化する。具体的には、（ａ）に示すようにσが小さいと高周波になり、（ｃ）に示すようにσが大きいと低周波になり、（ｂ）に示すようにσが中程度だと周波数も中程度になる。

以上のように、多層画像はＲＧＢの３プレーンのＮ層でもよいが、図４のようなものでもよい。図４は、ＲＧＢ画像を予めＹＣｂＣｒ画像のような輝度色度画像に変換しておく例を示したものであり、この例では、輝度を表すＹの１プレーンのみを多層画像に変換している。これは、輝度のみで照明成分の推定を行う場合があるためである。尚、ここでは、輝度色度で表される色空間としてＹＣｂＣｒ色空間を用いたが、Ｌ＊ａ＊ｂ＊色空間、ＨＳＶ色空間（但し、ＨＳは色度座標へ変換する）等を用いてもよい。Ｌ＊ａ＊ｂ＊色空間を用いた場合はＬ＊を、ＨＳＶ色空間を用いた場合はＶを、それぞれ輝度画像として用いればよい。

また、多層画像の１層として原画像そのものが含まれてもよいものとする。これについては後述する。

本実施の形態では、少なくとも１つの平滑化画像を含む画像群の一例として、多層画像を用いており、原画像から画像群を生成する画像群生成手段の一例として、多層画像生成部１１を設けている。

照明推定部１２は、多層画像のうちの少なくとも１つの画像を用いて、原画像の照明成分を推定する（以下、この推定された照明成分の画像を「照明推定画像」という）。レティネックス原理によれば、人の視覚特性は、注目領域の周辺から照明光を推定していることが知られている。従って、平滑化した画像は、推定された照明光を表すことになる。しかしながら、シーンよって適するスケールが異なるため、例えば、照明光の推定は、以下のようにスケール１からスケールＮまでのＮ層の画像の加重合計をとるのが望ましい。

ここで、Ｌ（ｘ，ｙ）は照明推定画像の画素値を表し、Ｇ_ｎ（ｘ，ｙ）はスケールｎに対する数式１を表し、Ｉ（ｘ，ｙ）は原画像の画素値を表し、Ｗ_ｎはスケールｎに対する重みを表し、「×」を「○」で囲んだ記号は畳み込みを表す。尚、Ｗ_ｎは、簡易的に１／Ｎとしてもよいし、層に応じて可変としてもよい。

多層画像生成部１１が図２のように多層画像を生成した場合の照明推定部１２による照明光の推定の様子を図５に示す。この場合、ＲＧＢの３プレーンに数式２を適用するので、数式２は以下のように解釈される。

ここで、Ｌ_Ｒ（ｘ，ｙ），Ｌ_Ｇ（ｘ，ｙ），Ｌ_Ｂ（ｘ，ｙ）はそれぞれ照明推定画像の画素のＲ，Ｇ，Ｂ値を表し、Ｉ_Ｒ（ｘ，ｙ），Ｉ_Ｇ（ｘ，ｙ），Ｉ_Ｂ（ｘ，ｙ）はそれぞれ原画像の画素のＲ，Ｇ，Ｂ値を表す。

また、多層画像生成部１１が図４のように多層画像を生成した場合の照明推定部１２による照明光の推定の様子を図６に示す。この場合、数式２は以下のように解釈される。

ここで、Ｌ_Ｙ（ｘ，ｙ）は照明推定画像の画素の輝度値を表し、Ｉ_Ｙ（ｘ，ｙ）は原画像の画素の輝度値を表す。

以上のように、照明推定部１２では、スケール１からスケールＮまでのＮ層の画像を用いており、Ｎ≧１とする。但し、原画像そのものが多層画像に含まれる場合はＮ≧２とする。

更に、多層画像の１層として原画像そのものが含まれる場合は、図７のように照明光を推定してもよい。図７は、輝度を表すＹの１プレーンのみを多層画像に変換した場合における照明光の推定の図６とは別の例である。このような照明光の推定は、例えば、文献「R.Kimmel,M.Elad,D.Shaked,R.Keshet,and I.Sobel,“A variational framework for retinex,”Int.J.Comput. Vis.,vol.52,no.1,pp7-23,Jan.2003」に記載された技術を用いて行うとよい。即ち、照明成分Ｌそのものを未知とし、原画像の画素値Ｉ（既知）を用いてＬの空間的滑らかさを表すエネルギー関数を定義し、エネルギー関数をＬの２次計画問題と捉えて解を算出するといった上記文献に記載された方法でＬを算出するとよい。例えば、照明光は空間で滑らかであると仮定すれば、滑らかさをＥとしたＬのエネルギー関数を以下のように定義される。

ここで、ａ，ｂは滑らかさを制御するパラメータである。Ｅ（Ｌ）はｌｏｇＬ（ｘ，ｙ）に対する２次式であるので、２次計画問題として解析的に解くことが可能である。或いは、公知の解析的手法は他にもあるのでそれを適用してもよい。

本実施の形態では、原画像の照明成分を画素値とする照明画像の一例として、照明推定画像を用いており、照明画像を生成する照明画像生成手段の一例として、照明推定部１２を設けている。

帯域選択部１３は、多層画像の中から帯域強調に用いる平滑化画像を選択し、これを帯域画像とする。高周波側を強調する場合、帯域選択部１３は、図８に斜線ハッチングで示すように、多層画像のうちσが小さい層を選択する。一方、帯域選択部１３が、図９に斜線ハッチングで示すように多層画像のうちσがより大きい層を選択すれば、中周波側を強調するための層が選ばれたことになる。尚、図８及び図９の何れにおいても、スケール１、スケール２、・・・、スケールＮの順に、σが大きくなっていくものとする。

高周波側を強調するための画像が帯域選択部１３により選択された場合には、その画像に対する強調はエッジ強調となるので、画像にくっきり感が出る。一方、中周波側を強調するための画像が帯域選択部１３により選択された場合は、その画像における輪郭がより太い領域で強調されるので、形状そのものが強調される。即ち、σが大きくなるほど、物体そのものが強調されるようになる。

また、図８及び図９では、輝度成分の１プレーンの多層画像を例にとったが、ＲＧＢの３プレーンがある場合においても、帯域選択部１３の処理は実施可能である。この場合は、図８及び図９の処理を３プレーン分行えばよい。

尚、以上では、多層画像生成部１１が生成した多層画像から帯域選択部１３が１層の画像を選択し、この画像をそのまま帯域画像としたが、この限りではない。例えば、多層画像生成部１１が生成した多層画像から帯域選択部１３が複数層の画像を選択し、これら複数層の画像から帯域画像を生成してもよい。或いは、多層画像生成部１１が生成した多層画像から帯域画像を選択する帯域選択部１３に代えて、原画像から帯域画像を生成する帯域画像生成部を設けてもよい。このような意味で、帯域選択部１３は、帯域画像を取得する手段として捉えられる。

本実施の形態では、指定された帯域を強調するための平滑化度合いで原画像が平滑化された特定の平滑化画像の一例として、帯域画像を用いており、特定の平滑化画像を取得する平滑化画像取得手段の一例として、帯域選択部１３を設けている。

帯域差分算出部１４は、以上のように強調する帯域に応じて選択された帯域画像と原画像との画素値の差を算出し、この画素値の差を画素値とする帯域差分画像を生成する。

本実施の形態では、原画像と特定の平滑化画像との差分である差分画像の一例として、帯域差分画像を用いており、差分画像を生成する差分画像生成手段の一例として、帯域差分算出部１４を設けている。

反射率推定部１５は、原画像の画素値の照明推定画像の画素値に対する比を求めることにより原画像の反射率を推定する。具体的には、以下のように反射率を表す画像（以下、「反射率推定画像」という）を求める。

ここで、Ｒ（ｘ，ｙ）は反射率推定画像の画素値を表し、Ｉ（ｘ，ｙ）は原画像の画素値を表し、Ｌ（ｘ，ｙ）は照明推定画像の画素値を表す。尚、ＲＧＢの３プレーンのそれぞれで照明推定画像を算出した場合は、数式５も、Ｒ（ｘ，ｙ）がＲＧＢの３プレーン分できるものとして解釈される。また、輝度成分（ＹＣｂＣｒのＹ、Ｌ＊ａ＊ｂ＊のＬ、ＨＳＶのＶ）のみを用いる場合は、１プレーンについて数式５を用いればよい。

本実施の形態では、原画像と照明画像とに基づく原画像の反射率成分を画素値とする反射率画像の一例として、反射率推定画像を用いており、原画像と照明画像とに基づいて反射率画像を生成する反射率画像生成手段の一例として、反射率推定部１５を設けている。

画像再現部１７は、反射率推定部１５が生成した反射率推定画像と、原画像とに基づいて、反射率成分を強調する処理を行う。本実施の形態は、視認性の向上及び質感の向上（帯域強調）の両方を行うものであり、例えば、以下のような再現式により、再現画像を生成する。

ここで、Ｉ＾（ｘ，ｙ）は再現画像の画素値を表し、Ｌ^Ｓ（ｘ，ｙ）は帯域画像の画素値を表し、Ｉ（ｘ，ｙ）−Ｌ^Ｓ（ｘ，ｙ）は帯域差分画像の画素値を表す。また、αは視認性向上の度合いを表すパラメータであり、図１の視認性向上パラメータ（反射率強調度合い情報）に相当する。更に、βは帯域強調のゲインを表すパラメータであり、図１の帯域強調パラメータ（帯域強調度合い情報）に相当する。Ｉ＾（ｘ，ｙ）は、α＝１の場合、反射率と帯域成分の強調そのものとなり、α＝０の場合、原画像の画素値となる。本実施の形態において、αは０から１までの如何なる値でもよいものとする。尚、本明細書では、ハット記号を、数式中では文字の真上に付すが、文中では文字の後ろに付すものとする。

また、再現式は、数式６に限らず、以下のような式であってもよい。

ここで、αは反射率のゲインを表すパラメータであり、図１の視認性向上パラメータ（反射率強調度合い情報）に相当する。ｌｏｇは研究分野では視覚特性を表すものとなっているが、画像処理上はゲインのような作用がある。また、βは帯域強調のゲインを表すパラメータであり、図１の帯域強調パラメータ（帯域強調度合い情報）に相当する。更に、ｃｏｎｓｔは再現式の切片を表す定数である。図１は、画像再現部１７が原画像を用いて再現画像を生成する場合について示したが、この数式７を用いた場合、画像再現部１７は原画像を用いずに再現画像を生成することになる。

尚、本実施の形態では、画像再現部１７が数式６又は数式７を用いて画像を再現することとしたが、本発明の本質を損なわなければ如何なる式を用いて画像を再現することとしてもよい。

本実施の形態では、少なくとも反射率画像と反射率強調度合い情報と差分画像と帯域強調度合い情報とに基づいて再現画像を生成する再現画像生成手段の一例として、画像再現部１７を設けている。

また、本実施の形態において、反射率推定部１５と画像再現部１７とからなる処理部は、原画像の視認性が高まるように再現された再現画像を生成するための処理を行う画像生成処理手段の一例である。

図１０は、本発明の第１の実施の形態における画像処理装置１０の動作例を表すフローチャートである。

原画像が入力されると、まず、多層画像生成部１１が、図２及び図４に示したように、原画像から、少なくとも１つの平滑化された画像を含む多層画像を生成する（ステップ１０１）。

次に、照明推定部１２が、図５乃至図７に示したように、ステップ１０１で生成された多層画像のうちの少なくとも１層の画像を用いて、照明推定画像を生成する（ステップ１０２）。また、帯域選択部１３が、図８及び図９に示したように、ステップ１０１で生成された多層画像から帯域強調に用いる画像を選択し、これを帯域画像とする（ステップ１０３）。そして、帯域差分算出部１４が、原画像と帯域画像との差分である帯域差分画像を生成する（ステップ１０４）。一方で、反射率推定部１５が、原画像と、ステップ１０２で生成された照明推定画像とに基づいて、反射率推定画像を生成する（ステップ１０５）。ここで、ステップ１０２乃至ステップ１０５はこの順序で実行されることとしたが、ステップ１０２の後にステップ１０５が実行され、ステップ１０３の後にステップ１０４が実行されるのであれば、如何なる順序で実行されてもよい。或いは、ステップ１０２及びステップ１０５の少なくとも１つのステップと、ステップ１０３及びステップ１０４の少なくとも１つのステップとは、並行に実行されるものであってもよい。

最後に、画像再現部１７が、原画像と、ステップ１０４で生成された帯域差分画像と、ステップ１０５で生成された反射率推定画像と、視認性向上パラメータと、帯域強調パラメータとに基づいて、再現画像を生成する（ステップ１０６）。尚、ここでは、数式６を用いて再現画像を生成する場合を想定して原画像を用いることとしたが、数式７を用いて再現画像を生成する場合は、ステップ１０５で原画像を用いなくてもよい。

［第２の実施の形態］
図１１は、本発明の第２の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。図示するように、第２の実施の形態における画像処理装置１０は、多層画像生成部１１と、照明推定部１２と、帯域選択部１３と、帯域差分算出部１４と、合成反射率推定部１６と、画像再現部１７とを備える。このうち、多層画像生成部１１、照明推定部１２、帯域選択部１３、及び帯域差分算出部１４については、第１の実施の形態と同じなので説明を省略し、以下では、合成反射率推定部１６及び画像再現部１７についてのみ説明する。

合成反射率推定部１６は、帯域強調を考慮した反射率成分を算出する。具体的には、以下のように帯域差分画像を合成した反射率を表す画像（以下、「合成反射率推定画像」という）を求める。

ここで、Ｉ（ｘ，ｙ）、Ｌ（ｘ，ｙ）、Ｌ^Ｓ（ｘ，ｙ）、Ｉ（ｘ，ｙ）−Ｌ^Ｓ（ｘ，ｙ）は第１の実施の形態で説明したものである。また、Ｒ（ｘ，ｙ）は合成反射率推定画像の画素値である。更に、βは帯域強調のゲインを表すパラメータであり、図１１の帯域強調パラメータ（帯域強調度合い情報）に相当する。

本実施の形態では、原画像と照明画像と差分画像と帯域強調度合い情報とに基づく原画像の反射率成分を画素値とする反射率画像の一例として、合成反射率推定画像を用いており、原画像と照明画像と差分画像と帯域強調度合い情報とに基づいて反射率画像を生成する反射率画像生成手段の一例として、合成反射率推定部１６を設けている。

画像再現部１７は、このように算出された合成反射率推定画像を用いて、以下のように視認性向上を行う。

ここで、Ｉ＾（ｘ，ｙ）は再現画像の画素値を表す。また、αは視認性向上の度合いを表すパラメータであり、図１１の視認性向上パラメータ（反射率強調度合い情報）に相当する。Ｉ＾（ｘ，ｙ）は、α＝１の場合、反射率そのものとなり、α＝０の場合、原画像の画素値となる。本実施の形態において、αは０から１までの如何なる値でもよいものとする。

また、再現式は、数式９に限らず、以下のような式であってもよい。

ここで、αは反射率のゲインを表すパラメータであり、図１１の視認性向上パラメータ（反射率強調度合い情報）に相当する。ｌｏｇは研究分野では視覚特性を表すものとなっているが、画像処理上はゲインのような作用がある。また、ｃｏｎｓｔは再現式の切片を表す定数である。図１１は、画像再現部１７が原画像を用いて再現画像を生成する場合について示したが、この数式１０を用いた場合、画像再現部１７は原画像を用いずに再現画像を生成することになる。

尚、本実施の形態では、画像再現部１７が数式９又は数式１０を用いて画像を再現することとしたが、本発明の本質を損なわなければ如何なる式を用いて画像を再現することとしてもよい。

本実施の形態では、少なくとも反射率画像と反射率強調度合い情報とに基づいて再現画像を生成する再現画像生成手段の一例として、画像再現部１７を設けている。

図１２は、本発明の第２の実施の形態における画像処理装置１０の動作例を表すフローチャートである。

原画像が入力されると、まず、多層画像生成部１１が、図２及び図４に示したように、原画像から、少なくとも１つの平滑化された画像を含む多層画像を生成する（ステップ１２１）。

次に、照明推定部１２が、図５乃至図７に示したように、ステップ１２１で生成された多層画像のうちの少なくとも１層の画像を用いて、照明推定画像を生成する（ステップ１２２）。また、帯域選択部１３が、図８及び図９に示したように、ステップ１２１で生成された多層画像から帯域強調に用いる画像を選択し、これを帯域画像とする（ステップ１２３）。そして、帯域差分算出部１４が、原画像と帯域画像との差分である帯域差分画像を生成する（ステップ１２４）。ここで、ステップ１２２、ステップ１２３及びステップ１２４はこの順序で実行されることとしたが、ステップ１２３の後にステップ１２４が実行されるのであれば、如何なる順序で実行されてもよい。或いは、ステップ１２２と、ステップ１２３及びステップ１２４の少なくとも１つのステップとは並行に実行されるものであってもよい。

次いで、合成反射率推定部１６が、原画像と、ステップ１２４で生成された帯域差分画像と、ステップ１２２で生成された照明推定画像と、帯域強調パラメータとに基づいて、合成反射率推定画像を生成する（ステップ１２５）。

最後に、画像再現部１７が、原画像と、ステップ１２５で生成された合成反射率推定画像と、視認性向上パラメータとに基づいて、再現画像を生成する（ステップ１２６）。尚、ここでは、数式９を用いて再現画像を生成する場合を想定して原画像を用いることとしたが、数式１０を用いて再現画像を生成する場合は、ステップ１２６で原画像を用いなくてもよい。

［画像処理装置のハードウェア構成］
本実施の形態における画像処理装置１０は、例えばＰＣにインストールされた画像処理ソフトウェアとしても実現され得るが、典型的には、画像読取り及び画像形成を行う画像処理装置１０として実現される。

図１３は、このような画像処理装置１０のハードウェア構成例を示した図である。図示するように、画像処理装置１０は、ＣＰＵ（Central Processing Unit）２１と、ＲＡＭ（Random Access Memory）２２と、ＲＯＭ（Read Only Memory）２３と、ＨＤＤ（Hard Disk Drive）２４と、操作パネル２５と、画像読取部２６と、画像形成部２７と、通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）２８とを備える。

ＣＰＵ２１は、ＲＯＭ２３等に記憶された各種プログラムをＲＡＭ２２にロードして実行することにより、後述する各機能を実現する。

ＲＡＭ２２は、ＣＰＵ２１の作業用メモリ等として用いられるメモリである。

ＲＯＭ２３は、ＣＰＵ２１が実行する各種プログラム等を記憶するメモリである。

ＨＤＤ２４は、画像読取部２６が読み取った画像データや画像形成部２７における画像形成にて用いる画像データ等を記憶する例えば磁気ディスク装置である。

操作パネル２５は、各種情報の表示やユーザからの操作入力の受付を行うタッチパネルである。ここで、操作パネル２５は、各種情報が表示されるディスプレイと、指やスタイラスペン等で指示された位置を検出する位置検出シートとからなる。

画像読取部２６は、紙等の記録媒体に記録された画像を読み取る。ここで、画像読取部２６は、例えばスキャナであり、光源から原稿に照射した光に対する反射光をレンズで縮小してＣＣＤ（Charge Coupled Devices）で受光するＣＣＤ方式や、ＬＥＤ光源から原稿に順に照射した光に対する反射光をＣＩＳ（Contact Image Sensor）で受光するＣＩＳ方式のものを用いるとよい。

画像形成部２７は、記録媒体に画像を形成する。ここで、画像形成部２７は、例えばプリンタであり、感光体に付着させたトナーを記録媒体に転写して像を形成する電子写真方式や、インクを記録媒体上に吐出して像を形成するインクジェット方式のものを用いるとよい。

通信Ｉ／Ｆ２８は、ネットワークを介して他の装置との間で各種情報の送受信を行う。

尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

１０…画像処理装置、１１…多層画像生成部、１２…照明推定部、１３…帯域選択部、１４…帯域差分算出部、１５…反射率推定部、１６…合成反射率推定部、１７…画像再現部

Claims

原画像から、当該原画像が少なくとも１つの平滑化度合いで平滑化された少なくとも１つの平滑化画像を含む画像群を生成する画像群生成手段と、
前記画像群に含まれる少なくとも１つの画像を用いて、前記原画像の照明成分を画素値とする照明画像を生成する照明画像生成手段と、
前記少なくとも１つの平滑化画像に基づいて、指定された帯域を強調するための平滑化度合いで前記原画像が平滑化された特定の平滑化画像を取得する平滑化画像取得手段と、
前記原画像と前記特定の平滑化画像との差分である差分画像を生成する差分画像生成手段と、
前記原画像と、前記照明画像と、当該原画像の反射率成分の強調度合いを表す反射率強調度合い情報と、前記差分画像と、前記帯域の強調度合いを表す帯域強調度合い情報とに基づいて、当該原画像の視認性が高まるように再現された再現画像を生成するための処理を行う画像生成処理手段と
を備えたことを特徴とする画像処理装置。
前記画像生成処理手段は、
前記原画像と、前記照明画像とに基づいて、当該原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、
少なくとも、前記反射率画像と、前記反射率強調度合い情報と、前記差分画像と、前記帯域強調度合い情報とに基づいて、前記再現画像を生成する再現画像生成手段と
を備えたことを特徴とする請求項１に記載の画像処理装置。
前記画像生成処理手段は、
前記原画像と、前記照明画像と、前記差分画像と、前記帯域強調度合い情報とに基づいて、当該原画像の反射率成分を画素値とする反射率画像を生成する反射率画像生成手段と、
少なくとも、前記反射率画像と、前記反射率強調度合い情報とに基づいて、前記再現画像を生成する再現画像生成手段と
を備えたことを特徴とする請求項１に記載の画像処理装置。
前記照明画像生成手段は、前記画像群に含まれる複数の平滑化画像の画素値を加重合計することにより、前記原画像の照明成分を推定することを特徴とする請求項１乃至請求項３の何れかに記載の画像処理装置。
前記画像群生成手段は、前記原画像を含む前記画像群を生成し、
前記照明画像生成手段は、前記原画像を用いた２次計画法により、当該原画像の照明成分を推定することを特徴とする請求項１乃至請求項３の何れかに記載の画像処理装置。
前記平滑化画像取得手段は、前記少なくとも１つの平滑化画像から前記特定の平滑化画像を選択することにより、当該特定の平滑化画像を取得することを特徴とする請求項１乃至請求項３の何れかに記載の画像処理装置。
コンピュータに、
原画像から、当該原画像が少なくとも１つの平滑化度合いで平滑化された少なくとも１つの平滑化画像を含む画像群を生成する機能と、
前記画像群に含まれる少なくとも１つの画像を用いて、前記原画像の照明成分を画素値とする照明画像を生成する機能と、
前記少なくとも１つの平滑化画像に基づいて、指定された帯域を強調するための平滑化度合いで前記原画像が平滑化された特定の平滑化画像を取得する機能と、
前記原画像と前記特定の平滑化画像との差分である差分画像を生成する機能と、
前記原画像と、前記照明画像と、当該原画像の反射率成分の強調度合いを表す反射率強調度合い情報と、前記差分画像と、前記帯域の強調度合いを表す帯域強調度合い情報とに基づいて、当該原画像の視認性が高まるように再現された再現画像を生成するための処理を行う機能と
を実現させるためのプログラム。