JP4661754B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置および画像処理プログラムに関し、特にレティネックス処理を高速且つ高精度に行うことができる画像処理装置および画像処理プログラムに関するものである。

逆光条件下で被写体が撮像された場合、被写体部分の画像は、詳細な態様が判別困難となるほど明度やコントラストの低い不明瞭な逆光画像となる。かかる逆光画像のみならず、露光の過不足や、撮像時のぶれやぼけ、ノイズ、光量不足などによる劣悪な画像を、画像処理によって明度やコントラストを向上させて画質を改良することが行われている。かかる画像処理の１手法として、レティネックス処理（Ｒｅｔｉｎｅｘ処理）が知られている。

レティネックス処理は、高画質部分については元画像データを保持し、主に低画質部分の画質改良を行うものである。このレティネックス処理では、ガウスフィルタにより、元の画像の各画素データを周辺画素の画素データを反映させた値に補正し、その補正された画素データの自然対数から元の画像の反射率（リフレクタンス）成分データを算出し、元画像の画素成分で元の画像の画素データを除してイルミナンス成分データを算出する。つまり、元の画像を、反射率成分とイルミナンス成分との２の構成成分に分けるのである。そして、反射率成分と元画像の輝度からイルミナンス成分を算出し、イルミナンス成分に対してガンマ補正等を用いて、イルミナンス成分の明度や階調（コントラスト）を補正する処理を行った後、その補正されたイルミナンス成分を用いて元画像の輝度を補正することで、元の画像に対し逆光画像部分などの低画質部分の画質が改良された画像データを生成することができる。反射率成分を求めるには、反射率Ｒ（ｘ，ｙ）の正規化を行う。

ここで、図１１を参照して、反射率Ｒ（ｘ，ｙ）の正規化について説明する。反射率Ｒ（ｘ，ｙ）は、次式により算出される。

ここで、ｘは、横方向の座標を、ｙは、縦方向の座標を、Ｉ（ｘ，ｙ）は、座標（ｘ，ｙ）における強度値を、Ｆ（ｘ，ｙ）は、座標（ｘ，ｙ）のフィルタ係数を、＊は、畳み込み演算（コンボリューション）をそれぞれ示し、この畳み込み演算により周辺平均輝度（周辺平均値）が求められる。なお、ｌｏｇは、ｅを底とする自然対数である。また、畳み込み演算では、マスクを構成する複数のフィルタ係数と画像を構成する画素値とが乗算され、その積が累算される。

図１１は、ある静止画像について、上式により求められた反射率Ｒ（ｘ，ｙ）の最小値を０、最大値を２５５とする０から２５５の範囲の整数値に正規化し、各整数の出現頻度を集計したヒストグラムである。

このヒストグラムからメディアン値Ｍを求め、メディアン値から大きい側へ４５％の画素数を含む範囲の上限値をＵ、メディアン値から小さい側へ４５％の画素数を含む範囲の下限値をＤとする。

ＵおよびＤの値に対応するＲ（ｘ，ｙ）の値を、ＵｐＲ、ＤｏｗｎＲとｐとし、正規化反射率ｒｅｆｌｅ（ｘ，ｙ）は、Ｒ（ｘ，ｙ）の値がＤｏｗｎＲ以下の場合は、０．０とし、Ｒ（ｘ，ｙ）の値がＵｐＲ以上の場合は、１．０とし、Ｒ（ｘ，ｙ）の値がＤｏｗｎＲより大きくＵｐＲより小さい場合は、

とする。

このようにしてｒｅｆｌｅ（ｘ，ｙ）が求められるので、クリップされる範囲（ＵｐＲとＤｏｗｎＲとの間）を求めるため、Ｒ（ｘ，ｙ）を全画素分記憶しなければならない。尚かつ、Ｒ（ｘ，ｙ）は、対数演算により求まる数値であるので、小数点を用いて記録する必要があり、浮動小数点では、４バイト、倍精度実数の場合には８バイトで画素毎に記憶するため膨大な記憶容量が必要である。

特開２００１−６９５２５号公報（特許文献１）には、このレティネックス処理をＲＧＢの各プレーンで独立に行った場合に、カラーバランスが崩れたり色ずれが発生するという問題点を解決するために、ＲＧＢ値をＹＣｂＣｒやＹＩＱという輝度成分と色成分により構成される座標空間に変換し、輝度成分Ｙに対してのみレティネックス処理を施し、色成分を維持したまま、ＲＧＢに戻すという方法が開示されている。この方法を用いると輝度成分のみが調整され、色成分は調整されないのでカラーバランスが崩れたり色ずれが発生することがない。また、この方法では、輝度成分のみにレティネックス処理を行うので、ＲＧＢの各プレーンそれぞれにレティネックス処理を行う場合に比べ、計算量が少なく、高速で処理を実行することができとともに、Ｒ（ｘ，ｙ）を正規化するために、ＲＧＢそれぞれについて記憶する必要がなく、輝度のみについて記憶すればよいので、必要な記憶容量は少なくなる。

また、特許３７３１５７７号（特許文献２）には、このレティネックス処理の処理速度を高速にする方法が開示されている。この方法は、元画像を平均画素法などの方法により縮小画像（解像度が低い）を形成し、その縮小画像の各画素について周辺平均輝度を求めた周辺平均輝度画像（ボケ画像）を形成し、そのボケ画像を拡大した画像と元画像からレティネックス処理画像を形成し、更に、そのレティネックス処理画像と元画像とから出力画像を形成している。
特開２００１−６９５２５号公報 特許３７３１５７７号公報

しかしながら、従来の文献に開示された処理では、元画像の全画素について、それぞれ反射率を演算して記憶し、全画素分の反射率を得た後に、その反射率を集計して正規化パラメータを決定していたから、全画素分の反射率を記憶するための膨大な記憶容量が必要という問題点があった。また、従来の処理では、全画素分の反射率を演算してから正規化パラメータを決定し、その後、反射率を正規化して得られるレティネックス値によって画素値を補正し出力していたから、処理を開始してから画素値の出力開始までの時間が長いという問題点もあった。

本発明は、上記問題点を解決するためになされたものであり、レティネックス処理を高速且つ高精度に行うことができ、メモリ使用量を節約できる画像処理装置および画像処理プログラムを提供することを目的としている。

本発明者は、上記問題点を解決するために鋭意検討した結果、元画像の反射率を演算するのに先立って、縮小画像の反射率を取得し、その縮小画像の反射率を用いて正規化パラメータを決定することを想到した。正規化パラメータを求めるために、縮小画像を用いた方が、反射率を演算すべき画素の数を低減することができるので、メモリ使用量を小さくすることができる。また、正規化パラメータを事前に決定しておくことにより、元画像について演算された反射率は、他の画素の反射率の演算終了を待たずに、正規化して直ぐに出力することができるので、画像の出力開始までの時間が短縮し、処理を高速化することができる。

このように、縮小画像から正規化パラメータを導出することにより処理を高速化する場合、縮小画像を用いて得られる正規化パラメータと、元画像を用いて得られる正規化パラメータの差が大きいと画質が劣化するおそれがあるため、これらの値の差は小さいことが望ましい。

本発明者は、さらに検討を重ねた結果、縮小画像用マスクのカバー率と、元画像用マスクのカバー率を等しくすることで、縮小画像を用いた場合でも好適な正規化パラメータ（すなわち、元画像の反射率から得た正規化パラメータにより近い値）が得られ、高精度の出力結果が得られることを知見した。

図１２を参照してより詳細に説明する。図１２は、縮小画像用マスクと元画像用マスクとを模式的に示す図である。上述したように、各画素について反射率を求める際には、注目画素周辺の画素の値から得られる周辺平均輝度を求めるのであるが、その際に注目画素周辺の各画素の値は、各マスクが有するフィルタ係数により重み付けされる。カバー率を等しくするとは、図１２に示すように、元画像において、注目画素にマスク中央を合わせたときに元画像用マスクが覆う面積の元画像全体に対する割合と、縮小画像において、注目画素にマスク中央を合わせたときに縮小画像用マスクで覆う面積の縮小画像全体に対する割合とを等しくすることをいう。換言すれば、元画像用マスクに対する縮小画像用マスクのサイズの比率を、元画像全体に対する縮小画像全体のサイズの比率に等しくすることをいう。

例えば、画像の縮小率が１／２であって、元画像用マスクが、元画像における６４（８×８）個の画素を覆うサイズを有する場合、縮小画像用マスクを、縮小画像における１６（４×４）個の画素を覆うサイズとすることにより、カバー率を等しくすることができる。このようにカバー率を等しくすることにより、１つの注目画素の反射率を演算する際に参照される範囲が一致するので、縮小画像の反射率を用いた場合でも好適な正規化パラメータが得られるのである。

カバー率を等しくするためには、縮小画像形成時と同じ縮小率で元画像用マスクを縮小し、縮小画像用マスクを生成すれば良い。しかしながら、そのようにすると、縮小率が極めて大きい場合、すなわち、元画像に対して縮小画像が極めて小さい場合、縮小画像用マスクが小さくなり過ぎて、適切な演算結果を得ることができなくなるという問題点が生じる。さらにこのような問題点は、以下に記載するような場合に特に顕著となる。

図１３は、従来の元画像用マスクＦと、その元画像用マスクＦの縦方向長さと横方向長さを、それぞれ１／８に縮小して得られる縮小用マスクＦｓとを模式的に示す図である。図１３に示した元画像用マスクＦにおいて、フィルタ係数が対応づけられた座標をグレイ色で示し、フィルタ係数が対応づけられていない座標は白色で示す。このような元画像用マスクＦによれば、元画像用マスクＦで覆われる画素のうち、グレイ色で示す座標に対応した画素の値にはフィルタ係数が乗算され、周辺輝度に値が反映される。一方、白色で示す座標に対応した画素の値は、フィルタ係数が乗算されず、間引かれ、周辺輝度に値が反映されない。マスクで覆う領域内の全ての画素についてフィルタ係数を乗算し、畳み込み演算を行うと計算量が膨大になるので、適度にフィルタ係数を間引くことにより、計算量を削減することが行われている。

このように、元画像においては、周辺画素の全てを反映するのではなく、注目画素周辺の一部の画素の値が周辺平均輝度に反映されるのに対し、元画像用マスクＦを単に１／８に縮小した縮小画像用マスクＦｓでは、全ての座標にフィルタ係数を有するから、全ての周辺画素の値が周辺平均輝度に反映されることとなる。その結果、元画像から得られる反射率の分布と、縮小画像から得られる反射率の分布との違いが大きくなり、縮小画像の反射率を集計して得られるレティネクス処理における輝度を補正するための正規化パラメータが不適切な値となるのである。

また、例えば、縞模様の逆光画像（具体的に、檻の後方に光源が配置され、前記檻の前方の、かつ遠方から、前記檻を逆光撮影した画像など）にレティネックス処理を施す場合、縮小画像と元画像とにそれぞれ別のマスクを適用すると、例えば、参照画素が１画素分異なるだけで、縞を構成する画素の輝度ではなく、前記縞の画素の隣の画素の輝度が反映されてしまい、元画像から得られる反射率の分布と、縮小画像から得られる反射率の分布との違いが大きくなるという事態も考えられる。

本発明者は、上記問題点を解決するために、元画像用マスクを縮小して縮小画像用マスクを作成するのではなく、縮小画像用マスクから元画像用マスクを作成することにより、より好適な正規化パラメータ（すなわち、元画像を用いて得られる正規化パラメータにより近い値）が得られることを知見した。このようにすれば、縮小率や間引きのパターンに拘わらず、元画像用マスクと縮小画像用マスクの対応関係を保つことができるので、適切な正規化パラメータを導出することができ、縮小画像用マスクを用いたレティネックス処理においても、正確な輝度の補正が行えるのである。

上記目的を達成するために、請求項１記載の画像処理装置は、元画像を構成する各画素について前記画素の周辺平均輝度値を求め、その周辺平均輝度値に基づいて、前記元画像を構成する各画素の輝度補正を行うものであって、元画像を縮小して縮小画像を形成する縮小画像形成手段と、その縮小画像形成手段により形成された縮小画像の各画素について周辺平均輝度値を算出する際に、注目画素とその注目画素の周辺画素とに対し畳み込み演算を行うための縮小画像用マスクを、前記縮小画像用マスクが予め記憶された記憶手段から取得し、または生成することにより取得する縮小画像用マスク取得手段と、その縮小画像用マスク取得手段により取得した縮小画像用マスクを用いて、前記縮小画像の各画素について、画素の値とその画素の周辺平均輝度値とから反射率を求める縮小画像反射率取得手段と、その縮小画像反射率取得手段により求められた反射率が取る値の全範囲における各値の頻度を集計し、元画像の反射率の正規化を行う際のパラメータを設定する正規化パラメータ設定手段と、元画像の各画素について周辺平均輝度値を求める際に、注目画素とその注目画素の周辺画素とに対し畳み込み演算を行うための元画像用マスクを生成する元画像用マスク生成手段と、その元画像用マスク生成手段により生成された元画像用マスクを用いて、前記元画像の各画素について、画素の値とその画素の周辺平均輝度値とから反射率を求め、その反射率を前記正規化パラメータ設定手段により設定されたパラメータに基づいて正規化した正規化レティネックス値を求め、その正規化レティネックス値と、元画像の画素の輝度値との比に基づいて前記元画像を構成する各画素の輝度補正を行う補正手段とを備え、前記元画像用マスク生成手段は、前記縮小画像用マスク取得手段により取得された縮小画像用マスクを拡大処理することによって前記元画像用マスクを生成するものであり、前記縮小画像用マスクは、注目画素周辺の所定領域を覆うものであり、その所定領域内の位置に対応づけたフィルタ係数を有し、前記縮小画像反射率取得手段は、前記縮小画像用マスクで所定領域を覆うとき、フィルタ係数が対応づけられた位置に対応する参照画素の値にフィルタ係数を乗算することに基づいて算出される周辺平均輝度値から反射率を取得するものである。

請求項２記載の画像処理装置は、請求項１記載の画像処理装置において、前記元画像に対する前記縮小画像の縮小率を設定する縮小率設定手段を備え、前記元画像用マスク生成手段は、縮小画像用マスクの縦横比と、元画像用マスクの縦横比とが等しくなるように、前記元画像用マスクを生成するものであり、且つ、前記縮小率設定手段により設定される前記縮小率で前記縮小画像用マスクのサイズを除した値が、前記元画像用マスクのサイズと等しくなるように、前記元画像用マスクを生成することにより、元画像に対する縮小画像の縮小率に応じた元画像用マスクを生成するものである。

請求項３記載の画像処理装置は、請求項２記載の画像処理装置において、前記補正手段は、前記元画像用マスクで覆われる注目画素周辺の領域のうち、前記元画像用マスクにおいてフィルタ係数が対応付けられた位置に対応する参照画素の値にフィルタ係数を乗算することに基づいて、周辺平均輝度値を算出するものであり、前記元画像用マスク生成手段は、前記縮小画像用マスクに設定された座標のうち、フィルタ係数が設定された位置を示す座標を取得する座標取得手段と、前記座標取得手段により取得される前記座標を、前記縮小率設定手段により設定される前記縮小率で除算することにより、前記元画像用マスクにおいてフィルタ係数を設定すべき位置を示す座標を算出する座標算出手段とを備え、前記元画像用マスクにおいて、前記座標算出手段により算出された座標で示される位置に、フィルタ係数を設定するものである。

請求項４記載の画像処理プログラムは、元画像を構成する各画素について周辺平均輝度値を求め、その周辺平均輝度値に基づいて、前記元画像を構成する各画素の輝度補正を行う画像処理装置により実行されるプログラムにおいて、元画像を縮小して縮小画像を形成する縮小画像形成ステップと、その縮小画像形成ステップにより形成された縮小画像の各画素について周辺平均輝度値を算出する際に、注目画素とその注目画素の周辺画素とに対し畳み込み演算を行うための縮小画像用マスクを、前記縮小画像用マスクが予め記憶された記憶手段から取得し、または生成することにより取得する縮小画像用マスク取得ステップと、その縮小画像用マスク取得ステップにより取得した縮小画像用マスクを用いて、前記縮小画像の各画素について、画素の値とその画素の周辺平均輝度値とから反射率を求める縮小画像反射率取得ステップと、その縮小画像反射率取得ステップにより求められた反射率が取る値の全範囲における各値の頻度を集計し、元画像の反射率の正規化を行う際のパラメータを設定する正規化パラメータ設定ステップと、元画像の各画素について周辺平均輝度値を求める際に、注目画素とその注目画素の周辺画素とに対し畳み込み演算を行うための元画像用マスクを生成する元画像用マスク生成ステップと、その元画像用マスク生成ステップにより生成された元画像用マスクを用いて、前記元画像の各画素について、画素の値とその画素の周辺平均輝度値とから反射率を求め、その反射率を前記正規化パラメータ設定ステップにより設定されたパラメータに基づいて正規化した正規化レティネックス値を求め、その正規化レティネックス値と、元画像の輝度値との比に基づいて前記元画像を構成する各画素の輝度補正を行う補正ステップとを前記画像処理装置に実行させるものであり、前記元画像用マスク生成ステップは、前記縮小画像用マスク取得ステップにより取得された縮小画像用マスクを拡大処理することによって前記元画像用マスクを生成するものであり、前記縮小画像用マスクは、注目画素周辺の所定領域を覆うものであり、その所定領域内の位置に対応づけたフィルタ係数を有し、前記縮小画像反射率取得ステップは、前記縮小画像用マスクで所定領域を覆うとき、フィルタ係数が対応づけられた位置に対応する参照画素の値にフィルタ係数を乗算することに基づいて算出される周辺平均輝度値から反射率を取得するものである。

請求項５記載の画像処理プログラムは、請求項４記載の画像処理プログラムにおいて、前記元画像に対する前記縮小画像の縮小率を設定する縮小率設定ステップを、前記画像処理装置に実行させるものであり、前記元画像用マスク生成ステップは、縮小画像用マスクの縦横比と、元画像用マスクの縦横比とが等しくなるように、前記元画像用マスクを生成するものであり、且つ、前記縮小率設定ステップにより設定される前記縮小率で前記縮小画像用マスクのサイズを除した値が、前記元画像用マスクのサイズと等しくなるように、前記元画像用マスクを生成することにより、元画像に対する縮小画像の縮小率に応じた元画像用マスクを生成するものである。

請求項６記載の画像処理プログラムは、請求項５記載の画像処理プログラムにおいて、前記補正ステップは、前記元画像用マスクで覆われる注目画素周辺の領域のうち、前記元画像用マスクにおいてフィルタ係数が対応付けられた位置に対応する参照画素の値にフィルタ係数を乗算することに基づいて、周辺平均輝度値を算出するものであり、前記元画像用マスク生成ステップは、前記縮小画像用マスクに設定された座標のうち、フィルタ係数が設定された位置を示す座標を取得する座標取得ステップと、前記座標取得ステップにより取得される前記座標を、前記縮小率設定ステップにより設定される前記縮小率で除算することにより、前記元画像用マスクにおいてフィルタ係数を設定すべき位置を示す座標を算出する座標算出ステップとを備え、前記元画像用マスクにおいて、前記座標算出ステップにより算出された座標で示される位置に、フィルタ係数を設定するものである。

請求項１記載の画像処理装置によれば、縮小画像反射率取得手段により、前記縮小画像の各画素について、画素の値とその画素の周辺平均値とから反射率が求められ、正規化パラメータ設定手段により、その縮小画像反射率取得手段により求められた反射率が取る値の全範囲における各値の頻度が集計され、元画像の反射率の正規化を行う際のパラメータが設定されるので、 パラメータを求める際に行う畳み込み演算における演算数が少なく、処理を高速で行うことができると共に、必要なメモリ量を節約できるという効果がある。

また、元画像用マスク生成手段は、縮小画像用マスク取得手段により取得された縮小画像用マスクを拡大処理することによって、元画像用マスクを生成するので、縮小率に拘わらず、縮小画像用マスクの領域を確保し、適切なパラメータを設定することができるので、高精度の出力結果が得られるという効果がある。

請求項２記載の画像処理装置によれば、請求項１記載の画像処理装置の奏する効果に加え、前記元画像用マスク生成手段は、縮小率設定手段によって設定された、元画像に対する縮小画像の縮小率に応じて、元画像用マスクを生成するので、縮小画像マスクで覆う領域と、元画像用マスクで覆う領域とを対応づけることができ、より高精度の出力結果が得られるという効果がある。

請求項３記載の画像処理装置によれば、請求項２記載の画像処理装置の奏する効果に加え、より高精度の出力結果が得られるという効果がある。

請求項４記載の画像処理プログラムによれば、縮小画像反射率取得ステップにより、前記縮小画像の各画素について、画素の値とその画素の周辺平均値とから反射率が求められ、正規化パラメータ設定ステップにより、その縮小画像反射率取得ステップにより求められた反射率が取る値の全範囲における各値の頻度が集計され、元画像の反射率の正規化を行う際のパラメータが設定されるので、 パラメータを求める際に行う畳み込み演算における演算数が少なく、処理を高速で行うことができると共に、必要なメモリ量を節約できるという効果がある。

また、元画像用マスク生成ステップは、縮小画像用マスクステップにより取得された縮小画像用マスクを拡大処理することによって元画像用マスクを生成するので、縮小率に拘わらず、縮小画像用マスクの領域を確保し、適切なパラメータを設定することができるので、高精度の出力結果が得られるという効果がある。

請求項５記載の画像処理プログラムによれば、請求項４記載の画像処理プログラムの奏する効果に加え、前記元画像用マスク生成ステップは、縮小率設定ステップによって設定された、元画像に対する縮小画像の縮小率に応じて、元画像用マスクを生成するので、縮小画像マスクで覆う領域と、元画像用マスクで覆う領域とを対応づけることができ、より高精度の出力結果が得られるという効果がある。

請求項６記載の画像処理プログラムによれば、請求項５記載の画像処理プログラムの奏する効果に加え、より高精度の出力結果が得られるという効果がある。

以下、本発明の好ましい実施形態について添付図面を参照して説明する。図１は、本実施形態の画像処理を行う機能を有するプリンタ１の電気的な構成を示したブロック図である。本実施形態においては、プリンタ１に搭載された画像処理プログラムは、パーソナルコンピュータ（以下「ＰＣ」と称する）２や、デジタルカメラ２１や、外部メディア２０から入力された画像データ（元画像データ）に対しレティネックス処理（Ｒｅｔｉｎｅｘ処理）などを実行して、画像データの逆光画像部分などの低画質領域の補正を実行するように構成されている。

図１に示すように、プリンタ１には、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、印刷ヘッドなどから構成され、印刷媒体（例えば、紙媒体など）への印刷（出力）を行う印刷部１５、出力画像サイズなどの入力値をユーザが入力可能なユーザ操作部（例えば、テンキーなど）を有する操作パネル１６とを備えている。

また、プリンタ１は、ケーブル５を介してＰＣ２と接続可能なインターフェイス（以下「Ｉ／Ｆ」と称する）１７と、ケーブル６を介してデジタルカメラ２１と接続可能なＩ／Ｆ１８と、外部メディア２０（例えば、ＳＤメモリカード、メモリスティックなどのフラッシュメモリにより構成される）を着脱自在に装着可能な外部メディアスロット１９とを備えている。これらのＩ／Ｆ１７、１８により行われる通信方法としてＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）が使用される。

よって、プリンタ１は、ＰＣ２に記憶されている画像データをケーブル５及びＩ／Ｆ１７を介して入力することが可能であると共に、デジタルカメラ２１によって撮影された画像データをケーブル６及びＩ／Ｆ１８を介して入力することが可能である。さらに、外部メディアスロット１９に装着された外部メディア２０から、その外部メディア２０に記憶されている画像データを入力することが可能である。

ＣＰＵ１１は、プリンタ１全体を制御する演算処理装置である。ＲＯＭ１２は、ＣＰＵ１１により実行される各種制御プログラムやそのプログラムを実行する際に用いられる固定値などを記憶するものであり、レティネックス処理などの画像の処理を行う画像処理プログラムを記憶する画像処理プログラムメモリ１２ａや、印刷を行うための印刷制御プログラムを記憶する印刷制御プログラムメモリ１２ｂ、ルックアップテーブルメモリ（ＬＵＴメモリ）１２ｃ等が備えられている。

ＲＡＭ１３は、制御プログラムがＣＰＵ１１により実行される際に必要な各種レジスタ群などが記憶されるワーキングエリアや、処理中のデータを一時的に格納するテンポラリエリア等を有しランダムにアクセスできる書き換え可能なメモリであり、元画像データを記憶する元画像メモリ１３ａと、元画像を縮小し、縮小した画像のレティネックス処理において求められる反射率を記憶する縮小レティネックス画像メモリ１３ｂと、ヒストグラム処理において各画素値の頻度が記憶されるヒストグラムメモリ１３ｃと、元画像のサイズを記憶する元画像サイズメモリ１３ｄと、使用者などにより設定される印刷を行う際の印刷パラメータを記憶する印刷パラメータメモリ１３ｅと、印刷パラメータなどに基づいて決定される縮小画像サイズと縮小アルゴリズムがそれぞれ記憶される縮小画像サイズメモリ１３ｆと縮小アルゴリズムメモリ１３ｇと、注目画素の周辺平均輝度を求める際に用いられるマスク（フィルタ）を記憶するマスクメモリ１３ｈ等を備えている。

元画像データメモリ１３ａは、ＰＣ２、デジタルカメラ２１、及び外部メディア２０から、それぞれ、Ｉ／Ｆ１７、Ｉ／Ｆ１８、及び外部メディアスロット１９を介して入力した画像データを記憶するものである。元画像データを１ライン単位で記憶し、縮小画像を形成することができるライン数のデータを読み込むと、縮小画像を形成する。縮小アルゴリズムが、最近傍法である場合には、１ラインのデータを記憶し、バイリニア法である場合には、２ライン、バイキュービック法である場合には、３ライン、平均画素法の場合は、縮小率に応じたライン数の元画像データが記憶される。なお、本実施形態では、元画像データ及び出力画像データはいずれも、ＲＧＢ値から構成され、これらの各ＲＧＢ値は、８ビット（１バイト）のデータサイズにより表され、１０進数では、「０」〜「２５５」の範囲の値をとる。

ＲＧＢ値は、光の３原色である赤を表すＲ値と、緑を表すＧ値と、青を示すＢ値とを構成成分とする値である。光の３原色の混色により各種の色は生成されるので、元画像の各画素の色は、Ｒ値とＧ値とＢ値との組合せ（ＲＧＢ値）により１の色（色相や階調など）が示される。このＲＧＢ値の値が大きいほど、輝度（明度）は高くなる。

縮小レティネックス画像メモリ１３ｂは、元画像を縮小し、その縮小した画像の輝度信号のみについてレティネックス処理において求められる反射率Ｒｓ（ｘ，ｙ）を記憶するメモリである。元画像を縮小する方法としては、縮小する画像の画素に対応する元画像の位置に最も近い画素の値をサンプリングし、そのサンプリングした画素の値をそのまま用いる最近傍（Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）法や、縮小する画像の画素に対応する元画像の位置の周囲の画素を用いて補間演算を行うバイリニア法、バイキュービック法や、平均画素法などが知られている。画質より処理速度を優先する場合は、最近傍法が用いられ、処理速度より画質を優先する場合は、バイキュービック法や、平均画素法が用いられる。

これらいずれかの方法により元画像が縮小され、その縮小された画像の各画素（ピクセル）について反射率が上述の数式１を用いて演算され、この縮小レティネックス画像メモリ１３ｂに記憶される。

ヒストグラムメモリ１３ｃは、縮小画像の各画素の反射率Ｒｓ（ｘ，ｙ）の頻度を集計してヒストグラムを形成するためのメモリである。ヒストグラムが作成されると、そのヒストグラムに基づいて、正規化を行うためのパラメータである上限値および下限値（クリップ範囲）が定められる。

元画像サイズメモリ１３ｄは、元画像のサイズを記憶するもので、元画像データをＰＣ２などから読み込む際に、元画像データに付随して読み込まれ、この元画像サイズメモリ１３ｄに記憶される。縮小画像のサイズおよび縮小アルゴリズムを決定する際には、この元画像サイズメモリ１３ｄに記憶された元画像サイズが参照される。

印刷パラメータメモリ１３ｅは、印刷を行う際の印刷モードを高画質の写真モードとするか、普通画質の普通モードとするか、また、記録媒体の種類を光沢紙、インクジェット紙、普通紙のいずれにするか、また、記録媒体のサイズをＡ４，Ｂ５、レターなどのいずれにするかなどを使用者が設定し、その設定されたパラメータを記憶する。印刷モードが選択されると、選択された印刷モードに設定された印刷の解像度や液滴サイズなどがパラメータとして記憶され、印刷が実行される際には、これらのパラメータに従って印刷が行われる。

これらの印刷パラメータや、元画像のサイズに基づいて、縮小画像のサイズと縮小するアルゴリズムが決定され、縮小画像サイズメモリ１３ｆと縮小アルゴリズメモリ１３ｇにそれぞれ記憶される。主として、処理速度より画質が優先される場合は、縮小画像サイズとして大きいサイズが設定され、画質より処理速度が優先される場合は、縮小画像サイズとして小さいサイズが設定される。縮小アルゴリズムとしては、上記、最近傍法、バイリニア法、平均画素法などの中から選択される。

これらの印刷パラメータは、ＰＣ２において使用者により設定され、プリンタ１に入力されるとともに、操作パネル１６に備えられる操作子によっても設定することができる。

マスクメモリ１３ｈは、各画素の周辺平均輝度を求める際に用いられるマスク（フィルタ）を記憶するメモリであり、縮小画像用のマスクＦｓ（図８（ａ）参照）と元画像用のマスクＦ（図８（ｂ）参照）それぞれを記憶する。なお、本実施例では、複数種類の縮小画像用マスクが、予めＲＯＭ１２に格納されているものであって、必要に応じてマスクメモリ１３ｈに読み出されるものとして説明する。一方、元画像用マスクは、縮小画像用マスクに基づいて動的に生成され、マスクメモリ１３ｈに格納されるものである。なお、元画像用マスクの生成方法は、図９を参照して後述する。

操作パネル１６には、印刷パラメータなどを表示するＬＣＤと、印刷パラメータや画像処理に関するパラメータを設定したり、画像処理や印刷処理の実行を指示する各種操作子が備えられている。

次に、図２を参照してプリンタ１に接続されたＰＣ２おいて設定される種々の印刷パラメータについて説明する。図２は、ＰＣ２において、印刷パラメータの設定を選択した際に表示器に表示される印刷パラメータ設定画面２８である。

印刷パラメータ設定画面２８には、印刷を行う記録媒体である印刷用紙を選択設定する用紙種類選択ボックス２８ａと、印刷用紙のサイズを選択設定する用紙サイズ設定ボックス２８ｂと、印刷モードを設定する印刷モード設定ボックス２８ｃと、印刷を行う部数を設定する部数設定ボックス２８ｄなどが表示される。

用紙種類選択ボックス２８ａは、選択された用紙種類を表示する表示エリアと、そのエリアの右端に下方に向いた三角形が描かれたアイコンとを有し、このアイコンにマウスを操作してカーソル合わせ、クリックすると図２に示すようにプルダウンメニューが表示される。つぎに表示されたプルダウンメニューのいずれかの項目にカーソルを移動し、マウスに備えられたスイッチをクリックすると、カーソルにより指定される項目が選択される。

この実施形態では、印刷用紙の種類として、普通紙、光沢紙のいずれかを選択することができ、図２に示す例では、普通紙が選択された状態を示している。

同様に、用紙サイズ設定ボックス２８ｂは、選択された用紙のサイズを表示するエリアと、選択を行うためのプルダウンメニューの表示を指示するアイコンとを有し、用紙のサイズとしては、Ａ４，レター，５”×７”および４”×６”のいずれかを選択することができる。

印刷モード設定ボックス２８ｃも同様に、選択された印刷モードを表示するエリアと、選択を行うためのプルダウンメニューの表示を指示するアイコンとを有し、印刷モードとして、写真モードと普通モードのいずれかを選択することができる。写真モードは、普通モードに比べ、高画質で印刷を行うモードであり、高解像度で印刷が行われる。例えば、写真モードの解像度は、１２００×１２００ｄｐｉであり、普通モードの解像度は、低解像度であって、６００×６００ｄｐｉである。なお、インクジェット方式のプリンタでは解像度に応じて液滴サイズや、使用されるインクの種類が異なるようにしてもよい。

印刷部数設定ボックス２８ｄは、設定された部数を数値で表示するエリアからなり、そのエリアの右側に、数値を増加させるための上向きの三角形を表示したインクリメントアイコンと、数値を減少させるための下向きの三角形を表示したデクリメントアイコンを備え、これらのアイコンにカーソルを移動してマウスを操作することにより、印刷部数を設定することができる。

この印刷パラメータ設定画面２８には、上記アイコン以外に、用紙に対する印刷の向きを設定するラジオボタンや、設定を有効にして設定画面の消去を指示するＯＫボタンや、設定を無効にして設定画面の消去を指示するキャンセルボタンや設定の説明画面の表示を指示するヘルプボタンが表示される。

このようにしてＰＣ２により設定された印刷パラメータは、ケーブル５およびＩ／Ｆ１７を介してプリンタ１に入力され、印刷パラメータメモリ１３ｅに記憶される。

次に、図３および図４を参照してＣＰＵ１１により実行される画像処理について説明する。図３および図４は、画像処理を示すフローチャートである。図３に示す処理は、前処理と呼ばれる処理であり、この処理では、元画像を縮小し、縮小した画像に基づいて反射率Ｒの正規化を行うためのクリップ範囲が設定される。

この前処理では、まず、元画像データに付随している元画像のサイズを示すデータを元画像サイズメモリ１３ｄに記憶する（Ｓ１）。この画像のサイズを示すデータは、通常長方形の画像を構成する縦と横のピクセル数により表される値である。

次に、印刷パラメータメモリ１３ｅに記憶された印刷パラメータの中から縮小画像サイズと縮小アルゴリズムを設定する際に必要なパラメータを読み出す（Ｓ２）。この、実施形態では、印刷パラメータのうち、印刷モード、用紙種類、用紙サイズが必要なパラメータである。

次に、これらのパラメータなどに基づいて縮小画像サイズと縮小アルゴリズムを決定し、決定した縮小画像サイズを縮小画像サイズメモリ１３ｆ、縮小アルゴリズムを１３ｇにそれぞれ記憶する（Ｓ３）。この処理については、図５〜７を参照して後述する。

次に、縮小画像用マスク（フィルタＦｓ（ｘ，ｙ））に基づいて元画像用マスク（Ｆ（ｘ，ｙ））を生成し、マスクメモリ１３ｈに記憶する（Ｓ４）。この処理の詳細は、図８および図９を参照して後述する。

次に、縮小画像を形成する。縮小画像を形成する処理では、まず、元画像を記憶しているＰＣ２などから、１ライン単位で読み込み、ＲＡＭ１３の元画像メモリ１３ａに記憶する（Ｓ６）。デジタルカメラなどにより形成された画像データは、ＪＰＥＧなどの圧縮法により圧縮されて記憶され、長方形の画像の横方向のピクセルのライン順に記憶されている。

次に、元画像メモリ１３ａに記憶された画像データのライン数が、縮小画像アルゴリズムメモリ１３ｇに記憶された縮小アルゴリズムにより縮小することができるライン数のデータが記憶されたか否かを判断し（Ｓ７）、縮小できるライン数が記憶されていない場合は（Ｓ７：Ｎｏ）、Ｓ４の処理に戻り、縮小できるライン数が記憶されている場合は（Ｓ７：Ｙｅｓ）、その縮小アルゴリズムに従って縮小画像データを形成し（Ｓ８）、その縮小画像をＲＡＭに記憶する（Ｓ９）。縮小画像データをＲＡＭに記憶し、次に１ライン分の元画像を読み込んで元画像メモリ１３ａに記憶する場合は、先に記憶したデータに上書きする。このことにより、元画像メモリ１３ａの記憶容量を削減することができる。

次に、元画像の全てのラインについて走査を行って縮小画像を形成したか否かを判断し（Ｓ１０）、まだ、未処理のラインが残っている場合は（Ｓ１０：Ｎｏ）、Ｓ４の処理に戻り、全ラインについて処理を終了した場合は（Ｓ１０：Ｙｅｓ）、縮小画像の各画素について輝度信号Ｙと色信号Ｃｂ，Ｃｒに変換する（Ｓ１１）。

輝度信号Ｙおよび色信号Ｃｂ，Ｃｒは、元の画素のＲＧＢ値から次式により演算される。

輝度信号Ｙと色信号Ｃｂ，Ｃｒの値をそれぞれ記憶し、後の演算で使用するようにしてもよいが、記憶容量が小さい場合は、ＲＧＢ値のみを記憶し、必要に応じて演算して求めるようにしてもよい。

次に、上式により演算された輝度信号Ｙについて、反射率Ｒｓ（ｘ，ｙ）を算出する。（Ｓ１２）なお、「ｓ」は、縮小画像についての接尾辞であり、元画像については、接尾辞を付さないものとする。反射率Ｒｓは、縮小画像の各画素の輝度値をＩｓ（ｘ，ｙ）、縮小画像用のフィルタをＦｓ（ｘ，ｙ）として、次式により演算される。

なお、「＊」は、畳み込み演算（コンボリューション）を示し、この畳み込み演算により周辺平均輝度（周辺平均値）が求められる。なお、ｌｏｇは、ｅを底とする自然対数である。この畳み込み演算において、小数点位置は、シフト量メモリ１３ｉに記憶された縮小画像用のシフト位置に基づいて行われる。

次に、上記演算により求められた反射率Ｒｓ（ｘ，ｙ）をＲＡＭ１３の縮小レティネックス画像メモリ１３ｂに記憶する（Ｓ１３）。

次に、Ｒｓ（ｘ，ｙ）を最大値および最小値と比較する（Ｓ１４）。詳細には、最初の座標について求めた反射率Ｒｓ（ｘ，ｙ）を最大値および最小値とし、そのつぎから求めた反射率Ｒｓ（ｘ，ｙ）と最大値および最小値とをそれぞれ比較し、今回求めた反射率Ｒｓ（ｘ，ｙ）が、最大値より大きい場合は、今回求めた反射率Ｒｓ（ｘ，ｙ）を新たな最大値とし、今回求めた反射率Ｒｓ（ｘ，ｙ）が、最小値より小さい場合は、今回求めた反射率Ｒｓ（ｘ，ｙ）を新たな最小値とし、今回求めた反射率Ｒｓ（ｘ，ｙ）が、最大値より小さく、最小値より大きい場合は、最大値、最小値を変更しないという処理である。

次に、縮小画像の全ての座標についてＳ１２〜Ｓ１４の処理を行ったか否かを判断し（Ｓ１５）、まだ、未処理の座標がある場合は（Ｓ１５：Ｎｏ）、Ｓ１２の処理に戻り、全ての座標についての処理を終了した場合は（Ｓ１５：Ｙｅｓ）、Ｓ１４の処理により求めた最大値と最小値に基づいて、反射率Ｒｓ（ｘ，ｙ）を正規化し、ヒストグラムを形成する（Ｓ１６）。

次に、その形成されたヒストグラムからメディアン値を求め（Ｓ１７）、そのメディアン値とヒストグラムとから反射率Ｒｓ（ｘ，ｙ）のクリップされる範囲（クリップ範囲）を定める（Ｓ１８）。このクリップ範囲は、例えば、メディアン値より大きい値で、全標本の４５％の標本が含まれる上限値をクリップ範囲の上限値とし、メディアン値より小さい値で、全標本の４５％が含まれる下限値をクリップ範囲の下限値とするものである。

以上の前処理により、元画像を縮小した縮小画像の反射率により構成される縮小レティネックス画像を形成し、その縮小レティネックス画像から、元画像の反射率を正規化する際のクリップ範囲が求められる。このことにより、クリップ範囲を求めるための演算の回数が、元画像について求める演算の回数より非常に少なくすることができ、処理速度が速くなる。また、縮小された画像のレティネックス画像を記憶するので、元画像のレティネックス画像を記憶する場合に比べ、少ない記憶容量で処理することができるという利点がある。また、縮小画像を用いて求めたクリップ範囲と、元画像を用いて求めたクリップ範囲とは、大差がない。次表は、縮小画像により求めたクリップ範囲（上限値と下限値）と元画像により求めたクリップ範囲との差異を示すものである。

この表が示すように、元画像により求めた最大値は、２．７１２、最小値は、−４．０６３であり、縮小画像により求めた最大値は、１．７２９、最小値は、−２．６０７である。よって、元画像により求めた最大値と縮小画像により求めた最大値との差は、０．９８３であり、元画像により求めた最小値と縮小画像により求めた最小値との差は、１．４５６であって、かなり大きな差が認められる。

一方、元画像により求めたクリップ範囲の上限値は、０．８２５、下限値は、−０．８２２であり、縮小画像により求めた上限値は、０．７４２、下限値は、−０．７５５である。よって、元画像により求めた上限値と縮小画像により求めた上限値との差は、０．０８３であり、元画像により求めた下限値と縮小画像により求めた下限値との差は、０．０６７であって、これらの差が小さいことが分かる。

次に、図３に示す処理により求められたクリップ範囲に基づいて行う後処理である元画像のレティネックス処理について説明する。図４は、元画像のレティネックス処理を示すフローチャートである。なお、この後処理では、元画像の各画素について処理が行われ、処理された画素値は、順次印刷部１５に出力される。

まず、元画像について、反射率Ｒ（ｘ，ｙ）を数式１を用いて算出する（Ｓ２１）。この演算において、フィルタＦ（ｘ，ｙ）は、マスクメモリ１３ｈに記憶された元画像用のマスクであり、この畳み込み演算における小数点位置は、シフト量メモリ１３ｉに記憶された元画像用のシフト位置に基づいて行われる。

次に、縮小画像を用いて求めたクリップ範囲に基づいて、Ｒ（ｘ，ｙ）を正規化し、正規化反射率ｒｅｆｌｅ（ｘ，ｙ）を得る（Ｓ２２）。

次に、このｒｅｆｌｅ（ｘ，ｙ）を用いて、次式により輝度についてレティネックス処理を行った画素の値Ｏｕｔ（ｘ，ｙ）を得る（Ｓ２３）。

次に、このＯｕｔ（ｘ，ｙ）と、色信号Ｃｂ、Ｃｒとに基づいて、ＲＧＢ値に変換する（Ｓ２４）。この変換は、次式により算出される。

以上の処理により元画像の輝度信号にレティネックス処理が施され、色信号に基づいてＲＧＢ値に戻した画素値が求められる。次に、この処理された画素値を印刷部１５に出力する（Ｓ２５）。よって、前処理により、正規化を行うクリップ範囲が特定されているので、後処理では、順次各画素について処理を行い印刷部１５に出力することができる。その結果、処理を開始してから、印刷が開始されるまでの時間を短縮することができる。

次に、元画像の全画素について処理を終了したか否かを判断し（Ｓ２６）、まだ処理を終了していない画素がある場合は（Ｓ２６：Ｎｏ）、Ｓ２１の処理に戻り、全ての画素について処理を終了した場合は（Ｓ２６：Ｙｅｓ）、この後処理を終了する。

次に、図５、図６および図７を参照して、Ｓ３の処理である縮小画像サイズと縮小アルゴリズムを決定する処理について説明する。元画像を縮小し、その縮小画像を用いてクリップ範囲を決定し、そのクリップ範囲に基づいて元画像の各画素について補正処理を行うので、クリップ範囲を速く決定することができるとともに、少ない記憶容量で処理することができる。しかしながら、縮小画像のサイズが小さい場合や、縮小された画像の画質の劣化が大きい場合には、適切なクリップ範囲を設定できない場合がある。また、縮小画像サイズを必要以上に大きくしたり、縮小画像の画質を必要以上に高くすれば、処理時間が長くかかり、処理速度が低下する。従って、使用者が設定する印刷パラメータなどに応じた適切な縮小画像のサイズや縮小アルゴリズムを選択する必要がある。

図５および図６は、印刷モード、用紙種類、用紙サイズ、元画像のサイズに応じて縮小画像サイズと縮小アルゴリズムを設定するためのルックアップテーブルであり、図５は、写真モード用のもの、図６は、普通モード用のものである。これらのテーブルは、ＲＯＭ１２のテーブルメモリ１２ｃに記憶され、図７に示すフローチャートの処理において参照される。

図５は、印刷モードが写真モードである場合に選択されるテーブルであって、まず、用紙の種類により分類される。この実施形態では、光沢紙と普通紙の２種類で分類しているが、これら以外に、インクジェット紙などにより分類してもよい。

用紙種類の次に、用紙サイズにより分類される。用紙サイズは、用紙サイズが小さい方から順に、４”×６”、５”×７”、レター、Ａ４の４種類に分類され、さらに、各用紙サイズについて元画像サイズにより分類される。元画像のサイズとしては、６００×８００、１２００×１６００、２４００×３２００（ピクセル）の３種類に分類され、それぞれのサイズについて、縮小画像サイズと縮小アルゴリズムとが設定される。

この実施形態では、縮小画像サイズは、１５０×２００、３００×４００、４５０×６００の３種類、縮小アルゴリズムは、平均画素法（ＭＥ）、バイリニア法（ＢＬ）、最近傍法（ＮＮ）の３類のいずれかが設定される。図６は、印刷モードが普通モードである場合に選択されるテーブルであって、写真モードと同様に、用紙種類、用紙サイズ、元画像サイズにより分類され、縮小画像サイズと縮小アルゴリズムとが設定される。

図７は、図３に示すフローチャートのＳ３の処理の詳細を示すフローチャートである。この処理では、まず印刷パラメータとして選択された印刷モードが写真モードであるか普通モードであるかを判定する（Ｓ３１）。印刷モードが、写真モードである場合は、写真モード用のテーブルを選択し（Ｓ３２）、印刷モードが、普通モードである場合は、写真モード用のテーブルを選択し（Ｓ３３）、印刷パラメータとして設定されている用紙種類、用紙サイズ、および元画像サイズメモリ１３ｄに記憶されている元画像サイズとから、設定されている縮小画像サイズと縮小アルゴリズムとを読み出し、縮小画像サイズメモリ１３ｆと縮小アルゴリズムメモリ１３ｇとにそれぞれ記憶する（Ｓ３４）。

次に、図８と図９とを参照して、マスク生成処理（Ｓ４）について説明する。マスクは、注目画素の周辺の画素の周辺平均輝度を算出するためのフィルタであって、所定の大きさの領域を必要とする。しかしながら、その領域の全ての座標についてフィルタ係数を有し、畳み込み演算を行うと計算量が膨大になる。そこでフィルタ係数を間引くことにより、計算量を削減することが行われている。

図８（ａ）は、縮小画像用マスクＦｓが、領域内のいずれの座標にフィルタ係数を有するのかを示す模式図であり、図８（ｂ）は、元画像用マスクＦが、領域内のいずれの座標にフィルタ係数を有するかを示す模式図である。なお、本実施例では、縮小画像用マスクＦｓおよび元画像用マスクＦ共に、注目画素に対応させるマスク中央位置を（０，０）として、領域内の座標を定めている。また、図８では、フィルタ係数が存在する座標をグレイ色、フィルタ係数が存在しない座標を白色で示す。また、グレイ色で示した各座標については、座標（０，０）からの距離に応じて、ガウス関数を用いて、対応するフィルタ係数が決定されるが、このフィルタ係数の決定方法は公知であるため説明を省略する。

図８（ａ）に示す縮小画像用マスクＦｓは、例えば、全座標の数が８１（９×９）の領域を有し、そのうち、１１の座標についてフィルタ係数を有し、残りの座標７０（８１−１１）については、フィルタ係数を有しない。この縮小画像用マスクＦｓによれば、マスク中央位置（０，０）を注目画素に対応させることにより、縮小画像の９画素×９画素の領域を覆うことができる。そして、注目画素を含む１１個の画素の輝度については、対応するフィルタ係数を乗算することにより、周辺平均輝度に値を反映すると共に、残りの７０個の画素の輝度にはフィルタ係数を乗算せず、その輝度を周辺平均輝度に反映しない。すなわち、縮小画像用マスクＦｓによれば、残りの７０個の画素の輝度は間引いて、周辺平均輝度を演算することができる。

なお、ここで説明した縮小画像用マスクＦｓは一例である。本実施例では、サイズおよびフィルタ係数、間引き度（全座標に対し、フィルタ係数が対応づけられている座標の割合）が異なる複数種類の縮小画像用のマスクＦｓが、予めＲＯＭ１２に格納されているものとして説明する。そして、前処理（図３参照）のＳ３で決定された縮小画像サイズと、縮小アルゴリズムに応じて、最適な縮小画像用マスクＦｓが選択され、選択された縮小画像用マスクＦｓがマスクメモリ１３ｈに読み出されて、以降の処理において用いられる。

図８（ｂ）は、マスクメモリ１３ｈに読み出された縮小画像マスクＦｓを拡大処理することによって生成される元画像用マスクＦを模式的に示す図である。ここで、特許請求の範囲および本明細書における「拡大処理」とは、元画像用マスクＦを、縮小画像用マスクＦｓからの、相似移動によって作成する処理である。相似移動とは、元画像用マスクＦの縦横比と、縮小画像用マスクＦｓの縦横比が等しく、且つ、フィルタ係数が対応付けられた座標のうち、任意の２点間の距離の比が、元画像用マスクＦと縮小画像用マスクＦｓとの間で常に一定となるように、元画像用マスクＦを生成することをいう。まず、元画像用のマスクＦのサイズは、縮小画像用マスクＦｓのサイズを縮小率で除した値となるように、元画像用マスクＦが生成される。例えば、縮小率が１／２である場合、縮小画像用マスクＦｓが、縮小画像の９画素×９画素の範囲を覆うサイズを有していれば、元画像用マスクＦが、元画像の１８画素×１８画素の範囲を覆うように、元画像用マスクＦのサイズを決定する。このようにすれば、元画像用マスクのカバー率（マスクが覆う領域の画像全体に対する割合）が、縮小画像用マスクのカバー率と等しくなるので、元画像から得られる反射率の分布と、縮小画像から得られる反射率の分布が極めて近似し、縮小画像の反射率の集計結果から、好適なクリップ範囲（すなわち、元画像から得られるクリップ範囲と極めて近似するクリップ範囲）を得ることができ、高精度の出力結果を得ることができる。

さらに、図８（ｂ）に示すように、縮小画像用マスクＦｓにおいてフィルタ係数が存在する座標を、縮小率で除算して座標変換し、それにより得られる座標を、元画像用マスクＦにおいてフィルタ係数が存在する座標とする。例えば、縮小画像用マスクの座標が（−２，−２）であり、縮小率が１／２であれば、元画像用マスクの座標（−４，−４）にフィルタ係数が設定された元画像用マスクを生成する。このようにすれば、フィルタ係数が対応付けられた座標のうち、任意の２点間の距離の比が、縮小画像用マスクＦｓとの間で常に一定となる元画像用マスクＦを生成することができる。特に、縮小画像の形成のアルゴリズムが最近傍法である場合は、縮小する画像の画素に対応する元画像の位置に最も近い画素の値がサンプリングされ、そのサンプリングした画素の値がそのまま縮小画像の画素の値として用いられるので、上述のように、縮小画像用マスクＦｓの座標を、縮小率で除算した座標を、元画像用マスクＦにおける座標とすることにより、縮小画像において周辺平均輝度に反映される画素の値と、元画像において周辺平均輝度に反映される画素の値とを一致させることができ、極めて好適なクリップ範囲を得ることができる。

なお、図８（ｂ）には、縮小画像用マスクＦｓの座標を縮小率で除算した座標を、そのまま元画像用マスクＦの座標とする例を示したが、元画像用マスクＦの座標を得るための演算式は、これに限られない。例えば、縮小画像形成のアルゴリズムが、バイリニア法、バイキュービック法、平均画素法である場合は、元画像において互いに近接する複数画素の値に基づいて、縮小画像における１の画素の値が決定されている。よって、縮小画像の参照画素の値を決定する際に元となった元画像の複数画素のいずれか１つ（縮小画像の参照画素と対応する元画像の画素）について、フィルタ係数が乗算されるように、元画像用の座標を定めることにより、極めて好適なクリップ範囲を得ることができる。

図９を参照してマスク生成処理について説明する。図９は、マスク生成処理を示すフローチャートである。なお、このマスク生成処理は、縮小画像用マスクＦｓに基づいて元画像用マスクＦを生成する処理であるが、元とするべき縮小画像用マスクＦｓは、予めＲＯＭ１２から読み出されて、マスクメモリ１３ｈに格納されているものとして説明する。このマスク生成処理では、まず、縮小率を読み出す（Ｓ４０）。ここで、縮小率は、縮小画像の縦の長さを元画像の縦の長さで除算した値、または縮小画像の横の長さを元画像の横の長さで除算した値に相当する。

次に、元画像用マスクのマスクサイズを決定する（Ｓ４１）。なお、マスクサイズとは、マスクが有する矩形領域の縦方向長さと横方向長さとであって、その所定領域に覆うことができる画素数で表される値である。元画像用マスクのマスクサイズは、縮小画像用マスクのマスクサイズの縦方向長さおよび横方向長さを、それぞれ縮小率で除算した値が決定される。

次に、マスクメモリ１３ｈから、縮小画像マスクの参照ポイント数Ｐ、参照ポイントの座標（ＭＸｉ，ＭＹｉ）（０≦ｉ≦Ｐ−１）を読み出す（Ｓ４２）。なお、参照ポイントとは、フィルタ係数が存在している座標を意味する。

次に、カウント変数ｊを定義し、ｊ＝０とする（Ｓ４３）。そして、縮小画像用マスクの参照ポイントの座標（ＭＸｊ，ＭＹｊ）を、読み出した縮小率で除算して、元画像用マスクにおける参照ポイントの座標（ＬＸｊ，ＬＹｊ）を算出する（Ｓ４４）。

次に、算出した元画像用マスクの座標（ＬＸｊ，ＬＹｊ）に対するフィルタ係数を決定し（Ｓ４５）、座標とフィルタ係数とを対応づけてマスクメモリ１３ｈに記憶する（Ｓ４６）。なお、このフィルタ係数は、ガウス関数を用いて演算により求められるが、公知の演算であるため、詳細な説明は省略する。

次に、カウント変数ｊに「１」を加算する（Ｓ４７）。そして、カウント変数ｊが参照ポイント数Ｐより小である間（Ｓ４８：Ｎｏ）、Ｓ４４から処理を繰り返し、次の座標について、処理を行う。このようにして参照ポイント数Ｐだけ処理を繰り返し、ｊ＝Ｐとなると（Ｓ４８：Ｙｅｓ）、マスク生成処理を終了する。

本実施例のマスク生成処理により生成された元画像用マスクによれば、縮小画像用マスクの参照ポイントの座標を、縮小率で除算した座標が、元画像用マスクにおける参照ポイントの座標としているから、縮小画像から得られる反射率の分布が、元画像から得られる反射率の分布と極めて近くなる。その結果、適切なクリップ範囲（元画像から得られるクリップ範囲と極めて近似するクリップ範囲）を、縮小画像から得ることができるのである。

なお、請求項に記載の縮小画像形成手段および縮小画像形成ステップは、図３に示すフローチャートのＳ８の処理が該当し、縮小画像用マスク取得手段および縮小画像用マスク取得ステップは、図９に示すフローチャートのＳ４２の処理および図１０に示すフローチャートのＳ１４１〜Ｓ１４９の処理が該当し、縮小画像反射率取得手段および縮小画像反射率取得ステップは、図３に示すフローチャートのＳ１２の処理が該当し、正規化パラメータ取得手段および正規化パラメータ取得ステップは、図３に示すフローチャートのＳ１６〜Ｓ１８の処理が該当し、元画像用マスク生成手段および元画像用マスク生成ステップは、図３に示すフローチャートのＳ４の処理が該当し、補正手段および補正ステップは、図４に示す後処理が該当し、縮小率設定手段および縮小率設定ステップは、図７に示すＳ３４の処理が該当する。

以上、実施形態に基づいて本発明を説明したが、本発明は上記各実施形態に何ら限定されるものでなく、本発明の趣旨を逸脱しない範囲内で種々の改良変形が可能であることは容易に推察できるものである。

例えば、上記実施形態では、縮小画像用マスクＦｓは予めＲＯＭ１２に格納されているものとして説明したが、これに替えて、縮小画像用マスクＦｓを動的に生成するように構成しても良い。

図１０は、変形例のマスク生成処理（Ｓ４）を示すフローチャートである。なお、図１０に示す変形例のマスク生成処理において、上述した実施形態のマスク生成処理（図９参照）と同一のステップについては、同一の符号を付して説明を省略する。

変形例のマスク生成処理では、まず、縮小率を読み出し（Ｓ１４０）、縮小画像用マスクのマスクサイズを設定する（Ｓ１４１）。次に、縮小画像用マスクの参照ポイント数Ｐを設定し（Ｓ１４２）、縮小画像用マスクのマスクサイズ（ＳＸ，ＳＹ）を設定する（Ｓ１４３）。ここで、ＳＸは、Ｘ方向のマスク長を意味し、ＳＹは、Ｙ方向のマスク長を意味する。このマスクサイズ、参照ポイント数Ｐ、マスクサイズ（ＳＸ，ＳＹ）は、縮小率や、印刷パラメータなどに応じて、例えば、テーブルを参照することにより、最適な値に設定される。

次に、カウント変数ｋを定義して初期化する（Ｓ１４４）。そして、縮小画像用マスクにおいてフィルタ係数が存在する座標（ＭＸｋ，ＭＹｋ）を、乱数を用いて決定する（Ｓ１４５）。なお、縮小画像用マスクのサイズは（ＳＸ，ＳＹ）であるので、各値は以下の範囲内を取り得る。
−ＳＸ／２≦ＭＸｋ≦ＳＸ／２
−ＳＹ／２≦ＭＹｋ≦ＳＹ／２
そして、決定した座標（ＭＸｋ，ＭＹｋ）に対するフィルタ係数を決定し（Ｓ１４６）、座標（ＭＸｋ，ＭＹｋ）とフィルタ係数とを対応づけてマスクメモリ１３ｈに記憶する（Ｓ１４７）。なお、このフィルタ係数は、ガウス関数を用いて演算により求められるが、公知の演算であるため、詳細な説明は省略する。

次に、カウント係数ｋに「１」を加算し（Ｓ１４８）、カウント変数ｋが参照ポイント数Ｐより小である間（Ｓ１４９：Ｎｏ）、Ｓ１４５から処理を繰り返す。このようにして参照ポイント数Ｐだけ処理を繰り返し、ｋ＝Ｐとなると（Ｓ１４９：Ｙｅｓ）、縮小画像用マスクＦｓの生成を終了し、図９のＳ４３以下で説明したのと同様の処理で、縮小画像用マスクＦｓに基づいて、元画像用マスクＦを生成することができる。

また、上記実施形態では、色表現系はＲＧＢ形式としたが、ＲＧＢ形式以外の他の色表現系、例えば、ＣＭＹ形式などに本発明を適用してもよい。

また、上記実施形態では、本発明の画像処理プログラムは、プリンタ１に組み込まれたＣＰＵ１１により実行されるものとしたが、パーソナルコンピュータにアプリケーションとして供給され、パーソナルコンピュータに組み込まれたＣＰＵなどにより実行されるようにしてもよい。

また、レティネックス処理は、ＳＳＲ（シングルスケール法）であってもＭＳＲ（マルチスケール法）であってもよい。

また、上記実施形態の画像処理では、ＣＰＵ１１によりレティネックス処理などを行うものとしたが、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）により行ってもよい。ＤＳＰを用いると、より高速に積和演算などの処理を実行することができる。

本発明の実施形態の画像処理プログラムを搭載したプリンタの電気的構成を示すブロック図である。 印刷パラメータを設定する画面を示す図である。 画像処理プログラムにより行われる前処理を示すフロー図である。 前処理に続いて実行される後処理を示すフローチャートである。 印刷モードが写真モードである場合に参照される写真モード用テーブルである。 印刷モードが普通モードである場合に参照される普通モード用テーブルである。 テーブルを参照する処理を示すフローチャートである。 （ａ）は、縮小画像用マスクＦｓが、領域内のいずれの座標にフィルタ係数を有するのかを示す模式図であり、（ｂ）は、元画像用マスクＦが、領域内のいずれの座標にフィルタ係数を有するかを示す模式図である。 マスク生成処理を示すフローチャートである。 変形例のマスク生成処理を示すフローチャートである。 正規化を行うためのクリップ範囲について説明するためのヒストグラム図である。 縮小画像用マスクと元画像用マスクとを模式的に示す図である。 従来の元画像用マスクＦと、その元画像用マスクＦを１／８に縮小して得られる縮小用マスクＦｓとを模式的に示す図である。

符号の説明

１ プリンタ（画像処理装置）
２ パーソナルコンピュータ
１１ ＣＰＵ
１２ ＲＯＭ
１２ａ 画像処理プログラムメモリ
１３ ＲＡＭ
１３ａ 元画像メモリ
１３ｂ レティネックス画像メモリ
１３ｈ マスクメモリ
Ｆ 元画像用マスク
Ｆｓ 縮小画像用マスク

Claims (6)

1. 元画像を構成する各画素について前記画素の周辺平均輝度値を求め、その周辺平均輝度値に基づいて、前記元画像を構成する各画素の輝度補正を行う画像処理装置において、
   元画像を縮小して縮小画像を形成する縮小画像形成手段と、
   その縮小画像形成手段により形成された縮小画像の各画素について周辺平均輝度値を算出する際に、注目画素とその注目画素の周辺画素とに対し畳み込み演算を行うための縮小画像用マスクを、前記縮小画像用マスクが予め記憶された記憶手段から取得し、または生成することにより取得する縮小画像用マスク取得手段と、
   その縮小画像用マスク取得手段により取得した縮小画像用マスクを用いて、前記縮小画像の各画素について、画素の値とその画素の周辺平均輝度値とから反射率を求める縮小画像反射率取得手段と、
   その縮小画像反射率取得手段により求められた反射率が取る値の全範囲における各値の頻度を集計し、元画像の反射率の正規化を行う際のパラメータを設定する正規化パラメータ設定手段と、
   元画像の各画素について周辺平均輝度値を求める際に、注目画素とその注目画素の周辺画素とに対し畳み込み演算を行うための元画像用マスクを生成する元画像用マスク生成手段と、
   その元画像用マスク生成手段により生成された元画像用マスクを用いて、前記元画像の各画素について、画素の値とその画素の周辺平均輝度値とから反射率を求め、その反射率を前記正規化パラメータ設定手段により設定されたパラメータに基づいて正規化した正規化レティネックス値を求め、その正規化レティネックス値と、元画像の画素の輝度値との比に基づいて前記元画像を構成する各画素の輝度補正を行う補正手段とを備え、
   前記元画像用マスク生成手段は、前記縮小画像用マスク取得手段により取得された縮小画像用マスクを拡大処理することによって前記元画像用マスクを生成するものであり、
   前記縮小画像用マスクは、注目画素周辺の所定領域を覆うものであり、その所定領域内の位置に対応づけたフィルタ係数を有し、
   前記縮小画像反射率取得手段は、前記縮小画像用マスクで所定領域を覆うとき、フィルタ係数が対応づけられた位置に対応する参照画素の値にフィルタ係数を乗算することに基づいて算出される周辺平均輝度値から反射率を取得するものであることを特徴とする画像処理装置。
2. 前記元画像に対する前記縮小画像の縮小率を設定する縮小率設定手段を備え、
   前記元画像用マスク生成手段は、縮小画像用マスクの縦横比と、元画像用マスクの縦横比とが等しくなるように、前記元画像用マスクを生成するものであり、且つ、前記縮小率設定手段により設定される前記縮小率で前記縮小画像用マスクのサイズを除した値が、前記元画像用マスクのサイズと等しくなるように、前記元画像用マスクを生成することにより、元画像に対する縮小画像の縮小率に応じた元画像用マスクを生成するものであることを特徴とする請求項１記載の画像処理装置。
3. 前記補正手段は、前記元画像用マスクで覆われる注目画素周辺の領域のうち、前記元画像用マスクにおいてフィルタ係数が対応付けられた位置に対応する参照画素の値にフィルタ係数を乗算することに基づいて、周辺平均輝度値を算出するものであり、
   前記元画像用マスク生成手段は、
   前記縮小画像用マスクに設定された座標のうち、フィルタ係数が設定された位置を示す座標を取得する座標取得手段と、
   前記座標取得手段により取得される前記座標を、前記縮小率設定手段により設定される前記縮小率で除算することにより、前記元画像用マスクにおいてフィルタ係数を設定すべき位置を示す座標を算出する座標算出手段とを備え、
   前記元画像用マスクにおいて、前記座標算出手段により算出された座標で示される位置に、フィルタ係数を設定するものであることを特徴とする請求項２記載の画像処理装置。
4. 元画像を構成する各画素について周辺平均輝度値を求め、その周辺平均輝度値に基づいて、前記元画像を構成する各画素の輝度補正を行う画像処理装置により実行される画像処理プログラムにおいて、
   元画像を縮小して縮小画像を形成する縮小画像形成ステップと、
   その縮小画像形成ステップにより形成された縮小画像の各画素について周辺平均輝度値を算出する際に、注目画素とその注目画素の周辺画素とに対し畳み込み演算を行うための縮小画像用マスクを、前記縮小画像用マスクが予め記憶された記憶手段から取得し、または生成することにより取得する縮小画像用マスク取得ステップと、
   その縮小画像用マスク取得ステップにより取得した縮小画像用マスクを用いて、前記縮小画像の各画素について、画素の値とその画素の周辺平均輝度値とから反射率を求める縮小画像反射率取得ステップと、
   その縮小画像反射率取得ステップにより求められた反射率が取る値の全範囲における各値の頻度を集計し、元画像の反射率の正規化を行う際のパラメータを設定する正規化パラメータ設定ステップと、
   元画像の各画素について周辺平均輝度値を求める際に、注目画素とその注目画素の周辺画素とに対し畳み込み演算を行うための元画像用マスクを生成する元画像用マスク生成ステップと、
   その元画像用マスク生成ステップにより生成された元画像用マスクを用いて、前記元画像の各画素について、画素の値とその画素の周辺平均輝度値とから反射率を求め、その反射率を前記正規化パラメータ設定ステップにより設定されたパラメータに基づいて正規化した正規化レティネックス値を求め、その正規化レティネックス値と、元画像の輝度値との比に基づいて前記元画像を構成する各画素の輝度補正を行う補正ステップとを前記画像処理装置に実行させるものであり、
   前記元画像用マスク生成ステップは、前記縮小画像用マスク取得ステップにより取得された縮小画像用マスクを拡大処理することによって前記元画像用マスクを生成するものであり、
   前記縮小画像用マスクは、注目画素周辺の所定領域を覆うものであり、その所定領域内の位置に対応づけたフィルタ係数を有し、
   前記縮小画像反射率取得ステップは、前記縮小画像用マスクで所定領域を覆うとき、フィルタ係数が対応づけられた位置に対応する参照画素の値にフィルタ係数を乗算することに基づいて算出される周辺平均輝度値から反射率を取得するものであることを特徴とする画像処理プログラム。
5. 前記元画像に対する前記縮小画像の縮小率を設定する縮小率設定ステップを、前記画像処理装置に実行させるものであり、
   前記元画像用マスク生成ステップは、縮小画像用マスクの縦横比と、元画像用マスクの縦横比とが等しくなるように、前記元画像用マスクを生成するものであり、且つ、前記縮小率設定ステップにより設定される前記縮小率で前記縮小画像用マスクのサイズを除した値が、前記元画像用マスクのサイズと等しくなるように、前記元画像用マスクを生成することにより、元画像に対する縮小画像の縮小率に応じた元画像用マスクを生成するものであることを特徴とする請求項４記載の画像処理プログラム。
6. 前記補正ステップは、前記元画像用マスクで覆われる注目画素周辺の領域のうち、前記元画像用マスクにおいてフィルタ係数が対応付けられた位置に対応する参照画素の値にフィルタ係数を乗算することに基づいて、周辺平均輝度値を算出するものであり、
   前記元画像用マスク生成ステップは、
   前記縮小画像用マスクに設定された座標のうち、フィルタ係数が設定された位置を示す座標を取得する座標取得ステップと、
   前記座標取得ステップにより取得される前記座標を、前記縮小率設定ステップにより設定される前記縮小率で除算することにより、前記元画像用マスクにおいてフィルタ係数を設定すべき位置を示す座標を算出する座標算出ステップとを備え、
   前記元画像用マスクにおいて、前記座標算出ステップにより算出された座標で示される位置に、フィルタ係数を設定するものであることを特徴とする請求項５記載の画像処理プログラム。

Images