JP4793166B2 - 画像処理プログラムおよび画像処理装置 - Google Patents

Description

本発明は、画像処理プログラムおよび画像処理装置に関し、特にレティネックス処理を高速で行うことができる画像処理プログラムおよび画像処理装置に関するものである。

逆光条件下で被写体が撮像された場合、被写体部分の画像は、詳細な態様が判別困難となるほど明度やコントラストの低い不明瞭な逆光画像となる。かかる逆光画像のみならず、露光の過不足や、撮像時のぶれやぼけ、ノイズ、光量不足などによる劣悪な画像を、画像処理によって明度やコントラストを向上させて画質を改良することが行われている。かかる画像処理の１手法として、レティネックス処理（Ｒｅｔｉｎｅｘ処理）が知られている。

レティネックス処理は、高画質部分については入力画像データを保持し、主に低画質部分の画質改良を行うものである。このレティネックス処理では、ガウスフィルタにより、元の画像の各画素データを周辺画素の画素データを反映させた値に補正し、その補正された画素データの自然対数から元の画像のリファレンス成分データを算出し、元画像の画素成分で元の画像の画素データを除してイルミナンス成分データを算出する。つまり、元の画像を、リファレンス成分とイルミナンス成分との２の構成成分に分けるのである。そして、イルミナンス成分に対してガンマ補正等の明度や階調（コントラスト）を補正する処理を行った後、その補正されたイルミナンス成分と、リファレンス成分とを合成することにより、元の画像に対し逆光画像部分などの低画質部分の画質が改良された画像データを生成することができる。リファレンス成分を求めるには、反射率Ｒ（ｘ，ｙ）の正規化を行う。

ここで、図４を参照して、反射率Ｒ（ｘ，ｙ）の正規化について説明する。反射率Ｒ（ｘ，ｙ）は、次式により算出される。

ここで、ｘは、横方向の座標を、ｙは、縦方向の座標を、Ｉ（ｘ，ｙ）は、座標（ｘ，ｙ）における強度値を、Ｆ（ｘ，ｙ）は、座標（ｘ，ｙ）のフィルタ係数を、＊は、畳み込み演算（コンボリューション）をそれぞれ示す。なお、ｌｏｇは、ｅを底とする自然対数である。

図４は、ある静止画像について、上式により求められた反射率Ｒ（ｘ，ｙ）の最小値を０、最大値を２５５とする０から２５５の範囲の整数値に正規化し、各整数の出現頻度を集計したヒストグラムである。

このヒストグラムからメディアン値Ｍを求め、メディアン値から大きい側へ４５％の画素数を含む範囲の上限値をＵ、メディアン値から小さい側へ４５％の画素数を含む範囲の下限値をＤとする。

ＵおよびＤの値に対応するＲ（ｘ，ｙ）の値を、ＵｐＲ、ＤｏｗｎＲとし、正規化反射率（正規化レティネックス値）ｒｅｆｌｅ（ｘ，ｙ）は、Ｒ（ｘ，ｙ）の値がＤｏｗｎＲ以下の場合は、０．０とし、Ｒ（ｘ，ｙ）の値がＵｐＲ以上の場合は、１．０とし、Ｒ（ｘ，ｙ）の値がＤｏｗｎＲより大きくＵｐＲより小さい場合は、

とする。

このように処理するとｒｅｆｌｅ（ｘ，ｙ）は、０．０から１．０の間の値を取るように正規化される。実験によれば、こうして得られた値に、０．３を加算し、ｒｅｆｌｅ（ｘ，ｙ）の値が０．３から１．３の値を取るようにするのがよいことが判明している。

このようにしてｒｅｆｌｅ（ｘ，ｙ）が求められるので、クリップされる範囲（以下、クリップ範囲と称す：ＵｐＲとＤｏｗｎＲとの間）を求めるため、Ｒ（ｘ，ｙ）を全画素分記憶しなければならない。尚かつ、Ｒ（ｘ，ｙ）は、対数演算により求まる数値であるので、小数点を用いて記録する必要があり、浮動小数点では、４バイト、倍精度実数の場合には８バイトで画素毎に記憶するため膨大な記憶容量が必要である。

特開２００１−６９５２５号公報（特許文献１）には、このレティネックス処理をＲＧＢの各プレーンで独立に行った場合に、カラーバランスが崩れたり色ずれが発生するという問題点を解決するために、ＲＧＢ値をＹＣｂＣｒやＹＩＱという輝度成分と色成分により構成される座標空間に変換し、輝度成分Ｙに対してのみレティネックス処理を施し、色成分を維持したまま、ＲＧＢに戻すという方法が開示されている。この方法を用いると輝度成分のみが調整され、色成分は調整されないのでカラーバランスが崩れたり色ずれが発生することがない。また、この方法では、輝度成分のみにレティネックス処理を行うので、ＲＧＢの各プレーンそれぞれにレティネックス処理を行う場合に比べ、計算量が少なく、高速で処理を実行することができとともに、Ｒ（ｘ，ｙ）を正規化するために、ＲＧＢそれぞれについて記憶する必要がなく、輝度のみについて記憶すればよいので、必要な記憶容量は少なくなる。

また、特許３７３１５７７号（特許文献２）には、このレティネックス処理の処理速度を高速にする方法が開示されている。この方法は、元画像を平均画素法などの方法により縮小画像（解像度が低い）を形成し、その縮小画像の各画素について周辺平均輝度を求めた周辺平均輝度画像（ボケ画像）を形成し、そのボケ画像を拡大した画像と元画像からレティネックス処理画像を形成し、更に、そのレティネックス処理画像と元画像とから出力画像を形成している。
特開２００１−６９５２５号公報 特許３７３１５７７号公報

しかしながら、従来の文献に開示された処理では、反射率を記憶するメモリのサイズが依然として大きいという問題点と、処理された画像を出力する際に、処理を開始してから画像の出力開始までの時間が長いという問題点とがあった。

本発明は、上記問題点を解決するためになされたものであり、レティネックス処理を高速で行うことができる画像処理プログラムおよび画像処理装置を提供することを目的としている。

この目的を達成するために、請求項１記載の画像処理プログラムは、画像の補正処理を行う画像処理装置により実行されるものであり、元画像を縮小した縮小画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求めることにより縮小レティネックス画像を形成する縮小レティネックス画像形成ステップと、その縮小レティネックス画像形成ステップにより形成された縮小レティネックス画像の画素値が取る値の全範囲における各画素値の頻度を集計し、正規化を行う際の上限値および下限値を設定する正規化パラメータ設定ステップと、前記元画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求め、その反射率を前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化した正規化レティネックス値を求め、その正規化レティネックス値に基づいて、前記元画像の画素値の補正を行う補正ステップであって、前記正規化レティネックス値が大きくなるほど補正後の前記元画像の画素値が大きくなるように前記元画像の画素値の補正を行う前記補正ステップとを、前記画像処理装置に実行させる。

請求項２記載の画像処理プログラムは、請求項１記載の画像処理プログラムにおいて、前記縮小レティネックス画像形成ステップは、元画像から縮小画像を形成するために最近傍法により画素を抽出するサンプリングステップと、そのサンプリングステップにより抽出された画素の値とフィルタ係数との畳み込み演算を行う演算ステップとを、前記画像処理装置に実行させる。

請求項３記載の画像処理プログラムは、請求項１記載の画像処理プログラムにおいて、前記縮小レティネックス画像形成ステップは、元画像を平均画素法により縮小する画像縮小ステップと、その縮小ステップにより縮小された画像の画素とフィルタ係数との畳み込み演算を行う演算ステップとを、前記画像処理装置に実行させる。

請求項４記載の画像処理プログラムは、請求項１から３のいずれかに記載の画像処理プログラムにおいて、前記画像処理装置は前記縮小レティネックス画像形成ステップにより形成された縮小レティネックス画像を記憶する記憶手段を備え、前記正規化パラメータ設定ステップは、前記記憶手段に記憶された縮小レティネックス画像に基づいて正規化を行う際の上限値および下限値を設定する。

請求項５記載の画像処理プログラムは、請求項１から４のいずれかに記載の画像処理プログラムにおいて、前記縮小レティネックス画像形成ステップは、前記縮小画像から分離された輝度信号のみについて縮小レティネックス画像を形成し、前記補正ステップは、元画像から分離された輝度信号のみについて反射率を求め、その反射率を前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化した正規化レティネックス値を求め、その正規化レティネックス値に基づいて、前記元画像の輝度信号の補正を行うものであって、前記正規化レティネックス値が大きくなるほど補正後の前記元画像の輝度信号が大きくなるように前記元画像の輝度信号の補正を行う。

請求項６記載の画像処理プログラムは、請求項１から５のいずれかに記載の画像処理プログラムにおいて、前記補正ステップにより補正された画素値を出力する出力ステップを、前記画像処理装置に実行させる。

請求項７記載の画像処理プログラムは、請求項１から６のいずれかに記載の画像処理プログラムにおいて、前記正規化パラメータ設定ステップは、全画素が取る値の最大値から最小値の範囲の値のうち、全画素に対する所定の割合の画素を含むクリップ範囲の上限値と下限値とを正規化パラメータとして設定する。

請求項８記載の画像処理装置は、画像の補正を行うものであり、元画像を縮小した縮小画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求めることにより縮小レティネックス画像を形成する縮小レティネックス画像形成手段と、その縮小レティネックス画像形成手段により形成された縮小レティネックス画像の画素値が取る値の全範囲における各画素値の頻度を集計し、正規化を行う際の上限値および下限値を設定する正規化パラメータ設定手段と、前記元画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求め、その反射率を前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化した正規化レティネックス値を求め、その正規化レティネックス値に基づいて、前記元画像の画素値の補正を行う補正手段であって、前記正規化レティネックス値が大きくなるほど補正後の前記元画像の画素値が大きくなるように前記元画像の画素値の補正を行う前記補正手段とを備えている。

請求項９記載の画像処理装置は、請求項８記載の画像処理装置において、前記縮小レティネックス画像形成手段は、元画像から縮小画像を形成するために最近傍法により画素を抽出するサンプリング手段と、そのサンプリング手段により抽出された画素の値とフィルタ係数との畳み込み演算を行う演算手段とを備えている。

請求項１０記載の画像処理装置は、請求項８記載の画像処理装置において、前記縮小レティネックス画像形成手段は、元画像を平均画素法により縮小する画像縮小手段と、その画像縮小手段により縮小された画像の画素とフィルタ係数との畳み込み演算を行う演算手段とを備えている。

請求項１１記載の画像処理装置は、請求項８から１０のいずれかに記載の画像処理装置において、前記縮小レティネックス画像形成手段により形成された縮小レティネックス画像を記憶する記憶手段を備え、前記正規化パラメータ設定手段は、前記記憶手段に記憶された縮小レティネックス画像に基づいて正規化を行う際の上限値および下限値を取得するものである。

請求項１２記載の画像処理装置は、請求項８から１１のいずれかに記載の画像処理装置において、前記縮小レティネックス画像形成手段は、前記縮小画像から分離された輝度信号のみについて縮小レティネックス画像を形成し、前記補正手段は、元画像から分離された輝度信号のみについて反射率を求め、その反射率を前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化した正規化レティネックス値を求め、その正規化レティネックス値に基づいて、前記元画像の輝度信号の補正を行うものであって、前記正規化レティネックス値が大きくなるほど補正後の前記元画像の輝度信号が大きくなるように前記元画像の輝度信号の補正を行う。

請求項１３記載の画像処理装置は、請求項８から１２のいずれかに記載の画像処理装置において、前記補正手段により補正された画素値を出力する出力手段を備えている。

請求項１４記載の画像処理装置は、請求項８から１３のいずれかに記載の画像処理装置において、前記正規化パラメータ設定手段は、全画素が取る値の最大値から最小値の範囲の値のうち、全画素に対する所定の割合の画素を含むクリップ範囲の上限値と下限値とを正規化パラメータとして設定する。

請求項１記載の画像処理プログラムによれば、元画像を縮小した縮小画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求めることにより縮小レティネックス画像を形成する縮小レティネックス画像形成ステップと、その縮小レティネックス画像形成ステップにより形成された縮小レティネックス画像の画素値が取る値の全範囲における各画素値の頻度を集計し、正規化を行う際の上限値および下限値を設定する正規化パラメータ設定ステップと、元画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求め、その反射率を正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化した正規化レティネックス値を求め、その正規化レティネックス値と、元画像の画素値とに基づいて補正を行う補正ステップとを備えているので、周辺平均輝度を求める際に行う畳み込み演算における演算数が少なく、処理を高速で行うことができる。また、上限値および下限値の正規化パラメータを設定する際の対象となる画素数が少ないので高速で、クリップ範囲を決定することができる。

請求項２記載の画像処理プログラムによれば、請求項１記載の画像処理プログラムの奏する効果に加え、縮小レティネックス画像形成ステップは、元画像から縮小画像を形成するために最近傍法により画素を抽出するサンプリングステップと、そのサンプリングステップにより抽出された画素の値とフィルタ係数との畳み込み演算を行う演算ステップとを備えているので、画像を縮小する演算を、平均画素法などに比べ高速で行うことができるという効果がある。

請求項３記載の画像処理プログラムによれば、請求項１記載の画像処理プログラムの奏する効果に加え、縮小レティネックス画像形成ステップは、元画像を平均画素法により縮小する画像縮小ステップと、その縮小ステップにより縮小された画像の画素とフィルタ係数との畳み込み演算を行う演算ステップとを備えているので、最近傍法などに比べ、縮小画像の画質が良好であり、正規化を行う際の上限値および下限値をより正確に決定することができるという効果がある。

請求項４記載の画像処理プログラムによれば、請求項１から３のいずれかに記載の画像処理プログラムの奏する効果に加え、縮小レティネックス画像形成ステップにより形成された縮小レティネックス画像を記憶する記憶手段を備え、正規化パラメータ設定ステップは、記憶手段に記憶された縮小レティネックス画像に基づいて正規化を行う際の上限値および下限値を設定する。

元画像に基づいてレティネックス画像を形成して記憶する場合は、大きな記憶容量を必要とするが、縮小画像に基づく縮小レティネックス画像を記憶するので、記憶容量を小さくすることができるという効果がある。

請求項５記載の画像処理プログラムによれば、請求項１から４のいずれかに記載の画像処理プログラムの奏する効果に加え、縮小レティネックス画像形成ステップは、前記縮小画像から分離された輝度信号のみについて縮小レティネックス画像を形成し、前記補正ステップは、元画像から分離された輝度信号のみについて反射率を求め、その反射率を前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化した正規化レティネックス値を求め、その正規化レティネックス値と、元画像の画素値とに基づいて補正を行うので、ＲＧＢ値それぞれについてレティネックス処理を行う場合に比べ、色ずれの発生を防止することができるとともに、演算量が減るので高速で演算することができるという効果がある。

請求項６記載の画像処理プログラムによれば、請求項１から５のいずれかに記載の画像処理プログラムの奏する効果に加え、補正ステップにより補正された画素値を出力する出力ステップを備えているので、レティネックス処理を開始してから、出力ステップにより補正された画像の出力が開始されるまでの時間が短いという効果がある。

従来、元画像のレティネックス画像を形成し、そのレティネックス画像に基づいて正規化を行うための上限値と下限値を求める処理では、画素数が多いため、上限値と下限値を求めるのに時間がかかり、レティネックス処理を開始してから最初に画像が出力されるまでに時間を要していたが、本発明により、この時間を短縮することができる。

請求項７記載の画像処理プログラムによれば、請求項１から６のいずれかに記載の画像処理プログラムの奏する効果に加え、正規化パラメータ設定ステップは、全画素が取る値の最大値から最小値の範囲の値のうち、全画素に対する所定の割合の画素を含むクリップ範囲の上限値と下限値とを正規化パラメータとして設定するので、決定される上限値および下限値は、元画像を用いて決定した上限値および下限値とほぼ同一の値を得ることができる。したがって、この上限値および下限値の精度を維持したままで高速で求めることができるという効果がある。なお、正規化パラメータとして上限値、下限値ではなく最大値、最小値を用いた場合は、元画像により求めた値と、縮小画像により求めた値とが大きく異なる場合がある。

請求項８記載の画像処理装置によれば、元画像を縮小した縮小画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求めることにより縮小レティネックス画像を形成する縮小レティネックス画像形成手段と、その縮小レティネックス画像形成手段により形成された縮小レティネックス画像の画素値が取る値の全範囲における各画素値の頻度を集計し、正規化を行う際の上限値および下限値を設定する正規化パラメータ設定手段と、前記元画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求め、その反射率を前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化した正規化レティネックス値を求め、その正規化レティネックス値と、元画像の画素値とに基づいて補正を行う補正手段とを備えているので、周辺平均輝度を求める際に行う畳み込み演算における演算数が少なく、処理を高速で行うことができる。また、上限値および下限値を設定する際の対象とする画素数が少ないので高速で設定することができる。

請求項９記載の画像処理装置によれば、請求項８記載の画像処理装置の奏する効果に加え、縮小レティネックス画像形成手段は、元画像から縮小画像を形成するために最近傍法により画素を抽出するサンプリング手段と、そのサンプリング手段により抽出された画素の値とフィルタ係数との畳み込み演算を行う演算手段とを備えているので、画像を縮小する演算を高速で行うことができるという効果がある。

請求項１０記載の画像処理装置によれば、請求項８記載の画像処理装置の奏する効果に加え、縮小レティネックス画像形成手段は、元画像を平均画素法により縮小する画像縮小手段と、その画像縮小手段により縮小された画像の画素とフィルタ係数との畳み込み演算を行う演算手段とを備えているので、縮小画像の画質が良好であり、正規化を行う際の上限値および下限値をより正確に設定することができるという効果がある。

請求項１１記載の画像処理装置によれば、請求項８から１０のいずれかに記載の画像処理装置の奏する効果に加え、縮小レティネックス画像形成手段により形成された縮小レティネックス画像を記憶する記憶手段を備え、正規化パラメータ設定手段は、記憶手段に記憶された縮小レティネックス画像に基づいて正規化を行う際の上限値および下限値を取得する。

元画像に基づいてレティネックス画像を形成して記憶する場合は、大きな記憶容量を必要とするが、縮小画像に基づく縮小レティネックス画像を記憶するので、記憶容量を小さくすることができるという効果がある。

請求項１２記載の画像処理装置によれば、請求項８から１１のいずれかに記載の画像処理装置の奏する効果に加え、縮小レティネックス画像形成手段は、前記縮小画像から分離された輝度信号のみについて縮小レティネックス画像を形成し、前記補正手段は、元画像から分離された輝度信号のみについて反射率を求め、その反射率を前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化した正規化レティネックス値を求め、その正規化レティネックス値と、元画像の画素値とに基づいて補正を行うので、ＲＧＢ値それぞれについてレティネックス処理を行う場合に比べ、色ずれの発生を防止することができるとともに、演算量が減るので高速で演算することができるという効果がある。

請求項１３記載の画像処理装置によれば、請求項８から１２のいずれかに記載の画像処理装置の奏する効果に加え、補正手段により補正された画素値を出力する出力手段を備えているので、レティネックス処理を開始してから、出力ステップにより補正された画像の出力が開始されるまでの時間が短いという効果がある。

従来、元画像のレティネックス画像を形成し、そのレティネックス画像に基づいて正規化を行うための上限値と下限値を求める処理では、画素数が多いため、上限値と下限値を求めるのに時間がかかり、レティネックス処理を開始してから最初に画像が出力されるまでに時間を要していたが、本発明により、この時間を短縮することができる。

請求項１４記載の画像処理装置によれば、請求項８から１３のいずれかに記載の画像処理装置の奏する効果に加え、正規化パラメータ設定手段は、全画素が取る値の最大値から最小値の範囲の値のうち、全画素に対する所定の割合の画素を含むクリップ範囲の上限値と下限値とを正規化パラメータとして設定するので、決定される上限値および下限値は、元画像を用いて決定した上限値および下限値とほぼ同一の値を得ることができる。したがって、この上限値および下限値の精度を維持したままで高速で求めることができるという効果がある。

以下、本発明の好ましい実施形態について添付図面を参照して説明する。図１は、本実施形態の画像処理を行う機能を有するプリンタ１の電気的な構成を示したブロック図である。本実施形態においては、プリンタ１に搭載された画像処理プログラムは、パーソナルコンピュータ（以下「ＰＣ」と称する）２や、デジタルカメラ２１や、外部メディア２０から入力された画像データ（原画像データなど）に対しレティネックス処理（Ｒｅｔｉｎｅｘ処理）およびヒストグラム処理を実行して、画像データの逆光画像部分などの低画質領域の補正を実行するように構成されている。

図１に示すように、プリンタ１には、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、印刷ヘッドなどから構成され、印刷媒体（例えば、紙媒体など）への印刷（出力）を行う印刷部１５、出力画像サイズなどの入力値をユーザが入力可能なユーザ操作部（例えば、テンキーなど）を有する操作パネル１６とを備えている。

また、プリンタ１は、ケーブル５を介してＰＣ２と接続可能なインターフェイス（以下「Ｉ／Ｆ」と称する）１７と、ケーブル６を介してデジタルカメラ２１と接続可能なＩ／Ｆ１８と、外部メディア２０（例えば、ＳＤメモリカード、メモリスティックなどのフラッシュメモリにより構成される）を着脱自在に装着可能な外部メディアスロット１９とを備えている。これらのＩ／Ｆ１７、１８により行われる通信方法としてＵＳＢ（Universal Serial Bus）が使用される。

よって、プリンタ１は、ＰＣ２に記憶されている画像データをケーブル５及びＩ／Ｆ１７を介して入力することが可能であると共に、デジタルカメラ２１によって撮影された画像データをケーブル６及びＩ／Ｆ１８を介して入力することが可能である。さらに、外部メディアスロット１９に装着された外部メディア２０から、その外部メディア２０に記憶されている画像データを入力することが可能である。

ＣＰＵ１１は、プリンタ１全体を制御する演算処理装置である。ＲＯＭ１２は、ＣＰＵ１１により実行される各種制御プログラムやそのプログラムを実行する際に用いられる固定値などを記憶するものであり、レティネックス処理やヒストグラム処理などの画像の処理を行う画像処理プログラムを記憶する画像処理プログラムメモリ１２ａや、印刷を行うための印刷制御プログラムを記憶する印刷制御プログラムメモリ１２ｂ等が備えられている。

ＲＡＭ１３は、制御プログラムがＣＰＵ１１により実行される際に必要な各種レジスタ群などが記憶されるワーキングエリアや、処理中のデータを一時的に格納するテンポラリエリア等を有しランダムにアクセスできる書き換え可能なメモリであり、元画像データを記憶する元画像メモリ１３ａと、元画像を縮小し、縮小した画像のレティネックス処理において求められる反射率を記憶する縮小レティネックス画像メモリ１３ｂとクリップ範囲を求めるためのヒストグラムが形成されるヒストグラムメモリ１３ｃ等を備えている。

元画像データメモリ１３ａは、ＰＣ２、デジタルカメラ２１、及び外部メディア２０から、それぞれ、Ｉ／Ｆ１７、Ｉ／Ｆ１８、及び外部メディアスロット１９を介して入力した画像データを記憶するものである。なお、本実施形態では、元画像データ及び出力画像データはいずれも、ＲＧＢ値から構成され、これらの各ＲＧＢ値は、「０」〜「２５５」の範囲の値である。

ＲＧＢ値は、光の３原色である赤を表すＲ値と、緑を表すＧ値と、青を示すＢ値とを構成成分とする値である。光の３原色の混色により各種の色は生成されるので、入力画像の各画素の色は、Ｒ値とＧ値とＢ値との組合せ（ＲＧＢ値）により１の色（色相や階調など）が示される。このＲＧＢ値の値が大きいほど、輝度（明度）は高くなる。

縮小レティネックス画像メモリ１３ｂは、元画像を縮小し、その縮小した画像の輝度信号のみについてレティネックス処理において求められる反射率Ｒｓ（ｘ，ｙ）を記憶するメモリである。元画像を縮小する方法としては、縮小する画像の画素に対応する元画像の位置に最も近い画素の値をサンプリングし、そのサンプリングした画素の値をそのまま用いる最近傍（Nearest Neighbor）法や、縮小する画像の画素に対応する元画像の位置の周囲の画素を用いて補間演算を行うバイキュービック法や、平均画素法などが知られている。画質より処理速度を優先する場合は、最近傍法が用いられ、処理速度より画質を優先する場合は、バイキュービック法や、平均画素法が用いられる。

これらいずれかの方法により元画像が縮小され、その縮小された画像の各画素（ピクセル）について反射率が上述の数式１を用いて演算され、この縮小レティネックス画像メモリ１３ｂに記憶される。

ヒストグラムメモリ１３ｃは、反射率Ｒ（ｘ，ｙ）を正規化する際に、クリップ範囲を設定するためにヒストグラムを形成するが、そのヒストグラムの集計を行うためのメモリである。

次に、図２および図３を参照して、ＣＰＵ１１により実行される画像処理について説明する。図２および図３は、画像処理を示すフローチャートである。図２に示す処理は、いわゆる前処理と呼ばれる処理であり、この処理では、反射率Ｒの正規化を行うためのクリップ範囲が設定される。なお、この前処理が行われている間は、画像の出力が行われない。

この前処理では、まず、元画像データをＰＣ２やデジタルカメラ２１から読み込み、ＲＡＭ１３の元画像メモリ１３ａに記憶する（Ｓ１）。次に、元画像を縮小して縮小画像を形成し、その縮小画像の各画素について輝度信号Ｙと色信号Ｃｂ，Ｃｒに変換する（Ｓ２）。

縮小画像を形成する方法としては、最近傍法や平均画素法が用いられ、輝度信号Ｙおよび色信号Ｃｂ，Ｃｒは、次式により演算される。

演算された輝度信号および色信号をＲＡＭ１３などに一時記憶し、後の処理で使用するようにしてもよいが、記憶容量を削減したい場合には、これらを記憶せずに、必要な場合、元画像から画素値を読み出して上式により演算で求めてもよい。

次に、上式により演算された輝度信号Ｙについて、反射率Ｒｓ（ｘ，ｙ）を算出する。なお、「ｓ」は、縮小画像についての接尾辞であり、元画像については、接尾辞を付さないものとする。反射率Ｒｓは、縮小画像の各画素の輝度値をＩｓ（ｘ，ｙ）、縮小画像用のフィルタをＦｓ（ｘ，ｙ）として、次式により演算される。

なお、「＊」は、畳み込み演算（コンボリューション）を示す。

次に、上記演算により求められた反射率Ｒｓ（ｘ，ｙ）をＲＡＭ１３の縮小レティネックス画像メモリ１３ｂに記憶する（Ｓ４）。

次に、Ｒｓ（ｘ，ｙ）を最大値および最小値と比較する（Ｓ５）。詳細には、最初の座標について求めた反射率Ｒｓ（ｘ，ｙ）を最大値および最小値とし、そのつぎから求めた反射率Ｒｓ（ｘ，ｙ）と最大値および最小値とをそれぞれ比較し、今回求めた反射率Ｒｓ（ｘ，ｙ）が、最大値より大きい場合は、今回求めた反射率Ｒｓ（ｘ，ｙ）を新たな最大値とし、今回求めた反射率Ｒｓ（ｘ，ｙ）が、最小値より小さい場合は、今回求めた反射率Ｒｓ（ｘ，ｙ）を新たな最小値とし、今回求めた反射率Ｒｓ（ｘ，ｙ）が、最大値より小さく、最小値より大きい場合は、最大値、最小値を変更しないという処理である。

次に、縮小画像の全ての座標についてＳ３〜Ｓ５の処理を行ったか否かを判断し（Ｓ６）、まだ、未処理の座標がある場合は（Ｓ６：Ｎｏ）、Ｓ３の処理に戻り、全ての座標についての処理を終了した場合は（Ｓ６：Ｙｅｓ）、Ｓ５の処理により求めた最大値と最小値に基づいて、反射率Ｒｓ（ｘ，ｙ）を正規化し、ヒストグラムを形成する（Ｓ７）。このヒストグラムは、算出された最大値と最小値との間の各値をとる画素値の数を集計したもので、この集計されたヒストグラムは、ヒストグラムメモリ１３ｃに形成される。

次に、その形成されたヒストグラムからメディアン値を求め（Ｓ８）、そのメディアン値とヒストグラムとから反射率Ｒｓ（ｘ，ｙ）のクリップ範囲を定める（Ｓ９）。このクリップ範囲は、例えば、メディアン値より大きい値で、全標本の４５％の標本が含まれる上限値をクリップ範囲の上限値とし、メディアン値より小さい値で、全標本の４５％が含まれる下限値をクリップ範囲の下限値とするものである。

以上の前処理により、元画像を縮小した縮小画像の反射率により構成される縮小レティネックス画像を形成し、その縮小レティネックス画像から、元画像の反射率を正規化する際のクリップ範囲が求められる。このことにより、クリップ範囲を求めるための演算の回数が、元画像について求める演算の回数より非常に少なくすることができ、処理速度が速くなる。また、縮小された画像のレティネックス画像を記憶するので、元画像のレティネックス画像を記憶する場合に比べ、少ない記憶容量で処理することができるという利点がある。また、縮小画像を用いて求めたクリップ範囲と、元画像を用いて求めたクリップ範囲とは、大差がない。次表は、縮小画像により求めたクリップ範囲（上限値と下限値）と元画像により求めたクリップ範囲との差異を示すものである。

この表が示すように、元画像により求めた最大値は、２．７１２、最小値は、−４．０６３であり、縮小画像により求めた最大値は、１．７２９、最小値は、−２．６０７である。よって、元画像により求めた最大値と縮小画像により求めた最大値との差は、０．９８３であり、元画像により求めた最小値と縮小画像により求めた最小値との差は、１．４５６であって、かなり大きな差が認められる。

一方、元画像により求めたクリップ範囲の上限値は、０．８２５、下限値は、−０．８２２であり、縮小画像により求めた上限値は、０．７４２、下限値は、−０．７５５である。よって、元画像により求めた上限値と縮小画像により求めた上限値との差は、０．０８３であり、元画像により求めた下限値と縮小画像により求めた下限値との差は、０．０６７であって、これらの差が小さいことが分かる。

次に、図２に示す処理により求められたクリップ範囲に基づいて行う後処理である元画像のレティネックス処理について説明する。図３は、元画像のレティネックス処理を示すフローチャートである。なお、この後処理では、元画像の各画素について処理が行われ、処理された画素値は、順次印刷部１５に出力される。

まず、元画像について、反射率Ｒ（ｘ，ｙ）を算出する（Ｓ１１）。次に、縮小画像を用いて求めたクリップ範囲に基づいて、Ｒ（ｘ，ｙ）を正規化し、正規化反射率（正規化レティネックス値）ｒｅｆｌｅ（ｘ，ｙ）を得る（Ｓ１２）。

次に、このｒｅｆｌｅ（ｘ，ｙ）を用いて、次式により輝度についてレティネックス処理を行った画素の値Ｏｕｔ（ｘ，ｙ）を得る（Ｓ１３）。なお、γは、定数である。

次に、このＯｕｔ（ｘ，ｙ）と、色信号Ｃｂ、Ｃｒとに基づいて、ＲＧＢ値に変換する（Ｓ１４）。この変換は、次式により算出される。

以上の処理により元画像の輝度信号にレティネックス処理が施され、色信号に基づいてＲＧＢ値に戻した画素値が求められる。次に、この処理された画素値を印刷部１５に出力する（Ｓ１５）。よって、前処理により、正規化を行うクリップ範囲が特定されているので、後処理では、順次各画素について処理を行い印刷部１５に出力することができる。その結果、処理を開始してから、印刷が開始されるまでの時間を短縮することができる。

次に、元画像の全画素について処理を終了したか否かを判断し（Ｓ１６）、まだ処理を終了していない画素がある場合は（Ｓ１６：Ｎｏ）、Ｓ１１の処理に戻り、全ての画素について処理を終了した場合は（Ｓ１６：Ｙｅｓ）、この後処理を終了する。

以上、実施形態について説明したように、元画像を縮小した縮小画像の輝度信号についてレティネックス処理を行い、その縮小されたレティネックス画像からクリップ範囲を求めて、そのクリップ範囲に基づいて、元画像についてレティネックス処理を行うので、レティネックス画像を記憶するメモリの記憶容量を小さくすることができるとともに、クリップ範囲を求める処理を高速で行うことができる。また、前処理において、クリップ範囲が求められ、後処理においては、前処理において求められたクリップ範囲に基づいて、順次元画像の画素についてレティネックス処理を行い、出力することができるので、処理を開始してから出力が開始されるまでの時間を短縮することができる。

なお、請求項に記載の縮小レティネックス画像形成ステップおよび縮小レティネックス画像形成ステップは、図２に示すフローチャートのＳ３の処理が該当し、正規化パラメータ設定ステップおよび正規化パラメータ設定手段は、図２に示すフローチャートのＳ７〜Ｓ９の処理が該当し、補正ステップおよび補正手段は、図３に示すフローチャートの処理が該当する。

以上、実施形態に基づいて本発明を説明したが、本発明は上記各実施形態に何ら限定されるものでなく、本発明の趣旨を逸脱しない範囲内で種々の改良変形が可能であることは容易に推察できるものである。

例えば、上記実施形態では、色表現系はＲＧＢ形式としたが、ＲＧＢ形式以外の他の色表現系、例えば、ＣＭＹ形式などに本発明を適用してもよい。

また、上記実施形態では、本発明の画像処理プログラムは、プリンタ１に組み込まれたＣＰＵ１１により実行されるものとしたが、パーソナルコンピュータにアプリケーションとして供給され、パーソナルコンピュータに組み込まれたＣＰＵなどにより実行されるようにしてもよい。

また、レティネックス処理は、ＳＳＲ（シングルスケール法）であってもＭＳＲ（マルチスケール法）であってもよい。

また、上記実施形態の画像処理では、ＣＰＵ１１によりレティネックス処理などを行うものとしたが、ＤＳＰ（Digital Signal
Processor）により行ってもよい。ＤＳＰを用いると、より高速に積和演算などの処理を実行することができる。

本発明の実施形態の画像処理プログラムを搭載したプリンタの電気的構成を示すブロック図である。 画像処理プログラムにより行われる前処理を示すフロー図である。 前処理に続いて実行される後処理を示すフローチャートである。 正規化を行うためのクリップ範囲について説明するためのヒストグラムである。

符号の説明

１ プリンタ
２ パーソナルコンピュータ
１１ ＣＰＵ
１２ ＲＯＭ
１２ａ 画像処理プログラムメモリ
１３ ＲＡＭ
１３ａ 元画像メモリ
１３ｂ レティネックス画像メモリ（記憶手段）

Claims (14)

1. 画像の補正処理を行う画像処理装置により実行される画像処理プログラムにおいて、
   元画像を縮小した縮小画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求めることにより縮小レティネックス画像を形成する縮小レティネックス画像形成ステップと、
   その縮小レティネックス画像形成ステップにより形成された縮小レティネックス画像の画素値が取る値の全範囲における各画素値の頻度を集計し、正規化を行う際の上限値および下限値を設定する正規化パラメータ設定ステップと、
   前記元画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求め、その反射率を前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化した正規化レティネックス値を求め、その正規化レティネックス値に基づいて、前記元画像の画素値の補正を行う補正ステップであって、前記正規化レティネックス値が大きくなるほど補正後の前記元画像の画素値が大きくなるように前記元画像の画素値の補正を行う前記補正ステップとを、前記画像処理装置に実行させるための画像処理プログラム。
2. 前記縮小レティネックス画像形成ステップは、元画像から縮小画像を形成するために最近傍（Nearest Neighbor）法により画素を抽出するサンプリングステップと、そのサンプリングステップにより抽出された画素の値とフィルタ係数との畳み込み演算を行う演算ステップとを、前記画像処理装置に実行させるための請求項１記載の画像処理プログラム。
3. 前記縮小レティネックス画像形成ステップは、元画像を平均画素法により縮小する画像縮小ステップと、その縮小ステップにより縮小された画像の画素とフィルタ係数との畳み込み演算を行う演算ステップとを、前記画像処理装置に実行させるための請求項１記載の画像処理プログラム。
4. 前記画像処理装置は前記縮小レティネックス画像形成ステップにより形成された縮小レティネックス画像を記憶する記憶手段を備え、
   前記正規化パラメータ設定ステップは、前記記憶手段に記憶された縮小レティネックス画像に基づいて正規化を行う際の上限値および下限値を設定することを特徴とする請求項１から３のいずれかに記載の画像処理プログラム。
5. 前記縮小レティネックス画像形成ステップは、前記縮小画像から分離された輝度信号のみについて縮小レティネックス画像を形成し、
   前記補正ステップは、元画像から分離された輝度信号のみについて反射率を求め、その反射率を前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化した正規化レティネックス値を求め、その正規化レティネックス値に基づいて、前記元画像の輝度信号の補正を行うものであって、前記正規化レティネックス値が大きくなるほど補正後の前記元画像の輝度信号が大きくなるように前記元画像の輝度信号の補正を行うことを特徴とする請求項１から４のいずれかに記載の画像処理プログラム。
6. 前記補正ステップにより補正された画素値を出力する出力ステップを、前記画像処理装置に実行させるための請求項１から５のいずれかに記載の画像処理プログラム。
7. 前記正規化パラメータ設定ステップは、前記縮小レティネックス画像形成ステップにより形成された縮小レティネックス画像の全画素が取る値の最大値から最小値の範囲の値のうち、全画素に対する所定の割合の画素を含むクリップ範囲の上限値と下限値とを正規化パラメータとして設定することを特徴とする請求項１から６のいずれかに記載の画像処理プログラム。
8. 画像の補正を行う画像処理装置において、
   元画像を縮小した縮小画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求めることにより縮小レティネックス画像を形成する縮小レティネックス画像形成手段と、
   その縮小レティネックス画像形成手段により形成された縮小レティネックス画像の画素値が取る値の全範囲における各画素値の頻度を集計し、正規化を行う際の上限値および下限値を設定する正規化パラメータ設定手段と、
   前記元画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求め、その反射率を前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化した正規化レティネックス値を求め、その正規化レティネックス値に基づいて、前記元画像の画素値の補正を行う補正手段であって、前記正規化レティネックス値が大きくなるほど補正後の前記元画像の画素値が大きくなるように前記元画像の画素値の補正を行う前記補正手段とを備えていることを特徴とする画像処理装置。
9. 前記縮小レティネックス画像形成手段は、元画像から縮小画像を形成するために最近傍法により画素を抽出するサンプリング手段と、そのサンプリング手段により抽出された画素の値とフィルタ係数との畳み込み演算を行う演算手段とを備えていることを特徴とする請求項８記載の画像処理装置。
10. 前記縮小レティネックス画像形成手段は、元画像を平均画素法により縮小する画像縮小手段と、その画像縮小手段により縮小された画像の画素とフィルタ係数との畳み込み演算を行う演算手段とを備えていることを特徴とする請求項８記載の画像処理装置。
11. 前記縮小レティネックス画像形成手段により形成された縮小レティネックス画像を記憶する記憶手段を備え、
    前記正規化パラメータ設定手段は、前記記憶手段に記憶された縮小レティネックス画像に基づいて正規化を行う際の上限値および下限値を設定するものであることを特徴とする請求項８から１０のいずれかに記載の画像処理装置。
12. 前記縮小レティネックス画像形成手段は、前記縮小画像から分離された輝度信号のみについて縮小レティネックス画像を形成し、
    前記補正手段は、元画像から分離された輝度信号のみについて反射率を求め、その反射率を前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化した正規化レティネックス値を求め、その正規化レティネックス値に基づいて、前記元画像の輝度信号の補正を行うものであって、前記正規化レティネックス値が大きくなるほど補正後の前記元画像の輝度信号が大きくなるように前記元画像の輝度信号の補正を行うことを特徴とする請求項８から１１のいずれかに記載の画像処理装置。
13. 前記補正手段により補正された画素値を出力する出力手段を備えていることを特徴とする請求項８から１２のいずれかに記載の画像処理装置。
14. 前記正規化パラメータ設定手段は、全画素が取る値の最大値から最小値の範囲の値のうち、全画素に対する所定の割合の画素を含むクリップ範囲の上限値と下限値とを正規化パラメータとして設定することを特徴とする請求項８から１３のいずれかに記載の画像処理装置。
    

Images