JP4710761B2 - 画像処理プログラムおよび画像処理装置 - Google Patents

Description

本発明は、画像処理プログラムおよび画像処理装置に関し、特にレティネックス処理を高速で行うことができる画像処理プログラムおよび画像処理装置に関するものである。

逆光条件下で被写体が撮像された場合、被写体部分の画像は、詳細な態様が判別困難となるほど明度やコントラストの低い不明瞭な逆光画像となる。かかる逆光画像のみならず、露光の過不足や、撮像時のぶれやぼけ、ノイズ、光量不足などによる劣悪な画像を、画像処理によって明度やコントラストを向上させて画質を改良することが行われている。かかる画像処理の１手法として、レティネックス処理（Ｒｅｔｉｎｅｘ処理）が知られている。

レティネックス処理は、高画質部分については入力画像データを保持し、主に低画質部分の画質改良を行うものである。このレティネックス処理では、ガウスフィルタにより、元の画像の各画素データを周辺画素の画素データを反映させた値に補正し、その補正された画素データの自然対数から元の画像のリファレンス成分データを算出し、元画像の画素成分で元の画像の画素データを除してイルミナンス成分データを算出する。つまり、元の画像を、リファレンス成分とイルミナンス成分との２の構成成分に分けるのである。そして、イルミナンス成分に対してガンマ補正等の明度や階調（コントラスト）を補正する処理を行った後、その補正されたイルミナンス成分と、リファレンス成分とを合成することにより、元の画像に対し逆光画像部分などの低画質部分の画質が改良された画像データを生成することができる。リファレンス成分を求めるには、反射率Ｒ（ｘ，ｙ）の正規化を行う。

ここで、図５を参照して、反射率Ｒ（ｘ，ｙ）の正規化について説明する。反射率Ｒ（ｘ，ｙ）は、次式により算出される。

ここで、ｘは、横方向の座標を、ｙは、縦方向の座標を、Ｉ（ｘ，ｙ）は、座標（ｘ，ｙ）における輝度値を、Ｆ（ｘ，ｙ）は、座標（ｘ，ｙ）のフィルタ係数を、＊は、畳み込み演算（コンボリューション）をそれぞれ示す。なお、ｌｏｇは、ｅを底とする自然対数である。

図５は、ある静止画像について、上式により求められた反射率Ｒ（ｘ，ｙ）の最小値を０、最大値を２５５とする０から２５５の範囲の整数値に正規化し、各整数の出現頻度を集計したヒストグラムである。

このヒストグラムからメディアン値Ｍを求め、メディアン値から大きい側へ４５％の画素数を含む範囲の上限値をＵ、メディアン値から小さい側へ４５％の画素数を含む範囲の下限値をＤとする。

ＵおよびＤの値に対応するＲ（ｘ，ｙ）の値を、ＵｐＲ、ＤｏｗｎＲとし、正規化反射率（正規化レティネックス値）ｒｅｆｌｅ（ｘ，ｙ）は、Ｒ（ｘ，ｙ）の値がＤｏｗｎＲ以下の場合は、０．０とし、Ｒ（ｘ，ｙ）の値がＵｐＲ以上の場合は、１．０とし、Ｒ（ｘ，ｙ）の値がＤｏｗｎＲより大きくＵｐＲより小さい場合は、

とする。

このように処理するとｒｅｆｌｅ（ｘ，ｙ）は、０．０から１．０の間の値を取るように正規化される。実験によれば、こうして得られた値に、０．３を加算し、ｒｅｆｌｅ（ｘ，ｙ）の値が０．３から１．３の値を取るようにするのがよいことが判明している。

このようにして求めたｒｅｆｌｅ（ｘ，ｙ）を用いて、出力Ｏｕｔ（ｘ，ｙ）は、次式により求められる。

ここでγ１は、ガンマ定数である。

特開２００１−６９５２５号公報（特許文献１）には、このレティネックス処理をＲＧＢの各プレーンで独立に行った場合に、カラーバランスが崩れたり色ずれが発生するという問題点を解決するために、ＲＧＢ値をＹＣｂＣｒやＹＩＱという輝度成分と色成分により構成される座標空間に変換し、輝度成分Ｙに対してのみレティネックス処理を施し、色成分を維持したまま、ＲＧＢに戻すという方法が開示されている。この方法を用いると輝度成分のみが調整され、色成分は調整されないのでカラーバランスが崩れたり色ずれが発生することがない。また、この方法では、輝度成分のみにレティネックス処理を行うので、ＲＧＢの各プレーンそれぞれにレティネックス処理を行う場合に比べ、計算量が少なく、高速で処理を実行することができる。

また、特許３７３１５７７号（特許文献２）には、このレティネックス処理の処理速度を高速にする方法が開示されている。この方法は、元画像を平均画素法などの方法により縮小画像（解像度が低い）を形成し、その縮小画像の各画素について周辺平均輝度を求めた周辺平均輝度画像（ボケ画像）を形成し、そのボケ画像を拡大した画像と元画像からレティネックス処理画像を形成し、更に、そのレティネックス処理画像と元画像とから出力画像を形成している。
特開２００１−６９５２５号公報 特許３７３１５７７号公報

しかしながら、従来の文献に開示された処理では、クリップされる範囲（ＵｐＲとＤｏｗｎＲとの間）を求めるため、Ｒ（ｘ，ｙ）を全画素分記憶しなければならない（文献２：Ｄ４）（文献１：００５８、「線形Ｒｅｔｉｎｅｘ処理部１０３を得られたＲｅｔｉｎｅｘ処理出力」）。尚かつ、Ｒ（ｘ，ｙ）は、対数演算により求まる数値（文献２：Ｓ１１３）、（文献１：Ｓ１５）であるので、小数点を用いて記録する必要がある。例えば、これらの処理をパーソナルコンピュータ（以下、ＰＣと称す）等で行うような場合、一般的なＰＣのＣＰＵや、オペレーティング・システムのデータ処理単位は３２ビットであるから浮動小数点では、４バイトで、倍精度実数の場合には８バイトで画素毎に記憶する。よって、対数演算処理により求めたＲ（ｘ，ｙ）を記憶する膨大な記憶容量が必要であるという問題点があった。また、処理された画像を出力する際に、Ｒ（ｘ，ｙ）のデータ量に対応してＲ（ｘ，ｙ）の対数演算量も増えるから画像の出力開始までの時間が元画像の大きさに従って長くなるという問題点もあった。

本発明は、上記問題点を解決するためになされたものであり、レティネックス処理を記憶容量が小さいメモリを用いて高速で行うことができる画像処理プログラムおよび画像処理装置を提供することを目的としている。

この目的を達成するために、請求項１記載の画像処理プログラムは、画像の補正処理を行う画像処理装置により実行されるものであり、元画像を縮小した縮小画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求めることにより縮小レティネックス画像を形成する縮小レティネックス画像形成ステップと、その縮小レティネックス画像形成ステップにより形成された縮小レティネックス画像の画素値が取る値の全範囲における各画素値の頻度を集計し、正規化を行う際の上限値および下限値を設定する正規化パラメータ設定ステップと、前記縮小レティネックス画像形成ステップにより形成された縮小レティネックス画像の全画素のうち、所定の画素を抽出するサンプリングステップと、そのサンプリングステップにより抽出された画素について、前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化し、その正規化した値と前記縮小画像の画素値とに基づいて補正を行う縮小画像補正ステップと、その縮小画像補正ステップにより補正された画素について、画素値が取る全範囲における各画素値の頻度を集計し、ヒストグラム処理を行うパラメータを設定するヒストグラム処理パラメータ設定ステップと、前記元画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求め、その反射率を前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化し、その正規化した値と、元画像の画素値とに基づいて補正を行い、その補正された画素値を更に前記ヒストグラム処理パラメータ設定ステップにより設定されたヒストグラム処理パラメータに基づいてヒストグラム補正する元画像補正ステップとを備えている。

請求項２記載の画像処理プログラムは、請求項１記載の画像処理プログラムにおいて、前記縮小レティネックス画像形成ステップは、縮小画像の輝度信号のみについて縮小レティネックス画像を形成し、前記縮小画像補正ステップは、前記サンプリングステップにより抽出された画素を前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化し、その正規化した値と、縮小画像の輝度信号とに基づいて縮小画像を補正した後カラー画像に戻し、前記ヒストグラム処理パラメータ設定ステップは、前記縮小画像補正ステップにより補正されたカラー画像の画素値が取る全範囲における各画素値の頻度を集計し、ヒストグラム処理を行うパラメータを設定し、前記元画像補正ステップは、元画像の輝度信号のみについて反射率求め、その反射率を前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化し、その正規化反射率と、元画像の輝度信号とに基づいて補正を行うとともにカラー画素値に戻し、そのカラー画素値を前記ヒストグラム処理パラメータ設定ステップにより設定されたパラメータに基づいてヒストグラム補正する。

請求項３記載の画像処理プログラムは、請求項１または２記載の画像処理プログラムにおいて、前記正規化パラメータ設定ステップは、前記縮小レティネックス画像形成ステップにより形成された縮小レティネックス画像の全画素が取る値の最大値から最小値の範囲の値のうち、全画素に対する所定の割合の画素を含むクリップ範囲の上限値と下限値とを正規化パラメータとして設定する。

請求項４記載の画像処理装置は、画像の補正処理を行うものであり、元画像を縮小した縮小画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求めることにより縮小レティネックス画像を形成する縮小レティネックス画像形成手段と、その縮小レティネックス画像形成手段により形成された縮小レティネックス画像の画素値が取る値の全範囲における各画素値の頻度を集計し、正規化を行う際の上限値および下限値を設定する正規化パラメータ設定手段と、前記縮小レティネックス画像形成手段により形成された縮小レティネックス画像の全画素のうち、所定の画素を抽出するサンプリング手段と、そのサンプリング手段により抽出された画素について、前記正規化パラメータ設定手段により設定された上限値および下限値に基づいて正規化し、その正規化した値と前記縮小画像の画素値とに基づいて補正を行う縮小画像補正手段と、その縮小画像補正手段により補正された画素について、画素値が取る全範囲における各画素値の頻度を集計し、ヒストグラム処理を行うパラメータを設定するヒストグラム処理パラメータ設定手段と、前記元画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求め、その反射率を前記正規化パラメータ設定手段により設定された上限値および下限値に基づいて正規化し、その正規化した値と、元画像の画素値とに基づいて補正を行い、その補正された画素値を更に前記ヒストグラム処理パラメータ設定手段により設定されたヒストグラム処理パラメータに基づいてヒストグラム補正する元画像補正手段とを備えている。

請求項５記載の画像処理装置は、請求項４記載の画像処理装置において、前記縮小レティネックス画像形成手段は、縮小画像の輝度信号のみについて縮小レティネックス画像を形成し、前記縮小画像補正手段は、前記サンプリング手段により抽出された画素を前記正規化パラメータ設定手段により設定された上限値および下限値に基づいて正規化し、その正規化した値と、縮小画像の輝度信号とに基づいて縮小画像を補正した後カラー画像に戻し、前記ヒストグラム処理パラメータ設定手段は、前記縮小画像補正手段により補正されたカラー画像の画素値が取る全範囲における各画素値の頻度を集計し、ヒストグラム処理を行うパラメータを設定し、前記元画像補正手段は、元画像の輝度信号のみについて反射率求め、その反射率を前記正規化パラメータ設定手段により設定された上限値および下限値に基づいて正規化し、その正規化反射率と、元画像の輝度信号とに基づいて補正を行うとともにカラー画素値に戻し、そのカラー画素値を前記ヒストグラム処理パラメータ設定手段により設定されたパラメータに基づいてヒストグラム補正する。

請求項６記載の画像処理装置は、請求項４または５記載の画像処理装置において、前記正規化パラメータ設定手段は、前記縮小レティネックス画像形成手段により形成された縮小レティネックス画像の全画素が取る値の最大値から最小値の範囲の値のうち、全画素に対する所定の割合の画素を含むクリップ範囲の上限値と下限値とを正規化パラメータとして設定する。

請求項１記載の画像処理プログラムによれば、縮小レティネックス画像形成ステップは、元画像を縮小した縮小画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求めることにより縮小レティネックス画像を形成し、正規化パラメータ設定ステップは、縮小レティネックス画像の画素値が取る値の全範囲における各画素値の頻度を集計し、正規化を行う際の上限値および下限値を設定する。よって、元画像に基づいて正規化を行う際のパラメータを設定する場合に比べ、画素値や演算の途中結果を記憶するメモリの記憶容量を小さくすることができるとともに、演算を行う対象の画素数が少ないので、速く処理することができる。

また、サンプリングステップは、縮小レティネックス画像形成ステップにより形成された縮小レティネックス画像の全画素のうち所定の画素を抽出し、縮小画像補正ステップは、サンプリングステップにより抽出された画素を正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化し、その正規化した値と縮小画像の画素値とに基づいて補正を行い、ヒストグラム処理パラメータ設定ステップは、縮小画像補正ステップにより補正された画素の画素値が取る全範囲における各画素値の頻度を集計し、ヒストグラム処理を行うパラメータを設定するので、処理の対象となる画素数が少なく、高速で処理を行うことができる。なお、ヒストグラム処理におけるパラメータは、縮小画像を用いて設定した場合でも、元画像を用いて設定した場合とあまり変わらない。

元画像補正ステップは、元画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求め、その反射率を正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化し、その正規化した値と、元画像の画素値とに基づいて補正を行い、その補正された画素値を更にヒストグラム処理パラメータ設定ステップにより設定されたヒストグラム処理パラメータに基づいてヒストグラム補正する。この元画像補正ステップでは、元画像の各画素について順次処理を行うことができるので、処理された画素の値を順次出力することができる。従って、レティネックス処理を開始してから、出力が開始されるまでの時間を短縮することができるという効果がある。

請求項２記載の画像処理プログラムによれば、請求項１記載の画像処理プログラムの奏する効果に加え、縮小レティネックス画像形成ステップは、縮小画像の輝度信号のみについて縮小レティネックス画像を形成し、縮小画像補正ステップは、サンプリングステップにより抽出された画素を正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化し、その正規化した値と、縮小画像の輝度信号とに基づいて縮小画像を補正した後カラー画像に戻し、ヒストグラム処理パラメータ設定ステップは、縮小画像補正ステップにより補正されたカラー画像の画素値が取る全範囲における各画素値の頻度を集計し、ヒストグラム処理を行うパラメータを設定し、元画像補正ステップは、元画像の輝度信号のみについて反射率求め、その反射率を正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化し、その正規化反射率と、元画像の輝度信号とに基づいて補正を行うとともにカラー画素値に戻し、そのカラー画素値をヒストグラム処理パラメータ設定ステップにより設定されたパラメータに基づいてヒストグラム補正するので、カラー画像を構成するＲＧＢ値それぞれについてレティネックス処理を行う場合に比べて、処理が速いとともに、色ずれが発生しないという効果がある。

請求項３記載の画像処理プログラムによれば、請求項１または２記載の画像処理プログラムの奏する効果に加え、正規化パラメータ設定ステップは、縮小レティネックス画像形成ステップにより形成された縮小レティネックス画像の全画素が取る値の最大値から最小値の範囲の値のうち、全画素に対する所定の割合の画素を含むクリップ範囲の上限値と下限値とを正規化パラメータとして設定するので、決定される上限値および下限値は、元画像を用いて決定した上限値および下限値とほぼ同一の値を得ることができる。したがって、この上限値および下限値の精度を維持したままで高速で求めることができるという効果がある。なお、正規化パラメータとして上限値、下限値ではなく最大値、最小値を用いた場合は、元画像により求めた値と、縮小画像により求めた値とが大きく異なる場合がある。

請求項４記載の画像処理装置によれば、縮小レティネックス画像形成手段は、元画像を縮小した縮小画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求めることにより縮小レティネックス画像を形成し、正規化パラメータ設定手段は、縮小レティネックス画像の画素値が取る値の全範囲における各画素値の頻度を集計し、正規化を行う際の上限値および下限値を設定する。よって、元画像に基づいて正規化を行う際のパラメータを設定する場合に比べ、画素値や演算の途中結果を記憶するメモリの記憶容量を小さくすることができるとともに、演算を行う対象の画素数が少ないので、速く処理することができる。

また、サンプリング手段は、縮小レティネックス画像形成手段により形成された縮小レティネックス画像の全画素のうち所定の画素を抽出し、縮小画像補正手段は、サンプリング手段により抽出された画素を正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化し、その正規化した値と縮小画像の画素値とに基づいて補正を行い、その画素値が取る全範囲における各画素値の頻度を集計し、ヒストグラム処理を行うパラメータを設定するので、処理の対象となる画素数が少なく、高速で処理を行うことができる。なお、ヒストグラム処理におけるパラメータは、縮小画像を用いた場合でも、あまり変わらない。

元画像補正手段は、元画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求め、その反射率を正規化パラメータ設定手段により設定された上限値および下限値に基づいて正規化し、その正規化した値と、元画像の画素値とに基づいて補正を行い、その補正された画素値を更にヒストグラム処理パラメータ設定手段により設定されたヒストグラム処理パラメータに基づいてヒストグラム補正する。この元画像補正手段では、元画像の各画素について順次処理を行うことができるので、処理された画素の値を順次出力することができる。従って、レティネックス処理を開始してから、出力が開始されるまでの時間を短縮ることができるという効果がある。

請求項５記載の画像処理装置によれば、請求項４記載の画像処理装置の奏する効果に加え、縮小レティネックス画像形成手段は、縮小画像の輝度信号のみについて縮小レティネックス画像を形成し、縮小画像補正手段は、サンプリング手段により抽出された画素を正規化パラメータ設定手段により設定された上限値および下限値に基づいて正規化し、その正規化した値と、縮小画像の輝度信号とに基づいて縮小画像を補正した後カラー画像に戻し、ヒストグラム処理パラメータ設定手段は、縮小画像補正手段により補正されたカラー画像の画素値が取る全範囲における各画素値の頻度を集計し、ヒストグラム処理を行うパラメータを設定し、元画像補正手段は、元画像の輝度信号のみについて反射率求め、その反射率を正規化パラメータ設定手段により設定された上限値および下限値に基づいて正規化し、その正規化反射率と、元画像の輝度信号とに基づいて補正を行うとともにカラー画素値に戻し、そのカラー画素値をヒストグラム処理パラメータ設定手段により設定されたパラメータに基づいてヒストグラム補正するので、カラー画像を構成するＲＧＢ値それぞれについてレティネックス処理を行う場合に比べて、処理が速いとともに、色ずれが発生しないという効果がある。

請求項６記載の画像処理装置によれば、請求項４または５記載の画像処理装置の奏する効果に加え、正規化パラメータ設定手段は、縮小レティネックス画像形成手段により形成された縮小レティネックス画像の全画素が取る値の最大値から最小値の範囲の値のうち、全画素に対する所定の割合の画素を含むクリップ範囲の上限値と下限値とを正規化パラメータとして設定するので、決定される上限値および下限値は、元画像を用いて決定した上限値および下限値とほぼ同一の値を得ることができる。したがって、この上限値および下限値の精度を維持したままで高速で求めることができるという効果がある。なお、正規化パラメータとして上限値、下限値ではなく最大値、最小値を用いた場合は、元画像により求めた値と、縮小画像により求めた値とが大きく異なる場合がある。

以下、本発明の好ましい実施形態について添付図面を参照して説明する。図１は、本実施形態の画像処理を行う機能を有するプリンタ１の電気的な構成を示したブロック図である。本実施形態においては、プリンタ１に搭載された画像処理プログラムは、パーソナルコンピュータ（以下「ＰＣ」と称する）２や、デジタルカメラ２１や、外部メディア２０から入力された画像データ（原画像データなど）に対しレティネックス処理およびヒストグラム処理を実行して、画像データの逆光画像部分などの低画質領域の補正を実行するように構成されている。

図１に示すように、プリンタ１には、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、印刷ヘッドなどから構成され、印刷媒体（例えば、紙媒体など）への印刷（出力）を行う印刷部１５、出力画像サイズなどの入力値をユーザが入力可能なユーザ操作部（例えば、テンキーなど）を有する操作パネル１６とを備えている。

また、プリンタ１は、ケーブル５を介してＰＣ２と接続可能なインターフェイス（以下「Ｉ／Ｆ」と称する）１７と、ケーブル６を介してデジタルカメラ２１と接続可能なＩ／Ｆ１８と、外部メディア２０（例えば、ＳＤメモリカード、メモリスティックなどのフラッシュメモリにより構成される）を着脱自在に装着可能な外部メディアスロット１９とを備えている。これらのＩ／Ｆ１７、１８により行われる通信方法としてＵＳＢ（Universal Serial Bus）が使用される。

よって、プリンタ１は、ＰＣ２に記憶されている画像データをケーブル５及びＩ／Ｆ１７を介して入力することが可能であると共に、デジタルカメラ２１によって撮影された画像データをケーブル６及びＩ／Ｆ１８を介して入力することが可能である。さらに、外部メディアスロット１９に装着された外部メディア２０から、その外部メディア２０に記憶されている画像データを入力することが可能である。

ＣＰＵ１１は、プリンタ１全体を制御する演算処理装置である。ＲＯＭ１２は、ＣＰＵ１１により実行される各種制御プログラムやそのプログラムを実行する際に用いられる固定値などを記憶するものであり、レティネックス処理やヒストグラム処理などの画像の処理を行う画像処理プログラムを記憶する画像処理プログラムメモリ１２ａや、印刷を行うための印刷制御プログラムを記憶する印刷制御プログラムメモリ１２ｂ等が備えられている。

ＲＡＭ１３は、制御プログラムがＣＰＵ１１により実行される際に必要な各種レジスタ群などが記憶されるワーキングエリアや、処理中のデータを一時的に格納するテンポラリエリア等を有しランダムにアクセスできる書き換え可能なメモリであり、元画像データを記憶する元画像メモリ１３ａと、元画像を縮小し、縮小した画像のレティネックス処理において求められる反射率を記憶する縮小レティネックス画像メモリ１３ｂと、ヒストグラム処理において各画素値の頻度が記憶されるヒストグラムメモリ１３ｃ等を備えている。

元画像データメモリ１３ａは、ＰＣ２、デジタルカメラ２１、及び外部メディア２０から、それぞれ、Ｉ／Ｆ１７、Ｉ／Ｆ１８、及び外部メディアスロット１９を介して入力した画像データを記憶するものである。なお、本実施形態では、元画像データ及び出力画像データはいずれも、ＲＧＢ値から構成され、これらの各ＲＧＢ値は、「０」〜「２５５」の範囲の値である。

ＲＧＢ値は、光の３原色である赤を表すＲ値と、緑を表すＧ値と、青を示すＢ値とを構成成分とする値である。光の３原色の混色により各種の色は生成されるので、入力画像の各画素の色は、Ｒ値とＧ値とＢ値との組合せ（ＲＧＢ値）により１の色（色相や階調など）が示される。このＲＧＢ値の値が大きいほど、輝度（明度）は高くなる。

縮小レティネックス画像メモリ１３ｂは、元画像を縮小し、その縮小した画像の輝度信号のみについてレティネックス処理において求められる反射率Ｒｓ（ｘ，ｙ）を記憶するメモリである。元画像を縮小する方法としては、縮小する画像の画素に対応する元画像の位置に最も近い画素の値をサンプリングし、そのサンプリングした画素の値をそのまま用いる最近傍（Nearest Neighbor）法や、縮小する画像の画素に対応する元画像の位置の周囲の画素を用いて補間演算を行うバイキュービック法や、平均画素法などが知られている。画質より処理速度を優先する場合は、最近傍法が用いられ、処理速度より画質を優先する場合は、バイキュービック法や、平均画素法が用いられる。

これらいずれかの方法により元画像が縮小され、その縮小された画像の各画素（ピクセル）について反射率が上述の数式１を用いて演算され、この縮小レティネックス画像メモリ１３ｂに記憶される。

ヒストグラムメモリ１３ｃは、縮小レティネックス画像と元画像を縮小した縮小画像の輝度信号とに基づいて、縮小画像の出力画像を求め、その出力画像をカラー画像に戻してＲＧＢヒストグラム処理を行う際に、ＲＧＢ値の出現頻度を集計するために使用されるメモリである。

次に、図２を参照して、ヒストグラム処理について説明する。図２（ａ）は、画像の一例であり、図２（ｂ）は、その画像から形成したヒストグラムである。このヒストグラムは、画素値がとる値の全範囲の各値について、頻度（画素数）を集計したものである。カラー画像の場合には、Ｒ，Ｇ，Ｂの各値を８ビット、すなわち０から２５５までの値をとる場合には、０から２５５の各整数値について、その値となる画素のＲ，Ｇ，Ｂ値について１を加算することにより集計する。例えば、ある画素のＲ，Ｇ，Ｂ値が（１００，２００，２００）である場合には、１００の値に１を、２００の値に２を加算するというようにして集計する。

このようにして作成されたヒストグラムにおいて、明部と暗部とを除く割合（カット割合）が設定され、その割合から上限値Ｕと下限値Ｄとが求められる。例えば、明部と暗部とを除く割合として、それぞれ３％とした場合に、明部に含まれる画素数が全画素数の３倍（１画素につき、Ｒ，Ｇ，Ｂの３つの値をとる）の３％に当たる数を、最大値２５５から上限値Ｕまでに含むように上限値Ｕを設定し、同様に、暗部に含まれる画素数が全画素数の３倍の３％に当たる数を、最小値０から下限値Ｄまでに含むように下限値Ｄを設定する。

このようにして、上限値Ｕおよび下限値Ｄを設定すると、画素値の最小値から下限値Ｄまでの範囲の値を最小値とし、上限値Ｕから最大値までの範囲の値を最大値とし、下限値Ｄから上限値Ｕまでの範囲の値を線形、または非線形な関数で補正する。

即ち、入力する画素値をｉｎｐｕｔ、補正した画素値をｏｕｔｐｕｔ、画素値が取る範囲を０から２５５、γ２を定数とした場合に、
ｉｎｐｕｔが、下限値Ｄ以下の場合は、０、
ｉｎｐｕｔが、上限値Ｕ以上の場合は、２５５
ｉｎｐｕｔが、下限値Ｄより大きく上限値Ｕより小さい場合は、
ａ＝（ｉｎｐｕｔ−Ｄ）／（Ｕ−Ｄ）

この式でγ２＝１とすると、ｏｕｔｐｕｔは、下限値Ｄと上限値Ｕとの間の値を線形に拡大することになる。

レティネックス処理における数式１のγ１の値に応じて設定してもよい。このγ１の値を大きくすると、より明るく補正されることになり、γの値が小さいと、あまり補正されないことになる。したがって、γ１が大きい場合は、ヒストグラム処理における下限値Ｄの値を大きく（暗部のカット量またはカット割合を大きく）し、全体的に暗い方へ画素値を変更すると画像に締まりがでる。

また、レティネックス処理により、逆光などの部分は、明るく補正されるが、全体的にも明るく補正され、元の画像とは、異なった印象となる。そこでレティネックス処理におけるガンマ補正とは逆のガンマ補正をヒストグラム処理によかけることにより、明るく成りすぎた部分を自然な状態に戻すことができる。

また、レティネックス処理におけるガンマ補正に用いたガンマγ１に応じて、ヒストグラム処理におけるガンマγ２を次式により求めるようにしてもよい。すなわち、
γ２＝（γ１−１．０）／Ａ＋１．０
（但し、Ａは、５から２０の値）とする。

レティネックス処理前のメディアン値にレティネックス処理後のメディアン値が近づくようにγ２を設定する。

画素値をｉｎｐｕｔ、補正した画素値をｏｕｔｐｕｔ、画素値が取る全範囲をＢ、全範囲の最大値をＭＡＸ、全範囲の最小値をＭＩＮ、クリップされる範囲の上限値をＵ、下限値をＤ、元画像のメディアン値をＯＭ、前記レティネックス処理ステップにより処理された画像のメディアン値をＲＭ、定数をαとした場合に、
ｉｎｐｕｔが、下端範囲（下限値Ｄ以下）の場合は、ＭＩＮとし、
ｉｎｐｕｔが、上端範囲（上限値Ｕ以上）の場合は、ＭＡＸとし、
ｉｎｐｕｔが、上記範囲以外の場合は、
ａ＝（ｉｎｐｕｔ−Ｄ）／（Ｕ−Ｄ）
ｏｕｔｐｕｔをａのγ２べき乗にＢを乗じた値とし、
γ２＝ｌｏｇ（ｔａｒｇｅｔ／ＭＡＸ）／ｌｏｇ（ＲＭ／ＭＡＸ）
但し、ｔａｒｇｅｔ＝（ＯＭ×α＋ＲＭ）／（１＋α）
ここで、定数αを１とした場合は、レティネックス処理前のメディアン値とレティネックス処理後のメディアン値との中間にｔａｒｇｅｔが設定され、定数αの値を１より大きくするとｔａｒｇｅｔが元画像のメディアン値に近づき、定数αの値を１より小さい値とすると元画像のメディアン値から離れるように設定される。なお、定数αは、予め所定の値に設定してもよいし、使用者が任意に設定できるようにしてもよい。

次に、レティネックス処理を行った後、ヒストグラム処理を行う画像処理について、図３および図４を参照して説明する。図３および図４は、画像処理を示すフローチャートである。図３に示す処理は、いわゆる前処理と呼ばれる処理であり、この処理では、反射率Ｒ（ｘ，ｙ）の正規化を行うためのクリップ範囲と、ヒストグラム処理におけるパラメータとが設定される。なお、この前処理が行われている間は、画像の出力が行われない。

この前処理では、まず、元画像データをＰＣ２やデジタルカメラ２１から読み込み、ＲＡＭ１３の元画像メモリ１３ａに記憶する（Ｓ１）。次に、元画像を縮小して縮小画像を形成し、その縮小画像の各画素について輝度信号Ｙと色信号Ｃｂ，Ｃｒに変換する（Ｓ２）。

縮小画像を形成する方法としては、最近傍法や平均画素法が用いられ、輝度信号Ｙおよび色信号Ｃｂ，Ｃｒは、次式により演算される。

次に、上式により演算された輝度信号Ｙについて、反射率Ｒｓ（ｘ，ｙ）を算出する。なお、「ｓ」は、縮小画像についての接尾辞であり、元画像については、接尾辞を付さないものとする。反射率Ｒｓは、縮小画像の各画素の輝度値をＩｓ（ｘ，ｙ）、縮小画像用のフィルタをＦｓ（ｘ，ｙ）として、次式により演算される。

なお、「＊」は、畳み込み演算（コンボリューション）を示し、ｌｏｇは、ｅを底とする自然対数である。

次に、上記演算により求められた反射率Ｒｓ（ｘ，ｙ）をＲＡＭ１３の縮小レティネックス画像メモリ１３ｂに記憶する（Ｓ４）。

次に、Ｒｓ（ｘ，ｙ）を最大値および最小値と比較する（Ｓ５）。詳細には、最初の座標について求めた反射率Ｒｓ（ｘ，ｙ）を最大値および最小値とし、そのつぎから求めた反射率Ｒｓ（ｘ，ｙ）と最大値および最小値とをそれぞれ比較し、今回求めた反射率Ｒｓ（ｘ，ｙ）が、最大値より大きい場合は、今回求めた反射率Ｒｓ（ｘ，ｙ）を新たな最大値とし、今回求めた反射率Ｒｓ（ｘ，ｙ）が、最小値より小さい場合は、今回求めた反射率Ｒｓ（ｘ，ｙ）を新たな最小値とし、今回求めた反射率Ｒｓ（ｘ，ｙ）が、最大値より小さく、最小値より大きい場合は、最大値、最小値を変更しないという処理である。

次に、縮小画像の全ての座標についてＳ３〜Ｓ５の処理を行ったか否かを判断し（Ｓ６）、まだ、未処理の座標がある場合は（Ｓ６：Ｎｏ）、Ｓ３の処理に戻り、全ての座標についての処理を終了した場合は（Ｓ６：Ｙｅｓ）、Ｓ５の処理により求めた最大値と最小値に基づいて、反射率Ｒｓ（ｘ，ｙ）を正規化し、ヒストグラムを形成する（Ｓ７）。

次に、その形成されたヒストグラムからメディアン値を求め（Ｓ８）、そのメディアン値とヒストグラムとから反射率Ｒｓ（ｘ，ｙ）のクリップされる範囲（クリップ範囲）を定める（Ｓ９）。このクリップ範囲は、例えば、メディアン値より大きい値で、全標本の４５％の標本が含まれる上限値をクリップ範囲の上限値ＵｐＲとし、メディアン値より小さい値で、全標本の４５％が含まれる下限値をクリップ範囲の下限値ＤｏｗｎＲとするものである。

以上の前処理により、元画像を縮小した縮小画像の反射率により構成される縮小レティネックス画像を形成し、その縮小レティネックス画像から、元画像の反射率を正規化する際のクリップ範囲が求められる。このことにより、クリップ範囲を求めるための演算の回数が、元画像について求める演算の回数より非常に少なくすることができ、処理速度が速くなる。また、縮小された画像のレティネックス画像を記憶するので、元画像のレティネックス画像を記憶する場合に比べ、少ない記憶容量で処理することができるという利点がある。また、縮小画像を用いて求めたクリップ範囲と、元画像を用いて求めたクリップ範囲とは、大差がない。次表は、縮小画像により求めたクリップ範囲（上限値と下限値）と元画像により求めたクリップ範囲との差異を示すものである。

この表が示すように、元画像により求めた最大値は、２．７１２、最小値は、−４．０６３であり、縮小画像により求めた最大値は、１．７２９、最小値は、−２．６０７である。よって、元画像により求めた最大値と縮小画像により求めた最大値との差は、０．９８３であり、元画像により求めた最小値と縮小画像により求めた最小値との差は、１．４５６であって、かなり大きな差が認められる。

一方、元画像により求めたクリップ範囲の上限値は、０．８２５、下限値は、−０．８２２であり、縮小画像により求めた上限値は、０．７４２、下限値は、−０．７５５である。よって、元画像により求めた上限値と縮小画像により求めた上限値との差は、０．０８３であり、元画像により求めた下限値と縮小画像により求めた下限値との差は、０．０６７であって、これらの差が小さいことが分かる。

次に、Ｓ９の処理により求められたクリップ範囲に基づいて、縮小レティネックスメモリ１３ｂに記憶したＲｓ（ｘ，ｙ）から画像を構成する画素のうち、行および列が２の倍数（偶数）である画素を抽出（サンプリング）する（Ｓ１１）。

画素の抽出（サンプリング）を、予め定められた規則性の高い方法（例えば、本実施例では、２の倍数）で抽出してもよいが、サンプリングする位置を乱数によって、毎回異なる位置、つまりランダムとなるようにしてもよい。サンプリングの規則性が高い場合には、画像データ（例えば、画像が縞模様など）と、サンプリング間隔とが一致すると、抽出に誤差を生じる可能性が高くなるが、サンプリングする位置が、抽出毎にランダムな位置であれば、画像データの種類によって誤差が発生する可能性は、サンプリングする位置が規則性が高い場合に比べて低くなるという効果がある。

次に、その抽出した画素の値をＳ９の処理で求められたクリップ範囲に基づいて正規化し、ｒｅｆｌｅｓ（ｘ，ｙ）を求める（Ｓ１２）。この処理は、「背景技術」で説明したｒｅｆｌｅを求める処理と同様であり、演算は、次式により行われる。

次に、Ｏｕｔｓ（ｘ，ｙ）を次式により求める（Ｓ１３）。

次に、このＯｕｔｓ（ｘ，ｙ）を輝度信号Ｙとして、次式によりＲＧＢ値に変換し、

そのＲＧＢ値をヒストグラムに登録する（Ｓ１４）。このヒストグラムの登録とは、ＲＧＢ値それぞれが取る値は、０から２５５までの整数値であり、ここで得られた、Ｒ値、Ｇ値、Ｂ値の各値に対応する値の頻度に１を加算することである。加算された値は、ヒストグラムメモリ１３ｃに記憶される。

このＳ１１からＳ１３までの処理を縮小画像の全ての座標について処理を行ったか否かを判断し（Ｓ１５）、まだ処理を行っていない座標が残っている場合は（Ｓ１５：Ｎｏ）、Ｓ１１の処理に戻り、全ての座標について処理を行った場合は（Ｓ１５：Ｙｅｓ）、ヒストグラムメモリ１３ｃに形成されたヒストグラムから、ヒストグラム処理におけるパラメータを取得する（Ｓ１６）。

以上、図３に示す処理により、レティネックス画像を正規化する際のクリップ範囲と、レティネックス処理を行った後に行われるヒストグラム処理のパラメータが設定される。これらのパラメータが設定されると、元画像の各画素について順次レティネクッス処理とヒストグラム処理を施し、印刷部１５に出力する。この処理を、後処理として、図４を参照して説明する。図４は、後処理を示すフローチャートである。

まず、元画像の画素について輝度信号を求め、その輝度信号について反射率Ｒ（ｘ，ｙ）を数式１により算出し（Ｓ２１）、
次に、図３のＳ９の処理により求められたクリップ範囲に基づいてＲ（ｘ，ｙ）を正規化したｒｅｆｌｅ（ｘ，ｙ）を数式２により求める（Ｓ２２）。

次に、Ｏｕｔ（ｘ，ｙ）を数式３により算出し（Ｓ２３）、算出したＯｕｔ（ｘ，ｙ）を輝度信号Ｙとして、数式６によりＲＧＢ値に戻し（Ｓ２４）、そのＲＧＢ値をＳ１６で求めたパラメータに基づいてヒストグラム補正を行い（Ｓ２５）、印刷部１５に出力する（Ｓ２６）。

次に、元画像の全画素についての処理を終了したか否かを判断し（Ｓ２７）、まだ、処理していない画素がある場合は（Ｓ２７：Ｎｏ）、Ｓ１７の処理に戻り、全画素についての処理を終了した場合は（Ｓ２７：Ｙｅｓ）、この後処理を終了する。

以上、説明したように上記実施形態によれば、画像を縮小し、縮小した画像について反射率Ｒ（ｘ，ｙ）により構成されるレティネックス画像を求め、その縮小レティネックス画像から反射率を正規化するための上限値と下限値であるクリップ範囲を決定する。さらに、縮小レティネックス画像から画素値を間引いて抽出し、その抽出した画素について、決定されたクリップ範囲に基づいて正規化し、その正規化した値と縮小画像の輝度信号とから、出力画像を得る。次に、その出力画像を縮小画像の色信号に基づいて、カラー画像（縮小画像をレティネックス処理した画像）に戻し、そのカラー画像からヒストグラム処理を行う際のパラメータを取得する。

このことにより、クリップ範囲とヒストグラム処理を行うためのパラメータを速く取得することができる。これらのパラメータが取得されると、元画像の各画素について順次レティネックス処理とヒストグラム処理を行い、印刷部１５に出力することができる。その結果、処理を開始してから、出力の開始までの時間を短縮することができる。

なお、請求項に記載の縮小レティネックス画像形成ステップおよび縮小レティネックス画像形成手段は、図３に示すフローチャートのＳ２〜Ｓ４の処理が該当し、正規化パラメータ設定ステップおよび正規化パラメータ設定手段は、図３に示すフローチャートのＳ７〜Ｓ９の処理が該当し、サンプリングステップおよびサンプリング手段は、図３に示すフローチャートのＳ１１の処理が該当し、ヒストグラム処理パラメータ設定ステップおよびヒストグラム処理パラメータ設定手段は、図３に示すフローチャートのＳ１２〜Ｓ１６の処理が該当し、元画像補正ステップおよび元画像補正手段は、図４に示すフローチャートのＳ２１〜Ｓ２６の処理が該当する。

以上、実施形態に基づいて本発明を説明したが、本発明は上記各実施形態に何ら限定されるものでなく、本発明の趣旨を逸脱しない範囲内で種々の改良変形が可能であることは容易に推察できるものである。

例えば、上記実施形態では、色表現系はＲＧＢ形式としたが、ＲＧＢ形式以外の他の色表現系、例えば、ＣＭＹ形式などに本発明を適用してもよい。

また、上記実施形態では、本発明の画像処理プログラムは、プリンタ１に組み込まれたＣＰＵ１１により実行されるものとしたが、パーソナルコンピュータにアプリケーションとして供給され、パーソナルコンピュータに組み込まれたＣＰＵなどにより実行されるようにしてもよい。

また、レティネックス処理は、ＳＳＲ（シングルスケール法）であってもＭＳＲ（マルチスケール法）であってもよい。

また、上記実施形態の画像処理では、ＣＰＵ１１によりレティネックス処理などを行うものとしたが、ＤＳＰ（Digital Signal Processor）により行ってもよい。ＤＳＰを用いると、より高速に積和演算などの処理を実行することができる。

本発明の実施形態の画像処理プログラムを搭載したプリンタの電気的構成を示すブロック図である。 ヒストグラム処理を説明するための図であり、（ａ）は、画像の一例を示す画像図であり、（ｂ）は、その画像の画素値のヒストグラムである。 画像処理プログラムにより行われる前処理を示すフロー図である。 前処理に続いて実行される後処理を示すフローチャートである。 正規化を行うためのクリップ範囲について説明するための模式図である。

符号の説明

１ プリンタ
２ パーソナルコンピュータ
１１ ＣＰＵ
１２ ＲＯＭ
１２ａ 画像処理プログラムメモリ
１３ ＲＡＭ
１３ａ 元画像メモリ
１３ｂ 縮小レティネックス画像メモリ（記憶手段）

Claims (6)

1. 画像の補正処理を行う画像処理装置により実行される画像処理プログラムにおいて、
   元画像を縮小した縮小画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求めることにより縮小レティネックス画像を形成する縮小レティネックス画像形成ステップと、
   その縮小レティネックス画像形成ステップにより形成された縮小レティネックス画像の画素値が取る値の全範囲における各画素値の頻度を集計し、正規化を行う際の上限値および下限値を設定する正規化パラメータ設定ステップと、
   前記縮小レティネックス画像形成ステップにより形成された縮小レティネックス画像の全画素のうち、所定の画素を抽出するサンプリングステップと、
   そのサンプリングステップにより抽出された画素について、前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化し、その正規化した値と前記縮小画像の画素値とに基づいて補正を行う縮小画像補正ステップと、
   その縮小画像補正ステップにより補正された画素について、画素値が取る全範囲における各画素値の頻度を集計し、ヒストグラム処理を行うパラメータを設定するヒストグラム処理パラメータ設定ステップと、
   前記元画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求め、その反射率を前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化し、その正規化した値と、元画像の画素値とに基づいて補正を行い、その補正された画素値を更に前記ヒストグラム処理パラメータ設定ステップにより設定されたヒストグラム処理パラメータに基づいてヒストグラム補正する元画像補正ステップとを備えていることを特徴とする画像処理プログラム。
2. 前記縮小レティネックス画像形成ステップは、縮小画像の輝度信号のみについて縮小レティネックス画像を形成し、
   前記縮小画像補正ステップは、前記サンプリングステップにより抽出された画素を前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化し、その正規化した値と、縮小画像の輝度信号とに基づいて縮小画像を補正した後カラー画像に戻し、
   前記ヒストグラム処理パラメータ設定ステップは、前記縮小画像補正ステップにより補正されたカラー画像の画素値が取る全範囲における各画素値の頻度を集計し、ヒストグラム処理を行うパラメータを設定し、
   前記元画像補正ステップは、元画像の輝度信号のみについて反射率求め、その反射率を前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化し、その正規化反射率と、元画像の輝度信号とに基づいて補正を行うとともにカラー画素値に戻し、そのカラー画素値を前記ヒストグラム処理パラメータ設定ステップにより設定されたパラメータに基づいてヒストグラム補正することを特徴とする請求項１記載の画像処理プログラム。
3. 前記正規化パラメータ設定ステップは、前記縮小レティネックス画像形成ステップにより形成された縮小レティネックス画像の全画素が取る値の最大値から最小値の範囲の値のうち、全画素に対する所定の割合の画素を含むクリップ範囲の上限値と下限値とを正規化パラメータとして設定することを特徴とする請求項１または２記載の画像処理プログラム。
4. 画像の補正処理を行う画像処理装置において、
   元画像を縮小した縮小画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求めることにより縮小レティネックス画像を形成する縮小レティネックス画像形成手段と、
   その縮小レティネックス画像形成手段により形成された縮小レティネックス画像の画素値が取る値の全範囲における各画素値の頻度を集計し、正規化を行う際の上限値および下限値を設定する正規化パラメータ設定手段と、
   前記縮小レティネックス画像形成ステップにより形成された縮小レティネックス画像の全画素のうち、所定の画素を抽出するサンプリング手段と、
   そのサンプリング手段により抽出された画素について、前記正規化パラメータ設定ステップにより設定された上限値および下限値に基づいて正規化し、その正規化した値と前記縮小画像の画素値とに基づいて補正を行う縮小画像補正手段と、
   その縮小画像補正手段により補正された画素について、画素値が取る全範囲における各画素値の頻度を集計し、ヒストグラム処理を行うパラメータを設定するヒストグラム処理パラメータ設定手段と、
   前記元画像の各画素について、画素の値とその画素の周辺平均輝度とから反射率を求め、その反射率を前記正規化パラメータ設定手段により設定された上限値および下限値に基づいて正規化し、その正規化した値と、元画像の画素値とに基づいて補正を行い、その補正された画素値を更に前記ヒストグラム処理パラメータ設定手段により設定されたヒストグラム処理パラメータに基づいてヒストグラム補正する元画像補正手段とを備えていることを特徴とする画像処理装置。
5. 前記縮小レティネックス画像形成手段は、縮小画像の輝度信号のみについて縮小レティネックス画像を形成し、
   前記縮小画像補正手段は、前記サンプリング手段により抽出された画素を前記正規化パラメータ設定手段により設定された上限値および下限値に基づいて正規化し、その正規化した値と、縮小画像の輝度信号とに基づいて縮小画像を補正した後カラー画像に戻し、
   前記ヒストグラム処理パラメータ設定手段は、前記縮小画像補正手段により補正されたカラー画像の画素値が取る全範囲における各画素値の頻度を集計し、ヒストグラム処理を行うパラメータを設定し、
   前記元画像補正手段は、元画像の輝度信号のみについて反射率求め、その反射率を前記正規化パラメータ設定手段により設定された上限値および下限値に基づいて正規化し、その正規化反射率と、元画像の輝度信号とに基づいて補正を行うとともにカラー画素値に戻し、そのカラー画素値を前記ヒストグラム処理パラメータ設定手段により設定されたパラメータに基づいてヒストグラム補正することを特徴とする請求項４記載の画像処理装置。
6. 前記正規化パラメータ設定手段は、前記縮小レティネックス画像形成手段により形成された縮小レティネックス画像の全画素が取る値の最大値から最小値の範囲の値のうち、全画素に対する所定の割合の画素を含むクリップ範囲の上限値と下限値とを正規化パラメータとして設定することを特徴とする請求項４または５記載の画像処理装置。

Images