JP3543103B2 - カラー画像処理方法および処理装置 - Google Patents
カラー画像処理方法および処理装置 Download PDFInfo
- Publication number
- JP3543103B2 JP3543103B2 JP2000336394A JP2000336394A JP3543103B2 JP 3543103 B2 JP3543103 B2 JP 3543103B2 JP 2000336394 A JP2000336394 A JP 2000336394A JP 2000336394 A JP2000336394 A JP 2000336394A JP 3543103 B2 JP3543103 B2 JP 3543103B2
- Authority
- JP
- Japan
- Prior art keywords
- density
- value
- image
- lightness
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラやディジタルカメラなどの電子的撮像装置に好適なカラー画像処理方法および処理装置に関し、特にダイナミックレンジを改善する方法および装置に関するものである。
【０００２】
【従来の技術】
非常に明るい部分と非常に暗い部分とが混在する光景、例えば室内で窓を背にした人物の顔を電子的撮像装置で撮像し、その画像をモニタに表示したり、プリンタで出力したりすると、非常に明るい部分が跳んだり、非常に暗い部分が潰れたりして、電子的撮像装置の撮像素子では得られていたはずの細部情報が再現されなくなるという現象が起きる。これは、モニタやプリンタなどの画像出力装置のダイナミックレンジが、電子的撮像装置から出力される画像のダイナミックレンジよりも狭いことに起因している。
【０００３】
従来、上記のような細部情報の消失を低減するために、種々の方法が提案されている。例えば、特許第２９５１９０９号には、入力画像を複数の正方格子状のブロックに分割して各ブロックの平均輝度を算出し、この平均輝度に基づいて分割された領域毎に階調補正を施すようにした撮像装置の階調補正装置および階調補正方法が開示されている。
【０００４】
ところが、上記特許第２９５１９０９号においては、入力画像の領域分割をブロックの平均輝度に基づいて行うため、例えば図１９（ａ）に示すような輝度幅が狭い範囲内で輝度が階段状に変化するテクスチャＡと、同図（ｂ）に示すような輝度幅が広い範囲内で輝度が階段状に変化するテクスチャＢとが隣接している場合、両者が同一の領域とみなされ、同一の階調補正曲線を用いて階調補正が施される。このため、前記階調補正曲線がテクスチャＡに最適に設定された場合にはテクスチャＢの非常に明るい部分が跳んだり、非常に暗い部分が潰れたりしてしまうおそれがあった。また、前記階調補正曲線がテクスチャＢに最適に設定された場合にはテクスチャＡの階段状の輝度変化が再現されなくなるおそれがあった。
【０００５】
そこで、本発明の発明者等は先に、入力画像を複数の領域に分割し、その領域毎に異なる濃度変換処理を行うダイナミックレンジ自動圧縮方法であって、入力画像のテクスチャを解析し、その解析結果に基づいて前記領域を決定することを特徴とするダイナミックレンジ自動圧縮方法を提案した（平成１１年特許願第３３３２０５号）。このダイナミックレンジ自動圧縮方法によれば、従来方法に比して、有用な情報の消失を低減することができるという効果がある。
【０００６】
【発明が解決しようとする課題】
本発明は、上記ダイナミックレンジの自動圧縮方法をカラー画像に適用するための方法および装置を提供するものである。
【０００７】
【課題を解決するための手段】
本発明に係るカラー画像処理方法は、カラー原色画像から、円筒座標系で規格化された色相／彩度／明度空間の明度画像を生成するステップと、前記明度画像のテクスチャを解析し、前記解析結果に基づいて前記明度画像を複数の領域に分割するステップと、前記分割された領域毎のヒストグラムを平滑化することにより前記明度画像の濃度変換を行うステップと、前記濃度変換を受けた明度画像を用いてカラー原色画像を生成するステップとを備えたカラー画像処理方法であって、前記明度画像の濃度変換を行うステップは、前記領域毎の濃度ヒストグラムを作成するステップと、前記各領域の濃度のばらつき具合をもとに、前記ヒストグラムの平滑化の度合いを決定する第１のクリップ値を定め、前記第１のクリップ値以上の部分を取り出し、前記濃度ヒストグラムの下側に配置すると共に、前記各領域のヒストグラムの平滑化の度合いを弱め、かつ領域全体の明るさを均一に変化させる第２のクリップ値を定め、前記第２のクリップ値以下の部分を取り出し、前記濃度ヒストグラムの最小濃度値または最大濃度値の頻度に足し合わせるステップと、前記第１のクリップ値および第２のクリップ値によるクリップ後の濃度ヒストグラムから累積ヒストグラムを作成し、前記累積ヒストグラムを濃度変換曲線として濃度変換を行うステップとを有することを特徴とする。この構成により、明度値に対してダイナミックレンジ改善処理を施すことで彩度値に対しても同時に同程度の改善処理が可能となり、濃度ヒストグラムに頻度の高い濃度部分があったとしても過度のコントラスト強調を防止することができ、さらにコントラスト強調の度合いを弱め、かつ領域全体の明るさ均一に変化させることができる。
【０００９】
さらに、各領域の濃度のばらつき具合に加え、各領域のテクスチャの複雑さを用いて前記第１のクリップ値を定めることを特徴とする。この構成により、濃度差の少ない物体を含む領域に対する過剰なコントラスト強調処理を防止することができる。
【００１０】
そして、本発明に係るカラー画像処理方法は、カラー原色画像から、円筒座標系で規格化された色相／彩度／明度空間の明度画像を生成するステップと、前記明度画像のテクスチャを解析し、前記解析結果に基づいて前記明度画像を複数の領域に分割するステップと、前記分割された領域毎のヒストグラムを平滑化することにより前記明度画像の濃度変換を行うステップと、前記明度画像の画素の明度値を前記画素の彩度値が大きい程明度範囲の中央のレベルに近づけることにより彩度のダイナミックレンジを広げるステップと、前記濃度変換された画像の画素の明度値と前記彩度のダイナミックレンジを広げる処理を受けた画素の明度値とから前記明度範囲の中央のレベルに近い明度値を選択するステップと、前記選択された明度値を有する明度画像を用いてカラー原色画像を生成するステップとを備えたことを特徴とする。この構成により、明度値に対してダイナミックレンジ改善処理を施すことで彩度値に対しても同時に同程度の改善処理が可能となり、かつ彩度のダイナミックレンジを広げて画像の視認性を向上させることができる。
【００１１】
また、本発明に係るカラー画像処理装置は、カラー原色画像から、円筒座標系で規格化された色相／彩度／明度空間の明度画像を生成する手段と、前記明度画像のテクスチャを解析し、前記解析結果に基づいて前記明度画像を複数の領域に分割する手段と、前記分割された領域毎のヒストグラムを平滑化することにより前記明度画像の濃度変換を行う手段と、前記濃度変換を受けた明度画像を用いてカラー原色画像を生成する手段とを備えたカラー画像処理装置であって、前記明度画像の濃度変換を行う手段は、前記領域毎の濃度ヒストグラムを作成する手段と、前記各領域の濃度のばらつき具合をもとに、前記ヒストグラムの平滑化の度合いを決定する第１のクリップ値を定める手段と、前記第１のクリップ値以上の部分をクリップして取り出し、前記濃度ヒストグラムの下側に配置する手段と、前記各領域のヒストグラムの平滑化の度合いを弱め、かつ領域全体の明るさを均一に変化させる第２のクリップ値を定める手段と、前記第２のクリップ値以下の部分をクリップして取り出し、前記濃度ヒストグラムの最小濃度値または最大濃度値の頻度に足し合わせる手段と、前記第１のクリップ値および第２のクリップ値によるクリップ後の濃度ヒストグラムから累積ヒストグラムを作成する手段と、前記累積ヒストグラムを濃度変換曲線として濃度変換を行う手段とを有することを特徴とする。この構成により、明度値に対してダイナミックレンジ改善処理を施すことで彩度値に対しても同時に同程度の改善処理が可能となり、濃度ヒストグラムに頻度の高い濃度部分があったとしても過度のコントラスト強調を防止することができ、さらにコントラスト強調の度合いを弱め、かつ領域全体の明るさ均一に変化させることができる。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１３】
（第１の実施の形態）
図１は本発明の第１の実施の形態の撮像装置の構成を示すブロック図であり、図２はその撮像装置における処理の流れの概要を示すフロー図である。
【００１４】
図１に示すように、撮像装置１は、撮像手段２、色形式変換手段３、ダイナミックレンジ改善処理部４、および色形式逆変換手段５を備えている。
【００１５】
撮像手段２はＣＣＤなどの半導体撮像素子を備えており、被写体を撮像してＲＧＢの原色カラー画像情報を生成し、色形式変換手段３へ出力する。
【００１６】
色形式変換手段３は、図２のステップＳ１に示すように、ＲＧＢ原色カラー画像情報を、顕色系と呼ばれる、色相（Ｈ:hue）、彩度（Ｓ:saturation ）、明度（Ｉ:intensity）からなるＨＳＩ空間の画像情報に変換する。
【００１７】
ＲＧＢ空間とＨＳＩ空間とを対応付けるモデルは各種あるが、ここでは双六角錐カラーモデルによる変換を行う。双六角錐カラーモデルの概念について図３を用いて説明する。この図の（ａ）はＲＧＢ空間における明度軸の設定を示し、（ｂ）は明度軸に対して垂直な面に対する射影の様子を示し、（ｃ）は射影後の双六角錐のＨＳＩ空間を示す。
【００１８】
カラー画像の各画素において、ＲＧＢ値から上記双六角錐カラーモデルを用いることで、ＨＳＩ値が算出される。明度情報（明度値）は、カラー画像の明るさの成分を表しており、カラー画像情報から生成されるモノクロ画像情報と一致する。
【００１９】
そして、本発明の第１の実施の形態では、図４に示すように、双六角錐カラーモデルを円筒座標系で規格化したＨＳＩ空間を採用し、ＲＧＢ→ＨＳＩ変換、およびＨＳＩ→ＲＧＢ変換に用いている。以下、ＲＧＢ→ＨＳＩ変換、およびＨＳＩ→ＲＧＢ変換のアルゴリズムの一例を説明する。
【００２０】
ＲＧＢ直交座標系において、３軸に接する立方体を考えると、Ｒ，Ｇ，Ｂとその補色Ｃ，Ｍ，Ｙは図３（ａ）に示すような位置関係にある。このＲＧＢ立方体の主対角軸を明度軸Ｉとし、一方の頂点をＩ＝０の黒、他方の頂点をＩ＝１の白とし、
Ｉ＝［（ｍａｘ｛Ｒ，Ｇ，Ｂ｝＋（ｍｉｎ｛Ｒ，Ｇ，Ｂ｝］／２
と定義する。
【００２１】
ここで、Ｉ軸に直交する平面にＲＧＢ立方体を平行投影すると、図３（ｂ）に示されるような正六角形が形成される。これに対し、Ｉ軸に直交する平面上で色相Ｈ、彩度Ｓを図３（ｃ）のように定義する。以下、その変換方法を示す。ただし、Ｒ，Ｇ，Ｂ，Ｓ，Ｉの値域は［０，１］であり、Ｈは［０，２π］の値を持つものとする。
【００２２】
〔１〕ＲＧＢ→ＨＳＩ変換
まず、Ｉを次式で定義する。
Ｉ＝（Ｉmax ＋Ｉmin ）／２
【００２３】
ただし、Ｉmax ＝ｍａｘ｛Ｒ，Ｇ，Ｂ｝
Ｉmin ＝ｍｉｎ｛Ｒ，Ｇ，Ｂ｝
【００２４】
ｉ）Ｉmax ＝Ｉmin のとき
Ｓ＝０
Ｈ＝不定
【００２５】
ii）Ｉmax ≠Ｉmin のとき
Ｓを以下のように定義する。
Ｉ≦０．５のとき：Ｓ＝（Ｉmax −Ｉmin ）／（Ｉmax ＋Ｉmin ）
Ｉ＞Ｏ．５のとき：Ｓ＝（Ｉmax −Ｉmin ）／（２−Ｉmax ＋Ｉmin ）
【００２６】
次にｒ，ｇ，ｂを以下のように定める。
ｒ＝（Ｉmax −Ｒ）／（Ｉmax −Ｉmin ）
ｇ＝（Ｉmax −Ｇ）／（Ｉmax −Ｉmin ）
ｂ＝（Ｉmax −Ｂ）／（Ｉmax −Ｉmin ）
【００２７】
最後にＨを以下のように定める。
Ｒ＝Ｉmax のとき：Ｈ＝π／３（ｂ−ｇ）
Ｇ＝Ｉmax のとき：Ｈ＝π／３（２＋ｒ−ｂ）
Ｂ＝Ｉmax のとき：Ｈ＝π／３（４＋ｇ−ｒ）
【００２８】
〔２〕ＨＳＩ→ＲＧＢ変換
まず、Ｍ1 ，Ｍ2 を以下のように求める。
Ｉ≦０．５のとき：Ｍ2 ＝Ｉ・（１＋Ｓ）
Ｉ＞Ｏ．５のとき：Ｍ2 ＝Ｉ＋Ｓ−Ｉ・Ｓ
Ｍ1 ＝２Ｉ−Ｍ2
【００２９】
ｉ）Ｓ＝０のとき
Ｒ＝Ｇ＝Ｂ＝１
【００３０】
ii）Ｓ≠０のとき
▲１▼：処理＃１
ｈ＝Ｈ＋（２／３）πとして、後述する処理＃２を行い、得た値Ｘを用いてＲを次のように定める。
Ｒ＝Ｘ
【００３１】
ｈ＝Ｈとして後述する処理＃２を行い、得た値Ｘを用いてＧを次のように定める。
Ｇ＝Ｘ
【００３２】
ｈ＝Ｈ−（２／３）πとして、後述する処理＃２を行い、得た値Ｘを用いてＢを次のように定める。
Ｂ＝Ｘ
【００３３】
▲２▼：処理＃２
まずｈa を次のように定める。
ｈa ＝ｈ
ｈ＜０のとき：ｈa ＝ｈ＋２π
ｈ＞２πのとき：ｈa ＝ｈ−２π
【００３４】
次にｈa の値によってＸを以下のように定める。
ｈa ＜π／３のとき
Ｘ＝Ｍ1 ＋（Ｍ2 −Ｍ1 ）・ｈa ／（π／３）
【００３５】
（π／３）≦ｈa ＜πのとき
Ｘ＝Ｍ2
【００３６】
π≦ｈa ＜（４／３）πのとき
Ｘ＝Ｍ1 ＋（Ｍ2 −Ｍ1 ）・（（４／３）π−ｈa ／（π／３））
【００３７】
（４／３）π≦ｈa ＜２πのとき
Ｘ＝Ｍ1
【００３８】
このように、円筒座標系で規格化したＨＳＩ空間を用いると、明度情報に対してダイナミックレンジの圧縮を施すことのみで、彩度情報（彩度値）に対しても同時に同程度の補正が可能となる。この点について図５を用いて説明する。図５は、円筒座標系で規格化したＨＳＩ空間のＩ軸とＳ軸を通る平面と双六角錐カラーモデルとの対応関係を示す図である。この図に示すように、円筒座標系で規格化したＨＳＩ空間において明度値をＩ1 からＩ2 へ濃度変換すると、双六角錐カラーモデルにおいては、明度値の変化すると同時に彩度値もＳ1 からＳ2 へと変換されている。
【００３９】
色形式変換手段３の出力である明度値Ｉi はダイナミックレンジ改善処理部４に入力される。ダイナミックレンジ改善処理部４は、図２のステップＳ２に示すように、明度値Ｉi に対して所定のダイナミックレンジ改善処理を施す。
【００４０】
図１に示すように、ダイナミックレンジ改善処理部４は、領域分割手段６と、濃度変換曲線作成手段７と、濃度変換手段８とから構成されている。そして、図６に示すように、濃度変換曲線作成手段７は、濃度ヒストグラム作成手段11、エントロピー算出手段12、エッジ度合算出手段13、コントラスト操作クリップ値決定手段14、濃度シフト操作クリップ値決定手段15、第１クリッピング手段16、第２クリッピング手段17、および累積ヒストグラム作成手段18から構成されている。
【００４１】
領域分割手段６は、図７のステップＳ21〜Ｓ22に示されているように、入力された明度画像に対して領域分割と、領域境界の空間的量子化を行う。まず、ステップＳ21では、入力画像のテクスチャを解析し、この解析結果に基づいて入力画像を複数の領域に分割する。本発明の第１の実施の形態では、下記の式［１］に示すＬＯＧ(Laplacian Of Gaussian) フィルタを入力画像に演算するフィルタリング処理により領域を決定している。図８（ａ）に示す画像を領域分割した結果を図８（ｂ）に示す。
【００４２】
【数１】
【００４３】
ここで、テクスチャ解析による領域分割の結果と、人間が同一の画像を見て手動で領域分割した結果とは異なることが多い。よって、上記テクスチャ解析による領域分割の結果をそのまま用いると、両者の結果の異なる部分が人間の目には不自然に感じられる。
【００４４】
そこで、本発明の第１の実施の形態では、次のステップＳ22では、画素単位で解析された上記領域分割の結果を、多少の解像度を下げ、量子化している。具体的には、図８（ｃ）に示すように、入力画像を正方形ブロックに分割して、同図（ｂ）に示す領域分割の結果と重ね合わせ、領域の境界に該当する正方形ブロックについては、領域の占有率に応じていずれの領域に属するかを決定する。これにより、図８（ｂ）に示す領域分割の結果が、同図（ｄ）に示すように量子化される。
【００４５】
領域分割手段６で空間的に量子化された画像データは濃度変換曲線作成手段７内の濃度ヒストグラム作成手段11に入力される。濃度ヒストグラム作成手段11では、図７のステップＳ23に示すように、濃度ヒストグラムを領域毎に作成する。
【００４６】
濃度変換曲線作成手段７では、基本的には、濃度ヒストグラムを領域毎に作成し、次に累積ヒストグラムを領域毎に作成して、その累積ヒストグラムを用いて濃度変換を行う。しかし、この基本処理のみでは、例えば図９（ａ）に示す濃度ヒストグラムから同図（ｂ）に示す累積ヒストグラムが作成され、入力濃度Ｉi0を出力濃度Ｉo0に濃度変換する場合、濃度ヒストグラムの頻度の高い濃度部分で累積ヒストグラムの値が急激に変化するため、過度にコントラストが強調されてしまう。
【００４７】
そこで、本発明の第１の実施の形態では、第１のクリップ値を導入することで過度のコントラスト強調を防止している。すなわち、図１０（ａ）に示すように、濃度ヒストグラムに対して第１のクリップ値CLを設定し、第１のクリップ値CLより上の部分をクリップして取り出す。そして、図１０（ｂ）に示すように、上記クリップした部分を総和を平均化し、元の濃度ヒストグラムの下側に配置する。つまり、第１のクリップ値CL以上の部分のヒストグラムの総和の平均値が濃度ヒストグラムのバイアス値となっている。図１０（ｃ）の曲線Ａ1 はクリップを行う前の濃度ヒストグラムから作成した累積ヒストグラムであり、曲線Ａ2 はクリップ後の濃度ヒストグラムから作成した累積ヒストグラムである。二つの曲線の比較から明らかなように、クリップを行うことにより、累積ヒストグラムの値の急激な変化がなくなる。したがって、過度にコントラストが強調される事態が防止される。ここで、第１のクリップ値CLが大きいと、濃度ヒストグラムの平滑化の度合いが大きく、第１のクリップ値CLが小さいと、濃度ヒストグラムの平滑化の度合が小さい。
【００４８】
ここで、図１１（ａ）に示すような、既に濃度ヒストグラムの濃度値のばらつきが大きい、換言すればダイナミックレンジの広い領域については、ダイナミックレンジの狭い画像出力装置で出力しても、細部情報が消失しにくいため、濃度ヒストグラムを平滑化する必要性は小さい。一方、図１１（ｂ）に示すような、濃度ヒストグラムの濃度値のばらつきが小さい、すなわちダイナミックレンジの狭い領域については、ダイナミックレンジの狭い画像出力装置で出力すると、細部情報が消失するおそれが大きいため、濃度ヒストグラムを平滑化してダイナミックレンジを広げる必要がある。
【００４９】
そこで、本発明の第１の実施の形態では、領域毎に濃度ヒストグラムの濃度値のばらつき具合を求め、このばらつき具合に応じて、濃度ヒストグラムの平滑化の度合いを左右するクリップ値CLを決定する。具体的には、エントロピー算出手段12が下記の式［２〕を用いてエントロピーＨを算出し、図１１（ｃ）に示す特性を用いて第１のクリップ値CLを求める。
【００５０】
【数２】
【００５１】
このとき、空や白壁のような、元々全体に濃度差の少ない物体を含む領域の場合、濃度ヒストグラムの濃度値のばらつき具合のみでヒストグラムの平滑化の度合いであるクリップ値を決定すると、過剰な処理が行われる可能性がある。そこで、本発明の第１の実施の形態では、テクスチャの複雑さを加味してクリップ値を再決定する。
【００５２】
テクチスチャの複雑さを示す指標として、ここでは、領域分割の一手法として提案したＬＯＧフィルタとの演算によって取得される、エッジ抽出結果を用いる。σ値（空間定数）が大小２種類のＬＯＧフィルタを画像に演算するフィルタリング処理を行うと、そのσ値の大きさにより異なるエッジ抽出画像が取得される。その結果例を図１２に示す。この図の（ａ）、（ｂ）において右上部の太線で囲まれた領域は空を示している。この図から明らかなように、空など、人間が見て濃度差の無い部分に関しては、σ値の大小にかかわらず、その領域内の画像のエッジ数の差異は少ない。そこで、この特徴をテクスチャの複雑さを表す値として採用し、以下の式［３］によりクリップ値を再決定し、エッジ数の差異の小さい領域に関しては、平滑化の度合いを小さくする。
【００５３】
【数３】
【００５４】
この式において、CLold は領域内の濃度のばらつき具合のみを基に決定したクリップ値、CLnew は新しく決定したクリップ値、edgesmall 、edgelarge はそれぞれσ値が小、大の領域内のエッジ数である。ここで、edgesmall 、edgelargeは、エッジ度合算出手段13により算出され、CLnew はコントラスト操作クリップ値決定手段14により算出される。そして、第１クリッピング手段16により、クリップが実行される。
【００５５】
以上説明した、領域毎に行われるヒストグラムの平滑化は元来画像処理におけるコントラスト強調の手法であるため、そのテクスチャの種類によっては不自然な結果を生むことがある。例として人間の肌があげられる。特に、カラー画像に適用した場合、その色の差が顕著になり、あらが目立つ結果となる。そこで、本発明の第１の実施の形態では、ヒストグラムの平滑化の度合い、つまりコントラスト強調の度合いを弱め、かつ出力の際に生じる情報の消失を防ぐために、領域の明るさ補正を行う手法として第２のクリップ値を導入する。
【００５６】
第２のクリップ値は濃度ヒストグラムの下部に設定される。図１３（ａ）に示すように、濃度ヒストグラムの全ての濃度値において、第２のクリップ値CL2 以下の部分を取り去り、その総和を最小濃度値（０）もしくは最大濃度値（２５５）の頻度に足し合わせる。なお、図１３（ｂ）は最小濃度値に足し合わせた場合を示した。そして、このようにクリップされた濃度ヒストグラムを用いて、累積ヒストグラムを作成し、それを正規化したものを濃度変換曲線とする。図１３（ｃ）の曲線Ａ3 はクリップを行う前の濃度ヒストグラムから作成した累積ヒストグラムであり、曲線Ａ4 はクリップ後の濃度ヒストグラムから作成した累積ヒストグラムである。この濃度変換曲線の形状から分かるように、第２のクリップ値を導入することにより、コントラスト強調の度合いが弱まり、かつ領域全体の明るさ均一に変化した結果を得ることができる。ここで、濃度シフト操作クリップ値決定手段15により第２のクリップ値が決定され、第２クリッピング手段17によりクリップが実行される。第２のクリップ値は、第１のクリップ値と比例関係を持たせることが好適である。
【００５７】
そして、累積ヒストグラム作成手段18により、第１クリッピング手段16および第２クリッピング手段17でクリップされた濃度ヒストグラムを用いて、累積ヒストグラムが作成される。以上説明したエントロピー算出手段12から第１クリッピング手段16および第２クリッピング手段17までの動作は図７のステップＳ24に対応し、累積ヒストグラム作成手段18の動作はステップＳ25に対応する。
【００５８】
累積ヒストグラム作成手段18で作成された濃度変換曲線は、濃度変換手段８へ出力される。濃度変換手段８は、ステップＳ26に示すように、領域毎に異なる累積ヒストグラムを濃度変換曲線として領域内の各画素の濃度変換を行う。ただし、領域の境界が不連続にならないようにするために、境界に該当する正方形ブロック内の各画素については、以下のような線形補間処理を行う。
【００５９】
図１４（ａ）に示すように、注目画素の濃度値を、この画素が属するブロックＢ1 および近傍の三つのブロックＢ2 、Ｂ3 、Ｂ4 のそれぞれの濃度変換曲線を用いて濃度変換し、変換後の濃度値ｇ1 、ｇ2 、ｇ3 、ｇ4 を得る。次に、下記の式［４］に基づいて、線形補間後の濃度値ｇ（ｘ，ｙ）を算出する。つまり、前記濃度値ｇ1 、ｇ2 、ｇ3 、ｇ4 を、四つのブロックＢ1 、Ｂ2 、Ｂ3 、Ｂ4の中心から注目画素までの距離に応じて重み付けする。
【００６０】
【数４】
【００６１】
濃度変換手段８から出力された、濃度変換処理を施された明度画像情報Ｉo1は、色形式逆変換手段５に入力される。色形式逆変換手段５は、図２のステップＳ４に示すように、前記明度画像情報Ｉo1と、色形式変換手段３の出力である色相情報Ｈおよび彩度情報Ｓとを用いて、ダイナミックレンジの改善されたＲＧＢ原色カラー画像情報を生成する。このカラー画像情報は、図示されていないプリンタやモニタに入力され、印刷あるいは表示される。
【００６２】
（第２の実施の形態）
本発明の第２の実施の形態は、明度値を明度範囲の中央のレベルに近づけることにより、彩度のダイナミックレンジを広げて画像の視認性を向上させることが特徴である。
【００６３】
図１５は本発明の第２の実施の形態の撮像装置の構成を示すブロック図であり、図１６はその撮像装置における処理の流れの概要を示すフロー図である。これらの図において、図１あるいは図２と同一または対応する構成要素には、それらの図に使用した符号と同一の符号を付した。
【００６４】
本発明の第２の実施の形態では、図１５に示すように、彩度強調処理部21と、セレクタ22とを設け、図１６のステップＳ３に示すように、彩度情報補正のための明度情報処理を行うことが特徴であり、その他の構成および動作は前述した本発明の第１の実施の形態と同じである。
【００６５】
彩度情報補正のための明度情報処理は、色の鮮やかさ情報のダイナミックレンジを広げるために明度値に対して以下の処理を加えるものである。彩度値がある程度の大きさを持っている場合、つまり図４の円筒座標系においてＩ軸から離れているほど、彩度値のダイナミックレンジがより広くなる方向へ明度値を移動させる処理を行う。この処理により、彩度値がある程度大きい場合、色の鮮やかさがより分かりやすくなることで、画像の視認性を向上させることができる。ここで、彩度値のダイナミックレンジがより広くなる方法とは、図１７に示すように、明度値を最大値の１／２（明度値の範囲が０〜２５５の場合、１２８）に近づける方向である。具体的には、彩度情報処理部21により、各画素に対して、Ｉ＜１２８の場合には下記の式［５］によって、またＩ≧１２８の場合には下記の式［６］によって明度値を算出する。
【００６６】
Ｉo2＝Ｉi ＋（Ｓ×Δmax ） …式［５］
【００６７】
Ｉo2＝Ｉi −（Ｓ×Δmax ） …式［６］
【００６８】
これらの式において、Ｉo2は移動後の明度値、Ｉi は元の明度値、Ｓは彩度値、Δmax は移動最大値である。したがって、式［５］、［６］は、０〜１の値を持つ彩度値Ｓに対して、移動最大値Δmax を掛け合わせた後、元の明度値が１２８より小さいときは足し合わせ、大きいときは引くことを意味する。図１８にＩ＜１２８の場合の一例を示した。
【００６９】
彩度強調処理部21で算出された、式［５］または［６］の明度値Ｉo2は、ダイナミックレンジ改善処理部４によって第１の実施の形態と同じ処理を施され出力された明度値Ｉo1とともにセレクタ22に入力される。そして、より１２８に近いほうがその画素の明度値Ｉo3として採用され、色形式逆変換手段５に入力される。
【００７０】
このように、本発明の第２の実施の形態によれば、第１の実施の形態の効果に加えて、彩度値がある程度大きい場合、色の鮮やかさをより分かりやすくなることで、画像の視認性を向上させることができる。
【００７１】
なお、本発明は以上説明した実施の形態に限定されるものではなく、様々な変形が可能である。例えば、上記第１の実施の形態において、上記ＲＧＢ→ＨＳＩ変換、ＨＳＩ→ＲＧ変換に要する時間を短縮するために下記（１）〜（３）のように処理しても良い。
【００７２】
（１）ＲＧＢ値から明度値Ｉを算出し、同時にＲＧＢ値を保存する。
（２）明度値に対するダイナミックレンジ改善処理を実行する。
【００７３】
（３）（１）で保存したＲＧＢ値を基に、ＲＧＢカラー画像を再算出する。
つまり、彩度情報、色相情報を算出しないことが相違する。処理後のカラー画像データは第１の実施の形態と同じである。
【００７４】
【発明の効果】
以上詳細に説明したように、本発明のカラー画像処理方法および処理装置によれば、円筒座標系で規格化した色相／彩度／明度空間の明度値に対してダイナミックレンジ改善処理を施すことで彩度値に対しても同時に同程度の改善処理が可能となり、第１のクリップ値を導入することにより濃度ヒストグラムに頻度の高い濃度部分があったとしても、過度のコントラスト強調を防止することができ、第２のクリップ値を導入することによりコントラスト強調の度合いを弱め、かつ領域全体の明るさ均一に変化させることができる。
【００７６】
さらに、本発明のカラー画像処理方法によれば、各領域のテクスチャの複雑さを加味して第１のクリップ値を決定することにより、濃度差の少ない物体を含む領域に対する過剰なコントラスト強調処理を防止することができる。
【００７７】
そして、本発明のカラー画像処理方法によれば、明度画像の画素の彩度値が大きい程、その画素の明度値を明度範囲の中央のレベルに近づけることにより、彩度のダイナミックレンジを広げて画像の視認性を向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の撮像装置の構成を示すブロック図、
【図２】図１の撮像装置におけるカラー画像処理の流れの概要を示すフロー図、
【図３】双六角錐カラーモデルを説明するための図、
【図４】円筒座標系で規格化したＨＳＩ空間を説明するための図、
【図５】円筒座標系で規格化したＨＳＩ空間と双六角錐カラーモデルとの対応関係を示す図、
【図６】図１の撮像装置における濃度変換曲線作成手段の構成を示すブロック図、
【図７】図１の撮像装置におけるダイナミックレンジ改善処理部の処理の流れの概要を示すフロー図、
【図８】図１のダイナミックレンジ改善処理部における領域分割手段の動作を説明するための図、
【図９】ヒストグラムの平滑化を説明するための図、
【図１０】第１のクリップ値を説明するための図、
【図１１】第１のクリップ値の決定方法を説明するための図、
【図１２】σ値の異なるエッジ抽出画像の取得例を示す図、
【図１３】第２のクリップ値を説明するための図、
【図１４】濃度変換手段における線形補間方法を説明するための図、
【図１５】本発明の第２の実施の形態の撮像装置の構成を示すブロック図、
【図１６】図１５の撮像装置におけるカラー画像処理の流れの概要を示すフロー図、
【図１７】図１５の撮像装置における彩度情報補正のための明度情報処理を説明するための図、
【図１８】図１７の明度情報処理を実現する方法を説明するための図、
【図１９】従来の階調補正を方法を説明するための図である。
【符号の説明】
３ 色形式変換手段
４ ダイナミックレンジ改善処理部
５ 色形式逆変換手段
６ 領域分割手段
７ 濃度変換曲線作成手段
８ 濃度変換手段
【発明の属する技術分野】
本発明は、ビデオカメラやディジタルカメラなどの電子的撮像装置に好適なカラー画像処理方法および処理装置に関し、特にダイナミックレンジを改善する方法および装置に関するものである。
【０００２】
【従来の技術】
非常に明るい部分と非常に暗い部分とが混在する光景、例えば室内で窓を背にした人物の顔を電子的撮像装置で撮像し、その画像をモニタに表示したり、プリンタで出力したりすると、非常に明るい部分が跳んだり、非常に暗い部分が潰れたりして、電子的撮像装置の撮像素子では得られていたはずの細部情報が再現されなくなるという現象が起きる。これは、モニタやプリンタなどの画像出力装置のダイナミックレンジが、電子的撮像装置から出力される画像のダイナミックレンジよりも狭いことに起因している。
【０００３】
従来、上記のような細部情報の消失を低減するために、種々の方法が提案されている。例えば、特許第２９５１９０９号には、入力画像を複数の正方格子状のブロックに分割して各ブロックの平均輝度を算出し、この平均輝度に基づいて分割された領域毎に階調補正を施すようにした撮像装置の階調補正装置および階調補正方法が開示されている。
【０００４】
ところが、上記特許第２９５１９０９号においては、入力画像の領域分割をブロックの平均輝度に基づいて行うため、例えば図１９（ａ）に示すような輝度幅が狭い範囲内で輝度が階段状に変化するテクスチャＡと、同図（ｂ）に示すような輝度幅が広い範囲内で輝度が階段状に変化するテクスチャＢとが隣接している場合、両者が同一の領域とみなされ、同一の階調補正曲線を用いて階調補正が施される。このため、前記階調補正曲線がテクスチャＡに最適に設定された場合にはテクスチャＢの非常に明るい部分が跳んだり、非常に暗い部分が潰れたりしてしまうおそれがあった。また、前記階調補正曲線がテクスチャＢに最適に設定された場合にはテクスチャＡの階段状の輝度変化が再現されなくなるおそれがあった。
【０００５】
そこで、本発明の発明者等は先に、入力画像を複数の領域に分割し、その領域毎に異なる濃度変換処理を行うダイナミックレンジ自動圧縮方法であって、入力画像のテクスチャを解析し、その解析結果に基づいて前記領域を決定することを特徴とするダイナミックレンジ自動圧縮方法を提案した（平成１１年特許願第３３３２０５号）。このダイナミックレンジ自動圧縮方法によれば、従来方法に比して、有用な情報の消失を低減することができるという効果がある。
【０００６】
【発明が解決しようとする課題】
本発明は、上記ダイナミックレンジの自動圧縮方法をカラー画像に適用するための方法および装置を提供するものである。
【０００７】
【課題を解決するための手段】
本発明に係るカラー画像処理方法は、カラー原色画像から、円筒座標系で規格化された色相／彩度／明度空間の明度画像を生成するステップと、前記明度画像のテクスチャを解析し、前記解析結果に基づいて前記明度画像を複数の領域に分割するステップと、前記分割された領域毎のヒストグラムを平滑化することにより前記明度画像の濃度変換を行うステップと、前記濃度変換を受けた明度画像を用いてカラー原色画像を生成するステップとを備えたカラー画像処理方法であって、前記明度画像の濃度変換を行うステップは、前記領域毎の濃度ヒストグラムを作成するステップと、前記各領域の濃度のばらつき具合をもとに、前記ヒストグラムの平滑化の度合いを決定する第１のクリップ値を定め、前記第１のクリップ値以上の部分を取り出し、前記濃度ヒストグラムの下側に配置すると共に、前記各領域のヒストグラムの平滑化の度合いを弱め、かつ領域全体の明るさを均一に変化させる第２のクリップ値を定め、前記第２のクリップ値以下の部分を取り出し、前記濃度ヒストグラムの最小濃度値または最大濃度値の頻度に足し合わせるステップと、前記第１のクリップ値および第２のクリップ値によるクリップ後の濃度ヒストグラムから累積ヒストグラムを作成し、前記累積ヒストグラムを濃度変換曲線として濃度変換を行うステップとを有することを特徴とする。この構成により、明度値に対してダイナミックレンジ改善処理を施すことで彩度値に対しても同時に同程度の改善処理が可能となり、濃度ヒストグラムに頻度の高い濃度部分があったとしても過度のコントラスト強調を防止することができ、さらにコントラスト強調の度合いを弱め、かつ領域全体の明るさ均一に変化させることができる。
【０００９】
さらに、各領域の濃度のばらつき具合に加え、各領域のテクスチャの複雑さを用いて前記第１のクリップ値を定めることを特徴とする。この構成により、濃度差の少ない物体を含む領域に対する過剰なコントラスト強調処理を防止することができる。
【００１０】
そして、本発明に係るカラー画像処理方法は、カラー原色画像から、円筒座標系で規格化された色相／彩度／明度空間の明度画像を生成するステップと、前記明度画像のテクスチャを解析し、前記解析結果に基づいて前記明度画像を複数の領域に分割するステップと、前記分割された領域毎のヒストグラムを平滑化することにより前記明度画像の濃度変換を行うステップと、前記明度画像の画素の明度値を前記画素の彩度値が大きい程明度範囲の中央のレベルに近づけることにより彩度のダイナミックレンジを広げるステップと、前記濃度変換された画像の画素の明度値と前記彩度のダイナミックレンジを広げる処理を受けた画素の明度値とから前記明度範囲の中央のレベルに近い明度値を選択するステップと、前記選択された明度値を有する明度画像を用いてカラー原色画像を生成するステップとを備えたことを特徴とする。この構成により、明度値に対してダイナミックレンジ改善処理を施すことで彩度値に対しても同時に同程度の改善処理が可能となり、かつ彩度のダイナミックレンジを広げて画像の視認性を向上させることができる。
【００１１】
また、本発明に係るカラー画像処理装置は、カラー原色画像から、円筒座標系で規格化された色相／彩度／明度空間の明度画像を生成する手段と、前記明度画像のテクスチャを解析し、前記解析結果に基づいて前記明度画像を複数の領域に分割する手段と、前記分割された領域毎のヒストグラムを平滑化することにより前記明度画像の濃度変換を行う手段と、前記濃度変換を受けた明度画像を用いてカラー原色画像を生成する手段とを備えたカラー画像処理装置であって、前記明度画像の濃度変換を行う手段は、前記領域毎の濃度ヒストグラムを作成する手段と、前記各領域の濃度のばらつき具合をもとに、前記ヒストグラムの平滑化の度合いを決定する第１のクリップ値を定める手段と、前記第１のクリップ値以上の部分をクリップして取り出し、前記濃度ヒストグラムの下側に配置する手段と、前記各領域のヒストグラムの平滑化の度合いを弱め、かつ領域全体の明るさを均一に変化させる第２のクリップ値を定める手段と、前記第２のクリップ値以下の部分をクリップして取り出し、前記濃度ヒストグラムの最小濃度値または最大濃度値の頻度に足し合わせる手段と、前記第１のクリップ値および第２のクリップ値によるクリップ後の濃度ヒストグラムから累積ヒストグラムを作成する手段と、前記累積ヒストグラムを濃度変換曲線として濃度変換を行う手段とを有することを特徴とする。この構成により、明度値に対してダイナミックレンジ改善処理を施すことで彩度値に対しても同時に同程度の改善処理が可能となり、濃度ヒストグラムに頻度の高い濃度部分があったとしても過度のコントラスト強調を防止することができ、さらにコントラスト強調の度合いを弱め、かつ領域全体の明るさ均一に変化させることができる。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１３】
（第１の実施の形態）
図１は本発明の第１の実施の形態の撮像装置の構成を示すブロック図であり、図２はその撮像装置における処理の流れの概要を示すフロー図である。
【００１４】
図１に示すように、撮像装置１は、撮像手段２、色形式変換手段３、ダイナミックレンジ改善処理部４、および色形式逆変換手段５を備えている。
【００１５】
撮像手段２はＣＣＤなどの半導体撮像素子を備えており、被写体を撮像してＲＧＢの原色カラー画像情報を生成し、色形式変換手段３へ出力する。
【００１６】
色形式変換手段３は、図２のステップＳ１に示すように、ＲＧＢ原色カラー画像情報を、顕色系と呼ばれる、色相（Ｈ:hue）、彩度（Ｓ:saturation ）、明度（Ｉ:intensity）からなるＨＳＩ空間の画像情報に変換する。
【００１７】
ＲＧＢ空間とＨＳＩ空間とを対応付けるモデルは各種あるが、ここでは双六角錐カラーモデルによる変換を行う。双六角錐カラーモデルの概念について図３を用いて説明する。この図の（ａ）はＲＧＢ空間における明度軸の設定を示し、（ｂ）は明度軸に対して垂直な面に対する射影の様子を示し、（ｃ）は射影後の双六角錐のＨＳＩ空間を示す。
【００１８】
カラー画像の各画素において、ＲＧＢ値から上記双六角錐カラーモデルを用いることで、ＨＳＩ値が算出される。明度情報（明度値）は、カラー画像の明るさの成分を表しており、カラー画像情報から生成されるモノクロ画像情報と一致する。
【００１９】
そして、本発明の第１の実施の形態では、図４に示すように、双六角錐カラーモデルを円筒座標系で規格化したＨＳＩ空間を採用し、ＲＧＢ→ＨＳＩ変換、およびＨＳＩ→ＲＧＢ変換に用いている。以下、ＲＧＢ→ＨＳＩ変換、およびＨＳＩ→ＲＧＢ変換のアルゴリズムの一例を説明する。
【００２０】
ＲＧＢ直交座標系において、３軸に接する立方体を考えると、Ｒ，Ｇ，Ｂとその補色Ｃ，Ｍ，Ｙは図３（ａ）に示すような位置関係にある。このＲＧＢ立方体の主対角軸を明度軸Ｉとし、一方の頂点をＩ＝０の黒、他方の頂点をＩ＝１の白とし、
Ｉ＝［（ｍａｘ｛Ｒ，Ｇ，Ｂ｝＋（ｍｉｎ｛Ｒ，Ｇ，Ｂ｝］／２
と定義する。
【００２１】
ここで、Ｉ軸に直交する平面にＲＧＢ立方体を平行投影すると、図３（ｂ）に示されるような正六角形が形成される。これに対し、Ｉ軸に直交する平面上で色相Ｈ、彩度Ｓを図３（ｃ）のように定義する。以下、その変換方法を示す。ただし、Ｒ，Ｇ，Ｂ，Ｓ，Ｉの値域は［０，１］であり、Ｈは［０，２π］の値を持つものとする。
【００２２】
〔１〕ＲＧＢ→ＨＳＩ変換
まず、Ｉを次式で定義する。
Ｉ＝（Ｉmax ＋Ｉmin ）／２
【００２３】
ただし、Ｉmax ＝ｍａｘ｛Ｒ，Ｇ，Ｂ｝
Ｉmin ＝ｍｉｎ｛Ｒ，Ｇ，Ｂ｝
【００２４】
ｉ）Ｉmax ＝Ｉmin のとき
Ｓ＝０
Ｈ＝不定
【００２５】
ii）Ｉmax ≠Ｉmin のとき
Ｓを以下のように定義する。
Ｉ≦０．５のとき：Ｓ＝（Ｉmax −Ｉmin ）／（Ｉmax ＋Ｉmin ）
Ｉ＞Ｏ．５のとき：Ｓ＝（Ｉmax −Ｉmin ）／（２−Ｉmax ＋Ｉmin ）
【００２６】
次にｒ，ｇ，ｂを以下のように定める。
ｒ＝（Ｉmax −Ｒ）／（Ｉmax −Ｉmin ）
ｇ＝（Ｉmax −Ｇ）／（Ｉmax −Ｉmin ）
ｂ＝（Ｉmax −Ｂ）／（Ｉmax −Ｉmin ）
【００２７】
最後にＨを以下のように定める。
Ｒ＝Ｉmax のとき：Ｈ＝π／３（ｂ−ｇ）
Ｇ＝Ｉmax のとき：Ｈ＝π／３（２＋ｒ−ｂ）
Ｂ＝Ｉmax のとき：Ｈ＝π／３（４＋ｇ−ｒ）
【００２８】
〔２〕ＨＳＩ→ＲＧＢ変換
まず、Ｍ1 ，Ｍ2 を以下のように求める。
Ｉ≦０．５のとき：Ｍ2 ＝Ｉ・（１＋Ｓ）
Ｉ＞Ｏ．５のとき：Ｍ2 ＝Ｉ＋Ｓ−Ｉ・Ｓ
Ｍ1 ＝２Ｉ−Ｍ2
【００２９】
ｉ）Ｓ＝０のとき
Ｒ＝Ｇ＝Ｂ＝１
【００３０】
ii）Ｓ≠０のとき
▲１▼：処理＃１
ｈ＝Ｈ＋（２／３）πとして、後述する処理＃２を行い、得た値Ｘを用いてＲを次のように定める。
Ｒ＝Ｘ
【００３１】
ｈ＝Ｈとして後述する処理＃２を行い、得た値Ｘを用いてＧを次のように定める。
Ｇ＝Ｘ
【００３２】
ｈ＝Ｈ−（２／３）πとして、後述する処理＃２を行い、得た値Ｘを用いてＢを次のように定める。
Ｂ＝Ｘ
【００３３】
▲２▼：処理＃２
まずｈa を次のように定める。
ｈa ＝ｈ
ｈ＜０のとき：ｈa ＝ｈ＋２π
ｈ＞２πのとき：ｈa ＝ｈ−２π
【００３４】
次にｈa の値によってＸを以下のように定める。
ｈa ＜π／３のとき
Ｘ＝Ｍ1 ＋（Ｍ2 −Ｍ1 ）・ｈa ／（π／３）
【００３５】
（π／３）≦ｈa ＜πのとき
Ｘ＝Ｍ2
【００３６】
π≦ｈa ＜（４／３）πのとき
Ｘ＝Ｍ1 ＋（Ｍ2 −Ｍ1 ）・（（４／３）π−ｈa ／（π／３））
【００３７】
（４／３）π≦ｈa ＜２πのとき
Ｘ＝Ｍ1
【００３８】
このように、円筒座標系で規格化したＨＳＩ空間を用いると、明度情報に対してダイナミックレンジの圧縮を施すことのみで、彩度情報（彩度値）に対しても同時に同程度の補正が可能となる。この点について図５を用いて説明する。図５は、円筒座標系で規格化したＨＳＩ空間のＩ軸とＳ軸を通る平面と双六角錐カラーモデルとの対応関係を示す図である。この図に示すように、円筒座標系で規格化したＨＳＩ空間において明度値をＩ1 からＩ2 へ濃度変換すると、双六角錐カラーモデルにおいては、明度値の変化すると同時に彩度値もＳ1 からＳ2 へと変換されている。
【００３９】
色形式変換手段３の出力である明度値Ｉi はダイナミックレンジ改善処理部４に入力される。ダイナミックレンジ改善処理部４は、図２のステップＳ２に示すように、明度値Ｉi に対して所定のダイナミックレンジ改善処理を施す。
【００４０】
図１に示すように、ダイナミックレンジ改善処理部４は、領域分割手段６と、濃度変換曲線作成手段７と、濃度変換手段８とから構成されている。そして、図６に示すように、濃度変換曲線作成手段７は、濃度ヒストグラム作成手段11、エントロピー算出手段12、エッジ度合算出手段13、コントラスト操作クリップ値決定手段14、濃度シフト操作クリップ値決定手段15、第１クリッピング手段16、第２クリッピング手段17、および累積ヒストグラム作成手段18から構成されている。
【００４１】
領域分割手段６は、図７のステップＳ21〜Ｓ22に示されているように、入力された明度画像に対して領域分割と、領域境界の空間的量子化を行う。まず、ステップＳ21では、入力画像のテクスチャを解析し、この解析結果に基づいて入力画像を複数の領域に分割する。本発明の第１の実施の形態では、下記の式［１］に示すＬＯＧ(Laplacian Of Gaussian) フィルタを入力画像に演算するフィルタリング処理により領域を決定している。図８（ａ）に示す画像を領域分割した結果を図８（ｂ）に示す。
【００４２】
【数１】
ここで、テクスチャ解析による領域分割の結果と、人間が同一の画像を見て手動で領域分割した結果とは異なることが多い。よって、上記テクスチャ解析による領域分割の結果をそのまま用いると、両者の結果の異なる部分が人間の目には不自然に感じられる。
【００４４】
そこで、本発明の第１の実施の形態では、次のステップＳ22では、画素単位で解析された上記領域分割の結果を、多少の解像度を下げ、量子化している。具体的には、図８（ｃ）に示すように、入力画像を正方形ブロックに分割して、同図（ｂ）に示す領域分割の結果と重ね合わせ、領域の境界に該当する正方形ブロックについては、領域の占有率に応じていずれの領域に属するかを決定する。これにより、図８（ｂ）に示す領域分割の結果が、同図（ｄ）に示すように量子化される。
【００４５】
領域分割手段６で空間的に量子化された画像データは濃度変換曲線作成手段７内の濃度ヒストグラム作成手段11に入力される。濃度ヒストグラム作成手段11では、図７のステップＳ23に示すように、濃度ヒストグラムを領域毎に作成する。
【００４６】
濃度変換曲線作成手段７では、基本的には、濃度ヒストグラムを領域毎に作成し、次に累積ヒストグラムを領域毎に作成して、その累積ヒストグラムを用いて濃度変換を行う。しかし、この基本処理のみでは、例えば図９（ａ）に示す濃度ヒストグラムから同図（ｂ）に示す累積ヒストグラムが作成され、入力濃度Ｉi0を出力濃度Ｉo0に濃度変換する場合、濃度ヒストグラムの頻度の高い濃度部分で累積ヒストグラムの値が急激に変化するため、過度にコントラストが強調されてしまう。
【００４７】
そこで、本発明の第１の実施の形態では、第１のクリップ値を導入することで過度のコントラスト強調を防止している。すなわち、図１０（ａ）に示すように、濃度ヒストグラムに対して第１のクリップ値CLを設定し、第１のクリップ値CLより上の部分をクリップして取り出す。そして、図１０（ｂ）に示すように、上記クリップした部分を総和を平均化し、元の濃度ヒストグラムの下側に配置する。つまり、第１のクリップ値CL以上の部分のヒストグラムの総和の平均値が濃度ヒストグラムのバイアス値となっている。図１０（ｃ）の曲線Ａ1 はクリップを行う前の濃度ヒストグラムから作成した累積ヒストグラムであり、曲線Ａ2 はクリップ後の濃度ヒストグラムから作成した累積ヒストグラムである。二つの曲線の比較から明らかなように、クリップを行うことにより、累積ヒストグラムの値の急激な変化がなくなる。したがって、過度にコントラストが強調される事態が防止される。ここで、第１のクリップ値CLが大きいと、濃度ヒストグラムの平滑化の度合いが大きく、第１のクリップ値CLが小さいと、濃度ヒストグラムの平滑化の度合が小さい。
【００４８】
ここで、図１１（ａ）に示すような、既に濃度ヒストグラムの濃度値のばらつきが大きい、換言すればダイナミックレンジの広い領域については、ダイナミックレンジの狭い画像出力装置で出力しても、細部情報が消失しにくいため、濃度ヒストグラムを平滑化する必要性は小さい。一方、図１１（ｂ）に示すような、濃度ヒストグラムの濃度値のばらつきが小さい、すなわちダイナミックレンジの狭い領域については、ダイナミックレンジの狭い画像出力装置で出力すると、細部情報が消失するおそれが大きいため、濃度ヒストグラムを平滑化してダイナミックレンジを広げる必要がある。
【００４９】
そこで、本発明の第１の実施の形態では、領域毎に濃度ヒストグラムの濃度値のばらつき具合を求め、このばらつき具合に応じて、濃度ヒストグラムの平滑化の度合いを左右するクリップ値CLを決定する。具体的には、エントロピー算出手段12が下記の式［２〕を用いてエントロピーＨを算出し、図１１（ｃ）に示す特性を用いて第１のクリップ値CLを求める。
【００５０】
【数２】
このとき、空や白壁のような、元々全体に濃度差の少ない物体を含む領域の場合、濃度ヒストグラムの濃度値のばらつき具合のみでヒストグラムの平滑化の度合いであるクリップ値を決定すると、過剰な処理が行われる可能性がある。そこで、本発明の第１の実施の形態では、テクスチャの複雑さを加味してクリップ値を再決定する。
【００５２】
テクチスチャの複雑さを示す指標として、ここでは、領域分割の一手法として提案したＬＯＧフィルタとの演算によって取得される、エッジ抽出結果を用いる。σ値（空間定数）が大小２種類のＬＯＧフィルタを画像に演算するフィルタリング処理を行うと、そのσ値の大きさにより異なるエッジ抽出画像が取得される。その結果例を図１２に示す。この図の（ａ）、（ｂ）において右上部の太線で囲まれた領域は空を示している。この図から明らかなように、空など、人間が見て濃度差の無い部分に関しては、σ値の大小にかかわらず、その領域内の画像のエッジ数の差異は少ない。そこで、この特徴をテクスチャの複雑さを表す値として採用し、以下の式［３］によりクリップ値を再決定し、エッジ数の差異の小さい領域に関しては、平滑化の度合いを小さくする。
【００５３】
【数３】
この式において、CLold は領域内の濃度のばらつき具合のみを基に決定したクリップ値、CLnew は新しく決定したクリップ値、edgesmall 、edgelarge はそれぞれσ値が小、大の領域内のエッジ数である。ここで、edgesmall 、edgelargeは、エッジ度合算出手段13により算出され、CLnew はコントラスト操作クリップ値決定手段14により算出される。そして、第１クリッピング手段16により、クリップが実行される。
【００５５】
以上説明した、領域毎に行われるヒストグラムの平滑化は元来画像処理におけるコントラスト強調の手法であるため、そのテクスチャの種類によっては不自然な結果を生むことがある。例として人間の肌があげられる。特に、カラー画像に適用した場合、その色の差が顕著になり、あらが目立つ結果となる。そこで、本発明の第１の実施の形態では、ヒストグラムの平滑化の度合い、つまりコントラスト強調の度合いを弱め、かつ出力の際に生じる情報の消失を防ぐために、領域の明るさ補正を行う手法として第２のクリップ値を導入する。
【００５６】
第２のクリップ値は濃度ヒストグラムの下部に設定される。図１３（ａ）に示すように、濃度ヒストグラムの全ての濃度値において、第２のクリップ値CL2 以下の部分を取り去り、その総和を最小濃度値（０）もしくは最大濃度値（２５５）の頻度に足し合わせる。なお、図１３（ｂ）は最小濃度値に足し合わせた場合を示した。そして、このようにクリップされた濃度ヒストグラムを用いて、累積ヒストグラムを作成し、それを正規化したものを濃度変換曲線とする。図１３（ｃ）の曲線Ａ3 はクリップを行う前の濃度ヒストグラムから作成した累積ヒストグラムであり、曲線Ａ4 はクリップ後の濃度ヒストグラムから作成した累積ヒストグラムである。この濃度変換曲線の形状から分かるように、第２のクリップ値を導入することにより、コントラスト強調の度合いが弱まり、かつ領域全体の明るさ均一に変化した結果を得ることができる。ここで、濃度シフト操作クリップ値決定手段15により第２のクリップ値が決定され、第２クリッピング手段17によりクリップが実行される。第２のクリップ値は、第１のクリップ値と比例関係を持たせることが好適である。
【００５７】
そして、累積ヒストグラム作成手段18により、第１クリッピング手段16および第２クリッピング手段17でクリップされた濃度ヒストグラムを用いて、累積ヒストグラムが作成される。以上説明したエントロピー算出手段12から第１クリッピング手段16および第２クリッピング手段17までの動作は図７のステップＳ24に対応し、累積ヒストグラム作成手段18の動作はステップＳ25に対応する。
【００５８】
累積ヒストグラム作成手段18で作成された濃度変換曲線は、濃度変換手段８へ出力される。濃度変換手段８は、ステップＳ26に示すように、領域毎に異なる累積ヒストグラムを濃度変換曲線として領域内の各画素の濃度変換を行う。ただし、領域の境界が不連続にならないようにするために、境界に該当する正方形ブロック内の各画素については、以下のような線形補間処理を行う。
【００５９】
図１４（ａ）に示すように、注目画素の濃度値を、この画素が属するブロックＢ1 および近傍の三つのブロックＢ2 、Ｂ3 、Ｂ4 のそれぞれの濃度変換曲線を用いて濃度変換し、変換後の濃度値ｇ1 、ｇ2 、ｇ3 、ｇ4 を得る。次に、下記の式［４］に基づいて、線形補間後の濃度値ｇ（ｘ，ｙ）を算出する。つまり、前記濃度値ｇ1 、ｇ2 、ｇ3 、ｇ4 を、四つのブロックＢ1 、Ｂ2 、Ｂ3 、Ｂ4の中心から注目画素までの距離に応じて重み付けする。
【００６０】
【数４】
濃度変換手段８から出力された、濃度変換処理を施された明度画像情報Ｉo1は、色形式逆変換手段５に入力される。色形式逆変換手段５は、図２のステップＳ４に示すように、前記明度画像情報Ｉo1と、色形式変換手段３の出力である色相情報Ｈおよび彩度情報Ｓとを用いて、ダイナミックレンジの改善されたＲＧＢ原色カラー画像情報を生成する。このカラー画像情報は、図示されていないプリンタやモニタに入力され、印刷あるいは表示される。
【００６２】
（第２の実施の形態）
本発明の第２の実施の形態は、明度値を明度範囲の中央のレベルに近づけることにより、彩度のダイナミックレンジを広げて画像の視認性を向上させることが特徴である。
【００６３】
図１５は本発明の第２の実施の形態の撮像装置の構成を示すブロック図であり、図１６はその撮像装置における処理の流れの概要を示すフロー図である。これらの図において、図１あるいは図２と同一または対応する構成要素には、それらの図に使用した符号と同一の符号を付した。
【００６４】
本発明の第２の実施の形態では、図１５に示すように、彩度強調処理部21と、セレクタ22とを設け、図１６のステップＳ３に示すように、彩度情報補正のための明度情報処理を行うことが特徴であり、その他の構成および動作は前述した本発明の第１の実施の形態と同じである。
【００６５】
彩度情報補正のための明度情報処理は、色の鮮やかさ情報のダイナミックレンジを広げるために明度値に対して以下の処理を加えるものである。彩度値がある程度の大きさを持っている場合、つまり図４の円筒座標系においてＩ軸から離れているほど、彩度値のダイナミックレンジがより広くなる方向へ明度値を移動させる処理を行う。この処理により、彩度値がある程度大きい場合、色の鮮やかさがより分かりやすくなることで、画像の視認性を向上させることができる。ここで、彩度値のダイナミックレンジがより広くなる方法とは、図１７に示すように、明度値を最大値の１／２（明度値の範囲が０〜２５５の場合、１２８）に近づける方向である。具体的には、彩度情報処理部21により、各画素に対して、Ｉ＜１２８の場合には下記の式［５］によって、またＩ≧１２８の場合には下記の式［６］によって明度値を算出する。
【００６６】
Ｉo2＝Ｉi ＋（Ｓ×Δmax ） …式［５］
【００６７】
Ｉo2＝Ｉi −（Ｓ×Δmax ） …式［６］
【００６８】
これらの式において、Ｉo2は移動後の明度値、Ｉi は元の明度値、Ｓは彩度値、Δmax は移動最大値である。したがって、式［５］、［６］は、０〜１の値を持つ彩度値Ｓに対して、移動最大値Δmax を掛け合わせた後、元の明度値が１２８より小さいときは足し合わせ、大きいときは引くことを意味する。図１８にＩ＜１２８の場合の一例を示した。
【００６９】
彩度強調処理部21で算出された、式［５］または［６］の明度値Ｉo2は、ダイナミックレンジ改善処理部４によって第１の実施の形態と同じ処理を施され出力された明度値Ｉo1とともにセレクタ22に入力される。そして、より１２８に近いほうがその画素の明度値Ｉo3として採用され、色形式逆変換手段５に入力される。
【００７０】
このように、本発明の第２の実施の形態によれば、第１の実施の形態の効果に加えて、彩度値がある程度大きい場合、色の鮮やかさをより分かりやすくなることで、画像の視認性を向上させることができる。
【００７１】
なお、本発明は以上説明した実施の形態に限定されるものではなく、様々な変形が可能である。例えば、上記第１の実施の形態において、上記ＲＧＢ→ＨＳＩ変換、ＨＳＩ→ＲＧ変換に要する時間を短縮するために下記（１）〜（３）のように処理しても良い。
【００７２】
（１）ＲＧＢ値から明度値Ｉを算出し、同時にＲＧＢ値を保存する。
（２）明度値に対するダイナミックレンジ改善処理を実行する。
【００７３】
（３）（１）で保存したＲＧＢ値を基に、ＲＧＢカラー画像を再算出する。
つまり、彩度情報、色相情報を算出しないことが相違する。処理後のカラー画像データは第１の実施の形態と同じである。
【００７４】
【発明の効果】
以上詳細に説明したように、本発明のカラー画像処理方法および処理装置によれば、円筒座標系で規格化した色相／彩度／明度空間の明度値に対してダイナミックレンジ改善処理を施すことで彩度値に対しても同時に同程度の改善処理が可能となり、第１のクリップ値を導入することにより濃度ヒストグラムに頻度の高い濃度部分があったとしても、過度のコントラスト強調を防止することができ、第２のクリップ値を導入することによりコントラスト強調の度合いを弱め、かつ領域全体の明るさ均一に変化させることができる。
【００７６】
さらに、本発明のカラー画像処理方法によれば、各領域のテクスチャの複雑さを加味して第１のクリップ値を決定することにより、濃度差の少ない物体を含む領域に対する過剰なコントラスト強調処理を防止することができる。
【００７７】
そして、本発明のカラー画像処理方法によれば、明度画像の画素の彩度値が大きい程、その画素の明度値を明度範囲の中央のレベルに近づけることにより、彩度のダイナミックレンジを広げて画像の視認性を向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の撮像装置の構成を示すブロック図、
【図２】図１の撮像装置におけるカラー画像処理の流れの概要を示すフロー図、
【図３】双六角錐カラーモデルを説明するための図、
【図４】円筒座標系で規格化したＨＳＩ空間を説明するための図、
【図５】円筒座標系で規格化したＨＳＩ空間と双六角錐カラーモデルとの対応関係を示す図、
【図６】図１の撮像装置における濃度変換曲線作成手段の構成を示すブロック図、
【図７】図１の撮像装置におけるダイナミックレンジ改善処理部の処理の流れの概要を示すフロー図、
【図８】図１のダイナミックレンジ改善処理部における領域分割手段の動作を説明するための図、
【図９】ヒストグラムの平滑化を説明するための図、
【図１０】第１のクリップ値を説明するための図、
【図１１】第１のクリップ値の決定方法を説明するための図、
【図１２】σ値の異なるエッジ抽出画像の取得例を示す図、
【図１３】第２のクリップ値を説明するための図、
【図１４】濃度変換手段における線形補間方法を説明するための図、
【図１５】本発明の第２の実施の形態の撮像装置の構成を示すブロック図、
【図１６】図１５の撮像装置におけるカラー画像処理の流れの概要を示すフロー図、
【図１７】図１５の撮像装置における彩度情報補正のための明度情報処理を説明するための図、
【図１８】図１７の明度情報処理を実現する方法を説明するための図、
【図１９】従来の階調補正を方法を説明するための図である。
【符号の説明】
３ 色形式変換手段
４ ダイナミックレンジ改善処理部
５ 色形式逆変換手段
６ 領域分割手段
７ 濃度変換曲線作成手段
８ 濃度変換手段
Claims (4)
- カラー原色画像から、円筒座標系で規格化された色相／彩度／明度空間の明度画像を生成するステップと、前記明度画像のテクスチャを解析し、前記解析結果に基づいて前記明度画像を複数の領域に分割するステップと、前記分割された領域毎のヒストグラムを平滑化することにより前記明度画像の濃度変換を行うステップと、前記濃度変換を受けた明度画像を用いてカラー原色画像を生成するステップとを備えたカラー画像処理方法であって、
前記明度画像の濃度変換を行うステップは、前記領域毎の濃度ヒストグラムを作成するステップと、前記各領域の濃度のばらつき具合をもとに、前記ヒストグラムの平滑化の度合いを決定する第１のクリップ値を定め、前記第１のクリップ値以上の部分を取り出し、前記濃度ヒストグラムの下側に配置すると共に、前記各領域のヒストグラムの平滑化の度合いを弱め、かつ領域全体の明るさを均一に変化させる第２のクリップ値を定め、前記第２のクリップ値以下の部分を取り出し、前記濃度ヒストグラムの最小濃度値または最大濃度値の頻度に足し合わせるステップと、前記第１のクリップ値および第２のクリップ値によるクリップ後の濃度ヒストグラムから累積ヒストグラムを作成し、前記累積ヒストグラムを濃度変換曲線として濃度変換を行うステップとを有することを特徴とするカラー画像処理方法。 - 各領域の濃度のばらつき具合に加え、各領域のテクスチャの複雑さを用いて前記第１のクリップ値を定めることを特徴とする請求項１記載のカラー画像処理方法。
- カラー原色画像から、円筒座標系で規格化された色相／彩度／明度空間の明度画像を生成するステップと、前記明度画像のテクスチャを解析し、前記解析結果に基づいて前記明度画像を複数の領域に分割するステップと、前記分割された領域毎のヒストグラムを平滑化することにより前記明度画像の濃度変換を行うステップと、前記明度画像の画素の明度値を前記画素の彩度値が大きい程明度範囲の中央のレベルに近づけることにより彩度のダイナミックレンジを広げるステップと、前記濃度変換された画像の画素の明度値と前記彩度のダイナミックレンジを広げる処理を受けた画素の明度値とから前記明度範囲の中央のレベルに近い明度値を選択するステップと、前記選択された明度値を有する明度画像を用いてカラー原色画像を生成するステップとを備えたことを特徴とするカラー画像処理方法。
- カラー原色画像から、円筒座標系で規格化された色相／彩度／明度空間の明度画像を生成する手段と、前記明度画像のテクスチャを解析し、前記解析結果に基づいて前記明度画像を複数の領域に分割する手段と、前記分割された領域毎のヒストグラムを平滑化することにより前記明度画像の濃度変換を行う手段と、前記濃度変換を受けた明度画像を用いてカラー原色画像を生成する手段とを備えたカラー画像処理装置であって、
前記明度画像の濃度変換を行う手段は、前記領域毎の濃度ヒストグラムを作成する手段と、前記各領域の濃度のばらつき具合をもとに、前記ヒストグラムの平滑化の度合いを決定する第１のクリップ値を定める手段と、前記第１のクリップ値以上の部分をクリップして取り出し、前記濃度ヒストグラムの下側に配置する手段と、前記各領域のヒストグラムの平滑化の度合いを弱め、かつ領域全体の明るさを均一に変化させる第２のクリップ値を定める手段と、前記第２のクリップ値以下の部分をクリップして取り出し、前記濃度ヒストグラムの最小濃度値または最大濃度値の頻度に足し合わせる手段と、前記第１のクリップ値および第２のクリップ値によるクリップ後の濃度ヒストグラムから累積ヒストグラムを作成する手段と、前記累積ヒストグラムを濃度変換曲線として濃度変換を行う手段とを有することを特徴とするカラー画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000336394A JP3543103B2 (ja) | 2000-11-02 | 2000-11-02 | カラー画像処理方法および処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000336394A JP3543103B2 (ja) | 2000-11-02 | 2000-11-02 | カラー画像処理方法および処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002140700A JP2002140700A (ja) | 2002-05-17 |
| JP3543103B2 true JP3543103B2 (ja) | 2004-07-14 |
Family
ID=18811975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000336394A Expired - Fee Related JP3543103B2 (ja) | 2000-11-02 | 2000-11-02 | カラー画像処理方法および処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3543103B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1311413C (zh) * | 2002-11-29 | 2007-04-18 | 英华达(上海)电子有限公司 | 将黑白图像进行彩色显示的方法 |
| JP4066803B2 (ja) | 2002-12-18 | 2008-03-26 | 株式会社ニコン | 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ |
| JP3914168B2 (ja) * | 2003-04-08 | 2007-05-16 | オリンパス株式会社 | 撮像システム、画像処理プログラム |
| EP1742458A1 (en) | 2005-06-13 | 2007-01-10 | Thomson Licensing | Apparatus and method for image processing of digital image pixels |
| US7426312B2 (en) * | 2005-07-05 | 2008-09-16 | Xerox Corporation | Contrast enhancement of images |
| JP4900175B2 (ja) * | 2007-10-04 | 2012-03-21 | セイコーエプソン株式会社 | 画像処理装置及び方法並びにプログラム |
| JP5644444B2 (ja) | 2010-12-03 | 2014-12-24 | 富士通株式会社 | 画像表示装置、画像表示方法、および画像処理装置 |
| KR101349968B1 (ko) * | 2011-11-28 | 2014-01-14 | 네이버 주식회사 | 자동 영상보정을 위한 영상 처리 장치 및 방법 |
| JP6126054B2 (ja) * | 2014-08-26 | 2017-05-10 | 正浩 小林 | 画像信号処理方法及び画像信号処理装置 |
| US9710715B2 (en) | 2014-12-26 | 2017-07-18 | Ricoh Company, Ltd. | Image processing system, image processing device, and image processing method |
-
2000
- 2000-11-02 JP JP2000336394A patent/JP3543103B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002140700A (ja) | 2002-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9569827B2 (en) | Image processing apparatus and method, and program | |
| JP3465226B2 (ja) | 画像濃度変換処理方法 | |
| EP2492867B1 (en) | Methods and systems for converting images from low dynamic range to high dynamic range | |
| US7755670B2 (en) | Tone-conversion device for image, program, electronic camera, and tone-conversion method | |
| US7409083B2 (en) | Image processing method and apparatus | |
| JP4858609B2 (ja) | ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム | |
| US20100080485A1 (en) | Depth-Based Image Enhancement | |
| EP1909487A1 (en) | Image pickup apparatus | |
| US20110285871A1 (en) | Image processing apparatus, image processing method, and computer-readable medium | |
| JP2007507802A (ja) | デジタル画像におけるテキスト状エッジの強調 | |
| JP2001126075A (ja) | 画像処理方法および装置並びに記録媒体 | |
| JPH08251432A (ja) | 実時間画像強調技法 | |
| JP2007088543A (ja) | 画像処理装置及び画像処理方法 | |
| JP3543103B2 (ja) | カラー画像処理方法および処理装置 | |
| JP2005167399A (ja) | 画像ノイズ除去方法 | |
| JP4241774B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JPWO2002071761A1 (ja) | 画像処理装置および画像処理プログラム | |
| US7155053B2 (en) | Color image processing method and apparatus | |
| JP5286215B2 (ja) | 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム | |
| JP3731741B2 (ja) | カラー動画像処理方法および処理装置 | |
| CN110298812B (zh) | 一种图像融合处理的方法及装置 | |
| CN112837230B (zh) | 图像处理装置、图像处理方法和计算机可读介质 | |
| JPH11308463A (ja) | 画像処理装置及び画像処理方法 | |
| JP4040528B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体、および画像処理装置を備えた画像形成装置 | |
| JPH10340332A (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040310 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100416 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100416 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110416 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120416 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |