JP3667181B2 - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP3667181B2 JP3667181B2 JP37553899A JP37553899A JP3667181B2 JP 3667181 B2 JP3667181 B2 JP 3667181B2 JP 37553899 A JP37553899 A JP 37553899A JP 37553899 A JP37553899 A JP 37553899A JP 3667181 B2 JP3667181 B2 JP 3667181B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- luminance
- correction
- low
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 55
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000012937 correction Methods 0.000 claims description 103
- 230000001186 cumulative effect Effects 0.000 claims description 40
- 230000010365 information processing Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 37
- 230000008569 process Effects 0.000 description 27
- 238000007639 printing Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000003702 image correction Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- -1 silver halide Chemical class 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理方法および画像処理装置に関し、例えば、デジタル写真画像などのような画像データに対して輝度補正処理を行うための画像処理方法および画像処理装置に関するものである。
【0002】
【従来の技術】
近年、ハードコピー技術、特にフルカラーのハードコピー技術が急速に発展しつつある。特に、インクジェット方式による印刷技術は、インクドットによる粒状感の低減などにより、その印刷画質が銀塩写真と同等のものとなりつつあり、また、その比較的簡易な印刷方式によって広く普及しているものである。このような点から、インクジェット方式によるプリンタと高画素のデジタルカメラとを用い、撮像画像またはそれを加工した画像の忠実な再現も可能となってきている。
【0003】
このような撮像画像を印刷するシステムでは、基本的に印刷デバイスであるプリンタなどによって実現できる濃度範囲が、デジタルカメラ等のそれとは異なるという問題がある。例えば、インクジェット方式のプリンタの場合、撮像された画像の濃度に対して高濃度部において実現可能な濃度が比較的低いという問題がある。これは、デジタルカメラを用いる場合に限らず、スキャナなどの光学的な画像読取りデバイスを用いたシステムやCRT等のディスプレーの画像を印刷するシステムでも同様である。そして、以上のような本質的な問題によって、撮像等した画像を印刷すると、実際の色に比べて明るすぎたりまたは暗すぎるといった場合がある。
【0004】
このため、本出願人は、画像処理における特に輝度補正処理によってこれに対処する方法を提案している。すなわち、基本的に画像全体において高濃度部領域の割合が多くなるよう画像データにおける輝度を補正し、これにより、印刷画像の全体的な濃度を増して印刷デバイスの実現可能な最高濃度が比較的低いという点を補う提案である。そして、この際、上記輝度の補正で明るく補正する程度(以下、これを「γ値」ともいう。明るく補正するほどγ値は大きい)を判断するため、画像データにおける各輝度の度数を示すヒストグラムを解析し、そのヒストグラムにおける所定の最高輝度や最低輝度に基づいて高輝度領域や低輝度領域の分布を知り、これに応じて補正の程度(補正条件)を定めている。
【0005】
【発明が解決しようとする課題】
しかしながら、上述したγ値を定める輝度補正処理では、ヒストグラムの最高輝度、最低輝度等のみに基づいて、印刷すべき画像データにおける輝度分布を判断するものであるため、正確な輝度分布を把握できない場合がある。例えば、低輝度領域が比較的少ない(明るい画像)にも拘わらず、比較的高い輝度周辺に分布のピークがあることによってその上記所定の最低輝度自体は比較高い値を示すような輝度分布では、比較的明るい画像と判断してγ値を小さな値としてしまい、その結果、印刷画像における高濃度部画像のつぶれ等を生じることがある。
【0006】
特に、仮に適切なγ値を得ることができたとしても、そのγ値で全ての輝度領域で一体に補正を行う場合には、高輝度領域や中間領域の補正による印刷画像は鮮やかな色を実現できるが、特に低輝度領域の補正による印刷画像の高濃度部の階調が適切に表現されず、色のいわゆる潰れを生じることがある。
【0007】
本発明は上述したこのような点をさらに改善するためになされたものであり、その目的とするところは、画像におけるより詳細な明るさの判定パラメータに基づいてその画像の明るさを判定し、それぞれの画像に最適な補正の程度を求めるとともに、特に印刷画像における高濃度部の階調を維持しつつその濃度の増大を図ることにより、画像データが示す画像のより忠実な再現を行うことができる画像処理方法および画像処理装置を提供することにある。
【0009】
【課題を解決するための手段】
そのために本発明では、画像データの輝度を補正するための画像処理方法であって、前記画像データが示す画像の輝度のヒストグラムにおいて、輝度の最大値から低輝度側へ累積した度数が所定の度数となる輝度の値であるハイライトポイントを求めて該ハイライトポイントと所定の閾値とを比較し、当該ハイライトポイントが前記閾値より大きいとき当該閾値より小さいときよりも明るい画像と判別する、前記画像の明るさの度合いの判別を行い、前記ヒストグラムにおいて、該ヒストグラム作成の対象となった画素数に対する第1の低輝度領域の累積度数の割合を求め、前記判別した画像の明るさの度合いが明るいほど、同じ前記累積度数の割合に対して画像をより暗くするように補正の程度を決定し、さらに、前記ヒストグラム作成の対象となった画素数に対する、第1の低輝度領域とは異なる第2の低輝度領域の累積度数の割合を求め、前記決定した補正の程度の画像を暗くする程度が一定以上の場合において、前記第2の低輝度領域の累積度数の割合が所定値以上のときは、当該第2の低輝度領域の前記補正の程度を、当該輝度データが示す階調を維持するような補正の程度に変更し、該変更されまたは変更されない前記第2の低輝度領域の補正の程度を含む前記補正の程度に応じて前記画像データの輝度を補正する、ステップを有することを特徴とする。
【0011】
また、画像データの輝度を補正するための画像処理装置であって、前記画像データが示す画像の輝度のヒストグラムにおいて、輝度の最大値から低輝度側へ累積した度数が所定の度数となる輝度の値であるハイライトポイントを求めて該ハイライトポイントと所定の閾値とを比較し、当該ハイライトポイントが前記閾値より大きいとき当該閾値より小さいときよりも明るい画像と判別する、前記画像の明るさの度合いの判別を行う判別手段と、前記ヒストグラムにおいて、該ヒストグラム作成の対象となった画素数に対する第1の低輝度領域の累積度数の割合を求める第1取得手段と、前記判別した画像の明るさの度合いが明るいほど、同じ前記累積度数の割合に対して画像をより暗くするように補正の程度を決定する決定手段と、さらに、前記ヒストグラム作成の対象となった画素数に対する、第1の低輝度領域とは異なる第2の低輝度領域の累積度数の割合を求める第2取得手段と、前記決定した補正の程度の画像を暗くする程度が一定以上の場合において、前記第2の低輝度領域の累積度数の割合が所定値以上のときは、当該第2の低輝度領域の前記補正の程度を、当該輝度データが示す階調を維持するような補正の程度に変更し、該変更されまたは変更されない前記第2の低輝度領域の補正の程度を含む前記補正の程度に応じて前記画像データの輝度を補正する補正手段と、を具えたことを特徴とする。
【0012】
以上の構成によれば、上記判別した画像の明るさの度合いが明るいほど、同じ上記第1の低輝度領域の累積度数の割合に対して画像をより暗くするように補正の程度を決定し、さらに、上記決定した補正の程度の画像を暗くする程度が一定以上の場合において、上記第2の低輝度領域の累積度数の割合が所定値以上のときは、当該第2の低輝度領域の上記補正の程度を、当該輝度データが示す階調を維持するような補正の程度に変更し、該変更されまたは変更されない上記第2の低輝度領域の補正の程度を含む前記補正の程度に応じて前記画像データの輝度を補正するので、判別された画像の明暗に応じて、補正対象である画像の低輝度領域の分布に関連させて補正の程度を異ならせることができる。例えば、暗い画像と判別された場合は、同じ低輝度領域の分布(低輝度領域の割合)でも明るい画像と判断される場合より、暗くする程度をより低くすることができ、これにより、全体的に暗い画像で、例えば低輝度領域の分布が比較的少ない画像については全体的に低濃度で印刷することが可能となり、印刷画像における高濃度部のいわゆる潰れを防止できる。一方、明るい画像と判断される場合は、逆に、暗くする程度をより高くすることができ、これにより、プリンタ等の印刷デバイスが本来的に有している比較的低濃度の出力特性を補った印刷を行うことができる。
この作用効果に加え、上記補正の程度が決定され、さらに、第2の低輝度領域の累積度数の割合が、例えば少ないと判定されたとすると、印刷画像全体の濃度を上げようとしても濃く潰れる面積の割合が小さいと判断して、上記決定された補正の程度をそのまま用い、一方、上記第2の低輝度領域の累積度数の割合が比較的多い場合は、印刷画像全体の濃度を上げようとすると、濃く潰れる高濃度部の面積の割合は大きいと判断し、第2の低輝度領域の階調は維持するよう補正の程度を変更することが可能となる。
【0013】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【0014】
<第1の実施形態>
図1は、本発明の一実施形態にかかる印刷システムの概略構成を示すブロック図である。本システムは、概略、ホストコンピュータ100、プリンタ106およびモニタ105を有して構成されるものである。すなわち、ホストコンピュータ100には、例えばインクジェット方式のプリンタ106とモニタ105が双方向通信可能に接続されている。
【0015】
ホストコンピュータ100は、OS(オペレーティングシステム)102を有し、また、このOS100による管理下においてそれぞれの処理を行う、ワードプロセッサ、表計算、画像処理、インターネットブラウザ等のアプリケーション101、このアプリケーションによって発行され、出力画像を示す各種描画命令群(イメージ描画命令、テキスト描画命令、グラフィックス描画命令)を処理して印刷データを作成するプリンタドライバ103、および同様にアプリケーション101が発行する各種描画命令群を処理してモニタ106に表示を行うモニタドライバ104を同様のソフトウエアとして有している。
【0016】
また、ホストコンピュータ100は、上述のソフトウエアによって動作可能な各種ハードウエアとして中央演算処理装置CPU108、ハードディスクドライバHD107、ランダムアクセスメモリ(RAM)109、リードオンリーメモリ(ROM)110等を備える。すなわち、CPU108は、上述のソフトウエアに従った処理にかかる信号処理を実行し、ハードディスクドライバ107によって駆動されるハードディスクやROM110には、それらの各種ソフトウエアが予め格納されており、必要に応じて読み出されて用いられる。また、RAM109は、上記CPU108による信号処理実行のワークエリア等として用いられる。
【0017】
図1に示される実施形態として、例えば、一般的に普及しているIBM社のAT互換機のパーソナルコンピュータにMicrosoft社のWindows98をOSとして使用し、任意の印刷処理が可能なアプリケーションをインストールし、モニタとプリンタを接続したものを挙げることができる。
【0018】
以上の構成を有したプリントシステムにおいて、ユーザーは、アプリケーション101によってモニタ105に表示された表示画像に基づき、同様にアプリケーションによる処理を介して文字などのテキストに分類されるテキストデータ、図形などのグラフィックスに分類されるグラフィックスデータ、自然画などに分類されるイメージ画像データなどからなる画像データを作成することができる。
【0019】
そして、この作成した画像データの印刷出力がユーザーによって指示されると、アプリケーション101はOS102に印刷出力要求を行うとともに、グラフィックスデータ部分をグラフィックス描画命令、イメージ画像データ部分をイメージ描画命令として構成した、出力画像を示す描画命令群をOS102に発行する。これに対し、OS102はアプリケーションの印刷出力要求を受け、その印刷を行うプリンタに対応したプリンタドライバ103に描画命令群を発行する。
【0020】
プリンタドライバ103は、OS102から入力した印刷要求と描画命令群を処理しプリンタ105で印刷可能な形態の印刷データを作成してプリンタ105に転送する。この場合に、プリンタ105がラスタープリンタである場合は、プリンタドライバ103はOS102からの描画命令に対して、順次画像補正処理を行い、そして順次RGB24ビットページメモリにラスタライズし、すべての描画命令をラスタライズした後にRGB24ビットページメモリの内容をプリンタ105が印刷可能なデータ形式、例えばCMYKデータに変換を行いプリンタに転送する。
【0021】
図2は、プリンタドライバ103で行われる処理を示す図である。プリンタドライバ103の処理は、大別して、画像補正処理とプリンタ用補正処理からなる。
【0022】
画像補正処理120は、OS102から入力した描画命令群に含まれる輝度信号R、G、Bからなる色情報に対して、画像補正処理を行う。詳しくは、レッド(R)、グリーン(G)、ブルー(B)の色情報を基に、後述の自動階調補正処理を行う。一方、プリンタ用補正処理部121は、まず画像補正処理120によって補正された色情報の描画命令をラスタライズし、R、G、B24ビットのページメモリにラスター画像を生成する。そして、所定の画素毎に印刷を行うプリンタの色再現性に依存したシアン(C)、マゼンタ(M)、イエロー(Y)、ブラック(K)データを生成し、プリンタ105に転送する。
【0023】
次に、画像補正処理120の処理である自動階調補正処理について説明する。自動階調補正処理は、イメージ描画命令で示される画像データのうち、イメージ画像に対して行う。従って、例えば画像データの中にグラフィックス画像やイメージ画像が含まれている場合は、その画像データからイメージ画像部分を抽出し、これに対して自動階調補正処理を行う。
【0024】
図3は、この自動階調補正における主に各信号の変換を概念的に示す図であり、また、図4はその処理手順を示すフローチャートである。本実施形態の自動階調補正は、画像データにおける各輝度値の度数を集計したヒストグラムを用い印刷すべき画像の明るさに関する判定を行い、適切な補正の程度(γ値)を定めることによって行うものである。以下、図4に示すフローチャートを主に参照してこの処理を説明する。
【0025】
(ヒストグラム集計)
図4に示すように、最初にステップS1のヒストグラム集計処理において、まず、入力されたRGBの画像信号を、画像の明るさに関する成分である輝度Yと色味に関する成分である色差信号Cr、Cbに変換する(図3のB1)。その変換式は以下のように表されるものである。
Y=0.299×R+0.587×G+0.114×B
Cr=R−Y
Cb=B−Y
次に、変換された各信号Y、Cr、Cbの内、輝度に相当する信号Yについて、画像データにおける各画素毎の輝度値(信号Yの値)を調べ、0〜255で示されるそれぞれの輝度値毎にその輝度を有する画素の度数を集計し、輝度のヒストグラム(度数分布)を作成する。
このように作成されたヒストグラムは、例えば、画像データが全体的に明るい画像を示すときは図5に示すように高輝度側に分布が偏り、一方、全体的に暗めの画像を示すときは図6に示すように低輝度側に分布が偏ったものとなる。
なお、上述の輝度ヒストグラムの作成は、画像全体における輝度の度数分布を調べるのが目的としてなされることから、度数の集計は必ずしも全画素について行う必要はなく、例えば1600(画素)×1200(画素)の画像データに対しては、横に15(画素)ずつ、縦に11(画素)ずつ間引いた画素について集計を行ってもよいし、あるいはそれらの画素それぞれについて周囲画素との平均値を用いてもよい。
【0026】
(階調曲線判定)
次に、ステップS2では、上述のようにして求めたヒストグラムに基づき階調曲線判定処理を行う。すなわち、輝度補正におけるγ値に対応した補正曲線である階調曲線をどのようなものとするかについて判定する。本実施形態の階調曲線判定は、以下に述べる2つのパラメータ、すなわち、ハイライトポイントおよびγパラメータ(低輝度領域の画素数)によって処理される画像の明るさを判定し、これに基づいてγ値、すなわち、それに対応する階調曲線を定める。
【0027】
図7は、このγ判定処理の詳細を示すフローチャートであり、これを参照して本実施形態のγ判定処理を説明する。
【0028】
▲1▼ハイライトポイント判定部
ステップS21のハイライトポイント判定処理では、上記ヒストグラムから処理対象である画像におけるハイライトポイントを算出する(ステップS211)。
【0029】
本実施形態では、輝度信号Yの上記ヒストグラムにおいて輝度範囲の最高輝度値(輝度値255)から、順に低輝度側に向かいながら各輝度値の度数を累積し、ここで求めた累積度数が、例えば、処理対象である画像データの全画素数の1.0%と一致した輝度値、または最初に全画素数の1.0%を越えた輝度値を求め、この点をハイライトポイント(以下、「HLP」ともいう)とする。
【0030】
次に、このようにして求めたHLPと輝度値について予め定めた閾値Thを用いてこれらの大きさを比較し、 HLP>Thとき、画像は明るい画像、HLP≦Thときは、画像は暗い画像と判定する(ステップS212)。すなわち、この処理によって明暗について2種の画像に判別する。なお、本実施形態で用いる閾値Thは、比較的高輝度の値を用い、例えば220等を用いる。
【0031】
例えば、図5に示す明るめの画像のヒストグラムでは、HLPが閾値Thを越えて(HLP>Th)おり、従って、明るい画像と判定される。この場合、前述したようにヒストグラムは全体的に高輝度側に分布が偏っており、結果的にHLPも高輝度側に位置している。
一方、図6に示す暗めの画像のヒストグラムでは、HLPが閾値Thよりも低く(HLP≦Th)、暗い画像と判定される。この場合、全体的に低輝度側に輝度分布が偏っており、HLPも低輝度側に位置することから、このような判定が行われる。
【0032】
以上のように処理対象画像のヒストグラムからハイライトポイントを求め、これに基づいて画像の全体的な明暗を判別することにより、図8にて後述されるように、判別された明暗に応じて、補正対象である画像の低輝度領域の分布に関連させて補正の程度、すなわち、γ値を異ならせることができる。例えば、暗い画像と判別された場合は、同じ低輝度領域の分布(低輝度領域の割合)でも明るい画像と判断される場合より、小さなγ値で補正する(濃度を高くする;暗くする)確率をより低くすることができ、これにより、全体的に暗い画像で、例えば低輝度領域の分布が比較的少ない画像については全体的に低濃度で印刷することが可能となり、印刷画像における高濃度部のいわゆる潰れを防止できる。一方、明るい画像と判断される場合は、逆に、小さなγ値で補正する(濃度を高くする;暗くする)確率をより高くすることができ、これにより、プリンタ等の印刷デバイスが本来的に有している比較的低濃度の出力特性を補った印刷を行うことができる。
【0033】
なお、HLPの算出は、必ずしも上述した方法によって求める必要はなく、従来知られている方式を適宜用いてもよい。
【0034】
また、他の画像補正処理、例えば前述したいわゆる色かぶり補正、コントラスト補正、彩度補正と組み合わせて本実施形態の自動階調補正処理を行う場合には、この画像処理で予め用いたHLPを使用することもできる。なお、この場合、ハイライトポイントを用いる代わりに、上記色かぶり補正等で同様に用いられるシャドーポイントを用いて画像の明るさ(暗さを)判別することができ、これに基づいて以下の処理を行うことができることは、以下の説明からも自明なことである。
【0035】
▲2▼低輝度領域(シャドー領域)の画素数判定(γパラメータ判定)
次に、ステップS22において、ハイライトポイント判定によって明暗2種に大別された画像について、同様にステップS1で求めたヒストグラムを用いて低輝度領域分布の判定を行う。
【0036】
この低輝度領域の画素数判定処理では、まず、ステップS221で処理対象画像の全画素数に対する所定の低輝度領域の累積度数の割合であるSlowを求める。これは、低輝度領域の分布をより詳細に求めることにより、補正の程度、すなわちγ値について適切なものを求め、特に、印刷画像の低濃度部におけるいわゆる潰れを生じさせることなく全体的な濃度の増大を図ることを可能とするものである。
【0037】
最初に、前処理として、低輝度領域での累積度数Sを求める。この低輝度領域での累積度数Sは、ヒストグラムにおいて輝度範囲の最低輝度値(輝度値0)から高輝度側に向かって所定の輝度値までの累積度数として求められるものである。本実施形態では、最大輝度値(輝度値255)の1/4となる輝度値(輝度値64)までの累積度数を低輝度領域の累積度数Sとして求める。
【0038】
次に、上述のように求めた低輝度領域の累積度数Sが、全画素数に占める割合Slowを算出する。
【0039】
すなわち、ここで、Slow=(低輝度領域の累積度数S)/(全画素数)(%)である。
【0040】
なお、前述のヒストグラム集計の際に、画素を間引いて、間引きヒストグラムを作成した場合には、上記Slowの定義式での分母は、ヒストグラム作成の対象となった画素数である。
【0041】
次に、ステップS222において上記で求めたSlowを用いてγ値(γパラメータ)の判定を行う。
【0042】
この判定は、具体的には、図8に示すテーブルのSlowが属する範囲を決定する処理である。すなわち、このSlowの範囲は、上述のHLP判定に応じた画像の明暗により範囲を異ならせるものであり、明るい画像と判定されたものについて、Slow=0〜30、Slow=31〜60、Slowが61以上の3種の範囲に分類される。一方、HLP判定で、暗い画像と判定されたものについては、 Slow=0〜15、Slow=16〜30、Slowが31以上の3種の範囲に分類される。
【0043】
例えば、図5に示す明るめの画像の場合、斜線で示した領域の全画素数に対する割合がSlowとなる。この例では、Slowは全画素数の10%となり、従って、上記HLP判定で明るい画像と判断されるとともに、Slowは、0〜30の範囲と判定される。一方、図6に示す暗めの画像の例では、斜線で示した領域Slowは、全画素数の40%となり、したがって、上記HLP判定で暗い画像と判断されるとともに、Slowは31以上の範囲と判定される。
【0044】
ここで、仮に、上述のように累積度数の割合を用いず、前述のシャドウポイント(ヒストグラムにおける最小輝度値から順番に高輝度側に向かいながらそれぞれの度数を累積し、例えば全画素数の1.0%と一致または最初に越えた値となった輝度値)のみを用いて低輝度部の分布を判定する方法を用いた場合には、低輝度領域の実際の分布状態が適切に反映されない、画像の明るさについての判定を行うこととなる。例えば、シャドウポイント自体は比較的高めの輝度値を示しつつも、実際には、シャドウポイント周辺の輝度値に度数分布のピークがあって低輝度領域の度数分布自体は少ない画像の場合、明るめの画像であると誤った判定をして小さなγ値(濃度を高くする輝度補正)が選択され、結果として画像上の比較的大きな部分を占める暗い部分が潰れてしまうことがある。
【0045】
これに対し、上述の実施形態のように、低輝度領域における累積度数を求め、この累積度数の全画素数に占める割合Slowを用いることにより、より実際の低輝度分布が反映された画像の明暗を判定を行うことができ、上述のような、暗めの画像についても適切な階調補正を行うことができる。
【0046】
なお、上記実施形態では、Slowの範囲について輝度値0〜60の範囲を均等に区分したが、より詳しく低輝度領域の情報を求める場合は、低輝度領域をいくつかに分割してそれぞれに対して場合分けを行ってもよいし、また、Slowが0〜30までは2倍、31〜60までは1倍して足し合わせるといった重み付けをしてもよい。
【0047】
▲3▼補正γ値決定
以上の低輝度領域の画素数判定処理により、低輝度領域の割合Slowが属する範囲が決定されることにより、処理対象画像は、図8に示されるように、明3種、暗3種の計6種に分類されることになる。そして、次のステップS23では、図8に示すテーブルを用いてγ値を決定する。
【0048】
本実施形態のγ値は、図9に示す階調曲線(補正テーブル)から明らかなように、0.8、1.0または1.2が設定される。なお、このγ値は、前述したようにより明るく(印刷画像において、より濃度が低く)補正する程度を表すものであり、個々の入力輝度値に対する補正の割合を示すものではない。個々の入力値に対する補正の割合は、同図のそれぞれのテーブルを表す曲線で表されるものである。
【0049】
上記6種に分類された画像に関するγ値の決定は、図8に示すテーブルを用い、例えば上記HLP判定が明るい画像の判定の場合、Slow=0〜30のときはγ=0.8、Slow=31〜60のときはγ=1.0(つまり補正せず)、Slowが61以上のときはγ=1.2といったように設定される。具体的には、後述のようにそれぞれのγ値に応じた補正用ルックアップテーブル(LUT)が用意される。
【0050】
図5に示す明るめの画像の場合、HLPは閾値Thより大きく且つSlowは10%であるので、図8に示すテーブルより、この画像は明るい画像と判定され、γ値は0.8に設定される。このγ値決定により、比較的高い輝度領域まで暗くする(印刷濃度を高くする)補正がなされ、全体的に最適な濃度の印刷画像となる。また、低輝度領域の画素に割合が少ないことから、画像の潰れる部分が少なくて済む。
【0051】
一方、図6に示す暗めの画像では、HLPがThより小さく且つSlowが40%であるため、図8に示すテーブルによって、γ値は1.2に設定される。このγ値設定により、印刷される画像全体が明るくなり、特に画像の40%を占める低輝度部分が明るくなり、濃度のバランスがとれた印刷画像となる。
【0052】
なお、上記の説明では、▲1▼ハイライトポイント判定において、画像の明るさの判定を2段階で行ったが、より最適なγ値を求めるために、明るい画像、中間画像、暗い画像といった3段階以上に場合分けしてより詳細な判定を行ってもよい。その場合、▲2▼低輝度領域の画素数判定は図8に示したSlowの閾値に加え、中間画像の場合、例えばSlow=0〜20でγ=0.8、Slow=21〜40でγ=1.0、Slowが41以上でγ=1.2とすることができる。
▲4▼低輝度領域(シャドー領域)の階調維持判定
次に、図7に示すステップS24において、低輝度領域の階調維持判定を行う。これは、上述のようにして決定したγ値によって補正した場合、その補正による印刷画像において高濃度部分がどの程度濃く潰れる部分があるかを判定し、それに応じて、γ補正処理を行って印刷画像を色濃くする際に、その高濃度領域の階調を維持すべきかを判定する処理である。
【0053】
まず、前述のように求めたヒストグラムにおける輝度範囲の下端の輝度値(輝度値0)から高輝度側に向かい、所定の点(輝度値X)までの度数を累積する。このXは、例えば最大輝度値(輝度値255)の1/8となる点(輝度値32)とすることができる。このXまでの輝度範囲は、以下で示す階調曲線決定処理において階調曲線が修正される可能性のある範囲である。換言すれば、この範囲の階調を調整することにより、印刷画像における高濃度部の階調を維持しつつ色の潰れを防いで全体として階調の良好な画像を得ることができる範囲である。これは、経験上または実験的に求めることができる。
【0054】
このように求めたXまでの累積度数を、上述の
【外1】
の画素数判定処理で求めた累積度数と同様にS’とする。次に、累積度数S’が全画素数の何%に当たるかを算出する。この低輝度領域における累積度数の全画素数に対する割合をSlow’とする。すなわち、Slowと同様、Slow’=(低輝度領域の累積度数S’)/(全画素数)(%)である。
【0055】
例えば図5に示す画像の場合、濃い斜線で示した領域がSlow’で示される割合を有する領域となり、ここでは5%である。この例のようにSlow’が小さい場合は、小さなγ値の階調曲線が設定されて印刷画像を色濃くする補正がなされたとしても色が潰れる領域も少ないことがこの図からもわかる。一方、図6に示す例ではSlow’は20%である。この例は、Slow’が比較的大きな値であり、この場合、小さなγ値の階調曲線が設定されると中間輝度領域から高輝度領域にかけては鮮やかな色となるが、この領域の20%を占める低輝度領域を補正して得られる印刷画像の高濃度領域は暗く潰れることになる。
【0056】
図9において、例えば、処理対象画像について、上述の▲3▼補正γ値決定でγ=0.8とされ、次に、上記▲4▼低輝度領域の階調維持判定処理でSlow’の値が、例えばSlow’=0〜5と判定されたとすると、印刷画像全体の濃度を上げようとしても濃く潰れる面積の割合が小さいと判断して、単純に得られたγ値をそのまま用いた前述の式で示される階調曲線を適用する。一方、γ値が0.8で、Slow’が6以上の場合、印刷画像全体の濃度を上げようとすると、濃く潰れる高濃度部の面積の割合は大きいと判断し、輝度値0〜Xまでの画素の階調は維持し(つまり、γを1として補正をせず)、輝度値X+1以上から最大輝度値(輝度値255)までの範囲は、前述の式と同様の式で表される階調曲線(図9におけるSlow’=20で表せられる曲線)による補正を行う。詳しくは、同図に示す例では、0≦Y≦30の範囲で、Y′=Y、31≦Y≦255の範囲で、Y′=224×{〔(Y−31)/224〕1/ γ}+31である。
【0057】
以上の説明はγ値が0.8の場合に関するものであるが、階調曲線を変更するか否かについて上記Slow’の値で判別するための閾値(上例のように、γが0.8のときは、6)は、γ値毎に、異ならせることができる。但し、γ値が1以上の場合は、印刷画像を濃くする補正とはならないため、本実施形態では階調曲線の変更は行われない。
【0058】
なお、上記の実施形態では、輝度値Xを処理対象である画像に関係なく一定のものとしたが、ヒストグラムによってXの値を異ならせてもよい。また、図9に示す例で、輝度値0〜Xの領域では、補正を行わない(γ値が1)ものとしたが、Slowの値が例えば6〜19%の場合は、輝度値0〜X間の階調曲線の直線の傾きを1/2にするなど、低輝度領域の階調を多少潰して輝度値X以上の領域の階調を広げてもよい。
【0059】
また、上述の例では、図9に示すように輝度値Xにおいて、低輝度領域の直線と中間輝度および高輝度領域のγ曲線とを単純に繋ぎ合わせたが、この直線と曲線をスムースにつなぎ合わせて階調をより連続的に表現することもできることは勿論である。
【0060】
(LUT作成)
以上説明した階調曲線判定処理(図4のステップS2)を終了すると、図4に示すステップS3でLUT作成を行う。すなわち、階調曲線判定処理で得られたγ値が示す階調曲線に基づいて輝度補正のためのルックアップテーブル(LUT)を作成する。
【0061】
本実施形態のLUTは、上述のようにして得られたγ値の逆数を各入力輝度信号の最大輝度に対する比に累乗したものに最大輝度値を乗じて得られるものを出力輝度信号とする補正を行うものであり、輝度範囲の全ての値(輝度値0〜255)に対応して、上記γ値を用いた補正関係で得られる全ての輝度値を記したものである。
すなわち、LUT L[Y]は、入力輝度信号をY、出力輝度信号をY‘とすると、Y’=255×[(Y/255)1/ γ]なる式によって表される変換を行い、動的に作成されるものである。すなわち、対象画像の処理ごとに作成される。このように補正テーブルを動的に作成することにより、必要となるメモリ量を削減することができる。
【0062】
なお、上記LUTは、動的に作成する代わりに上記γ値毎に、予めメモリ上に静的に用意してもよいことは勿論である。
(補正)
次に、図4に示すステップS4において、輝度信号Yの補正を行う。すなわち、上記のように作成したLUT L[Y]によって、入力画像の輝度値YをY’=L[Y]として変換し、輝度補正を行う(図3に示すB2の処理)。
【0063】
さらに、輝度補正された輝度信号Y’および入力画像の色差信号Cr、CbをR、G、Bの各信号に戻し(図3に示すB3の処理)、補正された画像信号R’G’B’を作成する。
【0064】
なお、上述の実施形態では、輝度値Yに関する補正について説明したが、R、G、Bの各信号に対して直接同様の補正を行っても良い。この際、上述のLUTを用い、そのLUTにおいてYの代わりにR、G、B、Y′の代わりにR′、G′、B′を用いて補正を行うことができる。
【0065】
このようなR、G、B信号に対する補正は、RGB―YCrCb変換が不要であるため、処理速度の向上を図ることができる。
【0066】
<他の実施形態>
本発明は上述のように、複数の機器(たとえばホストコンピュータ、インタフェース機器、リーダ、プリンタ等)から構成されるシステムに適用しても一つの機器(たとえば複写機、ファクシミリ装置)からなる装置に適用してもよい。
【0067】
また、前述した実施形態の機能を実現するように各種のデバイスを動作させるように該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施形態機能を実現するための図4、図7に示すようなソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ(CPUあるいはMPU)を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【0068】
またこの場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【0069】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【0070】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【0071】
さらに供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【0072】
【発明の効果】
以上の説明から明らかなように、本発明によれば、シャドー領域が画像における大きな部分を占めるときは、出力画像における高濃度部の色の潰れを防ぎつつ画像全体の濃度増大を図ることができる。
【図面の簡単な説明】
【図1】本発明の一実施形態にかかるプリントシステムの構成を示すブロック図である。
【図2】上記システムにおけるプリンタドライバの処理を示す図である。
【図3】上記プリンタドライバの処理のうち画像補正処理として行われる自動階調補正処理における主に信号変換の構成を示す図である。
【図4】上記自動階調補正処理の手順を示すフローチャートである。
【図5】上記自動階調補正処理の処理対象である画像が明るい画像である場合のヒストグラムを示す図である。
【図6】上記自動階調補正処理の処理対象である画像が明るい画像である場合のヒストグラムを示す図である。
【図7】図4に示す上記自動階調補正処理における階調曲線判定の処理手順を示すフローチャートである。
【図8】上記階調曲線判定処理で用いるテーブルの内容を示し、画像の種類に応じたγ値の定め方を説明する図である。
【図9】輝度補正テーブルの変換特性曲線を示し、低輝度領域の階調維持のための階調曲線の変更を説明する図である。
【符号の説明】
100 ホストコンピュータ
101 アプリケーション
102 ОS(オペレーティングシステム)
103 プリンタドライバ
104 モニタドライバ
105 モニタ
106 プリンタ
107 HD
108 CPU
109 RAM
110 ROM
120 画像補正処理
121 プリンタ用補正処理
Claims (5)
- 画像データの輝度を補正するための画像処理方法であって、
前記画像データが示す画像の輝度のヒストグラムにおいて、輝度の最大値から低輝度側へ累積した度数が所定の度数となる輝度の値であるハイライトポイントを求めて該ハイライトポイントと所定の閾値とを比較し、当該ハイライトポイントが前記閾値より大きいとき当該閾値より小さいときよりも明るい画像と判別する、前記画像の明るさの度合いの判別を行い、
前記ヒストグラムにおいて、該ヒストグラム作成の対象となった画素数に対する第1の低輝度領域の累積度数の割合を求め、
前記判別した画像の明るさの度合いが明るいほど、同じ前記累積度数の割合に対して画像をより暗くするように補正の程度を決定し、
さらに、前記ヒストグラム作成の対象となった画素数に対する、第1の低輝度領域とは異なる第2の低輝度領域の累積度数の割合を求め、
前記決定した補正の程度の画像を暗くする程度が一定以上の場合において、前記第2の低輝度領域の累積度数の割合が所定値以上のときは、当該第2の低輝度領域の前記補正の程度を、当該輝度データが示す階調を維持するような補正の程度に変更し、
該変更されまたは変更されない前記第2の低輝度領域の補正の程度を含む前記決定した補正の程度に応じて前記画像データの輝度を補正する、
ステップを有することを特徴とする画像処理方法。 - 前記所定の閾値は大きさが異なる複数の閾値であり、該複数の閾値それぞれと前記ハイライトポイントとの比較に応じた複数の前記明るさの度合い毎に前記補正の程度を異ならせて定めることを特徴とする請求項1に記載の画像処理方法。
- 前記複数段階の明るさの度合い毎に前記第1の低輝度領域の累積度数の割合の範囲が異なるそれぞれ複数段階の範囲が定められ、該定めた複数段階の範囲毎に当該補正の程度を異ならせて定めることを特徴とする請求項2に記載の画像処理方法。
- 画像データの輝度を補正するための画像処理装置であって、
前記画像データが示す画像の輝度のヒストグラムにおいて、輝度の最大値から低輝度側へ累積した度数が所定の度数となる輝度の値であるハイライトポイントを求めて該ハイライトポイントと所定の閾値とを比較し、当該ハイライトポイントが前記閾値より大きいとき当該閾値より小さいときよりも明るい画像と判別する、前記画像の明るさの度合いの判別を行う判別手段と、
前記ヒストグラムにおいて、該ヒストグラム作成の対象となった画素数に対する第1の低輝度領域の累積度数の割合を求める第1取得手段と、
前記判別した画像の明るさの度合いが明るいほど、同じ前記累積度数の割合に対して画像をより暗くするように補正の程度を決定する決定手段と、
さらに、前記ヒストグラム作成の対象となった画素数に対する、第1の低輝度領域とは異なる第2の低輝度領域の累積度数の割合を求める第2取得手段と、
前記決定した補正の程度の画像を暗くする程度が一定以上の場合において、前記第2の低輝度領域の累積度数の割合が所定値以上のときは、当該第2の低輝度領域の前記補正の程度を、当該輝度データが示す階調を維持するような補正の程度に変更し、該変更されまたは変更されない前記第2の低輝度領域の補正の程度を含む前記決定した補正の程度に応じて前記画像データの輝度を補正する補正手段と、
を具えたことを特徴とする画像処理装置。 - 情報処理装置によって読取り可能にプログラムを格納する記憶媒体であって、
前記プログラムは、画像データの輝度を補正するための画像処理であって、
前記画像データが示す画像の輝度のヒストグラムにおいて、輝度の最大値から低輝度側へ累積した度数が所定の度数となる輝度の値であるハイライトポイントを求めて該ハイライトポイントと所定の閾値とを比較し、当該ハイライトポイントが前記閾値より大きいとき当該閾値より小さいときよりも明るい画像と判別する、前記画像の明るさの度合いの判 別を行い、
前記ヒストグラムにおいて、該ヒストグラム作成の対象となった画素数に対する第1の低輝度領域の累積度数の割合を求め、
前記判別した画像の明るさの度合いが明るいほど、同じ前記累積度数の割合に対して画像をより暗くするように補正の程度を決定し、
さらに、前記ヒストグラム作成の対象となった画素数に対する、第1の低輝度領域とは異なる第2の低輝度領域の累積度数の割合を求め、
前記決定した補正の程度の画像を暗くする程度が一定以上の場合において、前記第2の低輝度領域の累積度数の割合が所定値以上のときは、当該第2の低輝度領域の前記補正の程度を、当該輝度データが示す階調を維持するような補正の程度に変更し、
該変更されまたは変更されない前記第2の低輝度領域の補正の程度を含む前記決定した補正の程度に応じて前記画像データの輝度を補正する、
ステップを有する画像処理のプログラムであることを特徴とする記憶媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP37553899A JP3667181B2 (ja) | 1999-12-28 | 1999-12-28 | 画像処理方法および画像処理装置 |
US09/745,481 US7006668B2 (en) | 1999-12-28 | 2000-12-26 | Image processing method and image processing apparatus |
DE60026258T DE60026258T2 (de) | 1999-12-28 | 2000-12-27 | Bildverarbeitungsverfahren und Bildverarbeitungsvorrichtung |
EP00311699A EP1130896B1 (en) | 1999-12-28 | 2000-12-27 | Image processing method and image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP37553899A JP3667181B2 (ja) | 1999-12-28 | 1999-12-28 | 画像処理方法および画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001189862A JP2001189862A (ja) | 2001-07-10 |
JP3667181B2 true JP3667181B2 (ja) | 2005-07-06 |
Family
ID=18505682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP37553899A Expired - Fee Related JP3667181B2 (ja) | 1999-12-28 | 1999-12-28 | 画像処理方法および画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3667181B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003051944A (ja) * | 2001-08-07 | 2003-02-21 | Canon Inc | 画像処理方法、画像処理システム、プログラム及び記憶媒体 |
KR100480177B1 (ko) * | 2002-08-29 | 2005-04-06 | 엘지전자 주식회사 | 다이나믹 레인지 확대방법을 이용한 플라즈마 디스플레이패널의 구동장치 및 방법 |
JP4118749B2 (ja) | 2002-09-05 | 2008-07-16 | 株式会社リコー | 画像処理装置、画像処理プログラムおよび記憶媒体 |
JP3956887B2 (ja) * | 2003-04-10 | 2007-08-08 | セイコーエプソン株式会社 | 画像処理装置および画像処理方法並びに画像処理プログラム |
JP4522229B2 (ja) * | 2004-11-02 | 2010-08-11 | キヤノン株式会社 | 画像処理方法及びその装置 |
CN100362849C (zh) * | 2005-01-17 | 2008-01-16 | 深圳创维-Rgb电子有限公司 | 电视图像动态景深提升方法 |
JP4379362B2 (ja) | 2005-03-28 | 2009-12-09 | セイコーエプソン株式会社 | 画像処理装置、および、階調再現方法 |
JP4760116B2 (ja) * | 2005-05-09 | 2011-08-31 | コニカミノルタホールディングス株式会社 | 画像処理方法及び装置 |
JP2010141454A (ja) * | 2008-12-10 | 2010-06-24 | Sanyo Electric Co Ltd | 画像処理装置 |
KR100999811B1 (ko) * | 2009-01-20 | 2010-12-08 | 한양대학교 산학협력단 | 균등확률분할 히스토그램 평활화를 이용한 영상 화질 개선 방법 |
JP2013025650A (ja) | 2011-07-23 | 2013-02-04 | Canon Inc | 画像処理装置、画像処理方法およびプログラム |
JP6399002B2 (ja) * | 2016-01-14 | 2018-10-03 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置、画像形成方法及び画像形成プログラム |
-
1999
- 1999-12-28 JP JP37553899A patent/JP3667181B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001189862A (ja) | 2001-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6608926B1 (en) | Image processing method, image processing apparatus and recording medium | |
EP1130896B1 (en) | Image processing method and image processing apparatus | |
US6814420B2 (en) | Image processing method and apparatus, storage medium and program | |
US7940434B2 (en) | Image processing apparatus, image forming apparatus, method of image processing, and a computer-readable storage medium storing an image processing program | |
US7903872B2 (en) | Image-processing apparatus and method, computer program, and storage medium | |
JP2004094960A (ja) | ユーザに好ましい画像を印刷させるためのコンピュータプログラム記録媒体、システム及び方法 | |
JP4262151B2 (ja) | 画像処理方法および画像処理装置およびコンピュータプログラムおよび記憶媒体 | |
JP3667181B2 (ja) | 画像処理方法および画像処理装置 | |
JP4208396B2 (ja) | 画像処理方法、装置および記録媒体 | |
JP2008113446A (ja) | 画像処理装置、画像処理プログラムおよび記録媒体 | |
JP3667182B2 (ja) | 画像処理方法および画像処理装置 | |
JP2001175843A (ja) | 画像処理方法、装置および記憶媒体 | |
JP4920814B2 (ja) | 画像処理方法、装置および記録媒体 | |
JP6452342B2 (ja) | 画像処理装置、画像形成装置、画像処理方法及びプログラム | |
US7817303B2 (en) | Image processing and image forming with modification of a particular class of colors | |
JP4131205B2 (ja) | 画像処理装置及び画像処理をコンピュータに実行させる画像処理プログラム | |
JP4100848B2 (ja) | 画像処理方法および画像処理装置 | |
JP4359730B2 (ja) | モノトーン変換装置、モノトーン変換方法およびモノトーン変換プログラムを記録した媒体 | |
US7542173B2 (en) | Image processing device and image processing program causing computer to execute image processing | |
JP2005235238A (ja) | 画像処理方法、装置および記憶媒体 | |
JP4228804B2 (ja) | 画像処理装置、画像形成装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体 | |
JPH11129547A (ja) | 画像情報処理方法及び情報記録媒体 | |
JPH096946A (ja) | 画像処理方法及びその装置 | |
JP4072403B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JPH1098625A (ja) | 画像処理方法、画像処理装置、記録装置および記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041115 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041210 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20050113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050210 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050325 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050405 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110415 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130415 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130415 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |