JPH10187949A - 色調修正方法 - Google Patents

色調修正方法

Info

Publication number
JPH10187949A
JPH10187949A JP8354550A JP35455096A JPH10187949A JP H10187949 A JPH10187949 A JP H10187949A JP 8354550 A JP8354550 A JP 8354550A JP 35455096 A JP35455096 A JP 35455096A JP H10187949 A JPH10187949 A JP H10187949A
Authority
JP
Japan
Prior art keywords
pixel
histogram
color
color tone
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8354550A
Other languages
English (en)
Other versions
JP3830598B2 (ja
Inventor
Tetsuo Jinriki
哲夫 神力
Takeshi Oshima
健 大嶋
Naoki Kawai
直樹 河合
Toshio Ariyoshi
俊雄 有吉
Tomotaka Noda
智孝 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP35455096A priority Critical patent/JP3830598B2/ja
Publication of JPH10187949A publication Critical patent/JPH10187949A/ja
Application granted granted Critical
Publication of JP3830598B2 publication Critical patent/JP3830598B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

(57)【要約】 【課題】 木目柄などの色調変動(欠陥)の修正を自動
的に行う。 【解決手段】 色調変動を含むカラー画像Pを、C,
M,Y,Kの各単色プレーン上の画素の集合として取り
込み、各プレーンごとに、それぞれプレーン上の全画素
を母集団とした画素値のヒストグラム(全体ヒストグラ
ム)を求める。第n番目のプレーン上の画素P(n,
x,y)について近傍領域Ep(n,x,y)を定義
し、この近傍領域内の画素を母集団とした画素値のヒス
トグラム(個別ヒストグラム)を求める。画素P(n,
x,y)のもつ画素値PPについて、個別ヒストグラム
上での相対位置を求め、全体ヒストグラム上で同じ相対
位置を示す画素値を抽出し、この抽出した画素値によっ
てもとの画素値PPを置き換える。カラー画像Pを構成
する全プレーンの全画素について同様の置換を行い、色
調変動を解消した画像を得る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、色調修正方法に関
し、特に、デジタル画像データとして用意された木目柄
などのパターンに存在する色調変動(色調のゆらぎ、色
調のムラ)をコンピュータを利用して修正する色調修正
方法に関する。
【0002】
【従来の技術】壁紙、床材、建具などの建築材料や、家
具や弱電製品のキャビネットなどでは、木目柄や石目柄
などの模様パターンが表面装飾として用いられることが
多い。表面装飾として用いるこれらの模様パターンは、
天然の木材や天然の石材などの表面あるいは人工的に創
作した抽象柄から、写真撮影などの方法で取り込むのが
一般的である。通常は、デジタル画像データの形式でコ
ンピュータに取り込み、必要な画像処理を施した後に、
このデジタル画像データを用いた製版処理が実行され
る。
【0003】天然の木材や天然の石材などの表面から取
り込んだ模様パターンには、自然の風合いが表現されて
おり、建築材料などの装飾に広く利用されている。た
だ、天然の模様であるため、必ずしも用途に最適な形で
模様の抽出を行うことができず、通常は、取り込んだ画
像に対してコンピュータ上で種々の修正が加えられる。
また、撮影時の照明条件によって、いわゆる「照明ム
ラ」が生じる場合もあり、このような「照明ムラ」を除
去するためにも修正が加えられる。このような修正作業
は、一般に、画像に対するレタッチ処理が可能なアプリ
ケーションソフトウエアを利用して行われており、ガン
マ曲線の修正処理、色相・彩度・明度の修正処理、ブラ
シを用いたボカシ処理、グラデーション処理、FFTを
応用した処理など様々な方法が適宜行われている。
【0004】
【発明が解決しようとする課題】天然の木材や天然の石
材などの表面模様には、色調変動(色調のゆらぎ、色調
のムラ)が生じている場合がある。たとえば、全体的に
茶褐色の色調を帯びた木目柄パターンの中に、部分的に
黄色がかった領域が存在したり、全体的に深緑色の色調
を帯びた石目柄パターンの中に、部分的に赤っぽい領域
が存在したりする場合がある。また、上述したような
「照明ムラ」に基づいて色調変動が生じることもある。
このような色調変動の存在は、天然の素材らしさが積極
的に表現された結果であるとの肯定的な見方をすること
もできるが、一般にはあまり好まれない傾向にある。こ
のため、建築材料などの装飾に利用する場合は、上述し
たレタッチ処理を実行し、この色調変動を除去する色調
修正作業を行うことが多い。
【0005】しかしながら、上述したレタッチ処理によ
る色調修正作業は、オペレータの感性に負う部分が多
く、熟練したオペレータでなければ満足した結果を得る
ことができない。しかも、熟練したオペレータであって
も、この色調修正作業には、多大な労力と時間を要して
いるのが実情であり、非常にコストが高くなり、大量生
産に向いていないという問題が生じていた。その上、最
終的に満足した結果が得られなかった場合には、作業を
やり直すことは非常に困難であり、いわゆる試行錯誤的
なプロセスを採ることも困難である。また、FFTを応
用した手法も考えられるが、演算負担が大きいため、商
用ベースで利用するには現実的ではない。
【0006】そこで本発明は、色調変動の修正を容易に
行うことが可能な色調修正方法を提供することを目的と
する。
【0007】
【課題を解決するための手段】
(1) 本発明の第1の態様は、所定のパターンが所定の
色調で表現されたカラー画像における色調変動を修正す
る色調修正方法において、修正対象となるカラー画像を
N組の色成分に分解し、各色成分ごとに、所定の画素値
を有する画素の配列からなる単色プレーンを構成し、修
正対象となるカラー画像をN組の単色プレーンとして取
り込む画像入力段階と、このN組の単色プレーンについ
て、各プレーンごとに、それぞれプレーン全体の画素値
についての全体ヒストグラムを求める第1の演算段階
と、カラー画像を構成する個々の画素についてそれぞれ
所定の近傍領域を定義し、N組の単色プレーンについ
て、各プレーンごとに、ある1つの着目画素の近傍領域
に関する限りのヒストグラムをこの着目画素についての
個別ヒストグラムと定義することにより、各プレーンの
個々の画素についてそれぞれ個別ヒストグラムを求める
第2の演算段階と、N組の単色プレーンについて、各プ
レーンごとに、それぞれ個々の画素の画素値を修正する
ために、修正対象となる画素について定義された個別ヒ
ストグラム上で、その画素の修正前の画素値が占める相
対位置を求め、修正対象となる画素を含むプレーンに関
する全体ヒストグラム上で同じ相対位置に存在する画素
値を求め、この求めた画素値を修正後の画素値とする修
正を行う修正段階と、修正後の画素値をもったN組の単
色プレーンから構成されるカラー画像を、修正後の画像
として出力する画像出力段階と、を行うようにしたもの
である。
【0008】(2) 本発明の第2の態様は、上述の第1
の態様に係る色調修正方法において、修正段階で、修正
対象となる画素Pについての修正前の画素値をPP、こ
の画素Pについての個別ヒストグラムの平均をAp、分
散をVpとし、修正に利用する全体ヒストグラムの平均
をAg、分散をVgとし、修正対象となる画素Pについ
ての修正後の画素値PPを、 PP=Ag+(Vg/Vp)・(PP−Ap) なる演算によって求めるようにしたものである。
【0009】(3) 本発明の第3の態様は、所定のパタ
ーンが所定の色調で表現されたカラー画像における色調
変動を修正する色調修正方法において、修正対象となる
カラー画像をN組の色成分に分解し、各色成分ごとに、
所定の画素値を有する画素の配列からなる単色プレーン
を構成し、修正対象となるカラー画像をN組の単色プレ
ーンとして取り込む画像入力段階と、このN組の単色プ
レーンについて、各プレーンごとに、それぞれプレーン
全体の画素値についての全体ヒストグラムを求め、各プ
レーンごとに求められた各全体ヒストグラムの平均およ
び分散を、それぞれ各プレーンについての全体色調平均
および全体色調分散と定義する第1の演算段階と、カラ
ー画像を複数のブロックに分割し、各プレーンの各ブロ
ックごとにそれぞれ画素値のヒストグラムを求める第2
の演算段階と、各ブロック内にそれぞれ代表位置を定義
し、各ブロックについて求められたヒストグラムの平均
および分散を、それぞれ各ブロックの代表位置について
の色調平均および色調分散と定義し、代表位置以外の各
位置については、近傍に存在する複数の代表位置につい
て定義された色調平均および色調分散に基づく補間によ
り、それぞれ固有の色調平均および色調分散を定義する
第3の演算段階と、N組の単色プレーンについて、各プ
レーンごとに、それぞれ個々の画素の画素値を各プレー
ンについての全体ヒストグラムを利用して修正するため
に、修正対象となる画素Pについての修正前の画素値を
PP、この画素Pの位置について定義された色調平均を
Ap、色調分散をVpとし、修正に利用する全体ヒスト
グラムについての全体色調平均をAg、全体色調分散を
Vgとし、修正対象となる画素Pについての修正後の画
素値PPを、 PP=Ag+(Vg/Vp)・(PP−Ap) なる演算によって求めて修正を行う修正段階と、修正後
の画素値をもったN組の単色プレーンから構成されるカ
ラー画像を、修正後の画像として出力する画像出力段階
と、を行うようにしたものである。
【0010】
【発明の実施の形態】以下、本発明を図示する実施形態
に基づいて説明する。
【0011】§1. 本発明に係る色調修正方法の基本
手順 既に述べたように、一般の天然木から抽出した木目柄パ
ターンや石目柄パターンには、色調変動(色調のゆら
ぎ、色調のムラ)が生じていることがある。また、撮影
時の「照明ムラ」によって色調変動が生じていることも
あり、色調変動は天然の素材から抽出した画像だけに限
らず、人為的に創作した画像にも生じる場合がある。図
1(a) および(b) に示す色調変動部Fは、このような色
調変動が生じている領域を示すものである。このような
色調変動部Fは、全体的な模様パターンの中の欠陥領域
のように認識されるため、一般的には好まれていない。
しかしながら、レタッチ処理によりこの色調変動部Fを
除去するには、かなりの熟練を要し、大量生産を行う上
では不適当である。ここで述べる色調修正方法によれ
ば、このような色調変動部Fを自動的に修正除去するこ
とが可能になる。
【0012】図2は、この本発明に係る色調修正処理の
基本手順を示す流れ図である。この手順は、実際には、
コンピュータを利用した画像処理として実行される。ま
ず、ステップS11において、修正対象となる画像Pを
各色成分ごとに取り込む画像入力段階が行われる。すな
わち、図1(a) あるいは(b) に示すような画像を、N組
の色成分に分解し、各色成分ごとに、所定の画素値を有
する画素の配列からなる単色プレーンを構成する処理が
行われる。印刷の分野では、カラー画像をC(シア
ン),M(マゼンタ),Y(イエロー),K(ブラッ
ク)の4組の色成分に分解するのが一般的であり、ここ
では、N=4として、4組の色成分に分解する例につい
て述べることにする。もちろん、C,M,Yの3組の色
成分に分解したり、R(レッド),G(グリーン),B
(ブルー)の3組の色成分に分解したりしてもかまわな
い。
【0013】図3は、修正対象となるカラー画像Pを色
分解することによって得られた4組の単色プレーンP
c,Pm,Py,Pkを示す図である。ここで、各単色
プレーン上には、縦横に並んだ画素の配列が定義されて
おり、個々の画素には特定の画素値(たとえば、8ビッ
トのデータで1つの画素値を表現した場合には、0〜2
55までの値)が定義されていることになる。ここで
は、各単色プレーン上に二次元XY座標系を定義し、カ
ラー画像Pについての第n番目の単色プレーン上の座標
(x,y)の位置に定義された画素を画素P(n,x,
y)と呼ぶことにし、この画素P(n,x,y)につい
て定義された画素値を画素値PP(n,x,y)と呼ぶ
ことにする。
【0014】このようにカラー画像を、N組の単色プレ
ーン上の画素データの集合としてコンピュータ内に取り
込む具体的な方法は、既に種々の方法が公知である。た
とえば、カラー写真上の画像あるいはフィルム上の画像
をスキャナ装置で取り込んだり、デジタルカメラなどを
用いて直接撮影を行ったりすれば、図3に示すような複
数の単色プレーンの画像データが用意できる。
【0015】続いて、ステップS12において、各プレ
ーンごとに全体ヒストグラムを求める第1の演算段階が
実行される。ここで、全体ヒストグラムとは、ある1枚
のプレーン上に配置されている全画素の画素値を母集団
としたヒストグラムである。たとえば、図3に示すカラ
ー画像Pの第n番目の単色プレーンについては、個々の
画素値PP(n,x,y)についてのヒストグラムが求
められることになる。図4は、このようにして求められ
た1枚のプレーンについてのヒストグラムの一例を示す
グラフである。この例では、横軸に画素値(たとえば、
0〜255)、縦軸に頻度(特定の画素値を有する画素
が1プレーン上に何個存在するか)が示されている。こ
のようなヒストグラムが得られれば、必要に応じて、そ
の平均(ここでは、全体色調平均Agと呼ぶ)および分
散(ここでは全体色調分散Vgと呼ぶ)を演算によって
求めることができる。結局、ここに示す例では、カラー
画像Pについて4個のヒストグラムが求まることにな
る。
【0016】次のステップS13では、各プレーンの各
画素ごとに、それぞれ個別ヒストグラムを求める第2の
演算段階が実行される。すなわち、個々の画素について
それぞれ所定の近傍領域を定義し、ある1つの着目画素
の近傍領域に関する限りのヒストグラムをこの着目画素
についてのヒストグラムと定義することにより、各プレ
ーンの個々の画素についてそれぞれ固有の個別ヒストグ
ラムが求められることになる。
【0017】図5は、この各画素ごとの個別ヒストグラ
ムを求める手法を説明する概念図である。たとえば、カ
ラー画像Pの第n番目の単色プレーン上の座標(x,
y)に位置する特定の画素P(n,x,y)についての
個別ヒストグラムは、次のようにして求めることができ
る。まず、画素P(n,x,y)について、所定の近傍
領域Ep(n,x,y)を定義する。たとえば、座標
(x,y)を中心として所定の半径をもった円を近傍領
域Ep(n,x,y)と定義するようにしてもよい。そ
して、この近傍領域Ep(n,x,y)内に所属する複
数の画素について画素値のヒストグラムを求め、これを
画素P(n,x,y)についての個別ヒストグラムと定
義し、更に、この個別ヒストグラムについての平均およ
び分散を、画素P(n,x,y)についての色調平均A
p(n,x,y)および色調分散Vp(n,x,y)と
定義するのである。このような定義を各プレーンごと
に、全画素について行えば、各プレーンの各画素ごと
に、それぞれ独立した個別ヒストグラムが定義され、そ
れぞれ独立した色調平均および色調分散が定義されるこ
とになる。要するに、ある着目画素についての個別ヒス
トグラムは、その着目画素の近傍に存在する複数の画素
を母集団としたときの画素値の出現頻度を示すパラメー
タということになる。
【0018】続くステップS14では、求めたヒストグ
ラムを利用して、各プレーンの各画素の画素値を修正す
る修正段階が実行される。すなわち、カラー画像Pを構
成する4組の単色プレーンPc,Pm,Py,Pkにつ
いて、各プレーンごとに、それぞれステップS12で求
めた全体ヒストグラムを参照して、個々の画素P(n,
x,y)の画素値PP(n,x,y)を修正する処理が
行われることになる。この修正処理の要点は次のとおり
である。ここでは、カラー画像Pを構成する第n番目の
単色プレーン上の特定の画素P(n,x,y)を修正対
象となる画素とし、この修正対象となる画素の画素値P
P(n,x,y)を新たな画素値PP(n,x,y)
に修正する場合の具体的な手順を述べよう。
【0019】まず、修正対象となる画素P(n,x,
y)が有する修正前の画素値PP(n,x,y)につい
て、この画素P(n,x,y)についての個別ヒストグ
ラム上での相対位置を求める。たとえば、前述したステ
ップS13の処理によって、この修正対象となる画素P
(n,x,y)について、図6に示すような個別ヒスト
グラムが得られていたとする。上述したように、この図
6に示す個別ヒストグラムは、図5に示す近傍領域Ep
(n,x,y)内に位置する複数の画素を母集団とした
ときの画素値の出現頻度を示すパラメータであり、修正
対象となる画素P(n,x,y)の近傍の色調分布を示
している。いま、この個別ヒストグラム上において、修
正対象となる画素P(n,x,y)が有する画素値PP
(n,x,y)が、図示したように、「中心よりやや右
寄りの位置」にあったとしよう。もちろん実際の演算で
は、相対位置を示すのに、「中心よりやや右寄りの位
置」というような曖昧な表現を用いることはできないの
で、何らかの定量的な表現を採る必要がある。この実施
形態では、この個別ヒストグラムの平均Ap(n,x,
y)と分散Vp(n,x,y)とを利用して、この相対
位置を定量的に表現する手法を採っている。すなわち、
画素値PP(n,x,y)と平均Ap(n,x,y)と
の隔たりLpを求め(Lp=(PP(n,x,y)−A
p(n,x,y))、この隔たりLpの分散Vp(n,
x,y)に対する比「Lp/Vp(n,x,y)」によ
って、画素値PP(n,x,y)の個別ヒストグラム上
での相対位置を定義している。分散Vp(n,x,y)
は、この個別ヒストグラム全体の横方向の広がりを示す
パラメータであり、この分散Vp(n,x,y)に対す
るLpの比を定義することによって、個別ヒストグラム
上での相対位置が定義できる。
【0020】こうして求めた相対位置「Lp/Vp
(n,x,y)」は、修正対象となる画素P(n,x,
y)のもつ画素値が、その近傍領域の画素のもつ画素値
に比べてどの程度の値であるかを示す指標になる。たと
えば、相対位置「Lp/Vp(n,x,y)」の値が0
であれば、近傍領域の中でもほぼ平均的な画素値であ
り、値が正であれば平均以上、値が負であれば平均以下
の画素値であることが示される。ただし、ここで言う
「平均以上」とか、「平均以下」と言った尺度は、あく
までも近傍領域内の画素を母集団としたときの尺度であ
り、カラー画像の全領域を母集団としたものではない。
【0021】さて、修正対象となる画素P(n,x,
y)の修正前の画素値PP(n,x,y)について、そ
の個別ヒストグラム上での相対位置が求まったら、続い
て、この修正対象となる画素P(n,x,y)を含むプ
レーンに関する全体ヒストグラム上で、同じ相対位置に
存在する画素値を求める。たとえば、上述の例の場合、
修正対象となる画素P(n,x,y)は、第n番目のプ
レーン上の画素であるから、第n番目のプレーンについ
ての全体ヒストグラム上で、同じ相対位置に存在する画
素値が求められる。ここでは、この第n番目のプレーン
に関する全体ヒストグラムが、図7に示すようなもので
あったとしよう。この図7に示す全体ヒストグラムの平
均Ag(n)および分散Vg(n)は、通常、図6に示
す個別ヒストグラムの平均Ap(n,x,y)および分
散Vp(n,x,y)とは異なる。本発明の基本概念
は、両ヒストグラムについて、相対位置が同じになるよ
うな画素値を対応づけるという点にある。たとえば、図
6に示す個別ヒストグラムにおける画素値PP(n,
x,y)については、図7に示す全体ヒストグラムにお
ける画素値PP(n,x,y)が対応づけられること
になる。こうして、画素値PP(n,x,y)が求ま
ったら、修正対象となる画素P(n,x,y)の修正前
の画素値PP(n,x,y)を、新たな画素値PP
(n,x,y)に修正するのである。
【0022】このような修正処理を、カラー画像Pの第
n番目の単色プレーン上の全画素について実行し、更
に、全N組の単色プレーンすべてについて実行すれば、
ステップS14の処理は完了である。要するに、このス
テップS14の処理は、修正対象となる画素P(n,
x,y)のもつ修正前の画素値PP(n,x,y)が、
個別ヒストグラム上で、たとえば「中心よりやや右寄り
の位置」にあった場合には、全体ヒストグラム上で「中
心よりやや右寄りの位置(同じ相対位置)」にある画素
値PP(n,x,y)をみつけ、この画素値PP
(n,x,y)を画素P(n,x,y)の新たな画素
値として置換する処理ということができる。このような
修正処理を行うと、修正対象となる画素近傍の模様パタ
ーンを維持しつつ、その色調だけを全画像領域の平均的
な色調に近付ける修正を行うことが可能になる。すなわ
ち、個々の画素の画素値を修正しても、個別ヒストグラ
ム上での相対位置には変わりはないため、隣接する画素
間の濃淡の関係は、そのまま維持されることになり、も
とのパターンの表現はそのまま維持されるのである。た
とえば、修正前の状態において、画素P1が濃く(画素
値が大きい)、画素P2が淡い(画素値が小さい)とい
う関係があった場合、修正後においても、この濃淡関係
はそのまま維持されることになる。このように、個々の
画素値の個別ヒストグラム上での相対位置は変わらない
ものの、画素値の絶対値は変わるため、色調だけが全体
ヒストグラムの示す平均的な色調に修正されることにな
る。
【0023】図6に示す修正前の画素値PP(n,x,
y)と、図7に示す修正後の画素値PP(n,x,
y)とを比較すれば、画素値の絶対値は全く異なるが、
ヒストグラム上での相対位置は同じであることが理解で
きよう。このような修正処理は、色調変動を解消するの
に効果的である。たとえば、修正前の画像に、図1(a)
あるいは(b) に示すような色調変動部Fが存在していた
場合を考える。この場合、色調変動部F付近の画素につ
いての個別ヒストグラムは、全体ヒストグラムと比較す
ると画素値を示す軸上の位置がかなりずれたものにな
る。たとえば、図7に示す全体ヒストグラムに比べて、
図6に示す個別ヒストグラムは、全体的に横軸(画素値
を示す軸)に関して左方向にずれているが、これは、画
素P(n,x,y)の近傍領域についての第n番目の単
色に関する色調が、画像全体の平均的な色調に比べて画
素値の小さい方(たとえば、淡い方)にずれていること
を示している。ところが、ステップS14の修正処理に
より、この画素P(n,x,y)のもつ修正前の画素値
PP(n,x,y)は、図7に示す全体ヒストグラム上
の新たな画素値PP(n,x,y)に置き換えられて
しまう。したがって、色調変動部F内の画素が、特異な
色調を示す画素値を有していたとしても、この修正処理
により画素値は置換されてしまい、色調変動は解消され
ることになる。
【0024】さて、本発明では、概念的には上述したよ
うに、ヒストグラム上で同じ相対位置にある画素値を求
めるわけであるから、図6に示す個別ヒストグラム上で
「中心よりやや右寄りの位置」にある修正前の画素値P
P(n,x,y)に対しては、図7に示す全体ヒストグ
ラム上で「中心よりやや右寄りの位置」にある画素値P
(n,x,y)を修正後の画素値として求めればよ
い。ただ、実際の演算では、より定量的な処理を行う必
要がある。既に述べたように、この実施形態では、ヒス
トグラムの平均と分散を利用して、相対位置を定量的に
表現する手法を採っており、図6に示す個別ヒストグラ
ム上での画素値PP(n,x,y)の相対位置は、「L
p/Vp(n,x,y)」なる値によって定量的に表現
されている。したがって、図7に示す全体ヒストグラム
上での画素値PP(n,x,y)の相対位置も、同じ
「Lp/Vp(n,x,y)」なる値によって定量的に
表現される位置になればよい。結局、図7に示す全体ヒ
ストグラムの平均をAg(n)、分散をVg(n)と
し、画素値PP(n,x,y)の平均Ag(n)から
の隔たりをLg(Lg=PP(n,x,y)−Ag
(n))としたときに、 Lp/Vp(n,x,y) = Lg/Vg(n) (1) なる式が成り立つような隔たりLgを求めることができ
ればよい。したがって、隔たりLgは、 Lg=(Vg(n)/Vp(n,x,y))・Lp (2) なる演算により求めることができる。ここで、Lp=P
P(n,x,y)−Ap(n,x,y)であるから、 PP(n,x,y)=Ag(n)+(Vg(n)/Vp(n,x,y)) ・(PP(n,x,y)−Ap(n,x,y)) (3) なる演算によって、修正後の画素値PP(n,x,
y)を一義的に求めることができることがわかる。
【0025】この式(3) は、カラー画像Pの第n番目の
プレーン上の座標(x,y)に位置する特定の画素P
(n,x,y)の修正後の画素値PP(n,x,y)
を求める式であるが、一般に、カラー画像P内の修正対
象となる画素Pについての修正前の画素値をPP、この
画素Pについての個別ヒストグラムの平均をAp、分散
をVpとし、修正に利用する全体ヒストグラムの平均を
Ag、分散をVgとすれば、修正対象となる画素Pにつ
いての修正後の画素値PPは、 PP=Ag+(Vg/Vp)・(PP−Ap) (4) なる演算によって求めることができる。
【0026】こうして、ステップS14において、カラ
ー画像Pの全N組のプレーン上の全画素について、画素
値の修正が行われたら、ステップS15において、この
修正後のカラー画像Pを出力する画像出力段階を行
う。この画像出力は、後のプロセスに適した形式で行え
ばよい。たとえば、この画像データに基づいて原版フィ
ルムを作成するのであれば、C,M,Y,Kの各版ごと
にフィルム上に画像を出力すればよいし、この画像デー
タに基づいて直接印刷版を作成するのであれば、印刷版
作成装置が要求するデータフォーマットでデジタルデー
タのまま出力を行えばよい。
【0027】なお、上述した画素値の平均および分散を
利用した定量的な取扱いは、理論的には、ヒストグラム
が正規分布をとるという前提に基づくものであるが、実
用上は、正規分布以外のヒストグラムについて適用して
も何ら問題は生じない。別言すれば、正規分布以外のヒ
ストグラムをとる一般的な画像に対して、上述の演算に
よる色調修正を行った場合、もとのパターンにおける各
画素間の濃淡関係は厳密には維持されなくなる。しかし
ながら、実用上は、人間の目で観察する上では、ほぼ同
一のパターンが維持されていると認識できる程度の修正
結果が得られるので、何ら問題は生じない。
【0028】§2. 本発明に係る色調修正方法の実用
的な手順 上述の§1では、本発明に係る色調修正方法の基本手順
を述べた。しかしながら、この基本手順によると、個々
の画素ごとにそれぞれ近傍領域を定義して、各プレーン
の個々の画素ごとにそれぞれ個別ヒストグラムを求める
必要があるため、コンピュータによる演算負担は非常に
大きなものになる。特に、解像度の高い画像を用いた場
合、画素の総数は膨大な数になり、演算負担を配慮する
と必ずしも効率的な手法とは言えない。また、修正後の
画像が、最終的には人間の目によって観察されることを
考慮すると、肉眼では認識不可能な個々の画素単位の解
像度で、個別ヒストグラムを求めることはあまり有意義
でない。そこで、ここでは、§1で述べた基本概念を利
用した実用的な手法を説明する。
【0029】いま、図8に示すように、カラー画像Pを
複数のブロックに分割する。図示の例では、画像を縦方
向に4分割、横方向に5分割、合計20分割しており、
20個のブロックB1〜B20が定義されている。そし
て、図2の手順におけるステップS13では、個々の画
素単位ではなく、個々のブロック単位でそれぞれ独立し
たヒストグラムを求めるようにし、ステップS14にお
ける修正段階では、修正対象となる画素が所属するブロ
ックについてのヒストグラムを用いるようにしてみる。
たとえば、カラー画像Pの第n番目のプレーン上のブロ
ックB1に所属する画素が修正対象となる画素である場
合には、このブロックB1についてのヒストグラム(す
なわち、ブロックB1に所属する全画素を母集団とした
ヒストグラム)上で、修正対象となる画素の画素値の相
対位置を求め、この第n番目のプレーンについての全体
ヒストグラム上で、同一の相対位置を示す画素値を修正
後の画素値とすればよい。
【0030】このような手法を採れば、ヒストグラムを
求める演算は、個々の画素ごとに行う必要はなく、個々
のブロックごとに行えば足りる。この手法は、いわば§
1で述べた手法において、同一のブロック内に所属する
画素については、このブロック領域を共通の近傍領域と
定義した実施形態ということができる。すなわち、ブロ
ックB1内のいずれの画素についても、ブロックB1を
近傍領域として定義したと考えれば、この手法は、§1
で述べた手法の範疇のひとつになる。
【0031】しかしながら、このままの手法では、各ブ
ロックの境界線において、色調の変化が不連続になると
いう新たな弊害が生じる。たとえば、ブロックB1内の
画素の色調修正に用いるヒストグラムと、これに隣接す
るブロックB2内の画素の色調修正に用いるヒストグラ
ムとは、それぞれ別個のヒストグラムになるため、最終
的に得られた修正後の画像Pにおいて、ブロックB1
とブロックB2との境界線で色調の変化が不連続になっ
てしまうのである。結局、肉眼で観察した場合に、色調
変化の不連続線として、各ブロックの境界線が認識され
てしまうことになる。
【0032】このような弊害を避けるために、本実施形
態では、次のような工夫を施している。まず、図9に示
すように、各ブロック内にそれぞれ代表位置Hを定義す
る。図示の例では、各ブロックの中心点に代表位置Hを
定義しているが、代表位置Hは必ずしも中心点に定義す
る必要はなく、たとえば、ブロックの境界線を構成する
矩形の左上隅点などを代表位置Hと定義することも可能
である。そして、個々のブロックについて求められたヒ
ストグラムの平均および分散を、それぞれ個々のブロッ
クの代表位置Hについての色調平均および色調分散と定
義する。たとえば、図9に示すカラー画像Pの第n番目
のプレーン上のブロックB18の代表位置Hの座標が
(x,y)であったとしよう。この場合、この代表位置
H(n,x,y)について定義される色調平均Ap
(n,x,y)および色調分散Vp(n,x,y)は、
ブロックB18についてのヒストグラム(すなわち、ブ
ロックB18に所属する全画素を母集団としたヒストグ
ラム)についての色調平均および色調分散ということに
なる。
【0033】結局、各プレーンごとに合計20個の代表
位置Hが定義され、個々の代表位置Hのそれぞれについ
て、色調平均と色調分散とが定義されたことになる。い
ま、個々の代表位置Hにそれぞれ格子点を配置したとす
れば、図10に示すように、各プレーン上にそれぞれ一
定間隔で格子点が配置されたことになり、各格子点には
それぞれ固有の色調平均および色調分散が定義されてい
ることになる。たとえば、図10に示すカラー画像Pで
は、代表位置Hに配置された格子点a〜dには、それぞ
れ固有の色調平均および色調分散が定義されているが、
任意の位置の点eには、そのような定義はなされていな
い。そこで、補間法を用いることにより、格子点以外の
任意の点についても、それぞれ固有の色調平均および色
調分散が定義されるようにする。すなわち、任意の点e
については、その近傍に存在する複数の格子点a〜dに
ついて定義された色調平均および色調分散に基づく補間
を行い、固有の色調平均および色調分散を定義する。こ
のように、離散的なスカラー場に基づいて、連続的なス
カラー場を定義する補間法は、種々の方法が公知である
ため、ここでは具体的な補間法についての詳細な説明は
省略するが、要するに、スカラー値に不連続が生じない
ように、なだらかに値が変化する連続的なスカラー場が
定義できれば、どのような補間法を用いてもかまわな
い。たとえば、図10のカラー画像P内に示されている
任意の点eについての色調平均を定義するのであれば、
周囲の4つの格子点a〜dに定義された4つの色調平均
値について、距離に応じた重みづけ(近い格子点ほど大
きな重みづけをする)を行った加重平均を求めればよ
い。色調分散についての補間も全く同様である。
【0034】このような補間法を適用すれば、格子点以
外の任意の点についても、それぞれ固有の色調平均およ
び色調分散の値が補間値として得られることになる。し
かも、これらの補間値は空間的に連続した値となり、全
画像領域にわたって不連続は生じない。すなわち、この
補間法により色調平均および色調分散を定義した段階に
おいては、もはやブロックの境界線において、色調平均
および色調分散が不連続になることもない。
【0035】かくして、カラー画像P内の画素について
色調修正を施す場合、このように補間法により得られた
色調平均および色調分散を利用すればよい。たとえば、
図10のカラー画像P内の第n番目のプレーン上の任意
の点eに位置する画素が修正対象の場合、この点eにつ
いて定義された色調平均および色調分散と、第n番目の
プレーンについての全体ヒストグラムの色調平均(以
下、全体色調平均と呼ぶ)および色調分散(以下、全体
色調分散と呼ぶ)を利用して、補正後の画素値を求める
ようにする。これを具体的な演算式で示せば次のように
なる。すなわち、カラー画像P内の修正対象となる画素
Pについての修正前の画素値をPP、この画素Pの位置
について定義された色調平均をAp、色調分散をVpと
し、修正に利用する全体ヒストグラムについての全体色
調平均をAg、全体色調分散をVgとすれば、修正対象
となる画素Pについての修正後の画素値PPは、PP
=Ag+(Vg/Vp)・(PP−Ap)
(4)なる演算によって求めることができる。
【0036】ここでは、このようなブロック分割を利用
した概念を取り入れた色調修正方法の手順を、図11の
流れ図に示す。まず、ステップS21において、修正対
象となる画像Pを各色成分ごとに取り込む画像入力段階
が行われる。すなわち、修正対象となるカラー画像をN
組の色成分に分解し、各色成分ごとに、所定の画素値を
有する画素の配列からなる単色プレーンを構成し、カラ
ー画像をN組の単色プレーンとして取り込む処理が行わ
れることになる。続くステップS22では、このN組の
単色プレーンについて、各プレーンごとに、それぞれプ
レーン全体の画素値についての全体ヒストグラムを求
め、各プレーンごとに求められた各全体ヒストグラムの
平均および分散を、それぞれ各プレーンについての全体
色調平均および全体色調分散と定義する。
【0037】次に、ステップS23において、カラー画
像を複数のブロックに分割し、各プレーンの各ブロック
ごとにそれぞれ画素値のヒストグラムを求める第2の演
算段階を実行する。更に、ステップS24において、各
ブロック内にそれぞれ代表位置を定義し、各ブロックに
ついて求められたヒストグラムの平均および分散を、そ
れぞれ各ブロックの代表位置についての色調平均および
色調分散と定義し、これら代表位置以外の各位置につい
ては、近傍に存在する複数の代表位置について定義され
た色調平均および色調分散に基づく補間により、それぞ
れ固有の色調平均および色調分散を定義する第3の演算
段階を実行する。
【0038】次のステップS25では、N組の単色プレ
ーンについて、各プレーンごとに、それぞれ個々の画素
の画素値を各プレーンについての全体ヒストグラムを利
用して修正する修正段階が実行される。具体的には、修
正対象となる画素Pについての修正前の画素値をPP、
この画素Pの位置について定義された色調平均をAp、
色調分散をVpとし、修正に利用する全体ヒストグラム
についての全体色調平均をAg、全体色調分散をVgと
すれば、修正対象となる画素Pについての修正後の画素
値PPは、 PP=Ag+(Vg/Vp)・(PP−Ap) (4) なる演算によって求めることになる。
【0039】最後に、ステップS26において、修正後
の画素値をもったN組の単色プレーンから構成されるカ
ラー画像を、修正後の画像として出力する画像出力段階
が実行される。
【0040】
【発明の効果】以上のとおり、本発明に係る色調修正方
法によれば、部分的なヒストグラム上での相対位置と同
じ相対位置を占める全体ヒストグラム上での画素値を用
いて修正を行うようにしたため、色調変動の修正を容易
に行うことが可能になる。
【図面の簡単な説明】
【図1】本発明に係る色調修正方法の適用対象となる色
調変動を有する画像の例を示す図である。
【図2】本発明に係る色調修正方法の基本手順を示す流
れ図である。
【図3】図2に示す流れ図のステップS11の画像入力
段階によって用意された4組の単色プレーンを示す図で
ある。
【図4】図3に示す単色プレーンのうちの1枚について
求められた全体ヒストグラムの一例を示すグラフであ
る。
【図5】各プレーン上の各画素Pごとに、それぞれ近傍
領域を定義して個別ヒストグラムを求める手法を示す概
念図である。
【図6】図5に示す手法で求めた個別ヒストグラムの一
例を示すグラフである。
【図7】図6に示す個別ヒストグラム上での相対位置と
同じ相対位置にある画素値PPを、全体ヒストグラム
上で求めたグラフである。
【図8】各プレーンをブロック分割し、各ブロックごと
にヒストグラムを求める手法を説明する概念図である。
【図9】図8に示す各ブロックの代表位置(中心位置)
に、それぞれ格子点を定義し、各格子点に色調平均およ
び色調分散を定義した状態を示す図である。
【図10】図9に示す格子点を用いた補間法により、任
意の点についての色調平均および色調分散を定義する手
法を示す図である。
【図11】ブロック分割の手法を利用した本発明に係る
色調修正方法の実用的な手順を示す流れ図である。
【符号の説明】 a〜d…格子点 e…任意の点 Ag…全体色調平均(全体ヒストグラムの平均) Ap(n,x,y)…色調平均(個別ヒストグラムの平
均) B1〜B20…ブロック Ep(n,x,y)…近傍領域 F…色調変動部 H(n,x,y)…代表位置(ブロックの中心位置) Lp…個別ヒストグラム上での色調平均Ap(n,x,
y)と特定の画素値PP(n,x,y)との距離 Lg…全体ヒストグラム上での全体色調平均Ag(n)
と特定の画素値PP(n,x,y)との距離 P…カラー画像 Pc,Pm,Py,Pk…カラー画像Pを構成する各単
色プレーン P(n,x,y)…カラー画像Pを構成する第n番目の
単色プレーン上の座標(x,y)に位置する画素 PP(n,x,y)…画素P(n,x,y)のもつ画素
値 Vg(n)…全体色調分散(全体ヒストグラムの分散) Vp(n,x,y)…色調分散(個別ヒストグラムの分
散)
───────────────────────────────────────────────────── フロントページの続き (72)発明者 有吉 俊雄 東京都新宿区市谷加賀町一丁目1番1号 大日本印刷株式会社内 (72)発明者 野田 智孝 東京都新宿区市谷加賀町一丁目1番1号 大日本印刷株式会社内

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 所定のパターンが所定の色調で表現され
    たカラー画像における色調変動を修正する色調修正方法
    であって、 修正対象となるカラー画像をN組の色成分に分解し、各
    色成分ごとに、所定の画素値を有する画素の配列からな
    る単色プレーンを構成し、前記カラー画像をN組の単色
    プレーンとして取り込む画像入力段階と、 前記N組の単色プレーンについて、各プレーンごとに、
    それぞれプレーン全体の画素値についての全体ヒストグ
    ラムを求める第1の演算段階と、 前記カラー画像を構成する個々の画素についてそれぞれ
    所定の近傍領域を定義し、前記N組の単色プレーンにつ
    いて、各プレーンごとに、ある1つの着目画素の近傍領
    域に関する限りのヒストグラムをこの着目画素について
    の個別ヒストグラムと定義することにより、各プレーン
    の個々の画素についてそれぞれ個別ヒストグラムを求め
    る第2の演算段階と、 前記N組の単色プレーンについて、各プレーンごとに、
    それぞれ個々の画素の画素値を修正するために、修正対
    象となる画素について定義された個別ヒストグラム上
    で、その画素の修正前の画素値が占める相対位置を求
    め、修正対象となる画素を含むプレーンに関する全体ヒ
    ストグラム上で前記相対位置に存在する画素値を求め、
    この求めた画素値を修正後の画素値とする修正を行う修
    正段階と、修正後の画素値をもったN組の単色プレーン
    から構成されるカラー画像を、修正後の画像として出力
    する画像出力段階と、 を有することを特徴とする色調修正方法。
  2. 【請求項2】 請求項1に記載の色調修正方法におい
    て、 修正段階で、修正対象となる画素Pについての修正前の
    画素値をPP、この画素Pについての個別ヒストグラム
    の平均をAp、分散をVpとし、修正に利用する全体ヒ
    ストグラムの平均をAg、分散をVgとし、前記修正対
    象となる画素Pについての修正後の画素値PPを、 PP=Ag+(Vg/Vp)・(PP−Ap) なる演算によって求めるようにしたことを特徴とする色
    調修正方法。
  3. 【請求項3】 所定のパターンが所定の色調で表現され
    たカラー画像における色調変動を修正する色調修正方法
    であって、 修正対象となるカラー画像をN組の色成分に分解し、各
    色成分ごとに、所定の画素値を有する画素の配列からな
    る単色プレーンを構成し、前記カラー画像をN組の単色
    プレーンとして取り込む画像入力段階と、 前記N組の単色プレーンについて、各プレーンごとに、
    それぞれプレーン全体の画素値についての全体ヒストグ
    ラムを求め、各プレーンごとに求められた各全体ヒスト
    グラムの平均および分散を、それぞれ各プレーンについ
    ての全体色調平均および全体色調分散と定義する第1の
    演算段階と、 前記カラー画像を複数のブロックに分割し、各プレーン
    の各ブロックごとにそれぞれ画素値のヒストグラムを求
    める第2の演算段階と、 各ブロック内にそれぞれ代表位置を定義し、各ブロック
    について求められたヒストグラムの平均および分散を、
    それぞれ各ブロックの代表位置についての色調平均およ
    び色調分散と定義し、前記代表位置以外の各位置につい
    ては、近傍に存在する複数の代表位置について定義され
    た色調平均および色調分散に基づく補間により、それぞ
    れ固有の色調平均および色調分散を定義する第3の演算
    段階と、 前記N組の単色プレーンについて、各プレーンごとに、
    それぞれ個々の画素の画素値を各プレーンについての全
    体ヒストグラムを利用して修正するために、修正対象と
    なる画素Pについての修正前の画素値をPP、この画素
    Pの位置について定義された色調平均をAp、色調分散
    をVpとし、修正に利用する全体ヒストグラムについて
    の全体色調平均をAg、全体色調分散をVgとし、前記
    修正対象となる画素Pについての修正後の画素値PP
    を、 PP=Ag+(Vg/Vp)・(PP−Ap) なる演算によって求めて修正を行う修正段階と、 修正後の画素値をもったN組の単色プレーンから構成さ
    れるカラー画像を、修正後の画像として出力する画像出
    力段階と、 を有することを特徴とする色調修正方法。
JP35455096A 1996-12-19 1996-12-19 色調修正方法 Expired - Fee Related JP3830598B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35455096A JP3830598B2 (ja) 1996-12-19 1996-12-19 色調修正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35455096A JP3830598B2 (ja) 1996-12-19 1996-12-19 色調修正方法

Publications (2)

Publication Number Publication Date
JPH10187949A true JPH10187949A (ja) 1998-07-21
JP3830598B2 JP3830598B2 (ja) 2006-10-04

Family

ID=18438312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35455096A Expired - Fee Related JP3830598B2 (ja) 1996-12-19 1996-12-19 色調修正方法

Country Status (1)

Country Link
JP (1) JP3830598B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2378077A (en) * 2001-07-27 2003-01-29 Hewlett Packard Co Electronic image colour plane reconstruction
JP2006012029A (ja) * 2004-06-29 2006-01-12 Dainippon Printing Co Ltd 導管画像作成方法
US7082218B2 (en) 2001-07-27 2006-07-25 Hewlett-Packard Development Company, L.P. Color correction of images
JP2007292804A (ja) * 2006-04-20 2007-11-08 Canon Inc 画像処理装置及び画像処理方法
JP2008123329A (ja) * 2006-11-14 2008-05-29 Omron Corp 画像処理装置、画像処理方法、プログラム、および記録媒体
JP2016031543A (ja) * 2014-07-25 2016-03-07 富士通株式会社 母集団生成プログラム、母集団生成方法および母集団生成装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2378077A (en) * 2001-07-27 2003-01-29 Hewlett Packard Co Electronic image colour plane reconstruction
US7072509B2 (en) * 2001-07-27 2006-07-04 Hewlett-Packard Development Company, L.P. Electronic image color plane reconstruction
US7082218B2 (en) 2001-07-27 2006-07-25 Hewlett-Packard Development Company, L.P. Color correction of images
JP2006012029A (ja) * 2004-06-29 2006-01-12 Dainippon Printing Co Ltd 導管画像作成方法
JP2007292804A (ja) * 2006-04-20 2007-11-08 Canon Inc 画像処理装置及び画像処理方法
US8417032B2 (en) 2006-04-20 2013-04-09 Canon Kabushiki Kaisha Adjustment of image luminance values using combined histogram
JP2008123329A (ja) * 2006-11-14 2008-05-29 Omron Corp 画像処理装置、画像処理方法、プログラム、および記録媒体
JP2016031543A (ja) * 2014-07-25 2016-03-07 富士通株式会社 母集団生成プログラム、母集団生成方法および母集団生成装置

Also Published As

Publication number Publication date
JP3830598B2 (ja) 2006-10-04

Similar Documents

Publication Publication Date Title
US6934056B2 (en) Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel
JP5260635B2 (ja) パンクロマチック画像を用いたノイズ低減されたカラーの画像
JP5156022B2 (ja) パンクロマチックおよびカラーの画像のノイズ低減
JP4350706B2 (ja) 画像処理装置及び画像処理プログラム
CN109068025B (zh) 一种镜头阴影校正方法、系统及电子设备
JP2003153290A (ja) ベイヤーパターン画像データ用ノイズフィルタ
WO2006134923A1 (ja) 画像処理装置、コンピュータプログラム製品および画像処理方法
JP4190886B2 (ja) イメージセンサにおける緑色の不均一性の防止
CA2322247A1 (en) System and method for recording an image
JP3830598B2 (ja) 色調修正方法
US6671401B1 (en) Removing color moire patterns from digital images having known chromaticities
JP7450170B2 (ja) 投写画像調整システム及び方法
JPS62206556A (ja) 画像の人工着色方法
JP2011124884A (ja) 画像処理装置および画像処理方法
JP3847397B2 (ja) 色調修正方法
KR101706554B1 (ko) 클리어 에지 재현을 위한 영상 처리 장치 및 방법
Cooper Modifications to retinex to relax reset nonlinearity and implement segmentation constraints
US9508125B2 (en) Restoration of photographic film having a color matrix using digital photographic film processing techniques
JP6569751B2 (ja) 画像処理装置、カメラおよび画像処理プログラム
JPH07296160A (ja) 画像補正方法
JPH06292014A (ja) 画像処理装置
JP2002218482A (ja) 画像補間装置
Hubička et al. Digital analysis of early color photographs taken using regular color screen processes
JPH09275508A (ja) カラー画像生成機及びその補正テーブルの作成方法
KR20230164604A (ko) 다중 스펙트럼 rgb-nir 센서에 의해 획득된 이미지를 처리하는 시스템 및 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060712

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090721

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100721

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100721

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110721

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120721

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120721

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130721

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees