JP3432878B2 - 階層画像ファイルにおける画像データ形成方法および装置 - Google Patents
階層画像ファイルにおける画像データ形成方法および装置Info
- Publication number
- JP3432878B2 JP3432878B2 JP00161694A JP161694A JP3432878B2 JP 3432878 B2 JP3432878 B2 JP 3432878B2 JP 00161694 A JP00161694 A JP 00161694A JP 161694 A JP161694 A JP 161694A JP 3432878 B2 JP3432878 B2 JP 3432878B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- luminance signal
- data
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、階層画像ファイルにお
ける画像データ形成方法、より具体的には、たとえばラ
プラシアンピラミッド符号化方式による階層構造の画像
ファイルにおける画像データ形成方法と、その装置に関
する。
ける画像データ形成方法、より具体的には、たとえばラ
プラシアンピラミッド符号化方式による階層構造の画像
ファイルにおける画像データ形成方法と、その装置に関
する。
【０００２】
【従来の技術】階層的符号化方法の典型的な例として、
P.J. Burt 他による"The Laplacian Pyramid as a Comp
act Image Code", IEEE Trans. Commun., COM-31, 第 4
号、第532〜540 頁（1983年 4月）に記載のように、ラ
プラシアンピラミッド符号化方式が知られている。これ
は、フィリップス・コダック社によるフォトCD（コンパ
クトディスク）規格等の画像データのファイルにおいて
行なわれているように、階層状のファイル構造において
縮小または拡大画像を生成し、記録するものである。こ
れは、たとえば米国特許第4,969,204 号（公表平4-5032
95に対応）、同第4,812,903 号、特開昭62-89175号、特
開昭63-173465 号および特開平 4-32367号などに開示さ
れている。
P.J. Burt 他による"The Laplacian Pyramid as a Comp
act Image Code", IEEE Trans. Commun., COM-31, 第 4
号、第532〜540 頁（1983年 4月）に記載のように、ラ
プラシアンピラミッド符号化方式が知られている。これ
は、フィリップス・コダック社によるフォトCD（コンパ
クトディスク）規格等の画像データのファイルにおいて
行なわれているように、階層状のファイル構造において
縮小または拡大画像を生成し、記録するものである。こ
れは、たとえば米国特許第4,969,204 号（公表平4-5032
95に対応）、同第4,812,903 号、特開昭62-89175号、特
開昭63-173465 号および特開平 4-32367号などに開示さ
れている。
【０００３】フォトCD規格の階層化された画像データフ
ァイルではまず、たとえば3072×2048画素で構成される
原画像の三原色画像データが輝度／色差信号に変換さ
れ、最大サイズの16Base画像が作られる。この16Base画
像は、順次2x2 画素を単位として縮小処理され、4Base
、Base、Base/4およびBase/16 の４階層の縮小画像が
生成される。これらの５階層の階層画像データでガウシ
アンプレーンを構成する画像の2x2 画素毎の縮小処理に
は、一般にサブサンプリングが用いられる。
ァイルではまず、たとえば3072×2048画素で構成される
原画像の三原色画像データが輝度／色差信号に変換さ
れ、最大サイズの16Base画像が作られる。この16Base画
像は、順次2x2 画素を単位として縮小処理され、4Base
、Base、Base/4およびBase/16 の４階層の縮小画像が
生成される。これらの５階層の階層画像データでガウシ
アンプレーンを構成する画像の2x2 画素毎の縮小処理に
は、一般にサブサンプリングが用いられる。
【０００４】
【発明が解決しようとする課題】しかし、ガウシアンプ
レーンを生成する際、サブサンプルによる折返し歪を除
去する目的で低域通過フィルタリングが行なわれる。通
常、低域通過フィルタには２次元の非再帰型フィルタで
あるFIR （有限インパルス応答）フィルタが用いられ
る。しかしこれは、良好なフィルタリング特性を得よう
とすると膨大な演算を必要とする。また、簡易なフィル
タで実現しようとすると、十分なフィルタリング特性が
得られず、画質の劣化を招く。そこで、良好なフィルタ
リング特性を得ようとする場合、多段のFIR フィルタを
用いることになる。しかしながら、多段のFIR フィルタ
を構成すると、１画素当たりの演算量は膨大になる。こ
れは、汎用の演算器を用いると多くの演算時間を必要と
し、専用の演算回路を用いれば大きな回路を必要とする
ことを意味する。とくに、２次元処理ではそれが顕著で
あり、実用的でない。
レーンを生成する際、サブサンプルによる折返し歪を除
去する目的で低域通過フィルタリングが行なわれる。通
常、低域通過フィルタには２次元の非再帰型フィルタで
あるFIR （有限インパルス応答）フィルタが用いられ
る。しかしこれは、良好なフィルタリング特性を得よう
とすると膨大な演算を必要とする。また、簡易なフィル
タで実現しようとすると、十分なフィルタリング特性が
得られず、画質の劣化を招く。そこで、良好なフィルタ
リング特性を得ようとする場合、多段のFIR フィルタを
用いることになる。しかしながら、多段のFIR フィルタ
を構成すると、１画素当たりの演算量は膨大になる。こ
れは、汎用の演算器を用いると多くの演算時間を必要と
し、専用の演算回路を用いれば大きな回路を必要とする
ことを意味する。とくに、２次元処理ではそれが顕著で
あり、実用的でない。
【０００５】一方、演算規模を小さくするために、再帰
型フィルタであるIIR （無限インパルス応答）フィルタ
を用いたり、少ない段数のFIR フィルタを用いることも
考えられる。しかし、IIR フィルタでは位相特性の直線
性が損なわれ、少段のFIR フィルタでは転移帯域が広が
ってしまい、いずれも画質が悪化することになる。
型フィルタであるIIR （無限インパルス応答）フィルタ
を用いたり、少ない段数のFIR フィルタを用いることも
考えられる。しかし、IIR フィルタでは位相特性の直線
性が損なわれ、少段のFIR フィルタでは転移帯域が広が
ってしまい、いずれも画質が悪化することになる。
【０００６】本発明は、このような先行技術の欠点をな
くし、少量の演算で良好な画質が得られる階層画像ファ
イルにおける画像データ形成方法と、その装置を提供す
ることを目的とする。
くし、少量の演算で良好な画質が得られる階層画像ファ
イルにおける画像データ形成方法と、その装置を提供す
ることを目的とする。
【０００７】
【課題を解決するための手段および作用】このような目
的を達成するため、本発明による階層画像ファイルにお
ける画像データ形成方法では、ガウシアンピラミッドを
生成した後、各階層における解像度に適した強度で輪郭
強調処理を行なう。これは、簡易な低域通過フィルタお
よび輪郭強調フィルタの組合せにより実現され、したが
って少量の演算で良好な画質が達成される。
的を達成するため、本発明による階層画像ファイルにお
ける画像データ形成方法では、ガウシアンピラミッドを
生成した後、各階層における解像度に適した強度で輪郭
強調処理を行なう。これは、簡易な低域通過フィルタお
よび輪郭強調フィルタの組合せにより実現され、したが
って少量の演算で良好な画質が達成される。
【０００８】本発明による階層画像ファイルにおける画
像データ形成方法は、原画像を表わす第１の画像データ
を解像度の階層に応じて順次、縮小して第２の画像デー
タを生成する複数の縮小工程と、複数の縮小工程のそれ
ぞれから得られる各階層のうちの少なくとも１つの第２
の画像データへその階層に応じた強度で輪郭強調を施し
て第３の画像データを生成する輪郭強調工程とを含み、
第３の画像データにより画像ファイルのデータを生成す
ることを特徴とする。
像データ形成方法は、原画像を表わす第１の画像データ
を解像度の階層に応じて順次、縮小して第２の画像デー
タを生成する複数の縮小工程と、複数の縮小工程のそれ
ぞれから得られる各階層のうちの少なくとも１つの第２
の画像データへその階層に応じた強度で輪郭強調を施し
て第３の画像データを生成する輪郭強調工程とを含み、
第３の画像データにより画像ファイルのデータを生成す
ることを特徴とする。
【０００９】本発明によればまた、この方法において、
第２の画像データは、輝度信号および色差信号を含み、
輪郭強調工程は、第２の画像データのうち輝度信号へ輪
郭強調を施すようにしてもよい。
第２の画像データは、輝度信号および色差信号を含み、
輪郭強調工程は、第２の画像データのうち輝度信号へ輪
郭強調を施すようにしてもよい。
【００１０】本発明によればさらに、解像度の階層に応
じた画像ファイルの画像データを形成する装置は、原画
像を表わす第１の画像データを解像度の階層に応じて順
次、縮小して第２の画像データを生成する複数の縮小手
段と、複数の縮小手段のそれぞれから得られる各階層の
うちの少なくとも１つの第２の画像データへその階層に
応じた強度で輪郭強調を施して第３の画像データを生成
する複数の輪郭強調手段とを含み、第３の画像データに
より画像ファイルのデータを生成することを特徴とす
る。
じた画像ファイルの画像データを形成する装置は、原画
像を表わす第１の画像データを解像度の階層に応じて順
次、縮小して第２の画像データを生成する複数の縮小手
段と、複数の縮小手段のそれぞれから得られる各階層の
うちの少なくとも１つの第２の画像データへその階層に
応じた強度で輪郭強調を施して第３の画像データを生成
する複数の輪郭強調手段とを含み、第３の画像データに
より画像ファイルのデータを生成することを特徴とす
る。
【００１１】さらに本発明によれば、第２の画像データ
は、輝度信号および色差信号を含み、輪郭強調手段は、
第２の画像データのうち輝度信号へ輪郭強調を施すよう
にしてもよい。
は、輝度信号および色差信号を含み、輪郭強調手段は、
第２の画像データのうち輝度信号へ輪郭強調を施すよう
にしてもよい。
【００１２】このように本発明によれば、縮小処理によ
り形成された階層状画像データファイル構成の各階層に
おいて輪郭強調処理を施す。つまり、ファイル処理によ
り近い位置で画質の改善が行なわれる。また、縮小処理
に先立って、三原色信号画像データを輝度および色差信
号に変換してもよい。その場合、変換後の階層構成され
た各階層の画像データの輝度信号へ輪郭強調を施す。
り形成された階層状画像データファイル構成の各階層に
おいて輪郭強調処理を施す。つまり、ファイル処理によ
り近い位置で画質の改善が行なわれる。また、縮小処理
に先立って、三原色信号画像データを輝度および色差信
号に変換してもよい。その場合、変換後の階層構成され
た各階層の画像データの輝度信号へ輪郭強調を施す。
【００１３】
【実施例】本発明の理解を助けるため、仮に単純に想起
される方法で輪郭強調処理を階層化画像ファイルに組み
入れたとした場合の階層化画像ファイルの処理プロセス
を図５を参照して説明する。画像の縮小処理において画
質の劣化、とくに輝度の劣化が生じるため、これを補償
する１つの策として輪郭強調処理が施される。図５は、
フォトCD規格の画像の階層化データと輪郭強調処理の処
理関係を示している。同図において、3072×2048画素で
構成される三原色の原画像データＲ、ＧおよびＢには、
それぞれ5x5 カーネルの輪郭強調(USM) 処理が施され
る。輪郭強調された画像データＲ、ＧおよびＢは、輝度
／色差信号のYcc に変換され、まず最大サイズの16Base
画像が作られる。この16Base画像は、順次2x2 画素毎に
縮小処理され、4Base 、Base、Base/4およびBase/16 の
４階層の縮小画像が生成される。フォトCDなどの画像デ
ータ記録媒体には、同図における太線のボックスのデー
タが記録される。しかし、このように原画像データＲ、
ＧおよびＢに輪郭強調処理を施すには、かなりの量の演
算を行なわなければならない。
される方法で輪郭強調処理を階層化画像ファイルに組み
入れたとした場合の階層化画像ファイルの処理プロセス
を図５を参照して説明する。画像の縮小処理において画
質の劣化、とくに輝度の劣化が生じるため、これを補償
する１つの策として輪郭強調処理が施される。図５は、
フォトCD規格の画像の階層化データと輪郭強調処理の処
理関係を示している。同図において、3072×2048画素で
構成される三原色の原画像データＲ、ＧおよびＢには、
それぞれ5x5 カーネルの輪郭強調(USM) 処理が施され
る。輪郭強調された画像データＲ、ＧおよびＢは、輝度
／色差信号のYcc に変換され、まず最大サイズの16Base
画像が作られる。この16Base画像は、順次2x2 画素毎に
縮小処理され、4Base 、Base、Base/4およびBase/16 の
４階層の縮小画像が生成される。フォトCDなどの画像デ
ータ記録媒体には、同図における太線のボックスのデー
タが記録される。しかし、このように原画像データＲ、
ＧおよびＢに輪郭強調処理を施すには、かなりの量の演
算を行なわなければならない。
【００１４】そこで本発明では、階層画像ファイルにお
いて、ガウシアンピラミッドを生成した後、各階層にお
ける解像度に適した強度で輪郭強調処理を行なう。これ
は、簡易な低域通過フィルタおよび輪郭強調フィルタの
組合せにより実現されるので、少量の演算で良好な画質
が達成される。このような本発明による階層画像ファイ
ルにおける画像データ形成方法の実施例を添付図面を参
照して詳細に説明する。
いて、ガウシアンピラミッドを生成した後、各階層にお
ける解像度に適した強度で輪郭強調処理を行なう。これ
は、簡易な低域通過フィルタおよび輪郭強調フィルタの
組合せにより実現されるので、少量の演算で良好な画質
が達成される。このような本発明による階層画像ファイ
ルにおける画像データ形成方法の実施例を添付図面を参
照して詳細に説明する。
【００１５】図１には、本発明の階層画像ファイルにお
ける画像データ形成方法を一般的なラプラシアンピラミ
ッド符号化方式へ適用した実施例が示されている。実施
例のラプラシアンピラミッド方式では、原画像の画像デ
ータG0とこれを順次、縮小処理して上位の階層状の画像
データG0〜GM-1（Ｍは２より大きい自然数）が生成され
る。同図では、この縮小処理を概念的に画像縮小処理部
l0〜lM-2で示す。これらの画像データは、カラー画像の
場合、たとえば三原色Ｒ、ＧおよびＢの画像データ、ま
たは輝度／色差信号でよい。階層画像データG0〜GM-1
は、それぞれ輪郭強調(USM) 処理部70〜7M-1で輪郭強調
がなされる。こうして詳明化された画像データG1a 〜GM
-1a はそれぞれ、隣接する下位の階層との間にある補間
処理部21〜2M-1で拡大される。補間された画像データ
は、すぐ下位の階層に入力され、そこでその階層の画像
データとの差分データL0〜LM-2が算出される。これは、
第１群の演算器30〜3M-2で行なわれる。最上位の詳明化
された画像データGM-1a は、そのままラプラシアンデー
タLM-1として得られる。
ける画像データ形成方法を一般的なラプラシアンピラミ
ッド符号化方式へ適用した実施例が示されている。実施
例のラプラシアンピラミッド方式では、原画像の画像デ
ータG0とこれを順次、縮小処理して上位の階層状の画像
データG0〜GM-1（Ｍは２より大きい自然数）が生成され
る。同図では、この縮小処理を概念的に画像縮小処理部
l0〜lM-2で示す。これらの画像データは、カラー画像の
場合、たとえば三原色Ｒ、ＧおよびＢの画像データ、ま
たは輝度／色差信号でよい。階層画像データG0〜GM-1
は、それぞれ輪郭強調(USM) 処理部70〜7M-1で輪郭強調
がなされる。こうして詳明化された画像データG1a 〜GM
-1a はそれぞれ、隣接する下位の階層との間にある補間
処理部21〜2M-1で拡大される。補間された画像データ
は、すぐ下位の階層に入力され、そこでその階層の画像
データとの差分データL0〜LM-2が算出される。これは、
第１群の演算器30〜3M-2で行なわれる。最上位の詳明化
された画像データGM-1a は、そのままラプラシアンデー
タLM-1として得られる。
【００１６】差分データL0〜LM-1はそれぞれ、符号器／
符号器40〜4M-1で符号化され、また符号化したデータは
復号されて、再生差分データ<L0>〜<LM-1>となる。ここ
で、不等号記号< > は、再生されたデータを表す。最上
位の符号器／符号器4M-1から出力される最上位層の再生
差分データ<LM-1>は、そのまま再生画像データ<GM-1>を
形成する。他の符号器／符号器40〜4M-3から出力される
各階層の再生差分データ<L0>〜<LM-3>はそれぞれ、これ
より１段上位の再生画像データ<G1>〜<GM-2>が補間処理
部81〜8M-2により拡大されたものと演算器50〜5M-3で加
算され、再生画像<G0>〜<GM-3>が生成される。第２位の
符号器／符号器4M-2から出力される第２階層の再生差分
データ<LM-2>は、最上位の再生画像データ<GM-1>の拡大
されたものと加算され、再生画像<GM-2>が生成される。
これらの拡大処理は、第２群の演算器50〜5M-2により行
なわれる。
符号器40〜4M-1で符号化され、また符号化したデータは
復号されて、再生差分データ<L0>〜<LM-1>となる。ここ
で、不等号記号< > は、再生されたデータを表す。最上
位の符号器／符号器4M-1から出力される最上位層の再生
差分データ<LM-1>は、そのまま再生画像データ<GM-1>を
形成する。他の符号器／符号器40〜4M-3から出力される
各階層の再生差分データ<L0>〜<LM-3>はそれぞれ、これ
より１段上位の再生画像データ<G1>〜<GM-2>が補間処理
部81〜8M-2により拡大されたものと演算器50〜5M-3で加
算され、再生画像<G0>〜<GM-3>が生成される。第２位の
符号器／符号器4M-2から出力される第２階層の再生差分
データ<LM-2>は、最上位の再生画像データ<GM-1>の拡大
されたものと加算され、再生画像<GM-2>が生成される。
これらの拡大処理は、第２群の演算器50〜5M-2により行
なわれる。
【００１７】自然数ｍを０からＭまで値として、ひとつ
の画像縮小処理部1mを例にとって説明すると、画像縮小
処理部1mは、低域通過フィルタリング機能を有し、また
サブサンプリングによるnxn 画素（ｎは自然数）からな
るブロックを単位として画像データを１画素の画像デー
タへ変換する処理部である。この処理部1mによって、入
力画像は縦横とも1/n に縮小される。複数の画像縮小処
理部1mによって得られた複数の階層構造の画像データGm
は、いわゆるガウシアンピラミッドを構成する。
の画像縮小処理部1mを例にとって説明すると、画像縮小
処理部1mは、低域通過フィルタリング機能を有し、また
サブサンプリングによるnxn 画素（ｎは自然数）からな
るブロックを単位として画像データを１画素の画像デー
タへ変換する処理部である。この処理部1mによって、入
力画像は縦横とも1/n に縮小される。複数の画像縮小処
理部1mによって得られた複数の階層構造の画像データGm
は、いわゆるガウシアンピラミッドを構成する。
【００１８】輪郭強調処理部7mは、劣化した画像デー
タ、本実施例の場合はとくに輝度信号をその解像度階層
に応じた強度で輪郭強調することによって修復する機能
を有する。輪郭強調処理部7mは、その構成例を図３に示
すように、輝度信号Ｙの高域成分を通過させる帯域通過
フィルタ(BPF) 80と、その高域出力82にコアリングを行
うコアリング回路84と、高域出力82に輪郭強調係数ｋを
乗算する乗算器86と、乗算器86の出力に輝度信号Ｙを加
算する加算器94とを有する。加算器94は、図４に示すよ
うな非線形の入出力特性を有する回路であり、その出力
96がスイッチ回路90の制御入力に接続されている。この
ように輪郭強調は、輝度信号についてのみ行なえば、十
分な鮮鋭度の効果を上げることができる。
タ、本実施例の場合はとくに輝度信号をその解像度階層
に応じた強度で輪郭強調することによって修復する機能
を有する。輪郭強調処理部7mは、その構成例を図３に示
すように、輝度信号Ｙの高域成分を通過させる帯域通過
フィルタ(BPF) 80と、その高域出力82にコアリングを行
うコアリング回路84と、高域出力82に輪郭強調係数ｋを
乗算する乗算器86と、乗算器86の出力に輝度信号Ｙを加
算する加算器94とを有する。加算器94は、図４に示すよ
うな非線形の入出力特性を有する回路であり、その出力
96がスイッチ回路90の制御入力に接続されている。この
ように輪郭強調は、輝度信号についてのみ行なえば、十
分な鮮鋭度の効果を上げることができる。
【００１９】スイッチ回路90は、制御入力96が実質的に
零の状態にあると、その出力92を遮断する回路である。
高域の輝度信号82は、乗算器86によって輪郭強調係数k3
が乗ぜられる。比較的レベルの高い信号成分の場合は、
乗算器86の出力88がスイッチ90を通過して、加算器94で
元の輝度信号32に加算される。これによって輪郭強調が
行なわれる。高域成分82に含まれる低レベルの成分すな
わち雑音成分については、図４にａで示すようにコアリ
ング回路84の出力96が零であるので、乗算器86の出力88
のスイッチ90の通過が阻止される。したがって、この部
分ａに対しては輪郭強調が行なわれない。
零の状態にあると、その出力92を遮断する回路である。
高域の輝度信号82は、乗算器86によって輪郭強調係数k3
が乗ぜられる。比較的レベルの高い信号成分の場合は、
乗算器86の出力88がスイッチ90を通過して、加算器94で
元の輝度信号32に加算される。これによって輪郭強調が
行なわれる。高域成分82に含まれる低レベルの成分すな
わち雑音成分については、図４にａで示すようにコアリ
ング回路84の出力96が零であるので、乗算器86の出力88
のスイッチ90の通過が阻止される。したがって、この部
分ａに対しては輪郭強調が行なわれない。
【００２０】図１に戻って、補間処理部2mは、詳明化さ
れた画像データGma の補間を行なう。この補間処理で
は、ある階層の縮小画像の画像データGma の各画素へnx
n 個の「０」データを付加してnxn 倍の画像へ拡大す
る。拡大された画像データは、１階層下位の画像Gm-1a
と同じ画像サイズとなる。補間処理された画像データGm
aは、１段下位階の演算器3m-1へ入力される。演算器3m-
1では、詳明化された画像データGm-1との差分データLm-
1が算出される。この補間処理は、隣接する上下段の２
つの画像データ階層の間で演算処理を行なう際、両階層
の画像データを構成する画素のアドレスの位置関係を合
わせるために実行する。補間で付加する数値は、最終的
に記録媒体へ記録する記録データ量が少なく、しかも復
号が簡単に行える数値が好ましい。一般的には、数値
「０」が用いられる。
れた画像データGma の補間を行なう。この補間処理で
は、ある階層の縮小画像の画像データGma の各画素へnx
n 個の「０」データを付加してnxn 倍の画像へ拡大す
る。拡大された画像データは、１階層下位の画像Gm-1a
と同じ画像サイズとなる。補間処理された画像データGm
aは、１段下位階の演算器3m-1へ入力される。演算器3m-
1では、詳明化された画像データGm-1との差分データLm-
1が算出される。この補間処理は、隣接する上下段の２
つの画像データ階層の間で演算処理を行なう際、両階層
の画像データを構成する画素のアドレスの位置関係を合
わせるために実行する。補間で付加する数値は、最終的
に記録媒体へ記録する記録データ量が少なく、しかも復
号が簡単に行える数値が好ましい。一般的には、数値
「０」が用いられる。
【００２１】第１群の演算器3mは、２個の画素のデータ
値の差を算出する。つまり、隣接する上下階層の詳明化
された画像データ間の差分データLmを算出する。演算器
3mにより算出された差分データLmは、当該階層の画像デ
ータと１段上位の縮小処理された階層画像データとの誤
差データである。この差分データLmは、後続する符号器
／復号器4mでハフマン符号化等の処理後にフォトCD等の
記録媒体へ記録されるデータの素となる。
値の差を算出する。つまり、隣接する上下階層の詳明化
された画像データ間の差分データLmを算出する。演算器
3mにより算出された差分データLmは、当該階層の画像デ
ータと１段上位の縮小処理された階層画像データとの誤
差データである。この差分データLmは、後続する符号器
／復号器4mでハフマン符号化等の処理後にフォトCD等の
記録媒体へ記録されるデータの素となる。
【００２２】符号器／復号器4mは、演算器3mの演算によ
って得られた差分データLmを符号化処理する。符号化さ
れたデータは、本実施例ではフォトCDなどの記録媒体へ
記録される。また、符号化された画像データは、復号さ
れて再生データ<Lm>となる。なお、最上段以外の階層の
再生データ<Lm-2>〜<L0>は、前段の演算器3m-2〜30によ
って算出された差分データLM-2〜L0に基づいたデータで
ある。
って得られた差分データLmを符号化処理する。符号化さ
れたデータは、本実施例ではフォトCDなどの記録媒体へ
記録される。また、符号化された画像データは、復号さ
れて再生データ<Lm>となる。なお、最上段以外の階層の
再生データ<Lm-2>〜<L0>は、前段の演算器3m-2〜30によ
って算出された差分データLM-2〜L0に基づいたデータで
ある。
【００２３】後段の演算器5mは、符号器／復号器4mによ
り復号された復号データ<Lm>と１段上位の再生画像デー
タ<Gm+1> とを加算し、再生画像データ<Gm>を生成す
る。再生ガウシアンピラミッドを構成する再生画像<Gm>
のうちの最上位の再生画像データ<GM-1>は、符号器／復
号器4M-1により復号されたデータ<LM-1>から作られる。
第(M-2) 階層以下の階層の再生画像データ<GM-2>〜<G0>
は、再生データ<LM-2>〜<L0>と補間処理部2M-1〜21の処
理によって得られた拡大された再生画像データ<GM-1>と
が加算されたものである。
り復号された復号データ<Lm>と１段上位の再生画像デー
タ<Gm+1> とを加算し、再生画像データ<Gm>を生成す
る。再生ガウシアンピラミッドを構成する再生画像<Gm>
のうちの最上位の再生画像データ<GM-1>は、符号器／復
号器4M-1により復号されたデータ<LM-1>から作られる。
第(M-2) 階層以下の階層の再生画像データ<GM-2>〜<G0>
は、再生データ<LM-2>〜<L0>と補間処理部2M-1〜21の処
理によって得られた拡大された再生画像データ<GM-1>と
が加算されたものである。
【００２４】後段の補間処理部8mは、再生画像データ<G
m>の補間を行なう。この補間処理は、前段と同様に、あ
る階層の縮小画像の画像データ< Gm> の各画素へnxn 個
の「０」データを付加し、nxn 倍の画像へ拡大処理す
る。拡大された画像データは、１階層下位の画像Lm-1と
同一の画像サイズとなる。補間処理された画像データ<G
m>は、１段下位階の演算器5m-1へ入力される。演算器5m
-1では、再生画像データ<Gm-1>が算出される。第２群の
演算器5mは、復号された再生差分データ<Lm>と上位階層
の再生画像データ<Gm+1>との加算により処理階の再生画
像データ<Gm>を算出する。
m>の補間を行なう。この補間処理は、前段と同様に、あ
る階層の縮小画像の画像データ< Gm> の各画素へnxn 個
の「０」データを付加し、nxn 倍の画像へ拡大処理す
る。拡大された画像データは、１階層下位の画像Lm-1と
同一の画像サイズとなる。補間処理された画像データ<G
m>は、１段下位階の演算器5m-1へ入力される。演算器5m
-1では、再生画像データ<Gm-1>が算出される。第２群の
演算器5mは、復号された再生差分データ<Lm>と上位階層
の再生画像データ<Gm+1>との加算により処理階の再生画
像データ<Gm>を算出する。
【００２５】以上、汎用的なガウシアンピラミッドのフ
ァイル構成に基づいて本発明の実施例を説明したが、次
に、本発明をフォトCD規格の画像データファイルに適用
した画像データ形成装置の実施例について説明する。図
２は、フォトCD規格の画像データファイルにおける階層
画像データについて輪郭強調処理を行なう実施例を示し
ている。同図によれば、たとえば3072×2048画素で構成
される原画像の三原色Ｒ、ＧおよびＢの画像データ11a
、11b および11c は、線21で示すように、まず輝度信
号および色差信号Ycc に変換され、最大サイズの16Base
画像12a のデータとなる。この16Base画像のデータは、
線22、23、24および25で示すように、順次2x2 画素を単
位とする画素ブロックごとに縮小処理され、それぞれ4B
ase 、Base、Base/4およびBase/16 の４階層の縮小画像
データ13a 、14a 、15a および16aが生成される。これ
により、全部で５階層の画像データが形成される。
ァイル構成に基づいて本発明の実施例を説明したが、次
に、本発明をフォトCD規格の画像データファイルに適用
した画像データ形成装置の実施例について説明する。図
２は、フォトCD規格の画像データファイルにおける階層
画像データについて輪郭強調処理を行なう実施例を示し
ている。同図によれば、たとえば3072×2048画素で構成
される原画像の三原色Ｒ、ＧおよびＢの画像データ11a
、11b および11c は、線21で示すように、まず輝度信
号および色差信号Ycc に変換され、最大サイズの16Base
画像12a のデータとなる。この16Base画像のデータは、
線22、23、24および25で示すように、順次2x2 画素を単
位とする画素ブロックごとに縮小処理され、それぞれ4B
ase 、Base、Base/4およびBase/16 の４階層の縮小画像
データ13a 、14a 、15a および16aが生成される。これ
により、全部で５階層の画像データが形成される。
【００２６】この実施例で特徴的なことのひとつは、こ
のガウシアンプレーンを構成する５階層の画像データの
それぞれの輝度信号Ｙについて輪郭強調処理USM(1)〜US
M(5)が施されることである。この輪郭強調USM(1)〜USM
(5)は、同図では２重線31〜35で示すが、図３および４
を参照して前述した輪郭強調処理部7mによって行なわれ
る。輪郭強調された５階層の画像データのうち、下位の
16Base画像データ12b と4Base 画像データ13b はぞれぞ
れ、さらに１段下位の画像データ13c および13dとの差
分をとられ、この差分データ12d および13d がハフマン
符号化されて記録データ12e および13e となる。なお、
輪郭強調されたBase画像データ14b は、補間されて4Bas
e 補間データ13c となり、１段下位の画像データ13c と
の差分に供される。この4Base 差分データ13d は、4Bas
e 補間データ13c と加算されて4Base 復号データ13g と
なる。4Base 復号データ13g は、補間されて16Base補間
データ13c として16Base輪郭強調画像データ12b との差
分に供される。また、上位の３階層のBase、Base/4およ
びBase/16 画像データ14b 、15b および16b は、輪郭強
調後の形でそのまま記録される。同図において、フォト
CDなどの画像データ記録媒体（図示せず）に記録される
データは、２重線のボックスで示されている。もちろ
ん、このように差分データを符号化して記録するのでは
なく、輪郭強調した画像データをそのままデータ記録媒
体に記録するようにしてもよい。
のガウシアンプレーンを構成する５階層の画像データの
それぞれの輝度信号Ｙについて輪郭強調処理USM(1)〜US
M(5)が施されることである。この輪郭強調USM(1)〜USM
(5)は、同図では２重線31〜35で示すが、図３および４
を参照して前述した輪郭強調処理部7mによって行なわれ
る。輪郭強調された５階層の画像データのうち、下位の
16Base画像データ12b と4Base 画像データ13b はぞれぞ
れ、さらに１段下位の画像データ13c および13dとの差
分をとられ、この差分データ12d および13d がハフマン
符号化されて記録データ12e および13e となる。なお、
輪郭強調されたBase画像データ14b は、補間されて4Bas
e 補間データ13c となり、１段下位の画像データ13c と
の差分に供される。この4Base 差分データ13d は、4Bas
e 補間データ13c と加算されて4Base 復号データ13g と
なる。4Base 復号データ13g は、補間されて16Base補間
データ13c として16Base輪郭強調画像データ12b との差
分に供される。また、上位の３階層のBase、Base/4およ
びBase/16 画像データ14b 、15b および16b は、輪郭強
調後の形でそのまま記録される。同図において、フォト
CDなどの画像データ記録媒体（図示せず）に記録される
データは、２重線のボックスで示されている。もちろ
ん、このように差分データを符号化して記録するのでは
なく、輪郭強調した画像データをそのままデータ記録媒
体に記録するようにしてもよい。
【００２７】このように本実施例では、三原色の原画
Ｒ、ＧおよびＢの各々を直接、輪郭強調することはせ
ず、階層毎の画像データに変換した後に階層ごとに輪郭
強調を行っている。これにより、フィルタリングやサブ
サンプリング等の縮小処理による輪郭強調効果の減退を
最小化することができる。また、本実施例における輪郭
強調処理は、簡易な低域通過フィルタと輪郭強調フィル
タの組合せにより実現され、したがって少量の演算で良
好な画質の階層符号化を可能とする。
Ｒ、ＧおよびＢの各々を直接、輪郭強調することはせ
ず、階層毎の画像データに変換した後に階層ごとに輪郭
強調を行っている。これにより、フィルタリングやサブ
サンプリング等の縮小処理による輪郭強調効果の減退を
最小化することができる。また、本実施例における輪郭
強調処理は、簡易な低域通過フィルタと輪郭強調フィル
タの組合せにより実現され、したがって少量の演算で良
好な画質の階層符号化を可能とする。
【００２８】データ量について考察すると、三原色原画
Ｒ、ＧおよびＢの画素データ量は、それぞれが6Mバイト
であり、合計で18M バイトとなる。これに対し、５階層
の画像データの輝度信号Ｙは合計8Mバイトであるので、
各階層ごとに輝度信号について輪郭強調を行なう上述の
実施例では、Ｙチャネルのみへ輪郭強調処理を行なうこ
とにより、処理量が少なくてすみ、処理時間も短い。
Ｒ、ＧおよびＢの画素データ量は、それぞれが6Mバイト
であり、合計で18M バイトとなる。これに対し、５階層
の画像データの輝度信号Ｙは合計8Mバイトであるので、
各階層ごとに輝度信号について輪郭強調を行なう上述の
実施例では、Ｙチャネルのみへ輪郭強調処理を行なうこ
とにより、処理量が少なくてすみ、処理時間も短い。
【００２９】
【発明の効果】このように本発明の階層画像ファイルに
おける画像データ形成方法によれば、簡易な低域通過フ
ィルタと輪郭強調フィルタとの組合せにより、少量の演
算で良好な画質の画像データを階層符号化することがで
きる。階層状画像ファイル構成の各階層において輪郭強
調処理が施されるため、画質の改善された画像データが
他の処理により先鋭度を損なう機会が少ない。また、各
階層のそれぞれにおいて画像データを構成する複数チャ
ネルのデータのうちＹチャネルのデータのみへ輪郭強調
を行なうことにより、十分な線影度が得られ、しかも処
理量の低減および処理時間の短縮が可能である。
おける画像データ形成方法によれば、簡易な低域通過フ
ィルタと輪郭強調フィルタとの組合せにより、少量の演
算で良好な画質の画像データを階層符号化することがで
きる。階層状画像ファイル構成の各階層において輪郭強
調処理が施されるため、画質の改善された画像データが
他の処理により先鋭度を損なう機会が少ない。また、各
階層のそれぞれにおいて画像データを構成する複数チャ
ネルのデータのうちＹチャネルのデータのみへ輪郭強調
を行なうことにより、十分な線影度が得られ、しかも処
理量の低減および処理時間の短縮が可能である。
【図１】本発明の階層画像ファイルにおける画像データ
形成方法が適用されたガウシアンプレーンの階層構成例
を示した図である。
形成方法が適用されたガウシアンプレーンの階層構成例
を示した図である。
【図２】図１に示すガウシアンプレーンの階層構成例を
フォトCD規格へ適用した本発明の画像データ形成装置の
実施例を示す機能ブロック図である。
フォトCD規格へ適用した本発明の画像データ形成装置の
実施例を示す機能ブロック図である。
【図３】図１に示す実施例における輪郭強調処理部の回
路構成例を示す機能ブロック図である。
路構成例を示す機能ブロック図である。
【図４】図３に示す回路におけるコアリング回路の入出
力特性を例示するグラフである。
力特性を例示するグラフである。
【図５】フォトCD規格の階層画像ファイルにおいて三原
色信号に単純に輪郭強調処理を行なうとした場合の処理
の階層構成を示す図である。
色信号に単純に輪郭強調処理を行なうとした場合の処理
の階層構成を示す図である。
l1〜lM-1 画像縮小処理部
21〜2M-1、81〜8M-1 補間処理部
31〜3M-1、51〜5M-1 演算器
40〜4M-1 符号器／符号器
70〜7M-1 輪郭強調処理部(USM)
G0〜GM-1 階層画像データ
<G0>〜<GM-1> 再生画像データ
L0〜LM-1 差分データ
<L0>〜<LM-1> 再生差分データ
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 昭61−224679（ＪＰ，Ａ)
社団法人テレビジョン学会編，先端技
術の手ほどきシリーズ 画像情報圧縮,
株式会社オーム社，1991年 ８月25日,
ｐ．197−199
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 7/24 - 7/68
H04N 1/41 - 1/419
Claims (7)
- 【請求項１】 原画像を表わす三原色信号を第１の画像
データの輝度信号および色差信号に変換する変換工程
と、 該変換工程により変換された 第１の画像データの輝度信
号および色差信号を解像度の階層に応じて順次、縮小し
て第２の画像データを生成する複数の縮小工程と、前記変換工程により得られた最下位の階層の第１の画像
データの輝度信号および該複数の縮小工程のそれぞれか
ら得られた各階層の第２の画像データの輝度信号へ各 階
層に応じた強度で輪郭強調を施して第３の画像データを
生成する複数の輪郭強調工程とを有し、該複数の輪郭強調工程により生成された第３の画像デー
タの輝度信号、前記変換工程により変換された第１の画
像データの色差信号および前記複数の縮小工程により生
成された第２の画像データの色差信号 により画像ファイ
ルのデータを生成することを特徴とする階層画像ファイ
ルにおける画像データ形成方法。 - 【請求項２】 請求項１に記載の方法において、前記複
数の輪郭強調工程は、前記変換工程により得られた最下
位の階層の第１の画像データの輝度信号および前記複数
の縮小工程により得られた各階層の第２の画像データの
輝度信号のそれぞれの高域成分を通過させる複数の帯域
通過フィルタ手段による第１の工程と、 該第１の工程による複数の帯域通過フィルタ手段のそれ
ぞれにより通過された高域成分に対しそれぞれコアリン
グを行なう複数のコアリング手段による第２の工程と、 前記第１の工程による複数の帯域通過フィルタ手段のそ
れぞれにより通過された高域成分に対しそれぞれ各階層
に応じた強度で輪郭強調を施す複数の乗算手段による第
３の工程と、 前記第２の工程による複数のコアリング手段のそれぞれ
によりコアリングが行なわれて出力されたそれぞれ出力
レベルに応じて対応する該第３の工程による複数の乗算
手段のそれぞれから出力された輪郭強調の施された高域
成分の通過、停止を行なう複数のスイッチ手段による第
４の工程と、 前記変換工程により得られた最下位の階層の第１の画像
データの輝度信号、および前記複数の縮小工程のそれぞ
れにより得られた各階層の第２の画像データの輝度信号
と対応する該第４の工程による複数のスイッチ手段のそ
れぞれにより通過の行なわれた各階層の高域成分とを加
算して前記第３の画像データの輝度信号を生成する複数
の加算手段による第５の工程とを含む ことを特徴とする
画像データ形成方法。 - 【請求項３】 原画像を表わす三原色信号を第１の画像
データの輝度信号および色差信号に変換する変換手段
と、 該変換手段により変換された第１の画像データの輝度信
号および色差信号を解像度の階層に応じて順次、縮小し
て第２の画像データを生成する複数の縮小手段と、 前記変換手段により得られた最下位の階層の第１の画像
データの輝度信号および該複数の縮小工程のそれぞれか
ら得られた各階層の第２の画像データの輝度信号へ各階
層に応じた強度で輪郭強調を施して第３の画像データを
生成する複数の輪郭強調手段とを有し、 該複数の輪郭強調手段により生成された第３の画像デー
タの輝度信号、前記変換手段により変換された第１の画
像データの色差信号および前記複数の縮小手段により生
成された第２の画像データの色差信号により画像ファイ
ルのデータを生成する ことを特徴とする階層画像ファイ
ルにおける画像データ形成装置。 - 【請求項４】 請求項３に記載の装置において、前記複
数の輪郭強調手段は、前記変換手段により得られた最下
位の階層の第１の画像データの輝度信号および前記複数
の縮小手段により得られた各階層の第２の画像データの
輝度信号のそれぞれの高域成分を通過させる複数の帯域
通過フィルタ手段と、 該複数の帯域通過フィルタ手段のそれぞれにより通過さ
れた高域成分に対しそれぞれコアリングを行なう複数の
コアリング手段と、 前記複数の帯域通過フィルタ手段のそれぞれにより通過
された高域成分に対しそれぞれ各階層に応じた強度で輪
郭強調を施す複数の乗算手段と、 前記複数のコアリング手段のそれぞれによりコアリング
が行なわれて出力されたそれぞれ出力レベルに応じて対
応する該複数の乗算手段のそれぞれから出力さ れた輪郭
強調の施された高域成分の通過、停止を行なう複数のス
イッチ手段と、 前記変換手段により得られた最下位の階層の第１の画像
データの輝度信号、および前記複数の縮小手段のそれぞ
れにより得られた各階層の第２の画像データの輝度信号
と対応する該複数のスイッチ手段のそれぞれにより通過
の行なわれた各階層の高域成分とを加算して前記第３の
画像データの輝度信号を生成する複数の加算手段とを含
む ことを特徴とする画像データ形成装置。 - 【請求項５】 請求項３に記載の装置において、該装置
はさらに、 前記複数の輪郭強調手段により生成された最下位の階層
を除く各階層の第３の画像データの輝度信号および前記
複数の縮小手段により生成された最下位の階層を除く各
階層の第２の画像データの色差信号の補間を行なって画
像の拡大を行なう複数の補間処理手段と、 該複数の補間処理手段の中の隣接する上位の階層の画像
の拡大を行なう補間処理手段から出力された第３の画像
データの輝度信号および第２の画像データの色差信号を
該上位の階層のすぐ下位の階層の前記輪郭強調手段から
出力された第３の画像データの輝度信号および前記縮小
手段から出力された第２の画像データの色差信号から差
し引く複数の演算手段と、 前記複数の輪郭強調手段の中の最上位の階層の輪郭強調
手段により出力された第３の画像データの輝度信号およ
び前記複数の縮小手段の中の最上位の階層の縮小手段に
より出力された第２の画像データの色差信号と、該複数
の演算手段により差し引かれて出力された第３の画像デ
ータに基づく輝度信号および第２の画像データに基づく
色差信号とをそれぞれ符号化して第４の画像データを生
成する複数の符号化手段とを有する ことを特徴とする画
像データ生成装置。 - 【請求項６】 請求項５に記載の装置において、該装置
はさらに、前記複数の符号化手段により符号化された第
４の画像データを画像データ記録媒体に記録する記録手
段を有することを特徴とする画像データ生成装置。 - 【請求項７】 請求項６に記載の装置において、前記複
数の縮小手段は、フォトＣＤ規格に基づく階層に第１の
画像データを縮小することを特徴とする画像データ生成
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00161694A JP3432878B2 (ja) | 1994-01-12 | 1994-01-12 | 階層画像ファイルにおける画像データ形成方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00161694A JP3432878B2 (ja) | 1994-01-12 | 1994-01-12 | 階層画像ファイルにおける画像データ形成方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07212751A JPH07212751A (ja) | 1995-08-11 |
| JP3432878B2 true JP3432878B2 (ja) | 2003-08-04 |
Family
ID=11506456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00161694A Expired - Fee Related JP3432878B2 (ja) | 1994-01-12 | 1994-01-12 | 階層画像ファイルにおける画像データ形成方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3432878B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113724144A (zh) * | 2020-05-22 | 2021-11-30 | 北京小米移动软件有限公司 | 一种图像处理方法及终端设备上的图像信号处理器 |
| CN112819716B (zh) * | 2021-01-29 | 2023-06-09 | 西安交通大学 | 基于高斯-拉普拉斯金字塔的无监督学习x光图像增强方法 |
-
1994
- 1994-01-12 JP JP00161694A patent/JP3432878B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 社団法人テレビジョン学会編，先端技術の手ほどきシリーズ 画像情報圧縮，株式会社オーム社，１９９１年 ８月２５日，ｐ．１９７−１９９ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07212751A (ja) | 1995-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0126148B1 (en) | Image processing method using a block overlap transformation procedure | |
| US4549212A (en) | Image processing method using a collapsed Walsh-Hadamard transform | |
| US5065229A (en) | Compression method and apparatus for single-sensor color imaging systems | |
| US5499057A (en) | Apparatus for producing a noise-reducded image signal from an input image signal | |
| US4553165A (en) | Transform processing method for reducing noise in an image | |
| US5053861A (en) | Compression method and apparatus for single-sensor color imaging systems | |
| US5406334A (en) | Apparatus and method for producing a zoomed image signal | |
| JPH05505084A (ja) | シングル・センサ画像システム用のカラー内挿処理を伴う画像圧縮 | |
| JPH0342527B2 (ja) | ||
| CA2204228C (en) | Noise reducer | |
| JP3343430B2 (ja) | クロスフェーダを使用する適応形映像ピーキング回路 | |
| JPH05153608A (ja) | 映像信号処理方法および装置 | |
| JP3486975B2 (ja) | ノイズ低減装置及び方法 | |
| EP0948215A2 (en) | Filtering video signals containing chrominance information | |
| JPH07118813B2 (ja) | カラー映像信号エンコード方法 | |
| JP3432878B2 (ja) | 階層画像ファイルにおける画像データ形成方法および装置 | |
| US6751355B1 (en) | Wavelet image compression using quantization based on frequency ranges and absolute values in wavelet image compression | |
| JPH07105946B2 (ja) | ブロック歪除去フィルタ | |
| JP3195876B2 (ja) | 画像データ記録装置 | |
| JP2608699B2 (ja) | 直交変換装置 | |
| JPS5887990A (ja) | デジタル信号分離回路網 | |
| JPH0319488A (ja) | ブロック符号化装置と復号化装置 | |
| JPS60197088A (ja) | カラ−ビデオ信号の処理回路 | |
| JP3330224B2 (ja) | 階層的画像データの符号化方法と、その装置 | |
| JPH11127439A (ja) | 画像符号化装置およびその方法並びに画像復号化装置およびその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030422 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080523 Year of fee payment: 5 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090523 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090523 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100523 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |