JP3997851B2 - 画像符号化装置および画像符号化プログラム - Google Patents

画像符号化装置および画像符号化プログラム Download PDF

Info

Publication number
JP3997851B2
JP3997851B2 JP2002189185A JP2002189185A JP3997851B2 JP 3997851 B2 JP3997851 B2 JP 3997851B2 JP 2002189185 A JP2002189185 A JP 2002189185A JP 2002189185 A JP2002189185 A JP 2002189185A JP 3997851 B2 JP3997851 B2 JP 3997851B2
Authority
JP
Japan
Prior art keywords
data
sequential
compression
image data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002189185A
Other languages
English (en)
Other versions
JP2004032588A (ja
Inventor
雅夫 森田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2002189185A priority Critical patent/JP3997851B2/ja
Publication of JP2004032588A publication Critical patent/JP2004032588A/ja
Application granted granted Critical
Publication of JP3997851B2 publication Critical patent/JP3997851B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、画像データ、特に複数の色成分からなるカラー画像データに対して、符号化を行う場合に用いる画像符号化装置および画像符号化プログラムに関する。
【0002】
【従来の技術】
一般に、カラー画像を表現する画像データとしては、例えばR(赤),G(緑),B(青)またはK(黒),Y(イエロー),M(マゼンタ),C(サイアン)等の色成分毎に分けて表現する面順次形式のものと、各色成分を分けることなく一纏めにして表現する点順次形式のものとが知られている。図10は、各方式の画像データの概念を示す説明図である。図10(a)に示す面順次形式の画像データでは、R,G,Bの各色成分の信号データが別々に取り扱われ、例えばそれぞれが個別の記憶領域に格納される。また、図10(b)に示す点順次形式の画像データでは、R,G,Bの各色成分の信号データが、その画素位置毎に一纏めに取り扱われる。したがって、例えば画像データの記憶時には、画素位置に対応する記憶ロケーションにその画素を表すR画素値、G画素値およびB画素値の組が記憶されることになる。
【0003】
点順次形式の画像データは、例えばCRT(Cathode Ray Tube)にて点順次で画像表示を行う際に、そのまま表示出力でき高速な処理が可能なので、パーソナルコンピュータ(以下「PC」と略す)上等で多く利用される。これに対して、面順次形式の画像データは、各色成分がそれぞれ個別に扱われることから、例えば電子写真技術を用いたカラープリンタ等にて各色成分毎に静電写真プロセスを実行する際に多く利用される。このことは、PC上で扱う点順次形式の画像データを、カラープリンタで扱う面順次形式の画像データに変換する、といったことの必要性の高さを意味している。
【0004】
ところで、近年では、カラープリンタの低価格化への要望から、搭載するメモリ容量を極力少なくすることが求められており、これを達成するためにデータ量を圧縮した画像データを取り扱うことが一般的になっている。そして、そのデータ圧縮については、プリンタエンジン(画像出力装置)への同期出力を行うために、内部データバスの転送速度や伸張ハードウェアの制限等を考慮して、予め定められたデータ量に収まるように圧縮データを生成すること(出力サイズ保証処理)が求められている。
【0005】
これらのことから、カラー画像を表現する画像データに対しては、点順次形式から面順次形式への変換を行いつつ、高速・高圧縮可能な圧縮符号化を行うことが望まれている。特に、PC等の普及により文書の電子データ化が広まりつつあり、そのデータ量はカラー化の急速な進展に伴って以前(白黒時)の数倍に肥大化している、といった最近の状況下においては、カラー化された文書についてのデータ処理負荷を軽減するためにも、高速・高圧縮可能なカラー画像用圧縮符号化方式が強く望まれているのである。
【0006】
従来、画像データを点順次形式から面順次形式へ変換しつつ圧縮符号化する場合には、通常、例えば図11に示すような手順で行うことが一般的である。図例の手順(以下「従来例1」という)では、先ず、点順次形式の画像データを面順次形式の画像データに変換した後に(ステップ101、以下ステップを「S」と略す)、設定された圧縮パラメータに従いつつ(S102)、その面順次形式の画像データに対して各面毎に独立して圧縮符号化を行って(S103)、面順次形式の圧縮データを記憶装置や出力装置等に出力する(S104)。
【0007】
また、点面変換を伴いつつ画像データを圧縮符号化する手順としては、例えば図12に示すようなものも提案されている。図例の手順(以下「従来例2」という)では、事前に点面変換を行うのではなく、設定された圧縮パラメータに従いつつ(S201)、点順次形式の画像データに対して点順次圧縮を行うとともに(S202)、その点順次圧縮時に面順次形式の画像データへの変換も併せて行い(S203)、その変換後の圧縮データを記憶装置や出力装置等に出力する(S204)。この従来例2の手順によれば、圧縮時に点面変換するので、従来例1の場合のように事前の点面変換のためにページ全面分のデータにアクセスする必要がなく、圧縮後のデータサイズ分だけアクセスすればよい。さらには、従来例1の場合のように面数分の圧縮(4面ならば4回)を経なくても、一度に一画素分のデータを圧縮することができる。したがって、従来例2の手順は、処理の高速化という点において従来例1よりも有効である。
【0008】
【発明が解決しようとする課題】
このようにして得られた圧縮データについては、その後、例えば記憶装置へ出力されて格納されるが、そのときに当該圧縮データを限られた記憶容量内に納める必要性が生じることがある。その場合に、予め圧縮後のデータサイズが分かる圧縮符号化方式であれば、容易に圧縮データを所定記憶容量内に納めることも可能となる。ところが、そのような圧縮符号化方式は、圧縮率が低くデータ量の削減効果が低い。そのため、圧縮符号化方式としては、圧縮率は事前には分からないが、圧縮率を高くすることのできる方式が多く採用されている。
【0009】
しかしながら、圧縮率を高くできる圧縮符号化方式を採用した場合には、圧縮後のデータサイズが事前には分からないため、所定記憶容量内に収まらなければ、その容量内に収まるまで圧縮パラメータを変更して何度も再圧縮しなければならない。すなわち、圧縮後のデータサイズが所定記憶容量内に収まらなければ、圧縮パラメータをより高い圧縮率のものに変更した後に、再度圧縮符号化を行う必要が生じてしまう。
【0010】
具体的には、従来例1の場合であれば、例えば図13または図14に示すような圧縮率保証処理が必要になってしまう。すなわち、面毎の圧縮符号化を行った後の圧縮データに対して(S103)、そのデータサイズが所定記憶容量内に収まるか否かの判定を行い(S105)、収まらなければ必要に応じて面毎の伸張処理を経た後に(S106)、パラメータ設定(S102)からの処理を繰り返して行わなければならない。したがって、圧縮率を保証する処理を導入した場合には、面毎の伸張処理や面毎の圧縮処理等を繰り返して行わなければならない可能性があり、結果として多くの時間を費やしてしまうことが考えられる。なお、面毎の伸張処理とは、記憶容量の制限が厳しい場合等、圧縮したいデータ(原データ)を保存しておけない場合に、圧縮データを伸張して原データを復元するための処理である。この面毎の伸張処理を必要とする場合には、さらに処理時間が必要なことを意味している。
【0011】
また、従来例2の場合であれば、例えば図15または図16に示すような圧縮率保証処理が必要になってしまう。すなわち、点順次圧縮と同時に面順次形式への変換も併せて行った後の圧縮データに対して(S203)、そのデータサイズが所定記憶容量内に収まるか否かの判定を行い(S205)、収まらなければ面毎の伸張処理を経た後に(S206)、再びパラメータ設定を行って(S207)、面毎の圧縮処理を行うか(S208)、あるいは面毎の伸張処理の後に(S206)、面順次形式を点順次形式に変換する面点変換を行い(S209)、その後にパラメータ設定(S202)からの処理を繰り返して行わなければならない。したがって、圧縮率を保証する処理を導入した場合には、一度目の圧縮処理は点面変換と併せてできるものの、再度行う圧縮処理については、面毎の伸張・圧縮処理を伴うか、あるいは面毎の伸張後に面点変換を行って再度点面変換込みの点順次圧縮を行う必要があるため、それに多くの時間を費やしてしまうことになり、結果として処理の高速化という利点が相殺されてしまうことになる。
【0012】
そこで、本発明は、点面変換を伴いつつ画像データを圧縮符号化する場合の圧縮率を保証する処理、すなわち点順次形式の画像データから得る面順次形式の圧縮データが定められたデータ量より小さくなることを保証するための処理を、迅速に行うことのできる画像符号化装置および画像符号化プログラムを提供することを目的とする。
【0014】
本発明は、上記目的を達成するために案出された画像符号化装置で、点順次形式で表現される画像データが入力される点順次データ入力部と、前記点順次データ入力部に入力された画像データを圧縮して、点順次形式で表現される圧縮画像データを得る点順次圧縮部と、前記点順次圧縮部で得られた圧縮画像データを保存蓄積する点順次圧縮データ蓄積部と、前記点順次圧縮データ蓄積部から圧縮画像データを読み出して面順次形式で表現される圧縮画像データに変換する面順次データ生成部と、前記面順次データ生成部での圧縮画像データの変換処理に先立ち、当該変換処理前の点順次形式の圧縮画像データに基づき、当該変換処理後の面順次形式の圧縮画像データについてのデータ量を算出する面データサイズ算出部と、前記面データサイズ算出部でのデータ量の算出結果を予め定められた設定データ量と比較し、当該算出結果が設定データ量の範囲内であれば前記面順次データ生成部に圧縮画像データの変換処理行わせ、当該算出結果が設定データ量の範囲内になければ前記点順次圧縮データ蓄積部内の圧縮画像データを伸長した後に圧縮パラメータを変えて前記点順次圧縮部に再圧縮させる出力判断部とを備えることを特徴とするものである。
【0016】
また、本発明は、上記目的を達成するために案出された画像符号化プログラムである。すなわち、点順次形式で表現される画像データから面順次形式で表現される圧縮画像データを得るための画像符号化プログラムであって、コンピュータを、点順次形式で表現される画像データが入力される点順次データ入力手段と、前記点順次データ入力手段に入力された画像データを圧縮して、点順次形式で表現される圧縮画像データを得る点順次圧縮手段と、前記点順次圧縮手段で得られた圧縮画像データを保存蓄積する点順次圧縮データ蓄積手段と、前記点順次圧縮データ蓄積手段から圧縮画像データを読み出して面順次形式で表現される圧縮画像データに変換する面順次データ生成手段と、前記面順次データ生成手段での圧縮画像データの変換処理に先立ち、当該変換処理前の点順次形式の圧縮画像データに基づき、当該変換処理後の面順次形式の圧縮画像データについてのデータ量を算出する面データサイズ算出手段と、前記面データサイズ算出手段でのデータ量の算出結果を予め定められた設定データ量と比較し、当該算出結果が設定データ量の範囲内であれば前記面順次データ生成手段に圧縮画像データの変換処理行わせ、当該算出結果が設定データ量の範囲内になければ前記点順次圧縮データ蓄積手段内の圧縮画像データを伸長した後に圧縮パラメータを変えて前記点順次圧縮部に再圧縮させる出力判断手段とを備えることを特徴とする。
【0017】
上記構成の画像符号化装置および画像符号化プログラムによれば、点順次形式で表現される画像データを圧縮して面順次形式で表現される圧縮画像データを得るが、これに先立ち圧縮後の点順次形式の圧縮画像データを面順次形式の圧縮画像データに変換した場合のデータ量を算出して、その算出結果が設定データ量の範囲内であれば、その面順次形式の圧縮画像データを得るための処理行うようになっている。すなわち、点順次形式の画像データから得る面順次形式の圧縮データが設定データ量より小さくなることを保証する。
ただし、このとき、圧縮後のデータ量の算出は、点面変換処理に先立って行われる。つまり、圧縮符号化対象が点順次形式の状態のままで、データ量が算出される。したがって、圧縮符号化後に点面変換する場合であっても、圧縮後のデータ量が設定データ量の範囲内に収まる圧縮パラメータが設定されるまでは点面変換が行われないので、不必要な点面変換を避けることができる。
【0018】
【発明の実施の形態】
以下、図面に基づき本発明に係る画像符号化装置および画像符号化プログラムについて説明する。
【0019】
〔第1の実施の形態〕
先ず、本発明の第1の実施の形態について説明する
【0020】
本実施の形態で説明する画像符号化装置および画像符号化プログラムは、例えばカラープリンタに搭載されて用いられるものである。すなわち、上位装置であるPCから点順次形式形式で表現される画像データ(以下、単に「点順次データ」という)を受け取ると、これを面順次形式形式で表現される画像データに変換するとともに、そのデータ量削減のために圧縮符号化を行い、その圧縮符号化後の面順次形式の圧縮画像データ(以下、単に「面順次圧縮データ」という)を、カラープリンタが備える画像出力装置(プリンタエンジン)に出力するものである。ただし、点面変換を伴いつつ画像データを圧縮符号化するものであれば、必ずしもカラープリンタに搭載されている必要はなく、例えばPCに搭載されて用いられるものであっても、あるいはデジタル複写機等の他の画像出力装置に搭載されて用いられるものであってもよい。
【0021】
ここで、先ず、本実施形態における画像符号化装置の概略構成について説明する。図1は、本発明に係る画像符号化装置を含むカラー画像符号化・復号化装置の概略構成の一例を示すブロック図である。図例のように、本実施形態における画像符号化装置は、点順次データ入力部11と、面順次圧縮部12と、面データサイズ算出部13と、出力判断部14と、面データ出力部15と、図示しない全体制御部とを備えている。
【0022】
点順次データ入力部11は、点順次データが入力されるものである。すなわち、カラープリンタで画像出力すべきデータとして、図示しない上位装置(PC)から点順次データを受け取るものである。そして、点順次データ入力部11では、受け取った点順次データを、必要に応じて面順次圧縮部12および面データサイズ算出部13へ受け渡すようになっている。なお、ここで説明する点順次データ入力部11は、一旦受け取った点順次データを記憶保持しておく機能(バッファメモリ機能)を有しているものとする。
【0023】
面順次圧縮部12は、点順次データ入力部11に入力された点順次データを圧縮して、面順次圧縮データを得るものである。詳しくは、面順次圧縮部12では、点順次データ入力部11から点順次データを受け取るとともに、例えば全体制御部からその点順次データに対する圧縮処理を制御するための圧縮パラメータを受け取り、その圧縮パラメータに従いながら点順次データを面順次形式に変換しながら面順次圧縮データとして圧縮するようになっている。
【0024】
このときに面順次圧縮部12が用いる圧縮パラメータは、例えば全体制御部に予め複数種類のものが設定されており、面順次圧縮部12がその中から例えば所定の優先順に従っていずれか一つを選択するものとする。なお、圧縮パラメータとは、詳細を後述するように、面順次圧縮部12が行う圧縮処理の態様(特に、その圧縮率等)を特定するためのパラメータをいう。
【0025】
面データサイズ算出部13は、面順次圧縮部12での圧縮処理に先立ち、点順次データ入力部11に入力された点順次データについて、面順次圧縮部12が用いる圧縮パラメータで圧縮した場合のデータ量を算出するものである。すなわち、面データサイズ算出部13では、点順次データとともに圧縮パラメータを受け取り、その受け取った圧縮パラメータにて点順次データを面順次形式に変換しつつ圧縮した場合の圧縮後のデータサイズを算出する。そして、その算出結果を、出力判断部14へ通知するようになっている。
【0026】
出力判断部14は、面データサイズ算出部13でのデータ量の算出結果(圧縮後データサイズ)を予め定められた設定データ量(目標データサイズを計算するためのパラメータをも含む)と比較し、その比較結果に応じて以下のような指示を面順次圧縮部12または面データサイズ算出部13へ与えるものである。すなわち、出力判断部14では、算出結果が設定データ量の範囲内であれば、面順次圧縮部12に圧縮処理行わせるが、算出結果が設定データ量の範囲内になければ、面順次圧縮部12が用いる圧縮パラメータの変更および変更後の圧縮パラメータでの面データサイズ算出部13によるデータ量の再算出を行わせるようになっている。
【0027】
面データ出力部15は、面順次圧縮部12での圧縮処理がされた面順次圧縮データを受け取って、その面順次圧縮データを所定のタイミングで画像出力装置16に転送するものである。これにより、画像出力装置16では、面データ出力部15から面順次圧縮データを受け取り、これを伸張してから目的とする出力画像を記録用紙上に出力することができるのである。
【0028】
全体制御部は、上述した各部11〜16の動作を管理するためのもので、そのために必要となる指示通知機能やデータ格納機能等を有しているものである。
【0029】
これらの各部11〜16(全体制御部を含む)は、例えばASIC(Application Specified Integrated Circuit)のようなハードウエアによって実現することが考えられるが、ソフトウエアによって実現されたものであっても構わない。すなわち、カラープリンタが具備するもので、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)等の組み合わせからなるコンピュータが、所定の画像符号化プログラムを実行することによって実現されるものであってもよい。この場合、画像符号化プログラムは、予めカラープリンタにインストールしておくことが考えられるが、コンピュータ読み取り可能な記憶媒体に格納されて提供されるものであっても、または有線若しくは無線による通信手段を介して配信されるものであってもよい。
【0030】
続いて、以上のように構成された画像符号化装置において、点順次形式の画像データから面順次形式の圧縮画像データを得る場合の処理手順について説明する。図2は、その処理手順の概要を示すフローチャートである。
【0031】
処理開始にあたって、画像符号化装置では、はじめに、全体制御部が、目標となるデータサイズを決定する。これは、このシステムが保証しなければならないメモリ量の制約等から一意に決定できるものである。例えば、画像出力装置16の解像度が600dpi、受信バッファのサイズが16MB、1ページ分のデータを蓄積してから出力を開始するという仕様であったとすると、A4/600dpiの文書は圧縮しない場合には128MB程度のデータ量であるため、圧縮率1/8を保証する必要がある。このようにシステムの静的な制限により目標とするデータサイズは決定される。
【0032】
目標データサイズを決定すると、その後は、圧縮を制御するための圧縮パラメータが設定される(S301)。この設定は、面順次圧縮部12が例えば所定の優先順に従っていずれか一つの圧縮パラメータを選択することによって行われる。そして、圧縮パラメータの設定後は、点順次データ入力部11が点順次データを受け取る。これにより、その点順次データについての処理が開始されることになる。
【0033】
点順次データ入力部11が点順次データを受け取ると、面データサイズ算出部13は、設定された圧縮パラメータに従って面順次圧縮部12が圧縮処理を行った場合の面順次圧縮データのデータサイズを算出する(S302)。この算出については、周知技術を用いて行えばよいため、ここではその詳細な説明を省略する。そして、出力判断部14は、面データサイズ算出部13が算出した面順次圧縮データのデータサイズと既に決定されている目標データサイズとを比較する(S303)。その結果、面順次圧縮データのデータサイズが目標データサイズより小さくなっていれば、出力判断部14は、出力可能(OK)と判断する。また、目標データサイズより小さくなっていなければ、出力不可能(NG)と判断する。
【0034】
出力判断部14にて出力可能と判断された場合には、面順次圧縮部12は、点順次データ入力部11から点順次データを読み出して、設定された圧縮パラメータに従って、面順次形式への変換および圧縮符号化を併せて行い(S304)、面順次圧縮データを得る。そして、面データ出力部15は、その面順次圧縮データを受け取って、所定のタイミングで画像出力装置16に転送する。これにより、画像出力装置16は、その面順次圧縮データを可視画像として記録用紙上に出力することになる(S305)。
【0035】
一方、出力判断部14にて出力不可能と判断された場合には、再度パラメータ設定に戻り(S301)、圧縮率が高くなるように圧縮パラメータを変更する。すなわち、面順次圧縮部12は、既に選択した圧縮パラメータに替えて、所定の優先順に従って新たな圧縮パラメータを選択する。そして、その新たな圧縮パラメータに従いつつ、再び上述した各ステップ(S302〜S305)を繰り返して行う。このことから、圧縮パラメータについての優先順は、圧縮率の高低に対応して定められていると言うことができる。
【0036】
次いで、上述した処理手順について、具体例を挙げてさらに詳しく説明する。ここでは、具体例として、ランレングス圧縮形式を例に挙げる。
【0037】
ここで、ランレングス圧縮形式について簡単に説明する。図3は、点順次形式の圧縮フォーマットの1レコードを示す説明図である。図例のように、点順次形式では、各フィールドは固定長で、画素値情報がコンポーネント(この例では「色1」〜「色3」の3コンポーネント)分だけ並んでいて、その次にラン長がくるように構成されている。
【0038】
また、図4は、面順次形式の圧縮フォーマットの1レコードを示す説明図である。図例のように、面順次形式においても、各フィールドは固定長で、1コンポーネント分の画素値情報とラン長で構成されている。
【0039】
したがって、ランレングス圧縮形式では、点順次データから面順次圧縮データを得るために、コンポーネント固有情報および共通情報を取り出して、各コンポーネント毎にコンポーネント固有情報と共通情報を出力する、といったことを行うことになる。
【0040】
このようなランレングス圧縮形式における圧縮パラメータは、一度に何ライン分のデータを処理するかを指定する。例えば、「1」が指定された場合には、可逆のランレングス圧縮を行い、「1」より大きい数値が指定された場合には、指定されライン数を1ラインに縮小し、伸張時に指定したライン数分のデータを繰り返す(単純拡大)、といった処理を行うことになる。
【0041】
図5は、出力の対象となるサンプル画像の具体例を示す説明図である。図例の画像は、ページサイズが800画素×600画素、RGB点順次表現、画素数(100,100)の位置から600画素×100画素の大きさの図形が4種類隙間なく描画されているものとする。この画像の非圧縮サイズは、800画素×600画素×3色成分(24ビット)=1440000バイトである。
【0042】
図6は、図5に示したサンプル画像を点順次のランレングス圧縮形式(図3参照)で表現した場合の例を示す説明図である。図例の場合、例えば最初のブロックは、色値(0,0,0)が800連続しており、さらにこのラインが99回連続している。次のブロックは、色値(0,0,0)が100、色値(1,0,0)が600、色値(0,0,0)が100連続しており、さらにこの組み合わせが99回連続している。以下、同様にして各図形を表現するブロックが続く。このような画像データにおける総レコード数は、1400(100+300×4+100)となる。ここで、色値を24ビット、ラン長を32ビットで表現したとすると、1400×(24+32)/8=9800バイトとなる。
【0043】
図7は、図5に示したサンプル画像を面順次のランレングス圧縮形式(図4参照)で表現した場合の例を示す説明図である。図例の場合、図6に示した点順次データの色値が第1コンポーネントだけになっている。したがって、画像データ全体の総レコード数は、4200(1400×3コンポーネント)となる。ここで、色値を8ビット、ラン長を32ビットで表現したとすると、4200×40/8=21000バイトとなる。
【0044】
続いて、以上のようなランレングス圧縮形式に対応した具体例として、図5に示した画像を表現する画像データが一行単位で入力され、ページ単位で圧縮データサイズを保証する場合の処理を説明する。面順次データのレコードサイズは、先の説明と同様に(図7参照)、色値を8ビット、ラン長を32ビットで表現するものとする。すなわち、1レコードを5バイトで表現する。また、目標圧縮率は1/80とする。したがって、目標データサイズは、1440000/80=18000バイトとなる。
【0045】
圧縮データサイズを保証するのにあたり、画像符号化装置では、上述したように、先ず、圧縮パラメータが設定される(図2におけるS301参照)。ここでは、圧縮パラメータとして最初は「1(可逆)」を使用し、データサイズが未達の場合に「2」を使用するように、圧縮パラメータの優先順が定められているものとする。したがって、先ず、パラメータ設定として、「1」をセットする。
【0046】
そして、圧縮パラメータの設定後は、図5に示した1行目のデータが入力される。すなわち、1ライン全部が(0,0,0)であるデータが入力される。ここで、面順次圧縮データサイズ計算として(図2におけるS302参照)、点順次のラインデータから面順次ランレングス圧縮した場合のデータ量を計算するために、同値の画素が何画素連続しているかを調査する。結果として、(0,0,0)の画素値データが800画素分連続していることが判別されるので、この行を表現するのに必要なレコード数は、1レコード×3コンポーネント分であることが分かる。すなわち、このラインの面順次圧縮結果は、3レコード×5バイト=15バイトにて表現されることが計算できる。このようにして、全てのラインを入力して計算すると、図5に示した画像は、4200レコード×5バイト=21000バイト必要であることが計算できる。
【0047】
面順次圧縮データサイズ計算後は、続いて、データサイズ判定を実施する(図2におけるS303参照)。その結果、21000(計算値)>18000(目標値)であるため、目標値に達していないことが判断される。したがって、パラメータ設定に戻ることになる。
【0048】
2回目のパラメータ設定では、優先順に従って「2」が設定されるので、2ライン入力して1ラインとして処理するようになる。ここでは、説明のために、単純間引きで、入力した2ラインのうち最初の1ラインのデータだけを用いて、2ライン目のデータは破棄することで処理する。したがって、面順次圧縮データサイズ計算では、1回目の処理同様、(0,0,0)の画素値データが800画素連続していることが判別されるので、この2ラインを表現するのに必要なレコード数は3レコード分であることが分かる。すなわち、2ラインが15バイトにて表現されることが計算できる。そして、全てのラインを入力して計算すると、図5に示した画像を圧縮パラメータ「2」で処理すると、2100レコード×5バイト=10500バイト必要であることが計算できる。
【0049】
この計算結果に対して再度データサイズ判定を実施すると、10500(計算値)<18000(目標値)であるため、目標値に達したことが判断される。したがって、面順次圧縮処理(図2におけるS304参照)へ進むことになる。
【0050】
この面順次圧縮処理においても、圧縮パラメータ「2」に従って処理されるため、2ライン入力して1ラインのデータとして圧縮される。すなわち、最初の2ライン分のデータは、最初の1ライン分のデータである(0,0,0)の画素値データが800画素連続しているデータとして処理されるので、結果として図7で示されるコンポーネントの圧縮データが生成される。
【0051】
各コンポーネントの圧縮処理は、点順次データを入力しているため、コンポーネント別にコンポーネント数分の面ごとの圧縮としてもよいし、ライン単位で処理して、全てのコンポーネント圧縮データを生成後、特定コンポーネントだけ出力して、残りのコンポーネントはファイルなどに一時保存しておいて、最後にまとめて出力するようにしてもよい。
【0052】
このように、点順次データ入力部11がバッファメモリ機能を有しており、入力データ(点順次データ)を残しておける場合には、その入力データを何度参照してもよく、一度だけ面毎の圧縮処理を実施すればよい。
【0053】
〔第2の実施の形態〕
次に、本発明の第2の実施の形態について説明する。ただし、ここでは、上述した第1の実施の形態と相違点についてのみ説明する。
【0054】
図8は、本発明に係る画像符号化装置を含むカラー画像符号化・復号化装置の概略構成の他の例を示すブロック図である。図例のように、本実施形態における画像符号化装置は、面順次圧縮部12に代わって、点順次圧縮部17、点順次圧縮データ蓄積部18および面順次データ生成部19が設けられている点で、上述した第1の実施の形態の場合(図1参照)とは相違する。
【0055】
また、点順次データ入力部11も、受け取った点順次データを記憶保持しておくバッファメモリ機能を有していない点で、上述した第1の実施の形態の場合とは相違する。すなわち、本実施形態における画像符号化装置は、入力データを残しておけない場合に対応するためのものである。
【0056】
点順次圧縮部17は、点順次データ入力部11に入力された点順次データを圧縮して、点順次形式で表現される圧縮画像データ(以下、単に「点順次圧縮データ」という)を得るものである。詳しくは、点順次圧縮部17では、点順次データ入力部11から点順次データを受け取るとともに、例えば全体制御部からその点順次データに対する圧縮処理を制御するための圧縮パラメータを受け取り、その圧縮パラメータに従いながら点順次データを点順次形式のまま圧縮するようになっている。また、点順次圧縮部17では、必要に応じて点順次圧縮データを元の点順次データに伸張する処理も行う。
【0057】
点順次圧縮データ蓄積部18は、点順次圧縮部17で得られた点順次圧縮データを保存蓄積するものである。これにより、点順次圧縮データ蓄積部18からは、必要に応じて点順次圧縮データを読み出せるようになっている。
【0058】
面順次データ生成部19は、点順次圧縮データ蓄積部18から点順次圧縮データを読み出して、これを面順次圧縮データに変換するものである。その際に、面順次データ生成部19では、点順次の圧縮形式から面順次の圧縮形式へ、データを伸張することなく形式変更するようになっている。
【0059】
続いて、以上のように構成された画像符号化装置において、点順次形式の画像データから面順次形式の圧縮画像データを得る場合の処理手順について説明する。図9は、その処理手順の概要を示すフローチャートである。
【0060】
処理開始にあたって、画像符号化装置では、第1の実施の形態の場合と同様、目標データサイズの決定後に、圧縮パラメータが設定される(S401)。そして、点順次データ入力部11が点順次データを受け取ると、点順次圧縮部17が設定された圧縮パラメータに従って点順次圧縮を行い、点順次圧縮データ蓄積部18がその点順次圧縮によって得られた点順次圧縮データを保存する(S402)。このときに入力データ(元の点順次データ)は破棄され、再利用することができなくなる。
【0061】
点順次圧縮データの保存後は、面データサイズ算出部13が、その点順次圧縮データから、これを面順次圧縮データに変換した場合のデータサイズを算出する(S403)。この算出については、周知技術を用いて行えばよいため、ここではその詳細な説明を省略する。そして、出力判断部14は、面データサイズ算出部13が算出した面順次圧縮データのデータサイズと既に決定されている目標データサイズとを比較する(S404)。その結果、面順次圧縮データのデータサイズが目標データサイズより小さくなっていれば、出力判断部14は、出力可能(OK)と判断する。また、目標データサイズより小さくなっていなければ、出力不可能(NG)と判断する。
【0062】
出力判断部14にて出力可能と判断された場合には、面順次データ生成部19は、点順次圧縮データ蓄積部18から点順次圧縮データを読み出して、点順次の圧縮形式から面順次の圧縮形式へ、データを伸張することなく形式変更する(S405)。そして、面データ出力部15は、その形式変換によって得られた面順次圧縮データを受け取って、所定のタイミングで画像出力装置16に転送する。これにより、画像出力装置16は、その面順次圧縮データを可視画像として記録用紙上に出力することになる(S406)。
【0063】
一方、出力判断部14にて出力不可能と判断された場合には、入力データは既になくなっているので、点順次圧縮部17が点順次圧縮データ蓄積部18から点順次圧縮データを読み出して伸張し(S407)、元の入力データ(点順次データ)を復元する。そして、再度パラメータ設定に戻り(S401)、圧縮率が高くなるように圧縮パラメータを変更する。すなわち、点順次圧縮部17は、既に選択した圧縮パラメータに替えて、所定の優先順に従って新たな圧縮パラメータを選択する。そして、その新たな圧縮パラメータに従いつつ、再び上述した各ステップ(S402〜S407)を繰り返して行う。
【0064】
次いで、上述した処理手順について、具体例を挙げてさらに詳しく説明する。ここでは、図5に示す画像データが1行単位で入力され、ページ単位で圧縮データサイズを保証する場合の処理を例に挙げて説明する。それ以外の条件については、第1の実施の形態の場合と同様である。つまり、ここでも、具体例としてランレングス圧縮形式を挙げる。
【0065】
圧縮データサイズを保証するのにあたっては、先ず、圧縮パラメータが設定される(図9におけるS401参照)。このとき、パラメータ設定として「1」がセットされる。そして、その後は、点順次圧縮部17での点順次圧縮が実行されるため、図5の画像データが全て入力されると、図6に示す点順次圧縮データが生成されることになる(図9におけるS402参照)。
【0066】
ここで、面順次圧縮データサイズ計算を行うことになるが(図9におけるS403参照)、その面順次圧縮データサイズ計算では、面順次圧縮後に必要なレコード数が点順次圧縮に必要となったレコード数×3であるため、点順次圧縮時に作成したレコード数だけをカウントしておく。例えば、図5に示す画像データを全て点順次圧縮すると、使用したレコード数は1400であることがカウントされるので、このレコードから面順次圧縮すると、4200レコード必要であり、21000バイト必要であることが計算できる。
【0067】
面順次圧縮データサイズ計算後は、続いて、データサイズ判定を実施する(図9におけるS404参照)。その結果、21000(計算値)>18000(目標値)であるため、目標値に達していないことが判断される。したがって、点順次圧縮したデータを伸張して(図9におけるS407参照)、再度パラメータ設定に戻る。なお、ここでは説明のために先に点順次伸張を実施したが、パラメータ設定後に伸張しながらデータを供給するようにしても構わない。
【0068】
2回目のパラメータ設定では、優先順に従って「2」が設定されるので、2ライン入力して1ラインとして処理するようになる。そして、再設定されたパラメータによって点順次圧縮後に作成されたレコード数は、700レコードになる(第1の実施の形態参照)。したがって、面順次圧縮データサイズ計算では、700×3×5バイト=10500バイト必要であることが計算できる。
【0069】
この計算結果に対して再度データサイズ判定を実施すると、10500(計算値)<18000(目標値)であるため、目標値に達したことが判断される。したがって、点面変換処理(図9におけるS405参照)へ進むことになる。
【0070】
点面変換処理は、点順次圧縮データから面順次圧縮データを作成する処理で、同時に複数コンポーネントのデータを生成しても良いし,コンポーネント数分の繰り返しで処理しても良い。ここでは、コンポーネント数分の繰り返しで処理することにする。先ず、処理対象のコンポーネントを第1コンポーネントに設定する。続いて、図6の点順次圧縮データを読み出して、処理対象コンポーネントの画素値を出力した後、ラン長を出力する。この処理を全てのレコードがなくなるまで繰り返す。そして、全てのレコードがなくなったら、次の処理対象コンポーネントとして、第2コンポーネントを設定して上述の処理を行い、最後に第3コンポーネントを処理対象コンポーネントとして上述の処理を行い、点順次圧縮データから面順次圧縮データへの変換を終了する。なお、面順次圧縮データの出力処理(図9におけるS406参照)については、上述したコンポーネント毎の変換処理をしながら、その都度出力してしまってもよい。
【0071】
このように、点順次データ入力部11がバッファメモリ機能を有しておらず、入力データを残しておけない場合は、点順次圧縮した結果を伸張することで点順次のまま処理し、最後に一度だけ点順次圧縮データから面順次圧縮データへの変換を行うようにすればよい。
【0072】
以上に説明したように、第1および第2の実施の形態で説明した画像符号化装置(その画像符号化装置を実現する画像符号化プログラムを含む。以下、同様とする)によれば、圧縮データサイズを保証するためのデータ量算出を、点面変換を伴う圧縮処理または点面変換処理に先立って行うようになっている。つまり、圧縮符号化対象が点順次形式の状態のままで、データ量が算出される。そのため、点面変換を伴いつつ画像データを圧縮符号化する場合であっても、あるいは圧縮符号化後に点面変換する場合であっても、圧縮後のデータ量が設定データ量の範囲内に収まる圧縮パラメータが設定されるまでは点面変換や圧縮符号化が行われないので、不必要な点面変換や面点変換を避けることができる。
【0073】
したがって、第1および第2の実施の形態で説明した画像符号化装置を用いれば、圧縮後のデータサイズを保証する処理を導入した場合であっても、データを点順次形式の状態のまま取り扱えばよく、面毎の圧縮処理や面毎の伸張処理等を繰り返して行う必要がないので、従来(従来例1や従来例2等)の場合に比べて、処理の迅速化を実現することが可能となる。つまり、点順次形式の圧縮のほうが、面毎の圧縮方式より高速で行え、また不必要な点面変換や面点変換を避けることができることから、処理の高速化を実現できるのである。
【0074】
また、同じ処理時間を費やしてよいのであれば、従来よりも繰り返し数を増やすことができるので、より高画質なパラメータを試すことができる。すなわち、処理の迅速性を損なうことなく、出力画像の高画質化が実現可能となることも期待される。さらには、点順次形式の状態で圧縮・伸張を行うための手段を実装しさえすればよく、面毎の圧縮処理や面毎の伸張処理等のための手段が不要なため、装置規模を小さくすることもできる。
【0075】
なお、上述した第1および第2の実施の形態では、具体例としてランレングス圧縮形式を例に挙げて説明したが、本発明はこれに限定されるものではなく、他の圧縮形式であっても構わないことは言うまでもない。他の圧縮形式としては、JPEG(Joint Photographic Experts Groups)等の圧縮フォーマットが挙げられる。JPEGを使用した場合には、ブロック単位(例えば8画素×8画素単位)での圧縮処理が行われることから、ブロックライン毎に処理をして、そのブロックラインの処理が終了した段階で目標データ量と比較し、データ量が目標値より大きくなっていれば、再度現在のブロックラインの圧縮パラメータを変更する、といった処理を行うようにすればよい。また、ブロックライン毎ではなくページ単位でのデータ量保証であれば、点順次形式のまま圧縮しておいて、1ページ分の処理が終了した後にデータ量を判定すればよい。さらには、変換処理についても、点順次で圧縮されたデータを読み出して、伸張せずに解釈だけ実施し、画素値データを格納してあるフィールドを取り出して、特定コンポーネント毎のデータに変換すればよいだけである。このように、本発明は、圧縮形式や圧縮フォーマット等には何ら依存するものではない。
【0076】
さらに、データサイズを保証する単位も、特に限定されるものではない。例えば、上述した実施の形態の場合のようなページ単位ではなく、ライン単位の保証にしてもよい。その場合には、ライン単位で必要なレコード数をカウントし、目標となるレコード数に達していなければ、次のラインへ処理を進める前に、圧縮パラメータを一時的に変更し、再度今のラインの処理を行えばよい。また、JPEGにおけるブロック単位のように、圧縮アルゴリズムが規定するの副走査方向単位の整数倍を一つの単位として行うことも考えられる。さらには、ページ単位、ライン単位およびブロック単位を適宜組み合わせるようにしても構わない。
【0077】
【発明の効果】
以上に説明したように、本発明に係る画像符号化装置および画像符号化プログラムによれば、点面変換を伴いつつ画像データを圧縮符号化する際の圧縮率を保証する場合、すなわち点順次形式の画像データから得る面順次形式の圧縮データが定められたデータ量より小さくなることを保証するための場合であっても、不必要な点面変換や面点変換を回避し得るため、結果として処理の迅速化が可能となり、従来よりも処理の高速化を実現することができる。
【図面の簡単な説明】
【図1】 本発明に係る画像符号化装置を含むカラー画像符号化・復号化装置の概略構成の一例を示すブロック図である。
【図2】 図1の画像符号化装置を含むカラー画像符号化・復号化装置において、点順次形式の画像データから面順次形式の圧縮画像データを得る場合の処理手順の概要を示すフローチャートである。
【図3】 点順次形式の圧縮フォーマットの1レコードを示す説明図である。
【図4】 面順次形式の圧縮フォーマットの1レコードを示す説明図である。
【図5】 出力の対象となるサンプル画像の具体例を示す説明図である。
【図6】 図5のサンプル画像を点順次のランレングス圧縮形式で表現した場合の例を示す説明図である。
【図7】 図5のサンプル画像を面順次のランレングス圧縮形式で表現した場合の例を示す説明図である。
【図8】 本発明に係る画像符号化装置を含むカラー画像符号化・復号化装置の概略構成の他の例を示すブロック図である。
【図9】 図8の画像符号化装置を含むカラー画像符号化・復号化装置において、点順次形式の画像データから面順次形式の圧縮画像データを得る場合の処理手順の概要を示すフローチャートである。
【図10】 面順次形式および点順次形式の各方式の画像データの概念を示す説明図であり、(a)は面順次形式を示す図、(b)は点順次形式を示す図である。
【図11】 従来例1における処理を説明するフローチャートである。
【図12】 従来例2における処理を説明するフローチャートである。
【図13】 従来例1において、入力データを残しておける場合に、出力サイズ保証処理を導入した場合の処理を説明するフローチャートである。
【図14】 従来例1において、入力データを残しておけない場合に、出力サイズ保証処理を導入した場合の処理を説明するフローチャートである。
【図15】 従来例2において、入力データを残しておける場合に、出力サイズ保証処理を導入した場合の処理を説明するフローチャートである。
【図16】 従来例2において、入力データを残しておけない場合に、出力サイズ保証処理を導入した場合の処理を説明するフローチャートである。
【符号の説明】
11…点順次データ入力部、12…面順次圧縮部、13…面データサイズ算出部、14…出力判断部、15…面データ出力部、16…画像出力装置、17…点順次圧縮部、18…点順次圧縮データ蓄積部、19…面順次データ生成部

Claims (6)

  1. 点順次形式で表現される画像データが入力される点順次データ入力部と、
    前記点順次データ入力部に入力された画像データを圧縮して、点順次形式で表現される圧縮画像データを得る点順次圧縮部と、
    前記点順次圧縮部で得られた圧縮画像データを保存蓄積する点順次圧縮データ蓄積部と、
    前記点順次圧縮データ蓄積部から圧縮画像データを読み出して面順次形式で表現される圧縮画像データに変換する面順次データ生成部と、
    前記面順次データ生成部での圧縮画像データの変換処理に先立ち、当該変換処理前の点順次形式の圧縮画像データに基づき、当該変換処理後の面順次形式の圧縮画像データについてのデータ量を算出する面データサイズ算出部と、
    前記面データサイズ算出部でのデータ量の算出結果を予め定められた設定データ量と比較し、当該算出結果が設定データ量の範囲内であれば前記面順次データ生成部に圧縮画像データの変換処理行わせ、当該算出結果が設定データ量の範囲内になければ前記点順次圧縮データ蓄積部内の圧縮画像データを伸長した後に圧縮パラメータを変えて前記点順次圧縮部に再圧縮させる出力判断部と
    を備えることを特徴とする画像符号化装置。
  2. 前記出力判断部は、データ量の算出結果と設定データ量との比較を、画像データのスキャンライン単位で行う
    ことを特徴とする請求項1記載の画像符号化装置。
  3. 前記出力判断部は、データ量の算出結果と設定データ量との比較を、画像データのページ単位で行う
    ことを特徴とする請求項1記載の画像符号化装置。
  4. 前記出力判断部は、データ量の算出結果と設定データ量との比較を、圧縮アルゴリズムが規定する副走査方向単位の整数倍を一つの単位として行う
    ことを特徴とする請求項1記載の画像符号化装置。
  5. 面順次形式で表現される圧縮画像データへの変換を、コンポーネント固有情報および共通情報を取り出して、各コンポーネント毎にコンポーネント固有情報と共通情報を出力することによって行う
    ことを特徴とする請求項1〜4のいずれか1項に記載の画像符号化装置。
  6. 点順次形式で表現される画像データから面順次形式で表現される圧縮画像データを得るための画像符号化プログラムであって、
    コンピュータを、
    点順次形式で表現される画像データが入力される点順次データ入力手段と、
    前記点順次データ入力手段に入力された画像データを圧縮して、点順次形式で表現される圧縮画像データを得る点順次圧縮手段と、
    前記点順次圧縮手段で得られた圧縮画像データを保存蓄積する点順次圧縮データ蓄積手段と、
    前記点順次圧縮データ蓄積手段から圧縮画像データを読み出して面順次形式で表現される圧縮画像データに変換する面順次データ生成手段と、
    前記面順次データ生成手段での圧縮画像データの変換処理に先立ち、当該変換処理前の点順次形式の圧縮画像データに基づき、当該変換処理後の面順次形式の圧縮画像データについてのデータ量を算出する面データサイズ算出手段と、
    前記面データサイズ算出手段でのデータ量の算出結果を予め定められた設定データ量と比較し、当該算出結果が設定データ量の範囲内であれば前記面順次データ生成手段に圧縮画像データの変換処理行わせ、当該算出結果が設定データ量の範囲内になければ前記点順次圧縮データ蓄積手段内の圧縮画像データを伸長した後に圧縮パラメータを変えて前記点順次圧縮部に再圧縮させる出力判断手段と
    を備えることを特徴とする画像符号化プログラム。
JP2002189185A 2002-06-28 2002-06-28 画像符号化装置および画像符号化プログラム Expired - Fee Related JP3997851B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002189185A JP3997851B2 (ja) 2002-06-28 2002-06-28 画像符号化装置および画像符号化プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002189185A JP3997851B2 (ja) 2002-06-28 2002-06-28 画像符号化装置および画像符号化プログラム

Publications (2)

Publication Number Publication Date
JP2004032588A JP2004032588A (ja) 2004-01-29
JP3997851B2 true JP3997851B2 (ja) 2007-10-24

Family

ID=31183675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002189185A Expired - Fee Related JP3997851B2 (ja) 2002-06-28 2002-06-28 画像符号化装置および画像符号化プログラム

Country Status (1)

Country Link
JP (1) JP3997851B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4618436B2 (ja) * 2006-02-10 2011-01-26 富士ゼロックス株式会社 符号化装置、復号化装置、符号化方法、復号化方法、及びプログラム
JP6855722B2 (ja) * 2016-09-21 2021-04-07 富士ゼロックス株式会社 画像処理装置およびプログラム

Also Published As

Publication number Publication date
JP2004032588A (ja) 2004-01-29

Similar Documents

Publication Publication Date Title
JP4533043B2 (ja) 画像符号化装置及び方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP5432450B2 (ja) エントロピー符号化を利用したカラー画像データの可逆圧縮
US8452083B2 (en) Image processing apparatus, image processing method, and computer-readable medium
US7734103B2 (en) Image processing apparatus and image processing method
JP3661520B2 (ja) 画像処理装置、画像処理方法、画像形成装置及びプログラムを記録した記録媒体
JP5479225B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011254405A (ja) 画像処理装置及びその処理方法
JP3997851B2 (ja) 画像符号化装置および画像符号化プログラム
JP5441676B2 (ja) 画像処理装置及びその処理方法
JP3815214B2 (ja) 画像処理装置および画面処理プログラムを記録した記憶媒体
US8531746B2 (en) Image processing apparatus
JP4802853B2 (ja) 画像処理装置および画像処理プログラム
JP5599033B2 (ja) 画像処理装置及び方法、並びにプログラム
JP4771095B2 (ja) 画像圧縮装置
JP4859215B2 (ja) データ処理装置、及び、制御方法
JP2004159035A (ja) 画像処理装置
JP2013121154A (ja) 画像処理装置
JP4399965B2 (ja) 印刷装置および印刷方法
JP4423812B2 (ja) 描画処理装置および描画処理方法
JP2003069831A (ja) 画像処理装置、画像表示方法、並びにコンピュータ・プログラム
JP5595142B2 (ja) 画像処理装置及び画像処理方法
JP2014099742A (ja) カラーモノクロ判定
JP2003234910A (ja) マルチファンクションシステム
JP2012095227A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2010278650A (ja) 画像圧縮処理装置、画像形成装置、コンピュータプログラム、記録媒体及び画像圧縮方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070730

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100817

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110817

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120817

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120817

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130817

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees