JP3687080B2 - 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体 - Google Patents

画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体 Download PDF

Info

Publication number
JP3687080B2
JP3687080B2 JP20664596A JP20664596A JP3687080B2 JP 3687080 B2 JP3687080 B2 JP 3687080B2 JP 20664596 A JP20664596 A JP 20664596A JP 20664596 A JP20664596 A JP 20664596A JP 3687080 B2 JP3687080 B2 JP 3687080B2
Authority
JP
Japan
Prior art keywords
components
dynamic range
image
block
maximum value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP20664596A
Other languages
English (en)
Other versions
JPH1032838A (ja
Inventor
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP20664596A priority Critical patent/JP3687080B2/ja
Priority to US08/892,601 priority patent/US6058217A/en
Publication of JPH1032838A publication Critical patent/JPH1032838A/ja
Application granted granted Critical
Publication of JP3687080B2 publication Critical patent/JP3687080B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/005Statistical coding, e.g. Huffman, run length coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体に関する。特に、コンポーネントの画像信号を効率良く圧縮符号化することができるようにする画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体に関する。
【0002】
【従来の技術】
従来より、画像の圧縮方法については、種々の方法が提案されているが、そのうちの1つに、ADRC(Adaptive Dynamic Range Coding)がある。
【0003】
即ち、例えば、いま、説明を簡単にするため、図9(A)に示すように、直線上に並んだ4画素で構成されるブロックを考えると、ADRCにおいては、まず最初に、ブロック内の画素値の最大値MAXと最小値MINが検出される。そして、DR=MAX−MINを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、ブロックを構成する画素の画素値がKビットに再量子化される。
【0004】
即ち、ブロック内の各画素値から、最小値MINが減算し、その減算値をDR/2Kで除算する。そして、その結果得られる除算値に対応するコード(ADRCコード)に変換される。具体的には、例えば、K=2とした場合、図9(B)に示すように、除算値が、ダイナミックレンジDRを4(=22)等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から2番目のレベルの範囲、下から3番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、00B,01B,10B、または11Bなどの2ビットにコード化される(Bは2進数であることを表す)。そして、復号側においては、ADRCコード00B,01B,10B、または11Bは、ダイナミックレンジDRを4等分して得られる最も下のレベルの範囲の中心値(レベル)L00、下から2番目のレベルの範囲の中心値L01、下から3番目のレベルの範囲の中心値L10、または最も上のレベルの範囲の中心値L11に変換され、その値に、最小値MINが加算されることで復号が行われる。
【0005】
ここで、このようなADRC処理はノンエッジマッチングと呼ばれる。このようなノンエッジマッチングに対して、図9(C)に示すように、ダイナミックレンジDRを4等分して得られる最も下のレベルの範囲に属する画素値の平均値MIN’、またはその最も上のレベルの範囲に属する画素値の平均値MAX’に、ADRCコード00Bまたは11Bそれぞれを変換するとともに、MAX’−MIN’で規定されるダイナミックレンジDR’を等分(3等分)するレベルに、ADRCコード01Bと10Bを変換することにより、ADRCコードの復号を行うようなADRC処理があり、これは、エッジマッチングと呼ばれる。
【0006】
なお、ADRC処理については、本件出願人が先に出願した、例えば、特開平3−53778号公報などに、その詳細が開示されている。
【0007】
ADRCによれば、ブロックを構成する各画素に割り当てられているビット数より少ないビット数で再量子化を行うことにより、画像のデータ量を削減することができる。
【0008】
【発明が解決しようとする課題】
ところで、画像は、その信号の種類により、例えば、NTSC方式やPAL方式などのコンポジット信号と、例えば、RGBや、YUV,YIQ,CMY(K)などのコンポーネント信号とに、大きく分けることができる。
【0009】
コンポジット信号の画像については、符号化処理を、コンポジット信号に対してだけ施せば良いが、コンポーネント信号の画像については、符号化処理を、そのコンポーネント信号を構成するR,G,B成分や、Y,U,V成分、Y,I,Q成分などの3つの成分それぞれに対して施す必要がある。
【0010】
従って、単純に比較した場合、コンポーネント信号の画像を符号化して得られるについての発生符号量は、コンポジット信号の画像を符号化して得られる発生符号量の3倍になる。
【0011】
本発明は、このような状況に鑑みてなされたものであり、コンポーネント信号を効率良く圧縮符号化することができるようにするものである。
【0012】
【課題を解決するための手段】
請求項1に記載の画像符号化装置は、ブロック内の画素におけるコンポーネント信号を構成する複数の成分それぞれの最大値と最小値とを検出する最大最小検出手段と、複数の成分それぞれの最大値と最小値との差分であるダイナミックレンジを算出するダイナミックレンジ算出手段と、複数の成分それぞれのダイナミックレンジから、その最大値であるブロックダイナミックレンジを検出するブロックダイナミックレンジ検出手段と、複数の成分それぞれを量子化するための量子化ステップ幅を、ブロックダイナミックレンジに基づいて決定する量子化ステップ幅決定手段と、量子化ステップ幅決定手段により決定された量子化ステップ幅にしたがって、複数の成分それぞれを量子化する量子化手段とを備えることを特徴とする。
【0013】
請求項4に記載の画像符号化方法は、ブロック内の画素におけるコンポーネント信号を構成する複数の成分それぞれの最大値と最小値とを検出し、複数の成分それぞれの最大値と最小値との差分であるダイナミックレンジを算出し、複数の成分それぞれのダイナミックレンジから、その最大値であるブロックダイナミックレンジを検出し、複数の成分それぞれを量子化するための量子化ステップ幅を、ブロックダイナミックレンジに基づいて決定し、その量子化ステップ幅にしたがって、複数の成分それぞれを量子化することを特徴とする。
【0014】
請求項6に記載の画像復号化装置は、符号化データが、ブロック内の画素におけるコンポーネント信号を構成する複数の成分それぞれの最大値と最小値とを検出し、複数の成分それぞれの最大値と最小値との差分であるダイナミックレンジを算出し、複数の成分それぞれのダイナミックレンジから、その最大値であるブロックダイナミックレンジを検出し、複数の成分それぞれを量子化するための量子化ステップ幅を、ブロックダイナミックレンジに基づいて決定し、その量子化ステップ幅にしたがって、複数の成分それぞれを量子化することにより得られる量子化データである場合、複数の成分それぞれに対応する量子化データを、ブロックダイナミックレンジに基づいて、所定のレベルに変換する変換手段を備えることを特徴とする。
【0015】
請求項7に記載の画像復号化方法は、符号化データが、画像を、所定のブロックにブロック化し、ブロック内の画素におけるコンポーネント信号を構成する複数の成分それぞれの最大値と最小値とを検出し、複数の成分それぞれの最大値と最小値との差分であるダイナミックレンジを算出し、複数の成分それぞれのダイナミックレンジから、その最大値であるブロックダイナミックレンジを検出し、複数の成分それぞれを量子化するための量子化ステップ幅を、ブロックダイナミックレンジに基づいて決定し、その量子化ステップ幅にしたがって、複数の成分それぞれを量子化することにより得られる量子化データである場合、複数の成分それぞれに対応する量子化データを、ブロックダイナミックレンジに基づいて、所定のレベルに変換することを特徴とする。
【0016】
請求項1に記載の画像符号化装置においては、最大最小検出手段は、ブロック内の画素におけるコンポーネント信号を構成する複数の成分それぞれの最大値と最小値とを検出し、ダイナミックレンジ算出手段は、複数の成分それぞれの最大値と最小値との差分であるダイナミックレンジを算出するようになされている。ブロックダイナミックレンジ検出手段は、複数の成分それぞれのダイナミックレンジから、その最大値であるブロックダイナミックレンジを検出し、量子化ステップ幅決定手段は、複数の成分それぞれを量子化するための量子化ステップ幅を、ブロックダイナミックレンジに基づいて決定するようになされている。量子化手段は、量子化ステップ幅決定手段により決定された量子化ステップ幅にしたがって、複数の成分それぞれを量子化するようになされている。
【0017】
請求項4に記載の画像符号化方法においては、ブロック内の画素におけるコンポーネント信号を構成する複数の成分それぞれの最大値と最小値とを検出し、複数の成分それぞれの最大値と最小値との差分であるダイナミックレンジを算出し、複数の成分それぞれのダイナミックレンジから、その最大値であるブロックダイナミックレンジを検出し、複数の成分それぞれを量子化するための量子化ステップ幅を、ブロックダイナミックレンジに基づいて決定し、その量子化ステップ幅にしたがって、複数の成分それぞれを量子化するようになされている。
【0018】
請求項6に記載の画像復号化装置においては、符号化データが、ブロック内の画素におけるコンポーネント信号を構成する複数の成分それぞれの最大値と最小値とを検出し、複数の成分それぞれの最大値と最小値との差分であるダイナミックレンジを算出し、複数の成分それぞれのダイナミックレンジから、その最大値であるブロックダイナミックレンジを検出し、複数の成分それぞれを量子化するための量子化ステップ幅を、ブロックダイナミックレンジに基づいて決定し、その量子化ステップ幅にしたがって、複数の成分それぞれを量子化することにより得られる量子化データである場合において、変換手段が、複数の成分それぞれに対応する量子化データを、ブロックダイナミックレンジに基づいて、所定のレベルに変換するようになされている。
【0019】
請求項7に記載の画像復号化方法においては、符号化データが、画像を、所定のブロックにブロック化し、ブロック内の画素におけるコンポーネント信号を構成する複数の成分それぞれの最大値と最小値とを検出し、複数の成分それぞれの最大値と最小値との差分であるダイナミックレンジを算出し、複数の成分それぞれのダイナミックレンジから、その最大値であるブロックダイナミックレンジを検出し、複数の成分それぞれを量子化するための量子化ステップ幅を、ブロックダイナミックレンジに基づいて決定し、その量子化ステップ幅にしたがって、複数の成分それぞれを量子化することにより得られる量子化データである場合、複数の成分それぞれに対応する量子化データを、ブロックダイナミックレンジに基づいて、所定のレベルに変換するようになされている。
【0020】
【発明の実施の形態】
以下に、本発明の実施例(実施の形態)を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施例との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施例(但し、一例)を付加して、本発明の特徴を記述すると、次のようになる。
【0021】
即ち、請求項1に記載の画像符号化装置は、複数の成分で構成されるコンポーネント信号の画像を符号化する画像符号化装置であって、画像を、所定のブロックにブロック化するブロック化手段(例えば、図3に示すブロック化部21など)と、ブロック内の画素におけるコンポーネント信号を構成する複数の成分それぞれの最大値と最小値とを検出する最大最小検出手段(例えば、図3に示すダイナミックレンジ検出部23R,23G,23Bなど)と、複数の成分それぞれの最大値と最小値との差分であるダイナミックレンジを算出するダイナミックレンジ算出手段(例えば、図3に示すダイナミックレンジ検出部23R,23G,23Bなど)と、複数の成分それぞれのダイナミックレンジから、その最大値であるブロックダイナミックレンジを検出するブロックダイナミックレンジ検出手段(例えば、図3に示す最大値検出部24など)と、複数の成分それぞれを量子化するための量子化ステップ幅を、ブロックダイナミックレンジに基づいて決定する量子化ステップ幅決定手段(例えば、図3に示す最大値検出部24など)と、量子化ステップ幅決定手段により決定された量子化ステップ幅にしたがって、複数の成分それぞれを量子化する量子化手段(例えば、図3に示す量子化器27R,27G,27Bなど)とを備えることを特徴とする。
【0022】
請求項2に記載の画像符号化装置は、複数の成分それぞれと、その最小値との差分を演算する差分演算手段(例えば、図3に示す演算器26R,26G,26Bなど)をさらに備え、量子化手段が、複数の成分それぞれと、その最小値との差分を量子化することを特徴とする。
請求項3に記載の画像符号化装置は、量子化手段により得られる量子化データを記録媒体に記録する記録手段(例えば、図2に示す送信機/記録装置16)をさらに備えることを特徴とする。
【0023】
請求項4に記載の画像復号化装置は、複数の成分で構成されるコンポーネント信号の画像を符号化して得られる符号化データを復号化する画像復号化装置であって、符号化データが、画像を、所定のブロックにブロック化し、ブロック内の画素におけるコンポーネント信号を構成する複数の成分それぞれの最大値と最小値とを検出し、複数の成分それぞれの最大値と最小値との差分であるダイナミックレンジを算出し、複数の成分それぞれのダイナミックレンジから、その最大値であるブロックダイナミックレンジを検出し、複数の成分それぞれを量子化するための量子化ステップ幅を、ブロックダイナミックレンジに基づいて決定し、その量子化ステップ幅にしたがって、複数の成分それぞれを量子化することにより得られる量子化データである場合、複数の成分それぞれに対応する量子化データを、ブロックダイナミックレンジに基づいて、所定のレベルに変換する変換手段(例えば、図7に示す変換器32R,32G,32Bなど)を備えることを特徴とする。
【0024】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【0025】
図1は、本発明を適用した画像処理装置の一実施例の構成を示している。
【0026】
送信装置1には、ディジタル化された画像データが供給されるようになされている。なお、ここでは、画像データとして、例えば、R(Red),G(Green),B(Bule)の3成分で構成されるコンポーネント信号が供給されるようになされている。また、本実施例では、R,G,B成分は、それぞれ、例えば8ビットで構成されているものとする。
【0027】
送信装置1は、入力された画像データを、色空間においてADRC処理することにより圧縮、符号化し、その結果得られる符号化データを、例えば、光ディスクや、光磁気ディスク、磁気テープその他でなる記録媒体2に記録し、または、例えば、地上波や、衛星回線、電話回線、CATV網、その他の伝送路3を介して伝送する。
【0028】
受信装置4では、記録媒体2に記録された符号化データが再生され、または、伝送路3を介して伝送されてくる符号化データが受信され、その符号化データを伸張、復号化し、その結果得られる復号画像を、図示せぬディスプレイに供給して表示させる。
【0029】
なお、以上のような画像処理装置は、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置その他の、画像の記録/再生を行う装置や、あるいはまた、例えば、テレビ電話装置や、テレビジョン放送システム、CATVシステムその他の、画像の伝送を行う装置などに適用される。また、この画像処理装置は、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。
【0030】
図2は、送信装置1の構成例を示している。
【0031】
I/F(InterFace)11は、外部から供給される画像データの受信処理と、送信機/記録装置16に対しての、符号化データの送信処理を行うようになされている。ROM(Read Only Memory)12は、IPL(Initial Program Loading)用のプログラムその他を記憶している。RAM(Random Access Memory)13は、外部記憶装置15に記録されているシステムプログラム(OS(Operating System))やアプリケーションプログラムを記憶したり、また、CPU(Central Processing Unit)14の動作上必要なデータを記憶するようになされている。CPU14は、ROM12に記憶されているIPLプログラムにしたがい、外部記憶装置15からシステムプログラムおよびアプリケーションプログラムを、RAM13に展開し、そのシステムプログラムの制御の下、アプリケーションプログラムを実行することで、I/F11から供給される画像データについての、後述するような符号化処理を行うようになされている。外部記憶装置15は、例えば、磁気ディスク装置などでなり、上述したように、CPU14が実行するシステムプログラムやアプリケーションプログラムを記憶している他、CPU14の動作上必要なデータも記憶している。送信機/記録装置16は、I/F11から供給される符号化データを、記録媒体2に記録し、または伝送路3を介して伝送するようになされている。
【0032】
なお、I/F11,ROM12,RAM13,CPU14、および外部記憶装置15は、相互にバスを介して接続されている。
【0033】
以上のように構成される送信装置1においては、I/F11に画像データが供給されると、その画像データは、CPU14に供給される。CPU14は、画像データを符号化し、その結果得られる符号化データを、I/F11に供給する。I/F11は、符号化データを受信すると、それを、送信機/記録装置16に供給する。送信機/記録装置16では、I/F11からの符号化データが、記録媒体2に記録され、または伝送路3を介して伝送される。
【0034】
図3は、図2の送信装置1の、送信機/記録装置16を除く部分の機能的なブロック図である。
【0035】
ブロック化部21には、コンポーネント信号としてのRGB信号が、例えば、1フレーム(フィールド)単位で供給されるようになされており、ブロック化部21は、その1フレームの画像データを、所定の画素数で構成されるブロックに分割し、RGB分離部22に、順次供給するようになされている。RGB分離部22は、ブロック化部21からのブロック内の各画素についてのRGB信号(コンポーネント信号)を、R成分、G成分、B成分に分離し、それぞれを、ダイナミックレンジ検出部23R,23G,23Bに供給するようになされている。なお、R成分、G成分、B成分は、ダイナミックレンジ検出部23R,23G,23Bの他、演算器26R,26G,26Bそれぞれと、量子化器27R,27G,27Bそれぞれにも供給されるようになされている。
【0036】
ダイナミックレンジ検出部23Rは、RGB分離部22から、1ブロック内の画素についてのR成分を受信すると、その中の最大値MAXRと最小値MINRとを検出し、そのうちの最小値MINRを演算器26Rに供給するようになされている。さらに、ダイナミックレンジ検出部23Rは、R成分の最大値と最小値との差分を演算し、その差分値を、R成分のダイナミックレンジDRRとして、最大値検出部24に供給するようにもなされている。
【0037】
ダイナミックレンジ検出部23Gと23Bも、ダイナミックレンジ検出部23Rにおける場合と同様の処理を、RGB分離部22からのG成分またはB成分それぞれを対象に行い、ブロック内のG成分の最大値MAXGおよび最小値MING並びにダイナミックレンジDRGと、B成分の最大値MAXBおよび最小値MINB並びにダイナミックレンジDRBを求めるようになされている。なお、ダイナミックレンジ検出部23Gまたは23Bにおいて求められるG成分の最小値MINまたはB成分の最小値MINBは、演算器26Gまたは26Bに、それぞれ供給されるようになされている。
【0038】
最大値検出部24は、ダイナミックレンジ検出部23R,23G,23Bそれぞれから供給されるダイナミックレンジDRR,DRG,DRBの中から最大値を検出し、それを、ブロックのダイナミックレンジ(ブロックダイナミックレンジ)BDRとして、多重化器(MUX)28に供給するようになされている。さらに、最大値検出部24は、ブロックダイナミックレンジBDRに基づいて、R,G,B成分を量子化(再量子化)するための、共通の量子化ステップ幅△を決定し、量子化器27R,27G,27Bに供給するようにもなされている。なお、最大値検出部24には、図示せぬ回路より、量子化後の画像データに割り当てるべき割当ビット数(1画素の1成分を表現するためのビット数)Kが供給されるようになされており、量子化ステップ幅△は、式△=BDR/2Kにしたがって決定されるようになされている。
【0039】
演算器26Rは、RGB分離部22からのR成分と、ダイナミックレンジ検出部23Rからの、ブロック内のR成分の最小値MINRとの差分を求め、その差分値を、量子化器27Rに供給するようになされている。
【0040】
演算器26Gまたは26Bも、演算器26Rにおける場合と同様に、G成分とその最小値MINGとの差分、またはB成分とその最小値MINBとの差分を演算し、それぞれの差分値を、量子化器27Gまたは27Bに供給するようになされている。
【0041】
量子化器27Rは、演算器26Rの出力、即ち、R成分とそのブロック内における最小値MINRとの差分を、最大値検出部24から供給される量子化ステップ幅△にしたがって量子化し、その結果得られる量子化データ(ADRCコード)QRを、多重化器28に供給するようになされている。
【0042】
量子化器27Gまたは27Bも、量子化器27Rにおける場合と同様に、演算器26Gまたは26Bの出力を、量子化ステップ幅△にしたがって量子化し、その結果得られる量子化データQGまたはQBを、多重化器28に供給するようになされている。
【0043】
多重化器28は、ダイナミックレンジ検出部23R,23G,23Bそれぞれからの最小値MINR,MING,MINB、最大値検出部24からのブロックダイナミックレンジBDR、および量子化器27R,27G,27Bそれぞれからの量子化データQR,QG,QBを、ブロック単位で多重化し、その多重化結果を、画像の符号化データとして出力するようになされている。
【0044】
次に、図4のフローチャートを参照して、その動作について説明する。
【0045】
ブロック化部21は、例えば、1フレーム(フィールド)分のRGB信号を受信すると、ステップS1において、そのフレームを、例えば、図5に示すように、5×5(横×縦)の25画素で構成されるブロックに分割し、RGB分割部22に供給する。RGB分割部22では、ステップS2において、ブロック化部21からのブロック内の各画素についてのRGB信号が、R成分、G成分、B成分の3成分に分離される。このR成分、G成分、B成分は、ダイナミックレンジ検出部23R,23G,23Bそれぞれ、演算器26R,26G,26Bそれぞれ、および量子化器27R,27G,27Bそれぞれに供給される。
【0046】
ダイナミックレンジ検出部23Rは、RGB分離部22から、1ブロック内の画素についてのR成分を受信すると、ステップS3において、その中の最大値MAXRと最小値MINRとを検出し、演算器26Rに供給する。さらに、ダイナミックレンジ検出部23Rは、R成分の最大値と最小値との差分を演算し、その結果得られるR成分のダイナミックレンジDRRを、最大値検出部24に供給する。
【0047】
ダイナミックレンジ検出部23Gと23Bにおいても、ブロック内のG成分の最大値MAXGおよび最小値MING並びにダイナミックレンジDRGと、B成分の最大値MAXBおよび最小値MINB並びにダイナミックレンジDRBが求められ、最小値MINGまたはMINBは演算器26Gまたは26Bそれぞれに、ダイナミックレンジDRGおよびDRBは最大値検出部24に供給される。
【0048】
さらに、ステップS3では、最大値検出部24において、ダイナミックレンジDRR,DRG,DRBの中から最大値が検出され、ブロックダイナミックレンジBDRとして、多重化器28に供給される。
【0049】
ここで、ある画素についてのR,G,Bの3成分は、図6(A)に示すように、RGB空間において、1つのベクトルで表現することができるが、ダイナミックレンジDRR,DRG,DRBは、同図(B)に示すように、あるブロック内の画素について、上述のようなベクトルが存在する範囲を表す直方体の縦、横、高さを規定する。従って、ブロックダイナミックレンジBDRは、そのような直方体の縦、横、または高さのうちの、最も長い部分に相当する。
【0050】
図4に戻り、最大値検出部24は、ブロックダイナミックレンジBDRを検出すると、ステップS4において、そのブロックダイナミックレンジBDRに基づいて、量子化ステップ幅△を決定し、量子化器27R,27G、および27Bに供給する。
【0051】
また、ステップS4では、演算器26Rにおいて、RGB分離部22からのR成分と、ダイナミックレンジ検出部23Rからの、ブロック内のR成分の最小値MINRとの差分が求められ、その差分値が、量子化器27Rに供給される。同時に、演算器26Gまたは26Bにおいても、G成分とその最小値MINGとの差分、またはB成分とその最小値MINBとの差分が演算され、それぞれの差分値が、量子化器27Gまたは27Bに供給される。
【0052】
量子化器27R,27G,27Bでは、ステップS5において、演算器26R,26G,26Bそれぞれの出力が、最大値検出部24から供給される量子化ステップ幅△にしたがって量子化され、その結果得られる量子化データQR,QG,QBが出力される。即ち、例えば、割当ビット量Kが2ビットの場合、演算器26R,26G,26Bそれぞれの出力は、量子化ステップ幅△=BDR/4で除算され、前述の図9で説明したように、それぞれの除算値に対応する、2ビットのコード(ADRCコード)が、量子化データQR,QG,QBとして出力される。
【0053】
この量子化データQR,QG,QBは、多重化器28に供給され、多重化器28では、ステップS6において、量子化データQR,QG,QBに対して、所定の処理が施され、さらに、ダイナミックレンジ検出部23R,23G,23Bそれぞれからの最小値MINR,MING,MINB、および最大値検出部24からのブロックダイナミックレンジBDRと、ブロック単位で多重化される。この多重化結果は、画像の符号化データとして出力される。なお、最小値MINR,MING,MINB、およびブロックダイナミックレンジBDRに対しては、元のR,G,B成分と同一のビット数(本実施例では、上述したように8ビット)が割り当てられる。量子化データQR,QG,QBに割り当てられるビット数については後述する。
【0054】
そして、ステップS7に進み、1フレーム分の画像データについての処理が終了したかどうかが判定され、1フレーム分の画像データについての処理が、まだ終了した以内と判定された場合、ステップS2に戻り、次のブロックを対象に、ステップS2以下の処理が繰り返される。また、ステップS7において、1フレーム分の画像データについての処理が終了したと判定された場合、ステップS1に戻り、次のフレームを対象に、ステップS1以下の処理が繰り返される。
【0055】
以上のように、ブロックダイナミックレンジBDRに基づいて決定した量子化ステップ幅△をにしたがって、R,G,B成分すべてについての量子化(再量子化)を行うようにしたので、符号化データのデータ量を低減することができる。
【0056】
即ち、量子化ステップ幅△は、上述したように、ブロックダイナミックレンジBDR、即ち、R,G,B成分それぞれのダイナミックレンジDRR,DRG,DRBの中の最大値を、2Kで除算することにより求められる。従って、あるブロックにおいて、ダイナミックレンジDRR,DRG,DRBの中の1つとしての、例えばDRRが、他の2つDRG,DRBに比較して極端に大きい場合には、量子化ステップ幅△は、演算器26G,26Bの出力よりも大きいときが多くなり、その結果、G,B成分についての、量子化ステップ幅△による除算値は、ほとんど、前述の図9で説明した最も下のレベルの範囲に属すようになる。
【0057】
よって、この場合、G,B成分についての、量子化データQG,QBは、同一の値としての、例えば0などが続くことが多くなり、多重化器28において、例えば、そのような連続する0の数を符号化データとすることにより、符号化データのデータ量を低減することが可能となる。あるいは、また、例えば、最大値検出部24に供給される割当ビット数Kより少ないビット数で表すことのできる成分については、そのビット数とともに、そのような少ないビット数を割り当てて符号化データとすることにより、即ち、各成分に対する割当ビット数を可変長とすることにより、符号化データのデータ量を低減することが可能となる。但し、各成分に対する割当ビット数は、最大値検出部24に供給される割当ビット数Kに固定すること(各成分に対する割当ビット数を固定長とすること)も可能である。
【0058】
さらに、従来においては、R,G,B成分を、ダイナミックレンジDRR,DRG,DRBそれぞれを用いて再量子化することから、3つのダイナミックレンジDRR,DRG,DRBを、オーバヘッドとして、符号化データに含める必要があったが、図3における場合においては、ブロックダイナミックレンジBDRだけを含めれば良く、このことからも、符号化データのデータ量が低減される。
【0059】
なお、R,G,B成分には、相互に相関があるので、ある成分を、比較的大きなブロックダイナミックレンジBDRを用いて再量子化しても、受信装置4(図1)側においては、その大きなブロックダイナミックレンジBDRとなったダイナミックレンジ(DRR,DRG,DRBのうちのいずれか)に対応する成分に基づいて、画質の劣化のほとんどない復号画像を得ることができる。
【0060】
次に、図7は、図1の受信装置4の構成例を示している。
【0061】
受信機/再生装置71は、記録媒体2に記録された符号化データを再生し、または伝送路3を介して伝送されてくる符号化データを受信し、分離部(DMUX)31に供給するようになされている。分離部31は、符号化データから、量子化データQR,QG,QB、ブロックダイナミックレンジBDR、最小値MINR,MING,MINBを分離するようになされている。量子化データQR,QG,QBは、ブロックダイナミックレンジBDRとともに、変換器32R,32G,32Bにそれぞれ供給されるようになされており、最小値MINR,MING,MINBは、演算器33R,33G,33Bにそれぞれ供給されるようになされている。
【0062】
変換器32Rは、分離器31からのブロックダイナミックレンジBDRに基づき、同じく分離器31からの量子化データQRを、所定のレベルに変換するようになされている。即ち、変換器32Rは、前述の図9で説明したようにして、量子化データQRを、対応するレベルに変換するようになされている。そして、そのレベルは、演算器33Rに出力されるようになされている。
【0063】
変換器32Gまたは32Bも、変換器32Rと同様に、量子化データQGまたはQBを、対応するレベルに変換し、演算器33Gまたは33Bに供給するようになされている。
【0064】
演算器33R,33G,33Bは、変換器32R,32G,32Bの出力それぞれと、分離器31からの最小値MINR,MING,MINBそれぞれとを加算することにより、R,G,B成分を復号し、合成部34に供給するようになされている。合成部34は、演算器33R,33G,33Bそれぞれから、1フレーム分のR,G,B成分が供給されるのを待って、1フレームの画像を再構成し、復号画像として出力するようになされている。
【0065】
次に、図8のフローチャートを参照して、その動作について説明する。
【0066】
まず、受信機/再生装置71において、記録媒体2に記録された符号化データが再生され、または伝送路3を介して伝送されてくる符号化データが受信され、分離部(DMUX)31に供給される。分離部31では、符号化データから、量子化データQR,QG,QB、ブロックダイナミックレンジBDR、最小値MINR,MING,MINBが分離され、量子化データQR,QG,QBは、ブロックダイナミックレンジBDRとともに、変換器32R,32G,32Bにそれぞれ供給され、また、最小値MINR,MING,MINBは、演算器33R,33G,33Bにそれぞれ供給される。
【0067】
そして、ステップS11において、変換器32R,32G,32Bは、分離器31からのブロックダイナミックレンジBDRに基づき、同じく分離器31からの量子化データQR,QG,QBを、対応するレベルに変換し、演算器33R,33G,33Bにそれぞれ供給する。さらに、ステップS11では、演算器33R,33G,33Bにおいて、変換器32R,32G,32Bの出力それぞれと、分離器31からの最小値MINR,MING,MINBそれぞれとが加算され、R,G,B成分が復号される。このR,G,B成分は、合成部34に供給される。合成部34は、ステップS12において、演算器33R,33G,33BそれぞれからのR,G,B成分を一時記憶し、1フレームのR,G,B成分を記憶すると、それらから画像を再構成し、復号画像として出力する。
【0068】
そして、ステップS11に戻り、次のフレームについての符号化データについて同様の処理が繰り返される。
【0069】
以上、本発明を適用した画像処理装置について説明したが、このような画像処理装置は、例えば、NTSC方式などの標準方式のテレビジョン信号を符号化/復号化する場合の他、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化/復号化する場合などに有効である。
【0070】
なお、本発明は、前述の図9で説明したエッジマッチングまたはノンエッジマッチングのうちのいずれのADRC処理を用いても実現可能である。また、まず最初に、ノンエッジマッチングを前処理として行い、その後、エッジマッチングを行うような多段エッジマッチングを用いることも可能である。
【0071】
さらに、本実施例では、1フレームの画像をブロック化することでブロックを構成するようにしたが、その他、例えば、時系列に連続する複数フレームにおける、同一位置の画素を集めてブロックを構成するようにすることも可能である。
【0072】
また、本実施例では、コンポーネント信号としてRGB信号を用いるようにしたが、本発明は、その他、YUVやYIQ、さらには、印刷の分野で用いられるCMY(シアン、マゼンダ、イエロー)やCMYK(シアン、マゼンダ、イエロー、ブラック)その他のコンポーネント信号に適用可能である。
【0073】
【発明の効果】
請求項1に記載の画像符号化装置および請求項4に記載の画像符号化方法によれば、ブロック内の画素におけるコンポーネント信号を構成する複数の成分それぞれの最大値と最小値とが検出され、複数の成分それぞれの最大値と最小値との差分であるダイナミックレンジが算出される。さらに、複数の成分それぞれのダイナミックレンジから、その最大値であるブロックダイナミックレンジが検出され、複数の成分それぞれを量子化するための量子化ステップ幅が、ブロックダイナミックレンジに基づいて決定される。そして、その量子化ステップ幅にしたがって、複数の成分それぞれが量子化される。従って、コンポーネントの画像信号を効率良く圧縮符号化することが可能となる。
【0074】
請求項6に記載の画像復号化装置および請求項7に記載の画像復号化方法によれば、符号化データが、ブロック内の画素におけるコンポーネント信号を構成する複数の成分それぞれの最大値と最小値とを検出し、複数の成分それぞれの最大値と最小値との差分であるダイナミックレンジを算出し、複数の成分それぞれのダイナミックレンジから、その最大値であるブロックダイナミックレンジを検出し、複数の成分それぞれを量子化するための量子化ステップ幅を、ブロックダイナミックレンジに基づいて決定し、その量子化ステップ幅にしたがって、複数の成分それぞれを量子化することにより得られる量子化データである場合において、複数の成分それぞれに対応する量子化データが、ブロックダイナミックレンジに基づいて、所定のレベルに変換される。従って、効率良く圧縮符号化されたコンポーネント信号を復号することが可能となる。
【図面の簡単な説明】
【図1】本発明を適用した画像処理装置の一実施例の構成を示すブロック図である。
【図2】図1の送信装置1の構成例を示すブロック図である。
【図3】図2の送信装置1の機能的な構成例を示すブロック図である。
【図4】図3の送信装置1の動作を説明するためのフローチャートである。
【図5】ブロックを示す図である。
【図6】R,G,B成分のダイナミックレンジDRR,DRG,DRBを説明するための図である。
【図7】図1の受信装置4の構成例を示すブロック図である。
【図8】図7の受信装置4の動作を説明するためのフローチャートである。
【図9】ADRC処理を説明するための図である。
【符号の説明】
1 送信装置, 2 記録媒体, 3 伝送路, 4 受信装置, 11 I/F, 12 ROM, 13 RAM, 14 CPU, 15 外部記憶装置, 16 送信機/記録装置, 21 ブロック化部, 22 RGB分離部, 23R,23G,23B ダイナミックレンジ検出部, 24 最大値検出部, 26R,26G,26B 演算器, 27R,27G,27B 量子化器, 28 多重化器, 30 受信機/再生装置, 31 分離機, 32R,32G,32B 変換器, 33R,33G,33B 演算機, 34 合成部

Claims (7)

  1. 複数の成分で構成されるコンポーネント信号の画像を符号化する画像符号化装置であって、
    前記画像を、所定のブロックにブロック化するブロック化手段と、
    前記ブロック内の画素におけるコンポーネント信号を構成する前記複数の成分それぞれの最大値と最小値とを検出する最大最小検出手段と、
    前記複数の成分それぞれの最大値と最小値との差分であるダイナミックレンジを算出するダイナミックレンジ算出手段と、
    前記複数の成分それぞれの前記ダイナミックレンジから、その最大値であるブロックダイナミックレンジを検出するブロックダイナミックレンジ検出手段と、
    前記複数の成分それぞれを量子化するための量子化ステップ幅を、前記ブロックダイナミックレンジに基づいて決定する量子化ステップ幅決定手段と、
    前記量子化ステップ幅決定手段により決定された前記量子化ステップ幅にしたがって、前記複数の成分それぞれを量子化する量子化手段と
    を備えることを特徴とする画像符号化装置。
  2. 前記複数の成分それぞれと、その最小値との差分を演算する差分演算手段をさらに備え、
    前記量子化手段は、前記複数の成分それぞれと、その最小値との差分を量子化する
    ことを特徴とする請求項1に記載の画像符号化装置。
  3. 前記量子化手段により得られる量子化データを記録媒体に記録する記録手段をさらに備える
    ことを特徴とする請求項1に記載の画像符号化装置。
  4. 複数の成分で構成されるコンポーネント信号の画像を符号化する画像符号化方法であって、
    前記画像を、所定のブロックにブロック化し、
    前記ブロック内の画素におけるコンポーネント信号を構成する前記複数の成分それぞれの最大値と最小値とを検出し、
    前記複数の成分それぞれの最大値と最小値との差分であるダイナミックレンジを算出し、
    前記複数の成分それぞれの前記ダイナミックレンジから、その最大値であるブロックダイナミックレンジを検出し、
    前記複数の成分それぞれを量子化するための量子化ステップ幅を、前記ブロックダイナミックレンジに基づいて決定し、
    その量子化ステップ幅にしたがって、前記複数の成分それぞれを量子化する
    ことを特徴とする画像符号化方法。
  5. 量子化により得られる量子化データを記録媒体に記録する
    ことを特徴とする請求項4に記載の画像符号化方法。
  6. 複数の成分で構成されるコンポーネント信号の画像を符号化して得られる符号化データを復号化する画像復号化装置であって、
    前記符号化データが、
    前記画像を、所定のブロックにブロック化し、
    前記ブロック内の画素におけるコンポーネント信号を構成する前記複数の成分それぞれの最大値と最小値とを検出し、
    前記複数の成分それぞれの最大値と最小値との差分であるダイナミックレンジを算出し、
    前記複数の成分それぞれの前記ダイナミックレンジから、その最大値であるブロックダイナミックレンジを検出し、
    前記複数の成分それぞれを量子化するための量子化ステップ幅を、前記ブロックダイナミックレンジに基づいて決定し、
    その量子化ステップ幅にしたがって、前記複数の成分それぞれを量子化する
    ことにより得られる量子化データである場合、
    前記複数の成分それぞれに対応する量子化データを、前記ブロックダイナミックレンジに基づいて、所定のレベルに変換する変換手段を備える
    ことを特徴とする画像復号化装置。
  7. 複数の成分で構成されるコンポーネント信号の画像を符号化して得られる符号化データを復号化する画像復号化方法であって、
    前記符号化データが、
    前記画像を、所定のブロックにブロック化し、
    前記ブロック内の画素におけるコンポーネント信号を構成する前記複数の成分それぞれの最大値と最小値とを検出し、
    前記複数の成分それぞれの最大値と最小値との差分であるダイナミックレンジを算出し、
    前記複数の成分それぞれの前記ダイナミックレンジから、その最大値であるブロックダイナミックレンジを検出し、
    前記複数の成分それぞれを量子化するための量子化ステップ幅を、前記ブロックダイナミックレンジに基づいて決定し、
    その量子化ステップ幅にしたがって、前記複数の成分それぞれを量子化する
    ことにより得られる量子化データである場合、
    前記複数の成分それぞれに対応する量子化データを、前記ブロックダイナミックレンジに基づいて、所定のレベルに変換する
    ことを特徴とする画像復号化方法。
JP20664596A 1996-07-17 1996-07-17 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体 Expired - Fee Related JP3687080B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP20664596A JP3687080B2 (ja) 1996-07-17 1996-07-17 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体
US08/892,601 US6058217A (en) 1996-07-17 1997-07-14 Image coding apparatus for coding an image of a component signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20664596A JP3687080B2 (ja) 1996-07-17 1996-07-17 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体

Publications (2)

Publication Number Publication Date
JPH1032838A JPH1032838A (ja) 1998-02-03
JP3687080B2 true JP3687080B2 (ja) 2005-08-24

Family

ID=16526787

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20664596A Expired - Fee Related JP3687080B2 (ja) 1996-07-17 1996-07-17 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体

Country Status (2)

Country Link
US (1) US6058217A (ja)
JP (1) JP3687080B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164152A (ja) * 1997-11-26 1999-06-18 Ricoh Co Ltd カラー画像データ圧縮装置
WO2000021301A1 (en) * 1998-10-05 2000-04-13 Sony Corporation Image transform device and method, learning device and method, and recording medium
US6563955B2 (en) * 1998-11-13 2003-05-13 Xerox Corporation Method and apparatus for analyzing image data to use multiple transforms for enhanced image data transmission
US6633657B1 (en) * 1999-07-15 2003-10-14 General Electric Company Method and apparatus for controlling a dynamic range of a digital diagnostic image
GB0003333D0 (en) * 2000-02-15 2000-04-05 Marshall Ian Ophthalmoscope optical system
US8374237B2 (en) 2001-03-02 2013-02-12 Dolby Laboratories Licensing Corporation High precision encoding and decoding of video images
KR100492555B1 (ko) * 2002-12-10 2005-06-02 엘지전자 주식회사 이미지 변환 방법 및 장치
US7274825B1 (en) * 2003-03-31 2007-09-25 Hewlett-Packard Development Company, L.P. Image matching using pixel-depth reduction before image comparison
JP2008512917A (ja) * 2004-09-13 2008-04-24 エクスプウェイ 浮動小数点数列を圧縮及び伸張する方法
US20070076971A1 (en) * 2005-09-30 2007-04-05 Nokia Corporation Compression of images for computer graphics
US7932914B1 (en) * 2005-10-20 2011-04-26 Nvidia Corporation Storing high dynamic range data in a low dynamic range format
US7873212B2 (en) * 2006-01-24 2011-01-18 Nokia Corporation Compression of images for computer graphics
JP4169768B2 (ja) * 2006-02-24 2008-10-22 三菱電機株式会社 画像符号化装置、画像処理装置、画像符号化方法、及び画像処理方法
JP4508132B2 (ja) * 2006-02-27 2010-07-21 ソニー株式会社 撮像装置、撮像回路、および撮像方法
US8331663B2 (en) 2007-06-28 2012-12-11 Qualcomm Incorporated Efficient image compression scheme to minimize storage and bus bandwidth requirements
JP5913059B2 (ja) * 2012-11-13 2016-04-27 日本電信電話株式会社 分散型無線通信基地局システム、信号処理装置、無線装置、及び分散型無線通信基地局システムの動作方法
WO2021216361A1 (en) * 2020-04-22 2021-10-28 Apple Inc. Lossy compression techniques
US11664816B2 (en) * 2020-04-22 2023-05-30 Apple Inc. Lossy compression techniques

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2830111B2 (ja) * 1989-07-21 1998-12-02 ソニー株式会社 高能率符号化装置
EP0435163B1 (en) * 1989-12-25 1998-03-25 Mitsubishi Denki Kabushiki Kaisha Coding apparatus
KR950000830B1 (ko) * 1990-06-25 1995-02-02 미쯔비시덴끼 가부시끼가이샤 디지탈 비디오 신호의 부호화 방법 및 이를 이용한 고능률 부호화장치
JP2526505B2 (ja) * 1993-09-28 1996-08-21 日本電気株式会社 画像処理装置
US5706009A (en) * 1994-12-29 1998-01-06 Sony Corporation Quantizing apparatus and quantizing method
KR0156191B1 (ko) * 1995-06-14 1998-12-15 구자홍 디브이씨알의 디시티블럭의 클래스 판별장치
US5734433A (en) * 1995-06-21 1998-03-31 Sony Corporation Picture encoding apparatus, picture encoding method, picture encoding and transmitting method, and picture record medium

Also Published As

Publication number Publication date
JPH1032838A (ja) 1998-02-03
US6058217A (en) 2000-05-02

Similar Documents

Publication Publication Date Title
JP3687080B2 (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体
US4663660A (en) Compressed quantized image-data transmission technique suitable for use in teleconferencing
US20190327471A1 (en) Image decoding device, image encoding device, and method thereof
US6757435B2 (en) Apparatus for and method of processing image and apparatus for and method of encoding image
US6414992B1 (en) Optimal encoding of motion compensated video
AU627421B2 (en) Adaptive motion compensation for digital television
KR0132894B1 (ko) 영상압축부호화 및 복호화 방법과 그 장치
EP1313326A2 (en) Video encoder, video decoder, video processor and methods thereof
JPH08237669A (ja) 画像信号処理装置、画像信号処理方法および画像信号復号化装置
JPH07184226A (ja) 改良された色処理のための画像圧縮フィードバックを使用した電子カメラ
EP0820196A2 (en) Hierarchic image encoding
JPH06125543A (ja) 符号化装置
US10887616B2 (en) Image processing devices having enhanced frame buffer compressors therein
KR20000057237A (ko) 이미지 처리 시스템에서 메모리의 효율적인 압축 장치와 양자화기
KR100504415B1 (ko) 화상부호화장치,화상부호화방법,화상복호장치,화상복호방법및기록매체
EP0820198A2 (en) Apparatus and method for image coding and decoding
JP3870428B2 (ja) 画像情報変換装置および方法並びに係数データ生成装置および方法
JP3747970B2 (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
KR102543449B1 (ko) 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
JPS63284974A (ja) 画像圧縮方式
JP2861379B2 (ja) 画像データの符号化方法及びその回路
JP3642158B2 (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに伝送方法
JP3598159B2 (ja) 情報信号伝送装置および情報信号伝送方法
JP2669278B2 (ja) 映像信号処理装置
JP3225667B2 (ja) ディジタル信号の量子化器

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050529

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080617

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090617

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090617

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100617

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100617

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110617

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110617

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120617

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130617

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees