JP2941601B2 - 符号化方法及びその装置 - Google Patents

符号化方法及びその装置

Info

Publication number
JP2941601B2
JP2941601B2 JP5150277A JP15027793A JP2941601B2 JP 2941601 B2 JP2941601 B2 JP 2941601B2 JP 5150277 A JP5150277 A JP 5150277A JP 15027793 A JP15027793 A JP 15027793A JP 2941601 B2 JP2941601 B2 JP 2941601B2
Authority
JP
Japan
Prior art keywords
data
scanning
length
variable
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP5150277A
Other languages
English (en)
Other versions
JPH06125278A (ja
Inventor
鄭濟昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sansei Denshi Co Ltd
Original Assignee
Sansei Denshi Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=19336849&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2941601(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sansei Denshi Co Ltd filed Critical Sansei Denshi Co Ltd
Publication of JPH06125278A publication Critical patent/JPH06125278A/ja
Application granted granted Critical
Publication of JP2941601B2 publication Critical patent/JP2941601B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明はディジタルデータの符号
化及び復号化システムに関り、特に所定大きさのブロッ
ク単位に区分されて直交変換された量子化係数を、複数
のスキャニングパターンのうち最適のスキャニングパタ
ーンでスキャンして可変長符号化することで、データの
圧縮効率を向上させる符号化方法及びその装置に関する
ものである。
【0002】
【従来の技術】近年、映像及び音声信号を送受信するシ
ステムにおいて、映像及び音声信号をディジタルデータ
に符号化して伝送したり貯蔵部に貯蔵し、この符号化さ
れた信号を再び復号化して再生する方式が主として用い
られている。かかる符号化及び復号化システムにおい
て、データの伝送効率を極大化するために伝送データ量
をさらに圧縮するための技術が要求されている。
【0003】一般に、ディジタルデータの符号化のため
に用いられている方式としては、変換符号化方式、DP
CM(Differential Pulse Code Modulation)方式、ベ
クトル量子化方式及び可変長符号化方式等がある。この
符号化方式は、伝送または貯蔵したいディジタルデータ
に含まれている冗長性データを除去して全体データ量を
圧縮させる。
【0004】映像信号を送・受信するための符号化及び
復号化システムでは各画面の映像データを所定大きさの
ブロック群に分けてデータ処理する。各ブロックデータ
またはブロックデータ間の誤差データに対して所定の変
換を行って映像データを周波数領域の変換係数に変換す
る。ブロックデータの変換にはDCT(Discrete Cosin
e Transform ),WHT,DFT,DSTなどがある。
このような変換方式により得られる変換係数を係数デー
タの特性に応じて適切に符号化することにより圧縮され
たデータを得る。また、人の視覚は高周波より低周波の
方により敏感なので、映像データを処理する最高周波部
分のデータを減衰させることにより符号化されたデータ
の量をさらに減少させうる。
【0005】以下、図1から図4は、従来の可変長符号
化/復号化システムの1構成例を示す。図1は一般の映
像信号の符号化装置を概略的に示す。
【0006】まず、入力端10にN×N(一般にN1 ×
N2 ブロックであるが、実施例ではN1 =N2 =Nと仮
定する)の大きさのブロックデータが印加される。第1
加算器A1は入力端10を通じて供給されるブロックデ
ータと所定の帰還データとの誤差データを算出する。直
交変換部11は入力される誤差データをDCTして周波
数領域の係数に変換させる。量子化部12は所定の量子
化過程を通じて変換係数を一定レベルの代表値に変え
る。この際、量子化部12はバッファ14から供給され
る量子化レベルQにより直交変換部11の出力データを
可変的に量子化させる。可変長符号化部13は量子化係
数の統計的特性を鑑みて可変長符号化することにより伝
送されるデータVCDをさらに圧縮させる。可変長符号化
については後で詳細に説明することとする。バッファ1
4には可変長符号化部13から圧縮データが供給され伝
送チャネルに一定速度のデータを出力し、この際伝送デ
ータにオ−バ−フローやアンダフローが発生しないよう
入力データ量を調節するために量子化レベルQを出力す
る。
【0007】一般に、映像データで画面と画面間には類
似した部分が多く存在する。画像の動きが微細な場合、
現画面と前画面とを比較してその動きを推定する。動き
推定結果動きベクトルMVが得られる。この動きベクト
ルを用いて前画面から動き補償がなされる。動き補償の
結果得られたブロックデータと入力端10に入力される
ブロックデータ間の誤差データは極めて小さいので前述
した符号化過程でデータをさらに圧縮させうる。かかる
動き推定及び動き補償をおこうための一連のフィードバ
ックループは逆量子化部15、逆直交変換部16、フレ
ームメモリ17、動き推定部18及び動き補償部19か
らなる。逆量子化部15及び逆直交変換部16は量子化
部12から出力される量子化係数を逆量子化させた後逆
DCTさせ空間領域の映像データに変換させる。第2の
加算器A2は逆直交変換部16から出力される映像デー
タと第2のスイッチSW2を経て供給される帰還データ
を加算してブロックデータを出力する。第2加算器A2
から出力されるブロックデータはフレームメモリ17に
順次に貯蔵されることにより画面を再構成する。する
と、動き推定部18は入力端10を通じて供給されるブ
ロックデータと一番類似したパターンのブロックデータ
をフレームメモリ17に貯蔵されたフレームデータから
探し出してから、2ブロックデータから画像の動きを推
定する動きベクトルMVを算出する。この動きベクトル
MVは復号化システムで用いられるために受信側に伝送
され、かつ動き補償部19に伝送される。動き補償部1
9はフレームメモリ17のフレームデータから動きベク
トルに相応するブロックデータを読み出して第1加算器
A1に供給する。すると、第1加算器A1は前述した通
り入力端10から印加されるブロックデータと動補償部
19から供給されるブロックデータ間の誤差データを算
出し、この誤差データは符号化され受信側に伝送され
る。また、図1において2個のスイッチSW1、SW2
は誤差データの累積により符号化される画面が実際の画
面と相違になることを防止するため、フレーム単位また
は所定のブロック単位にデータをリフレッシュするため
のリフレッシュスイッチである。
【0008】このように符号化された映像データVCDは
受信側に伝送され図2の通り復号化器に入力される。可
変長復号化部21は受信された映像データVCDを可変長
符号化の逆過程を通じて復号化する。逆量子化部22は
可変長復号化部21から供給される量子化係数を逆量子
化して周波数領域の変換係数を出力する。逆直交変換部
23は逆量子化部22から供給される周波数領域変換係
数を空間領域の映像データに変換させる。また、符号化
器の動き推定部17に出力される動きベクトルMVは復
号化器の動き補償部24に供給される。動き補償部24
はフレームメモリ25に貯蔵されたフレームデータから
動きベクトルMVに相応するブロックデータを読み出し
て加算器Aに供給する。すると、加算器Aは逆直交変換
部23から出力される誤差データと動き補償部24から
供給されるブロックデータとを加算して、復元されたブ
ロックデータを出力する。動き補償部24の出力端に結
合されたスイッチSWは符号化器で前述したリフレッシ
ュスイッチと同一の役割を果す。
【0009】このような従来の符号化システムにおい
て、可変長符号化のためにHuffman コードが幅広く使わ
れている。Huffman コードは入力データの所定シンボル
の発生頻度に応じて、長さの相異なるコードを割り当て
る。すなわち、発生頻度の高いシンボル程長さの短いコ
ードを割り当て、発生頻度の低いシンボル程長さの長い
コードを割り当てる。かかるHuffman アルゴリズムによ
る符号化において、シンボルの種類が多く、多数のシン
ボルが極めて低い発生頻度を有する場合、多数の希薄な
シンボルそれぞれに対してHuffman アルゴリズムによる
長いコードを割り当てると、符号化及び復号化過程でデ
ータ処理が極めて複雑になる。このような問題点を克服
するために、多数の希薄なシンボルが分布された領域
(以下、この領域をエスケープ領域とする)に対して所
定の固定長さを有するコードを割り当てると平均コード
長さが元のHuffman コードの平均値より若干増加しうる
が、データ処理の複雑度は大幅に減少される。
【0010】図3のAは8×8のブロックデータを示
し、図3Bは8×8ブロックデータを周波数領域のデー
タに変換させた後量子化した8×8量子化係数を示し、
図3Cは量子化係数が低周波領域で“0”が多い点に着
目して、低周波領域から高周波領域にジグザグスキャン
しながら[ラン・レベル]のシンボルに符号化する状態
を示す。ここで、ランは“0”でない係数間に存在する
“0”の個数であり、レベルは“0”でない係数の絶対
値を示す。
【0011】図3のように、8×8ブロックの場合、ラ
ンは“0”から“63”までの値を有し、レベルは量子
化出力により換わるが量子化出力が“−255”から
“255”までの整数で出力される場合、レベルは
“1”から“255”までの値をとり、サインは別段に
表示される。
【0012】図4は[ラン・レベル]シンボルの発生頻
度により区分されるエスケープ領域と正規領域を示す。
[ラン・レベル]のシンボルでランとレベルの値の大き
いシンボルの発生頻度は統計的に極めて低いので、この
ような発生頻度の低いシンボルの分布された領域(エス
ケープ領域)に対しては固定長さを有するエスケープ列
で処理し、その他の領域(正規領域)に対しては正規Hu
ffman コードを割り当てる。例えば、8×8ブロックデ
ータの場合エスケープ列は6ビットのエスケープ符号、
“0”から“63”を表現するための6ビットのラン、
“1”から“255”を表現するための8ビットのレベ
ル及び1ビットのサインビットから構成され、合計21
ビットの固定長さを有する。
【0013】このように従来の可変長符号化システムは
映像データを可変長符号化するにおいて、N×Nの量子
化係数に対して図3に示した通りのジグザグスキャンを
使用するが、これは映像信号のエネルギーがDC成分を
中心として低周波領域に集中される現象によることであ
る。しかし、映像信号のパターンにより水平方向または
垂直方向の周波数成分に映像信号のエネルギーがさらに
多く分布され得る。この場合、従来のジグザグスキャン
方式は映像データを可変長符号化する最適のスキャン方
式となりにくく、映像データの分布特性により適応的に
水平方向または垂直方向に傾いたスキャン方式を選択し
て可変長符号化及び復号化するのが望ましい。
【0014】
【発明が解決しようとする課題】従って、本発明の目的
は、所定大きさのブロックに分割されて直交変換された
量子化係数を可変長符号化する場合に、各ブロックの量
子化係数をジグザグパターンを含みスキャニング方向の
異なる複数のスキャニングパターンでランレベル符号化
しさらに可変長符号化し、その中から各ブロック毎に可
変長符号化された結果の発生情報量が最も少ない最適の
スキャニングパターンの符号化データを選択する符号化
方法及びその装置を提供することにある。
【0015】
【0016】
【課題を解決するための手段】上記目的を達成するた
め、本発明の符号化装置は、所定大きさのブロック単位
に区分されて直交変換された量子化係数を符号化する符
号化装置において、前記量子化係数がブロック単位に印
加される入力端と、前記入力端を通じて供給される前記
量子化係数を複数の係数貯蔵手段に貯蔵する貯蔵手段
と、前記複数の係数貯蔵手段のそれぞれに対して、ブロ
ックをスキャンするスキャニング方向の異なる、ジグザ
グパターンを含む複数のスキャニングパターンを発生す
るスキャンパターン発生手段と、前記複数の係数貯蔵手
段に貯蔵された量子化係数のそれぞれを、前記スキャン
パターン発生手段から発生されるスキャニング方向の異
なる複数のスキャニングパターンに基づいてランレベル
符号化し、シンボルデータに変換するランレベル符号化
手段と、前記シンボルデータのそれぞれを可変長符号化
データに変換する可変長符号化手段と、前記可変長符号
化データのそれぞれを貯蔵する複数のバッファと、前記
可変長符号化データのそれぞれの長さをブロック単位で
累積する複数の累積手段と、前記複数の累積手段に累積
された累積値のうちから最小値を選択し、対応する選択
信号を出力する最小値選択手段と、前記選択信号によ
り、前記複数のバッファのうちの最小の累積値に対応す
る1つバッファを選択するバッファ選択手段と、前記最
小値選択手段で選択された最小値に対応するスキャニン
グ方向のスキャニングパターンを表わすスキャニングパ
ターンデータと前記バッファ選択手段で選択されたバッ
ファから出力される可変長符号化データとを伝送路に出
力する出力手段とを備えることを特徴とする。ここで、
前記複数の累積手段のそれぞれは、累積値を貯蔵する累
積値貯蔵手段と、前記可変長符号化手段から供給される
可変長符号長さのそれぞれと既に前記複数の累積手段の
それぞれに格納された累積値とを加算する複数の加算手
段と、前記複数の加算手段のそれぞれから出力されるデ
ータを新たな累積値として前記累積値貯蔵手段に貯蔵す
る手段とを備える。また、前記最小値選択手段は、前記
複数の累積手段に累積された累積値のうちから最小値を
選択し、さらに、前記複数のバッファ及び累積手段のそ
れぞれにリセット信号を供給して所定の初期値にリセッ
トする。
【0017】また、本発明の符号化方法は、所定大きさ
のブロック単位に区分されて直交変換された量子化係数
を符号化する符号化方法において、ブロック単位に供給
される前記量子化係数を、スキャニング方向の異なる、
ジグザグパターンを含む複数のスキャニングパターンに
基づいてランレベル符号化して、それぞれのスキャニン
グパターン毎にシンボルデータに変換し、前記シンボル
データのそれぞれを可変長符号化により可変長符号化デ
ータに変換して蓄積し、前記可変長符号化データのそれ
ぞれの長さをブロック単位で累積し、前記累積された累
積値のうちから最小値を選択し、前記選択された最小値
に対応するスキャニング方向のスキャニングパターンを
表わすスキャニングパターンデータと、前記選択された
最小値に対応する前記蓄積された可変長符号化データと
を伝送路に出力することを特徴とする。
【0018】
【実施例】以下、添付した図面に基づき本発明の好適な
実施例を説明する。
【0019】図5は可変長符号化装置の一実施例を示
す。図5の装置は量子化されたブロックデータの量子化
係数をそれぞれ貯蔵するN個の係数貯蔵部CM1 〜CM
N と、各係数貯蔵部に対して相違なるスキャンアドレス
を供給するN個のスキャンアドレス発生部SAG1 〜S
AG2 と、各係数貯蔵部の係数をそれぞれのスキャン方
式で[ラン・レベル]符号化するN個のラン・レベル符
号化部CD1 〜CDN と、各ラン・レベル符号化部から
出力される[ラン・レベル]シンボルを可変長符号化マ
ップにより可変長符号化するN個の可変長符号化部VL
C1 〜VLCN と、各可変長符号化部から出力される可
変長符号データを貯蔵するN個のバッファBF1〜BFN
と、各可変長符号化部から出力される可変長符号の長さ
をそれぞれ累積するN個の可変長符号長さ累積部ACC
M1 〜ACCMN とN個の可変長符号長さ累積部の累積
された値の中から最小値を選択する最小値選択部52
と、最小値選択部で選択された可変長符号化チャネルの
バッファ出力を選択して伝送する選択スイッチ54から
なる。
【0020】まず、所定大きさのブロック単位に量子化
された量子化係数は第1ないし第N係数貯蔵部CM1 〜
CMN にそれぞれ貯蔵される。第1、第2、・・・、及
び第N係数貯蔵部には第1、第2、・・・、及び第Nス
キャンアドレス発生部でそれぞれ発生される第1、第
2、・・・、及び第Nスキャンアドレスがそれぞれ供給
される。第1ないし第Nスキャンアドレスによりそれぞ
れスキャンされる第1ないし第N係数貯蔵のうち第1係
数貯蔵部CM1 に対する符号化チャネルを例として説明
する。
【0021】第1係数貯蔵部CM1 に貯蔵された量子化
係数は第1スキャンアドレスにより所定のスキャン方向
にスキャンされ、第1ラン・レベル符号化部CD1 で
[ラン・レベル]シンボルに符号化される。すると、第
1可変長符号化部VLC1 は第1ラン・レベル符号化部
CD1 から供給される[ラン・レベル]シンボルを所定
の可変長符号化マップにより可変長符号化して可変長符
号データDVLC と可変長符号長さLVLC をそれぞれ出力
する。第1可変長符号化部VLC1 から出力される可変
長符号データDVLC は第1バッファBF1 に貯蔵され、
可変長符号長さLVLC は第1可変長符号長さ累積部AC
CM1 に供給され累積される。ここで、第1可変長符号
長さ累積部ACCM1 は加算器A1と累積長さ貯蔵部L
M1 から構成される。加算器1は第1可変長符号化部V
LC1 から供給される可変長符号長さLVLC と累積長さ
貯蔵部LM1 でフィードバックされる累積長さを加算す
る。累積長さ貯蔵部LM1 は加算器A1から出力される
新たな累積長さを再び貯蔵する。
【0022】このような一連の符号化処理が第2、第
3、・・・、及び第N係数貯蔵部CM2 、CM3 、・・
・、CMN の量子化係数に対して行われる。但し、N個
の係数貯蔵部にそれぞれ貯蔵されたブロック単位の量子
化係数をスキャンする方法は相違なるスキャン方法をと
る。このように相違なるスキャン方法の一例が図7に示
される。
【0023】図7Aのスキャン方法は0°のスキャン方
向を有し、Bのスキャン方法は30°のスキャン方向を
有し、Cのスキャン方法は45°のスキャン方法を有す
る。
【0024】このように相違なるスキャン方式を有する
可変長符号化チャネルにおいて、N個の可変長符号長さ
累積部ACCM1 〜ACCMN は、それぞれの累積長さ
貯蔵部に貯蔵された累積長さデータを最小値選択部52
のN個入力端にそれぞれ供給する。また、N種のスキャ
ン方式で可変長符号化されたデータが貯蔵されたN個の
バッファBF1 〜BFN の各出力端は選択スイッチ54
のN個入力端にそれぞれ連結される。最小値選択部52
のN個の累積長さ貯蔵部LM1 〜LMN からそれぞれ供
給される累積長さデータのうち最小値を選択する。その
後、最小値選択部52は選択された最小値の累積長さを
有する可変長符号化チャネルのスキャン方式を示すスキ
ャン方式データDSCANを出力し、かつ選択された最小累
積長さに当たる所定の選択制御信号SELを選択スイッ
チ54に供給する。すると、選択スイッチ54は選択制
御信号SELに応じてN個入力端に印加される入力デー
タのうち最小値累積長さを有する可変長符号データDVL
C を選択して出力する。
【0025】また、最小値選択部52は最小値が選択さ
れる時毎に、即ちブロックデータの可変長符号化が完了
される時毎にリセット信号RSTを発生してN個のバッ
ファBF1 〜BFN 及びN個の累積長さ貯蔵部LM1 〜
LMN をリセットさせる。このように可変長符号化器か
ら出力される可変長符号データDVLC 及びスキャン方式
データDSCANは受信側に伝送され復号化器に供給され
る。
【0026】図6は可変長復号化装置の一実施例を示
す。
【0027】図6において、受信された可変長符号デー
タDVLC は可変長復号化部61に供給され不図示の可変
長復号化マップにより[ラン・レベル]符号に変換され
る。また、符号化装置から伝送されたスキャン方式デー
タDSCANは複数のスキャン方式(第1〜第Nスキャン)
にそれぞれ当たるスキャナアドレスを貯蔵するスキャン
方式選択部62に供給される。スキャン方式選択部62
は印加されるスキャン方式データDSCANに当たるスキャ
ンアドレスADDRS を選択して発生する。すると、ラ
ン・レベル復号化部63は可変長復号部61から供給さ
れる[ラン・レベル]符号をスキャン方式選択部62か
ら供給されるスキャンアドレスADDRS により2次元
の量子化係数に変換させる。その後、量子化係数は逆量
子化部に供給される。
【0028】以上、本発明の実施例として2次元データ
に対して説明してきたが、本発明は2次元データの処理
に限らず、多元データの符号化及び復号化にも容易に応
用されうる。
【0029】
【発明の効果】以上説明したように、本発明によれば、
直交変換されたブロックの量子化係数を、ジグザグパタ
ーンを含み異なるスキャニング方向の複数のスキャニン
グパターンでランレベル符号化し、さらに可変長符号化
し、符号化データの累積長が最小となるスキャニングパ
ターンを選択して、対応する符号化データと、選択され
たスキャニングパターンを識別するスキャニングパター
ンデータとを伝送することで、高効率の符号化方法及び
その装置を実現できる。
【0030】
【図面の簡単な説明】
【図1】従来の符号化装置の一例を示すブロック図であ
る。
【図2】従来の復号化装置の一例を示すブロック図であ
る。
【図3】従来のスキャン方法及び符号化過程の一部を説
明するための概念図である。
【図4】可変長符号化された符号の分布状態を説明する
ための概念図である。
【図5】本発明の可変長符号化装置の一実施例を示すブ
ロック図である。
【図6】本発明の可変長復号化装置の一実施例を示すブ
ロック図である。
【図7A】図5及び図6の装置で0°のスキャン方向で
のスキャン方式を説明するための概念図である。
【図7B】図5及び図6の装置で30°のスキャン方向
でのスキャン方式を説明するための概念図である。
【図7C】図5及び図6の装置で45°のスキャン方向
でのスキャン方式を説明するための概念図である。
【符号の説明】
11 直交変換部 12 量子化部 13 可変長符号化部 14 バッファ 15,22 逆量子化部 16,23 逆直交変換部 17,25 フレームメモリ 18 動推定部 CM1 〜CMN 係数貯蔵部 52 最小値選択部 SAG1 〜SAGN スキャンアドレス発生部 54 選択スイッチ CD1 〜CDN ラン・レベル符号化部 VLC1 〜VLCN 可変長符号化部 BF1 〜BFN バッファ LM1 〜LMN 累積長さ貯蔵部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI H04N 7/32 H04N 7/137 Z

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 所定大きさのブロック単位に区分されて
    直交変換された量子化係数を符号化する符号化装置にお
    いて、 前記量子化係数がブロック単位に印加される入力端と、 前記入力端を通じて供給される前記量子化係数を複数の
    係数貯蔵手段に貯蔵する貯蔵手段と、 前記複数の係数貯蔵手段のそれぞれに対して、ブロック
    をスキャンするスキャニング方向の異なる、ジグザグパ
    ターンを含む複数のスキャニングパターンを発生するス
    キャンパターン発生手段と、 前記複数の係数貯蔵手段に貯蔵された量子化係数のそれ
    ぞれを、前記スキャンパターン発生手段から発生される
    スキャニング方向の異なる複数のスキャニングパターン
    に基づいてランレベル符号化し、シンボルデータに変換
    するランレベル符号化手段と、 前記シンボルデータのそれぞれを可変長符号化データに
    変換する可変長符号化手段と、 前記可変長符号化データのそれぞれを貯蔵する複数のバ
    ッファと、 前記可変長符号化データのそれぞれの長さをブロック単
    位で累積する複数の累積手段と、 前記複数の累積手段に累積された累積値のうちから最小
    値を選択し、対応する選択信号を出力する最小値選択手
    段と、 前記選択信号により、前記複数のバッファのうちの最小
    の累積値に対応する1つバッファを選択するバッファ選
    択手段と、 前記最小値選択手段で選択された最小値に対応するスキ
    ャニング方向のスキャニングパターンを表わすスキャニ
    ングパターンデータと前記バッファ選択手段で選択され
    たバッファから出力される可変長符号化データとを伝送
    路に出力する出力手段とを備えることを特徴とする符号
    化装置。
  2. 【請求項2】 前記複数の累積手段のそれぞれは、 累積値を貯蔵する累積値貯蔵手段と、 前記可変長符号化手段から供給される可変長符号長さの
    それぞれと既に前記複数の累積手段のそれぞれに格納さ
    れた累積値とを加算する複数の加算手段と、前記複数の
    加算手段のそれぞれから出力されるデータを新たな累積
    値として前記累積値貯蔵手段に貯蔵する手段とを備える
    ことを特徴とする請求項1に記載の符号化装置。
  3. 【請求項3】 前記最小値選択手段は、前記複数の累積
    手段に累積された累積値のうちから最小値を選択し、さ
    らに、前記複数のバッファ及び累積手段のそれぞれにリ
    セット信号を供給して所定の初期値にリセットすること
    を特徴とする請求項1に記載の符号化装置。
  4. 【請求項4】 所定大きさのブロック単位に区分されて
    直交変換された量子化係数を符号化する符号化方法にお
    いて、 ブロック単位に供給される前記量子化係数を、スキャニ
    ング方向の異なる、ジグザグパターンを含む複数のスキ
    ャニングパターンに基づいてランレベル符号化して、そ
    れぞれのスキャニングパターン毎にシンボルデータに変
    換し、 前記シンボルデータのそれぞれを可変長符号化により可
    変長符号化データに変換して蓄積し、前記可変長符号化
    データのそれぞれの長さをブロック単位で累積し、 前記累積された累積値のうちから最小値を選択し、 前記選択された最小値に対応するスキャニング方向のス
    キャニングパターンを表わすスキャニングパターンデー
    タと、前記選択された最小値に対応する前記蓄積された
    可変長符号化データとを伝送路に出力することを特徴と
    する符号化方法。
JP5150277A 1992-07-23 1993-06-22 符号化方法及びその装置 Expired - Lifetime JP2941601B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1019920013171A KR950010913B1 (ko) 1992-07-23 1992-07-23 가변장부호화 및 복호화시스템
KR92-13171 1992-07-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP00559297A Division JP3369422B2 (ja) 1992-07-23 1997-01-16 データ復号化方法及びその装置

Publications (2)

Publication Number Publication Date
JPH06125278A JPH06125278A (ja) 1994-05-06
JP2941601B2 true JP2941601B2 (ja) 1999-08-25

Family

ID=19336849

Family Applications (4)

Application Number Title Priority Date Filing Date
JP5150277A Expired - Lifetime JP2941601B2 (ja) 1992-07-23 1993-06-22 符号化方法及びその装置
JP00559297A Expired - Lifetime JP3369422B2 (ja) 1992-07-23 1997-01-16 データ復号化方法及びその装置
JP2000126145A Expired - Lifetime JP3442028B2 (ja) 1992-07-23 2000-04-26 データ復号化方法及びその装置
JP2003109245A Pending JP2003289543A (ja) 1992-07-23 2003-04-14 データ復号化方法及びその装置

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP00559297A Expired - Lifetime JP3369422B2 (ja) 1992-07-23 1997-01-16 データ復号化方法及びその装置
JP2000126145A Expired - Lifetime JP3442028B2 (ja) 1992-07-23 2000-04-26 データ復号化方法及びその装置
JP2003109245A Pending JP2003289543A (ja) 1992-07-23 2003-04-14 データ復号化方法及びその装置

Country Status (6)

Country Link
US (3) US5497153A (ja)
EP (1) EP0580454B1 (ja)
JP (4) JP2941601B2 (ja)
KR (1) KR950010913B1 (ja)
DE (1) DE69321781T2 (ja)
HK (1) HK1008711A1 (ja)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5416520A (en) * 1993-11-30 1995-05-16 Intel Corporation Multiple encoder output buffer apparatus for differential coding of video information
KR970009408B1 (ko) * 1994-01-18 1997-06-13 대우전자 주식회사 인터/인트라 테이블 선택 회로
FI97096C (fi) 1994-09-13 1996-10-10 Nokia Mobile Phones Ltd Videonkompressiomenetelmä
US5598354A (en) * 1994-12-16 1997-01-28 California Institute Of Technology Motion video compression system with neural network having winner-take-all function
KR0182058B1 (ko) * 1995-05-10 1999-05-01 김광호 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법
US5825313A (en) * 1995-08-01 1998-10-20 Sony Corporation Information signal encoding apparatus, encoding method thereof, information signal decoding method, and information signal record medium thereof
US5694127A (en) * 1995-10-17 1997-12-02 Zapex Technologies, Inc. Method and apparatus for efficiently generating variable length code data
KR100219133B1 (ko) * 1996-01-06 1999-09-01 윤종용 변환부호화시스템의 변환계수선택방법및그장치
KR100242635B1 (ko) * 1996-01-25 2000-02-01 윤종용 가변장 부호화 및 가변장 복호화 시스템
US5818877A (en) * 1996-03-14 1998-10-06 The Regents Of The University Of California Method for reducing storage requirements for grouped data values
US6341144B1 (en) 1996-09-20 2002-01-22 At&T Corp. Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video
JP4166305B2 (ja) * 1996-09-20 2008-10-15 エイ・ティ・アンド・ティ・コーポレーション ビデオの画像コーディング及びイントラコーディングのための暗黙の係数予測及び走査適合化を提供するビデオコーダー
US8625665B2 (en) 1996-09-20 2014-01-07 At&T Intellectual Property Ii, L.P. Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video
US5987184A (en) * 1996-09-30 1999-11-16 Kweon; Ji-Heon Device for coding/decoding image information
EP0869680A3 (en) * 1997-04-04 2000-07-26 Samsung Electronics Co., Ltd. Symbol decoding method and apparatus
US6426975B1 (en) 1997-07-25 2002-07-30 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus and data recording medium
US6961474B1 (en) 1998-02-27 2005-11-01 Shikino High-Tech Co., Ltd. Huffman encoder for encoding/decoding DCT coefficients
US7046734B2 (en) * 1998-04-02 2006-05-16 Intel Corporation Method and apparatus for performing real-time data encoding
US6904174B1 (en) 1998-12-11 2005-06-07 Intel Corporation Simplified predictive video encoder
US7263127B1 (en) 1998-04-02 2007-08-28 Intel Corporation Method and apparatus for simplifying frame-based motion estimation
US7424058B1 (en) 2000-09-28 2008-09-09 Autodesk, Inc. Variable bit-rate encoding
JP2002112268A (ja) * 2000-09-29 2002-04-12 Toshiba Corp 圧縮画像データ復号装置
EP1391121B1 (en) 2001-03-23 2012-08-15 Nokia Corporation Variable length coding
CN1301014C (zh) * 2001-11-22 2007-02-14 松下电器产业株式会社 可变长度编码方法以及可变长度解码方法
CN101005625B (zh) * 2001-11-22 2010-06-02 松下电器产业株式会社 可变长度编码方法以及可变长度解码方法
FR2835665B1 (fr) 2002-02-04 2004-04-02 Canon Kk Codage et decodage de signal numerique
US7016547B1 (en) 2002-06-28 2006-03-21 Microsoft Corporation Adaptive entropy encoding/decoding for screen capture content
JP3707456B2 (ja) 2002-08-12 2005-10-19 ヤマハ株式会社 画像データ圧縮方法および画像データ伸張装置並びに伸張プログラム
DE60330198D1 (de) * 2002-09-04 2009-12-31 Microsoft Corp Entropische Kodierung mittels Anpassung des Kodierungsmodus zwischen Niveau- und Lauflängenniveau-Modus
US7433824B2 (en) * 2002-09-04 2008-10-07 Microsoft Corporation Entropy coding by adapting coding between level and run-length/level modes
DE10261665B3 (de) * 2002-12-20 2004-03-25 Smiths Heimann Biometrics Gmbh Einrichtung und Verfahren zur störungsarmen Aufnahme von hochaufgelösten zweidimensionalen Bildern
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7782954B2 (en) * 2003-09-07 2010-08-24 Microsoft Corporation Scan patterns for progressive video content
US7688894B2 (en) * 2003-09-07 2010-03-30 Microsoft Corporation Scan patterns for interlaced video content
US7450775B2 (en) * 2004-03-12 2008-11-11 Kabushiki Kaisha Toshiba Image processing apparatus for efficient storage of variable block length data
JP4442891B2 (ja) * 2004-11-30 2010-03-31 キヤノン株式会社 可変長符号化装置及び可変長符号化方法
US7599840B2 (en) * 2005-07-15 2009-10-06 Microsoft Corporation Selectively using multiple entropy models in adaptive coding and decoding
US7684981B2 (en) * 2005-07-15 2010-03-23 Microsoft Corporation Prediction of spectral coefficients in waveform coding and decoding
US7693709B2 (en) 2005-07-15 2010-04-06 Microsoft Corporation Reordering coefficients for waveform coding or decoding
US7565018B2 (en) * 2005-08-12 2009-07-21 Microsoft Corporation Adaptive coding and decoding of wide-range coefficients
US7933337B2 (en) * 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
US8599925B2 (en) * 2005-08-12 2013-12-03 Microsoft Corporation Efficient coding and decoding of transform blocks
EP2733951A1 (en) 2005-10-21 2014-05-21 Electronics and Telecommunications Research Institute Method for decoding moving picture using adaptive scanning
US8233535B2 (en) 2005-11-18 2012-07-31 Apple Inc. Region-based processing of predicted pixels
US8031777B2 (en) * 2005-11-18 2011-10-04 Apple Inc. Multipass video encoding and rate control using subsampling of frames
US8295343B2 (en) 2005-11-18 2012-10-23 Apple Inc. Video bit rate control method
US20070116117A1 (en) * 2005-11-18 2007-05-24 Apple Computer, Inc. Controlling buffer states in video compression coding to enable editing and distributed encoding
US8780997B2 (en) * 2005-11-18 2014-07-15 Apple Inc. Regulation of decode-side processing based on perceptual masking
JP4855417B2 (ja) * 2005-11-30 2012-01-18 シャープ株式会社 動画像符号化装置、動画像復号装置
US8161207B1 (en) 2006-06-22 2012-04-17 Marvell International Ltd. Common block interface for data and control with handshake protocol
KR101305319B1 (ko) * 2006-08-22 2013-09-06 세종대학교산학협력단 공간임의접근을 지원하는 영상 코덱 시스템, 영상 부호화방법 및 복호화 방법
US8184710B2 (en) * 2007-02-21 2012-05-22 Microsoft Corporation Adaptive truncation of transform coefficient data in a transform-based digital media codec
WO2008120434A1 (ja) * 2007-03-28 2008-10-09 Panasonic Corporation 復号化回路、復号化方法、符号化回路及び符号化方法
WO2008128380A1 (en) 2007-04-20 2008-10-30 Thomson Licensing Method and apparatus for selecting a scan path for the elements of a block in spatial domain picture encoding and decoding
US8031954B2 (en) 2007-04-26 2011-10-04 Canon Kabushiki Kaisha Image encoding apparatus and control method thereof using prediction encoding and pixel classification
JP5039425B2 (ja) * 2007-04-26 2012-10-03 キヤノン株式会社 画像符号化装置及びその制御方法
US7774205B2 (en) * 2007-06-15 2010-08-10 Microsoft Corporation Coding of sparse digital media spectral data
KR20090097013A (ko) * 2008-03-10 2009-09-15 삼성전자주식회사 영상 부호화장치 및 영상 복호화장치
US8179974B2 (en) 2008-05-02 2012-05-15 Microsoft Corporation Multi-level representation of reordered transform coefficients
US8406307B2 (en) 2008-08-22 2013-03-26 Microsoft Corporation Entropy coding/decoding of hierarchically organized data
GB2496194A (en) * 2011-11-07 2013-05-08 Sony Corp Entropy encoding video data using reordering patterns
GB2496195A (en) * 2011-11-07 2013-05-08 Sony Corp Entropy encoding video data using reordering patterns
KR101440731B1 (ko) * 2013-07-23 2014-09-18 세종대학교산학협력단 공간임의접근을 지원하는 영상 코덱 시스템, 영상 부호화 방법 및 복호화 방법
US10171810B2 (en) 2015-06-22 2019-01-01 Cisco Technology, Inc. Transform coefficient coding using level-mode and run-mode
CN108605133B (zh) 2016-02-12 2020-10-23 华为技术有限公司 选择扫描顺序的方法和装置
KR102159252B1 (ko) 2016-02-12 2020-10-14 후아웨이 테크놀러지 컴퍼니 리미티드 스캔 순서 선택을 위한 방법 및 장치

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2589020B1 (fr) * 1985-10-22 1987-11-20 Eude Gerard Procede de codage hybride par transformation pour la transmission de signaux d'image
JPS62145988A (ja) * 1985-12-20 1987-06-30 Fujitsu Ltd 適応的走査線変換画像伝送方式
CA1296430C (en) * 1986-11-10 1992-02-25 Masahide Kaneko Encoding system capable of accomplishing a high efficiency by anterior and/or posterior processing to quantization
GB8716195D0 (en) * 1987-07-09 1987-08-12 British Telecomm Data encoding
US4821119A (en) * 1988-05-04 1989-04-11 Bell Communications Research, Inc. Method and apparatus for low bit-rate interframe video coding
US4972260A (en) * 1988-08-22 1990-11-20 Matsushita Electric Industrial Co., Ltd. Apparatus for coding a moving-picture signal
FR2644962A1 (fr) * 1989-03-24 1990-09-28 Labo Electronique Physique Dispositif de codage de signaux video numeriques
FR2646575A1 (fr) * 1989-04-26 1990-11-02 Labo Electronique Physique Procede et structure pour la compression de donnees
US5021891A (en) * 1990-02-27 1991-06-04 Qualcomm, Inc. Adaptive block size image compression method and system
US5136371A (en) * 1990-03-15 1992-08-04 Thomson Consumer Electronics, Inc. Digital image coding using random scanning
JPH03266564A (ja) * 1990-03-16 1991-11-27 Canon Inc 画像符号化方式及びその装置
JP2959831B2 (ja) * 1990-10-31 1999-10-06 オリンパス光学工業株式会社 画像データの符号化装置
JPH04189092A (ja) * 1990-11-22 1992-07-07 Victor Co Of Japan Ltd 直交変換符号化装置及び復号化装置
JPH04247770A (ja) * 1991-02-04 1992-09-03 Fujitsu Ltd 画像データ圧縮方法および画像データ圧縮装置ならびに画像データ復元装置
JPH04360469A (ja) * 1991-06-07 1992-12-14 Sanyo Electric Co Ltd 適応スキャン符号化装置
US5227878A (en) * 1991-11-15 1993-07-13 At&T Bell Laboratories Adaptive coding and decoding of frames and fields of video
DE69322713T2 (de) * 1992-08-31 1999-05-06 Victor Company Of Japan Vorrichtung zur orthogonalen Transformationskodierung und -dekodierung
US5367629A (en) * 1992-12-18 1994-11-22 Sharevision Technology, Inc. Digital video compression system utilizing vector adaptive transform

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
電子通信学会技術研究報告,IE86−112,P.17−24

Also Published As

Publication number Publication date
EP0580454A3 (en) 1995-01-18
JP3369422B2 (ja) 2003-01-20
JP2000341694A (ja) 2000-12-08
US5497153A (en) 1996-03-05
JPH09261078A (ja) 1997-10-03
HK1008711A1 (en) 1999-05-07
JPH06125278A (ja) 1994-05-06
JP3442028B2 (ja) 2003-09-02
JP2003289543A (ja) 2003-10-10
KR940003197A (ko) 1994-02-21
US5602549A (en) 1997-02-11
US5654706A (en) 1997-08-05
EP0580454A2 (en) 1994-01-26
DE69321781D1 (de) 1998-12-03
EP0580454B1 (en) 1998-10-28
DE69321781T2 (de) 1999-03-18
KR950010913B1 (ko) 1995-09-25

Similar Documents

Publication Publication Date Title
JP2941601B2 (ja) 符号化方法及びその装置
JP2891772B2 (ja) イメージフレームのランダムスキャンニングを用いるディジタルイメージコーディング法
US5714950A (en) System for variable-length-coding and variable-length-decoding digitaldata
JP3716931B2 (ja) 連続画像の適応型復号装置
JP2633793B2 (ja) 映像データの可変長符号化/復号化方法及び装置
US7085424B2 (en) Method and system for compressing motion image information
US6912318B2 (en) Method and system for compressing motion image information
JP2005065312A (ja) 画像符号化方法
JPH01503509A (ja) 一連の画像を有効に通信するための階層的符号化方法と装置
JPH0686262A (ja) 画像符号化装置
AU2002230101A2 (en) Moving picture information compressing method and its system
GB2309613A (en) Variable-length coding and decoding digital data
KR0134358B1 (ko) 가변 스캔방법을 이용한 부호화 및 복호화시스템
KR0134359B1 (ko) 가변 스캔영역을 이용한 부호화 및 복호화시스템
JPH0711832B2 (ja) 高能率画像符号化装置
JPH07143487A (ja) 画像符号化装置
JPH0575987A (ja) 動画像信号の動き領域の検出方法と高能率符号化装置
JPH0310486A (ja) 動画像符号化装置
KR0134324B1 (ko) 데이타압축을 위한 비트단위 가변장부호화방법
JP3337699B2 (ja) 画像処理装置およびその方法
JP3040728B2 (ja) 画像処理装置および画像処理方法
JP3356338B2 (ja) 画像処理装置及び画像処理方法
JP2832972B2 (ja) 画像データの量子化回路
JP3204952B2 (ja) 画像処理装置及びその方法
JPH04220082A (ja) 画像データ復元方法及び装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 19960917

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080618

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090618

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100618

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110618

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110618

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 14

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term