JP2940422B2 - 変換符号化された画像データの復号化時に生じるブロック歪の低減方法及び変換符号化された画像データの復号化装置 - Google Patents

変換符号化された画像データの復号化時に生じるブロック歪の低減方法及び変換符号化された画像データの復号化装置

Info

Publication number
JP2940422B2
JP2940422B2 JP31416194A JP31416194A JP2940422B2 JP 2940422 B2 JP2940422 B2 JP 2940422B2 JP 31416194 A JP31416194 A JP 31416194A JP 31416194 A JP31416194 A JP 31416194A JP 2940422 B2 JP2940422 B2 JP 2940422B2
Authority
JP
Japan
Prior art keywords
block
unit
region
quantization width
width value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP31416194A
Other languages
English (en)
Other versions
JPH08149470A (ja
Inventor
隆幸 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP31416194A priority Critical patent/JP2940422B2/ja
Priority to TW084112436A priority patent/TW293227B/zh
Priority to US08/561,350 priority patent/US5949908A/en
Priority to EP95308400A priority patent/EP0714209B1/en
Priority to DE69525312T priority patent/DE69525312T2/de
Priority to CNB951202480A priority patent/CN1168302C/zh
Priority to KR1019950043475A priority patent/KR100231186B1/ko
Publication of JPH08149470A publication Critical patent/JPH08149470A/ja
Priority to US09/205,986 priority patent/US6167157A/en
Application granted granted Critical
Publication of JP2940422B2 publication Critical patent/JP2940422B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は変換符号化された画像デ
ータの復号化時に生じるブロック歪の低減方法及び前記
の方法を適用して変換符号化された画像データを復号す
る画像データの復号化装置に関する。
【0002】
【従来の技術】画像信号、音響信号、その他の各種信号
をデジタル信号として、伝送,記録再生する場合には、
情報量の圧縮伸長技術が用いられている。すなわち、例
えば画像信号や音声信号等のデジタル化に当って、各サ
ンプル値を均等に分割した信号レベルの内の一つの代表
値で置き換える直線量子化(均等量子化)を行なっただけ
では、伝送,記録再生の対象とされる信号の情報量が、
非常に多い状態になるからである。それで、従来から放
送通信の技術分野、記録再生の技術分野においては、例
えば、信号の変化の少ない部分で人間の視覚や聴覚が敏
感であり、信号の変化の激しい部分ではある程度の誤差
があっても、それを検知し難いという人間の視覚や聴覚
の性質を、各サンプルあたりの情報量の低減のために利
用するということの他に、多くの情報圧縮技術の適用に
より、伝送,記録再生の対象にされている各種情報につ
いての高能率圧縮技術(情報の高能率符号化技術)の実
用化が進められて来ていることは周知のとおりである。
【0003】さて、現在、実用化されているVHS(登
録商標)方式のVTRからの再生信号を用いて表示され
た再生画像程度の画質の動画像における1時間当りの情
報量は、おおよそ109Gビットであり、また、我国に
おける現行の標準方式のカラーテレビジョン方式の受信
画像程度の画質の動画像における1時間当りの情報量
は、おおよそ360Gビットであるが、前記のように大
きな情報量を有する画像情報を、実用化されている現行
の伝送路や記録媒体を用いて、伝送,記録再生させるた
めに必要とされる画像情報の高能率圧縮方式についての
実用化研究も盛んに行なわれている。
【0004】ところで、現在、実用的な画像情報の高能
率圧縮方式として提唱されている画像情報の高能率圧縮
方式では、自然画における隣接画素間では相関が高い
という、画面内(フレーム内)相関々係を利用して行な
う情報量の圧縮(空間的相関々係を利用して行なう情報
量の圧縮)、時間軸上に並ぶ画面間(フレーム間)相関
々係を利用して行なう情報量の圧縮(時間的相関々係を
利用して行なう情報量の圧縮)、符号の出現確率の偏
りによる情報量の圧縮、との3種類の異なる圧縮手段を
組合わせて情報量の圧縮を行ない、高能率符号化が達成
されるようにしている。前記したの画面内(フレーム
内)相関々係を利用して行なう画像の情報量の圧縮手段
としては、従来から多くの手法が提案されて来ている
が、近年になって、K−L(カルーネン・レーベ)変
換、離散コサイン変換(DCT)、離散フーリエ変換、
ウオルシュ・アダマール変換、等を代表例とする直交変
換が採用されることが多くなった。
【0005】例えば、ISO(国際標準化機構)の下に
設立されたMPEG(MovingPicture C
oding Expert Group)による国際標準
化作業の結果として提唱された画像情報の高能率符号化
方式(MPEG1方式,MPEG2方式と呼称されるこ
ともある)は、フレーム内符号化と、フレーム間符号化
とを組合わせて、動き補償予測やフレーム間予測を施し
た状態で、動画像情報の高能率符号化を行なうのである
が、前記の直交変換として2次元離散コサイン変換(2
次元DCT)を採用している。そして、前記の直交変換
は、高能率符号化の対象にされる各1枚毎の画面の画像
信号について、所定のブロックサイズ(N×M画素←横
N画素×縦Mラインのブロックサイズ)を有する「単位
のブロック」(前記のMPEG1方式,MPEG2方式
では、8×8画素←横8画素×縦8ラインのブロックサ
イズのブロックが「単位のブロック」とされている)毎
に分割された画像信号について行なわれる。
【0006】前記の単位のブロック毎に直交変換される
ことによって得られる(N×M)個の直交変換係数(前
記のMPEG1方式,MPEG2方式では、8×8=6
4個のDCT変換係数)は、少なくとも前記した単位の
ブロックの1個を含む予め定められた大きさの領域(前
記のMPEG1方式,MPEG2方式において、「マク
ロブロック」の用語で呼称されている領域、すなわち、
MPEG1方式,MPEG2方式で、輝度信号Yについ
ての16×16画素←横16画素×縦16ラインのブロ
ックサイズの大きさの領域と、2つの色差信号Cr,C
bのそれぞれについての8×8画素←横8画素×縦8ラ
インのブロックサイズの大きさの領域とからなる領域)
毎に設定されている「ブロック量子化幅値」によって量
子化される。例えば、MPEG1方式,MPEG2方式
において、前記した「ブロック量子化幅値」は、[{マ
クロブロック量子化特性値(またはマクロブロックの量
子化スケール)QS}×量子化マトリクス]として示さ
れる。
【0007】前記のブロック量子化幅値によって量子化
された直交変換係数(例えばDCT係数)は、それの直
流成分(DC成分)と、交流成分(AC成分)とに分離され
る。前記の直交変換係数(例えばDCT係数)の直流成分
は差分符号化され、また直交変換係数(例えばDCT係
数)の交流成分は、ジグザグ走査された後にエントロピ
ー符号化(符号の出現確率の偏りによる情報量圧縮…例
えばハフマン方式のような可変長符号化)される。前記
のように変換符号化された画像データはビットストリー
ム(ビット列)として出力される。次に前述のように変換
符号化された画像データに対する復号動作は、既述の符
号化動作とは逆の操作で行なわれて出力画像が得られる
のであるが、高能率符号化の過程において量子化が行な
われている場合には、避けることができない量子化誤差
の存在により、出力画像中に量子化ノイズを生じさせ
る。そして符号化の対象にされた画像の複雑さが、伝送
レートに対して大きな場合に前記の量子化ノイズが画像
の品質を大きく劣化させる。
【0008】一般的に、前記した量子化ノイズを生じさ
せる量子化誤差の内で、低域成分の量子化誤差は、単位
のブロック間に相関が無い状態の出力画像歪、所謂ブロ
ック歪を画像中に生じさせ、また、量子化ノイズを生じ
させる量子化誤差の内で、高域成分の量子化誤差は、リ
ンギング状の出力画像歪、所謂モスキートノイズをエッ
ジの周辺に生じさせる。ところで、前記のように画像中
に生じる量子化ノイズは、画像の平坦部分では特に目立
つものである。すなわち、低域から高域にかけて大きな
映像信号レベルの変化がある場所に、小さなノイズが加
算されているような量子化ノイズの波形の場合には、視
覚特性上での感度差が小さいことからノイズは検知され
難い。しかし、低域だけに大きな映像信号レベルの変化
が存在している場合に、高域に小さなノイズが加算され
ているときは、前記のノイズが検知され易い。当然のこ
とながら、大きなノイズが加算された場合には、低域,
高域の如何に拘らずに致命的を符号化劣化として検知さ
れてしまうことは、いうまでもない。
【0009】前記のような量子化ノイズによる画像品質
の劣化の問題を解決するために、例えば特開平4ー22
75号公報には、量子化ノイズの内の低周波成分で画像
中に生じるブロック歪を低減させるために、復号画像に
おけるブロック毎の活性度(アクティビテイ…ブロック
中に含まれている高周波成分の画像データの量)を検出
し、前記の検出された活性度の値に応じて、そのブロッ
クの境界部分の画素データをローパスフィルタで処理す
るとともに、ローパスフィルタで処理された画素データ
にランダムノイズを付加するようにした解決手段が開示
されている。
【0010】
【発明が解決しようとする課題】ところが、前記した従
来の解決手段では、伝送レートに対して、高能率符号化
しようとしている画像の複雑さの程度が大きな場合に、
画像の劣化が大きなものになり、復号画像のアクティビ
ティに、前記した画像の劣化に伴う量子化ノイズが混入
して、本来、アクティビティが低いブロックであるのに
も拘らず、復号画像におけるブロックの活性度が高いも
のと判定されることが生じる。すなわち、アクティビテ
ィ情報の検出結果が、画像データがもともと持っていた
アクティビティ情報なのか、あるいは量子化ノイズの混
入によって、画像データに新たに付加されたアクティビ
ティ情報なのかの区別を判定することが困難なので、前
記の解決手段によっては、変換符号化された画像データ
の復号化時に生じるブロック歪を充分に低減させること
ができず、それの解決策が求められた。
【0011】
【課題を解決するための手段】本発明は、所定のブロッ
クサイズを有する単位のブロック毎に分割された画像信
号が、それぞれの単位のブロック毎に直交変換された後
に、少なくとも前記した単位のブロックの1個を含む予
め定められた大きさの領域毎に個別に設定されているブ
ロック量子化幅値を用いて量子化されるとともに、所定
の符号化により変換符号化された画像データの復号化に
当り、前記した各領域毎に個別に設定されているブロッ
ク量子化幅値が、予め定められた値よりも大きな値を示
す領域内に含まれている単位のブロックの境界部分、及
び、前記した各領域毎に個別に設定されているブロック
量子化幅値が、隣接する領域に設定されているブロック
量子化幅値との間で大きな差値を示すブロック量子化幅
値を有する領域内に含まれている単位のブロックの境界
部分について、前記した領域間のブロック量子化幅値の
大きさの差と適応的に高域成分を減少させるような信号
処理を施して変換符号化された画像データの復号化時に
生じるブロック歪を低減させるようにしたり、あるいは
所定のブロックサイズを有する単位のブロック毎に分割
された画像信号が、それぞれの単位のブロック毎に直交
変換された後に、少なくとも前記した単位のブロックの
1個を含む予め定められた大きさの領域毎に個別に設定
されているブロック量子化幅値を用いて量子化され、フ
レーム間予測符号化が施されるとともに、前記の領域毎
に個別に領域の予測モードが設定されている変換符号化
された画像データの復号化に当り、前記した各領域毎に
個別に設定されている領域の予測モードが、領域内符号
化モードである領域内に含まれている単位のブロックの
境界部分について、前記した領域間のブロック量子化幅
値の大きさに基づいて適応的に高域成分を減少させるよ
うに信号処理を施して変換符号化された画像データの復
号化時に生じるブロック歪を低減させるようにしたり、
もしくは前記した変換符号化された画像データの復号化
に当り、前記した各領域毎に個別に設定されているブロ
ック量子化幅値が、予め定められた値よりも大きな値を
示す領域内に含まれている単位のブロックの境界部分、
及び、前記した各領域毎に個別に設定されているブロッ
ク量子化幅値が、隣接する領域に設定されているブロッ
ク量子化幅値との間で大きな差値を示すブロック量子化
幅値を有する領域内に含まれている単位のブロックの境
界部分について、前記した領域間のブロック量子化幅値
の大きさの差と適応的に高域成分を減少させるように信
号処理を施こすとともに、前記した各領域毎に個別に設
定されている領域の予測モードが、領域内符号化モード
である領域内に含まれている単位のブロックの境界部分
について、前記した領域間のブロック量子化幅値の大き
さに基づいて適応的に高域成分を減少させるように信号
処理を施して、変換符号化された画像データの復号化時
に生じるブロック歪を低減させるようにしたブロック歪
の低減方法、及び、所定のブロックサイズを有する単位
のブロック毎に分割された画像信号が、それぞれの単位
のブロック毎に直交変換された後に、少なくとも前記し
た単位のブロックの1個を含む予め定められた大きさの
領域毎に個別に設定されているブロック量子化幅値を用
いて量子化されるとともに、所定の符号化により変換符
号化された画像データの復号化のために、少なくともバ
ッファメモリと、可変長復号化部と、逆量子化部と、逆
直交変換部と、動き補償部と、画像メモリとを含んで構
成されている復号化装置に、変換符号化された画像デー
タから、少なくとも前記した単位のブロックの1個を含
む予め定められた大きさの領域毎に個別に設定されてい
るブロック量子化幅値を検出するブロック量子化幅値の
検出手段と、前記したブロック量子化幅値の検出手段か
ら順次に出力される各領域毎に個別に設定されているブ
ロック量子化幅値を用いて、前記したブロック量子化幅
値が予め定められた値よりも大きな値を示す第1の領
域、及び、前記した各領域毎に個別に設定されているブ
ロック量子化幅値が、隣接する領域に設定されているブ
ロック量子化幅値との間で大きな差値を示すブロック量
子化幅値を有する第2の領域とを検出する手段と、制御
信号によって通過周波数帯域が可変できる可変通過帯域
低域濾波手段と、前記した第1の領域と第2の領域とに
含まれている単位のブロックの境界部分と対応する画素
アドレスを有する画素とその近傍の画素について、領域
間のブロック量子化幅値の大きさの差に応じて適応的に
高域成分が減少できるように前記した可変通過帯域低域
濾波手段を制御する制御信号の発生手段とを付加構成部
分として付設した構成形態とした変換符号化された画像
データの復号化装置を提供する。
【0012】
【作用】高能率符号化の対象にされている各1枚毎の画
面の画像信号について、所定のブロックサイズ(N×M
画素←横N画素×縦Mラインのブロックサイズ)を有す
る「単位のブロック」毎に、直交変換して得た(N×
M)個の直交変換係数が、少なくとも前記した単位のブ
ロックの1個を含む予め定められた大きさの領域毎に設
定されている「ブロック量子化幅値」によって量子化さ
れた後に、所定の符号化が施されてなる変換符号化され
た画像データと、前記の変換符号化された画像データの
復号時に必要とされる付加情報とによるビットストリー
ムがバッファメモリに記憶される。前記のバッファメモ
リから読出されたビットストリームが供給される可変長
復号部では、エントロピー符号化(可変長符号化)され
た画像データと、変換符号化された画像データの復号時
に必要とされる付加情報(例えばブロック量子化幅情
報、動きベクトル、予測モード情報等)とを復号する。
【0013】復号された画像データと、復号された付加
情報中のブロック量子化幅情報とが逆量子化部に与えら
れることによって、逆量子化部で行なわれる画像データ
に対する逆量子化動作により、逆量子化部から逆直交変
換部に直交変換係数が供給される。逆直交変換部では、
単位のブロック毎に2次元の逆直交変換を行なって、周
波数領域の画像データを時間軸領域の画像データに逆変
換する。前記の逆直交変換部から出力された時間軸領域
の画像データは、フレーム内符号化、フレーム間符号
化、の違いを示すコーディングタイプに従って、動き補
償部で動き補償された状態の画像データと加算するか、
加算しないかして、出力画像データとされて画像メモリ
に格納される。
【0014】前記のビットストリーム中に含まれていた
付加情報の内のブロック量子化幅情報と、予測モード情
報とを検出して、検出された前記のブロック量子化幅情
報、すなわち、少なくとも単位のブロックの1個を含む
予め定められた大きさの領域毎に個別に設定されている
ブロック量子化幅値を含むブロック量子化幅情報は、前
記した各領域毎に個別に設定されているブロック量子化
幅値が、予め定められた値よりも大きな値を示す領域内
に含まれている単位のブロックの境界部分、及び、前記
した各領域毎に個別に設定されているブロック量子化幅
値が、隣接する領域に設定されているブロック量子化幅
値との間で大きな差値を示すブロック量子化幅値を有す
る領域内に含まれている単位のブロックの境界部分につ
いて、前記した領域間のブロック量子化幅値の大きさの
差と適応的に高域成分を減少させるような信号処理を、
例えば可変通過帯域低域通過濾波器の通過帯域の制御信
号の発生のために用いて、変換符号化された画像データ
の復号化時に生じるブロック歪を低減させる
【0015】
【実施例】以下、添付図面を参照して本発明の変換符号
化された画像データの復号化時に生じるブロック歪の低
減方法、及び変換符号化された画像データの復号化装置
の具体的な内容を詳細に説明する。図1乃至図6は本発
明の変換符号化された画像データの復号化時に生じるブ
ロック歪の低減方法を適用した変換符号化された画像デ
ータの復号化装置の構成例を示すブロック図、図7及び
図8は可変通過帯域低域通過濾波器の構成例を示すブロ
ック図、図9は可変通過帯域低域通過濾波器の帯域の制
御特性の説明に使用する図、図10は制御信号発生部の
構成例を示すブロック図、図11は隣接領域におけるブ
ロックの量子化幅値の関係の説明に使用する図、図12
は単位のブロックの境界におけるフィルタリングの状態
の説明に使用する図である。
【0016】図1乃至図6に示す本発明の画像データの
復号化装置において、1は復号化の対象にされるビット
ストリーム(ビット列)の入力端子であり、また各図にお
いて一点鎖線枠で包囲して示してある部分(3,15,
18,20…復号器集積回路)は、集積回路化されてい
る構成部分であるとされている。図1、図3、図5の各
図に示されている復号化装置の実施例において、一点鎖
線枠3で包囲して示してある構成部分としては、少なく
ともバッファメモリ8と、可変長復号化部9と逆量子化
部10と、逆直交変換部11と、加算部12と、動き
補償部13と、画像メモリ14とを含んで集積回路化さ
れている市販品を使用することができる。
【0017】前記した入力端子1に供給されるビットス
トリームは、画面内(フレーム内)相関々係を利用する
直交変換により画像の情報量の圧縮(空間的相関々係を
利用して行なう情報量の圧縮)と、時間軸上に並ぶ画面
間(フレーム間)相関々係を利用して行なう情報量の圧
縮(時間的相関々係を利用して行なう情報量の圧縮)、及
び符号の出現確率の偏りによる情報量の圧縮との3種類
の異なる圧縮手段を組合わせて高能率変換符号化された
画像データ(例えばMPEG1方式,MPEG2方式に
よる画像データ)であるとされている。なお、本明細書
の以下の記述においては、復号の対象にされている画像
データが、MPEG1方式,MPEG2方式による画像
データであるとして説明が行なわれている。
【0018】ところで、MPEG1方式,MPEG2方
式における動画像情報の高能率符号化は、2次元離散コ
サイン変換(2次元DCT)によるフレーム内符号化
と、フレーム間符号化とを組合わせ、動き補償予測やフ
レーム間予測を施した状態で行なわれる。そして、高能
率符号化の対象にされた各1枚毎の画面の画像信号は、
8×8画素(横8画素×縦8ライン)のブロックサイズ
の「単位のブロック」毎に分割され、前記の各単位のブ
ロック毎にDCTが行なわれる。そして、前記の各単位
のブロック毎のそれぞれ64個のDCT変換係数は「ブ
ロック量子化幅値」で量子化される。MPEG1方式,
MPEG2方式において、前記の「ブロック量子化幅
値」は、前記した単位のブロックの1個を含む予め定め
られた大きさの領域の「マクロブロック」の用語で呼称
されている領域、すなわち、輝度信号Yについての16
×16画素(横16画素×縦16ライン)のブロックサイ
ズの大きさの領域と、2つの色差信号Cr,Cbのそれ
ぞれについての8×8画素(横8画素×縦8ライン)のブ
ロックサイズの大きさの領域とからなる領域)毎に設定
されている{マクロブロック量子化特性値(またはマク
ロブロックの量子化スケール)QS}と、量子化マトリ
クスとの積によって示される値である。
【0019】DCT変換係数を被除数とし、「ブロック
量子化幅値」を除数として量子化が行なわれたDCT係
数は、それの直流成分(DC成分)と、交流成分(AC
成分)とに分離される。前記のDCT係数の直流成分は
差分符号化され、またDCT係数の交流成分は、ジグザ
グ走査された後にエントロピー符号化(符号の出現確率
の偏りによる情報量圧縮…例えばハフマン方式のような
可変長符号化)されて変換符号化された画像データに
は、前記の変換符号化された画像データの復号時に必要
とされる付加情報[例えば、{ブロック量子化幅情報→
マクロブロック量子化特性値(またはマクロブロックの
量子化スケール)QS}と、動きベクトル、予測モード
情報等]が付加されてビットストリームとされている。
図1乃至図6にそれぞれ示されている本発明の画像デー
タの復号化装置において、入力端子1に供給されたビッ
トストリームは、例えば先入れ先出しメモリ(FIF
O)を用いて構成されているバッファメモリ8に格納さ
れる。
【0020】前記したバッファメモリ8から読出された
ビットストリームが供給される可変長復号部9では、エ
ントロピー符号化(可変長符号化)された画像データ
と、変換符号化された画像データの復号時に必要とされ
る付加情報、例えば{ブロック量子化幅情報→マクロブ
ロック量子化特性値(またはマクロブロックの量子化ス
ケール)QS}、動きベクトル、予測モード情報等)と
を復号する。そして、前記の可変長復号部9で復号され
た画像データと、ブロック量子化幅情報{マクロブロッ
ク量子化特性値(またはマクロブロックの量子化スケー
ル)QS}とは、逆量子化部10に供給され、また、動
きベクトル、予測モード情報等は、逆動き補償部13に
供給される。
【0021】前記の可変長復号部9で復号された画像デ
ータと、復号された付加情報中のブロック量子化幅情報
{マクロブロック量子化特性値(またはマクロブロック
の量子化スケール)QS]とが与えられた逆量子化部1
0では、逆量子化動作を行なって得たDCT変換係数を
逆直交変換部(逆DCT)11に供給する。逆直交変換
部(逆DCT)11では、単位のブロック毎に2次元の
逆DCTを行なって、周波数領域の画像データを時間軸
領域の画像データに逆変換して、それを加算部12に供
給する。前記のようにして加算部12に供給された時間
軸領域の画像データは、フレーム内符号化、フレーム間
符号化、の違いを示すコーディングタイプに従って、
動き補償部13で動き補償された状態の画像データと加
算するか、加算しないかして、出力画像データとされて
画像メモリ14に格納する。バッファメモリ8と、可変
長復号化部9と、逆量子化部10と、逆直交変換部11
と、加算部12と、動き補償部13と、画像メモリ1
4とからなる各構成部分の動作に関するこれまでの記述
は、図1乃至図6に示す本発明の画像データの復号化装
置における前記の各構成部分の動作について共通してい
る。
【0022】図1乃至図6の各図に示す本発明の画像デ
ータの復号化装置において、復号器集積回路3(または
15,18,20)における画像メモリ14からの画像
データは、可変帯域低域通過濾波器7を介して出力端子
2に出力されている。そして、前記の可変帯域低域通過
濾波器7は、制御信号発生部(6,17,19)から可
変帯域低域通過濾波器7に供給される制御信号によっ
て、それを通過する画像信号の高域部分の信号レベルが
変化する状態に制御される。前記した制御信号発生部
(6,17,19)の具体的な構成例は図10の(a)
〜(c)に示されている。また、前記した可変帯域低域
通過濾波器7の具体的な構成例は、図7及び図8に示し
てある。図7及び図8において点線枠7hで示されてい
る構成部分は、画像の水平方向について可変帯域低域通
過濾波器として機能する構成部分であり、また、図7中
で点線枠7vで示されている構成部分は、画像の垂直方
向について可変帯域低域通過濾波器として機能する構成
部分である。
【0023】そして、図7及び図8に例示している可変
帯域低域通過濾波器7の具体的な構成において、点線枠
7hで示されている画像の水平方向について可変帯域低
域通過濾波器として機能する構成部分と、点線枠7vで
示されている画像の垂直方向について可変帯域低域通過
濾波器として機能する構成部分とを直列的に接続するこ
とにより、全体的に2次元的な可変帯域低域通過濾波器
7として構成されるようにしている。前記した可変帯域
低域通過濾波器7を、1個の2次元的な低域通過濾波器
と減算器(図7,8中の22と対応して設けられる減算
器)と乗算器(図7,8中の23と対応して設けられる
減算器)と加算器(図7,8中の23と対応して設けら
れる減算器)とによって構成するようにしてもよい。
【0024】図7及び図8に例示した可変帯域低域通過
濾波器7において、前記した構成部分7hは、予め定め
られた固定の遮断周波数を有するように構成された水平
LPFと、減算器22と、乗算器23と、加算器24と
によって構成されており、また、前記した構成部分7v
は、予め定められた固定の遮断周波数を有するように構
成された垂直LPFと、減算器26と、乗算器27と、
加算器28とによって構成されている。そして、図7及
び図8に示されている可変帯域低域通過濾波器7におけ
る前記の2つの構成部分7h,7v中に設けられている
各乗算器23(27)には、制御信号発生部(6,1
7,19)から制御信号(図9の縦軸に示されている0
〜1.0の範囲の係数…乗算の係数信号)が供給され
る。それにより可変帯域低域通過濾波器7からの出力画
像データは、前記した予め定められた固定の遮断周波数
を有するLPFにおける遮断域よりも高い周波数帯域の
信号成分に対して、係数0〜1.0が乗算された状態と
される。
【0025】すなわち、図9の縦軸に示されている係数
0〜1.0は、DCT変換係数を量子化する際に用いら
れるブロック量子化幅と関連する個別の量子化スケール
値が設定されるべき領域、すなわち、DCTが行なわれ
る所定のブロックサイズを有する単位のブロック(DC
Tブロック)の1個を含む予め定められた大きさの領域
毎に、個別に設定されているブロック量子化幅値が、予
め定められた値よりも大きな値を示す領域内に含まれて
いる単位のブロックの境界部分、及び、前記した各領域
毎に個別に設定されているブロック量子化幅値が、隣接
する領域に設定されているブロック量子化幅値との間で
大きな差値を示すブロック量子化幅値を有する領域内に
含まれている単位のブロックの境界部分について、前記
した領域間のブロック量子化幅値の大きさの差と適応的
に高域成分を減少させるような信号処理が、前記した可
変帯域低域通過濾波器7によって行なわれるようにする
ための係数である。
【0026】図9の縦軸に示されている0〜1.0の係
数は、次のようにして定められる。すなわち、現在の時
点で信号処理が行なわれている領域(カレント領域)
が、例えば図11中に示されている領域(n,m)であ
って、その領域のDCT変換係数を量子化する際に用い
られるブロック量子化幅と関連する量子化スケール値が
Q(n,m)であったとし、また前記のカレント領域
(n,m)に対して上下左右に隣接している各1個の領
域{カレント領域(n,m)に対して4連結の関係にあ
る各領域}(n,m−1),(n−1,m),(n+1,
m),(n,m+1)について、それぞれ設定されていた
量子化スケール値が、それぞれQ(n,m−1),Q(n
−1,m),Q(n+1,m),Q(n,m+1)であった
として、 B(n,m)=Q(n,m)+dQ …(1) dQ={|Q(n−1,m)−Q(n,m)| +|Q(n,m−1)−Q(n,m)|+|Q(n+
1,m)−Q(n,m)|+|Q(n,m+1)−Q
(n,m)|}/4 として、順次に1領域ずつずらして順次のカレント領域
のB(n,m)の値を算出し、係数を0〜1.0の間に
規格化するために、B(n,m)=Q(n,m)+dQ
が、図9中のTh{B(n,m)}の値までに制限す
る。
【0027】前記のように0〜0.1の範囲の係数信号
を発生して、それを可変帯域低域通過濾波器7に供給す
る制御信号発生部を例示している図10の(a)〜
(c)において、図10の(a)に示されている制御信
号発生部6は、図1及び図2に示されている復号化装置
中で使用されるものであり、また、図10の(b)に示
されている制御信号発生部17は、図3及び図4に示さ
れている復号化装置中で使用されるものであり、さらに
図10の(c)に示されている制御信号発生部19は、
図5及び図6に示されている復号化装置中で使用される
ものである。そして、図10の(a)に示されている制
御信号発生部6は、信号処理に必要とされる範囲(例え
ば少なくとも3ライン程度)のブロック量子化幅情報を
格納できるような記憶容量を有するブロック量子化幅情
報のメモリ33に、順次の領域のブロック量子化幅情報
を記憶させる。
【0028】ブロック量子化幅情報のメモリ33に記憶
されたブロック量子化幅情報が読出されて、隣接領域の
ブロック量子化幅情報の比較判定部34において、隣接
する各領域におけるブロック量子化幅情報について、前
記したdQを求める比較演算を行なった後に、前記の
(1)式の演算を行なって順次のカレント領域について
のB(n,m)の値を求めて、それを乗算係数の設定部
35に供給する。乗算係数の設定部35では、それに供
給されたB(n,m)の値をアドレスとして、図9に例
示されているようなB(n,m)との関係を満足させる
係数と対応する係数信号(制御信号)をROMテーブル
から出力させる。前記の係数信号は、制御信号の送出部
36から制御信号として、制御信号発生部6から可変帯
域低域通過濾波器7に供給される。図10の(a)に示
されている制御信号発生部6は、図1及び図2に示され
ている構成形態の画像データの復号化装置中に使用され
ているものである。そして、前記した図10の(a)に
示されている制御信号発生部6から出力された制御信号
は、図7に構成態様が例示されている可変帯域低域通過
濾波器7における切換スイッチ30の固定接点aに供給
される。
【0029】次に、図3及び図4に示されている構成形
態の画像データの復号化装置中で制御信号発生部17の
一例構成を示している図10の(b)において、37は
イントラの領域(領域内符号化が行なわれている領域)
か否かの判定部37は、それに供給される領域毎の符号
化モード情報について、イントラの領域であるか否かに
応じた出力を乗算係数の設定部35に与える。前記の乗
算係数の設定部35では、イントラの領域であるのか否
かに応じて、それに供給された出力をアドレスとしてR
OMテーブルに与え、ROMテーブルからそれぞれ所定
の係数と対応する係数信号(制御信号)をROMテーブ
ルから出力させる。前記の係数信号は、制御信号の送出
部36から制御信号として、制御信号発生部17から可
変帯域低域通過濾波器7に供給される。前記した図10
の(b)に示されている制御信号発生部17から出力さ
れた制御信号は、図7に構成態様が例示されている可変
帯域低域通過濾波器7における切換スイッチ30の固定
接点aに供給される。
【0030】また、図10の(c)に示されている制御
信号発生部19は、図5及び図6に示されている構成形
態の画像データの復号化装置中で使用されているもので
あり、信号処理に必要とされる範囲(例えば少なくとも
3ライン程度)の領域毎のブロック量子化幅情報及び領
域毎の符号化モード情報を格納できるような記憶容量を
有しているメモり、すなわち、ブロック量子化幅情報及
び領域毎の符号化モード情報のメモリ38を備えてい
て、前記のメモリ38に順次の領域毎のブロック量子化
幅情報及び順次の領域毎の符号化モード情報を記憶させ
る。そして、前記したブロック量子化幅情報及び符号化
モード情報のメモリ38から読出されたブロック量子化
幅情報及び符号化モード情報は、隣接領域のブロック量
子化幅情報の比較判定及びイントラの領域か否かの判定
部39に供給される。
【0031】前記の隣接領域のブロック量子化幅情報の
比較判定及びイントラの領域か否かの判定部39では、
既述した図10の(a)について説明した制御信号発生
部6中の隣接領域のブロック量子化幅情報の比較判定部
34における動作と、既述した図10の(b)について
説明した制御信号発生部17中のイントラの領域か否か
の判定部37における動作との双方の動作を行ない、そ
れからの出力信号を乗算係数の設定部35に設けられて
いるROMテーブルにアドレスとして与える。ROMテ
ーブルからは、所定の係数と対応する係数信号(制御信
号)が出力され、前記の係数信号は、制御信号の送出部
36から制御信号として、制御信号発生部19から可変
帯域低域通過濾波器7に供給される。前記した図10の
(c)に示されている制御信号発生部19から出力され
た制御信号は、図8に構成態様が例示されている可変帯
域低域通過濾波器7における切換スイッチ34の固定接
点NIに供給されるとともに、乗算器32にも供給され
る。
【0032】ところで、DCTが行なわれる所定のブロ
ックサイズを有する単位のブロックの少なくとも1個を
含む予め定められた大きさの領域毎に、個別に設定され
ているブロック量子化幅値が、予め定められた値よりも
大きな値を示す領域内に含まれている単位のブロックの
境界部分、及び各領域毎に個別に設定されているブロッ
ク量子化幅値が、隣接する領域に設定されているブロッ
ク量子化値に比べて大きなブロック量子化幅の差値を示
す領域内に含まれている単位のブロックの境界部分なら
びに非イントラフレーム中のイントラ領域における単位
のブロックの境界部分について、前記した領域間のブロ
ック量子化幅値の大きさの差と適応的に高域成分を減少
させるような信号処理動作を行なう可変帯域低域通過濾
波器7による、選択された単位のブロックの境界付近の
画素に対するローパス特性のフィルタリング動作は、図
12に図示説明されているようにして行なわれる。
【0033】すなわち、図12中においてt1,t2,t3
…は、それぞれ1クロック周期ずつずれた状態で異なる
時刻を示している。そして、図12はFIRフィルタの
フィルタ長が5タップのローパスフィルタとして可変帯
域低域通過濾波器7が構成されている場合に、画像中に
おける特定な1行の画素配列における単位のブロックの
境界付近の順次の画素p-3,p-2,p-1,p,p+1,p
+2,p+3…に対してローパスのフィルタリングが施され
て行く状態を示している。可変帯域低域通過濾波器7に
おいて、画素アドレスが供給されている境界判定部29
は、画素アドレスに基づいて単位のブロックの境界付近
の所定の範囲と対応して出力信号を発生し、それを切換
制御信号として切換スイッチ30に供給する。
【0034】図7に示されている可変帯域低域通過濾波
器7において、前記の切換スイッチ30の固定接点aに
は、既述のように制御信号発生部から出力された係数信
号(制御信号)が供給されており、また固定接点bには
置数器33から1.0の係数値が供給されている。単位
のブロックの境界付近の所定の範囲の画素アドレス値に
応じて、前記した境界判定部29から出力された切換制
御信号は、切換スイッチ30の可動接点vを固定接点b
側から固定接点a側に切換えた状態にする。それで、単
位のブロックの境界付近の所定の範囲以外の部分におい
て、前記の切換スイッチ30は、置数器33に設定され
ている係数値1.0を固定接点bと可動接点vとを介し
て乗算器23,27に供給し、また、単位のブロックの
境界付近の所定の範囲については、既述のように0〜
1.0の範囲に定められた制御信号(係数信号)を、固
定接点aと可動接点vとを介して乗算器23,27に供
給する。
【0035】次に、図8に示してある可変帯域低域通過
濾波器7において、前記の切換スイッチ30の固定接点
aには、切換スイッチ34の可動接点vが接続されてお
り、前記の切換スイッチ34の可動接点vが、固定接点
NI側に切換えられている状態においては、前記の切換
スイッチ30の固定接点aには、制御信号発生部から出
力された係数信号(制御信号)が供給される。また、切
換スイッチ34の可動接点vが、固定接点I側に切換え
られている状態においては、前記の切換スイッチ30の
固定接点aには、乗算器32から出力された係数信号
(制御信号)が供給される。前記の切換スイッチ34の
可動接点vは、イントラ領域検出部31から出力された
切換制御信号により、領域がイントラ領域の場合には固
定接点I側に切換えられ、また、領域が非イントラ領域
の場合には固定接点NI側に切換えれる。前記した切換
スイッチ30の固定接点bには、置数器33から1.0
の係数値が供給されている。
【0036】前記の切換スイッチ30の可動接点vは、
単位のブロックの境界付近の所定の範囲の画素アドレス
値に応じて、前記した境界判定部29から出力された切
換制御信号によって、固定接点b側から固定接点a側に
切換えられる。それで前記の切換スイッチ30は、単位
のブロックの境界付近の所定の範囲については、既述の
ように0〜1.0の範囲に定められた制御信号(係数信
号)を、固定接点aと可動接点vとを介して乗算器2
3,27に供給する。また、単位のブロックの境界付近
の所定の範囲以外の部分では、切換スイッチ30の可動
接点vが固定接点a側から固定接点b側に切換えられ
て、置数器33に設定されている係数値1.0が、固定
接点bと可動接点vとを介して乗算器23,27に供給
する。
【0037】図1乃至図6に示す本発明の画像データの
復号化装置において、入力端子1に供給された復号化の
対象にされるビットストリーム(ビット列)が、少なくと
もバッファメモリ8と、可変長復号化部9と、逆量子化
部10と、逆直交変換部11と、加算部12と、動き
補償部13と、画像メモリ14とを含んで構成されてい
る構成部分によって復号された画像データが画像メモリ
14に格納され、画像メモリ14から復号された画像デ
ータを出力できることは既述のとおりである。そして、
図1乃至図6に示に示す本発明の画像データの復号化装
置は、前記した画像メモリ14から読出された画像デー
タを、可変帯域低域通過濾波器7に与えて、前記した可
変帯域低域通過濾波器7の動作によって、ブロック歪が
低減された状態の画像データを、画像データの復号化装
置の出力端子2から出力させるように構成させてあるの
である。
【0038】まず、図1に示す本発明の画像データの復
号化装置において、入力端子1に供給された復号化の対
象にされたビットストリームは、復号器集積回路3中に
設けられているバッファメモリ8に供給されるととも
に、バッファメモリ4にも供給されている。先入れ先出
しメモリが用いられているバッファメモリ4から読出さ
れたビットストリームは、ブロック量子化幅値検出部5
に供給される。前記のブロック量子化幅値検出部5は、
復号器集積回路3中に設けられている可変長復号部9と
同様の機能を備えている構成態様のものを使用すること
ができる。そして、前記したブロック量子化幅値検出部
5では、それに供給されたビットストリーム中から、順
次の領域毎のブロック量子化幅情報(例えば、マクロブ
ロック量子化特性値→マクロブロックの量子化スケー
ル)を検出して、それを制御信号発生部6に与える。
【0039】ところで、図1に示す本発明の画像データ
の復号化装置では、入力端子1に供給された復号化の対
象にされたビットストリームを、復号器集積回路3の外
部に設けたバッファメモリ4に供給し、前記のバッファ
メモリ4から読出されたビットストリームをブロック量
子化幅値検出部5に与え、ブロック量子化幅値検出部5
によって、ビットストリーム中から検出した順次の領域
毎のブロック量子化幅情報(例えば、マクロブロック量
子化特性値→マクロブロックの量子化スケール)を制御
信号発生部6に与えるようにしているが、図2に示す本
発明の画像データの復号化装置では、復号器集積回路1
5の内部に設けられている可変長復号部9の動作によ
り、ビットストリーム中から検出された順次の領域毎の
ブロック量子化幅情報(例えば、マクロブロック量子化
特性値→マクロブロックの量子化スケール)を制御信号
発生部6に与えるようにしている。
【0040】すなわち、図2に示す本発明の画像データ
の復号化装置は、図1に示す本発明の画像データの復号
化装置において、一点鎖線枠3で包囲して、少なくとも
バッファメモリ8と、可変長復号化部9と、逆量子化部
10と、逆直交変換部11と、加算部12と、動き補
償部13と、画像メモリ14とを含んで集積回路化して
ある復号器集積回路3に対して外付けされていたバッフ
ァメモリ4と、ブロック量子化幅値検出部5との動作
を、復号器集積回路3の内部に設けられているバッファ
メモリ8と可変長復号部9との機能を利用して行なわせ
るようにするとともに、可変長復号部9によってビット
ストリーム中から検出された順次の領域毎のブロック量
子化幅情報(例えば、マクロブロック量子化特性値→マ
クロブロックの量子化スケール)が与えられる制御信号
発生部6や、前記した制御信号発生部6から出力される
制御信号によって、画像メモリ14から供給される画像
データの高域周波数成分の制御動作を行なう可変帯域低
域通過濾波器7の構成部分をも、1つの復号器集積回路
15中に含むように集積回路化して構成した構成態様の
ものである(なお、後述の図3に示す本発明の画像デー
タの復号化装置と、図4に示す本発明の画像データの復
号化装置における復号器集積回路18との関係、及び、
図5に示す本発明の画像データの復号化装置と、図6に
示す本発明の画像データの復号化装置における復号器集
積回路20との関係等も、前記した図1に示す本発明の
画像データの復号化装置と、図2に示す本発明の画像デ
ータの復号化装置における復号器集積回路15との関係
と同様である)。
【0041】図1及び図2に示す本発明の画像データの
復号化装置において、制御信号発生部6としては、例え
ば既述のように図10の(a)に例示されているような
構成態様のものが使用され、また、可変帯域低域通過濾
波器7としては、例えば既述のように図7に例示されて
いるような構成態様のものが使用される。それで、図1
及び図2に示す本発明の画像データの復号化装置では、
制御信号発生部6で発生された制御信号、すなわち、既
述のようにビットストリーム中に含まれていた付加情報
の内の各領域毎のブロック量子化幅情報値が、予め定め
られた値よりも大きな値を示す領域内に含まれている単
位のブロックの境界部分、及び、前記した各領域毎に個
別に設定されているブロック量子化幅値が、隣接する領
域に設定されているブロック量子化値との間で大きな差
値を示すブロック量子化幅値を有する領域内に含まれて
いる単位のブロックの境界部分について、前記した領域
間のブロック量子化幅値の大きさの差と適応的に高域成
分を減少させるように、可変通過帯域低域通過濾波器7
の通過帯域を変化させる制御信号を、可変通過帯域低域
通過濾波器7に供給して、画像メモリ14から読出され
た復号画像データで発生するブロック歪を低減させる。
【0042】次に、図3に示す本発明の画像データの復
号化装置において、入力端子1に供給された復号化の対
象にされたビットストリームは、復号器集積回路3中に
設けられているバッファメモリ8に供給されるととも
に、バッファメモリ4にも供給されている。先入れ先出
しメモリが用いられているバッファメモリ4から読出さ
れたビットストリームは、予側モード検出部16に供給
される。前記の予側モード検出部16は、復号器集積回
路3中に設けられている可変長復号部9と同様の機能を
備えている構成態様のものを使用することができる。そ
して、前記した予側モード検出部16では、それに供給
されたビットストリーム中から、順次の領域毎の符号化
モード情報(領域内符号化予側モード、領域間符号化予
側モード)を検出して、それを制御信号発生部17に与
える。
【0043】図3に示す本発明の画像データの復号化装
置では、入力端子1に供給された復号化の対象にされた
ビットストリームを、復号器集積回路3の外部に設けた
バッファメモリ4に供給し、前記のバッファメモリ4か
ら読出されたビットストリームを予側モード検出部16
に与え、予側モード検出部16によって、ビットストリ
ーム中から検出した順次の領域毎の符号化予側モード情
報を制御信号発生部17に与えるようにしているが、図
4に示す本発明の画像データの復号化装置では、復号器
集積回路18の内部に設けられている可変長復号部9の
動作により、ビットストリーム中から検出された順次の
領域毎の符号化予側モード情報を制御信号発生部17に
与えるようにしているが、前記した図3,図4に示され
ている本発明の画像データの復号化装置の動作は同じで
ある。
【0044】図3及び図4に示す本発明の画像データの
復号化装置において、制御信号発生部17としては、例
えば既述のように図10の(b)に例示されているよう
な構成態様のものが使用され、また、可変帯域低域通過
濾波器7としては、例えば既述のように図7に例示され
ているような構成態様のものが使用される。それで、図
3及び図4に示す本発明の画像データの復号化装置で
は、制御信号発生部17で発生された制御信号、すなわ
ち、既述のようにビットストリーム中に含まれていた付
加情報の内の各領域毎の符号化予側モード情報が、非イ
ントラのフレームの画像データにおいて、領域がイント
ラである領域内に含まれている単位のブロックの境界部
分について、前記した領域内のブロック量子化幅値の大
きさの差と適応的に高域成分を減少させるように、可変
通過帯域低域通過濾波器7の通過帯域を変化させる制御
信号が可変通過帯域低域通過濾波器7に供給されて、画
像メモリ14から読出された復号画像データにおけるブ
ロック歪を低減させる。
【0045】前記のように、ビットストリーム中に含ま
れていた付加情報の内の各領域毎の符号化予側モード情
報が、非イントラのフレームの画像データについて、領
域がイントラである領域内に含まれている単位のブロッ
クの境界部分を、前記した領域内のブロック量子化幅値
の大きさの差と適応的に高域成分を減少させるようにす
るための手段としては、図10の(b)に示す制御信号
発生部17の一例構成中のイントラの領域(領域内符号
化が行なわれている領域)か否かの判定部37からの出
力が与えられる乗算係数の設定部35において、イント
ラの領域である場合の係数として、例えば0.5を発生
させ、また、非イントラの領域である場合の係数とし
て、例えば1.0を発生させるようにすればよい。前記
のような動作を行なう乗算係数の設定部35の構成とし
ては、既述したようにイントラの領域(領域内符号化が
行なわれている領域)か否かの判定部37からの出力を
アドレスとするROMテーブルを用いたり、あるいはイ
ントラの領域(領域内符号化が行なわれている領域)か
否かの判定部37からの出力が切換制御信号として切換
え制御される切換スイッチの切換動作により、係数0.
5と係数1.0とが切換え出力されるような構成のもの
も使用できる。
【0046】次に、図5に示す本発明の画像データの復
号化装置において、入力端子1に供給された復号化の対
象にされたビットストリームは、復号器集積回路3中に
設けられているバッファメモリ8に供給されるととも
に、バッファメモリ4にも供給されている。先入れ先出
しメモリが用いられているバッファメモリ4から読出さ
れたビットストリームは、ブロック量子化幅値検出部5
と予側モード検出部16とに供給される。前記のブロッ
ク量子化幅値検出部5と予側モード検出部16は復号器
集積回路3中に設けられている可変長復号部9と同様の
機能を備えている構成態様のものを使用することができ
る。そして、前記したブロック量子化幅値検出部5で
は、それに供給されたビットストリーム中から、順次の
領域毎のブロック量子化幅情報(例えば、マクロブロッ
ク量子化特性値→マクロブロックの量子化スケール)を
検出して、それを制御信号発生部19に与え、また、前
記の予側モード検出部16では、それに供給されたビッ
トストリーム中から、順次の領域毎の符号化モード情報
(領域内符号化予側モード、領域間符号化予側モード)
を検出して、それを制御信号発生部19に与える。
【0047】図5に示す本発明の画像データの復号化装
置では、入力端子1に供給された復号化の対象にされた
ビットストリームを、復号器集積回路3の外部に設けた
バッファメモリ4に供給し、前記のバッファメモリ4か
ら読出されたビットストリームをブロック量子化幅値検
出部5と予側モード検出部16とに与え、ブロック量子
化幅値検出部5によって、ビットストリーム中から検出
した順次の領域毎のブロック量子化幅情報(例えば、マ
クロブロック量子化特性値→マクロブロックの量子化ス
ケール)と、予側モード検出部16によって、ビットス
トリーム中から検出した順次の領域毎の符号化予側モー
ド情報を制御信号発生部19に与えるようにしている
が、図6に示す本発明の画像データの復号化装置では、
復号器集積回路20の内部に設けられている可変長復号
部9の動作により、ビットストリーム中から検出した順
次の領域毎のブロック量子化幅情報と、ビットストリー
ム中から検出された順次の領域毎の符号化予側モード情
報を制御信号発生部19に与えるようにしているが、前
記した図5,図6に示されている本発明の画像データの
復号化装置の動作は同じである。
【0048】図5及び図6に示す本発明の画像データの
復号化装置において、制御信号発生部17としては、例
えば既述のように図10の(c)に例示されているよう
な構成態様のものが使用され、また、可変帯域低域通過
濾波器7としては、例えば既述のように図8に例示され
ているような構成態様のものが使用される。それで、図
5及び図6に示す本発明の画像データの復号化装置で
は、制御信号発生部19で発生された制御信号、すなわ
ち、既述のようにビットストリーム中に含まれていた付
加情報の内の各領域毎のブロック量子化幅情報値が、予
め定められた値よりも大きな値を示す領域内に含まれて
いる単位のブロックの境界部分、及び、前記した各領域
毎に個別に設定されているブロック量子化幅値が、隣接
する領域に設定されているブロック量子化値との間で大
きな差値を示すブロック量子化幅値を有する領域内に含
まれている単位のブロックの境界部分について、前記し
た領域間のブロック量子化幅値の大きさの差と適応的に
高域成分を減少させるように、可変通過帯域低域通過濾
波器7の通過帯域を変化させる制御信号を、可変通過帯
域低域通過濾波器7に供給して、画像メモリ14から読
出された復号画像データで発生するブロック歪を低減さ
せるとともに、既述のようにビットストリーム中に含ま
れていた付加情報の内の各領域毎の符号化予側モード情
報が、非イントラのフレームの画像データにおいて、領
域がイントラである領域内に含まれている単位のブロッ
クの境界部分について、前記した領域内のブロック量子
化幅値の大きさの差と適応的に高域成分を減少させるよ
うに、可変通過帯域低域通過濾波器7の通過帯域を変化
させる制御信号が可変通過帯域低域通過濾波器7に供給
されて、画像メモリ14から読出された復号画像データ
におけるブロック歪を低減させる。
【0049】
【発明の効果】以上、詳細に説明したところから明らか
なように、本発明の変換符号化された画像データの復号
化時に生じるブロック歪の低減方法、及び変換符号化さ
れた画像データの復号化装置は、高能率符号化の対象に
されている各1枚毎の画面の画像信号について、所定の
ブロックサイズ(N×M)を有する単位のブロック毎
に、直交変換して得た(N×M)個の直交変換係数が、
少なくとも前記した単位のブロックの1個を含む予め定
められた大きさの領域毎に設定されているブロック量子
化幅値によって量子化された後に、所定の符号化が施さ
れてなる変換符号化された画像データの復号に当り、前
記した変換符号化された画像データの復号時に必要とさ
れる付加情報も含まれているビットストリームから、エ
ントロピー符号化(可変長符号化)された画像データ
と、変換符号化された画像データの復号時に必要とされ
る付加情報(例えば、ブロック量子化幅情報、動きベク
トル、予測モード情報等)とを復号し、復号された画像
データを、復号された付加情報中のブロック量子化幅情
報を用いて逆量子化した後に、逆直交変換部で単位のブ
ロック毎に2次元の逆直交変換を行なって、周波数領域
の画像データを時間軸領域の画像データに逆変換し、前
記の時間軸領域の画像データのコーディングタイプの違
いにより、動き補償部で動き補償された状態の画像デー
タと加算するか、加算しないかして出力画像データとさ
れた画像データに対して、ブロック歪の低減のための信
号処理、すなわち、ビットストリーム中に含まれていた
付加情報の内のブロック量子化幅情報と、予測モード情
報とを検出して、検出された前記のブロック量子化幅情
報が、予め定められた値よりも大きな値を示す領域内に
含まれている単位のブロックの境界部分、及び、前記し
た各領域毎に個別に設定されているブロック量子化幅値
が、隣接する領域に設定されているブロック量子化幅値
との間で大きな差値を示すブロック量子化幅を有する領
域内に含まれている単位のブロックの境界部分につい
て、前記した領域間のブロック量子化幅値の大きさの差
と適応的に高域成分を減少させるような信号処理が行な
われるように、例えば可変通過帯域低域通過濾波器の通
過帯域を制御することにより、変換符号化された画像デ
ータの復号化時に生じるブロック歪を良好に低減できる
のであり、本発明により従来の問題点は良好に解決でき
る。
【図面の簡単な説明】
【図1】本発明の変換符号化された画像データの復号化
時に生じるブロック歪の低減方法を適用した変換符号化
された画像データの復号化装置の構成例を示すブロック
図である。
【図2】本発明の変換符号化された画像データの復号化
時に生じるブロック歪の低減方法を適用した変換符号化
された画像データの復号化装置の構成例を示すブロック
図である。
【図3】本発明の変換符号化された画像データの復号化
時に生じるブロック歪の低減方法を適用した変換符号化
された画像データの復号化装置の構成例を示すブロック
図である。
【図4】本発明の変換符号化された画像データの復号化
時に生じるブロック歪の低減方法を適用した変換符号化
された画像データの復号化装置の構成例を示すブロック
図である。
【図5】本発明の変換符号化された画像データの復号化
時に生じるブロック歪の低減方法を適用した変換符号化
された画像データの復号化装置の構成例を示すブロック
図である。
【図6】本発明の変換符号化された画像データの復号化
時に生じるブロック歪の低減方法を適用した変換符号化
された画像データの復号化装置の構成例を示すブロック
図である。
【図7】可変通過帯域低域通過濾波器の構成例を示すブ
ロック図である。
【図8】可変通過帯域低域通過濾波器の構成例を示すブ
ロック図である。
【図9】可変通過帯域低域通過濾波器の帯域の制御特性
の説明に使用する図である。
【図10】制御信号発生部の構成例を示すブロック図で
ある。
【図11】隣接領域におけるブロックの量子化幅値の関
係の説明に使用する図である。
【図12】単位のブロックの境界付近におけるフィルタ
リングの状態の説明に使用する図である。
【符号の説明】
1…入力端子、2…出力端子、3,15,18,20…
復号器集積回路、4,8…バッファメモリ、5…ブロッ
ク量子化幅値検出部、6,17,19…制御信号発生
部、7…可変帯域低域通過濾波器、9…可変長復号部、
10…逆量子化部、11…逆直交変換部(逆DCT
部)、12…加算部、13…逆動き補償部、14…画像
メモリ、16…予測モード検出部、21…水平LPF、
22,26…減算器、23,27,32…乗算器、2
4,28…加算器、29…境界判定部、30,34…切
換スイッチ、31…イントラ領域検出部、

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】 所定のブロックサイズを有する単位のブ
    ロック毎に分割された画像信号が、それぞれの単位のブ
    ロック毎に直交変換された後に、少なくとも前記した単
    位のブロックの1個を含む予め定められた大きさの領域
    毎に個別に設定されているブロック量子化幅値を用いて
    量子化されるとともに、所定の符号化により変換符号化
    された画像データの復号化に当り、前記した各領域毎に
    個別に設定されているブロック量子化幅値が、予め定め
    られた値よりも大きな値を示す領域内に含まれている単
    位のブロックの境界部分、及び、前記した各領域毎に個
    別に設定されているブロック量子化幅値が、隣接する領
    域に設定されているブロック量子化幅値との間で大きな
    差値を示すブロック量子化幅値を有する領域内に含まれ
    ている単位のブロックの境界部分について、前記した領
    域間のブロック量子化幅値の大きさの差と適応的に高域
    成分を減少させるように信号処理を施こすことを特徴と
    する変換符号化された画像データの復号化時に生じるブ
    ロック歪の低減方法。
  2. 【請求項2】 所定のブロックサイズを有する単位のブ
    ロック毎に分割された画像信号が、それぞれの単位のブ
    ロック毎に直交変換された後に、少なくとも前記した単
    位のブロックの1個を含む予め定められた大きさの領域
    毎に個別に設定されているブロック量子化幅値を用いて
    量子化されるとともに、所定の符号化により変換符号化
    された画像データの復号化のために、少なくともバッフ
    ァメモリと、可変長復号化部と、逆量子化部と、逆直交
    変換部と、画像メモリとを含んで構成されている変換符
    号化された画像データの復号化装置であって、変換符号
    化された画像データから、少なくとも前記した単位のブ
    ロックの1個を含む予め定められた大きさの領域毎に個
    別に設定されているブロック量子化幅値を検出するブロ
    ック量子化幅値の検出手段と、前記したブロック量子化
    幅値の検出手段から順次に出力される各領域毎に個別に
    設定されているブロック量子化幅値を用いて、前記した
    ブロック量子化幅値が予め定められた値よりも大きな値
    を示す第1の領域、及び前記した各領域毎に個別に設定
    されているブロック量子化幅値が、隣接する領域に設定
    されているブロック量子化幅値との間で大きな差値を示
    すブロック量子化幅値を有する第2の領域とを検出する
    手段と、制御信号によって通過周波数帯域が可変できる
    可変通過帯域低域濾波手段と、前記した第1の領域と第
    2の領域とに含まれている単位のブロックの境界部分と
    対応する画素アドレスを有する画素とその近傍の画素に
    ついて、領域間のブロック量子化幅値の大きさの差に応
    じて適応的に高域成分が減少できるように前記した可変
    通過帯域低域濾波手段を制御する制御信号の発生手段と
    を備えてなる変換符号化された画像データの復号化装
    置。
  3. 【請求項3】 所定のブロックサイズを有する単位のブ
    ロック毎に分割された画像信号が、それぞれの単位のブ
    ロック毎に直交変換された後に、少なくとも前記した単
    位のブロックの1個を含む予め定められた大きさの領域
    毎に個別に設定されているブロック量子化幅値を用いて
    量子化されるとともに、所定の符号化により変換符号化
    された画像データの復号化のために、少なくともバッフ
    ァメモリと、可変長復号化部と、逆量子化部と、逆直交
    変換部と、画像メモリとを含んで構成されている変換符
    号化された画像データの復号化装置であって、前記した
    可変長復号化部から順次に出力される各領域毎に個別に
    設定されているブロック量子化幅値を用いて、前記した
    ブロック量子化幅値が予め定められた値よりも大きな値
    を示す第1の領域、及び、前記した各領域毎に個別に設
    定されているブロック量子化幅値が、隣接する領域に設
    定されているブロック量子化幅値との間で大きな差値を
    示すブロック量子化幅値を有する第2の領域とを検出す
    る手段と、制御信号によって通過周波数帯域が可変でき
    る可変通過帯域低域濾波手段と、前記した第1の領域と
    第2の領域とに含まれている単位のブロックの境界部分
    と対応する画素アドレスを有する画素とその近傍の画素
    について、領域間のブロック量子化幅値の大きさの差に
    応じて適応的に高域成分が減少できるように前記した可
    変通過帯域低域濾波手段を制御する制御信号の発生手段
    とを備えてなる変換符号化された画像データの復号化装
    置。
  4. 【請求項4】 所定のブロックサイズを有する単位のブ
    ロック毎に分割された画像信号が、それぞれの単位のブ
    ロック毎に直交変換された後に、少なくとも前記した単
    位のブロックの1個を含む予め定められた大きさの領域
    毎に個別に設定されているブロック量子化幅値を用いて
    量子化され、フレーム間予測符号化が施されるととも
    に、前記の領域毎に個別に領域の予測モードが設定され
    ている変換符号化された画像データの復号化に当り、前
    記した各領域毎に個別に設定されているブロック量子化
    幅値が、予め定められた値よりも大きな値を示す領域内
    に含まれている単位のブロックの境界部分、及び前記し
    た各領域毎に個別に設定されているブロック量子化幅値
    が、隣接する領域に設定されているブロック量子化幅値
    との間で大きな差値を示すブロック量子化幅値を有する
    領域内に含まれている単位のブロックの境界部分につい
    て、前記した領域間のブロック量子化幅値の大きさの差
    と適応的に高域成分を減少させるように信号処理を施こ
    すとともに、前記した各領域毎に個別に設定されている
    領域の予測モードが、領域内符号化モードである領域内
    に含まれている単位のブロックの境界部分について、前
    記した領域のブロック量子化幅値の大きさに基づいて適
    応的に高域成分を減少させるように信号処理を施こすこ
    とを特徴とする変換符号化された画像データの復号化時
    に生じるブロック歪の低減方法。
  5. 【請求項5】 所定のブロックサイズを有する単位のブ
    ロック毎に分割された画像信号が、それぞれの単位のブ
    ロック毎に直交変換された後に、所定のブロックサイズ
    を有する単位のブロック毎に分割された画像信号が、そ
    れぞれの単位のブロック毎に直交変換された後に、少な
    くとも前記した単位のブロックの1個を含む予め定めら
    れた大きさの領域毎に個別に設定されているブロック量
    子化幅値を用いて量子化され、フレーム間予測符号化が
    施されるとともに、前記の領域毎に個別に領域の予測モ
    ードが設定されている符号化画像データの復号化のため
    に、少なくともバッファメモリと、可変長復号化部と、
    逆量子化部と、逆直交変換部と、逆動き補償部と、画像
    メモリとを含んで構成されている変換符号化された画像
    データの復号化装置であって、変換符号化された画像デ
    ータから、少なくとも前記した単位のブロックの1個を
    含む予め定められた大きさの領域毎に個別に設定されて
    いるブロック量子化幅値を検出するブロック量子化幅値
    の検出手段と、前記したブロック量子化幅値の検出手段
    から順次に出力される各領域毎に個別に設定されている
    ブロック量子化幅値を用いて、前記したブロック量子化
    幅値が予め定められた値よりも大きな値を示す第1の領
    域、及び、前記した各領域毎に個別に設定されているブ
    ロック量子化幅値が、隣接する領域に設定されているブ
    ロック量子化幅値との間で大きな差値を示すブロック量
    子化幅を有する第2の領域を検出する手段と、変換符号
    化された画像データから、少なくとも前記した単位のブ
    ロックの1個を含む予め定められた大きさの領域毎に個
    別に設定されている領域の予測モードを検出する領域の
    予測モードの検出手段と、前記した領域の予測モードの
    検出手段から順次に出力される各領域毎に個別に設定さ
    れている領域の予測モードが領域内符化の予測モードで
    ある領域を検出する手段と、制御信号によって通過周波
    数帯域が可変できる可変通過帯域低域濾波手段と、前記
    した第1の領域と第2の領域とに含まれている単位のブ
    ロックの境界部分と対応する画素アドレスを有する画素
    とその近傍の画素とについて、領域間のブロック量子化
    幅値の大きさの差に応じて適応的に高域成分が減少でき
    るように前記した可変通過帯域低域濾波手段を制御する
    制御信号と、前記した予測モードが領域内符化の予測モ
    ードである領域に含まれている単位のブロックの境界部
    分と対応する画素アドレスを有する画素とその近傍の画
    素とについて、領域のブロック量子化幅値の大きさに応
    じて適応的に高域成分が減少できるように前記した可変
    通過帯域低域濾波手段を制御する制御信号とを発生する
    制御信号の発生手段とを備えてなる変換符号化された画
    像データの復号化装置。
  6. 【請求項6】 所定のブロックサイズを有する単位のブ
    ロック毎に分割された画像信号が、それぞれの単位のブ
    ロック毎に直交変換された後に、所定のブロックサイズ
    を有する単位のブロック毎に分割された画像信号が、そ
    れぞれの単位のブロック毎に直交変換された後に、少な
    くとも前記した単位のブロックの1個を含む予め定めら
    れた大きさの領域毎に個別に設定されているブロック量
    子化幅値を用いて量子化され、フレーム間予測符号化が
    施されるとともに、前記の領域毎に個別に領域の予測モ
    ードが設定されている変換符号化された画像データの復
    号化のために、少なくともバッファメモリと、可変長復
    号化部と、逆量子化部と、逆直交変換部と、逆動き補償
    部と、画像メモリとを含んで構成されている変換符号化
    された画像データの復号化装置であって、前記した可変
    長復号化部から順次に出力される各領域毎に個別に設定
    されているブロック量子化幅値を用いて、前記したブロ
    ック量子化幅値が予め定められた値よりも大きな値を示
    す第1の領域、及び前記した各領域毎に個別に設定され
    ているブロック量子化幅値が、隣接する領域に設定され
    ているブロック量子化幅値との間で大きな差値を示すブ
    ロック量子化幅を有する第2の領域を検出する手段と、
    前記した可変長復号化部から順次に出力される各領域毎
    に個別に設定されている領域の予測モードから、各領域
    毎に個別に設定されている領域の予測モードが領域内符
    化の予測モードである領域を検出する手段と、制御信号
    によって通過周波数帯域が可変できる可変通過帯域低域
    濾波手段と、前記した第1の領域と第2の領域とに含ま
    れている単位のブロックの境界部分と対応する画素アド
    レスを有する画素とその近傍の画素とについて、領域間
    のブロック量子化幅値の大きさの差に応じて適応的に高
    域成分が減少できるように前記した可変通過帯域低域濾
    波手段を制御する制御信号と、前記した予測モードが領
    域内符化の予測モードである領域に含まれている単位の
    ブロックの境界部分と対応する画素アドレスを有する画
    素とその近傍の画素とについて、領域のブロック量子化
    幅値の大きさに応じて適応的に高域成分が減少できるよ
    うに前記した可変通過帯域低域濾波手段を制御する制御
    信号とを発生する制御信号の発生手段とを備えてなる変
    換符号化された画像データの復号化装置。
JP31416194A 1994-11-24 1994-11-24 変換符号化された画像データの復号化時に生じるブロック歪の低減方法及び変換符号化された画像データの復号化装置 Expired - Lifetime JP2940422B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP31416194A JP2940422B2 (ja) 1994-11-24 1994-11-24 変換符号化された画像データの復号化時に生じるブロック歪の低減方法及び変換符号化された画像データの復号化装置
TW084112436A TW293227B (ja) 1994-11-24 1995-11-02
US08/561,350 US5949908A (en) 1994-11-24 1995-11-21 Method of reducing quantization noise generated during a decoding process of image data and device for decoding image data
DE69525312T DE69525312T2 (de) 1994-11-24 1995-11-23 Verfahren und Vorrichtung zum Dekodieren von Bilddaten
EP95308400A EP0714209B1 (en) 1994-11-24 1995-11-23 Method and device for decoding image data
CNB951202480A CN1168302C (zh) 1994-11-24 1995-11-24 减少在图象数据解码中产生的量化噪声的方法及解码装置
KR1019950043475A KR100231186B1 (ko) 1994-11-24 1995-11-24 화상 데이타의 복호화 처리중에 발생되는 양자화 노이즈 감소방법 및 화상 데이타 복호화 장치
US09/205,986 US6167157A (en) 1994-11-24 1998-12-04 Method of reducing quantization noise generated during a decoding process of image data and device for decoding image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31416194A JP2940422B2 (ja) 1994-11-24 1994-11-24 変換符号化された画像データの復号化時に生じるブロック歪の低減方法及び変換符号化された画像データの復号化装置

Publications (2)

Publication Number Publication Date
JPH08149470A JPH08149470A (ja) 1996-06-07
JP2940422B2 true JP2940422B2 (ja) 1999-08-25

Family

ID=18049982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31416194A Expired - Lifetime JP2940422B2 (ja) 1994-11-24 1994-11-24 変換符号化された画像データの復号化時に生じるブロック歪の低減方法及び変換符号化された画像データの復号化装置

Country Status (1)

Country Link
JP (1) JP2940422B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7912324B2 (en) 2005-04-28 2011-03-22 Ricoh Company, Ltd. Orderly structured document code transferring method using character and non-character mask blocks

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100243225B1 (ko) 1997-07-16 2000-02-01 윤종용 블록화효과 및 링잉잡음 감소를 위한 신호적응필터링방법 및신호적응필터
US6975777B1 (en) 1999-03-26 2005-12-13 Victor Company Of Japan, Ltd. Apparatus and method of block noise detection and reduction
US7747094B2 (en) 2001-06-29 2010-06-29 Ntt Docomo, Inc. Image encoder, image decoder, image encoding method, and image decoding method
PT1978747E (pt) 2001-11-29 2014-07-24 Panasonic Ip Corp America Método de remoção de distorção de codificação
AU2002347635B2 (en) 2001-11-29 2008-04-24 Godo Kaisha Ip Bridge 1 Coding distortion removal method and video encoding end decoding methods
US7302104B2 (en) 2001-12-28 2007-11-27 Ricoh Co., Ltd. Smoothing tile boundaries of images encoded and decoded by JPEG 2000
JP4192900B2 (ja) * 2005-02-08 2008-12-10 ソニー株式会社 量子化精度再生方法、量子化精度再生装置、撮像装置、情報処理装置及びプログラム
US8326064B2 (en) 2007-01-22 2012-12-04 Nec Corporation Image re-encoding method to decode image data which is orthogonally transformed per first block and encoded by a first encoding method
JP2008271472A (ja) * 2007-04-25 2008-11-06 Nec Electronics Corp ビデオ再生装置、ビデオ再生方法、及びプログラム
JP5362723B2 (ja) * 2008-07-30 2013-12-11 日立コンシューマエレクトロニクス株式会社 圧縮画像ノイズ除去装置と再生装置
US20160165246A1 (en) * 2013-07-17 2016-06-09 Sony Corporation Image processing device and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7912324B2 (en) 2005-04-28 2011-03-22 Ricoh Company, Ltd. Orderly structured document code transferring method using character and non-character mask blocks

Also Published As

Publication number Publication date
JPH08149470A (ja) 1996-06-07

Similar Documents

Publication Publication Date Title
US6167157A (en) Method of reducing quantization noise generated during a decoding process of image data and device for decoding image data
JP3462208B2 (ja) 独立に圧縮された偶数および奇数フィールド・データ用のビデオ信号圧縮解除装置
JP2728619B2 (ja) 符号化/復号化装置のブロッキングアーティファクト抑制方法及びその装置
US6587509B1 (en) Reducing undesirable effects of an emphasis processing operation performed on a moving image by adding a noise signal to a decoded uncompressed signal
US6301304B1 (en) Architecture and method for inverse quantization of discrete cosine transform coefficients in MPEG decoders
US6233277B1 (en) Reduced-memory video decoder for compressed high-definition video data
JPH08237669A (ja) 画像信号処理装置、画像信号処理方法および画像信号復号化装置
US7787541B2 (en) Dynamic pre-filter control with subjective noise detector for video compression
JPH0832047B2 (ja) 予測符号化装置
US6865229B1 (en) Method and apparatus for reducing the “blocky picture” effect in MPEG decoded images
US5754699A (en) Method of reducing mosquito noise generated during decoding process of image data and device for decoding image data using the same
JP2940422B2 (ja) 変換符号化された画像データの復号化時に生じるブロック歪の低減方法及び変換符号化された画像データの復号化装置
KR100192696B1 (ko) 화상 재생 방식 및 장치
US20070076802A1 (en) Video presentation at fractional speed factor using time domain interpolation
RU2305377C2 (ru) Способ уменьшения искажения сжатого видеоизображения и устройство для его реализации
JPH05308623A (ja) 画像信号復号化装置
JP2900810B2 (ja) 変換符号化された画像データの復号化時に生じる量子化ノイズの低減方法及び変換符号化された画像データの復号化装置
JP2924691B2 (ja) 量子化ノイズの低減方法及び画像データの復号化装置
JP2900808B2 (ja) 画像データの復号化時に生じるモスキートノイズの低減方法及び画像データの復号化装置
JP2901656B2 (ja) 画像符号化装置
JP2900815B2 (ja) 適応コアリング方法及び適応コアリング装置
JPH06292179A (ja) 直交変換符号化装置および直交変換復号化装置
JP2891251B2 (ja) 画像符号化装置及び画像復号化装置
KR100217148B1 (ko) 영상 데이타의 복호 처리중에 발생하는 모스키토 노이즈를 줄이는 방법 및 이 방법을 사용한 영상데이타의 복호장치
JPH0837660A (ja) 画像圧縮符号化装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090618

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090618

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100618

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110618

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 13

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 13

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120618

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 14

EXPY Cancellation because of completion of term