JP3545000B2 - 画像信号符号化装置、画像信号復号化装置 - Google Patents
画像信号符号化装置、画像信号復号化装置 Download PDFInfo
- Publication number
- JP3545000B2 JP3545000B2 JP29420492A JP29420492A JP3545000B2 JP 3545000 B2 JP3545000 B2 JP 3545000B2 JP 29420492 A JP29420492 A JP 29420492A JP 29420492 A JP29420492 A JP 29420492A JP 3545000 B2 JP3545000 B2 JP 3545000B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- interlaced
- signal
- decoding
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
- H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
- H04N5/9264—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
- H04N5/94—Signal drop-out compensation
- H04N5/945—Signal drop-out compensation for signals recorded by pulse code modulation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、光ディスクや磁気テープなどの蓄積系動画像メディアを用いた情報記録装置および情報再生装置に関する。また、例えばいわゆるテレビ会議システム、動画電話システム、放送用機器に適用して好適な情報伝送装置／受信装置に関する。
【０００２】
【従来の技術】
動画像符号化／復号化方式において、入力画像と出力画像との間の空間的な解像度的を可変とする方法として、レイヤ符号化／復号化方式がある。レイヤ符号化方式は二つの解像度の異なる符号化器をもち、下位のレイヤでは解像度の低い画像を符号化してビットストリームを作成する。上位レイヤではフル解像度の入力画像と、下位レイヤからの復号化された画像をアップサンプルした画像の差分を符号化する。
【０００３】
このような手法によれば、入力の画像と異なった解像度の再生画像が得られる。図１にレイヤ符号化器の構成図を示す。まず、下位レイヤの動作から説明する。
下位レイヤでは入力画像１はダウンサンプル器２で低解像度の画像に変換される。この画像がＭＰＥＧ符号化器３によって符号化されて下位レイヤ出力ビットストリーム４が得られる。さらにＭＰＥＧ符号化器３の出力はＭＰＥＧ復号化器５によって復号化される。この画像はアップサンプル器６によって高解像度の画像に変換される。
【０００４】
次に上位レイヤの動作を説明する。入力画像１は、上記に説明したアップサンプル器６の出力とともに差分器７へ入力される。ここで差分をとられた画像信号は、ＭＰＥＧ符号化器８へ入力されて符号化され、上位レイヤ出力ビットストリーム９を得る。
図２にレイヤ復号化器の構成図を示す。まず下位レイヤの動作を説明する。下位レイヤ入力ビットストリーム１０はＭＰＥＧ復号化器１１に入力されて下位レイヤ出力映像信号１２を得る。同時にＭＰＥＧ復号化器１１の出力画像はアップサンプル器１３に入力される。
【０００５】
次に上位レイヤについて説明する。上位レイヤ入力ビットストリーム１４はＭＰＥＧ復号化器１５に入力され復号化される。出力画像１５とアップサンプルされた信号１３は加算器１６で合成されて上位レイヤ出力映像信号１７を得る。
【０００６】
【発明が解決しようとする課題】
下位レイヤでは解像度の低い画像を符号化してビットストリームを作成し、上位レイヤではフル解像度の入力画像と下位レイヤからの復号化された画像をアップサンプルした画像の差分を復号化していたが、それは同じ画像（インターレース画像またはノンインターレース画像）の上位レイヤ及び下位レイヤで行われていた。本発明は、更に画質を良くするために、ノンインターレース画像とインターレース画像のコンパチビリティを持たせた出力ビットストリームを得るレイヤ符号化／復号化方式を実現できるようにするものである 。
【０００７】
【課題を解決するための手段】
本発明の画像信号符号化装置は、ノンインターレース入力画像をダウンサンプリングして、インターレース画像を形成し符号化を行う第１の符号化手段と、ノンインターレース入力画像から動きベクトル検出手段によって動きベクトルを検出し、ノンインターレース入力画像を符号化する第２の符号化手段とを有する画像信号符号化装置において、第１の符号化手段は、ノンインターレース入力画像をダウンサンプリングして、インターレース画像を形成するダウンサンプリング手段と、インターレース画像と第１の局所復号画像を減算し、符号化することにより第１の信号を生成する第１の生成手段と、第１の信号を可変長符号化してインターレースの下位レイヤビットストリームを出力する第１の出力手段と、第１の信号を局所復号して第１の局所復号画像を形成する第１の局所復号手段と、第１の局所復号画像と第２の局所復号画像を動きベクトルに基づいて重み付け補間してアップサンプリング処理により参照画像を形成するアップサンプリング手段とを有し、第２の符号化手段は、ノンインターレース入力画像と予測画像を減算し、符号化することにより第２の信号を生成する第２の生成手段と、第２の信号を可変長符号化してノンインターレースの上位レイヤビットストリームを出力する第２の出力手段と、第２の信号を局所復号して第２の局所復号画像を形成する第２の局所復号手段と、第２の局所復号画像と参照画像を動きベクトルに基づいて重み付けして予測画像を形成する予測画像形成手段とを有する。
また、本発明の画像信号復号化装置は、ノンインターレース入力画像をダウンサンプリングして形成されたインターレース画像と第１の局所復号画像を減算し、符号化することにより生成された第１の信号を可変長符号化して生成されたインターレースの下位レイヤビットストリームと、上記第１の信号を局所復号して形成された上記第１の局所復号画像と第２の信号を局所復号して形成された第２の局所復号画像を、上記ノンインターレース入力画像から検出された動きベクトルに基づいて重み付け補間してアップサンプリング処理により参照画像を形成し、上記参照画像と上記第２の局所復号画像を上記動きベクトルに基づいて重み付けして第１の予測画像を形成し、上記ノンインターレース入力画像と上記第１の予測画像を減算し、符号化することにより上記第２の信号を生成し、上記第２の信号を上記動きベクトルと共に可変長符号化して生成されたノンインターレースの上位レイヤビットストリームとを入力し、復号化する画像信号復号化装置において、上記インターレースの下位レイヤビットストリームを復号化してインターレース出力画像を形成する第１の復号化手段と、上記ノンインターレースの上位レイヤビットストリームを復号化して第３の信号を生成する第２の復号化手段と、上記第３の信号と第２の予測画像を加算してノンインターレース出力画像を形成する形成手段と、上記ノンインターレース出力画像について、動き補償を行い第３の予測画像を形成する動き補償手段と、上記インターレース出力画像と上記第３の予測画像を上記動きベクトルに基づいて重み付け補間してアップサンプリング処理により第４の予測画像を形成するアップサンプリング手段と、上記第３の予測画像と上記第４の予測画像を上記動きベクトルに基づいて重み付けして上記第２の予測画像を形成する予測画像形成手段とを有する。
【０００８】
【作用】
本発明においては、第１の符号化器によりノンインターレース入力画像をダウンサンプリングして、インターレース画像を形成し符号化を行い、第２の符号化器によりノンインターレース入力画像が符号化される。従って、解像度の異なるノンインターレース画像に対応するビットストリームとインターレース画像に対応するビットストリームとが得られる。
【０００９】
【実施例】
例えば、ノンインターレース画像を入力し、上位レイヤと下位レイヤの走査線数の比が２：１インターレースの画像で動作するとして、本発明による符号化を行いノンインターレース画像とインターレース画像のコンパチビリティをもたせた出力ビットストリームを得るためのシステムについて説明する。
【００１０】
本発明による符号化方式（エンコーダ）図３を用いて説明する。まず下位レイヤブロックについて説明する。
エンコーダーでは、処理をマクロブロック単位で行なっている。入力画像２１はノンインターレース構造を持ちダウンサンプル器２２へ入力され低解像度のインターレース画像に変換される。変換の際には動きベクトル検出回路３７からの動きベクトルを参照してローパスフィルタを通過させるかどうかを適応的に判定している。ここでの動きベクトルは、後述する動きベクトル検出回路２４から供給するようにしてもよいが、この場合は、時間的に前の画像の動きベクトルを使うようになるため、上位レイヤ側の符号化効率は多少低下することもある。
【００１１】
図５にダウンサンプル器の構成を示す。入力された画像７１に対し、切替器７３では動きベクトルによってＬＰＦを作用させた画像と作用させない画像を適応的に切り替えて出力する。切替器７３からの出力は、間引き器７２によって交互に間引かれる。間引かれた後の画像は折り返し成分を含むため通常は一様にローパスフィルタを作用させるが、入力がノンインターレース画像であるという特徴から、動きが少ないときには、間引きされた点と、空間的に同位置で時間的に異なるサンプル点が必ず存在する。例えば静止画のときには図５の点線で囲った２点は全く同じデータであるからフィルタ処理は不用である。
【００１２】
ダウンサンプル器２２でダウンサンプリングされたブロックフォーマットの画像は、フレームメモリ２３に格納され、動きベクトル検出回路２４によって動きベクトルの検出が行われる。動きベクトル検出回路２４は、フレームメモリ２３に保持された画像を前方原画像と後方原画像として、現在の参照画像との間の動きベクトルの検出を行なう。ここで、動きベクトルの検出は、ブロック単位でのフィールド又はフレーム間差分の絶対値和が最小になるものが、その動きベクトルとされる。
【００１３】
動きベクトルの情報は動き補償回路２５に送られ、マクロブロックタイプの選択がなされ、該当する予測画像が差分器２６へ送られる。差分器２６は入力画像と予測画像の差分をとりデイスクリートコサイン変換（ＤＣＴ（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ ））回路２７に出力するようになされている。
ＤＣＴ回路２７は映像信号の２次元相関を利用して、入力画像データ又は差分データをブロツク単位でデイスクリートコサイン変換し、その結果得られる変換データを量子化回路２８に出力するようになされている。
【００１４】
量子化回路２８は、マクロブロックおよびスライス毎に定まる量子化ステツプサイズでＤＣＴ変換データを量子化し、その結果出力端に得られる量子化データを可変長符号化（ＶＬＣ（ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｅ））回路２９及び逆量子化回路３０に供給する。
ここでＶＬＣ回路２９は、量子化データを、量子化スケール、マクロブロックタイプ、動きベクトル等と共に可変長符号化処理し、伝送データとして下位レイヤビットストリーム３１を出力する。出力された下位レイヤビットストリーム３１は、後述する上位レイヤビットストリーム、符号化されたオーディオ信号、同期信号等と多重化され、更にエラー訂正用のコードが付加され、所定の変調が加えられた後、レーザ光を介してマスターディスク上に凹凸のピットとして記録される。このマスターディスクを利用して、スタンパーが形成され、更に、そのスタンパーにより、大量の複製ディスク（例えば光ディスク）が形成される。
【００１５】
逆量子化回路３０は、量子化回路２８から送出される量子化データを代表値に逆量子化して逆量子化データに変換し、出力データの量子化回路における変換前の変換データを復号し、逆量子化データをデイスクリートコサイン逆変換ＩＤＣＴ（ｉｎｖｅｒｓｅ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｓｆｏｒｍ）回路３２に供給するようになされている。
【００１６】
ＩＤＣＴ回路３２は、逆量子化回路３０で復号された逆量子化データをＤＣＴ回路２７とは逆の変換処理で復号画像データに変換し、動き補償回路２５に出力するようになされている。
動き補償回路２５は、動きベクトル検出回路２４から供給された動きベクトルに基づいて動き補償を行い、復号画像を前方予測画像もしくは後方予測画像としてフレームメモリに書き込む。前方／両方向予測の場合は、予測画像からの差分がＩＤＣＴ回路３２の出力として送られてくるために、この差分を加算器３３を用いて予測画像に対して足し込むことで、局所復号が行なわれる。
【００１７】
この予測画像は、デコーダで復号される画像と全く同一の画像であり、次の処理画像はこの予測画像をもとに、前方／両方向予測を行なう。
さらにこの下位レイヤの予測画像はインターレース構造を持っているが、アップサンプル器３４によって上位レイヤと同様のノンインターレース画像に補間を施されて上位レイヤの時空間予測器（Ｓｐａｔｉｏ−Ｔｅｍｐｏｒａｌ Ｐｒｅｄｉｃｔｏｒ）３９へ入力される。
【００１８】
アップサンプル器３４ではノンインターレースの補間画像をつくる際に上位レイヤからの、フル精度で空間的なサンプル点は同じではあるが時間的なサンプル点は異なる画像と、下位レイヤの間引きによって解像度は低くなっているが時間的に同じサンプル点をもつ画像の両方を動き情報を基に適応的に参照して補間画像を生成する。
【００１９】
図６にアップサンプル器の構成と動作を示す。８３にアップサンプル器の構成を示す。８３の入力は、上位レイヤの空間的に同じ位置だが時間的に異なるデータと、下位レイヤの同一フィールドのサンプル点からの内挿補間のデータと、下位レイヤの異なるフィールドからの対応点のデータであり、動きベクトルから適応的に決定される係数ｗ１、ｗ２、ｗ３を使用して重み付け補間を行う。まず８１に示す様に補間する点に対して下位レイヤの同一フィールド内の隣接点からの内挿補間と下位レイヤの異なるフィールドのサンプル点と上位レイヤの空間的に同じ位置のサンプル点をｗ１からｗ２の係数を使用して重みをつけて補間する。さらにｗ１、ｗ２で得られた値と下位レイヤの同位置の値、すなわち補間すべき点自身の値をｗ３の係数で重みをつけて足し込む。この場合（１−ｗ３）の係数
によって参照される下位レイヤの同位置の点はゼロ内挿された点であり、値が０であるから補間には影響しない。また８２のように補間しようとする同位置に下位レイヤのサンプル点が存在する場合も８１と同様の回路構成で処理される。この場合、（１−ｗ１），（１−ｗ２）の係数によって参照される点はゼロ内挿された点であるから補間には影響しない。
【００２０】
以上の補間の際に係数ｗ１を０にセットすることで、上位レイヤの値を使用せずに、下位レイヤ内の値だけを使用して被補間点の値を発生することも可能である。ダウンサンプル器２２と、アップサンプル器３４は２：１の間引きや、補間以外にも、適当な内挿フィルタと、サンプル点を選択することで他の比率の解像度変換にも適応し得る。
【００２１】
次に上位レイヤの構成について説明する。上位レイヤではノンインターレース画像２１をフル精度のまま処理している。ノンインターレース画像２１はディレイ回路３５で遅延された後にフレームモリ３６に格納され、動きベクトル検出回路３７によって動きベクトルの検出を行う。動きベクトル検出回路３７については動きベクトル検出回路２４と同様の動作を行う。
【００２２】
動きベクトルの情報は動き補償回路３８に送られ、該当する予測画像が時空間予測器（Ｓｐａｔｉｏ−Ｔｅｍｐｏｒａｌ Ｐｒｅｄｉｃｔｏｒ）３９へ入力される。時空間予測器３９は動き補償回路３８からの予測画像、すなわち時間方向からの予測と、アップサンプリング回路３４からの予測画像、すなわち空間方向からの予測画像を適応的に重み付けによって選択する回路である。
【００２３】
時空間予測器３９は動きベクトル検出回路３７からの動きの情報をもとに係数αを決定して時間方向の予測画像すなわち上位レイヤの予測画像に（１−α）の重みを付け、空間方向の予測画像すなわち下位レイヤからの予測画像にαの重みをつけて足し込み、差分器４０へ送る。
差分器４０は入力画像と予測画像の差分をとりデイスクリートコサイン変換（ＤＣＴ（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ ））回路４１に出力するようになされている。
【００２４】
ＤＣＴ回路４１は映像信号の２次元相関を利用して、入力画像データ又は差分データをブロツク単位でデイスクリートコサイン変換し、その結果得られる変換データを量子化回路４２に出力するようになされている。
４２の量子化回路は、マクロブロックおよびスライス毎に定まる量子化ステツプサイズでＤＣＴ変換データを量子化し、その結果出力端に得られる量子化データを可変長符号化（ＶＬＣ（ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｅ））回路４３及び逆量子化回路４４に供給する。
【００２５】
ここでＶＬＣ回路４３は、量子化データを、量子化スケール、マクロブロックタイプ、動きベクトルと共に可変長符号化処理し、伝送データとして上位レイヤビットストリーム４５として出力する。出力されたビットストリーム４５は、上述したように、下位レイヤビットストリームとともに、光ディスク等に記録される。
【００２６】
逆量子化回路４４は、量子化回路４２から送出される量子化データを代表値に逆量子化して逆量子化データに変換し、出力データの量子化回路４２における変換前の変換データを復号し、逆量子化データをデイスクリートコサイン逆変換ＩＤＣＴ（ｉｎｖｅｒｓｅ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｓｆｏｒｍ）回路４６に供給するようになされている。
【００２７】
ＩＤＣＴ回路４６は、逆量子化回路４４で復号された逆量子化データをＤＣＴ回路４１とは逆の変換処理で復号画像データに変換し、動き補償回路３８に出力するようになされている。
動き補償回路３８は、ＩＤＣＴ回路４６の出力データとマクロブロックタイプ、動きベクトルをもとに局所復号を行ない、局所復号画像を前方予測画像もしくは後方予測画像としてフレームメモリに書き込む。前方／両方向予測の場合は、予測画像からの差分がＩＤＣＴ回路４６の出力として送られてくるために、この差分を加算器４７を用いて予測画像に対して足し込むことで、局所復号を行なっている。
【００２８】
この予測画像は、デコーダで復号される画像と全く同一の画像であり、次の処理画像はこの予測画像をもとに、前方／両方向予測を行なう。
次に、本発明における復号化方式（デコーダ）を図４を用いて説明する。まず下位レイヤブロックの説明をする。下位レイヤのデコーダには光ディスク等の伝送メディアを介して下位ビットストリーム５１が入力される。このビットストリームは可変長復号化（ＩＶＬＣ）回路５２に入力される。可変長復号化回路５２は、ビットストリームから量子化データと、動きベクトル、マクロブロックタイプ、予測モード、量子化スケール等を出力する。
【００２９】
逆量子化回路５３は、可変長復号化回路５２から送出される量子化データを代表値に逆量子化して逆量子化データに変換し、出力データの量子化回路における変換前の変換データを復号し、逆量子化データをデイスクリートコサイン逆変換ＩＤＣＴ（ｉｎｖｅｒｓｅ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｓｆｏｒｍ）回路５４に供給するようになされている。
【００３０】
ＩＤＣＴ回路５４は、逆量子化回路５３で復号された逆量子化データをＤＣＴ回路２７とは逆の変換処理で復号画像データに変換し、動き補償回路５５に出力するようになされている。さらにこのインターレース構造をもつ復号画像データは同時にアップサンプル器５７への下位レイヤ出力として出力される。
動き補償回路５５は、ＩＤＣＴ回路５４の出力データとマクロブロックタイプ、動きベクトルをもとに復号を行ない、復号画像を前方予測画像もしくは後方予測画像としてフレームメモリに書き込む。前方／両方向予測の場合は、予測画像からの差分がＩＤＣＴ回路５４の出力として送られてくるために、この差分を加算器５６を用いて予測画像に対して足し込むことで復号を行ない、復号画像としてインターレース構造を有する下位レイヤ画像６６が形成される。
【００３１】
この予測画像は、デコーダで復号される画像と全く同一の画像であり、次の処理画像はこの予測画像をもとに、前方／両方向予測を行なう。
同時に下位レイヤの出力画像６６はアップサンプル器５７に入力されて補間を施されノンインターレースの画像に変換されて時空間器予測器（Ｓｐａｔｉｏ−Ｔｅｍｐｏｒａｌ Ｐｒｅｄｉｃｔｏｒ）５８に入力される。
【００３２】
アップサンプル器５７は、前述のエンコーダの説明にあったアップサンプル器３４と同様の動作を行う。
次に上位レイヤについて説明する。上位レイヤには上位レイヤ入力ビットストリーム５９が入力される。このビットストリームは可変長復号化（ＩＶＬＣ）回路６０に入力される。可変長復号化回路６０は、ビットストリームから量子化データと、動きベクトル、マクロブロックタイプ、量子化スケールを出力する。
【００３３】
逆量子化回路６１は、可変長復号化回路６０から送出される量子化データを代表値に逆量子化して逆量子化データに変換し、出力データの量子化回路における変換前の変換データを復号し、逆量子化データをデイスクリートコサイン逆変換ＩＤＣＴ（ｉｎｖｅｒｓｅ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｓｆｏｒｍ）回路６２に供給するようになされている。
【００３４】
ＩＤＣＴ回路６２は、逆量子化回路で復号された逆量子化データをエンコーダのＤＣＴ回路４１とは逆の変換処理で復号画像データに変換し、動き補償回路６３に出力するようになされている。さらに復号画像データは同時にノンインターレース構造をもつ上位レイヤ出力画像６５として出力される。
動き補償回路６３は、ＩＤＣＴ回路６２の出力データとマクロブロックタイプ、動きベクトルをもとに復号を行ない、復号画像を前方予測画像もしくは後方予測画像としてフレームメモリに書き込む。
【００３５】
選択されたマクロブロックタイプに該当する画像は時空間予測器（Ｓｐａｔｉｏ−Ｔｅｍｐｏｒａｌ Ｐｒｅｄｉｃｔｏｒ）５８へ入力される。時空間予測器５８は先述したエンコーダにおける図３の時空間予測器３９と同様の動作を行う。
すなわち空間的に高い解像度を持つが時間的にサンプル点が異なる上位レイヤの予測画と下位レイヤからの空間的な解像度は劣っている可能性があるが時間的なサンプル点は等しい予測画を適応的に重み付けした画像が５８の出力になる。
【００３６】
前方／両方向予測の場合は、予測画像からの差分がＩＤＣＴ回路６２の出力として送られてくるために、この差分を加算器６４を用いて予測画像に対して足し込むことで復号を行なっている。
以上のように、上位レイヤ入力ビットストリームと、下位レイヤ出力ビットストリームからノンインターレース画像の出力とインターレース画像の出力の両方が得られる。
【００３７】
尚、上述の実施例においては、エンコーダーから出力されたビットストリームは、光ディスクに記録するようにしたが、ＩＳＤＮ、衛星通信等の伝送路に送出するようにしてもよい。
【００３８】
【発明の効果】
ノンインターレースの入力画像から、フル解像度のノンインターレース画像に対応するビットストリームと、低解像度のインターレース画像に対応するビットストリームが得られる。
【図面の簡単な説明】
【図１】従来のレイヤコーディングシステムのエンコーダの構成を示すブロック図である。
【図２】従来のレイヤコーディングシステムのデコーダの構成を示すブロック図である。
【図３】上位レイヤがノンインターレース構造を持つエンコーダの構成を示すブロック図である。
【図４】上位レイヤがノンインターレース構造を持つデコーダの構成を示すブロック図である。
【図５】ダウンサンプル器の構成を説明するための図である。
【図６】アップサンプル器の構成を説明するための図である。
【符号の説明】
２２ ダウンサンプル器
３４ アップサンプル器
３９ 時空間予測器
５７ アップサンプル器
５８ 時空間予測器
【産業上の利用分野】
本発明は、光ディスクや磁気テープなどの蓄積系動画像メディアを用いた情報記録装置および情報再生装置に関する。また、例えばいわゆるテレビ会議システム、動画電話システム、放送用機器に適用して好適な情報伝送装置／受信装置に関する。
【０００２】
【従来の技術】
動画像符号化／復号化方式において、入力画像と出力画像との間の空間的な解像度的を可変とする方法として、レイヤ符号化／復号化方式がある。レイヤ符号化方式は二つの解像度の異なる符号化器をもち、下位のレイヤでは解像度の低い画像を符号化してビットストリームを作成する。上位レイヤではフル解像度の入力画像と、下位レイヤからの復号化された画像をアップサンプルした画像の差分を符号化する。
【０００３】
このような手法によれば、入力の画像と異なった解像度の再生画像が得られる。図１にレイヤ符号化器の構成図を示す。まず、下位レイヤの動作から説明する。
下位レイヤでは入力画像１はダウンサンプル器２で低解像度の画像に変換される。この画像がＭＰＥＧ符号化器３によって符号化されて下位レイヤ出力ビットストリーム４が得られる。さらにＭＰＥＧ符号化器３の出力はＭＰＥＧ復号化器５によって復号化される。この画像はアップサンプル器６によって高解像度の画像に変換される。
【０００４】
次に上位レイヤの動作を説明する。入力画像１は、上記に説明したアップサンプル器６の出力とともに差分器７へ入力される。ここで差分をとられた画像信号は、ＭＰＥＧ符号化器８へ入力されて符号化され、上位レイヤ出力ビットストリーム９を得る。
図２にレイヤ復号化器の構成図を示す。まず下位レイヤの動作を説明する。下位レイヤ入力ビットストリーム１０はＭＰＥＧ復号化器１１に入力されて下位レイヤ出力映像信号１２を得る。同時にＭＰＥＧ復号化器１１の出力画像はアップサンプル器１３に入力される。
【０００５】
次に上位レイヤについて説明する。上位レイヤ入力ビットストリーム１４はＭＰＥＧ復号化器１５に入力され復号化される。出力画像１５とアップサンプルされた信号１３は加算器１６で合成されて上位レイヤ出力映像信号１７を得る。
【０００６】
【発明が解決しようとする課題】
下位レイヤでは解像度の低い画像を符号化してビットストリームを作成し、上位レイヤではフル解像度の入力画像と下位レイヤからの復号化された画像をアップサンプルした画像の差分を復号化していたが、それは同じ画像（インターレース画像またはノンインターレース画像）の上位レイヤ及び下位レイヤで行われていた。本発明は、更に画質を良くするために、ノンインターレース画像とインターレース画像のコンパチビリティを持たせた出力ビットストリームを得るレイヤ符号化／復号化方式を実現できるようにするものである 。
【０００７】
【課題を解決するための手段】
本発明の画像信号符号化装置は、ノンインターレース入力画像をダウンサンプリングして、インターレース画像を形成し符号化を行う第１の符号化手段と、ノンインターレース入力画像から動きベクトル検出手段によって動きベクトルを検出し、ノンインターレース入力画像を符号化する第２の符号化手段とを有する画像信号符号化装置において、第１の符号化手段は、ノンインターレース入力画像をダウンサンプリングして、インターレース画像を形成するダウンサンプリング手段と、インターレース画像と第１の局所復号画像を減算し、符号化することにより第１の信号を生成する第１の生成手段と、第１の信号を可変長符号化してインターレースの下位レイヤビットストリームを出力する第１の出力手段と、第１の信号を局所復号して第１の局所復号画像を形成する第１の局所復号手段と、第１の局所復号画像と第２の局所復号画像を動きベクトルに基づいて重み付け補間してアップサンプリング処理により参照画像を形成するアップサンプリング手段とを有し、第２の符号化手段は、ノンインターレース入力画像と予測画像を減算し、符号化することにより第２の信号を生成する第２の生成手段と、第２の信号を可変長符号化してノンインターレースの上位レイヤビットストリームを出力する第２の出力手段と、第２の信号を局所復号して第２の局所復号画像を形成する第２の局所復号手段と、第２の局所復号画像と参照画像を動きベクトルに基づいて重み付けして予測画像を形成する予測画像形成手段とを有する。
また、本発明の画像信号復号化装置は、ノンインターレース入力画像をダウンサンプリングして形成されたインターレース画像と第１の局所復号画像を減算し、符号化することにより生成された第１の信号を可変長符号化して生成されたインターレースの下位レイヤビットストリームと、上記第１の信号を局所復号して形成された上記第１の局所復号画像と第２の信号を局所復号して形成された第２の局所復号画像を、上記ノンインターレース入力画像から検出された動きベクトルに基づいて重み付け補間してアップサンプリング処理により参照画像を形成し、上記参照画像と上記第２の局所復号画像を上記動きベクトルに基づいて重み付けして第１の予測画像を形成し、上記ノンインターレース入力画像と上記第１の予測画像を減算し、符号化することにより上記第２の信号を生成し、上記第２の信号を上記動きベクトルと共に可変長符号化して生成されたノンインターレースの上位レイヤビットストリームとを入力し、復号化する画像信号復号化装置において、上記インターレースの下位レイヤビットストリームを復号化してインターレース出力画像を形成する第１の復号化手段と、上記ノンインターレースの上位レイヤビットストリームを復号化して第３の信号を生成する第２の復号化手段と、上記第３の信号と第２の予測画像を加算してノンインターレース出力画像を形成する形成手段と、上記ノンインターレース出力画像について、動き補償を行い第３の予測画像を形成する動き補償手段と、上記インターレース出力画像と上記第３の予測画像を上記動きベクトルに基づいて重み付け補間してアップサンプリング処理により第４の予測画像を形成するアップサンプリング手段と、上記第３の予測画像と上記第４の予測画像を上記動きベクトルに基づいて重み付けして上記第２の予測画像を形成する予測画像形成手段とを有する。
【０００８】
【作用】
本発明においては、第１の符号化器によりノンインターレース入力画像をダウンサンプリングして、インターレース画像を形成し符号化を行い、第２の符号化器によりノンインターレース入力画像が符号化される。従って、解像度の異なるノンインターレース画像に対応するビットストリームとインターレース画像に対応するビットストリームとが得られる。
【０００９】
【実施例】
例えば、ノンインターレース画像を入力し、上位レイヤと下位レイヤの走査線数の比が２：１インターレースの画像で動作するとして、本発明による符号化を行いノンインターレース画像とインターレース画像のコンパチビリティをもたせた出力ビットストリームを得るためのシステムについて説明する。
【００１０】
本発明による符号化方式（エンコーダ）図３を用いて説明する。まず下位レイヤブロックについて説明する。
エンコーダーでは、処理をマクロブロック単位で行なっている。入力画像２１はノンインターレース構造を持ちダウンサンプル器２２へ入力され低解像度のインターレース画像に変換される。変換の際には動きベクトル検出回路３７からの動きベクトルを参照してローパスフィルタを通過させるかどうかを適応的に判定している。ここでの動きベクトルは、後述する動きベクトル検出回路２４から供給するようにしてもよいが、この場合は、時間的に前の画像の動きベクトルを使うようになるため、上位レイヤ側の符号化効率は多少低下することもある。
【００１１】
図５にダウンサンプル器の構成を示す。入力された画像７１に対し、切替器７３では動きベクトルによってＬＰＦを作用させた画像と作用させない画像を適応的に切り替えて出力する。切替器７３からの出力は、間引き器７２によって交互に間引かれる。間引かれた後の画像は折り返し成分を含むため通常は一様にローパスフィルタを作用させるが、入力がノンインターレース画像であるという特徴から、動きが少ないときには、間引きされた点と、空間的に同位置で時間的に異なるサンプル点が必ず存在する。例えば静止画のときには図５の点線で囲った２点は全く同じデータであるからフィルタ処理は不用である。
【００１２】
ダウンサンプル器２２でダウンサンプリングされたブロックフォーマットの画像は、フレームメモリ２３に格納され、動きベクトル検出回路２４によって動きベクトルの検出が行われる。動きベクトル検出回路２４は、フレームメモリ２３に保持された画像を前方原画像と後方原画像として、現在の参照画像との間の動きベクトルの検出を行なう。ここで、動きベクトルの検出は、ブロック単位でのフィールド又はフレーム間差分の絶対値和が最小になるものが、その動きベクトルとされる。
【００１３】
動きベクトルの情報は動き補償回路２５に送られ、マクロブロックタイプの選択がなされ、該当する予測画像が差分器２６へ送られる。差分器２６は入力画像と予測画像の差分をとりデイスクリートコサイン変換（ＤＣＴ（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ ））回路２７に出力するようになされている。
ＤＣＴ回路２７は映像信号の２次元相関を利用して、入力画像データ又は差分データをブロツク単位でデイスクリートコサイン変換し、その結果得られる変換データを量子化回路２８に出力するようになされている。
【００１４】
量子化回路２８は、マクロブロックおよびスライス毎に定まる量子化ステツプサイズでＤＣＴ変換データを量子化し、その結果出力端に得られる量子化データを可変長符号化（ＶＬＣ（ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｅ））回路２９及び逆量子化回路３０に供給する。
ここでＶＬＣ回路２９は、量子化データを、量子化スケール、マクロブロックタイプ、動きベクトル等と共に可変長符号化処理し、伝送データとして下位レイヤビットストリーム３１を出力する。出力された下位レイヤビットストリーム３１は、後述する上位レイヤビットストリーム、符号化されたオーディオ信号、同期信号等と多重化され、更にエラー訂正用のコードが付加され、所定の変調が加えられた後、レーザ光を介してマスターディスク上に凹凸のピットとして記録される。このマスターディスクを利用して、スタンパーが形成され、更に、そのスタンパーにより、大量の複製ディスク（例えば光ディスク）が形成される。
【００１５】
逆量子化回路３０は、量子化回路２８から送出される量子化データを代表値に逆量子化して逆量子化データに変換し、出力データの量子化回路における変換前の変換データを復号し、逆量子化データをデイスクリートコサイン逆変換ＩＤＣＴ（ｉｎｖｅｒｓｅ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｓｆｏｒｍ）回路３２に供給するようになされている。
【００１６】
ＩＤＣＴ回路３２は、逆量子化回路３０で復号された逆量子化データをＤＣＴ回路２７とは逆の変換処理で復号画像データに変換し、動き補償回路２５に出力するようになされている。
動き補償回路２５は、動きベクトル検出回路２４から供給された動きベクトルに基づいて動き補償を行い、復号画像を前方予測画像もしくは後方予測画像としてフレームメモリに書き込む。前方／両方向予測の場合は、予測画像からの差分がＩＤＣＴ回路３２の出力として送られてくるために、この差分を加算器３３を用いて予測画像に対して足し込むことで、局所復号が行なわれる。
【００１７】
この予測画像は、デコーダで復号される画像と全く同一の画像であり、次の処理画像はこの予測画像をもとに、前方／両方向予測を行なう。
さらにこの下位レイヤの予測画像はインターレース構造を持っているが、アップサンプル器３４によって上位レイヤと同様のノンインターレース画像に補間を施されて上位レイヤの時空間予測器（Ｓｐａｔｉｏ−Ｔｅｍｐｏｒａｌ Ｐｒｅｄｉｃｔｏｒ）３９へ入力される。
【００１８】
アップサンプル器３４ではノンインターレースの補間画像をつくる際に上位レイヤからの、フル精度で空間的なサンプル点は同じではあるが時間的なサンプル点は異なる画像と、下位レイヤの間引きによって解像度は低くなっているが時間的に同じサンプル点をもつ画像の両方を動き情報を基に適応的に参照して補間画像を生成する。
【００１９】
図６にアップサンプル器の構成と動作を示す。８３にアップサンプル器の構成を示す。８３の入力は、上位レイヤの空間的に同じ位置だが時間的に異なるデータと、下位レイヤの同一フィールドのサンプル点からの内挿補間のデータと、下位レイヤの異なるフィールドからの対応点のデータであり、動きベクトルから適応的に決定される係数ｗ１、ｗ２、ｗ３を使用して重み付け補間を行う。まず８１に示す様に補間する点に対して下位レイヤの同一フィールド内の隣接点からの内挿補間と下位レイヤの異なるフィールドのサンプル点と上位レイヤの空間的に同じ位置のサンプル点をｗ１からｗ２の係数を使用して重みをつけて補間する。さらにｗ１、ｗ２で得られた値と下位レイヤの同位置の値、すなわち補間すべき点自身の値をｗ３の係数で重みをつけて足し込む。この場合（１−ｗ３）の係数
によって参照される下位レイヤの同位置の点はゼロ内挿された点であり、値が０であるから補間には影響しない。また８２のように補間しようとする同位置に下位レイヤのサンプル点が存在する場合も８１と同様の回路構成で処理される。この場合、（１−ｗ１），（１−ｗ２）の係数によって参照される点はゼロ内挿された点であるから補間には影響しない。
【００２０】
以上の補間の際に係数ｗ１を０にセットすることで、上位レイヤの値を使用せずに、下位レイヤ内の値だけを使用して被補間点の値を発生することも可能である。ダウンサンプル器２２と、アップサンプル器３４は２：１の間引きや、補間以外にも、適当な内挿フィルタと、サンプル点を選択することで他の比率の解像度変換にも適応し得る。
【００２１】
次に上位レイヤの構成について説明する。上位レイヤではノンインターレース画像２１をフル精度のまま処理している。ノンインターレース画像２１はディレイ回路３５で遅延された後にフレームモリ３６に格納され、動きベクトル検出回路３７によって動きベクトルの検出を行う。動きベクトル検出回路３７については動きベクトル検出回路２４と同様の動作を行う。
【００２２】
動きベクトルの情報は動き補償回路３８に送られ、該当する予測画像が時空間予測器（Ｓｐａｔｉｏ−Ｔｅｍｐｏｒａｌ Ｐｒｅｄｉｃｔｏｒ）３９へ入力される。時空間予測器３９は動き補償回路３８からの予測画像、すなわち時間方向からの予測と、アップサンプリング回路３４からの予測画像、すなわち空間方向からの予測画像を適応的に重み付けによって選択する回路である。
【００２３】
時空間予測器３９は動きベクトル検出回路３７からの動きの情報をもとに係数αを決定して時間方向の予測画像すなわち上位レイヤの予測画像に（１−α）の重みを付け、空間方向の予測画像すなわち下位レイヤからの予測画像にαの重みをつけて足し込み、差分器４０へ送る。
差分器４０は入力画像と予測画像の差分をとりデイスクリートコサイン変換（ＤＣＴ（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ ））回路４１に出力するようになされている。
【００２４】
ＤＣＴ回路４１は映像信号の２次元相関を利用して、入力画像データ又は差分データをブロツク単位でデイスクリートコサイン変換し、その結果得られる変換データを量子化回路４２に出力するようになされている。
４２の量子化回路は、マクロブロックおよびスライス毎に定まる量子化ステツプサイズでＤＣＴ変換データを量子化し、その結果出力端に得られる量子化データを可変長符号化（ＶＬＣ（ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｅ））回路４３及び逆量子化回路４４に供給する。
【００２５】
ここでＶＬＣ回路４３は、量子化データを、量子化スケール、マクロブロックタイプ、動きベクトルと共に可変長符号化処理し、伝送データとして上位レイヤビットストリーム４５として出力する。出力されたビットストリーム４５は、上述したように、下位レイヤビットストリームとともに、光ディスク等に記録される。
【００２６】
逆量子化回路４４は、量子化回路４２から送出される量子化データを代表値に逆量子化して逆量子化データに変換し、出力データの量子化回路４２における変換前の変換データを復号し、逆量子化データをデイスクリートコサイン逆変換ＩＤＣＴ（ｉｎｖｅｒｓｅ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｓｆｏｒｍ）回路４６に供給するようになされている。
【００２７】
ＩＤＣＴ回路４６は、逆量子化回路４４で復号された逆量子化データをＤＣＴ回路４１とは逆の変換処理で復号画像データに変換し、動き補償回路３８に出力するようになされている。
動き補償回路３８は、ＩＤＣＴ回路４６の出力データとマクロブロックタイプ、動きベクトルをもとに局所復号を行ない、局所復号画像を前方予測画像もしくは後方予測画像としてフレームメモリに書き込む。前方／両方向予測の場合は、予測画像からの差分がＩＤＣＴ回路４６の出力として送られてくるために、この差分を加算器４７を用いて予測画像に対して足し込むことで、局所復号を行なっている。
【００２８】
この予測画像は、デコーダで復号される画像と全く同一の画像であり、次の処理画像はこの予測画像をもとに、前方／両方向予測を行なう。
次に、本発明における復号化方式（デコーダ）を図４を用いて説明する。まず下位レイヤブロックの説明をする。下位レイヤのデコーダには光ディスク等の伝送メディアを介して下位ビットストリーム５１が入力される。このビットストリームは可変長復号化（ＩＶＬＣ）回路５２に入力される。可変長復号化回路５２は、ビットストリームから量子化データと、動きベクトル、マクロブロックタイプ、予測モード、量子化スケール等を出力する。
【００２９】
逆量子化回路５３は、可変長復号化回路５２から送出される量子化データを代表値に逆量子化して逆量子化データに変換し、出力データの量子化回路における変換前の変換データを復号し、逆量子化データをデイスクリートコサイン逆変換ＩＤＣＴ（ｉｎｖｅｒｓｅ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｓｆｏｒｍ）回路５４に供給するようになされている。
【００３０】
ＩＤＣＴ回路５４は、逆量子化回路５３で復号された逆量子化データをＤＣＴ回路２７とは逆の変換処理で復号画像データに変換し、動き補償回路５５に出力するようになされている。さらにこのインターレース構造をもつ復号画像データは同時にアップサンプル器５７への下位レイヤ出力として出力される。
動き補償回路５５は、ＩＤＣＴ回路５４の出力データとマクロブロックタイプ、動きベクトルをもとに復号を行ない、復号画像を前方予測画像もしくは後方予測画像としてフレームメモリに書き込む。前方／両方向予測の場合は、予測画像からの差分がＩＤＣＴ回路５４の出力として送られてくるために、この差分を加算器５６を用いて予測画像に対して足し込むことで復号を行ない、復号画像としてインターレース構造を有する下位レイヤ画像６６が形成される。
【００３１】
この予測画像は、デコーダで復号される画像と全く同一の画像であり、次の処理画像はこの予測画像をもとに、前方／両方向予測を行なう。
同時に下位レイヤの出力画像６６はアップサンプル器５７に入力されて補間を施されノンインターレースの画像に変換されて時空間器予測器（Ｓｐａｔｉｏ−Ｔｅｍｐｏｒａｌ Ｐｒｅｄｉｃｔｏｒ）５８に入力される。
【００３２】
アップサンプル器５７は、前述のエンコーダの説明にあったアップサンプル器３４と同様の動作を行う。
次に上位レイヤについて説明する。上位レイヤには上位レイヤ入力ビットストリーム５９が入力される。このビットストリームは可変長復号化（ＩＶＬＣ）回路６０に入力される。可変長復号化回路６０は、ビットストリームから量子化データと、動きベクトル、マクロブロックタイプ、量子化スケールを出力する。
【００３３】
逆量子化回路６１は、可変長復号化回路６０から送出される量子化データを代表値に逆量子化して逆量子化データに変換し、出力データの量子化回路における変換前の変換データを復号し、逆量子化データをデイスクリートコサイン逆変換ＩＤＣＴ（ｉｎｖｅｒｓｅ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｓｆｏｒｍ）回路６２に供給するようになされている。
【００３４】
ＩＤＣＴ回路６２は、逆量子化回路で復号された逆量子化データをエンコーダのＤＣＴ回路４１とは逆の変換処理で復号画像データに変換し、動き補償回路６３に出力するようになされている。さらに復号画像データは同時にノンインターレース構造をもつ上位レイヤ出力画像６５として出力される。
動き補償回路６３は、ＩＤＣＴ回路６２の出力データとマクロブロックタイプ、動きベクトルをもとに復号を行ない、復号画像を前方予測画像もしくは後方予測画像としてフレームメモリに書き込む。
【００３５】
選択されたマクロブロックタイプに該当する画像は時空間予測器（Ｓｐａｔｉｏ−Ｔｅｍｐｏｒａｌ Ｐｒｅｄｉｃｔｏｒ）５８へ入力される。時空間予測器５８は先述したエンコーダにおける図３の時空間予測器３９と同様の動作を行う。
すなわち空間的に高い解像度を持つが時間的にサンプル点が異なる上位レイヤの予測画と下位レイヤからの空間的な解像度は劣っている可能性があるが時間的なサンプル点は等しい予測画を適応的に重み付けした画像が５８の出力になる。
【００３６】
前方／両方向予測の場合は、予測画像からの差分がＩＤＣＴ回路６２の出力として送られてくるために、この差分を加算器６４を用いて予測画像に対して足し込むことで復号を行なっている。
以上のように、上位レイヤ入力ビットストリームと、下位レイヤ出力ビットストリームからノンインターレース画像の出力とインターレース画像の出力の両方が得られる。
【００３７】
尚、上述の実施例においては、エンコーダーから出力されたビットストリームは、光ディスクに記録するようにしたが、ＩＳＤＮ、衛星通信等の伝送路に送出するようにしてもよい。
【００３８】
【発明の効果】
ノンインターレースの入力画像から、フル解像度のノンインターレース画像に対応するビットストリームと、低解像度のインターレース画像に対応するビットストリームが得られる。
【図面の簡単な説明】
【図１】従来のレイヤコーディングシステムのエンコーダの構成を示すブロック図である。
【図２】従来のレイヤコーディングシステムのデコーダの構成を示すブロック図である。
【図３】上位レイヤがノンインターレース構造を持つエンコーダの構成を示すブロック図である。
【図４】上位レイヤがノンインターレース構造を持つデコーダの構成を示すブロック図である。
【図５】ダウンサンプル器の構成を説明するための図である。
【図６】アップサンプル器の構成を説明するための図である。
【符号の説明】
２２ ダウンサンプル器
３４ アップサンプル器
３９ 時空間予測器
５７ アップサンプル器
５８ 時空間予測器
Claims (2)
- ノンインターレース入力画像をダウンサンプリングして、インターレース画像を形成し符号化を行う第１の符号化手段と、
上記ノンインターレース入力画像から動きベクトル検出手段によって動きベクトルを検出し、上記ノンインターレース入力画像を符号化する第２の符号化手段とを有する画像信号符号化装置において、
上記第１の符号化手段は、
上記ノンインターレース入力画像をダウンサンプリングして、上記インターレース画像を形成するダウンサンプリング手段と、
上記インターレース画像と第１の局所復号画像を減算し、符号化することにより第１の信号を生成する第１の生成手段と、
上記第１の信号を可変長符号化してインターレースの下位レイヤビットストリームを出力する第１の出力手段と、
上記第１の信号を局所復号して上記第１の局所復号画像を形成する第１の局所復号手段と、
上記第１の局所復号画像と第２の局所復号画像を上記動きベクトルに基づいて重み付け補間してアップサンプリング処理により参照画像を形成するアップサンプリング手段とを有し、
上記第２の符号化手段は、
上記ノンインターレース入力画像と予測画像を減算し、符号化することにより第２の信号を生成する第２の生成手段と、
上記第２の信号を可変長符号化してノンインターレースの上位レイヤビットストリームを出力する第２の出力手段と、
上記第２の信号を局所復号して上記第２の局所復号画像を形成する第２の局所復号手段と、
上記第２の局所復号画像と上記参照画像を上記動きベクトルに基づいて重み付けして上記予測画像を形成する予測画像形成手段と
を有することを特徴とする画像信号符号化装置。 - ノンインターレース入力画像をダウンサンプリングして形成されたインターレース画像と第１の局所復号画像を減算し、符号化することにより生成された第１の信号を可変長符号化して生成されたインターレースの下位レイヤビットストリームと、
上記第１の信号を局所復号して形成された上記第１の局所復号画像と第２の信号を局所復号して形成された第２の局所復号画像を、上記ノンインターレース入力画像から検出された動きベクトルに基づいて重み付け補間してアップサンプリング処理により参照画像を形成し、上記参照画像と上記第２の局所復号画像を上記動きベクトルに基づいて重み付けして第１の予測画像を形成し、上記ノンインターレース入力画像と上記第１の予測画像を減算し、符号化することにより上記第２の信号を生成し、上記第２の信号を上記動きベクトルと共に可変長符号化して生成されたノンインターレースの上位レイヤビットストリームと
を入力し、復号化する画像信号復号化装置において、
上記インターレースの下位レイヤビットストリームを復号化してインターレース出力画像を形成する第１の復号化手段と、
上記ノンインターレースの上位レイヤビットストリームを復号化して第３の信号を生成する第２の復号化手段と、
上記第３の信号と第２の予測画像を加算してノンインターレース出力画像を形成する形成手段と、
上記ノンインターレース出力画像について、動き補償を行い第３の予測画像を形成する動き補償手段と、
上記インターレース出力画像と上記第３の予測画像を上記動きベクトルに基づいて重み付け補間してアップサンプリング処理により第４の予測画像を形成するアップサンプリング手段と、
上記第３の予測画像と上記第４の予測画像を上記動きベクトルに基づいて重み付けして上記第２の予測画像を形成する予測画像形成手段と
を有することを特徴とする画像信号復号化装置。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29420492A JP3545000B2 (ja) | 1992-11-02 | 1992-11-02 | 画像信号符号化装置、画像信号復号化装置 |
| TW085218477U TW325944U (en) | 1992-11-02 | 1993-10-27 | Layer encoding/decoding apparatus for input non-interlace video signals |
| US08/145,325 US5475435A (en) | 1992-11-02 | 1993-10-28 | Layer encoding apparatus and layer decoding apparatus for input non-interlace video signal |
| DE69323586T DE69323586T2 (de) | 1992-11-02 | 1993-10-29 | Gerät zur Schichtkodierung/-dekodierung für ein progressives Eingangsbildsignal |
| EP19930117577 EP0596423B1 (en) | 1992-11-02 | 1993-10-29 | Layer encoding/decoding apparatus for input non-interlace video signal |
| KR1019930023308A KR940013224A (ko) | 1992-11-02 | 1993-11-02 | 비비월 입력 화상 신호의 레이어 부호화 장치 및 복호화 장치 |
| CN93114263A CN1048612C (zh) | 1992-11-02 | 1993-11-02 | 输入逐行扫描视频信号用的分层编码设备和分层解码设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29420492A JP3545000B2 (ja) | 1992-11-02 | 1992-11-02 | 画像信号符号化装置、画像信号復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06153183A JPH06153183A (ja) | 1994-05-31 |
| JP3545000B2 true JP3545000B2 (ja) | 2004-07-21 |
Family
ID=17804673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29420492A Expired - Lifetime JP3545000B2 (ja) | 1992-11-02 | 1992-11-02 | 画像信号符号化装置、画像信号復号化装置 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US5475435A (ja) |
| EP (1) | EP0596423B1 (ja) |
| JP (1) | JP3545000B2 (ja) |
| KR (1) | KR940013224A (ja) |
| CN (1) | CN1048612C (ja) |
| DE (1) | DE69323586T2 (ja) |
| TW (1) | TW325944U (ja) |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2126467A1 (en) * | 1993-07-13 | 1995-01-14 | Barin Geoffry Haskell | Scalable encoding and decoding of high-resolution progressive video |
| CA2127151A1 (en) * | 1993-09-21 | 1995-03-22 | Atul Puri | Spatially scalable video encoding and decoding |
| DE4416967A1 (de) * | 1994-05-13 | 1995-11-16 | Thomson Brandt Gmbh | Verfahren und Vorrichtung zur Transcodierung von Bitströmen mit Videodaten |
| EP1282317B1 (en) * | 1994-06-24 | 2004-04-07 | Mitsubishi Denki Kabushiki Kaisha | Optical disk and method of playback |
| US5809201A (en) | 1994-06-24 | 1998-09-15 | Mitsubishi Denki Kabushiki Kaisha | Specially formatted optical disk and method of playback |
| EP1411734B1 (en) * | 1994-06-24 | 2005-05-11 | Mitsubishi Denki Kabushiki Kaisha | Optical disk and method of playback |
| US5644361A (en) * | 1994-11-30 | 1997-07-01 | National Semiconductor Corporation | Subsampled frame storage technique for reduced memory size |
| DE69619002T2 (de) | 1995-03-10 | 2002-11-21 | Kabushiki Kaisha Toshiba, Kawasaki | Bildkodierungs-/-dekodierungsvorrichtung |
| US6957350B1 (en) | 1996-01-30 | 2005-10-18 | Dolby Laboratories Licensing Corporation | Encrypted and watermarked temporal and resolution layering in advanced television |
| JP4034380B2 (ja) * | 1996-10-31 | 2008-01-16 | 株式会社東芝 | 画像符号化／復号化方法及び装置 |
| US6259738B1 (en) * | 1996-10-31 | 2001-07-10 | Kabushiki Kaisha Toshiba | Video encoding apparatus and video decoding apparatus |
| KR100326641B1 (ko) | 1996-12-06 | 2002-08-27 | 마츠시타 덴끼 산교 가부시키가이샤 | 영상신호의전송,부호화,복호화방법및장치와광디스크의기록및재생방법 |
| JP3763172B2 (ja) * | 1996-12-16 | 2006-04-05 | ソニー株式会社 | ディジタル信号復号方法及び装置、並びにディジタル信号再生装置 |
| US6057884A (en) * | 1997-06-05 | 2000-05-02 | General Instrument Corporation | Temporal and spatial scaleable coding for video object planes |
| JP3844844B2 (ja) * | 1997-06-06 | 2006-11-15 | 富士通株式会社 | 動画像符号化装置及び動画像符号化方法 |
| KR100482282B1 (ko) * | 1997-07-03 | 2005-07-11 | 주식회사 팬택앤큐리텔 | 신축형(스케일러블)부호화시고위계층(EnhancementLayer)부호화방법 |
| US6477202B1 (en) * | 1997-09-03 | 2002-11-05 | Matsushita Electric Industrial Co., Ltd. | Apparatus of layered picture coding, apparatus of picture decoding, methods of picture decoding, apparatus of recording for digital broadcasting signal, and apparatus of picture and audio decoding |
| US6108041A (en) * | 1997-10-10 | 2000-08-22 | Faroudja Laboratories, Inc. | High-definition television signal processing for transmitting and receiving a television signal in a manner compatible with the present system |
| US6014182A (en) * | 1997-10-10 | 2000-01-11 | Faroudja Laboratories, Inc. | Film source video detection |
| JP3164056B2 (ja) * | 1998-03-19 | 2001-05-08 | 日本ビクター株式会社 | 動画像符号化復号化装置、動画像符号化復号化方法及び動画像符号記録媒体 |
| KR100335105B1 (ko) * | 1998-12-23 | 2002-05-04 | 구자홍 | 영상의 부호화 및 복호화 방법 |
| JP2001203988A (ja) | 2000-01-21 | 2001-07-27 | Nec Corp | 画像復号装置、半導体装置、及び画像復号方法 |
| JP2002010251A (ja) * | 2000-06-19 | 2002-01-11 | Matsushita Electric Ind Co Ltd | 映像信号符号化装置および映像信号復号化装置 |
| US20020126759A1 (en) | 2001-01-10 | 2002-09-12 | Wen-Hsiao Peng | Method and apparatus for providing prediction mode fine granularity scalability |
| US8374237B2 (en) | 2001-03-02 | 2013-02-12 | Dolby Laboratories Licensing Corporation | High precision encoding and decoding of video images |
| US8111754B1 (en) | 2001-07-11 | 2012-02-07 | Dolby Laboratories Licensing Corporation | Interpolation of video compression frames |
| US6816552B2 (en) * | 2001-07-11 | 2004-11-09 | Dolby Laboratories Licensing Corporation | Interpolation of video compression frames |
| US7266150B2 (en) | 2001-07-11 | 2007-09-04 | Dolby Laboratories, Inc. | Interpolation of video compression frames |
| US20030112863A1 (en) * | 2001-07-12 | 2003-06-19 | Demos Gary A. | Method and system for improving compressed image chroma information |
| KR20040054746A (ko) * | 2001-10-26 | 2004-06-25 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 공간 스케일가능 압축 방법 및 장치 |
| WO2003036979A1 (en) * | 2001-10-26 | 2003-05-01 | Koninklijke Philips Electronics N.V. | Spatial scalable compression scheme using adaptive content filtering |
| JP2005531959A (ja) * | 2002-06-28 | 2005-10-20 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 空間スケーラブル圧縮方法及び装置 |
| JP3975188B2 (ja) | 2002-09-30 | 2007-09-12 | 三星電子株式会社 | 色相の空間予測符号化を利用した映像の符号化及び復号化方法及び装置 |
| EP1455534A1 (en) * | 2003-03-03 | 2004-09-08 | Thomson Licensing S.A. | Scalable encoding and decoding of interlaced digital video data |
| KR20060007408A (ko) * | 2003-04-29 | 2006-01-24 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 이미지 처리 장치 |
| US20070086666A1 (en) * | 2003-12-22 | 2007-04-19 | Koninklijke Philips Electronic, N.V. | Compatible interlaced sdtv and progressive hdtv |
| KR100667806B1 (ko) * | 2005-07-07 | 2007-01-12 | 삼성전자주식회사 | 영상 부호화 및 복호화 방법 및 장치 |
| JP5017825B2 (ja) * | 2005-09-15 | 2012-09-05 | ソニー株式会社 | 復号装置および復号方法 |
| KR101055741B1 (ko) | 2006-01-09 | 2011-08-11 | 엘지전자 주식회사 | 영상신호의 레이어간 예측 방법 |
| US8315308B2 (en) * | 2006-01-11 | 2012-11-20 | Qualcomm Incorporated | Video coding with fine granularity spatial scalability |
| US7817184B1 (en) | 2006-03-15 | 2010-10-19 | The Directv Group, Inc. | Methods and apparatus to test receivers |
| DE102006032021A1 (de) * | 2006-07-10 | 2008-01-17 | Nokia Siemens Networks Gmbh & Co.Kg | Verfahren und Enkodiervorrichtung zum Kodieren eines Bildbereiches eines Bildes einer Bildsequenz in zumindest zwei Qualitätsstufen, sowie Verfahren und Dekodiervorrichtung zum De-kodieren eines ersten kodierten Datenstroms und eines zweiten kodierten Datenstroms |
| CN101287119B (zh) * | 2008-04-28 | 2010-06-02 | 北京大学深圳研究生院 | 基于频谱的图像分层编解码方法及系统 |
| WO2010017166A2 (en) | 2008-08-04 | 2010-02-11 | Dolby Laboratories Licensing Corporation | Overlapped block disparity estimation and compensation architecture |
| CN102474620A (zh) * | 2009-07-10 | 2012-05-23 | 三星电子株式会社 | 在分层视频编码中的空间预测方法和设备 |
| EP2801193B1 (en) | 2012-01-04 | 2016-10-26 | Dolby Laboratories Licensing Corporation | Dual-layer backwards-compatible progressive video delivery |
| AU2013261838A1 (en) * | 2012-05-14 | 2014-12-04 | Guido MEARDI | Encoding and decoding based on blending of sequences of samples along time |
| JP2016005032A (ja) * | 2014-06-13 | 2016-01-12 | ソニー株式会社 | 符号化装置、符号化方法、カメラ、レコーダおよびカメラ一体型レコーダ |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5128791A (en) * | 1990-08-13 | 1992-07-07 | Bell Communications Research, Inc. | Multi-channel HDTV system |
| JPH04177992A (ja) * | 1990-11-09 | 1992-06-25 | Victor Co Of Japan Ltd | 階層性を有する画像符号化装置 |
| US5353119A (en) * | 1990-11-15 | 1994-10-04 | Sony United Kingdom Limited | Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images |
-
1992
- 1992-11-02 JP JP29420492A patent/JP3545000B2/ja not_active Expired - Lifetime
-
1993
- 1993-10-27 TW TW085218477U patent/TW325944U/zh unknown
- 1993-10-28 US US08/145,325 patent/US5475435A/en not_active Expired - Lifetime
- 1993-10-29 EP EP19930117577 patent/EP0596423B1/en not_active Expired - Lifetime
- 1993-10-29 DE DE69323586T patent/DE69323586T2/de not_active Expired - Lifetime
- 1993-11-02 CN CN93114263A patent/CN1048612C/zh not_active Expired - Lifetime
- 1993-11-02 KR KR1019930023308A patent/KR940013224A/ko not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| TW325944U (en) | 1998-01-21 |
| DE69323586D1 (de) | 1999-04-01 |
| US5475435A (en) | 1995-12-12 |
| JPH06153183A (ja) | 1994-05-31 |
| EP0596423A3 (en) | 1994-09-28 |
| DE69323586T2 (de) | 1999-06-24 |
| EP0596423A2 (en) | 1994-05-11 |
| KR940013224A (ko) | 1994-06-25 |
| CN1090116A (zh) | 1994-07-27 |
| CN1048612C (zh) | 2000-01-19 |
| EP0596423B1 (en) | 1999-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3545000B2 (ja) | 画像信号符号化装置、画像信号復号化装置 | |
| JP3381855B2 (ja) | 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置 | |
| EP0687112B1 (en) | Image conversion apparatus | |
| KR100311294B1 (ko) | 화상신호부호화방법및화상신호부호화장치및화상신호복호화방법및화상신호복호화장치 | |
| JP3164031B2 (ja) | 動画像符号化復号化装置、動画像符号化復号化方法、及び動画像符号化記録媒体 | |
| JP2962083B2 (ja) | 解像度変換方法、解像度変換装置、画像符号化装置、画像復号化装置 | |
| JP3144806B2 (ja) | デジタル画像復号化装置 | |
| JP3681835B2 (ja) | 画像符号化装置及び画像復号化装置及び符号化・復号化システム | |
| WO2003036981A1 (en) | Spatial scalable compression | |
| JP2006518568A (ja) | ビデオ符号化 | |
| JPH06209468A (ja) | 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置 | |
| JPH07212761A (ja) | 階層符号化装置及び階層復号化装置 | |
| JPH0622147A (ja) | 階層型符号化装置及び復号化装置 | |
| KR20050084396A (ko) | 공간 스케일 능력를 갖는 디지털 필터 | |
| EP0944264B1 (en) | Apparatus and method of encoding/decoding moving picture and storage medium storing encoded moving picture | |
| JP4127182B2 (ja) | 動画像時間軸階層符号化方法、符号化装置、復号化方法及び復号化装置並びにコンピュータプログラム | |
| JPH06205397A (ja) | 動画像符号化装置 | |
| US7003036B2 (en) | Encoder, decoder, encoding method and decoding method for color moving image and method of transferring bitstream of color moving image | |
| JP4210925B2 (ja) | 画像信号生成装置および方法、並びに、画像信号再生装置および方法 | |
| JPH0216887A (ja) | 画像符号化装置 | |
| JP3087864B2 (ja) | Ｈｄｔｖ信号用サブバンド符号化方式 | |
| JP3804237B2 (ja) | 動き補償動画像符号化装置及びその方法 | |
| JP4193252B2 (ja) | 信号処理装置及び方法、信号復号装置、並びに信号符号化装置 | |
| JP3552045B2 (ja) | 画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置 | |
| JPH07107488A (ja) | 動画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20020729 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040305 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040407 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080416 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100416 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100416 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110416 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120416 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120416 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 9 |