JPH06205438A - 画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体 - Google Patents

画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体

Info

Publication number
JPH06205438A
JPH06205438A JP36017092A JP36017092A JPH06205438A JP H06205438 A JPH06205438 A JP H06205438A JP 36017092 A JP36017092 A JP 36017092A JP 36017092 A JP36017092 A JP 36017092A JP H06205438 A JPH06205438 A JP H06205438A
Authority
JP
Japan
Prior art keywords
signal
image signal
predicted image
resolution
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP36017092A
Other languages
English (en)
Other versions
JP3381855B2 (ja
Inventor
Katsumi Tawara
勝己 田原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP36017092A priority Critical patent/JP3381855B2/ja
Priority to US08/163,759 priority patent/US5412428A/en
Priority to EP19930309907 priority patent/EP0608618B1/en
Priority to DE1993623541 priority patent/DE69323541T2/de
Priority to CA 2111021 priority patent/CA2111021C/en
Priority to KR1019930027736A priority patent/KR100289587B1/ko
Publication of JPH06205438A publication Critical patent/JPH06205438A/ja
Application granted granted Critical
Publication of JP3381855B2 publication Critical patent/JP3381855B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/04Colour television systems using pulse code modulation
    • H04N11/042Codec means
    • H04N11/044Codec means involving transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

(57)【要約】 【目的】 必要に応じて、解像度の高い色の画像を得る
ことができるようにする。 【構成】 4:4:4のマクロブロックのフォーマット
の色差信号を、回路102により符号化する。この最も
高い解像度の色差信号をダウンサンプリング回路103
によりダウンサンプリングし、この信号を回路101に
より符号化する。この中間の解像度を有する色差信号
を、さらにダウンサンプリング回路104によりダウン
サンプリングし、最も低い解像度の色差信号を得る。こ
れを4:2:0のマクロブロックのフォーマットとし
て、回路102に供給し、符号化する。合成回路105
により、回路100,101,102の出力するデータ
を合成し、伝送する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、動画像信号を、例えば
光磁気ディスクや磁気テープなどの記録媒体に記録し、
これを再生してディスプレイなどに表示したり、テレビ
会議システム、テレビ電話システム、放送用機器など、
動画像信号を伝送路を介して送信側から受信側に伝送
し、受信側において、これを受信し、表示する場合など
に用いて好適な画像信号符号化方法および画像信号符号
化装置、画像信号復号化方法および画像信号復号化装
置、ならび画像信号記録媒体に関する。
【0002】
【従来の技術】例えば、テレビ会議システム、テレビ電
話システムなどのように、動画像信号を遠隔地に伝送す
るシステムにおいては、伝送路を効率良く利用するた
め、映像信号のライン相関やフレーム間相関を利用し
て、画像信号を圧縮符号化するようになされている。
【0003】ライン相関を利用すると、画像信号を、例
えばDCT(離散コサイン変換)処理するなどして圧縮
することができる。
【0004】また、フレーム間相関を利用すると、画像
信号をさらに圧縮して符号化することが可能となる。例
えば図14に示すように、時刻t1,t2,t3におい
て、フレーム画像PC1,PC2,PC3がそれぞれ発
生しているとき、フレーム画像PC1とPC2の画像信
号の差を演算して、PC12を生成し、また、フレーム
画像PC2とPC3の差を演算して、PC23を生成す
る。通常、時間的に隣接するフレームの画像は、それ程
大きな変化を有していないため、両者の差を演算する
と、その差分信号は小さな値のものとなる。そこで、こ
の差分信号を符号化すれば、符号量を圧縮することがで
きる。
【0005】しかしながら、差分信号のみを伝送したの
では、元の画像を復元することができない。そこで、各
フレームの画像を、Iピクチャ、PピクチャまたはBピ
クチャの3種類のピクチャのいずれかのピクチャとし、
画像信号を圧縮符号化するようにしている。
【0006】即ち、例えば図15に示すように、フレー
ムF1乃至F17までの17フレームの画像信号をグル
ープオブピクチャとし、処理の1単位とする。そして、
その先頭のフレームF1の画像信号はIピクチャとして
符号化し、第2番目のフレームF2はBピクチャとし
て、また第3番目のフレームF3はPピクチャとして、
それぞれ処理する。以下、第4番目以降のフレームF4
乃至F17は、BピクチャまたはPピクチャとして交互
に処理する。
【0007】Iピクチャの画像信号としては、その1フ
レーム分の画像信号をそのまま伝送する。これに対し
て、Pピクチャの画像信号としては、基本的には、図1
5(A)に示すように、それより時間的に先行するIピ
クチャまたはPピクチャの画像信号からの差分を伝送す
る。さらにBピクチャの画像信号としては、基本的に
は、図15(B)に示すように、時間的に先行するフレ
ームまたは後行するフレームの両方の平均値からの差分
を求め、その差分を符号化する。
【0008】図16は、このようにして、動画像信号を
符号化する方法の原理を示している。同図に示すよう
に、最初のフレームF1はIピクチャとして処理される
ため、そのまま伝送データF1Xとして伝送路に伝送さ
れる(画像内符号化)。これに対して、第2のフレーム
F2は、Bピクチャとして処理されるため、時間的に先
行するフレームF1と、時間的に後行するフレームF3
の平均値との差分が演算され、その差分が伝送データF
2Xとして伝送される。
【0009】但し、このBピクチャとしての処理は、さ
らに細かく説明すると、4種類存在する。その第1の処
理は、元のフレームF2のデータをそのまま伝送データ
F2Xとして伝送するものであり(SP1)(イントラ
符号化)、Iピクチャにおける場合と同様の処理とな
る。第2の処理は、時間的に後のフレームF3からの差
分を演算し、その差分(SP2)を伝送するものである
(後方予測符号化)。第3の処理は、時間的に先行する
フレームF1との差分(SP3)を伝送するものである
(前方予測符号化)。さらに第4の処理は、時間的に先
行するフレームF1と後行するフレームF3の平均値と
の差分(SP4)を生成し、これを伝送データF2Xと
して伝送するものである(両方向予測符号化)。
【0010】この4つの方法のうち、伝送データが最も
少なくなる方法が採用される。
【0011】尚、差分データを伝送するとき、差分を演
算する対象となるフレームの画像(予測画像)との間の
動きベクトルx1(フレームF1とF2の間の動きベク
トル)(前方予測の場合)、もしくはx2(フレームF
3とF2の間の動きベクトル)(後方予測の場合)、ま
たはx1とx2の両方(両方向予測の場合)が、差分デ
ータとともに伝送される。
【0012】また、PピクチャのフレームF3は、時間
的に先行するフレームF1を予測画像として、このフレ
ームとの差分信号(SP3)と、動きベクトルx3が演
算され、これが伝送データF3Xとして伝送される(前
方予測符号化)。あるいはまた、元のフレームF3のデ
ータがそのまま伝送データF3Xとして伝送される(S
P1)(イントラ符号化)。いずれの方法により伝送さ
れるかは、Bピクチャにおける場合と同様に、伝送デー
タがより少なくなる方が選択される。
【0013】図17は、上述した原理に基づいて、動画
像信号を符号化して伝送し、これを復号化する装置の構
成例を示している。符号化装置1は、入力された映像信
号を符号化し、伝送路としての記録媒体3に伝送するよ
うになされている。そして、復号化装置2は、記録媒体
3に記録された信号を再生し、これを復号して出力する
ようになされている。
【0014】符号化装置1においては、入力された映像
信号が前処理回路11に入力され、そこで輝度信号と色
信号(この例の場合、色差信号)が分離され、それぞれ
A/D変換器12,13でA/D変換される。A/D変
換器12,13によりA/D変換されてデジタル信号と
なった映像信号は、フレームメモリ14に供給され、記
憶される。フレームメモリ14は、輝度信号を輝度信号
フレームメモリ15に、また、色差信号を色差信号フレ
ームメモリ16に、それぞれ記憶させる。
【0015】フォーマット変換回路17は、フレームメ
モリ14に記憶されたフレームフォーマットの信号を、
ブロックフォーマットの信号に変換する。即ち、図18
に示すように、フレームメモリ14に記憶された映像信
号は、1ライン当りHドットのラインがVライン集めら
れたフレームフォーマットのデータとされている。フォ
ーマット変換回路17は、この1フレームの信号を、1
6ラインを単位としてM個のスライスに区分する。そし
て、各スライスは、M個のマクロブロックに分割され
る。各マクロブロックは、16×16個の画素(ドッ
ト)に対応する輝度信号により構成され、この輝度信号
は、さらに8×8ドットを単位とするブロックY[1]
乃至Y[4]に区分される。そして、この16×16ド
ットの輝度信号には、8×8ドットのCb信号と、8×
8ドットのCr信号が対応される。
【0016】このように、ブロックフォーマットに変換
されたデータは、フォーマット変換回路17からエンコ
ーダ18に供給され、ここでエンコード(符号化)が行
われる。その詳細については、図19を参照して後述す
る。
【0017】エンコーダ18によりエンコードされた信
号は、ビットストリームとして伝送路に出力され、例え
ば記録媒体3に記録される。
【0018】記録媒体3より再生されたデータは、復号
化装置2のデコーダ31に供給され、デコードされる。
デコーダ31の詳細については、図22を参照して後述
する。
【0019】デコーダ31によりデコードされたデータ
は、フォーマット変換回路32に入力され、ブロックフ
ォーマットからフレームフォーマットに変換される。そ
して、フレームフォーマットの輝度信号は、フレームメ
モリ33の輝度信号フレームメモリ34に供給され、記
憶され、色差信号は色差信号フレームメモリ35に供給
され、記憶される。輝度信号フレームメモリ34と色差
信号フレームメモリ35より読み出された輝度信号と色
差信号は、D/A変換器36と37によりそれぞれD/
A変換され、後処理回路38に供給され、合成される。
そして、図示せぬ例えばCRTなどのディスプレイに出
力され、表示される。
【0020】次に図19を参照して、エンコーダ18の
構成例について説明する。
【0021】符号化されるべき画像データは、マクロブ
ロック単位で動きベクトル検出回路50に入力される。
動きベクトル検出回路50は、予め設定されている所定
のシーケンスに従って、各フレームの画像データを、I
ピクチャ、Pピクチャ、またはBピクチャとして処理す
る。シーケンシャルに入力される各フレームの画像を、
I,P,Bのいずれのピクチャとして処理するかは、予
め定められている(例えば、図15に示したように、フ
レームF1乃至F17により構成されるグループオブピ
クチャが、I,B,P,B,P,・・・B,Pとして処
理される)。
【0022】Iピクチャとして処理されるフレーム(例
えばフレームF1)の画像データは、動きベクトル検出
回路50からフレームメモリ51の前方原画像部51a
に転送、記憶され、Bピクチャとして処理されるフレー
ム(例えばフレームF2)の画像データは、原画像部5
1bに転送、記憶され、Pピクチャとして処理されるフ
レーム(例えばフレームF3)の画像データは、後方原
画像部51cに転送、記憶される。
【0023】また、次のタイミングにおいて、さらにB
ピクチャ(フレームF4)またはPピクチャ(フレーム
F5)として処理すべきフレームの画像が入力されたと
き、それまで後方原画像部51cに記憶されていた最初
のPピクチャ(フレームF3)の画像データが、前方原
画像部51aに転送され、次のBピクチャ(フレームF
4)の画像データが、原画像部51bに記憶(上書き)
され、次のPピクチャ(フレームF5)の画像データ
が、後方原画像部51cに記憶(上書き)される。この
ような動作が順次繰り返される。
【0024】フレームメモリ51に記憶された各ピクチ
ャの信号は、そこから読み出され、予測モード切り替え
回路52において、フレーム予測モード処理、またはフ
ィールド予測モード処理が行なわれる。さらにまた予測
判定回路54の制御の下に、演算部53において、画像
内予測、前方予測、後方予測、または両方向予測の演算
が行なわれる。これらの処理のうち、いずれの処理を行
なうかは、予測誤差信号(処理の対象とされている参照
画像と、これに対する予測画像との差分)に対応して決
定される。このため、動きベクトル検出回路50は、こ
の判定に用いられる予測誤差信号の絶対値和(自乗和で
もよい)を生成する。
【0025】ここで、予測モード切り替え回路52にお
けるフレーム予測モードとフィールド予測モードについ
て説明する。
【0026】フレーム予測モードが設定された場合にお
いては、予測モード切り替え回路52は、動きベクトル
検出回路50より供給される4個の輝度ブロックY
[1]乃至Y[4]を、そのまま後段の演算部53に出
力する。即ち、この場合においては、図20(A)に示
すように、各輝度ブロックに奇数フィールドのラインの
データと、偶数フィールドのラインのデータとが混在し
た状態となっている。このフレーム予測モードにおいて
は、4個の輝度ブロック(マクロブロック)を単位とし
て予測が行われ、4個の輝度ブロックに対して1個の動
きベクトルが対応される。
【0027】これに対して、予測モード切り替え回路5
2は、フィールド予測モードにおいては、図20(A)
に示す構成で動きベクトル検出回路50より入力される
信号を、図20(B)に示すように、4個の輝度ブロッ
クのうち、輝度ブロックY[1]とY[2]を、例えば
奇数フィールドのラインのドットによりのみ構成させ、
他の2個の輝度ブロックY[3]とY[4]を、偶数フ
ィールドのラインのデータにより構成させて、演算部5
3に出力する。この場合においては、2個の輝度ブロッ
クY[1]とY[2]に対して、1個の動きベクトルが
対応され、他の2個の輝度ブロックY[3]とY[4]
に対して、他の1個の動きベクトルが対応される。
【0028】動きベクトル検出回路50は、フレーム予
測モードにおける予測誤差の絶対値和と、フィールド予
測モードにおける予測誤差の絶対値和を、予測モード切
り替え回路52に出力する。予測モード切り替え回路5
2は、フレーム予測モードとフィールド予測モードにお
ける予測誤差の絶対値和を比較し、その値が小さい予測
モードに対応する処理を施して、データを演算部53に
出力する。
【0029】但し、このような処理は、実際には動きベ
クトル検出回路50で行われる。即ち、動きベクトル検
出回路50は、決定されたモードに対応する構成の信号
を予測モード切り替え回路52に出力し、予測モード切
り替え回路52は、その信号を、そのまま後段の演算部
53に出力する。
【0030】尚、色差信号は、フレーム予測モードの場
合、図20(A)に示すように、奇数フィールドのライ
ンのデータと偶数フィールドのラインのデータとが混在
する状態で、演算部53に供給される。また、フィール
ド予測モードの場合、図20(B)に示すように、各色
差ブロックCb,Crの上半分(4ライン)が、輝度ブ
ロックY[1],Y[2]に対応する奇数フィールドの
色差信号とされ、下半分(4ライン)が、輝度ブロック
Y[3],Y[4]に対応する偶数フィールドの色差信
号とされる。
【0031】また、動きベクトル検出回路50は、次の
ようにして、予測判定回路54において、画像内予測、
前方予測、後方予測、または両方向予測のいずれの予測
を行なうかを決定するための予測誤差の絶対値和を生成
する。
【0032】即ち、画像内予測の予測誤差の絶対値和と
して、参照画像のマクロブロックの信号Aijの和ΣAij
の絶対値|ΣAij|と、マクロブロックの信号Aijの絶対
値|Aij|の和Σ|Aij|の差を求める。また、前方予測の
予測誤差の絶対値和として、参照画像のマクロブロック
の信号Aijと、予測画像のマクロブロックの信号Bijの
差Aij−Bijの絶対値|Aij−Bij|の和Σ|Aij−Bij|
を求める。また、後方予測と両方向予測の予測誤差の絶
対値和も、前方予測における場合と同様に(その予測画
像を前方予測における場合と異なる予測画像に変更し
て)求める。
【0033】これらの絶対値和は、予測判定回路54に
供給される。予測判定回路54は、前方予測、後方予測
および両方向予測の予測誤差の絶対値和のうち、最も小
さいものを、インター予測の予測誤差の絶対値和として
選択する。さらに、このインター予測の予測誤差の絶対
値和と、画像内予測の予測誤差の絶対値和とを比較し、
その小さい方を選択し、この選択した絶対値和に対応す
るモードを予測モードとして選択する。即ち、画像内予
測の予測誤差の絶対値和の方が小さければ、画像内予測
モードが設定される。インター予測の予測誤差の絶対値
和の方が小さければ、前方予測、後方予測または両方向
予測モードのうち、対応する絶対値和が最も小さかった
モードが設定される。
【0034】このように、動きベクトル検出回路50
は、参照画像のマクロブロックの信号を、フレームまた
はフィールド予測モードのうち、予測モード切り替え回
路52により選択されたモードに対応する構成で、予測
モード切り替え回路52を介して演算部53に供給する
とともに、4つの予測モードのうち、予測判定回路54
により選択された予測モードに対応する予測画像と参照
画像の間の動きベクトルを検出し、可変長符号化回路5
8と動き補償回路64に出力する。上述したように、こ
の動きベクトルとしては、対応する予測誤差の絶対値和
が最小となるものが選択される。
【0035】予測判定回路54は、動きベクトル検出回
路50が前方原画像部51aよりIピクチャの画像デー
タを読み出しているとき、予測モードとして、フレーム
(画像)内予測モード(動き補償を行わないモード)を
設定し、演算部53のスイッチ53dを接点a側に切り
替える。これにより、Iピクチャの画像データがDCT
モード切り替え回路55に入力される。
【0036】このDCTモード切り替え回路55は、図
21(A)または(B)に示すように、4個の輝度ブロ
ックのデータを、奇数フィールドのラインと偶数フィー
ルドのラインが混在する状態(フレームDCTモー
ド)、または、分離された状態(フィールドDCTモー
ド)、のいずれかの状態にして、DCT回路56に出力
する。
【0037】即ち、DCTモード切り替え回路55は、
奇数フィールドと偶数フィールドのデータを混在してD
CT処理した場合における符号化効率と、分離した状態
においてDCT処理した場合の符号化効率とを比較し、
符号化効率の良好なモードを選択する。
【0038】例えば、入力された信号を、図21(A)
に示すように、奇数フィールドと偶数フィールドのライ
ンが混在する構成とし、上下に隣接する奇数フィールド
のラインの信号と偶数フィールドのラインの信号の差を
演算し、さらにその絶対値の和(または自乗和)を求め
る。また、入力された信号を、図21(B)に示すよう
に、奇数フィールドと偶数フィールドのラインが分離し
た構成とし、上下に隣接する奇数フィールドのライン同
士の信号の差と、偶数フィールドのライン同士の信号の
差を演算し、それぞれの絶対値の和(または自乗和)を
求める。さらに、両者(絶対値和)を比較し、小さい値
に対応するDCTモードを設定する。即ち、前者の方が
小さければ、フレームDCTモードを設定し、後者の方
が小さければ、フィールドDCTモードを設定する。
【0039】そして、選択したDCTモードに対応する
構成のデータをDCT回路56に出力するとともに、選
択したDCTモードを示すDCTフラグを、可変長符号
化回路58と動き補償回路64に出力する。
【0040】予測モード切り替え回路52における予測
モード(図20)と、このDCTモード切り替え回路5
5におけるDCTモード(図21)を比較して明らかな
ように、輝度ブロックに関しては、両者の各モードにお
けるデータ構造は実質的に同一である。
【0041】予測モード切り替え回路52において、フ
レーム予測モード(奇数ラインと偶数ラインが混在する
モード)が選択された場合、DCTモード切り替え回路
55においても、フレームDCTモード(奇数ラインと
偶数ラインが混在するモード)が選択される可能性が高
く、また予測モード切り替え回路52において、フィー
ルド予測モード(奇数フィールドと偶数フィールドのデ
ータが分離されたモード)が選択された場合、DCTモ
ード切り替え回路55において、フィールドDCTモー
ド(奇数フィールドと偶数フィールドのデータが分離さ
れたモード)が選択される可能性が高い。
【0042】しかしながら、必ずしも常にそのようにな
されるわけではなく、予測モード切り替え回路52にお
いては、予測誤差の絶対値和が小さくなるようにモード
が決定され、DCTモード切り替え回路55において
は、符号化効率が良好となるようにモードが決定され
る。
【0043】DCTモード切り替え回路55より出力さ
れたIピクチャの画像データは、DCT回路56に入力
され、DCT(離散コサイン変換)処理され、DCT係
数に変換される。このDCT係数は、量子化回路57に
入力され、送信バッファ59のデータ蓄積量(バッファ
蓄積量)に対応した量子化ステップで量子化された後、
可変長符号化回路58に入力される。
【0044】可変長符号化回路58は、量子化回路57
より供給される量子化ステップ(スケール)に対応し
て、量子化回路57より供給される画像データ(いまの
場合、Iピクチャのデータ)を、例えばハフマン符号な
どの可変長符号に変換し、送信バッファ59に出力す
る。
【0045】可変長符号化回路58にはまた、量子化回
路57より量子化ステップ(スケール)、予測判定回路
54より予測モード(画像内予測、前方予測、後方予
測、または両方向予測のいずれが設定されたかを示すモ
ード)、動きベクトル検出回路50より動きベクトル、
予測モード切り替え回路52より予測フラグ(フレーム
予測モードまたはフィールド予測モードのいずれが設定
されたかを示すフラグ)、およびDCTモード切り替え
回路55が出力するDCTフラグ(フレームDCTモー
ドまたはフィールドDCTモードのいずれが設定された
かを示すフラグ)が入力されており、これらも可変長符
号化される。
【0046】送信バッファ59は、入力されたデータを
一時蓄積し、蓄積量に対応するデータを量子化回路57
に出力する。
【0047】送信バッファ59は、そのデータ残量が許
容上限値まで増量すると、量子化制御信号によって量子
化回路57の量子化スケールを大きくすることにより、
量子化データのデータ量を低下させる。また、これとは
逆に、データ残量が許容下限値まで減少すると、送信バ
ッファ59は、量子化制御信号によって量子化回路57
の量子化スケールを小さくすることにより、量子化デー
タのデータ量を増大させる。このようにして、送信バッ
ファ59のオーバフローまたはアンダフローが防止され
る。
【0048】そして、送信バッファ59に蓄積されたデ
ータは、所定のタイミングで読み出され、伝送路に出力
され、例えば記録媒体3に記録される。
【0049】一方、量子化回路57より出力されたIピ
クチャのデータは、逆量子化回路60に入力され、量子
化回路57より供給される量子化ステップに対応して逆
量子化される。逆量子化回路60の出力は、IDCT
(逆DCT)回路61に入力され、逆DCT処理された
後、演算器62を介してフレームメモリ63の前方予測
画像部63aに供給され、記憶される。
【0050】動きベクトル検出回路50は、シーケンシ
ャルに入力される各フレームの画像データを、たとえ
ば、I,B,P,B,P,B・・・のピクチャとしてそ
れぞれ処理する場合、最初に入力されたフレームの画像
データをIピクチャとして処理した後、次に入力された
フレームの画像をBピクチャとして処理する前に、さら
にその次に入力されたフレームの画像データをPピクチ
ャとして処理する。Bピクチャは、後方予測を伴うた
め、後方予測画像としてのPピクチャが先に用意されて
いないと、復号することができないからである。
【0051】そこで動きベクトル検出回路50は、Iピ
クチャの処理の次に、後方原画像部51cに記憶されて
いるPピクチャの画像データの処理を開始する。そし
て、上述した場合と同様に、マクロブロック単位でのフ
レーム間差分(予測誤差)の絶対値和が、動きベクトル
検出回路50から予測モード切り替え回路52と予測判
定回路54に供給される。予測モード切り替え回路52
と予測判定回路54は、このPピクチャのマクロブロッ
クの予測誤差の絶対値和に対応して、フレーム/フィー
ルド予測モード、または画像内予測、前方予測、後方予
測、もしくは両方向予測の予測モードを設定する。
【0052】演算部53はフレーム内予測モードが設定
されたとき、スイッチ53dを上述したように接点a側
に切り替える。従って、このデータは、Iピクチャのデ
ータと同様に、DCTモード切り替え回路55、DCT
回路56、量子化回路57、可変長符号化回路58、送
信バッファ59を介して伝送路に伝送される。また、こ
のデータは、逆量子化回路60、IDCT回路61、演
算器62を介してフレームメモリ63の後方予測画像部
63bに供給され、記憶される。
【0053】前方予測モードの時、スイッチ53dが接
点bに切り替えられるとともに、フレームメモリ63の
前方予測画像部63aに記憶されている画像(いまの場
合Iピクチャの画像)データが読み出され、動き補償回
路64により、動きベクトル検出回路50が出力する動
きベクトルに対応して動き補償される。すなわち、動き
補償回路64は、予測判定回路54より前方予測モード
の設定が指令されたとき、前方予測画像部63aの読み
出しアドレスを、動きベクトル検出回路50がいま出力
しているマクロブロックの位置に対応する位置から動き
ベクトルに対応する分だけずらしてデータを読み出し、
予測画像データを生成する。
【0054】動き補償回路64より出力された予測画像
データは、演算器53aに供給される。演算器53a
は、予測モード切り替え回路52より供給された参照画
像のマクロブロックのデータから、動き補償回路64よ
り供給された、このマクロブロックに対応する予測画像
データを減算し、その差分(予測誤差)を出力する。こ
の差分データは、DCTモード切り替え回路55、DC
T回路56、量子化回路57、可変長符号化回路58、
送信バッファ59を介して伝送路に伝送される。また、
この差分データは、逆量子化回路60、IDCT回路6
1により局所的に復号され、演算器62に入力される。
【0055】この演算器62にはまた、演算器53aに
供給されている予測画像データと同一のデータが供給さ
れている。演算器62は、IDCT回路61が出力する
差分データに、動き補償回路64が出力する予測画像デ
ータを加算する。これにより、元の(復号した)Pピク
チャの画像データが得られる。このPピクチャの画像デ
ータは、フレームメモリ63の後方予測画像部63bに
供給され、記憶される。
【0056】動きベクトル検出回路50は、このよう
に、IピクチャとPピクチャのデータが前方予測画像部
63aと後方予測画像部63bにそれぞれ記憶された
後、次にBピクチャの処理を実行する。予測モード切り
替え回路52と予測判定回路54は、マクロブロック単
位でのフレーム間差分の絶対値和の大きさに対応して、
フレーム/フィールドモードを設定し、また、予測モー
ドをフレーム内予測モード、前方予測モード、後方予測
モード、または両方向予測モードのいずれかに設定す
る。
【0057】上述したように、フレーム内予測モードま
たは前方予測モードの時、スイッチ53dは接点aまた
はbに切り替えられる。このとき、Pピクチャにおける
場合と同様の処理が行われ、データが伝送される。
【0058】これに対して、後方予測モードまたは両方
向予測モードが設定された時、スイッチ53dは、接点
cまたはdにそれぞれ切り替えられる。
【0059】スイッチ53dが接点cに切り替えられて
いる後方予測モードの時、後方予測画像部63bに記憶
されている画像(いまの場合、Pピクチャの画像)デー
タが読み出され、動き補償回路64により、動きベクト
ル検出回路50が出力する動きベクトルに対応して動き
補償される。すなわち、動き補償回路64は、予測判定
回路54より後方予測モードの設定が指令されたとき、
後方予測画像部63bの読み出しアドレスを、動きベク
トル検出回路50がいま出力しているマクロブロックの
位置に対応する位置から動きベクトルに対応する分だけ
ずらしてデータを読み出し、予測画像データを生成す
る。
【0060】動き補償回路64より出力された予測画像
データは、演算器53bに供給される。演算器53b
は、予測モード切り替え回路52より供給された参照画
像のマクロブロックのデータから、動き補償回路64よ
り供給された予測画像データを減算し、その差分を出力
する。この差分データは、DCTモード切り替え回路5
5、DCT回路56、量子化回路57、可変長符号化回
路58、送信バッファ59を介して伝送路に伝送され
る。
【0061】スイッチ53dが接点dに切り替えられて
いる両方向予測モードの時、前方予測画像部63aに記
憶されている画像(いまの場合、Iピクチャの画像)デ
ータと、後方予測画像部63bに記憶されている画像
(いまの場合、Pピクチャの画像)データが読み出さ
れ、動き補償回路64により、動きベクトル検出回路5
0が出力する動きベクトルに対応して動き補償される。
すなわち、動き補償回路64は、予測判定回路54より
両方向予測モードの設定が指令されたとき、前方予測画
像部63aと後方予測画像部63bの読み出しアドレス
を、動きベクトル検出回路50がいま出力しているマク
ロブロックの位置に対応する位置から動きベクトル(こ
の場合の動きベクトルは、前方予測画像用と後方予測画
像用の2つとなる)に対応する分だけずらしてデータを
読み出し、予測画像データを生成する。
【0062】動き補償回路64より出力された予測画像
データは、演算器53cに供給される。演算器53c
は、動きベクトル検出回路50より供給された参照画像
のマクロブロックのデータから、動き補償回路64より
供給された予測画像データの平均値を減算し、その差分
を出力する。この差分データは、DCTモード切り替え
回路55、DCT回路56、量子化回路57、可変長符
号化回路58、送信バッファ59を介して伝送路に伝送
される。
【0063】Bピクチャの画像は、他の画像の予測画像
とされることがないため、フレームメモリ63には記憶
されない。
【0064】尚、フレームメモリ63において、前方予
測画像部63aと後方予測画像部63bは、必要に応じ
てバンク切り替えが行われ、所定の参照画像に対して、
一方または他方に記憶されているものを、前方予測画像
あるいは後方予測画像として切り替えて出力することが
できる。
【0065】以上においては、輝度ブロックを中心とし
て説明をしたが、色差ブロックについても同様に、図2
0および図21に示すマクロブロックを単位として処理
され、伝送される。尚、色差ブロックを処理する場合の
動きベクトルは、対応する輝度ブロックの動きベクトル
を垂直方向と水平方向に、それぞれ1/2にしたものが
用いられる。
【0066】次に、図22は、図17のデコーダ31の
一例の構成を示すブロック図である。伝送路(記録媒体
3)を介して伝送された符号化された画像データは、図
示せぬ受信回路で受信されたり、再生装置で再生され、
受信バッファ81に一時記憶された後、復号回路90の
可変長復号化回路82に供給される。可変長復号化回路
82は、受信バッファ81より供給されたデータを可変
長復号化し、動きベクトル、予測モード、予測フラグお
よびDCTフラグを動き補償回路87に、また、量子化
ステップを逆量子化回路83に、それぞれ出力するとと
もに、復号された画像データを逆量子化回路83に出力
する。
【0067】逆量子化回路83は、可変長復号化回路8
2より供給された画像データを、同じく可変長復号化回
路82より供給された量子化ステップに従って逆量子化
し、IDCT回路84に出力する。逆量子化回路83よ
り出力されたデータ(DCT係数)は、IDCT回路8
4で、逆DCT処理され、演算器85に供給される。
【0068】IDCT回路84より供給された画像デー
タが、Iピクチャのデータである場合、そのデータは演
算器85より出力され、演算器85に後に入力される画
像データ(PまたはBピクチャのデータ)の予測画像デ
ータ生成のために、フレームメモリ86の前方予測画像
部86aに供給されて記憶される。また、このデータ
は、フォーマット変換回路32(図17)に出力され
る。
【0069】IDCT回路84より供給された画像デー
タが、その1フレーム前の画像データを予測画像データ
とするPピクチャのデータであって、前方予測モードの
データである場合、フレームメモリ86の前方予測画像
部86aに記憶されている、1フレーム前の画像データ
(Iピクチャのデータ)が読み出され、動き補償回路8
7で可変長復号化回路82より出力された動きベクトル
に対応する動き補償が施される。そして、演算器85に
おいて、IDCT回路84より供給された画像データ
(差分のデータ)と加算され、出力される。この加算さ
れたデータ、即ち、復号されたPピクチャのデータは、
演算器85に後に入力される画像データ(Bピクチャま
たはPピクチャのデータ)の予測画像データ生成のため
に、フレームメモリ86の後方予測画像部86bに供給
されて記憶される。
【0070】Pピクチャのデータであっても、画像内予
測モードのデータは、Iピクチャのデータと同様に、演
算器85で特に処理は行わず、そのまま後方予測画像部
86bに記憶される。
【0071】このPピクチャは、次のBピクチャの次に
表示されるべき画像であるため、この時点では、まだフ
ォーマット変換回路32へ出力されない(上述したよう
に、Bピクチャの後に入力されたPピクチャが、Bピク
チャより先に処理され、伝送されている)。
【0072】IDCT回路84より供給された画像デー
タが、Bピクチャのデータである場合、可変長復号化回
路82より供給された予測モードに対応して、フレーム
メモリ86の前方予測画像部86aに記憶されているI
ピクチャの画像データ(前方予測モードの場合)、後方
予測画像部86bに記憶されているPピクチャの画像デ
ータ(後方予測モードの場合)、または、その両方の画
像データ(両方向予測モードの場合)が読み出され、動
き補償回路87において、可変長復号化回路82より出
力された動きベクトルに対応する動き補償が施されて、
予測画像が生成される。但し、動き補償を必要としない
場合(画像内予測モードの場合)、予測画像は生成され
ない。
【0073】このようにして、動き補償回路87で動き
補償が施されたデータは、演算器85において、IDC
T回路84の出力と加算される。この加算出力は、フォ
ーマット変換回路32に出力される。
【0074】但し、この加算出力はBピクチャのデータ
であり、他の画像の予測画像生成のために利用されるこ
とがないため、フレームメモリ86には記憶されない。
【0075】Bピクチャの画像が出力された後、後方予
測画像部86bに記憶されているPピクチャの画像デー
タが読み出され、動き補償回路87を介して演算器85
に供給される。但し、このとき、動き補償は行われな
い。
【0076】尚、このデコーダ31には、図19のエン
コーダ18における予測モード切り替え回路52とDC
Tモード切り替え回路55に対応する回路が図示されて
いないが、これらの回路に対応する処理、即ち、奇数フ
ィールドと偶数フィールドのラインの信号が分離された
構成を、元の混在する構成に必要に応じて戻す処理は、
動き補償回路87が実行する。
【0077】また、以上においては、輝度信号の処理に
ついて説明したが、色差信号の処理も同様に行われる。
但し、この場合、動きベクトルは、輝度信号用のもの
を、垂直方向および水平方向に1/2にしたものが用い
られる。
【0078】
【発明が解決しようとする課題】以上のように、従来の
画像信号符号化および復号化方法によれば、色差信号の
解像度が固定され、より良好な色差信号の解像度を得る
ことができない課題があった。
【0079】本発明はこのような状況に鑑みてなされた
ものであり、色信号成分の解像度を向上することができ
るようにするものである。
【0080】
【課題を解決するための手段】請求項1に記載の画像信
号符号化方法は、画像信号を、所定の予測画像信号を用
いて符号化し、符号化された信号に所定の演算を施し、
演算により得られた信号を量子化し、量子化した信号を
可変長符号化する画像信号符号化方法において、画像信
号の色信号成分を、解像度の低い色信号成分と、解像度
の高い色信号成分とに分解し、解像度の低い色信号成分
を符号化した信号を復号して得られる信号から、解像度
の高い色信号成分の予測画像信号を生成し、生成された
予測画像信号を用いて、解像度の高い色信号成分を符号
化することを特徴とする。
【0081】請求項9に記載の画像信号符号化装置は、
画像信号を、所定の予測画像信号を用いて符号化し、符
号化された信号に所定の演算を施し、演算により得られ
た信号を量子化し、量子化した信号を可変長符号化する
画像信号符号化装置において、画像信号の色信号成分
を、解像度の低い色信号成分と、解像度の高い色信号成
分とに分解する分解手段としてのダウンサンプリング回
路103,104と、解像度の低い色信号成分を符号化
した信号を復号して得られる信号から、解像度の高い色
信号成分の予測画像信号を生成する生成手段としてのア
ップサンプリング回路111と、アップサンプリング回
路111により生成された予測画像信号を用いて、解像
度の高い色信号成分を符号化する符号化手段としての演
算器112、可変長符号化回路115とを備えることを
特徴とする。
【0082】請求項13に記載の画像信号復号化方法
は、可変長符号化されている入力画像信号を可変長復号
化し、復号化された信号を逆量子化し、逆量子化された
信号を、所定の予測画像信号を用いて復号化する画像信
号復号化方法において、解像度の低い色信号成分と、解
像度の高い色信号成分とに分解された色信号成分を含む
画像信号から、解像度の低い色信号成分と解像度の高い
色信号成分を抽出し、解像度の低い色信号成分を所定の
予測画像信号を用いて復号化し、解像度の低い色信号成
分を復号化して得られる信号から、解像度の高い色信号
成分の予測画像信号を生成し、生成された予測画像信号
を用いて、解像度の高い色信号成分を復号化することを
特徴とする。
【0083】請求項17に記載の画像信号復号化装置
は、可変長符号化されている入力画像信号を可変長復号
化し、復号化された信号を逆量子化し、逆量子化された
信号を、所定の予測画像信号を用いて復号化する画像信
号復号化装置において、解像度の低い色信号成分と、解
像度の高い色信号成分とに分解された色信号成分を含む
画像信号から、解像度の低い色信号成分と解像度の高い
色信号成分を抽出する抽出手段としての分離回路150
と、解像度の低い色信号成分を所定の予測画像信号を用
いて復号化する第1の復号化手段としての演算器85
と、解像度の低い色信号成分を復号化して得られる信号
から、解像度の高い色信号成分の予測画像信号を生成す
る生成手段としてのアップサンプリング回路151と、
生成された予測画像信号を用いて、解像度の高い色信号
成分を復号化する第2の復号化手段としての演算器15
5とを備えることを特徴とする。
【0084】請求項21に記載の画像信号記録媒体は、
輝度信号成分と色信号成分を含む画像信号を、所定の予
測画像信号を用いて符号化し、符号化した信号に所定の
演算を施し、演算により得られた信号を量子化し、量子
化した信号を可変長符号化した信号を記録した画像信号
記録媒体において、画像信号の色信号成分を、解像度の
低い色信号成分と、解像度の高い色信号成分とに分解
し、解像度の低い色信号成分を、輝度信号成分と同一の
グループで記録し、解像度の高い色信号成分を、輝度信
号成分とは独立のグループで記録したことを特徴とす
る。
【0085】
【作用】請求項1に記載の画像信号符号化方法、および
請求項9に記載の画像信号符号化装置においては、画像
信号の色信号成分が、解像度の低い色信号成分と、解像
度の高い色信号成分とに分解され、解像度の低い色信号
成分を符号化した信号を復号して得られる信号から、解
像度の高い色信号成分の予測画像信号を生成し、この予
測画像信号を用いて、解像度の高い色信号成分を符号化
する。これにより、解像度の低い色信号成分だけでな
く、解像度の高い色信号成分も同時に伝送することが可
能となる。
【0086】請求項13に記載の画像信号復号化方法、
ならびに請求項17に記載の画像信号復号化装置におい
ては、解像度の低い色信号成分と、解像度の高い色信号
成分とが抽出され、解像度の低い色信号成分を復号化し
て得られる信号から、解像度の高い色信号成分の予測画
像信号が生成され、この予測画像信号を用いて、解像度
の高い色信号成分が復号化される。従って、色信号成分
についても、高い解像度の信号を復号側において得るこ
とが可能となる。
【0087】請求項21に記載の画像信号記録媒体にお
いては、解像度の低い色信号成分が、輝度信号成分と同
一のグループで記録され、解像度の高い色信号成分が、
輝度信号成分とは独立のグループで記録される。これに
より、従来の装置と同一の装置で、低い色信号成分の画
像を得ることができるばかりでなく、必要に応じてアダ
プタを付加することにより、解像度の高い色信号成分に
基づく画像を得ることも可能となる。
【0088】
【実施例】図1は、本発明の画像信号符号化装置と復号
化装置の全体の構成を示すブロック図であり、図17に
示した従来の場合と対応する部分には同一の符号を付し
てある。本実施例においては、A/D変換器300にお
ける前処理回路11が出力する色差信号のA/D変換の
タイミング(サンプリングのタイミング)が、図17に
おけるA/D変換器13における場合と異なっている。
その結果、A/D変換器300が出力する色差信号をそ
の後段で処理する、色差信号フレームメモリ301、フ
ォーマット変換回路302、エンコーダ303が従来の
場合と異なる構成とされている。
【0089】さらにまた、復号化装置2においては、デ
コーダ401、フォーマット変換回路402、色差信号
フレームメモリ403、およびD/A変換器404が、
図17に示したデコーダ31、フォーマット変換回路3
2、色差信号フレームメモリ35、およびD/A変換器
37と異なる構成とされている。
【0090】その他の構成は、図17における場合と同
様である。
【0091】本発明のA/D変換器300においては、
図2(A)に示すように、サンプリングが行われる。即
ち、A/D変換器12における輝度信号のサンプリング
点が、図中、丸印で示されるものとすると、A/D変換
器300で行われる色差信号のサンプリング点は、図
中、×印で示すように、輝度信号のサンプル点と1:1
に対応するものとされる(4:4:4サンプリングとさ
れる)。
【0092】このA/D変換器300によりサンプリン
グされた色差信号は、色差信号フレームメモリ301に
供給され、記憶される。色差信号フレームメモリ301
より読み出された色差信号は、フォーマット変換回路3
02に入力され、ダウンサンプリングされる。
【0093】即ち、フォーマット変換回路302は、例
えば図3に示すようなダウンサンプリング回路を内蔵し
ており、A/D変換器300により、4:4:4の比で
サンプリングされた色差信号を、ローパスフィルタ13
1で1/2の周波数帯域に帯域制限した後、間引き回路
132で、各ラインのデータを1つおきに間引く。これ
により、図2(B)に示すように、4:2:2のサンプ
リングとされる。即ち、この場合においては、各ライン
において、2つの輝度信号に対して1つの色差信号が対
応することになる。
【0094】フォーマット変換回路302は、このよう
にして、4:2:2の比でサンプリングされた色差信号
を、さらに同様にして、内蔵するダウンサンプリング回
路によりダウンサンプルして、図2(C)に示すような
4:2:0の比のサンプリングの色差信号を生成する。
この場合は、4:2:2サンプリングの色差信号を1ラ
インおきにすべて間引くようにしているため、4つの輝
度信号に対して、1つの色差信号が対応することにな
る。
【0095】尚、以上においては、データを単に間引く
ことにより、サンプリングの比を変更するようにした
が、例えば複数の所定の位置の色差信号を平均するなど
して、サブサンプリングすることも可能である。例え
ば、図2(A)に示す4つの色差信号を平均することに
より、図2(C)において、()を付して×印で示す色
差信号を得ることができる。
【0096】フォーマット変換回路302は、このよう
にして生成した異なる分解能の階層の信号になされた色
差信号を、対応する輝度信号のデータとともにブロック
化を行う。これにより、図4に示すように、4:4:
4、4:2:2、または4:2:0の3種類のマクロブ
ロックの構成が可能となる。
【0097】図4(A)に示すように、4:4:4のマ
クロブロックは、4個の輝度ブロックY1乃至Y4と、
それに対応するCbの色差ブロックCb5,Cb7,C
b9,Cb11と、Crの色差ブロックCr6,Cr
8,Cr10,Cr12より構成される。これに対し
て、図4(B)に示すように、4:2:2のマクロブロ
ックにおいては、輝度ブロックは、図4(A)に示す
4:4:4のマクロブロックにおける場合と同一である
が、色差ブロックCbが、Cb5’とCb7’により構
成される。また、色差ブロックCrは、Cr6’とCr
8’により構成される。さらに、図4(C)に示すよう
に、4:2:0のマクロブロックにおいては、輝度ブロ
ックは、4:4:4のマクロブロックにおける場合と同
一であるが、色差ブロックCbは、Cb5”により構成
され、色差ブロックCrは、Cr6”により構成され
る。
【0098】尚、各ブロックの符号に付されている数字
は、各マクロブロック内において、そのデータを伝送す
る場合における伝送の順番を示している。また、’は、
それがダウンサンプリングされたデータであることを示
し、”は、ダウンサンプリングが2回行われたものであ
ることを示している。従って、例えばCb5’は、Cb
5を直接ダウンサンプリングして生成したものではない
(これは、上述したように、Cb5とCb9をダウンサ
ンプリングして生成したものである)。
【0099】図4(B)における4:2:2のマクロブ
ロックの色差データの伝送の順序が、Cb5’の次にC
b7’を伝送するようになされていないのは、図4
(C)に示す4:2:0のマクロブロックにおける伝送
順序と対応させるためである。即ち、図4(C)に示す
マクロブロックにおいては、Cb5”の次にCr6”が
伝送される。このため、図4(B)に示す4:2:2の
マクロブロックにおいても、Cb5’の次にCr6’を
伝送するようにしているのである。
【0100】同様に、図4(A)に示す4:4:4のマ
クロブロックにおける伝送順序も、図4(B)に示す
4:2:2のマクロブロックの伝送順序に対応するよう
に定められている。このようにすることにより、いずれ
の比のマクロブロックが伝送されてきた場合において
も、エンコーダにおいて共通の回路による処理が可能と
なる。
【0101】但し、本実施例においては、この3種類の
マクロブロックがエンコーダ303へ伝送されるのでは
なく、図4(C)に示す4個の輝度ブロックY1乃至Y
4と、2個の色差ブロックCb5”,Cr6”により構
成される4:2:0のマクロブロックと、図4(B)に
示す4:2:2のマクロブロックを構成するブロックの
うち、輝度ブロックを除く色差ブロックCb5’,Cb
7’、および色差ブロックCr6’,Cr8’と、図4
(A)に示す4:4:4のマクロブロックのうち、輝度
ブロックを除く色差ブロックCb5,Cb7,Cb9,
Cb11、および色差ブロックCr6,Cr8,Cr1
0,Cr12の3種類のデータが、エンコーダ303に
伝送される。
【0102】エンコーダ303は、例えば図5に示すよ
うに構成される。但し、図19における動きベクトル検
出回路50、フレームメモリ51、予測モード切り替え
回路52、予測判定回路54、DCTモード切り替え回
路55、送信バッファ59などは、その図示が省略され
ているが、図5の実施例においても同様に接続されてい
るものである。
【0103】また、図5の実施例においては、フレーム
メモリ63が、ルマ(輝度信号)フレームメモリ63L
とクロマ(色差信号)フレームメモリ63Cに、また、
動き補償回路64が、動き補償回路64Lと動き補償回
路64Cに分割して表示されているが、図19の例にお
いては、これを一体的に図示したものであって、図19
の装置においても、フレームメモリ63と動き補償回路
64は、ルマ(輝度信号)用とクロマ(色差信号)用の
ものが2つ用意されている。
【0104】さらに、図5の実施例においては、ルマフ
レームメモリ63Lとクロマフレームメモリ63Cは、
図19に示した場合と同様に、内部に前方予測画像部と
後方予測画像部をそれぞれ有しているものである。
【0105】即ち、図5の実施例のうち、動きベクトル
検出回路50乃至動き補償回路64により構成されてい
る回路100は、図19における場合と基本的に同様の
構成となされている。
【0106】この回路100は、色差信号に関して着目
すると、最も解像度の低い色差信号を処理するものであ
る。本実施例においては、この回路100における色差
信号に較べて、より解像度の高い色差信号を処理するた
めの回路として、アップサンプリング回路111、演算
器112、DCT回路113、量子化回路114、可変
長符号化回路115よりなる回路101が設けられてい
る。また、回路101における色差信号よりさらに高い
解像度の色差信号を処理する回路102として、逆量子
化回路121、IDCT回路122、演算器123、ア
ップサンプリング回路124、演算器125、DCT回
路126、量子化回路127、可変長符号化回路128
が設けられている。
【0107】回路102には、最も解像度の高い色差信
号が入力されており、回路101には、回路102に入
力される色差信号をダウンサンプリング回路103でダ
ウンサンプリングした、解像度の低い色差信号が入力さ
れており、回路100には、回路101に入力される色
差信号をさらにダウンサンプリング回路104でダウン
サンプリングした、最も低い解像度の色差信号が入力さ
れるようになされている。
【0108】図5に示すダウンサンプリング回路103
と104は、図1におけるフォーマット変換回路302
に内蔵されているものである。そして、4:4:4のマ
クロブロックを構成するように生成された、最も高い分
解能を有する色差ブロックが回路102に入力され、こ
のマクロブロックをダウンサンプリング回路103によ
りダウンサンプリングした4:2:2のマクロブロック
を構成する色差ブロックが、回路101に入力されてい
る。そして、この4:2:2のマクロブロックを構成す
る色差ブロックを、さらにダウンサンプリング回路10
4によりダウンサンプリングした、4:2:0のマクロ
ブロックを構成する色差ブロックが、輝度ブロックとと
もに4:2:0のマクロブロックを単位として、回路1
00に入力されている。
【0109】回路100における処理は、図19を参照
して説明した場合と同様であるから、その説明は省略す
る。ただ、輝度ブロックと色差ブロックの処理の順番に
ついて説明を付加しておくと、最初に輝度ブロックY1
乃至Y4が順次入力されるので、これらのデータが、動
きベクトル検出回路50を介してフレームメモリ51の
輝度ブロック用のフレームメモリに書き込まれる。同様
にして、色差ブロックのデータは、動きベクトル検出回
路50を介してフレームメモリ51の色差ブロック用の
フレームメモリに書き込まれる(図19)。
【0110】そして、輝度ブロックY1乃至Y4のデー
タは、フレームメモリ51から読み出され、予測モード
切り替え回路52、演算器53、DCT回路56、量子
化回路57、逆量子化回路60、IDCT回路61、演
算器62、ルマフレームメモリ63L、動き補償回路6
4Lにより処理された後、可変長符号化回路58、送信
バッファ59を介して出力される。
【0111】また、色差ブロックのデータは、基本的に
は輝度ブロックのデータと同様に処理されるのである
が、演算器62より出力された色差ブロックのデータ
は、クロマフレームメモリ63Cに供給され、記憶され
る。そして動き補償回路64Cにおいては、輝度ブロッ
クY1乃至Y4における動きベクトルを、水平方向およ
び垂直方向にそれぞれ1/2に短かくした動きベクトル
を用いて動き補償が行われる。
【0112】これにより、回路100から輝度ブロック
Y1,Y2,Y3,Y4と、色差ブロックCb5”,C
r6”よりなるグループの信号が合成回路105に供給
される。
【0113】一方、ダウンサンプリング回路103によ
り4:2:2のマクロブロックのフォーマットに変換さ
れた色差ブロックのデータは、回路101の演算器11
2に供給される。この演算器112にはまた、アップサ
ンプリング回路111により、回路100の演算器62
が出力した、より低い分解能の色差ブロックのデータを
垂直方向に(空間的に)2倍にアップサンプルしたデー
タが、予測誤差信号として供給されている。
【0114】このアップサンプリング回路111は、例
えば図6に示すように、補間回路141により構成する
ことができる。この補間回路141は、例えば図7に示
すように、色差データの存在しないラインの色差データ
を、その上下のラインに位置する色差データの値をそれ
ぞれ1/2した後、加算する(平均する)ことにより生
成することができる。ダウンサンプリング回路104に
よりダウンサンプリングされたときに帯域制限が行われ
ているため、このアップサンプリングにより空間周波数
が広がるわけではないが、解像度は2倍にすることがで
きる。
【0115】このようにして、アップサンプリング回路
111により生成された色差ブロックのデータを、予測
画像信号としてダウンサンプリング回路103が出力す
る色差データから減算し、その差分を生成する。この差
分は、アップサンプリング回路111により垂直方向に
2倍のアップサンプリングが行われているため、垂直方
向の高周波成分を含むことになる。演算器112のこの
出力は、DCT回路113によりDCT処理された後、
量子化回路114により量子化され、可変長符号化回路
115により可変長符号化される。そして、図示はして
いないが、送信バッファを介して合成回路105に供給
される。これにより、回路100より出力される色差ブ
ロックCb5”,Cr6”より高い解像度を有する色差
ブロックCb5’,Cr6’,Cb7’,Cr8’のグ
ループの信号が生成される。
【0116】一方、回路102においては、回路101
の量子化回路114が出力したデータを逆量子化回路1
21により逆量子化し、これをさらにIDCT回路12
2によりIDCT処理して、演算器123に出力してい
る。演算器123には、アップサンプリング回路111
より出力された回路101において用いた予測誤差信号
が供給されている。演算器123は、このアップサンプ
リング回路111が出力する予測誤差信号と、IDCT
回路122が出力する信号とを加算することにより、回
路101における色差信号を局所的に復号する。
【0117】そして、演算器123より出力された信号
を、アップサンプリング回路124において水平方向に
2倍にアップサンプリングして、演算器125に出力す
る。演算器125は、アップサンプリング回路124の
出力する信号を予測誤差信号として、フォーマット変換
回路302より供給される4:4:4のマクロブロック
フォーマットの色差ブロックのデータから減算する。こ
れにより、その差分データは、水平方向の高周波成分を
含むことになる。
【0118】この演算器125の出力は、DCT回路1
26によりDCT処理され、量子化回路127により量
子化処理された後、可変長符号化回路128において可
変長符号化される。そして、図示せぬ送信バッファを介
して合成回路105に出力される。これにより、最も高
い解像度を有する色差ブロックCb5,Cr6,Cb
7,Cr8,Cb9,Cr10,Cb11,Cr12の
グループのデータが得られる。
【0119】合成回路105は、このようにして、回路
100が出力する輝度ブロックY1乃至Y4と、最も低
い解像度の色差ブロックのデータCb5”,Cr6”に
より構成されるグループのデータと、回路101が出力
する中間の解像度の色差ブロックのデータCb5’,C
r6’,Cb7’,Cr8’により構成されるグループ
のデータ、さらに最も高い解像度の色差ブロックのデー
タCb5,Cr6,Cb7,Cr8,Cb9,Cr1
0,Cb11,Cr12により構成されるグループのデ
ータを合成する。
【0120】この合成に際して、合成回路105は、図
8に示すように、3つのグループのデータの先頭に、そ
れぞれヘッダH1乃至ヘッダH3を配置する。これによ
り、ヘッダH1とY1,Y2,Y3,Y4,Cb5”,
Cr6”により構成されるマスタスライスと、ヘッダH
2、Cb5’,Cr6’Cb7’,Cr8’により構成
されるスレーブスライス1と、ヘッダH3、Cb5,C
r6,Cb7,Cr8,Cb9,Cr10,Cb11,
Cr12により構成されるスレーブスライス2を単位と
するビットストリームが構成され、これが伝送路に供給
され、記録媒体3に記録される。
【0121】1フレーム分のデータのマスタスライスの
データが伝送された後、次に1フレーム分のスレーブス
ライス1のデータを伝送し、その次に1フレーム分のス
レーブスライス2のデータを伝送するようにすることも
理論的には可能である。しかしながら、そのようにする
と、リアルタイムで高解像度の色の画像を得ることが困
難になるため、図8に示したように、マスタスライス、
スレーブスライス1およびスレーブスライスを順次伝送
するようにするのが好ましい。
【0122】図8に示すフォーマットに従って、記録媒
体3に記録されたデータは、記録媒体3から再生され、
図1の復号化装置2のデコーダ401に入力される。
【0123】このデコーダ401は、例えば図9に示す
ように構成される。この図9において、図22に示した
場合と対応する部分には同一の符号を付してある。この
実施例においては、記録媒体3(伝送路)より供給され
たデータが受信バッファ81に供給され、一旦記憶され
た後、分離回路150に供給され、輝度ブロックと最も
低い解像度の色差ブロックをグループとするデータと、
中間の解像度の色差ブロックのグループのデータと、最
も高い解像度の色差ブロックのグループのデータとに分
離され、それぞれ回路161,162または163に供
給される。
【0124】回路161は、図22に示した復号回路9
0と実質的に同一の構成とされている。回路161にお
いては、フレームメモリ86として、ルマフレームメモ
リ86Lとクロマフレームメモリ86Cを、また、動き
補償回路87として、動き補償回路87Lと動き補償回
路87Cを図示しているが、図22の復号回路90にお
いても、図示は省略されているが、これらの回路が内蔵
されている。また、図9のルマフレームメモリ86Lと
クロマフレームメモリ86Cには、図22に示した前方
予測画像部と後方予測画像部の図示が省略されている
が、いずれもこれらを内蔵しているものである。
【0125】従って、回路161においては、図22に
おいて説明した場合と同様に処理が行われる。ルマフレ
ームメモリ86Lとクロマフレームメモリ86Cの関係
についてだけ説明しておくと、ルマフレームメモリ86
Lには演算器85が出力した輝度ブロックのデータが記
憶される。そして、この輝度信号に関する動き補償が動
き補償回路87Lにより行われ、演算器85に出力され
る。これに対して、クロマフレームメモリ86Cには色
差ブロックに関するデータが記憶される。そして動き補
償回路87Cは、動き補償回路87Lにおいて用いる動
きベクトルを水平方向と垂直方向にそれぞれ1/2した
動きベクトルを用いて、クロマフレームメモリ86Cよ
り読み出したデータを動き補償して、演算器85に出力
する。
【0126】このようにして、回路161から4つの輝
度ブロックY1乃至Y4と、最も低い解像度の色差信号
のブロックCb5”,Cr6”により構成される4:
2:0のマクロブロックのデータが、選択回路164に
出力される。
【0127】一方、分離回路150により分離された中
間の解像度を有する色差ブロックのデータは、可変長復
号化回路152において可変長復号化され、逆量子化回
路153において逆量子化される。そして、さらにID
CT回路154においてIDCT処理された後、演算器
155に入力される。
【0128】この演算器155には、回路161の演算
器85が出力する、より低い解像度の色差ブロックのデ
ータがアップサンプリング回路151により垂直方向に
アップサンプリングされて供給されている。即ち、この
信号は、図5の回路101のアップサンプリング回路1
11により生成した予測画像信号に対応する。そこで、
IDCT回路154が出力するデータと、アップサンプ
リング回路151が出力する予測誤差信号とを演算器1
55で加算することにより、中間の解像度を有する色差
信号のブロックCb5’,Cr6’,Cb7’,Cr
8’が得られる。この色差信号は、選択回路164に供
給される。
【0129】さらに、分離回路150により分離され
た、最も高い解像度を有する色差ブロックCb5,Cr
6,Cb7,Cr8,Cb9,Cr10,Cb11,C
r12のデータは、回路163の可変長復号化回路15
7に供給され、可変長復号化される。可変長復号化回路
157より出力された信号は、逆量子化回路158によ
り逆量子化され、IDCT回路159によりIDCT処
理された後、演算器160に入力される。
【0130】また、この演算器160には、回路162
の演算器155が出力する中間の解像度の色差信号がア
ップサンプリング回路156により水平方向にアップサ
ンプリングされて、予測誤差信号として供給されてい
る。演算器160は、この予測誤差信号をIDCT回路
159の出力と加算し、最も高い解像度の色差信号Cb
5,Cr6,Cb7,Cr8,Cb9,Cr10,Cb
11,Cr12を復号して、選択回路164に出力す
る。
【0131】選択回路164は、図1のフォーマット変
換回路402に含まれている。この選択回路164は、
輝度信号を選択するとともに、3つの解像度の異なる色
差信号のうち、使用者からの指令に対応して、いずれか
1つを選択する。輝度信号は輝度信号フレームメモリ3
4に供給され、色差信号は色差信号フレームメモリ40
3に供給される。輝度信号フレームメモリ34より読み
出された輝度信号は、D/A変換器36によりD/A変
換された後、後処理回路38に供給される。また、色差
信号フレームメモリ403より読み出された色差信号
は、D/A変換器404によりD/A変換された後、後
処理回路38に供給される。D/A変換器404のクロ
ックは、選択した色差信号に対応して変更される。
【0132】従って、使用者は、必要に応じて3つの階
層の解像度のいずれかを任意に選択して、ディスプレイ
などに表示させることができる。
【0133】図10は、エンコーダ303の第2の実施
例を表している。この実施例においては、第1の実施例
(図5)における最も高い解像度の色差信号を処理する
回路102が省略され、中間の解像度の色差信号を処理
する回路101と、最も低い解像度の色差信号と輝度信
号とを処理する回路100により構成されている。この
うち、回路100は、図5における場合と同様の構成と
されている。
【0134】一方、回路101は、演算器112、DC
T回路113、量子化回路114、可変長符号化回路1
15に加えて、逆量子化回路171、IDCT回路17
2、演算器173、クロマフレームメモリ174、動き
補償回路175、選択回路176を有している。
【0135】即ち、この実施例においては、回路100
における動作は図5における場合と同様であり、その説
明は省略する。
【0136】回路101においては、予測画像信号の生
成の方法が図5における場合と異なっている。即ち、こ
の実施例においては、図5の実施例における場合と同様
に、回路100の演算器62が出力する、局部的に復号
された色差信号を、アップサンプリング回路111によ
り垂直方向にアップサンプリングすることにより、第1
の予測誤差信号が生成される。
【0137】また、量子化回路114が出力する信号を
逆量子化回路171により逆量子化し、IDCT回路1
72によりIDCT処理した後、演算器173に入力し
ている。演算器173には、選択回路176により選択
された予測画像信号が入力されている。
【0138】演算器173は、この予測画像信号と、I
DCT回路172が出力する信号とを加算し、局部的な
復号を行う。復号された色差信号は、クロマフレームメ
モリ174に供給され、記憶される。このクロマフレー
ムメモリ174に記憶された色差信号は、動き補償回路
175において、動き補償回路64Lにおける場合の動
きベクトルを垂直方向に1/2した動きベクトルを用い
て動き補償が行われ、選択回路176に予測画像信号と
して供給される。
【0139】選択回路176は、アップサンプリング回
路111が出力する予測画像信号を用いた場合における
予測誤差信号と、動き補償回路175が出力した予測画
像信号を用いた場合における予測誤差信号とを比較し、
小さい予測誤差信号に対応する予測画像を選択する。そ
して、選択した予測画像信号は、上述したようにして、
演算器173に供給されて局部的な復号に用いられると
ともに、演算器112に供給されて、フォーマット変換
回路302から供給される、中間の解像度の色差信号を
符号化するための予測画像信号として用いられる。
【0140】このように、この実施例においては、回路
101において、解像度の低い色差信号の復号画像に対
して、補間回路141(図6)などにより構成されるア
ップサンプリング回路111(空間フィルタ)を適用し
て、解像度の高い(中間の解像度の)色差信号と同じ解
像度の予測画像を生成するとともに、解像度の高い(中
間の解像度の)色差信号を局所的に復号して予測画像を
生成する。そして、2つの予測画像のうち、予測効率の
良好な方を適用的に選択するようにしている。これによ
り、より効率的にデータを圧縮することが可能となる。
【0141】この実施例においてはまた、選択回路17
6から、アップサンプリング回路111が出力する予測
画像信号と、動き補償回路175が出力する予測画像信
号のうち、いずれを選択したかを示すスペース(前者を
選択した場合)/タイム(後者を選択した場合)フラグ
が出力され、これが回路100と回路101が出力する
データとともに合成回路105において多重合成され、
伝送される。
【0142】図11は、図10に示すエンコーダ303
によりエンコードされたデータと復号するデコーダ40
1の実施例を示している。この図11の実施例におい
て、図9に示す実施例と対応する部分には同一の符号を
付してある。この実施例においては、図9における最も
高い解像度の色差信号を処理する回路163が省略さ
れ、中間の解像度の色差信号を処理する回路162、お
よび低い解像度の色差信号と輝度信号を処理する回路1
61とにより構成されている。回路161の構成は、図
9における場合と同様である。
【0143】回路162においては、アップサンプリン
グ回路151、可変長復号化回路152、逆量子化回路
153、IDCT回路154、演算器155の他に、ク
ロマフレームメモリ181、動き補償回路182、およ
び選択回路183が付加されている。
【0144】演算器155より出力された、復号された
中間の解像度の色差信号は、クロマフレームメモリ18
1に供給され、記憶される。そして、動き補償回路18
2により動き補償回路87Cにおける動きベクトルを垂
直方向に1/2にした動きベクトルを用いて動き補償さ
れ、時間軸方向の予測画像信号として選択回路183に
供給される。
【0145】また、この選択回路183には、回路16
1の演算器85が出力する、より低い解像度の色差信号
をアップサンプリング回路151により垂直方向にアッ
プサンプリングし、中間の解像度の色差信号の解像度に
伸長した予測画像信号が供給されている。
【0146】分離回路150は、受信バッファ81より
供給された信号から、スペース/タイムフラグを検出
し、これを選択回路183に出力する。選択回路183
は、スペースフラグが検出されたとき、アップサンプリ
ング回路151が出力する予測誤差信号を選択し、タイ
ムフラグが検出されたとき、動き補償回路182が出力
する予測誤差信号を選択して、演算器155に出力す
る。これにより、中間の解像度の色差信号が適応的に復
号される。
【0147】図12は、エンコーダ303の第3の実施
例を示している。この実施例においては、回路101の
構成が、図10に示した第2の実施例の回路101を若
干改良した構成とされている。この回路101において
は、動き補償回路175が出力した予測画像信号が、重
み付け回路191により重み付け係数Wが乗算された
後、演算器193に供給される。また、アップサンプリ
ング回路111が出力した予測画像信号が、重み付け回
路192により係数(1−W)が乗算された後、演算器
193に供給されている。演算器193は、重み付け回
路191と192より供給された、重み付けされた予測
画像信号を加算する。
【0148】例えば係数Wとして、0,1/4,2/
4,3/4,1が重み付け回路191により設定される
とき、重み付け回路192においては、係数1,3/
4,2/4,1/4,0が設定される。重み付け回路1
91と192は、入力された予測画像信号にそれぞれ5
種類の係数を乗算して、5種類の予測画像信号を演算器
193に出力する。演算器193は、5種類の重み付け
された予測画像信号を、それぞれ対応するものどうしを
加算して、5種類の予測画像信号を生成する。そして、
5種類のそれぞれを採用した場合における予測誤差信号
を生成し、この予測誤差信号が最も小さいものを最終的
な予測誤差信号として選択し、演算器112と173に
出力する。
【0149】これにより、より効率的な圧縮が可能とな
る。
【0150】尚、この実施例においては、演算器193
が最終的に選択した重み付け係数Wを合成回路105に
出力する。合成回路105は、この重み付け係数Wを他
の色差信号と多重合成して出力する。
【0151】図13は、図12に示したエンコーダ30
3によりエンコードした信号をデコードする場合のデコ
ーダ401の構成例を示している。この図13の実施例
は、図11に示した実施例と基本的に同様の構成とされ
ている。但し、回路162の構成が、図11における場
合を若干改良したものとなっている。
【0152】図13の実施例においては、動き補償回路
182が出力する予測画像信号が重み付け回路201に
おいて係数Wで重み付けされた後、演算器203に供給
される。また、アップサンプリング回路151が出力す
る予測画像信号が、重み付け回路202により係数(1
−W)だけ重み付けされた後、演算器203に供給され
ている。この重み付け回路201と202における重み
付け係数Wは、図12における重み付け回路191と1
92の重み付け係数に対応されている。
【0153】従って、演算器203は、重み付け回路2
01が出力する、5種類の重み付けがなされた予測画像
信号と、重み付け回路202が出力する、5種類の重み
付けがなされた予測画像信号との対応するものどうしを
加算する。そして、分離回路150が受信バッファ81
より供給される信号から分離した重み付け係数Wに対応
するものを、加算した予測画像信号の中から選択する。
そして、この選択された予測画像信号が演算器155に
入力され、中間の解像度を有する色差信号の予測画像信
号として用いられる。
【0154】尚、以上の実施例においては、n×n(上
記実施例はn=8)画素のブロックのデータを直交変換
するのに、DCTによりバンド分割を行うようにした
が、例えばQMFなどを用いてサブバンド分割を行うこ
ともできる。また、ウェーブレッド変換によりオクター
ブ分割を行うようにしたり、入力した2次元画像データ
について、所定の変換や分割を行って符号化を行う場合
に適用することが可能である。
【0155】さらにまた、符号化されたビデオ信号のビ
ットストリームに対して、符号化されたオーディオ信
号、同期信号を多重化し、さらにエラー訂正用のコード
を付加し、所定の変調を加えて、この変調信号によりレ
ーザ光を変調し、ディスク上にピット、またはマークと
して記録するようにすることができる。また、このディ
スクをマスタディスクとしてスタンパを形成し、このス
タンパより大量の複製ディスク(例えば光ディスク)を
成形することができる。この場合、デコーダは、この複
製ディスクからデータを再生することになる。
【0156】
【発明の効果】請求項1に記載の画像信号符号化方法な
らびに請求項9に記載の画像信号符号化装置によれば、
解像度の低い色信号成分を符号化した信号を復号して得
られる信号から、解像度の高い色信号成分の予測画像信
号生成し、この予測画像信号を用いて、解像度の高い色
信号成分を符号化するようにしたので、解像度の高い色
の画像を圧縮して伝送することが可能になる。
【0157】請求項13に記載の画像信号復号化方法な
らびに請求項17に記載の画像信号復号化装置によれ
ば、解像度の低い色信号成分を復号化して得られる信号
から、解像度の高い色信号成分の予測画像信号生成し、
この予測画像信号を用いて、解像度の高い色信号成分を
復号化するようにしたので、より高い解像度の色の画像
を得ることができる。
【0158】請求項21に記載の画像信号記録媒体によ
れば、解像度の低い色信号成分を輝度信号成分と同一の
グループで記録し、解像度の高い色信号成分を輝度信号
成分とは独立のグループで記録するようにしたので、解
像度の低い色信号に対応する画像を復号化する装置にお
いて、解像度の高い色信号成分を処理する回路を付加す
るだけで、必要に応じて、解像度の低い色の画像と解像
度の高い色の画像を得ることが可能となる。
【図面の簡単な説明】
【図1】本発明の画像信号符号化装置および復号化装置
の一実施例の構成を示すブロック図である。
【図2】図1のフォーマット変換回路302における色
差信号のサンプリングフォーマットを説明する図であ
る。
【図3】図5のダウンサンプリング回路103,104
の構成例を示すブロック図である。
【図4】マクロブロックの構成を示す図である。
【図5】図1におけるエンコーダ303の第1の実施例
の構成を示すブロック図である。
【図6】図5のアップサンプリング回路111,124
の構成例を示すブロック図である。
【図7】図6の補間回路141の補間動作を説明する図
である。
【図8】図1の記録媒体3の記録フォーマットを説明す
る図である。
【図9】図1のデコーダ401の第1の実施例の構成を
示すブロック図である。
【図10】図1のエンコーダ303の第2の実施例の構
成を示すブロック図である。
【図11】図1のデコーダ401の第2の実施例の構成
を示すブロック図である。
【図12】図1のエンコーダ303の第3の実施例の構
成を示すブロック図である。
【図13】図1のデコーダ401の第3の実施例の構成
を示すブロック図である。
【図14】高能率符号化の原理を説明する図である。
【図15】画像データを圧縮する場合におけるピクチャ
のタイプを説明する図である。
【図16】動画像信号を符号化する原理を説明する図で
ある。
【図17】従来の画像信号符号化装置と復号化装置の構
成例を示すブロック図である。
【図18】図17におけるフォーマット変換回路17の
フォーマット変換の動作を説明する図である。
【図19】図17におけるエンコーダ18の構成例を示
すブロック図である。
【図20】図19の予測モード切り替え回路52の動作
を説明する図である。
【図21】図19のDCTモード切り替え回路55の動
作を説明する図である。
【図22】図17のデコーダ31の構成例を示すブロッ
ク図である。
【符号の説明】
1 符号化装置 2 復号化装置 3 記録媒体 12,13 A/D変換器 14 フレームメモリ 15 輝度信号フレームメモリ 16 色差信号フレームメモリ 17 フォーマット変換回路 18 エンコーダ 31 デコーダ 32 フォーマット変換回路 33 フレームメモリ 34 輝度信号フレームメモリ 35 色差信号フレームメモリ 36,37 D/A変換器 50 動きベクトル検出回路 51 フレームメモリ 52 予測モード切り替え回路 53 演算部 54 予測判定回路 55 DCTモード切り替え回路 56 DCT回路 57 量子化回路 58 可変長符号化回路 59 送信バッファ 60 逆量子化回路 61 IDCT回路 62 演算器 63 フレームメモリ 64 動き補償回路 81 受信バッファ 82 可変長復号化回路 83 逆量子化回路 84 IDCT回路 85 演算器 86 フレームメモリ 87 動き補償回路 100,101,102 回路 103,104 ダウンサンプリング回路 111,124 アップサンプリング回路 131 ローパスフィルタ 132 間引き回路 141 補間回路
【手続補正書】
【提出日】平成5年11月2日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0078
【補正方法】変更
【補正内容】
【0078】
【発明が解決しようとする課題】以上のように、従来の
画像信号符号化および復号化方法では、色差信号の解像
度は1種類に固定されており、複数種の解像度の色差信
号を伝送することはできなかった。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0079
【補正方法】変更
【補正内容】
【0079】 本発明はこのような状況に鑑みてなされ
たものであり、複数種の解像度の色差信号を効率良く伝
送することができるようにするものである。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0080
【補正方法】変更
【補正内容】
【0080】
【課題を解決するための手段】請求項1に記載の画像信
号符号化方法は、画像信号の色信号成分の画像信号符号
化方法において、解像度の低い色信号成分を直交変換し
て変換係数を生成し、変換係数を量子化して量子化係数
を生成し、量子化係数を可変長符号化して第1の符号化
信号を生成し、量子化係数を逆量子化して逆量子化係数
を生成し、逆量子化係数に基づく信号を用いて、解像度
の高い色信号成分を符号化して第2の符号化信号を生成
することを特徴とする。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0081
【補正方法】変更
【補正内容】
【0081】 請求項8に記載の画像信号復号化方法
は、符号化された画像信号の色信号成分の画像信号復号
化方法において、符号化された解像度の低い色信号成分
を可変長復号化して第1の可変長復号化信号を生成し、
第1の可変長復号化信号を逆量子化して第1の逆量子化
係数を生成し、符号化された解像度の高い色信号成分を
可変長復号化して第2の可変長復号化信号を生成し、第
2の可変長復号化信号を逆量子化して第2の逆量子化係
数を生成し、第1の逆量子化係数に基づく信号と第2の
逆量子化係数を用いて解像度の高い色信号成分を復号化
することを特徴とする。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0082
【補正方法】変更
【補正内容】
【0082】 請求項13に記載の画像信号符号化装置
は、画像信号の色信号成分の画像信号符号化装置におい
て、解像度の低い色信号成分を直交変換して変換係数を
生成する変換手段と、変換係数を量子化して量子化係数
を生成する量子化手段と、量子化係数を可変長符号化し
て第1の符号化信号を生成する可変長符号化手段と、量
子化係数を逆量子化して逆量子化係数を生成する逆量子
化手段と、逆量子化係数に基づく信号を用いて、解像度
の高い色信号成分を符号化して第2の符号化信号を生成
する符号化手段とを有することを特徴とする。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0083
【補正方法】変更
【補正内容】
【0083】 請求項20に記載の画像信号復号化装置
は、符号化された画像信号の色信号成分の復号化を行う
画像信号復号化装置において、符号化された解像度の低
い色信号成分を可変長復号化して第1の可変長復号化信
号を生成する可変長復号化手段と、第1の可変長復号化
信号を逆量子化して第1の逆量子化係数を生成する逆量
子化手段と、符号化された解像度の高い色信号成分を可
変長復号化して第2の可変長復号化信号を生成する可変
長復号化手段と、第2の可変長復号化信号を逆量子化し
て第2の逆量子化係数を生成する逆量子化手段と、第1
の逆量子化係数に基づく信号と第2の逆量子化係数を用
いて解像度の高い色信号成分を復号化する復号化手段と
を有することを特徴とする。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0084
【補正方法】変更
【補正内容】
【0084】 請求項25に記載の画像信号記録媒体
は、解像度の低い色信号成分を直交変換して変換係数を
生成し、変換係数を量子化して量子化係数を生成し、量
子化係数を可変長符号化して第1の符号化信号を生成
し、量子化係数を逆量子化して逆量子化係数を生成し、
逆量子化係数に基づく信号を用いて、解像度の高い色信
号成分を符号化して第2の符号化信号を生成し、第1の
符号化信号を、輝度信号成分と同一のグループで記録
し、第2の符号化信号を、輝度信号成分とは独立のグル
ープで記録することにより形成されたことを特徴とす
る。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】0085
【補正方法】変更
【補正内容】
【0085】
【作用】請求項1に記載の画像信号符号化方法、および
請求項13に記載の画像信号符号化装置においては、解
像度の低い色信号成分を符号化して、第1の符号化信号
を生成するとともに、これを復号して得られる信号を用
いて、解像度の高い色信号成分を符号化して、第2の符
号化信号を生成する。これにより、解像度の低い色信号
成分だけでなく、解像度の高い色信号成分も同時に効率
良く伝送することが可能となる。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】0086
【補正方法】変更
【補正内容】
【0086】 請求項8に記載の画像信号復号化方法、
ならびに請求項20に記載の画像信号復号化装置におい
ては、解像度の低い色信号成分を復号化して得られる信
号と、解像度の高い色信号成分を復号化して得られる信
号を用いて、解像度の高い色信号成分が復号化される。
従って、色信号成分についても、高い解像度の信号を復
号側において得ることが可能となる。
【手続補正11】
【補正対象書類名】明細書
【補正対象項目名】0087
【補正方法】変更
【補正内容】
【0087】 請求項25に記載の画像信号記録媒体に
おいては、解像度の低い色信号成分が、輝度信号成分と
同一のグループで記録され、解像度の高い色信号成分
が、輝度信号成分とは独立のグループで記録される。こ
れにより、従来の装置と同一の装置で、低い色信号成分
の画像を得ることができるばかりでなく、必要に応じて
アダプタを付加することにより、解像度の高い色信号成
分に基づく画像を得ることも可能となる。
【手続補正12】
【補正対象書類名】明細書
【補正対象項目名】0156
【補正方法】変更
【補正内容】
【0156】
【発明の効果】請求項1に記載の画像信号符号化方法、
ならびに請求項13に記載の画像信号符号化装置によれ
ば、解像度の低い色信号成分を符号化した信号を復号し
て得られる信号を用いて、解像度の高い色信号成分を符
号化するようにしたので、解像度の高い色の画像を圧縮
して効率良く伝送することが可能になる。
【手続補正13】
【補正対象書類名】明細書
【補正対象項目名】0157
【補正方法】変更
【補正内容】
【0157】 請求項8に記載の画像信号復号化方法、
ならびに請求項20に記載の画像信号復号化装置によれ
ば、解像度の低い色信号成分を復号化して得られる信号
と、解像度の高い色信号成分を復号化して得られる信号
を用いて、解像度の高い色信号成分を復号化するように
したので、より高い解像度の色の画像を得ることができ
る。
【手続補正14】
【補正対象書類名】明細書
【補正対象項目名】0158
【補正方法】変更
【補正内容】
【0158】 請求項25に記載の画像信号記録媒体に
よれば、解像度の低い色信号成分を輝度信号成分と同一
のグループで記録し、解像度の高い色信号成分を輝度信
号成分とは独立のグループで記録するようにしたので、
解像度の低い色信号成分に対応する画像を復号化する装
置において、解像度の高い色信号成分を処理する回路を
付加するだけで、必要に応じて、解像度の低い色の画像
と解像度の高い色の画像を得ることが可能となる。

Claims (21)

    【特許請求の範囲】
  1. 【請求項1】 画像信号を、所定の予測画像信号を用い
    て符号化し、 符号化された信号に所定の演算を施し、 演算により得られた信号を量子化し、 量子化した信号を可変長符号化する画像信号符号化方法
    において、 画像信号の色信号成分を、解像度の低い色信号成分と、
    解像度の高い色信号成分とに分解し、 解像度の低い色信号成分を符号化した信号を復号して得
    られる信号から、解像度の高い色信号成分の予測画像信
    号を生成し、 生成された予測画像信号を用いて、解像度の高い色信号
    成分を符号化することを特徴とする画像信号符号化方
    法。
  2. 【請求項2】 解像度の低い色信号成分を復号して得ら
    れる信号を空間的にフィルタリングして解像度の高い色
    信号成分の予測画像信号を生成することを特徴とする請
    求項1に記載の画像信号符号化方法。
  3. 【請求項3】 解像度の高い色信号成分を符号化した信
    号を復号して第1の予測画像信号を生成し、 解像度の低い色信号成分を符号化した信号を復号して得
    られる信号を空間的にフィルタリングして第2の予測画
    像信号を生成し、 前記第1の予測画像信号と第2の予測画像信号のうち、
    予測効率の良好なものを、解像度の高い色信号成分の予
    測画像信号として選択することを特徴とする請求項1に
    記載の画像信号符号化方法。
  4. 【請求項4】 前記第1の予測画像信号を用いた場合に
    おける予測誤差の絶対値和と、前記第2の予測画像信号
    を用いた場合における予測誤差の絶対値和とを比較し、 前記第1の予測画像信号と第2の予測画像信号のうち、
    予測誤差の絶対値和の小さい方を、予測効率の良好なも
    のとして選択することを特徴とする請求項3に記載の画
    像信号符号化方法。
  5. 【請求項5】 前記第1の予測画像信号を用いた場合に
    おける予測誤差の自乗和と、前記第2の予測画像信号を
    用いた場合における予測誤差の自乗和とを比較し、 前記第1の予測画像信号と第2の予測画像信号のうち、
    予測誤差の自乗和の小さい方を、予測効率の良好なもの
    として選択することを特徴とする請求項3に記載の画像
    信号符号化方法。
  6. 【請求項6】 解像度の高い色信号成分を符号化した信
    号を復号して第1の予測画像信号を生成し、 解像度の低い色信号成分を符号化した信号を復号して得
    られる信号を空間的にフィルタリングして第2の予測画
    像信号を生成し、 前記第1の予測画像信号と第2の予測画像信号を、所定
    の割合で重み付けした後、加算して第3の予測画像信号
    を生成し、 前記第3の予測画像信号を、解像度の高い色信号成分の
    予測画像信号とすることを特徴とする請求項1に記載の
    画像信号符号化方法。
  7. 【請求項7】 予測誤差の絶対値和が最小になるように
    重み付けされた前記第1の予測画像信号と第2の予測画
    像信号より得られる前記第3の予測画像信号を、解像度
    の高い色信号成分の予測画像信号とすることを特徴とす
    る請求項6に記載の画像信号符号化方法。
  8. 【請求項8】 予測誤差の自乗和が最小になるように重
    み付けされた前記第1の予測画像信号と第2の予測画像
    信号より得られる前記第3の予測画像信号を、解像度の
    高い色信号成分の予測画像信号とすることを特徴とする
    請求項6に記載の画像信号符号化方法。
  9. 【請求項9】 画像信号を、所定の予測画像信号を用い
    て符号化し、 符号化された信号に所定の演算を施し、 演算により得られた信号を量子化し、 量子化した信号を可変長符号化する画像信号符号化装置
    において、 画像信号の色信号成分を、解像度の低い色信号成分と、
    解像度の高い色信号成分とに分解する分解手段と、 解像度の低い色信号成分を符号化した信号を復号して得
    られる信号から、解像度の高い色信号成分の予測画像信
    号を生成する生成手段と、 前記生成手段により生成された予測画像信号を用いて、
    解像度の高い色信号成分を符号化する符号化手段とを備
    えることを特徴とする画像信号符号化装置。
  10. 【請求項10】 前記生成手段は、解像度の低い色信号
    成分を復号して得られる信号を空間的にフィルタリング
    して解像度の高い色信号成分の予測画像信号を生成する
    ことを特徴とする請求項9に記載の画像信号符号化装
    置。
  11. 【請求項11】 前記生成手段は、 解像度の高い色信号成分を符号化した信号を復号して第
    1の予測画像信号を生成する第1の予測画像信号生成手
    段と、 解像度の低い色信号成分を符号化した信号を復号して得
    られる信号を空間的にフィルタリングして第2の予測画
    像信号を生成する第2の予測画像信号生成手段と、 前記第1の予測画像信号と第2の予測画像信号のうち、
    予測効率の良好なものを、解像度の高い色信号成分の予
    測画像信号として選択する選択手段とを備えることを特
    徴とする請求項9に記載の画像信号符号化装置。
  12. 【請求項12】 前記生成手段は、 解像度の高い色信号成分を符号化した信号を復号して第
    1の予測画像信号を生成する第1の予測画像信号生成手
    段と、 解像度の低い色信号成分を符号化した信号を復号して得
    られる信号を空間的にフィルタリングして第2の予測画
    像信号を生成する第2の予測画像信号生成手段と、 前記第1の予測画像信号と第2の予測画像信号を、所定
    の割合で重み付けする重み付け手段と、 前記重み付け手段により重み付けされた前記第1の予測
    画像信号と第2の予測画像信号を加算して第3の予測画
    像信号を生成し、前記第3の予測画像信号を、解像度の
    高い色信号成分の予測画像信号として選択する選択手段
    とを備えることを特徴とする請求項9に記載の画像信号
    符号化装置。
  13. 【請求項13】 可変長符号化されている入力画像信号
    を可変長復号化し、 復号化された信号を逆量子化し、 逆量子化された信号を、所定の予測画像信号を用いて復
    号化する画像信号復号化方法において、 解像度の低い色信号成分と、解像度の高い色信号成分と
    に分解された色信号成分を含む画像信号から、解像度の
    低い色信号成分と解像度の高い色信号成分を抽出し、 解像度の低い色信号成分を所定の予測画像信号を用いて
    復号化し、 解像度の低い色信号成分を復号化して得られる信号か
    ら、解像度の高い色信号成分の予測画像信号を生成し、 生成された予測画像信号を用いて、解像度の高い色信号
    成分を復号化することを特徴とする画像信号復号化方
    法。
  14. 【請求項14】 解像度の低い色信号成分を復号して得
    られる信号を空間的にフィルタリングして解像度の高い
    色信号成分の予測画像信号を生成することを特徴とする
    請求項13に記載の画像信号復号化方法。
  15. 【請求項15】 解像度の高い色信号成分を符号化した
    信号を復号して第1の予測画像信号を生成し、 解像度の低い色信号成分を符号化した信号を復号して得
    られる信号を空間的にフィルタリングして第2の予測画
    像信号を生成し、 前記第1の予測画像信号と第2の予測画像信号のうち、
    予測効率の良好なものを、解像度の高い色信号成分の予
    測画像信号として選択することを特徴とする請求項13
    に記載の画像信号復号化方法。
  16. 【請求項16】 解像度の高い色信号成分を符号化した
    信号を復号して第1の予測画像信号を生成し、 解像度の低い色信号成分を符号化した信号を復号して得
    られる信号を空間的にフィルタリングして第2の予測画
    像信号を生成し、 前記第1の予測画像信号と第2の予測画像信号を、所定
    の割合で重み付けした後、加算して第3の予測画像信号
    を生成し、 前記第3の予測画像信号を、解像度の高い色信号成分の
    予測画像信号として選択することを特徴とする請求項1
    3に記載の画像信号復号化方法。
  17. 【請求項17】 可変長符号化されている入力画像信号
    を可変長復号化し、 復号化された信号を逆量子化し、 逆量子化された信号を、所定の予測画像信号を用いて復
    号化する画像信号復号化装置において、 解像度の低い色信号成分と、解像度の高い色信号成分と
    に分解された色信号成分を含む画像信号から、解像度の
    低い色信号成分と解像度の高い色信号成分を抽出する抽
    出手段と、 解像度の低い色信号成分を所定の予測画像信号を用いて
    復号化する第1の復号化手段と、 解像度の低い色信号成分を復号化して得られる信号か
    ら、解像度の高い色信号成分の予測画像信号を生成する
    生成手段と、 前記生成手段により生成された予測画像信号を用いて、
    解像度の高い色信号成分を復号化する第2の復号化手段
    とを備えることを特徴とする画像信号復号化装置。
  18. 【請求項18】 前記生成手段は、解像度の低い色信号
    成分を復号して得られる信号を空間的にフィルタリング
    して解像度の高い色信号成分の予測画像信号を生成する
    ことを特徴とする請求項17に記載の画像信号復号化装
    置。
  19. 【請求項19】 前記生成手段は、 解像度の高い色信号成分を符号化した信号を復号して第
    1の予測画像信号を生成する第1の予測画像信号生成手
    段と、 解像度の低い色信号成分を符号化した信号を復号して得
    られる信号を空間的にフィルタリングして第2の予測画
    像信号を生成する第2の予測画像信号生成手段と、 前記第1の予測画像信号と第2の予測画像信号のうち、
    予測効率の良好なものを、解像度の高い色信号成分の予
    測画像信号として選択する選択手段とを備えることを特
    徴とする請求項17に記載の画像信号復号化装置。
  20. 【請求項20】 前記生成手段は、 解像度の高い色信号成分を符号化した信号を復号して第
    1の予測画像信号を生成する第1の予測画像信号生成手
    段と、 解像度の低い色信号成分を符号化した信号を復号して得
    られる信号を空間的にフィルタリングして第2の予測画
    像信号を生成する第2の予測画像信号生成手段と、 前記第1の予測画像信号と第2の予測画像信号を、所定
    の割合で重み付けした後、加算して第3の予測画像信号
    を生成し、良好な予測効率が得られる前記第3の予測画
    像信号を、解像度の高い色信号成分の予測画像信号とし
    て選択する選択手段とを備えることを特徴とする請求項
    17に記載の画像信号復号化装置。
  21. 【請求項21】 輝度信号成分と色信号成分とを含む画
    像信号を、所定の予測画像信号を用いて符号化し、 符号化した信号に所定の演算を施し、 演算により得られた信号を量子化し、 量子化した信号を可変長符号化した信号を記録した画像
    信号記録媒体において、 画像信号の色信号成分を、解像度の低い色信号成分と、
    解像度の高い色信号成分とに分解し、 解像度の低い色信号成分を、輝度信号成分と同一のグル
    ープで記録し、 解像度の高い色信号成分を、輝度信号成分とは独立のグ
    ループで記録したことを特徴とする画像信号記録媒体。
JP36017092A 1992-12-28 1992-12-28 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置 Expired - Fee Related JP3381855B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP36017092A JP3381855B2 (ja) 1992-12-28 1992-12-28 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
US08/163,759 US5412428A (en) 1992-12-28 1993-12-09 Encoding method and decoding method of color signal component of picture signal having plurality resolutions
EP19930309907 EP0608618B1 (en) 1992-12-28 1993-12-09 Method and system for encoding and/or decoding of the colour signal components of a picture signal
DE1993623541 DE69323541T2 (de) 1992-12-28 1993-12-09 Verfahren und System zum Kodieren und/oder Dekodieren der Farbartsignale eines Bildsignals
CA 2111021 CA2111021C (en) 1992-12-28 1993-12-09 Encoding method and decoding method of color signal component of picture signal having plural resolutions
KR1019930027736A KR100289587B1 (ko) 1992-12-28 1993-12-15 화상 신호 부호화 방법 및 화상 신호 부호화 장치, 화상 신호 복호화 방법 및 화상 신호 복호화장치,및 화상 신호 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36017092A JP3381855B2 (ja) 1992-12-28 1992-12-28 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2001252202A Division JP3552045B2 (ja) 2001-08-23 2001-08-23 画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置

Publications (2)

Publication Number Publication Date
JPH06205438A true JPH06205438A (ja) 1994-07-22
JP3381855B2 JP3381855B2 (ja) 2003-03-04

Family

ID=18468216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36017092A Expired - Fee Related JP3381855B2 (ja) 1992-12-28 1992-12-28 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置

Country Status (6)

Country Link
US (1) US5412428A (ja)
EP (1) EP0608618B1 (ja)
JP (1) JP3381855B2 (ja)
KR (1) KR100289587B1 (ja)
CA (1) CA2111021C (ja)
DE (1) DE69323541T2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100700515B1 (ko) * 1999-12-15 2007-03-28 엘지전자 주식회사 디코더 루프에서 메모리 감소를 통한 mpeg 엔코딩고화질 시퀀스의 저해상도로의 다운 변환 방법 및 장치
US7542076B2 (en) 1999-01-20 2009-06-02 Canon Kabushiki Kaisha Image sensing apparatus having a color interpolation unit and image processing method therefor
WO2015052979A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 画像処理装置及び画像処理方法

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69322769T2 (de) * 1992-03-03 1999-07-22 Toshiba Kawasaki Kk Koder für zeitveränderliche bilder
KR950006769B1 (ko) * 1992-12-31 1995-06-22 현대전자산업주식회사 고선명 텔레비젼의 색차신호 동벡터 추출방법 및 움직임 보상장치
KR950006768B1 (ko) * 1992-12-31 1995-06-22 현대전자산업주식회사 라스터 포멧 콘버터 회로
KR970000683B1 (ko) * 1993-05-31 1997-01-16 삼성전자 주식회사 해상도 가변 적응적 화상압축/복원방법 및 장치
JP3392946B2 (ja) * 1993-07-15 2003-03-31 ペンタックス株式会社 電子スチルカメラ及び画像再生装置
KR0126657B1 (ko) * 1993-10-28 1997-12-29 구자홍 디지탈 영상 복원을 위한 움직임 보상장치
US6137835A (en) * 1993-11-16 2000-10-24 Canon Kabushiki Kaisha Picture coding apparatus using orthogonal transforms
JP2933487B2 (ja) * 1994-07-15 1999-08-16 松下電器産業株式会社 クロマフォーマット変換の方法
WO1996007273A1 (en) * 1994-08-26 1996-03-07 Sony Corporation Method and device for transmitting compressed picture data
GB2301972B (en) * 1995-06-06 1999-10-20 Sony Uk Ltd Video compression
GB9512565D0 (en) * 1995-06-21 1995-08-23 Sgs Thomson Microelectronics Video signal processor
US6101282A (en) * 1995-06-22 2000-08-08 Canon Kabushiki Kaisha Apparatus and method for image data encoding
TW311322B (ja) * 1995-10-11 1997-07-21 Nippon Steel Corp
US5832120A (en) * 1995-12-22 1998-11-03 Cirrus Logic, Inc. Universal MPEG decoder with scalable picture size
JPH09182083A (ja) * 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US5825927A (en) * 1996-01-16 1998-10-20 Hitachi America, Ltd. Methods and apparatus for encoding video data in a manner that is well suited for decoding by regular or downconverting decoders
KR100192270B1 (ko) * 1996-02-03 1999-06-15 구자홍 에이치디티브이 비데오 디코더 회로
US20010017658A1 (en) 1996-02-29 2001-08-30 Toshihisa Kuroiwa Frame memory device and method
US5708732A (en) * 1996-03-06 1998-01-13 Hewlett-Packard Company Fast DCT domain downsampling and inverse motion compensation
US6031575A (en) * 1996-03-22 2000-02-29 Sony Corporation Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
US6856650B1 (en) * 1996-07-16 2005-02-15 Kokusai Denshin Denwa Co., Ltd. Method and apparatus for second or later generation coding of video signal
US6535558B1 (en) * 1997-01-24 2003-03-18 Sony Corporation Picture signal encoding method and apparatus, picture signal decoding method and apparatus and recording medium
JP3901287B2 (ja) * 1997-02-27 2007-04-04 松下電器産業株式会社 映像信号変換装置、映像信号変換方法及び映像提供システム
JP3844844B2 (ja) * 1997-06-06 2006-11-15 富士通株式会社 動画像符号化装置及び動画像符号化方法
EP0920212B1 (en) * 1997-11-21 2007-01-17 Matsushita Electric Industrial Co., Ltd. Video signal coding apparatus
US6829301B1 (en) * 1998-01-16 2004-12-07 Sarnoff Corporation Enhanced MPEG information distribution apparatus and method
US6188730B1 (en) * 1998-03-23 2001-02-13 Internatonal Business Machines Corporation Highly programmable chrominance filter for 4:2:2 to 4:2:0 conversion during MPEG2 video encoding
US6560285B1 (en) * 1998-03-30 2003-05-06 Sarnoff Corporation Region-based information compaction as for digital images
US6222944B1 (en) * 1998-05-07 2001-04-24 Sarnoff Corporation Down-sampling MPEG image decoder
JP2000041248A (ja) * 1998-07-23 2000-02-08 Sony Corp 画像復号装置及び画像復号方法
US6452969B1 (en) * 1998-09-28 2002-09-17 Thomson Licensing S.A. Transform domain inverse motion compensation having fractional pel accuracy
US6584154B1 (en) * 1998-11-26 2003-06-24 Oki Electric Industry Co., Ltd. Moving-picture coding and decoding method and apparatus with reduced computational cost
US6628714B1 (en) * 1998-12-18 2003-09-30 Zenith Electronics Corporation Down converting MPEG encoded high definition sequences to lower resolution with reduced memory in decoder loop
WO2000057650A1 (en) * 1999-03-23 2000-09-28 Sanyo Electric Co., Ltd. Video decoder
JP3596863B2 (ja) 1999-11-26 2004-12-02 シャープ株式会社 画像圧縮装置および画像伸張装置、ならびに画像圧縮方法および画像伸張方法をコンピュータに実行させるためのプログラムをそれぞれ記録したコンピュータ読取可能な記録媒体
US6529244B1 (en) * 1999-12-22 2003-03-04 International Business Machines Corporation Digital video decode system with OSD processor for converting graphics data in 4:4:4 format to 4:2:2 format by mathematically combining chrominance values
WO2001082630A1 (en) * 2000-04-21 2001-11-01 Matsushita Electric Industrial Co., Ltd. Pixel calculating device
JP2002112267A (ja) * 2000-09-28 2002-04-12 Nec Corp 可変解像度復号処理装置
KR100380230B1 (ko) * 2000-12-13 2003-04-16 엘지전자 주식회사 다해상도 기반 영상신호 부호화 및 복호화 방법과 장치
EP1235185B1 (en) * 2001-02-21 2011-11-23 Boly Media Communications Inc. Method of compressing digital images
US6980596B2 (en) * 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
US20030099294A1 (en) * 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
AU2002368463A1 (en) * 2002-12-18 2004-07-09 Nokia Corporation Image data compression device and decompression device and image data compression program and decompression program
US20040150745A1 (en) * 2003-01-20 2004-08-05 Hideki Aiba Video data transmitting/receiving method
KR100964401B1 (ko) * 2003-10-23 2010-06-17 삼성전자주식회사 칼라 영상을 위한 인트라 부호화/복호화 방법 및 장치
US20050129130A1 (en) * 2003-12-10 2005-06-16 Microsoft Corporation Color space coding framework
JP2005278025A (ja) * 2004-03-26 2005-10-06 Olympus Corp 輝度・色差信号生成装置、画像圧縮装置、及び画像処理システム
KR100657268B1 (ko) * 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
KR100763178B1 (ko) 2005-03-04 2007-10-04 삼성전자주식회사 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
EP1737240A3 (en) * 2005-06-21 2007-03-14 Thomson Licensing Method for scalable image coding or decoding
US8218657B2 (en) * 2005-09-02 2012-07-10 Netgear, Inc. System and method for automatic adjustment of streaming video bit rate
CN101931801A (zh) * 2005-09-20 2010-12-29 三菱电机株式会社 图像编码方法和图像编码装置以及图像编码比特流
KR100885693B1 (ko) * 2006-06-14 2009-02-26 한국전자통신연구원 독립성분분석 기반의 신호분리 알고리즘을 이용한 비디오인코딩 장치 및 그 방법과 이를 이용한 비디오 디코딩 장치및 그 방법
JP4777185B2 (ja) * 2006-08-08 2011-09-21 キヤノン株式会社 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体、及び、画像符号化装置
US8331433B2 (en) * 2006-08-31 2012-12-11 Samsung Electronics Co., Ltd. Video encoding apparatus and method and video decoding apparatus and method
EP2066134A4 (en) * 2006-10-10 2011-01-12 Nippon Telegraph & Telephone VIDEO ENCODING AND DECODING METHODS, THEIR DEVICE, PROGRAM, AND STORAGE MEDIUM CONTAINING THE PROGRAM
US8422772B2 (en) * 2008-06-10 2013-04-16 Panasonic Corporation Decoding device, decoding method, and receiving device
KR101359490B1 (ko) * 2008-12-23 2014-02-10 에스케이 텔레콤주식회사 컬러 영상 부호화/복호화 방법 및 장치
JP5375372B2 (ja) * 2009-07-01 2013-12-25 ヤマハ株式会社 圧縮符号化装置、および復号装置
US8625666B2 (en) * 2010-07-07 2014-01-07 Netzyn, Inc. 4:4:4 color space video with 4:2:0 color space video encoders and decoders systems and methods
GB2506345A (en) * 2012-09-06 2014-04-02 British Broadcasting Corp Video encoding and decoding with chrominance sub-sampling
JP6125215B2 (ja) * 2012-09-21 2017-05-10 株式会社東芝 復号装置、及び符号化装置
US9979960B2 (en) * 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9661340B2 (en) 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
US9445111B2 (en) * 2014-01-08 2016-09-13 Sony Corporation Image processing apparatus and image processing method
JP6330507B2 (ja) * 2014-06-19 2018-05-30 ソニー株式会社 画像処理装置及び画像処理方法
US9749646B2 (en) 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2638926A1 (fr) * 1988-11-10 1990-05-11 Labo Electronique Physique Procede, dispositif de codage numerique d'images de tele a haute definition; dispositif de decodage correspondant, systeme de transmission d'images equipe d'un etage d'emission et d'un de reception incluant un tel dispositif de codage ou de decodage; etages d'emission et de reception comprenant de tels dispositifs
GB2238688B (en) * 1989-11-27 1994-01-12 Sony Corp Methods of and apparatus for digital video signal processing
JPH04177992A (ja) * 1990-11-09 1992-06-25 Victor Co Of Japan Ltd 階層性を有する画像符号化装置
US5148272A (en) * 1991-02-27 1992-09-15 Rca Thomson Licensing Corporation Apparatus for recombining prioritized video data
JPH04323963A (ja) * 1991-04-23 1992-11-13 Canon Inc 画像処理方法及び装置
US5253056A (en) * 1992-07-02 1993-10-12 At&T Bell Laboratories Spatial/frequency hybrid video coding facilitating the derivatives of variable-resolution images
US5262864A (en) * 1992-07-10 1993-11-16 Thomson Consumer Electronics, Inc. Frame based vertical panning system
US5294974A (en) * 1992-07-24 1994-03-15 Matsushita Electric Corporation Of America High-definition video encoding system having color-sensitive quantization

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7542076B2 (en) 1999-01-20 2009-06-02 Canon Kabushiki Kaisha Image sensing apparatus having a color interpolation unit and image processing method therefor
US7929026B2 (en) 1999-01-20 2011-04-19 Canon Kabushiki Kaisha Image sensing apparatus and image processing method thereof using color conversion and pseudo color removing
KR100700515B1 (ko) * 1999-12-15 2007-03-28 엘지전자 주식회사 디코더 루프에서 메모리 감소를 통한 mpeg 엔코딩고화질 시퀀스의 저해상도로의 다운 변환 방법 및 장치
WO2015052979A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
JP3381855B2 (ja) 2003-03-04
US5412428A (en) 1995-05-02
CA2111021C (en) 2003-09-09
DE69323541T2 (de) 1999-09-02
EP0608618A3 (en) 1994-10-26
EP0608618A2 (en) 1994-08-03
EP0608618B1 (en) 1999-02-17
DE69323541D1 (de) 1999-03-25
KR100289587B1 (ko) 2001-05-02
KR940017885A (ko) 1994-07-27
CA2111021A1 (en) 1994-06-29

Similar Documents

Publication Publication Date Title
JP3381855B2 (ja) 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
JP3374989B2 (ja) 画像信号符号化方法および画像信号符号化装置、ならびに画像信号復号化方法および画像信号復号化装置
JP3189258B2 (ja) 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
JP3545000B2 (ja) 画像信号符号化装置、画像信号復号化装置
JP3163830B2 (ja) 画像信号伝送方法及び装置
JP3268306B2 (ja) 画像符号化方法
JPH07123447A (ja) 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JPH06197334A (ja) 画像信号符号化方法、画像信号復号化方法、画像信号符号化装置、画像信号復号化装置及び画像信号記録媒体
WO1995013682A1 (en) Animation encoding method, animation decoding method, animation recording medium and animation encoder
JPH0937243A (ja) 動画像符号化装置及び復号装置
JPH0678294A (ja) 符号化方法、符号化装置、および復号化装置
JPH08307896A (ja) 画像信号記録方法および装置、画像信号再生方法および装置、ならびに画像信号記録媒体
JP4210925B2 (ja) 画像信号生成装置および方法、並びに、画像信号再生装置および方法
JP4422629B2 (ja) 動画像符号化装置、復号化装置、動画像記録装置および動画像再生装置
JP3552045B2 (ja) 画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置
JP4193252B2 (ja) 信号処理装置及び方法、信号復号装置、並びに信号符号化装置
JPH08307814A (ja) 画像信号記録方法および装置、画像信号再生方法および装置、ならびに画像信号記録媒体
JP2004088795A (ja) 画像信号生成装置および方法、並びに、画像信号再生装置および方法
JPH07336681A (ja) 画像変換装置
JP3516622B2 (ja) 復号化装置及び方法
JPH06189293A (ja) 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置及び記録媒体
JP3500340B2 (ja) コーディング装置及び方法
JP3307379B2 (ja) 復号化装置及び方法
JPH06311498A (ja) 画像信号の符号化・復号化装置
JP3164110B2 (ja) 符号化装置及び方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20021122

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101220

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101220

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111220

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111220

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121220

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees