例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化するようになされている。
ライン相関を利用すると、画像信号を、例えばDCT(離散コサイン変換)処理するなどして圧縮することができる。
また、フレーム間相関を利用すると、画像信号をさらに圧縮して符号化することが可能となる。例えば図14に示すように、時刻t1,t2,t3において、フレーム画像PC1,PC2,PC3がそれぞれ発生しているとき、フレーム画像PC1とPC2の画像信号の差を演算して、PC12を生成し、また、フレーム画像PC2とPC3の差を演算して、PC23を生成する。通常、時間的に隣接するフレームの画像は、それ程大きな変化を有していないため、両者の差を演算すると、その差分信号は小さな値のものとなる。そこで、この差分信号を符号化すれば、符号量を圧縮することができる。
しかしながら、差分信号のみを伝送したのでは、元の画像を復元することができない。そこで、各フレームの画像を、Iピクチャ、PピクチャまたはBピクチャの3種類のピクチャのいずれかのピクチャとし、画像信号を圧縮符号化するようにしている。
即ち、例えば図15に示すように、フレームF1乃至F17までの17フレームの画像信号をグループオブピクチャとし、処理の1単位とする。そして、その先頭のフレームF1の画像信号はIピクチャとして符号化し、第2番目のフレームF2はBピクチャとして、また第3番目のフレームF3はPピクチャとして、それぞれ処理する。以下、第4番目以降のフレームF4乃至F17は、BピクチャまたはPピクチャとして交互に処理する。
Iピクチャの画像信号としては、その1フレーム分の画像信号をそのまま伝送する。これに対して、Pピクチャの画像信号としては、基本的には、図15(A)に示すように、それより時間的に先行するIピクチャまたはPピクチャの画像信号からの差分を伝送する。さらにBピクチャの画像信号としては、基本的には、図15(B)に示すように、時間的に先行するフレームまたは後行するフレームの両方の平均値からの差分を求め、その差分を符号化する。
図16は、このようにして、動画像信号を符号化する方法の原理を示している。同図に示すように、最初のフレームF1はIピクチャとして処理されるため、そのまま伝送データF1Xとして伝送路に伝送される(画像内符号化)。これに対して、第2のフレームF2は、Bピクチャとして処理されるため、時間的に先行するフレームF1と、時間的に後行するフレームF3の平均値との差分が演算され、その差分が伝送データF2Xとして伝送される。
但し、このBピクチャとしての処理は、さらに細かく説明すると、4種類存在する。その第1の処理は、元のフレームF2のデータをそのまま伝送データF2Xとして伝送するものであり(SP1)(イントラ符号化)、Iピクチャにおける場合と同様の処理となる。第2の処理は、時間的に後のフレームF3からの差分を演算し、その差分(SP2)を伝送するものである(後方予測符号化)。第3の処理は、時間的に先行するフレームF1との差分(SP3)を伝送するものである(前方予測符号化)。さらに第4の処理は、時間的に先行するフレームF1と後行するフレームF3の平均値との差分(SP4)を生成し、これを伝送データF2Xとして伝送するものである(両方向予測符号化)。
この4つの方法のうち、伝送データが最も少なくなる方法が採用される。
尚、差分データを伝送するとき、差分を演算する対象となるフレームの画像(予測画像)との間の動きベクトルx1(フレームF1とF2の間の動きベクトル)(前方予測の場合)、もしくはx2(フレームF3とF2の間の動きベクトル)(後方予測の場合)、またはx1とx2の両方(両方向予測の場合)が、差分データとともに伝送される。
また、PピクチャのフレームF3は、時間的に先行するフレームF1を予測画像として、このフレームとの差分信号(SP3)と、動きベクトルx3が演算され、これが伝送データF3Xとして伝送される(前方予測符号化)。あるいはまた、元のフレームF3のデータがそのまま伝送データF3Xとして伝送される(SP1)(イントラ符号化)。いずれの方法により伝送されるかは、Bピクチャにおける場合と同様に、伝送データがより少なくなる方が選択される。
図17は、上述した原理に基づいて、動画像信号を符号化して伝送し、これを復号化する装置の構成例を示している。符号化装置1は、入力された映像信号を符号化し、伝送路としての記録媒体3に伝送するようになされている。そして、復号化装置2は、記録媒体3に記録された信号を再生し、これを復号して出力するようになされている。
符号化装置1においては、入力された映像信号が前処理回路11に入力され、そこで輝度信号と色信号(この例の場合、色差信号)が分離され、それぞれA/D変換器12,13でA/D変換される。A/D変換器12,13によりA/D変換されてデジタル信号となった映像信号は、フレームメモリ14に供給され、記憶される。フレームメモリ14は、輝度信号を輝度信号フレームメモリ15に、また、色差信号を色差信号フレームメモリ16に、それぞれ記憶させる。
フォーマット変換回路17は、フレームメモリ14に記憶されたフレームフォーマットの信号を、ブロックフォーマットの信号に変換する。即ち、図18に示すように、フレームメモリ14に記憶された映像信号は、1ライン当りHドットのラインがVライン集められたフレームフォーマットのデータとされている。フォーマット変換回路17は、この1フレームの信号を、16ラインを単位としてM個のスライスに区分する。そして、各スライスは、M個のマクロブロックに分割される。各マクロブロックは、16×16個の画素(ドット)に対応する輝度信号により構成され、この輝度信号は、さらに8×8ドットを単位とするブロックY[1]乃至Y[4]に区分される。そして、この16×16ドットの輝度信号には、8×8ドットのCb信号と、8×8ドットのCr信号が対応される。
このように、ブロックフォーマットに変換されたデータは、フォーマット変換回路17からエンコーダ18に供給され、ここでエンコード(符号化)が行われる。その詳細については、図19を参照して後述する。
エンコーダ18によりエンコードされた信号は、ビットストリームとして伝送路に出力され、例えば記録媒体3に記録される。
記録媒体3より再生されたデータは、復号化装置2のデコーダ31に供給され、デコードされる。デコーダ31の詳細については、図22を参照して後述する。
デコーダ31によりデコードされたデータは、フォーマット変換回路32に入力され、ブロックフォーマットからフレームフォーマットに変換される。そして、フレームフォーマットの輝度信号は、フレームメモリ33の輝度信号フレームメモリ34に供給され、記憶され、色差信号は色差信号フレームメモリ35に供給され、記憶される。輝度信号フレームメモリ34と色差信号フレームメモリ35より読み出された輝度信号と色差信号は、D/A変換器36と37によりそれぞれD/A変換され、後処理回路38に供給され、合成される。そして、図示せぬ例えばCRTなどのディスプレイに出力され、表示される。
次に図19を参照して、エンコーダ18の構成例について説明する。
符号化されるべき画像データは、マクロブロック単位で動きベクトル検出回路50に入力される。動きベクトル検出回路50は、予め設定されている所定のシーケンスに従って、各フレームの画像データを、Iピクチャ、Pピクチャ、またはBピクチャとして処理する。シーケンシャルに入力される各フレームの画像を、I,P,Bのいずれのピクチャとして処理するかは、予め定められている(例えば、図15に示したように、フレームF1乃至F17により構成されるグループオブピクチャが、I,B,P,B,P,・・・B,Pとして処理される)。
Iピクチャとして処理されるフレーム(例えばフレームF1)の画像データは、動きベクトル検出回路50からフレームメモリ51の前方原画像部51aに転送、記憶され、Bピクチャとして処理されるフレーム(例えばフレームF2)の画像データは、原画像部51bに転送、記憶され、Pピクチャとして処理されるフレーム(例えばフレームF3)の画像データは、後方原画像部51cに転送、記憶される。
また、次のタイミングにおいて、さらにBピクチャ(フレームF4)またはPピクチャ(フレームF5)として処理すべきフレームの画像が入力されたとき、それまで後方原画像部51cに記憶されていた最初のPピクチャ(フレームF3)の画像データが、前方原画像部51aに転送され、次のBピクチャ(フレームF4)の画像データが、原画像部51bに記憶(上書き)され、次のPピクチャ(フレームF5)の画像データが、後方原画像部51cに記憶(上書き)される。このような動作が順次繰り返される。
フレームメモリ51に記憶された各ピクチャの信号は、そこから読み出され、予測モード切り替え回路52において、フレーム予測モード処理、またはフィールド予測モード処理が行なわれる。さらにまた予測判定回路54の制御の下に、演算部53において、画像内予測、前方予測、後方予測、または両方向予測の演算が行なわれる。これらの処理のうち、いずれの処理を行なうかは、予測誤差信号(処理の対象とされている参照画像と、これに対する予測画像との差分)に対応して決定される。このため、動きベクトル検出回路50は、この判定に用いられる予測誤差信号の絶対値和(2乗和でもよい)を生成する。
ここで、予測モード切り替え回路52におけるフレーム予測モードとフィールド予測モードについて説明する。
フレーム予測モードが設定された場合においては、予測モード切り替え回路52は、動きベクトル検出回路50より供給される4個の輝度ブロックY[1]乃至Y[4]を、そのまま後段の演算部53に出力する。即ち、この場合においては、図20(A)に示すように、各輝度ブロックに奇数フィールドのラインのデータと、偶数フィールドのラインのデータとが混在した状態となっている。このフレーム予測モードにおいては、4個の輝度ブロック(マクロブロック)を単位として予測が行われ、4個の輝度ブロックに対して1個の動きベクトルが対応される。
これに対して、予測モード切り替え回路52は、フィールド予測モードにおいては、図20(A)に示す構成で動きベクトル検出回路50より入力される信号を、図20(B)に示すように、4個の輝度ブロックのうち、輝度ブロックY[1]とY[2]を、例えば奇数フィールドのラインのドットによりのみ構成させ、他の2個の輝度ブロックY[3]とY[4]を、偶数フィールドのラインのデータにより構成させて、演算部53に出力する。この場合においては、2個の輝度ブロックY[1]とY[2]に対して、1個の動きベクトルが対応され、他の2個の輝度ブロックY[3]とY[4]に対して、他の1個の動きベクトルが対応される。
動きベクトル検出回路50は、フレーム予測モードにおける予測誤差の絶対値和と、フィールド予測モードにおける予測誤差の絶対値和を、予測モード切り替え回路52に出力する。予測モード切り替え回路52は、フレーム予測モードとフィールド予測モードにおける予測誤差の絶対値和を比較し、その値が小さい予測モードに対応する処理を施して、データを演算部53に出力する。
但し、このような処理は、実際には動きベクトル検出回路50で行われる。即ち、動きベクトル検出回路50は、決定されたモードに対応する構成の信号を予測モード切り替え回路52に出力し、予測モード切り替え回路52は、その信号を、そのまま後段の演算部53に出力する。
尚、色差信号は、フレーム予測モードの場合、図20(A)に示すように、奇数フィールドのラインのデータと偶数フィールドのラインのデータとが混在する状態で、演算部53に供給される。また、フィールド予測モードの場合、図20(B)に示すように、各色差ブロックCb,Crの上半分(4ライン)が、輝度ブロックY[1],Y[2]に対応する奇数フィールドの色差信号とされ、下半分(4ライン)が、輝度ブロックY[3],Y[4]に対応する偶数フィールドの色差信号とされる。
また、動きベクトル検出回路50は、次のようにして、予測判定回路54において、画像内予測、前方予測、後方予測、または両方向予測のいずれの予測を行なうかを決定するための予測誤差の絶対値和を生成する。
即ち、画像内予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Aijの和ΣAijの絶対値|ΣAij|と、マクロブロックの信号Aijの絶対値|Aij|の和Σ|Aij|の差を求める。また、前方予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Aijと、予測画像のマクロブロックの信号Bijの差Aij−Bijの絶対値|Aij−Bij|の和Σ|Aij−Bij|を求める。また、後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に(その予測画像を前方予測における場合と異なる予測画像に変更して)求める。
これらの絶対値和は、予測判定回路54に供給される。予測判定回路54は、前方予測、後方予測および両方向予測の予測誤差の絶対値和のうち、最も小さいものを、インター予測の予測誤差の絶対値和として選択する。さらに、このインター予測の予測誤差の絶対値和と、画像内予測の予測誤差の絶対値和とを比較し、その小さい方を選択し、この選択した絶対値和に対応するモードを予測モードとして選択する。即ち、画像内予測の予測誤差の絶対値和の方が小さければ、画像内予測モードが設定される。インター予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測または両方向予測モードのうち、対応する絶対値和が最も小さかったモードが設定される。
このように、動きベクトル検出回路50は、参照画像のマクロブロックの信号を、フレームまたはフィールド予測モードのうち、予測モード切り替え回路52により選択されたモードに対応する構成で、予測モード切り替え回路52を介して演算部53に供給するとともに、4つの予測モードのうち、予測判定回路54により選択された予測モードに対応する予測画像と参照画像の間の動きベクトルを検出し、可変長符号化回路58と動き補償回路64に出力する。上述したように、この動きベクトルとしては、対応する予測誤差の絶対値和が最小となるものが選択される。
予測判定回路54は、動きベクトル検出回路50が前方原画像部51aよりIピクチャの画像データを読み出しているとき、予測モードとして、フレーム(画像)内予測モード(動き補償を行わないモード)を設定し、演算部53のスイッチ53dを接点a側に切り替える。これにより、Iピクチャの画像データがDCTモード切り替え回路55に入力される。
このDCTモード切り替え回路55は、図21(A)または(B)に示すように、4個の輝度ブロックのデータを、奇数フィールドのラインと偶数フィールドのラインが混在する状態(フレームDCTモード)、または、分離された状態(フィールドDCTモード)、のいずれかの状態にして、DCT回路56に出力する。
即ち、DCTモード切り替え回路55は、奇数フィールドと偶数フィールドのデータを混在してDCT処理した場合における符号化効率と、分離した状態においてDCT処理した場合の符号化効率とを比較し、符号化効率の良好なモードを選択する。
例えば、入力された信号を、図21(A)に示すように、奇数フィールドと偶数フィールドのラインが混在する構成とし、上下に隣接する奇数フィールドのラインの信号と偶数フィールドのラインの信号の差を演算し、さらにその絶対値の和(または自乗和)を求める。また、入力された信号を、図21(B)に示すように、奇数フィールドと偶数フィールドのラインが分離した構成とし、上下に隣接する奇数フィールドのライン同士の信号の差と、偶数フィールドのライン同士の信号の差を演算し、それぞれの絶対値の和(または自乗和)を求める。さらに、両者(絶対値和)を比較し、小さい値に対応するDCTモードを設定する。即ち、前者の方が小さければ、フレームDCTモードを設定し、後者の方が小さければ、フィールドDCTモードを設定する。
そして、選択したDCTモードに対応する構成のデータをDCT回路56に出力するとともに、選択したDCTモードを示すDCTフラグを、可変長符号化回路58と動き補償回路64に出力する。
予測モード切り替え回路52における予測モード(図20)と、このDCTモード切り替え回路55におけるDCTモード(図21)を比較して明らかなように、輝度ブロックに関しては、両者の各モードにおけるデータ構造は実質的に同一である。
予測モード切り替え回路52において、フレーム予測モード(奇数ラインと偶数ラインが混在するモード)が選択された場合、DCTモード切り替え回路55においても、フレームDCTモード(奇数ラインと偶数ラインが混在するモード)が選択される可能性が高く、また予測モード切り替え回路52において、フィールド予測モード(奇数フィールドと偶数フィールドのデータが分離されたモード)が選択された場合、DCTモード切り替え回路55において、フィールドDCTモード(奇数フィールドと偶数フィールドのデータが分離されたモード)が選択される可能性が高い。
しかしながら、必ずしも常にそのようになされるわけではなく、予測モード切り替え回路52においては、予測誤差の絶対値和が小さくなるようにモードが決定され、DCTモード切り替え回路55においては、符号化効率が良好となるようにモードが決定される。
DCTモード切り替え回路55より出力されたIピクチャの画像データは、DCT回路56に入力され、DCT(離散コサイン変換)処理され、DCT係数に変換される。このDCT係数は、量子化回路57に入力され、送信バッファ59
のデータ蓄積量(バッファ蓄積量)に対応した量子化ステップで量子化された後、可変長符号化回路58に入力される。
可変長符号化回路58は、量子化回路57より供給される量子化ステップ(スケール)に対応して、量子化回路57より供給される画像データ(いまの場合、Iピクチャのデータ)を、例えばハフマン符号などの可変長符号に変換し、送信バッファ59に出力する。
可変長符号化回路58にはまた、量子化回路57より量子化ステップ(スケール)、予測判定回路54より予測モード(画像内予測、前方予測、後方予測、または両方向予測のいずれが設定されたかを示すモード)、動きベクトル検出回路50より動きベクトル、予測モード切り替え回路52より予測フラグ(フレーム予測モードまたはフィールド予測モードのいずれが設定されたかを示すフラグ)、およびDCTモード切り替え回路55が出力するDCTフラグ(フレームDCTモードまたはフィールドDCTモードのいずれが設定されたかを示すフラグ)が入力されており、これらも可変長符号化される。
送信バッファ59は、入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路57に出力する。
送信バッファ59は、そのデータ残量が許容上限値まで増量すると、量子化制御信号によって量子化回路57の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。また、これとは逆に、データ残量が許容下限値まで減少すると、送信バッファ59は、量子化制御信号によって量子化回路57の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、送信バッファ59のオーバフローまたはアンダフローが防止される。
そして、送信バッファ59に蓄積されたデータは、所定のタイミングで読み出され、伝送路に出力され、例えば記録媒体3に記録される。
一方、量子化回路57より出力されたIピクチャのデータは、逆量子化回路60に入力され、量子化回路57より供給される量子化ステップに対応して逆量子化される。逆量子化回路60の出力は、IDCT(逆DCT)回路61に入力され、逆DCT処理された後、演算器62を介してフレームメモリ63の前方予測画像部63aに供給され、記憶される。
動きベクトル検出回路50は、シーケンシャルに入力される各フレームの画像データを、たとえば、I,B,P,B,P,B・・・のピクチャとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをIピクチャとして処理した後、次に入力されたフレームの画像をBピクチャとして処理する前に、さらにその次に入力されたフレームの画像データをPピクチャとして処理する。Bピクチャは、後方予測を伴うため、後方予測画像としてのPピクチャが先に用意されていないと、復号することができないからである。
そこで動きベクトル検出回路50は、Iピクチャの処理の次に、後方原画像部51cに記憶されているPピクチャの画像データの処理を開始する。そして、上述した場合と同様に、マクロブロック単位でのフレーム間差分(予測誤差)の絶対値和が、動きベクトル検出回路50から予測モード切り替え回路52と予測判定回路54に供給される。予測モード切り替え回路52と予測判定回路54は、このPピクチャのマクロブロックの予測誤差の絶対値和に対応して、フレーム/フィールド予測モード、または画像内予測、前方予測、後方予測、もしくは両方向予測の予測モードを設定する。
演算部53はフレーム内予測モードが設定されたとき、スイッチ53dを上述したように接点a側に切り替える。従って、このデータは、Iピクチャのデータと同様に、DCTモード切り替え回路55、DCT回路56、量子化回路57、可変長符号化回路58、送信バッファ59を介して伝送路に伝送される。また、このデータは、逆量子化回路60、IDCT回路61、演算器62を介してフレームメモリ63の後方予測画像部63bに供給され、記憶される。
前方予測モードの時、スイッチ53dが接点bに切り替えられるとともに、フレームメモリ63の前方予測画像部63aに記憶されている画像(いまの場合Iピクチャの画像)データが読み出され、動き補償回路64により、動きベクトル検出回路50が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路64は、予測判定回路54より前方予測モードの設定が指令されたとき、前方予測画像部63aの読み出しアドレスを、動きベクトル検出回路50がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
動き補償回路64より出力された予測画像データは、演算器53aに供給される。演算器53aは、予測モード切り替え回路52より供給された参照画像のマクロブロックのデータから、動き補償回路64より供給された、このマクロブロックに対応する予測画像データを減算し、その差分(予測誤差)を出力する。この差分データは、DCTモード切り替え回路55、DCT回路56、量子化回路57、可変長符号化回路58、送信バッファ59を介して伝送路に伝送される。また、この差分データは、逆量子化回路60、IDCT回路61により局所的に復号され、演算器62に入力される。
この演算器62にはまた、演算器53aに供給されている予測画像データと同一のデータが供給されている。演算器62は、IDCT回路61が出力する差分データに、動き補償回路64が出力する予測画像データを加算する。これにより、元の(復号した)Pピクチャの画像データが得られる。このPピクチャの画像データは、フレームメモリ63の後方予測画像部63bに供給され、記憶される。
動きベクトル検出回路50は、このように、IピクチャとPピクチャのデータが前方予測画像部63aと後方予測画像部63bにそれぞれ記憶された後、次にBピクチャの処理を実行する。予測モード切り替え回路52と予測判定回路54は、マクロブロック単位でのフレーム間差分の絶対値和の大きさに対応して、フレーム/フィールドモードを設定し、また、予測モードをフレーム内予測モード、前方予測モード、後方予測モード、または両方向予測モードのいずれかに設定する。
上述したように、フレーム内予測モードまたは前方予測モードの時、スイッチ53dは接点aまたはbに切り替えられる。このとき、Pピクチャにおける場合と同様の処理が行われ、データが伝送される。
これに対して、後方予測モードまたは両方向予測モードが設定された時、スイッチ53dは、接点cまたはdにそれぞれ切り替えられる。
スイッチ53dが接点cに切り替えられている後方予測モードの時、後方予測画像部63bに記憶されている画像(いまの場合、Pピクチャの画像)データが読み出され、動き補償回路64により、動きベクトル検出回路50が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路64は、予測判定回路54より後方予測モードの設定が指令されたとき、後方予測画像部63bの読み出しアドレスを、動きベクトル検出回路50がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
動き補償回路64より出力された予測画像データは、演算器53bに供給される。演算器53bは、予測モード切り替え回路52より供給された参照画像のマクロブロックのデータから、動き補償回路64より供給された予測画像データを減算し、その差分を出力する。この差分データは、DCTモード切り替え回路55、DCT回路56、量子化回路57、可変長符号化回路58、送信バッファ59を介して伝送路に伝送される。
スイッチ53dが接点dに切り替えられている両方向予測モードの時、前方予測画像部63aに記憶されている画像(いまの場合、Iピクチャの画像)データと、後方予測画像部63bに記憶されている画像(いまの場合、Pピクチャの画像)データが読み出され、動き補償回路64により、動きベクトル検出回路50が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路64は、予測判定回路54より両方向予測モードの設定が指令されたとき、前方予測画像部63aと後方予測画像部63bの読み出しアドレスを、動きベクトル検出回路50がいま出力しているマクロブロックの位置に対応する位置から動きベクトル(この場合の動きベクトルは、前方予測画像用と後方予測画像用の2つとなる)に対応する分だけずらしてデータを読み出し、予測画像データを生成する。
動き補償回路64より出力された予測画像データは、演算器53cに供給される。演算器53cは、動きベクトル検出回路50より供給された参照画像のマクロブロックのデータから、動き補償回路64より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データは、DCTモード切り替え回路55、DCT回路56、量子化回路57、可変長符号化回路58、送信バッファ59を介して伝送路に伝送される。
Bピクチャの画像は、他の画像の予測画像とされることがないため、フレームメモリ63には記憶されない。
尚、フレームメモリ63において、前方予測画像部63aと後方予測画像部63bは、必要に応じてバンク切り替えが行われ、所定の参照画像に対して、一方または他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り替えて出力することができる。
以上においては、輝度ブロックを中心として説明をしたが、色差ブロックについても同様に、図20および図21に示すマクロブロックを単位として処理され、伝送される。尚、色差ブロックを処理する場合の動きベクトルは、対応する輝度ブロックの動きベクトルを垂直方向と水平方向に、それぞれ1/2にしたものが用いられる。
次に、図22は、図17のデコーダ31の一例の構成を示すブロック図である。伝送路(記録媒体3)を介して伝送された符号化された画像データは、図示せぬ受信回路で受信されたり、再生装置で再生され、受信バッファ81に一時記憶された後、復号回路90の可変長復号化回路82に供給される。可変長復号化回路82は、受信バッファ81より供給されたデータを可変長復号化し、動きベクトル、予測モード、予測フラグおよびDCTフラグを動き補償回路87に、また、量子化ステップを逆量子化回路83に、それぞれ出力するとともに、復号された画像データを逆量子化回路83に出力する。
逆量子化回路83は、可変長復号化回路82より供給された画像データを、同じく可変長復号化回路82より供給された量子化ステップに従って逆量子化し、IDCT回路84に出力する。逆量子化回路83より出力されたデータ(DCT係数)は、IDCT回路84で、逆DCT処理され、演算器85に供給される。
IDCT回路84より供給された画像データが、Iピクチャのデータである場合、そのデータは演算器85より出力され、演算器85に後に入力される画像データ(PまたはBピクチャのデータ)の予測画像データ生成のために、フレームメモリ86の前方予測画像部86aに供給されて記憶される。また、このデータは、フォーマット変換回路32(図17)に出力される。
IDCT回路84より供給された画像データが、その1フレーム前の画像データを予測画像データとするPピクチャのデータであって、前方予測モードのデータである場合、フレームメモリ86の前方予測画像部86aに記憶されている、1フレーム前の画像データ(Iピクチャのデータ)が読み出され、動き補償回路87で可変長復号化回路82より出力された動きベクトルに対応する動き補償が施される。そして、演算器85において、IDCT回路84より供給された画像データ(差分のデータ)と加算され、出力される。この加算されたデータ、即ち、復号されたPピクチャのデータは、演算器85に後に入力される画像データ(BピクチャまたはPピクチャのデータ)の予測画像データ生成のために、フレームメモリ86の後方予測画像部86bに供給されて記憶される。
Pピクチャのデータであっても、画像内予測モードのデータは、Iピクチャのデータと同様に、演算器85で特に処理は行わず、そのまま後方予測画像部86bに記憶される。
このPピクチャは、次のBピクチャの次に表示されるべき画像であるため、この時点では、まだフォーマット変換回路32へ出力されない(上述したように、Bピクチャの後に入力されたPピクチャが、Bピクチャより先に処理され、伝送されている)。
IDCT回路84より供給された画像データが、Bピクチャのデータである場合、可変長復号化回路82より供給された予測モードに対応して、フレームメモリ86の前方予測画像部86aに記憶されているIピクチャの画像データ(前方予測モードの場合)、後方予測画像部86bに記憶されているPピクチャの画像データ(後方予測モードの場合)、または、その両方の画像データ(両方向予測モードの場合)が読み出され、動き補償回路87において、可変長復号化回路82より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。但し、動き補償を必要としない場合(画像内予測モードの場合)、予測画像は生成されない。
このようにして、動き補償回路87で動き補償が施されたデータは、演算器85において、IDCT回路84の出力と加算される。この加算出力は、フォーマット変換回路32に出力される。
但し、この加算出力はBピクチャのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ86には記憶されない。
Bピクチャの画像が出力された後、後方予測画像部86bに記憶されているPピクチャの画像データが読み出され、動き補償回路87を介して演算器85に供給される。但し、このとき、動き補償は行われない。
尚、このデコーダ31には、図19のエンコーダ18における予測モード切り替え回路52とDCTモード切り替え回路55に対応する回路が図示されていないが、これらの回路に対応する処理、即ち、奇数フィールドと偶数フィールドのラインの信号が分離された構成を、元の混在する構成に必要に応じて戻す処理は、動き補償回路87が実行する。
また、以上においては、輝度信号の処理について説明したが、色差信号の処理も同様に行われる。但し、この場合、動きベクトルは、輝度信号用のものを、垂直方向および水平方向に1/2にしたものが用いられる。
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
本発明によれば、画像信号生成装置が提供される。この画像信号生成装置(例えば、図10または図12の画像信号生成装置)は、所定のマクロブロック単位で符号化された画像信号を生成する画像信号生成装置であって、マクロブロックの輝度信号成分(例えば、図10または図12のY1乃至Y4)を符号化して符号化輝度信号(例えば、図10または図12の<Y1>,<Y2>,<Y3>,<Y4>)を生成するとともに、前記マクロブロックの色信号成分を第1の解像度で符号化して第1の符号化色信号を生成し(例えば、図10または図12のCb5''とCr6''とを符号化して<cb5''>と<cr6''>を生成し)、前記符号化輝度信号と前記第1の符号化色信号とを含む第1のスライスデータ信号(例えば、図8のマスタスライス)を出力する第1の画像符号化手段(例えば、図10または図12の回路100)と、前記マクロブロックの前記第1の解像度よりも高い第2の解像度の色信号成分(例えば、図10または図12のCb5',Cr6',Cb7',Cr8')を、前記第1の画像符号化手段により符号化された前記第1の符号化色信号が復号された信号(例えば、回路100の演算器62からの信号)を用いて符号化して第2の符号化色信号(例えば、図10または図12の<Cb5'>,<Cr6'>,<Cb7'>,<Cr8'>)を生成し、前記第2の符号化色信号を含む第2のスライスデータ信号(例えば、図8のスレーブスライス1)を出力する第2の画像符号化手段(例えば、図10または図12の回路101)と、前記第1の画像符号化手段から出力された前記第1のスライスデータ信号と、前記第2の画像符号化手段から出力された前記第2のスライスデータ信号とを、復号の処理のときに順次読み出されていずれか一方が選択されるように、互いに近接する位置に配置して(例えば、図8に示されるように配置して)合成する合成手段(例えば、図10の合成回路105)とを備えることを特徴とする。
この画像信号生成装置の第2の画像符号化手段(例えば、図10の回路101)は、前記第1の符号化色信号が復号された前記信号に基づいて、前記第2の解像度の前記色信号成分に対する第1の予測画像信号を生成する第1の予測画像生成手段(例えば、図10のアップサンプリング回路111)と、符号化済みの画像信号に関する前記第2の符号化色信号が復号された信号を保存する保存手段(例えば、図10のクロマフレームメモリ174)と、前記保存手段に保存済みの前記第2の符号化色信号が復号された信号に基づいて、前記第2の解像度の前記色信号成分に対する第2の予測画像信号を生成する第2の予測画像生成手段(例えば、図10の動き補償回路175)と、前記第1の予測画像生成手段により生成された前記第1の予測画像信号を用いた場合における予測誤差信号と、前記第2の予測画像生成手段により生成された前記第2の予測画像信号を用いた場合における予測誤差信号とを比較し、その比較の結果に基づいて、前記第1の予測画像信号と前記第2の予測画像信号のうちのいずれか一方を選択する選択手段(例えば、図10の選択回路176)と、前記第2の解像度の前記色信号成分を、前記第1の予測画像信号と前記第2の予測画像信号のうちの前記選択手段により選択された方を用いて符号化して前記第2の符号化色信号を生成し、前記第2の符号化色信号を含む前記第2のスライスデータ信号を出力する第2の符号化色信号生成手段(例えば、図10の演算器112乃至可変長符号化回路115)とを有することができる。
この画像信号生成装置の前記合成手段(例えば、図10の回路105)は、前記第1のスライスデータ信号と前記第2のスライスデータ信号とともに、前記選択手段による選択の結果(例えば、図10のSpace/Time flag)をさらに多重合成することができる。
この画像信号生成装置の前記第2の画像符号化手段(例えば、図12の回路101)は、符号化済みの画像信号に関する前記第2の符号化色信号を保存する保存手段(例えば、図12のクロマフレームメモリ174)と、前記第1の符号化色信号を復号した信号と、前記保存手段に保存済みの前記第2の符号化色信号を復号した信号とに、其々所定の重み付けを行って合成する信号合成手段と(例えば、図12のアップサンプリング回路111、動き補償回路175、重み付け回路191、重み付け回路192、および、演算器193)とを有し、前記第2の解像度の色信号成分を、前記信号合成手段により重み付け合成された復号信号に基づいて符号化して前記第2の符号化色信号を生成し、前記第2の符号化色信号を含む第2のスライスデータ信号を出力することができる。
この画像信号生成装置の前記第2の画像符号化手段において、前記信号合成手段は、其々大きさが異なる複数の重み付け係数(例えば、図12の係数(1−W)であって、具体的には、1,3/4,2/4,1/4,0と、図12の係数Wであって、0,1/4,2/4,3/4,1)で前記第1の符号化色信号を復号した信号と前記保存手段に保存済みの前記第2の符号化色信号を復号した信号とを重み付け合成して、複数の復号信号を生成し、複数の前記重み付け係数のそれぞれについて、前記復号信号に基づいて前記第2の符号化色信号を生成した場合における予測誤差信号をそれぞれ算出して比較し、何れの復号信号を前記第2の符号化色信号の符号化に用いるか選択する選択手段(例えば、図12の演算器193)を更に有することができる。
この画像信号生成装置の前記合成手段(例えば、図12の回路105)は、前記第1のスライスデータ信号と前記第2のスライスデータ信号とともに、前記重み付け係数(例えば、図10のWeighting Factor:W)をさらに多重合成して出力することができる。
本発明によれば、画像信号生成方法が提供される。この画像信号生成方法(例えば、図10または図12の画像信号生成装置の画像信号生成方法)は、所定のマクロブロック単位で符号化された画像信号を生成する画像信号生成方法であって、マクロブロックの輝度信号成分(例えば、図10または図12のY1乃至Y4)を符号化して符号化輝度信号(例えば、図10または図12の<Y1>,<Y2>,<Y3>,<Y4>)を生成するとともに、前記マクロブロックの色信号成分を第1の解像度で符号化して第1の符号化色信号を生成し(例えば、図10または図12のCb5''とCr6''とを符号化して<cb5''>と<cr6''>を生成し)、前記符号化輝度信号と前記第1の符号化色信号とを含む第1のスライスデータ信号(例えば、図8のマスタスライス)を出力する第1の画像符号化ステップ(例えば、図10または図12の回路100の処理に対応するステップ)と、前記マクロブロックの前記第1の解像度よりも高い第2の解像度の色信号成分(例えば、図10または図12のCb5',Cr6',Cb7',Cr8')を、前記第1の画像符号化ステップの処理により符号化された前記第1の符号化色信号が復号された信号(例えば、回路100の演算器62からの信号)を用いて符号化して第2の符号化色信号(例えば、図10または図12の<Cb5'>,<Cr6'>,<Cb7'>,<Cr8'>)を生成し、前記第2の符号化色信号を含む第2のスライスデータ信号(例えば、図8のスレーブスライス1)を出力する第2の画像符号化ステップ(例えば、図10または図12の回路101に対応するステップ)と、前記第1の画像符号化ステップの処理により出力された前記第1のスライスデータ信号と、前記第2の画像符号化ステップの処理により出力された前記第2のスライスデータ信号とを、復号処理のときに順次読み出されていずれか一方が選択されるように、互いに近接する位置に配置して(例えば、図8に示されるように配置して)合成する合成ステップ(例えば、図10の合成回路105の処理に対応するステップ)とを含むことを特徴とする。
この画像信号生成方法の前記第2の画像符号化ステップ(例えば、図10の回路101の処理に対応するステップ)は、前記第1の符号化色信号が復号された前記信号に基づいて、前記第2の解像度の前記色信号成分に対する第1の予測画像信号を生成する第1の予測画像生成ステップ(例えば、図10のアップサンプリング回路111の処理に対応するステップ)と、符号化済みの画像信号に関する前記第2の符号化色信号が復号された信号を保存する保存ステップ(例えば、図10のクロマフレームメモリ174の処理に対応するステップ)と、前記保存手段に保存済みの前記第2の符号化色信号が復号された信号に基づいて、前記第2の解像度の前記色信号成分に対する第2の予測画像信号を生成する第2の予測画像生成ステップ(例えば、図10の動き補償回路175の処理に対応するステップ)と、前記第1の予測画像生成ステップの処理により生成された前記第1の予測画像信号を用いた場合における予測誤差信号と、前記第2の予測画像生成ステップの処理により生成された前記第2の予測画像信号を用いた場合における予測誤差信号とを比較し、その比較の結果に基づいて、前記第1の予測画像信号と前記第2の予測画像信号のうちのいずれか一方を選択する選択ステップ(例えば、図10の選択回路176の処理に対応するステップ)と、前記第2の解像度の前記色信号成分を、前記第1の予測画像信号と前記第2の予測画像信号のうちの前記選択ステップの処理により選択された方を用いて符号化して前記第2の符号化色信号を生成し、前記第2の符号化色信号を含む前記第2のスライスデータ信号を出力する第2の符号化色信号生成ステップ(例えば、図10の演算器112乃至可変長符号化回路115の処理に対応するステップ)とを含むことができる。
この画像信号生成方法の前記合成ステップ(例えば、図10の回路105に対応する処理)は、前記第1のスライスデータ信号と前記第2のスライスデータ信号とともに、前記選択ステップの選択処理の結果(例えば、図10のSpace/Time flag)をさらに多重合成することができる。
この画像信号生成方法の前記第2の画像符号化ステップ(例えば、図12の回路101の処理に対応するステップ)は、符号化済みの画像信号に関する前記第2の符号化色信号を保存する保存ステップ(例えば、図12のクロマフレームメモリ174の処理に対応するステップ)と、前記第1の符号化色信号を復号した信号と、前記保存ステップの処理により保存済みの前記第2の符号化色信号を復号した信号とに、其々所定の重み付けを行って合成する信号合成ステップ(例えば、図12のアップサンプリング回路111、動き補償回路175、重み付け回路191、重み付け回路192、および、演算器193のそれぞれの処理に対応するステップ)とを有し、前記第2の解像度の色信号成分を、前記信号合成ステップの処理により重み付け合成された復号信号に基づいて符号化して前記第2の符号化色信号を生成し、前記第2の符号化色信号を含む第2のスライスデータ信号を出力することができる。
この画像信号生成装置の前記第2の画像符号化ステップにおいて、前記信号合成ステップは、其々大きさが異なる複数の重み付け係数(例えば、図12の係数(1−W)であって、具体的には、1,3/4,2/4,1/4,0と、図12の係数Wであって、0,1/4,2/4,3/4,1)で前記第1の符号化色信号を復号した信号と前記保存手段に保存済みの前記第2の符号化色信号を復号した信号とを重み付け合成して、複数の復号信号を生成し、複数の前記重み付け係数のそれぞれについて、前記復号信号に基づいて前記第2の符号化色信号を生成した場合における予測誤差信号をそれぞれ算出して比較し、何れの復号信号を前記第2の符号化色信号の符号化に用いるか選択する選択ステップ(例えば、図12の演算器193の処理に対応するステップ)を更に含むことができる。
この画像信号生成方法の前記合成ステップ(例えば、図12の回路105に対応する処理)は、前記第1のスライスデータ信号と前記第2のスライスデータ信号とともに、前記重み付け係数(例えば、図10のWeighting Factor:W)をさらに多重合成して出力することができる。
本発明によれば、画像信号再生装置が提供される。この画像信号再生装置(例えば、図11または図13の画像信号再生装置)は、所定のマクロブロック単位で符号化された画像信号であって、符号化された前記画像信号のうちの所定のマクロブロックの輝度信号成分(例えば、図10または図12のY1乃至Y4)が符号化された符号化輝度信号(例えば、図10または図12の<Y1>,<Y2>,<Y3>,<Y4>)、および前記マクロブロックの色信号成分が第1の解像度で符号化された第1の符号化色信号(例えば、図10または図12のCb5''とCr6''とが符号化された<cb5''>と<cr6''>)を含む第1のスライスデータ信号(例えば、図8のマスタスライス)と、前記マクロブロックの前記第1の解像度よりも高い第2の解像度の色信号成分(例えば、図10または図12のCb5',Cr6',Cb7',Cr8')が、前記第1の符号化色信号が復号された信号(例えば、回路100の演算器62からの信号)を用いて符号化された第2の符号化色信号(例えば、図10または図12の<Cb5'>,<Cr6'>,<Cb7'>,<Cr8'>)を含む第2のスライスデータ信号(例えば、図8のスレーブスライス1)とが、互いに近接する位置に配置されて(例えば、図8に示されるように配置された)供給されてきた前記画像信号を再生する画像信号再生装置である。
詳細には、この画像信号再生装置は、前記マクロブロックに対応する前記第1のスライスデータ信号と前記第2のスライスデータ信号とを順次再生し、再生した前記第1のスライスデータ信号と前記第2のスライスデータ信号とを分離する分離手段(例えば、図11または図13の分離回路150)と、前記第1のスライスデータ信号から、前記符号化輝度信号を復号して前記輝度信号成分を再生するとともに、前記第1の符号化色信号を復号して前記第1の解像度の第1の色信号成分を再生する第1の画像復号手段(例えば、図11または図13の回路161)と、前記第1の画像復号手段により復号された前記第1の色信号成分を用いて、前記第2のスライスデータ信号から前記第2の符号化色信号を復号して、前記第2の解像度の第2の色信号成分を再生する第2の画像復号手段(例えば、図11または図13の回路162)と、前記第1の画像復号手段により再生された前記第1の色信号成分と、前記第2の画像復号手段により再生された前記第2の色信号成分とのうち、前記マクロブロックの復号の処理に用いられる色信号成分を選択する選択手段(例えば、図11または図13の選択回路164)とを備えることを特徴とする。
この画像信号再生装置の前記第2の画像復号化手段(例えば、図11の回路162)は、前記第1の色信号成分に基づいて、前記第2の符号化色信号に対する第1の予測画像信号を生成する第1の予測画像生成手段(例えば、図11のアップサンプリング回路151)と、既に復号された前記第2の色信号成分を保存する保存手段(例えば、図11のクロマフレームメモリ181)と、前記保存手段に保存された前記第2の色信号成分に基づいて、前記第2の符号化色信号に対する第2の予測画像信号を生成する第2の予測画像生成手段(例えば、図11の動き補償回路182)と、前記第1の予測画像生成手段により生成された前記第1の予測画像信号と、前記第2の予測画像生成手段により生成された前記第2の予測画像信号とのうちのいずれか一方を選択する予測画像選択手段(例えば、図11の選択回路183)と、前記第2の符号化色信号を、前記第1の予測画像信号と前記第2の予測画像信号のうちの前記予測画像選択手段により選択された方を用いて復号して前記第2の色信号成分を再生する第2の色信号再生手段(例えば、図11の可変長復号化回路152乃至演算器155)とを有することができる。
この画像信号再生装置においては、前記第1のスライスデータ信号と前記第2のスライスデータ信号とを含む前記画像信号には、前記第1の予測画像信号と前記第2の予測画像信号とのうちの何れを利用するのかを指示する指令(例えば、図11のSpace/Time flag)がさらに多重合成されており、前記予測画像選択手段は、前記指令に基づいて、記第1の予測画像信号と前記第2の予測画像信号とのうちのいずれか一方を選択することができる。
この画像信号再生装置の前記第2の画像復号手段(例えば、図13の回路162)は、前記第1の色信号成分に基づいて、前記第2の符号化色信号に対する第1の予測画像信号を生成する第1の予測画像生成手段(例えば、図13のアップサンプリング回路151)と、既に復号された前記第2の色信号成分を保存する保存手段(例えば、図13のクロマフレームメモリ181)と、前記保存手段に保存された前記第2の色信号成分に基づいて、前記第2の符号化色信号に対する第2の予測画像信号を生成する第2の予測画像生成手段(例えば、図13の動き補償回路182)と、前記第1の予測画像信号と前記第2の予測画像信号とに、それぞれ所定の重み付けを行って合成した合成信号を出力する予測画像合成手段(例えば、図13の重み付け回路201、重み付け回路202、および、演算器203)と、前記第2の符号化色信号を、前記合成信号を用いて復号して前記第2の色信号成分を再生する第2の色信号再生手段(例えば、図13の可変長復号化回路152乃至演算器155)とを有することができる。
この画像信号再生装置においては、前記第1のスライスデータ信号と前記第2のスライスデータ信号とを含む前記画像信号には、前記予測画像合成手段の予測画像信号の合成処理で用いられる重み付け係数(例えば、図13のWeighting Factor:W)がさらに多重合成されており、前記予測画像合成手段は、前記重み付け係数に基づいて前記第1の予測画像信号と前記第2の予測画像信号とを重み付け合成して、前記合成信号を出力することができる。
本発明によれば、画像信号再生方法が提供される。この画像信号再生方法(例えば、図11または図13の画像信号再生装置の画像信号再生方法)は、所定のマクロブロック単位で符号化された画像信号であって、符号化された前記画像信号のうちの所定のマクロブロックの輝度信号成分(例えば、図10または図12のY1乃至Y4)が符号化された符号化輝度信号(例えば、図10または図12の<Y1>,<Y2>,<Y3>,<Y4>)、および前記マクロブロックの色信号成分が第1の解像度で符号化された第1の符号化色信号(例えば、図10または図12のCb5''とCr6''とが符号化された<cb5''>と<cr6''>)を含む第1のスライスデータ信号(例えば、図8のマスタスライス)と、前記マクロブロックの前記第1の解像度よりも高い第2の解像度の色信号成分(例えば、図10または図12のCb5',Cr6',Cb7',Cr8')が、前記第1の符号化色信号が復号された信号(例えば、回路100の演算器62からの信号)を用いて符号化された第2の符号化色信号(例えば、図10または図12の<Cb5'>,<Cr6'>,<Cb7'>,<Cr8'>)を含む第2のスライスデータ信号(例えば、図8のスレーブスライス1)とが、互いに近接する位置に配置されて(例えば、図8に示されるように配置された)供給されてきた前記画像信号を再生する画像信号再生方法である。
詳細には、この画像信号再生方法は、前記マクロブロックに対応する前記第1のスライスデータ信号と前記第2のスライスデータ信号とを順次再生し、再生した前記第1のスライスデータ信号と前記第2のスライスデータ信号とを分離する分離ステップ(例えば、図11または図13の分離回路150の処理に対応するステップ)と、前記第1のスライスデータ信号から、前記符号化輝度信号を復号して前記輝度信号成分を再生するとともに、前記第1の符号化色信号を復号して前記第1の解像度の第1の色信号成分を再生する第1の画像復号ステップ(例えば、図11または図13の回路161の処理に対応するステップ)と、前記第1の画像復号ステップの処理により復号された前記第1の色信号成分を用いて、前記第2のスライスデータ信号から前記第2の符号化色信号を復号して、前記第2の解像度の第2の色信号成分を再生する第2の画像復号ステップ(例えば、図11または図13の回路162の処理に対応するステップ)と、前記第1の画像復号ステップの処理により再生された前記第1の色信号成分と、前記第2の画像復号ステップの処理により再生された前記第2の色信号成分とのうち、前記マクロブロックの復号の処理に用いられる色信号成分を選択する選択ステップ(例えば、図11または図13の選択回路164に対応するステップ)とを含むことを特徴とする。
この画像信号再生方法の前記第2の画像復号化ステップ(例えば、図11の回路162の処理に対応するステップ)は、前記第1の色信号成分に基づいて、前記第2の符号化色信号に対する第1の予測画像信号を生成する第1の予測画像生成ステップ(例えば、図11のアップサンプリング回路151の処理に対応するステップ)と、既に復号された前記第2の色信号成分を保存する保存ステップ(例えば、図11のクロマフレームメモリ181の処理に対応するステップ)と、前記保存ステップの処理により保存された前記第2の色信号成分に基づいて、前記第2の符号化色信号に対する第2の予測画像信号を生成する第2の予測画像生成ステップ(例えば、図11の動き補償回路182に対応するステップ)と、前記第1の予測画像生成ステップの処理により生成された前記第1の予測画像信号と、前記第2の予測画像生成ステップの処理により生成された前記第2の予測画像信号とのうちのいずれか一方を選択する予測画像選択ステップ(例えば、図11の選択回路183の処理に対応するステップ)と、前記第2の符号化色信号を、前記第1の予測画像信号と前記第2の予測画像信号のうちの前記予測画像選択ステップの処理により選択された方を用いて復号して前記第2の色信号成分を再生する第2の色信号再生ステップ(例えば、図11の可変長復号化回路152乃至演算器155の処理に対応するステップ)とを含むことができる。
この画像信号再生方法においては、前記第1のスライスデータ信号と前記第2のスライスデータ信号とを含む前記画像信号には、前記第1の予測画像信号と前記第2の予測画像信号とのうちの何れを利用するのかを指示する指令(例えば、図11のSpace/Time flag)がさらに多重合成されており、前記予測画像選択ステップは、前記指令に基づいて、記第1の予測画像信号と前記第2の予測画像信号とのうちのいずれか一方を選択することができる。
この画像信号再生方法の前記第2の画像復号ステップ(例えば、図13の回路162の処理に対応するステップ)は、前記第1の色信号成分に基づいて、前記第2の符号化色信号に対する第1の予測画像信号を生成する第1の予測画像生成ステップ(例えば、図13のアップサンプリング回路151の処理に対応するステップ)と、既に復号された前記第2の色信号成分を保存する保存ステップ(例えば、図13のクロマフレームメモリ181)と、前記保存手ステップの処理により保存された前記第2の色信号成分に基づいて、前記第2の符号化色信号に対する第2の予測画像信号を生成する第2の予測画像生成ステップ(例えば、図13の動き補償回路182の処理に対応するステップ)と、前記第1の予測画像信号と前記第2の予測画像信号とに、それぞれ所定の重み付けを行って合成した合成信号を出力する予測画像合成ステップ(例えば、図13の重み付け回路201、重み付け回路202、および、演算器203の処理に対応するステップ)と、前記第2の符号化色信号を、前記合成信号を用いて復号して前記第2の色信号成分を再生する第2の色信号再生ステップ(例えば、図13の可変長復号化回路152乃至演算器155の処理に対応するステップ)とを有することができる。
この画像信号再生方法においては、前記第1のスライスデータ信号と前記第2のスライスデータ信号を含む前記画像信号には、前記予測画像合成ステップの予測画像信号の合成処理で用いられる重み付け係数(例えば、図13のWeighting Factor:W)がさらに多重合成されており、前記予測画像合成ステップは、前記重み付け係数に基づいて前記第1の予測画像信号と前記第2の予測画像信号とを重み付け合成して、前記合成信号を出力することができる。
以下、図面を参照して、本発明について説明する。
図1は、本発明の画像信号符号化装置と復号化装置の全体の構成を示すブロック図であり、図17に示した従来の場合と対応する部分には同一の符号を付してある。本実施例においては、A/D変換器300における前処理回路11が出力する色差信号のA/D変換のタイミング(サンプリングのタイミング)が、図17におけるA/D変換器13における場合と異なっている。その結果、A/D変換器300が出力する色差信号をその後段で処理する、色差信号フレームメモリ301、フォーマット変換回路302、エンコーダ(画像信号生成装置)303が従来の場合と異なる構成とされている。
さらにまた、復号化装置2においては、デコーダ(画像信号再生装置)401、フォーマット変換回路402、色差信号フレームメモリ403、およびD/A変換器404が、図17に示したデコーダ31、フォーマット変換回路32、色差信号フレームメモリ35、およびD/A変換器37と異なる構成とされている。
その他の構成は、図17における場合と同様である。
本発明のA/D変換器300においては、図2(A)に示すように、サンプリングが行われる。即ち、A/D変換器12における輝度信号のサンプリング点が、図中、丸印で示されるものとすると、A/D変換器300で行われる色差信号のサンプリング点は、図中、×印で示すように、輝度信号のサンプル点と1:1に対応するものとされる(4:4:4サンプリングとされる)。
このA/D変換器300によりサンプリングされた色差信号は、色差信号フレームメモリ301に供給され、記憶される。色差信号フレームメモリ301より読み出された色差信号は、フォーマット変換回路302に入力され、ダウンサンプリングされる。
即ち、フォーマット変換回路302は、例えば図3に示すようなダウンサンプリング回路を内蔵しており、A/D変換器300により、4:4:4の比でサンプリングされた色差信号を、ローパスフィルタ131で1/2の周波数帯域に帯域制限した後、間引き回路132で、各ラインのデータを1つおきに間引く。これにより、図2(B)に示すように、4:2:2のサンプリングとされる。即ち、この場合においては、各ラインにおいて、2つの輝度信号に対して1つの色差信号が対応することになる。
フォーマット変換回路302は、このようにして、4:2:2の比でサンプリングされた色差信号を、さらに同様にして、内蔵するダウンサンプリング回路によりダウンサンプルして、図2(C)に示すような4:2:0の比のサンプリングの色差信号を生成する。この場合は、4:2:2サンプリングの色差信号を1ラインおきにすべて間引くようにしているため、4つの輝度信号に対して、1つの色差信号が対応することになる。
尚、以上においては、データを単に間引くことにより、サンプリングの比を変更するようにしたが、例えば複数の所定の位置の色差信号を平均するなどして、サブサンプリングすることも可能である。例えば、図2(A)に示す4つの色差信号を平均することにより、図2(C)において、()を付して×印で示す色差信号を得ることができる。
フォーマット変換回路302は、このようにして生成した異なる分解能の階層の信号になされた色差信号を、対応する輝度信号のデータとともにブロック化を行う。これにより、図4に示すように、4:4:4、4:2:2、または4:2:0の3種類のマクロブロックの構成が可能となる。
図4(A)に示すように、4:4:4のマクロブロックは、4個の輝度ブロックY1乃至Y4と、それに対応するCbの色差ブロックCb5,Cb7,Cb9,Cb11と、Crの色差ブロックCr6,Cr8,Cr10,Cr12より構成される。これに対して、図4(B)に示すように、4:2:2のマクロブロックにおいては、輝度ブロックは、図4(A)に示す4:4:4のマクロブロックにおける場合と同一であるが、色差ブロックCbが、Cb5'とCb7'により構成される。また、色差ブロックCrは、Cr6'とCr8'により構成される。さらに、図4(C)に示すように、4:2:0のマクロブロックにおいては、輝度ブロックは、4:4:4のマクロブロックにおける場合と同一であるが、色差ブロックCbは、Cb5”により構成され、色差ブロックCrは、Cr6”により構成される。
尚、各ブロックの符号に付されている数字は、各マクロブロック内において、そのデータを伝送する場合における伝送の順番を示している。また、'は、それがダウンサンプリングされたデータであることを示し、”は、ダウンサンプリングが2回行われたものであることを示している。従って、例えばCb5'は、Cb5を直接ダウンサンプリングして生成したものではない(これは、上述したように、Cb5とCb9をダウンサンプリングして生成したものである)。
図4(B)における4:2:2のマクロブロックの色差データの伝送の順序が、Cb5'の次にCb7'を伝送するようになされていないのは、図4(C)に示す4:2:0のマクロブロックにおける伝送順序と対応させるためである。即ち、図4(C)に示すマクロブロックにおいては、Cb5”の次にCr6”が伝送される。このため、図4(B)に示す4:2:2のマクロブロックにおいても、Cb5'の次にCr6'を伝送するようにしているのである。
同様に、図4(A)に示す4:4:4のマクロブロックにおける伝送順序も、図4(B)に示す4:2:2のマクロブロックの伝送順序に対応するように定められている。このようにすることにより、いずれの比のマクロブロックが伝送されてきた場合においても、エンコーダにおいて共通の回路による処理が可能となる。
但し、本実施例においては、この3種類のマクロブロックがエンコーダ303へ伝送されるのではなく、図4(C)に示す4個の輝度ブロックY1乃至Y4と、2個の色差ブロックCb5”,Cr6”により構成される4:2:0のマクロブロックと、図4(B)に示す4:2:2のマクロブロックを構成するブロックのうち、輝度ブロックを除く色差ブロックCb5',Cb7'、および色差ブロックCr6',Cr8'と、図4(A)に示す4:4:4のマクロブロックのうち、輝度ブロックを除く色差ブロックCb5,Cb7,Cb9,Cb11、および色差ブロックCr6,Cr8,Cr10,Cr12の3種類のデータが、エンコーダ303に伝送される。
エンコーダ303は、例えば図5に示すように構成される。但し、図19における動きベクトル検出回路50、フレームメモリ51、予測モード切り替え回路52、予測判定回路54、DCTモード切り替え回路55、送信バッファ59などは、その図示が省略されているが、図5の実施例においても同様に接続されているものである。
また、図5の実施例においては、フレームメモリ63が、ルマ(輝度信号)フレームメモリ63Lとクロマ(色差信号)フレームメモリ63Cに、また、動き補償回路64が、動き補償回路64Lと動き補償回路64Cに分割して表示されているが、図19の例においては、これを一体的に図示したものであって、図19の装置においても、フレームメモリ63と動き補償回路64は、ルマ(輝度信号)用とクロマ(色差信号)用のものが2つ用意されている。
さらに、図5の実施例においては、ルマフレームメモリ63Lとクロマフレームメモリ63Cは、図19に示した場合と同様に、内部に前方予測画像部と後方予測画像部をそれぞれ有しているものである。
即ち、図5の実施例のうち、動きベクトル検出回路50乃至動き補償回路64により構成されている回路100は、図19における場合と基本的に同様の構成となされている。
この回路100は、色差信号に関して着目すると、最も解像度の低い色差信号を処理するものである。本実施例においては、この回路100における色差信号に較べて、より解像度の高い色差信号を処理するための回路として、アップサンプリング回路111、演算器112、DCT回路113、量子化回路114、可変長符号化回路115よりなる回路101が設けられている。また、回路101における色差信号よりさらに高い解像度の色差信号を処理する回路102として、逆量子化回路121、IDCT回路122、演算器123、アップサンプリング回路124、演算器125、DCT回路126、量子化回路127、可変長符号化回路128が設けられている。
回路102には、最も解像度の高い色差信号が入力されており、回路101には、回路102に入力される色差信号をダウンサンプリング回路103でダウンサンプリングした、解像度の低い色差信号が入力されており、回路100には、回路101に入力される色差信号をさらにダウンサンプリング回路104でダウンサンプリングした、最も低い解像度の色差信号が入力されるようになされている。
図5に示すダウンサンプリング回路103と104は、図1におけるフォーマット変換回路302に内蔵されているものである。そして、4:4:4のマクロブロックを構成するように生成された、最も高い分解能を有する色差ブロックが回路102に入力され、このマクロブロックをダウンサンプリング回路103によりダウンサンプリングした4:2:2のマクロブロックを構成する色差ブロックが、回路101に入力されている。そして、この4:2:2のマクロブロックを構成する色差ブロックを、さらにダウンサンプリング回路104によりダウンサンプリングした、4:2:0のマクロブロックを構成する色差ブロックが、輝度ブロックとともに4:2:0のマクロブロックを単位として、回路100に入力されている。
回路100における処理は、図19を参照して説明した場合と同様であるから、その説明は省略する。ただ、輝度ブロックと色差ブロックの処理の順番について説明を付加しておくと、最初に輝度ブロックY1乃至Y4が順次入力されるので、これらのデータが、動きベクトル検出回路50を介してフレームメモリ51の輝度ブロック用のフレームメモリに書き込まれる。同様にして、色差ブロックのデータは、動きベクトル検出回路50を介してフレームメモリ51の色差ブロック用のフレームメモリに書き込まれる(図19)。
そして、輝度ブロックY1乃至Y4のデータは、フレームメモリ51から読み出され、予測モード切り替え回路52、演算器53、DCT回路56、量子化回路57、逆量子化回路60、IDCT回路61、演算器62、ルマフレームメモリ63L、動き補償回路64Lにより処理された後、可変長符号化回路58、送信バッファ59を介して出力される。
また、色差ブロックのデータは、基本的には輝度ブロックのデータと同様に処理されるのであるが、演算器62より出力された色差ブロックのデータは、クロマフレームメモリ63Cに供給され、記憶される。そして動き補償回路64Cにおいては、輝度ブロックY1乃至Y4における動きベクトルを、水平方向および垂直方向にそれぞれ1/2に短かくした動きベクトルを用いて動き補償が行われる。
これにより、回路100から輝度ブロックY1,Y2,Y3,Y4と、色差ブロックCb5”,Cr6”よりなるグループの信号が合成回路105に供給される。
一方、ダウンサンプリング回路103により4:2:2のマクロブロックのフォーマットに変換された色差ブロックのデータは、回路101の演算器112に供給される。この演算器112にはまた、アップサンプリング回路111により、回路100の演算器62が出力した、より低い分解能の色差ブロックのデータを垂直方向に(空間的に)2倍にアップサンプルしたデータが、予測誤差信号として供給されている。
このアップサンプリング回路111は、例えば図6に示すように、補間回路141により構成することができる。この補間回路141は、例えば図7に示すように、色差データの存在しないラインの色差データを、その上下のラインに位置する色差データの値をそれぞれ1/2した後、加算する(平均する)ことにより生成することができる。ダウンサンプリング回路104によりダウンサンプリングされたときに帯域制限が行われているため、このアップサンプリングにより空間周波数が広がるわけではないが、解像度は2倍にすることができる。
このようにして、アップサンプリング回路111により生成された色差ブロックのデータを、予測画像信号としてダウンサンプリング回路103が出力する色差データから減算し、その差分を生成する。この差分は、アップサンプリング回路111により垂直方向に2倍のアップサンプリングが行われているため、垂直方向の高周波成分を含むことになる。演算器112のこの出力は、DCT回路113によりDCT処理された後、量子化回路114により量子化され、可変長符号化回路115により可変長符号化される。そして、図示はしていないが、送信バッファを介して合成回路105に供給される。これにより、回路100より出力される色差ブロックCb5”,Cr6”より高い解像度を有する色差ブロックCb5',Cr6',Cb7',Cr8'のグループの信号が生成される。
一方、回路102においては、回路101の量子化回路114が出力したデータを逆量子化回路121により逆量子化し、これをさらにIDCT回路122によりIDCT処理して、演算器123に出力している。演算器123には、アップサンプリング回路111より出力された回路101において用いた予測誤差信号が供給されている。演算器123は、このアップサンプリング回路111が出力する予測誤差信号と、IDCT回路122が出力する信号とを加算することにより、回路101における色差信号を局所的に復号する。
そして、演算器123より出力された信号を、アップサンプリング回路124において水平方向に2倍にアップサンプリングして、演算器125に出力する。演算器125は、アップサンプリング回路124の出力する信号を予測誤差信号として、フォーマット変換回路302より供給される4:4:4のマクロブロックフォーマットの色差ブロックのデータから減算する。これにより、その差分データは、水平方向の高周波成分を含むことになる。
この演算器125の出力は、DCT回路126によりDCT処理され、量子化回路127により量子化処理された後、可変長符号化回路128において可変長符号化される。そして、図示せぬ送信バッファを介して合成回路105に出力される。これにより、最も高い解像度を有する色差ブロックCb5,Cr6,Cb7,Cr8,Cb9,Cr10,Cb11,Cr12のグループのデータが得られる。
合成回路105は、このようにして、回路100が出力する輝度ブロックY1乃至Y4と、最も低い解像度の色差ブロックのデータCb5”,Cr6”により構成されるグループのデータと、回路101が出力する中間の解像度の色差ブロックのデータCb5',Cr6',Cb7',Cr8'により構成されるグループのデータ、さらに最も高い解像度の色差ブロックのデータCb5,Cr6,Cb7,Cr8,Cb9,Cr10,Cb11,Cr12により構成されるグループのデータを合成する。
この合成に際して、合成回路105は、図8に示すように、3つのグループのデータの先頭に、それぞれヘッダH1乃至ヘッダH3を配置する。これにより、ヘッダH1とY1,Y2,Y3,Y4,Cb5”,Cr6”により構成されるマスタスライスと、ヘッダH2、Cb5',Cr6'Cb7',Cr8'により構成されるスレーブスライス1と、ヘッダH3、Cb5,Cr6,Cb7,Cr8,Cb9,Cr10,Cb11,Cr12により構成されるスレーブスライス2を単位とするビットストリームが構成され、これが伝送路に供給され、記録媒体3に記録される。
1フレーム分のデータのマスタスライスのデータが伝送された後、次に1フレーム分のスレーブスライス1のデータを伝送し、その次に1フレーム分のスレーブスライス2のデータを伝送するようにすることも理論的には可能である。しかしながら、そのようにすると、リアルタイムで高解像度の色の画像を得ることが困難になるため、図8に示したように、マスタスライス、スレーブスライス1およびスレーブスライスを順次伝送するようにするのが好ましい。
図8に示すフォーマットに従って、記録媒体3に記録されたデータは、記録媒体3から再生され、図1の復号化装置2のデコーダ401に入力される。
このデコーダ401は、例えば図9に示すように構成される。この図9において、図22に示した場合と対応する部分には同一の符号を付してある。この実施例においては、記録媒体3(伝送路)より供給されたデータが受信バッファ81に供給され、一旦記憶された後、分離回路150に供給され、輝度ブロックと最も低い解像度の色差ブロックをグループとするデータと、中間の解像度の色差ブロックのグループのデータと、最も高い解像度の色差ブロックのグループのデータとに分離され、それぞれ回路161,162または163に供給される。
回路161は、図22に示した復号回路90と実質的に同一の構成とされている。回路161においては、フレームメモリ86として、ルマフレームメモリ86Lとクロマフレームメモリ86Cを、また、動き補償回路87として、動き補償回路87Lと動き補償回路87Cを図示しているが、図22の復号回路90においても、図示は省略されているが、これらの回路が内蔵されている。また、図9のルマフレームメモリ86Lとクロマフレームメモリ86Cには、図22に示した前方予測画像部と後方予測画像部の図示が省略されているが、いずれもこれらを内蔵しているものである。
従って、回路161においては、図22において説明した場合と同様に処理が行われる。ルマフレームメモリ86Lとクロマフレームメモリ86Cの関係についてだけ説明しておくと、ルマフレームメモリ86Lには演算器85が出力した輝度ブロックのデータが記憶される。そして、この輝度信号に関する動き補償が動き補償回路87Lにより行われ、演算器85に出力される。これに対して、クロマフレームメモリ86Cには色差ブロックに関するデータが記憶される。そして動き補償回路87Cは、動き補償回路87Lにおいて用いる動きベクトルを水平方向と垂直方向にそれぞれ1/2した動きベクトルを用いて、クロマフレームメモリ86Cより読み出したデータを動き補償して、演算器85に出力する。
このようにして、回路161から4つの輝度ブロックY1乃至Y4と、最も低い解像度の色差信号のブロックCb5”,Cr6”により構成される4:2:0のマクロブロックのデータが、選択回路164に出力される。
一方、分離回路150により分離された中間の解像度を有する色差ブロックのデータは、可変長復号化回路152において可変長復号化され、逆量子化回路153において逆量子化される。そして、さらにIDCT回路154においてIDCT処理された後、演算器155に入力される。
この演算器155には、回路161の演算器85が出力する、より低い解像度の色差ブロックのデータがアップサンプリング回路151により垂直方向にアップサンプリングされて供給されている。即ち、この信号は、図5の回路101のアップサンプリング回路111により生成した予測画像信号に対応する。そこで、IDCT回路154が出力するデータと、アップサンプリング回路151が出力する予測誤差信号とを演算器155で加算することにより、中間の解像度を有する色差信号のブロックCb5',Cr6',Cb7',Cr8'が得られる。この色差信号は、選択回路164に供給される。
さらに、分離回路150により分離された、最も高い解像度を有する色差ブロックCb5,Cr6,Cb7,Cr8,Cb9,Cr10,Cb11,Cr12のデータは、回路163の可変長復号化回路157に供給され、可変長復号化される。可変長復号化回路157より出力された信号は、逆量子化回路158により逆量子化され、IDCT回路159によりIDCT処理された後、演算器160に入力される。
また、この演算器160には、回路162の演算器155が出力する中間の解像度の色差信号がアップサンプリング回路156により水平方向にアップサンプリングされて、予測誤差信号として供給されている。演算器160は、この予測誤差信号をIDCT回路159の出力と加算し、最も高い解像度の色差信号Cb5,Cr6,Cb7,Cr8,Cb9,Cr10,Cb11,Cr12を復号して、選択回路164に出力する。
選択回路164は、図1のフォーマット変換回路402に含まれている。この選択回路164は、輝度信号を選択するとともに、3つの解像度の異なる色差信号のうち、使用者からの指令に対応して、いずれか1つを選択する。輝度信号は輝度信号フレームメモリ34に供給され、色差信号は色差信号フレームメモリ403に供給される。輝度信号フレームメモリ34より読み出された輝度信号は、D/A変換器36によりD/A変換された後、後処理回路38に供給される。また、色差信号フレームメモリ403より読み出された色差信号は、D/A変換器404によりD/A変換された後、後処理回路38に供給される。D/A変換器404のクロックは、選択した色差信号に対応して変更される。
従って、使用者は、必要に応じて3つの階層の解像度のいずれかを任意に選択して、ディスプレイなどに表示させることができる。
図10は、エンコーダ303の第2の実施例を表している。この実施例においては、第1の実施例(図5)における最も高い解像度の色差信号を処理する回路102が省略され、中間の解像度の色差信号を処理する回路101と、最も低い解像度の色差信号と輝度信号とを処理する回路100により構成されている。このうち、回路100は、図5における場合と同様の構成とされている。
一方、回路101は、演算器112、DCT回路113、量子化回路114、可変長符号化回路115に加えて、逆量子化回路171、IDCT回路172、演算器173、クロマフレームメモリ174、動き補償回路175、選択回路176を有している。
即ち、この実施例においては、回路100における動作は図5における場合と同様であり、その説明は省略する。
回路101においては、予測画像信号の生成の方法が図5における場合と異なっている。即ち、この実施例においては、図5の実施例における場合と同様に、回路100の演算器62が出力する、局部的に復号された色差信号を、アップサンプリング回路111により垂直方向にアップサンプリングすることにより、第1の予測画像信号が生成される。
また、量子化回路114が出力する信号を逆量子化回路171により逆量子化し、IDCT回路172によりIDCT処理した後、演算器173に入力している。演算器173には、選択回路176により選択された予測画像信号が入力されている。
演算器173は、この予測画像信号と、IDCT回路172が出力する信号とを加算し、局部的な復号を行う。復号された色差信号は、クロマフレームメモリ174に供給され、記憶される。このクロマフレームメモリ174に記憶された色差信号は、動き補償回路175において、動き補償回路64Lにおける場合の動きベクトルを垂直方向に1/2した動きベクトルを用いて動き補償が行われ、選択回路176に第2の予測画像信号として供給される。
選択回路176は、アップサンプリング回路111が出力する第1の予測画像信号を用いた場合における予測誤差信号と、動き補償回路175が出力する第2の予測画像信号を用いた場合における予測誤差信号とを比較し、小さい予測誤差信号に対応する予測画像信号を選択する。そして、選択した予測画像信号は、上述したようにして、演算器173に供給されて局部的な復号に用いられるとともに、演算器112に供給されて、フォーマット変換回路302から供給される、中間の解像度の色差信号を符号化するための予測画像信号として用いられる。
このように、この実施例においては、回路101において、解像度の低い色差信号の復号画像に対して、補間回路141(図6)などにより構成されるアップサンプリング回路111(空間フィルタ)を適用して、解像度の高い(中間の解像度の)色差信号と同じ解像度の予測画像を生成するとともに、解像度の高い(中間の解像度の)色差信号を局所的に復号して予測画像を生成する。そして、2つの予測画像のうち、予測効率の良好な方を適用的に選択するようにしている。これにより、より効率的にデータを圧縮することが可能となる。
この実施例においてはまた、選択回路176から、アップサンプリング回路111が出力する第1の予測画像信号と、動き補償回路175が出力する第2の予測画像信号のうち、いずれを選択したかを示すスペース(前者を選択した場合)/タイム(後者を選択した場合)フラグが出力され、これが回路100と回路101が出力するデータとともに合成回路105において多重合成され、伝送される。
図11は、図10に示すエンコーダ303によりエンコードされたデータと復号するデコーダ401の実施例を示している。この図11の実施例において、図9に示す実施例と対応する部分には同一の符号を付してある。この実施例においては、図9における最も高い解像度の色差信号を処理する回路163が省略され、中間の解像度の色差信号を処理する回路162、および低い解像度の色差信号と輝度信号を処理する回路161とにより構成されている。回路161の構成は、図9における場合と同様である。
回路162においては、アップサンプリング回路151、可変長復号化回路152、逆量子化回路153、IDCT回路154、演算器155の他に、クロマフレームメモリ181、動き補償回路182、および選択回路183が付加されている。
演算器155より出力された、復号された中間の解像度の色差信号は、クロマフレームメモリ181に供給され、記憶される。そして、動き補償回路182により動き補償回路87Cにおける動きベクトルを垂直方向に1/2にした動きベクトルを用いて動き補償され、時間軸方向の第2の予測画像信号として選択回路183に供給される。
また、この選択回路183には、回路161の演算器85が出力する、より低い解像度の色差信号をアップサンプリング回路151により垂直方向にアップサンプリングし、中間の解像度の色差信号の解像度に伸長した第1の予測画像信号が供給されている。
分離回路150は、受信バッファ81より供給された信号から、スペース/タイムフラグを検出し、これを選択回路183に出力する。選択回路183は、スペースフラグが検出されたとき、アップサンプリング回路151が出力する第1の予測画像信号を選択し、タイムフラグが検出されたとき、動き補償回路182が出力する第2の予測画像信号を選択して、選択した予測画像信号を演算器155に出力する。これにより、中間の解像度の色差信号が適応的に復号される。
図12は、エンコーダ303の第3の実施例を示している。この実施例においては、回路101の構成が、図10に示した第2の実施例の回路101を若干改良した構成とされている。この回路101においては、動き補償回路175が出力した第2の予測画像信号が、重み付け回路191により重み付け係数Wが乗算された後、演算器193に供給される。また、アップサンプリング回路111が出力した第1の予測画像信号が、重み付け回路192により重み付け係数(1−W)が乗算された後、演算器193に供給されている。演算器193は、重み付け回路191と192より供給された、重み付けされた予測画像信号を加算する。
例えば重み付け係数Wとして、0,1/4,2/4,3/4,1が重み付け回路191により設定されるとき、重み付け回路192においては、重み付け係数(1−W)として、1,3/4,2/4,1/4,0が設定される。重み付け回路191と192は、入力された予測画像信号にそれぞれ5種類の係数を乗算して、5種類の予測画像信号を演算器193に出力する。演算器193は、5種類の重み付けされた予測画像信号を、それぞれ対応するものどうしを加算して、5種類の予測画像信号を生成する。そして、5種類のそれぞれを採用した場合における予測誤差信号を生成し、この予測誤差信号が最も小さいものを最終的な予測誤差信号として選択し、選択した予測誤差信号に対応する予測画像信号を演算器112と173に出力する。
これにより、より効率的な圧縮が可能となる。
尚、この実施例においては、演算器193が最終的に選択した重み付け係数Wを合成回路105に出力する。合成回路105は、この重み付け係数Wを他の色差信号と多重合成して出力する。
図13は、図12に示したエンコーダ303によりエンコードした信号をデコードする場合のデコーダ401の構成例を示している。この図13の実施例は、図11に示した実施例と基本的に同様の構成とされている。但し、回路162の構成が、図11における場合を若干改良したものとなっている。
図13の実施例においては、動き補償回路182が出力する予測画像信号が重み付け回路201において係数Wで重み付けされた後、演算器203に供給される。また、アップサンプリング回路151が出力する予測画像信号が、重み付け回路202により係数(1−W)だけ重み付けされた後、演算器203に供給されている。この重み付け回路201と202における重み付け係数Wは、図12における重み付け回路191と192の重み付け係数に対応されている。
従って、演算器203は、重み付け回路201が出力する、5種類の重み付けがなされた第2の予測画像信号と、重み付け回路202が出力する、5種類の重み付けがなされた第1の予測画像信号との対応するものどうしを加算する。そして、分離回路150が受信バッファ81より供給される信号から分離した重み付け係数Wに対応するものを、加算した予測画像信号の中から選択する。そして、この選択された予測画像信号が演算器155に入力され、中間の解像度を有する色差信号の予測画像信号として用いられる。
尚、以上の実施例においては、n×n(上記実施例はn=8)画素のブロックのデータを直交変換するのに、DCTによりバンド分割を行うようにしたが、例えばQMFなどを用いてサブバンド分割を行うこともできる。また、ウェーブレッド変換によりオクターブ分割を行うようにしたり、入力した2次元画像データについて、所定の変換や分割を行って符号化を行う場合に適用することが可能である。
さらにまた、符号化されたビデオ信号のビットストリームに対して、符号化されたオーディオ信号、同期信号を多重化し、さらにエラー訂正用のコードを付加し、所定の変調を加えて、この変調信号によりレーザ光を変調し、ディスク上にピット、またはマークとして記録するようにすることができる。また、このディスクをマスタディスクとしてスタンパを形成し、このスタンパより大量の複製ディスク(例えば光ディスク)を成形することができる。この場合、デコーダは、この複製ディスクからデータを再生することになる。
1 符号化装置, 2 復号化装置, 3 記録媒体, 12,13 A/D変換器, 14 フレームメモリ, 15 輝度信号フレームメモリ, 16 色差信号フレームメモリ, 17 フォーマット変換回路, 18 エンコーダ, 31 デコーダ, 32 フォーマット変換回路, 33 フレームメモリ, 34 輝度信号フレームメモリ, 35 色差信号フレームメモリ, 36,37 D/A変換器, 50 動きベクトル検出回路, 51 フレームメモリ, 52 予測モード切り替え回路, 53 演算部, 54 予測判定回路, 55 DCTモード切り替え回路, 56 DCT回路, 57 量子化回路, 58 可変長符号化回路, 59 送信バッファ, 60 逆量子化回路, 61 IDCT回路, 62 演算器, 63 フレームメモリ, 64 動き補償回路, 81 受信バッファ, 82 可変長復号化回路, 83 逆量子化回路, 84 IDCT回路, 85 演算器, 86 フレームメモリ, 87 動き補償回路, 100,101,102 回路, 103,104 ダウンサンプリング回路, 111,124 アップサンプリング回路, 131 ローパスフィルタ, 132 間引き回路, 141 補間回路