JP3552045B2 - Recording method of image signal recording medium, image signal recording device, and image signal reproducing device - Google Patents
Recording method of image signal recording medium, image signal recording device, and image signal reproducing device Download PDFInfo
- Publication number
- JP3552045B2 JP3552045B2 JP2001252202A JP2001252202A JP3552045B2 JP 3552045 B2 JP3552045 B2 JP 3552045B2 JP 2001252202 A JP2001252202 A JP 2001252202A JP 2001252202 A JP2001252202 A JP 2001252202A JP 3552045 B2 JP3552045 B2 JP 3552045B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- circuit
- image
- encoded
- slice data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、動画像信号を、例えば光磁気ディスクや磁気テープなどの記録媒体に記録し、これを再生してディスプレイなどに表示したり、テレビ会議システム、テレビ電話システム、放送用機器など、動画像信号を伝送路を介して送信側から受信側に伝送し、受信側において、これを受信し、表示する場合などに用いて好適な画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置に関する。
【0002】
【従来の技術】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化するようになされている。
【0003】
ライン相関を利用すると、画像信号を、例えばDCT(離散コサイン変換)処理するなどして圧縮することができる。
【0004】
また、フレーム間相関を利用すると、画像信号をさらに圧縮して符号化することが可能となる。例えば図14に示すように、時刻t1,t2,t3において、フレーム画像PC1,PC2,PC3がそれぞれ発生しているとき、フレーム画像PC1とPC2の画像信号の差を演算して、PC12を生成し、また、フレーム画像PC2とPC3の差を演算して、PC23を生成する。通常、時間的に隣接するフレームの画像は、それ程大きな変化を有していないため、両者の差を演算すると、その差分信号は小さな値のものとなる。そこで、この差分信号を符号化すれば、符号量を圧縮することができる。
【0005】
しかしながら、差分信号のみを伝送したのでは、元の画像を復元することができない。そこで、各フレームの画像を、Iピクチャ、PピクチャまたはBピクチャの3種類のピクチャのいずれかのピクチャとし、画像信号を圧縮符号化するようにしている。
【0006】
即ち、例えば図15に示すように、フレームF1乃至F17までの17フレームの画像信号をグループオブピクチャとし、処理の1単位とする。そして、その先頭のフレームF1の画像信号はIピクチャとして符号化し、第2番目のフレームF2はBピクチャとして、また第3番目のフレームF3はPピクチャとして、それぞれ処理する。以下、第4番目以降のフレームF4乃至F17は、BピクチャまたはPピクチャとして交互に処理する。
【0007】
Iピクチャの画像信号としては、その1フレーム分の画像信号をそのまま伝送する。これに対して、Pピクチャの画像信号としては、基本的には、図15(A)に示すように、それより時間的に先行するIピクチャまたはPピクチャの画像信号からの差分を伝送する。さらにBピクチャの画像信号としては、基本的には、図15(B)に示すように、時間的に先行するフレームまたは後行するフレームの両方の平均値からの差分を求め、その差分を符号化する。
【0008】
図16は、このようにして、動画像信号を符号化する方法の原理を示している。同図に示すように、最初のフレームF1はIピクチャとして処理されるため、そのまま伝送データF1Xとして伝送路に伝送される(画像内符号化)。これに対して、第2のフレームF2は、Bピクチャとして処理されるため、時間的に先行するフレームF1と、時間的に後行するフレームF3の平均値との差分が演算され、その差分が伝送データF2Xとして伝送される。
【0009】
但し、このBピクチャとしての処理は、さらに細かく説明すると、4種類存在する。その第1の処理は、元のフレームF2のデータをそのまま伝送データF2Xとして伝送するものであり(SP1)(イントラ符号化)、Iピクチャにおける場合と同様の処理となる。第2の処理は、時間的に後のフレームF3からの差分を演算し、その差分(SP2)を伝送するものである(後方予測符号化)。第3の処理は、時間的に先行するフレームF1との差分(SP3)を伝送するものである(前方予測符号化)。さらに第4の処理は、時間的に先行するフレームF1と後行するフレームF3の平均値との差分(SP4)を生成し、これを伝送データF2Xとして伝送するものである(両方向予測符号化)。
【0010】
この4つの方法のうち、伝送データが最も少なくなる方法が採用される。
【0011】
尚、差分データを伝送するとき、差分を演算する対象となるフレームの画像(予測画像)との間の動きベクトルx1(フレームF1とF2の間の動きベクトル)(前方予測の場合)、もしくはx2(フレームF3とF2の間の動きベクトル)(後方予測の場合)、またはx1とx2の両方(両方向予測の場合)が、差分データとともに伝送される。
【0012】
また、PピクチャのフレームF3は、時間的に先行するフレームF1を予測画像として、このフレームとの差分信号(SP3)と、動きベクトルx3が演算され、これが伝送データF3Xとして伝送される(前方予測符号化)。あるいはまた、元のフレームF3のデータがそのまま伝送データF3Xとして伝送される(SP1)(イントラ符号化)。いずれの方法により伝送されるかは、Bピクチャにおける場合と同様に、伝送データがより少なくなる方が選択される。
【0013】
図17は、上述した原理に基づいて、動画像信号を符号化して伝送し、これを復号化する装置の構成例を示している。符号化装置1は、入力された映像信号を符号化し、伝送路としての記録媒体3に伝送するようになされている。そして、復号化装置2は、記録媒体3に記録された信号を再生し、これを復号して出力するようになされている。
【0014】
符号化装置1においては、入力された映像信号が前処理回路11に入力され、そこで輝度信号と色信号(この例の場合、色差信号)が分離され、それぞれA/D変換器12,13でA/D変換される。A/D変換器12,13によりA/D変換されてデジタル信号となった映像信号は、フレームメモリ14に供給され、記憶される。フレームメモリ14は、輝度信号を輝度信号フレームメモリ15に、また、色差信号を色差信号フレームメモリ16に、それぞれ記憶させる。
【0015】
フォーマット変換回路17は、フレームメモリ14に記憶されたフレームフォーマットの信号を、ブロックフォーマットの信号に変換する。即ち、図18に示すように、フレームメモリ14に記憶された映像信号は、1ライン当りHドットのラインがVライン集められたフレームフォーマットのデータとされている。フォーマット変換回路17は、この1フレームの信号を、16ラインを単位としてM個のスライスに区分する。そして、各スライスは、M個のマクロブロックに分割される。各マクロブロックは、16×16個の画素(ドット)に対応する輝度信号により構成され、この輝度信号は、さらに8×8ドットを単位とするブロックY[1]乃至Y[4]に区分される。そして、この16×16ドットの輝度信号には、8×8ドットのCb信号と、8×8ドットのCr信号が対応される。
【0016】
このように、ブロックフォーマットに変換されたデータは、フォーマット変換回路17からエンコーダ18に供給され、ここでエンコード(符号化)が行われる。その詳細については、図19を参照して後述する。
【0017】
エンコーダ18によりエンコードされた信号は、ビットストリームとして伝送路に出力され、例えば記録媒体3に記録される。
【0018】
記録媒体3より再生されたデータは、復号化装置2のデコーダ31に供給され、デコードされる。デコーダ31の詳細については、図22を参照して後述する。
【0019】
デコーダ31によりデコードされたデータは、フォーマット変換回路32に入力され、ブロックフォーマットからフレームフォーマットに変換される。そして、フレームフォーマットの輝度信号は、フレームメモリ33の輝度信号フレームメモリ34に供給され、記憶され、色差信号は色差信号フレームメモリ35に供給され、記憶される。輝度信号フレームメモリ34と色差信号フレームメモリ35より読み出された輝度信号と色差信号は、D/A変換器36と37によりそれぞれD/A変換され、後処理回路38に供給され、合成される。そして、図示せぬ例えばCRTなどのディスプレイに出力され、表示される。
【0020】
次に図19を参照して、エンコーダ18の構成例について説明する。
【0021】
符号化されるべき画像データは、マクロブロック単位で動きベクトル検出回路50に入力される。動きベクトル検出回路50は、予め設定されている所定のシーケンスに従って、各フレームの画像データを、Iピクチャ、Pピクチャ、またはBピクチャとして処理する。シーケンシャルに入力される各フレームの画像を、I,P,Bのいずれのピクチャとして処理するかは、予め定められている(例えば、図15に示したように、フレームF1乃至F17により構成されるグループオブピクチャが、I,B,P,B,P,・・・B,Pとして処理される)。
【0022】
Iピクチャとして処理されるフレーム(例えばフレームF1)の画像データは、動きベクトル検出回路50からフレームメモリ51の前方原画像部51aに転送、記憶され、Bピクチャとして処理されるフレーム(例えばフレームF2)の画像データは、原画像部51bに転送、記憶され、Pピクチャとして処理されるフレーム(例えばフレームF3)の画像データは、後方原画像部51cに転送、記憶される。
【0023】
また、次のタイミングにおいて、さらにBピクチャ(フレームF4)またはPピクチャ(フレームF5)として処理すべきフレームの画像が入力されたとき、それまで後方原画像部51cに記憶されていた最初のPピクチャ(フレームF3)の画像データが、前方原画像部51aに転送され、次のBピクチャ(フレームF4)の画像データが、原画像部51bに記憶(上書き)され、次のPピクチャ(フレームF5)の画像データが、後方原画像部51cに記憶(上書き)される。このような動作が順次繰り返される。
【0024】
フレームメモリ51に記憶された各ピクチャの信号は、そこから読み出され、予測モード切り替え回路52において、フレーム予測モード処理、またはフィールド予測モード処理が行なわれる。さらにまた予測判定回路54の制御の下に、演算部53において、画像内予測、前方予測、後方予測、または両方向予測の演算が行なわれる。これらの処理のうち、いずれの処理を行なうかは、予測誤差信号(処理の対象とされている参照画像と、これに対する予測画像との差分)に対応して決定される。このため、動きベクトル検出回路50は、この判定に用いられる予測誤差信号の絶対値和(2乗和でもよい)を生成する。
【0025】
ここで、予測モード切り替え回路52におけるフレーム予測モードとフィールド予測モードについて説明する。
【0026】
フレーム予測モードが設定された場合においては、予測モード切り替え回路52は、動きベクトル検出回路50より供給される4個の輝度ブロックY[1]乃至Y[4]を、そのまま後段の演算部53に出力する。即ち、この場合においては、図20(A)に示すように、各輝度ブロックに奇数フィールドのラインのデータと、偶数フィールドのラインのデータとが混在した状態となっている。このフレーム予測モードにおいては、4個の輝度ブロック(マクロブロック)を単位として予測が行われ、4個の輝度ブロックに対して1個の動きベクトルが対応される。
【0027】
これに対して、予測モード切り替え回路52は、フィールド予測モードにおいては、図20(A)に示す構成で動きベクトル検出回路50より入力される信号を、図20(B)に示すように、4個の輝度ブロックのうち、輝度ブロックY[1]とY[2]を、例えば奇数フィールドのラインのドットによりのみ構成させ、他の2個の輝度ブロックY[3]とY[4]を、偶数フィールドのラインのデータにより構成させて、演算部53に出力する。この場合においては、2個の輝度ブロックY[1]とY[2]に対して、1個の動きベクトルが対応され、他の2個の輝度ブロックY[3]とY[4]に対して、他の1個の動きベクトルが対応される。
【0028】
動きベクトル検出回路50は、フレーム予測モードにおける予測誤差の絶対値和と、フィールド予測モードにおける予測誤差の絶対値和を、予測モード切り替え回路52に出力する。予測モード切り替え回路52は、フレーム予測モードとフィールド予測モードにおける予測誤差の絶対値和を比較し、その値が小さい予測モードに対応する処理を施して、データを演算部53に出力する。
【0029】
但し、このような処理は、実際には動きベクトル検出回路50で行われる。即ち、動きベクトル検出回路50は、決定されたモードに対応する構成の信号を予測モード切り替え回路52に出力し、予測モード切り替え回路52は、その信号を、そのまま後段の演算部53に出力する。
【0030】
尚、色差信号は、フレーム予測モードの場合、図20(A)に示すように、奇数フィールドのラインのデータと偶数フィールドのラインのデータとが混在する状態で、演算部53に供給される。また、フィールド予測モードの場合、図20(B)に示すように、各色差ブロックCb,Crの上半分(4ライン)が、輝度ブロックY[1],Y[2]に対応する奇数フィールドの色差信号とされ、下半分(4ライン)が、輝度ブロックY[3],Y[4]に対応する偶数フィールドの色差信号とされる。
【0031】
また、動きベクトル検出回路50は、次のようにして、予測判定回路54において、画像内予測、前方予測、後方予測、または両方向予測のいずれの予測を行なうかを決定するための予測誤差の絶対値和を生成する。
【0032】
即ち、画像内予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Aijの和ΣAijの絶対値|ΣAij|と、マクロブロックの信号Aijの絶対値|Aij|の和Σ|Aij|の差を求める。また、前方予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Aijと、予測画像のマクロブロックの信号Bijの差Aij−Bijの絶対値|Aij−Bij|の和Σ|Aij−Bij|を求める。また、後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に(その予測画像を前方予測における場合と異なる予測画像に変更して)求める。
【0033】
これらの絶対値和は、予測判定回路54に供給される。予測判定回路54は、前方予測、後方予測および両方向予測の予測誤差の絶対値和のうち、最も小さいものを、インター予測の予測誤差の絶対値和として選択する。さらに、このインター予測の予測誤差の絶対値和と、画像内予測の予測誤差の絶対値和とを比較し、その小さい方を選択し、この選択した絶対値和に対応するモードを予測モードとして選択する。即ち、画像内予測の予測誤差の絶対値和の方が小さければ、画像内予測モードが設定される。インター予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測または両方向予測モードのうち、対応する絶対値和が最も小さかったモードが設定される。
【0034】
このように、動きベクトル検出回路50は、参照画像のマクロブロックの信号を、フレームまたはフィールド予測モードのうち、予測モード切り替え回路52により選択されたモードに対応する構成で、予測モード切り替え回路52を介して演算部53に供給するとともに、4つの予測モードのうち、予測判定回路54により選択された予測モードに対応する予測画像と参照画像の間の動きベクトルを検出し、可変長符号化回路58と動き補償回路64に出力する。上述したように、この動きベクトルとしては、対応する予測誤差の絶対値和が最小となるものが選択される。
【0035】
予測判定回路54は、動きベクトル検出回路50が前方原画像部51aよりIピクチャの画像データを読み出しているとき、予測モードとして、フレーム(画像)内予測モード(動き補償を行わないモード)を設定し、演算部53のスイッチ53dを接点a側に切り替える。これにより、Iピクチャの画像データがDCTモード切り替え回路55に入力される。
【0036】
このDCTモード切り替え回路55は、図21(A)または(B)に示すように、4個の輝度ブロックのデータを、奇数フィールドのラインと偶数フィールドのラインが混在する状態(フレームDCTモード)、または、分離された状態(フィールドDCTモード)、のいずれかの状態にして、DCT回路56に出力する。
【0037】
即ち、DCTモード切り替え回路55は、奇数フィールドと偶数フィールドのデータを混在してDCT処理した場合における符号化効率と、分離した状態においてDCT処理した場合の符号化効率とを比較し、符号化効率の良好なモードを選択する。
【0038】
例えば、入力された信号を、図21(A)に示すように、奇数フィールドと偶数フィールドのラインが混在する構成とし、上下に隣接する奇数フィールドのラインの信号と偶数フィールドのラインの信号の差を演算し、さらにその絶対値の和(または自乗和)を求める。また、入力された信号を、図21(B)に示すように、奇数フィールドと偶数フィールドのラインが分離した構成とし、上下に隣接する奇数フィールドのライン同士の信号の差と、偶数フィールドのライン同士の信号の差を演算し、それぞれの絶対値の和(または自乗和)を求める。さらに、両者(絶対値和)を比較し、小さい値に対応するDCTモードを設定する。即ち、前者の方が小さければ、フレームDCTモードを設定し、後者の方が小さければ、フィールドDCTモードを設定する。
【0039】
そして、選択したDCTモードに対応する構成のデータをDCT回路56に出力するとともに、選択したDCTモードを示すDCTフラグを、可変長符号化回路58と動き補償回路64に出力する。
【0040】
予測モード切り替え回路52における予測モード(図20)と、このDCTモード切り替え回路55におけるDCTモード(図21)を比較して明らかなように、輝度ブロックに関しては、両者の各モードにおけるデータ構造は実質的に同一である。
【0041】
予測モード切り替え回路52において、フレーム予測モード(奇数ラインと偶数ラインが混在するモード)が選択された場合、DCTモード切り替え回路55においても、フレームDCTモード(奇数ラインと偶数ラインが混在するモード)が選択される可能性が高く、また予測モード切り替え回路52において、フィールド予測モード(奇数フィールドと偶数フィールドのデータが分離されたモード)が選択された場合、DCTモード切り替え回路55において、フィールドDCTモード(奇数フィールドと偶数フィールドのデータが分離されたモード)が選択される可能性が高い。
【0042】
しかしながら、必ずしも常にそのようになされるわけではなく、予測モード切り替え回路52においては、予測誤差の絶対値和が小さくなるようにモードが決定され、DCTモード切り替え回路55においては、符号化効率が良好となるようにモードが決定される。
【0043】
DCTモード切り替え回路55より出力されたIピクチャの画像データは、DCT回路56に入力され、DCT(離散コサイン変換)処理され、DCT係数に変換される。このDCT係数は、量子化回路57に入力され、送信バッファ59のデータ蓄積量(バッファ蓄積量)に対応した量子化ステップで量子化された後、可変長符号化回路58に入力される。
【0044】
可変長符号化回路58は、量子化回路57より供給される量子化ステップ(スケール)に対応して、量子化回路57より供給される画像データ(いまの場合、Iピクチャのデータ)を、例えばハフマン符号などの可変長符号に変換し、送信バッファ59に出力する。
【0045】
可変長符号化回路58にはまた、量子化回路57より量子化ステップ(スケール)、予測判定回路54より予測モード(画像内予測、前方予測、後方予測、または両方向予測のいずれが設定されたかを示すモード)、動きベクトル検出回路50より動きベクトル、予測モード切り替え回路52より予測フラグ(フレーム予測モードまたはフィールド予測モードのいずれが設定されたかを示すフラグ)、およびDCTモード切り替え回路55が出力するDCTフラグ(フレームDCTモードまたはフィールドDCTモードのいずれが設定されたかを示すフラグ)が入力されており、これらも可変長符号化される。
【0046】
送信バッファ59は、入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路57に出力する。
【0047】
送信バッファ59は、そのデータ残量が許容上限値まで増量すると、量子化制御信号によって量子化回路57の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。また、これとは逆に、データ残量が許容下限値まで減少すると、送信バッファ59は、量子化制御信号によって量子化回路57の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、送信バッファ59のオーバフローまたはアンダフローが防止される。
【0048】
そして、送信バッファ59に蓄積されたデータは、所定のタイミングで読み出され、伝送路に出力され、例えば記録媒体3に記録される。
【0049】
一方、量子化回路57より出力されたIピクチャのデータは、逆量子化回路60に入力され、量子化回路57より供給される量子化ステップに対応して逆量子化される。逆量子化回路60の出力は、IDCT(逆DCT)回路61に入力され、逆DCT処理された後、演算器62を介してフレームメモリ63の前方予測画像部63aに供給され、記憶される。
【0050】
動きベクトル検出回路50は、シーケンシャルに入力される各フレームの画像データを、たとえば、I,B,P,B,P,B・・・のピクチャとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをIピクチャとして処理した後、次に入力されたフレームの画像をBピクチャとして処理する前に、さらにその次に入力されたフレームの画像データをPピクチャとして処理する。Bピクチャは、後方予測を伴うため、後方予測画像としてのPピクチャが先に用意されていないと、復号することができないからである。
【0051】
そこで動きベクトル検出回路50は、Iピクチャの処理の次に、後方原画像部51cに記憶されているPピクチャの画像データの処理を開始する。そして、上述した場合と同様に、マクロブロック単位でのフレーム間差分(予測誤差)の絶対値和が、動きベクトル検出回路50から予測モード切り替え回路52と予測判定回路54に供給される。予測モード切り替え回路52と予測判定回路54は、このPピクチャのマクロブロックの予測誤差の絶対値和に対応して、フレーム/フィールド予測モード、または画像内予測、前方予測、後方予測、もしくは両方向予測の予測モードを設定する。
【0052】
演算部53はフレーム内予測モードが設定されたとき、スイッチ53dを上述したように接点a側に切り替える。従って、このデータは、Iピクチャのデータと同様に、DCTモード切り替え回路55、DCT回路56、量子化回路57、可変長符号化回路58、送信バッファ59を介して伝送路に伝送される。また、このデータは、逆量子化回路60、IDCT回路61、演算器62を介してフレームメモリ63の後方予測画像部63bに供給され、記憶される。
【0053】
前方予測モードの時、スイッチ53dが接点bに切り替えられるとともに、フレームメモリ63の前方予測画像部63aに記憶されている画像(いまの場合Iピクチャの画像)データが読み出され、動き補償回路64により、動きベクトル検出回路50が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路64は、予測判定回路54より前方予測モードの設定が指令されたとき、前方予測画像部63aの読み出しアドレスを、動きベクトル検出回路50がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【0054】
動き補償回路64より出力された予測画像データは、演算器53aに供給される。演算器53aは、予測モード切り替え回路52より供給された参照画像のマクロブロックのデータから、動き補償回路64より供給された、このマクロブロックに対応する予測画像データを減算し、その差分(予測誤差)を出力する。この差分データは、DCTモード切り替え回路55、DCT回路56、量子化回路57、可変長符号化回路58、送信バッファ59を介して伝送路に伝送される。また、この差分データは、逆量子化回路60、IDCT回路61により局所的に復号され、演算器62に入力される。
【0055】
この演算器62にはまた、演算器53aに供給されている予測画像データと同一のデータが供給されている。演算器62は、IDCT回路61が出力する差分データに、動き補償回路64が出力する予測画像データを加算する。これにより、元の(復号した)Pピクチャの画像データが得られる。このPピクチャの画像データは、フレームメモリ63の後方予測画像部63bに供給され、記憶される。
【0056】
動きベクトル検出回路50は、このように、IピクチャとPピクチャのデータが前方予測画像部63aと後方予測画像部63bにそれぞれ記憶された後、次にBピクチャの処理を実行する。予測モード切り替え回路52と予測判定回路54は、マクロブロック単位でのフレーム間差分の絶対値和の大きさに対応して、フレーム/フィールドモードを設定し、また、予測モードをフレーム内予測モード、前方予測モード、後方予測モード、または両方向予測モードのいずれかに設定する。
【0057】
上述したように、フレーム内予測モードまたは前方予測モードの時、スイッチ53dは接点aまたはbに切り替えられる。このとき、Pピクチャにおける場合と同様の処理が行われ、データが伝送される。
【0058】
これに対して、後方予測モードまたは両方向予測モードが設定された時、スイッチ53dは、接点cまたはdにそれぞれ切り替えられる。
【0059】
スイッチ53dが接点cに切り替えられている後方予測モードの時、後方予測画像部63bに記憶されている画像(いまの場合、Pピクチャの画像)データが読み出され、動き補償回路64により、動きベクトル検出回路50が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路64は、予測判定回路54より後方予測モードの設定が指令されたとき、後方予測画像部63bの読み出しアドレスを、動きベクトル検出回路50がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【0060】
動き補償回路64より出力された予測画像データは、演算器53bに供給される。演算器53bは、予測モード切り替え回路52より供給された参照画像のマクロブロックのデータから、動き補償回路64より供給された予測画像データを減算し、その差分を出力する。この差分データは、DCTモード切り替え回路55、DCT回路56、量子化回路57、可変長符号化回路58、送信バッファ59を介して伝送路に伝送される。
【0061】
スイッチ53dが接点dに切り替えられている両方向予測モードの時、前方予測画像部63aに記憶されている画像(いまの場合、Iピクチャの画像)データと、後方予測画像部63bに記憶されている画像(いまの場合、Pピクチャの画像)データが読み出され、動き補償回路64により、動きベクトル検出回路50が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路64は、予測判定回路54より両方向予測モードの設定が指令されたとき、前方予測画像部63aと後方予測画像部63bの読み出しアドレスを、動きベクトル検出回路50がいま出力しているマクロブロックの位置に対応する位置から動きベクトル(この場合の動きベクトルは、前方予測画像用と後方予測画像用の2つとなる)に対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【0062】
動き補償回路64より出力された予測画像データは、演算器53cに供給される。演算器53cは、動きベクトル検出回路50より供給された参照画像のマクロブロックのデータから、動き補償回路64より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データは、DCTモード切り替え回路55、DCT回路56、量子化回路57、可変長符号化回路58、送信バッファ59を介して伝送路に伝送される。
【0063】
Bピクチャの画像は、他の画像の予測画像とされることがないため、フレームメモリ63には記憶されない。
【0064】
尚、フレームメモリ63において、前方予測画像部63aと後方予測画像部63bは、必要に応じてバンク切り替えが行われ、所定の参照画像に対して、一方または他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り替えて出力することができる。
【0065】
以上においては、輝度ブロックを中心として説明をしたが、色差ブロックについても同様に、図20および図21に示すマクロブロックを単位として処理され、伝送される。尚、色差ブロックを処理する場合の動きベクトルは、対応する輝度ブロックの動きベクトルを垂直方向と水平方向に、それぞれ1/2にしたものが用いられる。
【0066】
次に、図22は、図17のデコーダ31の一例の構成を示すブロック図である。伝送路(記録媒体3)を介して伝送された符号化された画像データは、図示せぬ受信回路で受信されたり、再生装置で再生され、受信バッファ81に一時記憶された後、復号回路90の可変長復号化回路82に供給される。可変長復号化回路82は、受信バッファ81より供給されたデータを可変長復号化し、動きベクトル、予測モード、予測フラグおよびDCTフラグを動き補償回路87に、また、量子化ステップを逆量子化回路83に、それぞれ出力するとともに、復号された画像データを逆量子化回路83に出力する。
【0067】
逆量子化回路83は、可変長復号化回路82より供給された画像データを、同じく可変長復号化回路82より供給された量子化ステップに従って逆量子化し、IDCT回路84に出力する。逆量子化回路83より出力されたデータ(DCT係数)は、IDCT回路84で、逆DCT処理され、演算器85に供給される。
【0068】
IDCT回路84より供給された画像データが、Iピクチャのデータである場合、そのデータは演算器85より出力され、演算器85に後に入力される画像データ(PまたはBピクチャのデータ)の予測画像データ生成のために、フレームメモリ86の前方予測画像部86aに供給されて記憶される。また、このデータは、フォーマット変換回路32(図17)に出力される。
【0069】
IDCT回路84より供給された画像データが、その1フレーム前の画像データを予測画像データとするPピクチャのデータであって、前方予測モードのデータである場合、フレームメモリ86の前方予測画像部86aに記憶されている、1フレーム前の画像データ(Iピクチャのデータ)が読み出され、動き補償回路87で可変長復号化回路82より出力された動きベクトルに対応する動き補償が施される。そして、演算器85において、IDCT回路84より供給された画像データ(差分のデータ)と加算され、出力される。この加算されたデータ、即ち、復号されたPピクチャのデータは、演算器85に後に入力される画像データ(BピクチャまたはPピクチャのデータ)の予測画像データ生成のために、フレームメモリ86の後方予測画像部86bに供給されて記憶される。
【0070】
Pピクチャのデータであっても、画像内予測モードのデータは、Iピクチャのデータと同様に、演算器85で特に処理は行わず、そのまま後方予測画像部86bに記憶される。
【0071】
このPピクチャは、次のBピクチャの次に表示されるべき画像であるため、この時点では、まだフォーマット変換回路32へ出力されない(上述したように、Bピクチャの後に入力されたPピクチャが、Bピクチャより先に処理され、伝送されている)。
【0072】
IDCT回路84より供給された画像データが、Bピクチャのデータである場合、可変長復号化回路82より供給された予測モードに対応して、フレームメモリ86の前方予測画像部86aに記憶されているIピクチャの画像データ(前方予測モードの場合)、後方予測画像部86bに記憶されているPピクチャの画像データ(後方予測モードの場合)、または、その両方の画像データ(両方向予測モードの場合)が読み出され、動き補償回路87において、可変長復号化回路82より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。但し、動き補償を必要としない場合(画像内予測モードの場合)、予測画像は生成されない。
【0073】
このようにして、動き補償回路87で動き補償が施されたデータは、演算器85において、IDCT回路84の出力と加算される。この加算出力は、フォーマット変換回路32に出力される。
【0074】
但し、この加算出力はBピクチャのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ86には記憶されない。
【0075】
Bピクチャの画像が出力された後、後方予測画像部86bに記憶されているPピクチャの画像データが読み出され、動き補償回路87を介して演算器85に供給される。但し、このとき、動き補償は行われない。
【0076】
尚、このデコーダ31には、図19のエンコーダ18における予測モード切り替え回路52とDCTモード切り替え回路55に対応する回路が図示されていないが、これらの回路に対応する処理、即ち、奇数フィールドと偶数フィールドのラインの信号が分離された構成を、元の混在する構成に必要に応じて戻す処理は、動き補償回路87が実行する。
【0077】
また、以上においては、輝度信号の処理について説明したが、色差信号の処理も同様に行われる。但し、この場合、動きベクトルは、輝度信号用のものを、垂直方向および水平方向に1/2にしたものが用いられる。
【0078】
【発明が解決しようとする課題】
以上のように、従来の画像信号符号化および復号化方法では、色差信号の解像度は1種類に固定されており、複数種の解像度の色差信号を伝送することはできなかった。
【0079】
本発明はこのような状況に鑑みてなされたものであり、複数種類の解像度の色差信号を効率良く伝送することができるようにするものである。
【0082】
【課題を解決するための手段】
本発明の画像信号記録媒体の記録方法は、所定のマクロブロック単位で符号化された画像信号を画像信号記録媒体に記録する画像信号記録媒体の記録方法であって、画像信号のうちの所定のマクロブロックの輝度信号成分を符号化して符号化輝度信号を生成するとともに、マクロブロックの色信号成分を第1の解像度で符号化して第1の符号化色信号を生成し、符号化輝度信号と第1の符号化色信号とを含む第1のスライスデータ信号を出力する第1の画像符号化ステップと、マクロブロックの第1の解像度より高い第2の解像度の色信号成分を、第1の画像符号化ステップの処理により符号化された第1の符号化色信号が復号された信号を用いて符号化して第2の符号化色信号を生成し、第2の符号化色信号を含む第2のスライスデータ信号を出力する第2の画像符号化ステップと、第1の画像符
号化ステップの処理により出力された第1のスライスデータ信号と、第2の画像符号化ステップの処理により出力された第2のスライスデータ信号とを、符号化された画像信号が復号されるときに順次読み出されていずれか一方が選択されように、画像信号記録媒体の互いに近接する位置に記録する記録ステップとを含むことを特徴とする。
本発明の画像信号記録媒体の記録方法においては、画像信号のうちの所定のマクロブロックの輝度信号成分が符号化されて符号化輝度信号が生成されるとともに、マクロブロックの色信号成分が第1の解像度で符号化されて第1の符号化色信号が生成され、符号化輝度信号と第1の符号化色信号とを含む第1のスライスデータ信号が出力される。また、マクロブロックの第1の解像度より高い第2の解像度の色信号成分が、第1の画像符号化ステップの処理により符号化された第1の符号化色信号が復号された信号を用いて符号化されて第2の符号化色信号が生成され、第2の符号化色信号を含む第2のスライスデータ信号が出力される。そして、出力された第1のスライスデータ信号と、出力された第2のスライスデータ信号とが、符号化された画像信号が復号されるときに順次読み出されていずれか一方が選択されように、画像信号記録媒体の互いに近接する位置に記録される。
【0083】
本発明の画像信号記録装置は、所定のマクロブロック単位で符号化された画像信号を画像信号記録媒体に記録する画像信号記録装置であって、画像信号のうちの所定のマクロブロックの輝度信号成分を符号化して符号化輝度信号を生成するとともに、マクロブロックの色信号成分を第1の解像度で符号化して第1の符号化色信号を生成し、符号化輝度信号と第1の符号化色信号とを含む第1のスライスデータ信号を出力する第1の画像符号化回路と、マクロブロックの第1の解像度より高い第2の解像度の色信号成分を、第1の画像符号化回路により符号化された第1の符号化色信号が復号された信号を用いて符号化して第2の符号化色信号を生成し、第2の符号化色信号を含む第2のスライスデータ信号を出力する第2の画像符号化回路と、第1の画像符号化回路より出力された第1のスライスデータ信号と、第2の画像符号化回路より出力された第2のスライスデータ信号とを、符号化された画像信号が復号されるときに順次読み出されていずれか一方が選択されるように、画像信号記録媒体の互いに近接する位置に記録する記録回路とを備えることを特徴とする。
本発明の画像信号記録装置においては、画像信号のうちの所定のマクロブロックの輝度信号成分が符号化されて符号化輝度信号が生成されるとともに、マクロブロックの色信号成分が第1の解像度で符号化されて第1の符号化色信号が生成され、符号化輝度信号と第1の符号化色信号とを含む第1のスライスデータ信号が出力される。また、マクロブロックの第1の解像度より高い第2の解像度の色信号成分が、第1の画像符号化ステップの処理により符号化された第1の符号化色信号が復号された信号を用いて符号化されて第2の符号化色信号が生成され、第2の符号化色信号を含む第2のスライスデータ信号が出力される。そして、出力された第1のスライスデータ信号と、出力された第2のスライスデータ信号とが、符号化された画像信号が復号されるときに順次読み出されていずれか一方が選択されように、画像信号記録媒体の互いに近接する位置に記録される。
【0084】
本発明の画像信号再生装置は、所定のマクロブロック単位で符号化された画像信号が記録された画像信号記録媒体から、画像信号を再生する画像信号再生装置であって、その画像信号記録媒体に、符号化された画像信号のうちの所定のマクロブロックの輝度信号成分が符号化された符号化輝度信号と、マクロブロックの色信号成分が第1の解像度で符号化された第1の符号化色信号とを含む第1のスライスデータ信号を記録した第1のスライスデータ記録部と、マクロブロックの第1の解像度より高い第2の解像度の色信号成分が、第1の符号化色信号が復号された信号を利用して符号化された第2の符号化色信号を含む第2のスライスデータ信号を記録した第2のスライスデータ記録部とを備える構造であって、第1のスライスデータ記録部と第2のスライスデータ記録部が、互いに近接する位置に配置される構造を有するデータが記録されている場合、画像信号記録媒体から、マクロブロックに対応する第1のスライスデータ記録部に記録された第1のスライスデータ信号と、第2のスライスデータ記録部に記録された第2のスライスデータ信号とを順次再生する再生手段と、再生手段により再生された第1のスライスデータ信号と第2のスライスデータ信号とを分離する分離手段と、分離手段により分離された第1のスライスデータ信号から、符号化輝度信号を復号して輝度信号成分を再生するとともに、第1の符号化色信号を復号して第1の解像度の第1の色信号成分を再生する第1の画像復号回路と、第1の画像復号回路により復号された第1の色信号成分を用いて、分離手段により分離された第2のスライスデータ信号から第2の符号化色信号を復号して、第2の解像度の第2の色信号成分を再生する第2の画像復号回路と、第1の画像復号回路により再生された第1の色信号成分と、第2の画像復号回路により再生された第2の色信号成分とのうち、マクロブロックの復号の処理に用いられる色信号成分を選択する選択手段とを備えることを特徴とする。
本発明の画像信号再生装置においては、符号化された画像信号のうちの所定のマクロブロックの輝度信号成分が符号化された符号化輝度信号と、マクロブロックの色信号成分が第1の解像度で符号化された第1の符号化色信号とを含む第1のスライスデータ信号を記録した第1のスライスデータ記録部と、マクロブロックの第1の解像度より高い第2の解像度の色信号成分が、第1の符号化色信号が復号された信号を利用して符号化された第2の符号化色信号を含む第2のスライスデータ信号を記録した第2のスライスデータ記録部とを備える構造であって、第1のスライスデータ記録部と第2のスライスデータ記録部が、互いに近接する位置に配置される構造を有するデータが記録されて画像信号記録媒体から、画像信号が再生される。詳細には、画像信号記録媒体から、マクロブロックに対応する第1のスライスデータ記録部に記録された第1のスライスデータ信号と、第2のスライスデータ記録部に記録された第2のスライスデータ信号とが順次再生され、再生された第1のスライスデータ信号と第2のスライスデータ信号とが分離される。分離された第1のスライスデータ信号から、符号化輝度信号が復号されて輝度信号成分が再生されるとともに、第1の符号化色信号が復号されて第1の解像度の第1の色信号成分が再生される。一方、復号された第1の色信号成分が用いられて分離された第2のスライスデータ信号から第2の符号化色信号が復号されて、第2の解像度の第2の色信号成分が再生される。そして、再生された第1の色信号成分と第2の色信号成分とのうち、マクロブロックの復号の処理に用いられる色信号成分が選択される。
【0085】
これにより、従来の装置と同一の装置で、低い色信号成分の画像を得ることができるばかりでなく、必要に応じてアダプタを付加することにより、解像度の高い色信号成分に基づく画像を得ることも可能となる。
【0086】
【発明の実施の形態】
図1は、本発明の画像信号符号化装置と復号化装置の全体の構成を示すブロック図であり、図17に示した従来の場合と対応する部分には同一の符号を付してある。本実施例においては、A/D変換器300における前処理回路11が出力する色差信号のA/D変換のタイミング(サンプリングのタイミング)が、図17におけるA/D変換器13における場合と異なっている。その結果、A/D変換器300が出力する色差信号をその後段で処理する、色差信号フレームメモリ301、フォーマット変換回路302、エンコーダ303が従来の場合と異なる構成とされている。
【0087】
さらにまた、復号化装置2においては、デコーダ401、フォーマット変換回路402、色差信号フレームメモリ403、およびD/A変換器404が、図17に示したデコーダ31、フォーマット変換回路32、色差信号フレームメモリ35、およびD/A変換器37と異なる構成とされている。
【0088】
その他の構成は、図17における場合と同様である。
【0089】
本発明のA/D変換器300においては、図2(A)に示すように、サンプリングが行われる。即ち、A/D変換器12における輝度信号のサンプリング点が、図中、丸印で示されるものとすると、A/D変換器300で行われる色差信号のサンプリング点は、図中、×印で示すように、輝度信号のサンプル点と1:1に対応するものとされる(4:4:4サンプリングとされる)。
【0090】
このA/D変換器300によりサンプリングされた色差信号は、色差信号フレームメモリ301に供給され、記憶される。色差信号フレームメモリ301より読み出された色差信号は、フォーマット変換回路302に入力され、ダウンサンプリングされる。
【0091】
即ち、フォーマット変換回路302は、例えば図3に示すようなダウンサンプリング回路を内蔵しており、A/D変換器300により、4:4:4の比でサンプリングされた色差信号を、ローパスフィルタ131で1/2の周波数帯域に帯域制限した後、間引き回路132で、各ラインのデータを1つおきに間引く。これにより、図2(B)に示すように、4:2:2のサンプリングとされる。即ち、この場合においては、各ラインにおいて、2つの輝度信号に対して1つの色差信号が対応することになる。
【0092】
フォーマット変換回路302は、このようにして、4:2:2の比でサンプリングされた色差信号を、さらに同様にして、内蔵するダウンサンプリング回路によりダウンサンプルして、図2(C)に示すような4:2:0の比のサンプリングの色差信号を生成する。この場合は、4:2:2サンプリングの色差信号を1ラインおきにすべて間引くようにしているため、4つの輝度信号に対して、1つの色差信号が対応することになる。
【0093】
尚、以上においては、データを単に間引くことにより、サンプリングの比を変更するようにしたが、例えば複数の所定の位置の色差信号を平均するなどして、サブサンプリングすることも可能である。例えば、図2(A)に示す4つの色差信号を平均することにより、図2(C)において、()を付して×印で示す色差信号を得ることができる。
【0094】
フォーマット変換回路302は、このようにして生成した異なる分解能の階層の信号になされた色差信号を、対応する輝度信号のデータとともにブロック化を行う。これにより、図4に示すように、4:4:4、4:2:2、または4:2:0の3種類のマクロブロックの構成が可能となる。
【0095】
図4(A)に示すように、4:4:4のマクロブロックは、4個の輝度ブロックY1乃至Y4と、それに対応するCbの色差ブロックCb5,Cb7,Cb9,Cb11と、Crの色差ブロックCr6,Cr8,Cr10,Cr12より構成される。これに対して、図4(B)に示すように、4:2:2のマクロブロックにおいては、輝度ブロックは、図4(A)に示す4:4:4のマクロブロックにおける場合と同一であるが、色差ブロックCbが、Cb5’とCb7’により構成される。また、色差ブロックCrは、Cr6’とCr8’により構成される。さらに、図4(C)に示すように、4:2:0のマクロブロックにおいては、輝度ブロックは、4:4:4のマクロブロックにおける場合と同一であるが、色差ブロックCbは、Cb5”により構成され、色差ブロックCrは、Cr6”により構成される。
【0096】
尚、各ブロックの符号に付されている数字は、各マクロブロック内において、そのデータを伝送する場合における伝送の順番を示している。また、’は、それがダウンサンプリングされたデータであることを示し、”は、ダウンサンプリングが2回行われたものであることを示している。従って、例えばCb5’は、Cb5を直接ダウンサンプリングして生成したものではない(これは、上述したように、Cb5とCb9をダウンサンプリングして生成したものである)。
【0097】
図4(B)における4:2:2のマクロブロックの色差データの伝送の順序が、Cb5’の次にCb7’を伝送するようになされていないのは、図4(C)に示す4:2:0のマクロブロックにおける伝送順序と対応させるためである。即ち、図4(C)に示すマクロブロックにおいては、Cb5”の次にCr6”が伝送される。このため、図4(B)に示す4:2:2のマクロブロックにおいても、Cb5’の次にCr6’を伝送するようにしているのである。
【0098】
同様に、図4(A)に示す4:4:4のマクロブロックにおける伝送順序も、図4(B)に示す4:2:2のマクロブロックの伝送順序に対応するように定められている。このようにすることにより、いずれの比のマクロブロックが伝送されてきた場合においても、エンコーダにおいて共通の回路による処理が可能となる。
【0099】
但し、本実施例においては、この3種類のマクロブロックがエンコーダ303へ伝送されるのではなく、図4(C)に示す4個の輝度ブロックY1乃至Y4と、2個の色差ブロックCb5”,Cr6”により構成される4:2:0のマクロブロックと、図4(B)に示す4:2:2のマクロブロックを構成するブロックのうち、輝度ブロックを除く色差ブロックCb5’,Cb7’、および色差ブロックCr6’,Cr8’と、図4(A)に示す4:4:4のマクロブロックのうち、輝度ブロックを除く色差ブロックCb5,Cb7,Cb9,Cb11、および色差ブロックCr6,Cr8,Cr10,Cr12の3種類のデータが、エンコーダ303に伝送される。
【0100】
エンコーダ303は、例えば図5に示すように構成される。但し、図19における動きベクトル検出回路50、フレームメモリ51、予測モード切り替え回路52、予測判定回路54、DCTモード切り替え回路55、送信バッファ59などは、その図示が省略されているが、図5の実施例においても同様に接続されているものである。
【0101】
また、図5の実施例においては、フレームメモリ63が、ルマ(輝度信号)フレームメモリ63Lとクロマ(色差信号)フレームメモリ63Cに、また、動き補償回路64が、動き補償回路64Lと動き補償回路64Cに分割して表示されているが、図19の例においては、これを一体的に図示したものであって、図19の装置においても、フレームメモリ63と動き補償回路64は、ルマ(輝度信号)用とクロマ(色差信号)用のものが2つ用意されている。
【0102】
さらに、図5の実施例においては、ルマフレームメモリ63Lとクロマフレームメモリ63Cは、図19に示した場合と同様に、内部に前方予測画像部と後方予測画像部をそれぞれ有しているものである。
【0103】
即ち、図5の実施例のうち、動きベクトル検出回路50乃至動き補償回路64により構成されている回路100は、図19における場合と基本的に同様の構成となされている。
【0104】
この回路100は、色差信号に関して着目すると、最も解像度の低い色差信号を処理するものである。本実施例においては、この回路100における色差信号に較べて、より解像度の高い色差信号を処理するための回路として、アップサンプリング回路111、演算器112、DCT回路113、量子化回路114、可変長符号化回路115よりなる回路101が設けられている。また、回路101における色差信号よりさらに高い解像度の色差信号を処理する回路102として、逆量子化回路121、IDCT回路122、演算器123、アップサンプリング回路124、演算器125、DCT回路126、量子化回路127、可変長符号化回路128が設けられている。
【0105】
回路102には、最も解像度の高い色差信号が入力されており、回路101には、回路102に入力される色差信号をダウンサンプリング回路103でダウンサンプリングした、解像度の低い色差信号が入力されており、回路100には、回路101に入力される色差信号をさらにダウンサンプリング回路104でダウンサンプリングした、最も低い解像度の色差信号が入力されるようになされている。
【0106】
図5に示すダウンサンプリング回路103と104は、図1におけるフォーマット変換回路302に内蔵されているものである。そして、4:4:4のマクロブロックを構成するように生成された、最も高い分解能を有する色差ブロックが回路102に入力され、このマクロブロックをダウンサンプリング回路103によりダウンサンプリングした4:2:2のマクロブロックを構成する色差ブロックが、回路101に入力されている。そして、この4:2:2のマクロブロックを構成する色差ブロックを、さらにダウンサンプリング回路104によりダウンサンプリングした、4:2:0のマクロブロックを構成する色差ブロックが、輝度ブロックとともに4:2:0のマクロブロックを単位として、回路100に入力されている。
【0107】
回路100における処理は、図19を参照して説明した場合と同様であるから、その説明は省略する。ただ、輝度ブロックと色差ブロックの処理の順番について説明を付加しておくと、最初に輝度ブロックY1乃至Y4が順次入力されるので、これらのデータが、動きベクトル検出回路50を介してフレームメモリ51の輝度ブロック用のフレームメモリに書き込まれる。同様にして、色差ブロックのデータは、動きベクトル検出回路50を介してフレームメモリ51の色差ブロック用のフレームメモリに書き込まれる(図19)。
【0108】
そして、輝度ブロックY1乃至Y4のデータは、フレームメモリ51から読み出され、予測モード切り替え回路52、演算器53、DCT回路56、量子化回路57、逆量子化回路60、IDCT回路61、演算器62、ルマフレームメモリ63L、動き補償回路64Lにより処理された後、可変長符号化回路58、送信バッファ59を介して出力される。
【0109】
また、色差ブロックのデータは、基本的には輝度ブロックのデータと同様に処理されるのであるが、演算器62より出力された色差ブロックのデータは、クロマフレームメモリ63Cに供給され、記憶される。そして動き補償回路64Cにおいては、輝度ブロックY1乃至Y4における動きベクトルを、水平方向および垂直方向にそれぞれ1/2に短かくした動きベクトルを用いて動き補償が行われる。
【0110】
これにより、回路100から輝度ブロックY1,Y2,Y3,Y4と、色差ブロックCb5”,Cr6”よりなるグループの信号が合成回路105に供給される。
【0111】
一方、ダウンサンプリング回路103により4:2:2のマクロブロックのフォーマットに変換された色差ブロックのデータは、回路101の演算器112に供給される。この演算器112にはまた、アップサンプリング回路111により、回路100の演算器62が出力した、より低い分解能の色差ブロックのデータを垂直方向に(空間的に)2倍にアップサンプルしたデータが、予測誤差信号として供給されている。
【0112】
このアップサンプリング回路111は、例えば図6に示すように、補間回路141により構成することができる。この補間回路141は、例えば図7に示すように、色差データの存在しないラインの色差データを、その上下のラインに位置する色差データの値をそれぞれ1/2した後、加算する(平均する)ことにより生成することができる。ダウンサンプリング回路104によりダウンサンプリングされたときに帯域制限が行われているため、このアップサンプリングにより空間周波数が広がるわけではないが、解像度は2倍にすることができる。
【0113】
このようにして、アップサンプリング回路111により生成された色差ブロックのデータを、予測画像信号としてダウンサンプリング回路103が出力する色差データから減算し、その差分を生成する。この差分は、アップサンプリング回路111により垂直方向に2倍のアップサンプリングが行われているため、垂直方向の高周波成分を含むことになる。演算器112のこの出力は、DCT回路113によりDCT処理された後、量子化回路114により量子化され、可変長符号化回路115により可変長符号化される。そして、図示はしていないが、送信バッファを介して合成回路105に供給される。これにより、回路100より出力される色差ブロックCb5”,Cr6”より高い解像度を有する色差ブロックCb5’,Cr6’,Cb7’,Cr8’のグループの信号が生成される。
【0114】
一方、回路102においては、回路101の量子化回路114が出力したデータを逆量子化回路121により逆量子化し、これをさらにIDCT回路122によりIDCT処理して、演算器123に出力している。演算器123には、アップサンプリング回路111より出力された回路101において用いた予測誤差信号が供給されている。演算器123は、このアップサンプリング回路111が出力する予測誤差信号と、IDCT回路122が出力する信号とを加算することにより、回路101における色差信号を局所的に復号する。
【0115】
そして、演算器123より出力された信号を、アップサンプリング回路124において水平方向に2倍にアップサンプリングして、演算器125に出力する。演算器125は、アップサンプリング回路124の出力する信号を予測誤差信号として、フォーマット変換回路302より供給される4:4:4のマクロブロックフォーマットの色差ブロックのデータから減算する。これにより、その差分データは、水平方向の高周波成分を含むことになる。
【0116】
この演算器125の出力は、DCT回路126によりDCT処理され、量子化回路127により量子化処理された後、可変長符号化回路128において可変長符号化される。そして、図示せぬ送信バッファを介して合成回路105に出力される。これにより、最も高い解像度を有する色差ブロックCb5,Cr6,Cb7,Cr8,Cb9,Cr10,Cb11,Cr12のグループのデータが得られる。
【0117】
合成回路105は、このようにして、回路100が出力する輝度ブロックY1乃至Y4と、最も低い解像度の色差ブロックのデータCb5”,Cr6”により構成されるグループのデータと、回路101が出力する中間の解像度の色差ブロックのデータCb5’,Cr6’,Cb7’,Cr8’により構成されるグループのデータ、さらに最も高い解像度の色差ブロックのデータCb5,Cr6,Cb7,Cr8,Cb9,Cr10,Cb11,Cr12により構成されるグループのデータを合成する。
【0118】
この合成に際して、合成回路105は、図8に示すように、3つのグループのデータの先頭に、それぞれヘッダH1乃至ヘッダH3を配置する。これにより、ヘッダH1とY1,Y2,Y3,Y4,Cb5”,Cr6”により構成されるマスタスライスと、ヘッダH2、Cb5’,Cr6’Cb7’,Cr8’により構成されるスレーブスライス1と、ヘッダH3、Cb5,Cr6,Cb7,Cr8,Cb9,Cr10,Cb11,Cr12により構成されるスレーブスライス2を単位とするビットストリームが構成され、これが伝送路に供給され、記録媒体3に記録される。
【0119】
1フレーム分のデータのマスタスライスのデータが伝送された後、次に1フレーム分のスレーブスライス1のデータを伝送し、その次に1フレーム分のスレーブスライス2のデータを伝送するようにすることも理論的には可能である。しかしながら、そのようにすると、リアルタイムで高解像度の色の画像を得ることが困難になるため、図8に示したように、マスタスライス、スレーブスライス1およびスレーブスライスを順次伝送するようにするのが好ましい。
【0120】
図8に示すフォーマットに従って、記録媒体3に記録されたデータは、記録媒体3から再生され、図1の復号化装置2のデコーダ401に入力される。
【0121】
このデコーダ401は、例えば図9に示すように構成される。この図9において、図22に示した場合と対応する部分には同一の符号を付してある。この実施例においては、記録媒体3(伝送路)より供給されたデータが受信バッファ81に供給され、一旦記憶された後、分離回路150に供給され、輝度ブロックと最も低い解像度の色差ブロックをグループとするデータと、中間の解像度の色差ブロックのグループのデータと、最も高い解像度の色差ブロックのグループのデータとに分離され、それぞれ回路161,162または163に供給される。
【0122】
回路161は、図22に示した復号回路90と実質的に同一の構成とされている。回路161においては、フレームメモリ86として、ルマフレームメモリ86Lとクロマフレームメモリ86Cを、また、動き補償回路87として、動き補償回路87Lと動き補償回路87Cを図示しているが、図22の復号回路90においても、図示は省略されているが、これらの回路が内蔵されている。また、図9のルマフレームメモリ86Lとクロマフレームメモリ86Cには、図22に示した前方予測画像部と後方予測画像部の図示が省略されているが、いずれもこれらを内蔵しているものである。
【0123】
従って、回路161においては、図22において説明した場合と同様に処理が行われる。ルマフレームメモリ86Lとクロマフレームメモリ86Cの関係についてだけ説明しておくと、ルマフレームメモリ86Lには演算器85が出力した輝度ブロックのデータが記憶される。そして、この輝度信号に関する動き補償が動き補償回路87Lにより行われ、演算器85に出力される。これに対して、クロマフレームメモリ86Cには色差ブロックに関するデータが記憶される。そして動き補償回路87Cは、動き補償回路87Lにおいて用いる動きベクトルを水平方向と垂直方向にそれぞれ1/2した動きベクトルを用いて、クロマフレームメモリ86Cより読み出したデータを動き補償して、演算器85に出力する。
【0124】
このようにして、回路161から4つの輝度ブロックY1乃至Y4と、最も低い解像度の色差信号のブロックCb5”,Cr6”により構成される4:2:0のマクロブロックのデータが、選択回路164に出力される。
【0125】
一方、分離回路150により分離された中間の解像度を有する色差ブロックのデータは、可変長復号化回路152において可変長復号化され、逆量子化回路153において逆量子化される。そして、さらにIDCT回路154においてIDCT処理された後、演算器155に入力される。
【0126】
この演算器155には、回路161の演算器85が出力する、より低い解像度の色差ブロックのデータがアップサンプリング回路151により垂直方向にアップサンプリングされて供給されている。即ち、この信号は、図5の回路101のアップサンプリング回路111により生成した予測画像信号に対応する。そこで、IDCT回路154が出力するデータと、アップサンプリング回路151が出力する予測誤差信号とを演算器155で加算することにより、中間の解像度を有する色差信号のブロックCb5’,Cr6’,Cb7’,Cr8’が得られる。この色差信号は、選択回路164に供給される。
【0127】
さらに、分離回路150により分離された、最も高い解像度を有する色差ブロックCb5,Cr6,Cb7,Cr8,Cb9,Cr10,Cb11,Cr12のデータは、回路163の可変長復号化回路157に供給され、可変長復号化される。可変長復号化回路157より出力された信号は、逆量子化回路158により逆量子化され、IDCT回路159によりIDCT処理された後、演算器160に入力される。
【0128】
また、この演算器160には、回路162の演算器155が出力する中間の解像度の色差信号がアップサンプリング回路156により水平方向にアップサンプリングされて、予測誤差信号として供給されている。演算器160は、この予測誤差信号をIDCT回路159の出力と加算し、最も高い解像度の色差信号Cb5,Cr6,Cb7,Cr8,Cb9,Cr10,Cb11,Cr12を復号して、選択回路164に出力する。
【0129】
選択回路164は、図1のフォーマット変換回路402に含まれている。この選択回路164は、輝度信号を選択するとともに、3つの解像度の異なる色差信号のうち、使用者からの指令に対応して、いずれか1つを選択する。輝度信号は輝度信号フレームメモリ34に供給され、色差信号は色差信号フレームメモリ403に供給される。輝度信号フレームメモリ34より読み出された輝度信号は、D/A変換器36によりD/A変換された後、後処理回路38に供給される。また、色差信号フレームメモリ403より読み出された色差信号は、D/A変換器404によりD/A変換された後、後処理回路38に供給される。D/A変換器404のクロックは、選択した色差信号に対応して変更される。
【0130】
従って、使用者は、必要に応じて3つの階層の解像度のいずれかを任意に選択して、ディスプレイなどに表示させることができる。
【0131】
図10は、エンコーダ303の第2の実施例を表している。この実施例においては、第1の実施例(図5)における最も高い解像度の色差信号を処理する回路102が省略され、中間の解像度の色差信号を処理する回路101と、最も低い解像度の色差信号と輝度信号とを処理する回路100により構成されている。このうち、回路100は、図5における場合と同様の構成とされている。
【0132】
一方、回路101は、演算器112、DCT回路113、量子化回路114、可変長符号化回路115に加えて、逆量子化回路171、IDCT回路172、演算器173、クロマフレームメモリ174、動き補償回路175、選択回路176を有している。
【0133】
即ち、この実施例においては、回路100における動作は図5における場合と同様であり、その説明は省略する。
【0134】
回路101においては、予測画像信号の生成の方法が図5における場合と異なっている。即ち、この実施例においては、図5の実施例における場合と同様に、回路100の演算器62が出力する、局部的に復号された色差信号を、アップサンプリング回路111により垂直方向にアップサンプリングすることにより、第1の予測誤差信号が生成される。
【0135】
また、量子化回路114が出力する信号を逆量子化回路171により逆量子化し、IDCT回路172によりIDCT処理した後、演算器173に入力している。演算器173には、選択回路176により選択された予測画像信号が入力されている。
【0136】
演算器173は、この予測画像信号と、IDCT回路172が出力する信号とを加算し、局部的な復号を行う。復号された色差信号は、クロマフレームメモリ174に供給され、記憶される。このクロマフレームメモリ174に記憶された色差信号は、動き補償回路175において、動き補償回路64Lにおける場合の動きベクトルを垂直方向に1/2した動きベクトルを用いて動き補償が行われ、選択回路176に予測画像信号として供給される。
【0137】
選択回路176は、アップサンプリング回路111が出力する予測画像信号を用いた場合における予測誤差信号と、動き補償回路175が出力した予測画像信号を用いた場合における予測誤差信号とを比較し、小さい予測誤差信号に対応する予測画像を選択する。そして、選択した予測画像信号は、上述したようにして、演算器173に供給されて局部的な復号に用いられるとともに、演算器112に供給されて、フォーマット変換回路302から供給される、中間の解像度の色差信号を符号化するための予測画像信号として用いられる。
【0138】
このように、この実施例においては、回路101において、解像度の低い色差信号の復号画像に対して、補間回路141(図6)などにより構成されるアップサンプリング回路111(空間フィルタ)を適用して、解像度の高い(中間の解像度の)色差信号と同じ解像度の予測画像を生成するとともに、解像度の高い(中間の解像度の)色差信号を局所的に復号して予測画像を生成する。そして、2つの予測画像のうち、予測効率の良好な方を適用的に選択するようにしている。これにより、より効率的にデータを圧縮することが可能となる。
【0139】
この実施例においてはまた、選択回路176から、アップサンプリング回路111が出力する予測画像信号と、動き補償回路175が出力する予測画像信号のうち、いずれを選択したかを示すスペース(前者を選択した場合)/タイム(後者を選択した場合)フラグが出力され、これが回路100と回路101が出力するデータとともに合成回路105において多重合成され、伝送される。
【0140】
図11は、図10に示すエンコーダ303によりエンコードされたデータと復号するデコーダ401の実施例を示している。この図11の実施例において、図9に示す実施例と対応する部分には同一の符号を付してある。この実施例においては、図9における最も高い解像度の色差信号を処理する回路163が省略され、中間の解像度の色差信号を処理する回路162、および低い解像度の色差信号と輝度信号を処理する回路161とにより構成されている。回路161の構成は、図9における場合と同様である。
【0141】
回路162においては、アップサンプリング回路151、可変長復号化回路152、逆量子化回路153、IDCT回路154、演算器155の他に、クロマフレームメモリ181、動き補償回路182、および選択回路183が付加されている。
【0142】
演算器155より出力された、復号された中間の解像度の色差信号は、クロマフレームメモリ181に供給され、記憶される。そして、動き補償回路182により動き補償回路87Cにおける動きベクトルを垂直方向に1/2にした動きベクトルを用いて動き補償され、時間軸方向の予測画像信号として選択回路183に供給される。
【0143】
また、この選択回路183には、回路161の演算器85が出力する、より低い解像度の色差信号をアップサンプリング回路151により垂直方向にアップサンプリングし、中間の解像度の色差信号の解像度に伸長した予測画像信号が供給されている。
【0144】
分離回路150は、受信バッファ81より供給された信号から、スペース/タイムフラグを検出し、これを選択回路183に出力する。選択回路183は、スペースフラグが検出されたとき、アップサンプリング回路151が出力する予測誤差信号を選択し、タイムフラグが検出されたとき、動き補償回路182が出力する予測誤差信号を選択して、演算器155に出力する。これにより、中間の解像度の色差信号が適応的に復号される。
【0145】
図12は、エンコーダ303の第3の実施例を示している。この実施例においては、回路101の構成が、図10に示した第2の実施例の回路101を若干改良した構成とされている。この回路101においては、動き補償回路175が出力した予測画像信号が、重み付け回路191により重み付け係数Wが乗算された後、演算器193に供給される。また、アップサンプリング回路111が出力した予測画像信号が、重み付け回路192により係数(1−W)が乗算された後、演算器193に供給されている。演算器193は、重み付け回路191と192より供給された、重み付けされた予測画像信号を加算する。
【0146】
例えば係数Wとして、0,1/4,2/4,3/4,1が重み付け回路191により設定されるとき、重み付け回路192においては、係数1,3/4,2/4,1/4,0が設定される。重み付け回路191と192は、入力された予測画像信号にそれぞれ5種類の係数を乗算して、5種類の予測画像信号を演算器193に出力する。演算器193は、5種類の重み付けされた予測画像信号を、それぞれ対応するものどうしを加算して、5種類の予測画像信号を生成する。そして、5種類のそれぞれを採用した場合における予測誤差信号を生成し、この予測誤差信号が最も小さいものを最終的な予測誤差信号として選択し、演算器112と173に出力する。
【0147】
これにより、より効率的な圧縮が可能となる。
【0148】
尚、この実施例においては、演算器193が最終的に選択した重み付け係数Wを合成回路105に出力する。合成回路105は、この重み付け係数Wを他の色差信号と多重合成して出力する。
【0149】
図13は、図12に示したエンコーダ303によりエンコードした信号をデコードする場合のデコーダ401の構成例を示している。この図13の実施例は、図11に示した実施例と基本的に同様の構成とされている。但し、回路162の構成が、図11における場合を若干改良したものとなっている。
【0150】
図13の実施例においては、動き補償回路182が出力する予測画像信号が重み付け回路201において係数Wで重み付けされた後、演算器203に供給される。また、アップサンプリング回路151が出力する予測画像信号が、重み付け回路202により係数(1−W)だけ重み付けされた後、演算器203に供給されている。この重み付け回路201と202における重み付け係数Wは、図12における重み付け回路191と192の重み付け係数に対応されている。
【0151】
従って、演算器203は、重み付け回路201が出力する、5種類の重み付けがなされた予測画像信号と、重み付け回路202が出力する、5種類の重み付けがなされた予測画像信号との対応するものどうしを加算する。そして、分離回路150が受信バッファ81より供給される信号から分離した重み付け係数Wに対応するものを、加算した予測画像信号の中から選択する。そして、この選択された予測画像信号が演算器155に入力され、中間の解像度を有する色差信号の予測画像信号として用いられる。
【0152】
尚、以上の実施例においては、n×n(上記実施例はn=8)画素のブロックのデータを直交変換するのに、DCTによりバンド分割を行うようにしたが、例えばQMFなどを用いてサブバンド分割を行うこともできる。また、ウェーブレッド変換によりオクターブ分割を行うようにしたり、入力した2次元画像データについて、所定の変換や分割を行って符号化を行う場合に適用することが可能である。
【0153】
さらにまた、符号化されたビデオ信号のビットストリームに対して、符号化されたオーディオ信号、同期信号を多重化し、さらにエラー訂正用のコードを付加し、所定の変調を加えて、この変調信号によりレーザ光を変調し、ディスク上にピット、またはマークとして記録するようにすることができる。また、このディスクをマスタディスクとしてスタンパを形成し、このスタンパより大量の複製ディスク(例えば光ディスク)を成形することができる。この場合、デコーダは、この複製ディスクからデータを再生することになる。
【0154】
【発明の効果】
本発明の画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置によれば、解像度の低い色信号に対応する画像を復号化する装置において、解像度の高い色信号成分を処理する回路を付加するだけで、必要に応じて、解像度の低い色の画像と解像度の高い色の画像をリアルタイムに得ることが容易に可能となる。
【図面の簡単な説明】
【図1】本発明の画像信号符号化装置および復号化装置の一実施例の構成を示すブロック図である。
【図2】図1のフォーマット変換回路302における色差信号のサンプリングフォーマットを説明する図である。
【図3】図5のダウンサンプリング回路103,104の構成例を示すブロック図である。
【図4】マクロブロックの構成を示す図である。
【図5】図1におけるエンコーダ303の第1の実施例の構成を示すブロック図である。
【図6】図5のアップサンプリング回路111,124の構成例を示すブロック図である。
【図7】図6の補間回路141の補間動作を説明する図である。
【図8】図1の記録媒体3の記録フォーマットを説明する図である。
【図9】図1のデコーダ401の第1の実施例の構成を示すブロック図である。
【図10】図1のエンコーダ303の第2の実施例の構成を示すブロック図である。
【図11】図1のデコーダ401の第2の実施例の構成を示すブロック図である。
【図12】図1のエンコーダ303の第3の実施例の構成を示すブロック図である。
【図13】図1のデコーダ401の第3の実施例の構成を示すブロック図である。
【図14】高能率符号化の原理を説明する図である。
【図15】画像データを圧縮する場合におけるピクチャのタイプを説明する図である。
【図16】動画像信号を符号化する原理を説明する図である。
【図17】従来の画像信号符号化装置と復号化装置の構成例を示すブロック図である。
【図18】図17におけるフォーマット変換回路17のフォーマット変換の動作を説明する図である。
【図19】図17におけるエンコーダ18の構成例を示すブロック図である。
【図20】図19の予測モード切り替え回路52の動作を説明する図である。
【図21】図19のDCTモード切り替え回路55の動作を説明する図である。
【図22】図17のデコーダ31の構成例を示すブロック図である。
【符号の説明】
1 符号化装置, 2 復号化装置, 3 記録媒体, 12,13 A/D変換器, 14 フレームメモリ, 15 輝度信号フレームメモリ, 16 色差信号フレームメモリ, 17 フォーマット変換回路, 18 エンコーダ, 31 デコーダ, 32 フォーマット変換回路, 33 フレームメモリ, 34 輝度信号フレームメモリ, 35 色差信号フレームメモリ, 36,37 D/A変換器, 50 動きベクトル検出回路, 51 フレームメモリ, 52 予測モード切り替え回路, 53 演算部, 54 予測判定回路, 55 DCTモード切り替え回路, 56 DCT回路, 57 量子化回路, 58 可変長符号化回路, 59 送信バッファ, 60 逆量子化回路, 61 IDCT回路, 62 演算器, 63 フレームメモリ, 64 動き補償回路, 81 受信バッファ, 82 可変長復号化回路, 83 逆量子化回路, 84 IDCT回路, 85 演算器, 86 フレームメモリ, 87 動き補償回路, 100,101,102 回路, 103,104ダウンサンプリング回路, 111,124 アップサンプリング回路, 131 ローパスフィルタ, 132 間引き回路, 141 補間回路[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention records a moving image signal on a recording medium such as a magneto-optical disk or a magnetic tape, and reproduces the moving image signal to display it on a display or the like. The image signal is transmitted from the transmitting side to the receiving side via a transmission path, and is used for receiving and displaying the image signal on the receiving side.Suitable image signalThe present invention relates to a recording method of a recording medium, an image signal recording device, and an image signal reproducing device.
[0002]
[Prior art]
For example, in a system for transmitting a moving image signal to a remote place, such as a video conference system and a video telephone system, in order to efficiently use a transmission path, a line correlation or an inter-frame correlation of a video signal is used. The image signal is compressed and encoded.
[0003]
When the line correlation is used, the image signal can be compressed by, for example, performing a DCT (Discrete Cosine Transform) process.
[0004]
In addition, if the inter-frame correlation is used, it is possible to further compress and encode the image signal. For example, as shown in FIG. 14, when frame images PC1, PC2, and PC3 are generated at times t1, t2, and t3, respectively, the difference between the image signals of frame images PC1 and PC2 is calculated to generate PC12. Further, a difference between the frame images PC2 and PC3 is calculated to generate a PC23. Normally, the images of temporally adjacent frames do not have such a large change, and when the difference between them is calculated, the difference signal has a small value. Therefore, if the difference signal is encoded, the code amount can be compressed.
[0005]
However, if only the difference signal is transmitted, the original image cannot be restored. Therefore, the image of each frame is one of three types of pictures, i-pictures, P-pictures, and B-pictures, and the image signal is compression-coded.
[0006]
That is, for example, as shown in FIG. 15, image signals of 17 frames from frame F1 to frame F17 are set as a group of pictures and are set as one unit of processing. Then, the image signal of the first frame F1 is encoded as an I picture, the second frame F2 is processed as a B picture, and the third frame F3 is processed as a P picture. Hereinafter, the fourth and subsequent frames F4 to F17 are alternately processed as B pictures or P pictures.
[0007]
As an I-picture image signal, the image signal for one frame is transmitted as it is. On the other hand, as an image signal of a P picture, basically, as shown in FIG. 15A, a difference from an image signal of an I picture or a P picture which precedes it is transmitted. Further, as an image signal of a B picture, basically, as shown in FIG. 15B, a difference from an average value of both temporally preceding and succeeding frames is obtained, and the difference is encoded. Become
[0008]
FIG. 16 shows the principle of the method for encoding a moving image signal in this manner. As shown in the figure, since the first frame F1 is processed as an I picture, it is directly transmitted as transmission data F1X to the transmission path (intra-picture encoding). On the other hand, since the second frame F2 is processed as a B picture, the difference between the temporally preceding frame F1 and the average value of the temporally succeeding frame F3 is calculated, and the difference is calculated. It is transmitted as transmission data F2X.
[0009]
However, there are four types of B picture processing in more detail. The first process is to transmit the data of the original frame F2 as it is as the transmission data F2X (SP1) (intra coding), and is the same process as in the case of the I picture. The second process is to calculate a difference from the temporally later frame F3 and transmit the difference (SP2) (backward prediction coding). The third process is to transmit the difference (SP3) from the temporally preceding frame F1 (forward prediction coding). Further, the fourth processing is to generate a difference (SP4) between the average value of the temporally preceding frame F1 and the average value of the following frame F3, and transmit this as transmission data F2X (bidirectional predictive coding). .
[0010]
Among these four methods, the method that minimizes transmission data is adopted.
[0011]
When transmitting the difference data, a motion vector x1 (a motion vector between frames F1 and F2) with an image (predicted image) of a frame whose difference is to be calculated (in the case of forward prediction) or x2 (Motion vector between frames F3 and F2) (for backward prediction) or both x1 and x2 (for bidirectional prediction) are transmitted along with the difference data.
[0012]
Further, a frame F3 of a P picture is calculated using a temporally preceding frame F1 as a predicted image, a difference signal (SP3) from the frame, and a motion vector x3, and the resultant is transmitted as transmission data F3X (forward prediction). Coding). Alternatively, the data of the original frame F3 is transmitted as it is as the transmission data F3X (SP1) (intra coding). Which method is used, as in the case of the B picture, is selected so that the transmission data is smaller.
[0013]
FIG. 17 shows a configuration example of an apparatus that encodes and transmits a moving image signal based on the above-described principle and decodes the encoded signal. The
[0014]
In the
[0015]
The
[0016]
The data thus converted into the block format is supplied from the
[0017]
The signal encoded by the
[0018]
The data reproduced from the
[0019]
The data decoded by the
[0020]
Next, a configuration example of the
[0021]
Image data to be encoded is input to the motion
[0022]
Image data of a frame (for example, frame F1) processed as an I picture is transferred from the motion
[0023]
Further, at the next timing, when an image of a frame to be further processed as a B picture (frame F4) or a P picture (frame F5) is input, the first P picture stored in the rear
[0024]
The signal of each picture stored in the
[0025]
Here, the frame prediction mode and the field prediction mode in the prediction
[0026]
When the frame prediction mode is set, the prediction
[0027]
On the other hand, in the field prediction mode, the prediction
[0028]
The motion
[0029]
However, such processing is actually performed by the motion
[0030]
Note that, in the frame prediction mode, the color difference signal is supplied to the
[0031]
In addition, the motion
[0032]
That is, as the sum of the absolute values of the prediction errors of the intra-picture prediction, the sum of the signals Aij of the macroblocks of the reference image 絶 対 the absolute value of the Aij | iAij | and the sum of the absolute values of the signals Aij of the macroblocks | Aij | ΣAij | Find the difference between Also, the sum of the absolute value of the prediction error of the forward prediction and the sum of the absolute value | Aij-Bij | of the difference Aij−Bij | between the signal Aij of the macroblock of the reference image and the signal Bij of the macroblock of the predicted image is represented as | Aij−. Bij |. In addition, the absolute value sum of the prediction error between the backward prediction and the bidirectional prediction is obtained in the same manner as in the forward prediction (by changing the predicted image to a different predicted image from that in the forward prediction).
[0033]
These absolute value sums are supplied to the
[0034]
As described above, the motion
[0035]
The
[0036]
The DCT
[0037]
That is, the DCT
[0038]
For example, as shown in FIG. 21A, the input signal has a configuration in which the lines of the odd field and the even field are mixed, and the difference between the signal of the line of the odd field and the signal of the line of the even field adjacent vertically. And calculate the sum (or sum of squares) of the absolute values. As shown in FIG. 21B, the input signal has a structure in which the lines of the odd field and the even field are separated from each other, and the signal difference between the lines of the odd field adjacent vertically and the line of the even field. The difference between the signals is calculated, and the sum (or sum of squares) of the respective absolute values is obtained. Further, the DCT mode corresponding to the smaller value is set by comparing the two (the sum of absolute values). That is, if the former is smaller, the frame DCT mode is set, and if the latter is smaller, the field DCT mode is set.
[0039]
Then, the data having the configuration corresponding to the selected DCT mode is output to the
[0040]
As is apparent from a comparison between the prediction mode (FIG. 20) in the prediction
[0041]
When the prediction
[0042]
However, this is not always the case. In the prediction
[0043]
The I-picture image data output from the DCT
[0044]
The variable-
[0045]
The variable
[0046]
The
[0047]
When the remaining data amount increases to the allowable upper limit, the
[0048]
The data stored in the
[0049]
On the other hand, the I-picture data output from the
[0050]
When the motion
[0051]
Then, after the processing of the I picture, the motion
[0052]
When the intra-frame prediction mode is set, the
[0053]
In the forward prediction mode, the switch 53d is switched to the contact b, and the image data (in this case, the I picture) stored in the forward prediction image section 63a of the
[0054]
The predicted image data output from the
[0055]
The same data as the predicted image data supplied to the calculator 53a is also supplied to the calculator 62a. The
[0056]
After the data of the I picture and the P picture are stored in the forward predicted image section 63a and the backward predicted
[0057]
As described above, in the intra-frame prediction mode or the forward prediction mode, the switch 53d is switched to the contact point a or b. At this time, the same processing as in the case of the P picture is performed, and the data is transmitted.
[0058]
On the other hand, when the backward prediction mode or the bidirectional prediction mode is set, the switch 53d is switched to the contact point c or d.
[0059]
In the backward prediction mode in which the switch 53d is switched to the contact point c, the image data (in this case, the image of the P picture) stored in the backward
[0060]
The predicted image data output from the
[0061]
In the bidirectional prediction mode in which the switch 53d is switched to the contact d, the image data (in this case, the I-picture image) stored in the forward prediction image section 63a and the image data stored in the backward
[0062]
The predicted image data output from the
[0063]
The picture of the B picture is not stored in the
[0064]
In the
[0065]
In the above description, the luminance block has been mainly described. However, the chrominance block is similarly processed and transmitted in units of the macroblock shown in FIGS. 20 and 21. As a motion vector for processing a chrominance block, a motion vector obtained by halving the motion vector of the corresponding luminance block in the vertical and horizontal directions is used.
[0066]
Next, FIG. 22 is a block diagram showing a configuration of an example of the
[0067]
The
[0068]
When the image data supplied from the
[0069]
When the image data supplied from the
[0070]
Even in the case of P-picture data, the data in the intra-prediction mode is stored in the backward
[0071]
Since this P picture is an image to be displayed next to the next B picture, it is not yet output to the
[0072]
When the image data supplied from the
[0073]
The data subjected to the motion compensation by the
[0074]
However, this addition output is B-picture data, and is not stored in the
[0075]
After the image of the B picture is output, the image data of the P picture stored in the backward
[0076]
Although the
[0077]
In the above, the processing of the luminance signal has been described, but the processing of the color difference signal is also performed in the same manner. However, in this case, the motion vector used for the luminance signal is halved in the vertical and horizontal directions.
[0078]
[Problems to be solved by the invention]
As described above, in the conventional image signal encoding and decoding methods, the resolution of the color difference signal is fixed to one type, and it is not possible to transmit the color difference signals of a plurality of types of resolutions.
[0079]
The present invention has been made in view of such a situation, and it is an object of the present invention to efficiently transmit color difference signals having a plurality of resolutions.
[0082]
[Means for Solving the Problems]
The recording method of the image signal recording medium of the present invention is a recording method of an image signal recording medium for recording an image signal encoded in a predetermined macroblock unit on the image signal recording medium. A luminance signal component of the macroblock is encoded to generate an encoded luminance signal, and a color signal component of the macroblock is encoded at a first resolution to generate a first encoded color signal. A first image encoding step of outputting a first slice data signal including a first encoded color signal, and a color signal component having a second resolution higher than the first resolution of the macroblock, A first encoded color signal encoded by the processing of the image encoding step is encoded using the decoded signal to generate a second encoded color signal, and a second encoded color signal including the second encoded color signal is generated. 2 slice data signal A second image encoding step of outputting the first image marks
When the encoded image signal is decoded, the first slice data signal output by the processing of the encoding step and the second slice data signal output by the processing of the second image encoding step are decoded. And recording the image signal recording media at positions close to each other so that one of them is sequentially read and one of them is selected.
In the recording method of the image signal recording medium according to the present invention, the luminance signal component of a predetermined macroblock in the image signal is encoded to generate an encoded luminance signal, and the color signal component of the macroblock is converted to a first color signal component. , A first encoded color signal is generated, and a first slice data signal including the encoded luminance signal and the first encoded color signal is output. Further, a color signal component having a second resolution higher than the first resolution of the macroblock is obtained by using a signal obtained by decoding the first encoded color signal encoded by the processing of the first image encoding step. Encoding is performed to generate a second encoded color signal, and a second slice data signal including the second encoded color signal is output. Then, the output first slice data signal and the output second slice data signal are sequentially read out when the encoded image signal is decoded, and one of them is selected. Are recorded on the image signal recording medium at positions close to each other.
[0083]
An image signal recording apparatus according to the present invention is an image signal recording apparatus that records an image signal encoded in a predetermined macroblock unit on an image signal recording medium, and includes a luminance signal component of a predetermined macroblock in the image signal. To generate an encoded luminance signal, encode the color signal components of the macroblock at a first resolution to generate a first encoded color signal, and generate an encoded luminance signal and a first encoded color signal. And a first image encoding circuit that outputs a first slice data signal including the first and second signals, and a first image encoding circuit encodes a color signal component having a second resolution higher than the first resolution of the macroblock. The encoded first encoded color signal is encoded using the decoded signal to generate a second encoded color signal, and a second slice data signal including the second encoded color signal is output. A second image encoding circuit; When the encoded image signal is decoded by combining the first slice data signal output from the first image encoding circuit and the second slice data signal output from the second image encoding circuit And a recording circuit for recording the image signals at positions close to each other on the image signal recording medium so that one of them is sequentially read and one of them is selected.
In the image signal recording device of the present invention, the luminance signal component of a predetermined macroblock in the image signal is encoded to generate an encoded luminance signal, and the color signal component of the macroblock is converted at the first resolution. Encoding is performed to generate a first encoded color signal, and a first slice data signal including the encoded luminance signal and the first encoded color signal is output. Further, a color signal component having a second resolution higher than the first resolution of the macroblock is obtained by using a signal obtained by decoding the first encoded color signal encoded by the processing of the first image encoding step. Encoding is performed to generate a second encoded color signal, and a second slice data signal including the second encoded color signal is output. Then, the output first slice data signal and the output second slice data signal are sequentially read out when the encoded image signal is decoded, and one of them is selected. Are recorded on the image signal recording medium at positions close to each other.
[0084]
An image signal reproducing apparatus of the present invention is an image signal reproducing apparatus for reproducing an image signal from an image signal recording medium on which an image signal encoded in a predetermined macroblock unit is recorded. A coded luminance signal obtained by coding a luminance signal component of a predetermined macroblock in a coded image signal, and a first coding in which a chrominance signal component of a macroblock is coded at a first resolution. A first slice data recording unit that records a first slice data signal including a color signal and a color signal component having a second resolution higher than the first resolution of the macroblock and a first encoded color signal A second slice data recording unit that records a second slice data signal including a second encoded color signal encoded using the decoded signal, wherein the first slice data Record When data having a structure in which the and the second slice data recording units are arranged at positions close to each other are recorded, the data is recorded from the image signal recording medium to the first slice data recording unit corresponding to the macroblock. Reproducing means for sequentially reproducing the first slice data signal and the second slice data signal recorded in the second slice data recording section; and the first slice data signal reproduced by the reproducing means and the second slice data signal. Separation means for separating the first slice data signal from the first slice data signal, and decoding the encoded luminance signal from the first slice data signal separated by the separation means to reproduce a luminance signal component, and converting the first encoded color signal into A first image decoding circuit that decodes and reproduces a first color signal component having a first resolution, and a first color signal component decoded by the first image decoding circuit are used to perform segmentation. A second image decoding circuit for decoding a second encoded color signal from the second slice data signal separated by the means to reproduce a second color signal component of a second resolution, and a first image Selection for selecting a color signal component used for macroblock decoding processing from the first color signal component reproduced by the decoding circuit and the second color signal component reproduced by the second image decoding circuit Means.
In the image signal reproducing apparatus according to the present invention, the encoded luminance signal obtained by encoding the luminance signal component of a predetermined macroblock in the encoded image signal, and the color signal component of the macroblock have a first resolution. A first slice data recording unit that records a first slice data signal including an encoded first encoded color signal, and a color signal component having a second resolution higher than the first resolution of the macroblock. And a second slice data recording unit that records a second slice data signal including a second encoded color signal encoded using a signal obtained by decoding the first encoded color signal. In this case, data having a structure in which the first slice data recording unit and the second slice data recording unit are arranged at positions close to each other is recorded, and the image signal is reproduced from the image signal recording medium. More specifically, a first slice data signal recorded in a first slice data recording unit corresponding to a macroblock and a second slice data signal recorded in a second slice data recording unit from an image signal recording medium. The signals are sequentially reproduced, and the reproduced first slice data signal and the reproduced second slice data signal are separated. From the separated first slice data signal, an encoded luminance signal is decoded to reproduce a luminance signal component, and a first encoded color signal is decoded to produce a first color signal component of a first resolution. Is played. On the other hand, the second encoded color signal is decoded from the separated second slice data signal using the decoded first color signal component, and the second color signal component of the second resolution is reproduced. Is done. Then, a color signal component used for macroblock decoding processing is selected from the reproduced first color signal component and second color signal component.
[0085]
As a result, not only can an image of a low color signal component be obtained with the same device as the conventional device, but also an image based on a high resolution color signal component can be obtained by adding an adapter as necessary. Is also possible.
[0086]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a block diagram showing the overall configuration of an image signal encoding apparatus and a decoding apparatus according to the present invention, and the same reference numerals are assigned to parts corresponding to those in the conventional case shown in FIG. In the present embodiment, the A / D conversion timing (sampling timing) of the color difference signal output by the
[0087]
Furthermore, in the
[0088]
Other configurations are the same as those in FIG.
[0089]
In the A /
[0090]
The color difference signal sampled by the A /
[0091]
That is, the
[0092]
The
[0093]
In the above description, the sampling ratio is changed by simply thinning out the data. However, it is also possible to perform sub-sampling by, for example, averaging the color difference signals at a plurality of predetermined positions. For example, by averaging the four color difference signals shown in FIG. 2A, it is possible to obtain the color difference signals indicated by crosses in parentheses in FIG. 2C.
[0094]
The
[0095]
As shown in FIG. 4A, the 4: 4: 4 macro block includes four luminance blocks Y1 to Y4, corresponding Cb color difference blocks Cb5, Cb7, Cb9, Cb11, and a Cr color difference block. It is composed of Cr6, Cr8, Cr10 and Cr12. On the other hand, as shown in FIG. 4B, in the 4: 2: 2 macro block, the luminance block is the same as that in the 4: 4: 4 macro block shown in FIG. 4A. However, the color difference block Cb is composed of Cb5 'and Cb7'. The color difference block Cr is composed of Cr6 'and Cr8'. Further, as shown in FIG. 4C, in the 4: 2: 0 macroblock, the luminance block is the same as in the 4: 4: 4 macroblock, but the color difference block Cb is Cb5 ″. , And the color difference block Cr is composed of Cr6 ″.
[0096]
It should be noted that the number attached to the code of each block indicates the order of transmission when the data is transmitted in each macroblock. Also, 'indicates that it is down-sampled data, and' indicates that down-sampling has been performed twice. Therefore, for example, Cb5 'directly down-samples Cb5. (This is generated by down-sampling Cb5 and Cb9 as described above).
[0097]
The reason why the transmission order of the chrominance data of the 4: 2: 2 macroblock in FIG. 4B is not such that Cb5 ′ is transmitted after Cb5 ′, as shown in FIG. This is to make it correspond to the transmission order in the 2: 0 macro block. That is, in the macroblock shown in FIG. 4C, Cr6 "is transmitted after Cb5". For this reason, even in the 4: 2: 2 macroblock shown in FIG. 4B, Cr6 'is transmitted next to Cb5'.
[0098]
Similarly, the transmission order in the 4: 4: 4 macroblock shown in FIG. 4A is determined so as to correspond to the transmission order of the 4: 2: 2 macroblock shown in FIG. 4B. . By doing so, it is possible to perform processing by a common circuit in the encoder, regardless of which ratio of macroblocks has been transmitted.
[0099]
However, in the present embodiment, these three types of macroblocks are not transmitted to the
[0100]
The
[0101]
In the embodiment of FIG. 5, the
[0102]
Further, in the embodiment of FIG. 5, the
[0103]
That is, in the embodiment of FIG. 5, the
[0104]
This
[0105]
The
[0106]
The downsampling
[0107]
Since the processing in the
[0108]
Then, the data of the luminance blocks Y1 to Y4 are read from the
[0109]
The data of the chrominance block is basically processed in the same manner as the data of the luminance block, but the data of the chrominance block output from the
[0110]
As a result, a signal of a group including the luminance blocks Y1, Y2, Y3, and Y4 and the color difference blocks Cb5 ″ and Cr6 ″ is supplied from the
[0111]
On the other hand, the data of the chrominance block converted into the 4: 2: 2 macroblock format by the
[0112]
This up-
[0113]
In this way, the data of the chrominance block generated by the
[0114]
On the other hand, in the
[0115]
Then, the signal output from the
[0116]
The output of the
[0117]
In this way, the synthesizing
[0118]
At the time of this combination, as shown in FIG. 8, the combining
[0119]
After the data of the master slice of one frame of data is transmitted, the data of the
[0120]
According to the format shown in FIG. 8, the data recorded on the
[0121]
The
[0122]
The
[0123]
Therefore, the
[0124]
In this way, the data of the 4: 2: 0 macroblock composed of the four luminance blocks Y1 to Y4 and the blocks Cb5 ″ and Cr6 ″ of the lowest resolution color difference signal from the
[0125]
On the other hand, the data of the chrominance block having the intermediate resolution separated by the
[0126]
To the
[0127]
Further, the data of the chrominance blocks Cb5, Cr6, Cb7, Cr8, Cb9, Cr10, Cb11, and Cr12 having the highest resolution separated by the
[0128]
Further, the color difference signal of the intermediate resolution output from the
[0129]
The
[0130]
Therefore, the user can arbitrarily select any of the three levels of resolution as necessary and display it on a display or the like.
[0131]
FIG. 10 shows a second embodiment of the
[0132]
On the other hand, the
[0133]
That is, in this embodiment, the operation of the
[0134]
In the
[0135]
The signal output from the
[0136]
The
[0137]
The
[0138]
As described above, in this embodiment, the
[0139]
In this embodiment, a space indicating which one of the predicted image signal output from the
[0140]
FIG. 11 shows an embodiment of a
[0141]
The
[0142]
The decoded intermediate-resolution color difference signal output from the
[0143]
The
[0144]
The
[0145]
FIG. 12 shows a third embodiment of the
[0146]
For example, when 0, 1/4, 2/4, 3/4, and 1 are set by the
[0147]
This enables more efficient compression.
[0148]
In this embodiment, the
[0149]
FIG. 13 shows a configuration example of the
[0150]
In the embodiment shown in FIG. 13, the predicted image signal output from the
[0151]
Therefore, the
[0152]
In the above-described embodiment, band division is performed by DCT to orthogonally transform data of a block of n × n (n = 8 in the above embodiment). However, for example, QMF is used. Subband division can also be performed. Further, the present invention can be applied to a case where octave division is performed by wave red transform, or a case where encoding is performed by performing predetermined conversion or division on input two-dimensional image data.
[0153]
Furthermore, the coded audio signal and the synchronization signal are multiplexed with the coded video signal bit stream, a code for error correction is added, and a predetermined modulation is applied. The laser light can be modulated and recorded as pits or marks on the disk. Further, a stamper is formed using this disk as a master disk, and a large number of duplicate disks (for example, optical disks) can be formed from the stamper. In this case, the decoder will reproduce data from this duplicate disc.
[0154]
【The invention's effect】
Recording method of image signal recording medium of the present inventionAccording to the image signal recording device and the image signal reproducing device, in a device for decoding an image corresponding to a low-resolution color signal, it is necessary to simply add a circuit for processing a high-resolution color signal component. Accordingly, it is possible to easily obtain a low-resolution color image and a high-resolution color image in real time.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an embodiment of an image signal encoding device and a decoding device according to the present invention.
FIG. 2 is a diagram illustrating a sampling format of a color difference signal in a
FIG. 3 is a block diagram illustrating a configuration example of downsampling
FIG. 4 is a diagram illustrating a configuration of a macroblock.
FIG. 5 is a block diagram showing a configuration of a first embodiment of an
6 is a block diagram illustrating a configuration example of
7 is a diagram illustrating an interpolation operation of the
8 is a diagram illustrating a recording format of a
FIG. 9 is a block diagram showing a configuration of a first embodiment of the
FIG. 10 is a block diagram showing a configuration of a second embodiment of the
FIG. 11 is a block diagram showing a configuration of a second embodiment of the
FIG. 12 is a block diagram illustrating a configuration of a third embodiment of the
FIG. 13 is a block diagram showing a configuration of a third embodiment of the
FIG. 14 is a diagram illustrating the principle of high-efficiency coding.
FIG. 15 is a view for explaining types of pictures when compressing image data.
FIG. 16 is a diagram illustrating the principle of encoding a moving image signal.
FIG. 17 is a block diagram illustrating a configuration example of a conventional image signal encoding device and a conventional decoding device.
FIG. 18 is a diagram illustrating the format conversion operation of the
19 is a block diagram illustrating a configuration example of an
20 is a diagram illustrating the operation of the prediction
21 is a diagram illustrating the operation of the DCT
22 is a block diagram illustrating a configuration example of a
[Explanation of symbols]
Claims (5)
前記画像信号のうちの所定のマクロブロックの輝度信号成分を符号化して符号化輝度信号を生成するとともに、前記マクロブロックの色信号成分を第1の解像度で符号化して第1の符号化色信号を生成し、前記符号化輝度信号と前記第1の符号化色信号とを含む第1のスライスデータ信号を出力する第1の画像符号化ステップと、
前記マクロブロックの前記第1の解像度より高い第2の解像度の色信号成分を、前記第1の画像符号化ステップの処理により符号化された前記第1の符号化色信号が復号された信号を用いて符号化して第2の符号化色信号を生成し、前記第2の符号化色信号を含む第2のスライスデータ信号を出力する第2の画像符号化ステップと、
前記第1の画像符号化ステップの処理により出力された前記第1のスライスデータ信号と、前記第2の画像符号化ステップの処理により出力された前記第2のスライスデータ信号とを、符号化された前記画像信号が復号されるときに順次読み出されていずれか一方が選択されように、前記画像信号記録媒体の互いに近接する位置に記録する記録ステップと
を含むことを特徴とする画像信号記録媒体の記録方法。In a method of recording an image signal recording medium that records an image signal encoded in a predetermined macroblock unit on the image signal recording medium,
A luminance signal component of a predetermined macroblock in the image signal is encoded to generate an encoded luminance signal, and a color signal component of the macroblock is encoded at a first resolution to produce a first encoded color signal. Generating a first slice data signal including the encoded luminance signal and the first encoded chrominance signal, and
A color signal component having a second resolution higher than the first resolution of the macroblock is converted to a signal obtained by decoding the first encoded color signal encoded by the processing of the first image encoding step. A second image encoding step of encoding to generate a second encoded color signal and outputting a second slice data signal including the second encoded color signal;
The first slice data signal output by the processing of the first image encoding step and the second slice data signal output by the processing of the second image encoding step are encoded. Recording the image signals at positions close to each other on the image signal recording medium so that the image signals are sequentially read out and one of them is selected when the image signal is decoded. Media recording method.
ことを特徴とする請求項1に記載の画像信号記録媒体の記録方法。The recording step records the second slice data signal at a position subsequent to a position where the first slice data signal is recorded and at a position continuous with the first slice data signal. The method for recording an image signal recording medium according to claim 1 .
前記画像信号のうちの所定のマクロブロックの輝度信号成分を符号化して符号化輝度信号を生成するとともに、前記マクロブロックの色信号成分を第1の解像度で符号化して第1の符号化色信号を生成し、前記符号化輝度信号と前記第1の符号化色信号とを含む第1のスライスデータ信号を出力する第1の画像符号化回路と、
前記マクロブロックの前記第1の解像度より高い第2の解像度の色信号成分を、前記第1の画像符号化回路により符号化された前記第1の符号化色信号が復号された信号を用いて符号化して第2の符号化色信号を生成し、前記第2の符号化色信号を含む第2のスライスデータ信号を出力する第2の画像符号化回路と、
前記第1の画像符号化回路より出力された前記第1のスライスデータ信号と、前記第2の画像符号化回路より出力された前記第2のスライスデータ信号とを、符号化された前記画像信号が復号されるときに順次読み出されていずれか一方が選択されるように、前記画像信号記録媒体の互いに近接する位置に記録する記録回路と
を備えることを特徴とする画像信号記録装置。In an image signal recording apparatus that records an image signal encoded in a predetermined macroblock unit on an image signal recording medium,
A luminance signal component of a predetermined macroblock in the image signal is encoded to generate an encoded luminance signal, and a color signal component of the macroblock is encoded at a first resolution to produce a first encoded color signal. A first image encoding circuit that generates a first slice data signal including the encoded luminance signal and the first encoded color signal;
A color signal component having a second resolution higher than the first resolution of the macroblock is obtained by using a signal obtained by decoding the first encoded color signal encoded by the first image encoding circuit. A second image encoding circuit that encodes to generate a second encoded color signal and outputs a second slice data signal including the second encoded color signal;
The first slice data signal output from the first image encoding circuit and the second slice data signal output from the second image encoding circuit are encoded into the encoded image signal. And a recording circuit for recording the image signals at positions close to each other on the image signal recording medium so that one of them is read out sequentially when decoding is performed.
ことを特徴とする請求項3に記載の画像信号記録装置。The recording circuit records the second slice data signal at a position subsequent to a position where the first slice data signal is recorded and continuous with the first slice data recording signal. The image signal recording device according to claim 3 , wherein
前記画像信号記録媒体に、
符号化された前記画像信号のうちの所定のマクロブロックの輝度信号成分が符号化された符号化輝度信号と、前記マクロブロックの色信号成分が第1の解像度で符号化された第1の符号化色信号とを含む第1のスライスデータ信号を記録した第1のスライスデータ記録部と、
前記マクロブロックの前記第1の解像度より高い第2の解像度の色信号成分が、前記第1の符号化色信号が復号された信号を利用して符号化された第2の符号化色信号を含む第2のスライスデータ信号を記録した第2のスライスデータ記録部と
を備える構造であって、
前記第1のスライスデータ記録部と前記第2のスライスデータ記録部が、互いに近接する位置に配置される構造を有するデータが記録されている場合、
前記画像信号記録媒体から、前記マクロブロックに対応する前記第1のスライスデータ記録部に記録された前記第1のスライスデータ信号と、前記第2のスライスデータ記録部に記録された前記第2のスライスデータ信号とを順次再生する再生手段と、
前記再生手段により再生された前記第1のスライスデータ信号と前記第2のスライスデータ信号とを分離する分離手段と、
前記分離手段により分離された前記第1のスライスデータ信号から、前記符号化輝度信号を復号して前記輝度信号成分を再生するとともに、前記第1の符号化色信号を復号して前記第1の解像度の第1の色信号成分を再生する第1の画像復号回路と、
前記第1の画像復号回路により復号された前記第1の色信号成分を用いて、前記分離手段により分離された前記第2のスライスデータ信号から前記第2の符号化色信号を復号して、前記第2の解像度の第2の色信号成分を再生する第2の画像復号回路と、
前記第1の画像復号回路により再生された前記第1の色信号成分と、前記第2の画像復号回路により再生された前記第2の色信号成分とのうち、前記マクロブロックの復号の処理に用いられる色信号成分を選択する選択手段と
を備えることを特徴とする画像信号再生装置。An image signal reproducing apparatus for reproducing the image signal from an image signal recording medium on which an image signal encoded in a predetermined macroblock unit is recorded,
In the image signal recording medium,
An encoded luminance signal in which a luminance signal component of a predetermined macroblock is encoded in the encoded image signal, and a first code in which a color signal component of the macroblock is encoded at a first resolution A first slice data recording unit that records a first slice data signal including a color signal;
A color signal component having a second resolution higher than the first resolution of the macroblock is converted into a second encoded color signal encoded using a signal obtained by decoding the first encoded color signal. And a second slice data recording unit that records a second slice data signal including the second slice data signal.
When data having a structure in which the first slice data recording unit and the second slice data recording unit are arranged at positions close to each other is recorded,
From the image signal recording medium, the first slice data signal recorded in the first slice data recording unit corresponding to the macroblock and the second slice data signal recorded in the second slice data recording unit Reproducing means for sequentially reproducing the slice data signal;
Separating means for separating the first slice data signal and the second slice data signal reproduced by the reproducing means;
From the first slice data signal separated by the separation means, the encoded luminance signal is decoded to reproduce the luminance signal component, and the first encoded color signal is decoded to decode the first encoded color signal. A first image decoding circuit for reproducing a first color signal component having a resolution,
Using the first color signal component decoded by the first image decoding circuit, decoding the second encoded color signal from the second slice data signal separated by the separation unit, A second image decoding circuit for reproducing a second color signal component of the second resolution;
Of the first color signal component reproduced by the first image decoding circuit and the second color signal component reproduced by the second image decoding circuit, the macroblock decoding process is performed. An image signal reproducing device comprising: a selection unit that selects a color signal component to be used.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001252202A JP3552045B2 (en) | 2001-08-23 | 2001-08-23 | Recording method of image signal recording medium, image signal recording device, and image signal reproducing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001252202A JP3552045B2 (en) | 2001-08-23 | 2001-08-23 | Recording method of image signal recording medium, image signal recording device, and image signal reproducing device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP36017092A Division JP3381855B2 (en) | 1992-12-28 | 1992-12-28 | Image signal encoding method and image signal encoding device, image signal decoding method and image signal decoding device |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003345279A Division JP2004088795A (en) | 2003-10-03 | 2003-10-03 | Image signal preparation device and method, and image signal reproducing device and method |
JP2004007597A Division JP4210925B2 (en) | 2004-01-15 | 2004-01-15 | Image signal generating apparatus and method, and image signal reproducing apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002135803A JP2002135803A (en) | 2002-05-10 |
JP3552045B2 true JP3552045B2 (en) | 2004-08-11 |
Family
ID=19080716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001252202A Expired - Lifetime JP3552045B2 (en) | 2001-08-23 | 2001-08-23 | Recording method of image signal recording medium, image signal recording device, and image signal reproducing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3552045B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023054068A1 (en) * | 2021-09-30 | 2023-04-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Coding device, decoding device, coding method, and decoding method |
-
2001
- 2001-08-23 JP JP2001252202A patent/JP3552045B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2002135803A (en) | 2002-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3381855B2 (en) | Image signal encoding method and image signal encoding device, image signal decoding method and image signal decoding device | |
JP3164031B2 (en) | Moving image encoding / decoding device, moving image encoding / decoding method, and moving image encoded recording medium | |
JP3189258B2 (en) | Image signal encoding method and image signal encoding device, image signal decoding method and image signal decoding device | |
JP3374989B2 (en) | Image signal encoding method and image signal encoding device, image signal decoding method and image signal decoding device | |
JPH06197334A (en) | Picture signal coding method, picture signal decoding method, picture signal coder, picture signal decoder and picture signal recording medium | |
JP3540447B2 (en) | Video encoding apparatus and decoding apparatus | |
JP2000036963A (en) | Image coder, image coding method and image decoder | |
JP3552045B2 (en) | Recording method of image signal recording medium, image signal recording device, and image signal reproducing device | |
JP4210925B2 (en) | Image signal generating apparatus and method, and image signal reproducing apparatus and method | |
JPH08307896A (en) | Image signal recording method and device, image signal reproducing method and device and image signal recording medium | |
JP2004088795A (en) | Image signal preparation device and method, and image signal reproducing device and method | |
JP4422629B2 (en) | Moving picture encoding apparatus, decoding apparatus, moving picture recording apparatus, and moving picture reproduction apparatus | |
JPH08307814A (en) | Image signal recording method and its device, image signal reproducing method and its device and image signal recording medium | |
JP3186406B2 (en) | Image synthesis coding method and image synthesis apparatus | |
JP4526529B2 (en) | Video signal converter using hierarchical images | |
JP3946177B2 (en) | Video encoding apparatus and decoding apparatus | |
JPH06311498A (en) | Encoding/decoding device for picture signal | |
JP3307379B2 (en) | Decoding apparatus and method | |
JP3164110B2 (en) | Encoding device and method | |
JPH06197326A (en) | Picture signal coding method, decoding, method, picture signal coder and decoder | |
JP2003158720A (en) | Image recorder and image reproducer | |
JPH06189293A (en) | Method and device for encoding and decoding picture and recording medium | |
JPH08307815A (en) | Image signal recording method and its device, image signal reproducing method and its device and image signal recording medium | |
JP2000036961A (en) | Image coder, image coding method and image decoder | |
JPH06153148A (en) | Video signal recording and reproducing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20031219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040115 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040420 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |
|
EXPY | Cancellation because of completion of term | ||
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |