JP3797208B2 - カラー動画像符号化装置、復号化装置、符号化方法、復号化方法及びカラー動画像符号列伝送方法 - Google Patents
カラー動画像符号化装置、復号化装置、符号化方法、復号化方法及びカラー動画像符号列伝送方法 Download PDFInfo
- Publication number
- JP3797208B2 JP3797208B2 JP2001365812A JP2001365812A JP3797208B2 JP 3797208 B2 JP3797208 B2 JP 3797208B2 JP 2001365812 A JP2001365812 A JP 2001365812A JP 2001365812 A JP2001365812 A JP 2001365812A JP 3797208 B2 JP3797208 B2 JP 3797208B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- image
- signal
- moving image
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/04—Colour television systems using pulse code modulation
- H04N11/042—Codec means
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明はカラー動画像符号化装置、復号化装置、符号化方法、復号化方法及びカラー動画像符号列伝送方法に係り、特にピクチャ内独立、片方向予測及び双方向予測の3種類の符号化手法を用いる動画像符号化において、色差信号については垂直方向の画素数(走査線数)を削減した画像フォーマットでの符号化あるいは復号化を行うカラー動画像符号化装置、符号化方法、復号化装置、復号化方法及びカラー動画像符号列伝送方法に関する。
【0002】
【従来の技術】
カラー動画像の符号化では、被符号化画像フォーマットとして輝度信号と色差信号を別信号とするコンポーネント信号を用いるのが一般的である。その画像フォーマットは、輝度信号と色差信号のサンプル状態から4:2:2と呼ばれる色差信号のサンプル数を輝度信号のそれに比し水平方向に半分にしたものと、4:1:1と呼ばれる色差信号のサンプル数を輝度信号のそれに比し水平方向に1/4にしたもの、4:2:0と呼ばれる色差信号のサンプル数を輝度信号のそれに比し水平方向及び垂直方向共に半分にしたものがある。
【0003】
MPEG−2(Moving Picture Experts Group 2)規格では4:2:2プロファイルと呼ばれる放送機器用の方式では、4:2:2のフォーマットが、メインプロファイルと呼ばれるディジタル放送や民生機器用の方式では4:2:0フォーマットが使われる。
【0004】
各呼称における数字は、13.5MHzサンプルを4として、コンポーネント信号のそれぞれの信号に対するサンプリング周波数を相対的に示すもので、輝度4に対して二つの色差は2ないし1の比率である。4:2:0は、国際電気通信連合(ITU)での正式呼称ではないが、色差信号のサンプルが垂直方向に半分になっているものの通称で、水平方向のサンプルは4:2:2と同様である。
【0005】
動画像信号が順次(プログレッシブ)走査の場合、4:2:2に対し4:2:0ではフレーム単位で色差信号の走査線(垂直画素数)を半分にする。従って、色差信号の解像度は輝度信号に対して垂直方向及び水平方向共に1/2となる。このような信号の解像度特性は人の視覚特性から見て適正と言える。また、処理量も軽減されるので、順次走査画像の高能率符号化では4:2:0が最も適切なフォーマットと言える。色差信号のサンプル点は2種類があり、SMPTE294M規格では輝度信号のサンプル点と同位置の飛越し走査(インターレース)で、MPEG−2規格では輝度信号のサンプル点の中間位置の順次走査である。
【0006】
一方、動画像信号が飛越し走査の場合、4:2:0ではフィールド単位で色差信号の走査線(垂直画素数)を半分にせざるを得ない。従って、色差信号の垂直方向の解像度は1/4になってしまう。ITUで定められている4:2:2フォーマットの垂直時間軸でのサンプル点を図6(a)に、及びMPEGで定められている4:2:0フォーマットのサンプル点を図6(b)に示す。図で○が輝度信号サンプル点であり、×が色差信号サンプル点である。
【0007】
飛越し(インターレース)走査の場合、解像度的には4:2:2が望ましいが、処理量は4:2:0の方が少ない。情報量は4:2:0の方が4:2:2よりも少ないが、解像度低下とのバランスで考慮すると必ずしも良好といえない。
【0008】
高能率符号化では動き補償及び直交変換の処理単位が方形ブロックであるので、輝度信号及び色差信号の各サンプルをブロック化する。動き補償及び適応モードの切り替え処理単位(マクロブロック)である輝度信号16×16画素において、直交変換の処理単位である8×8画素をブロックとするのが一般的である。この場合、4:2:2ではマクロブロック中に輝度4ブロックに対して色差2ブロックずつが組みとなる。4:2:0では、輝度4ブロックに色差1ブロックずつが組みとなる。
【0009】
また、MPEG方式などの動画像符号化では、画像間予測の方法により3種類の画像タイプを持つ。Iピクチャと呼ばれるピクチャ内独立符号化ピクチャと、Pピクチャと呼ばれる片側方向予測ピクチャと、Bピクチャと呼ばれる双方向予測ピクチャである。このような動画像符号化において、本発明者が先に特開平11−275591号公報及び特開平11−46365号公報にて開示した、画像間予測の参照画像となるP(I)ピクチャのみ順次走査とし、参照画像とならないBピクチャは飛越し走査とすることで、飛越し走査での再生を前提とした場合に、画像間予測効率は高く、冗長となる走査線の符号化は行わない動画像符号化装置が知られている。
【0010】
図7は上記のP(I)ピクチャのみ順次走査としてBピクチャは飛越し走査とする従来の動画像符号化装置の一例のブロック図を示す。順次走査画像入力端子1より入来する動画像信号は、スイッチ3によりP(I)ピクチャとして符号化するものが減算器4に、Bピクチャとして符号化するものがフレーム遅延器13に供給される。
【0011】
P(I)ピクチャの画像信号は、減算器4において画像間予測器9から与えられる予測信号と減算され、予測残差となって8×8DCT5に与えられる。8×8DCT5は、予測残差に対してDCT(Discrete Cosine Transform)の変換処理を行い、得られた係数を量子化器6に供給する。量子化器6は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器7と逆量子化器10に供給する。可変長符号化器7は、固定長の予測残差を可変長符号で圧縮し、できた符号を符号出力端子8より出力する。
【0012】
一方、逆量子化器10及び8×8IDCT11では、量子化器6及び8×8DCT5の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器12で予測信号が加算され再生画像となり、画像間予測器9に供給される。画像間予測器9はこの再生画像を参照画像として用いて画像間予測信号を形成し、減算器4と加算器12に与える。
【0013】
Bピクチャの入来動画像信号は、P(I)ピクチャが先行して符号化される間フレーム遅延器13で遅延させられ、減算器14に入力される。減算器14ではフレーム遅延器13で遅延されたBピクチャの動画像信号と画像間予測器9から供給される予測信号との減算を行い、得られた予測残差を走査線間引き器15に供給する。
【0014】
走査線間引き器15は、順次走査状態の予測残差を、飛越し走査の状態に走査線を間引き8×4DCT16に供給する。8×4DCT16は、飛越し走査の状態の予測残差に対して垂直方向に4本単位でDCTを行い、得られた係数を量子化器17に供給する。量子化器17は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器7に供給する。
【0015】
上記符号化における4:2:2フォーマットの垂直時間軸での輝度信号及び色差信号のサンプル点を図6(c)に示す。
【0016】
次に、図7に示した従来の動画像符号化装置に対応する従来の動画像復号化装置について説明する。図8はこの従来の動画像符号化装置の一例のブロック図を示す。同図において、符号入力端子21より入来する符号列は、可変長復号化器22で可変長符号が固定長の符号に戻され、P(I)ピクチャの符号は逆量子化器23に、Bピクチャの符号は逆量子化器24に供給される。逆量子化器23は、入力されたP(I)ピクチャの固定長符号に対して、量子化パラメータに従って逆量子化を行い、得られた予測残差の再生DCT係数値を8×8IDCT25に供給する。
【0017】
8×8IDCT25は、予測残差の再生DCT係数値を再生予測残差信号に変換し、加算器26に供給する。加算器26ではこの再生予測残差信号に、画像間予測器27から与えられる予測信号を加算して復号画像を得る。この様にして得られたP(I)ピクチャの再生画像信号は、画像間予測器27に供給される。画像間予測器27は予測信号を形成し、加算器26に供給する。P(I)ピクチャは順次走査画像であり、処理もすべて順次走査状態で行われ、再生画像も順次走査である。
【0018】
一方、Bピクチャの符号は、逆量子化器24、8×4IDCT28で復号化されて再生予測残差信号とされて走査線補間器29に供給される。逆量子化器24及び8×4IDCT28の動作は、逆量子化器23及び逆DCT25の動作と同様であるが、ブロック内の係数は8×4個であり、パラメータ等が異なる。
【0019】
走査線補間器29は、飛越し走査の各フィールド単位に垂直方向に走査線の補間処理を行い、順次走査となった予測残差を加算器30に供給する。加算器30はこの予測残差に画像間予測器27から入力される予測画像を加算してBピクチャの再生画像を得る。
【0020】
加算器30の出力であるBピクチャの再生画像は、スイッチ31を介して順次走査画像出力端子32より出力される。一方、P(I)ピクチャの再生画像は、画像間予測器27内の画像メモリで、後から復号されたBピクチャが出力されるまで遅延させられた後、スイッチ31を介して順次走査画像出力端子32より出力される。
【0021】
【発明が解決しようとする課題】
P(I)ピクチャを順次走査で、Bピクチャを飛越し走査で符号化する上記の従来の動画像符号化装置では、4:2:0フォーマットのカラー動画像を符号化する場合、MPEG−2規格で行われているように色差信号を輝度信号と同様に扱うとI及びPピクチャは順次走査なので適正な解像度となるが、Bピクチャにおいてはフィールド単位で間引かれるので色差信号の垂直解像度が不十分となる。
【0022】
一方、4:2:2フォーマットのカラー動画像を符号化すると、P(I)ピクチャは4:2:0の場合より処理量が多く、順次走査なので色差信号の解像度は、輝度信号とのバランス上過剰であり、主観画質に対して必要情報量が多くなる。
【0023】
本発明は以上の点に鑑みなされたもので、P(I)ピクチャでは輝度信号を順次走査や、色差信号を垂直方向に半分に間引かれた4:2:0フォーマットで符号化し、Bピクチャでは輝度信号と色差信号の両方を垂直方向に半分に間引かれた同一走査線数の画像として符号化することで、色差信号の解像度を改善し得るカラー動画像符号化装置、復号化装置、符号化方法、復号化方法及びカラー動画像符号列伝送方法を提供することを目的とする。
【0024】
【課題を解決するための手段】
上記の目的を達成するため、本発明のカラー動画像符号化装置は、画像間予測符号化処理の参照画像となるピクチャと、参照画像とならないピクチャを持つカラー動画像符号列を得るカラー動画像符号化装置において、参照画像となるピクチャで、輝度信号は順次走査画像として符号化し、色差信号は順次走査画像に対して走査線が半分に間引かれた動画像信号として符号化する第1の符号化手段と、参照画像にならないピクチャで、輝度信号及び色差信号をそれぞれ順次走査画像に対して走査線が半分に間引かれた動画像信号として符号化する第2の符号化手段とを有する構成としたものである。
【0025】
また、上記の目的を達成するため、本発明のカラー動画像復号化装置は、画像間予測符号化処理の参照画像となるピクチャと、参照画像とならないピクチャを持つカラー動画像符号列を復号化するカラー動画像復号化装置において、参照画像となるピクチャで、輝度信号は順次走査画像として復号化し、色差信号は順次走査画像に対して走査線が半分に間引かれた動画像信号として復号化する第1の復号化手段と、参照画像にならないピクチャで、輝度信号及び色差信号をそれぞれ順次走査画像に対して走査線が半分に間引かれた動画像信号として復号化する第2の復号化手段とを有する構成としたものである。
【0026】
また、上記の目的を達成するため、本発明のカラー動画像符号化方法は、参照画像となるピクチャで、輝度信号は順次走査画像として符号化し、色差信号は順次走査画像に対して走査線が半分に間引かれた動画像信号として符号化する第1のステップと、参照画像にならないピクチャで、輝度信号及び色差信号をそれぞれ順次走査画像に対して走査線が半分に間引かれた動画像信号として符号化する第2のステップとを含むことを特徴とする。
【0027】
また、上記の目的を達成するため、本発明のカラー動画像復号化方法は、参照画像となるピクチャで、輝度信号は順次走査画像として復号化し、色差信号は順次走査画像に対して走査線が半分に間引かれた動画像信号として復号化する第1のステップと、参照画像にならないピクチャで、輝度信号及び色差信号をそれぞれ順次走査画像に対して走査線が半分に間引かれた動画像信号として復号化する第2のステップとを含むことを特徴とする。
【0028】
更に、上記の目的を達成するため、本発明のカラー動画像符号列の伝送方法は、参照画像となるピクチャでは、輝度信号は順次走査画像として符号化し、色差信号は順次走査画像に対して垂直方向に半分に間引かれた走査線数の動画像符号列であり、参照画像にならないピクチャでは、輝度信号及び色差信号はそれぞれ順次走査画像に対して垂直方向に半分に間引かれた走査線数の動画像符号列である符号列を伝送することを特徴とする。
【0029】
本発明では、画像間予測符号化処理の参照画像となるピクチャでは輝度信号を順次走査画像として符号化し、色差信号は順次走査画像に対して走査線が半分に間引かれた動画像信号として符号化し、参照画像とならないピクチャでは輝度信号と色差信号の両方を垂直方向に半分に間引かれた同一走査線数の動画像信号として符号化するものである。これにより、参照画像となるピクチャは、順次走査で符号化され、参照画像とならないピクチャでは色差信号と輝度信号は共に半分の走査線で符号化されるが、これは飛越し走査と同様の走査線数になる。
【0030】
具体的処理はその形態及び色差信号のサンプル点の違いから、次の2種類がある。基本を順次走査とした場合、まず順次走査画像を得て、その画像に対して4:2:0のフォーマット形成を行い、参照画像とならないピクチャであるBピクチャでは輝度信号は飛越し走査形態での走査線間引きを行い、色差信号は順次走査のまま符号化する。これにより、参照画像となるピクチャであるP(I)ピクチャは4:2:0の順次走査で符号化され、Bピクチャでは輝度信号は飛越し走査で符号化され、色差信号は半分の走査線数の順次走査で符号化されることになる。
【0031】
次に基本を飛越し走査とした場合、4:2:2の飛越し走査画像で、P(I)ピクチャの輝度信号のみ順次走査に変換し、他は飛越し走査画像のまま符号化する。これにより、P(I)ピクチャは4:2:0の順次走査で符号化され、Bピクチャでは4:2:2の飛越し走査で符号化されることになる。
【0032】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。図1は本発明になるカラー動画像符号化装置の第1の実施の形態のブロック図を示す。同図中、図7と同一構成部分には同一符号を付してある。また、本明細書中、「ピクチャ」とは、一つのフレームないしフィールドを指すものとする。
【0033】
図1において、順次走査画像入力端子1より入来する4:2:2フォーマットで順次走査の動画像信号は、4:2:0変換器ですべてのピクチャの色差信号に対して垂直方向のサブサンプルが行われ、4:2:0のカラー動画像フォーマットに変換された後、スイッチ3に与えられる。ここで、4:2:0の色差信号のサンプル点は、MPEG−2規格の形態とする。標準方式の画素(走査線)数は、4:2:2では、輝度信号が720画素480ライン、色差信号は360画素480ラインである。4:2:0では、輝度信号が720画素480ライン、色差信号は360画素240ラインである。
【0034】
スイッチ3は、4:2:0のカラー動画像フォーマットの画像信号のうちP(I)ピクチャとして符号化されるものを減算器4に、Bピクチャとして符号化されるものをフレーム遅延器13に供給する。P(I)ピクチャの画像信号は、減算器4において画像間予測器9から与えられる予測信号と減算され、予測残差となって8×8DCT5に与えられる。8×8DCT5は、予測残差に対してDCT(Discrete Cosine Transform)の変換処理を行い、得られた係数を量子化器6に供給する。量子化器6は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器7と逆量子化器10に供給する。可変長符号化器7は、固定長の予測残差を可変長符号で圧縮し、できた符号を符号出力端子8より出力する。
【0035】
一方、逆量子化器10及び8×8IDCT11では、量子化器6及び8×8DCT5の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器12で予測信号が加算され再生画像となり、画像間予測器9に供給される。画像間予測器9はこの再生画像を参照画像として用いて画像間予測信号を形成し、減算器4と加算器12と減算器14に供給する。P(I)ピクチャの画像信号は順次走査の4:2:0フォーマットであり、これに対する局部再生画像や画像間予測信号も同様の画像である。
【0036】
Bピクチャの画像信号は、P(I)ピクチャを先行して符号化する間フレーム遅延器13で遅延させられてから減算器14に供給され、ここで画像間予測器9から供給される予測信号と減算されて予測残差とされた後、走査線間引き器15と8×8DCT18にそれぞれ供給される。
【0037】
8×8DCT18は、8×8DCT5と同様に予測残差に対して8×8DCTの変換処理を行い、得られた係数をスイッチ19に与える。一方、走査線間引き器15は、順次走査状態の予測残差を、飛越し走査の状態に走査線を間引き、8×4DCT16に供給する。8×4DCT16は、飛越し走査の状態の予測残差に対して垂直方向に4本単位でDCTを行い、得られた係数をスイッチ19に与える。
【0038】
スイッチ19は輝度信号では間引きが行われた8×4DCT16の出力を、色差信号では8×8DCT18の出力を選択する。スイッチ19により選択された係数は量子化器17に供給され、ここで所定のステップ幅で量子化されることで固定長の符号とされて可変長符号化器7に供給される。
【0039】
このような符号化を行う、本実施の形態の輝度信号及び色差信号の時間垂直方向でのサンプル点を図5(a)に示す。同図(a)中、○が輝度信号サンプル点であり、×が色差信号サンプル点である。順次走査で4:2:0信号が形成され、Bピクチャでは輝度信号のみが飛越し走査に間引かれる。Bピクチャでは輝度信号と色差信号は走査線数が同一であるが、サンプル点の位置は異なる。
【0040】
このように、本実施の形態では、参照画像となるP(I)ピクチャは、順次走査の4:2:0として符号化されるので、色差が垂直水平に半分であり、視覚特性、処理量、情報量の面で最も効率的となる。一方、Bピクチャでは色差信号と輝度信号は共に半分の走査線であり、飛越し走査画像再生を行う上で色差信号の解像度低下が無く、視覚特性、処理量、情報量の面で最も合理的である。その結果、解像度及び量子化歪の両方の点で再生画質が良好になる。
【0041】
次に、第1の実施の形態のカラー動画像符号化装置で符号化して得られる符号列について説明する。この符号列においては、IピクチャやPピクチャなど参照画像となるピクチャは、輝度信号を順次走査画像として符号化し、色差信号を順次走査画像に対して垂直方向に半分に間引かれた走査線数の動画像として符号化した符号列であり、Bピクチャなど参照画像にならないピクチャは、輝度信号及び色差信号がそれぞれ順次走査に対して垂直方向に半分に間引かれた走査線数の動画像として符号化した符号列である。各ピクチャの符号列はヘッダを含めて多重化される。
【0042】
次に、図1に示した第1の実施の形態のカラー動画像符号化装置に対応する第1の実施の形態のカラー動画像復号化装置について説明する。図2は本発明になるカラー動画像復号化装置の第1の実施の形態のブロック図を示す。同図中、図8と同一構成部分には同一符号を付してある。図2において、符号入力端子21より入来する符号列は、可変長復号化器22で可変長符号が固定長の符号に戻され、P(I)ピクチャの符号は逆量子化器23に、Bピクチャの符号は逆量子化器24に供給される。逆量子化器23は、入力されたP(I)ピクチャの固定長符号に対して、量子化パラメータに従って逆量子化を行い、得られた予測残差の再生DCT係数値を8×8IDCT25に供給する。
【0043】
8×8IDCT25は、予測残差の再生DCT係数値を再生予測残差信号に変換し、加算器26に供給する。加算器26ではこの再生予測残差信号に、画像間予測器27から与えられる予測信号を加算して復号画像を得る。この様にして得られたP(I)ピクチャの再生画像信号は、画像間予測器27に供給される。画像間予測器27は予測信号を形成し、加算器26に供給する。P(I)ピクチャは順次走査画像であり、処理もすべて順次走査状態で行われ、再生画像も順次走査である。
【0044】
一方、Bピクチャの符号は、逆量子化器24で逆量子化されて再生係数となり、8×4IDCT28及び8×8IDCT34にそれぞれ供給される。8×4IDCT28は、8×4個の再生係数を変換して再生予測残差信号として走査線補間器29に供給する。走査線補間器29は、飛越し走査の各フィールド単位に垂直方向に走査線の補間処理を行い、順次走査となった予測残差信号をスイッチ35に供給する。また、8×8IDCT34は、8×8IDCT25と同様な処理を行い、得られた再生予測残差信号をスイッチ35に供給する。
【0045】
スイッチ35は、輝度信号では走査線補間器29の出力を、色差信号では8×8IDCT34の出力を選択して加算器36に与える。加算器36はスイッチ35により選択された予測残差信号に、画像間予測器27から供給される予測画像を加算して再生画像を得る。
【0046】
加算器36の出力であるBピクチャの再生画像はスイッチ31を介して4:2:2変換器37に供給される。P(I)ピクチャの再生画像は、画像間予測器27内の画像メモリで、後から復号されたBピクチャが出力されるまで遅延させられ、スイッチ31を介して4:2:2変換器37に供給される。4:2:2変換器37は4:2:0信号の色差信号を垂直方向に走査線補間し、4:2:2のフォーマットに戻して、得られた4:2:2画像を順次走査画像出力端子38より出力する。
【0047】
次に、本発明のカラー動画像符号化装置の第2の実施の形態について説明する。図3は本発明になるカラー動画像符号化装置の第2の実施の形態のブロック図を示す。同図中、図1と同一構成部分には同一符号を付してある。本実施の形態が図1の第1の実施の形態と異なるのは、被符号化信号の形成方法で、色差信号のサンプル位置が異なる。
【0048】
図3において、飛越し走査画像入力端子41より入来する4:2:2フォーマットで飛越し走査の動画像信号は、フレームスイッチ42により、P(I)ピクチャとして符号化するものが順次走査変換器43とY/Cスイッチ44に供給され、Bピクチャとして符号化するものがフレーム遅延器13に供給される。順次走査変換器43は、周辺画素から飛越し走査で欠落していた走査線を補間し、順次走査の動画像を形成する。Y/Cスイッチ44は、輝度信号は順次走査構造となった順次走査変換器43の出力を選択し、色差信号ではフレームスイッチ42の画像信号を選択し、減算器4に供給する。従って、Y/Cスイッチ44の出力動画像信号は、輝度信号が順次走査で色差信号が飛越し走査となっており、4:2:0タイプのカラー動画像フォーマットとなっている。
【0049】
Y/Cスイッチ44から取り出された、4:2:0タイプのカラー動画像フォーマットでP(I)ピクチャの画像信号は、減算器4、8×8DCT5及び量子化器6よりなる回路部で固定長の符号とされた後、可変長符号化器7と逆量子化器10に供給される。これらの処理は図1の第1の実施の形態と同じである。可変長符号化器7は、固定長の予測残差を可変長符号で圧縮し、できた符号は符号出力端子8より出力される。
【0050】
一方、量子化器6の出力信号は、逆量子化器10、8×8IDCT11及び加算器12よりなる回路部で局部再生画像とされた後、画像間予測器45に供給される。画像間予測器45はこの再生画像を参照画像として用いて画像間予測信号を形成し、減算器4と加算器12に供給する。画像間予測器45は第1の実施の形態の画像間予測器9と類似するが、色差信号は飛越し走査なので、色差信号の予測信号形成方法が異なる。
【0051】
Bピクチャでは入来動画像信号は、輝度信号も色信号も飛越し走査のまま符号化されるべく、まず、P(I)ピクチャを先行して符号化する間フレーム遅延器13で遅延させられてから減算器14に供給される。減算器14は、画像間予測器45からの順次走査の予測信号に対して走査線間引き器18で走査線を間引いて得られた飛越し走査の予測信号と、フレーム遅延器13からの動画像信号との減算を行い、予測残差信号を得る。この予測残差信号は、8×8DCT18及び量子化器17により固定長の符号とされて可変長符号化器7に供給される。
【0052】
このような符号化を行う、本実施の形態の輝度信号及び色差信号の時間垂直方向でのサンプル点を図5(b)に示す。飛越し走査の4:2:2信号が、P(I)ピクチャで輝度信号のみ順次走査となる。図5(b)に示すように、同図(a)に示す第1の実施の形態とは走査線数が同一であるが、色差信号のサンプル点の位置が異なる。色差信号は飛越し走査の輝度信号ないし、SMPTE294M規格の4:2:0順次走査信号における色差信号と同様な位置となる。
【0053】
本実施の形態も第1の実施の形態と同様に、参照画像となるP(I)ピクチャは、順次走査の4:2:0として符号化されるので、色差が垂直水平に半分であり、視覚特性、処理量、情報量の面で最も効率的となる。一方、Bピクチャでは色差信号と輝度信号は共に半分の走査線であり、飛越し走査画像再生を行う上で色差信号の解像度低下が無く、視覚特性、処理量、情報量の面で最も合理的である。その結果、解像度及び量子化歪の両方の点で再生画質が良好になる。
【0054】
次に、本発明のカラー動画像符号化装置の第2の実施の形態に対応する本発明のカラー動画像復号化装置の第2の実施の形態について説明する。図4は本発明になるカラー動画像復号化装置の第2の実施の形態のブロック図を示す。同図中、図2と同一構成部分には同一符号を付してある。
【0055】
図4において、符号入力端子21より入来する符号列は、可変長復号化器22で可変長符号が固定長の符号に戻され、P(I)ピクチャの符号は、逆量子化器23、8×8IDCT25及び加算器26よりなる回路部で再生画像信号とされて画像間予測器27に供給される。画像間予測器27は予測信号を形成し、加算器26に供給する。P(I)ピクチャは輝度信号が順次走査画像で、色差信号は飛越し走査画像である。
【0056】
P(I)ピクチャの再生画像は、画像間予測器27内の画像メモリで、後から復号されたBピクチャが出力されるまで遅延させられた後、走査線間引き器52に供給され、ここで走査線が間引かれ飛越し走査画像とされる。Y/Cスイッチ53は、輝度信号では走査線間引き器52から取り出されるP(I)ピクチャの再生画像を選択し、色差信号では画像間予測器27から取り出されるP(I)ピクチャの再生画像を選択する。従って、Y/Cスイッチ53からは、輝度信号及び色差信号共に飛越し走査画像であるP(I)ピクチャの再生画像が取り出される。
【0057】
一方、可変長復号化器22から取り出されたBピクチャの符号は、逆量子化器24及び8×8IDCT34からなる回路部で再生予測残差信号とされた後、加算器36に供給される。加算器36は画像間予測器27からの予測信号が加算されるが、輝度信号では予測信号は順次走査なので、走査線間引き器51で飛越し走査にされた予測信号を、8×8IDCT34からの再生予測残差信号と加算する。これにより、加算器36からBピクチャの再生画像が出力されてフレームスイッチ54に供給される。フレームスイッチ54は、Y/Cスイッチ53からのP(I)ピクチャの再生画像と、加算器36からのBピクチャの再生画像を選択し、4:2:2フォーマットの再生動画像として飛越し走査画像出力端子55より出力する。
【0058】
【発明の効果】
以上説明したように、本発明によれば、画像間予測符号化処理の参照画像となるピクチャでは輝度信号を順次走査で、色差信号を垂直方向に半分に間引かれたフォーマットで符号化し、参照画像とならないピクチャでは輝度信号と色差信号の両方を垂直方向に半分に間引かれた同一走査線数の画像として符号化することにより、参照画像となるピクチャでは、色差信号のサンプル点が輝度信号のサンプル点に比し垂直方向及び水平方向共に半分であり、色差が輝度に比べて過剰にならず、視覚特性、処理量、情報量の面で最も効率的となる。この画像を参照画像として画像間予測を行うことができる。
【0059】
一方、本発明では、画像間予測符号化処理の参照画像とならないピクチャでは、輝度信号も色差信号と共に半分の走査線としているため、飛越し走査画像再生を行う上で色差信号の解像度低下が無く、視覚特性、処理量、情報量の面で最も合理的である。その結果、解像度及び量子化歪の両方の点で再生画質が良好になる。以上により、本発明によれば、同一主観画質で符号化ビットレートをより低減することが可能になる。
【図面の簡単な説明】
【図1】 本発明のカラー動画像符号化装置の第1の実施の形態のブロック図である。
【図2】 本発明のカラー動画像復号化装置の第1の実施の形態のブロック図である。
【図3】 本発明のカラー動画像符号化装置の第2の実施の形態のブロック図である。
【図4】 本発明のカラー動画像復号化装置の第2の実施の形態のブロック図である。
【図5】 本発明の各実施の形態の走査線構成を示す図である。
【図6】 従来例の走査線構成を示す図である。
【図7】 従来の動画像符号化装置の一例のブロック図である。
【図8】 従来の動画像復号化装置の一例のブロック図である。
【符号の説明】
1 順次走査画像入力端子
2 4:2:0変換器
3、31、42、54 フレームスイッチ
4、14 減算器
5、18 8×8DCT
6、17 量子化器
7 可変長符号化器
8 符号列出力端子
9、27、45 画像間予測器
10、23、24 逆量子化器
11、25、34 8×8IDCT
12、26、36 加算器
13 フレーム遅延器
15、46、51、52 走査線間引き器
16 8×4DCT
19、35、44、53 Y/Cスイッチ
21 符号列入力端子
22 可変長復号化器
28 8×4IDCT
29 走査線補間器
37 4:2:2変換器
38 順次走査画像出力端子
41 飛越し走査画像入力端子
43 順次走査変換器
55 飛越し走査画像出力端子
Claims (7)
- 画像間予測符号化処理の参照画像となるピクチャと、参照画像とならないピクチャを持つカラー動画像符号列を得るカラー動画像符号化装置において、
前記参照画像となるピクチャで、輝度信号は順次走査画像として符号化し、色差信号は前記順次走査画像に対して走査線が半分に間引かれた動画像信号として符号化する第1の符号化手段と、
前記参照画像にならないピクチャで、輝度信号及び色差信号をそれぞれ順次走査画像に対して走査線が半分に間引かれた動画像信号として符号化する第2の符号化手段と
を有することを特徴とするカラー動画像符号化装置。 - 順次走査の輝度信号と、順次走査に対して走査線が半分に間引かれた色差信号を得て、前記第1及び第2の符号化手段に被符号化画像信号として供給する画像フォーマット変更手段を有し、前記第2の符号化手段は、前記輝度信号についても順次走査に対して走査線が半分に間引かれた動画像信号として符号化することを特徴とする請求項1記載のカラー動画像符号化装置。
- 前記順次走査画像に対して走査線が半分に間引かれた動画像信号は、飛越し走査の走査線構造の動画像信号であることを特徴とする請求項1記載のカラー動画像符号化装置。
- 画像間予測符号化処理の参照画像となるピクチャと、参照画像とならないピクチャを持つカラー動画像符号列を復号化するカラー動画像復号化装置において、
前記参照画像となるピクチャで、輝度信号は順次走査画像として復号化し、色差信号は前記順次走査画像に対して走査線が半分に間引かれた動画像信号として復号化する第1の復号化手段と、
前記参照画像にならないピクチャで、輝度信号及び色差信号をそれぞれ前記順次走査画像に対して走査線が半分に間引かれた動画像信号として復号化する第2の復号化手段と
を有することを特徴とするカラー動画像復号化装置。 - 画像間予測符号化処理の参照画像となるピクチャと、参照画像とならないピクチャを持つカラー動画像符号列を得るカラー動画像符号化方法において、
前記参照画像となるピクチャで、輝度信号は順次走査画像として符号化し、色差信号は前記順次走査画像に対して走査線が半分に間引かれた動画像信号として符号化する第1のステップと、
前記参照画像にならないピクチャで、輝度信号及び色差信号をそれぞれ順次走査画像に対して走査線が半分に間引かれた動画像信号として符号化する第2のステップと
を含むことを特徴とするカラー動画像符号化方法。 - 画像間予測符号化処理の参照画像となるピクチャと、参照画像とならないピクチャを持つカラー動画像符号列を復号化するカラー動画像復号化方法において、
前記参照画像となるピクチャで、輝度信号は順次走査画像として復号化し、色差信号は前記順次走査画像に対して走査線が半分に間引かれた動画像信号として復号化する第1のステップと、
前記参照画像にならないピクチャで、輝度信号及び色差信号をそれぞれ前記順次走査画像に対して走査線が半分に間引かれた動画像信号として復号化する第2のステップと
を含むことを特徴とするカラー動画像復号化方法。 - ピクチャ間予測符号化処理の参照画像となるピクチャと、参照画像とならないピクチャを持つカラー動画像符号列の伝送方法において、
前記参照画像となるピクチャでは、輝度信号は順次走査画像として符号化し、色差信号は前記順次走査画像に対して垂直方向に半分に間引かれた走査線数の動画像符号列であり、前記参照画像にならないピクチャでは、輝度信号及び色差信号はそれぞれ前記順次走査画像に対して垂直方向に半分に間引かれた走査線数の動画像符号列である符号列を伝送することを特徴とするカラー動画像符号列伝送方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001365812A JP3797208B2 (ja) | 2001-11-30 | 2001-11-30 | カラー動画像符号化装置、復号化装置、符号化方法、復号化方法及びカラー動画像符号列伝送方法 |
US10/287,685 US7003036B2 (en) | 2001-11-30 | 2002-11-05 | Encoder, decoder, encoding method and decoding method for color moving image and method of transferring bitstream of color moving image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001365812A JP3797208B2 (ja) | 2001-11-30 | 2001-11-30 | カラー動画像符号化装置、復号化装置、符号化方法、復号化方法及びカラー動画像符号列伝送方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003169348A JP2003169348A (ja) | 2003-06-13 |
JP3797208B2 true JP3797208B2 (ja) | 2006-07-12 |
Family
ID=19175792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001365812A Expired - Lifetime JP3797208B2 (ja) | 2001-11-30 | 2001-11-30 | カラー動画像符号化装置、復号化装置、符号化方法、復号化方法及びカラー動画像符号列伝送方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7003036B2 (ja) |
JP (1) | JP3797208B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1307837C (zh) * | 2003-07-25 | 2007-03-28 | 联发科技股份有限公司 | 可一起产生逐行扫描与隔行扫描视讯信号的影像播放系统 |
US7903306B2 (en) * | 2005-07-22 | 2011-03-08 | Samsung Electronics Co., Ltd. | Sensor image encoding and/or decoding system, medium, and method |
JP4529874B2 (ja) * | 2005-11-07 | 2010-08-25 | ソニー株式会社 | 記録再生装置および記録再生方法、記録装置および記録方法、再生装置および再生方法、並びにプログラム |
GB2443581B (en) * | 2005-11-07 | 2010-06-09 | Sony Corp | Recording apparatus, method, and program |
JP4513904B2 (ja) * | 2008-06-25 | 2010-07-28 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3164031B2 (ja) | 1997-05-30 | 2001-05-08 | 日本ビクター株式会社 | 動画像符号化復号化装置、動画像符号化復号化方法、及び動画像符号化記録媒体 |
JP4014263B2 (ja) * | 1997-10-01 | 2007-11-28 | 松下電器産業株式会社 | 映像信号変換装置及び映像信号変換方法 |
JP3649370B2 (ja) * | 1998-02-25 | 2005-05-18 | 日本ビクター株式会社 | 動き補償符号化装置及び動き補償符号化方法 |
JP3164056B2 (ja) * | 1998-03-19 | 2001-05-08 | 日本ビクター株式会社 | 動画像符号化復号化装置、動画像符号化復号化方法及び動画像符号記録媒体 |
US6940911B2 (en) * | 2000-03-14 | 2005-09-06 | Victor Company Of Japan, Ltd. | Variable picture rate coding/decoding method and apparatus |
US7447264B2 (en) * | 2002-11-07 | 2008-11-04 | Victor Company Of Japan, Ltd. | Moving-picture temporal scalable coding method, coding apparatus, decoding method, decoding apparatus, and computer program therefor |
-
2001
- 2001-11-30 JP JP2001365812A patent/JP3797208B2/ja not_active Expired - Lifetime
-
2002
- 2002-11-05 US US10/287,685 patent/US7003036B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2003169348A (ja) | 2003-06-13 |
US7003036B2 (en) | 2006-02-21 |
US20030103562A1 (en) | 2003-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8989273B2 (en) | Image information encoding method and encoder, and image information decoding method and decoder | |
JP3855522B2 (ja) | 動画変換装置 | |
JPH10126786A (ja) | 動画像符号化装置及び動画像復号化装置 | |
JP2830883B2 (ja) | 動画像符号化装置及びその復号装置 | |
JP2933561B2 (ja) | 動画符号変換装置 | |
JP3797208B2 (ja) | カラー動画像符号化装置、復号化装置、符号化方法、復号化方法及びカラー動画像符号列伝送方法 | |
JP5742049B2 (ja) | カラー動画像符号化方法及びカラー動画像符号化装置 | |
JP4264811B2 (ja) | 画像復号化装置及び画像復号化方法 | |
JP3416505B2 (ja) | 動画像復号化方法 | |
JP4193252B2 (ja) | 信号処理装置及び方法、信号復号装置、並びに信号符号化装置 | |
JP2924866B2 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法、並びに動画像復号方法 | |
JPH10126749A (ja) | 順次走査変換装置 | |
JPH0530494A (ja) | 画像符号化・復号化装置 | |
JP3384738B2 (ja) | 動画像復号化方法 | |
JPH06311505A (ja) | 動画像符号化装置及び復号化装置 | |
JPH11252561A (ja) | 動画像復号化方法 | |
JP2002077918A (ja) | 動画像走査構造変換装置、動画像符号化装置、動画像走査構造変換方法、及び動画像符号化方法 | |
JP2004173186A (ja) | インターレース走査画像符号化方法、符号化装置、復号化方法及び復号化装置 | |
JPH10271504A (ja) | 画像信号の符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060410 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3797208 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 6 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 8 |
|
EXPY | Cancellation because of completion of term |