JP3948266B2 - 動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法 - Google Patents
動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法 Download PDFInfo
- Publication number
- JP3948266B2 JP3948266B2 JP2001380820A JP2001380820A JP3948266B2 JP 3948266 B2 JP3948266 B2 JP 3948266B2 JP 2001380820 A JP2001380820 A JP 2001380820A JP 2001380820 A JP2001380820 A JP 2001380820A JP 3948266 B2 JP3948266 B2 JP 3948266B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- image
- images
- decoding
- code string
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法に係り、特に動画像符号化で画像間予測の参照画像となる画像と、画像間予測の参照画像とならない画像を符号化する動画像符号化において、画像パラメータや符号化パラメータを効率的に多重化する場合の動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ（Moving Picture Experts Group）方式などの動画像符号化方式では、画像間予測の方法により３種類の画像タイプを持つ。Ｉピクチャと呼ばれるフレーム内独立符号化フレームと、Ｐピクチャと呼ばれる片側方向予測フレームと、Ｂピクチャと呼ばれる双方向予測フレームである。Ｉピクチャはランダムアクセスやチャンネル切替えに対応するもので、そこから復号が可能となる。ＩピクチャとＰピクチャは画像間予測処理の参照画像となるが、Ｂピクチャは参照画像とならない。従って、Ｂピクチャは伝送中に廃棄されても、他のピクチャの予測には影響しない。
【０００３】
符号列形成では、フレームないしフィールドを単位とするピクチャが複数束ねられ、ＧＯＰ（Group Of Picture）が形成される。このＧＯＰにおいては、Ｉピクチャが一つは必ず入る形となる。この様子を図７に示す。ＧＯＰ構成はＢピクチャで始まり、Ｐピクチャで終わる通常のＧＯＰと、Ｉピクチャで始まりＰピクチャで終わるクローズド（Closed）ＧＯＰがある。前者は符号列を編集した際にＧＯＰの最初のＢピクチャが復号できなくなるが、後者はそのＢピクチャが元々無いので、そのような問題は起こらず、ＧＯＰ単位で符号列の編集が可能になる。
【０００４】
従来の符号列の構成を図８に示す。同図にＰＨで示すように各ピクチャ（フレームやフィールド）には、そのピクチャに関する情報や符号化パラメータがヘッダとして多重化される。さらに、ＧＯＰのヘッダＧＨにもそのＧＯＰに関する情報が多重化される。
【０００５】
一方、ＭＰＥＧ規格においては、量子化マトリックスは主にＩピクチャで用いる独立マクロブロック用と、主にＰ（Ｂ）ピクチャで用いる非独立マクロブロック用が規定されているので、ＰピクチャとＢピクチャで別のマトリックスとする場合には、ＰピクチャとＢピクチャで、ピクチャタイプが変わるたびに、それぞれ別の量子化マトリックスの数値をピクチャヘッダに多重化する必要がある。マトリックスの情報量は、８×８ＤＣＴ用なら１値を８ビットとすると、４０９６（＝８×８×８×８）ビット程度必要である。
【０００６】
【発明が解決しようとする課題】
従来の動画像符号化装置及び方法では、画像パラメータ及び符号化パラメータを画像情報として、各フレームないし独立フレームの周期で束ねられたＧＯＰ（Group Of Picture）単位に多重化している。しかし、各フレームに多重化した場合、フレーム単位で変化する情報は少ないので、多くは同じ情報が再度多重化されることになる。このため、画像情報に関する符号量及び多重化分離及び復号化処理が無駄となっている。一方、ＧＯＰに多重化した場合は、１５ないし３０フレーム毎に画像情報が存在することになるが、その場合は符号化パラメータを更新したくても、その間変更できないので符号化処理を最適化できない。また、画像パラメータが変化していても、更新できないので次のＧＯＰまで不適切な処理となる場合がある。
【０００７】
一方、伝送路中でＢピクチャを廃棄する場合、廃棄されたＢピクチャに付随する画像情報も廃棄されるので、画像情報の更新を誤る可能性がある。また、量子化マトリックスを更新する場合、そのすべての値を送る必要があるので、頻繁に量子化マトリックスを変更することは困難である。
【０００８】
本発明は以上の点に鑑みなされたもので、画像間予測の参照画像となる一つのフレームとそれに連続する参照画像とならないフレームを組とし、そこで共通の画像パラメータ及び符号化パラメータを画像情報として設定し、その画像情報を多重化することで、符号量の増加を抑えながら適切な符号化を実現する動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するため、本発明の第１の動画像符号化装置は、画像間予測の参照画像となるＩピクチャ及びＰピクチャの画像と、画像間予測の参照画像とならないＢピクチャの画像とで構成され、Ｉピクチャ及びＰピクチャの画像はそれぞれ少なくとも１画像ずつ含まれ、Ｂピクチャは複数画像含まれる、第１の画像の組の単位で符号化する動画像符号化装置において、第１の画像の組に含まれるＩピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる組を第２の画像の組とし、第１の画像の組に含まれるＰピクチャの１画像とこのＰピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる複数の組を第３の画像の組とし、第２の画像の組及び第３の画像の組のそれぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方を画像情報として設定する画像情報設定手段と、画像情報に従ってＩピクチャ及びＰピクチャとなる画像を符号化し、１画像単位の第１の符号列を得る第１の符号化手段と、画像情報に従ってＢピクチャとなる画像を符号化し、画像が連続する第２の符号列を得る第２の符号化手段と、画像情報、第１の符号列及び第２の符号列を連続して多重化する多重化手段とを有する構成としたものである。
【００１０】
また、上記の目的を達成するため、本発明の動画像符号化方法は、画像間予測の参照画像となるＩピクチャ及びＰピクチャの画像と、画像間予測の参照画像とならないＢピクチャの画像とで構成され、Ｉピクチャ及びＰピクチャの画像はそれぞれ少なくとも１画像ずつ含まれ、Ｂピクチャは複数画像含まれる、第１の画像の組の単位で符号化する動画像符号化方法において、第１の画像の組に含まれるＩピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる組を第２の画像の組とし、第１の画像の組に含まれるＰピクチャの１画像と、このＰピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる複数の組を第３の画像の組とし、第２の画像の組及び第３の画像の組のそれぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方を画像情報として設定する第１のステップと、画像情報に従ってＩピクチャ及びＰピクチャとなる画像を符号化し、１画像単位の第１の符号列を得る第２のステップと、画像情報に従ってＢピクチャとなる画像を符号化し、画像が連続する第２の符号列を得る第３のステップと、画像情報、第１の符号列及び第２の符号列を連続して多重化する第４のステップとを含むことを特徴とする。
【００１１】
本発明の動画像符号化装置及び方法では、Ｉピクチャ及びＰピクチャの画像はそれぞれ少なくとも１画像（１フレーム又は１フィールド）ずつ含まれ、Ｂピクチャは複数画像含まれる画像の組を第１の画像の組とし、第１の画像の組に含まれるＩピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる組を第２の画像の組とし、第１の画像の組に含まれるＰピクチャの１画像とこのＰピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる複数の組を第３の画像の組とし、第２の画像の組及び第３の画像の組のそれぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方を画像情報として、Ｉピクチャ及びＰピクチャとなる画像を１画像単位で符号化した第１の符号列と、Ｂピクチャとなる画像を符号化して得た、画像が連続する第２の符号列に多重化した符号列を得る符号化を行うようにしたため、数画像単位で画像情報を多重化することができ、１画像毎に多重化する場合に比べて、重複した情報を多重化する量を減少できる。
【００１５】
また、上記の目的を達成するため、本発明の動画像復号化装置は、動画像符号化で画像間予測の参照画像となる第１の画像と、画像間予測の参照画像とならない第２の画像からなる動画像符号列を復号化する動画像復号化装置において、動画像符号化で画像間予測の参照画像となるＩピクチャ及びＰピクチャの画像と、画像間予測の参照画像とならないＢピクチャの画像とで構成され、Ｉピクチャ及びＰピクチャの画像はそれぞれ少なくとも１画像（１フレーム又は１フィールド）ずつ含まれ、Ｂピクチャは複数画像含まれる、第１の画像の組からなる動画像符号列を復号化する動画像復号化装置において、入来する動画像符号列からＩピクチャ及びＰピクチャの画像が符号化された１画像単位の第１の符号列と、Ｉピクチャ又はＰピクチャの画像に隣接して連続するＢピクチャの画像が符号化された画像が連続する第２の符号列と、第１の画像の組に含まれる、Ｉピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる第２の画像の組、及びＰピクチャの１画像とこのＰピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる第３の画像の組、それぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方の画像情報と、を分離する多重化分離手段と、多重化分離手段により分離された画像情報に従って、第１の符号列を復号化し、１画像毎のＩピクチャ及びＰピクチャの画像を復号した画像を得る第１の復号化手段と、多重化分離手段により分離された画像情報に従って、第２の符号列を復号化し、画像が連続するＢピクチャの画像を復号した画像を得る第２の復号化手段と、第１及び第２の復号化手段により復号されたＩピクチャの画像を復号した画像、Ｐピクチャの画像を復号した画像、及びＢピクチャの画像を復号した画像をそれぞれ選択して本来の画像順で出力する画像再生手段とを有する構成としたものである。
【００１６】
また、上記の目的を達成するため、本発明の動画像復号化方法は、動画像符号化で画像間予測の参照画像となるＩピクチャ及びＰピクチャの画像と、画像間予測の参照画像とならないＢピクチャの画像とで構成され、Ｉピクチャ及びＰピクチャの画像はそれぞれ少なくとも１画像（１フレーム又は１フィールド）ずつ含まれ、Ｂピクチャは複数画像含まれる、第１の画像の組からなる動画像符号列を復号化する動画像復号化方法において、入来する動画像符号列からＩピクチャ及びＰピクチャの画像が符号化された１画像単位の第１の符号列と、Ｉピクチャ又はＰピクチャの画像に隣接して連続するＢピクチャの画像が符号化された画像が連続する第２の符号列と、第１の画像の組に含まれる、Ｉピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる第２の画像の組、及びＰピクチャの１画像とこのＰピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる第３の画像の組、それぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方の画像情報とを分離する第１のステップと、第１のステップにより分離された画像情報に従って、第１の符号列を復号化し、１画像毎のＩピクチャ及びＰピクチャの画像を復号した画像を得る第２のステップと、第１のステップにより分離された画像情報に従って、第２の符号列を復号化し、画像が連続するＢピクチャの画像を復号した画像を得る第３のステップと、第２及び第３のステップにより復号されたＩピクチャの画像を復号した画像、Ｐピクチャの画像を復号した画像、及びＢピクチャの画像を復号した画像をそれぞれ選択して本来の画像順で出力する第４のステップとを含むことを特徴とする。
【００１７】
本発明の動画像復号化装置及び方法では、入来する動画像符号列からＩピクチャ及びＰピクチャの画像が符号化された１画像単位の第１の符号列と、Ｉピクチャ又はＰピクチャの画像に隣接して連続するＢピクチャの画像が符号化された画像が連続する第２の符号列と、第１の画像の組に含まれる、Ｉピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる第２の画像の組、及びＰピクチャの１画像とこのＰピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる第３の画像の組、それぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方の画像情報とを分離し、分離した画像情報に従って、第１の符号列及び第２の符号列を復号化するようにしたため、数画像単位で多重化された画像情報を用いて第１及び第２の画像を復号化することができ、１画像毎に画像情報が多重化された符号列を復号化する場合に比べて、重複した情報が少ない符号列を復号化できる。
【００２１】
また、上記の目的を達成するため、本発明の符号列伝送方法は、動画像符号化で画像間予測の参照画像となるＩピクチャ及びＰピクチャの画像と、画像間予測の参照画像とならないＢピクチャの画像とで構成され、Ｉピクチャ及びＰピクチャの画像はそれぞれ少なくとも１画像ずつ含まれ、Ｂピクチャは複数画像含まれる、第１の画像の組の単位で符号化した符号列の伝送方法において、第１の画像の組に含まれるＩピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる組を第２の画像の組とし、第１の画像の組に含まれるＰピクチャの１画像とこのＰピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる複数の組を第３の画像の組とし、第２の画像の組及び第３の画像の組のそれぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方である画像情報の符号列部分と、画像情報に従ってＩピクチャ及びＰピクチャとなる画像が、１画像単位で符号化された第１の符号列部分と、画像情報に従ってＢピクチャとなる画像が連続して符号化された第２の符号列部分とが、多重化された構成の動画像符号列を伝送することを特徴とする。
【００２２】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。
【００２３】
まず、本発明になる動画像符号化装置及び符号化方法について説明する。図１は本発明になる動画像符号化装置の一実施の形態のブロック図を示す。同図において、画像入力端子１より入来する動画像信号は、画像スイッチ２により画像間予測の参照画像となるＩピクチャ及びＰピクチャでは減算器３に与えられ、画像間予測の参照画像とならないＢピクチャではフレーム間引器１３に与えられる。
【００２４】
減算器３では、画像スイッチ２を通して入力されるＩピクチャ又はＰピクチャと、画像間予測器１０から入力される予測信号との減算を行い、得られた予測残差をＤＣＴ４に供給する。ＤＣＴ４は予測残差に対してＤＣＴ（Discrete Cosine Transform）の変換処理を行い、得られた係数を量子化器５に供給する。量子化器５はＤＣＴ４から供給された係数を量子化マトリックスに基づくステップ幅で量子化し、固定長の符号となった係数を可変長符号化器６と逆量子化器７に供給する。可変長符号化器６は、固定長の予測残差を可変長符号で圧縮し、得られた符号を多重化器１８に供給する。
【００２５】
Ｉピクチャ及びＰピクチャは画像間予測の参照画像となるため局部復号が行われる。すなわち、量子化器５で量子化されて固定長の符号となった係数は、逆量子化器７及び逆ＤＣＴ８において、それぞれＤＣＴ４及び量子化器５の逆処理が行われ、予測残差が再生される。得られた再生予測残差は加算器９で画像間予測器１０からの予測信号と加算されて再生画像となり、画像間予測器１０に供給される。画像間予測器１０は再生画像を蓄え、再生画像から予測信号を形成して減算器３と減算器１４と加算器９に与える。
【００２６】
フレーム間引器１３で、Ｂピクチャの画像信号は先行して符号化されるＩ（Ｐ）ピクチャの符号化が済むまで遅延させられる。また、設定される画像レートに応じて画像が間引かれる。遅延及び間引きが行われたＢピクチャの画像信号は、減算器１４において画像間予測器１０から供給される予測信号が減算され、予測残差となってＤＣＴ１５に与えられる。予測残差は、ＤＣＴ１５、量子化器１６及び可変長符号化器１７よりなる回路部で符号化されるが、この処理はＩ（Ｐ）ピクチャに対するＤＣＴ４、量子化器５及び可変長符号化器６よりなる回路部の処理と同様である。
【００２７】
ただし、量子化器１６において使われる量子化マトリックスが量子化器５で用いられる量子化マトリックスと異なるので量子化器１６の処理は量子化器５と若干異なることになる。また、Ｂピクチャは画像間予測の参照画像とならないので、局部復号は行われない。可変長符号化器１７から取り出された可変長符号は多重化器１８に与えられる。
【００２８】
一方、画像情報設定器１１は、入来画像に関する情報と、それに基づく符号化パラメータを設定する。入来画像に関する情報は、画像サイズ、画像レートなど基本的なものから、画像に対する解析処理で得られる画像空間アクティビティ、画像間（時間）アクティビティ、シーンチェンジの有無などを検出して得る。また、プリフィルタなど前置処理に関する情報も、前段処理からの情報または画像解析で得る。
【００２９】
更に、画像情報設定器１１は、それら画像に関する情報（画像パラメータ）に基づき、量子化マトリックス、符号化画像レート、画像間予測方法などの符号化パラメータを設定する。符号化パラメータは発生符号量に応じて制御してもよい。画像パラメータと符号化パラメータは、画像情報として、一つのＩ（Ｐ）ピクチャとそれに続いて符号化されるＢピクチャに対して共通なものとする。この画像群をＳｅｔと呼び、長さは飛越し走査画像で３フレームから順次走査画像で６フレーム程度である。これは時間にして１０分の１秒程度なので、画像状態の相関は高く、パラメータを共通としても不都合は少ない。なお、符号化はＩ（Ｐ）ピクチャが先でＢピクチャが後だが、本来の画像順はＢピクチャが先でＩ（Ｐ）ピクチャが後となる。
【００３０】
画像情報保持器１２は、画像情報設定器１１で設定された画像情報を実際の処理を行うための符号化パラメータとして、次のＩ（Ｐ）ピクチャの符号化まで保持する。また、画像情報保持器１２は、符号化パラメータの中で、量子化マトリックスを量子化器５及び１６と、逆量子化器７に与え、符号化画像レートをフレーム間引器１３に与える。また、画像に関する情報や符号化パラメータは、伝送のための符号列として形成され多重化に合わせて保持され、多重化器１８に与えられる。
【００３１】
多重化器１８はＩ（Ｐ）ピクチャの先頭部分に画像情報を挿入する。画像情報の内容は、画像サイズなどの画像に関するパラメータと、量子化マトリックスなど符号化に関するパラメータである。多重化器１８は、ヘッダである画像情報とＩ（Ｐ）ピクチャの符号列とＢピクチャの符号列をそれぞれの処理タイミングで得て、符号出力端子１９から出力する。Ｉ（Ｐ）ピクチャの先頭に多重化される量子化マトリックスなど符号化に関するパラメータは、量子化器５及び１６や逆量子化器７にも与えられ、量子化や逆量子化はそのパラメータに従って行われる。
【００３２】
本実施の形態ではＭＰＥＧ型のピクチャタイプを用いて説明したが、Ｂピクチャの代わりに画像間予測の参照画像とならない片方向予測ピクチャとしても同様である。片方向予測でも予測の参照画像とならない場合は、画像レートに合わせて画像が間引かれても他に影響はない。ただし、片方向予測の場合は、画像順の入れ替えは必要がないので行われない。
【００３３】
次に、本発明における量子化マトリックスについて説明する。本発明は量子化マトリックスの値を、係数ごとの重み付けの値と、その傾斜の程度を示すパラメータに分解して表す。量子化マトリックスを変更する場合、係数ごとの重み付けの値はあまり変更せず、傾斜の程度を示すパラメータのみを変更して伝送する。この処理を式（１）で示す。
【００３４】
Qi(i,j)＝ki{Qio(i,j)−Qio(0,0)}＋Qio(0,0) (１)
式１においてｉは水平方向係数番号、ｊは垂直方向係数番号で、ｉ＝０，ｊ＝０はＤＣ成分である。元となるイントラ用所定マトリックスＱｉｏ（ｉ，ｊ）はＭＰＥＧ規格のイントラマクロブロック（Ｉピクチャ）用量子化マトリックスと同様なものである。Ｉピクチャ用の量子化マトリックス傾斜係数ｋｉから、Ｉピクチャ用の量子化マトリックスＱｉ（ｉ，ｊ）を得る。ｋｉが１の場合は、Ｑｉ（ｉ，ｊ）＝Ｑｉｏ（ｉ，ｊ）となる。
【００３５】
同様に、所定マトリックスとして非イントラマクロブロック用マトリックスＱｎｉ（ｉ，ｊ）を用い、式２によりＰピクチャ用の量子化マトリックス傾斜係数ｋｐから、Ｐピクチャ用の量子化マトリックスＱｐ（ｉ，ｊ）を、式３によりＢピクチャ用の量子化マトリックス傾斜係数ｋｂから、Ｂピクチャ用の量子化マトリックスＱｂ（ｉ，ｊ）を得る。
【００３６】
Qp(i,j)＝kp{Qni(i,j)−Qni(0,0)}＋Qni(0,0) （２）
Qb(i,j)＝kb{Qni(i,j)−Qni(0,0)}＋Qni(0,0) （３）
ｋｐが２の場合の非イントラマクロブロック用マトリックスＱｎｉ（ｉ，ｊ）と、Ｐピクチャ用の量子化マトリックスＱｐ（ｉ，ｊ）の具体例を図２に示す。所定マトリックスＱｉｏ（ｉ，ｊ）や非イントラマクロブロック用マトリックスＱｎｉ（ｉ，ｊ）はＭＰＥＧ規格と同様に更新可能であるが、情報量が多いのであまり変更せず、量子化マトリックス傾斜係数ｋｉ，ｋｐ，ｋｂを変更して多重化する。ｋｉ，ｋｐ，ｋｂは８ビット程度なので、Ｑｉｏ（ｉ，ｊ）やＱｎｉ（ｉ，ｊ）と比較して情報量は大幅に少ない。
【００３７】
ｋｉ，ｋｐ，ｋｂは画像情報設定器１１で画像状況及び符号化状況に応じて設定される。画像アクティビティが高い場合に、ｋｉ，ｋｐ，ｋｂの値は大きくされる。また量子化が粗い（量子化ステップ幅が広い）場合にも大きくされる。ｋｉ，ｋｐ，ｋｂは独立に変更され、ｋｉはあまり変化させず、ｋｐはやや大きく、ｋｂはより大きくされる。これは、Ｉピクチャ（独立マクロブロックを含む）は、画像そのものの量子化であるが、Ｐピクチャは数フレーム間の予測残差なので時間方向の周波数成分として高いものであり、Ｂピクチャは最も高い周波数に相当するためである。時空間周波数で高い成分は視覚検知能力が低下するため、このような処理が適当になる。
【００３８】
上記の量子化マトリックス形成方法は図１の符号化装置に用いることができるのみならず、ＰピクチャやＩピクチャのみでも適用可能である。すなわち量子化マトリックスを用いる直交変換符号化で広く用いることができる。
【００３９】
次に、本発明の動画像符号列伝送方法で伝送する動画像符号列について説明する。図１に示した本発明の符号化装置の一実施の形態から出力される動画像符号列は、図３のような構成となる。各ＧＯＰはＧＯＰヘッダＧＨと画像の組（Ｓｅｔ）から構成され、一つのＧＯＰは複数のＳｅｔを持つ。各Ｓｅｔは、画像間予測の参照画像となるＩピクチャまたはＰピクチャ一つと幾つかの連続するＢピクチャにより構成される。
【００４０】
また、各Ｓｅｔの先頭にはその中の複数のピクチャに共通な画像符号化情報をＳｅｔヘッダＳＨとして持つ。各Ｓｅｔは、２ピクチャから６ピクチャ程度を含む。各ピクチャは複数のスライス（マクロブロックの集合体）を持つが、従来例であったピクチャヘッダ（図８のＰＨ）は存在しない。本実施の形態ではピクチャヘッダの代わりに、それを束ねたＳｅｔヘッダＳＨがＳｅｔの符号列の中にある。
【００４１】
符号化装置または伝送路において、一部Ｂピクチャを削除して画像レートを落とした場合の符号列構造を図４に示す。同図に示すように、画像レートに応じて６０ｆｐｓ（frame per second）では、Ｓｅｔ内に５ピクチャあったＢピクチャは、３０ｆｐｓでは２ピクチャ、２０ｆｐｓでは１ピクチャ、１０ｆｐｓでは０となっている。いずれの画像レートの場合でも、ＳｅｔヘッダＳＨはそのまま保持されるので、復号処理に支障は生じない。
【００４２】
一方、クローズド（Closed）ＧＯＰの場合は、最初のＢピクチャが無いので、図５に示すように、最初のＳｅｔはＩピクチャのみとなる。他のＰピクチャを持つＳｅｔはＢピクチャが続く形となる。最初のＳｅｔのみが他と異なるが、Ｉピクチャは符号量が多いので、符号量の点では各Ｓｅｔが均一化される方向になり、むしろ好都合である。
【００４３】
次に、本発明になる動画像復号化装置及び復号化方法について説明する。図６は本発明になる動画像復号化装置の一実施の形態のブロック図を示す。本実施の形態の動画像復号化装置は、図１に示した動画像符号化装置に対応した復号化装置の構成を示したものである。
【００４４】
図６において、符号入力端子２１より入来する符号列は、多重化分離器２２によりヘッダの符号列、Ｉピクチャ及びＰピクチャの符号列、Ｂピクチャの符号列に分離される。ヘッダの符号列は画像情報保持器２３に、Ｉ（Ｐ）ピクチャの符号列は可変長復号化器２４に、Ｂピクチャの符号列は可変長復号化器２５に供給される。画像情報保持器２３は、伝送されてきたヘッダの符号列を１Ｓｅｔの間保持する。また、画像情報保持器２３は、伝送されてきたヘッダの符号列から量子化マトリックスの傾斜の程度を示す係数を得て、予め設定されている所定量子化マトリックスと得られた傾斜係数から、逆量子化で用いる量子化マトリックスを形成し、保持する。
【００４５】
一方、Ｉ（Ｐ）ピクチャの符号列は、可変長復号化器２４で予測残差の可変長符号が固定長の符号に戻されて逆量子化器２６に供給され、ここで予測残差の再生ＤＣＴ係数値とされて逆ＤＣＴ２７に供給される。逆量子化器２６では画像情報保持器２３から供給される量子化パラメータに従って逆量子化が行われる。また、逆ＤＣＴ２７は、８×８個のＤＣＴ係数を再生予測残差信号に変換し、加算器２８に与える。加算器２８はこの再生予測残差信号に、画像間予測器２９から供給される予測信号を加算して再生画像信号を得る。
【００４６】
この様にして得られたＩ（Ｐ）ピクチャの再生画像信号は、加算器２８から画像間予測に用いられるため画像間予測器２９に供給される。画像間予測器２９は、蓄積されている画像から予測信号を形成し、加算器２８と加算器３２に供給する。
【００４７】
一方、Ｂピクチャの符号列は、可変長復号化器２５、逆量子化器３０、逆ＤＣＴ３１及び加算器３２よりなる回路部で復号化され、得られた再生画像信号が画像スイッチ３３に与えられる。可変長復号化器２５、逆量子化器３０、逆ＤＣＴ３１及び加算器３２よりなる回路部の動作は、可変長復号化器２４、逆量子化器２６、逆ＤＣＴ２７及び加算器２８よりなる回路部の動作と同様であるが、逆量子化のパラメータはＢピクチャ用のものとなる。Ｂピクチャは画像間予測に使われないので、再生画像信号は保持されない。
【００４８】
画像スイッチ３３はＢピクチャの再生画像信号と画像間予測器２９で遅延させられたＰ（Ｉ）ピクチャの再生画像信号の一方を選択し、本来のフレーム（フィールド）順となった再生画像信号をフレーム補間器３４に与える。フレーム補間器３４は、欠如しているＢピクチャを再生された前後のフレーム（フィールド）から補間し、所定の画像レートにして画像出力端子３５から出力する。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、画像間予測の参照画像となる第１の画像の１フレームないし１フィールドを符号化した第１の符号列と、それに隣接し、フレームないしフィールドが連続する参照画像とならない第２の画像を符号化した第２の符号列を画像の組とし、上記の画像の組に共通する画像パラメータと符号化パラメータの少なくとも一方を画像情報として多重化した符号列を得ることにより、数フレーム単位ないし数フィールド単位で画像情報を多重化することができるため、各フレームに画像情報を多重する場合に比べて、重複した情報を多重化する量を減少できる。
【００５０】
また、本発明によれば、数十フレーム単位となるＧＯＰヘッダでの画像情報と比較して、数フレーム単位で画像情報を多重でき、よって、より適切な符号化パラメータが設定可能となる。また、本発明によれば、量子化マトリックスは補正係数である量子化マトリックスの傾斜の程度を示す係数だけを伝送することにより、量子化マトリックスを伝送する場合に比べて、僅かな伝送情報量で済むようにしたため、ＧＯＰヘッダより頻繁にマトリックスを変更して、再生画質を最適化することができる。
【００５１】
また、本発明によれば、上記の第１の画像を符号化した第１の符号列と、上記の第２の画像を符号化した第２の符号列を画像の組とし、上記の画像の組に共通する画像情報とを多重化した符号列を得るので、参照画像とならない第２の画像のフレーム数又はフィールド数を廃棄することで画像レートを変更しても、参照画像となる第１の画像及び画像情報は廃棄されないので、画像情報は必ず復号化され、画像レートが変わっても画像情報が確実に得られる。
【００５２】
これらにより、本発明によれば、再生画像の品質を従来と同様に保ちながらより低い転送レートを実現できる。また、本発明によれば、転送レートを従来と同一とすれば、他の情報により多くのビットが配分されることになり、再生画像の品質を向上できる。
【図面の簡単な説明】
【図１】 本発明の動画像符号化装置の一実施の形態の構成を示すブロック図である。
【図２】 本発明で用いる量子化マトリックスの一例を示す図である。
【図３】 本発明の符号列構成の一実施の形態を示す図である。
【図４】 本発明の画像レート低減に伴う符号列構成変化の一例を示す図である。
【図５】 本発明の符号列のＧＯＰ符号列構造の一例を示す図である。
【図６】 本発明の動画像復号化装置の一実施の形態の構成を示すブロック図である。
【図７】 ＧＯＰ構成の各例を示す図である。
【図８】 従来の符号列構成の一例を示す図である。
【符号の説明】
１ 画像入力端子
２、３３ 画像スイッチ
３、１４ 減算器
４、１５ ＤＣＴ
５、１６ 量子化器
６、１７ 可変長符号化器
７、２６、３０ 逆量子化器
８、２７、３１ 逆ＤＣＴ
９、２８、３２ 加算器
１０、２９ 画像間予測器
１１ 画像情報設定器
１２、２３ 画像情報保持器
１３ フレーム間引器
１８ 多重化器
１９ 符号列出力端子
２１ 符号列入力端子
２２ 多重化分離器
２４、２５ 可変長復号化器
３４ フレーム補間器
３５ 画像出力端子
【発明の属する技術分野】
本発明は動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法に係り、特に動画像符号化で画像間予測の参照画像となる画像と、画像間予測の参照画像とならない画像を符号化する動画像符号化において、画像パラメータや符号化パラメータを効率的に多重化する場合の動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ（Moving Picture Experts Group）方式などの動画像符号化方式では、画像間予測の方法により３種類の画像タイプを持つ。Ｉピクチャと呼ばれるフレーム内独立符号化フレームと、Ｐピクチャと呼ばれる片側方向予測フレームと、Ｂピクチャと呼ばれる双方向予測フレームである。Ｉピクチャはランダムアクセスやチャンネル切替えに対応するもので、そこから復号が可能となる。ＩピクチャとＰピクチャは画像間予測処理の参照画像となるが、Ｂピクチャは参照画像とならない。従って、Ｂピクチャは伝送中に廃棄されても、他のピクチャの予測には影響しない。
【０００３】
符号列形成では、フレームないしフィールドを単位とするピクチャが複数束ねられ、ＧＯＰ（Group Of Picture）が形成される。このＧＯＰにおいては、Ｉピクチャが一つは必ず入る形となる。この様子を図７に示す。ＧＯＰ構成はＢピクチャで始まり、Ｐピクチャで終わる通常のＧＯＰと、Ｉピクチャで始まりＰピクチャで終わるクローズド（Closed）ＧＯＰがある。前者は符号列を編集した際にＧＯＰの最初のＢピクチャが復号できなくなるが、後者はそのＢピクチャが元々無いので、そのような問題は起こらず、ＧＯＰ単位で符号列の編集が可能になる。
【０００４】
従来の符号列の構成を図８に示す。同図にＰＨで示すように各ピクチャ（フレームやフィールド）には、そのピクチャに関する情報や符号化パラメータがヘッダとして多重化される。さらに、ＧＯＰのヘッダＧＨにもそのＧＯＰに関する情報が多重化される。
【０００５】
一方、ＭＰＥＧ規格においては、量子化マトリックスは主にＩピクチャで用いる独立マクロブロック用と、主にＰ（Ｂ）ピクチャで用いる非独立マクロブロック用が規定されているので、ＰピクチャとＢピクチャで別のマトリックスとする場合には、ＰピクチャとＢピクチャで、ピクチャタイプが変わるたびに、それぞれ別の量子化マトリックスの数値をピクチャヘッダに多重化する必要がある。マトリックスの情報量は、８×８ＤＣＴ用なら１値を８ビットとすると、４０９６（＝８×８×８×８）ビット程度必要である。
【０００６】
【発明が解決しようとする課題】
従来の動画像符号化装置及び方法では、画像パラメータ及び符号化パラメータを画像情報として、各フレームないし独立フレームの周期で束ねられたＧＯＰ（Group Of Picture）単位に多重化している。しかし、各フレームに多重化した場合、フレーム単位で変化する情報は少ないので、多くは同じ情報が再度多重化されることになる。このため、画像情報に関する符号量及び多重化分離及び復号化処理が無駄となっている。一方、ＧＯＰに多重化した場合は、１５ないし３０フレーム毎に画像情報が存在することになるが、その場合は符号化パラメータを更新したくても、その間変更できないので符号化処理を最適化できない。また、画像パラメータが変化していても、更新できないので次のＧＯＰまで不適切な処理となる場合がある。
【０００７】
一方、伝送路中でＢピクチャを廃棄する場合、廃棄されたＢピクチャに付随する画像情報も廃棄されるので、画像情報の更新を誤る可能性がある。また、量子化マトリックスを更新する場合、そのすべての値を送る必要があるので、頻繁に量子化マトリックスを変更することは困難である。
【０００８】
本発明は以上の点に鑑みなされたもので、画像間予測の参照画像となる一つのフレームとそれに連続する参照画像とならないフレームを組とし、そこで共通の画像パラメータ及び符号化パラメータを画像情報として設定し、その画像情報を多重化することで、符号量の増加を抑えながら適切な符号化を実現する動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するため、本発明の第１の動画像符号化装置は、画像間予測の参照画像となるＩピクチャ及びＰピクチャの画像と、画像間予測の参照画像とならないＢピクチャの画像とで構成され、Ｉピクチャ及びＰピクチャの画像はそれぞれ少なくとも１画像ずつ含まれ、Ｂピクチャは複数画像含まれる、第１の画像の組の単位で符号化する動画像符号化装置において、第１の画像の組に含まれるＩピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる組を第２の画像の組とし、第１の画像の組に含まれるＰピクチャの１画像とこのＰピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる複数の組を第３の画像の組とし、第２の画像の組及び第３の画像の組のそれぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方を画像情報として設定する画像情報設定手段と、画像情報に従ってＩピクチャ及びＰピクチャとなる画像を符号化し、１画像単位の第１の符号列を得る第１の符号化手段と、画像情報に従ってＢピクチャとなる画像を符号化し、画像が連続する第２の符号列を得る第２の符号化手段と、画像情報、第１の符号列及び第２の符号列を連続して多重化する多重化手段とを有する構成としたものである。
【００１０】
また、上記の目的を達成するため、本発明の動画像符号化方法は、画像間予測の参照画像となるＩピクチャ及びＰピクチャの画像と、画像間予測の参照画像とならないＢピクチャの画像とで構成され、Ｉピクチャ及びＰピクチャの画像はそれぞれ少なくとも１画像ずつ含まれ、Ｂピクチャは複数画像含まれる、第１の画像の組の単位で符号化する動画像符号化方法において、第１の画像の組に含まれるＩピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる組を第２の画像の組とし、第１の画像の組に含まれるＰピクチャの１画像と、このＰピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる複数の組を第３の画像の組とし、第２の画像の組及び第３の画像の組のそれぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方を画像情報として設定する第１のステップと、画像情報に従ってＩピクチャ及びＰピクチャとなる画像を符号化し、１画像単位の第１の符号列を得る第２のステップと、画像情報に従ってＢピクチャとなる画像を符号化し、画像が連続する第２の符号列を得る第３のステップと、画像情報、第１の符号列及び第２の符号列を連続して多重化する第４のステップとを含むことを特徴とする。
【００１１】
本発明の動画像符号化装置及び方法では、Ｉピクチャ及びＰピクチャの画像はそれぞれ少なくとも１画像（１フレーム又は１フィールド）ずつ含まれ、Ｂピクチャは複数画像含まれる画像の組を第１の画像の組とし、第１の画像の組に含まれるＩピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる組を第２の画像の組とし、第１の画像の組に含まれるＰピクチャの１画像とこのＰピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる複数の組を第３の画像の組とし、第２の画像の組及び第３の画像の組のそれぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方を画像情報として、Ｉピクチャ及びＰピクチャとなる画像を１画像単位で符号化した第１の符号列と、Ｂピクチャとなる画像を符号化して得た、画像が連続する第２の符号列に多重化した符号列を得る符号化を行うようにしたため、数画像単位で画像情報を多重化することができ、１画像毎に多重化する場合に比べて、重複した情報を多重化する量を減少できる。
【００１５】
また、上記の目的を達成するため、本発明の動画像復号化装置は、動画像符号化で画像間予測の参照画像となる第１の画像と、画像間予測の参照画像とならない第２の画像からなる動画像符号列を復号化する動画像復号化装置において、動画像符号化で画像間予測の参照画像となるＩピクチャ及びＰピクチャの画像と、画像間予測の参照画像とならないＢピクチャの画像とで構成され、Ｉピクチャ及びＰピクチャの画像はそれぞれ少なくとも１画像（１フレーム又は１フィールド）ずつ含まれ、Ｂピクチャは複数画像含まれる、第１の画像の組からなる動画像符号列を復号化する動画像復号化装置において、入来する動画像符号列からＩピクチャ及びＰピクチャの画像が符号化された１画像単位の第１の符号列と、Ｉピクチャ又はＰピクチャの画像に隣接して連続するＢピクチャの画像が符号化された画像が連続する第２の符号列と、第１の画像の組に含まれる、Ｉピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる第２の画像の組、及びＰピクチャの１画像とこのＰピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる第３の画像の組、それぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方の画像情報と、を分離する多重化分離手段と、多重化分離手段により分離された画像情報に従って、第１の符号列を復号化し、１画像毎のＩピクチャ及びＰピクチャの画像を復号した画像を得る第１の復号化手段と、多重化分離手段により分離された画像情報に従って、第２の符号列を復号化し、画像が連続するＢピクチャの画像を復号した画像を得る第２の復号化手段と、第１及び第２の復号化手段により復号されたＩピクチャの画像を復号した画像、Ｐピクチャの画像を復号した画像、及びＢピクチャの画像を復号した画像をそれぞれ選択して本来の画像順で出力する画像再生手段とを有する構成としたものである。
【００１６】
また、上記の目的を達成するため、本発明の動画像復号化方法は、動画像符号化で画像間予測の参照画像となるＩピクチャ及びＰピクチャの画像と、画像間予測の参照画像とならないＢピクチャの画像とで構成され、Ｉピクチャ及びＰピクチャの画像はそれぞれ少なくとも１画像（１フレーム又は１フィールド）ずつ含まれ、Ｂピクチャは複数画像含まれる、第１の画像の組からなる動画像符号列を復号化する動画像復号化方法において、入来する動画像符号列からＩピクチャ及びＰピクチャの画像が符号化された１画像単位の第１の符号列と、Ｉピクチャ又はＰピクチャの画像に隣接して連続するＢピクチャの画像が符号化された画像が連続する第２の符号列と、第１の画像の組に含まれる、Ｉピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる第２の画像の組、及びＰピクチャの１画像とこのＰピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる第３の画像の組、それぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方の画像情報とを分離する第１のステップと、第１のステップにより分離された画像情報に従って、第１の符号列を復号化し、１画像毎のＩピクチャ及びＰピクチャの画像を復号した画像を得る第２のステップと、第１のステップにより分離された画像情報に従って、第２の符号列を復号化し、画像が連続するＢピクチャの画像を復号した画像を得る第３のステップと、第２及び第３のステップにより復号されたＩピクチャの画像を復号した画像、Ｐピクチャの画像を復号した画像、及びＢピクチャの画像を復号した画像をそれぞれ選択して本来の画像順で出力する第４のステップとを含むことを特徴とする。
【００１７】
本発明の動画像復号化装置及び方法では、入来する動画像符号列からＩピクチャ及びＰピクチャの画像が符号化された１画像単位の第１の符号列と、Ｉピクチャ又はＰピクチャの画像に隣接して連続するＢピクチャの画像が符号化された画像が連続する第２の符号列と、第１の画像の組に含まれる、Ｉピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる第２の画像の組、及びＰピクチャの１画像とこのＰピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる第３の画像の組、それぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方の画像情報とを分離し、分離した画像情報に従って、第１の符号列及び第２の符号列を復号化するようにしたため、数画像単位で多重化された画像情報を用いて第１及び第２の画像を復号化することができ、１画像毎に画像情報が多重化された符号列を復号化する場合に比べて、重複した情報が少ない符号列を復号化できる。
【００２１】
また、上記の目的を達成するため、本発明の符号列伝送方法は、動画像符号化で画像間予測の参照画像となるＩピクチャ及びＰピクチャの画像と、画像間予測の参照画像とならないＢピクチャの画像とで構成され、Ｉピクチャ及びＰピクチャの画像はそれぞれ少なくとも１画像ずつ含まれ、Ｂピクチャは複数画像含まれる、第１の画像の組の単位で符号化した符号列の伝送方法において、第１の画像の組に含まれるＩピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる組を第２の画像の組とし、第１の画像の組に含まれるＰピクチャの１画像とこのＰピクチャの画像に隣接して連続する複数のＢピクチャの画像とからなる複数の組を第３の画像の組とし、第２の画像の組及び第３の画像の組のそれぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方である画像情報の符号列部分と、画像情報に従ってＩピクチャ及びＰピクチャとなる画像が、１画像単位で符号化された第１の符号列部分と、画像情報に従ってＢピクチャとなる画像が連続して符号化された第２の符号列部分とが、多重化された構成の動画像符号列を伝送することを特徴とする。
【００２２】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。
【００２３】
まず、本発明になる動画像符号化装置及び符号化方法について説明する。図１は本発明になる動画像符号化装置の一実施の形態のブロック図を示す。同図において、画像入力端子１より入来する動画像信号は、画像スイッチ２により画像間予測の参照画像となるＩピクチャ及びＰピクチャでは減算器３に与えられ、画像間予測の参照画像とならないＢピクチャではフレーム間引器１３に与えられる。
【００２４】
減算器３では、画像スイッチ２を通して入力されるＩピクチャ又はＰピクチャと、画像間予測器１０から入力される予測信号との減算を行い、得られた予測残差をＤＣＴ４に供給する。ＤＣＴ４は予測残差に対してＤＣＴ（Discrete Cosine Transform）の変換処理を行い、得られた係数を量子化器５に供給する。量子化器５はＤＣＴ４から供給された係数を量子化マトリックスに基づくステップ幅で量子化し、固定長の符号となった係数を可変長符号化器６と逆量子化器７に供給する。可変長符号化器６は、固定長の予測残差を可変長符号で圧縮し、得られた符号を多重化器１８に供給する。
【００２５】
Ｉピクチャ及びＰピクチャは画像間予測の参照画像となるため局部復号が行われる。すなわち、量子化器５で量子化されて固定長の符号となった係数は、逆量子化器７及び逆ＤＣＴ８において、それぞれＤＣＴ４及び量子化器５の逆処理が行われ、予測残差が再生される。得られた再生予測残差は加算器９で画像間予測器１０からの予測信号と加算されて再生画像となり、画像間予測器１０に供給される。画像間予測器１０は再生画像を蓄え、再生画像から予測信号を形成して減算器３と減算器１４と加算器９に与える。
【００２６】
フレーム間引器１３で、Ｂピクチャの画像信号は先行して符号化されるＩ（Ｐ）ピクチャの符号化が済むまで遅延させられる。また、設定される画像レートに応じて画像が間引かれる。遅延及び間引きが行われたＢピクチャの画像信号は、減算器１４において画像間予測器１０から供給される予測信号が減算され、予測残差となってＤＣＴ１５に与えられる。予測残差は、ＤＣＴ１５、量子化器１６及び可変長符号化器１７よりなる回路部で符号化されるが、この処理はＩ（Ｐ）ピクチャに対するＤＣＴ４、量子化器５及び可変長符号化器６よりなる回路部の処理と同様である。
【００２７】
ただし、量子化器１６において使われる量子化マトリックスが量子化器５で用いられる量子化マトリックスと異なるので量子化器１６の処理は量子化器５と若干異なることになる。また、Ｂピクチャは画像間予測の参照画像とならないので、局部復号は行われない。可変長符号化器１７から取り出された可変長符号は多重化器１８に与えられる。
【００２８】
一方、画像情報設定器１１は、入来画像に関する情報と、それに基づく符号化パラメータを設定する。入来画像に関する情報は、画像サイズ、画像レートなど基本的なものから、画像に対する解析処理で得られる画像空間アクティビティ、画像間（時間）アクティビティ、シーンチェンジの有無などを検出して得る。また、プリフィルタなど前置処理に関する情報も、前段処理からの情報または画像解析で得る。
【００２９】
更に、画像情報設定器１１は、それら画像に関する情報（画像パラメータ）に基づき、量子化マトリックス、符号化画像レート、画像間予測方法などの符号化パラメータを設定する。符号化パラメータは発生符号量に応じて制御してもよい。画像パラメータと符号化パラメータは、画像情報として、一つのＩ（Ｐ）ピクチャとそれに続いて符号化されるＢピクチャに対して共通なものとする。この画像群をＳｅｔと呼び、長さは飛越し走査画像で３フレームから順次走査画像で６フレーム程度である。これは時間にして１０分の１秒程度なので、画像状態の相関は高く、パラメータを共通としても不都合は少ない。なお、符号化はＩ（Ｐ）ピクチャが先でＢピクチャが後だが、本来の画像順はＢピクチャが先でＩ（Ｐ）ピクチャが後となる。
【００３０】
画像情報保持器１２は、画像情報設定器１１で設定された画像情報を実際の処理を行うための符号化パラメータとして、次のＩ（Ｐ）ピクチャの符号化まで保持する。また、画像情報保持器１２は、符号化パラメータの中で、量子化マトリックスを量子化器５及び１６と、逆量子化器７に与え、符号化画像レートをフレーム間引器１３に与える。また、画像に関する情報や符号化パラメータは、伝送のための符号列として形成され多重化に合わせて保持され、多重化器１８に与えられる。
【００３１】
多重化器１８はＩ（Ｐ）ピクチャの先頭部分に画像情報を挿入する。画像情報の内容は、画像サイズなどの画像に関するパラメータと、量子化マトリックスなど符号化に関するパラメータである。多重化器１８は、ヘッダである画像情報とＩ（Ｐ）ピクチャの符号列とＢピクチャの符号列をそれぞれの処理タイミングで得て、符号出力端子１９から出力する。Ｉ（Ｐ）ピクチャの先頭に多重化される量子化マトリックスなど符号化に関するパラメータは、量子化器５及び１６や逆量子化器７にも与えられ、量子化や逆量子化はそのパラメータに従って行われる。
【００３２】
本実施の形態ではＭＰＥＧ型のピクチャタイプを用いて説明したが、Ｂピクチャの代わりに画像間予測の参照画像とならない片方向予測ピクチャとしても同様である。片方向予測でも予測の参照画像とならない場合は、画像レートに合わせて画像が間引かれても他に影響はない。ただし、片方向予測の場合は、画像順の入れ替えは必要がないので行われない。
【００３３】
次に、本発明における量子化マトリックスについて説明する。本発明は量子化マトリックスの値を、係数ごとの重み付けの値と、その傾斜の程度を示すパラメータに分解して表す。量子化マトリックスを変更する場合、係数ごとの重み付けの値はあまり変更せず、傾斜の程度を示すパラメータのみを変更して伝送する。この処理を式（１）で示す。
【００３４】
Qi(i,j)＝ki{Qio(i,j)−Qio(0,0)}＋Qio(0,0) (１)
式１においてｉは水平方向係数番号、ｊは垂直方向係数番号で、ｉ＝０，ｊ＝０はＤＣ成分である。元となるイントラ用所定マトリックスＱｉｏ（ｉ，ｊ）はＭＰＥＧ規格のイントラマクロブロック（Ｉピクチャ）用量子化マトリックスと同様なものである。Ｉピクチャ用の量子化マトリックス傾斜係数ｋｉから、Ｉピクチャ用の量子化マトリックスＱｉ（ｉ，ｊ）を得る。ｋｉが１の場合は、Ｑｉ（ｉ，ｊ）＝Ｑｉｏ（ｉ，ｊ）となる。
【００３５】
同様に、所定マトリックスとして非イントラマクロブロック用マトリックスＱｎｉ（ｉ，ｊ）を用い、式２によりＰピクチャ用の量子化マトリックス傾斜係数ｋｐから、Ｐピクチャ用の量子化マトリックスＱｐ（ｉ，ｊ）を、式３によりＢピクチャ用の量子化マトリックス傾斜係数ｋｂから、Ｂピクチャ用の量子化マトリックスＱｂ（ｉ，ｊ）を得る。
【００３６】
Qp(i,j)＝kp{Qni(i,j)−Qni(0,0)}＋Qni(0,0) （２）
Qb(i,j)＝kb{Qni(i,j)−Qni(0,0)}＋Qni(0,0) （３）
ｋｐが２の場合の非イントラマクロブロック用マトリックスＱｎｉ（ｉ，ｊ）と、Ｐピクチャ用の量子化マトリックスＱｐ（ｉ，ｊ）の具体例を図２に示す。所定マトリックスＱｉｏ（ｉ，ｊ）や非イントラマクロブロック用マトリックスＱｎｉ（ｉ，ｊ）はＭＰＥＧ規格と同様に更新可能であるが、情報量が多いのであまり変更せず、量子化マトリックス傾斜係数ｋｉ，ｋｐ，ｋｂを変更して多重化する。ｋｉ，ｋｐ，ｋｂは８ビット程度なので、Ｑｉｏ（ｉ，ｊ）やＱｎｉ（ｉ，ｊ）と比較して情報量は大幅に少ない。
【００３７】
ｋｉ，ｋｐ，ｋｂは画像情報設定器１１で画像状況及び符号化状況に応じて設定される。画像アクティビティが高い場合に、ｋｉ，ｋｐ，ｋｂの値は大きくされる。また量子化が粗い（量子化ステップ幅が広い）場合にも大きくされる。ｋｉ，ｋｐ，ｋｂは独立に変更され、ｋｉはあまり変化させず、ｋｐはやや大きく、ｋｂはより大きくされる。これは、Ｉピクチャ（独立マクロブロックを含む）は、画像そのものの量子化であるが、Ｐピクチャは数フレーム間の予測残差なので時間方向の周波数成分として高いものであり、Ｂピクチャは最も高い周波数に相当するためである。時空間周波数で高い成分は視覚検知能力が低下するため、このような処理が適当になる。
【００３８】
上記の量子化マトリックス形成方法は図１の符号化装置に用いることができるのみならず、ＰピクチャやＩピクチャのみでも適用可能である。すなわち量子化マトリックスを用いる直交変換符号化で広く用いることができる。
【００３９】
次に、本発明の動画像符号列伝送方法で伝送する動画像符号列について説明する。図１に示した本発明の符号化装置の一実施の形態から出力される動画像符号列は、図３のような構成となる。各ＧＯＰはＧＯＰヘッダＧＨと画像の組（Ｓｅｔ）から構成され、一つのＧＯＰは複数のＳｅｔを持つ。各Ｓｅｔは、画像間予測の参照画像となるＩピクチャまたはＰピクチャ一つと幾つかの連続するＢピクチャにより構成される。
【００４０】
また、各Ｓｅｔの先頭にはその中の複数のピクチャに共通な画像符号化情報をＳｅｔヘッダＳＨとして持つ。各Ｓｅｔは、２ピクチャから６ピクチャ程度を含む。各ピクチャは複数のスライス（マクロブロックの集合体）を持つが、従来例であったピクチャヘッダ（図８のＰＨ）は存在しない。本実施の形態ではピクチャヘッダの代わりに、それを束ねたＳｅｔヘッダＳＨがＳｅｔの符号列の中にある。
【００４１】
符号化装置または伝送路において、一部Ｂピクチャを削除して画像レートを落とした場合の符号列構造を図４に示す。同図に示すように、画像レートに応じて６０ｆｐｓ（frame per second）では、Ｓｅｔ内に５ピクチャあったＢピクチャは、３０ｆｐｓでは２ピクチャ、２０ｆｐｓでは１ピクチャ、１０ｆｐｓでは０となっている。いずれの画像レートの場合でも、ＳｅｔヘッダＳＨはそのまま保持されるので、復号処理に支障は生じない。
【００４２】
一方、クローズド（Closed）ＧＯＰの場合は、最初のＢピクチャが無いので、図５に示すように、最初のＳｅｔはＩピクチャのみとなる。他のＰピクチャを持つＳｅｔはＢピクチャが続く形となる。最初のＳｅｔのみが他と異なるが、Ｉピクチャは符号量が多いので、符号量の点では各Ｓｅｔが均一化される方向になり、むしろ好都合である。
【００４３】
次に、本発明になる動画像復号化装置及び復号化方法について説明する。図６は本発明になる動画像復号化装置の一実施の形態のブロック図を示す。本実施の形態の動画像復号化装置は、図１に示した動画像符号化装置に対応した復号化装置の構成を示したものである。
【００４４】
図６において、符号入力端子２１より入来する符号列は、多重化分離器２２によりヘッダの符号列、Ｉピクチャ及びＰピクチャの符号列、Ｂピクチャの符号列に分離される。ヘッダの符号列は画像情報保持器２３に、Ｉ（Ｐ）ピクチャの符号列は可変長復号化器２４に、Ｂピクチャの符号列は可変長復号化器２５に供給される。画像情報保持器２３は、伝送されてきたヘッダの符号列を１Ｓｅｔの間保持する。また、画像情報保持器２３は、伝送されてきたヘッダの符号列から量子化マトリックスの傾斜の程度を示す係数を得て、予め設定されている所定量子化マトリックスと得られた傾斜係数から、逆量子化で用いる量子化マトリックスを形成し、保持する。
【００４５】
一方、Ｉ（Ｐ）ピクチャの符号列は、可変長復号化器２４で予測残差の可変長符号が固定長の符号に戻されて逆量子化器２６に供給され、ここで予測残差の再生ＤＣＴ係数値とされて逆ＤＣＴ２７に供給される。逆量子化器２６では画像情報保持器２３から供給される量子化パラメータに従って逆量子化が行われる。また、逆ＤＣＴ２７は、８×８個のＤＣＴ係数を再生予測残差信号に変換し、加算器２８に与える。加算器２８はこの再生予測残差信号に、画像間予測器２９から供給される予測信号を加算して再生画像信号を得る。
【００４６】
この様にして得られたＩ（Ｐ）ピクチャの再生画像信号は、加算器２８から画像間予測に用いられるため画像間予測器２９に供給される。画像間予測器２９は、蓄積されている画像から予測信号を形成し、加算器２８と加算器３２に供給する。
【００４７】
一方、Ｂピクチャの符号列は、可変長復号化器２５、逆量子化器３０、逆ＤＣＴ３１及び加算器３２よりなる回路部で復号化され、得られた再生画像信号が画像スイッチ３３に与えられる。可変長復号化器２５、逆量子化器３０、逆ＤＣＴ３１及び加算器３２よりなる回路部の動作は、可変長復号化器２４、逆量子化器２６、逆ＤＣＴ２７及び加算器２８よりなる回路部の動作と同様であるが、逆量子化のパラメータはＢピクチャ用のものとなる。Ｂピクチャは画像間予測に使われないので、再生画像信号は保持されない。
【００４８】
画像スイッチ３３はＢピクチャの再生画像信号と画像間予測器２９で遅延させられたＰ（Ｉ）ピクチャの再生画像信号の一方を選択し、本来のフレーム（フィールド）順となった再生画像信号をフレーム補間器３４に与える。フレーム補間器３４は、欠如しているＢピクチャを再生された前後のフレーム（フィールド）から補間し、所定の画像レートにして画像出力端子３５から出力する。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、画像間予測の参照画像となる第１の画像の１フレームないし１フィールドを符号化した第１の符号列と、それに隣接し、フレームないしフィールドが連続する参照画像とならない第２の画像を符号化した第２の符号列を画像の組とし、上記の画像の組に共通する画像パラメータと符号化パラメータの少なくとも一方を画像情報として多重化した符号列を得ることにより、数フレーム単位ないし数フィールド単位で画像情報を多重化することができるため、各フレームに画像情報を多重する場合に比べて、重複した情報を多重化する量を減少できる。
【００５０】
また、本発明によれば、数十フレーム単位となるＧＯＰヘッダでの画像情報と比較して、数フレーム単位で画像情報を多重でき、よって、より適切な符号化パラメータが設定可能となる。また、本発明によれば、量子化マトリックスは補正係数である量子化マトリックスの傾斜の程度を示す係数だけを伝送することにより、量子化マトリックスを伝送する場合に比べて、僅かな伝送情報量で済むようにしたため、ＧＯＰヘッダより頻繁にマトリックスを変更して、再生画質を最適化することができる。
【００５１】
また、本発明によれば、上記の第１の画像を符号化した第１の符号列と、上記の第２の画像を符号化した第２の符号列を画像の組とし、上記の画像の組に共通する画像情報とを多重化した符号列を得るので、参照画像とならない第２の画像のフレーム数又はフィールド数を廃棄することで画像レートを変更しても、参照画像となる第１の画像及び画像情報は廃棄されないので、画像情報は必ず復号化され、画像レートが変わっても画像情報が確実に得られる。
【００５２】
これらにより、本発明によれば、再生画像の品質を従来と同様に保ちながらより低い転送レートを実現できる。また、本発明によれば、転送レートを従来と同一とすれば、他の情報により多くのビットが配分されることになり、再生画像の品質を向上できる。
【図面の簡単な説明】
【図１】 本発明の動画像符号化装置の一実施の形態の構成を示すブロック図である。
【図２】 本発明で用いる量子化マトリックスの一例を示す図である。
【図３】 本発明の符号列構成の一実施の形態を示す図である。
【図４】 本発明の画像レート低減に伴う符号列構成変化の一例を示す図である。
【図５】 本発明の符号列のＧＯＰ符号列構造の一例を示す図である。
【図６】 本発明の動画像復号化装置の一実施の形態の構成を示すブロック図である。
【図７】 ＧＯＰ構成の各例を示す図である。
【図８】 従来の符号列構成の一例を示す図である。
【符号の説明】
１ 画像入力端子
２、３３ 画像スイッチ
３、１４ 減算器
４、１５ ＤＣＴ
５、１６ 量子化器
６、１７ 可変長符号化器
７、２６、３０ 逆量子化器
８、２７、３１ 逆ＤＣＴ
９、２８、３２ 加算器
１０、２９ 画像間予測器
１１ 画像情報設定器
１２、２３ 画像情報保持器
１３ フレーム間引器
１８ 多重化器
１９ 符号列出力端子
２１ 符号列入力端子
２２ 多重化分離器
２４、２５ 可変長復号化器
３４ フレーム補間器
３５ 画像出力端子
Claims (5)
- 画像間予測の参照画像となるＩピクチャ及びＰピクチャの画像と、画像間予測の参照画像とならないＢピクチャの画像とで構成され、前記Ｉピクチャ及び前記Ｐピクチャの画像はそれぞれ少なくとも１画像ずつ含まれ、前記Ｂピクチャは複数画像含まれる、第１の画像の組の単位で符号化する動画像符号化装置において、
前記第１の画像の組に含まれる前記Ｉピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数の前記Ｂピクチャの画像とからなる組を第２の画像の組とし、前記第１の画像の組に含まれる前記Ｐピクチャの１画像とこのＰピクチャの画像に隣接して連続する複数の前記Ｂピクチャの画像とからなる複数の組を第３の画像の組とし、前記第２の画像の組及び前記第３の画像の組のそれぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方を画像情報として設定する画像情報設定手段と、 前記画像情報に従って前記Ｉピクチャ及び前記Ｐピクチャとなる画像を符号化し、１画像単位の第１の符号列を得る第１の符号化手段と、
前記画像情報に従って前記Ｂピクチャとなる画像を符号化し、画像が連続する第２の符号列を得る第２の符号化手段と、
前記画像情報、前記第１の符号列及び前記第２の符号列を連続して多重化する多重化手段と
を有することを特徴とする動画像符号化装置。 - 動画像符号化で画像間予測の参照画像となるＩピクチャ及びＰピクチャの画像と、画像間予測の参照画像とならないＢピクチャの画像とで構成され、前記Ｉピクチャ及び前記Ｐピクチャの画像はそれぞれ少なくとも１画像ずつ含まれ、前記Ｂピクチャは複数画像含まれる、第１の画像の組からなる動画像符号列を復号化する動画像復号化装置において、
入来する前記動画像符号列から前記Ｉピクチャ及び前記Ｐピクチャの画像が符号化された１画像単位の第１の符号列と、前記Ｉピクチャ又は前記Ｐピクチャの画像に隣接して連続する前記Ｂピクチャの画像が符号化された画像が連続する第２の符号列と、前記第１の画像の組に含まれる、前記Ｉピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数の前記Ｂピクチャの画像とからなる第２の画像の組、及び前記Ｐピクチャの１画像とこのＰピクチャの画像に隣接して連続する複数の前記Ｂピクチャの画像とからなる第３の画像の組、それぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方の画像情報と、を分離する多重化分離手段と、
前記多重化分離手段により分離された前記画像情報に従って、前記第１の符号列を復号化し、１画像毎の前記Ｉピクチャ及び前記Ｐピクチャの画像を復号した画像を得る第１の復号化手段と、
前記多重化分離手段により分離された前記画像情報に従って、前記第２の符号列を復号化し、画像が連続する前記Ｂピクチャの画像を復号した画像を得る第２の復号化手段と、
前記第１及び第２の復号化手段により復号された前記Ｉピクチャの画像を復号した画像、前記Ｐピクチャの画像を復号した画像、及び前記Ｂピクチャの画像を復号した画像をそれぞれ選択して本来の画像順で出力する画像再生手段と
を有することを特徴とする動画像復号化装置。 - 画像間予測の参照画像となるＩピクチャ及びＰピクチャの画像と、画像間予測の参照画像とならないＢピクチャの画像とで構成され、前記Ｉピクチャ及び前記Ｐピクチャの画像はそれぞれ少なくとも１画像ずつ含まれ、前記Ｂピクチャは複数画像含まれる、第１の画像の組の単位で符号化する動画像符号化方法において、
前記第１の画像の組に含まれる前記Ｉピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数の前記Ｂピクチャの画像とからなる組を第２の画像の組とし、前記第１の画像の組に含まれる前記Ｐピクチャの１画像と、このＰピクチャの画像に隣接して連続する複数の前記Ｂピクチャの画像とからなる複数の組を第３の画像の組とし、前記第２の 画像の組及び前記第３の画像の組のそれぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方を画像情報として設定する第１のステップと、 前記画像情報に従って前記Ｉピクチャ及び前記Ｐピクチャとなる画像を符号化し、１画像単位の第１の符号列を得る第２のステップと、
前記画像情報に従って前記Ｂピクチャとなる画像を符号化し、画像が連続する第２の符号列を得る第３のステップと、
前記画像情報、前記第１の符号列及び前記第２の符号列を連続して多重化する第４のステップと
を含むことを特徴とする動画像符号化方法。 - 動画像符号化で画像間予測の参照画像となるＩピクチャ及びＰピクチャの画像と、画像間予測の参照画像とならないＢピクチャの画像とで構成され、前記Ｉピクチャ及び前記Ｐピクチャの画像はそれぞれ少なくとも１画像ずつ含まれ、前記Ｂピクチャは複数画像含まれる、第１の画像の組からなる動画像符号列を復号化する動画像復号化方法において、
入来する前記動画像符号列から前記Ｉピクチャ及び前記Ｐピクチャの画像が符号化された１画像単位の第１の符号列と、前記Ｉピクチャ又は前記Ｐピクチャの画像に隣接して連続する前記Ｂピクチャの画像が符号化された画像が連続する第２の符号列と、前記第１の画像の組に含まれる、前記Ｉピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数の前記Ｂピクチャの画像とからなる第２の画像の組、及び前記Ｐピクチャの１画像とこのＰピクチャの画像に隣接して連続する複数の前記Ｂピクチャの画像とからなる第３の画像の組、それぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方の画像情報とを分離する第１のステップと、
前記第１のステップにより分離された前記画像情報に従って、前記第１の符号列を復号化し、１画像毎の前記Ｉピクチャ及び前記Ｐピクチャの画像を復号した画像を得る第２のステップと、
前記第１のステップにより分離された前記画像情報に従って、前記第２の符号列を復号化し、画像が連続する前記Ｂピクチャの画像を復号した画像を得る第３のステップと、
前記第２及び第３のステップにより復号された前記Ｉピクチャの画像を復号した画像、前記Ｐピクチャの画像を復号した画像、及び前記Ｂピクチャの画像を復号した画像をそれぞれ選択して本来の画像順で出力する第４のステップと
を含むことを特徴とする動画像復号化方法。 - 動画像符号化で画像間予測の参照画像となるＩピクチャ及びＰピクチャの画像と、画像間予測の参照画像とならないＢピクチャの画像とで構成され、前記Ｉピクチャ及び前記Ｐピクチャの画像はそれぞれ少なくとも１画像ずつ含まれ、前記Ｂピクチャは複数画像含まれる、第１の画像の組の単位で符号化した符号列の伝送方法において、
前記第１の画像の組に含まれる前記Ｉピクチャの１画像とこのＩピクチャの画像に隣接して連続する複数の前記Ｂピクチャの画像とからなる組を第２の画像の組とし、前記第１の画像の組に含まれる前記Ｐピクチャの１画像とこのＰピクチャの画像に隣接して連続する複数の前記Ｂピクチャの画像とからなる複数の組を第３の画像の組とし、前記第２の画像の組及び前記第３の画像の組のそれぞれの組毎に、その組において共通する画像パラメータと符号化パラメータの少なくとも一方である画像情報の符号列部分と、
前記画像情報に従って前記Ｉピクチャ及び前記Ｐピクチャとなる画像が、１画像単位で符号化された第１の符号列部分と、前記画像情報に従って前記Ｂピクチャとなる画像が連続して符号化された第２の符号列部分とが、多重化された構成の動画像符号列を伝送することを特徴とする動画像符号列伝送方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001380820A JP3948266B2 (ja) | 2001-12-14 | 2001-12-14 | 動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001380820A JP3948266B2 (ja) | 2001-12-14 | 2001-12-14 | 動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003189308A JP2003189308A (ja) | 2003-07-04 |
| JP3948266B2 true JP3948266B2 (ja) | 2007-07-25 |
Family
ID=27591693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001380820A Expired - Lifetime JP3948266B2 (ja) | 2001-12-14 | 2001-12-14 | 動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3948266B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0428160D0 (en) * | 2004-12-22 | 2005-01-26 | British Telecomm | Variable bit rate processing |
| GB0428155D0 (en) | 2004-12-22 | 2005-01-26 | British Telecomm | Buffer underflow prevention |
| CN101107862B (zh) * | 2005-03-14 | 2010-05-26 | 松下电器产业株式会社 | 编码装置及具备编码装置的动态图像记录系统 |
| WO2007094100A1 (ja) * | 2006-02-13 | 2007-08-23 | Kabushiki Kaisha Toshiba | 動画像符号化／復号化方法及び装置並びにプログラム |
| EP2136566A4 (en) | 2007-04-16 | 2012-07-18 | Toshiba Kk | METHOD AND DEVICE FOR IMAGE ENCODING AND IMAGE DECODING |
| MX2012004556A (es) * | 2009-10-30 | 2012-05-08 | Panasonic Corp | Metodo de descodificacion de imagenes, metodo de codificacion de imagenes, dispositivo descodificador de imagenes, dispositivo codificador de imagenes, programas y circuitos integrados. |
| US9369718B2 (en) * | 2009-10-30 | 2016-06-14 | Sun Patent Trust | Decoding method, decoding apparatus, coding method, and coding apparatus using a quantization matrix |
| WO2011052216A1 (ja) * | 2009-10-30 | 2011-05-05 | パナソニック株式会社 | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
-
2001
- 2001-12-14 JP JP2001380820A patent/JP3948266B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003189308A (ja) | 2003-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1497990B1 (en) | Method and device for indicating quantizer parameters in a video coding system | |
| US6765963B2 (en) | Video decoder architecture and method for using same | |
| KR100969645B1 (ko) | 적응 가변장 부호화 | |
| US6920175B2 (en) | Video coding architecture and methods for using same | |
| US6563954B2 (en) | Method for computational graceful degradation in an audiovisual compression system | |
| JP4510465B2 (ja) | イメージ／ビデオ符号器及び／又は復号器における変換係数の符号化 | |
| US20020122491A1 (en) | Video decoder architecture and method for using same | |
| KR101263813B1 (ko) | 듀얼 패스 인코딩에서 주사 모드의 선택을 위한 방법 및 장치 | |
| EP0920214B1 (en) | Apparatus and method of coding/decoding moving picture | |
| EP1143737A2 (en) | Image encoding apparatus and method, video camera, image recording apparatus, and image transmission apparatus | |
| JP2000059790A (ja) | 動画像符号列変換装置及びその方法 | |
| JP2004350263A (ja) | 画像処理装置及び画像処理方法 | |
| JP3948266B2 (ja) | 動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法 | |
| JP4264811B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JP3797208B2 (ja) | カラー動画像符号化装置、復号化装置、符号化方法、復号化方法及びカラー動画像符号列伝送方法 | |
| WO1996033573A1 (en) | Device and method for coding moving image | |
| JPH07131793A (ja) | 映像信号高能率符号化装置 | |
| JP3246074B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
| JPH07107464A (ja) | 画像符号化装置および復号化装置 | |
| JPH11136680A (ja) | 画像符号化方法及び装置 | |
| EP2769543A1 (en) | Method of and apparatus for compression encoding a picture in a picture sequence | |
| WO2004025964A2 (en) | Manipulation of video compression | |
| JP3918509B2 (ja) | 動画像編集装置、動画像編集方法、動画像復号化装置及び動画像復号化方法 | |
| JP3918510B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| KR100221196B1 (ko) | 영상신호의 압축 및 복원을 위한 가변 길이부호화기 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040330 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060811 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061012 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070327 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070409 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3948266 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120427 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120427 Year of fee payment: 5 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140427 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |