JP3918510B2 - 動画像符号化装置及び動画像符号化方法 - Google Patents
動画像符号化装置及び動画像符号化方法 Download PDFInfo
- Publication number
- JP3918510B2 JP3918510B2 JP2001334295A JP2001334295A JP3918510B2 JP 3918510 B2 JP3918510 B2 JP 3918510B2 JP 2001334295 A JP2001334295 A JP 2001334295A JP 2001334295 A JP2001334295 A JP 2001334295A JP 3918510 B2 JP3918510 B2 JP 3918510B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- image
- prediction
- gop
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は動画像符号化装置及び動画像符号化方法に係り、特に画像を効率的に伝送、蓄積、表示するために、画像情報をより少ない符号量でディジタル信号にする高能率符号化で、ピクチャ内独立、片方向予測、双方向予測の3種類の符号化手法を用いる動画像符号化において、符号化効率の低下を抑えながら符号列の編集を容易にする動画像符号化装置及び動画像符号化方法に関する。
【0002】
【従来の技術】
従来より、動画像の高能率圧縮符号化方式としてMPEG(Moving Picture Experts Group)方式が知られている。このMPEG方式では、画像間予測の方法により3種類のピクチャタイプを持つ。Iピクチャと呼ばれるピクチャ内独立符号化ピクチャと、Pピクチャと呼ばれる片方向予測符号化(フレーム間又はフィールド間順方向予測符号化)ピクチャと、Bピクチャと呼ばれる双方向予測符号化ピクチャである。Iピクチャはランダムアクセスやチャンネル切替えに対応するもので、そこから復号が可能となる。ここで、ピクチャは動画像の1フレームないし1フィールドを指す。
【0003】
符号列はピクチャが複数束ねられ、符号列群すなわちGOP(Group Of Picture)が形成される。このGOPにおいては、Iピクチャがひとつは必ず入る形となる。通常のGOPの構成は、Bピクチャから始まりPピクチャで終わる。このピクチャ構成を図6(a)に示す。符号列においてP(I)ピクチャとBピクチャの順番が入れ替わるため、このような構成となる。
【0004】
一方、最初のBピクチャは前のGOPのPピクチャからも予測されるため、画像間予測が途切れず符号列をGOP単位で入れ替えることができない。そこで、最初のBピクチャを無くし、前GOPのPピクチャの直後をIピクチャとする方法がある。これはクローズド(Closed)GOPと呼ばれるもので、各GOPは前後GOPと関係なくなるため、GOP単位で符号列の編集が可能になる。このGOP構成を図6(b)に示す。この場合、最初の部分が周期的な処理でなくなるので、処理がやや面倒になる。また、符号量が少ないBピクチャが削除されるので平均符号量が増加する。
【0005】
一方、本発明者が先に特開平11−164307号公報にて開示したように、主たる符号列とは別に副符号列として、ピクチャ内独立符号化された符号列を多重化する動画像符号化装置及び動画像復号化装置がある。この動画像符号化装置では、入力される動画像に対して、画像内独立符号化または画像間予測符号化をフレーム又はフィールド単位で切り替えて行い、得られた主符号列を出力する主符号化手段と、前記主符号化手段において画像間予測符号化が行われるフレーム又はフィールドのうち所定フレーム又はフィールドを、画像内独立符号化し、得られた副符号列を出力する副符号化手段と、前記所定フレーム又はフィールドの主符号列の隣接部に前記所定フレームまたはフィールドの副符号列を挿入し、多重化された符号列を得る符号列多重化手段とより構成したことを特徴とする。
【0006】
また、上記の動画像復号化装置は、入力される符号列のタイプ(主符号列/副符号列)を符号列のヘッダーより検出し、符号列のタイプ情報を出力するタイプ検出手段と、前記符号列のタイプ情報に基づき、連続した画像の復号化が行われていない場合は、入力されるいずれの符号列も復号化処理に導き、連続した画像の復号化が行われている場合は、副符号列を放棄して主符号列のみを復号化処理に導く符号列制御手段と、前記符号列制御手段から与えられる符号列に対して、画像内復号化又は画像間予測復号化を行い、得られた再生画像を出力する復号化手段とを有する構成である。
【0007】
【図1】
この本発明者の先の提案になる動画像符号化装置及び動画像復号化装置によれば、通常の復号化ではピクチャ内独立符号化された符号列は用いずに復号化し、ランダムアクセスやチャンネル切替え時にのみ、ピクチャ内独立符号化された符号列から復号化することが可能になる。
【0008】
また、ピクチャ内独立符号化した局部復号画像とピクチャ間予測画像の両方を用いて画質を高める手法がある。例えば、本発明者が先に特開平5−130591号公報にて開示した動画像符号化装置では、ピクチャ内独立符号化の再生画像とピクチャ間予測画像を適応的に加算し、予測信号を形成するものである。
【0009】
図7は従来の動画像符号化装置の一例のブロック図を示す。同図において、画像入力端子1より入来する動画像信号は、すべてがフレーム遅延器2に供給される一方、Iピクチャとして符号化する信号のみがスイッチ19を介してDCT20に供給される。フレーム遅延器2は、PピクチャをBピクチャに先行して符号化するために、Bピクチャのみをフレーム時間遅延させる。順番が入れ替えられた各画像は、減算器3に与えられる。
【0010】
フレーム遅延器2からの画像信号は、減算器3において後述する加算器9からの予測信号と減算されて予測残差とされてDCT4に入力される。DCT4は予測残差に対して離散コサイン変換(DCT:Discrete Cosine Transform)の変換処理を行い、得られた係数を量子化器5に供給する。量子化器5は所定のステップ幅で入力係数を量子化し、固定長の符号となった係数を可変長符号化器6と逆量子化器10に供給する。可変長符号化器6は、固定長の予測残差を可変長符号で圧縮して、得られた符号を多重化器13に供給する。
【0011】
一方、逆量子化器10及び逆DCT11ではDCT4及び量子化器5の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器12で、加算器9からの予測信号と加算されて再生画像とされ、画像間予測器7に入力される。画像間予測器7はこの再生画像を参照画像として用いて画像間予測信号を形成し、乗算器8に供給する。乗算器8は、後述の特定画像設定器18よりの制御情報に従って再生画像に0から1の値を乗じて、加算器9に供給する。
【0012】
Iピクチャの符号化は、上記Pピクチャとして符号化される画像の内、周期的に設定した一部の画像について行う。Iピクチャの符号化は、予測残差に対する上記の処理と同様で、DCT20、量子化器21及び可変長符号化器22からなる回路部で符号化されるが、この処理はI(P)ピクチャに対するDCT4、量子化器5及び可変長符号化器6からなる回路部の処理と同様である。得られた符号は可変長符号化器22から多重化器13に入力される。
【0013】
一方、逆量子化器15及び逆DCT16ではDCT20及び量子化器21の逆処理が行われ、画像を再生する。得られた再生画像(Iピクチャ局部復号画像)は、乗算器17に与えられる。乗算器17は、後述する特定画像設定器18からの制御情報に従って局部復号画像に0から1の値を乗じて、加算器9に供給する。
【0014】
加算器9は、乗算器8からの画像間予測画像と、乗算器17からのIピクチャ局部復号画像とを加算して最終的な予測画像を得る。乗算器8の乗算係数と乗算器17の乗算係数とは、それらの和が1となるもので、画像の相関により制御されてもよい。Iピクチャの無い非特定ピクチャでは乗算器8で1、乗算器17で0が乗算され、通常のPピクチャの処理となる。Bピクチャは予測の参照画像とならないので、この加算処理は関係ない。
【0015】
特定画像設定器18は所定周期毎のPピクチャを特定ピクチャとして設定し、その制御情報をスイッチ19、乗算器8、17、多重化器13に与える。多重化器13は、特定ピクチャの情報と各ピクチャの符号列を多重化し、符号列出力端子14より出力する。
【0016】
次に、従来の動画像符号列について説明する。従来のGOP(画像群)の符号列構成は、通常のGOPの場合は図8(a)に示すように、クローズド(Closed)GOPの場合は図8(b)に示すようになる。図8で区切りは各ピクチャの符号列を示し、I、B、Pはピクチャタイプ、数字は再生表示ピクチャ番号である。符号列は、BピクチャとP(I)ピクチャの順番が逆転しているのが判る。その結果GOPの最後はPピクチャにならず、その前のBピクチャとなる。
【0017】
通常のGOP構成の動画像符号列は、GOP単位で編集を行うと最初のBピクチャが復号化できなくなる。これはその前のPピクチャが前のGOPに属し、GOP単位の編集によりPピクチャが他の画像に変化してしまうので、正しい参照画像が得られなくなるためである。この場合、復号化装置でBピクチャの画像を復号化しないようにするため、編集が行われていることを示すフラグ(Bloken Link)を立てる必要がある。
【0018】
一方、クローズド(Closed)GOP構成の動画像符号列は、最初のBピクチャがないので、GOP単位で編集を行っても復号化に影響しない。これは画像間予測がGOPで閉じているためで、編集が行われていることを示すフラグ(Bloken
Link)を立てる必要はない。
【0019】
図7に示した従来の動画像符号化装置に対応する従来の動画像復号化装置は、予測信号の形成において、図7の局部復号部分と同様に独立フレーム復号画像と画像間予測画像が適応的に加算する構成である。
【0020】
一方、通常のGOP構成の動画像符号列で、GOP単位で編集が行われ、ブロークンリンク(Bloken Link)フラグが立っている場合、復号化では、編集点以降でIピクチャより前のBピクチャは復号化せず、前の画像などで置き換える。クローズド(Closed)GOP構成の動画像符号列では、GOP単位での符号列編集の影響は受けないが、Pピクチャの周期が不連続となるので、それに応じた復号化処理が必要になる。
【0021】
【発明が解決しようとする課題】
従来の動画像編集では、Iピクチャの周期で束ねられた符号列群、すなわちGOP(Group Of Picture)単位を持つ符号列の編集を行うが、通常のGOP構成では符号列の編集が困難であり、最初のBピクチャがないクローズド(Closed)GOP構成では、符号化効率が低下し、また、Pピクチャの周期が不連続になるという問題がある。
【0022】
また、Pピクチャにおいて副符号列としてIピクチャも持つ従来の手法は、ランダムアクセスなどには有効であるが、重複するIピクチャ分だけ符号量が増加し、符号列編集に対応したGOP構造になっていない。
【0023】
更に、同一フレームのIピクチャ局部復号画像と画像間予測信号から予測信号を形成する従来の手法は、符号化効率は良いが、両方の符号列がないと復号化ができないので、符号列の編集はできない。
【0024】
本発明は以上の点に鑑みなされたもので、所定PピクチャではIピクチャも持ち、両者の再生画像を加算したものを再生画像とすることで、編集可能でありながら再生画像の画質を改善できる動画像符号化装置及び動画像符号化方法を提供することを目的とする。
【0025】
【課題を解決するための手段】
上記の目的を達成するため、本発明の動画像符号化装置は、ピクチャ内独立、片方向予測、双方向予測の3種類の符号化手法で動画像の各ピクチャを符号化する動画像符号化装置において、入力画像信号を片方向予測又は双方向予測で符号化し、局部復号して片方向予測符号化の局部復号画像を得る第1の符号化局部復号化手段と、片方向予測で符号化されるピクチャの一部を特定ピクチャとし、特定ピクチャでは片方向予測符号化と共にピクチャ内独立でも符号化し、局部復号して、ピクチャ内独立符号化の局部復号画像を得る第2の符号化局部復号化手段と、特定ピクチャにおいて、片方向予測符号化の局部復号画像とピクチャ内独立符号化の局部復号画像を加算して、他ピクチャの画像間予測処理の参照画像とする画像間予測手段とを有する構成としたものである。
【0026】
この発明では、特定ピクチャでは片方向予測符号化されたピクチャ符号列の他に、ピクチャ内独立符号化されたピクチャ符号列も持ち、これら2種類のピクチャ符号列が重複することになるが、両者の局部復号画像を加算することで、再生画像のS/Nを改善でき、また、その再生画像を画像間予測の参照画像とすることで、画像間予測効率も改善できる。
【0027】
また、上記の目的を達成するため、本発明の動画像符号化方法は、ピクチャ内独立、片方向予測、双方向予測の3種類の符号化手法で動画像の各ピクチャを符号化する動画像符号化方法において、入力画像信号を片方向予測で符号化し、局部復号して片方向予測符号化の局部復号画像を得る第1のステップと、片方向予測で符号化されるピクチャの一部を特定ピクチャとし、特定ピクチャでは片方向予測符号化と共にピクチャ内独立でも符号化し、局部復号してピクチャ内独立符号化の局部復号画像を得る第2のステップと、特定ピクチャにおいて、片方向予測符号化の局部復号画像とピクチャ内独立符号化の局部復号画像を加算して、他ピクチャの画像間予測処理の参照画像とする第3のステップとを含むことを特徴とする。
【0028】
この発明では、特定ピクチャでは片方向予測符号化されたピクチャ符号列の他に、ピクチャ内独立符号化されたピクチャ符号列も持ち、これら2種類のピクチャ符号列が重複することになるが、両者の局部復号画像を加算した信号を、他ピクチャの画像間予測処理の参照画像とすることで、再生画像のS/Nを改善でき、また、その再生画像を画像間予測の参照画像とすることで、画像間予測効率も改善できる。
【0031】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。図1は本発明になる動画像符号化装置の一実施の形態のブロック図を示す。同図中、図7と同一構成部分には同一符号を付してある。また、本明細書中、「ピクチャ」とは、一つのフレームないしフィールドを指すものとする。
【0032】
図1において、画像入力端子1より入来する動画像信号は、すべてがフレーム遅延器2に与えられ、Iピクチャとして符号化するもののみがスイッチ19を介してDCT20に与えられる。フレーム遅延器2は、PピクチャをBピクチャに先行して符号化するために、Bピクチャのみを遅延させる。順番が入れ替えられた各画像は、減算器3に与えられる。
【0033】
フレーム遅延器2により遅延された入力画像信号は、減算器3において画像間予測器27から与えられる予測信号と減算され、予測残差とされてDCT4に入力される。DCT4は予測残差に対してDCT(Discrete Cosine Transform)の変換処理を行い、得られた係数を量子化器5に与える。量子化器5は与えられた係数を所定のステップ幅で量子化し、固定長の符号となった係数を可変長符号化器6と逆量子化器10に供給する。可変長符号化器6は、量子化器5からの固定長の予測残差を可変長符号で圧縮し、得られたPピクチャ又はBピクチャの可変長符号は多重化器13に供給される。
【0034】
一方、逆量子化器10及び逆DCT11ではDCT4及び量子化器5の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器12において画像間予測器27からの予測信号と加算されて局部復号画像となり、乗算器25に供給される。乗算器25は、特定画像設定器18からの制御情報に従って局部復号画像に0から1の値を乗じて、加算器26に供給する。
【0035】
Iピクチャの符号化は、Pピクチャとして符号化される画像の内、周期的に設定した一部の画像について行う。このIピクチャの符号化は、予測残差に対する上記の処理と同様にして行われる。すなわち、Iピクチャは、DCT20及び量子化器21を通して可変長符号化器22に入力されて可変長符号化されるが、この処理はP(B)ピクチャに対するDCT4、量子化器5及び可変長符号化器6の処理と同様である。可変長符号化器22により得られたIピクチャの可変長符号は多重化器13に入力される。
【0036】
一方、逆量子化器15及び逆DCT16ではDCT20及び量子化器21の逆処理が行われ、局部復号画像を再生する。得られた局部復号画像は、乗算器17に与えられる。乗算器17は、特定画像設定器18からの制御情報に従って局部復号画像に0から1の値を乗じて、加算器26に供給する。
【0037】
加算器26は乗算器25、17からの2種類の局部復号画像を加算して画像間予測処理のための参照画像を得る。画像間予測器27は、この参照画像を用いて画像間予測信号を形成する。この画像間予測信号は減算器3及び加算器12にそれぞれ供給される。
【0038】
特定画像設定器18は所定周期毎のPピクチャを特定ピクチャとして設定し、その制御情報をスイッチ19、乗算器17、25、多重化器13に与える。多重化器13は、特定ピクチャの情報と各ピクチャの符号列を多重化し、符号列出力端子14より出力する。スイッチ19は上記の特定ピクチャのときにのみオンとされ、それ以外の非特定ピクチャのときにはオフとされる。
【0039】
次に、加算器26における2種類の局部復号画像の加算処理について説明する。まず、非特定ピクチャでは、Iピクチャはないので、乗算器25は1を乗じ、乗算器17は0を乗じる。すなわち一般的なPピクチャの符号化と変わらない。なお、Bピクチャは参照画像とならないので、加算処理はそもそも関係しない。
【0040】
一方、特定ピクチャでは、Pピクチャの局部復号画像とIピクチャの局部復号画像の加算を行うために、乗算器25と乗算器17は共に係数0.5を入力局部復号画像に乗じる。互いの画像に含まれる雑音成分が白色雑音の場合は、加算により3dBのS/Nが改善できるが、Pピクチャの局部復号画像のノイズ成分とIピクチャの局部復号画像のノイズ成分は、それぞれ処理方法が異なるものの、高い周波数成分で量子化が粗くなっているなど共通点もあるので、雑音成分にも相関があり、3dBの改善は得られない。しかし、同一ではないので、ある程度の改善は見込まれる。仮に半分の1.5dBであるとすると、符号量でこれに見合う改善を行うためには30%程度符号量を増加させる必要がある。
【0041】
一般に、量子化器5、21の各量子化ステップ幅を各々設定することで、IピクチャはPピクチャより再生画像の品質を高めに設定する。これは、GOPのすべての画像の参照画像の基となるIピクチャの品質を高めにすることが、GOP全体の画質向上に寄与するためである。一方、Pピクチャの再生画像とIピクチャの再生画像でS/Nが異なると、加算はあまり有効でなくなる。そこで、Iピクチャの符号量をある程度減らすと、PピクチャとS/Nが同等になり、最大の効果が得られる。
【0042】
本発明は、通常のGOP構成に対しPピクチャが追加されているので、その分符号量が多くなるが、Iピクチャの符号量を減らしてS/Nを下げても、IピクチャとPピクチャの加算で参照画像のS/Nが保持できれば、再生画像、符号量共に通常のGOPと同等となる。
【0043】
ここで、発生符号量を通常GOP及びクローズド(Closed)GOPと比較してみる。Iピクチャの平均符号量を1000kbit、Pピクチャの平均符号量を300kbit、Bピクチャの平均符号量を100kbitとする。毎秒30フレームの画像で、P(I)ピクチャの周期を3フレームとする通常GOPの場合、GOPの長さを15フレームとすると、1秒中の各ピクチャ平均数から平均転送レートは6.4Mbpsとなる。
【0044】
一方、クローズド(Closed)GOPの場合は、GOPの大きさが通常GOPとは異なり、GOPの長さが13フレームで平均転送レートが6.92Mbps、GOPの長さが16フレームで平均転送レートが6.56Mbpsとなり、いずれも通常GOPに比べて平均転送レートが増加する。また、GOPの長さが13フレームではアクセス性がやや向上するが、16フレームの場合は低下する。両者から15フレーム相当の符号量を得ると6.68Mbpsとなり、通常のGOPに対して4.4%の符号量増加となる。
【0045】
本実施の形態の場合は、Iピクチャの平均符号量を通常のGOPやクローズドGOPと同じとすると平均転送レートは7.0Mbpsとなるが、30%落として700kbitとすると平均転送レートが6.4Mbpsとなり、通常GOPの場合と同じになる。これは通常GOPのIピクチャの符号量を、IピクチャとPピクチャに割り振った形となる。
【0046】
次に、動画像符号列について説明する。図1に示した符号化装置で符号化された符号列の形成において、特定ピクチャのPピクチャ符号列をGOP(画像群)の最後にし、IピクチャをGOPの最初にする。従って、特定ピクチャにおいては、Pピクチャ、Iピクチャの順で符号列が配置され、一つのGOPで見るとIピクチャで始まり、Pピクチャで終わる。この本実施の形態のGOP構成を図6(c)に示す。
【0047】
一方、符号列ではBピクチャとP(I)ピクチャは逆転するので、最後はPピクチャにならず、その前のBピクチャとなる。すなわち、形成されるGOP(画像群)の符号列は、図8(c)に示すように、特定ピクチャのピクチャ内独立符号化されたIピクチャ符号列I1で始まり、次の特定ピクチャの直前にある双方向予測符号化されたBピクチャ符号列B15で終了する。
【0048】
このGOP構成は、特定フレームの重複は無視して1GOPだけを比較するとクローズド(Closed)GOPと同様であり、特定フレームでIピクチャまたはPピクチャの一方を削除すると、削除された方によりGOPの構成は変化するが、ピクチャの並びは通常GOPの並びと同様になる。すなわち、本実施の形態のGOPは、クローズド(Closed)GOPと通常GOPの両方の特性を兼ね備えることができる。
【0049】
前記動画像符号列は、クローズド(Closed)GOPの場合と同様にGOP単位で符号列の編集が可能になる。その様子を図2に示す。同図に示すように、1行目に示す符号列AのあるGOPとGOPの間に、3行目に示す符号列Bの1GOPが挿入されて、2行目に示すような編集された符号列が得られる。ここで、各GOPはその最初と最後が重複ピクチャとなっている。従って、従来の編集装置と処理が異なる。
【0050】
まず、画像の長さについて、GOPの最後のPピクチャは、GOPの長さ(時間)には組み入れないで、編集時間の計算を行う。従って、本実施の形態のGOP構成の符号列が16フレームであっても、15フレームと見なす。
【0051】
次に、特定ピクチャの再生制御で、GOP単位で編集を行った場合、編集点となる特定ピクチャは、前のGOPのPピクチャ、後のGOPのIピクチャいずれもが復号化再生可能である。一方、編集が行われているので画像内容は異なる。符号列が重複する点を積極的に利用する方法としては、再生時にどちらの画像を出力するか、制御情報を入れておけば、同じ符号列で編集点を1ピクチャ前後させることができる。
【0052】
また、従来クローズド(Closed)GOPでは復号化装置で処理変更がないので、編集が行われていることを示すフラグ(Bloken Link)を立てる必要はなかったが、本手法においては復号化処理を切り替える必要があるので、ブロークンリンク(Bloken Link)のフラグを立てる必要がある。
【0053】
次に、動画像復号化装置の各例について説明する。図3は動画像復号化装置の一例のブロック図を示す。この動画像復号化装置は、図1に示した本発明の動画像符号化装置の一実施の形態に対応する復号化装置の構成を示しており、これは編集が行われてない画像連続性が保たれた符号列の場合である。
【0054】
図3において、符号列入力端子31より入来する符号列は、多重化分離器32によりピクチャのヘッダに基づきIピクチャの符号列とそれ以外の符号列に分離される。PピクチャやBピクチャの符号列は、可変長復号化器33に供給され、Iピクチャの符号列は可変長復号化器34に供給される。
【0055】
P(B)ピクチャの符号列は、可変長復号化器33で予測残差の可変長符号が固定長の符号に戻され、逆量子化器35に供給される。逆量子化器35は、入力された固定長符号を、量子化パラメータに従って逆量子化して予測残差の再生DCT係数値を得、これを逆DCT36に供給する。
【0056】
逆DCT36は8×8個の係数を復号予測残差信号に変換し、加算器37に供給する。加算器37は上記の復号予測残差信号に、画像間予測器45から与えられる予測信号を加算して復号画像信号を得る。この様にして得られたP(B)ピクチャの復号画像信号は、乗算器42に供給される。
【0057】
一方、多重化分離器32で分離されたIピクチャの符号列は、可変長復号化器34で復号化され、逆量子化器38で逆量子化され、逆DCT39で復号化されて再生画像信号とされた後、乗算器41に入力される。可変長復号化器34、逆量子化器38、逆DCT39の動作は、可変長復号化器33、逆量子化器35、逆DCT36と同様であるが、パラメータはIピクチャ用のものとなる。
【0058】
また、多重分離器32は入力された符号列中のピクチャヘッダからピクチャのIDを検出して、その結果情報が特定画像制御器40に供給される。特定画像制御器40は、特定ピクチャを検出し、その制御情報を乗算器41及び42にそれぞれ供給する。乗算器41は、上記の制御情報に従って逆DCT39からの再生画像信号に0から1の値を乗じて、加算器43に与える。他方、乗算器42は、上記の制御情報に従って加算器37からのP(B)ピクチャの復号画像信号に0から1の値を乗じて、加算器43に与える。
【0059】
加算器43は、乗算器41及び42から取り出された2種類の復号画像信号を加算して再生画像信号を得る。加算器43による加算は特定ピクチャのみで行われ、このとき乗算器41、乗算器42共に係数0.5が乗算される。それ以外では、乗算器42で係数1と復号画像信号との乗算が、乗算器41で係数0と復号画像信号との乗算がそれぞれ行われるため、加算器43からは加算器37からのP(B)ピクチャの復号画像信号がそのまま出力される。
【0060】
特定ピクチャでは再生画像信号は加算器43での加算により、乗算器41、42から取り出された各復号画像信号よりS/Nが改善されたものとなる。このような復号化の様子を図4(a)に示す。
【0061】
加算器43から出力された再生画像信号は、Bピクチャではスイッチ46を介して再生画像出力端子47よりそのまま出力される。一方、加算器43から出力された再生画像信号は、P(I)ピクチャでは画像メモリ44にいったん蓄えられ、画像間予測処理のための参照画像とされると共に遅延させられた後、画像間予測器22に供給され、ここでこの参照画像を用いて予測信号とされて加算器37に入力される。スイッチ46は遅延されたBピクチャと、画像メモリ44で遅延されたP(I)ピクチャを選択して出力端子47へ出力する。
【0062】
次に、動画像復号化装置の他の例について説明する。図5は図1の動画像符号化装置に対応する動画像復号化装置の他の例のブロック図を示す。図5中、図3と同一構成部分には同一符号を付し、その説明を省略する。図5の復号化装置は符号列編集が行われ、画像連続性が保たれない場合の復号化を行う装置である。
【0063】
加算器37から出力されるBピクチャの復号画像信号は、スイッチ51を介して再生画像出力端子47よりそのまま出力される。一方、加算器37から出力されるPピクチャの復号画像信号は、画像メモリ48に一旦保持される。また、逆DCT39から出力されるIピクチャの復号画像信号は、画像メモリ49に一旦保持される。
【0064】
ここで、GOPは編集が行われているので、特定ピクチャのPピクチャとIピクチャは形式的に同一ピクチャとなっているが、Pピクチャは前GOPのものであり、Iピクチャは後のGOPのものである。そこでスイッチ50は、画像メモリ48及び49からの2種類の復号画像信号から次のように参照画像として適切な方を選択する。
【0065】
特定ピクチャの復号化の次には、前GOPのBピクチャの復号化が行われるが、それには画像メモリ48に保持されているPピクチャの復号画像を選択する。続けて、次のGOPのPピクチャ及びBピクチャの復号化では、画像メモリ49に保持されているIピクチャの復号画像を選択する。この場合の復号化の様子を図4(b)に示す。図で矢印は画像間予測の関係である。
【0066】
図5に示した復号化装置の復号化では、画像間予測の参照画像が符号化装置の参照画像と若干異なることになるが、いずれも同一画像に対する復号画像であり、量子化雑音成分以外の元の画像は共通である。参照画像の変化は、編集点直前は2ピクチャのみ、編集点後は1GOPに影響する。しかし、編集点後は予測残差成分が順次加算されるので、参照画像変化の影響は次第に少なくなる。一方、視覚特性を考慮すると、編集でシーンが変わった場合、劣化にはかなり気づき難く、特に変化直後は0.1秒程度の間検知能力が大きく低下するといわれている。従って、劣化の視覚的影響は極めて小さい。
【0067】
再生画像出力は、スイッチ51で選択される。スイッチ51の動作で特定ピクチャ以外は図3のスイッチ46と同様である。特定フレームではIピクチャとPピクチャのいずれを出力することも可能であるので、どちらを選択するかあらかじめ決められていてもよいが、符号列編集装置にて符号列に制御情報が入れられている場合は、それに従って制御する。
【0068】
なお、以上の実施の形態では、動画像符号化装置及び方法について説明したが、本発明はこれに限定されるものではなく、片方向予測で符号化されるピクチャの一部を特定ピクチャとし、その特定ピクチャでは片方向予測符号化と共にピクチャ内独立でも符号化した符号列があり、特定ピクチャのピクチャ内独立符号化された符号列で始まり、特定ピクチャの直前のピクチャの双方向予測符号化された符号列で終了する符号列を一つの符号列群とし、この符号列群単位で合成された符号列を、所望の伝送路を介して伝送するようにしてもよい。
【0069】
【発明の効果】
以上説明したように、本発明によれば、特定ピクチャでは片方向予測符号化されたピクチャ符号列の他に、ピクチャ内独立符号化されたピクチャ符号列も持ち、これら2種類のピクチャ符号列が重複することになるが、両者の局部復号画像を加算することで、再生画像のS/Nを改善するようにしたため、再生画像の画質を改善できる。また、その再生画像を画像間予測の参照画像とすることで、画像間予測効率も改善するようにしたため、上記の特定ピクチャではその分総符号量を減らすこともできる。
【0070】
また、本発明によれば、符号列の群(GOP)構成を特定ピクチャに含まれる片方向予測符号化ピクチャと、ピクチャ内独立符号化ピクチャの間で区切る構成とすることにより、GOP単位で符号列が編集された場合の不連続点では、復号化装置においてGOP終端は片方向予測符号化ピクチャを、GOP始端はピクチャ内独立符号化ピクチャを参照画像として他ピクチャの画像間予測を行うようにしたため、通常GOPと同等の符号化効率で片方向予測符号化ピクチャの周期性を保ちながら、クローズド(Closed)GOP同様に、GOP単位の符号列編集ができる符号列を生成することができる。
【図面の簡単な説明】
【図1】 本発明の動画像符号化装置の一実施の形態のブロック図である。
【図2】 動画符号列の編集の様子の一例を示す図である。
【図3】 動画像復号化装置の一例のブロック図である。
【図4】 復号化の各例をピクチャ単位で示す図である。
【図5】 動画像復号化装置の他の例のブロック図である。
【図6】 GOP構成の各例を示す図である。
【図7】 従来の動画像符号化装置の一例のブロック図である。
【図8】 GOP(画像群)の符号列構成の各例を示す図である。
【符号の説明】
1 画像入力端子
2 フレーム遅延器
3 減算器
4、20 DCT
5、21 量子化器
6、22 可変長符号化器
10、15、35、38 逆量子化器
11、16、36、39 逆DCT
12、26、37、43 加算器
13 多重化器
14 符号列出力端子
17、25、41、42 乗算器
18 特定画像設定器
19、46 スイッチ
27、45 画像間予測器
31 符号列入力端子
32 多重化分離器
33、34 可変長復号化器
40 特定画像制御器
47 再生画像出力端子
Claims (2)
- ピクチャ内独立、片方向予測、双方向予測の3種類の符号化手法で動画像の各ピクチャを符号化する動画像符号化装置において、
入力画像信号を前記片方向予測又は双方向予測で符号化し、局部復号して片方向予測符号化の局部復号画像を得る第1の符号化局部復号化手段と、
前記片方向予測で符号化されるピクチャの一部を特定ピクチャとし、前記特定ピクチャでは片方向予測符号化と共に前記ピクチャ内独立でも符号化し、局部復号して、ピクチャ内独立符号化の局部復号画像を得る第2の符号化局部復号化手段と、
前記特定ピクチャにおいて、前記片方向予測符号化の局部復号画像と前記ピクチャ内独立符号化の局部復号画像を加算して、他ピクチャの画像間予測処理の参照画像とする画像間予測手段と
を有することを特徴とする動画像符号化装置。 - ピクチャ内独立、片方向予測、双方向予測の3種類の符号化手法で動画像の各ピクチャを符号化する動画像符号化方法において、
入力画像信号を前記片方向予測で符号化し、局部復号して片方向予測符号化の局部復号画像を得る第1のステップと、
前記片方向予測で符号化されるピクチャの一部を特定ピクチャとし、前記特定ピクチャでは片方向予測符号化と共に前記ピクチャ内独立でも符号化し、局部復号してピクチャ内独立符号化の局部復号画像を得る第2のステップと、
前記特定ピクチャにおいて、前記片方向予測符号化の局部復号画像と前記ピクチャ内独立符号化の局部復号画像を加算して、他ピクチャの画像間予測処理の参照画像とする第3のステップと
を含むことを特徴とする動画像符号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001334295A JP3918510B2 (ja) | 2001-10-31 | 2001-10-31 | 動画像符号化装置及び動画像符号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001334295A JP3918510B2 (ja) | 2001-10-31 | 2001-10-31 | 動画像符号化装置及び動画像符号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003143608A JP2003143608A (ja) | 2003-05-16 |
JP3918510B2 true JP3918510B2 (ja) | 2007-05-23 |
Family
ID=19149446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001334295A Expired - Lifetime JP3918510B2 (ja) | 2001-10-31 | 2001-10-31 | 動画像符号化装置及び動画像符号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3918510B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5359724B2 (ja) * | 2009-09-16 | 2013-12-04 | 日本電気株式会社 | ストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラム |
-
2001
- 2001-10-31 JP JP2001334295A patent/JP3918510B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2003143608A (ja) | 2003-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7477689B2 (en) | Video decoder architecture and method for using same | |
US6920175B2 (en) | Video coding architecture and methods for using same | |
US6057893A (en) | Picture encoding method, picture encoding apparatus, picture transmitting method and picture recording medium | |
RU2297729C2 (ru) | Группирование кадров изображения на видеокодировании | |
RU2395173C2 (ru) | Группирование кадров изображения на видеокодировании | |
US20040240560A1 (en) | Video decoder architecture and method for using same | |
US20040120403A1 (en) | Method and apparatus for altering the picture updating frequency of a compressed video data stream | |
JP2004507178A (ja) | ビデオ信号符号化方法 | |
EP0989755A2 (en) | A system and method for processing a video stream with a flash sequence | |
KR19990072968A (ko) | 화상신호처리시스템,디코더,화상신호처리방법,및디코딩방법 | |
JP2002158969A (ja) | 動画像符号化データ変換装置及びその方法 | |
JP2004064762A (ja) | 画像符号化方法及び装置 | |
JPH11317951A (ja) | データ符号化装置、データ符号化方法及びデータ伝送方法 | |
JP2000059790A (ja) | 動画像符号列変換装置及びその方法 | |
EP1280356A2 (en) | Apparatus and method for compressing multiplexed video signals | |
JP3948266B2 (ja) | 動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法 | |
JP3918510B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP3839911B2 (ja) | 画像処理装置および画像処理方法 | |
JP3918509B2 (ja) | 動画像編集装置、動画像編集方法、動画像復号化装置及び動画像復号化方法 | |
JP3487205B2 (ja) | 画像データ編集装置 | |
JP3900534B2 (ja) | 動画像の符号化装置および符号化方法 | |
JPH08251582A (ja) | 符号化データ編集装置 | |
JP3756897B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP2002199408A (ja) | 動画像符号化方法および動画像符号化装置 | |
JPH07131793A (ja) | 映像信号高能率符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060802 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070205 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3918510 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140223 Year of fee payment: 7 |
|
EXPY | Cancellation because of completion of term |