JP4351746B2

JP4351746B2 - 符号化装置、符号化方法、復号装置及び復号方法

Info

Publication number: JP4351746B2
Application number: JP27739297A
Authority: JP
Inventors: ヘドリーウィルキンソンジェームズ
Original assignee: Sony United Kingdom Ltd
Current assignee: Sony Europe BV United Kingdom Branch
Priority date: 1996-10-09
Filing date: 1997-10-09
Publication date: 2009-10-28
Anticipated expiration: 2017-10-09
Also published as: JPH10145798A; GB2318246A; US6160844A; GB9715917D0; GB2318246B

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル符号化信号の処理に関し、特にＭＰＥＧ２に従って符号化された信号に適用されるものである。
【０００２】
【従来の技術】
ＭＰＥＧ２は周知であって、ＩＳＯ／ＩＥＣ１３８１８−２に定義されている。ＭＰＥＧ２符号化は、例えば、英国ＩＳＢＮ（国際標準図書番号）１８７２５６７０７Ｘ、ＳｗｉｆｔＴｅｌｅｖｉｓｉｏｎＰｕｂｌｉｃａｔｉｏｎｓ発光ＮＴＬによる小冊子「ＭＰＥＧ−ＤｉｇｉｔａｌＴｅｌｅｖｉｓｉｏｎＦｏｒＡｌｌ」及び英国ＲＧ２２４ＳＢ、ハンプシャー、ベージングストーク、ビァブルズ、ジェイズクロース所在のＳｏｎｙＢｒｏａｄｃａｓｔａｎｄＰｒｏｆｅｓｓｉｏｎａｌＥｕｒｏｐｅによる「ＶｉｄｅｏＣｏｍｐｒｅｓｓｉｏｎＴｅｃｈｎｏｌｏｇｙ」において論評されている。
【０００３】
添付された図１〜３を参照して背景を述べる。図１はＭＰＥＧ２符号化信号の階層構造の各層を示し、図２はＭＰＥＧ２符号化器の簡略化した模式ブロック図であり、図３は該符号化器によって生成される画像グループ（ＧＯＰ）の模式図である。
次の説明は、ＭＰＥＧ２を詳細に説明することを意図したものではなく、本発明に対する予備知識を与えるためのものである。
【０００４】
１）階層構造
図１に示す如く、ＭＰＥＧ２は、ビデオ信号を符号化し、符号化した信号を階層構造の各層に編成する。説明を簡単にするため、完全なフレームの輝度（Ｙ）のみについて次に述べる。
アナログフレームＦをサンプル（標本化）し、デジタル化して８×８ピクセル（ｘ）のブロックＢに分割する（図１のＡ）。
輝度に対し、４個のＢブロックをまとめて１つのマクロブロックＭとし、これを複数個つくる。これを以下の如く処理する（図１のＢ）。
（色度に対しては、別のブロックが加えられる。）
【０００５】
連続するマクロブロックＭをまとめてスライスＳに編成する（図１のＣ）。図示の如く、スライスは１画像の幅（フレーム幅）と同じ長さとする。ただし、スライスがただ１つの画像（フレーム）からのマクロブロックより成る場合、スライスの長さは任意でよい。
【０００６】
１画像Ｐ（フレーム）は、１以上のスライスＳより成る（図１のＤ）。
複数の画像を一緒にまとめて画像グループ（ＧＯＰ）を作る（図１のＥ）。ＧＯＰは、あとで図３を参照して述べる如く「開放型」か又は「閉鎖型」となるであろう。
シーケンスは、１以上のＧＯＰより成る（図１のＦ）。
【０００７】
２）符号化
ＭＰＥＧ２符号化器の概略を示す図２において、時間的冗長性除去ユニット１への入力信号はサンプルされデジタル化されたビデオ信号とする。
時間的冗長性除去ユニット１では、フレーム間の動きを補償する差を表す信号を生成することにより、デジタル信号から時間的冗長性を除去する。実際では、その差は、或るフレームと１以上の他のフレーム（通常最大２）から予測したものとの差である。これらの差は、結局Ｉフレーム（イントラ（内）符号化フレーム）と呼ばれるフレームを基準とする。Ｉフレームの中には、符号化情報が保存されている。Ｐフレーム及びＢフレームと呼ばれる２種類の差フレームが生成される。これらは、インター（間）符号化フレームと呼ばれる。
【０００８】
Ｐフレームは、Ｉフレーム又は先行するＰフレームかも知れない１つ先行基準フレームから予測されたフレームである。Ｐフレームは、１以上の介在フレームによってその基準フレームから隔てられることもある。
【０００９】
Ｂフレームは、最も近い先行するＩ又はＰフレーム及び最も近い後続のＩ又はＰフレームから双方向に補間されたフレームである。Ｉ及び（又は）Ｐフレーム間のＢフレームの数は、選択可能である。
ＧＯＰは、少なくとも１つのＩフレームを含まなければならない。ＧＯＰは、そのうえ更に１以上のＢ及び（又は）Ｐフレームを含んでもよい。
【００１０】
これらのフレームは、離散コサイン変換（ＤＣＴ）ユニット２により、空間的冗長性の除去処理を受ける。Ｉフレーム即ちイントラ符号化フレームは、時間的冗長性を除去されることなくＤＣＴ処理を受ける。
【００１１】
ＤＣＴは、上記Ｂブロックに対し、離散コサイン変換用の１組の係数をピクセル値にマトリックス乗算をして行う。上記ＤＣＴユニット２は、各８×８入力ブロックに対する空間周波数係数の２次元８×８アレイを生成する。
【００１２】
マクロブロックＭは、動き補償に使用される。動きベクトルは、動きベクトル推定器７で導出されるが、これは、現フレーム内のマクロブロックが予測フレームのどの位置にあるかを示すものである。この動きベクトルは、Ｐ及びＢフレームに付随しており、予測期間における画像物体の動きによって生じる予測エラーを減らすことにより、時間的（１）及び空間的（２）冗長性除去で達成されるデータの縮減に加えて、更にデータ縮減を可能とするものである。
【００１３】
ＤＣＴの空間周波数係数アレイは、２次元量子化加重マトリックスによって量子化（３）される。ここで、一般に人間の視覚組織の特性に従ってＤＣＴ係数の量子化に加減を加える。画像情報の殆どは低い空間周波数の所にあるので、低い空間周波数は高精度で量子化する。眼は高い空間周波数のノイズに対して余り敏感でないので、かような周波数はもっと粗く量子化して、更にデータ量を減らす。
【００１４】
データ量は画像の内容と共に変わるが、ビットレートは一定であるのが望ましい。その目的のため、量子化を、一定のビットレートを維持するように変化する量子化スケーリング値Ｑ_Vによって制御する。これは、図２に示す如く、バッファ４の占有率を一定に保つようＱ_Vを変化させることによって行うことができる。
【００１５】
量子化されたデータはそれから、例えば可変長符号化器５及びハフマン符号化器６を含むエントロピ符号化器５，６によって符号化される。可変長符号は、ゼロをすべて別個の符号として送信する代わりに、ゼロの列におけるゼロの数を示すことにより、データを減らすものである。
【００１６】
例えば、１０進法データストリーム（０００００００３）は、１０進法で１対の符号（７，３）として可変長符号化されることになる。
この符号対は、ハフマン符号化において、該対の生起確率を示す符号を各符号対に割当てることにより符号化される。
バッファ４の出力は、少なくともＩフレームを通常Ｐ及び（又は）Ｂフレームと共に表すほぼ一定のビットレートのビットストリームである。
【００１７】
３）シンタクス（構文）
上記ビットストリームは、ＭＰＥＧシンタクスと呼ばれるデータを含む。これらは、ＩＳＯ／ＩＥＣ１３８１８−２に定義されており、該ビットストリーム内のデータをどのように構成し、また、該ビットストリームの復号を容易にするためどのように符号化するかを示すものである。
【００１８】
図１を参照するに、シンタクス・データは、特に次のものを含んでいる。
ＳＭはマクロブロックに付随する。
ＳＳはスライスに付随する。
ＳＰはフレーム又は画像に付随する。
ＳＧはＧＯＰに付随する。
ＳＨはシーケンスに付随する。
【００１９】
マクロブロックＭのシンタクスＳＭは、特に次のものを含む。
（１）動きベクトル値を定めるデータ、及び
（２）量子化スケーリング符号
【００２０】
フレームのシンタクス・データＳＰは、特に次のものを含む。
（１）フレームの種類、即ちＩ，Ｐ又はＢの種別を示すデータ、
（２）Ｂ及びＰフレームに対し、これらの導出に参照された基準フレームを示すデータ、及び
（３）コンシールメント（補整）ベクトルに関するデータ。
【００２１】
ＧＯＰのシンタクス・データＳＧは、特に次のものを含む。
（１）ＧＯＰが開放型か又は閉鎖型かを示すデータ。
シーケンスのシンタクス・データＳＨは、特に次のものを含む。
（１）水平方向及び垂直方向のピクセルで表す画像のサイズ、及び
（２）ビデオバッファ比較照合器のサイズ。
【００２２】
信頼できる復号器の動作及び所望の画質（の維持）と両立するように、ビデオ信号を表すデータ量をできる限り減らすことが望ましい。
ＩフレームはＰフレームより多くのデータを必要とし、ＰフレームはＢフレームより多くのデータを必要とする。よって、Ｂ及びＰフレームをできるだけ多く使用することが望ましい。
【００２３】
４）信号処理
ビデオ信号のスタジオ及び制作後処理では、色々な態様で信号が編集される。最も簡単な編集は、カッティングである。他の編集処理には、カッティング及び新しいシーケンスの挿入並びに異なるシーケンス間のクロスフェードが含まれる。
【００２４】
編集は、最も近いフレームに対し、又は状況によっては最も近いフィールドに対して精確である必要がある。前掲のＮＴＬの小冊子に見られるように、「編集は、完全な情報を含むフレーム、即ちＩフレームでのみ行うことができるであろう」。しかし、フレームはＧＯＰ内に並んでいてＧＯＰの長さは１より大きいので、或るフレームの内容は他のフレームによって決まることになり、たとえ編集をＩフレームで行っても問題が生じる。
【００２５】
【発明が解決しようとする課題】
図３のＡに示す如く、ＧＯＰが閉鎖型（自給自足的）の場合がある。それは、ＧＯＰを復号するのに必要な全情報が該ＧＯＰに含まれていて、ただ１つのＩフレームが参照されることを意味する。図３のＡには、２つの任意のＧＯＰ，ＧＯＰ１及びＧＯＰ２のシーケンスが示されており、各ＧＯＰはＩ，Ｂ及びＰフレームを含んでいる。すべてのＢ及びＰフレームは、結局のところ最初のＩフレーム２１を参照（基準と）している。最後のＢフレーム２２は、当該ＧＯＰの先行Ｐフレーム２３及び最後のＰフレーム２４を参照しているので、該ＧＯＰ内で復号することができる。
【００２６】
開放型のＧＯＰは、復号に隣接ＧＯＰからのデータを必要とする。図３のＢは任意の開放型ＧＯＰを示しており、図から明らかなように、例えば、最初のＧＯＰであるＧＯＰ１の最後のＢフレーム３１はＧＯＰ２の最初のＩフレーム３２からのデータを必要としている。編集が図３のＡの閉鎖型ＧＯＰのＧＯＰ１とＧＯＰ２の間の境界で行われる場合、何も問題は起きない。各ＧＯＰは、依然として復号可能である。しかし、編集がＩフレーム２１とＢフレームの間で行われると、該Ｂフレームはもはや精確には復号されないであろう。それは、該Ｂフレームが２つの基準フレームＩ２１及びＰ２３の一方から離れてしまうからである。これに対処する従前の提案は、単に該ＢフレームをＰフレームとして指定し直すことであり、後続の復号の精確性を損なうものであった。図３のＢの例で２つの開放型ＧＯＰの間の境界で編集が行われると、ＧＯＰが相互に依存しているので、それらの精確な復号が妨げられることになる。
【００２７】
したがって、これまで、ＭＰＥＧ２符号化されたビットストリームは、少なくともデジタル・ベースバンド（即ち、符号化されない原デジタル信号）に復号してから編集し、それから再びＭＰＥＧ２に符号化し直す、という編集方法が提案されてきた。
【００２８】
しかし、再符号化の過程で更に情報が失われる。時間的冗長性の低減及びＤＣＴの動作は、十分な精度が維持される場合に無損失であるが、量子化時に量子化スケーリング制御値Ｑ_Vと共に変化する量子化エラーが生じ、若干のデータ損失を伴う。
【００２９】
スタジオ及び制作後処理には数段階の処理が含まれ、各処理はまた復号、編集及び再符号化を含むことがある。符号化動作に固有の損失は、累積されて該ビットストリームによって表わされる画像の質を低下させる。
よって、本発明の課題は、上述の問題点を解決することである。
【００３０】
【課題を解決するための手段】
本発明は、一面において、イントラ符号化フレームと、量子化レベル及び動きベクトルが夫々付随するインター符号化フレームとを含むデジタル符号化信号を処理する方法を提供する。この方法は、上記インター符号化フレームを、該フレームの夫々の量子化レベルを不変に保持しながらイントラ符号化フレームに変換するステップを含むものである。好適な実施形態では、動きベクトルもまた夫々の変換されたフレームに関連して保持される。
【００３１】
本発明は、他面において、イントラ符号化フレームと、量子化レベル及び動きベクトルが夫々付随するインター符号化フレームとを含むデジタル符号化信号を処理する装置を提供する。この装置は、上記インター符号化フレームを、該フレームの夫々の量子化レベルを不変に保ちながらイントラ符号化フレームに変換するように構成された手段を含む。好適な実施形態では、動きベクトルもまた夫々の変換されたフレームに関連して保持される。
【００３２】
信号はＭＰＥＧ２に従って符号化し、イントラ符号化フレームはＭＰＥＧ２のＩフレームであり、インター符号化フレームはＭＰＥＧ２のＰ及び（又は）Ｂフレームであるのがよい。以下、都合上ＭＰＥＧ２符号化信号について説明する。
【００３３】
多（数）世代テスト（後述参照）から、符号化が精確に実施され、量子化レベルが多世代の各段階で同一であれば、繰返しベースバンドに復号しＩフレームとして再符号化する際、Ｉフレームの再構成エラーは無視できることが分かった。
【００３４】
したがって、イントラ符号化及びインター符号化フレームをもつデジタル符号化信号をすべてイントラ符号化フレームに変換することにより、その結果生じるＩフレームを繰返しベースバンドに復号し、処理し、Ｉフレームとして再符号化しても、更に劣化することは殆どなくなる。
【００３５】
最初Ｐ又はＢフレームであったＩフレームは、一旦処理が終われば、再符号化して最初の符号化形態であるＰ又はＢフレームに戻してもよい。
量子化過程で生じる損失を減らすために、最初のＩ，Ｐ及び（又は）Ｂフレームに対してＭＰＥＧシンタクスで表された最初の量子化レベルＱ_Vを、それらのフレームに関連して維持する。
【００３６】
また、ＭＰＥＧシンタクスで表された、最初のＢフレームに付随する動きベクトルも、対応するＩフレームに関連して保持するのがよい。こうすると、Ｉフレームを再符号化してＢ又はＰフレームに戻す際に、さもなければ動きベクトルの再計算により生じるであろうエラーを減らすことができる。
【００３７】
ＭＰＥＧ２シンタクスにより、動きベクトルをコンシールメント・ベクトルとしてＩフレーム内に含めることが可能となる。
すべてＩフレームに変換することにより、全フレームを精確に編集することが可能となる。
【００３８】
【発明の実施の形態】
本発明の理解を助けるため、以下、添付図面を参照して説明する。
図４は、種々の画像に対する、複数回の復号及び再符号化を受けるＩ及びＢフレームに関する再構成エラーと世代数との関係を示す曲線図である。
【００３９】
本発明は、Ｉフレームを繰返しベースバンドに復号し、再符号化してＩフレームに戻し、また、Ｂフレームを繰返しベースバンドに復号し、Ｉフレームに再符号化し、それからベースバンドに戻し、それからＢフレームに戻す、という多世代テストに基くものである。このテストは種々の画像を表す信号について実施され、図４のＡ，Ｂ，Ｃは、線形量子化を用いる業界で周知の３つの標準テスト画像に対する実験結果を示す。Ｂフレームの各世代には、同じ動きベクトルを使用した。図４のＡの場合、使用した画像シーケンスは「モビールとカレンダー」であった。これは、細部の多い壁紙の緩慢なパン（ｐａｎ）及びカレンダーで、符号化するには「難しい」シーケンスとして知られているものである。この画像は、高レベルの輝度と色度を含み、ノイズのレベルは低い。
【００４０】
図４のＢの場合、使用した画像シーケンスは「スージー（Ｓｕｓｉｅ）」であった。これは、静止した背景で頭部を写したもので、頭や毛髪の動きがある。
【００４１】
図４のＣの場合、使用した画像シーケンスは「アイス・ダンス」であった。これは、商店街アーケードで演じるスケーターを含むものである。そのシーケンスは、ＭＰＥＧ２符号化信号の第７世代であって、ノイズや画像歪みの形の圧縮人工雑音を有する。図４のＡ，Ｂ，Ｃにおいて、Ｙ₀及びＣ₀はＩフレームの輝度（Ｙ₀）及び色度（Ｃ₀）の再構成エラーを表し、Ｙ₁及びＣ₁はＢフレームの再構成エラーを表す。
【００４２】
結果はすべて、Ｉフレームは多世代にわたって再構成エラーがないに等しいことを示している。
図４のＡ及びＢは、Ｂフレームの再構成エラーが、２世代で１世代に比べて増加するが３世代では２世代に比べて減少し、以後次第に増加しながらジグザグ状に続いてゆくことを示している。
【００４３】
図４のＡは、Ｂフレームのエラーの増加傾向が小さいことを示す。図４のＢでは、増加傾向が大きい。
ノイズが多いシーケンスから導出された図４のＣでは、再構成エラーの増加傾向が急である。
【００４４】
常にＩとして符号化されたフレーム（Ｙ₀，Ｃ₀）に対する結果は、テストの９世代にわたって損失を無視できることを示している。ＢとＩの間で交互に符号化されたフレーム（Ｙ₁，Ｃ₁）に対する結果は、第１世代（Ｂ）の損失が、第２世代（Ｉ）に段階の変化によって悪くなるが、第３世代に良くなり、これがジグザグ状に続き、時には全体として悪くなる傾向がある、という興味ある結果を示す。その結果が２つの本質的に異なる信号（Ｉフレーム及びＢフレーム）の量子化を縦続接続したことによるものであるから、第２世代後の余分な損失は予期されたかも知れない。しかし、第３及びこれに続く奇数世代後の回復は予期されなかった。そこで、この観察結果に対する基本原理を図５の助けを借りて示唆してみよう。
【００４５】
図５は、図４のＡ，Ｂ，Ｃに示す結果を説明するのに役立つ図である。図５において、アポストロフィ（′）のないＩ及びＢは、ベースバンド・フレームを表す。Ｉ′及びＢ′は、変換されたフレームを表す。符号化の第１段階（世代１）において、Ｂフレームの各ピクセルは量子化処理Ｑ₁を受けるが、これにより±ε／２までの量子化エラーが入って来る。図では、最初の２世代についてε₁及びε₂で示す。動き予測値が世代間で不変であり、ＤＣＴ（Ｔ₁）及び逆ＤＣＴ（Ｔ₁ ¹）が十分に精確で殆ど完全な再構成が確実であるとすれば、第２世代量子化器へのエラー入力は、第１世代で引起こされたもの（ε₁）と同じである。第２の量子化器Ｑ₂は、新しいエラー（ε₂）を引起こす。それは、入力信号が、ＢフレームでなくＩフレームの変換成分であって、本質的に極めて異なるからである。第２世代の量子化器Ｑ₂の出力は、変換されたソース（Ｉ′）に別々のエラー成分ε₁及びε₂を加えたものとして示してある。エラーを別々の成分で示す理由は、第３世代で明らかになる。第３世代では、動きベクトル予測信号（ＭＶＣ）は第１世代におけるＭＶＣと殆ど同一である。というのは、前後のＩフレームの世代損失が殆どなく、動きベクトル情報は第１から第３世代に直接送られるからである。したがって、変換及び動きベクトル補償過程において十分な精確度が与えられるとすれば、第３世代量子化器への入力は、第１世代の変換されたフレームに第１及び第２世代で引起こされたエラーを加えたものとなるであろう。
【００４６】
ところで、成分（Ｂ′＋ε₁）は、量子化器の出力に状態変化を強制するため少なくとも±ε／２の付加信号を必要とする丸められた数である。量子化器レベルは、世代間にわたって一定に保たれるので、第３世代量子化器により引起こされるエラーは、上記成分（Ｂ′＋ε₁）を変えさせることができず、エラー成分ε₂が消されてしまう。よって、第３世代の出力は、第１世代の出力と同じである。この効果は、画像のタイプによって、また線形でなく非線形量子化において一層顕著である。この過程は、非線形量子化で更によく保持されるようであるが、それは、エラーの大きさが低レベル信号に対して増加し、それにより第３世代量子化器エラーに丸め閾（いき）を突破させるチャンスを減じるからである。この方法は、動き補償予測値を作るのに用いるＩフレームで引起こされる小さなエラーに対して感度がよい。
【００４７】
図６は、ＤＶＴＲに使用するためソニー株式会社の提案に従って作成されたフォーマットを有し「ベータカムＳＸ」として知られる、ＭＰＥＧ２符号化信号を示す。ベータカムＳＸ信号は、２フレームのＧＯＰを有し、各ＧＯＰは夫々１つのＩフレームとＢフレームを含んでいる。
【００４８】
図７は、本発明による信号処理装置を示す。同図は、動きベクトル値ＭＶ、量子化スケーリング値Ｑ_V及びフレーム種類Ｉ，Ｂ，Ｐの識別に関するデータをデジタル・ビットストリームから抽出するシンタクス検出器７０に上記ＳＸ信号が加えられるコーデックを示している。
【００４９】
かような検出器は、当業者に知られており、シンタクスは制御及びタイミング回路７５に加えられ、該回路はコーデックの量子化を制御する。
ＳＸ信号は、エントロピ復号器７１でエントロピ復号されてから「逆量子化器」７２に供給され、これにまた各フレームに対する量子化レベルＱ_Vが供給される。
【００５０】
逆量子化された信号はそれから、逆ＤＣＴユニット７３で逆離散コサイン変換を受け、次いでＢフレーム復号器７４に送られる。
Ｂフレーム復号器７４は、制御回路７５からフレーム識別信号と、復号しようとするフレームに適切な動きベクトルＭＶとを受ける。
【００５１】
Ｉフレームは、逆ＤＣＴユニット７３から出力されるに従い、１つのＩフレーム及び１つのＢフレームに対応する遅延時間を有する遅延線７４１を経て出力される。Ｉフレームは、既に完全に復号されているので、変わらない。Ｉフレームは、当業者に公知の如く、予測フレーム発生器７４２内のメモリに記憶される。Ｉフレーム及び動きベクトルは、それらの間のＢフレームを予測したものを再発生するために使用される。予測フレームはそれから、加算器７４３でＢフレームに加算され、Ｂフレームを復号する。
【００５２】
加算器７４３の出力は、ビデオ情報のフレームを表す、復号されたベースバンドのデジタル・ビットストリームである。
このベースバンド・ビットストリームはそれから、例えば図１に示したようなＭＰＥＧ２符号化器７６でＩフレームに符号化される。該符号化器７６は、図７に示す如く、ＤＣＴユニット７６１、量子化器７６２及びエントロピ符号化器７６３を含んでもよい。時間的冗長性低減は、Ｉフレームに対しては必要ない。その符号化は、すべてのフレームがＩフレームに符号化されるように制御される。各Ｉフレームの量子化は、制御回路７５により、対応する元のフレームと同じ量子化レベルをもち、対応する元のフレームと同じ動きベクトルをもつように制御される。制御回路７５は、符号化器７６とそのシンタクス挿入器７６４とを、元の量子化レベルＱ_Vが各フレームで維持され、Ｂフレームから導出されたＩフレームの動きベクトルがコンシールメンド・ベクトルとしてＩフレームに付随するように制御する。
【００５３】
最初Ｉフレームであったフレームをベースバンドに復号し、再びＩフレームに符号化することに留意されたい。これは理論的には不必要であるが、上述した如く、Ｉフレームの最初の画像内容が変わらない限り、Ｉフレームをベースバンドに復号し再符号化することを何度繰返しても損失を無視できることが分かっている。また、ビットストリームを、Ｉ及びＢフレームに分けないで図７の復号器／符号化器に通すこともできるが、Ｂフレームの復号にはどうしてもＩフレームが必要である。したがって、Ｉフレームをベースンバンドに復号し再びＩフレームに符号化することは、Ｂフレームをも復号するのに必要な余分の処理を含まず、好都合で損失が殆どない方法である。
【００５４】
図８は、本発明を用いる編集装置を示す。
Ｉ及びＢフレームより成るＭＰＥＧ２符号化信号の信号源は、この例では、ベータカムＳＸレコーダの如きデジタル・ビデオテープレコーダ（ＤＶＴＲ）８０である。ＤＶＴＲ８０は、一定のフォーマットを有する所定のテープにデジタル信号を記録する。かようなフォーマットの決まった媒体は、Ｉ及びＢフレームに対する最大ビットレートが既知で一定の場合、ＳＸ符号化信号に適している。このＤＶＴＲのＩ／Ｂ出力は、例えば図７に示した如きコーデック８１で完全に復号されてＩ符号化される。
【００５５】
コーデック８１のＩ符号化出力は、磁気ディスク（ハードディスクと呼ぶことが多い。）の如き柔軟性のあるフォーマットをもつディスクメモリ８２に記録される。柔軟性のあるフォーマットが必要な理由は、最初設定された量子化レベルでＢとして符号化されたフレームのデータ内容が、同じ量子化レベルでＩとして再符号化されると、データで表そうとする画像に応じて変化するからである。
【００５６】
編集は、ベースバンドで行われる。そのため、Ｉ復号器８３を設けてメモリに記憶されたＩフレームをベースバンドに復号する。業界で公知の編集器８４は、メモリ８２を制御し、これから編集しようとするビデオシーケンスを読取る。編集が終わると、ベースバンド・ビデオシーケンスを、Ｉ符号化器７６によりＩフレームに再符号化して再びディスク８２に記憶させる。これは、上述したとおり、Ｉフレームの符号化及び再符号化の過程が、簡単な編集の場合、殆ど無損失であるため行うことができる。
【００５７】
編集されたＩフレームのシーケンスは、最初のＩ／Ｂ形式でＤＶＴＲ８０に記憶させてもよい。そのためには、Ｉフレームをディスク８２から読出し、Ｉ復号器８３でベースバンドに復号し、符号化器８５でＩ／Ｂフレームに再符号化することになる。
【００５８】
上述の説明は、編集がただカット及び（又は）シーケンス挿入を含むものと仮定して行ったが、それらは、編集後シーケンスを変えるものの個々のフレームの内容を変えるものではない。
【００５９】
図９は、クロスフェードを示すものである。信号Ａの一部は編集後信号Ｃの最初の部分となり、信号Ｂの一部は編集後信号の３番目の部分となるが、これら第１及び第３部分の間の信号Ｃの２番目の部分はクロスフェード、即ち信号ＡとＢが混じった部分である。このクロスフェード部分は実効的に新しい信号であり、個々のフレームの内容は、Ａ及びＢ両信号の、それらから導出された対応するフレームとは異なっている。混合の結果生じたものは、Ｉフレームの新しいシーケンスとしてハードディスク８２に記憶させ、テープに記録する際に新しいＳＸビットストリームの中に記録する。
【００６０】
以上、本発明の実施形態を、Ｉフレーム及びＢフレームより成る２フレームのＧＯＰに関連して説明したが、本発明は、Ｉ及びＰフレーム又はＩ，Ｂ及びＰフレームを含むもっと大きい長さのＧＯＰにも適用できるものである。
【００６１】
【発明の効果】
以上説明したとおり、本発明によれば、制作後処理（復号、編集及び再符号化を含む。）によって生じるデータ損失が極めて少なく、したがって画質の低下も極めて小さいデジタル符号化信号処理方式を提供することができる。
【図面の簡単な説明】
【図１】ＭＰＥＧ２符号化信号の階層構造の各層を示す図である。
【図２】ＭＰＥＧ符号化器の簡略ブロック図である。
【図３】図２の符号化器により生成される画像グループ（ＧＯＰ）の模式図である。
【図４】種々の画像に対する、複数回の復号及び再符号化を受けるＩ及びＢフレームに関する再構成エラーと世代数との関係を示す曲線図である。
【図５】図４の結果の説明に役立つ模式図である。
【図６】ＭＰＥＧ２符号化信号を示す簡略図である。
【図７】本発明による信号処理装置を示す模式ブロック図である。
【図８】図７の信号処理装置を用いる編集システムの模式ブロック図である。
【図９】編集例（クロスフェード）を示す説明図である。
【符号の説明】
７０〜７６変換手段、７０〜７４復号器、７５制御手段、７６イントラ符号化器、８２記憶手段（ディスク記録再生器）、８４編集手段、８５ベースバンド・フレーム符号化器

Claims

画像データを符号化処理する符号化装置において、
画像データをフレーム間符号化処理して符号化ストリームを生成する際に算出された量子化スケールとともに、前記符号化ストリームを復号処理した後に前記量子化スケールを保持してフレーム内符号化処理して生成された再符号化ストリームを取得する取得手段と、
前記取得手段により取得された前記再符号化ストリームを復号処理して生成された画像データをフレーム間符号化処理する符号化手段と、
前記取得手段により取得された前記量子化スケールを保持してフレーム間符号化処理するように、上記符号化手段を制御する制御手段と、
を有する符号化装置。
画像データを符号化処理する符号化装置において、
画像データをフレーム間符号化処理して符号化ストリームを生成する際に算出された量子化スケールおよび動きベクトルとともに、前記符号化ストリームを復号処理した後に前記量子化スケールを保持してフレーム内符号化処理して生成された再符号化ストリームを取得する取得手段と、
前記取得手段により取得された前記再符号化ストリームを復号処理して生成された画像データをフレーム間符号化処理する符号化手段と、
前記取得手段により取得された前記量子化スケールおよび前記動きベクトルを保持してフレーム間符号化処理するように、上記符号化手段を制御する制御手段と、
を有する符号化装置。
画像データを符号化処理する符号化方法において、
画像データをフレーム間符号化処理して符号化ストリームを生成する際に算出された量子化スケールとともに、前記符号化ストリームを復号処理した後に前記量子化スケールを保持してフレーム内符号化処理して生成された再符号化ストリームを取得するステップと、
取得された前記再符号化ストリームを復号処理して生成された画像データをフレーム間符号化処理するステップと、
取得された前記量子化スケールを保持してフレーム間符号化するように、フレーム間符号化処理を制御するステップと、
を有する符号化方法。
画像データを符号化処理する符号化方法において、
画像データをフレーム間符号化処理して符号化ストリームを生成する際に算出された量子化スケールおよび動きベクトルとともに、前記符号化ストリームを復号処理した後に前記量子化スケールを保持してフレーム内符号化処理して生成された再符号化ストリームを取得するステップと、
取得された前記再符号化ストリームを復号処理して生成された画像データをフレーム間符号化処理するステップと、
取得された前記量子化スケールおよび前記動きベクトルを保持してフレーム間符号化するように、フレーム間符号化処理を制御するステップと、
を有する符号化方法。
符号化ストリームを復号処理する復号装置において、
画像データをフレーム間符号化処理して符号化ストリームを生成する際に算出された量子化スケールとともに、前記符号化ストリームを復号処理した後に前記量子化スケールを保持してフレーム内符号化処理して生成された再符号化ストリームを取得する取得手段と、
前記取得手段により取得された再符号化ストリームを復号処理して画像データを生成する復号手段と、
前記復号手段により生成された画像データに対してフレーム間符号化処理が行われる際に、前記量子化スケールを保持してフレーム間符号化処理が行われるように、上記量子化スケールを伝送する伝送手段と、
を備える復号装置。
符号化ストリームを復号処理する復号装置において、
画像データをフレーム間符号化処理して符号化ストリームを生成する際に算出された量子化スケールおよび動きベクトルとともに、前記符号化ストリームを復号処理した後に前記量子化スケールを保持してフレーム内符号化処理して生成された再符号化ストリームを取得する取得手段と、
前記取得手段により取得された再符号化ストリームを復号処理して画像データを生成する復号手段と、
前記復号手段により生成された画像データに対してフレーム間符号化処理が行われる際に、前記量子化スケールおよび前記動きベクトルを保持してフレーム間符号化処理が行われるように、上記動きベクトルを伝送する伝送手段と、
を備える復号装置。
符号化ストリームを復号処理する復号方法において、
画像データをフレーム間符号化処理して符号化ストリームを生成する際に算出された量子化スケールとともに、前記符号化ストリームを復号処理した後に前記量子化スケールを保持してフレーム内符号化処理して生成された再符号化ストリームを取得するステップと、
取得された再符号化ストリームを復号処理して画像データを生成するステップと、
生成された画像データに対してフレーム間符号化処理が行われる際に、前記量子化スケールを保持してフレーム間符号化処理が行われるように、上記量子化スケールを伝送するステップと、
を備える復号方法。
符号化ストリームを復号処理する復号方法において、
画像データをフレーム間符号化処理して符号化ストリームを生成する際に算出された量子化スケールおよび動きベクトルとともに、前記符号化ストリームを復号処理した後に前記量子化スケールを保持してフレーム内符号化処理して生成された再符号化ストリームを取得するステップと、
取得された再符号化ストリームを復号処理して画像データを生成するステップと、
生成された画像データに対してフレーム間符号化処理が行われる際に、前記量子化スケールおよび前記動きベクトルを保持してフレーム間符号化処理が行われるように、上記動きベクトルを伝送するステップと、
を備える復号方法。