JP3922581B2 - 可変転送レート符号化方法および装置 - Google Patents

Description

本発明は、動画像信号（ビデオ信号）を符号化するビデオ信号符号化方法及びそれに対応するビデオ信号符号化装置、特に直交変換と量子化を使用した符号化を行うビデオ信号符号化方法および装置に適用可能なものであって、特に符号化した符号化データを固定転送レートで一時記録した後に可変レート符号化データへ変換（再符号化）することを特徴とする可変転送レート符号化方法および装置に関する。

従来の可変転送レート符号化技術の一例として特開平７−２８４０９７号公報に記載の技術によると、ビデオ信号を第１のパスと第２のパスに分けてそれぞれ符号化し、第１のパスでは第２のパスの符号化に必要な情報を生成して出力するようにしている。なお、このときの符号化方式にはいわゆるＭＰＥＧなどの方式が使われる。

ＭＰＥＧについては、ＩＳＯ−ＩＥＣ１１１７２−２、ＩＴＵ−Ｔ Ｈ．２６２／ＩＳＯ−ＩＥＣ１３８１８−２に詳細な説明がなされているので、ここでは概略のみ説明する。

ＭＰＥＧは１９８８年、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２（国際標準化機構／国際電気標準化会合同技術委員会１／専門部会２，現在のＳＣ２９）に設立された動画像符号化標準を検討する組織の名称（Moving Pictures Expert Group）の略称である。ＭＰＥＧ１（ＭＰＥＧフェーズ１）は１．５Ｍｂｐｓ程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたＪＰＥＧ（Joint Photographic Coding Experts Group）と、ＩＳＤＮ（Integrated Services Digital Network：統合サービスディジタル通信網）のテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたＨ．２６１（ＣＣＩＴＴ ＳＧＸＶ、現在のＩＴＵ−Ｔ ＳＧ１５で標準化）の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは１９９３年８月、ＩＳＯ／ＩＥＣ １１１７２として成立している。

ＭＰＥＧ１は、幾つかの技術を組み合わせて作成されている。

入力画像信号からは、動き補償器で復号化した画像信号と当該入力画像信号との差分を取ることで時間冗長部分が削減される。

予測の方法は、基本的なモードとして、過去の画像からの予測を行うモードと、未来の画像からの予測を行うモードと、過去と未来の両方の画像からの予測を行うモードとの３モードが存在する。またこれらのモードは、１６画素×１６画素のマクロブロック（ＭＢ：Macro Block）毎に切り替えて使用できる。予測方法は、入力画像に与えられたピクチャタイプ（Picture＿Type）によって決定される。過去の画像から予測を行って符号化するモードと予測をしないでそのマクロブロックを独立に符号化するモードとの２つのモードが存在するのが、片方向ピクチャ間予測符号化画像（Ｐピクチャ：P-picture）である。また、未来の画像からの予測を行うモードと、過去の画像からの予測を行うモードと、過去と未来の両方の画像からの予測を行うモードと、予測をしないで独立に符号化するモードの４つのモードが存在するのが、双方向ピクチャ間予測符号化画像（Ｂピクチャ：B-Picture）である。そして、全てのマクロブロックを独立に符号化するのが、ピクチャ内独立符号化画像（Ｉピクチャ：I-picture）である。なお、ピクチャ内独立符号化画像はイントラピクチャと呼ばれ、このため、片方向ピクチャ間予測符号化画像と双方向ピクチャ間予測符号化画像は非イントラピクチャということができる。

動き補償では、動き領域をマクロブロック毎にパターンマッチングを行ってハーフペル精度で動きペクトルを検出し、その検出した動きベクトルの動き分だけシフトしてから予測する。動きペクトルは、水平方向と垂直方向の動きベクトルが存在し、何処からの予測かを示すＭＣ（Motion Compensation）モードとともにマクロブロックの付加情報として伝送される。

図８には、ＭＰＥＧ１が適用されるビデオ信号符号化装置の基本的な構成を示している。

この図８において、入力端子１０１には入力画像信号が供給され、この入力画像信号は演算器１０２と後述する動き補償予測器１１１に送られる。

演算器１０２では、動き補償予測器１１１にて復号化した画像信号と入力画像信号との差分が求められ、その差分画像信号がＤＣＴ器１０３に送られる。

ＤＣＴ器１０３では、供給された差分画像信号を直交変換する。ここでＤＣＴ（Discrete Cosine Transform）とは、余弦関数を積分核とした積分変換を有限空間への離散変換とする直交変換である。ＭＰＥＧではマクロブロックを４分割した８×８のＤＣＴブロックに対して、２次元ＤＣＴを行う。なお、一般に、ビデオ信号は低域成分が多く、高域成分が少ないため、ＤＣＴを行うと係数が低域に集中する。

ＤＣＴ器１０３でのＤＣＴによって得られたデータ（ＤＣＴ係数）は、量子化器１０４で量子化が行われる。この量子化器１０４における量子化では、量子化マトリックスという８×８の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値とを量子化値として、ＤＣＴ係数をその量子化値で除算する。

なお、当該ビデオ信号符号化装置にて符号化された後の符号化データを、後に図示しないビデオ信号復号装置（デコーダ）で復号して逆量子化するときは、そのビデオ信号符号化装置にて使用した量子化値で乗算を行うことにより、元のＤＣＴ係数に近似している値を得ることができる。

量子化器１０４にて量子化されたデータは、ＶＬＣ器１０５で可変長符号化される。このＶＬＣ器１０５では、量子化された値のうち、直流（ＤＣ）成分に対しては、予測符号化のひとつであるＤＰＣＭ（Differencial Pulse Code Modulation）を使用して符号化する。また、交流（ＡＣ）成分に対しては、低域から高域に向けていわゆるジグザグスキャン（zigzag scan）を行い、ゼロのラン長および有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていく、いわゆるハフマン符号化を行う。

ＶＬＣ器１０５にて可変長符号化されたデータは、一時、バッファメモリ１０６に蓄えられた後、このバッファメモリ１０６から所定の転送レートで読み出され、符号化データ（符号化ビットストリーム）として出力端子１０７から出力される。

また、その出力される符号化データにおけるマクロブロック毎の発生符号量は、後述するバッファ管理器１１４を介して符号量制御器１１３に送信される。この符号量制御器１１３は、マクロブロック毎の発生符号量と目標符号量との差分を求め、当該差分に応じた符号量制御信号を生成して量子化器１０４にフィードバックすることにより、発生符号量制御を行う。当該符号量制御のために量子化器１０４にフィードバックされる符号量制御信号は、量子化器１０４における量子化スケールを制御するための信号である。具体的な符号量制御の方法については後述の通りである。

一方、量子化された画像データは、逆量子化器１０８に送られ、ここで逆量子化される。

さらに、この逆量子化により得られたＤＣＴ係数データは、逆ＤＣＴ器１０９に送られて逆ＤＣＴされた後、演算器１１２にて動き補償予測器１１１からの予測差分画像が加算されて画像信号が復元される。

この復元された画像信号は、一時、画像メモリ１１０に蓄えられた後、動き補償予測器１１１に送られる。画像メモリ１１０から動き補償予測器１１１に送られた画像信号は、演算器１０２にて差分画像を計算するためのリファレンスの復号化画像を生成するために使用される。

また、出力端子１０７から出力される符号化データである符号化ビットストリームは、ビデオ信号の場合、１ピクチャ毎に可変長の符号量をもっている。これは、ＭＰＥＧがＤＣＴ、量子化、ハフマン符号化という情報変換を用いている理由と同時に、画質向上のためにピクチャごとに配分する符号量を適応的に変更しているあるためである。すなわち、ＭＰＥＧでは、動き補償予測を行っているので、あるときは入力画像信号そのままを符号化し、あるときは予測画像と入力画像信号との差分である差分画像信号を符号化するなど、符号化画像自体のエントロピィが大きく変化するためである。この場合、多くはその画像エントロピィ比率に配分しつつ、バッファメモリの容量制限を守りながら、符号量制御がなされる。

したがってバッファ管理器１１４は、符号化により発生した符号量と、使用可能な符号化レートとの関係を監視し、バッファメモリ１０６において所定のバッファ容量内に収まるように目標符号量を設定する。

この目標符号量に対する実際の発生符号量の差に対応する情報は可変長符号化器１０５にフィードバックされ、符号量制御器１１３に入る。符号量制御器１１３では、量子化器１０６にセットする量子化スケールの値を大きくして発生符号量を抑えたり、逆に量子化スケールの値を小さくして発生符号量を小さくしたりするための符号量制御信号を生成する。

上述のように、可変長データを固定の転送レートのデータ（固定転送レート符号化データ）として転送する場合、そのデータの受信側となるビデオ信号復号装置側の最大バッファ量が、その送信側のビデオ信号符号化装置における発生符号量の上限値となる。すなわち、一定速度で符号化データが入力されて、所定の値だけ蓄積されたところから、所定の時刻（テレビジョン標準放送方式の一つであるＮＴＳＣ方式のビデオ信号なら１／２９．９７ｓｅｃ単位）で復号化を一瞬で行う仮想的な復号器のモデルを使用し、そのモデルの仮想バッファメモリ（いわゆるＶＢＶバッファ）にオーバーフローもアンダーフローも発生しないように、符号化装置側で符号化することがＭＰＥＧで規定されている。この規定を守っていればＶＢＶバッファ内でのレートは局部的に変化しているものの、観測時間を長く取れば固定の転送レートとなり、ＭＰＥＧではこのことを固定レートであると定義している。

ここで、上述したように定義された固定転送レートの場合において、符号化装置側で発生符号量が少ないときには、復号装置側ではバッファ占有量が上限値に張り付いた状態になる。この場合、例えば無効ビットを追加してバッファ（ＶＢＶバッファ）がオーバーフローしないように、符号化装置側において符号量を増やさなければならない。

一方、可変転送レートの場合には、この固定転送レートの定義を拡張して、バッファ占有率が上限値になったときに、復号装置における読み出しを中止することにより、原理的にオーバーフローが起きないように定義されている。したがって、可変転送レートの場合において、仮に非常に発生符号量が少なくても、復号装置の読み出しが中止されるので、固定転送レートの時のように無効ビットを入れる必要はない。このため、可変転送レートの場合にはアンダーフローだけが発生しないように符号化する。

このような技術を背景にし、従来の可変転送レート符号化においてビデオ信号を第１のパスと第２のパスに分けて符号化し、第１のパスでは第２のパスの符号化に必要な情報を出力するような技術の説明を行う。

図９には、従来例の第１のパスの符号化を行うための構成を示す。なお、この図９において、図８に示した基本構成の各構成要素と同様に動作する部分にはそれぞれ同じ指示符号を付加してそれらの説明は省略する。

この図９に示す第１のパスの構成では、入力端子１０１にビデオ信号が再生入力される。その際、符号化情報には、全ビデオシーケンスに対して短区間ごとに発生する発生符号量情報などが付加される。

この発生符号量は、ＶＬＣ器１０５でのＶＬＣ後に、符号量カウンタ１２１にて計算され、記憶回路１２２に送られて記憶される。

記憶回路１２２は、例えばハードディスクや光ディスクなど、高速のストレージメディアなど何でもよい。

なお、当該第１のパスは、正確な圧縮が行われたか否かをモニタする程度に用いられるので、この図９には図示しているが、バッファメモリ１０６とその後の符号化データの出力は、符号量をカウントできれば必ずしも必要ない。

ところで、ＭＰＥＧに代表されるような符号化方式では、可変長符号化を行っているので量子化幅を固定にして第１のパスの符号化を行うと、符号化画像の複雑さや、動き補償の差分（残差成分）量に応じて発生符号量が多くなる。

したがって、この性質を利用して、発生符号量の配分を行うようにすれば、画質をほぼ均一にすることが可能となる。なお、後述する第２のパスの符号化では、その符号量配分比率を保つと同時に、発生符号量を全体の目標符号量に制御しなければならない。

発生符号量は、第１のパスの符号化で発生した短区間単位で検出し、その情報を記憶回路１２２に記憶する。短区間の例としては、ピクチャ内独立符号化ごとに区切ることができ、約１５ピクチャ程度の１ＧＯＰ（グループオブピクチャ）が考えられる。この場合、各ＧＯＰ単位にどの位の発生符号量であったかが記憶回路１２２に記憶される。

第１のパスの符号化では、一般的に量子化幅を小さめで且つ固定にして、第２パスで出力される最終的な符号量より多くの符号量を発生させるのが普通である。このように、第１のパスの符号化において量子化幅を小さくするのは、画像の高周波成分まで細かく情報を分解し、その画像の特性を検出する必要があるからである。

ここで、第１のパスにおいてｉ番目の短区間内に発生した符号量をＰＳ１Ｂ（ｉ）とする。この各短区間内で発生した符号量ＰＳ１Ｂ（ｉ）の比率を、第２のパスでもほぼ同じなるようにし、最終目標総符号量を第２のパスにおける各短区間内の目標符号量とする。

例えば、短区間を１ＧＯＰとすると、以下の様な方法で画質をある程度保ちながら符号を制御することができる。

次に、図１０には、従来例の第２のパスの符号化を行うための構成を示す。なお、この図１０において、図８に示した基本構成の各構成要素と同様に動作する部分にはそれぞれ同じ指示符号を付加してそれらの説明は省略する。

この図１０に示す第２のパスの構成において、発生符号量を増加させるには、量子化スケールを小さくし、一方、発生符号量を減少させるには量子化スケールを大きくする。

この原理を用いて、例えばバッファメモリ１０６の占有率をもとに、量子化幅を制御する方法が考えられる。ここで注意すべき点は、片方向ピクチャ間予測符号化される画像（Ｐピクチャ）は一つ前のピクチ内独立符号化画像（Ｉピクチャ）もしくはＰピクチャから予測され、また、双方向ピクチャ間予測符号化画像（Ｂピクチャ）は、時間的に両側のＩピクチャやＰピクチャから予測されている関係上、例えばＩピクチャが劣化すると、連動して他のピクチャも劣化する。

以下の方式例では、これらのピクチャに対する符号量配分を考慮しながら全体の符号量制御を実現している。

先ず、目標符号量決定回路１２４では、記憶回路１２２からの第１のパスで得られた発生符号量ＰＳ１Ｂ（ｉ）を使用して、以下の式のように各ＧＯＰの目標符号量ＰＳ２Ｂ（ｉ）を求める。

ＰＳ２Ｂ（ｉ）＝最終目標総符号量×ＰＳ１Ｂ（ｉ）／ΣＰＳ１Ｂ（ｉ）
ここで、一つのＧＯＰに与える目標符号量ＰＳ２Ｂ（ｉ）をＲとすると、具体的な符号量制御は、以下の第１、第２のステップのようなアルゴリズムにより、符号量制御器１１３が行う。
（Ａ）第１のステップ
第１のステップでは、以下の式のように、ＧＯＰの各ピクチャに対する割り当て符号量を、ＧＯＰ内で未だ符号化していないピクチャに対してある重みを付けて配分する。

Ｘｉ＝Ｓｉ×Ｑｉ
Ｘｐ＝Ｓｐ×Ｑｐ
Ｘｂ＝Ｓｂ×Ｑｂ
ここで、Ｘはグローバルコンプレクシティメジャー（global complexity measure）と呼ばれ、一つ前の同ピクチャタイプの符号化結果の発生符号量Ｓと平均量子化スケールＱとの積で定義するものであり、ｉはＩピクチャを、ｐはＰピクチャを、ｂはＢピクチャを表している。また、理想的な画質を達成する量子化スケールは、Ｉピクチャを基準とした場合のＰピクチャとの比率がＫｐ＝１．０で、同じくＩピクチャを基準とした場合のＢピクチャとの比率がＫｂ＝１．４であると仮定する。

このとき、当該第１のステップで割り当てられる各ピクチャの符号量Ｔｉ，Ｔｐ，Ｔｂは、以下の各式にて求められる。

Ti=MAX[R/(1+(NpXp/XiKp)+NbXb/XiKb)),br/(8*pr)]
Tp=MAX[R/(Np+(NpKpXb/KbXp)),br/(8*pr)]
Tb=MAX[R/(Nb+(NpKbXp/KbXp)),br/(8*pr)]
なお、各式において、ＴｉはＩピクチャの符号量を表し、ＴｐはＰピクチャの符号量を、ＴｂはＢピクチャの符号量を、ＭＡＸは最大を、ＲはそのＧＯＰに与えられた初期値の符号量を、ＮｐはＧＯＰ内のＰピクチャの未符号化ピクチャ枚数、ＮｂはＧＯＰ内のＢピクチャの未符号化ピクチャ枚数、ｐｒはピクチャレート、ｂｒはビットレートを表している。

ここで、初期値の符号量Ｒは、ＧＯＰ内で符号化が進むごとに次のように更新する。

Ｒ＝Ｒ−Ｓｉ，ｐ，ｂ
（Ｂ）第２のステップ
第２のステップでは第１のステップで割り当てられた各ピクチャの符号量（Ｔｉ，Ｔｐ，Ｔｂ）と実際の発生符号量を一致させるため、以下の各式に示すように、マクロブロック毎に発生符号量を加算しつつ、目標符号量から途中での予測目標符号量との差を、量子化スケールにマクロブロック単位でフィードバックする。

dji = dOi+Bj-1−(Ti(j-1)／MB＿cnt)
djp = dOp+Bj-1−(Tp(j-1)／MB＿cnt)
djb = dOp+Bj-1−(Tb(j-1)／MB＿cnt)
なお、各式中において、ｄＯｉはＩピクチャにおける仮想バッファ（ＶＢＶバッファ）の初期占有量を、ｄＯｐはＰピクチャにおける仮想バッファ（ＶＢＶバッファ）の初期占有量を、ｄＯｂはＢピクチャにおける仮想バッファ（ＶＢＶバッファ）の初期占有量を、ｊは符号量カウンタ１２１にてカウントされた各ピクチャの先頭から何番目かを示す番号を、Ｂｊは符号量カウンタ１２１でカウントされた各ピクチャの先頭からｊ番目のマクロブロックまでの発生符号量を、ＭＢ＿ｃｎｔは１ピクチャ内のマクロブロック数を、ｄｊｉはＩピクチャにおけるフィードバック量を、ｄｊｐはＰピクチャにおけるフィードバック量を、ｄｊｂはＢピクチャにおけるフィードバック量を示している。

さらに、平均量子化スケールＱは、以下の式にて求められる。

Ｑ＝ｄｊ×３１／ｒ
Ｒ＝ 2×ｂｒ／ｐｒ
なお、式中のＱは量子化スケールを、ｒはフィードバックの応答速度を決定するパラメータである。

従来の構成では、上述のような各演算を行うことにより符号量制御を行うことが可能となる。

なお、ＭＰＥＧについては、ＩＳＯ−ＩＥＣ１１１７２−２、ＩＴＵ−Ｔ Ｈ．２６２／ＩＳＯ−ＩＥＣ１３８１８−２に詳細な説明がなされているため、ここではこれ以上の説明は省略する。

このように、従来の構成では可変転送レート符号化を実現するために、上述したような２回のパスの符号化を通さなければならない。

すなわち、図９，図１０に示したように、ビデオ信号符号化装置に対して、符号化する動画像信号を２度入力させなければならなかった。このため、例えば放送や通信などによってリアルタイムで送信されてくる動画像信号などのように、１度しか送信されてこない画像信号に関しては、可変転送レート符号化を行うことができなかった。

また、例えば符号化されたデータの編集をするような場合には、再度符号化し直さなければならなかったり、符号化データをＭＰＥＧに準拠させるために、実際に編集を行いたい部分の他に数フレームを部分的に修正しなければならなくなったりするなど、非常に手間を要する問題があった。

本発明は、上述の課題に鑑みてなされたものであり、例えば放送や通信などによってリアルタイムで送信されてくる動画像信号に対しても可変転送レートでの符号化を行うことが可能であるとともに、編集も容易な、可変転送レート符号化方法および装置の提供を目的とする。

そこで、上記課題を解決するために本発明は、以下の方法及び装置を提供するものである。
（１） ビデオ信号を直交変換と量子化を使用して符号化して、可変転送レートにて出力する可変転送レート符号化方法であって、
入来するビデオ信号を直交変換と量子化を使用して符号化するステップと、
前記入来するビデオ信号の符号化と同時に、その符号化された符号化データの１画像単位毎の発生符号量と１画像単位毎の平均量子化幅と１画像単位毎のピクチャタイプとを検出し、検出した１画像単位毎の発生符号量と１画像単位毎の平均量子化幅と１画像単位毎のピクチャタイプとの情報を有する符号化情報を生成するステップと、
前記符号化された符号化データを固定転送レートで記録すると共に、前記符号化情報を記録するステップと、
前記記録された符号化データを復号するステップと、
前記記録された符号化情報内の発生符号量と平均量子化幅との情報と、前記符号化データの再生時間と、目標とする平均可変転送レートとをもとに、もしくは前記記録された符号化情報内の発生符号量と平均量子化幅との情報と目標符号量とをもとに、１画像単位毎の新たな目標符号量を設定するステップ、
前記記録された符号化情報内のピクチャタイプの情報を用いながら、１画像単位毎の発生符号量が前記新たな目標符号量となるように、前記符号化データを復号したデータを可変長符号化する可変転送レート符号化ステップと、
を有することを特徴とする可変転送レート符号化方法。
（２） 前記記録するステップにおいて、前記符号化するステップでの符号化時の動き補償に関するパラメータを記録するようにし、
前記可変転送レート符号化ステップにおいて、前記記録された符号化データを復号したデータを可変長符号化する際に、動き補償に関するパラメータとして、前記記録された動き補償に関するパラメータを使用することを特徴とする上記（１）記載の可変転送レート符号化方法。
（３） 編集情報を入力するステップを設け、
前記符号化情報を生成するステップでは、編集情報に基づく必要な区間のみの符号化情報を生成し、
前記復号するステップでは、編集情報に基づく必要な区間のみのデータを復号し、
前記新たな目標符号量を設定するステップでは、前記符号化情報として編集情報に基づく必要な区間のみの符号化情報を使用し、
前記可変転送レート符号化ステップでは、前記符号化情報として編集情報に基づく必要な区間のみの符号化情報を使用すると共に、符号化するデータとして前記編集情報に基づき必要な区間のみ復号されたデータを使用する、
ことを特徴とする上記（１）または（２）に記載の可変転送レート符号化方法。
（４） ビデオ信号を直交変換と量子化を使用して符号化して、可変転送レートにて出力する可変転送レート符号化装置であって、
入来するビデオ信号を直交変換と量子化を使用して符号化する入来ビデオ信号符号化手段と、
前記入来するビデオ信号の符号化と同時に、その符号化された符号化データの１画像単位毎の発生符号量と１画像単位毎の平均量子化幅と１画像単位毎のピクチャタイプとを検出し、検出した１画像単位毎の発生符号量と１画像単位毎の平均量子化幅と１画像単位毎のピクチャタイプとの情報を有する符号化情報を生成する符号化情報検出手段と、
前記符号化された符号化データを固定転送レートで記録すると共に、前記符号化情報を記録する記録手段と、
前記記録された符号化データを復号する復号手段と、
前記記録された符号化情報内の発生符号量と平均量子化幅との情報と、前記符号化データの再生時間と、目標とする平均可変転送レートとをもとに、もしくは前記記録された符号化情報内の発生符号量と平均量子化幅との情報と目標符号量とをもとに、１画像単位毎の新たな目標符号量を設定する目標符号量設定手段と、
前記記録された符号化情報内のピクチャタイプの情報を用いながら、１画像単位毎の発生符号量が前記新たな目標符号量となるように、前記符号化データを復号したデータを可変長符号化する可変転送レート符号化手段と、
を有することを特徴とする可変転送レート符号化装置。
（５） 前記入来ビデオ信号符号化手段は、符号化時の動き補償に関するパラメータを出力するものであり、
前記記録手段はその動き補償に関するパラメータを記録するものであり、
前記可変転送レート符号化手段は、前記記録された符号化データを復号したデータを可変長符号化する際に、動き補償に関するパラメータとして、前記記録された動き補償に関するパラメータを使用するものである、
ことを特徴とする上記（４）記載の可変転送レート符号化装置。
（６） 編集情報を入力する編集情報入力手段と、
その編集情報に基づいて前記符号化情報検出手段を制御する検出制御手段と、
前記編集情報に基づいて前記復号手段を制御する復号化制御手段とを設け、
前記符号化情報検出手段では、前記検出制御手段の制御により、前記編集情報に基づく必要な区間のみの符号化情報を生成し、
前記復号手段では、前記復号化制御手段の制御により、前記編集情報に基づく必要な区間のみ符号化データを復号し、
前記目標符号量設定手段では、前記符号化情報として前記編集情報に基づく必要な区間のみの符号化情報を使用し、
前記可変転送レート符号化手段では、前記符号化情報として前記編集情報に基づく必要な区間のみの符号化情報を使用すると共に、符号化するデータとして前記編集情報に基づき必要な区間のみ復号されたデータを使用する、
ことを特徴とする上記（４）または（５）に記載の可変転送レート符号化装置。

上述したように、本発明に係る可変転送レート符号化方法および装置によれば、従来の可変転送レート符号化装置のように、同じ画像を２回符号化装置に入力する必要がなくなる。すなわち、符号化する動画像信号として、放送や通信などからリアルタイムで送信されてくる動画像信号など１度しか送信されない画像信号に関しても、高レートで符号化を行ってそのデータを、書き込み可能なディスクやテープメディアなどに一時的に記録し、しかる後にそのデータを用いて、高画質な可変転送レート符号化を行い、最終的に必要な可変転送レート符号化データを生成して例えば記録することが可能となる。

また、一時的に記録した符号化データの動き補償に関するパラメータを使用して、可変転送レート符号化を行うようにした場合には、動きベクトルを求める際に、符号化劣化ノイズに乱されることがなくなる。

さらに、一時的に記録した符号化データのうち、編集でカットしたい部分などの編集情報を用いて、可変転送レート符号化を行うようにした場合には、編集情報を反映した可変転送レート符号化を行うことができる。

以下、本発明に係る可変転送レート符号化方法および装置の好ましい実施の形態について図面を参照しながら詳細に説明する。

図１には、本発明に係る可変転送レート符号化方法及び装置の参考例としてのビデオ信号符号化装置の基本構成を示す。なお、本参考例では、動画像信号の符号化手法として例えばＭＰＥＧ１符号化を用いた例を挙げて説明する。

この図１において、ビデオ信号符号化装置の入力端子１に入力される入力画像信号は、輝度信号と色差信号で構成されたビデオ信号であり、ディジタル化された後にピクチャタイプにあわせて画像の並べ替えが行われているものである。当該入力画像信号が符号化データとして記憶回路２２に記録され、さらにこの記憶回路２２に記録された符号化データを可変転送レート符号化データに変換（再符号化）するまでの概略構成例を、この図１を用いて説明する。

入力端子１に供給された入力画像信号は、演算器２と動き補償予測器１１に送られる。

動き補償予測器１１では、入力画像信号をその符号化順に動き補償予測し、演算器２では、入力画像信号と動き補償予測器１１からの予測画像との差分が計算される。

当該演算器２での演算により得られた差分画像データは、ＤＣＴ器３においてＤＣＴが行われる。

このＤＣＴ器３からのＤＣＴ係数は、量子化器４で量子化される。その量子化データは、動き補償予測器１１からの動きベクトルや符号化モードと共にＶＬＣ器５に送られ、当該ＶＬＣ器５で可変長符号化（ＶＬＣ）される。

このＶＬＣ器５での可変長符号化によって得られた符号化データは、バッファメモリ６に一時蓄積され、その後、ＭＰＥＧのビデオストリームとして当該バッファメモリ６から出力される。

また、レート制御器２３は、バッファメモリ６の充足度を監視しており、基本的には、バッファメモリ６の充足度が多くなると量子化を粗く、少なくなると量子化を細かくするような符号化制御信号を、量子化器４にフィードバックする。
すなわち、当該量子化器４にフィードバックされる符号化制御信号は、量子化幅を制御するための制御信号である。

ここで、図１に示す装置においても、前述したように、入力画像信号はＭＰＥＧで定義される固定転送レートで符号化される。この符号化レートは、記録メディアの容量と、記録する入力画像信号の再生時間に依存するものであるが、その条件内で当該符号化レートは極力高いほうが望ましい。すなわち画質がよいほうが望ましい。なぜならば、当該符号化レートが後述する可変転送レート符号化データ変換において符号化される条件の最大転送レートに等しくなるからである。

このため、図１に示す装置では、バッファメモリ６から出力される符号化データを、記憶回路２２に記録するようにしている。なお、図１に示す装置にて用いる記憶回路２２は、記録再生可能なハードディスクや光ディスク、高速のストレージメディアなど何でもよい。

一方、Ｉピクチャ、Ｐピクチャは、後に動き補償予測の参照画像として用いる必要があるため、量子化器４から出力される当該ＩピクチャやＰピクチャの量子化データは、逆量子化器８以降にも送られる。

すなわち、この逆量子化器８での逆量子化により得られたＤＣＴ係数データは、逆ＤＣＴ器９に送られて逆ＤＣＴされた後、演算器１２にて動き補償予測器１１からの予測差分画像が加算されて画像信号が復元される。

この復元された画像信号は、一時、画像メモリ１０に蓄えられる。当該復元されて画像メモリ１０に蓄えられた画像信号は、後のビデオ信号復号装置において再生されるものと同じ画像信号である。

当該画像メモリ１０に蓄えられた画像信号は、動き補償予測器１１に送られ、次の動き補償予測の参照画像となされる。つまり、画像メモリ１０から動き補償予測器１１に送られた画像信号は、演算器２にて差分画像を計算するためのリファレンスの復号化画像を生成するために使用される。

次に、図１に示すビデオ信号符号化装置では、記憶回路２２に記録された符号化データを、符号化情報検出器２４に送る。この符号化情報検出器２４では、符号化データから各ピクチャの発生符号量や量子化幅を検出し、その発生符号量や量子化幅を再び記憶回路２２に送って記録させる。当該記憶回路２２に記録される具体的な符号化情報としては、図２に示すようなフォーマットのピクチャ情報を挙げることができる。このピクチャ情報の部分がピクチャの枚数分だけ、符号化の順番で記憶回路２２に記録される。

ここで、ＭＰＥＧ符号化による圧縮データは、ピクチャの先頭に４バイトのピクチャスタートコードをつけるように決められている。このピクチャスタートコードは、「０×０００００１００」といった他のデータと区別できるようバイトアラインされたユニークコードなので、符号化情報検出器２４では、先ずこのピクチャスタートコードを検出し、次に当該ピクチャスタートコードが検出されるまでの間の符号量をカウントすることにより、そのピクチャの発生符号量を計算するようにしている。

また、発生符号量は、符号化レートにも依存するが、１５Ｍｂｐｓ相当で、最大１．７５Ｍビット程度であり、さらに精度も１０００ビット程度あれば良い。
したがって、記憶回路２２には、１１〜１２ビット／ピクチャ程度の情報でバイトアラインを考えて、２バイト程度の情報を符号化されたピクチャ順番に記録するようにしている。

さらに、量子化幅情報としては、マクロブロックという１６画素×１６画素のブロック毎に決められる量子化幅の和、もしくは平均値を求めるのが理想的であるが、いわゆるＮＴＳＣ放送方式の７２０×４８０画素のピクチャの場合には１３５０個のマクロブロックの平均をとらなければならない。この場合、ＭＰＥＧレイヤのうち、本来ならばマクロブロック層という比較的深い部分まで圧縮データをＶＬＣ（可変調復号化）しなければならないが、高速化のために、マクロブロック１列分のスライス層の先頭にあるスライス量子化幅を量子化幅情報として用いることも可能である。このスライス量子化幅は、ＮＴＳＣ放送方式の７２０×４８０画素のピクチャの場合には３０個（４８０／１６）存在していて、ピクチャスタートコードと同様にユニークコードであるスライススタートコード「０×０００００１０１〜０×０００００１１Ｅ」の間で検出することが可能である。なお、スライス量子化幅はそのスライススタートコードの直後の５ビットにて示されている。

符号化情報検出器２４では、上述した発生符号量や量子化幅の値を３０個検出して、それらの和もしくは平均をとるようにしている。なお、量子化幅は、マクロブロック層でもスライス層でも１〜３１の５ビットで示されるので、当該量子化幅情報は２バイトあれば表現できる値である。このため、記憶回路２２においては、当該量子化幅情報を発生符号量情報の後に付加して記録するようにしている。

図１の構成では、符号化した後の符号化データから発生符号量や量子化幅情報を検出する例を挙げたが、ＶＬＣ器５での符号化と同時に、発生符号量や量子化幅情報を検出するようにしてもよい。

当該ＶＬＣ器５での符号化と同時に発生符号量や量子化幅情報を符号化情報検出器２４にて検出する場合の基本構成を、図３に示す。なお、この図３において、図１に示した構成の各構成要素と同様に動作する部分にはそれぞれ同じ指示符号を付加してそれらの説明は省略する。

この図３に示す構成の符号化情報検出器２４では、例えば、ＶＬＣ器５で可変長符号化を行っているときの符号化データを用いて、例えばピクチャスタートコード間の符号をカウントすることにより、符号化時のマクロブロック毎の量子化幅の和もしくは平均値を検出するようにしている。もちろん、符号化情報検出器２４では、ピクチャスタートコード間で量子化幅を求める代わりに、前述したように、スライススタートコード間でスライス量子化幅を求めることも可能である。当該符号化情報検出器２４にて検出された発生符号量や量子化幅情報は、記憶回路２２に記録される。

上述した図１及び図３の構成においては、記憶回路２２に記録された発生符号量情報と量子化幅情報、符号化データ等を用いて、後述するように、当該符号化データを可変転送レート符号化データに変換（再符号化）するようにしている。

すなわち、図１及び図３の基本構成には、上述した構成に加えて、記憶回路２２に記録された符号化データを復号画像データに変換する復号器４０と、同じく記憶回路２２に記録された発生符号量情報と量子化幅情報、及び、後述する目標とする平均可変転送レートもしくは目標符号量に関する情報に基づいて、その復号画像データを可変転送レート符号化データに変換して出力端子７から出力するための可変転送レート符号化器５０とを備えている。この出力端子７から出力された可変転送レート符号化データは、図示しない記録媒体に記録されることになる。

図４には、記憶回路２２に記録された発生符号量情報と量子化幅情報、符号化データ等を用いて、当該符号化データを可変転送レート符号化データに変換（再符号化）するための第１の具体例の構成、すなわち、図１及び図３の復号器４０と可変転送レート符号化器５０、及びその周辺回路（図１，図３では図示を省略）の、より具体的な構成を示す。なお、この図４には、説明の都合上、記憶回路２２も同時に示している。

この図４において、記憶回路２２から読み出された符号化データは、復号器４０にて復号され、復号画像データとして可変転送レート符号化器５０に送られる。

この可変転送レート符号化器５０に供給された復号画像データは、演算器５２と動き補償予測器６１に送られる。

動き補償予測器６１では、復号画像データを符号化順に動き補償予測し、演算器５２では、復号画像データと動き補償予測器６１からの予測画像との差分が計算される。

当該演算器５２での演算により得られた差分画像データは、ＤＣＴ器５３においてＤＣＴが行われる。

このＤＣＴ器５３からのＤＣＴ係数は、量子化器５４で量子化される。その量子化データは、動き補償予測器６１からの動きベクトルや符号化モードと共にＶＬＣ器５５に送られ、当該ＶＬＣ器５５で可変長符号化（ＶＬＣ）される。

このＶＬＣ器５５での可変長符号化によって得られた符号化データは、バッファメモリ５６に一時蓄積され、その後、可変転送レート符号化データとして出力端子５７から出力され、図１または図３の出力端子７に送られる。この出力された可変転送レート符号化データは図示しない記録媒体に記録されることになる。

一方、Ｉピクチャ、Ｐピクチャは、後に動き補償予測の参照画像として用いる必要があるため、量子化器５４から出力される当該ＩピクチャやＰピクチャの量子化データは、逆量子化器５８以降にも送られる。

すなわち、この逆量子化器５８での逆量子化により得られたＩピクチャやＰピクチャのＤＣＴ係数データは、逆ＤＣＴ器５９に送られて逆ＤＣＴされた後、演算器６２にて動き補償予測器６１からの予測差分画像が加算されて画像信号が復元される。

この復元された画像信号は、一時、画像メモリ６０に蓄えられる。当該復元されて画像メモリ６０に蓄えられた画像信号は、後のビデオ信号復号装置において再生されるものと同じ画像信号である。

当該画像メモリ６０に蓄えられた画像信号は、動き補償予測器６１に送られ、次の動き補償予測の参照画像となされる。つまり、画像メモリ６０から動き補償予測器６１に送られた画像信号は、演算器５２にて差分画像を計算するためのリファレンスの復号化画像を生成するために使用される。

また、符号量カウンタ６２は、ＶＬＣ器５５でのＶＬＣ後に、発生符号量を計算し、この発生符号量を示すピクチャ符号量情報を符号量制御回路６３に供給する。

符号量制御回路６３では、当該符号量カウンタ６２からのピクチャ符号量情報と後述するピクチャ目標符号量情報とに基づいて、量子化器５４における量子化ステップを制御する。

一方、記憶回路２２から読み出された発生符号量情報および量子化幅情報等を含む符号化情報は、図１及び図３では図示を省略した目標符号量決定回路２６に入力される。

また、当該目標符号量決定回路２６には、例えばＣＰＵ（中央処理ユニット）２５から、可変転送レート符号化データの目標符号量が設定される。なお、ＣＰＵ２５は、外部に設けられるものであるが、内部に設けることも可能である。ＣＰＵ２５にて設定される目標符号量は、これから可変転送レート符号化データに変換しようとする符号化データの再生時間がわかれば、平均可変転送レートを入力するのと等価となる。

ここで、この目標符号量決定回路２６における符号化量決定のアルゴリズム例を以下に説明する。

例えば、前述したように符号化情報検出器２４が検出したピクチャ毎の発生符号量をＢＩＴ(i)、そのときのピクチャ全体の平均量子化幅をＱ（ｉ）、符号化データを可変転送レート符号化データに変換（再符号化）した後の全体の目標符号量をＴＢとする。なお、（ｉ）はピクチャの番号を示す。これらを用いて、可変化転送レート符号化データの各ピクチャに与える目標符号量ＴＧ（ｉ）は、以下の式により求めることができる。

ＥＮ（ｉ）＝ＢＩＴ（ｉ）^0.8×Ｑ(i)
ＴＧ（ｉ）＝ＴＢ×ＥＮ（ｉ）／ΣＥＮ（ｉ）
この式により求めた、可変化転送レート符号化データの各ピクチャに与える目標符号量（ピクチャ目標符号量情報）ＴＧ（ｉ）は、可変転送レート符号化器５０の符号量制御回路６３に送られる。なお、式中のＥＮは、その検出したピクチャ複雑さや、動き補償時の誤差量にほぼ比例しており、符号化の難しさを表すものである。このＥＮの値が高いときには符号量を増やし、小さいときには符号量を減らすことで、画質を一定にした符号量割り当てが可能となる。可変転送レート符号化データの各ピクチャに与える目標符号量ＴＧ（ｉ）は、この比率で、当該可変転送レート符号化データに変換した後の全体の目標符号量ＴＢを分配していることに他ならない。また、前述した従来例と同様に、発生符号量比率に単純に分配するようにしてもよく、ピクチャ内の符号量制御は前述した第２のステップ以降の方法で実現することが可能である。

符号量制御回路２７では、上述のようにして求めたピクチャ目標符号量ＴＧ（ｉ）と、符号量カウンタ６２でカウントされたピクチャ符号量情報とに基づいて、量子化器５４における量子化スケールを制御することで、符号量の制御を行う。

本実施の形態のビデオ信号符号化装置によれば、上述のような処理によって符号化データを可変転送レート符号化データに変換（再符号化）することを可能にしている。

また、図１及び図３の構成においては、図４の構成に代えて、図５に示すような構成により、符号化データを可変転送レート符号化データに変換（再符号化）することも可能である。

すなわち、図５には、記憶回路２２に記録された発生符号量情報と量子化幅情報、符号化データ等を用いて、当該符号化データを可変転送レート符号化データに変換（再符号化）するための第２の具体例の構成を示している。なお、この図５において、図４に示した各構成要素と同様に動作する部分にはそれぞれ同じ指示符号を付加してそれらの説明は省略する。

この図５の構成では、図１の例のように記憶回路２２に記録された符号化データに基づいて符号化情報検出器２４で各ピクチャの発生符号量や量子化幅を検出する構成、もしくは、図３の例のように符号化しながら発生符号量や量子化幅情報を符号化情報検出器２４で検出する構成における符号化にて使用し、その符号化データに記述されたマクロブロック毎の動き補償に関するパラメータを、記憶回路２２に記録しておくようにしており、可変転送レート符号化器５０にて復号画像データを可変転送レート符号化するときに、当該記憶回路２２に記録された動き補償に関するパラメータを使用するようにしている。

この図５の構成と図４の構成との違いは、記憶回路２２から読み出された動き補償に関するパラメータが、動き補償関連情報として可変転送レート符号化器５０の符号化情報入力器６４に入力され、当該可変転送レート符号化器５０の動き補償予測器６１ではこの動き補償関係情報を用いて動き補償予測を行うようにしていることである。

ここで、記憶回路２２に記録される動き補償に関するパラメータとしては、具体的にはマクロブロック毎の動きベクトルと動き補償のタイプ等を挙げることができる。すなわち、この図５に示す構成例の記憶回路２２に記憶される具体的な符号化情報としては、前述の図２に示したようなフォーマットのピクチャ情報に加えて、図６に示すようなマクロブロック情報の部分がマクロブロックの個数分だけ、ピクチャの左上から右下方向へのラスタ順番に記録される。

こうすることで、記憶回路２２に記録されている符号化データが例えばある程度の符号化劣化を伴っているような場合であっても、その符号化データを復号器４０にて復号した復号画像を用いて動き補償予測器６１が動きベクトルを求める際に、符号化劣化ノイズに乱されることがなくなる。また、動きベクトルを求める処理量も削減できる。これ以外にも、例えばいわゆるＭＰＥＧ２に拡張する場合に、フレームとフィールドで適応的に切り換える類の情報を記録することは、十分効果的である。

さらに、図１及び図３の構成においては、図４や図５の構成に代えて、図７に示すような構成により、符号化データを可変転送レート符号化データに変換（再符号化）することも可能である。

すなわち、図７には、記憶回路２２に記録された発生符号量情報と量子化幅情報、符号化データ等を用いて、当該符号化データを可変転送レート符号化データに変換（再符号化）するための第３の具体例の構成を示している。なお、この図７において、図４や図５に示した各構成要素と同様に動作する部分にはそれぞれ同じ指示符号を付加してそれらの説明は省略する。

すなわち、この図７の構成では、図１や図３の符号化により得られた符号化データに対して、例えば編集処理を施すような場合に、可変転送レート符号化器５０における可変転送レート符号化の際に、その編集処理に使用した編集情報に従った符号化を行うようにする。なお、具体的な編集情報としては、例えば編集を有効にしたい画像の時間情報を示す、時間：分：秒：フレームからなるフォーマットの情報を挙げることができる。

より具体的に説明すると、この図７では、編集開始点と編集終了点を組み合わせて生成される編集情報が編集情報入力器４１から入力され、その編集情報が復号制御器４２に送られる。

当該復号制御器４２は、その編集情報に記述されている、編集を有効にしたい画像の時間部分だけを復号再生するように、復号器４０を制御する。したがって、このときの復号器４０では、記憶回路２２から供給される符号化データのうち、編集情報にて記述されている編集を有効にしたい画像の時間部分だけを復号再生することになる。

また、この図７の構成の場合、編集情報入力器４１からの編集情報は、検出制御器４３にも入力される。この検出制御器４３は、編集を有効にしたい画像の時間部分だけの、各ピクチャの発生符号量や量子化幅を検出するように、符号化情報検出器２４を制御する。このため、このときの記憶回路２２には、編集を有効にしたい画像の時間部分だけの、各ピクチャの発生符号量情報や量子化幅情報が符号化情報として記録されることになる。

さらに、この図７の構成の場合の目標符号量決定回路２６では、記憶回路２２に記憶された、編集を有効にしたい画像の時間部分だけの各ピクチャの発生符号量情報や量子化幅情報からなる符号化情報と、ＣＰＵ２５からの目標符号量もしくは平均可変転送レートとに基づいて、編集を有効にしたい画像の時間部分だけのピクチャ目標符号量が計算されることになる。

このようなことから、可変転送レート符号化器５０では、編集を有効にしたい画像の時間部分だけの可変転送レート符号化が可能となる。

なお、このような編集処理において、例えば編集点がＰピクチャの画像部分になった場合、その画像はＩピクチャとして符号化する必要がある。また、編集点がＢピクチャの画像部分になった場合は、その前後の動き補償関係の情報が無効となる必要がある。したがって、このような場合には、関連するピクチャをＩピクチャとして符号化するなどの処理が必要である。

本発明の可変転送レート符号化方法及び装置が適用される本実施の形態のビデオ信号符号化装置によれば、上述のような構成を用いることによって符号化データを可変転送レート符号化データに変換（再符号化）することを可能にしている。

また、本実施の形態のビデオ信号符号化装置によって上述したようにして生成された可変転送レート符号化データを不図示の記録媒体に記録することで、記録媒体の容量は有効に活用されることになり、その可変転送レート符号化データを後に復号した場合にも良好な復号データが得られることになる。

本発明は、上述した実施の形態に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であり、符号化の手法も前述したＭＰＥＧ１に限らない。

本発明の可変転送レート符号化方法および装置の参考例としてのビデオ信号符号化装置において、符号化データを符号化情報検出器で検出して可変転送レート符号化データに変換（再符号化）する場合の概略構成を示すブロック図である。 本実施の形態のビデオ信号符号化装置の記憶回路に記録される符号化情報（ピクチャ情報）のフォーマットを示す図である。 本実施の形態のビデオ信号符号化装置において、符号化しながら発生符号化量や量子化幅情報を符号化情報検出器で検出して符号化データを可変長符号化データに変換（再符号化）する場合の概略構成例を示すブロック図である。 本実施の形態のビデオ信号符号化装置において、記憶回路に記録された発生符号量情報と量子化幅情報、符号化データ等を用いて、当該符号化データを可変転送レート符号化データに変換（再符号化）するための第１の具体例の構成を示すブロック図である。 本実施の形態のビデオ信号符号化装置において、記憶回路に記録された発生符号量情報と量子化幅情報、符号化データ等を用いて、当該符号化データを可変転送レート符号化データに変換（再符号化）するための第２の具体例の構成を示すブロック図である。 本実施の形態のビデオ信号符号化装置の記憶回路に記録される符号化情報（マクロブロック情報）のフォーマットを示す図である。 本実施の形態のビデオ信号符号化装置において、記憶回路に記録された発生符号量情報と量子化幅情報、符号化データ等を用いて、当該符号化データを可変転送レート符号化データに変換（再符号化）するための第３の具体例の構成を示すブロック図である。 従来例のビデオ信号符号化装置の基本構成を示すブロック図である。 従来例のビデオ信号符号化装置において第１のパスの符号化を行う場合の構成を示すブロック図である。 従来例のビデオ信号符号化装置において第２のパスの符号化を行う場合の構成を示すブロック図である。

符号の説明

１…入力端子、２，５２…演算器、３，５３…ＤＣＴ器、４，５４…量子化器、
５，５５…ＶＬＣ器、６，５６…バッファメモリ、７，５７…出力端子、
８，５８…逆量子化器、９，５９…逆ＤＣＴ器、１０，６０…画像メモリ、
１１，６１…動き補償予測器、１２，６２…演算器、６２…符号量カウンタ、
６３…符号量制御回路、２２…記憶回路、２４…符号化情報検出器、２５…ＣＰＵ、
２６…目標符号量決定回路、４０…復号器、４１…編集情報入力器、
４２…復号化制御器、４３…検出制御器、５０…可変転送レート符号化器

Claims (6)

1. ビデオ信号を直交変換と量子化を使用して符号化して、可変転送レートにて出力する可変転送レート符号化方法であって、
   入来するビデオ信号を直交変換と量子化を使用して符号化するステップと、
   前記入来するビデオ信号の符号化と同時に、その符号化された符号化データの１画像単位毎の発生符号量と１画像単位毎の平均量子化幅と１画像単位毎のピクチャタイプとを検出し、検出した１画像単位毎の発生符号量と１画像単位毎の平均量子化幅と１画像単位毎のピクチャタイプとの情報を有する符号化情報を生成するステップと、
   前記符号化された符号化データを固定転送レートで記録すると共に、前記符号化情報を記録するステップと、
   前記記録された符号化データを復号するステップと、
   前記記録された符号化情報内の発生符号量と平均量子化幅との情報と、前記符号化データの再生時間と、目標とする平均可変転送レートとをもとに、もしくは前記記録された符号化情報内の発生符号量と平均量子化幅との情報と目標符号量とをもとに、１画像単位毎の新たな目標符号量を設定するステップ、
   前記記録された符号化情報内のピクチャタイプの情報を用いながら、１画像単位毎の発生符号量が前記新たな目標符号量となるように、前記符号化データを復号したデータを可変長符号化する可変転送レート符号化ステップと、
   を有することを特徴とする可変転送レート符号化方法。
2. 前記記録するステップにおいて、前記符号化するステップでの符号化時の動き補償に関するパラメータを記録するようにし、
   前記可変転送レート符号化ステップにおいて、前記記録された符号化データを復号したデータを可変長符号化する際に、動き補償に関するパラメータとして、前記記録された動き補償に関するパラメータを使用することを特徴とする請求項１記載の可変転送レート符号化方法。
3. 編集情報を入力するステップを設け、
   前記符号化情報を生成するステップでは、編集情報に基づく必要な区間のみの符号化情報を生成し、
   前記復号するステップでは、編集情報に基づく必要な区間のみのデータを復号し、
   前記新たな目標符号量を設定するステップでは、前記符号化情報として編集情報に基づく必要な区間のみの符号化情報を使用し、
   前記可変転送レート符号化ステップでは、前記符号化情報として編集情報に基づく必要な区間のみの符号化情報を使用すると共に、符号化するデータとして前記編集情報に基づき必要な区間のみ復号されたデータを使用する、
   ことを特徴とする請求項１または請求項２に記載の可変転送レート符号化方法。
4. ビデオ信号を直交変換と量子化を使用して符号化して、可変転送レートにて出力する可変転送レート符号化装置であって、
   入来するビデオ信号を直交変換と量子化を使用して符号化する入来ビデオ信号符号化手段と、
   前記入来するビデオ信号の符号化と同時に、その符号化された符号化データの１画像単位毎の発生符号量と１画像単位毎の平均量子化幅と１画像単位毎のピクチャタイプとを検出し、検出した１画像単位毎の発生符号量と１画像単位毎の平均量子化幅と１画像単位毎のピクチャタイプとの情報を有する符号化情報を生成する符号化情報検出手段と、
   前記符号化された符号化データを固定転送レートで記録すると共に、前記符号化情報を記録する記録手段と、
   前記記録された符号化データを復号する復号手段と、
   前記記録された符号化情報内の発生符号量と平均量子化幅との情報と、前記符号化データの再生時間と、目標とする平均可変転送レートとをもとに、もしくは前記記録された符号化情報内の発生符号量と平均量子化幅との情報と目標符号量とをもとに、１画像単位毎の新たな目標符号量を設定する目標符号量設定手段と、
   前記記録された符号化情報内のピクチャタイプの情報を用いながら、１画像単位毎の発生符号量が前記新たな目標符号量となるように、前記符号化データを復号したデータを可変長符号化する可変転送レート符号化手段と、
   を有することを特徴とする可変転送レート符号化装置。
5. 前記入来ビデオ信号符号化手段は、符号化時の動き補償に関するパラメータを出力するものであり、
   前記記録手段はその動き補償に関するパラメータを記録するものであり、
   前記可変転送レート符号化手段は、前記記録された符号化データを復号したデータを可変長符号化する際に、動き補償に関するパラメータとして、前記記録された動き補償に関するパラメータを使用するものである、
   ことを特徴とする請求項４記載の可変転送レート符号化装置。
6. 編集情報を入力する編集情報入力手段と、
   その編集情報に基づいて前記符号化情報検出手段を制御する検出制御手段と、
   前記編集情報に基づいて前記復号手段を制御する復号化制御手段とを設け、
   前記符号化情報検出手段では、前記検出制御手段の制御により、前記編集情報に基づく必要な区間のみの符号化情報を生成し、
   前記復号手段では、前記復号化制御手段の制御により、前記編集情報に基づく必要な区間のみ符号化データを復号し、
   前記目標符号量設定手段では、前記符号化情報として前記編集情報に基づく必要な区間のみの符号化情報を使用し、
   前記可変転送レート符号化手段では、前記符号化情報として前記編集情報に基づく必要な区間のみの符号化情報を使用すると共に、符号化するデータとして前記編集情報に基づき必要な区間のみ復号されたデータを使用する、
   ことを特徴とする請求項４または請求項５に記載の可変転送レート符号化装置。

Images