JP3920356B2 - ビデオコーディング - Google Patents

Description

本発明は、ビデオ信号のコーディング、とくに、例えば１２８kbit/s以下であることが要求される低帯域幅伝送システムで伝送するビデオ信号のコーディングに関する。
約６MHzのアナログ帯域幅またはディジタル情報に対する１００Mbit/sを超えたデータレートが、圧縮されていない品質の放送テレビジョン信号を送信するには必要である。このような高ビットレート信号は、帯域幅が制限されるシステムによって送信するには非実用的である。したがってビデオ信号を圧縮することによって情報量を低減する必要がある。これは隣接する画素（ピクセル）間の相関関係を利用すること、およびデータの低減と画像品質との間で妥協をはかることによって達成される。
ビデオ圧縮技術は、空間または時間、あるいはその両方における隣接するピクセル間の相関関係に依存する。例えば、比較的に均一な情景領域（例えば部屋の壁）内で１つのピクセルと、この領域内の隣接するピクセルとはかなり類似していることが多い。同様に、かなり静的な情景では、１フレームのピクセルは次のフレームの同等のピクセルと密接に対応することになる。したがって単一フレームのピクセルは互いの関連性に関係してコード化すること（イントラフレーム（フレーム内）コーディング）、または隣接するフレームのピクセルとの関係性に関してコード化すること（インターフレーム（フレーム間）コーディング）が可能である。フレーム内でコード化されるフレーム（イントラフレーム）は他のフレームを参照せずに明らかにデコードすることができ、フレーム間でコード化されるフレーム（インターフレーム）は予想で使用するフレームに関する情報を要求する。差分技術を使用してビデオ信号をさらに圧縮することもできる。差分コーディング技術では、フレーム間の差のみをコード化するので、全フレームをエンコードするのに必要なデータよりもデータ量が少ない。
種々のビデオ圧縮規格が開発されている。１例として、国際規格ＩＳＯ−ＩＥＣ１１１７２、“Coding of Moving Pictures and Audio for Digital Storage Media at up to About 1.5Mbit/s（約１．５Mbit/s以下のディジタル記憶媒体のための動画およびオーディオのコーディング）”、すなわちＭＰＥＧ１として知られているものがある。この規格は、ディジタル記憶媒体、例えばＣＤ−ＲＯＭ、ディジタルオーディオテープ（ＤＡＴ）、テープドライバ、書込み可能な光ドライバ上にビデオおよび関係するオーディオを記憶するため、または遠隔通信チャンネル上で伝送するために開発された。ＭＰＥＧ１の規格にしたがって、イントラフレームはデータ流内に規則正しい間隔で含まれており、ビデオ信号へのランダムアクセスおよびその編集を可能にする。規則正しいイントラフレームはビデオ信号との対話も可能である。すなわちユーザはビデオ信号の高速前送りおよび高速巻き戻しを要求することができ、これは、標準の再生が要求されるまではビデオ信号のＩフレームをユーザに示すことによって達成することができる。しかしながらこれは、イントラフレームおよびインターフレームの両方を含むビデオ信号の標準プレイバックモードと比較して、画像ごとの標準ビットレートを高める。
低データレートシステムに関する規格も発展してきた。例えば、ＩＴＵ規格Ｈ．２６１は（ＩＳＤＮネットワークでの通信において）動画のコーディングをｎ×６４kbit/s（尚、ｎは１乃至３０の整数）のレートで行ない、ＩＴＵ規格Ｈ．２６３では（ＰＳＴＮネットワークでの通信において）動画のコーディングを６４kbit/sよりも低いデータレートで行なう。これらのコーディング方式は、イントラフレームを常に含む必要はない。ビデオ呼の途中で、エラー状態が受信機によってまたはおそらくは情景変化するときに検出されるとすると、一般にイントラフレームのみが送られる。これはＭＰＥＧ１（全データの重要な部分を表すイントラフレーム用に生成されたデータ）と比較して平均データレートが低減することを意味する一方で、データへの明確なアクセスポイントはスタート以外にはないので、対話機能、例えば高速前送りまたは巻き戻し機能を準備することはできない。したがってＨ．２６１およびＨ．２６３コーディング方式は、ユーザが対話できるビデオ流（ストリーム）を準備するのに適していない。
N Farber、E Steinbach、およびB Griodによる文献“Robust H.263 Compatible Transmission for Mobile Video Server Access”(IEEE First International Workshop on Wireless Image/Video Communicationsで発表された。Loughbourough University, UK, 1996年9月4-5日開催)には、Ｈ．２６３でエンコードされたビデオ流へのランダムアクセスを可能にする方法として、周期的なイントラフレームのオーバーヘッドを要求しない方法が開示されている。この文献によると、２つのデータ流が記憶され、一方のデータ流（いわゆるＰ流）は標準プレイバックモードで送られるインターフレームから成る。第２のデータ流（いわゆるＩ流）はイントラフレームから成る。これは主としてエラー回復に使用されるが、ビデオ信号についてのランダムアクセスは、ユーザによって要求されるときに、送られた信号にイントラフレームを挿入することによって行われることに注意すべきである。したがって正確な用語では、周期的なイントラフレームなしにインターフレームのコード化された信号が送られ、ビデオ流へのランダムアクセスが要求されるときに、イントラフレームのみが送られる。
文献に示唆されているように、イントラフレームを挿入することにより、いわゆるＰ流から再構成されたフレームと対応するイントラフレームから再構成されたフレームとの間の差から“不整合”エラーが生じる。文献にはこのエラーを低減して、もとのビデオ信号からではなく、Ｐ流の再構成されたフレームからイントラフレームをコード化することを示唆している。
本発明にしたがって、動画を表すビデオ信号のコーディング方法であり：
ビデオ信号の連続するフレームを受取ること；
ビデオ信号の先行するフレームを参照してビデオ信号の各フレームをコード化し、構成されたときに、動画の第１のプレイバックモードを表す第１の組のデータを生成すること；
ビデオ信号のフレームをコーディングし、再構成されたときに、動画の第２のプレイバックモードを表す第２の組のデータを生成すること；
第１の組のデータをデコードして、第１の再構成されたビデオ信号を生成すること；
第２の組のデータをデコードして、第２の再構成されたビデオ信号を生成すること；
第２の再構成されたビデオ信号のフレームと、第２のビデオ信号のフレームに後続するフレームに対応する第１の再構成されたビデオ信号のフレームとの間の差を計算すること、および差が閾値を超えたとき、差をコーディングし、別の組のデータを生成することとを含む方法を提供する。
したがって、第２および別の組のデータから再構成されたフレームは、要求されるイントラフレームに対してフレームごとのビットレートを著しく増加せずに、Ｐ流のリンクされたフレームに密接に整合する。
好ましくは、第２の組のデータはビデオ信号の別のフレーム、すなわちコード化されたイントラフレームを参照せずに生成される。これらのＩフレームを使用して、高速前送りおよび高速巻き戻し機能を準備することができる。
第２の組のデータは、第１の組のデータを生成するのに使用するものよりも粗い量子化ステップサイズを使用して生成することができ、別の組のデータは、第１の組のデータを生成するのに使用されると、第２の組のデータを生成するのに使用されるのとの中間の量子化ステップを使用して生成することができる。したがって、イントラフレームのコード化された画像は、画像ごとの最大ビットを超えずにエンコードすることができ、別の組のデータは第２の組のデータから生成された画像の品質を向上する。
好ましくは、別の組のデータは第２の再構成されたビデオ信号のフレームと結合され、この第２のビデオ信号のフレームと第１のビデオ信号のフレームとの間の差が計算され、差が閾値を超えるとコード化され、さらに別の組のデータを生成する。これらの結合、計算、およびコーディング段階は、基準が満たされるまで反復的に実行される。適切な基準では、ステップは第２の再構成されたビデオ信号の各フレームに対して、一定の回数、例えば２回、または差が閾値より低くなるまで実行される。
ここで添付の図面を引用して例示的に本発明をさらに記載することにする。
図１は、本発明にしたがってエンコードが行われたエンコードされたビデオ信号を含む対話式ビジュアルサービスシステムを示す。
図２は、本発明のビデオエンコーダのブロック図を示す。
図３は、本発明にしたがって生成された、高速前送りおよび高速巻き戻しが可能なデータを示す。
図４は、高速前送り、高速巻き戻し、および一層頻繁な一時停止の利用が可能な、本発明の別の実施形態にしたがって生成されたデータを示す。
図５は、制御リストが再生モードでどのように使用するかを示す。
図６は、図５で示された制御リストの要素例である。
図７は、制御リストを使用して、ビデオサーバによってビット流をどのように生成するかを示す例である。
図１は、対話式ビデオシステム、いわゆるビデオオンデマンドシステムを示し、ユーザが要求しているユーザによって選択されるビデオを表すビット流を提供する。システムはビデオサーバ２を含み、ビデオサーバ２は映画、ドキュメンタリ、などのような動画を表すエンコードされたビデオ信号のメモリ４と共働する。複数のユーザ端末６は、伝送リンク７、例えばＰＳＴＮ、ＩＳＤＮ、無線衛星、などを介してビデオサーバ２に接続される。各ユーザには、ビデオサーバ２を制御するための手段（図示されていない）が備えてある。サーバへのリターンパス８はこれらの制御信号を送るために準備されている。このリターンパスは、信号をサーバ２から端末６または別の伝送媒体へ送るのに使用されるのと同じ伝送媒体を経てもよい。
使用の際に、ユーザは再生される動画を選択し、制御信号はリターンパス８を介してサーバへ送られる。サーバ２は、選択されたビデオ信号を確認し、メモリ４内のビデオ信号の場所を識別し、ビデオメモリ４から要求を出しているユーザ端末６へのパス７を設定し、選択されたビデオ信号を端末へ送る。このオペラビリティ（実行可能性）を備えているサーバはビデオオンデマンドのフィールドで知られており、本発明はサーバにとくに影響を及ぼさない限り、本明細書ではさらに記載しないことにする。
メモリ４内のビデオ信号は、適切なコーディング方式にしたがってエンコードすることができる。
多くの現在のコーディング方式、例えばＨ．２６１／２６３およびＭＰＥＧ規格において、送られるビット数を低減する量子化として知られているプロセスがある。画像は離散的余弦変換（Discrete Cosine Transformation）（ＤＣＴ）を使用して、空間領域から周波数領域へ変換される。生成されたデータは、周波数成分を増加するオーダで走査され、その後定数で量子化または除算され；閾値よりも低い除算結果は全て捨てられる。高い方の周波数成分は普通、低い方の周波数成分よりも低い値をもち、したがって定数で除算するとき、高い周波数成分の多くは捨てられる。エンコーダは量子化器によって除数として使用される数を選択し、合理的な数のフレームをチャンネルへ送ることを保証する。例えば、エンコードされるビデオシーケンス内に多くの詳細または動きがあるとき、エンコーダは量子化値を増加し、信号をエンコードするのに使用されるフレーームごとのビット数（またはマクロブロック）を低減する。粗い量子化器の使用により他の望ましくない影響が生じる；送られるピクセル内において、デコードされる計数値は大きいステップをもち、したがって信号対雑音比が低く、‘斑がある（blocky）’ように見える像を生成する。
ここで本発明の第１の実施形態を、本発明のエンコーダを示す図２を引用して記載することにする。エンコーダは入力11およびエンコーディング手段12を含み、エンコーディング手段12はＤＣＴ係数を出力するＤＣＴ計算ユニット14およびＤＣＴユニット14の出力を量子化する量子化器16から形成されている。量子化器16の出力は可変長コーダ（ＶＬＣ）18および逆量子化器21に接続される。量子化器16および逆量子化器21の量子化ステップサイズは制御ユニット22によって制御される。ＶＬＣ18は制御ユニット22へ接続され、ＶＬＣの動作状態に関係する制御ユニットへ情報を送る。制御ユニットは量子化器16および逆量子化器21の量子化ステップサイズを変更し、コード化されたデータを選択されたコーディング方式により許されている画像ごとの最大ビットの制限範囲内に維持する。
したがって、コード化されるビデオ信号の全フレームを必ずしもエンコードしなくてもよい。制御ユニット22は、フレームをエンコードするのに必要なデータ量が多過ぎるときは、フレームを落とすことができる。
逆量子化器21および反転ＤＣＴユニット24はローカルデコーダ25を形成する。インターフレームコーディングにおいて、ローカルでコーダによってデコードされる画像はフレームメモリ（ＦＳ）26へ入力される。エンコードされる次のフレームが入力10でエンコーダへ送られるとき、減算器28はエンコーダへ入力されるフレームとフレームメモリ26の内容との間の差を計算する。動きの推定は通常の動作推定器31によっても行なうことができ、このとき、フレームメモリ26の内容は動作ベクトルにしたがって変更される。このような動きの推定はビデオコーディングの領域ではよく知られており、ここではさらに記載しないことにする。
インターフレームコーディングでは、加算器32においてフレームメモリ26の内容は、減算器28によって計算した差をフレームメモリ26へ加算することによって更新される。エンコーダの出力はローカルメモリ34内に記憶される。
本発明の第１の実施形態（図３を引用して記載することにする）にしたがうと、ビデオ信号のエンコーディングにはエンコーダを通るいくつかのパスが必要である：
１．要求されるコーディング方式にしたがって、正常のプレイバックモードのビット流に対応する第１の組のデータ10を生成する第１のパス。例えば、Ｈ．２６１またはＨ．２６３のコード化されたビデオでは、このビット流は最初のＩフレームとそれに続くＰフレームから成る。この第１の組のデータ10はローカルメモリ34に記憶される。
２．ビデオ信号の第２のプレイバックモードを表す第２の組のデータ20、（例えば、高速前送りまたは高速巻き戻し）を生成する第２のパス。このパスは、第１のビット流との間でリンクを定めている制御構成についての制御リスト内のエントリと一緒に、高速前送りおよび巻き戻しに適したより低いビットレートでＩフレームのシーケンスＩ'Ｉ'Ｉ'Ｉ'を生成する。制御ユニット22は、エンコーディングループからローカルでコーダ25を切り放す（スイッチアウトする）。制御ユニットは、要求された高速前送り／高速巻き戻しモードと互換性のあるビットレートでこの第２の組のデータを生成するようにプログラムされている。例えば、標準速度の10倍の高速前送り／高速巻戻しプレイバックモードが要求されるとすると、第２の組のデータは標準プレイバックモードの平均ビットレートの１／１０倍で生成される。第２の組のデータ20は関係する制御リストをもつローカルメモリ34内に記憶される。
３．追加のＰ'，Ｐ"，Ｐ'''フレーム30を生成する後続のパス。第２の組のデータ20のＩフレームはＰ'，Ｐ"，Ｐ'''のシーケンスのための開始ポイントとして使用され、第２の組のデータ20のデコードされたフレームＩ'は制御ユニット22によってフレームメモリ26へロードされる。エンコードされた標準ビット流10（すなわち、パス＃１内で生成されるビット流）内のＰフレームは、Ｐフレームを再び結合するポイントでデコードされ、Ｐ_(n)としてエンコーダの入力11へ供給される。減算器28は、フレームメモリ26内の画像Ｉ'と標準プレイバックビット流内の再構成された目標Ｐ_(n)フレームとの間の差を計算する。２つのものの差が所定の閾値よりも小さいときは、エンコードプロセスは停止することになる。閾値よりも大きいときは、差はＰ'としてエンコードされ、第３の組のデータとしてローカルメモリ34に記憶される。次にＰ'はデコードされ、加算器32によってフレームメモリ26へ加算され、制御ユニットは再び計算を開始し、フレームメモリの内容とフレームＰ_(n)の内容の差をエンコードして記憶する。これは、エンコーダＰ_(n)への入力およびフレームメモリ26の内容とが収束して、２つの間の差が所定の閾値よりも小さくなるまで継続する。このデータＰ，'Ｐ"，Ｐ'''は第３の組のデータとして記憶される。したがって可変数の追加のＰ'フレームを、第２のプレイバックモードの各フレームに対して生成することができる。
本発明のより簡単な形態では、エンコーダは定数のフレームに対して作動して、定数のＰ'フレームを生成することができる。実地の経験から、３つのＰ'フレーム、Ｐ'，Ｐ"，およびＰ'''が許容できる結果を与えることが分かる。
したがって、ビデオ信号の標準プレイバックモードを表す第１の組のデータ10は、第２のプレイバックモード（高速前送り／高速巻戻し）Ｉ'Ｉ'Ｉ'Ｉ'Ｉ'......を表す第２の組のデータ20および標準プレイバックモードビット流10を再び結合できるようにする別の組のデータ30、Ｐ'，Ｐ"，Ｐ"と一緒に、ＰＰＰＰＰ......を生成する。これらの組のデータは、データの組間のリンクを記録する関係する制御リスト（下記参照）と一緒にローカルメモリ34に記憶される。
高速前送り／高速巻き戻しモード用のイントラフレームは、正常プレイバックモードビット流のビットレートと比較して低減したビットレートでエンコードされる。Ｉ'フレームとＩ'フレームにリンクされた正常プレイバックモードビット流のフレームとの間の差はエンコードされて、追加のＰ'フレームを形成する。エンコーダの制御ユニット22は、追加のＰ'フレーム内のマクロブロックごとに、次のやり方で量子化器ステップサイズを自由に変更する。エンコーダは、図３に示したように各Ｉ'フレームをそれぞれＰ'，Ｐ"，およびＰ'''としてエンコードした後で追加のＰフレームを付加する。各Ｉフレームの後にエンコードされるＰフレームの数は、素材がエンコードされるときに、プログラマブルであり、本発明に対して基数的なものでない。
したがって各Ｉ'フレームは比較的粗い量子化器ステップサイズ（例えば、Ｈ．２６１コーディング方式のレベル８）でエンコードされて、Ｉ'フレームを形成するために送られるビット数がコーディング方式のビット／映像制限の最大数に含まれることを保証する。このＩ'フレームは、デコードされて表示されると、わずかに不鮮明で斑があるように見える。次のＰフレーム、Ｐ'も比較的粗い量子化器のステップサイズを使用し、像をさらに鮮明にする。Ｈ．２６１およびＨ．２６３の仕様では一層細かい量子化器のステップサイズのみが低ピクセル値を認めていることに注意したい。Ｉ'フレームが（間接的に）リンクされているメインビット流のフレームに収束するためには、実際はＩ'フレームには２以上の追加のＰフレームＰ'，およびＰ"，Ｐ'''が続き、画像をＰフレームのメインビット流によって得られる鮮明度と比較可能なレベルにまで鮮明にする。第１のフレームＰ'は規格（例えば、Ｈ．２６１コーディング方式のレベル８）において特定される全範囲のピクセル値を許容し、第２のフレームＰ"はさらに細かい量子化器ステップサイズ（例えば、Ｈ．２６１コーディング方式のレベル４）で、メインビット流と比較可能な映像品質を達成する。Ｐ'およびＰ"フレーム間の差の大きさが２５５よりも小さいことが予測されるとき、より低い範囲のピクセル値を許容できる。次のＰ'フレームＰ'''はさらに細かい量子化ステップサイズ（例えば、Ｈ．２６１コーディング方式のレベル１）を使用する。
この技術の長所の中には、高速前送りまたは高速巻き戻しが要求されるとき、第１のフレームＩ'が端末によって受取られるまで遅延が少なくなることである。継続するＩ'フレームが、サーバ２を要求して正常のプレイバックモードを再開する制御信号がユーザ端末６から受取られるまで送り続けられる。再生される最後のＩ'フレームと関係する追加のＰ'フレームが送られて、信号を、正常のビット流から再生されることになる次のフレームによって表わされるフレームに収束するようになる。この方法は、次第に細かくなる量子化器ステップサイズをもつＩ'フレームの後に、このコーディング方式によって支援される最良の画像品質に収束できるように、追加のＰフレームを幾つでも含むように広げることができる。
Ｐフレームの正常のシーケンスをかなり時間の間送ることによって差が永続するようになるので、最後の追加のフレームＰ'''は、フレームＰ'''がリンクされるデータ10の正常にエンコードされたフレームとはほとんど違いないものになるべきである。これらの違いは、Ｈ．２６１およびＨ．２６３規格の一部分として特定される“組織的な更新（systematic update）”プロセスによって特定のマクロブロックに対してのみ取り除かれることになる。
したがって、粗く量子化されたＩ'フレームは、ＭＰＥＧまたはＨ．２６１規格の標準のＩ−フレームよりも送るビット数は少なくてよいので、少ない遅延で送られる。次の追加のＰフレームは粗の量子化から生じるアーティファクトを取り除き、粗く量子化されたＩフレームとＰ'フレームとの間の大きな予測される差をエンコードする。最後のＰ'''フレームは量子化され、標準のビット流とうまく整合する。
これにより、追加のアーティファクトを、表示されることになる信号に挿入せずに高速前送りおよび高速巻き戻しが可能になり、この信号はそこでビデオ信号の正常のプレイバックモードを永続させるようにする。高速前送りおよび高速巻戻しによる高速化は、シーケンスがエンコードされる時に定められる。ハイスピードの高速前送りおよび高速巻戻しが要求されると、多数のＰフレームが各Ｉフレーム間でエンコードされることになり、また各Ｉフレーム間にかなりの時間が存在することになる。例えば、記憶した素材が１２８kbit/sの中間ビットレートでエンコードされ、10倍のスピードアップファクタが高速前送りおよび巻戻しに要求されると、Ｉ'フレームは１２．８kbit/sの平均ビットレートでエンコードされることになる。
一時停止が要求されるときは、ユーザの端末は現在デコードされたフレームを表示することができる。しかしながらデコードされたフレームがユーザのディスプレイ上で維持されるときには、映像のアーティファクトは観察者にとってより明らかになる。
したがってその代りに、第２の組のデータのＩ'フレームに対する次のリンクに到達するまでは、サーバ２は正常のプレイバック信号を送り続けることができる。Ｉ'フレームおよび次のＰ'，Ｐ"，Ｐ'''フレームはそこでディスプレイへ送られる。しかしながら、ビデオ信号の正常のプレイバックレートよりも著しく速いレートで高速前送りがエンコードされるとすると、次のＩ'フレームに到達する前にかなりの遅延があってもよい。
本発明の第２の実施形態にしたがって、図４に示したように、高速前送りおよび高速巻き戻しに対するＩフレームよりも比較的に一層頻繁に、複数の一時停止のシーケンスＰ、Ｐ'，ＰＰ"，ＰＰ'''がエンコードされる。各ＰＰ'一時停止シーケンス40ａは、正常のプレイバックモードの再構成されたフレームＰ_nと元のビデオ信号の対応するフレームＦ_nとの間の差を計算することによってエンコードされる。一時停止シーケンス40は別の組のデータとしてもメモリ34内に記憶される。
一時停止シーケンスのためのエンコーディングプロセスは、高速前送りおよび高速巻き戻しに使用されるプロセスに類似しているが、この場合は最初のＩフレームは生成されない：
１．正常のプレイバックモードビット流に対応する第１の組のデータ10はデコードされ、フレームは、ローカルメモリ34からのエンコーダのフレームメモリ26はへロードされる。
２．第２のプレイバックモード、すなわち一時停止（ポーズ）を表す別の組のデータ40が生成される。この別の組のデータは、ビデオ信号の元のフレームＦ_(n)をエンコーダ入力11に入力して、フレームＰ'''メインビット流10の対応するデコードされたフレームをもつフレームメモリ26にロードすることによって生成される。２つのフレーム間の差が計算され、閾値よりも大きいときには、関係する制御リストをもつローカルメモリ34内の一時停止フレームＰＰ'としてエンコードされ、記憶される。
３．次にＰＰ'はデコードされ、加算器32によってフレームメモリ26に加算され、制御ユニットは再びフレームメモリの内容とフレームＦ_(n)の間の差の計算を開始する。これは、エンコーダＦ_(n)への入力およびフレームメモリ26の内容が収束して、２つの間の差が所定の閾値よりも小さくなるまで続く。したがって可変数のＰＰ'の一時停止フレームは一時停止モードの各フレームに対して生成することができる。
明らかに、生成された最後のＰＰ'フレームは正常のビット流10内の対応するフレームから発散している。これは多数のやり方で処理することができる：
ａ）特定の一時停止ポイントの最後のＰＰ'と関係する制御リストへのエントリは次のＩ'フレームにリンクされ、例えば図４では高速前送りデータ組で行われ、ＰＰ'はＩ'₁にリンクされる（図４の参照符号42参照）か；または、
ｂ）別のデータをエンコードして、一時停止フレームＰＰ'によって表される映像を正常のプレイバックビット流10内で再構成されたＰフレームへ収束させるようにする。こうして図４の参照符号44に示されているように、最後ＰＰ'フレームと関係するリンク内のエントリは次のＰフレームへリンクされる。第１の実施形態を引用して記載したのと同じやり方で、一時停止ポイントがリンクされことになるメインビット流10についてのデコードされたフレーム（例えば、次のフレームＰ_X+1）が、入力11を介してエンコーダに入力され、一方でデコードされた最終の一時停止フレームＰＰ'''はフレームメモリ26にロードされる。第１の実施形態に関して、減算器への２つの入力が収束するかまたは一定の数の反復が行われるまで、入力フレームＰ_X+1とフレームメモリ26の内容との間の差はエンコードされて、再生再開フレームおよび関係する制御リストを形成する。
インターフレームはイントラフレームよりも含んでいるビットが少ないので、一時停止モードに対してＰＰ'フレームだけを使用することは、サーバに記憶されたビデオデータ量を著しく増加せずに、より多くの一時停止ポイントを挿入できることを意味する。
種々の源からのオーディオビジュアル素材をコード化することができ、エンコードされたビット流は、ビデオサーバ２のメモリ４に後の段階で記憶するための大容量のメモリシステム、すなわち典型的にはハードディスクドライバまたはＣＤ−ＲＯＭ上に記憶される。
したがって、本発明においてはエンコーディングプロセスは、素材が処理され、記憶媒体に記憶されるときのみ行われる。素材は伝送帯域幅および支援されることになる端末の種類を支援するのに要求されるいくつかのレートで記憶できる。一般にオーディオビジュアル素材はＰＳＴＮ、ＩＳＤＮ、ＬＡＮ、またはＡＤＳＬネットワーク上で送られ、エンコーディングプロセスはそれぞれ要求レートで行なわれる。
記憶された素材は、エンコードされたビット流をデコードできるクライアント端末６および関係するオーディオコーディングアルゴリズムによってアクセスできる。制御チャンネル８は、高速前送り、高速巻き戻し、一時停止、および他のモードを行なうことができるサーバの制御を可能とするのに要求される。現在、この制御機構に対するＩＴＵ規格はない。図１はこのような構成を示している。
オーディオビジュアル素材がクライアント端末によって要求されるとき、サーバによって要求される追加のデコーディング／エンコーディング／リコーディング（re-coding）プロセスなしに、素材を規格に従う端末へ直接に送り出すことができる。したがって比較的に廉価なサーバは記憶された素材への多くの同期アクセスを支援できる。
クライアントデコーダからのコマンドを使用して、サーバが送るビット流を制御する。送られたビット流の構成要素はサーバ上で保持される制御リストによって制御される。図５において、Ｆ０乃至Ｆ９はエンコードされる素材の元のフレームを表し、固定フレームレートで行われる。Ｐｎは、デコーダによって構成されることになる標準プレイバックモードの予測されるフレームを表わし、Ｂ（ｎ，ｍ）はビット流を表し、このビット流を送るとき、デコーダはＰ_nからＰ_mへ移動できる。
制御リストはコーディング中に生成され、サーバによるメモリ４からのアクセス用記憶媒体に保持される。制御リスト50は、メモリ内に保持される異なるフレームからのリンクを含む。ビット流の各要素ごとに１つの制御リストがあり、Ｂ（０，１）乃至Ｂ（Ｎ，Ｎ＋１）のラベルを付けられている。図５にはビデオ流が示されており、１つの制御リストから次の制御リストヘ‘再生’リンクが続いている。
制御リスト内の要素の例は図６に示した。各制御リストまたはブロック50は：ビット流識別子51；デコーダによってビット流を再生できるエンコードされた信号の開始に対して最も早い時間を示すタイムスタンプ52；メモリ内のフレームの圧縮されたビット流のピストンを示すファイルオフセット53；フレーム内のビット数を示すビット流サイズ54；プレイバックモードで再生される次の制御リストの識別子を示す再生リンク55；巻き戻しプレイバックモードで再生される次の制御リストの識別子を示す再生逆送りリンク56；高速前送りモードで再生される次の制御リストの識別子を示す高速前送りリンク57；高速巻き戻しモードで再生される次の制御リストの識別子を示す高速巻き戻しモード58；一時停止モードで再生される次の制御ブロックの識別子を示す一時停止リンク60；およびプレイバックモードを再開するときに再生される次の制御リストの識別子を示す再スタートリンクとを含む。
図７は、エンコードされたビデオ信号の一部分に対する制御リストを示す。制御リスト501乃至506は標準プレイバックモードのＰフレームを表す。制御リスト507乃至509は、高速前送り／高速巻き戻し（rewind）に対して生成されたＩ'フレームと関係付けられている。制御リスト510乃至518は、高速前送り画像を標準再生ビット流の再結合ポイントへ集中させるのに生成される追加のＰ'フレームと関係付けられている。
図７は、一時停止シーケンスＰＰ'を示していないが、類似の制御リストは、要求に応じてこの、および他の再生モデルに対して記憶されることが分かるであろう。

Claims (3)

1. 動画を伝送する方法であって、該方法は、
   該動画の第１のプレイバックモードに関するエンコードされたフレームの第１のシーケンスを記憶することと、
   該動画の第２のプレイバックモードに関するエンコードされたフレームの第２のシーケンスを記憶することと、
   該第２のシーケンスのフレームの伝送中に、第１のプレイバックモードへの切換え要求を受領することと、
   前記要求に応答して、該第２のシーケンスのフレームの伝送を終了し、適切なエントリポイントで始まる該第１のシーケンスからのフレームへ切り換えることと、を含み、
   該第１のシーケンスはインターフレームコーディングを用いてエンコードされ、
   前記方法は、該第２のシーケンスのフレームの伝送を終了した後で該第１のシーケンスからのフレームへ切り換える前に、１）伝送の終了のポイントで該第２のシーケンスの局部的にデコードされたフレームと、２）該第１のシーケンスへのエントリポイントでの局部的にデコードされたフレームとの間の差を表す遷移データを送信することを含む方法。
2. 前記遷移データは、該第１のシーケンスの局部的にデコードされたフレームと該第２のシーケンスの局部的にデコードされたフレームとの間の差の量子化されたバージョンである第１の組の遷移データと、
   該第１のシーケンスの局部的にデコードされたフレームと該第１の組の遷移データに加えられた該第２のシーケンスの局部的にデコードされたフレームとの間の差の量子化されたバージョンを表す別の組の遷移データと、を含む請求項１に記載の方法。
3. 該第２のシーケンスは画像の一時停止モードに対応し、該一時停止モードのエンコードされたフレームは該第１のシーケンスのデコードされたフレームと元のビデオ信号の対応するフレームとの間の差を反復してエンコードすることによって生成される請求項１または請求項２に記載の方法。

Images