JPH11500592A - エンコードされたビデオビットストリームのセクションを交換するための方法及びシステム - Google Patents

Abstract

(57)【要約】 既にエンコードされたデジタルビットストリームのセクションを他のセクション又はエンコードされたビデオに置き換える方法及びシステム。エンコードされたビデオのセクションを除去するためには、デジタル的にエンコードされたビットストリーム内のエンコードされたビデオの始点及び終点を決定しなければならない。そのエンコードされたデータの始点及び終点アドレスは簡単には参照できないが、各ピクチャーで消費されたビット、各ピクチャーのシーケンスヘッダーのビット数、各ピクチャーグループ(GOP)ヘッダーのビット数、及び全スタッフビットを加算することにより計算される。除去されるビデオの代わりに挿入されるビデオをエンコードするために、無関係な信号成分のデコードを防ぐための処理が実行される。この処理は編集ポイント前の最終ピクチャーを判断し、編集ポイント後のフレームに関する参照フレームとしてその最終ピクチャーを使用することにより行われる。更に、その最初の量子化値を用いてエンコードされた最初のビデオの短い期間が、置き換えられるビデオの終わりに含まれる。又は、初期にエンコードされた参照ピクチャーが使用されないように、エンコーダは動作する。しかしこれは、ピクチャーの品質を維持するために余分のビットが必要となる。なぜなら、置き換えビデオの初期の双方向フレームは2つの参照フレームの代わりに1つの参照フレームのみを使用するからである。

Description

【発明の詳細な説明】 エンコードされたビデオビットストリームのセクションを 交換するための方法及びシステム 関連出願に対するクロスレファレンス 本願は、1995年5月8日に提出された「エンコードされたビデオビットストリー ムのセクションを交換するための方法およびシステム」と題する米国特許明細書 連続番号08/438,014に関連している。本願は又、「オーディオエンコーダの数が 低減されるオーディオ映像エンコードシステム」と題する米国特許明細書連続番 号08/467,991、「既にエンコードされたビデオフレームの品質を手動で変えるた めの方法およびシステム」と題する明細書連続番号08/466,391、「ユーザが既に エンコードされたビデオフレームの品質を手動で変えるための方法およびシステ ム」と題する米国特許明細書連続番号08/469,370、「量子化レベルを変化させる ことにより、ビデオエンコーダのビット割当てを制御するレート制御式デジタル ビデオ編集法およびシステム」と題する米国特許明細書連続番号08/466,766、お よび「レート量子化モデルを使用しエンコードするビデオエンコード方法および システム」と題する米国特許明細書連続番号08/473,783に関連し、これらの特許 明細書は共に1995年6月6日に提出され、本明細書に参考として取り入れられてい る。 発明の背景 技術分野 本発明はエンコードされたビットストリームセクションが新たなセクションに 置き換えられるエンコードシステムに関し、特にエンコードされたビデオセクシ ョンがデコード副成分(decoding artifacts)を減少するように置き換えられるビ デオエンコードシステムに関する。 従来の技術 圧縮法が利用できるようになる前は、オーディオ、ビデオ、及びフィルムは単 にオーディオ、ビデオ、及びフィルムのセクションすなわち一部を切り取り、必 要に応じてそのセクションを新たな又は代替えのセクションに置き換えることに より編集が行われていた。しかし、データをエンコードする圧縮法が用いられる ようになると、単純な「カット及び貼り付け」編集は、ビデオフレームを構成す るのに用いられる情報として不可能となった。従ってエンコードされたビデオセ クションを単純に切り取ることは、変更されていないビデオセクションを劣化さ せることがあり、新たなビデオがすでにエンコードされたビットストリームに単 純に挿入されると、デコード副成分を含むことがある。 MPEGビデオエンコードにおいてこの問題を解決するために、以前のビデオ内に 置き換えられる新たなビデオセクションを閉じたピクチャのグループ（GOP：gro up of pictures）としてラベル付けする方法がある。MPEGエンコードにおいて 、閉じたピクチャのグループは、第１のコード化されたIフレーム直後のＢタイ プフレーム内に用いられる予測が、後方予測のみを使用することを示す。または 、MPEGは「broken link」と呼ばれるフラッグの使用を可能とする。このフラッ グは設定されたとき、第１のコード化されたIフレーム直後の第１のＢフレーム が、予測に用いられる参照フレームを利用できないために、正しくデコードされ ないことがあるということを示す。そのデコーダは正しくデコードできないフレ ームの表示を防ぐためにこのフラグを用いる。 上記解決策は、エンコードされたビデオを劣化させ、品質の低いビデオを提供 することがある。 発明の概要 従って本発明は、すでにエンコードされたデータセクションが、エンコードさ れた他のデータセクションに置き換えられるシステムであって、目にみえるデコ ード副成分の少ないまたは無い新規な方法および装置を提供することを目的とし ている。また本発明の目的は、置き換えるべきエンコードされたビデオセクショ ンが、既にエンコードされたビデオ内にエラーすなわちビデオデコード副成分を 含めないように、エンコードされた他のビデオセクションと置き換えられるビデ オエンコードシステムを提供することである。更に本発明は情報を新規で有用な 方法で格納するデータ構造を有するメモリを提供することを目的とする。 上記及び他の目的はエンコードされたビットストリームのセクションを置き換 える新規な方法およびシステムにより達成される。エンコードされたビデオのセ クションを取り除くために、デジタル的にエンコードされたビットストリーム内 で、エンコードされたビデオの始点および終点を判断する必要がある。これは、 も目的の画面に対するビットオフセットを判断するために既にエンコードされた 各フレームに用いられたビットの数を加算することにより行われる。他の方法と してエンコードされたビットストリーム内の特定フレームの正確な位置又は時間 を示す情報を維持するためにディレクトリを用いることができる。 オリジナルビデオの例えば第２セクションの１／２である１つのGOPの第１セ クションは、エンコードされる新たなビデオの始点に位置し、次のGOPの最初の ２つのＢフレームを正しくエンコード及びデコードするのに必要な切断点の前の GOPの最後のＰフレームを生成するために用いられる。この短い初期セクション からのエンコードされたデータは、すでにエンコードされたデータ内で置換され ることはなく、スタート点後の最初の２つのＢフレームにより参照される参照フ レーム（最後のＰフレーム）を生成するためにのみ利用される。 又、前記オリジナルビデオの短いセクションはビデオの終点に位置し、最初に エンコードされたときに用いられた量子化値を用いてエンコードされる。GOP内 のエンコードされたビデオのフレームは既にエンコードされたフレームに戻って 参照されるので、最初のエンコードのフレームが前記終点直前のビデオの新たな フレームに戻って参照されると、デコードに関する突然の不具合が発生すること がある。従って、オリジナルビデオがオリジナルフレームに同等なフレームに戻 って参照されるのが望ましい。オリジナルビデオの１／２が編集セグメントの始 点で再びエンコードされるが、これは本質的なものではない。 他の方法として、置換ビデオ内のフレームが置換ビデオの外側のフレームに依 存しないように、置換ビデオは周知の閉じたピクチャのグループモードを用いて エンコードされる。この方法の新規な特徴は、予備ビットが双方向フレームに割 り当てられ、Ｂフレームのビット数がＰフレームに用いられるビット数の概算値 を示すように、この双方向フレームは閉じたGOPモードのために単一方向予測の みを有することである。この方法では、閉じたGOPモードは大きなデコード副成 分をＢフレームに含まず、ＢフレームはほぼＰフレームと同一の品質を有する。 デジタル格納媒体に格納されたエンコードされたビデオも本発明の一部を構成 する。本発明は又、新規で有用なデータ構造を格納するメモリを含む。。このメ モリは好適に光ディスクである。 図面の簡単な説明 本発明およびその付随する効果のより完全な理解は、以下の詳細な説明を添付 図面とともに参照することによって、容易に得られるであろう。その場合、 図1Aは、エンコーダシステムアーキテクチャのブロック図を示している。 図1Bは、エンコードされるべきオーディオおよびビデオを得るための装置、な らびにエンコードシステムにより作成されるエンコードされたオーディオ映像デ ータを書き込み、伝送するための装置を示している。 図2は、図1のシステムの一般的な動作を示しているフローチャートである。 図3は、セットアップ状態で実行されるプロセスを示しているフローチャート である。 図4は、圧縮状態で実行されるプロセスを示している。 図5は、編集状態で実行されるプロセスを示している。 図6は、開始状態、完了状態、および終了状態のために実行されるプロセスを 示している。 図7は、マルチパスビデオエンコーダを使用しながら所定数のオーディオトラ ックをエンコードするのに必要とされるオーディオエンコーダの数を決定するる 方法、ならびにオーディオエンコードおよびマルチパスビデオエンコードを同時 に実行するプロセスを示すフローチャートである。 図8A-8Dは、シーケンスレーヤのログファイルフォーマットを示している。 図9A-9Cは、ピクチャレイヤログファイルフォーマットを示している。 図10Aおよび図10Bは、マクロブロックレーヤのログファイルのフルフォーマッ トおよびショートフォーマットを示している。 図11は、ログファイル内の情報を活用するためのプロセスを示している。 図12は、異なる期間に対する画質の手動調整中に実行される一般プロセスを示 している。 図13は、様々な期間で画質を変更するためのパラメータを入力するために使用 されるユーザインタフェースを示している。 図14は、所望の画質に対応するビット数を計算するための一般的な手段を示し ている。 図15は、最大または最小のユーザ選択優先順位が設定されるセクションを処理 するために使用されるプロセスを示している。 図16Aおよび図16Bは、最大または最小の優先順位ではない希望の画質に対応す るビット数を計算するためのフローチャートを示している。 図17は、画質を変更した結果、アンダフローが生じる場合に確認するために使 用されるプロセスのフローチャートを示している。 図18は、バッファアンダフローが、編集セグメント内で加えられた変更のため に、編集セグメントの後のフレームで発生するかどうかを判断するためのフロー チャートを示している。 図19Aおよび図19Bは、ユーザが選択した品質によってエンコードされたビデオ のビットレートがどのように変更されるのかについての2つの別々の例を示して いる。 図20は、1つのフレーム内のさまざまな領域の画質の手動調整の間に実行され る一般的なプロセスを示している。 図21は、ビデオの1フレーム内にユーザが選択した優先度が設定されたさまざ まな領域の例を示している。 図22は、選択された優先順位に使用される元の量子化の端数小数部に対するユ ーザ選択優先順位のグラフを示している。 図23は、ユーザ選択優先順位の結果生じるビット数と、フレームの元のエンコ ードの結果生じるビット数の間の差異が許容できるかどうか、あるいは訂正手順 を実行しなければならないかどうかを判断するためのプロセスを示している。 図24A-24Cは、設定されたビットが多すぎると判断されるために、ビット数を 低減する目的でマクロブロックの量子化レベルが増分される場合に、フレームを 訂正するためのプロセスを示している。 図25A-25Cは、ビット数を増加するために1つのフレーム内のマクロブロックの 量子化レベルを引き下げることによってフレーム内の少なすぎるビットを訂正す るためのプロセスを示している。 図26は、n個のマクロブロックの集合のそれぞれで使用されるビットの予想数を メモリからロードしてから、n個のマクロブロックの集合ごとにビットの結果数を カウントし、ビットの予想数および作成数に基づいた概算の精度を計算し、フレ ームの列のターゲットサイズに近く留まるために、次のn個のマクロブロックの 予め割り当てられた量子化レベルを調整する一般的なプロセスを示しているフロ ーチャートである。 図27Aは、固定割当てされた量子化レベルを示しているフレームのピクチャであ る。 図27Bは、マクロブロックの各集合に1スライスが含まれ、マクロブロックの第 1集合が再エンコードされた後で、第1訂正係数が計算され、第1訂正係数がマク ロブロックの第2集合に加算された場合の、図24Aのフレームのピクチャである。 図27Cは、マクロブロックの第2集合が再エンコードされた後で、第2訂正係数 が計算され、第2訂正係数がマクロブロックの第3集合に追加された、図27Bのフ レームのピクチャである。 図27Dは、マクロブロックの第1集合に2つのスライスが含まれ、マクロブロッ クの第1集合が再エンコードされてから、第1訂正係数が計算され、第1訂正係数 がマクロブロックの第2集合に加算された場合の図27Aのフレームのピクチャであ る。 図28Aは、その量子化レベルが変更される2つの異なった領域を含む1フレーム である。 図28Bは、その量子化レベルが変更された2つの異なった領域を表すために使用 されるビデオストリーム内でのビット数の変更を示している図24Aのフレームの2 つの考えられるエンコードのピクチャである。 図29は、再エンコードされた列の総長が列の元の長さに等しい、一連の画像を 表すために使用されるビット数の変更を示しているビデオストリームである。 図30は、訂正係数指数が、どのようにして概算率を使用して割合ルックアップ テーブルから求められるのかを説明するフローチャートである。 図31は、訂正係数が、訂正係数指数を使用して訂正係数テーブルからどのよう にして選択されるのかを説明するフローチャートです。 図32は、訂正係数が、概算割合およびマクロブロックの再エンコードされてい ない残りの集合数を使用してどのようにして計算されるのかを説明するフローチ ャートである。 図33Aは、エンコードされたフォーマットを取るオリジナルビデオのセクショ ンを示している。 図33Bは、元のエンコードされたビデオに置き換えられなければならないエン コードされていないフォーマットにおけるビデオの新なセクションを示している 。 図33Cは、オリジナルビデオのエンコードされていないセクションがその両端 にあるビデオのエンコードされていない新たなセクションを示す。 図33Dは、元のエンコードされたビデオに置き換えられなければならないエン コードされたフォーマットにおける図33Cのビデオを示している。 図33Eは、置き換えられたエンコードされたビデオがその中に含まれる、元の エンコードされたビデオを示している。 図34は、減少された副成分を有するビデオとなるエンコードビデオデータスト リームにビデオのセクションを置き換えるプロセスを示している。 図35Aは、立ち下がり端でのオリジナルビデオのエンコードされていないセク ションを有するビデオのエンコードされていない新しいセクションを示している 。 図35Bは、図33Aにブロック図される最初にエンコードされたビデオに置き換え られるエンコードされたビデオのセクションを示している。 図35Cは、図35Bの置き換えられたエンコードされたビデオを含む図33Aの最初 にエンコードされたビデオを示している。 図36は、クローズグループのピクチャモードを使用して置き換えられるビデオ をエンコードすることによって、エンコードされたビデオビットストリームを編 集する場合に、副成分を減少させるためのプロセスを説明する。 図37Aは、事前エンコードプロセスでビットレートモデルに対する量子化レベ ルを作成するために、それに割り当てられる2つの量子化レベルが設定される未 処理ビデオのフレームである。 図37Bは、回転パターンで割り当てられる4つの量子化レベルのあるフレームで ある。 図37Cは、ブロックフォーメーションで分散される4つの量子化レベルのあるフ レームである。 図38は、ビデオ信号を得て、それらの信号を事前エンコードし、事前エンコー ドフェーズで特定された量子化レベルに対するビットレートを決定するプロセス を説明するフローチャートである。 図39は、2つの記録済みフレーム、およびビットレートに対するそれらの対応 する量子化レベルである。 図40は、最終的には光ディスクに格納されるエンコードされたデータの最終フ ォーマットの概略を示している。 図41は、図40のディスク情報ファイル908を説明する。 図42は、図40にブロック図されるデータファイルのデータファイル管理情報の 内容を示している。 図43は、図40のデータファイルに記憶されるデータの詳細を示している。 図44Aは、その中でそのデータがスタッフィングパケットを必要としないデー タパックを示し、図44Bはパディングのためにパケットを必要とするデータパッ クを示している。 図45は、再生情報パックを示している。 図46は、図45のデータ検索情報996の中に含まれる情報を示す。 図47は、図46の一般情報を示している。 図48は、図46にブロック図される同期再生情報を示す。 図49は、ビデオパックを示している。 図50は、ピクチャのグループ(GOP)とビデオパックの列の間の関係を説明する 。 図51Aは、MPEGオーディオエンコード仕様に従ってエンコードされたオーディオ パックを示している。 図51Bは、AC-3またはリニアPCMオーディオエンコードに従って構築されたオー ディオパックを示している。 図52は、エンコードされたオーディオストリームとオーディオパックの間の関 係を示している。 図53は、サブピクチャユニットの構造を示す。 図54は、サブピクチャパックの構造を示す。 図55は、サブピクチャパックに関連したサブピクチャ装置の構造を説明する。 図56は、表示サブピクチャユニットnとサブピクチャユニットn+1の間の変化を 示している。 実施例 本発明は、複数の構成要素および機能を備えるデジタルビデオエンコードシス テムである。システムのさまざまな構成要素をさらに容易に識別する目的で、本 明細書は、以下に示す項に編成されている。 I． はじめに II． システム構成要素 III． 汎用システム動作 IV． システム代替策 V． 最適エンコード効率を維持しながらオーディオエンコーダの数を低減す る VI． エンコードされたビデオの情報を記憶するためのログファイル、ならび にログファイルおよびエンコードされたビデオにアクセスするためのログインタ プリタユーティリティ VII． エンコードされたビデオの品質の変更 A．期間での品質の変更 B．フレームの領域内での品質の変更 VIII． 品質変更後のビデオの再エンコード A．品質が単独フレーム内で変更された場合のビット割当て制御 B．編集ポイントでのデコードを回避しながら再エンコードする 1．最初にエンコードしたときに使用された状態にエンコーダを復元する 2．ピクチャのグループのクローズモードでの再エンコード IX． エンコードに使用されるレート量子化モデリング X． データ構造を使用して、オーディオ、ビデオ、およびサブピクチャのデ ジタル信号を結合する I．はじめに 開示されたシステムは、デジタル圧縮システムとしても知られるデジタルオー ディオ映像エンコードシステムに関する。本明細書に開示される考えは、あらゆ る種類のエンコードスキームで使用可能で、特に、正式にはISO/IEC 13818-2、M PEG-2システム情報を指定するISO/IEC 13818-1、およびMPEG-2の前身であるMPEG -1（ISO/IEC 11172-ビデオ)として知られるMPEG-2（エムペグ：Moving Picture Experts Group）に適用できる。本明細書では、MPEG-1およびMPEG-2は集合的に 「MPEG」と呼ばれる。MPEG規格は、圧縮されたまたはエンコードされたビデオス トリームの構文だけを指定しているが、圧縮をどのように実行するかは指定して いない。MPEGエンコードされたデータストリームは圧縮済みのデータストリーム であるため、エンコードプロセスは圧縮プロセスと呼ぶことができるし、その逆 も可能であることに注意すべきである。また、システムはドルビーAC-3を使用し て実行できるオーディオのエンコード、つまりISO/IEC 13818-3に定義されるMPE G-2規格にも関する。前記規格のそれぞれが、それらを参照することにより本明 細書の一部をなすものとする。 MPEGビデオ圧縮は、時間的な因果関係の予測圧縮である。MPEGエンコーダは新 しいビデオピクチャを受け取ると、新しいビデオピクチャを、エンコーダが既に エンコードされたピクチャに基づいて作成した予測されたピクチャと比較する。 予測が以前に伝送された情報に基づいて立てられるために「因果関係(causal)」 予測コーディングという用語が使用され、予測が時間的なピクチャ単位で実行さ れるために、「時間的(temporal)」因果予測コーディングという用語が使用され る。予測手順には、ビデオピクチャ内での領域の運動の予測が必要である。した がって、時間的予測は、動き補償予測と呼ばれることもある。 旧ピクチャと新ピクチャの比較の結果は、後のビデオピクチャに格納される新 しい情報を表す。それから、「残留情報(residual information)」と呼ばれる新 しい情報は、一連の情報圧縮プロセスを受けることとなる。まず、離散コサイン 変換(DCT)と呼ばれる一次数学変換が実行される。DCT演算により、ピクセル残留 情報が係数の列に変換される。MPEG圧縮においては、DCTは8x8ピクセルから成る ブロックで実行される。同様に、DCT係数も8x8配列数内に入れられる。その後、 これらの係数は、量子化ステップサイズつまりq-レベルに基づき、精度の設定さ れた程度まで個別に量子化される（すなわち四捨五入される）。量子化プロセス は、通常、値ゼロが設定された多くの係数を生み出す。さもなければ、この量子 化プロセスは、量子化雑音と呼ばれるコーディング構造が生じさせることとなる 。 量子化された係数は、その後、ゼロ値が設定された係数でのランレングスコー ディング、およびそれぞれが結果として生じるランレングス値とゼロ以外の係数 値をそれぞれ表す2つの数の組の可変長コーディングの組み合わせを使用してコ ーディングされる。これらのランレングス非ゼロ値の組のコードは、他のオーバ ヘッド情報とともに、ビデオピクチャに対応する圧縮済みデジタルデータストリ ームを形成する。出力データ転送レートや記憶容量のような物理的な制限のため に、適切な量の圧縮が達成されるように、量子化の程度を変化させることが必要 である。これがバッファフィードバックと呼ばれる。 MPEGに準拠するデコーダは、エンコードされたのデジタルデータストリームを 読み取り、エンコードプロセスと逆の演算を実行する。 一般的には、デジタルデータストリーム中のビット総数は、実質上、ビデオピ クチャを表すために必要とされるビット総数を下回るため、圧縮が達成される。 しかしながら、MPEGビデオコーディングによって例証されるような圧縮が、決し て歪みや人為構造(artifacts)を免れないことを認識することが重要である。前 述したように、圧縮人為構造の主要なソースは量子化プロセスである。 開示されたシステムは、圧縮プロセスまたはエンコードプロセスの間に量子化 の程度を動的に調整することを目的とする。特に、調整は人間のオペレータによ って出される指示に従って行われる。調整は、より大きなビデオシーケンスの部 分に適用する場合もあれば、ビデオシーケンス全体に適用することもある。 II．システム構成要素 ここで、類似した参照番号が複数の図を通して同一の部分または対応する部分 を示し、さらに特定するとその図1Aを示す図面を参照すると、エンコーダシステ ムアーキテクチャのブロック図が示されている。ビデオエンコードプロセスとは 、中断やエラーなくエンコードおよび編集を達成するために同期して動作する多 くの異なった装置を必要とする1つの複雑なプロセスであることに注記すべきで ある。しかし、オーディオエンコードおよびビデオエンコードは、適切なタイム コードが使用される限り、別個に実行できる。図1Aには4つのワークステーショ ンが描かれているが、通常、エンコードシステムのユーザまたはオペレータが対 話するのは1台のキーボードおよびワークステーションだけである。ワークステ ーションは、プロセッサ、RAM、ROM、ネットワークインタフェース、ハードディ スク、キーボード、モニタ、およびそれ以外の従来の構成要素のような従来の汎 用コンピュータ構成要素を具備する。 ワークステーション30は、実施例ではSun SPARC20 Unixワークステーションで あるシステム制御ステーションとして機能する。ワークステーション30には、マ ウスやそれ以外のポインティングデバイスであるキーボード32およびポインティ ンブデバイス33のような従来のワークステーション入力装置だけではなく、グラ フィックコンソールディスプレイモニタ31も具備される。ユーザは、おもに、コ ンソールディスプレイ31に表示されるグラフィックユーザインタフェース(GUI) を介してワークステーション30を視覚的に操作することとなる。 ワークステーション30は、以下に説明する別のワークステーション40、10およ び20に接続され、それらを制御する。ワークステーション30は、やはり以下に説 明するオーディオインタフェース装置72およびデジタルビデオキャプチャ記憶装 置60にも接続される。ワークステーション30は、米国電子工業会(EIA)規格RS-23 z2によって定義される直列インタフェースを介してワークステーション40に接続 される。同様に、ワークステーション30とオーディオインタフェース装置72の間 の接続も直列RS-232規格による。ワークステーション30とデジタルビデオキャプ チャ記憶装置60の間の接続は、業界規格のS-バスインタフェースを介している。 フレームジョガー41は、オペレータが、VTR51または52どちらかのビデオを編 集を実行しなければならない箇所に位置決めできるようにするために、ワークス テーション40に接続される。システムは、ビデオの位置を制御するために、オペ レータが入力するタイムコードを使用することができる。ただし、ジョグ制御装 置は、ビデオを位置決めするためにジョブノブの使用を可能にすることによって 、システムのユーザフレンドリ度を高めている。ワークステーション30は、ビデ オディスプレイモニタ61で表示されるビデオが、デジタルキャプチャ記憶装置60 または録画VTR62、あるいはその両方からのビデオであるのかどうかを制御する 。 ビデオエンコード装置50は、MPEG-1、MPEG-2、またはそれ以外のビデオ圧縮規 格に従って圧縮を実行するデジタルビデオエンコーダである。市販されているMP EG-1エンコーダは、ソニーRTE-3000である。MPEG-2エンコーダは、本明細書に参 照により取り入れられる1994年12月27日に出願された日本特許明細書6-326435に 説明される教示に従って構築することができる。ワークステーション10は、業界 規格S-バスインタエースを介してビデオエンコード装置50を直接的に制御し、ワ ークステーション10は、イーサネットネットワークのような標準ネットワーキン グ装置を介してワークステーション30からコマンドを受け取る。エンコードプロ セスの間、ワークステーション10は、ビデオエンコード装置50のビデオエンコー ド制御プログラムのリアルタイム実行をサポートする。実施例においては、ワー クスステーション10は、Sun SPARC20 Unixワークステーションである。 ワークステーション10は中央ワークステーション30からのコマンドに応え、圧 縮プロセスを開始する。圧縮プロセスの間、ワークステーション10は、ビデオ信 号の特定の領域に適用される量子化の程度を動的に制御する。量子化が変化させ られる特定の領域は、空間的領域または時間的領域、あるいはその両方に及び、 量子化が厳密にどのように制御されるのかは以下に説明する。 ビデオエンコード装置50への入力ビデオは、再生VTR 51内のテープからである 。 再生VTR51は、職業用のデジタルビデオ規格、ITU-R 601（以前はCCIR 601ビデオ 規格と呼ばれていた）ビデオテーププレーヤである。この規格は、PALシステム だけではなくNTSCシステムにも適用する。再生VTR 51内のテープには、ビデオカ メラまたはフィルムカメラによってキャプチャされたか、あるいはコンピュータ によって作成されたさまざまな画像および場面を表す電磁情報が記憶されている ことが注記される。ビデオエンコード装置50からのエンコードされた出力は、1 つ以上のハードディスク21で記憶するためにワークステーション20に転送される 。 ビデオエンコード装置50によりエンコードおよび出力されたビデオデータを表 示するためには、MPEG-2のようなデジタルビデオデコーダが必要になる。しかし 、本明細書の作成時点では、実現されたシステムは、このようなデコーダはシス テムの初期開発段階の間は容易に手に入らなかったため、別個のMPEG-2デコーダ を実装していない。したがって、ビデオエンコード装置50は、MPEG-2ビデオスト リームをワークステーション20に出力するだけではなく、MPEG-2のエンコードデ ータに同等な復号化されたビデオ画像がビデオエンコード装置50から録画VTR52 へ出力される。録画VTR 52は、D1インタフェースとして知られる業界規格のデジ タルビデオ信号コネクタによりビデオエンコード装置50に接続され、ワークステ ーション40によって制御される。再生VTR 51および録画VTR 52の両方共、Ampex DCT職業用ビデオテープレコーダを使用して適切に実現される。 オーディオは、例えばドルビーAC-3フォーマットまたは代わりにISO/IEC 1381 8-3規格に記述されるようなMPEEG-2に準拠するフォーマットにエンコードされ、 圧縮される。エンコードシステムのオーディオソースは、4つのデジタルオーディ オテープ(DAT)プレーヤ、71a、71b、71cおよび71dである。スタジオ品質のDATプ レーヤは、ソニーが市販している。DATプレーヤ71a-71dは、ワークステーション 40によって業界規格プロトコルRS-422を介して接続され、制御される。DATプレ ーヤ71a-71dによって出力されるオーディオ信号は、オーディオエンコーダ70a、7 0b、70c、および70dにそれぞれ入力される。これらのオーディオエンコーダは市 販のドルビーAC-3モデルDP 525エンコーダを使用して実現され、オーディオイン タフェース装置72によって制御される。通常、オーディオエンコードは指定され たタイムコードで開始、終了する。オーディオインタフェース装置72は、ワーク ステ ーション30からその間のRS-232接続上でエンコード開始タイムコードおよびエン コード終了タイムコードのような命令を受け取る。さらに、オーディオインタフ ェース装置72は、さまざまなデジタル圧縮済みオーディオデータを、ワークステ ーション20に伝送される単独デジタルストリームに多重化する。ワークステーシ ョン20は、オーディオエンコード装置70により出力される圧縮済みデジタルデー タに対応する複数のファイルに、入力デジタルオーディオストリームを多重分離 する。ビデオエンコード装置50は、そのビデオ同期信号に基づく同期信号をオー ディオインタフェース装置72に提供する。同期信号により、オーディオビットス トリームは、ビデオエンコード装置50により出力されるビデオビットストリーム に同期できるようになる。 ワークステーション30は、さまざまなオーディオエンコード装置70a-70dのど れかからオーディオデコーダ73へオーディオデータの複製を提供するようにオー ディオインタフェース装置72に指示する機能を備える。オーディオデコーダ73は 、圧縮済みのオーディオを、ユーザがスピーカ75を介してオーディオを聞くこと ができるように復号化する。どのオーディオエンコード装置をモニタするかにつ いての選択は、キーボード32またはポインティングデバイス33のどちらかによっ てコンソールディスプレイ31上でのグラフィックユーザインタフェースを通して 人間のオペレータが決定する。オーディオインタフェース装置72の構成は、前述 の機能を実行する機能を備えたハードウェアである。このハードウェアは、1つ以 上のプログラミングされたマイクロプロセッサまたは開示された機能を達成する ために配列される従来の回路要素、あるいはその両方である。 ワークステーション40はスタジオ装置制御ステーションであり、録画ビデオテ ープレコーダ52とともに、再生ビデオテープレコーダ51およびデジタルオーディ オテーププレーヤ71a-71dの両方を制御するために適切なコマンドを発行する。 また、ワークステーション40は、デジタルビデオキャプチャ記憶装置60に、適切 な時点でビデオのキャプチャを開始するように命令する。ワークステーション40 とさまざまなビデオテープデッキおよびオーディオテープデッキの間の接続は、 業界規格のRS-422プロトコルである。このプロトコルを使用すると、各テープデ ッキはワークステーション40に、標準タイムコードフォーマットでその現在のテ ー プロケーションを知らせることができるようになる。ワークステーション40はこ のような情報を使用して、ビデオとオーディオの情報が正しく、再生、記録され るように、さまざまなテープデッキを適切に同期させる。この実施例では、ワー クステーション40は、DOSおよびカリフォルニア州、モアパークにあるEditing T echnologies Corp.Ensemble Proが市販しているソフトウェアプログラムであるE nsemble Proを実行する標準的なIBM互換パーソナルコンピュータである。ワーク ステーション30がRS-232通信ポートを介してワークステーション40で実行してい るEnsemble Proと通信できるように、マイナーな改良をEnsemble Proプログラム に加えたことを注記する。この改良はEditing Technologies，Corp.を介して市 販されているか、あるいは過度の実験を行わないでも当業者により実行できるか のどちらかである。 デジタルビデオキャプチャ記憶装置60は、エンコードシステム内で、以下に示 す2つの機能を行う。第1に、この装置は、ビデオ信号に適用されてきた手動編集 の便利な「前と後」比較を行うためにそのキャプチャ記憶機能を使用し、第2に 、ビデオディスプレイにグラフィックオーバレイ機能を提供する。このグラフィ ックオーバレイ機能は、例えば、空間手動編集フェーズの間に使用され、人間の オペレータが、量子化およびその結果割り当てられたビットの数が変化する関心 のある領域を定義できるようにする。 本発明では、デジタルビデオキャプチャ記憶装置は、カリフォルニア州、マウ ンテンビューにあるViewgraphicsの市販されているDRABMベースのオーディオ製 品モデルVS6000として実現されている。この装置に入力されるデジタルビデオは 、ITU-R-601(旧CCIR 601)画像解像度を備える業界規格D1による。デジタルビデ オキャプチャ記憶装置60の出力は、ビデオ信号の赤、緑、および青の構成要素を 表す3つの別個のアナログ信号を介してビデオディスプレイに接続される。グラ フィックオーバレイ情報は、デジタルビデオキャプチャ記憶装置60によって出力 される最終アナログ信号の作成前に、デジタルビデオキャプチャ記憶装置60によ り処理されるため、他のビデオデータとともにビデオディスプレイモニタ61では 人間のオペレータが見ることができる。 Unix環境で動作しているワークステーション30は、デジタルビデオキャプチャ 記憶装置60を使用するビデオディスプレイモニタ61の上にそのグラフィックウィ ンドウをマップする。これによって、人間のオペレータは、モニタ61に示される ディスプレイのグラフィックオーバレイ面で（矩形の描画のような）グラフィッ ク動作を実行できるようになる。装置60は、オーバレイ機能を実現する。オーバ レイは、メモリ内の情報をモニタを駆動するアナログビデオ信号に変換する前に 、ビデオメモリで実行される。システムが使用するVS6000は、ビデオメモリの上 部に8-ビットメモリを持つ。この8-ビット面で、コンピュータはあらゆるカラー グラフィックスおよびテキストを描画できる。この8-ビット面での「色」の1つ が透明色である。透明色であるこのオーバレイ面上の任意のピクセルは、その下 にあるビデオメモリの値を採る。一般的には、オーバレイ面の大部分が透明色に なり、（線、テキストなどの）グラフィックは透明以外の色を使用する。したが って、ビデオメモリおよびオーバレイグラフィックメモリの両方からなるディス プレイメモリが形成される。モニタ61で表示するために究極的にはアナログ信号 に変換されるディスプレイメモリである。人間のオペレータは、通常、キーボー ド32と結び付いたポインティングデバイス３３Ｗ使用し、このようなグラフィッ ク動作およびこのようにして作成されたグラフィックオブジェクトの操作を実行 する。 ワークステーション20は、オーディオインタフェース装置72だけではなくビデ オエンコード装置50からデジタルデータストリームを受け取る。ワークステーシ ョン20は、イーサネット接続でワークステーション30に接続され、ワークステー ション20は、業界規格のS-バスインタフェースを介してビデオエンコード装置50 およびオーディオインタフェース装置72にも接続される。受け取られたデジタル データストリームは、別個のデータファイルとして1つ以上のハードディスクの 中に記憶される。別個のダイレクトメモリアクセス(DMA)カードは、キャプチャ されたデジタルストリームデータをハードディスク21に転送するときに使用され る。結果的に大量のデジタルデータが生じる長いビデオシーケンスの場合、ハー ドディスク21は、Sun Microsystems製のSPARCstorage Array X655A/G5のような 市販されているハードディスクを使用して実現できる。この実施例においては、 ワークステーション20は、Sun Microsystems製の市販されているSPARKserver 10 00である。 また、ワークステーション20は、ビデオ圧縮済みデータおよびオーディオ圧縮 済みデータに対応するデータファイルも、復号化装置への移送または伝送に適切 な単独フォーマットファイルにフォーマットする。最終的な媒体はディスクベー スであるのが望ましく、その場合フォーマットは、関連するディスクフォーマッ トに準拠することになる。通常、フォーマットされたファイルは、デジタルテー プのようななんらかの中間デジタル記憶手段により、1つまたは複数の最終伝送媒 体への転送が発生する機構へ移送される。図示されているデジタル記憶装置22は 、このような目的に使用される。本実施例では、デジタル記憶装置22は、市販さ れている8 mm Exabyteテープドライブを具備する。デジタル記憶装置22のインタ フェースは、業界規格の小型コンピュータ用周辺機器インタフェース(SCSI)であ る。 複数のSCSI装置を同じSCSIバスに接続できることは既知である。したがって、 デジタル記憶装置22は、市販されているデジタルリニアテープ(DLT)ドライブ、 磁気光学(MO)ディスクドライブ、またはフロッピーディスクドライブのような他 のSCSI装置も具備できる。これらの構成は容易に対応され、フォーマット段階の 前またはフォーマット段階の間に必要となる可能性がある補助データ用の柔軟な 入力機構を提供するのに役立つ。例えば、映画の製作では、字幕情報は、大部分 の場合、前記のSCSI装置の1つを必要とする媒体内で利用できる。このような場 合、補助データはワークステーション20で実行中のソフトウェアプログラムによ って読み取られ、補助データがフォーマットされたファイルに格納されるように 処理される。補助データは、米国のクローズキャプションフォーマットである字 幕データを格納する場合がある。補助データには、プログラムコードやポストス クリプトデータのような希望のデータを入れることができる。 図1Bは、図1Aのシステムに対応し、図1Aのシステムと同じように機能するオー ディオ／映像エンコードシステム98がブロック図される。図1Bでは、エンコード システムへのビデオ入力がカメラ80から供給され、オーディオはマイクロフォン 82から供給される。映像情報およびおそらくオーディオ情報を記憶する映画フィ ルムは、フィルムを照明するためのライトおよびフィルムから画像をキャプチャ するための光検出器を具備する転送装置88を介してエンコードシステム98に転送 される。入力装置80、82、および88からの情報は、オーディオテープレコーダま た はビデオテープレコーダによってのような、エンコードシステム98によってエン コードされる前に電磁フォーマットで記憶される。オーディオテープおよびビデ オテープは、図1Aのシステムによりエンコードされる。 エンコードシステムにより作り出される最終的なデジタルビットストリームは 、光ディスクをプレス加工する光ディスクマスタリング装置90、光ディスクに書 き込む光ディスク書込み装置84に送られるか、あるいはテレビジョン送信機86を 介して、テレビジョン受像器またはセットトップボックスデコーダに伝送される ことがある。光ディスクのプレス加工および作成は、例えばマスタディスクを使 用する既知で市販されている方法で実行される。エンコードされた情報は、ビデ オオンデマンドシステムでも使用できる。エンコードされたビットストリームは 、究極的には、エンコードプロセスに対応する復号化プロセスにより復号化され 、オーディオ映像情報はテレビまたはモニタでユーザに表示される。復号化装置 は、テレビまたはモニタで表示するためにエンコードされたディスクを復号化す るデジタルビデオディスクプレーヤを具備する。 エンコードシステムがオーディオおよび画像を表す電気信号を入力し、電気信 号を新しいフォーマットに変換し、究極的には、エンコードされた元の情報を作 成し直すために信号が復号化されることは、図1Bから明らかである。 III． システム動作 図2は、図1にブロック図されるシステムの一般的な動作を説明するフローチャ ートである。図2から分かるように、システムはその動作サイクルの間に複数の 「状態」を経過する。濃い実線は標準的な操作経路を示し、実線は中断終了経路 を描き、破線はバイパス経路を示す。 システムによる最初の動作はセットアップ状態100で発生する。このステップ によって、圧縮状態102が入力される前に、入力パラメータを指定することがで きる。圧縮状態102では、再生VTR 51内のテープに記憶されるビデオ画像が、ビ デオエンコード装置50によりデジタル圧縮されたフォーマットにエンコードされ る。 圧縮状態102の後、ユーザは、編集状態104の過去に圧縮されたデータの画質に 基づいて手動で圧縮プロセスを編集することができる。これによって、ユーザは 、ビデオの1フレームの領域内または期間で画質を改善または低下させることが できる。「編集」という用語が、場面自体をピクチャストリームに付加したり、 削除することを意味しないことに注意すべきである。本明細書中では、「編集」 という用語は、量子化および続いてビデオの質を変更することを意味する。画像 が編集状態104で編集された後、新しいユーザ指定パラメータに従ってデータを エンコードするために、圧縮状態102で再び圧縮動作を実行することが必要であ る。 ユーザがビデオの編集された形式を確認してから、字幕のようなオーディオ、 ビデオおよびそれ以外の情報を含むすべての情報が、フォーマット状態106で、 まとめて希望のフォーマットに結合される。完了状態108では、あらゆる一時フ ァイルが消去され、プロセスは終了状態110で終了する。図2に説明される個々の 状態に関するさらに詳細な情報は、ここでは図3から図6を参照して説明する。 図3は、セットアップ状態100で実行されるステップを示している。ステップ12 0は、セットアップ状態を開始し、ステップ122はシステムを初期化した。このス テップでは、ワークステーション30に格納されるシステム制御ソフトウェアの実 行が開始し、コンソールディスプレイ31に表示され、キーボード32およびポイン ティングデバイス33を介してパラメータを入力させるユーザインタフェースを担 当するグラフィックユーザインタフェース(GUI)プログラムのようなそれ以外の プログラムが起動される。また、ステップ122の間に、ワークステーション30の システム制御装置ソフトウェアが他の装置に照会し、システムの利用可能な装置 を含むシステム状態を突き止める。 ステップ124では、GUIを通してユーザに情報が表示される。歓迎のメッセージ 、システムに関する情報、エンコードプロセスに使用されるパラメータ、および 過去にエンコードされたあらゆるファイルの存在が表示される。表示されたシス テム情報には、オーディオエンコーダ、VTR、オーディオテープデッキ、および その構成を含むシステムに接続される装置を具備する。システムに既にエンコー ドされたファイルが格納されている場合は、情報はファイルを作成するのに使用 されたオーディオエンコードパラメータおよびビデオエンコードパラメータを記 述する情報がユーザに表示される。 ステップ126では、それから、標準システムパラメータまたはユーザ指定シス テムパラメータを使用するエンコード、システムパラメータに対する変更、また は選択されたパラメータが受入れ可能であることの確認を開始するためのコマン ドのようなユーザからの情報を入力する。 それから、ステップ128では、エンコード動作と復号化動作の準備をするため に、グラフィックユーザインタフェースからシステム制御装置ソフトウェアに、 入力されたデータを転送することにより、入力データを処理する。セットアップ 状態は130で終了する。 図4には、圧縮状態102で実行されるプロセスがブロック図される。標準動作フ ローに従い、ユーザは、既に、セットアップ状態で圧縮されるビデオおよび付随 オーディオシーケンスを指定した。それから、ユーザは、システムに、自動手順 、つまり自動圧縮手順を実行するように指示する。自動圧縮手順の間のビデオ圧 縮により、ユーザは期間で、あるいはビデオの1フレームの中で動的量子化プロ セスを制御することはできない。これは、コーディング決定が、ビデオエンコー ド装置50により計算される客観的な基準に基づいて下される初期圧縮実行として 意図される。自動圧縮がすでに実行されていた場合は、ユーザは、空間的（フレ ームまたはビデオ上で）または時間的的（ビデオシーケンスで）のどちらかで、 編集圧縮モードでの量子化を手動で調整できる。 圧縮状態では、ステップ140で開始した後、ステップ142で圧縮動作に備える。 この動作中、ビデオのタイムコードおよび圧縮パラメータとともに圧縮される付 随オーディオのような圧縮プロセスのパラメータが、ワークステーション10を介 してワークステーション30からビデオエンコード装置50にダウンロードされる。 それから、ステップ144では、希望の圧縮の種類が決定される。初めて情報を 圧縮するときには、圧縮プロセスは自動的に、ユーザの介入なく実行される。ス テップ146では、自動圧縮プロセスの準備をする。この準備中に、ワークステー ション30は、デジタルオーディオテーププレーヤ71a-71dおよび関連するオーデ ィオエンコード装置70a-70dの内のどれを使用しなければならないかを決定する 。また、ワークステーション30は、ワークステーション20に、オーディオインタ ーフェス装置72を介した、ビデオエンコード装置50およびオーディオエンコーダ 70a-70d の出力からのビットストリームキャプチャに備えるように命令する。さらに、再 生VTR 51、録画VTR 52、およびDATプレーヤ71a-71dは、テープを適切な開始位置 まで進める。それから、ワークステーション40が再生ビデオテープレコーダ51、 録画テープレコーダ52、およびDATプレーヤ71a-71dに、ステップ148での移動を 開始するように信号を送る。その後、ステップ150で、ビデオエンコード装置50 を使用するMPEG-1またはMPEG-2フォーマットのような希望のフォーマットに従っ てビデオデータがエンコードされる。また、オーディオデータも、ドルビーAC-3 フォーマットのような希望のフォーマットに従ってエンコードされる。手動編集 プロセスを後で補助するためにログファイルを作成する必要がある。ログファイ ルは、ビデオデータの後での編集を実行するために必要となるエンコードされた ビデオデータのパラメータを示す。エンコードプロセスは、適切なタイムコード に到達するステップ160で停止する。このタイムコードは、エンコードされるべ き情報の最後である場合もあれば、ビデオシーケンスの最後ではないユーザが指 定したポイントである場合もある。 ステップ144で、自動圧縮プロセスがすでに実行され、ユーザが、以下に図5に 関して説明するように、編集状態の間に指定されたパラメータを使用してビデオ の1つ以上のフレームの画質を手動で変更することを希望すると判断されると、 ステップ144で、編集−圧縮動作を実行する必要があるかどうかが判断されるだ ろう。 ステップ152では、手動編集が開始するポイントである希望の開始ポイントへの 再生VTR 51の合図を含む編集圧縮動作の準備が行われる。また、オーディオ情報 は、いったん自動圧縮動作でエンコードされると、変更する必要はないので、オ ーディオ装置はディスエーブルされる。それから、ステップ154で、再生VTR 51 および録画VTR 52が移動する。 ステップ156では、その後、図5に説明する編集状態でユーザによって指定され たパラメータに従ったビデオデータのエンコードが開始する。編集圧縮は、終了 タイムコードに達したステップ160で終了する。ステップ162では、ユーザに、圧 縮およびエンコードが完了した旨のメッセージが表示され、プロセスはステップ 164で終了する。 図5は、編集状態104で実行されるプロセスを説明する。前述したように、ここ で言われる編集とは、ビデオシーケンス内で場面を削除、短縮、または移動させ る従来のビデオの編集ではない。本明細書でいう編集状態とは、ビデオの一部ま たはビデオの時間シーケンスの質を、手動でビデオの量子化を設定することによ り変更することである。 ステップ170で編集状態を開始した後、ステップ172では、ユーザはエンコード されたビデオのビット割当てを変更することによるビデオの手動の編集を希望す るかどうか尋ねられる。ユーザがビット割当ての変更を望まない場合、プロセス はステップ188で終了する。ユーザがビット割当ての変更を望む場合は、ユーザ はステップ174で編集対象のビデオセグメントを定義する。これは、画質を変更 しなければならないビデオの期間を選択することによって実行される。それから 、ステップ176で、ユーザが空間的編集または時間的編集を希望するのかを判断 する。空間的編集がビデオのフレームの中でビットの量子化または割当てを変更 するのに対し、時間的編集は、ビットの割当てを期間で変更する。ユーザが空間 的編集を選択すると、フローは、編集されるフレーム内の領域を入力するステッ プ178に進む。また、適用される変更の相対的な程度も入力される。本発明の場 合、ゼロを含む-5から+5の整数目盛りが、変更の相対量を示すために使用される 。ユーザは、キーボード32またはポインティングデバイス33あるいはその両方を 使用してビデオの領域をマークし、-5から+5の間で-5と+5を含む整数の内の1つ を指定する。ユーザは、ある領域に以前設定された量子化レベルを変更してはな らないことを示すこともできる。例えば、ユーザはある一定の領域のビット割当 ての増加を希望する場合、それ以外の領域のビット割当てを減少しなければなら ない必要がある。ユーザがある領域を「保護つき(protected)」とも呼ばれる変 更不可と設定すると、画質領域の改善に必要となるビットは保護つきの領域から は採取されない。 ステップ176でユーザが時間的編集を希望すると判断されると、フローは、ど のように期間を編集しなければならないのかを入力するステップ180に進む。空 間的編集と同様に、時間的編集の場合も、ユーザは、ビデオのある特定のシーケ ンスに適用される変更の相対度を示す-5と+5の間の整数値を指定する。この変更 は、選択された期間全体で有効となる。 空間的編集または時間的編集のどちらかがステップ178と180で実行されてから 、ステップ182で、ビデオシーンが、手動で入力されたパラメータに従って、エ ンコードし直され、例えMPEG-2フォーマットに圧縮し直される。ユーザが画質が どのように変更されたのかを詳しく比較できるように、既にエンコードされたの データは新規に編集されたデータの隣に表示される。 オペレータが編集対象のセグメントを示すと、VTR 52からのビデオが記憶装置 60に転送され、記憶装置60で利用可能な総メモリの多くても半分を占める。その セグメントは、「前の」セグメントに対応する。編集−圧縮プロセスの間、ビッ トストリームはワークステーション20によってキャプチャされ、マスタビデオビ ットストリームファイルから別個のビットストリームファイルとして記憶される 。マスタビデオビットストリームファイルは、映画全体の圧縮済みビットストリ ームである。編集−圧縮されたビデオはVTR 52で録画される。エンコードプロセ スの間、オペレータはピクチャを、それがVTR 52で録画されているのと同時に表 示することになる。オペレータがエンコードした後のピクチャの表示を希望する 場合は、VTRを再生機械として使用できる。オペレータが「前と後」の比較を実 行したいと考える場合、VTR 52の対応するセグメントが記憶装置60に転送され、 装置60の総メモリの残りの半分までを消費する。 このエンコードの後、オペレータは、変更されたビデオを保存する必要がある かどうかを決定する。オペレータが「後」のセグメントを無視することを決めた 場合、マスタビットストリームは変更されずに残され、編集−圧縮済みのビット ストリームは削除される。VTR 52がマスタビットストリームを反映できるように するには、「前」のセグメントを録画する目的だけに、編集済みのセグメントで 別の自動−圧縮が実行される。装置60を「前」のセグメントをVTR 52に転送して 戻すために装置を使用するという代替策も可能である。オペレータが「後」のセ グメントを記憶することを決めた場合、以下に説明するように、マスタビットス トリームファイルを更新して、編集−圧縮済みのビットストリームファイルを入 れる必要がある。 ユーザが、ステップ184でビデオが受け入れられると判断した場合、既にエン コードされたデータは新規にエンコードされたデータで置き換えられる。このス テ ップは、以下の別項でさらに詳しく説明する。新規にエンコードされたデータが 以前エンコードされたデータを置き換えると、ステップ192で、ユーザが更に編 集を希望するかどうかを判断する。さらに編集を希望する場合には、フローはス テップ174に戻る。ユーザがビデオの編集を終了したら、フローは編集状態を終 了するステップ188に進む。 ユーザが、ステップ184でビデオが受け入れられないと判断した場合は、ユー ザは、編集変更が記録されないようにステップ186で編集動作を終了するか、あ るいはユーザはビデオを編集し直す。ビデオは、編集で新しいパラメータを選択 するユーザによって編集し直される。ユーザが希望する場合は、編集対象の新し いビデオセグメントを定義することも可能である。 ユーザが圧縮（自動−圧縮だけ、または編集−圧縮とともに自動−圧縮のどち らか）に満足すると、圧縮済みビデオ、圧縮済みオーディオ、およびそれ以外の すべてのファイルを含む個々のデータファイルが、最終フォーマットへのフォー マットの準備が完了した状態となり、フォーマット状態166に入る。補助データ には、最終的なフォーマット済みデータファイルに記憶される字幕のような情報 を含むことがある。図6にブロック図されるフローチャートでは、ステップ200で のフォーマット状態の開始後、ユーザが補助データを記憶することを決定すると 、ワークステーション20は、フロッピーディスクドライブ内にフロッピーディス クなどを具備するデジタル記憶装置22から捕助データを読み取る。それから、ス テップ204で補助データがエンコードされたオーディオおよびビデオと結合され 、最終的なフォーマット済みファイルを作り出す。システムによって作成される 最終的なデジタルビットストリームは、ISO/IEC 13818-1に定義される「プログ ラムストリーム」として構築できる。代わりに、最終的なビットストリームは、 直接衛星DSSフォーマット、光ディスクでの使用に適したVBR（可変ビットレート ）またはその他の種類のフォーマットのような任意の種類のフォーマットとする ことができる。エンコードされたビデオとオーディオは別個に記憶できるため、 システムは、同じエンコードされたビデオとオーディオを別々の最終フォーマッ トにエンコードすることができる。これは、さまざまなフォーマットを作り出す 機能を備える1つのフォーマッタを使用するか、または別個のフォーマッタによ って達成 される。ステップ206では、フォーマットされたファイルがディスク21で記憶さ れる。 フォーマットされたファイルがステップ210のデジタル記憶装置22内のテープ に書き込まれるステップ208で完了状態になる。その後で、もはや必要とされて いない一時ファイルを削除するさまざまな「ハウスクリーニング」機能を実行す るステップ122で終了状態に入る。圧縮プロセスが終了される前のような異常終了 要求が発生した場合、打切り手順が、オーディオテーププレーヤおよびビデオテ ーププレーヤを停止し、破壊されている可能性があるデータファイルもクリーン アップするワークステーション30で実行される。プロセスは、それからステップ 216で終了する。 IV． システム代替策 望ましいシステム構成要素およびその動作は前記に説明したが、言うまでもな く代替ハードウェアが図1Aおよび図1Bに開示されるハードウェアを代用すること ができる。ビデオエンコード装置50は、利用できる場合にはMPEG-2ビデオエンコ ーダであるのが望ましい。しかし、MPEG-1ビデオエンコーダとしても知られる市 販されているISO/IEC 1172-ビデオ標準エンコーダを使用することもできる。MPE G-1エンコーダに対する必要な改良は、MPEG-1バッファ管理モジュールが、ワー クステーション10のような外部ソースから制御できるようにする必要がある。さ らに、入力ビデオサポートは、ITU-R 601（前CIR 601）解像度ビデオを格納する ために増大されなければならない。このような改良は、過度の実験を行わないで もデジタルビデオエンコードの当業者により実行できる。 4つのオーディオテーププレーヤと4つのオーディオエンコーダが図1Aに描かれ ているが、それ以外の構成はオーディオシステムに容易に採用できる。例えば、 1台の市販されている8 mmデジタルオーディオプレーヤを複数のDATプレーヤの代 わりに使用することができる。1台のTASCAMデジタルオーディオプレーヤを使用 すると、ワークステーション40から必要とされるのは1つのRS-422制御信号だけ であるが、最大8つの別個のオーディオチャネルを同時にサポートできる。オー ディオエンコーダが同時に8つのオーディオ入力を受け入れることが可能でなけ ればな らず、オーディオインタフェース装置72もオーディオデータストリームの4つか ら8つへの増加に対処するために改良されなければならないのは言うまでもない 。 オーディオおよびビデオの同時エンコードの代替策として、オーディオおよび ビデオエンコードは、別個の時間またはロケーション、あるいはその両方で実行 され、後で最終的なフォーマットに結合することができる。これには、SMPTE（ 全米映画テレビジョン技術者協会）タイムコードフォーマットのような既知のタ イムコードの使用が必要となる。タイムコードは、ビデオテーププレーヤ、ワー クステーション、または別個のスタンドアロン式タイムコード作成プログラムに よって作成される。 録画VTR 52は、ビデオデコーダが利用可能で、ワークステーション20に接続さ れている場合には排除できる。その場合、再構築されるビデオは、圧縮フェーズ 中のビデオエンコード装置50から録画される代わりに、ディスク21内のディスク ファイルから作成されるだろう。録画VTR 52を排除すると、テープ費用だけでは なく装置費用という点でも、システムの費用が大きく節約される。 さらに、グラフィック動作をディスプレイビデオのグラフィックオーバレイ面 で実行する能力は、市販のX-端末オプションを使用して、コンソールディスプレ イ上でサポートすることができる。例えば、コンソールディプレイ31は、ビデオ をオーバレイグラフィックウィンドウで表示する機能を備えたX-端末で置き換え られる。ペンシルバニア州のKing of PrussiaのHuman Designed Systems 社のHD SV View Stationのような市販されているマルチメディアディスプレイ端末は、 表示および手動編集領域定義動作のためにX-端末に接続することができる。ただ し、ビデオデコーダの職業用品質のビデオは、人間のオペレータが再構築された ビデオ信号の質を評価できるように、図1Aに図示されるモニタ61のような職業用 モニタで表示しなければならない。 V． 最適エンコード効率を維持しながらオーディオエンコーダの数を低減する 前述したように、図1Aは、マルチパスビデオエンコード装置50および4台のワ ンパスオーディオエンコーダ70a、70b、70c、および70dを備えたエンコードシス テ ムをブロック図している。再生VTR 51は、ビデオエンコード装置50にエンコード されるべきビデオ信号を供給し、デジタルオーディオテープ(DAT)プレーヤ71a-7 1dが、それぞれワンパスオーディオエンコーダ70a-70dにエンコードされるべき オーディオ信号を供給する。 本発明の実施例では、最終フォーマット済みオーディオ映像データストリーム 内の8つのオーディオトラックをエンコードする。各オーディオトラックは、1つ 以上のオーディオチャネルを具備する。オーディオトラックは他の装置でもオー ディオを格納できるが、例えば、あるオーディオトラックが左チャネルと右チャ ネルを備える場合がある。図7に説明する。もっとも効率的なオーディオ映像エ ンコードを実行するためにオーディオエンコーダの数を求める方法、およびこの オーディオ映像エンコードを実行する方法は、図7に説明する。図7では、開始後 、ステップ240でビデオエンコードに必要とされるパスの数Pが求められる。ビデ オをMPEGフォーマットにエンコードするためには、通常、2つ以上のパスがビデ オのエンコードに必要となる。本発明の場合、望ましいパス数は2であるが、3つ 以上のパスも可能である。それから、ステップ242でエンコードされるオーディ オトラックの数Tが求められる。本発明では、異なったオーディオトラック数も 可能であるが、オーディオトラックの数は8が望ましい。次に、ステップ244では 、もっとも効率的なオーディオ映像エンコードを実行するために必要とされるワ ンパスオーディオエンコーダ数AEが計算される。必要なオーディオエンコーダの 数は、ビデオエンコードに必要とされるパスの数で除算されるエンコードされる べきオーディオトラック数に等しい。実施例では、エンコーダの2つのパスで除 算される8つのオーディオトラックは、必要な4つのオーディオエンコーダに等し い。オーディオエンコーダの計算された数が整数ではない場合、オーディオエン コーダの計算された数は、整数となるように切り上げる必要がある。例えば、7 つのオーディオトラックだけしかツーパスビデオエンコーダにエンコードされな い場合、7/2=3.5となり、3.5は次にもっとも大きい整数4に切り上げられる。本 システムによって実行されるエンコードプロセスの間、1つのビデオパスはオー ディオエンコーダの内3台しか使用しないが、それ以外のビデオエンコードパス は4台のオーディオエンコーダすべてを使用する。ステップ240-244が、システム の初期設計時にだけ 実行される必要があり、オーディオ映像作業がエンコードされるたびに必要とさ れるワンパスオーディオエンコーダの数を計算する必要はないことに注意すべき である。さらに、ステップ240、242および244は、ワークステーション30のよう なコンピュータによってコンピュータ／マシン実装されるか、あるいはユーザま たはオーディオ映像エンコードシステムの設計者により判断される。 オーディオエンコーダの数が求められ、オーディオ映像エンコードシステムが セットアップされてから、オーディオ映像エンコードプロセスが開始できる。ス テップ246では、1にカウンターがセットされる。カウンターは、ビデオエンコー ドシステムの各パスをカウントするに用られる為に可変である。それから、ステ ップ248は、オーディオトラックのすべてではないが、いくつかでワンパスオー ディオエンコードを実行しながら、第1ビデオエンコードパスを実行する。例え ば、8つのオーディオトラックおよび1つのツーパスビデオエンコーダが存在する 場合、第1パス中に4つのオーディオエンコーダを使用できる。それからステップ 250で、カウンターが1だけ増される。ステップ252では、ステップ248で使用され たのと同じオーディオエンコーダを使用して、エンコードされていないオーディ オトラックのワンパスオーディオエンコードを実行しながら、次のビデオエンコ ードパスを実行する。例えば、第2ビデオエンコードパスの間、ステップ249で使 用される4つのオーディオエンコーダは、オーディオトラック５から8をエンコー ドできる。それからステップ254で、カウンタがP、必須ビデオエンコードパス数 に等しいかどうかが判断される。実施例では、2つのビデオエンコードパスしか ないため、プロセスは終了するだろう。終了しない場合、フローはステップ250 、252、および254から成るループを実行するために戻る。 言うまでもなく、8つのオーディオトラックがあるオーディオ映像作品用のツ ーパスビデオエンコーダを使用するだけではなく、それ以外の実施例も可能であ る。例えば、スリーパスビデオエンコーダは、6つのオーディオトラックで使用 できる。この状況では、オーディオエンコーダのもっとも効率的な数は3(6/2=3) である。ツーパスビデオエンコーダが使用され、合計6つのオーディオトラック がエンコードされる場合、オーディオエンコーダのもっとも効率的な数は3とな るだろう。代替策として、スリーパスビデオエンコーダを、エンコードするオー ディオトラッ クが5つあるシステムで使用することができる。この代替システムでは、オーデ ィオエンコーダの内の1つしか使用されず、他の2つのビデオエンコードパスが、 両方オーディオエンコーダの両方が使用されている間に発生する一方、ビデオエ ンコードパスの内のどれか1つが動作している状態の2つのワンパスオーディオエ ンコーダが必要である。従来の技術の当業者に明らかになるように、ビデオエン コーダとオーディオトラック数のこれ以外の組み合わせも、本明細書に記載され る教示を考慮すると可能である。 できるかぎり効率的であるという点での本発明の重要な一面とは、ビデオエン コードのパスが発生している間につねにオーディオエンコードを実行し、オーデ ィオエンコードが実行している間につねにビデオエンコードのパスを実行すると いうことである。この取り決めでは、ビデオエンコード動作の1パスの間に、オ ーディオエンコーダの少なくともいくつかがつねに使用されることになる。でき るかぎり効率的であるためには、オーディオトラック数をオーディオエンコーダ の数で均等に除算できない場合（つまり、エンコードされるオーディオトラック の数をビデオパス数で除算すると余りが出る場合）、エンコードプロセス全体で 、ビデオパスから余りを差し引いた数に等しい数の休止していたオーディオエン コーダがある。例えば、スリーパスビデオエンコーダおよび4つのオーディオト ラックの場合、2つのオーディオエンコーダが必要とされ、余り1が出る（例えば 、4/3=1で余りが1）。したがって、もっとも効率的であり、スリーパスビデオエ ンコードが完了されのと同時にオーディオエンコードを完了するためには、オー ディオエンコーダが休止となるのはわずか2回である（例えば、3つのビデオパス から余り1を差し引くと2に等しい）。エンコーダが休止する2回は、同じパスで 発生可能であり(同じビデオエンコードパスに異なった２つのオーディオエンコ ーダがある)、前記例のそれ以外の2回のビデオエンコードパスのそれぞれがオー ディオエンコーダのすべてを活用するか、あるいは1つの休止オーディオエンコ ーダがある2つのビデオエンコードパスがあるという意味である。これらの2つの パスでは、同じまたは別のオーディオエンコーダが休止となることがある。 VI． エンコードされたビデオの情報を記憶するためのログファイル、ならびに ロ グファイルおよびエンコードされたビデオにアクセスするためのログインタプリ タユーティリテイ 開示されたエンコードシステムは、当初、MPEG-2、MPEG-1、またはそれ以外の デジタルビデオエンコードフォーマットのような圧縮済みデジタルフォマットに ビデオをエンコードする。このエンコードは、システム構成要素に関する第II項 および汎用システム動作に関する第III項に説明する。したがって、エンコード されたビデオデータは、例えばハードディスク上のデジタルフォーマット内で記 憶される。 デジタルビデオエンコードプロセスの間、ビデオの統計およびそれ以外の情報 が作成され、ログファイルに記憶される。MPEGビデオエンコードに精通した従来 の技術の当業者は、ビデオを記述する統計および情報の種類、およびこれらの統 計および情報を作成する方法を熟知している。従来のエンコードシステムでは、 この種類の情報およびデータは作成されるが、通常、ビデオエンコードの後に廃 棄される。しかし、本発明の場合、ピクチャをコーディングするために使用され た合計ビット、ピクチャをエンコードする平均二乗エラー、ピクチャあたりの平 均量子化スケールなどのような作成されたこの情報は、エンコードプロセスの後 で、システムRAMからログファイルにダンプされる。本発明によって使用される ログファイルの例は、図8A-10Bに説明する。これらのログファイルは、VBRシス テムで特に有効であり、ビデオエンコーダの初期パス（複数の場合がある）の間 に作成される。それから、ログファイルは、最終エンコードパスの間およびビデ オの後での編集および再エンコードの間に使用される。 本発明により使用されることがある、シーケンスレーヤのログファイル、ピク チャレイヤログファイル、およびマクロブロックレーヤのログファイルという異 なった3種類のログファイルがある。これらのログファイルのそれぞれが、その 各レイヤの統計および情報を記述する。図10Aにブロック図される完全フォーマ ット、および図10Bにブロック図される短縮フォーマットという異なった2種類の マクロブロックレーヤのログファイルフォーマットがある。マクロブロックレー ヤのの詳細な情報が必要とされる場合には、完全フォーマットが使用され、マク ロブロ ックの詳細のすべてを追跡調査する必要がない場合には、短縮フォーマットが使 用される。2時間の映画中のマクロブロックの数は多数であるため、マクロブロ ックログファイルは大量の記憶スペースを消費する。したがって、大きな記憶ス ペースが使用できない限り、完全または短縮フォーマットのマクロブロックファ イルを記憶することはできない可能性がある。ただし、マクロブロック情報を入 手する必要がある場合は、エンコードビデオを復号化するか、あるいはそれ以外 の手段でこの情報を再構築することができる。 図8A-10Bにブロック図されるログファイルフォーマットの詳細の多くは重要で はなく、これらのファイルフォーマットは、単に、エンコードプロセスの間に作 成できるデータの例図としてのみ提供されたことに注記すべきである。しかし、 ログファイル中の情報のいくつかは、ビデオの質を変更するプロセスの間に使用 されるので重要である。以下に説明するように、エンコードされたビデオの編集 ポイントを決定するためには、初期のピクチャにより消費されるビット数を総計 する必要がある。合計される情報は、図9Bおよび図9Cに描かれ、ピクチャごとの ビット数（generated bit picture）、シーケンスヘッダ(bits sequence header )、ピクチャのグループ(GOP)ヘッダのビット数(bits GOP header)、およびスタ ッフィングとして使用されるビット数またはスペースを埋めるために使用される ビット数(stuffing size)に関する。 図11は、ログファイルを使用して実行されるさまざまな機能のフローチャート を説明する。ビデオセグメントの初期エンコードの後、ステップ270では、図8A- 9Cにブロック図されるビデオエンコーダの自動実行から作成されたピクチャおよ びシーケンスレーヤのログファイルを読み込む。それから、ステップ272でエン コードされたビデオに録画されるピクチャごとのログファイルレコードのバイト オフセットを示すインデックステーブルを作成する。2つのテーブルが作成され る。一方はフレーム番号により、もう一方はタイムコードによりインデックスが 付けられる。タイムコードインデックステーブルには、ピクチャごとのログファ イルの中にオフセットされるバイトが記憶され、タイムコードの昇順で並べ替え られる。同様に、ピクチャフレームインデックステーブルには、（エンコーダに よって確認されるように）入力されたピクチャ番号の昇順で並べ替えられるログ ファ イル内へのバイトオフセットが記憶される。 作成されたインデックステーブルは、任意の希望されるピクチャまたはマクロ ブロックのログ情報をすばやく選び出すのに有効である。ログファイル内のシー ケンス、ピクチャまたはマクロブロックのデータを記憶するためには固定サイズ レコードが使用されているが、エンコーダはそれらをコーディングする前に入信 ピクチャを並べ替える。加えて、3:2の割合で毎秒30フレームに引き下げられた 映画（毎秒24フレーム）ソースを取り扱う場合、ある種のタイムコードは省略さ れる。インデックステーブルは、ピクチャの並べ替えおよびタイムコードの省略 にも関らず、適切なデータの位置をすばやく突き止めるための手段となる。 ビデオのさまざまなフレームと期間がその品質を手動で改変されるに従い、エ ンコードされたビデオは頻繁に変化するので、本発明によるエンコードシステム が、各ピクチャをコーディングする際に使用されるエンコードされたのビット数 のディレクトリまたはインデックスを維持しないことを注記すべきである。ただ し、エンコードされたの情報を記述するログファイルは固定サイズレコードであ るため、ピクチャまたは期間の品質が改変されても、ログファイル内の情報のデ ィレクトリまたはインデックスを維持することは容易である。 インデックステーブルの作成後、ステップ274を使用することにより、ユーザ は、ブロック276、278、および280に描かれるさまざまなログファイルユーティ リティを使用するログファイルからさまざまな情報をすばやく入手できる。ログ ファイル中のレコードが必要とされる場合、作成されたインデックスは、ログフ ァイル内の希望のレコードを突き止めるために使用され、完全なレコードがログ ファイルから引き出される。それから、このレコードは希望される個々のパラメ ータを検索するために解析される。個々のレコードをインデックステーブルを使 用して解析するプロセスは、他のログ解釈プログラムユーティリティのすべての 基礎となる。解析プロセスは既知であり、従来の技術の当業者は、編成されたフ ァイルから希望の情報を検索する方法を理解している。 ステップ276は、ログファイルのカットアンドペーストユーティリティである 。フレーム内でまたは期間で手動で量子化（および画質）を変更した後、ログフ ァイルのオリジナルセットは、編集中に発生した変更に対応するように更新され な ければならない。ログファイルのカットアンドペーストユーティリティは、編集 済みのセグメントタイムコードに対応するログファイル内でオフセットの位置を 突き止め、ログファイル内の情報を再エンコードされたビデオに対応する新しい 情報で置き換える。再エンコードのプロセスについては、以下のVIII項に説明す る。 ステップ278では、デジタルでエンコードされたビットストリームの編集を可 能とするためにパラメータを入手するためのユーティリティを示している。ビデ オが最初にエンコードされ、ユーザがビデオのフレームの品質または期間の改変 を希望する場合、削除され、希望の品質を備えた新規にエンコードされたビデオ で置き換えられなければならないエンコードされたビデオ内の適切な部分を突き 止める必要がある。 エンコードされたビデオのビットストリーム内の編集ポイントのバイトオフセ ットは、編集ポイントに対応するピクチャまで各ピクチャをエンコードするのに 使用されるビットの累積項目を計算することにより求められる。指定のピクチャ が位置するファイルの最初からのバイトまたはビットの総数を求めるために、以 前のピクチャのそれぞれをエンコードするのに使用されたビット数が合計される 。合計されたピクチャログファイルから入手される情報とは、ｉ番目のピクチャ をエンコードするのに使用されるビットＢｉの数、シーケンスヘッダを構成する ビットＳｊの数、ピクチャのグループ(GOP)ヘッダをエンコードするのに使用さ れるビットＧｉの数、スタッフィングとして使用されるビットＴｉの数である。 N番目のピクチャのビットオフセットは、次に示すように計算される。 バイトオフセットは、ビットオフセットを8で除算することによってだけ計算 される。エンコードされたビデオビットストリーム中のアドレスオフセットを求 めるためにログファイルを使用する代替策として、ビットストリームデコーダを 使用して、ピクチャオフセットのディレクトリを作成することができる。ただし 、エンコーダは、ディレクトリをb更新するために編集が終わるたびにビットス トリ ーム全体を実行しなければならないため、このアプローチは面倒である。 最後に、ステップ280では、タイムコードをもっとも近いピクチャのグループ( GOP)の最初または最後に四捨五入するためのユーティリティを示している。エン コードされたビットストリームのすべての切取りまたは編集は、ピクチャのグル ープ（GOP）の境界で実行される。ただし、GOP境界はビデオに編集を実行するオ ペレータにはわからない。オペレータがいったん編集セグメントの開始ポイント および終了ポイントを指定すると、システムはGOP境界を計算する。GOP境界は、 各ピクチャレコード内に記憶されるGOP番号と呼ばれるピクチャレイヤパラメー タを検討することにより設定される。ピクチャレイヤログファイルの連続レコー ドを通してトレースすることにより、図9Bの中のGOP番号（GOP number）が変化 すると、GOP境界があると判断される。 ログファイルおよびログファイルユーティリティは、ビデオエンコーダに密接 に関係しているので、ログファイルは図1Aに図示されるワークステーション10の ハードディスク内に記憶され、ログファイルユーティリティはワークステーショ ン10により実行される。代わりに、ワークステーション30またはそれ以外のの任 意の処理システムにログファイルが格納され、ログファイルユーティリティが実 行されることがある。 VII． エンコードされたビデオの品質の変更 A． 期間での品質の変更 エンコードシステムにより作成されるエンコードされたビデオは、光ディスク のような最終的なデジタル記憶媒体に書き込まれることを目的とする。ディスク 上のエンコードされたビデオは、一定ビットレート(CBR)動作と比較すると、ビ デオの異なったセクションの間でのビットレートの大きな変更の可能性を提供す る可変ビットレート(VBR)でエンコードされる。VBRコーディングにより、著しく 異なるビット数を異なったピクチャに割り当てることができるようになるため、 画質は経時的に変化する。さらにVBRは、CBR動作では不可能なスケール内でのユ ーザによって定義されたビデオのセクションにデータレートを割当てし直す可能 性 も提供する。CBRにより同じことを達成する場合には、デコーダできわめて大き なバッファが必要になるだろう。 エンコードシステムによって手動編集と呼ばれることが可能になるが、手動編 集とは、映画の中で場面を短縮または延長したり、異なった場面を置換すること ではなく、画質を変更することである。画質は経時的に変更することができ、本 項に説明するように時間的編集または時間的手動編集と呼ばれる。別の項では、 フレームのあるセクションからフレームの別のセクションにビットをシフトする ことによって、データのフレーム内での画質を変更する、空間編集または空間手 動編集と呼ばれることについて説明する。 時間的編集、つまり編集セグメントのさまざまなセクションの間でのビットを 再割当てで、以下に示す3つの主要な制約を満たす必要がある。 1.編集される映画／ビデオの総容量が割り当てられた容量を上回らないこと。 2.編集セグメント内にバッファアンダフローがないこと。 および 3.時間的編集によって生じさせられる編集セグメントの外側にバッファアンダ フローがないこと。 制約1は、結果として生じる編集済みのセグメントが最初にエンコードされた セグメントと同じビット数を消費するように編集セグメントをエンコードし直す ことにより処理される。変種セグメントが検討される期間全体であることを注記 すべきである。編集セグメント内の異なる期間には、ユーザにより品質が指定さ れ、編集セグメントのこれらの期間は単にセクション、または期間と呼ばれる。 アンダフロー状態が存在するかどうかを突き止めるためには、デコーダのモデ ルを使用して目標ビットを確認することが必要である。エンコーダのVBR動作で は、ビデオバッファ検査機構(VBR)モデルの修正されたバージョンが使用される 。このモデルは、VBRの簡略修正モデルと呼ばれ、デジタル記憶装置媒体(DSM)に 使用できる。VBRモード用のVBVは既知でありMPEG-2規格で定義され、ISO/IEC 13 818-2の第C.3.2項の付録Cに特に記載される。 VBR用VBVモデルでは、デコーダのバッファはいっぱいのままであるが、アンダ フローしないように制限されている。さらに、バッファは一定のレートRmaxでバ ッファがいっぱいになるまで充填し、それからバッファが空になり始めるまで、 ビットはバッファに伝送されない。各フレーム間隔ごとに、あるフレームを復号 化するために必要とされるビットがバッファから削除される。これを念頭に入れ ておくと、VBRモードでは、ピクチャの列に割り当てるビットが多すぎると、バ ッファアンダフローが発生することが分かる。ピクチャのビットがバッファから 削除されるに従い、バッファは空になり、高画質ピクチャのビットの大多数がバ ッファを充電できるレートより早いレートで削除される場合、バッファがアンダ フローする。アンダフローを防止するために、ピクチャをエンコードするために 使用されるビット数が低減される。ピクチャのビット数を低減すると、充填レー トは同じに保たれるが、ビットをバッファから削除するレートが低減される。VB V占有がいっぱいである場合、VBVバッファへのビットストリーム伝送は即座に停 止されるため、バッファオーバフローはVBRに関して発生できない。つまり、バ ッファオーバフローではなく、単にバッファがいっぱいな状況が存在する。ISO/ IEC 13818-2、付録C、第C.3.2に説明されるように、VBRの簡略修正VBVモデルは 以下の通りである。 1．sequence headerでのbit rate fieldはmax bit rateを表す。 2．VBVは当初空である。VBVバッファ（つまりVBVバッファファイル）をmax bi t rateのレートでいっぱいに満たしてから、復号化プロセスが開始する。ピクチ ャデータは、MPEG-2国際規格に定義されるCBRのVBVモデルのようにただちに削除 、エンコードされる。 3．ビットストリームは、VBVバッファがいっぱいになるまでmax bit rateのレ ートでVBVバッファの中に格納される。VBVバッファ占有がいっぱいの場合、VBV へのビットストリーム転送は即座に停止される。次のピクチャのデータが削除さ れてから、ビットストリーム伝送は即座に開始する。 4．VBVバッファはアンダフローしないものとする。 5．各vbv delayフィールドがFFFFに設定される。 期間でビデオの品質を変更するには、ビデオのフレームにビットを追加または ビデオのフレームからビットを削除する必要がある。ここで、ビデオのセクショ ンに追加またはビデオのセクションから削除されるビットの数についての説明を 行う。ビデオのセクションに追加またはビデオのセクションから削除できるビッ トの数は、検討されているビデオのセクションの有効ビットレートに依存する。 有効ビットレートRは、以下のように計算される。 総割当てビットはビットレートに正比例しているので、割当てビット数を参照す ることは、異なる単位を使用する場合を除き、ビットレートと同じ意味を伝える 。保証された最小レート、例えばRminがビデオの任意のセクションに適用される と仮定すると、セクション「i」から削除できる最大ビット数は以下の通りであ る。 この場合、Niはセクション「i」のフレーム数で、Ｒｉは同じセクションの有効 レートである。保証された最小値は、セクションに最小品質レベルを保証するた めに必要とされる。同様に、指定されたセクション「j」に追加できる最大ビッ ト数は、以下の通り計算される。 この場合、Rmaxは最大レート、つまりバッファがいっぱいでないときに充填する レートであり、Njはセクションjのフレーム数である。 期間で画質を変更すること（時間的編集）についての説明は、今度は図12およ びそこに参照される図に関して行う。開始後、ステップ281では、第II項および 第III項で前述したようにユーザの介入なく自動ビデオエンコードを実行する。 自動エンコードの場合、作成されるデータストリームの最大レートおよび最小レ ートがある。最大ビットレートは、ビデオデコーダの機能により決定され、例え ばRmaxは毎秒Mbitsである。最小ビットレートは、希望される最小画質に応じて 、ユーザが指定できる。典型的な最小ビットレートRminは毎秒3 Mbitsである。 ビデオの 部分が低いビットレートとなり、ビデオの部分が高いビデオレートとなることが できるように、平均エンコードレートとは異なり、平均エンコードレートをやや 下回るRminを設定するのが望ましい。Rminがビデオの平均エンコードレートをわ ずかに下回って設定されると、結果として生じるエンコードビデオはかなり一定 した画質となる。通常、Rnmax=毎秒 8 MbitsでRminが毎秒約3 Mbitsの場合、ビ デオの平均値は毎秒約3 1/2から5 Mbitsとなるはずである。 移動ビデオエンコードがステップ281で実行された後、レート量子化関数を求 める必要がある。本発明のプロセスでは、希望の品質を獲得するのに必要なビッ ト数が求められるが、再エンコード時には、希望のビットレートを結果的に生じ させるために量子化値を設定しなければならない。レート量子化関数は、それぞ れ参照により本明細書に取り入れられる記事、画像処理に関するIEEE会報、第3 巻、第5号、1994年9月、533-545ページのラムチャンドラン(Ramchandran)その他 による「マルチ解像度およびMPEGビデオディスクロージャに適用される依存量子 化のためのビット割当て」、IEEE ICASSP、1993年、V381-V-384、ラムチャンド ランその他による「MPEGビデオ符号器に適用される依存量子化のためのビット割 当て」、および1994年にプリンストンビデオ会議で提示されたレイニンガー(Rei ninger)による「レート−歪み曲線を使用する多重化されたMPEGビデオ用の共同 マルチチャネルビットレート制御」に説明されるような従来の方法で計算できる 。 次に、ステップ284では、選択された期間のユーザ品質設定値を入力する。ユ ーザは、究極的にはピクチャの量子化を制御するのに使用される異なったセクシ ョンの優先順位を入力する。量子化は、損失のあるMPEGエンコードの解像度とも 呼ばれる画質を制御する。図13には、期間でビデオの品質を変更するために情報 を収集する目的で使用されるユーザインタフェーズを説明する。当初、ユーザは 、品質を変更することになる編集セグメント全体の期間を入力する。この応報の 入力は、図13のユーザインタフェースには図示されていないが、図13のユーザイ ンタフェースが表示される前に入力される。図13に示される例の場合、変更対象 の編集セグメントの期間が、例えば時間0分から時間5分までとなることがある。 ユーザが編集セグメントの総期間を記述した後に、編集セグメント内のさらに短 い期間に、優先順位Pを含む-5から+5までの範囲のさまざまな優先順位が指定さ れ、 この期間の品質が保護され、改変してはならないことを示している。優先順位「 なし」は、Pという優先順位と同じ意味である。エンコードシステムは前記入力 スキームに限定されず、ユーザの希望の優先順位を入力するために、それ以外の 範囲または記号を使用できるのは言うまでもない。 優先順位を指定するのに加えて、ユーザは最小ビットレートも入力する。この ビットレートは、ステップ281の自動ビデオエンコードの間にビデオをエンコー ドするために使用される最小ビットレートと異なっている場合がある。ユーザイ ンタフェースのもう1つの特徴とは、それを使用すると、ユーザが「バックグラ ウンド優先順位」を設定できるという点である。これは、ユーザが優先順位を指 定したのではない選択済みの期間内の期間にこのバックグラウンド優先順位が設 定されることを意味する。例えば、図13では、バックグラウンド優先順位に「1 」が指定されるとすると、未指定の期間00:03:20:01から00:03:59:99には、ユー ザが手動でこの特定のセクションに優先順位を指定しなくても、「1」という優 先順位が自動的に指定される。 図13に描かれるインタフェースの底部では、編集セグメント内で新しい期間を作 成するために「挿入」ブロックが使用され、以前に作成された期間を変えるため に「リコール」ブロックが使用され、期間に加えられる変更を保存するために「 更新」が使用され、期間を削除するために「削除」が使用される。 光ディスクのようなエンコードされたビデオ用の究極のデジタル記憶装置媒体は 自動的にエンコードされたデータがディスクに書き込まれる場合には、理想的に は容量まで満たされる制限された記憶領域容量を備える。したがって、画質を向 上させ、ある特定の期間のビットレートを引き上げる場合はつねに、品質が向上 した期間に必要な余分な記憶容量を供給するために、品質が低下したビデオのセ クションが存在しなければならない。したがって、本発明の実施例では、品質を 改善するのに必要なビットはビデオの別のセクションから取らなければならない ため、別の期間に違う画質を割り当てないで、1つの期間だけに高い画質を割り 当てることは不可能である。したがって、編集されたビデオのセグメントには、 バックグラウンドセクションとは異なり、時間的な手動編集が適切に動作するた めに「保護つき」のセクションとマークされていない少なくとも1つのセクショ ンが なければならない。さらに、ユーザが優先順位を設定した結果、同じ画質および ビットレートが、それらが選択されるたびに生じることはないが、編集セグメン ト内のピクチャのビットの修正された数を求めるためのプロセスを理解すると明 らかになるように、ある特定のセクションの品質は、他のセクションの割り当て られた優先順位および他のセクションの長さにも依存する。 本発明によるエンコードシステムにより活用される特徴とは、視聴者が、自動 エンコードプロセス中にまたは後日、エンコードされたビデオをレビューするこ とができるという点である。エンコードされたビデオが視聴者に表示されるに従 って、視聴者は、ビデオを停止したり、関心のあるタイムコードを書き残したり しなくても、ビデオの関心のあるポイントや領域を記憶するために、リターンキ ーを押したり、画面に表示される「ボタン」の上でグラフィックユーザインタフ ェースを「クリック」するなどの機能を実行できる。これらの関心のあるポイン トは、後日、ユーザが呼び出し、映画全体をレビューしなくても綿密に検討する ことができる。これは、ユーザが変更を希望するエンコードビデオ内のポイント を決定する便利で、効率的な方法となる。この機能は、関心のあるポイントや領 域が発生した時点での位置に対応して、タイムコードを記憶することによって達 成される。 ユーザがステップ284で希望の品質設定値を入力してから、ステップ286でユー ザの入力に基づいてフレームごとに修正されたビットが計算される。このプロセ スは、図14-16Bに関して詳細に記述される。ビデオの編集セグメント内で時間の ビットレートを変更するための一般的な手順は、図14のフローチャートに説明さ れる。ユーザの入力に基づいてビットレートを計算するために、ステップ302で は、-5と+5の間の範囲内から10と0の間の範囲内にあったユーザの入力をマッピ ングする。-5という初期入力は、10というマッピングされた設定値に対応し、最 小品質であり、+5という入力は0というマッピングされた設定値に対応し、最大 画質である。同様に、0という入力された品質選択は5というマッピングされた設 定値に対応するなどである。ステップ302で実行されるマッピングの目的とは、 割り当てられたビット数がマッピングされた設定値により乗算される量-1のべき まで引き上げられるe（2.71828...）に比例することである。この場合、優先順 位の設定値 がさらに小さい場合のビット数が、優先順位が高い場合より下回るように、さら にe-10はeOを下回る。目標ビットを優先順位-4から+4に対応して求めるプロセス は、図16Aと図16Bに詳細に説明される。 ステップ304では、「保護つき」のセクションがあるかどうか判断される。保 護つきセクションとは、画質を以前の自動エンコードから変更してはならないセ クションのことである。保護つきセクションがある場合は、フローはステップ30 6に進み、そこで保護つきセクションの再エンコードに割り当てられるビット数 が最初の自動エンコードの結果生じる以前のビット数に等しくなるように設定さ れる。このようにして、保護つきセクションのピクチャ品質は変化しない。 ステップ308では、最大品質または最小品質に設定されるセクションがあるか どうか判断される。最大品質とは、ユーザ入力+5に対応し、最小品質とはユーザ 入力-5に対応する。最大画質および最小画質の場合、依然としてビデオバッファ の制約を満たし、エンコードされたビデオを記憶する媒体の記憶容量を上回らず に、それぞれ最高品質のビデオと最低品質のビデオが設定されたエンコードされ たビデオを入手するのが望ましい。最大品質または最小品質に設定されるセクシ ョンがある場合は、フローは、ステップ310に進み、そこで最大ケースまたは最 小ケースの修正ビット数が計算される。このプロセスは図15に詳しく示される。 図15では、最大ケースおよび最小ケースに割り当てられたビット数を求めるプ ロセスが、マッピングされた優先順位の10と0にそれぞれ割り当てられたビデオ のセクションに最小レートおよび最大レートを割り当てることによってステップ 320で開始する。図14のステップ302では、このマッピングおよび時間的編集の記 述の残りの部分が実行され、それ以外の明確な指示がないかぎり、マッピングさ れた優先順位が参照される。以下に記述されるように、最大データレートはデコ ーダの能力により制限を受け、毎秒1 Mbitsとなり、最小データレートは、示し ているように図13でユーザインタフェースによりブロック図され、通常は毎秒3 Mbitsとなる自動エンコードモードの間に使用される最小ビットレートを下回る こともあれば、上回ることもある。 それから、ステップ322では、マッピングされた優先順位1から9が設定された セクションがあるかどうか判断される。つまり、最大品質または最小品質が割り 当 てられていることに加え、ユーザが割り当てるそれ以外の中間品質が存在するの である。それ以外のマッピングされた優先順位がある場合には、フローはステッ プ324に進み、1と9の間のマッピングされた優先順位が設定されるすべてのセクシ ョンの平均ビットレートが計算される。この平均が許容範囲（最大ビットレート と最小ビットレートの間）にない場合、フローはステップ328に進む。ステップ3 28では、最大レート、つまり最高の画質を実現するレートは、平均が最小レート を下回る場合に低減される。最大レートを引き下げることにより、非最大状況お よび非最小状況（マッピング優先順位1-9）に使用できるビット数が多くなり、 それにより平均が希望の範囲内または希望の範囲近くとなる。代わりに、ステッ プ328では、平均が最大レートを上回る場合、最小データレートは引き上げられ 、それにより非最大状況および非最小状況（例えば、優先順位1-9）のビット数 が引き下げられる。ステップ328の後、フローは平均が範囲内になるまでステッ プ324、326、および329が繰り返される324に戻る。さらに、最大ビットレートお よび最小ビットレートは、「保護つき」セクションが品質の調整の前と同じビッ トを受け取ることを確実にするために調整される。 いったんステップ326で平均が範囲内にあると判断すると、フローはステップ3 30に進み、それぞれマッピングされた優先順位10と0が設定されるセクションに 計算された最小レートおよび最大レートが割り当てられる。それから、ステップ 332で、残りのビットは、保護つきではなく、最大状況や最小状況でもないセク ションに分配される。マッピングされた範囲1-9が設定されるビデオのセクショ ンおよびデータレートの変更方法については、図16Aおよび図16Bに関して後で説 明する。 ステップ322でマッピングされた優先順位1-9が設定されるセクションが存在し ない、つまり最大セクション、最小セクションまたは保護つきセクションだけが 存在すると判断した場合は、ステップ340で、ビットの最終割当てが自動エンコ ードによるビットの初期割当てと等しくなるまで、必要に応じて最小レートおよ び最大レートを調整する。ステップ340を実行する2通りの代替方法がある。第1 に、最大ビットレートRmaxは、例えば毎秒8 Mbitsで固定されている。総合的な 編集セグメントの合計ビットは理解されているため、最小データレートであるRm inは、自動エンコードの間に獲得されると同じビット総数を達成するために調整 される だけである。Rminを総ビットの以前の数を達成するために調整することができな い場合には、自動エンコードの間に獲得されるビット総数を達成するために、最 大データレートRmaxが調整される。 代替策として、ステップ340では最大品質セクションに優先順位1および最小品 質セクションに優先順位9が指定され、編集セグメントの期間の新しいビットレ ートを求めるために、図16Aおよび図16Bにブロック図されるビット割当てアルゴ リズムが実行される。それから、ステップ342で図16Aおよび図16Bに従って計算 されたデータレートが、以下に説明するように、最低指定品質および最高指定品 質が設定されるセクションに割り当てられ、図15のプロセスが終了する。 ステップ308およびステップ310が、必要な場合に実行された後で、ステップ31 2で、すべてのセクションにマッピングされた優先順位1-9が設定されるかどうか 判断する。これが当てはまると、フローはステップ314に進み、図16Aおよび図16 Bに詳説するように、マッピングされた優先順位の修正ビット数が計算される。 図16Aの最初のステップでは、使用される共通ビットプールのサイズを決定す る。当初、保護つきではないマッピング優先順位1-9が設定されるすべてのセク ションでゃ、一定数のビットが削除されている。再分配深度と呼ばれる係数k1は 、このために使用され、例えば、0.4に設定され、以前に（つまり自動エンコー ド実行から）割り当てられたビットの40%が、保護つきでもなく、最大品質や最 小品質によりマークされてもいないあらゆるセクションから削除されることにな ることを意味する。 次に、ステップ362では、ユーザ選択品質がどの程度品質に影響を及ぼすかを 判断する。動的範囲係数と呼ばれる変数k3が設定され、優先順位から生じること になる品質変更を決定する。k3がどのように設定されるかに応じて、例えば優先 順位2は、品質での相対的に小さな向上、または品質での比較的に大きな向上の ようなさまざまな品質の変更を課す場合がある。通常、動的範囲係数k3は、1.0 に設定される。 ユーザ選択優先順位をビットの再分配で使用するには、形式exp（−優先順位/ k3）の指数的な関係が使用される。指数内の動的範囲係数k3が、指数曲線の形状 を決定する。曲線は、動的範囲係数の値が大きくなるほど急勾配となり、実質上 、 変化する優先順位が設定されたセクションの間で割当てし直したビットでの不均 衡が強まる。この負の指数は、マッピングされた優先順位の絶対値が増加するに 従い（さらに低い優先順位セクション）、そのセクションに割り当てられるビッ トは減少する、つまりマッピング優先順位1は最高の優先順位で、9まで数を引き 上げると設定される優先順位が低くなることを意味する。 ステップ364では、ユーザ選択優先順位が正規化される。つまり、ユーザが選 択した優先順位が、各セクションの相対優先順位を決定するために使用される。 まず、Eiが計算される。 この場合、piとはマッピングされたユーザ選択優先順位で、ｉは、保護つきまた は最大品質や最小品質が設定される期間を除く、編集セグメント内のセクション 期間である。次に、優先順位製機化係数k2が、以下のように計算される。 この場合、Nはセクション数である。優先順位正規化係数は、優先順位に従って 割当てし直されたすべてのビットの合計が、つねに、ビットの使用可能な共通プ ールに等しくなることを確実にするために必要とされる。 したがって、各セクションの相対優先順位は、以下のように計算される。 Riはi番目のセクションの相対優先順位の端数であるので、すべてのRiの求和は 単一となる。 ステップ366でセクションのサイズが正規化される。割り当てられた優先順位 が設定される期間のサイズは異なり、ビットはさまざまなセクションのサイズに 比例して分配されなければならないので、これが必要である。第1に、編集済み フレ ーム総数での各期間内のフレーム数の端数Ti（保護つきではない、非最大、また は非最小優先順位が設定されるフレーム）は、以下に従い求められる。 この場合、Niはi番目の期間内のフレーム数であり、Nは編集セグメントのフレー ム総数である。つまり、改変され、保護されておらず、最大でも最小でもない優 先順位ではない）優先順位が指定されるすべてのフレームである。したがって、 サイズ正規家系数k3は、以下の等式に従い計算される。 この場合、Nはセクション数である。図16Aのステップ366から、フローは図16Bの ステップ368に進む。 図16Bでは、ステップ368で、以下の等式に従い、ビットの共通プールが求めら れる。 この場合、Biはi番目のセクションの自動エンコード手順の間に使用されたビッ ト数に図15のステップ332で分配されたあらゆるビットを加算したビット総数で ある。求和は「N」セクション上である。 それから、ステップ370で、以下の等式に従い各セクションに割り当てられる ビットのターゲット数を求める。 各セクションのビット総数Fiは、ビットの共通プールのパーセンテージにビット の共通プールに与えられたビット分低減されたビット(Bi)の元の数を加算したも のに等しい。ビットの共通プールからのビットのパーセンテージは、各セクショ ンのフレーム総数の端数(Ti)、セクションの相対優先順位(Ri)、およびセクショ ンのそれぞれに総計されるフレームおその対応する端数で乗算されるセクション の優先順位に依存するサイズ正規化係数(k3)に基づいている。 ステップ370で計算されたセクションごとに割り当てられたビットのターゲッ ト数が最大データレートと最小データレートの間にない場合がある。これが当て はまると、ステップ372で、再分配深度k1が0.01低減され、フローは、ステップ3 68のビットの共通プールを計算し直し、ステップ370のビットのターゲット数を 計算し直すために戻る。ステップ368、370、372および374のループが、ステップ 370で計算されたビットのターゲット数が最大データレートと最小データレート の間になるまで実行される。 それから、ステップ376では、ビット位取り因数Siおよびイントラフレームお よび非イントラフレームが、希望の品質を獲得するために異なるビット数を必要 とする。まず、ビット位取り因数Siが、以下の等式に従い計算される。 次に、イントラピクチャおよび非イントラピクチャの位取り因数が計算される。 イントラ位取り因数SIiは、以下の等式い従い計算される。 大きなイントラフレームにより、バッファアングフローが発生する可能性があり 、イントラ因数Ifは、イントラピクチャのビット割当てでの変動を、If=0.8のと きに20%に制限することによって安全率を示す（つまり、SIiは範囲0.8<ＳＩi<1. 2に制限される）。Si'-Si-1.0であることに注意する。非イントラビット位取り 因数SNiは、以下のように計算される。 この場合、BIiおよびBniは、ピクチャタイプによってi番目のセクションで合計 される総イントラビットと非イントラビットである。 最後に、フレームごとに使用されるビット数は、適切な食らい取り因数（イン トラ位取り因数または非イントラ位取り因数のどちらか）で乗算される元のビッ ト数を使用して求められる。それから、図16B（および図14）のプロセスが終了 する。 この時点で、各フレームの修正されたビット数が計算され、図12のステップ28 6が完了する。ただし、フレームの変更済みビット数によりバッファアンダフロ ーが生じたり、編集セグメントの立ち下がり端でのビット数の占有が、編集セグ メントの外のそれ以降のフレームがアンダフローするように変化する場合がある 。これらの状況は、必要ならば、図17に詳説される図12のステップ288で調べ、 訂正される。 図17は、バッファアンダフローがないか確認、訂正し、編集セグメントの立ち 下がり縁でのビット再割当てのための問題を確認、訂正するプロセスを説明する 。図17では、ステップ390で編集セグメントのフレームのそれぞれのビット割当 てをスキャンする。それから、ステップ392で、前述のVBVモデルを使用する新し いビットの分配のアンダフローがないか確認する。アンダフロー問題が存在し(u flowリスト）、各アンダフローを排除するのに必要なビット数が求められ、u v alに記憶されるポイントのリストが作成される。アンダフローが、多すぎるビッ トによって表されるピクチャのために発生することを頭に入れていおくことが重 要である。多数のビットで表される高品質のピクチャがデコーダによってバッフ ァから読み出される場合は、ピクチャが復号化されるときにバッファから多数の ビットが削除され、これらのビットは十分に速く再び満たすことはできない。し たがって、アンダフローを排除するためには、ビットはピクチャ空削除される。 さらに、ステップ392では、バッファがいっぱいであるポイントのリストが作成 され、これらのポイントはo flowに記憶される。前述したように、バッファがい っぱいになると、データはバッファに伝送されなくなるので、バッファがいっぱ いであっても問題はないことに注意する。 ステップ394では、編集セグメントの立ち下がり縁でのバッファ占有を調べる 。動作のVBRモードでは、編集済みビデオセグメントの立ち下がり縁でのバッフ ァ占有が、編集済みセグメントがまったく同じビット数で置き換えられていても 、修正された実行のバッファ占有とは異なる可能性がある。これは、VBR用のVBV モデルの特異性から生じる。したがって、バッファ占有の制約を調べることが重 要である。編集セグメントの立ち下がり縁でのバッファ占有がビットの再分配の 前とまったく同じか、あるいさらに高い場合に、問題は存在しないことを示すの はかなり簡単である。バッファ占有が以前とまったく同じ場合には、それ以降の フレームの占有も、VBV違反がないかすでに確認済みの以前の実行とまったく同 じままとなる。占有が以前より高い場合、バッファがそれ以降のフレームの間に いっぱいになる可能性があり、それは、バッファがいっぱいな場合、データはバ ッファに送られなくなり、アンダフローは発生しないので完全に許容できる状態 である。しかし、以前の実行と比較して、バッファ占有が立ち下がり縁でさらに 低い場合に、第3のケースが生じる。これは、それ以降のフレームでバッファア ンダフローを作成する可能性があり、密接に調べる必要がある。 編集セグメントの最後のフレームを、バッファセグメントの外側でのフレームの バッファアンダフローを防ぐために処理できる2通りの方法がある。第1のアプロ ーチは、2つの内で簡単な方である。編集セグメントの最後のフレームのビット 数により、（ログファイルに記憶される）元のエンコードより大きいまたは元の エンコードに等しいバッファ占有が生じる場合、アンダフロー問題は存在せず、 したがって処置を講じる必要はない。編集セグメントの最後のフレームのバッフ ァ内のビット数が、最初にエンコードされたセグメントのバッファ内のビット数 を下回る場合、ビットのこの低減された数により、編集セグメントの後のフレー ムの内容に応じて、編集セグメントの外側のフレームのアンダフローが生じる場 合もあれば、生じない場合もある。アンダフローが発生しないように防ぐのに必 要となるビット数を求める代わりに、編集セグメントの最後のセグメントのバッ ファの占有が、元のエンコードの場合と同じになるように調整されるだけである 。安全性の目的から、編集セグメントの最後のバッファ占有または十分さは、ア ンダフローの可能性がないことを保証するために元のエンコードの占有の10%上 ま で引き上げることができる。編集セグメントの最後のフレームのバッファ占有を 元のエンコードのレベルになるように引き上げる必要がある場合は、終了フレー ムのビット数をステップ398で実行したように低減する必要がある。最後のフレ ームはアンダフローポイントとして処理され、u flowリストに格納され、バッフ ァレベルを元のエンコードのレベルまで引き上げるために最後のフレームから削 除する必要があるビット数がu valに付加される。 編集セグメントの再エンコードにより生じるアンダフローを処理するための第 2のアプローチは、編集フレームの外側でバッファアンダフロー状況を引き起こ さない編集セグメントの最後のフレームのバッファの最小可能レベルを概算する 反復プロセスである。これは、元のエンコードのバッファ占有と編集セグメント の最後のフレームの再エンコードのバッファ占有の間の最大差異を概算するプロ セスにより実行される。 図18にブロック図されるフローチャートを見ると、元のエンコードバッファ占 有にはBOが割り当てられ、元のエンコードのログファイルに記憶されていた。i= 1...nの場合に編集セグメントの境界を超えたフレーム「i」でのバッファ占有は Biである。この場合、「n」はエンコードされる映画内の最後のフレームに相当 する。再エンコードのバッファ占有が、連続するフレームのどれかでアンダフロ ー状況を引き起こさずに元のエンコードからどの程度低くなることができるかは 、再エンコードのバッファレベルを、少なくとも、それが元のエンコードのため であったポイントに設定するだけの第1アプローチとは対照的に決定されなけれ ばならない。この条件を満たす境界での新しいさらに低いバッファ占有をBO'に する。これは、編集セグメント境界での最小許容バッファ占有である。以前の実 行のバッファ占有より低いバッファ占有を設定する可能性は、差異が、編集セグ メント後のもっと遅いフレーム間隔で吸収されるため、アンダフローが発生しな いという事実から生じる。 図18のステップ420で開始し、編集セグメントの最後のフレームの再エンコー ドされたビデオのバッファ占有BO'が、将来アンダフローを引き起こすことなく ゼロであると想定する。これは、バッファ占有が、アンダフローを防ぐためには より高くなければならないが、バッファ占有はゼロを下回ってはならない可能性 があ るため、BO'に関してもっとも自由な概算である。しかし、図18のプロセスは、 再エンコードされたの編集セグメントの最後のフレームのゼロの占有によりアン ダフローが生じるかどうか、および生じる場合、アンダフローを引き起こさない 値BO'が見つかるまで、編集セグメントの最後でバッファ占有を増加させるかど うかを確認するためにチェックする。 図18のプロセスでは、元のエンコードと再エンコードの間の概算バッファ占有 差異「X」を評価する。 差異「X」は、「X」がチェックされ、必要に応じてアンダフローのすべての可能 性が排除されるまで調整されていることが保証されるまで、最終的に決定できな いので概算と呼ばれる。図18の手順は、境界フレーム直後のフレーム、つまりi= 1で開始して、一度に1フレームづつ進む。BO'がゼロに等しい第1フレームの場合 、概算差異は、ステップ422で計算されるように、元のエンコードの第1フレーム のバッファ占有の値であるのにすぎない。 次に、ステップ424では、境界フレームの右側にあるフレームにより吸収され るビット数を求める。吸収されるビット数とは、元のエンコードの編集セグメン ト後のフレームによりバッファの中に格納される場合もあるが、実際には、バッ ファがいっぱいであるためにさらにビットを受け入れることができなかったため に元のエンコードの間バッファに格納されなかったビットを指す場合に使われる 言い回しである。量△tiは、バッファがその間いっぱいであったが、BO'の値が 引き下げられたために現在では追加ビットを受け入れることができる編集セグメ ントの後の元のエンコードのi番目のフレームの期間を表す。バッファはフレー ム全体でいっぱいとなることはできず、ゼロより大きいか、ゼロに等しいため、 期間△tiはフレームの期間を下回らなければならない。元のエンコードの間にバ ッフ ァが一度もいっぱいでなかった場合には、期間△tiはゼロである。したがって、 この場合、'P'は毎秒フレーム単位で測定され、通常、毎秒30フレームであるピ クチャレートである。バッファがいっぱいである結果、編集セグメントの右側で 吸収されるビット総数は、以下のように計算される。 この場合、Rmaxはバッファの充填レートである。 ステップ426では、編集セグメントの最後のフレームのバッファ占有レベルを 求めるための手順が終了できるかどうかを判断する。i番目のフレームによって 吸収されるビットの合計がX'を上回る、つまりai>X'である場合は、バッファア ンダフローが発生しないで、ステップ428が実行されるように、バッファはもっ と遅いフレームで満たされることができるため、手順は停止される。代わりに、 最後のフレームnに到達すると(I=n)、ビデオの最後までX'の概算値によりアンダ フロー問題が生じることはない。 ステップ426に対する回答が「ノー」の場合、ステップ430で吸収されずに残る ビット数biが計算される。 それから、ステップ432では、bi>Biであるかを判断する。この場合、Biとは編集 セグメントの後のi番目のフレームのバッファ占有である。bi>Biの場合、現在の バッファ占有「Bi」が許容するより多くのビットが吸収されないで残っているた め、差異の概算値、X'は大きすぎて、アンダフローを生じさせる。したがって、 吸収されずに残るビットの間では、「Bi」ビットだけがアンダフローを引き起こ さずに吸収できる。次に、差異の概算X'はステップ434で改訂されなければなら な い。ステップ434では、X'の改訂された概算は、吸収されずに残るビットに吸収 されたビットを加算したものとして計算される。 ステップ432で、Bi<Biであると判断する場合、i番目のフレームでのバッファ占 有は吸収されないで残るビットより大きいので、アンダフローの問題はなく、X' の概算を変更する必要はなく、フローはステップ436に進む。ステップ436では、 次のフレームが調べられ（ｉは1で増分される）、ステップ424、426、430、432 、434、および436のループが、ステップ426での判断に肯定的な回答が得られる まで繰り返される。 ステップ426に肯定的な回答が得られると、概算X'は受け入れられるため、ス テップ428では、編集セグメントの境界での最小許容バッファ占有BO'は以下の通 りである。 編集セグメントの再エンコードされた最後のフレームの実際のバッファ占有がBO 'を下回る場合、アンダフロー状況がビットの再割当てのために発生する。この 場合、最後のフレームはu flowリスト内のアンダフローポイントとしてマークさ れ、アンダフロー状況（変更済みビデオのビット数と結果的に最小許容バッファ 占有を生じさせるビット数BO'の間の差異)を防ぐための編集セグメントの最後の フレームから削除する必要があるビット数は、ステップ392について記述された のと同様にu valの中に格納される。 本発明のエンコードシステムの場合、ビデオの中のすべてのポイントのバッフ ァ占有を知っていることが望ましく、この情報はログファイルに記憶されること に注記すべきである。しかし、編集セグメントの最後のフレームでのバッファ占 有を引き下げる場合には、編集セグメント後のフレームのバッファ占有が変更さ れ、ログファイル内のバッファ占有情報が不正確になり、そのため編集セグメン ト後のフレームのバッファ占有を計算し直す是正処置を講じる必要があるだろう 。 図17のプロセスに戻って参照すると、ステップ396では、u flowリスト内にエ ントリがあるかどうかを判断する。ない場合は、アンダフロー問題は存在せず、 図17のプロセスは終了する。u flowリストにエントリがある場合は、フローはス テップ398に進み、u flowリスト内の各位置の左側からもっとも近いo flowポイ ントまでのセクションが保護つきとマークされ、u val内の対応するビット数に 等しいビットがこれらのセクションから削除される。バッファアンダフローは1つ 以上のフレーム内の多すぎるビットにより引き起こされるため、フレーム内のビ ット数を低減すると、アンダフロー問題が解決される。アンダフローを防止する ために削除されるビットが原因で画質に著しい低下が生じないようにするために 、ビットはアンダフローポイントだけから削除されるのではなく、バッファがい っぱいであった最後のポイントまで戻ってすべてのフレームから均一に削除され る。これが、アンダフローを防止しながらも最高品質のビデオを獲得する方法と なる。 その後、ステップ398で削除されるこれらのビットは、ステップ400で保護つき とマークされないセクションに均一に分配され、図17のプロセスがもう一度開始 する。ステップ400でビットを分配しても、アンダフローが問題ではなくなると いう保証にはならないため、図17のプロセス全体を繰り返し使用して、アンダフ ロー状況がないか再度確認する必要がある。 図17のプロセスが完了した後、図12のステップ288は完了し、図12のステップ2 90が実行される。ステップ290では、ステップ282で求められるレート−量子化関 数を使用してフレームごとの平均量子化値を求める。希望されるビットの数は、 以前ステップ286で計算され、ステップ288でアンダフロー問題が存在するかどう かを確認するためにチェックされたが、エンコードされたデータに希望のビット 数が設定されるようにデータを再エンコードするためには、量子化値を求めなけ ればならない。これは、レート−量子化関数を求め、レートを捜し出すことで量 子化値を求めるだけで、決定される。 ピクチャ単位で量子化レベルを求める場合は、レート−量子化関数(RQF)は、 ステップ282で求められた。この関数を概算するには、ピクチャごとに2つのデー タポイントが必要とされる。RQFは以下の通りである。 この場合、Rは1つのピクチャをコーディングするために使用されるビット数、Q は量子化スケール、X、g、およびHはピクチャ単位のコーディング特性パラメー タである。Hは、Hがヘッダにより消費されるビット、運動ベクタ、DC係数などと なるように、量子化スケールとは独立したビットを表す。 エンコーダの最初の実行は、ビデオシーケンス内のコーディングされたピクチ ャごとに2つのデータポイントを作成するために使用できる。これは、ピクチャ 内のマクロブロックごとに使用される1組の交互の量子化スケールにより実行で きる。これらは、レート−量子化モデルパラメータ「X」と「g」を計算するため に処理される。これらの2つのパラメータは、Hの値とともに、コーディングされ たビデオのフレームごとに1つ、ファイル内に記憶できる。 ビデオのある特定なコーディングされたフレームに割り当てられるターゲット ビットを作り出す量子化スケールを求めるために、「R」がターゲットビットを 表す前記等式が使用され、(X、g、H)の値が前記のログファイルである可能性があ る記憶されたデータファイルから読み取られる。この等式に最適の「Q」の値が 希望の量子化スケールである。 それから、ステップ292でステップ290で求められた量子化値を使用してビデオ の変更されたセクションを再エンコードする。再エンコードの間に特別な手順が 講じられない限り、既にエンコードされたビデオの再エンコードセグメントによ りエンコードによって問題が生じる可能性があることに注記すべきである。エン コード構造および復号化構造を回避するための再エンコードプロセスの詳細は、 以下の別個の項に説明する。ビデオは再エンコードされてから、以前エンコード されたビデオのビットストリームに代入され、プロセスは終了する。 図5に関して記述するように、ユーザは、ビデオが許容できるかどうかを判断 するために、ビデオが再エンコードされた後でビデオを表示することができる。 ビデオが許容できない場合には、ユーザは新規にエンコードされたビデオを受け 入れる必要はなく、既にエンコードされたビデオの使用を続けることができる。 ユ ーザが新規にエンコードされたビデオが望ましいとわかったら、新規にエンコー ドされたビデオで既にエンコードされたビデオは置き換えられる。それから、ユ ーザは、図5に説明するように、ビデオの新しいセグメントを、空間的に、また は時間的に編集できる。 図19Aおよび図19Bでは、オリジナルビデオエンコードからの、およびユーザが 手動品質優先順位を入力した後のビットレートの2つの異なる例を示している。 図19Aおよび図19Bでは、（メガビットを表す106のスケールでの）ビットレート が、ピクチャのグループ番号に対してプロットされる。ブロック図される例では 、１つのGOPに15のピクチャが格納され、各GOPは0.5秒ごとに表示される。また 、実線は元のエンコードを示し、破線はユーザが手動で画質を調整した後のエン コードを示す。 図19Aでは、優先順位2、-3、3、0および保護つきが設定される5種類の異なっ た優先順位領域のあるエンコードを説明する。優先順位3が設定される期間は、 再エンコードの後に、元のエンコードに比較してさらに多くのビットを使用する 。優先順位はただ単に互いに相関しているだけなので、優先順位2が設定される セクションのビットレートは、著しく上昇していないが、-3および0のセクショ ンではビットレートは低下している。保護つきセクションには、再エンコードの 前に存在したのと類似した再エンコード後のビットレートが設定されなければな らない。 図19Bは、それぞれユーザが選択した優先順位0、2、0、4、および0が設定され た領域のある第2例である。ここでも、優先順位は互いに相関しているので、優 先順位0は、ビットレートが未変更であることを意味するのではなく、単に、優 先順位2と4が設定されるそれ以外のセクションに相対する優先順位である。優先 順位4にが設定されるセクションに高いビットレートを指定するために、ユーザ 選択優先順位0が設定されるこれらのセクションは低減され、優先順位2が設定さ れるセクションには、エンコードの前後とほぼ同じビットレートが設定される。 時間的手動編集の処理は、本発明の実施例の図1Aのワークステーション30で発 生する。ただし、時間的手動編集はビデオエンコードプロセスの間は発生しない ので、ワークステーション10はビデオエンコードプロセスのレートを低下させな いで時間的手動編集計算を実行できる。 本発明が、編集セグメント内でのさまざまな時間セグメントの画質の変更とし て詳しく記述されることに注記すべきである。言うまでもなく、同じ時間セグメ ント内にないピクチャのセクションの質の変更を許可するためにこの概念を拡張 することは明らかに可能である。例えば、映画の最後の5分間の質を最初の5分間 を犠牲にして向上させるために、本発明の教示を適用することができる。以下に 説明するように、単独編集セグメントの外側にある期間の品質を変更することが 希望される場合、ユーザは、関心のあるセグメントを連続して表示し、チェック し、ビットを割当てし直し、各セクションの立ち下がり縁でのバッファ占有だけ ではなく、映画の合計ビットに関係する制約が規定の限度内にあることを確認す る必要があるだろう。 時間的手動編集は、編集セグメントの元のエンコードのビット数を、編集セグ メントの再エンコードのビット数と同じにしておくこととして記述されてきた。 しかし、希望される場合には、再エンコードされたの編集セグメントが消費する ビットをさらに少なくしたり、十分な記憶容量が存在する場合には、再エンコー ドされたの編集セグメントのビット数が元のエンコードのビット数を上回ること がある。また、ビデオの元のエンコードを、それにより最終デジタル記憶媒体上 の使用できるすべての記憶スペースが消費されないように実行することもできる 。したがって、再エンコード後のビット総数は、元を上回るまたは下回る任意の 量、例えば5%と1%多いまたは少ないビットを含む、0%と20%の間で多いか少ない 量を消費できる。 時間的手動編集の説明は、ビデオエンコード後にビデオを変更することに関し て行われてきた。しかし、本明細書に記載される教示は、初期エンコードプロセ スがなかったシステムにも適用できる。さらに、共通ビットプールの使用に関す る時間的手動編集の教示は、以下に示すビデオフレームの空間手動編集の概念に 適用できる。また、空間手動編集の個々のフレームでの動作様式は、以下に説明 するように、上質の時間的編集を達成するためにフレームの列に適用できる。 B． フレームの領域内での品質の変更 図20には、1つ以上のフレーム内で領域の品質を変えるための一般的な手順を 説 明する。開始後、ステップ450では、システム構成要素および一般的なシステム 動作に関する項に説明するように、MPEGフォーマットやそれ以外のフォーマット のような圧縮済みデジタルフォーマットに入力ビデオをエンコードする自動ビデ オエンコードを実行する。ステップ452では、ユーザにエンコードされたビデオ が表示され、ステップ454では、ユーザは1つ以上のフレーム内の領域の品質の変 更を示すコマンドを入力できる。 図21には、図1に示されるビデオディスプレイモニタ61のようなモニタ上で表 示されるビデオのフレームがブロック図される。図21のビデオのフレームは、木 465、人467、鳥468、および2つの雲471があるとして描かれる。 図21では、フレーム内の領域が、木465を取り囲む領域466、人を取り囲む領域 469、および領域470、重複領域469を含めて、ならびに鳥468および人467の頭を 含めて限定される。これらの領域は、図1Aに示されるグラフィックポインティン グデバイス33を使用して描画された。図21でユーザが設定した品質優先順位には 、木を含む領域466の-5、人を含む領域469の+2、および鳥と人の頭を含む領域47 0の+4が含まれる場合がある。図21内のビデオのフレームのそれ以外の領域には 、ユーザ定義優先順位は指定されず、したがって、「無定義」優先順位が指定さ れる。後述するように、「無定義」領域とは、ユーザ定義優先順位が指定される フレームのエンコードのビット総数を、フレームの元のエンコードの結果生じる ビット数に等しくなるように調整する目的で、ユーザ定義領域の量子化レベルを 変更した後に最初に修正される領域のことである。ユーザがフレームの領域の品 質の変更を希望しない場合、これらの領域は、ユーザによって優先順位ゼロが設 定されるとマークされるだろう。 本発明の実施例では、ビデオのフレーム内で優先順位領域を限定すると、ユー ザは、当初グラフィックポインティングデバイスを使用して、ビデオの表示され たフレーム上に矩形領域を作成する。後で定義される領域は先に定義される領域 の上に格納され、先に定義される領域と重複することがある。本発明が矩形領域 を限定することに関して説明していても、本発明の教示を、円や楕円のような曲 線を含む領域、八角形や六角形のような多角形の領域、またはそれ以外の、曲線 または直線あるいはその両方を含むユーザが定義する形状にも適用できるのは言 うまでもない。ユーザは、各領域を定義してから、領域の優先順位を定義する。 代わりに、ユーザは、すべての領域の形状を定義し、その後にこれらの領域に優 先順位を指定することができる。 ユーザが初期に領域内で優先順位を定義する場合、領域はピクセル位置に対応 する。ただし、以下に示される優先順位を割り当てるプロセスは、マクロブロッ ク単位で動作し、マクロブロックはデジタルビデオエンコードに使用される単位 である。したがって、マクロブロックがユーザ定義領域内または外周上にある場 合、そのマクロブロックには領域の優先順位が割り当てられる。従来の技術の当 業者は、単純な数学を利用してユーザ定義領域に対応するマクロブロックを求め ることができる。ユーザ定義領域の外周の場合は、領域の外辺部がマクロブロッ クに交差する場合に、ユーザ定義領域内に単にマクロブロックを入れる代替策と して、マクロブロックを領域内に入れるかどうかを判断するさらに精密なプロセ スが、ユーザ定義領域内にマクロブロックの50%以上がある場合には、ユーザ定 義領域内にマクロブロックを入れて、ユーザ定義領域内にマクロブロックの50% 以下がある場合には、ユーザ定義領域からマクロブロックを排除することによっ て実行することができる。 領域およびその優先順位が定義された後で、ユーザは、希望する場合には領域 の重複を変更できる。例えば、ユーザは図21の領域469の上で事前に決定された ファンクションキーを押しながら「クリック」して、領域469を領域470の上にな るように変更し、人全体に領域469の優先順位が設定され、鳥468だけに領域470 に割り当てられる優先順位が設定されるようにする。重複領域には、ユーザによ って入力されるときにスタック優先順位が指定される。このスタック優先順位は 、ユーザ定義領域が追加、削除、または修正されるときに、必要に応じて調整さ れる。 領域が定義された後で、ユーザは、希望に応じて領域のけ以上を作りなおした り、グラフィックポインティングデバイス33を使用して領域を移動することがも できるまた、ユーザにより定義された領域は、グラフィックポインティングデバ イス33を使用して削除できる。領域が削除されていても、ユーザ定義優先順位だ けが削除されているのであり、言うまでもなく削除中の領域内のオリジナルビデ オデータは削除されていないことに注記すべきである。 期間で品質を変更することについての前記項に説明するように、自動エンコー ドの間または自動エンコードの後で、ユーザはエンコードビデオをレビューする ことができ、関心のあるフレームまたは期間が発生するたびに、ユーザはキーボ ードで単にキーを押したり、入力を別の装置から入力し、特定のフレームまたは 期間が重要であることを示す。後で、ユーザはそのフレームまたは期間に戻って 、さらに時間を費やして期間を検討し、希望に応じてその期間内で特徴を変える ことができる。 ビデオのフレーム内の領域をユーザが定義するプロセスは、ユーザによって修 正されるデータのフレームが1つしかない単純なケースについて前述された。し かし、ビデオシーケンス内のデータのフレームを一度に1フレームづつ作業する のはきわめて単調で退屈であるため、本発明を使用すると、ユーザは最初の期間 で領域を定義し、後の期間で対応する領域を定義できるようになる。それ以降、 最初のフレームと最後のフレームの中間のビデオのすべてのフレームに、ユーザ により最初のフレームと最後のフレームに定義される領域に対応する領域が作成 され、最初の領域または最後の領域あるいはその両方の領域と同じ優先順位、も しくは最初のフレームと最後のフレームの優先順位に基づく優先順位が指定され るように、補間プロセスが実行される。さらに、重複領域のスタック優先順位は 、補間プロセスの間維持される。中間フレームにその領域が自動的に作成された 後、ユーザは、希望に応じて、優先順位、領域の形状を変更することにより改変 したり、新しい領域を追加したり、領域を削除することができる。 以下に、補間プロセスがどのように動作するのかの例を示す。ユーザに時間イ ンスタンスt 1とt nでの2つのフレームの優先順位領域を選択させる。ユーザが フレームt 1に領域を、t nに対応する領域を割り当てた後、これら2つの領域の 座標は、t 1とt nの間のすべてのフレームの領域仕様を獲得するために中間フレ ーム上で補間される。定義中の実際の領域に補間を実行できるだけではなく、補 間は品質優先順位にも実行できる。補間プロセスには、単純な一時関数が使用さ れる。ユーザがポイントa 1のあるフレームt 1の領域Aを定義し、フレームt nの 対応する領域Aに対応するポイントa nがあり、中間フレームa 2、a 3...a (n-1) 内の対応するポイントに、以下のように定義される水平縦軸 および以下のような垂直縦軸 があると仮定する。この場合hとvは問題のポイントの水平縦軸と垂直縦軸に対応 する。このプロセスでは、領域を限定する多角形の頂点だけが使用され、頂点は 補間される。それから、領域は頂点により限定される。線形補間以外の他の補間 技法も実行できる。 前記補間プロセスは、編集対象のセグメント内のすべてのフレームのすべての 領域が適切に定義されるまで、必要な回数実行できる。さらにこのプロセスは、 ユーザが中間プロセスの補間で決定された領域を移動したり、領域のサイズを変 更することができ、補間プロセスが最初のフレームと改変された中間プロセスに 、それから中間とフレームと最後のプロセスにもう一度実行できるように発生す る微調整プロセスにより再帰的となる。補間プロセスは、おもに、フレームを横 切って移動する領域を定義するために使用される。しかし、本発明には、静止し ておりフレームの列内で使用される領域を一度定義することも含まれる。 領域が定義され、ユーザ定義優先順位が入力された後、各マクロブロックの新 しい量子化値は、ユーザによって入力された優先順位およびマクロブロックの古 い量子化値に基づいて、図20のステップ456で概算されるか、求められる。これ は、ユーザ選択優先順位のそれぞれで使用される元の量子化値の端数を示してい る図22に説明される関係に従って決定される。例えば、ユーザが優先順位ゼロを 入力すると、使用される元の量子化値の結果として生じる端数は1であり、元の 量子化値に変更がないことを意味する。ユーザが優先順位-3を選択すると、元の 量子化値の端数は1.58となり、優先順位3が設定されるマクロブロックの元の量 子化値が、結果として生じる量子化値を求めるために、1.58により乗算されるこ とを意味する。優先順位-3は品質の低下を意味するので、量子化レベルは、品質 の低下を達 成するために量子化レベルを引き上げる、つまりマクロブロックに使用されるビ ットはさらに少なくなければならない。反対に、3のような正の優先順位がユー ザによって入力されると、元の自動号化からのマクロブロックの量子化値は量子 化レベルを引き下げる0.42で乗算される。引き下げられた量子化レベルは、マク ロブロック内のイメージを表すにはさらに多くのビットが必要とされ、したがっ て、画質が向上することを意味する。図22に示される線上のポイントは(-5，100 )、(-4，1.75)、(-3，1.58)、(-2，1.42)、(-1，1.25)、(0，1)、(1，0.72)、(2 ，0.58)、(3，0.42)、(4，0.25)、および(5，0.01)である。図22に説明されるマ ッピングは、q-レベルと優先順位の間のこの方向の線形関係に基づいている。図 22で求められたポイントは、実験を通して求められ、さまざまな端数は希望に応 じてユーザ選択優先順位と使用できる。 優先順位-5と5はそれぞれ最低可能品質および最高可能品質を獲得することを 目的とする。最低品質は、非線形量子化スケールが使用されるときの最大許容量 子化レベル112、および線形量子化スケールがMPEG-2エンコードに使用されると きの62の結果である。また、最高品質を達成するために使用される最低量子化レ ベルは1である。したがって、図22に説明される関係からは、実際の許容qスケー ルから離れた値が生じることがあるが、これらの計算されたq値は単にその飽和 レベルで格納されるだけである。例えば、当初、マクロブロックに量子化スケー ル20が設定され、ユーザがマクロブロックの優先順位を-5となるように選択する と想定してください。100で乗算される量子化値20が、量子化スケールから離れ た新しい量子化レベル2,000を生み出すため、最大量子化値または飽和量子化値 が使用される。 前記のように飽和レベルを使用することに加えて、本発明では、MPEGエンコー ドのIフレーム、Pフレーム、およびBフレームの予防措置を講じる。本発明は、I タイプフレームの最高量子化レベルを、非線形量子化ケースの場合96となるよう に、線形量子化スケール使用時には58となるように制限する。同様に、B型フレ ームおよびP型フレームの最高量子化レベルは、非線形量子化スケールの場合は1 12、線形量子化スケールの場合は62である。線形量子化スケールおよび非線形量 子化スケールは、MPEG規格で定義される。Iフレーム型、Pフレーム型、およびB フレー ム型のそれぞれに使用される最低量子化レベルは1である。言うまでもなく、図2 2にブロック図されるユーザ定義入力および元の量子化値の端数は、ユーザの要 件を満たすために修正できる。 ステップ456でマクロブロックごとに新規量子化値が計算した後、ステップ458 で、ステップ456で求められた量氏化器値の結果生じるフレームごとにビット数 を求める。本発明の実施例では、他の領域の品質は低下したが、いくつかの領域 の品質が向上した後で、各フレームに同じビット数を獲得しなければならないた め、このステップは重要である。新しい量子化値の結果生じるビット数を求める ために、マクロブロックごとの結果として生じるビット数に対する量子化レベル を適切に概算する関数を設定する必要がある。結果として生じるビット数と量子 化レベルの間の関係正を求めるために、MPEG-2エンコーダのようなビデオエンコ ーダの経験的な結果の検討が実施され、求められた関係は実際の経験的な結果に 基づいている。多くのビデオシーケンスを使用するさまざまな量子化レベルおよ びフレームタイプのシミュレーション結果が実施された。これらの結果に基づき 、マクロブロックの量子化レベル(q)とそのマクロブロックをエンコードする際 に使用されるビット数(b)の間の以下の関係性は、フレームタイプに応じて、以 下の通りであると判断された。 この場合、Iタイプフレームの場合m=-0.75で、BタイプフレームとPタイプフレー ムの場合、m=01.0である。さらに、Iフレーム、Pフレーム、およびBフレームの 場合それぞれn=15、14.5、および13.8である。これらの値は、前記に注記される ように、多数のビデオシーケンスで平均化される。前記等式は、エンコーダの動 作を予測するための優れた近似基準として働き、ビット数と量子化レベルの間の 関係はログ領域内で線形である。言うまでもなく、正確であるなら、量子化レベ ルと結果として生じるビット数の間のそれ以外の関係も、本明細書に記載される その他のレート−量子化関数を含む、指定された量子化レベルから生じるビット 数を求める場合に使用できる。 前記プロセスは、指定された指定量子化レベルから生じるビット数を求める方 法を説明する。しかし、複数のエンコードが使用される場合は、新規エンコード からの情報を使用して、量子化関数に対してデータレートをさらに正確にするこ とができる。初期自動エンコードプロセスの間に、エンコードされるべきビデオ の統計を収集するのに使用される第1ビデオエンコードパスがある。それから、 実際のエンコードである第2パスの間に、量子化関数に対するデータレートの別の 実際のポイントが、指定されたq-レベルから作成されるビット数bを記述する前記 等式に対応するqプロットに対するbにおいてのように獲得される。データが、以 下に説明するように、ユーザ指定選択に従ってエンコードされた後、結果として 生じるビデオは、それが希望される品質の改善を満たすかどうかに応じて、ユー ザによって受け入れられるか、拒絶される。再エンコードするたびに、概算され たビットに対するq-レベル関係の実際データが作成される。新しいq-レベル割当 てq'が指定されると、求められたデータレートは、再エンコードによって得られ る追加データに基づいて、このポイントに関してさらに正確に成る。新規量子化 レベル、q'が以前に得られた2つのポイントの間に該当する場合、新規q-レベルで 出力されるビット数の概算を得るために、ログ領域内で線形補間を実行すること ができる。新規量子化レベル「q」が2つの事前に決定されたq-レベルの間に該当し ない場合には、モデルは、もつとも近いq-レベルから新しい量子化レベルq'に補 外し、エンコード時に作成されるビット数を概算するのに使用できる。データが 再エンコードされる時間が長いほど、エンコーダからの出力ビットに対してより 優れた概算を得る確率が高くなることを注記する。 概算された量子化値から生じる各フレームのビット数が図20のステップ458で 求められた後、ステップ460で、ビット概算数がフレームの元のビット数に十分 近いかどうか判断し、必要ならビット数を訂正する。これは、図23-25Cでブロッ ク図されるプロセスに従い実行される。 ステップ460が実行されると、図23のステップ472が、最初に、ビット概算数と 元のエンコードのビット数の差異を求める。これは、以下の等式に従い計算され る。 この場合、B'は、修正されたフレームの概算ビット数、Bは元のエンコードから結 果として生じるフレームのビット数、およびDは差異である。元のエンコードか ら結果として生じるビット数以外のBの値を使用することができるのは言うまで もない。例えば、ユーザは、フレームの総ビット数の増加を希望する場合、元の エンコードから結果として生じるビット数より大きい事前に決定された量である 数にBを設定できる。同様にして、ユーザは、フレームの元のビット数を下回る ようにBを設定することもできる。したがって、記録されたフレームは、記憶領 域の制約、最小品質制約、およびビデオバファアンダフローの可能性に応じて、 元のエンコードより多いビットまたは少ないビットを消費することがある。また 、フレーム内の領域の量子化値が改変されていない場合、その量子化値を改変さ れた領域から結果として生じるビット数だけを分析し、変更されなかった領域を 無視することができる。それから、ステップ474でこの差異を分析し、ビットが 多すぎると判断されると、フローは、ビット数を低減するためにマクロブロック の量子化レベルを引き上げる目的の図24A-24Cに説明されるプロセスのために、B に進む。ステッブ474で修正されたフレーム内のビットが少なすぎると判断され ると、新規フレームのマクロブロックの量子化レベルは、図25A-25Cにブロック 図されるプロセスFに従ってさらに多くのビットを作成するために引き下げられ る必要がある。それ以外の場合、差異が許容できるスレッショルド内にある場合 は、マクロブロックの量子化レベルを修正する必要はなく、プロセスは図20のス テップ462を実行するために戻る。フレーム内のビット数を再エンコードされた ビデオに対し同じに保つ場合、ビットは、ある領域から別の領域にシフトされる と考えることができる。 ステップ474では、差異Dは、差異をスレッショルドTに比較することで分析さ れる。スレッショルドは、領域の品質の変更の結果生じるビット数が総ビット数 の0.001以内である場合、差異は許容でき、プロセスは停止できることを意味す る0.001xBに設定される。言うまでもなく、差異が許容できることを示す停止ス レッショルドは、別の方法で求められ、希望に応じて引き上げたり、引き下げた り、フ レームの元のビット数とユーザ選択優先順位から結果的に生じるビット数の両方 に基づくことができる。 図24A-24C、および図25A-25Cに説明されるプロセスは、図24A-24Bがユーザ選択 品質の結果として生じるビット数を低減するために使用され、図25A-25Cがユー ザ選択品質の結果として生じるビット数を増加させるために使用されるという点 を除き、きわめて類似している。図24A-25Cで実行されるプロセスの一般的な概 要は、これらのプロセスの詳細を説明する前にここで記述する。当初、ビデオの フレーム内のマクロブロックは、「無定義」、「負の優先順位」、「正の優先順 位」、「変更不可」の4種類の内の1つとしてラベルが付けられる。領域にユーザ による優先順位が指定されていない場合、またはシステムによってユーザが「無 定義」ステータスを割り当てることができる場合、その領域は「無定義」タイプ であると見なされる。ユーザが-5と-1の間の、および-5と-1を含む優先順位を割 り当てると、これらの領域内のマクロブロックは「負の優先順位」であると考え られる。領域に1と5の間の、および1と5を含む優先順位が割り当てられると、そ れらの領域には「正の優先順位」が設定されていると考えられる。最後に、優先 順位0で割り当てられるすべての領域、またはシステムによってユーザが他のな んらかの方法で、領域の品質を変更させてはならないことを示すことができる場 合には、それらの領域のマクロブロックは「変更不可」タイプと見なされる。 4種類のマクロブロックのそれぞれの中でのマクロブロックのそれぞれには、4種 類の内のそれぞれに独自のインデックスのセットが備えられるように、インデッ クスｉでラベルが付けられる。ゼロのインデックスｉは、最初のマクロブロック に割り当てられ、インデックスn-1は最後のマクロブロックに割り当てられる。 この場合、Nはある領域種類内のマクロブロックの総数である。例えば、「無定 義」領域のすべてに対し、これらの領域内のマクロブロックのそれぞれに0からn -1のインデックスが付けられる。3つ以上の「無定義」領域がある場合、「無定 義」領域に2つの異なるインデックスｉ=0がないことに注記する。すべての「無 定義」領域に対しては、インデックス0が付いたマクロブロックは1つだけ、イン デックス1がついたマクロブロックは1つなどである。 ユーザが領域の優先順位を決定した後にフレーム内のビットが多すぎる場合、 フレームの量子化レベルは、フレームのビット数を低減するために引き上げられ なければならない。マクロブロックの元の量子化値が、図10Aまたは10Bのどちら かにブロック図されるフォーマットを持つマクロブロックレーヤのログファイル から削除される。代わりに、エンコーダは再実行し、量子化値がエンコーダの元 の実行の後に記憶されていなかった場合には、量子化値を求める。しかし、別の 代替策では、エンコードされたビットストリームを復号化し、元のエンコードの 量子化値を求める。ビット数を低減するために、手順は、「無定義」タイプのマ クロブロックごとの量子化レベルを1量子化レベル、一度に1マクロブロックづつ 引き上げることで動作する。これで問題が解決されない場合、「無定義」の各マ クロブロックのqレベルは、一度に1マクロブロックづつ再度1増加される。事前 に決定された最大量子化レベルが設定され、無マクロブロックの量子化レベルを 超えて増加できる。「無定義」タイプのすべてのマクロブロックがこの最大レベ ルに達すると、「負の優先順位」および「正の優先順位」の領域は、同じように 1増加される。まず、すべての負の優先順位マクロブロックが1量子化レベル引き 上げられ、これでビット差の問題が解決されない場合、「正の優先順位」マクロ ブロックのマクロブロックの量子化レベルが1増加される。これで問題が解決し ない場合、「負の優先順位」マクロブロックの量子化レベルは再び1増加され、 これで問題が解決しない場合には、「正の優先順位」タイプのマクロブロックの 量子化レベルが1増加される。このプロセスは「負の優先順位」タイプおよび「 正の優先順位」タイプのすべてのマクロブロックの量子化レベルが前記最大レベ ルに引き上げられるまで続行する。これでビット差問題が解決しない場合には、 「変更不可」タイプのマクロブロックの量子化レベルが、ビット差問題が解決さ れるまで、一度に1量子化レベル引き上げられる。十中八九、ビット差問題は、 「変更不可」タイプの量子化レベルが変更され始める前に訂正されるだろう。ユ ーザ選択優先順位が設定されるフレームのビット数が少なすぎて、図25a-25cの プロセスに従ってビット数を増加するために、マクロブロックの量子化レベルを 引き下げる必要がある場合、類似したプロセスが発生する。 今度は、生じたビットが多すぎてしまったときに図23によって実行される図24 Aにブロック図されるフローチャートを参照すると、プロセスはブロックタイプ を 「無定義」タイプに設定するステップ480により図24Aで開始する。それから、ス テップ482で、マクロブロックインデックスを、インデックスiがゼロに等しく設 定されることを意味する開始ポイントに設定する。それから、設定されていたマ クロブロックタイプ（フローチャートで初めて、「無定義」タイプの第１マクロ ブロック）の問題のマクロブロック（インデックス＝i内のマクロブロック）の 量子化レベルに最大事前定義量子化レベルが設定されているかどうかを判断する 、ステップ486が実行される。この訂正プロセスの最大量子化レベルは、訂正さ れるマクロブロックの品質で大きな劣化がないように高すぎて設定してはならな い。可能であるなら、マクロブロックの質に大きな差が出ないように、均一のビ ット数を減少させる目的で品質を劣化させようとすることが望ましい。したがっ て、この最大値は線形量子化スケールが使用されるときには量子化レベル62に、 非線形量子化スケールがMPEG-2エンコードなどに使用されるときには112に設定 される。ただし、最大量子か器値には、それ以外の値も使用できる。問題のマク ロブロックの量子化レベルがステップ486で最大ではないと判断されると、ステ ップ488で問題のマクロブロックの量子化レベルを1量子化レベル増分する。それ から、ステップ490で前記のビットレート−量子化機能を使用してフレームのビ ット概算を計算し直す。それからステップ490では、マクロブロックのインデッ クスをゾウ文する。マクロブロックのインデックスがマクロブロックタイプの最 後のマクロブロックが処理されていないことを示す場合は、フローはステップ48 4にループバックする。それ以外の場合は、フローはステップ492から、ブロック インデックスをゼロにリセットするステップ498に進み、第1マクロブロックを示 す。 フローがステップ484に戻ると、ステップ490で計算し直されるビット概算は、 前述するように、スレッショルドに比較される前記の差Dを計算し直すために使 用される。ビット概算が高すぎない場合、ユーザ選択優先順位を指定されるフレ ームのビット数が訂正され、フローは呼び出しプロセスに戻る。それ以外の場合 、フローは、問題の（インデックス1が設定される）マクロブロックの量子化値 が最大であるかどうかをもう一度判断するステップ486に進む。 ステップ486で、問題のマクロブロックの量子化値が最大であると判断すると 、そのブロックの量子化レベルは引き上げる必要はなく、ステップ494では1ブロ ッ クインデックスiを増分する。ステップ496でマクロブロックタイプのインデック スが最後のブロックを通り過ぎていないと判断すると、フローはステップ486に 進み、増分されたインデックスの付いたブロックに最大量子化値が設定されてい るかどうかを判断する。それ以外の場合、ステップ496でマクロブロックが問題 のマクロブロックタイプの最後のマクロブロックであると判断すると、ステップ 498が実行され、ブロックインデックスが第1マクロブロック（i=O）にリセット される。それから、フローは図24Bに説明されるプロセスCに進む。 図24Bでは、ステップ500で、ブロックタイプが「無定義」タイプであるかどう か調べる。「無定義」タイプである場合は、ステップ502ですべての「無定義」 マクロブロックに最大qレベルが設定されているかどうかを判断する。「無定義 」マクロブロックのすべてに最大qレベルが設定される場合、「無定義」タイプ のマクロブロックにさらに調整を実行することは不可能であるため、マクロブロ ックタイプは、ステップ504で「負の優先順位」に変更され、フローは図24Aにブ ロック図されるプロセスDに戻り、ステップ484が実行される。それ以外の場合、 ステップ502で、「無定義」タイプのすべてのマクロブロックに最大qレベルが設 定されていないと判断すると、フローは修正中のマクロブロックのタイプを変更 しないで、プロセスに戻る。この手順は、フレームの結果として生じる数がスレ ッショルド範囲内になるまで続行するか、あるいは「無定義」型のすべてのマク ロブロックが「負の優先順位」に変更されるブロックタイプを結果的に生じさせ る最大量子化レベルに設定される。 ステップ500でブロックタイプが「無定義」ではないと判断するとステップ506 がブロックタイプが「負の優先順位」であるが判断する。ブロックタイプが「負 の優先順位」の場合、ステップ506は、「正の優先順位」のすべてのブロックに 最大qレベルが設定されるかどうか判断する。ステップ508の判断の結果が負であ る場合、ステップ510が実行され、ブロックタイプが「正の優先順位」に設定さ れ、フローは図24Aにブロック図されるプロセスDに進む。 ステップ508で「正の優先順位」のすべてのマクロブロックに最大qレベルが設 定されると判断すると、ステップ512で「負の優先順位」タイプのすべてのブロ ックに最大qレベルが設定されるかどうか調べる。設定されていない場合、ブロ ッ クタイプは変更されず、フローは図24AのプロセスDに戻る。「負の優先順位」タ イプのすべてのマクロブロックに、ステップ512で、最大qレベルが設定されてい ると判断される場合、すべての「無定義」、「負の優先順位」および「正の優先 順位」のマクロブロックに最大量子化レベルが設定され、ブロックタイプがステ ップ512で「変更不可」に設定される。それから、フロは図24AのプロセスDに進 む 図24Bのステップ506が負と判断されてから、プロセスEおよび図24Cのステップ 520が実行される。ステップ520でブロックタイプが「正の優先順位」であるかど うか判断する。そうである場合は、ステップ522で「負の優先順位」のすべての ブロックに最大Qレベルが設定されるかどうかが判断される。設定されていない 場合、ブロックタイプは「負の優先順位」に設定され、フローは図24Aにブロッ ク図されるプロセスDに戻る。ステップ522で「負の優先順位」タイプのすべての ブロックに最大qレベルが設定されていると判断すると、ステップ526で「正の優 先順位」タイプのすべてのブロックに最大qレベルが設定されるかどうかを調べ る。設定されていない場合、フローは図24Aにブロック図されるプロセスDに戻る 。それ以外の場合、すべての「無定義」ブロックとともにすべての「負の優先順 位」および「正の優先順位」に最大量子化レベルが設定され、ステップ526でブ ロックタイプが「変更不可」に設定され、フローは図24Aにブロック図されるプ ロセスDに戻る。 ステップ520でブロックタイプが「正の優先順位」ではないと判断すると、ブ ロックタイプはそれゆえ「変更不可」でなければならず、ステップ530で「変更 不可」タイプのすべてのブロックに最大qレベルが設定されるかどうかが判断さ れる。設定されている場合、ユーザ選択優先順位が設定されるフレーム内のビッ トが多すぎるという問題を解決しないで、すべてのブロックタイプが最大量子化 レベルに設定されたので、エラーが生じる。すべてのブロックを最大事前定義q レベルに設定すると、フレームの元のエンコードを上回らないビット数が生じる はずである。ステップ530での判断が負である場合、フローは図24Aに説明される プロセスDに戻る。 図23のプロセスが、ユーザ選択優先順位領域のあるフレーム内のビット数が少 なすぎると判断すると、図25A-25Cのプロセスが実行される。図25A-25Cは、量子 化レベルがフレームのビット数を増加させるために引き上げられる代わりに引き 下げられ、マクロブロックの量子化レベルが、引き下げられたときに量子化Ｒレ ベルの1のような事前に決定される最小レベルを超えることができないという点 を除き、図24A-24Cにブロック図されるプロセスに基づいている。前記に注記し た相違点を除き、図25A-25Cのプロセスが図24A-24Cのプロセスに同一であるため 、図25A-25Cのさらなる説明は簡略を期すために行わない。 図23-25Cに記述される訂正プロセスは、本発明が動作する1つの様式である。 ただし、異なった種類のマクロブロックの量子化レベルを調整する代替手段も可 能である。例えば、「負の優先順位」および「正の優先順位」のマクロブロック の量子化レベルを、前述のように同時に変更する代わりに、「負の優先順位」タ イプ、「正の優先順位」タイプおよび「変更不可」タイプのマクロブロックは均 一に増加できる。代わりに、ビットが多すぎる場合には、「負の優先順位」タイ プの量子化レベルが、最大量子レベルに達するまで引き上げられてから、「正の 優先順位」タイプのマクロブロックの量子化レベルが引き上げられる。反対に、 ユーザ選択優先順位が設定されるビット数が少なすぎる場合、「負の優先順位」 タイプのマクロブロックのレベルが引き下げられる前にビット数を増加するため に、「正の優先順位」タイプのマクロブロックの量子化レベルが引き下げられる 場合がある。後者の2つのケースでは、「無定義」タイプのマクロブロックの改 変は、「負の優先順位」または「正の優先順位」タイプのマクロブロックの前、 間、または後に発生する可能性がある。 図23A-25Cのプロセスが実行された後、フローは、新しい量子化値を使用して ビデオを再エンコードする図20のステップ462に戻る。この再エンコードは、再 エンコードされたのフレームの結果として生じるビット数を、フレームの元のエ ンコードのビット数にできる限り近づける目的で、レート−制御関数を使用して 、量子化値を微調整する間に実行される。レート−制御装置プロセスは、以下の 別項に詳しく説明する。また、再エンコードの間、エンコード人為構造が発生す る可能性があるため、以下の別項に説明するように、これらのエンコード人為構 造を低減する目的で特殊な手段を実行できる。 空間手動編集のプロセスは、本発明の実施例の図1Aのワークステーション30で 発生する。しかし、空間手動編集がビデオエンコードプロセスと同時に発生しな い場合、ワークステーション10は、ビデオエンコードプロセスのレートを劣化さ せないで時間的手動編集を事項できる。本発明がフレーム内のさまざまな領域の 画質を変更することとして詳しく記述されることに注記すべきである。本明細書 の概念を、あるフレームの領域内のビットを別のフレームの領域にシフトするこ とに拡大することができるのは言うまでもない。さらに、空間手動編集は、前記 の時間的手動編集といっしょに適用できる。 空間手動編集は、ユーザ指定領域優先順位が設定されるフレームのビット数を フレームの元のエンコードと同じに保つこととして説明された。ただし、希望さ れろ場合、再エンコードされた編集セグメントは、十分な記憶領域容量がある場 合には、フレームの元のビット数より多いか少ない事前に決定されるビット数を 消費できる。これらのケースでは、改変されたフレームを変更できるビット数を 理解しておくことが望ましく、そのため図24A-25Cにブロック図されるプロセス は、設定された差が達成されるまで動作するだろう。したがって、任意のフレー ムの再エンコードのビット総数は、5%と1%多いまたは少ないビットの両方を含む 0%と20%の間で多くまたは少なく、元のエンコードを上回るか、下回る任意の量 を消費する。 空間手動編集の説明は、ビデオがエンコードされた後のビデオの変更に関して 行われた。しかし、本明細書に記載される教示は、初期エンコードプロセスがな かったシステムにも適用できる。 空間手動編集は、以前に取得されたフレームと同じビット数を達成するために 、ユーザ選択優先順位に基づいて量子化値を割り当ててから、必要に応じて、フ レームのマクロブロックの量子化レベルを調整することによって動作する。対照 的に、前記の項に記述された時間的手動編集は、ビデオのセクションからビット の共通プールを削除し、それらのビットを、ユーザ選択優先順位に従って、共通 プールから分配し直す。あるフレームに関して空間手動編集が実行されるプロセ スについてのすべての教示は、時間的手動編集の項に説明されるように、時間で ビデオのフレームの品質を変更するという概念に適用でき、逆の場合も同じであ る。例えば、空間編集は、品質の変更を達成するために量子化レベルを修正する こととして説明されてきたが、ビット数は時間的編集の項で調整される。フレー ムま たはマクロブロックのビット数は、直接、量子化レベルに依存するため、ビット 数および量子化レベルの修正は、同じ結果を達成し、そのため時間的編集および 空間編集は、ビット数または量子化レベルあるいはその両方を修正できる。 VIII． 品質変更後のビデオの再エンコード A． 品質が単独フレーム内で変更された場合のビット割当て制御 図1Aにブロック図されるビデオエンコード装置50のビットレートを制御するた めに、ワークステーション10または同じ制御機能を実行できるあらゆる専門ハー ドウェアのような制御装置が、量子化レベル、つまりq-レベルおよびレート制御 式エンコーダ内へのスライスごとの概算ビット数または予想ビット数をロードす る。それから、エンコーダはエンコードを開始し、量子化レベルは、以前に求め られた予想ビット数に比較して、作成されたビット数の精度を測定してから調整 される。予想ビット数は、空間手動編集および時間的手動編集に関する項で前述 されるように、レート−量子化関数を使用して求められる。このプロセスは、一 度のn個のマクロブロックの集合に対して連続して実行され、各集合はMB(ｉ)と 示され、以下の通りである。 マクロブロックの最後の集合を再エンコードする場合、作成されるビット数のマ イナーな過剰予想が、ビットスタッフィングを使用して吸収できるため、レート −制御装置が、再エンコードプロセス中で作成されたビットの総数が最初にエン コードされた長さより短くなることを保証する。 図26は、事前に割り当てられる量子化レベルでデジタルビデオの集合を再エン コードするための方法を説明するフローチャートである。調整は、量子化モデル が、再エンコードにより作成されるビット数を、作成されたビットの実際の数に 対してどれほど正確に予想下のかに基づいて、事前に割り当てられた量子化レベ ルに加えられる。図26では、レート制御式コーディングプロセスは、ステップ70 0で開始してから、ステップ702でi=1を設定することによって、nマクロブロック の第1集合をマクロブロックの現在の集合として指定する。ステップ704では、マ クロブロックの各集合MB（ｉ）の再エンコードで使用される、ビット予想数の完 全な集合、EB（ｉ）をロードする。それから、MB(I)はステップ706で再エンコー ドされ、実際に作成されたビットの数がGB（ｉ）として記憶される。作成済みビ ットGB（ｉ）、予想ビットEB（ｉ）の間のパーセンテージ差は、ステップ708で 予想率、PB（ｉ）＝GB（ｉ）／EB（ｉ）として計算される。さらに、システムは 、累積ビットの予想数EB'（ｉ）、累積作成ビット数、GB'（ｉ）をマクロブロッ クのすべてお再エンコードされた集合に対して計算することが可能で、この場合、 EB'(1)=EB(1)、GB'(1)=GB(1)、EB'（ｉ）=EB'（i-1）＋EB（ｉ）およびi>2の場 合、BG'(1)=GB'（i-1）＋GB（ｉ）である。したがって、PB（ｉ）/EB'（ｉ）を 使用することによって、説明されたステップ708の代替策として、PB（ｉ）は、 累積ビット予想数EB'（ｉ）および累積作成ビット数GB'（ｉ）を使用して計算で きる。これは、マクロブロックのある特定の集合がどれほど正確にエンコードさ れたのかを示す代わりに、全体としての再エンコードプロセスがどのようにター ゲットビット数を満たしているのかのより正確な表示となる。ステップ710では 、概算率が使用され、マクロブロックの次の集合、MB(i+1)内のq-レベルの訂正 係数を判断する。 この訂正係数は、2通りの方法の内の1つを使用して求められる。第1の訂正係 数決定方法は、割合ルックアップテーブルと呼ばれる割合値のテーブル内の率の 単純並べ替え済みリストを進み、どの2つの割合オ間に概算率が該当するのかを 判断する。テーブル内の2つの数の大きい方のインデックスjは、訂正係数インデ ックスとして使用される。訂正係数インデックスは、テーブル内のj番目の要素 を訂正係数として選択することにより訂正係数テーブル内で訂正係数△（ｉ）を 探すために使用され、マクロブロックの次の集合は△（ｉ）によって調整される 。割合ルックアップテーブル、RTには、例えば、以下のような並べ替えられた値 が指定され 訂正係数テーブルCTには、以下の値が指定される。 図30は、概算率を使用して訂正係数インデックスを割合ルックアップテーブル から求めるプロセスを説明するフローチャートである。ブロック図のためだけに 、PB（ｉ）＝0.87であると想定する。インデックスjは、当初、ステップ722で設 定される。PB（ｉ）をRT(j)に比較するプロセスが開始し、前記ルックアップテ ーブルに定義されるように、ステップ724では、PB(ｉ)=0.87がRT(1)=0.85に比較 される。0.87が0.85を上回る場合、プロセスはステップ726に続く。ステップ726 で残りのインデックスがあると判断されているので、制御はステップ728に渡さ れ、jは1増分される。ステップ724に戻ると、PB（ｉ）=0.87は現在RT(2)=0.90で あるため、制御は、訂正係数インデックスの検索を終了するステップ730に渡さ れる。 図31は、テーブルへのインデックスが指定されるルックアップテーブル内で値 を捜し出す方法を説明するフローチャートである。図31では、第1の方法に従っ て訂正係数を求めるために、2であるインデックスjが使用され、CT内の対応する エントリを捜し出す。CT内の第2位置から読み取ると、訂正係数は、ステップ736 で-2であると判断される。したがって、MB(I+1)のq-レベルは-2で変更される。 同様に、PB（ｉ）=1.12の場合、インデックス7はPB（ｉ）より大きいRT内の最初 の入力に対応するため、7番目の位置にあるCTの訂正係数は3である。したがって 、MB（i+1）のq-レベルは3を追加することによって、例えば3をMB(i＋1)に加算 することにより変更される。 第2の訂正係数決定方法では、再エンコードされたマクロブロックの集合のパ ーセンテージが訂正係数を求める際に第2パラメータとして使用される点を除き 、第1方法に類似したプロセスを使用する。さらに、テーブルから訂正係数を読 み取る代わりに、訂正係数はマトリックスから読み取られる。再エンコードされ たマクロブロックの集合のパーセンデージ、または再エンコードされていないマ クロブ ロックの集合のパーセンテージを使用することにより、フレームの列の最初でよ り漸進的な訂正を加え、必要なら、最後でより著しい訂正を加えることができる 。これによって、システムは量子化モデルと実際に作成されたビット数の間の変 動をより正確に訂正できるようになる。再エンコードされずに残っているマクロ ブロックの集合の数と訂正の意義の間の反転関係を使用し、マクロ部アロックの ある集合内での過剰予想がマクロブロックの別の集合での過少予想により相殺さ れると仮定すれば、不必要な訂正は回避される。 第2訂正係数方法の訂正係数マトリックスCTMの例として、CTMが以下のように 定義されると想定する。 フレームの列の最初で、概算比が必要なビット数の過剰評価を示す場合、すべて の未使用のビットをただちに次のスライスに割り当てし直す必要はない。未使用 のビットがただちにMB(i+1)によって消費された場合、ｋi+1の場合、予想以上の ビットを消費するMB(k)により、MB(k+1)は強制的に不必要にさらに高い量子化レ ベルに引き上げられるだろう。未使用のビットは、必要とされ、MB(k)によって 使用されるまで、再エンコードプロセスでMB（ｉ）から前方に運ばれる。 図32は、概算比および残っている再エンコードされていないマクロブロックの 集合の数の両方を使用して訂正係数がどのように計算されるのかを説明するフロ ーチャートである。必要となるビット数の過剰評価のケース、つまり訂正係数j がPB（ｉ）=0.87の場合に2に等しいと以前に判断した場合、図32のステップ744 で過剰評価が再エンコードプロセスの最初のパーセントデ発生するかどうか判断 する。CTMの(2,1)での要素は-1であり、したがって訂正係数として選択される。 これにより、第1方法では-2がであった再エンコードプロセスの初期に訂正効果 は鈍る。しかし、再エンコードプロセスの99パーセントは実行され、概算比がPB (ｉ)＝1.12である場合、3である要素（9,77）が選択されるので、再エンコード プロセスの最後で完全に訂正する。 図27A-27Cに戻ると、q-レベルが事前に割り当てられたフレームがある集合内 の マクロブロックの数が1つのスライスの中のマクロブロックの数に等しい別の例 として説明される。ビットの概算数EB（ｉ）が前述のように計算され、図27AのM B(i)、マクロブロックｉのレート制御プロセスで使用されるメモリの中にロード されてから、MB（ｉ）が実際に再エンコードされる。作成ビット数、GB（ｉ）が 求められ、概算比が計算され、訂正係数捜し出される。図27Bに示されるように 、それからMB(i+1)は△（ｉ）によって訂正され、プロセスはMB(i+1)のために繰 り返される。図27Cには、MB(i+1)が概算され、計算され、その概算比が求められ た後のMB(i+2)の変化が示される。このプロセスは、すべてのマクロブロックお よび部分的なマクロブロックが再エンコードされ、訂正されるまで続行される。 図27Aおよび27Dを参照して別の例が示される。この例では、集合あたりのマク ロブロック数は、2つのスライスの仲のマクロブロックの数である。EB（ｉ）、G B（ｉ）、およびPB（ｉ）を計算した後で、2つのスライスを構成するMB(i+1)の マクロブロックは、図27Dに説明されるように、△（ｉ）により訂正される。こ の再エンコードおよび訂正プロセスは、すべてのマクロブロックが再エンコード されるまで以前の例で続行される。 再エンコードプロセスにより生じる変更は、図28Aおよび図28Bに説明される。 フレームNの2つの等しい面積の領域である領域Aと領域Bは、当初ほぼ等しい数の ビットを使用してエンコードされる。ユーザは、領域Aの品質が劣化され、領域B の品質が向上されなければならないと指定する。しかし、元のエンコードに使用 されたビット数が再エンコードのビット数にできる限り近くなるようにすること が望ましい。フレームNを再エンコードした後、フレームNには元のエンコードか ら作成された同じバイト数が格納されるが、領域Aはより少ない数のビットでコ ーディングされ、領域Bは追加ビットを使用する。これにより、ユーザが要求し たように、領域Aの品質は劣化し、領域Bの品質は向上する。本発明のレート制御 プロセスでは、レート量子化関数を使用して求められた概算数でのマイナーな誤 差を訂正することにより、フレームの再エンコードされたビット数はできる限り 元のビット数に近づけられる。 図29では、複数のフレームからのビットを割当てし直し、それらを第2の複数 の フレームに与えることにより、デジタルビデオストリームに加えられる変更を説 明する。個々のフレーム面積は変化しても、フレームの集合の総面積は同じまま でなければならない。レート制御装置により、複数のフレームの再エンコードの ビット数は、ビット概算数を求めるために使用されるレート量子化関数がわずか に間違っていても、元のエンコードからのビット数と同じになるように微調整で きるようになる。 B． 編集ポイントで復号化人為構造を回避しながら再エンコードする 1． 最初にエンコードしたときに使用された状態にエンコーダを復元する 前述の時間的品質編集動作および空間品質編集動作は、ビデオの品質を新規量 子化値でビデオを再エンコードすることによって変更できるようにする。ただし 、再エンコードされたビデオを単にオリジナルビデオに代入するだけでは、ビデ オの編集ポイントでの可視グリッチとして出現する受け入れられない復号化人為 構造が生じる場合がある。これらの可視グリッチは、代入されている新規セグメ ントにMPEG-2構文のような適切な構文が設定され、編集境界でのバッファ制約事 項が満たされていても発生する。問題は、編集セグメントの前に来る最後の基準 フレーム（最後のp-フレーム）および編集セグメントの最後にある別の基準フレ ーム（私語のp-フレーム）の非可用性の結果生じる。これにより、編集セグメン トの最初にあるB-フレームの第1集合と編集セグメント直後Bフレームの第1集合 のエンコードと復号化の間に格差が生じる。 デジタルエンコード圧縮ビデオの編集を適切に実行するためには、まず、希望 の編集ポイントに対応するエンコードビットストリームの適切な位置を決定する 必要がある。このプロセスは、エンコードされたビデオにアクセスするためのユ ーティリティを説明する第VI項に前述された。前述するように、これは、問題の ピクチャのビットオフセットを求めるために、既にエンコードされたフレームの それぞれい使用されるビット数を合計することで実行される。代わりに、エンコ ードされたビットストリーム内のある特定のフレームや期間の厳密なロケーショ ンを示す情報を維持するために、ディレクトリも使用できる。 今度は図33A-33Eを見ると、本発明の動作を説明するための例として使用され るビデオの期間がブロック図されている。図33Aでは、エンコードされたビデオ の元のセクション0がブロック図される。エンコードされた期間5 m 0sから10m 0 s（5分、ゼロ秒から10分、ゼロ秒まで）を別のビデオセクションで置き換えるこ とが希望される。図33Bでは、図33Aのエンコードされたビデオに代入しなければ ならない未エンコードビデオの新しいセクションがブロック図される。図33Bお よび33Cの破線は、未エンコードビデオを表すのに使用され、図33A、33Dおよび3 3Eの実線はエンコードされたビデオを示すのに使用される。 図33Bに示される新しいビデオのセクションだけが、GOPが以前のGOPを参照す る標準MPEG-2を使用してエンコードされ、図33Aに示されるビデオに代入される 場合、復号化人為構造が、MPEG-2ビデオ圧縮で使用される双方向復号化に必要な 正確な基準フレームが欠如しているため、編集ポイント5m 0sと10m 0sで存在す るだろう。GOPの始まりは以前のGOPに戻って参照するが、GOPの最後は次のGOPに 進んで参照しないという事実のため、この問題は本発明により違うように処理さ れる5分ポイントおよび10分ポイントの両方で存在する。 復号化人為構造をGOPの始まりで防ぐには、GOPの最初の2つのB-フレームの基 準フレームとして使用される先行するGOPの最後のP-フレームを作成し直すこと である。これは、例えば、オリジナルビデオの1つのGOPを挿入対象のビデオの始 めに格納することにより達成され、この追加されたビデオは図1の4 m58.5sから4 m 59sに示される。例では、GOPの他の期間も可能ではあるが、あるGOPは1秒の2 分の1に等しい。エンコーダは、4m 59sの直前にGOPの最後のp-フレームを作成す るために、元のエンコードに使用される同じ量子化値でこのセクションに関して 再実行される。最後のP-フレームを除く、ビデオのこの短いセクションの再エン コードの結果生じるすべての情報は廃棄されることがある。 編集セグメントの最後での復号化人為構造を防ぐために、オリジナルビデオの 1秒という期間（例えば、図33Cの10m 0sから10m 1s）が置換される新規ビデオの 最後に付加され、この1秒セグメントは、元のエンコードの間に使用されたのと 同じ量子化値を使用してエンコードされる。この1秒期間がビデオの最後に付加 されなかった場合、10m 0sマーク直後の2つのB-ピクチャは、10m 0sは2つのGOP の間の 分割ポイントであると仮定し、編集の前と編集の後で異なる基準ピクチャに戻っ て参照する。例は、ビデオの2分の1秒期間または1秒期間の新規セクションへの 付加として説明したが、概念はGOPの付加に一般化できる。 現在では、最後にある編集ポイントが10m 1sポイントであるため、復号化人為 構造は10分マークでは出現しなくなるが、人は復号化人為構造が10m 1sで生じる かどうかを考慮しなければならない。10m 1sマーク直後の2つのB-フレームが、 それらが以前に参照した本質的に同じ基準フレームに戻って参照するため、可視 復号化人為構造は生じない。10m 0sマーク直後の2つのB-フレームが、それらが 過去に参照した同じ基準フレームに戻って参照しなくても、2つのB-フレームは 再エンコードされていたため、適切に新しい基準フレームに戻って参照する。し たがって、可視復号化人為構造は10m 0sポイントまたは10m 1sポイントでは存在 しない。 図33の最後に追加された2つのGOP（1秒）は、最後のp-フレームが元のエンコ ードにほぼ同等となるのに十分な時間でなければならない。10分ポイントの後の オリジナルビデオを再エンコードするときにまったく同じ量子化値が使用される ことが保証できる場合には、1GOP（2分の1秒）で正確にエンコードされた基準ピ クチャを適切に作成するのに十分であるはずである。ただし、適正な品質を保証 するためには、2つのGOPが好まし。最初に使用されたのと同じ量子化値を使用す ることが希望されても、実際には、元の量子化値からマイナーな偏差が生じうる 場合があるため、2つのGOPが望ましい。 4m 58.5sから4m 59sおよび10m 0sから10m 1sまで使用されるビデオの元の期間 に加えて、図33Cは、4m 59sから5m 0sまでの追加オリジナルビデオを示している 。このビデオは復号化人為構造の防止には必須ではないため、最後のP-フレーム を決定するための2分の1秒が5m 0sマークの直前（例えば4m 59.5sから5m 0sまで ）に使用できる。ただし、4m 59sから5m 0s期間は、オペレータによる、品質の 手動変更が編集境界を超えて影響したという認知の機会を排除するために新規ビ デオに付加される。この誤認は、MPEG GOPの最初でのフレームのコーディング順 序はIBBだが、フレームはBBIとして表示されるという事実のためである。1秒期 間は、その期間の元のエンコードの間に使用されたのと同じ量子化値を使用して エンコードされる。以前使用された量子化値を得る方法を以下に説明する。1秒 期間が4 m 59sから5m 0sに付加されないと、図33Dにブロック図される代わりのエンコー ドされたビデオは、5m 0sで開始するだろう。 図33Cのビデオをエンコードした結果生じる有効なデータは、4m 59sから10m 1 sまで実行する代替データSとして図33Dに氏得される。それから、この代替デー タSは、図33Eに示すような最終ビットストリームを結果的に生じさせる図33Aに ブロック図される元のエンコードされたデータに代入される。 図33Aに示されるエンコードされていない情報およびエンコードされた情報は 、実施例のビデオであるが、エンコードされた情報を復号化するために、以前の または以降の、あるいはその両方の情報を使用するオーディオまたはその他の種 類の情報となる場合がある。 図33Bのビデオの新しいセクションは、任意のビデオソースから得られ、前記 の時間的編集プロセスまたは空間編集プロセスによって作成されるビデオである 可能性がある。4m 59sから5m 0sまでおよび10m 0sから10m 1sまでの図33Cのオリ ジナルビデオは、元のエンコードに使用されたのと同じ量子化値が設定されるオ リジナルビデオである。図33Cの新しいビデオNの両端にあるこのビデオは、時間 的編集プロセスを使用し、最後のセクションの品質を、時間的手動編集の項に説 明した保護つきに設定するだけで得られ、量子化値が同じで留まる必要があるこ とを示す。代わりに、図33Aのビデオは、図33Aのビデオに関係なく完了され、異 なった長さとなる場合がある。さらに、ビデオのセクションをカットアウトし、 新しいビデオを付加しないために本発明を使用することもできる。この場合、図 33Bにビデオは存在せず、「N」セグメントとその対応するエンコードは、図33C- 33Eには記載されていない。編集セグメントの前の最後のP-フレームが適切に構築 され、オリジナルビデオの2分の1秒から1秒の(1つまたは2つのGOP)がエンコード されるべき新しいビデオの最後に付加され、元のエンコードで使用された同じ量 子化スケールでエンコードされる限り、可視復号化人為構造はどのような状況で も発生しない。 図34は、図33A-33Eに関して記述されるプロセスを説明するフローチャートであ る。開始後、ステップ780で、ビデオは圧縮フォーマットにエンコードされ、図3 3Aに示されるエンコードされたビデオが作成される。ステップ782では、エンコ ー ドされたビデオに代入されなければならないエンコードされていないフォーマッ トのビデオの新しいセクションが決定される。ビデオのこの新しいセクションは 、図33Bと33CでNとして示され、オリジナルフレームに関連する、オリジナルフ レームに関連しない、またはオリジナルフレームとは異なった期間がセ設定され る場面を表すことがある。置換されるビデオの開始ポイントおよび終了ポイント は、それぞれ5m 0sと10m 0sである。ただし、置換対象の最終エンコードの実際 の開始ポイントおよび最終ポイントは、図33Dにブロック図されるように異なっ ている場合がある。 ステッブ784では、編集ポイント5m 0sおよび10m 0sでの復号化人為構造を防止 するために、前記の理由からエンコードされていないビデオの期間をビデオのエ ンコードされた新しいセクションの最後に付加する。これらの付加された期間は 4m 59sから5m 0sおよび10m 0sから10m 1sまでである。ただし、4m 59sから5m 0s までの期間は必須ではない。 ステップ786では、編集ポイントの直前のP-フレームを決定する。図33Eで置換 されるビデオは4m 50sから10m 1sなので、4m 50sの直前の最後のP-フレームを突 き止める必要がある。このP-フレームは、4m 58.5sから4m 50sまでの期間のため のエンコーダを、P-フレームを最初にエンコードするために使用された量子化値 で実行することにより決定される。量子化値は、図10Aまたは図10Bのどちらかに 示されるフォーマットを持つマクロブロックログファイルから元の量子化値を検 索することにより求められる。ただし、映画全体の各マクロブロックの量子化値 は、大量の記憶領域容量を消費するので、量子化値を記憶するのは望ましくない 場合がある。代替策として、量子化値を、Iフレーム、Pフレーム、およびBフレ ーム用ビデオバッファ、allocated bitとして図9Bにピクチャレイヤログファイ ルに図示されるピクチャのターゲットビット、図9Cにmean activityとして記憶 されるピクチャの活動レベル、およびエンコードの間にエンコーダにより計算さ れるマクロブロックの活動レベルに関するレート制御ステータスを使用して単に 作り出すことができる。レート制御ステータスは、それぞれIビデオバッファ、P ビデオバッファ、およびBビデオバッファのレート制御ステータス情報を記憶す る、図9Cの底部でS1 i、S2 i、S1 p、S2 p、S1 b、およびS2 bとしてブロック図 され るピクチャレイヤログファイルに記憶される。ビデオエンコード技術の当業者は 、本明細書に記載される教示に基づき、過度の実験を行わないで希望のP-フレー ムの量子化値を求めることができるだろう。 基準フレームの量子化値またはエンコードされた基準フレーム自体を求める代 わりの方法として、エンコードされた基準ストリーム内の基準フレームのエンコ ードバージョンは既知の方法で複合化できる。さらに、必要とされる基準フレー ムを得るそれ以外の方法も実行できる。 基準p-フレームが得られた後、ビデオは、最後のセクションの元のエンコード と同じ量子化レベルを維持しながら、ステップ788でエンコードされる。量子化 レベルは、前述のように得られる。結果として生じるエンコードされたビデオは 、図33Dに示される。 それから、ステップ790で、新規にエンコードされたビデオを最初にエンコー ドされたビデオに代入し、図33Eに説明するように、最終製品が得られる。置換 されたエンコードされたビデオを含むこのエンコードされたビデオには、編集ポ イントで最小の復号化人為構造がある。 2． ピクチャのグループの閉鎖モードでの再エンコード 図33A-34に説明される手順の代替策として、復号化人為構造を低減しつつも新 しいビデオの始まりのエンコードのために別の手順を実行できる。この手順では 、ビデオの立ち下がり端を処理する方法は、図33A-34に関して前記と同じである 。 この代替実施例の例として、図33Aを元のエンコードされたビデオとして、図3 3Bを図33Aに代入されなければならないエンコードされていないビデオとして使 用する。元のエンコードされていないビデオは図33Bの始まり縁で追加されず、 図33Cに記述されるように、対応する元のエンコードされていないビデオの2つの GOP（1秒）は、図33Bの最後に追加され、エンコードされるべきビデオは図35Aに 示される通りである。 エンコーダが、第2基準ピクチャのないB-フレームのビットを増加させながら 、図35AのビデオをGOP閉鎖モードでビデオの第1GOPのためにエンコードすると、 開 始編集ポイントでの可視復号化人為構造は排除される。10m 0sから10m 1sまでの 元のエンコードに使用されたのと同じ量子化レベルを使用する最後の部分のエン コードは、図33A-34に関して前述されるのと同じであり、その結果生じるエンコ ードビデオは図35Bにブロック図される。GOP閉鎖モードは、第6.3.8項でのMPEG 規格に説明される。ピクチャのグループの閉鎖モードフラグは1にセットされ、 エンコードされたB-フレームが、逆方向予測だけを使用してエンコードされ、以 前のGOPの基準フレームが使用されていないことを示す。しかし、双方向フレー ムに通常使用される基準フレームの内の1つが使用できないため、引き下げられ た品質を排除するために手順が実行されない限り、B-フレームは、品質を劣化さ せてしまうだろう。 GOP閉鎖モードでのB-フレームの品質劣化の問題を解決するために、単一方向 だけの予測が設定されるB-フレームのビット数は、フレームの品質が大幅に引き 下げられないように増加される。B-フレームには単一方向だけの予測が設定され ているので、ビット数は、ほぼ通常のP-フレームに使用されるビット数に増加す るのが好ましい。ただし、ビット数は、希望される画質に応じて変化する。 図35Bのエンコードされたのビデオは、図35Cでブロック図されるように、既に エンコードされたビデオに直接代入できる。 GOP閉鎖モードを使用するプロセスを説明するフローチャートは、図36に示され る。図36では、ビデオはステップ800での圧縮フォーマットにエンコードされ、 エンコードされたビデオに代入される必要があるビデオの新しいセクションは、 ステップ780と782に関して記述されるのと類似した方法でステップ802で決定さ れる。次に、ステップ804では、必要に応じて、エンコードされていないオリジ ナルビデオのGOP（1つまたは2つのGOP）を、ビデオの新しいセクションの立ち下 がり端に付加する。 それから、ステップ786でビデオをエンコードする。新しいビデオの第1GOPは 、ピクチャのグループの閉鎖モードでエンコードされ、基準フレームを見失った 双方向に予測されるフレームのビット数が、ほぼ単一方向予想フレームであるP- フレームに使用されるビット数に増加される。エンコードされたビデオのビット 総数が同じままとなる場合、二方向フレームに必要となる余分なビットは他のフ レ ームから削除されなければならない。これは、空間手動編集または時間的手動編 集、あるいはその両方についての項に前述するように達成される。次に、ビデオ の新しいセクションの残りは普通にエンコードされる。最後に、新規ビデオの立 ち下がり端で付加された期間は、編集セグメントの終了ポイントでの復号化人為 構造を防ぐために、追加された期間の元のエンコードの間に使用されたのと同じ 量子化値を使用して、エンコードされる。最後に、新規にエンコードされたビデ オが、ステップ808で最初にエンコードされたビデオに代入される。 前述のプロセス、および図34と36にブロック図されたプロセスのいずれかによ って、代わりのエンコードされたセクションを含むエンコードされたビデオの最 終バージョンでは、復号化人為構造の数が低減されるため、可視ビデオグリッチ は減少し、復号化人為構造を防ぐためになんの訂正処置も講じられない場合と比 較してビデオの品質が向上する。前記を説明する例は、GOPの境界での編集ポイ ントに関係する。ただし、前記教示は、GOP境界にない編集にも適用できる。 復号化人為構造を低減するプロセスは、再生VTR51およびビデオエンコーダ50 とともに、ワークステーション10、30、および40を使用して実行される。しかし 、それ以外のハードウェア代替策も可能であり、発明の前述した面は、プロセス を実行するために、任意の汎用コンピュータまたは特定のハードウェアを使用し て実現できる。編集ポイントを決定するため、およびエンコードされるべきビデ オの新規セクションの最後に付加されるビデオを決定するために使用される計算 は、ワークステーション10またはワークステーション30のどちらかで実行される 。 IX． エンコードに使用されるレート量子化モデリング エンコードプロセスから生じるマクロブロックの列を表すのに必要とされるビ ット数を正確に概算するために、フレームは、フレームの標準量子化レベルを表 す複数の量子化レベルを使用して事前にエンコードできる。それから、フレーム は、他の量子化レベルだけではなく、代表的な量子化レベルを使用して実際にエ ンコードできる。図1Aに示される実施例では、ワークステーション10は事前に決 定された量子化レベルをビデオエンコード装置50にロードする。それから、ビデ オエンコード装置50は、事前エンコードを実行する。量子化モデルを作成するも っとも正確な方法では、可能な量子化レベルごとに各フレームをエンコードし、 結果として生じる使用ビット数に関する統計を記録することが必要となる。しか し、このプロセスには、未処理ビデオでのn会のパスが必要となる。この場合、n は未処理ビデオのエンコードに使用される量子化レベルの総数である。この方法 はひどく長いので、本発明は、従来の方法に要した時間の少しで最適の方法に類 似した結果を作成する改善された方法となる。方法には、量子化レベルに対する 代表的なビットレートを、事前エンコードフェーズの間に複数のフレームのそれ ぞれに計算できるように、複数のフレームのさまざまなパーツに異なった量子化 レベルを割り当てることが必要になる。これにより、正確なビットレート対量子 化レベルの統計を作成しながらも、各フレームのn-1の事前エンコードが節約さ れる。それから、これらの統計を補問し、そのビットレート対量子化レベルが事 前エンコードプロセスで決定されなかったマクロブロックによって使用されるビ ット数を概算する。2つの代替実施例では、方法は未処理ビデオまたは未処理ビ デオのすべてのフレームから過半数のフレームを事前エンコードする。 図37Aには、2ポイントビットレート対量子化レベル線が複数のフレームに作成 され、結果が複数のフレームに記憶されるように、事前エンコードプロセス内で マクロブロックに基づいて2つの異なった量子化レベルをマクロブロックに割り 当てられる未処理ビデオのフレームが示される。代替例では、量子化レベルは、 マクログループのグループまたはストリップで割り当てられる。図37Bでは、量 子化レベルが、位置に基づく統計上の異常を回避するために、フレーム内のさま ざまな場所に割り当てられるフレームでの4つの量子化レベルの均一な分配を説 明する。図示されたフレームでは、各行のj、行内の最初の量子化レベルは、qjm od4である。この結果、4ポイントビットレート対量子化レベルの曲線が生じる。 図37Cでは、図37Bと同じプロセスが示されるが、量子化レベルはブロック様式で 割り当てられている。このプロセスのシングルパスは正確なビットレート対量子 化レベル曲線を作り出すが、代替実施例では、このプロセスは、量子化レベルご とに各フレームを分析することによって収集される統計に近づくさらに正確な統 計を作成するために、複数のフレームで何度も繰り返される。 図38では、複数のフレームの量子化レベル対ビットレート特性を決定する一般 的なプロセスを説明する。プロセスはステップ850で開始し、事前エンコードさ れる未処理ビデオを表すビデオ信号を獲得することにより、ステップ852で続行 する。ステップ854では、プロセスは、第1フレーム、iがフレームインデックス であるところのi=1が事前エンコードされなければならないことを示す。ステッ プ856に続けると、フレームi=1の量子化レベルは、統計学上の異常を防止するた めにフレームで均一に割り当てられる。ステップ858では、フレームi=1は、ステ ップ856で割り当てられる量子化レベルを使用して事前エンコードされる。ステ ップ858の結果は、ステップ856で割り当てられる量子化レベルごとのビットレー トがフレームi=1に記録されるように、ステップ860で求められる。ステップ862 では、方法が、複数のフレームのすべてが事前にエンコードされているかどうか を判断する。事前にエンコードされていたフレームは1つだけであったので、プ ロセスは、フレームインデックスｉに1を加算してエンコードされるべきフレー ムとして第2フレームを指定するステッブ866まで続く。それから、制御は、量子 化レベルをフレームi=2に割り当てるステップ856に戻される。ステップ856、858 、860、および862で割り当て、事前にエンコードし、ビットレートを決定するプ ロセスは、すべての残りのフレームについて続行される。ステップ862で、複数 のフレームのすべてが事前にエンコードされていたと判断される場合、プロセス はステップ864に移動することにより終了する。ステップ864に到達すると、ビッ トレート対量子化レベル曲線は、ステップ856で割り当てられる量子化レベルお よびその対応するビットレートを使用することにより、近似される。 未処理ビデオの複数のフレームにビットレート対量子化レベル曲線を作成した ので、事前エンコードプロセスは、未処理ビデオの一部がデジタル記憶装置媒体 、つまりコンパクトディスクに適合するようにエンコードされるエンコードプロ セスに移動する。未処理ビデオセグメントの1つ、複数、過半数またはすべてが 、この第2フェーズでエンコードされる。未処理ビデオセグメントを自動的にエ ンコードする必要がある場合は、エンコーダは、セグメント内の各フレームのマ クロブロックに割り当てられる量子化レベルを決定するために、対応するビット レート対量子化レベル曲線と結び付いた各マクロブロックの活動基準を使用する 。それから、セグメントの各フレームがエンコードされ、その結果として生じる ビット 数は、割り当てられた量子化レベルに基づいてビット概算数と比較される。結果 として生じるビット数がビット予測数から大きく異なる場合、自動エンコーダは 、エンコードされるマクロブロックの次の集合の量子化レベルを変更することに よって、変動を補償しようと試みる。この連続プロセスにより、自動エンコーダ はターゲットビット数に一致するように未処理ビデオ全体のセグメントをエンコ ードする。 さらに、ビデオシーケンスのもっと後のフレームのビットレート対量子化レベ ル曲線は、結果として生じるエンコードされたデジタルビデオを通して品質を調 整する場合に使用できる。図39に図示されるように、フレームNは同じ量子化レ ベルにフレームMより少ないビットを作成すると知られている。したがって、フ レームMは、フレームN内と同じ品質の画像を作成するためにはさらに多くのビッ トを必要とする。フレームNがそのすべての割り当てられたビットを使用しない で希望の品質でエンコードされると、エンコーダは、同じ品質のために、ユニッ ト時間あたりさらに多くのビットを必要とするフレームMをエンコードする際に 使用される余分なビットを前方に運ぶことができる。この機能は、M+N>1の場合 にフレーム先読みバッファが1つしかないシステムでは利用できない。 X． データ構造を使用して、オーディオ、ビデオ、およびサブピクチャのデ ジタル信号を結合する 本特許明細書の前記部分は、おもに、エンコード圧縮デジタルオーディオ映像 信号を作成するために、オーディオ映像情報のエンコードの間に使用される技法 に関する。しかし、オーディオ情報およびビデオ情報が結合、記憶、およびテレ ビの上などで、オーディオ映像情報を作成し直す、または構築し直すために後で 復号化されるためには、オーディオ情報、ビデオ情報、およびそれ以外の記憶さ れ、後で復号化できるようにエンコードされていた情報を結合し、インタリーブ する必要がある。オーディオ情報、視覚情報、およびそれ以外の情報の結合は、 図1Aに図示されるワークステーション20で発生するフォーマットプロセスとして 、前記に簡略に説明した。フォーマットプロセスならびに結果として生じるデー タ 構造および信号について、ここで詳しく説明する。 ここで図1Aを見ると、MPEGビデオおよびエンコードされたオーディオはディス ク21に記憶される。さらに、ビデオの上に表示またはオーバレイあるいはその両 方を行われる字幕または図形表記、あるいはその両方を含むサブピクチャ情報は 、例えば、別個のワークステーションにより初期にエンコードされ、エンコード されたサブピクチャ情報は、フロッピーディスク、テープまたはその他の種類の ディスクのようなデジタル記憶装置媒体に記憶される。この記憶されたサブピク チャ情報は、デジタル記憶装置22の内の1つにより読み取られ、フォーマットプ ロセスでディスク21内のエンコードされたオーディオとビデオと結合され、ワー クステーション20により1つのデータストリームにフォーマットされる。フォー マットプロセスの出力は、ディスク21に記憶されてから、デジタル記憶装置22の デジタルテープに書き込まれる。それから、テープは既知の光ディスク製造法に より光ディスクを作成するために使用される。したがって、本発明は、オーディ オおよび視覚データのエンコードに関係するだけではなく、エンコードデータ、 オーディオデータ、ビデオデータおよびサブピクチャデータを1つのデータスト リーム、デジタル記憶装置媒体およびフォーマットされたオーディオ情報、ビデ オ情報、およびサブピクチャ情報を記憶するその上でのデータ構造に結合するた めのプロセスおよびシステムに関し、復号化プロセスおよびユーザまたは消費者 に表示するためにオーディオ情報、ビデオ情報およびサブピクチャ情報を分離し 、再構築するデコーダにも関する。光ディスク上またはフォーマットされたデー タ内でのデータ構造が、メモリ内に記憶される情報の物理的な編成を分け与える 特殊電子構造要素に関係することを注記すべきである。これらの特殊電子構造要 素は、ビデオオンデマンドシステムに使用できるまたはデジタルビデオディスク プレーヤを使用してユーザまたは消費者のために復号化される光ディスク内に記 憶される。 エンコードされたのオーディオ映像情報用のディスクまたはそれ以外の記憶装 置媒体のフォーマット構造の特定な特徴を説明する前に、本発明により改善され る既知の規格について説明する。ISO/IEC 13818-1は、そこに引用される参考と ともに、参照により本明細書に取り入れられるMPEGビデオおよびオーディオのシ ステム面を記述する。これ以降MPEGシステム説明と呼ばれるISO/IEC 13818-1は 、ビ デオストリームおよびオーディオストリームの基本的な多重化アプローチを説明 する。これらのストリームは、パケット化基本ストリーム（PES）パケットと呼 ばれるパケットに分割される。また、MPEGシステム説明には、1つ以上の独立し たタイムベースのある1つ以上のプログラムを1つのストリームに結合する移送ス トリームの使用についても説明される。MPEGシステム説明は、複数の基本ストリ ームを同期させるために使用されるプレゼンテーション時刻記録（PTS）の使用 について説明する。時刻記録は、一般的には90kHzという単位で、システムクロ ックリファレンス(SCR)、プログラムクロックリファレンス(PCR)、およびオプシ ョンの基本ストリームクロックリファレンス(ESCR)といっしよに使用される。デ ータがMPEGシステム説明に従い、どのようにフォーマットされるのかについての 詳細の完全な説明は、ISO/IEC 13818-1に記載される。 ISO/IEC 13818-1に基づいたフォーマットプロセスを使用するのに加えて、デ ータは、また、ISO 9660，1988、情報処理−−ボリューム、および本明細書に参 考により取り入れられる情報交換用CD-ROMのファイル構造に従ってフォーマット および記憶される。この規格は、ディスクボリューム（音量ではなく、ディスク の内容）およびファイル構造がどのように編成されるのかを記述する。 オーディオデータ、ビデオデータ、およびサブピクチャデータを記憶するため に使用される光ディスクの現在の時刻での実施例は、片面あたり5ギガバイトの 容量で、総記憶容量10ギガバイトの単層両面ディスクである。将来のフォーマッ トでは、記憶容量を増加するために多層ディスクを見越し、読み取り専用ディス クの使用に加えて、追記技術および上書き技術も使用できる。本発明とともに使 用できるディスクのそれ以外の面については、1994年9月13日に提出された「光 ディスクおよび光ディスク装置」という米国特許明細書08/304,848に説明する。 ディスクの外径は120 mmであるのが好ましい。 図40では、究極的には光ディスクに具備されるワークステーション20のフォー マットされた出力の構造を説明する。この構造900は、リードイン領域902を含む 。リードイン領域にはディスクから読み取られるデータのそれ以降の処理を制御 する個々のフィールドが含まれる。リードイン領域900に記憶される例示的な引 込み情報は、本明細書に参考により取り入れられるクックソン(Cookson)その他 の米国 特許5,400,077の図3にブロック図される。 システム領域904およびボリューム管理情報906はISO 9660に準拠する。ボリュ ーム管理情報906には、主要なボリューム記述子、ボリューム記述子設定終止プ ログラム、ディレクトリレコード、およびパステーブルレコードが含まれる。主 要なボリューム記述子には、ディスクがビデオディスクであるのか、またはオー ディオディスクであるのかを示す記述子型、ディスクがどの規格に準拠している のかを示す標準識別子、システム識別子、ボリューム識別子、ボリュームサイズ 、論理ブロックサイズ、パステーブルサイズなどのディスクボリュームの基本的 な情報が記憶される。システムのこれらのフィールドおよびそれ以外のフィール ド、およびボリューム管理情報は、ISO 9660に詳説されているので、その説明は 簡略さを期すために省略される。さらに、希望する場合には、ISO 9660に準拠す る補足ボリューム記述子もある。 ボリューム記述子設定終止プログラムには、ボリューム記述子型、標準識別子 、およびボリューム記述子バージョンが記憶される。ディレクトリレコードには 、ISO 9660に従ったディスクのさまざまなディレクトリ情報が記憶される。パス テーブルレコードには、ISO 9660に記述されるように、L型パステーブルおよびM 型パステーブルが記憶される。 ディスク情報ファイル908は、ディスクの内容についてのさらなる情報および 光ディスクをプレイするときにユーザが選択できるメニュー情報にが記憶される 。ディスク情報ファイル908の詳細は、図41に関して説明される。 各ディスクには、最大99データファイルまで最小1データファイル910が格納さ れる。例えば、ディスク上に2つの異なったオーディオ映像プログラムが記憶さ れている場合、ディスク情報ファイル908には、ユーザが使用を希望するデータ ファイルのどれかをユーザが選択するためのメニューを作成するのに必要な情報 が記憶される。データファイルは、図42-56に関連して詳説される。リードアウ ト領域16は、ディスク、処理がどのように実行されるのかを記述するそれ以外の 情報、または関連するディスクに関する情報が記憶されることがある。 図41は、図40のディスク情報ファイル908を説明する。ディスク情報ファイル9 08には、ファイル管理情報920およびユーザが対話するメニューを構成する情報 で あるメニューデータ922が格納される。メニューデータは、ビデオデータ、オー ディオデータ、およびサブピクチャデータを含む。ファイル管理情報920は、フ ァイル管理テーブル924、ディスク構造情報926、メニュー構造情報928、および 複数オメニューセル情報フィールド932と934が含まれるメニューセル情報テーブ ル930を格納する。 ファイル管理テーブル924には、ディスク情報ファイルのあらゆる面に関する 情報が含まれる。ファイル管理テーブル924内には、ファイル名を識別するため のボリューム管理情報906の対応するディレクトリレコード内の対応するファイ ル識別子と同じ内容を記述するファイル名が記憶される。論理ブロックの数を使 用してファイルのサイズを記述するフィールドがある。本明細書全体で、「論理 ブロック」という用語は、ISO 9660に定義されるように使用される。論理ブロッ ク数を使用するファイル管理テーブルのサイズ、ファイルの先頭からの相対論理 ブロック番号を使用するディスク構造情報926の開始アドレス、ファイルの先頭 からの相対論理ブロック番号を使用して記述されるメニュー構造情報928の開始 アドレス、ファイルの先頭からの相対論理ブロック番号を使用するメニューセル 情報テーブル930の開始アドレスを記述するエントリがある。メニューデータが ない場合は、このフィールドの値はゼロになる。ファイルの先頭からの相対論理 ブロック番号を使用するメニューデータ922の開始アドレスを記述するフィール ドがある。メニューデータが存在しない場合、このエントリはゼロである。 ファイル管理テーブル924には、メニューデータ用のビデオのビデオ属性を記 述するフィールドもある。この情報は、ビデオ圧縮モードがMPEG-1であったのか 、MPEG-2であったのか、ビデオのフレームレート（毎秒29.97フレームまたは毎 秒25フレームのどちらか）、表示アスペクト比が3/4であるか、または9/16であ るのかを示すフィールド、およびパンスキャンとレターボックスモードの両方が 許可されていることを示すか、パンスキャンモードがは許可されているが、レタ ーボックスモードが禁止されていることを示すか、あるいはパンスキャンモード が禁止され、レターボックスモードが許可されていることを示すディスプレイモ ードフィールドを含む。 ビデオ属性を記述するフィールドと同様に、ファイル管理テーブル924のオー デ ィオストリームを記述するフィールドもある。このフィールドには、オーディオ がドルビーAC-3に従ってエンコードされたのかどうか、オーディオがMPEGオーデ ィオであるのかどうか、あるいはオーディオが線形PCMオーディオ（48 kHzで16 ビット）を含むオーディオコーディングモードの表示が指定される。また、オー ディオがモノラル、ステレオ、またはデジタルサラウンドであるのかを含むオー ディオコーディングモードの表示も指定される。 ファイル管理テーブル924には、さらに、メニューデータ922のサブピクチャス トリーム属性を記述するフィールドも入る。このフィールドは、以下に説明する ように、ランレングスサブピクチャコーディングモードがサブピクチャに使用さ れることを示す。フィールド管理テーブル924には、メニューのためのすべての サブピクチャに使用される16セットのカラーパレットを記述するフィールドも入 る。パレット番号1から16には、輝度信号Y、カラー差異信号Cr=R-Y、およびカラ ー差異信号Cb=B-Yが指定される。 ディスク構造情報926には、ディスクに記憶されるビデオファイルおよびオー ディオファイルの構成情報が含まれる。ディスク構造情報926には、ファイル名 を識別するために使用されるディレクトリレコード内での対応するファイル識別 子と同じ内容を記述するファイル名が含まれる。ファイルをディスク構造情報フ ァイルとして識別するファイル識別子フィールドがある。図40に示されるデータ ファイル910および914のようなディスク上のデータファイルの数を示すフィール ドがある。また、ファイルにビデオ情報とオーディオ情報の両方が記憶されるの か、あるいはオーディオ情報だけが記憶されるのか、およびアイルがカラオケフ ァイルであるかどうかを含むデータファイルのそれぞれのタイプを示すフィール ドもある。 ディスク構造情報926には、データファイル内のサブピクチャとオーディオ情 報を含むフィールドも含まれる。このフィールド内には、サブピクチャチャネル 数も示される。各サブピクチャチャネルは、異なったサブピクチャ言語のような さまざまなサブピクチャ情報を表示する場合に使用できる。また、オーディオス トリーム数の表示、チャネル番号順の各サブピクチャチャネルの言語コードの表 示、オーディオストリーム番号順のオーディオストリームの言語コードの連続記 述、 およびファイルのパレンタル管理とアングル情報の記述もある。 パレンタル管理情報は、表示される情報のある特定のシーケンスを記述する場合 に使用される。パレンタル管理情報は、シーケンス内に含まれる特定のセルの最 大親レベルである。レベルは、1から5で変化し、レベルが高いほど、見聞きされ る内容に対する制限が多くなる。シーケンスとセル、およびパレンタル管理スキ ームの詳細は、以下に説明する。ビデオシーケンスのアングルの数を記述するフ ィールドもある。例えば、ミュージックビデオに、ミュージックビデオ全体を通 して3つの異なったカメラビューがある場合、ユーザはどの特定のカメラアング ルを表示に希望するのかを選択できる。また、シーケンス内のプログラム数を示 すフィールドもある。 メニュー構造情報928には、各メニュータイプの開始セル番号が含まれる。デ ィスプレイシーケンスには複数のセルがある。例えば、1つのシーケンスは最高2 56のセルを格納できる。セルは、後述する再生情報（PBI）パックと次のPBIの直 前のパックの間のGOP（ピクチャのグループ）の整数である。ビデオ用データは 、データを連続して再生する必要があるレコード単位としてセルの中に分離され る。セルには、表示のための情報が含まれ、その目的に応じて分割される。セル 内の第1オーディオパックとおよび第1サブピクチャパックが、セルの先頭にある PBIパックの後ろ手記録されるビデオヘッドパック中のPTSに近いプレゼンテーシ ョン時刻記録(PTS)を含むのが望ましい。異なったセルは、希望されるアングル およびプログラムの親制約に応じて表示される。例えば、より若年層の視聴者向 けには不適切であった映画のあるセクションがあったと仮定する。表示できるパ レンタル管理レベルに応じて、2つのシーケンス共用セルが存在する。例えば、 制約されていない表示の場合、ある特定のシーケンスにセル1、2、3、および5を 表示できる。制約レベルの表示の場合は、そのシーケンスに表示されるセルは1 、2、4、および5である場合がある。 異なったアングルに関しては、同時進行し、その再生に要する時間が実質上等 しい、複数のカメラアングルで各ビデオを記録させることができる。各アングル は、アングルセルと呼ばれる1つのセルから構成される。同時に先行する複数の アングルセルの集合が、アングルブロックと呼ばれる。シーケンス内の複数オロ ケ ーションでアングルブロックが限定される場合、各アングル番号のアングルセル 数およびカメラアングルは、アングルブロックを通して同じでなければならない 。 メニューセルとは、ユーザに、ボリューム内の各ビデオファイルまたはオーデ ィオファイルの内容を知らせるメニュー画面を構成するセルである。メニューセ ルの集合は、メニュー用データとしてディスク情報ファイルにともに記録される 。メニュータイプ共呼ばれる、メニューセルタイプは、タイトルメニュー、プロ グラムメニュー、オーディオメニュー、サブピクチャメニュー、およびアングル メニューに分類される。メニュー画面には、メニュー用ビデオが備えられる。再 生装置の画面上に表示される選択用アイテムは、メニューセルのサブピクチャデ ータとして記録される。 メニューセル情報テーブル930は、図41の932と934のような複数のメニューセ ル情報が記憶されるテーブルである。1つのメニュー画面に1つのメニューセルが 具備される。メニューセル情報は、複数のフィールドを含む。第1フィールドは 、ディスクの情報のコピーが許可されているかどうか、パレンタル管理のレベル 、メニューがタイトルメニューであるかどうかなどのメニューセルタイプ、プロ グラムメニュー、オーディオメニュー、サブピクチャメニュー、またはアングル メニューおよびメニューの言語コードを示す。各言語にはコードが割り当てられ 、言語コードサブフィールド内に現れる特殊コードが、メニューと使用される言 語を示す。 メニュー画面上のサブピクチャによって表示される選択アイテムの開始番号お よび選択アイテム数を記述するフィールドもある。選択アイテム開始番号は、メ ニュー画面上の選択アイテムの最小数を記述し、メニューの次のページが存在す るかどうかを示すフィールド、および選択できる1と16の間のアイテム数を記述 する番号がある。メニューセル情報は、メニューセルの開始パックのシステムク ロックリファレンス(SCR)の下位32ビット、メニューセルの開始アドレスをファ イルの先頭からの相対論理番号で記述するフィールド、およびメニューセルを構 築する論理ブロック数を記述するフィールドも含む。 メニューデータ922は、メニューのために表示される実際の情報を含む。この 情報は、図40のデータファイル910と914の情報が構築されるのと同じように構築 さ れ、したがって各面の綿密な記述は冗長な記述を防ぐために省略される。メニュ ー画面で選択されるアイテムは、サブピクチャ情報で形成される。ディスクプレ ーヤによるメニュー選択の処理は、コンピュータコードを実行するマイクロプロ セッサを使用して実行される。タイトルのためのメニュー選択が行われると、選 択の結果はファイルの最初または選択されたタイトル番号に対応するシーケンス 番号から再生される。プログラムメニュー選択の場合、選択されたプログラムは 選択されたプログラムの最初から再生される。メニューからのオーディオ選択の 場合、オーディオストリームは選択されたオーディオストリームに対応するよう に設定される。同様に、サブピクチャメニュー選択の場合、チャネル番号は選択 されたサブピクチャチャネルに等しく設定される。最後に、メニューからのアン グル選択は、アングルセル番号を選択された番号に等しくなるように変更する。 それ以外の情報は、希望に応じて含まれ、メニューを通して選択できる。 図40のデータファイル910のようなデータファイルには、図42にブロック図さ れるような2つのセクション、つまりデータファイル管理情報940およびオーディ オ情報、ビデオ情報およびサブピクチャ情報を表示するために使用される実際の データ942が記憶される。データファイル管理情報940には、4つの主要な構成要 素、つまりデータファイル管理テーブル944、シーケンス情報テーブル946、セル 情報テーブル948およびデータ検索マップ950を含む。 データファイル管理テーブル944は、データファイル910の各面に関する情報を 含む。この情報には、ファイル名を識別するためのディレクトリレコード内の対 応するファイル識別子と同じ内容であるファイル名のフィールド、オーディオ情 報とビデオ情報の両方がファイルに記憶されることを示すファイル識別子、論理 ブロック数により定義されるファイルのサイズ、ファイル管理テーブルのサイズ 、ファイルのシーケンス番号、ファイルのセルの数、ディスク構造情報(DSI)パ ックの数、シーケンス情報テーブル946の開始アドレス、セル情報テーブル948の 開始アドレス、データ検索マップの開始アドレス、データ942の開始アドレス、M PEG-1またはMPEG-2のようなビデオ圧縮モードを含むデータ942のビデオ属性を記 述するフィールド、レートが毎秒29.97フレームであるのか、毎秒25フレームで あるのかを含むフレームレート、表示アスペクト比が3/4であるのか、9/16であ るのか、 またはディスプレイモードによってパンスキャンフォーマットとレターボックス フォーマットの1つが可能とされるのか、両方が可能とされるのかを示す表示ア スペクト比を含む。 データファイル管理情報は、さらに、ファイル内のオーディオストリーム数を 、オーディオコーディングモードのようなオーディオストリーム属性、モノラル 、ステレオ、またはデジタルサラウンドのようなオーディオモード、特殊言語が 含まれているのかどうかを示すオーディオタイプを記述するフィールド、および 言語のコード番号を示す特殊コードのフィールドも含む。 データファイル管理テーブル944は、さらに、サブピクチャチャネル数を記述 するフィールド、サブピクチャのランレングスコーディングが使用されること、 および指定言語および指定される言語があるかどうかを示すフィールドのような サブピクチャチャネル属性を記述するフィールドを含む。さらに、ファイルのす べてのサブピクチャチャネルで使用される16のカラーパレットのY、Cr、およびC Bカラーを示すフィールドがある。また、シーケンス情報テーブルのサイズ、最 小セル番号と後続の連続セルの数を記述するフィールド、およびファイルの1つ のシーケンス内で使用されるセル番号の範囲を記述するフィールドもある。1つ のシーケンス内で使用されるセル番号は、32の連続番号で1つの集合を作り、最 小セル番号を集合の最初の番号となるように格納することにより計算される数の 集合に入れられなければならない。このフィールドには、シーケンスで使用され るセル数、およびシーケンスで使用される最小セル数を含むサブフィールドがあ る。 シーケンス情報テーブル946には、複数のシーケンス情報エントリ952と954を 含む。シーケンスとは、このシーケンスにより指定される範囲内のセルが選択式 で再生される順序のことである。完全および接続という2種類のシーケンスがあ る。完全型シーケンスは、それ自体を再生した後に終了する。接続型シーケンス は、連続して再生される。参照番号952により示されるシーケンス情報1および95 4により示されるシーケンス情報iのようなシーケンス情報番号は、シーケンス番 号に等しく、1で開始するシーケンス情報テーブルい、記述順序で番号が付けら れる。シーケンス情報テーブルのシーケンス情報エントリは、完全型シーケンス または接続型シーケンスの順序で記述されている。各シーケンス情報テーブルは 、完了 型シーケンスまたは接続型シーケンスの順序で記述される。各シーケンス情報に は、シーケンスタイプ、格納されるプログラム数、格納されるセル数、シーケン ス再生時間、接続型シーケンス数、接続可能シーケンス番号、 およびシーケン ス制御情報を示すフィールドを示すフィールドを含む。 シーケンス情報のシーケンスタイプフィールドは、シーケンスのコピーおよび パレンタル管理を記述する。コピーが許可されているのか、または禁止されてい るのかを示すサブフィールド、パレンタル管理のレベルを1-5で指定するサブフ ィールド、完了型シーケンス、接続型ヘッドシーケンス、接続型中間シーケンス または接続タイプとシーケンス内の1つである可能性があるシーケンスタイプを 示すサブフィールドある。また、シーケンスが、カラオケアプリケーションで使 用するかどうかを示すアプリケーション型サブフィールドもある。 格納プログラム数フィールドは、最高1つのシーケンス内に100というプログラ ム数を記述する。格納セル数フィールドは、ある特定のシーケンス内での、合計 256セルまでのセル総数を記述する。シーケンスまたは再生時間は、時、分、秒 およびビデオフレームによる単位でこのシーケンスの総再生時間を記述する。 接続型シーケンス数フィールドには、最大数が8であるその直後に接続可能な シーケンス数を指定する。接続可能シーケンス番号フィールドは、接続可能シー ケンスのシーケンス番号と指定される数のシーケンスのパレンタル管理のレベル を記述する。接続可能シーケンスの選択番号は、記述された順序で1から割り当 てられる。このフィールドには、パレンタル管理番号のサブフィールド、および シーケンス番号のサブフィールドが指定される。シーケンス情報の最後のフィー ルドは、再生順でシーケンスに含まれるセルを記述するシーケンス制御情報であ る。このフィールドも、複数のセルの集合であるアングルブロックの記述に使用 される。それらのセルの再生時間は、実質上等しい。各再生セクションは、1つ のセルで構成される。アングルブロックは、多くても9個のセルを含み、第1セル に1という番号が付けられる。シーケンス制御情報のサブフィールドには、実質 上再生される複数のセルを結合する再生単位としてプログラムを定義するプログ ラム番号を指定する。以下のセルに連続して進むのか、休止するのか、あるいは シーケンスの最後に到達したかを示すセル再生制御のサブフィールドがあり、ブ ロックが 構成セルではないかどうか、ブロック構成の第1セルがあるかどうか、それがブ ロック構成内のセルなのか、ブロック構成内の最後のセルであるのかを示すブロ ックモードサブフィールドがある。ブロックがないかどうか、またはアングルブ ロックがあるかどうかを示すブロック型サブフィールドがある。最後に、再生対 象のセルのセル番号を示すサブフィールドがある。 データファイル管理情報940は、さらに、複数のセル情報エントリ956と958を 含むセル情報テーブル948を含む。各セル情報エントリは、コピーが許可されて いるのか、禁止されているのかを示すセルタイプ情報、およびパレンタル管理レ ベルを含む。また、時、分、秒およびビデオフレームによりセルのセル再生総時 間を記述するセル再生時間を示すフィールドもある。セルの第1パックに記述さ れるシステムクロックリファレンスの下位32ビットを記述するフィールド、ファ イルの始めからの相対論理ブロック番号でセルの開始ポイント得のアドレスを記 述するフィールド、およびセル内に含まれる論理ブロック数を記述するフィール ドがある。 ファイル管理情報940のデータの最後のセクションは、データ検索マップ950で ある。 データ検索マップは、データ検索情報パック960と962の複数のポインタを備える 。再生情報(PBI)パックポインタと呼ばれるこれらのポインタは、データ942内に 存在する再生情報のアドレスを指定する。高速順方向モードまたは高速反転モー ドを実行し、情報の表示を可能にするためには、MPEG-2ビデオシーケンスのイン トラピクチャに依存するのが最適です。これらのイントラピクチャは、そのアド レスがデータ検索マップ内に記憶されるデータ942内の再生情報パックを使用し て配置される。PBIパックの詳説は、以下で行う。 図43にブロック図されるデータファイル910のデータ942は、再生情報(PBI)、 ビデオ情報、サブピクチャ情報、およびオーディオ情報のインタリーブされたパ ックを含む。例えば、図43では、データは再生情報940、ビデオ情報942と944、 サブピクチャ情報946、オーディオ情報948などを含む。データ942内の情報の構 造、およびプレゼンテーションタイミングは、MPEGシステム説明（ISO/IEC 1381 8-1）に定義されるプログラムストリームに準拠する。しかし、再生情報および サブピク チャ情報、ならびにこの情報が、記憶、エンコード、および復号化される方法が 、本発明の一部を構成する。 図43でデータ942から構成されるさまざまな情報は、情報パックを含む。例示 的なパック970Aおよび980Aが、図44Aと44Bに示される。各パックは、パックヘッ ダ972Aまたは972B、およびビデオ情報、オーディオ情報、サブピクチャ情報、ま たは再生情報から構成される。 パック970Aの構造は、パケット982Aが2034バイトと2027バイトの間で占有する ときに使用される。スタッフィングフィールド980Aによって、1から8バイトのス タッフィングがパック総サイズを2048バイトにできるようにする。ビデオ情報、 オーディオ情報、サブピクチャ情報または再生情報が2027バイトを下回るとき、 図44Bに示されるパック構造970Bが使用され、1バイトのスタッフィング970Bおよ びパケット982Bと984Bのビット総数を2034バイトにあるようにする埋め込み984 のパケットがある。パケットヘッダ972Aと972Bのそれぞれには、パック開始フィ ールド974、システムクロックリファレンス976、多重化(MUX)レートフィールド9 78、およびスタッフィングフィールド980がある。図44Aと44Bのパケットは、ISO /IEC13818に従って構築され、プログラムストリームパック内のフィールドのセ マンティック定義に関するその第2.5.3.4項に説明される。 図45は、再生情報(PBI)パックを示している。パックヘッダ972は、図44Aと44B に関して記述されるように、構築される。図45のシステムヘッダ986は、ISO/IEC 13818-1に記述されるプログラムストリームシステムヘッダの要件に準じて構築 される。システムヘッダ内のフィールドのセマンティック定義は、ISO/IEC 1381 8-1の第2.5.3.6項に説明される。 パケットヘッダ988は、ISO/IEC 13818-1の第2.4.3項に記述されるPESパケット 内のフィールドのセマンティック定義に説明されるフィールドに従って構築され る。ただし、パケットヘッダ988では、プレゼンテーション時刻記録までのフィ ールドだけが必要とされる。 再生情報パックは、さらに、サブストリームIDフィールド990を含む。これは 、サブストリームの識別を示す8ビットのフィールドである。使用できる別の識 別は、サブピクチャストリーム、ビデオ空白化情報(VBI)ストリーム、AC-3スト リーム、 または線形PCMストリームである。MPEGオーディオサブストリームなどの他のス トリームタイプを入れることも可能である。サブストリームID990はビデオ空白 化情報992のデータを先行するので、サブストリームIDは、後続の情報がビデオ 空白化情報ストリームであることを示すように設定される。ビデオ空白化情報992 のデータは、ISO/IEC 13818-1に従って構築され、ISO/IEC 13818-1に必要となる 意味論に準拠する。 図45に示される再生情報パックの中には、データ検索情報996のデータを格納 するデータ検索情報パケットのパケットヘッダ994も示される。パケットヘッダ9 94には、24ビット値000001hが設定されるパケット開始コードプレフィックス、 データ検索情報996が以前に定義された規格に準拠していないことを示すストリ ーム識別、パケット長を示すフィールドを含む。データ検索情報996はMPEG規格 では開示されていないので、ストリームIDは、後続の情報がデータストリームの 私的なタイプであることを示す。 図45を説明するデータ検索情報996のデータの特定の内容が図46に示される。 データ検索情報996は、一般情報1000、アングルアドレス情報1020、ハイライト 情報1022、同期再生情報1024、およびPBIパックアドレス情報1036を含む。 一般情報1000は、図47にさらに詳細にブロック図される。前記のように、デー タ検索情報の目的とは、デジタルエンコードされた情報の迅速な検索を可能にす ることであり、特に、ビデオ復号化中に実行されるトリックモード用イントラピ クチャオ高速位置発見を可能にする。したがって、図46に示される再生情報パッ クは、ピクチャのグループ(GOP)のそれぞれのヘッドパックであり、I-ピクチャ で開始するビデオヘッドパックの直前に割り当てられる。一般情報1000は、I-ピ クチャの再生開始時刻であるGOP1002の時刻記録である。次に、PBIのシステムク ロックリファレンス(SCR)がある。これは、PBIパックヘッダに記述されるSCRの 下位32ビットを記述する。1006は、I-ピクチャの最終アドレスを示し、ファイル の初めからの相対論理ブロック番号によりI-ピクチャの最終データが記録される パックのアドレスを記述する。セル番号はフィールド1008に記憶され、GOPが属 するセル番号を記述する。フィールド1010は、制約のレベルおよびコピーが許可 されているかどうかも含むパレンタル管理情報を記述する。最後に、フィールド 1012は、 ファイルのヘッドからの相対論理ブロック番号を使用するこのPBIパックのアド レスであるPBIパックアドレスを記述する。 図46に示されるデータ検索情報996のフィールド1020は、アングルアドレス情 報である。アングルアドレス情報には、その他のアングルのアドレス情報が含ま れる。アングルアドレス情報には、それぞれが異なったアングルセル番号に関す る9つのフィールドが含まれる。アングルアドレス情報1020の各フィールドの場 合、ある特定のPBIパックが属するセルがアングルブロックを構成する場合、ア ングルアドレス情報のフィールドは、対応するデータ検索情報のビデオ開始プレ ゼンテーション時刻記録を超えないもっとも近いビデオ開始プレゼンテーション 時刻記録を持つアングルセル番号のPBIパックのアドレスを記述する。アングル セルが存在しない場合、またはアングルブロックが構成されない場合、特定のセ ルのアングルアドレス情報ははゼロに設定される。 データ検索情報996の第3セクションは、ハイライト情報1022である。ハイライ ト情報は、メニュー画面上での選択アイテムの位置、および選択時に変更される その色とコントラストを記述する。この情報は、セルがメニューの一部である場 合にだけ使用される。ハイライト情報には、選択アイテム開始番号およびメニュ ー画面上でサブピクチャにより表示されるアイテム数を記述するフィールドがあ る。選択アイテム開始番号およびアイテム数の特定のサブフィールドには、メニ ュー画面上での選択アイテムの最小数を記述するサブフィールド、メニューの次 ページが存在するかどうかを記述するサブフィールド、およびメニュー画面上で の選択アイテムの数を記述するサブフィールドがある。ハイライト情報の第2フ ィールドには、選択アイテムの位置、色、およびコントラストが含まれる。この フィールドは、メニュー画面上の選択アイテムごとの矩形表示領域、および選択 時に変更される対応する色とコントラストを記述する。矩形表示領域は、X-Y座 標面内に限定される。選択アイテムの位置、色、およびコントラストを記述する このフィールド内の情報には、メニューの矩形領域を限定すること、およびさま ざまなタイプのピクセルが、選択時にどのようにして変更されるのかを記述する 情報を含む。さらに詳細に後述するように、サブピクチャは4種類の異なったピ クセルを酌量する。テキストやそれ以外の情報を表示するために使用できる第1 強調ピク セルと第2強調ピクセル、線描画またはその他の図形パターンのようなバターン を表示するために使用されるパターンピクセル、およびバックグラウンドピクセ ルがある。以上4種類の異なった情報がハイライトまたは選択される場合、アイ テムがハイライトされるときに選択される色、およびハイライトされたときのピ クセルのコントラストも知っておく必要がある。したがって、4種類の異なった ピクセルが選択されたときの、その色およびコントラストを記述するハイライト 情報内に8つのサブフィールドがある。 データ検索情報996内の5番目のアイテムは同期再生情報1024である。同期再生 情報1024は、図48に詳しくブロック図される。同期再生情報の目的とは、ビデオ データと同期するオーディオとサブピクチャの開始時間とアドレス情報を検出で きるようにすることである。図48に示される同期再生情報1024には、オーディオ のプレゼンテーション時刻記録のターゲットであるオーディオパックアドレスが 含まれる。このフィールドの最上位ビットは、オーディオパックがこのPBIの前 に位置しているのか、このPBIの後に位置しているのかを示す。オーディオ1028 のプレゼンテーション時刻記録（PTS）は、ビデオ開始PTSからの相対プレゼンテ ーション時刻記録により、I-ピクチャの再生開始時間の直後に再生開始時間が設 定されたオーディオパケットのPTSを記述する。オーディオのプレゼンテーショ ン時刻記録は、プレゼンテーション時刻記録をそのために記憶させるために、最 高8つのオーディオストリームを酌量する。さらに、GOPの間に再生されるオーデ ィオフレームを構成するオーディオパケットがするかどうかを示すサブフィール ドがある。ピクチャにオーディオがない場合には、オーディオのプレゼンテーシ ョン時刻記録を記憶したり、復号化する必要はない。最高8つのオーディオチャ ネルがあるので、各オーディオチャネルには対応するアドレスフィールドと時刻 記録フィールドがある。 データ構造1024も、問題のサブピクチャパックの、PBIパックに相対したアド レスをを記述するサブピクチャパックアドレス1030を含む。サブピクチャのプレ ゼンテーション時刻記録は、対応するサブピクチャ情報の同期を記述する。GOP再 生の間に再生される必要があるサブピクチャユニットが存在するかどうか、サブ ピクチャの再生開始時間がビデオプレゼンテーション時刻記録の前かどうか、GO P 再生中に再生されるサブピクチャユニットの製作開始時間、およびGOP再生中に 再生されるサブピクチャユニットの再生終了時間を示すサブフィールドがある。 １つのデータストリームに含めることができる最高32のサブピクチャのように、 存在するそれぞれのサブピクチャには、対応するアドレスと時刻記録のフィール ドがある。 データ検索情報996の図46に示される最後のセクションは、PBIパックアドレス 情報である。PBIパックアドレス情報は、ファイル内の他のPBIパックのアドレス を構成し、他のPBIパックの位置が迅速に見つけられるようにする。PBIパックア ドレス情報は、相対論理ブロック番号を使用して周囲のPBIパックのアドレスを 記述する。PBIパックアドレス情報には、それぞれ次のPBIパックアドレスと前の PBIパックアドレスを記述する2つのフィールドがある。現在のPBIパックアドレ スからの相対論理ブロック番号を使用して、GOPのすぐ先にあるGOPに属するPBI パックのアドレスを、nx0.5秒と(n+1)x0.5秒の間であるその累積した再生時間で 定義し、複数のPBIパックがこの範囲に該当する場合は、n x 0.5秒、1≦b≦15を 選択する15のフィールドがある。 現在のPBIパックアドレスからの相対論理ブロック番号を使用して、GOPに属す るPBIパックのアドレスを、n x 0.5秒と(n+1)x 0.5秒の間のその累積再生時間で 定義し、複数のパックがこの範囲っ該当する場合には、n x 0.5秒、-15≦n≦-1 にもっとも近いPBIパックを選択する15のフィールドがある。 現在のPBIパックアドレスからの相対論理ブロック番号を使用して、GOPのすぐ 先のGOPに属するPBIパックアドレスをn x 0.5秒と[n x 0.5+1]秒の間のその累積 再生時間で定義し、複数のPBIパックがこの範囲に該当する場合には、n x 0.5秒、 n=20またはn=60にもっとも近いPBIパックを選択する2つのフィールドがある。 現在のPIパックアドレスからの相対論理ブロック番号を使用して、GOPに臆す るPBIのアドレスをn x 0.5秒と[n x 0.5+1]秒の間のその累積再生時間で定義し 、複数のPBIパックがこの範囲に該当する場合は、PBIパックをn x 0.5秒、n=-20 またはn=-60にもっとも近いPBIパックを選択する2つのフィールドがある。 ビデオパック1040の構造は図49にブロック図される。ビデオパックは、図44A と44Bに示されるヘッダ972Aまたは972Bに従って構築されたパックヘッダ972を備 える。ビデオ用のパケットヘッダ1046は、ビデオデータ1048でのように、ISO/IE C 13818-1に従って構築される。ただし、MPEGビデオ信号として表記されるビデ オデータ1048は、前記技法に従いエンコードするのが好ましい。 MPEGエンコードされたピクチャのグループは、図50の1050として示される。こ のGOP 1050を複数のビデオパック1040に分割し、ビデオストリーム1060を作成す る方法は、図50の底部にブロック図される。ピクチャオグループ1050は、ビデオ パックに適合するために適切なユニットに分割される。最後のビデオパック1040 G、ビデオパックjは、パックのそれぞれに使用される完全な2048バイトを使用し ないので、最後のパックjを2048バイトに等しくするには、スタッフィングが使 用される。 図51Aは、MPEGオーディオのビデオパックを示している。このビデオパックは 、パックヘッダ972、MPEG要件に準拠して構築されるパケットヘッダ1084、およ びエンコードされたMPEGオーディオデータ1086を含む。 図51Bは、線形PCMオーディオまたはドルビーAC-3オーディオのどちらかと準拠 して構築されるオーディオパック1090を示している。図51Bにブロック図される パケットの場合、パックヘッダ972は前記のように配列され、パケットヘッダ109 4はMPEG要件に準拠して構築され、stream idフィールドは線形PCMまたはAC-3の どちらかに対応する私的オーディオデータストリームを示す。サブストリームid 1096は、オーディオデータが線形PCM用であるか、AC-3（またはMPEG）用である かを示す。オーディオフレームポインタ1098は、オーディオパケット内のオーデ ィオフレームヘッダ数を示すフレームヘッダ数を具備し、ポインタの最後のバイ トからの相対バイト数を使用して、オーディオフレームの第1アクセス装置の先 頭を示す第1アクセス装置ポインタも備える。線形PCMオーディオにとって、各フ レームがフレームヘッダとフレームデータを備えるオーディオフレームに分割さ れるのは普通のことである。オーディオフレームポインタ1098も同様にドルビー AC-3で使用できる。オーディオデータ1100は、対応するオーディオエンコード方 法に従って構築される。 図52は、エンコードされたオーディオストリーム1100を示す。このオーディオ ストリームは、個々のパック1122を構成するオーディオパックのストリーム1120 に変換される。各パックの長さは2048バイトで、最後のオーディオパック1122G 、オーディオパックjは、長さを2048バイトにするために、スタッフィングビッ トを付加することによって調整される。 本発明の新規の特徴とは、サブピクチャの使用およびサブピクチャバックのオ ーディオ情報とビデオ情報とのインタリーブである。サブピクチャ情報を使用す ると、グラフィック情報の表示が可能になり、MPEGビデオでのサブピクチャ情報 の重複が酌量できる。ホン発明により使用されるサブピクチャ情報と従来のクロ ーズキャプション字幕の間の大きな相違点とは、サブピクチャ情報がビットマッ プ化されたグラフィックであるのに対し、クローズキャプションでは、デコーダ に記憶されている文字セット内の文字を表示するために文字符号が伝送されると いう点である。したがって、従来のクローズキャプションは、デコーダ内の文字 セットによって制限される。しかし、サブピクチャ情報はビットマップ化してい るため、外国語文字を含む任意のタイプの文字は、言語ごとにデコーダ内の文字 セットを記憶する必要なしに表示することができる。 サブピクチャ情報の各表示画面が、サブピクチャユニットと呼ばれる。図53に サブピクチャユニット1140がブロック図される。サブピクチャユニットは、ビッ トマップ化されたピクセルデータから成る1つの画面を具備し、このピクセルデ ータの画面が複数のビデオフレームで表示される。サブピクチャユニット1140は 、サブピクチャユニットヘッダ1142を備える。サブピクチャユニットヘッダ1142 には、サブピクチャ装置の先頭からのバイト数に相対して、サブピクチャユニッ トのサイズおよび表示制御シーケンステーブル1146を記述するフィールドがある 。 ピクセルデータ1144は、ランレングス圧縮済みビットマップ化情報である。ピ クセルは表示された情報のバックグラウンドを形成するバックグラウンドピクセ ル、図形線描画を含むサブピクチャ内の表示パターンを可能にするパターンピク セル、および2つの異なった属性を持つ図形または文字が表示できるようにする2 種類の強調ピクセルとなる場合がある。ビットマップ化情報は、従来のグラフィ ック作成技法を使用して作成できる。ランレングス圧縮は、以下の規則に従って 実行される。同種の1ピクセルから3ピクセルが続く場合、最初の2ビットにはピ クセル数を、続く2ビットにはピクセルデータを入力する。4ビットが1つの単位 と見 なされる。同種の4から15のピクセルが続く場合は、最初の2ビットにゼロを指定 し、続く4ビットにピクセル数、次の2ビットにピクセルデータを入力する。8ビ ットが1つの単位と見なされる。同種の16から63ピクセルが続く場合、最初の4ビ ットにゼロを指定し、続く6ビットにピクセル数、次の2ビットにピクセルデータ を入力する。12ビットが1つの単位と見なされる。同種の64から255のピクセルが 続く場合は、最初の6ビットにゼロを指定し、続く8ビットにピクセル数、接ぎの 2ビットにピクセルデータを入力する。16ビットが1つの単位と見なされる。同じ ピクセルが行末まで続く場合は、最初の14ビットにゼロを指定し、次の2ビット にピクセルデータを記述する。16ビットが1つの単位と考えられる。1行でのピク セルの記述が完了するときにバイト割当てが生じない場合、調整のために4ビッ トのダミーデータを挿入する。希望に応じて、画像データを表すために他の圧縮 機構を使用することも可能である。例えば、JPEGフォーマットやGIFFフォーマッ トを使用して、サブピクチャ画像を表すことができる。 表示制御シーケンステーブル1146には、制御シーケンスが発生する年代順を記 述する複数の表示制御シーケンス1146A、1146B、1146Cなどが含まれる。表示制 御シーケンステーブルには、サブピクチャユニット内の情報がどのように表示さ れるのかに関する情報が含まれる。例えば、1つのサブピクチャを形成するワー ドは、1つづつまたは経時的にグループとして表示されるか、その色が変化する ことがある。これは、カラオケ情報を表示するためにサブピクチャを使用する場 合に役立つ。 各表示制御シーケンス(DCSQ)は、サブピクチャユニットが表示されている期間 で実行されるピクチャデータを変更するコマンドを酌量する。表示制御シーケン スの第1フィールドは表示開始時間である。このフィールドは、サブピクチャユ ニットヘッダによりサブピクチャパケット内で記述されるPTSからの相対PTSのあ るDCSQに含まれる表示制御コマンドの実行開始時間を記述する。記述された実行 開始時間の後の第1ビデオフレームから、表示制御緒は、DCSQ表示制御開始時間 に従って開始される。各DCSQの第2フィールドは、後続の表示制御シーケンスの アドレスである。このフィールドは、第1サブピクチャユニットからの相対バイ ト数により後続のDCSQの開始アドレスを記述する。後続のDCSQが存在しない場合 には、こ のフィールドは、第1サブピクチャユニットからの相対バイト数によりこのDCSQ の開始アドレスを記述する。それ以降、DCSQには1つ以上の表示制御コマンドが 格納される。これらのコマンドにより、ピクセルデータの属性および表示を制御 、変更できるようになる。コマンドには、サブピクチャのオン／オフ状態に関係 なく、強制的にサブピクチャ装置の表示を開始するコマンドが含まれる。例えば 、ユーザがサブピクチャをオフにするためにメニューを使用する場合、このコマ ンドを設定してユーザの設定値を無視することができる。別のコマンドは、更新 されたサブピクチャ装置の表示を開始する。このコマンドは、各DCSQで一度表示 されなければならない。2種類の強調ピクセル、パターンピクセル、およびバッ クグラウンドピクセルを含む前記の4種類のピクセルの色とコントラストを設定 するためのコマンドがある。サブピクチャを構成するピクセルデータの矩形領域 表示および位置を設定するコマンドが存在する。このコマンドは、上部および下 部のX座標とY座標の設定を可能にする。また、表示に使用されるピクセルデータ のヘッドアドレスを設定するために使用されるコマンドもある。このコマンドを 使用すると、上部フィールドと下部フィールドの両方のヘッドアドレスを入力で きる。拡大されたフィールドでは、装置のヘッドからの相対バイト数による上部 フィールドと下部フィールドのピクセルデータの各ヘッドアドレスが使用される 。第1ピクセルデータは、行の第1ピクセルを表す。このコマンドは、少なくとも 第1DCSQ、DCSQOで使用されなければならない。 ピクセルデータの色とコントラストを変更するためのDCSQの中に表示されるコ マンドがある。データ検索情報のハイライト情報が使用される場合には、このコ マンドは使用してはならない。ピクセルデータの色とコントラストを変更するた めのコマンドは、表示中にピクセルデータの色とコントラストを制御するための ピクセル制御データを含む。ピクセル制御データに記述される制御の内容は、指 定された開始時間の後にビデオフレームごとに実行され、新規ピクセル制御デー タが検出されるか、新規サブピクチャユニットが検出されるまで続行する。ピク セル制御データは、同じ変更が加えられる線を指定するために使用される線制御 情報を含む。また、ピクセル制御情報は、変更が加えられる線上の位置を指定す るために使用することもできる。線制御コマンドにより、開始線番号、変更ポイ ント数、および変更終了線番号の変更が可能になる。ピクセル制御情報は、変更 開始ピクセル番号、および強調ピクセル1と2、パターンピクセル、およびバック グラウンドピクセルの新しい色とコントラストを含む。また、表示制御シーケン スの最後を示すコマンドもある。各DCSQは、このコマンドで終了しなければなら ない。 映画の場合のようなビデオフレームの期間で、使用できる多くの異なったサブ ピクチャユニットが存在する。図54に図示されるように、サブピクチャユニット は、サブピクチャパック1150に分割される。サブピクチャパックには、前記のパ ックヘッダ972、MPEGシステム要件に準拠するパックヘッダ、後続のデータがサ ブピクチャデータであることを示すサブストリームID、およびサブピクチャデー タ1158それ自体がある。 サブピクチャユニット1140のようなサブピクチャユニットは、図55にブロック 図されるようにサブピクチャパック150に分割される。最後のサブピクチャパッ ク1050Gには、その長さを2048バイトにする埋込みが含まれる。 図56では、連続サブピクチャユニットが表示される方法を説明する。時間が新 しいサブピクチャパケットに記述されるPTSの時間に等しくなる場合、現在表示 中(1160)のサブピクチャユニットがクリアされ(1162)、次のサブピクチャユニッ トの表示制御シーケンスによって指定される時間が発生すると、そのサブピクチ ャが表示される(1164)。1160と1162の間に、サブピクチャユニットnとサブピク チャユニットn+1の間の境界線がある。この境界線は、サブピクチャユニットn+1 のパケットヘッダに記述されるPTSで発生する。サブユニットn+1の実際の表示時 間は、サブピクチャn+1のDCSQに説明される。 サブピクチャ情報に使用されるピクセルデータの作成は、表示が希望される情 報のビットマップを作成するためにコンピュータを使用して実行できる。ビット マップ化情報のプロセスは、技術で周知である。 図40-56は、オーディオ情報、ビデオ情報、およびサブピクチャ情報をエンコ ードするために使用されるデータ構造を強調する。ただし、図40-56でのデータ 構造の開示により、MPEGエンコードの従来の技術の当業者は、特にMPEGシステム 説明ISO/IEC 13818-1の力を借りて、エンコードされたオーディオ、ビデオ、お よびサ ブピクチャをデータ構造にフォーマットできる。同様に、データを記憶する構造 についての知識があれば、ビデオ情報、オーディオ情報、およびサブピクチャ情 報を作成するためのデータ構造の復号化は、従来の技術の当業者により実行でき る。 本発明の一部を成す例示的なビデオデコーダは、光ディスクに記憶されたデー タを読み取る光ディスク読取り装置を具備する。読み取られた情報は、情報を復 号化するために、従来の解析技法を使用して解析される。ビデオ、オーディオ、 サブピクチャ、およびPBIパックのすべてを復号化しなければならない。ビデオ は、オーディオパックが従来のデコーダを使用して復号化されるように、市販さ れているMPEGデコーダを使用して復号化することができる。サブピクチャ情報は 、サブピクチャユニットをサブピクチャパックから、それらがエンコードされた のと逆転して構築することで復号化される。特別に構築されたハードウェアまた はソフトウェアコーディングを使用してプログラミングされた汎用マイクロプロ セッサは、サブピクチャ情報を復号化するために使用できる。図45にブロック図 される再生情報パックには、データ検索情報996が含まれる。データ検索情報は 、プログラミングされたマイクロプロセッサを使用して処理され、オーディオデ コーダ、ビデオデコーダ、およびサブピクチャデコーダとは異なる。メニュー機 能もプログラミングされたマイクロプロセッサによって実行されるので、データ 検索情報の中に含まれるハイライト情報1022および他のすべてのメニュー機能は 、サブピクチャデコーダによってではなく、プログラミングされたマイクロプロ セッサによって実行される。本発明の動作、データ構造、エンコードプロセスと 復号化プロセスに関する追加情報は、両方とも本明細書に参考により取り入れら れる日本国特許明細書7-8298、および7-85693に記載される。 本発明のエンコードシステムを使用すると、ピクチャ内で品質を制御できる。 この制御は、最終ビデオ製品の作成者がエンコードシステムの最終製品を密接に 制御できるようになるため重要である。したがって、デジタルビデオエンコード によりアナログビデオ内に存在しない復号化人為構造が生じても、最終デジタル 製品はきわめて良好だろう。前記項のどれかの教示は、他の項に適用できる。 本発明の決定、計算および処置は、コンピュータ技術の当業者に明らかとなる ように、本発明の教示に従ってプログラミングされた従来の汎用デジタルコンピ ュータを使用して、実現できる。適切なソフトウェアコーディングは、ソフトウ ェア技術の当業者に明らかとなるように、本開示の教示に基づいて技能のあるプ ログラマにより容易に作成できる。 本発明は、当業者に容易に明らかになるように、アプリケーションに特殊な集 積回路を作成したり、従来の構成部品回路の適切なネットワークの相互接続によ っても、実現される。 本発明は、本発明のプロセスを実行するためにコンピュータをプログラミング する場合に使用できる指示を格納する記憶装置媒体であるコンピュータプログラ ム製品を含む。記憶装置媒体は、フロッピーディスク、光ディスク、CD-ROM、お よび磁気光学ディスク、ROM、RAM、EPROM、EEPROM、磁気カードや光カード、あ るいは電子指示を記憶するために適当な任意のタイプの媒体を含む任意のタイプ のディスクを含むが、それらに限定されない。本発明は、さらに、電子指示また はデータを記憶するのに適当な前記媒体のどれかで記憶される、本発明により出 力されるエンコードでータを含む記憶装置媒体であるコンピュータプログラム製 品も含む。 前記教示という観点から、本発明の数多くの改良および変化が可能であること は明らかである。したがって、付属請求項の範囲内であれば、本発明は、本明細 書に明確に指示がある場合を除き実施できる。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，Ｓ Ｚ，ＵＧ)，ＵＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＺ， ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，Ｉ Ｓ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＲ ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ， ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，Ｓ Ｄ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ，ＴＴ ，ＵＡ，ＵＧ，ＵＺ，ＶＮ (72)発明者 ン、シャウ−バオ アメリカ合衆国、ニュージャージー州 08512、クランベリー、ペティー・ロード ４ (72)発明者 伊知川 偵一 神奈川県横浜市金沢区並木３−２−７− 623 (72)発明者 海野 裕明 千葉県市川市八幡１−20−９ (72)発明者 三村 英紀 神奈川県横浜市金沢区並木２−３−１− 403 (72)発明者 北村 哲也 東京都狛江市中和泉１−15−12−301 (72)発明者 クックソン、クリストファー・ジェイ アメリカ合衆国、カリフォルニア州 90046、ロサンゼルス、トーレイソン・ド ライブ 7825 (72)発明者 サガード、グレッグ・ビー アメリカ合衆国、カリフォルニア州 90277、レドンド・ビーチ、エメラルド・ ストリート 601 (72)発明者 ローゼン、アンドリュー・ドルージン アメリカ合衆国、 カリフォルニア州 91304−3654、キャノガ・パーク、フォー ルブルック・アベニュー 7815 【要約の続き】 た参照ピクチャーが使用されないように、エンコーダは 動作する。しかしこれは、ピクチャーの品質を維持する ために余分のビットが必要となる。なぜなら、置き換え ビデオの初期の双方向フレームは2つの参照フレームの 代わりに1つの参照フレームのみを使用するからであ る。

Claims (1)

1. 【特許請求の範囲】 １．エンコードされたデータのビットストリームを編集する方法であって、 修正される前記エンコードされたデータの始点及び終点を決定する工程と、 前記始点前の参照データを再構築する工程と、 前記終点直後の前記エンコードされたデータを示すデータを含む未エンコード データを得る工程と、 再構築された前記参照データを用いて前記未エンコードデータをエンコードす る工程と、 前記終点直後の前記ビットストリーム内のエンコードされたデータを前記エン コードする工程にてエンコードされたデータで置き換える工程と、 を有することを特徴とする方法。 ２．請求項1記載の方法であって、 前記始点と終点の間に挿入するための未エンコードデータを得る工程を更に有 し、 前記エンコードする工程は、前記挿入するための未エンコードデータをエンコ ードし、前記終点直後のエンコードされたデータを示す前記未エンコードデータ をエンコードする工程を含み、前記参照データは前記挿入のための未エンコード データのエンコード中に参照され、及び 前記置き換える工程は前記挿入のためのエンコードされたデータを前記始点と 終点の間に追加する工程を含むことを特徴とする方法。 ３．請求項2記載の方法であって、前記置き換える工程は、 前記開始と終点の間に挿入するための前記エンコードされたデータを追加する 前に、前記始点と終点の間にある前記エンコードされたデータを除去する工程を 含むことを特徴とする方法。 ４．請求項1記載の方法であって、 前記始点と終点の間にある前記エンコードされたデータを除去する工程を更に 含むことを特徴とする方法。 ５．請求項1記載の方法であって、前記エンコードする工程は、 前記終点直後の前記エンコードされたデータを示す前記未エンコードデータを 、前記未エンコードデータの最初のエンコード中に用いられる量子化値に等しい 量子化値を用いてエンコードする工程を含むことを特徴とする方法。 ６．請求項1記載の方法であって、前記参照データを再構築する工程は、 前記始点の直前に、前記始点後の2つの双方向予測ビデオフレームにより参照 される予測ビデオフレームを構築する工程を含むことを特徴とする方法。 ７．請求項6記載の方法であって、前記参照データを再構築する工程は更に、 前記予測ビデオフレームを最初にエンコードするのに用いられた量子化値を用 いて前記予測ビデオフレームを再構築する工程を含むことを特徴とする方法。 ８．請求項7記載の方法であって、 前記予測フレームを最初にエンコードするのに使用される量子化値を、バッフ ァ情報、割り当てられたビット数、及び前記予測フレームのアクティブレベルを 判断することによって決定する工程を更に含むことを特徴とする方法。 ９．請求項7記載の方法であって、 前記予測フレームをエンコードするのに用いる前記量子化値を、ログファイル 内の前記予測フレームを示している情報を参照することにより決定する工程を更 に含むことを特徴とする。 10．請求項7記載の方法であって、 前記予測フレームをエンコードするのに用いる前記量子化値を、ファイル内の 前記量子化値を参照することにより決定する工程を更に含むことを特徴とする方 法。 11．請求項1記載の方法であって、前記決定する工程は、 前記エンコードされたビデオのディレクトリ情報を参照せずに、ビデオフレー ムに対応するビット数を追加することにより前記始点及び終点を決定する工程を 含むことを特徴とする方法。 12．請求項1記載の方法であって、 カメラを使用してビデオを得る工程と、 得られたビデオをエンコードして、エンコードされたデータのビットストリー ムを発生する工程、 を更に含むことを特徴とする方法。 13．請求項1の編集処理によって作成されたビデオフレームを含むデータを格納 するためのデータ構造を有するメモリにおいて、 (1)前記メモリ内に格納される1つのデータ構造であって、 （ａ）セルが情報の単位であるところの、メニューセル数を記憶するための フィールドと、 （ｂ）タイトルメニューの開始セル用フィールドと、 （ｃ）オーディオ選択メニューの開始セル用フィールドと、 （ｄ）サブピクチャ情報、ビデオとは異なるビットマップ化情報を提示する ために使用されるサブピクチャ情報を選択するために使用されるメニューの開始 セル用フィールドと、 （ｅ）複数のプログラムがメモリ内に存在するときに、複数のプログラムを 選択するために使用されるメニューの開始セル用フィールドと、 （ｆ）複数のアングル表示がメモリ内に存在するときに、カメラアングルを 選択するために使用されるアングルメニューの開始セル用フィールドと、 を具備するデータ構造と、 (2)表示される各メニューのテーブルエントリを含むメニューセル情報テーブ ルであって、前記テーブルエントリのそれぞれが、 （ａ）テーブルエントリに対応するメニューがタイトルメニュー、プログラ ムメニュー、オーディオメニュー、サブピクチャメニューまたはアングルメニュ ーであるかどうかを示すフィールドと、 （ｂ）選択アイテムの数を示すフィールドと、 （ｃ）対応するメニューセルの開始部分のシステムクロック参照の少なくと も1部を記述するフィールドと、 （ｄ）対応するメニューセルの開始セルを記述するフィールドと、 （ｅ）対応するメニューセルのブロック数を記述するフィールドと、 を具備するメニューセル情報テーブルと、 (3)メニューごとに表示される情報を記憶するためのデータ構造と、 (4)オーディオを記憶するためのデータ構造と、及び (5)請求項1に従って編集されたデータであって前記ビデオフレームを含むデー タを格納するためのデータ構造と、 を具備することを特徴とするメモリ。 14．請求項13記載のメモリであって、前記メモリは光ディスクであることを特徴 とするメモリ。 15．請求項1の編集処理によって作成されたビデオフレームを含むデータを格納 するためのデータ構造を有するメモリにおいて、 (1)ファイル管理情報を記憶するためのデータ構造であって、 （ａ）メモリ内の情報のアドレスおよびサイズ情報を記憶するファイル管理 テーブルと、 （ｂ）セルを再生する順序を記述する情報を記憶するためのシーケンス情報 テーブルであって、セルが情報の単位であり、シーケンス情報テーブルに各シー ケンス用テーブルエントリがあり、各テーブルエントリが、 （ｂ1）対応するシーケンスが、再生後に、連続再生されるシーケンスの一 部である接続型シーケンスの先頭、接続型シーケンスの中間、および接続型シー ケンスの最後を終了する完全型シーケンスであるかどうかを記憶するフィールド と、 （ｂ2）対応するシーケンスのセル数を記憶するフィールドと、 （ｂ3）対応するシーケンスの再生時間を記憶するフィールドと、 （ｂ4）対応するシーケンス後に再生されるシーケンスを記憶するフィール ドと、 を備えるシーケンス情報テーブルと、 （ｃ）各セルを記述する情報を記憶し、セルごとのテーブルエントリを含む セル情報テーブルであって、各テーブルエントリが、 （ｃ1）対応するセルの再生時間を記述するフィールドと、 （ｃ2）対応するセルのシステムクロックリファレンスの少なくとも一部を 記述するフィールドと、 （ｃ3）対応するセルのアドレスを記述するフィールドと、 （ｃ4）対応するセルの論理ブロックの数を記述するフィールドと、 を具備するセル情報テーブルと、 を具備するデータ構造と、 (2)オーディオを記憶するためのデータ構造と、 (3)請求項1に従い編集された前記ビデオを記憶するためのデータ構造と、 を具備することを特徴とするメモリ。 16．請求項15記載のメモリであて、前記メモリは光ディスクであることを特徴と するメモリ。 17．請求項1の編集処理によって作成されたビデオフレームを含むデータを格納 するデータ構造を有するメモリであって、該データ構造はオーディオを格納する ためのものであり、 (1)記述情報を格納するデータ構造であって、 （ａ）記述情報データ構造のシステムクロックリファレンスを記憶するため のフィールドと、 （ｂ）他のピクチャに参照しないで復号化される対応するビデオピクチャの 開始時間を記憶するためのフィールドと、 （ｃ）前記対応するビデオピクチャの再生開始時間の直前の再生開始時間が 設定されるオーディオ情報の時刻記録を記憶するためのフィールドと、 （ｄ）前記オーディオ情報のアドレス、オーディオ情報が記述情報データ構 造の前または後に位置しているのを示す第1ビットを記憶するためのフィールド と、 （ｅ）前記記述情報データ構造の前および後の両方で発生するそれ以外の記 述情報データ構造のアドレスを記述するフィールドと を具備するデータ構造と、 (2)オーディオを記憶するためのデータ構造、及び (3)請求項1に従い編集された前記ビデオフレームを含むデータを記憶するため のデータ構造と、 を具備することを特徴とするメモリ。 18．請求項17記載のメモリであって、前記メモリは光ディスクであることを特徴 とするメモリ。 19．請求項1の編集処理によって作成されたビデオフレームを含むデータを格納 するデータ構造を有するメモリであって、該データ構造はオーディオ及びサブピ クチャー情報を格納するためのものであり、 (1)サブピクチャ情報を記憶するために前記メモリに記憶されるデータ構造で あって、 （ａ）サブピクチャユニットヘッダを記憶するためのフィールドと、 （ｂ）ビットマップ化イメージを記憶するためのフィールドと、 （ｃ）複数のテーブルエントリを含む表示制御テーブルを記憶するためのフ ィールドであて、前記テーブルエントリのそれぞれが、 （ｃ1）ビットマップ化画像の表示開始時間を記憶するサブフィールドと、 （ｃ2）次のテーブルエントリのアドレスを記憶するサブフィールドと、 （ｃ3）表示領域、ピクセルカラー、ピクセルコントラスト、およびビデオ フレームが表示されると発生するピクセルの色とコントラストの変化を示すコマ ン ドを含むコマンドのグループから選択される少なくとも1つの表示制御コマンド を記憶するためのサブフィールド、 を含むフィールドと、 を具備するデータ構造と、 (1)オーディオを記憶するためのデータ構造と、 (2)請求項1に従って編集され前記ビデオフレームを含むデータを記憶するため のデータ構造と、 を具備することを特徴とするメモリ。 20．請求項19に記載されるメモリであって、前記サブピクチャユニットデータ構 造が、サブピクチャユニットデータ構造の情報を記憶する複数のパックを構成す ることを特徴とするメモリ。 21．前記メモリは光ディスクであることを特徴とする請求項20記載のメモリ。 22．エンコードされたビデオのビットストリームにビデオを追加する方法であっ て、 前記エンコードされたビデオが修正される始点及び終点を決定する工程と、 前記始点及び終点間に挿入するためのビデオ、及び前記終点直後のエンコード されたビデオを示すビデオを含む未エンコードビデオを得る工程と、 前記挿入用ビデオの第1グループのピクチャー(GOP)を前記始点及び終点の外側 の参照フレームを用いずにエンコードし、第2参照フレームを含まない双方向予 測フレームに追加ビットを割り当てる工程と、前記第1GOPより後のGOPを挿入さ れるビデオの前記終点までエンコードする工程、及び前記終点直後のエンコード されたビデオを示すビデオをエンコードする工程とを実行することによって前記 未エンコードビデオをエンコードする工程と、 前記エンコードする各工程により作成されるエンコードされたビデオを前記エ ンコードされたビットストリーム内にに配置する工程と、 を含む方法。 23．請求項22記載の方法であって、一方向予測を有するフレームに用いられたビ ット数を使用して前記追加ビット数を決定する工程を更に含むことを特徴とする 方法。 24．請求項22記載の方法であって、前記終点直後のエンコードされたビデオを示 すビデオをエンコードする工程は、前記未エンコードビデオの最初のエンコード 期間中に使用された量子化値に等しい量子化値を用いて、前記エンコードされた ビデオを示すビデオをエンコードする工程を含むことを特徴とする方法。 25．請求項22記載の方法であって、前記決定する工程は、 前記エンコードされたビデオのディレクトリ情報を参照せずに、ビデオフレー ムに対応するビット数を追加することにより決定する工程を含むことを特徴とす る方法。 26．請求項22記載の方法であって、 カメラを使用してビデオを得る工程と、 得たビデオをエンコードして、エンコードされたデータのビットストリームを 発生する工程と、 を更に含むことを特徴とする方法。 27．請求項22の処理により作成されたエンコードされたビットストリームのビデ オを格納するためのデータ構造を含むメモリにおいて、 (1)前記メモリに格納されるデータ構造であって、 （ａ）情報の1単位であるメニューセルを複数格納したフィールド、 （ｂ）タイトルメニューの開始セル用フィールド、 （ｃ）オーディオ選択メニューの開始セル用フィールド、 （ｄ）前記ビデオとは異なるビットマップされた情報を提供するのに用いら れるサブピクチャー情報を選択するための用いられるメニューの開始セル用フィ ールド、 （ｅ）前記メモリ内に複数のプログラムが存在するときに、複数のプログラ ムを選択するために用いる開始セル用フィールド、及び （ｆ）前記メモリ内に複数のアングル画面が存在するとき、カメラアングル を選択するために用いるアングルメニュー用開始セルのフィールドを含むデータ 構造と、 (2)表示される各メニューに対するテーブルエントリを含むメニューセル情報 テーブルであって、前記前記テーブルエントリは各々、 （ａ）前記テーブルエントリに対応するメニューがタイトルメニューか、プ ログラムメニューか、オーディオメニューか、サブピクチャーメニューか、また はアングルメニューかを示すフィールド、 （ｂ）選択項目の数を示すフィールド、 （ｃ）対応するメニューセルの開始部のシステムクロック参照部を少なくと も示すフィールド、 （ｄ）対応するメニューセルの開始アドレスを示すフィールド、及び （ｅ）対応するメニューセルの複数ブロックを示すフィールドを含むメニュ ーセル情報テーブルと、 (3)各メニューについて表示される情報を格納するためのデータ構造と、 (4)オーディオを格納するためのデータ構造、及び (5)請求項22の処理によって作成されたエンコードされたビットストリームの ビデオを格納するためのデータ構造、 を具備することを特徴とするメモリ。 28．請求項27記載のメモリであって、前記メモリは光ディスクであることを特徴 とするメモリ。 29．請求項22の処理によって作成されたエンコードされたビットストリームのビ デオを格納するためのデータ構造を含むメモリであって、 (1)ファイル管理情報を格納するためのデータ構造であり、該データ構造は、 （ａ）前記メモリ内情報のアドレス及びサイズ情報を格納するためのファ イル管理テーブルと、 （ｂ）情報の1単位である各セルが再生される順番を示す情報を格納する シーケンス情報テーブルであって、該シーケンス情報テーブルは各シーケンスに 対するテーブルエントリを含み、各テーブルエントリは、 （ｂ1）再生された後に終結する完了形式シーケンスか、順番に再生 される複数シーケンスの一部である接続形式シーケンスの先頭か、接続形式シー ケンスの中心部か、及び接続形式シーケンスの終了部かを格納するフィールドと 、 （ｂ2）前記対応するシーケンス内の複数セルを格納するフィールド と、 （ｂ3）前記対応するシーケンスの再生時間を格納するフィールドと 、 （ｂ4）前記対応するシーケンスの後に再生されるシーケンスを格納 するフィールドとを含むシーケンス情報テーブルと、 （ｃ）セルを示す情報を格納するセル情報テーブルであって、各セルにつ いてのテーブルエントリを含み、各テーブルエントリは、 （ｃ1）対応するセルの再生時間を示すフィールドと、 （ｃ2）前記対応するセルのシステムクロック参照の少なくとも一部 を示すフィールドと、 （ｃ3）前記対応するセルのアドレスを示すフィールド、及び （ｃ4）前記対応するセルの複数の論理ブロックを示すフィールドと を含むセル情報テーブルと、 (2)オーディオを格納するためのデータ構造、及び (3)請求項22の処理により発生されたエンコードされたビットストリームのビ デオを格納するためのデータ構造。 30．前記メモリは光ディスクであることを特徴とする請求項29記載のメモリ。 31．請求項22の処理によって作成されたエンコードされたビットストリームのビ デオを格納するためのデータ構造を含むメモリであって、該データ構造はオーデ ィオ及びタイミング情報を含む記述的情報を格納するための構造を含み、 (1)記述的情報を含むデータ構造であって、 （ａ）前記記述的情報データ格納のシステムクロック参照を格納するための フィールドと、 （ｂ）他のピクチャーを参照せずにデコードされる対応するビデオピクチャ ーの開始時間を格納するためのフィールドと、 （ｃ）前記対応するビデオピクチャーの再生開始時間直前の再生開始時間を 有するオーディオ情報のタイムスタンプを格納するためのフィールドと、 （ｄ）第1ビットは前記オーディオ信号が前記記述的情報データ構造の前に 位置するか又は後に位置するかを示し、前記オーディオ情報のアドレスを格納す るためのフィールドと、 （ｅ）前記記述的情報データ構造の前及び後に発生する他の記述的情報デー タ構造のアドレスを示すフィールドとを含むデータ構造と、 (2)オーディオを格納するためのデータ構造、及び (3)前記請求項22の処理によって作成されたエンコードされたビットストリー ムのビデオを格納するデータ構造と、 を具備することを特徴とするメモリ。 32．請求項31記載のメモリであって、前記メモリは光ディスクであることを特徴 とするメモリ。 33．請求項22の処理によって作成されたエンコードされたビットストリームのビ デオを格納するためのデータ構造を含むメモリであって、該データ構造はオーデ ィオ及びサブピクチャー情報を格納するための構造を含み、 (1)サブピクチャーユニットを格納するために前記メモリ内に格納されるデー タ構造であって、 （ａ）サブピクチャーユニットヘッダーを格納するためのフィールドと、 （ｂ）マップされた画像を格納するためのフィールド、及び （ｃ）複数のテーブルエントリを含む表示制御テーブルを格納するためのフ ィールドであって、 （ｃ1）前記ビットマップされた画像の表示開始時間を格納するサブフィ ールドと、 （ｃ2）次のテーブルエントリのアドレスを格納するサブフィールド、及 び （ｃ3）表示エリア、画素色、画素コントラスト、及びビデオフレームが 表示されたときに生じる画素の色とコントラスト変更とを含むコマンドグループ から選択される少なくとも1つの表示制御コマンドを格納するサブフィールドと を含むデータ構造と、 (2)オーディオを格納するためのデータ構造、及び (3)請求項22の処理により作成されたエンコードさてたビットストリームのビ デオを格納するためのデータ構造と、 を具備することを特徴とするメモリ。 34.請求項33記載のメモリであって、前記サブピクチャーユニットデータ構造は 、 前記サブピクチャーユニットデータ構造内の情報を含む複数のパックを具備す ることを特徴とするメモリ。 35．請求項33記載のメモリであって、前記メモリは光ディスクであることを特徴 とするメモリ。 36．エンコードされたデータを編集するためのシステムであって、 前記エンコードされたデータが修正される開始点及び終点を決定する手段と、 前記開始点前の参照データを再構築する手段と、 前記終点直後のエンコードされたデータを示すデータを含む未エンコードデー タ得る手段と、 再構築された参照データを用いて前記未エンコードデータをエンコードする手 段、及び 前記終点直後の前記ビットストリーム内のエンコードされたデータを、前記エ ンコード手段によりエンコードされたデータと置き換える手段と、 を具備することを特徴とするシステム。 37．請求項36記載のシステムであって、前記始点と終点の間に挿入するための未 エンコードデータを得る手段を更に具備し、 前記エンコード手段は前記挿入用の未エンコードデータをエンコードする手段 と、前記終点直後のエンコードされたデータを示す前記未エンコードデータをエ ンコードする手段とを含み、前記参照データは前記挿入用の未エンコードデータ のエンコード中に参照され、 前記置き換える手段は前記挿入用のエンコードされたデータを前記始点と終点 の間に追加する手段を含むことを特徴とするシステム。 38．請求項36記載のシステムであって、前記前記置き換える手段は、前記始点及 び終点の間に挿入用の前記エンコードされたデータを追加する前に、前記始点及 び終点の間のエンコードされたデータを除去する手段を含むことを特徴とするシ ステム。 39．請求項36記載のシステムであって、前記置き換える手段は、 前記始点と終点の間のエンコードされたデータを除去する手段を更に具備する ことを特徴とするシステム。 40．請求項36記載のシステムであって、前記エンコード手段は、 前記終点直後のエンコードされたデータを示す未エンコードデータを、前記未 エンコードデータを最初にエンコードするときに用いた量子化値に等しい量子化 値を用いてエンコードする手段を具備することを特徴とするシステム。 41．請求項36記載のシステムであって、前記参照データを再構築する手段は、 前記始点後の双方向に予測された2つのビデオフレームにより参照される始点 直前の予測されたビデオフレームを再構築する手段を具備することを特徴とする システム。 42．請求項41記載のシステムであって、前記参照データを再構築する手段は更に 、 前記予測されたビデオフレームを最初にエンコードするのに用いられる量子化 値を用いて前記予測されたビデオフレームを再構築する手段を具備することを特 徴とするシステム。 43．請求項41記載のシステムであって、 前記予測されたフレームを最初にエンコードするのに用いられる前記量子化値 を、バッファ情報、割り付けられたビット数、及び前記予測されたフレームのア クティブレベルを判断することにより決定する手段を具備することを特徴とする システム。 44．請求項42記載のシステムであって、前記予測されたフレームをエンコードす るのに用いる前記量子化値を、ログファイル内の前記予測されたフレームを記述 する情報を参照することにより決定する手段を具備することを特徴とするシステ ム。 45．請求項42記載のシステムであって、 前記予測フレームをエンコードするのに用いる前記量子化値を、ファイル内の 前記量子化値を参照することにより決定する手段を具備することを特徴とするシ ステム。 46．請求項36記載のシステムであって、前記決定手段は、前記始点と終点を、エ ンコードされたビデオのディレクトリ情報を参照することなく、ビデオフレーム に対応するビット数を追加することにより決定する手段を含むことを特徴とする システム。 47．請求項36記載のシステムであって、ビデオを得るためのカメラと、得られた ビデオをエンコードしてエンコードされたデータのビットストリームを作成する 手段を更に具備ことを特徴とするシステム。 48．エンコードされたビデオのビットストリームにビデオを追加するシステムで あって、 (1)前記エンコードされたビデオが修正される始点と終点を決定する手段と、 (2)前記始点と終点の間に挿入するためのビデオを含む未エンコードビデオ及 び前記終点直後のエンコードされたビデオを示すビデオを得る手段と、 (3)前記未エンコードビデオをエンコードする手段であって、このエンコード 手段は、 （ａ）前記始点と終点の外側の参照フレームを用いることなく、挿入用ビデ オの第1グループのピクチャー(GOP)をエンコードし、第2参照フレームを含まな い双方向に予測されたフレームに追加ビットを割り付ける手段と、 （ｂ）前記第1GOP後の複数のGOPを、挿入されるビデオの終点までエンコー ドする手段、及び （ｃ）前記終点直後のエンコードされたビデオを示すビデオをエンコードす る手段とを含み、 (4)前記エンコードする各工程により作成されたエンコードされたビデオを前 記エンコードされたビットストリーム内に配置する手段、 を具備することを特徴とするシテム。 49．請求項48記載のシステムであって、一方向予測を有するフレームに用いたビ ット数を用いて前記追加ビット数を決定する手段を更に具備することを特徴とす るシステム。 50．請求項48記載のシステムであって、前記終点直後のエンコードされたビデオ を示すビデオをエンコードする手段は、 前記未エンコードビデオの最初のエンコード時に用いられる量子化値に等しい 量子化値を用いて、前記エンコードされたビデオを示すビデオをエンコードする 手段を具備することを特徴とするシステム。 51．請求項48記載のシステムであって、前記決定手段は、 前記エンコードされたビデオのディレクトリ情報を参照することなく、ビデオ フレームに対応するビット数を追加することにより前記始点と終点を決定する手 段を含むことを特徴とするシステム。 52．請求項48記載のシステムであって、 ビデオを得るためのカメラと、 得られたビデオをエンコードしてエンコードされたデータのビットストリーム を作成する手段を更に具備することを特徴とするシステム。