JP3445278B2 - エンコードされたビデオビットストリームのセクションを交換するための方法及びシステム - Google Patents

エンコードされたビデオビットストリームのセクションを交換するための方法及びシステム

Info

Publication number
JP3445278B2
JP3445278B2 JP50578497A JP50578497A JP3445278B2 JP 3445278 B2 JP3445278 B2 JP 3445278B2 JP 50578497 A JP50578497 A JP 50578497A JP 50578497 A JP50578497 A JP 50578497A JP 3445278 B2 JP3445278 B2 JP 3445278B2
Authority
JP
Japan
Prior art keywords
video
data
encoding
frame
bits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP50578497A
Other languages
English (en)
Other versions
JP3445278B6 (ja
JPH11500592A (ja
Inventor
ジェイ ヨーグシュウォー、
シャウ − バオ ン、
偵一 伊知川
裕明 海野
英紀 三村
哲也 北村
クリストファー・ジェイ クックソン、
グレッグ・ビー サガード、
アンドリュー・ドルージン ローゼン、
Original Assignee
株式会社 東芝
タイム・ワーナー・エンターテイメント・カンパニー・リミテッド・パートナーシップ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝, タイム・ワーナー・エンターテイメント・カンパニー・リミテッド・パートナーシップ filed Critical 株式会社 東芝
Publication of JPH11500592A publication Critical patent/JPH11500592A/ja
Application granted granted Critical
Publication of JP3445278B2 publication Critical patent/JP3445278B2/ja
Publication of JP3445278B6 publication Critical patent/JP3445278B6/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2545—CDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】 関連出願に対するクロスレファレンス 本願は、1995年５月８日に提出された「エンコードさ
れたビデオビットストリームのセクションを交換するた
めの方法およびシステム」と題する米国特許明細書連続
番号08/438,014に関連している。本願は又、「オーディ
オエンコーダの数が低減されるオーディオ映像エンコー
ドシステム」と題する米国特許明細書連続番号08/467,9
91、「既にエンコードされたビデオフレームの品質を手
動で変えるための方法およびシステム」と題する明細書
連続番号08/466,391、「ユーザが既にエンコードされた
ビデオフレームの品質を手動で変えるための方法および
システム」と題する米国特許明細書連続番号08/469,37
0、「量子化レベルを変化させることにより、ビデオエ
ンコーダのビット割当てを制御するレート制御式デジタ
ルビデオ編集法およびシステム」と題する米国特許明細
書連続番号08/466,766、および「レート量子化モデルを
使用しエンコードするビデオエンコード方法およびシス
テム」と題する米国特許明細書連続番号08/473,783に関
連し、これらの特許明細書は共に1995年６月６日に提出
され、本明細書に参考として取り入れられている。
発明の背景 技術分野 本発明はエンコードされたビットストリームセクショ
ンが新たなセクションに置き換えられるエンコードシス
テムに関し、特にエンコードされたビデオセクションが
デコード副成分（decoding artifacts）を減少するよう
に置き換えられるビデオエンコードシステムに関する。
従来の技術 圧縮法が利用できるようになる前は、オーディオ、ビ
デオ、及びフィルムは単にオーディオ、ビデオ、及びフ
ィルムのセクションすなわち一部を切り取り、必要に応
じてそのセクションを新たな又は代替えのセクションに
置き換えることにより編集が行われていた。しかし、デ
ータをエンコードする圧縮法が用いられるようになる
と、単純な「カット及び貼り付け」編集は、ビデオフレ
ームを構成するのに用いられる情報として不可能となっ
た。従ってエンコードされたビデオセクションを単純に
切り取ることは、変更されていないビデオセクションを
劣化させることがあり、新たなビデオがすでにエンコー
ドされたビットストリームに単純に挿入されると、デコ
ード副成分を含むことがある。
MPEGビデオエンコードにおいてこの問題を解決するた
めに、以前のビデオ内に置き換えられる新たなビデオセ
クションを閉じたピクチャのグループ（GOP:group of p
ictures）としてラベル付けする方法がある。MPEGエン
コードにおいて、閉じたピクチャのグループは、第１の
コード化されたＩフレーム直後のＢタイプフレーム内に
用いられる予測が、後方予測のみを使用することを示
す。または、MPEGは「broken_link」と呼ばれるフラッ
グの使用を可能とする。このフラッグは設定されたと
き、第１のコード化されたＩフレーム直後の第１のＢフ
レームが、予測に用いられる参照フレームを利用できな
いために、正しくデコードされないことがあるというこ
とを示す。そのデコーダは正しくデコードできないフレ
ームの表示を防ぐためにこのフラグを用いる。
上記解決策は、エンコードされたビデオを劣化させ、
品質の低いビデオを提供することがある。
発明の概要 従って本発明は、すでにエンコードされたデータセク
ションが、エンコードされた他のデータセクションに置
き換えられるシステムであって、目にみえるデコード副
成分の少ないまたは無い新規な方法および装置を提供す
ることを目的としている。また本発明の目的は、置き換
えるべきエンコードされたビデオセクションが、既にエ
ンコードされたビデオ内にエラーすなわちビデオデコー
ド副成分を含めないように、エンコードされた他のビデ
オセクションと置き換えられるビデオエンコードシステ
ムを提供することである。更に本発明は情報を新規で有
用な方法で格納するデータ構造を有するメモリを提供す
ることを目的とする。
上記及び他の目的はエンコードされたビットストリー
ムのセクションを置き換える新規な方法およびシステム
により達成される。エンコードされたビデオのセクショ
ンを取り除くために、デジタル的にエンコードされたビ
ットストリーム内で、エンコードされたビデオの始点お
よび終点を判断する必要がある。これは、目的の画面に
対するビットオフセットを判断するために既にエンコー
ドされた各フレームに用いられたビットの数を加算する
ことにより行われる。他の方法としてエンコードされた
ビットストリーム内の特定フレームの正確な位置又は時
間を示す情報を維持するためにディレクトリを用いるこ
とができる。
オリジナルビデオの例えば第２セクションの1/2であ
る１つのGOPの第１セクションは、エンコードされる新
たなビデオの始点に位置し、次のGOPの最初の２つのＢ
フレームを正しくエンコード及びデコードするのに必要
な切断点の前のGOPの最後のＰフレームを生成するため
に用いられる。この短い初期セクションからのエンコー
ドされたデータは、すでにエンコードされたデータ内で
置換されることはなく、スタート点後の最初の２つのＢ
フレームにより参照される参照フレーム（最後のＰフレ
ーム）を生成するためにのみ利用される。
又、前記オリジナルビデオの短いセクションはビデオ
の終点に位置し、最初にエンコードされたときに用いら
れた量子化値を用いてエンコードされる。GOP内のエン
コードされたビデオのフレームは既にエンコードされた
フレームに戻って参照されるので、最初のエンコードの
フレームが前記終点直前のビデオの新たなフレームに戻
って参照されると、デコードに関する突然の不具合が発
生することがある。従って、オリジナルビデオがオリジ
ナルフレームに同等なフレームに戻って参照されるのが
望ましい。オリジナルビデオの1/2が編集セグメントの
始点で再びエンコードされるが、これは本質的なもので
はない。
他の方法として、置換ビデオ内のフレームが置換ビデ
オの外側のフレームに依存しないように、置換ビデオは
周知の閉じたピクチャのグループモードを用いてエンコ
ードされる。この方法の新規な特徴は、予備ビットが双
方向フレームに割り当てられ、Ｂフレームのビット数が
Ｐフレームに用いられるビット数の概算値を示すよう
に、この双方向フレームは閉じたGOPモードのために単
一方向予測のみを有することである。この方法では、閉
じたGOPモードは大きなデコード副成分をＢフレームに
含まず、ＢフレームはほぼＰフレームと同一の品質を有
する。
図面の簡単な説明 本発明およびその付随する効果のより完全な理解は、
以下の詳細な説明を添付図面とともに参照することによ
って、容易に得られるであろう。その場合、 図1Aは、エンコーダシステムアーキテクチャのブロッ
ク図を示している。
図1Bは、エンコードされるべきオーディオおよびビデ
オを得るための装置、ならびにエンコードシステムによ
り作成されるエンコードされたオーディオ映像データを
書き込み、伝送するための装置を示している。
図２は、図１のシステムの一般的な動作を示している
フローチャートである。
図３は、セットアップ状態で実行されるプロセスを示
しているフローチャートである。
図４は、圧縮状態で実行されるプロセスを示してい
る。
図５は、編集状態で実行されるプロセスを示してい
る。
図６は、開始状態、完了状態、および終了状態のため
に実行されるプロセスを示している。
図７は、マルチパスビデオエンコーダを使用しながら
所定数のオーディオトラックをエンコードするのに必要
とされるオーディオエンコーダの数を決定するる方法、
ならびにオーディオエンコードおよびマルチパスビデオ
エンコードを同時に実行するプロセスを示すフローチャ
ートである。
図8A−8Dは、シーケンスレーヤのログファイルフォー
マットを示している。
図9A−9Cは、ピクチャレイヤログファイルフォーマッ
トを示している。
図10Aおよび図10Bは、マクロブロックレーヤのログフ
ァイルのフルフォーマットおよびショートフォーマット
を示している。
図11は、ログファイル内の情報を活用するためのプロ
セスを示している。
図12は、異なる期間に対する画質の手動調整中に実行
される一般プロセスを示している。
図13は、様々な期間で画質を変更するためのパラメー
タを入力するために使用されるユーザインタフェースを
示している。
図14は、所望の画質に対応するビット数を計算するた
めの一般的な手段を示している。
図15は、最大または最小のユーザ選択優先順位が設定
されるセクションを処理するために使用されるプロセス
を示している。
図16Aおよび図16Bは、最大または最小の優先順位では
ない希望の画質に対応するビット数を計算するためのフ
ローチャートを示している。
図17は、画質を変更した結果、アンダフローが生じる
場合に確認するために使用されるプロセスのフローチャ
ートを示している。
図18は、バッファアンダフローが、編集セグメント内
で加えられた変更のために、編集セグメントの後のフレ
ームで発生するかどうかを判断するためのフローチャー
トを示している。
図19Aおよび図19Bは、ユーザが選択した品質によって
エンコードされたビデオのビットレートがどのように変
更されるのかについての２つの別々の例を示している。
図20は、１つのフレーム内のさまざまな領域の画質の
手動調整の間に実行される一般的なプロセスを示してい
る。
図21は、ビデオの１フレーム内にユーザが選択した優
先度が設定されたさまざまな領域の例を示している。
図22は、選択された優先順位に使用される元の量子化
の端数小数部に対するユーザ選択優先順位のグラフを示
している。
図23は、ユーザ選択優先順位の結果生じるビット数
と、フレームの元のエンコードの結果生じるビット数の
間の差異が許容できるかどうか、あるいは訂正手順を実
行しなければならないかどうかを判断するためのプロセ
スを示している。
図24A−24Cは、設定されたビットが多すぎると判断さ
れるために、ビット数を低減する目的でマクロブロック
の量子化レベルが増分される場合に、フレームを訂正す
るためのプロセスを示している。
図25A−25Cは、ビット数を増加するために１つのフレ
ーム内のマクロブロックの量子化レベルを引き下げるこ
とによってフレーム内の少なすぎるビットを訂正するた
めのプロセスを示している。
図26は、ｎ個のマクロブロックの集合のそれぞれで使
用されるビットの予想数をメモリからロードしてから、
ｎ個のマクロブロックの集合ごとにビットの結果数をカ
ウントし、ビットの予想数および作成数に基づいた概算
の精度を計算し、フレームの列のターゲットサイズに近
く留まるために、次のｎ個のマクロブロックの予め割り
当てられた量子化レベルを調整する一般的なプロセスを
示しているフローチャートである。
図27Aは、固定割当てされた量子化レベルを示してい
るフレームのピクチャである。
図27Bは、マクロブロックの各集合に１スライスが含
まれ、マクロブロックの第１集合が再エンコードされた
後で、第１訂正係数が計算され、第１訂正係数がマクロ
ブロックの第２集合に加算された場合の、図24Aのフレ
ームのピクチャである。
図27Cは、マクロブロックの第２集合が再エンコード
された後で、第２訂正係数が計算され、第２訂正係数が
マクロブロックの第３集合に追加された、図27Bのフレ
ームのピクチャである。
図27Dは、マクロブロックの第１集合に２つのスライ
スが含まれ、マクロブロックの第１集合が再エンコード
されてから、第１訂正係数が計算され、第１訂正係数が
マクロブロックの第２集合に加算された場合の図27Aの
フレームのピクチャである。
図28Aは、その量子化レベルが変更される２つの異な
った領域を含む１フレームである。
図28Bは、その量子化レベルが変更された２つの異な
った領域を表すために使用されるビデオストリーム内で
のビット数の変更を示している図24Aのフレームの２つ
の考えられるエンコードのピクチャである。
図29は、再エンコードされた列の総長が列の元の長さ
に等しい、一連の画像を表すために使用されるビット数
の変更を示しているビデオストリームである。
図30は、訂正係数指数が、どのようにして概算率を使
用して割合ルックアップテーブルから求められるのかを
説明するフローチャートである。
図31は、訂正係数が、訂正係数指数を使用して訂正係
数テーブルからどのようにして選択されるかを説明する
フローチャートである。
図32は、訂正係数が、概算割合およびマクロブロック
の再エンコードされていない残りの集合数を使用してど
のようにして計算されのるのかを説明するフローチャー
トである。
図33Aは、エンコードされたフォーマットを取りオリ
ジナルビデオのセクションを示している。
図33Bは、元のエンコードされたビデオに置き換えら
れなければならないエンコードされていないフォーマッ
トにおけるビデオの新なセクションを示している。
図33Cは、オリジナルビデオのエンコードされていな
いセクションがその両端にあるビデオのエンコードされ
ていない新たなセクションを示す。
図33Dは、元のエンコードされたビデオに置き換えら
れなければならないエンコードされたフォーマットにお
ける図33Cのビデオを示している。
図33Eは、置き換えられたエンコードされたビデオが
その中に含まれる、元のエンコードされたビデオを示し
ている。
図34は、減少された副成分を有するビデオとなるエン
コードビデオデータストリームにビデオのセクションを
置き換えるプロセスを示している。
図35Aは、立ち下がり端でのオリジナルビデオのエン
コードされていないセクションを有するビデオのエンコ
ードされていない新しいセクションを示している。
図35Bは、図33Aにブロック図される最初にエンコード
されたビデオに置き換えられるエンコードされたビデオ
のセクションを示している。
図35Cは、図35Bの置き換えられたエンコードされたビ
デオを含む図33Aの最初にエンコードされたビデオを示
している。
図36は、クローズグループのピクチャモードを使用し
て置き換えられるビデオをエンコードすることによっ
て、エンコードされたビデオビットストリームを編集す
る場合に、副成分を減少させるためのプロセスを説明す
る。
図37Aは、事前エンコードプロセスでビットレートモ
デルに対する量子化レベルを作成するために、それに割
り当てられる２つの量子化レベルが設定される未処理ビ
デオのフレームである。
図37Bは、回転パターンで割り当てられる４つの量子
化レベルのあるフレームである。
図37Cは、ブロックフォーメーションで分散される４
つの量子化レベルのあるフレームである。
図38は、ビデオ信号を得て、それらの信号を事前エン
コードし、事前エンコードフェーズで特定された量子化
レベルに対するビットレートを決定するプロセスを説明
するフローチャートである。
図39は、２つの記録済みフレーム、およびビットレー
トに対するそれらの対応する量子化レベルである。
図40は、最終的には光ディスクに格納されるエンコー
ドされたデータの最終フォーマットの概略を示してい
る。
図41は、図40のディスク情報ファイル908を説明す
る。
図42は、図40にブロック図されるデータファイルのデ
ータファイル管理情報の内容を示している。
図43は、図40のデータファイルに記憶されるデータの
詳細を示している。
図44Aは、その中でそのデータがスタッフィングパケ
ットを必要としないデータパックを示し、図44Bはパデ
ィングのためにパケットを必要とするデータパックを示
している。
図45は、再生情報パックを示している。
図46は、図45のデータ検索情報996の中に含まれる情
報を示す。
図47は、図46の一般情報を示している。
図48は、図46にブロック図される同期再生情報を示
す。
図49は、ビデオパックを示している。
図50は、ピクチャのグループ（GOP）とビデオパック
の列の間の関係を説明する。
図51は、MPEGオーディオエンコード仕様に従ってエン
コードされたオーディオパックを示している。
図51Bは、AC−３またはリニアPCMオーディオエンコー
ドに従って構築されたオーディオパックを示している。
図52は、エンコードされたオーディオストリームとオ
ーディオパックの間の関係を示している。
図53は、サブピクチャユニットの構造を示す。
図54は、サブピクチャパックの構造を示す。
図55は、サブピクチャパックに関連したサブピクチャ
装置の構造を説明する。
図56は、表示サブピクチャユニットｎとサブピクチャ
ユニットｎ＋１の間の変化を示している。
実施例 本発明は、複数の構成要素および機能を備えるデジタ
ルビデオエンコードシステムである。システムのさまざ
まな構成要素をさらに容易に識別する目的で、本明細書
は、以下に示す項に編成されている。
I. はじめに II. システム構成要素 III. 汎用システム動作 IV. システム代替策 V. 最適エンコード効率を維持しながらオーディオエン
コードの数を低減する VI. エンコードされたビデオの情報を記憶するための
ログファイル、ならびにログファイルおよびエンコード
されたビデオにアクセスするためのログインタプリタユ
ーティリティ VII. エンコードされたビデオ品質の変更 A. 期間での品質の変更 B. フレームの領域内での品質の変更 VIII. 品質変更後のビデオの再エンコード A. 品質が単独フレーム内で変更された場合のビット割
合て制御 B. 編集ポイントでのデコードを回避しながら再エンコ
ードする 1. 最初にエンコードしたときに使用された状態にエン
コーダを復元する 2. ピクチャのグループのクローズモードでの再エンコ
ード IX. エンコードに使用されるレート量子化モデリング X. データ構造を使用して、オーディオ、ビデオ、およ
びサブピクチャのデジタル信号を結合する I. はじめに 開示されたシステムは、デジタル圧縮システムとして
も知られるデジタルオーディオ映像エンコードシステム
に関する。本明細書に開示される考えは、あらゆる種類
のエンコードスキームで使用可能で、特に、正式にはIS
O/IEC 13818−２、MPEG−２システム情報を指定するISO
/IEC 13818−１、およびMPEG−２の前身であるMPEG−１
（ISO/IEC 11172−ビデオ）として知られるMPEG−２
（エムペグ:Moving Picture Experts Group）に適用で
きる。本明細書では、MPEG−１およびMPEG−２は集合的
に「MPEG」と呼ばれる。MPEG規格は、圧縮されたまたは
エンコードされたビデオストリームの構文だけを指定し
ているが、圧縮をどのように実行するかは指定していな
い。MPEGエンコードされたデータストリームは圧縮済み
のデータストリームであるため、エンコードプロセスは
圧縮プロセスと呼ぶことができるし、その逆も可能であ
ることに注意すべきである。また、システムはドルビー
AC−３を使用して実行できるオーディオのエンコード、
つまりISO/IEC 13818−３に定義されるMPEG−２規格に
も関する。前記規格のそれぞれが、それらを参照するこ
とにより本明細書の一部をなすものとする。
MPEGビデオ圧縮は、時間的な因果関係の予測圧縮であ
る。MPEGエンコーダは新しいビデオピクチャを受け取る
と、新しいビデオピクチャを、エンコーダが既にエンコ
ードされたピクチャに基づいて作成した予測されたピク
チャと比較する。予測が以前に伝送された情報に基づい
て立てられるために「因果関係（causal）」予測コーデ
ィングという用語が使用され、予測が時間的なピクチャ
単位で実行されるために、「時間的（temporal）」因果
予測コーディングという用語が使用される。予測手順に
は、ビデオピクチャ内での領域の運動の予測が必要であ
る。したがって、時間的予測は、動き補償予測と呼ばれ
ることもある。
旧ピクチャと新ピクチャの比較の結果は、後のビデオ
ピクチャに格納される新しい情報を表す。それから、
「残留情報（residual information）」と呼ばれる新し
い情報は、一連の情報圧縮プロセスを受けることとな
る。まず、離散コサイン変換（DCT）と呼ばれる一次数
学変換が実行される。DCT演算により、ピクセル残留情
報が係数の列に変換される。MPEG圧縮においては、DCT
は8x8ピクセルから成るブロックで実行される。同様
に、DCT係数も8x8配列数内に入れられる。その後、これ
らの係数は、量子化ステップサイズつまりｑ−レベルに
基づき、精度の設定された程度まで個別に量子化される
（すなわち四捨五入される）。量子化プロセスは、通
常、値ゼロが設定された多くの係数を生み出す。さもな
ければ、この量子化プロセスは、量子化雑音と呼ばれる
コーディング構造が生じさせることとなる。
量子化された係数は、その後、ゼロ値が設定された係
数でのランレングスコーディング、およびそれぞれが結
果として生じるランレングス値とゼロ以外の係数値をそ
れぞれ表す２つの数の組の可変長コーディングの組み合
わせを使用してコーディングされる。これらのランレン
グス非ゼロ値の組のコードは、他のオーバヘッド情報と
ともに、ビデオピクチャに対応する圧縮済みデジタルデ
ータストリームを形成する。出力データ転送レートや記
憶容量のような物理的な制限のために、適切な量の圧縮
が達成されるように、量子化の程度を変化させることが
必要である。これがバッファフィードバックと呼ばれ
る。
MPEGに準拠するデコーダは、エンコードされたのデジ
タルデータストリームを読み取り、エンコードプロセス
と逆の演算を実行する。
一般的には、デジタルデータストリーム中のビット総
数は、実質上、ビデオピクチャを表すために必要とされ
るビット総数を下回るため、圧縮が達成される。しかし
ながら、MPEGビデオコーディングによって例証されるよ
うな圧縮が、決して歪みや人為構造（artifacts）を免
れないことを認識することが重要である。前述したよう
に、圧縮人為構造の主要なソースは量子化プロセスであ
る。
開示されたシステムは、圧縮プロセスまたはエンコー
ドプロセスの間に量子化の程度を動的に調整することを
目的とする。特に、調整は人間のオペレータによって出
される指示に従って行われる。調整は、より大きなビデ
オシーケンスの部分に適用する場合もあれば、ビデオシ
ーケンス全体に適用することもある。
II. システム構成要素 ここで、類似した参照番号が複数の図を通して同一の
部分または対応する部分を示し、さらに特定するとその
図1Aを示す図面を参照すると、エンコーダシステムアー
キテクチャのブロック図が示されている。ビデオエンコ
ードプロセスとは、中断やエラーなくエンコードおよび
編集を達成するために同期して動作する多くの異なった
装置を必要とする１つの複雑なプロセスであることに注
記すべきである。しかし、オーディオエンコードおよび
ビデオエンコードは、適切なタイムコードが使用される
限り、別個に実行できる。図1Aには４つのワークステー
ションが描かれているが、通常、エンコードシステムの
ユーザまたはオペレータが対話するのは１台のキーボー
ドおよびワークステーションだけである。ワークステー
ションは、プロセッサ、RAM、ROM、ネットワークインタ
フェース、ハードディスク、キーボード、モニタ、およ
びそれ以外の従来の構成要素のような従来の汎用コンピ
ュータ構成要素を具備する。
ワークステーション30は、実施例ではSun SPARC20 Un
ixワークステーションであるシステム制御ステーション
として機能する。ワークステーション30には、マウスや
それ以外のポインティングデバイスであるキーボード32
およびポインティンブデバイス33のような従来のワーク
ステーション入力装置だけではなく、グラフィックコン
ソールディスプレイモニタ31も具備される。ユーザは、
おもに、コンソールディスプレイ31に表示されるグラフ
ィックユーザインタフェース（GUI）を介してワークス
テーション30を視覚的に操作することとなる。
ワークステーション30は、以下に説明する別のワーク
ステーション40、10および20に接続され、それらを制御
する。ワークステーション30は、やはり以下に説明する
オーディオインタフェース装置72およびデジタルビデオ
キャプチャ記憶装置60にも接続される。ワークステーシ
ョン30は、米国電子工業会（EIA）規格RS−232によって
定義される直列インタフェースを介してワークステーシ
ョン40に接続される。同様に、ワークステーション30と
オーディオインタフェース装置72の間の接続も直列RS−
232規格による。ワークステーション30とデジタルビデ
オキャプチャ記憶装置60の間の接続は、業界規格のＳ−
バスインタフェースを介している。
フレームジョガー41は、オペレータが、VTR51または5
2のどちらかのビデオを編集を実行しなければならない
箇所に位置決めできるようにするために、ワークステー
ション40に接続される。システムは、ビデオの位置を制
御するために、オペレータが入力するタイムコードを使
用することができる。ただし、ジョグ制御装置は、ビデ
オを位置決めするためにジョブノブの使用を可能にする
ことによって、システムのユーザフレンドリ度を高めて
いる。ワークステーション30は、ビデオディスプレイモ
ニタ61で表示されるビデオが、デジタルキャプチャ記憶
装置60または録画VTR62、あるいはその両方からのビデ
オであるのかどうかを制御する。
ビデオエンコード装置50は、MPEG−１、MPEG−２、ま
たはそれ以外のビデオ圧縮規格に従って圧縮を実行する
デジタルビデオエンコーダである。市販されているMPEG
−１エンコーダは、ソニーRTE−3000である。MPEG−２
エンコーダは、本明細書に参照により取り入れられる19
94年12月27日に出願された日本特許明細書６−326435に
説明される教示に従って構築することができる。ワーク
ステーション10は、業界規格Ｓ−バスインタエースを介
してビデオエンコード装置50を直接的に制御し、ワーク
ステーション10は、イーサネットネットワークのような
標準ネットワーキング装置を介してワークステーション
30からコマンドを受け取る。エンコードプロセスの間、
ワークステーション10は、ビデオエンコード装置50のビ
デオエンコード制御プログラムのリアルタイム実行をサ
ポートする。実施例においては、ワークスステーション
10は、Sun SPARC20 Unixワークステーションである。
ワークステーション10は中央ワークステーション30か
らのコマンドに応え、圧縮プロセスを開始する。圧縮プ
ロセスの間、ワークステーション10は、ビデオ信号の特
定の領域に適用される量子化の程度を動的に制御する。
量子化が変化させられる特定の領域は、空間的領域また
は時間的領域、あるいはその両方に及び、量子化が厳密
にどのように制御されるのかは以下に説明する。
ビデオエンコード装置50への入力ビデオは、再生VTR
51内のテープからである。再生VTR51は、職業用のデジ
タルビテオ規格、ITU−R 601（以前はCCIR 601ビデオ規
格と呼ばれていた）ビデオテーププレーヤである。この
規格は、PALシステムだけではなくMTSCシステムにも適
用する。再生VTR 51内のテープには、ビデオカメラまた
はフィルムカメラによってキャプチャされたか、あるい
はコンピュータによって作成されたさまざまな画像およ
び場面を表す電磁情報が記憶されていることが注記され
る。ビデオエンコード装置50からのエンコードされた出
力は、１つ以上のハードディスク21で記憶するためにワ
ークステーション20に転送される。
ビデオエンコード装置50によりエンコードおよび出力
されたビデオデータを表示するためには、MPEG−２のよ
うなデジタルビデオデコーダが必要になる。しかし、本
明細書の作成時点では、実現されたシステムは、このよ
うなデコーダはシステムの初期開発段階の間は容易に手
に入らなかったため、別個のMPEG−２デコーダを実装し
ていない。したがって、ビデオエンコード装置50は、MP
EG−２ビデオストリームをワークステーション20に出力
するだけではなく、MPEG−２のエンコードデータに同等
な復号化されたビデオ画像がビデオエンコード装置50か
ら録画VTR 52へ出力される。録画VTR 52は、D1インタフ
ェースとして知られる業界規格のデジタルビデオ信号コ
ネクタによりビデオエンコード装置50に接続され、ワー
クステーション40によって制御される。再生VTR 51およ
び録画VTR 52の両方共、Ampex DCT職業用ビデオテープ
レコーダを使用して適切に実現される。
オーディオは、例えばドルビーAC−３フォーマットま
たは代わりにISO/IEC 13818−３規格に記述されるよう
なMPEG−２に準拠するフォーマットにエンコードされ、
圧縮される。エンコードシステムのオーディオソース
は、４つのデジタルオーディオテープ（DAT）プレー
ヤ、71a、71b、71cおよび71dである。スタジオ品質のDT
Aプレーヤは、ソニーが市販している。DATプレーヤ71a
−71dは、ワークステーション40によって業界規格プロ
トコルRS−422を介して接続され、制御される。DATプレ
ーヤ71a−71dによって出力されるオーディオ信号は、オ
ーディオエンコーダ70a、70b、70c、および70dにそれぞ
れ入力される。これらのオーディオエンコーダは市販の
ドルビーAC−３モデルDP 525エンコーダを使用して実現
され、オーディオインタフェース装置72によって制御さ
れる。通常、オーディオエンコードは指定されたタイム
コードで開始、終了する。オーディオインタフェース装
置72は、ワークステーション30からその間のRS−232接
続上でエンコード開始タイムコードおよびエンコード終
了タイムコードのような命令を受け取る。さらに、オー
ディオインタフェース装置72は、さまざまなデジタル圧
縮済みオーディオデータを、ワークステーション20に伝
送される単独デジタルストリームに多重化する。ワーク
ステーション20は、オーディオエンコード装置70により
出力される圧縮済みデジタルデータに対応する複数のフ
ァイルに、入力デジタルオーディオストリームを多重分
離する。ビデオエンコード装置50は、そのビデオ同期信
号に基づく同期信号をオーディオインタフェース装置72
に提供する。同期信号により、オーディオビットストリ
ームは、ビデオエンコード装置50により出力されるビデ
オビットストリームに同期できるようになる。
ワークステーション30は、さまざまなオーディオエン
コード装置70a−70dのどれかからオーディオデコーダ73
へオーディオデータの複製を提供するようにオーディオ
インタフェース装置72に指示する機能を備える。オーデ
ィオデコーダ73は、圧縮済みのオーディオを、ユーザが
スピーカ75を介してオーディオを聞くことができるよう
に復号化する。どのオーディオエンコード装置をモニタ
するかについての選択は、キーボード32またはポインテ
ィングデバイス33のどちらかによってコンソールディス
プレイ31上でのグラフィックユーザインタフェースを通
して人間のオペレータが決定する。オーディオインタフ
ェース装置72の構成は、前述の機能を実行する機能を備
えたハードウェアである。このハードウェアは、１つ以
上のプログラミングされたマイクロプロセッサまたは開
示された機能を達成するために配列される従来の回路要
素、あるいはその両方である。
ワークステーション40はスタジオ装置制御ステーショ
ンであり、録画ビデオテープレコーダ52とともに、再生
ビデオテープレコーダ51およびデジタルオーディオテー
ププレーヤ71a−71dの両方を制御するために適切なコマ
ンドを発行する。また、ワークステーション40は、デジ
タルビデオキャプチャ記憶装置60に、適切な時点でビデ
オのキャプチャを開始するように命令する。ワークステ
ーション40とさまざまなビデオテープデッキおよびオー
ディオテープデッキの間の接続は、業界規格のRS−422
プロトコルである。このプロトコルを使用すると、各テ
ープデッキはワークステーション40に、標準タイムコー
ドフォーマットでその現在のテープロケーションを知ら
せることができるようになる。ワークステーション40は
このような情報を使用して、ビデオとオーディオの情報
が正しく、再生、記録されるように、さまざまなテープ
デッキを適切に同期させる。この実施例では、ワークス
テーション40は、DOSおよびカリフォルニア州、モアパ
ークにあるEditing Technologies Corp.Ensemble Proが
市販しているソフトウェアプログラムであるEnsemble P
roを実行する標準的なIBM互換パーソナルコンピュータ
である。ワークステーション30がRS−232通信ポートを
介してワークステーション40で実行しているEnsemble P
roと通信できるように、マイナーな改良をEnsemble Pro
プログラムに加えたことを注記する。この改良はEditin
g Technologies,Corp.を介して市販されているか、ある
いは過度の実験を行わないでも当業者により実行できる
かのどちらかである。
デジタルビデオキャプチャ記憶装置60は、エンコード
システム内で、以下に示す２つの機能を行う。第１に、
この装置は、ビデオ信号に適用されてきた手動編集の便
利な「前と後」比較を行うためにそのキャプチャ記憶機
能を使用し、第２に、ビデオディスプレイにグラフィッ
クオーバレイ機能を提供する。このグラフィックオーバ
レイ機能は、例えば、空間手動編集フェーズの間に使用
され、人間のオペレータが、量子化およびその結果割り
当てられたビットの数が変化する関心のある領域を定義
できるようにする。
本発明では、デジタルビデオキャプチャ記憶装置は、
カリフォルニア州、マウンテンビューにあるViewgraphi
csの市販されているDRABMベースのオーディオ製品モデ
ルVS6000として実現されている。この装置に入力される
デジタルビデオは、ITU−Ｒ−601（旧CCIR 601）画像解
像度を備える業界規格D1による。デジタルビデオキャプ
チャ記憶装置60の出力は、ビデオ信号の赤、緑、および
青の構成要素を表す３つの別個のアナログ信号を介して
ビデオディスプレイに接続される。グラフィックオーバ
レイ情報は、デジタルビデオキャプチャ記憶装置60によ
って出力される最終アナログ信号の作成前に、デジタル
ビデオキャプチャ記憶装置60により処理されるため、他
のビデオデータとともにビデオディスプレイモニタ61で
は人間のオペレータが見ることができる。
Unix環境で動作しているワークステーション30は、デ
ジタルビデオキャプチャ記憶装置60を使用するビデオデ
ィスプレイモニタ61の上にそのグラフィックウィンドウ
をマップする。これによって、人間のオペレータは、モ
ニタ61に示されるディスプレイのグラフィックオーバレ
イ面で（矩形の描画のような）グラフィック動作を実行
できるようになる。装置60は、オーバレイ機能を実現す
る。オーバレイは、メモリ内の情報をモニタを駆動する
アナログビデオ信号に変換する前に、ビデオメモリで実
行される。システムが使用するVS6000は、ビデオメモリ
の上部に８−ビットメモリを持つ。この８−ビット面
で、コンピュータはあらゆるカラーグラフィックスおよ
びテキストを描画できる。この８−ビット面での「色」
の１つが透明色である。透明色であるこのオーバレイ面
上の任意のピクセルは、その下にあるビデオメモリの値
を採る。一般的には、オーバレイ面の大部分が透明色に
なり、（線、テキストなどの）グラフィックは透明以外
の色を使用する。したがって、ビデオメモリおよびオー
バレイグラフィックメモリの両方からなるディスプレイ
メモリが形成される。モニタ61で表示するために究極的
にはアナログ信号に変換されるディスプレイメモリであ
る。人間のオペレータは、通常、キーボード32と結び付
いたポインティングデバイス33W使用し、このようなグ
ラフィック動作およびこのようにして作成されたグラフ
ィックオブジェクトの操作を実行する。
ワークステーション20は、オーディオインタフェース
装置72だけではなくビデオエンコード装置50からデジタ
ルデータストリームを受け取る。ワークステーション20
は、イーサネット接続でワークステーション30に接続さ
れ、ワークステーション20は、業界規格のＳ−バスイン
タフェースを介してビデオエンコード装置50およびオー
ディオインタフェース装置72にも接続される。受け取ら
れたデジタルデータストリームは、別個のデータファイ
ルとして１つ以上のハードディスクの中に記憶される。
別個のダイレクトメモリアクセス（DMA）カードは、キ
ャプチャされたデジタルストリームデータをハードディ
スク21に転送するときに使用される。結果的に大量のデ
ジタルデータが生じる長いビデオシーケンスの場合、ハ
ードディスク21は、Sun Microsystems製のSPARCstorage
Array X655A/G5のような市販されているハードディス
クを使用して実現できる。この実施例においては、ワー
クステーション20は、Sun Microsystems製の市販されて
いるSPARKserver 1000である。
また、ワークステーション20は、ビデオ圧縮済みデー
タおよびオーディオ圧縮済みデータに対応するデータフ
ァイルも、復号化装置への移送または伝送に適切な単独
フォーマットファイルにフォーマットする。最終的な媒
体はディスクベースであるのが望ましく、その場合フォ
ーマットは、関連するディスクフォーマットに準拠する
ことになる。通常、フォーマットされたファイルは、デ
ジタルテープのようななんらかの中間デジタル記憶手段
により、１つまたは複数の最終伝送媒体への転送が発生
する機構へ移送される。図示されているデジタル記憶装
置22は、このような目的に使用される。本実施例では、
デジタル記憶装置22は、市販されている8mm Exabyteテ
ープドライブを具備する。デジタル記憶装置22はインタ
フェースは、業界規格の小型コンピュータ用周辺機器イ
ンタフェース（SCSI）である。
複数のSCSI装置を同じSCSIバスに接続できることは既
知である。したがって、デジタル記憶装置22は、市販さ
れているデジタルリニアテープ（DLT）ドライブ、磁気
光学（MO）ディスクトライブ、またはフロッピーディス
クドライブのような他のSCSI装置も具備できる。これら
の構成は容易に対応され、フォーマット段階の前または
フォーマット段階の間に必要となる可能性がある補助デ
ータ用の柔軟な入力機構を提供するのに役立つ。例え
ば、映画の製作では、字幕情報は、大部分の場合、前記
のSCSI装置の１つを必要とする媒体内で利用できる。こ
のような場合、補助データはワークステーション20で実
行中のソフトウェアプログラムによって読み取られ、補
助データがフォーマットされたファイルに格納されるよ
うに処理される。補助データは、米国のクローズキャプ
ションフォーマットである字幕データを格納する場合が
ある。補助データには、プログラムコードやポストスク
リプトデータのような希望のデータを入れることができ
る。
図1Bは、図1Aのシステムに対応し、図1Aのシステムと
同じように機能するオーディオ／映像エンコードシステ
ム98がブロック図される。図1Bでは、エンコードシステ
ムへのビデオ入力がカメラ80から供給され、オーディオ
はマイクロフォン82から供給される。映像情報およびお
そらくオーディオ情報を記憶する映画フィルムは、フィ
ルムを照明するためのライトおよびフィルムから画像を
キャプチャするための光検出器を具備する転送装置88を
介してエンコードシステム98に転送される。入力装置8
0、82、および88からの情報は、オーディオテープレコ
ーダまたはビデオテープレコーダによってのような、エ
ンコードシステム98によってエンコードされる前に電磁
フォーマットで記憶される。オーディオテープおよびビ
デオテープは、図1Aのシステムによりエンコードされ
る。
エンコードシステムにより作り出される最終的なデジ
タルビットストリームは、光ディスクをプレス加工する
光ディスクマスタリング装置90、光ディスクに書き込む
光ディスク書込み装置84に送られるか、あるいはテレビ
ジョン送信機86を介して、テレビジョン受像器またはセ
ットトップボックスデコーダに伝送されることがある。
光ディスクのプレス加工および作成は、例えばマスタデ
ィスクを使用する既知で市販されている方法で実行され
る。エンコードされた情報は、ビデオオンデマンドシス
テムでも使用できる。エンコードされたビットストリー
ムは、究極的には、エンコードプロセスに対応する復号
化プロセスにより復号化され、オーディオ映像情報はテ
レビまたはモニタでユーザに表示される。復号化装置
は、テレビまたはモニタで表示するためにエンコードさ
れたディスクを復号化するデジタルビデオディスクプレ
ーヤを具備する。
エンコードシステムがオーディオおよび画像を表す電
気信号を入力し、電気信号を新しいフォーマットに変換
し、究極的には、エンコードされた元の情報を作成し直
すために信号が復号化されることは、図1Bから明らかで
ある。
III. システム動作 図２は、図１にブロック図されるシステムの一般的な
動作を説明するフローチャートである。図２から分かる
ように、システムはその動作サイクルの間に複数の「状
態」を経過する。濃い実線は標準的な操作経路を示し、
実線は中断終了経路を描き、破線はバイパス経路を示
す。
システムによる最初の動作はセットアップ状態100で
発生する。このステップによって、圧縮状態102が入力
される前に、入力パラメータを指定することができる。
圧縮状態102では、再生VTR 51内のテープに記憶される
ビデオ画像が、ビデオエンコード装置50によりデジタル
圧縮されたフォーマットにエンコードされる。
圧縮状態102の後、ユーザは、編集状態104の過去に圧
縮されたデータの画質に基づいて手動で圧縮プロセスを
編集することができる。これによって、ユーザは、ビデ
オの１フレームの領域内または期間で画質を改善または
低下させることができる。「編集」という用語が、場面
自体をピクチャストリームに付加したり、削除すること
のみを意味していないことに注意すべきである。本明細
書中では、「編集」という用語は、量子化および続いて
ビデオの質を変更することも意味する。画像が編集状態
104で編集された後、新しいユーザ指定パラメータに従
ってデータをエンコードするために、圧縮状態102で再
び圧縮動作を実行することが必要である。
ユーザがビデオの編集された形式を確認してから、字
幕のようなオーディオ、ビデオおよびそれ以外の情報を
含むすべての情報が、フォーマット状態106で、まとめ
て希望のフォーマットに結合される。完了状態108で
は、あらゆる一時ファイルが消去され、プロセスは終了
状態110で終了する。図２に説明される個々の状態に関
するさらに詳細な情報は、ここでは図３から図６を参照
して説明する。
図３は、セットアップ状態100で実行されるステップ
を示している。ステップ120は、セットアップ状態を開
始し、ステップ122はシステムを初期化した。このステ
ップでは、ワークステーション30に格納されるシステム
制御ソフトウェアの実行が開始し、コンソールディスプ
レイ31に表示され、キーボード32およびポインティング
デバイス33を介してパラメータを入力させるユーザイン
タフェースを担当するグラフィックユーザインタフェー
ス（GUI）プログラムのようなそれ以外のプログラムが
起動される。また、ステップ122の間に、ワークステー
ション30のシステム制御装置ソフトウェアが他の装置に
照会し、システムの利用可能な装置を含むシステム状態
を突き止める。
ステップ124では、GUIを通してユーザに情報が表示さ
れる。歓迎のメッセージ、システムに関する情報、エン
コードプロセスに使用されるパラメータ、および過去に
エンコードされたあらゆるファイルの存在が表示され
る。表示されたシステム情報には、オーディオエンコー
ド、VTR、オーディオテープデッキ、およびその構成を
含むシステムに接続される装置を具備する。システムに
既にエンコードされたファイルが格納されている場合
は、情報はファイルを作成するのに使用されたオーディ
オエンコードパラメータおよびビデオエンコードパラメ
ータを記述する情報がユーザに表示される。
ステップ126では、それから、標準システムパラメー
タまたはユーザ指定システムパラメータを使用するエン
コード、システムパラメータに対する変更、または選択
されたパラメータが受入れ可能であることの確認を開始
するためのコマンドのようなユーザからの情報を入力す
る。
それから、ステップ128では、エンコード動作と復号
化動作の準備をするために、グラフィックユーザインタ
フェースからシステム制御装置ソフトウェアに、入力さ
れたデータを転送することにより、入力データを処理す
る。セットアップ状態は130で終了する。
図４には、圧縮状態102で実行されるプロセスがブロ
ック図される。標準動作フローに従い、ユーザは、既
に、セットアップ状態で圧縮されるビデオおよび付随オ
ーディオシーケンスを指定した。それから、ユーザは、
システムに、自動手順、つまり自動圧縮手順を実行する
ように指示する。自動圧縮手順の間のビデオ圧縮によ
り、ユーザは期間で、あるいはビデオの１フレームの中
で動的量子化プロセスを制御することはできない。これ
は、コーディング決定が、ビデオエンコード装置50によ
り計算される客観的な基準に基づいて下される初期圧縮
実行として意図される。自動圧縮がすでに実行されてい
た場合は、ユーザは、空間的（フレームまたはビデオ上
で）または時間的的（ビデオシーケンスで）のどちらか
で、編集圧縮モードでの量子化を手動で調整できる。
圧縮状態では、ステップ140で開始した後、ステップ1
42で圧縮動作に備える。この動作中、ビデオのタイムコ
ードおよび圧縮パラメータとともに圧縮される付随オー
ディオのような圧縮プロセスのパラメータが、ワークス
テーション10を介してワークステーション30からビデオ
エンコード装置50にダウンロードされる。
それから、ステップ144では、希望の圧縮の種類が決
定される。初めて情報を圧縮するときには、圧縮プロセ
スは自動的に、ユーザの介入なく実行される。ステップ
146では、自動圧縮プロセスの準備をする。この準備中
に、ワークステーション30は、デジタルオーディオテー
ププレーヤ71a−71dおよび関連するオーディオエンコー
ド装置70a−70dの内のどれを使用しなければならないか
を決定する。また、ワークステーション30は、ワークス
テーション20に、オーディオインタフェース装置72を介
した、ビデオエンコード装置50およびオーディオエンコ
ーダ70a−70dの出力からのビットストリームキャプチャ
に備えるように命令する。さらに、再生VTR 51、録画VT
R 52、およびDATプレーヤ71a−71dは、テープを適切な
開始位置まで進める。それから、ワークステーション40
が再生ビデオテープレコーダ51、録画テープレコーダ5
2、およびDATプレーヤ71a−71dに、ステップ148での移
動を開始するように信号を送る。その後、ステップ150
で、ビデオエンコード装置50を使用するMPEG−１または
MPEG−２フォーマットのような希望のフォーマットに従
ってビデオデータがエンコードされる。また、オーディ
オデータも、ドルビーAC−３フォーマットのような希望
のフォーマットに従ってエンコードされる。手動編集プ
ロセスを後で補助するためにログファイルを作成する必
要がある。ログファイルは、ビデオデータの後での編集
を実行するために必要となるエンコードされたビデオデ
ータのパラメータを示す。エンコードプロセスは、適切
なタイムコードに到達するステップ160で停止する。こ
のタイムコードは、エンコードされるべき情報の最後で
ある場合もあれば、ビデオシーケンスの最後ではないユ
ーザが指定したポイントである場合もある。
ステップ144で、自動圧縮プロセスがすでに実行さ
れ、ユーザが、以下に図５に関して説明するように、編
集状態の間に指定されたパラメータを使用してビデオの
１つ以上のフレームの画質を手動で変更することを希望
すると判断されると、ステップ144で、編集−圧縮動作
を実行する必要があるかどうかが判断されるだろう。ス
テップ152では、手動編集が開始するポイントである希
望の開始ポイントへの再生VTR 51の合図を含む編集圧縮
動作の準備が行われる。また、オーディオ情報は、いっ
たん自動圧縮動作でエンコードされると、変更する必要
はないので、オーディオ装置はディスエーブルされる。
それから、ステップ154で、再生VTR 51および録画VTR 5
2が移動する。
ステップ156では、その後、図５に説明する編集状態
でユーザによって指定されたパラメータに従ったビデオ
データのエンコードが開始する。編集圧縮は、終了タイ
ムコードに達したステップ160で終了する。ステップ162
では、ユーザに、圧縮およびエンコードが完了した旨の
メッセージが表示され、プロセスはステップ164で終了
する。
図５は、編集状態104で実行されるプロセスを説明す
る。前述したように、ここで言われる編集とは、ビデオ
シーケンス内で場面を削除、短縮、または移動させる従
来のビデオの編集ではない。ここでいう編集状態とは、
ビデオの一部またはビデオの時間シーケンスの質を、手
動でビデオの量子化を設定することにより変更すること
である。
ステップ170で編集状態を開始した後、ステップ172で
は、ユーザはエンコードされたビデオのビット割当てを
変更することによるビデオの手動の編集を希望するかど
うか尋ねられる。ユーザがビット割当ての変更を望まな
い場合、プロセスはステップ188で終了する。ユーザが
ビット割当での変更を望む場合は、ユーザはステップ17
4で編集対象のビデオセグメントを定義する。これは、
画質を変更しなければならないビデオの期間を選択する
ことによって実行される。それから、ステップ176で、
ユーザが空間的編集または時間的編集を希望するのかを
判断する。空間的編集がビデオのフレームの中でビット
の量子化または割当てを変更するのに対し、時間的編集
は、ビットの割当てを期間で変更する。ユーザが空間的
編集を選択すると、フローは、編集されるフレーム内の
領域を入力するステップ178に進む。また、適用される
変更の相対的な程度も入力される。本発明の場合、ゼロ
を含む−５から＋５の整数目盛りが、変更の相対量を示
すために使用される。ユーザは、キーボード32またはポ
インティングデバイス33あるいはその両方を使用してビ
デオの領域をマークし、−５から＋５の間で−５と＋５
を含む整数の内の１つを指定する。ユーザは、ある領域
に以前設定された量子化レベルを変更してはならないこ
とを示すこともできる。例えば、ユーザはある一定の領
域のビット割当ての増加を希望する場合、それ以外の領
域のビット割当てを減少しなければならない必要があ
る。ユーザがある領域を「保護つき（protected）」と
も呼ばれる変更不可と設定すると、画質領域の改善に必
要となるビットは保護つきの領域からは採取されない。
ステップ176でユーザが時間的編集を希望すると判断
されると、フローは、どのように期間を編集しなければ
ならないのかを入力するステップ180に進む。空間的編
集と同様に、時間的編集の場合も、ユーザは、ビデオの
ある特定のシーケンスに適用される変更の相対度を示す
−５と＋５の間の整数値を指定する。この変更は、選択
された期間全体で有効となる。
空間的編集または時間的編集のどちらかがステップ17
8と180で実行されてから、ステップ182で、ビデオシー
ンが、手動で入力されたパラメータに従って、エンコー
ドし直され、例えばMPEG−２フォーマットに圧縮し直さ
れる。ユーザが画質がどのように変更されたのかを詳し
く比較できるように、既にエンコードされたのデータは
新規に編集されたデータの隣に表示される。
オペレータが編集対象のセグメントを示すと、VTR 52
からのビデオが記憶装置60に転送され、記憶装置60で利
用可能な総メモリの多くても半分を占める。そのセグメ
ントは、「前の」セグメントに対応する。編集−圧縮プ
ロセスの間、ビットストリームはワークステーション20
によってキャプチャされ、マスタビデオビットストリー
ムファイルから別個のビットストリームファイルとして
記憶される。マスタビデオビットストリームファイル
は、映画全体の圧縮済みビットストリームである。編集
−圧縮されたビデオはVTR 52で録画される。エンコード
プロセスの間、オペレータはピクチャを、それがVTR 52
で録画されているのと同時に表示することになる。オペ
レータがエンコードした後のピクチャの表示を希望する
場合は、VTRを再生機械として使用できる。オペレータ
が「前と後」の比較を実行したいと考える場合、VTR 52
の対応するセグメントが記憶装置60に転送され、装置60
の総メモリの残りの半分までを消費する。
このエンコードの後、オペレータは、変更されたビデ
オを保存する必要があるかどうかを決定する。オペレー
タが「後」のセグメントを無視することを決めた場合、
マスタビットストリームは変更されずに残され、編集−
圧縮済みのビットストリームは削除される。VTR 52がマ
スタビットストリームを反映できるようにするには、
「前」のセグメントを録画する目的だけに、編集済みの
セグメントで別の自動−圧縮が実行される。装置60を
「前」のセグメントをVTR 52に転送して戻すために装置
を使用するという代替策も可能である。オペレータが
「後」のセグメントを記憶することを決めた場合、以下
に説明するように、マスタビットストリームファイルを
更新して、編集−圧縮済みのビットストリームファイル
を入れる必要がある。
ユーザが、ステップ184でビデオが受け入れられると
判断した場合、既にエンコードされたデータは新規にエ
ンコードされたデータで置き換えられる。このステップ
は、以下の別項でさらに詳しく説明する。新規にエンコ
ードされたデータが以前エンコードされたデータを置き
換えると、ステップ192で、ユーザが更に編集を希望す
るかどうかを判断する。さらに編集を希望する場合に
は、フローはステップ174に戻る。ユーザがビデオの編
集を終了したら、フローは編集状態を終了するステップ
188に進む。
ユーザが、ステップ184でビデオが受け入れられない
と判断した場合は、ユーザは、編集変更が記録されない
ようにステップ186で編集動作を終了するか、あるいは
ユーザはビデオを編集し直す。ビデオは、編集で新しい
パラメータを選択するユーザによって編集し直される。
ユーザが希望する場合は、編集対象の新しいビデオセグ
メントを定義することも可能である。
ユーザが圧縮（自動−圧縮だけ、または編集−圧縮と
ともに自動−圧縮のどちらか）に満足すると、圧縮済み
ビデオ、圧縮済みオーディオ、およびそれ以外のすべて
のファイルを含む個々のデータファイルが、最終フォー
マットへのフォーマットの準備が完了した状態となり、
フォーマット状態166に入る。補助データには、最終的
なフォーマット済みデータファイルに記憶される字幕の
ような情報を含むことがある。図６にブロック図される
フローチャートでは、ステップ200でのフォーマット状
態の開始後、ユーザが補助データを記憶することを決定
すると、ワークステーション20は、フロッピーディスク
ドライブ内にフロッピーディスクなどを具備するデジタ
ル記憶装置22から補助データを読み取る。それから、ス
テップ204で補助データがエンコードされたオーディオ
およびビデオと結合され、最終的なフォーマット済みフ
ァイルを作り出す。システムによって作成される最終的
なデジタルビットストリームは、ISO/IEC 13818−１に
定義される「プログラムストリーム」として構築でき
る。代わりに、最終的なビットストリームは、直接衛星
DSSフォーマット、光ディスクでの使用に適したVBR（可
変ビットレート）またはその他の種類のフォーマットの
ような任意の種類のフォーマットとすることができる。
エンコードされたビデオとオーディオは別個に記憶でき
るため、システムは、同じエンコードされたビデオとオ
ーディオを別々の最終フォーマットにエンコードするこ
とができる。これは、さまざまなフォーマットを作り出
す機能を備える１つのフォーマッタを使用するか、また
は別個のフォーマッタによって達成される。ステップ20
6では、フォーマットされたファイルがディスク21で記
憶される。
フォーマットされたファイルがステップ210のデジタ
ル記憶装置22内のテープに書き込まれるステップ208で
完了状態になる。その後で、もはや必要とされていない
一時ファイルを削除するさまざまな「ハウスクリーニン
グ」機能を実行するステップ122で終了状態に入る。圧
縮プロセスが終了される前のような異常終了要求が発生
した場合、打切り手順が、オーディオテーププレーヤお
よびビデオテーププレーヤを停止し、破壊されている可
能性があるデータファイルもクリーンアップするワーク
ステーション30で実行される。プロセスは、それからス
テップ216で終了する。
IV. システム代替策 望ましいシステム構成要素およびその動作は前記に説
明したが、言うまでもなく代替ハードウェアが図1Aおよ
び図1Bに開示されるハードウェアを代用することができ
る。ビデオエンコード装置50は、利用できる場合にはMP
EG−２ビデオエンコーダであるのが望ましい。しかし、
MPEG−１ビデオエンコーダとしても知られる市販されて
いるISO/IEC 1172−ビデオ標準エンコーダを使用するこ
ともできる。MPEG−１エンコーダに対する必要な改良
は、MPEG−１バッファ管理モジュールが、ワークステー
ション10のような外部ソースから制御できるようにする
必要がある。さらに、入力ビデオサポートは、ITU−R 6
01（前CIR 601）解像度ビデオを格納するために増大さ
れなければならない。このような改良は、過度の実験を
行わないでもデジタルビデオエンコードの当業者により
実行できる。
４つのオーディオテーププレーヤと４つのオーディオ
エンコーダが図1Aに描かれているが、それ以外の構成は
オーディオシステムに容易に採用できる。例えば、１台
の市販されている8mmデジタルオーディオプレーヤを複
数のDATプレーヤの代わりに使用することができる。１
台のTASCAMデジタルオーディオプレーヤを使用すると、
ワークステーション40から必要とされるのは１つのRS−
422制御信号だけであるが、最大８つの別個のオーディ
オチャネルを同時にサポートできる。オーディオエンコ
ーダが同時に８つのオーディオ入力を受け入れることが
可能でなければならず、オーディオインタフェース装置
72もオーディオデータストリームの４つから８つへの増
加に対処するために改良されなければならないのは言う
までもない。
オーディオおよびビデオの同時エンコードの代替策と
して、オーディオおよびビデオエンコードは、別個の時
間またはロケーション、あるいはその両方で実行され、
後で最終的なフォーマットに結合することができる。こ
れには、SMPTE（全米映画テレビジョン技術者協会）タ
イムコードフォーマットのような既知のタイムコードの
使用が可能となる。タイムコードは、ビデオテーププレ
ーヤ、ワークステーション、または別個のスタンドアロ
ン式タイムコード作成プログラムによって作成される。
録画VTR 52は、ビデオデコーダが利用可能で、ワーク
ステーション20に接続されている場合には排除できる。
その場合、再構築されるビデオは、圧縮フェーズ中のビ
デオエンコード装置50から録画される代わりに、ディス
ク21内のディスクファイルから作成されるだろう。録画
VTR 52を排除すると、テープ費用だけではなく装置費用
という点でも、システムの費用が大きく節約される。
さらに、グラフィック動作をディスプレイビデオのグ
ラフィックオーバレイ面で実行する能力は、市販のＸ−
端末オプションを使用して、コンソールディスプレイ上
でサポートすることができる。例えば、コンソールディ
プレイ31は、ビデオをオーバレイグラフィックウィンド
ウで表示する機能を備えたＸ−端末で置き換えられる。
ペンシルバニア州のKing of PrussiaのHuman Designed
Systems社のHDSV View Stationのような市販されている
マルチメディアディスプレイ端末は、表示および手動編
集領域定義動作のためにＸ−端末に接続することができ
る。ただし、ビデオデコーダの職業用品質のビデオは、
人間のオペレータが再構築されたビデオ信号の質を評価
できるように、図1Aに図示されるモニタ61のような職業
用モニタで表示しなければならない。
V. 最適エンコード効率を維持しながらオーディオエン
コーダの数を低減する 前述したように、図1Aは、マルチパスビデオエンコー
ド装置50および４台のワンパスオーディオエンコーダ70
a、70b、70c、および70dを備えたエンコードシステムを
ブロック図している。再生VTR 51は、ビデオエンコード
装置50にエンコードされるべきビデオ信号を供給し、デ
ジタルオーディオテープ（DAT）フレーム71a−71dが、
それぞれワンパスオーディオエンコーダ70a−70dにエン
コードされるべきオーディオ信号を供給する。
本発明の実施例では、最終フォーマット済みオーディ
オ映像データストリーム内の８つのオーディオトラック
をエンコードする。各オーディオトラックは、１つ以上
のオーディオチャネルを具備する。オーディオトラック
は他の装置でもオーディオを格納できるが、例えば、あ
るオーディオトラックが左チャネルと右チャネルを備え
る場合がある。図７に説明する。もっとも効率的なオー
ディオ映像エンコードを実行するためにオーディオエン
コーダの数を求める方法、およびこのオーディオ映像エ
ンコードを実行する方法は、図７に説明する。図７で
は、開始後、ステップ240でビデオエンコードに必要と
されるパスの数Ｐが求められる。ビデオをMPEGフォーマ
ットにエンコードするためには、通常、２つ以上のパス
がビデオのエンコードに必要となる。本発明の場合、望
ましいパス数は２であるが、３つ以上のパスも可能であ
る。それから、ステップ242でエンコードされるオーデ
ィオトラックの数Ｔが求められる。本発明では、異なっ
たオーディオトラック数も可能であるが、オーディオト
ラックの数は８が望ましい。次に、ステップ244では、
もっとも効率的なオーディオ映像エンコードを実行する
ために必要とされるワンパスオーディオエンコーダ数AE
が計算される。必要なオーディオエンコーダの数は、ビ
デオエンコードに必要とされるパスの数で除算されるエ
ンコードされるべきオーディオトラック数に等しい。実
施例では、エンコーダの２つのパスで除算される８つの
オーディオトラックは、必要な４つのオーディオエンコ
ーダに等しい。オーディオエンコーダの計算された数が
整数ではない場合、オーディオエンコーダの計算された
数は、整数となるように切り上げる必要がある。例え
ば、７つのオーディオトラックだけしかツーパスビデオ
エンコーダにエンコードされない場合、7/2＝3.5とな
り、3.5は次にもっとも大きい整数４に切り上げられ
る。本システムによって実行されるエンコードプロセス
の間、１つのビデオパスはオーディオエンコーダの内３
台しか使用しないが、それ以外のビデオエンコードパス
は４台のオーディオエンコーダすべてを使用する。ステ
ップ240−244が、システムの初期設計時にだけ実行され
る必要があり、オーディオ映像作業がエンコードされる
たびに必要とされるワンパスオーディオエンコーダの数
を計算する必要はないことに注意すべきである。さら
に、ステップ240、242および244は、ワークステーショ
ン30のようなコンピュータによってコンピュータ／マシ
ン実装されるか、あるいはユーザまたはオーディオ映像
エンコードシステムの設計者により判断される。
オーディオエンコーダの数が求められ、オーディオ映
像エンコードシステムがセットアップされてから、オー
ディオ映像エンコードプロセスが開始できる。ステップ
246では、１にカウンターがセットされる。カウンター
は、ビデオエンコードシステムの各パスをカウントする
に用られる為に可変である。それから、ステップ248
は、オーディオトラックのすべてではないが、いくつか
でワンパスオーディオエンコードを実行しながら、第１
ビデオエンコードパスを実行する。例えば、８つのオー
ディオトラックおよび１つのツーパスビデオエンコーダ
が存在する場合、第１パス中に４つのオーディオエンコ
ーダを使用できる。それからステップ250で、カウンタ
ーが１だけ増される。ステップ252では、ステップ248で
使用されたのと同じオーディオエンコーダを使用して、
エンコードされていないオーディオトラックのワンパス
オーディオエンコードを実行しながら、次のビデオエン
コードパスを実行する。例えば、第２ビデオエンコード
パスの間、ステップ249で使用される４つのオーディオ
エンコーダは、オーディオトラック５から８をエンコー
ドできる。それからステップ254で、カウンタがＰ、必
須ビデオエンコードパス数に等しいかどうかが判断され
る。実施例では、２つのビデオエンコードパスしかない
ため、プロセスは終了するだろう。終了しない場合、フ
ローはステップ250、252、および254から成るループを
実行するために戻る。
言うまでもなく、８つのオーディオトラックがあるオ
ーディオ映像作品用のツーパスビデオエンコーダを使用
するだけではなく、それ以外の実施例も可能である。例
えば、スリーパスビデオエンコーダは、６つのオーディ
オトラックで使用できる。この状況では、オーディオエ
ンコーダのもっとも効率的な数は３（6/2＝３）であ
る。ツーパスビデオエンコーダが使用され、合計６つの
オーディオトラックがエンコードされる場合、オーディ
オエンコーダのもっとも効率的な数は３となるだろう。
代替策として、スリーパスビデオエンコーダを、エンコ
ードするオーディオトラックが５つあるシステムで使用
することができる。この代替システムでは、オーディオ
エンコーダの内の１つしか使用されず、他の２つのビデ
オエンコードパスが、両方オーディオエンコーダの両方
が使用されている間に発生する一方、ビデオエンコード
パスの内のどれか１つが動作している状態の２つのワン
パスオーディオエンコーダが必要である。従来の技術の
当業者に明らかになるように、ビデオエンコーダとオー
ディオトラック数のこれ以外の組み合わせも、本明細書
に記載される教示を考慮すると可能である。
できるかぎり効率的であるという点での本発明の重要
な一面とは、ビデオエンコードのパスが発生している間
につねにオーディオエンコードを実行し、オーディオエ
ンコードが実行している間につねにビデオエンコードの
パスを実行するということである。この取り決めでは、
ビデオエンコード動作の１パスの間に、オーディオエン
コーダの少なくともいくつかがつねに使用されることに
なる。できるかぎり効率的であるためには、オーディオ
トラック数をオーディオエンコーダの数で均等に除算で
きない場合（つまり、エンコードされるオーディオトラ
ックの数をビデオパス数で除算すると余りが出る場
合）、エンコードプロセス全体で、ビデオパスから余り
を差し引いた数に等しい数の休止していたオーディオエ
ンコーダがある。例えば、スリーパスビデオエンコーダ
および４つのオーディオトラックの場合、２つのオーデ
ィオエンコーダが必要とされる。余り１が出る（例え
ば、4/3＝１で余りが１）。したがって、もっとも効率
的であり、スリーパスビデオエンコードが完了されのと
同時にオーディオエンコードを完了するためには、オー
ディオエンコードが休止となるのはわずか２回である
（例えば、３つのビデオパスから余り１を差し引くと２
に等しい）。エンコードが休止する２回は、同じパスで
発生可能であり（同じビデオエンコードパスに異なった
２つのオーディオエンコーダがある）、前記例のそれ以
外の２回のビデオエンコードパスのそれぞれがオーディ
オエンコーダのすべてを活用するか、あるいは１つの休
止オーディオエンコーダがある２つのビデオエンコード
パスがあるという意味である。これらの２つのパスで
は、同じまたは別のオーディオエンコーダが休止となる
ことがある。
VI. エンコードされたビデオの情報を記憶するための
ログファイル、ならびにログファイルおよびエンコード
されたビデオにアクセスするためのログインタプリタユ
ーティリティ 開示されたエンコードシステムは、当初、MPEG−２、
MPEG−１、またはそれ以外のデジタルビデオエンコード
フォーマットのような圧縮済みデジタルフォマットにビ
デオをエンコードする。このエンコードは、システム構
成要素に関する第II項および汎用システム動作に関する
第III項に説明する。したがって、エンコードされたビ
デオデータは、例えばハードディスク上のデジタルフォ
ーマット内で記憶される。
デジタルビデオエンコードプロセスの間、ビデオの統
計およびそれ以外の情報が作成され、ログファイルに記
憶される。MPEGビデオエンコードに精通した従来の技術
の当業者は、ビデオを記述する統計および種類の情報、
およびこれらの統計および情報を作成する方法を熟知し
ている。従来のエンコードシステムでは、この種類の情
報およびデータは作成されるが、通常、ビデオエンコー
ドの後に廃棄される。しかし、本発明の場合、ピクチャ
をコーディングするために使用された合計ビット、ピク
チャをエンコードする平均二乗エラー、ピクチャあたり
の平均量子化スケールなどのような作成されたこの情報
は、エンコードプロセスの後で、システムRAMからログ
ファイルにタンプされる。本発明によって使用されるロ
グファイルの例は、図8A−10Bに説明する。これらのロ
グファイルは、VBRシステムで特に有効であり、ビデオ
エンコーダの初期パス（複数の場合がある）の間に作成
される。それから、ログファイルは、最終エンコードパ
スの間およびビデオの後での編集および再エンコードの
間に使用される。
本発明により使用されることがある、シーケンスレー
ヤのログファイル、ピクチャレイヤログファイル、およ
びマクロブロックレーヤのログファイルという異なった
３種類のログファイルがある。これらのログファイルの
それぞれが、その各レイヤの統計および情報を記述す
る。図10Aにブロック図される完全フォーマット、およ
び図10Bにブロック図される短縮フォーマットという異
なった２種類のマクロブロックレーヤのログファイルフ
ォーマットがある。マクロブロックレーヤのの詳細な情
報が必要とされる場合には、完全フォーマットが使用さ
れ、マクロブロックの詳細のすべてを追跡調査する必要
がない場合には、短縮フォーマットが使用される。２時
間の映画中のマクロブロックの数は多数であるため、マ
クロブロックログファイルは大量の記憶スペースを消費
する。したがって、大きな記憶スペースが使用できない
限り、完全または短縮フォーマットのマクロブロックフ
ァイルを記憶することはできない可能性がある。ただ
し、マクロブロック情報を入手する必要がある場合は、
エンコードビデオを復号化するか、あるいはそれ以外の
手段でこの情報を再構築することができる。
図8A−10Bにブロック図されるログファイルフォーマ
ットの詳細の多くは重要ではなく、これらのファイルフ
ォーマットは、単に、エンコードプロセスの間に作成で
きるデータの例図としてのみ提供されたことに注記すべ
きである。しかし、ログファイル中の情報のいくつか
は、ビデオの質を変更するプロセスの間に使用されるの
で重要である。以下に説明するように、エンコードされ
たビデオの編集ポイントを決定するためには、初期のピ
クチャにより消費されるビット数を総計する必要があ
る。合計される情報は、図9Bおよび図9Cに描かれ、ピク
チャごとのビット数（generated_bit_picture）、シー
ケンスヘッダ（bits_sequence_header）、ピクチャのグ
ループ（GOP）ヘッダのビット数（bits_GOP_herder）、
およびスタッフィングとして使用されるビット数または
スペースを埋めるために使用されるビット数（stuffing
_size）に関する。
図11は、ログファイルを使用して実行されるさまざま
な機能のフローチャートを説明する。ビデオセグメント
の初期エンコードの後、ステップ270では、図8A−9Cに
ブロック図されるビデオエンコーダの自動実行から作成
されたピクチャおよびシーケンスレーヤのログファイル
を読み込む。それから、ステップ272でエンコードされ
たビデオに録画されるピクチャごとのログファイルレコ
ードのバイトオフセットを示すインデックステーブルを
作成する。２つのテーブルが作成される。一方はフレー
ム番号により、もう一方はタイムコードによりインデッ
クスが付けられる。タイムコードインデックステーブル
には、ピクチャごとのログファイルの中にオフセットさ
れるバイトが記憶され、タイムコードの昇順で並べ替え
られる。同様に、ピクチャフレームインデックステーブ
ルには、（エンコーダによって確認されるように）入力
されたピクチャ番号の昇順で並べ替えられるログファイ
ル内へのバイトオフセットが記憶される。
作成されたインデックステーブルは、任意の希望され
るピクチャまたはマクロブロックのログ情報をすばやく
選び出すのに有効である。ログファイル内のシーケン
ス、ピクチャまたはマクロブロックのデータを記憶する
ためには固定サイズレコードが使用されているが、エン
コーダはそれらをコーディングする前に入信ピクチャを
並べ替える。加えて、3:2の割合で毎秒30フレームに引
き下げられた映画（毎秒24フレーム）ソースを取り扱う
場合、ある種のタイムコードは省略される。インデック
ステーブルは、ピクチャの並べ替えおよびタイムコード
の省略にも関らず、適切なデータの位置をすばやく突き
止めるための手段となる。
ビデオのさまざまなフレームと期間がその品質を手動
で改変されるに従い、エンコードされたビデオは頻繁に
変化するので、本発明によるエンコードシステムが、各
ピクチャをコーディングする際に使用されるエンコード
されたのビット数のディレクトリまたはインデックスを
維持しないことを注記すべきである。ただし、エンコー
ドされたの情報を記述するログファイルは固定サイズレ
コードであるため、ピクチャまたは期間の品質が改変さ
れても、ログファイル内の情報のディレクトリまたはイ
ンデックスを維持することは容易である。
インデックステーブルの作成後、ステップ274を使用
することにより、ユーザは、ブロック276、278、および
280に描かれるさまざまなログファイルユーティリティ
を使用するログファイルからさまざまな情報をすばやく
入手できる。ログファイル中のレコードが必要とされる
場合、作成されたインデックスは、ログファイル内の希
望のレコードを突き止めるために使用され、完全なレコ
ードがログファイルから引き出される。それから、この
レコードは希望される個々のパラメータを検索するため
に解析される。個々のレコードをインデックステーブル
を使用して解析するプロセスは、他のログ解釈プログラ
ムユーティリティのすべての基礎となる。解析プロセス
は既知であり、従来の技術の当業者は、編成されたファ
イルから希望の情報を検索する方法を理解している。
ステップ276は、ログファイルのカットアンドペース
トユーティリティである。フレーム内でまたは期間で手
動で量子化（および画質）を変更した後、ログファイル
のオリジナルセットは、編集中に発生した変更に対応す
るように更新されなければならない。ログファイルのカ
ットアンドペーストユーティリティは、編集済みのセグ
メントタイムコードに対応するログファイル内でオフセ
ットの位置を突き止め、ログファイル内の情報を再エン
コードされたビデオに対応する新しい情報で置き換え
る。再エンコードのプロセスについては、以下のVIII項
に説明する。
ステップ278では、デジタルでエンコードされたビッ
トストリームの編集を可能とするためにパラメータを入
手するためのユーティリティを示している。ビデオが最
初にエンコードされ、ユーザがビデオのフレームの品質
または期間の改変を希望する場合、削除され、希望の品
質を備えた新規にエンコードされたビデオで置き換えら
れなければならないエンコードされたビデオ内の適切な
部分を突き止める必要がある。
エンコードされたビデオのビットストリーム内の編集
ポイントのバイトオフセットは、編集ポイント内に対応
するピクチャまで各ピクチャをエンコードするのに使用
されるビットの累積項目を計算することにより求められ
る。指定のピクチャが位置するファイルの最初からのバ
イトまたはビットの総数を求めるために、以前のピクチ
ャのそれぞれをエンコードするのに使用されたビット数
が合計される。合計されたピクチャログファイルから入
手される情報とは、ｉ番目のピクチャをエンコードする
のに使用されるビットBiの数、シーケンスヘッダを構成
するビットSiの数、ピクチャのグループ（GOP）ヘッダ
をエンコードするのに使用されるビットGiの数、スタッ
フィングとして使用されるビットTiの数である。Ｎ番目
のピクチャのビットオフセットは、次に示すように計算
される。
バイトオフセットは、ビットオフセットを８で除算す
ることによってだけ計算される。エンコードされたビデ
オビットストリーム中のアドレスオフセットを求めるた
めにログファイルを使用する代替策として、ビットスト
リームデコーダを使用して、ピクチャオフセットのディ
レクトリを作成することができる。ただし、エンコード
は、ディレクトリを更新するために編集が終わるたびに
ビットストリーム全体を実行しなければならないため、
このアプローチは面倒である。
最後に、ステップ280では、タイムコードをもっとも
近いピクチャのグループ（GOP）の最初または最後に四
捨五入するためのユーティリティを示している。エンコ
ードされたビットストリームのすべての切取りまたは編
集は、ピクチャのグループ（GOP）の境界で実行され
る。ただし、GOP境界はビデオに編集を実行するオペレ
ータにはわからない。オペレータがいったん編集セグメ
ントの開始ポイントおよび終了ポイントを指定すると、
システムはGOP境界を計算する。GOP境界は、各ピクチャ
レコード内に記憶されるGOP番号と呼ばれるピクチャレ
イヤパラメータを検討することにより設定される。ピク
チャレイヤログファイルの連続レコードを通してトレー
スすることにより、図9Bの中のGOP番号（GOP_number）
が変化すると、GOP境界があると判断される。
ログファイルおよびログファイルユーティリティは、
ビデオエンコーダに密接に関係しているので、ログファ
イルは図1Aに図示されるワークステーション10のハード
ディスク内に記憶され、ログファイルユーティリティは
ワークステーション10により実行される。代わりに、ワ
ークステーション30またはそれ以外のの任意の処理シス
テムにログファイルが格納され、ログファイルユーティ
リティが実行されることがある。
VII. エンコードされたビデオの品質の変更 A. 期間での品質の変更 エンコードシステムにより作成されるエンコードされ
たビデオは、光ディスクのような最終的なデジタル記憶
媒体に書き込まれることを目的とする。ディスク上のエ
ンコードされたビデオは、一定ビットレート（CBR）動
作と比較すると、ビデオの異なったセクションの間での
ビットレートの大きな変更の可能性を提供する可変ビッ
トレート（VBR）でエンコードされる。VBRコーディング
により、著しく異なるビット数を異なったピクチャに割
り当てることができるようになるため、画質は経時的に
変化する。さらにVBRは、CBR動作で不可能なスケール内
でのユーザによって定義されたビデオのセクションにデ
ータレートを割当てし直す可能性も提供する。CBRによ
り同じことを達成する場合には、デコーダできわめて大
きなバッファが必要になるだろう。
エンコードシステムによって手動編集と呼ばれること
が可能になるが、手動編集とは、映画の中で場面を短縮
または延長したり、異なった場面を置換することではな
く、画質を変更することである。画質は経時的に変更す
ることができ、本項に説明するように時間的編集または
時間的手動編集と呼ばれる。別の項では、フレームのあ
るセクションからフレームの別のセクションにビットを
シフトすることによって、データのフレーム内での画質
を変更する、空間編集または空間手動編集と呼ばれるこ
とについて説明する。
時間的編集、つまり編集セグメントのさまざまなセク
ションの間でのビットを再割当てで、以下に示す３つの
主要な制約を満たす必要がある。
1.編集される映画／ビデオの総容量が割り当てられた容
量を上回らないこと。
2.編集セグメント内にバッファアンダフローがないこ
と。
および 3.時間的編集によって生じさせられる編集セグメントの
外側にバッファアンダフローがないこと。
制約１は、結果として生じる編集済みのセグメントが
最初にエンコードされたセグメントと同じビット数を消
費するように編集セグメントをエンコードし直すことに
より処理される。変種セグメントが検討される期間全体
であることを注記すべきである。編集セグメント内の異
なる期間には、ユーザにより品質が指定され、編集セグ
メントのこれらの期間は単にセクション、または期間と
呼ばれる。
アンダフロー状態が存在するかどうかを突き止めるた
めには、デコーダのモデルを使用して目標ビットを確認
することが必要である。エンコーダのVBR動作では、ビ
デオバッファ検査機構（VBR）モデルの修正されたバー
ジョンが使用される。このモデルは、VBRの簡略修正モ
デルと呼ばれ、デジタル記憶装置媒体（DSM）に使用で
きる。VBRモード用のVBVは既知でありMPEG−２規格で定
義され、ISO/IEC 13818−２の第C.3.2項の付録Ｃに特に
記載される。
VBR用VBVモデルでは、デコーダのバッファはいっぱい
のままであるが、アンダフローしないように制限されて
いる。さらに、バッファは一定のレートRmaxでバッファ
がいっぱいになるまで充填し、それからバッファが空に
なり始めるまで、ビットはバッファに伝送されない。各
フレーム間隔ごとに、あるフレームを復号化するために
必要とされるビットがバッファから削除される。これを
念頭に入れておくと、VBRモードでは、ピクチャの列に
割り当てるビットが多すぎると、バッファアンダフロー
が発生することが分かる。ピクチャのビットがバッファ
から削除されるに従い、バッファは空になり、高画質ピ
クチャのビットの大多数がバッファを充電できるレート
より早いレートで削除される場合、バッファがアンダフ
ローする。アンダフローを防止するために、ピクチャを
エンコードするために使用されるビット数が低減され
る。ピクチャのビット数を低減すると、充填レートは同
じに保たれるが、ビットをバッファから削除するレート
が低減される。VBV占有がいっぱいである場合、VBVバッ
ファへのビットストリーム伝送は即座に停止されるた
め、バッファオーバフローはVBRに関して発生できな
い。つまり、バッファオーバフローではなく、単にバッ
ファがいっぱいな状況が存在する。ISO/IEC 13818−
２、付録Ｃ、第C.3.2に説明されるように、VBRの簡略修
正VBVモデルは以下の通りである。
1. sequence_headerでのbit_rate_fieldはmax_bit_rat
eを表す。
2. VBVは当初空である。VBVバッファ（つまりVBVバッ
ファファイル）をmax_bit_rateのレートでいっぱいに満
たしてから、復号化プロセスが開始する。ピクチャデー
タは、MPEG−２国際規格に定義されるCBRのVBVモデルの
ようにただちに削除、エンコードされる。
3. ビットストリームは、VBVバッファがいっぱいにな
るまでmax_bit_rateのレートでVBVバッファの中に格納
される。VBVバッファ占有がいっぱいの場合、VBVへのビ
ットストリーム転送は即座に停止される。次のピクチャ
のデータが削除されてから、ビットストリーム伝送は即
座に開始する。
4. VBVバッファはアンダフローしないものとする。
5. 各vbv_delayフィールドがFFFFに設定される。
期間でビデオの品質を変更するには、ビデオのフレー
ムにビットを追加またはビデオのフレームからビットを
削除する必要がある。ここで、ビデオのセクションに追
加またはビデオのセクションから削除されるビットの数
についての説明を行う。ビデオのセクションに追加また
はビデオのセクションから削除できるビットの数は、検
討されているビデオのセクションの有効ビットレートに
依存する。有効ビットレートＲは、以下のように計算さ
れる。
Ｒ＝（総割当てビット／フレーム数）＊Frame_Rate
（２） 総割当てビットはビットレートに正比例しているので、
割当てビット数を参照することは、異なる単位を使用す
る場合を除き、ビットレートと同じ意味を伝える。保証
された最小レート、例えばRminがビデオの任意のセクシ
ョンに適用されると仮定すると、セクション「ｉ」から
削除できる最大ビット数は以下の通りである。
Ti＝（Ri−Rmin）＊Ni/Frame_Rate （３） この場合、Niはセクション「ｉ」のフレーム数で、Riは
同じセクションの有効レートである。保証された最小値
は、セクションに最小品質レベルを保証するために必要
とされる。同様に、指定されたセクション「ｊ」に追加
できる最大ビット数は、以下の通り計算される。
Tj＝（Rmax−Rj）＊Nj/Frame_Rate （４） この場合、Rmaxは最大レート、つまりバッファがいっぱ
いでないときに充填するレートであり、Njはセクション
ｊのフレーム数である。
期間で画質を変更すること（時間的編集）についての
説明は、今度は図12およびそこに参照される図に関して
行う。開始後、ステップ281では、第II項および第III項
で前述したようにユーザの介入なく自動ビデオエンコー
ドを実行する。自動エンコードの場合、作成されるデー
タストリームの最大レートおよび最小レートがある。最
大ビットレートは、ビデオデコーダの機能により決定さ
れ、例えばRmaxは毎秒Mbitsである。最小ビットレート
は、希望される最小画質に応じて、ユーザが指定でき
る。典型的な最小ビットレートRminは毎秒3Mbitsであ
る。ビデオの部分が低いビットレートとなり、ビデオの
部分が高いビデオレートとなることができるように、平
均エンコードレートとは異なり、平均エンコードレート
をやや下回るRminを設定するのが望ましい。Rminがビデ
オの平均エンコードレートをわずかに下回って設定され
ると、結果として生じるエンコードビデオはかなり一定
した画質となる。通常、Rmax＝毎秒8MbitsでRminが毎秒
約3Mbitsの場合、ビデオの平均値は毎秒約3 1/2から5Mb
itsとなるはずである。
移動ビデオエンコードがステップ281で実行された
後、レート量子化関数を求める必要がある。本発明のプ
ロセスでは、希望の品質を獲得するのに必要なビット数
が求められるが、再エンコード時には、希望のビットレ
ートを結果的に生じさせるために量子化値を設定しなけ
ればならない。レート量子化関数は、それぞれ参照によ
り本明細書に取り入れられる記事、画像処理に関するIE
EE会報、第３巻、第５号、1994年９月、533−545ページ
のラムチャンドラン（Ramchandran）その他による「マ
ルチ解像度およびMPEGビデオディスクロージャに適用さ
れる依存量子化のためのビット割当て」、IEEE ICASS
P、1993年、V381−Ｖ−384、ラムチャンドランその他に
よる「MPEGビデオ符号器に適用される依存量子化のため
のビット割当て」、および1994年にプリンストンビデオ
会議で提示されたレイニンガー（Reininger）による
「レート−歪み曲線を使用する多重化されたMPEGビデオ
用の共同マルチチャネルビットレート制御」に説明され
るような従来の方法で計算できる。
次に、ステップ284では、選択された期間のユーザ品
質設定値を入力する。ユーザは、究極的にはピクチャの
量子化を制御するのに使用される異なったセクションの
優先順位を入力する。量子化は、損失のあるMPEGエンコ
ードの解像度とも呼ばれる画質を制御する。図13には、
期間でビデオの品質を変更するために情報を収集する目
的で使用されるユーザインタフェーズを説明する。当
初、ユーザは、品質を変更することになる編集セグメン
ト全体の期間を入力する。この応報の入力は、図13のユ
ーザインタフェースには図示されていないが、図13のユ
ーザインタフェースが表示される前に入力される。図13
に示される例の場合、変更対象の編集セグメントの期間
が、例えば時間０分から時間５分までとなることがあ
る。ユーザが編集セグメントの総期間を記述した後に、
編集セグメント内のさらに短い期間に、優先順位Ｐを含
む−５から＋５までの範囲のさまざまな優先順位が指定
され、この期間の品質が保護され、改変してはならない
ことを示している。優先順位「なし」は、Ｐという優先
順位と同じ意味である。エンコードシステムは前記入力
スキームに限定されず、ユーザの希望の優先順位を入力
するために、それ以外の範囲または記号を使用できるの
は言うまでもない。
優先順位を指定するのに加えて、ユーザは最小ビット
レートも入力する。このビットレートは、ステップ281
の自動ビデオエンコードの間にビデオをエンコードする
ために使用される最小ビットレートと異なっている場合
がある。ユーザインタフェースのもう１つの特徴とは、
それを使用すると、ユーザが「バックグラウンド優先順
位」を設定できるという点である。これは、ユーザが優
先順位を指定したのではない選択済みの期間内の期間に
このバックグラウンド優先順位が設定されることを意味
する。例えば、図13では、バックグラウンド優先順位に
「１」が指定されるとすると、未指定の期間00:03:20:0
1から00:03:59:99には、ユーザが手動でこの特定のセク
ションに優先順位を指定しなくても、「１」という優先
順位が自動的に指定される。
図13に描かれるインタフェースの底部では、編集セグメ
ント内で新しい期間を作成するために「挿入」ブロック
が使用され、以前に作成された期間を変えるために「リ
コール」ブロックが使用され、期間に加えられる変更を
保存するために「更新」が使用され、期間を削除するた
めに「削除」が使用される。
光ディスクのようなエンコードされたビデオ用の究極の
デジタル記憶装置媒体は、自動的にエンコードされたデ
ータがディスクに書き込まれる場合には、理想的には容
量まで満たされる制限された記憶領域容量を備える。し
たがって、画質を向上させ、ある特定の期間のビットレ
ートを引き上げる場合はつねに、品質が向上した期間に
必要な余分な記憶容量を供給するために、品質が低下し
たビデオのセクションが存在しなければならない。した
がって、本発明の実施例では、品質を改善するのに必要
なビットはビデオの別のセクションから取らなければな
らないため、別の期間に違う画質を割り当てないで、１
つの期間だけに高い画質を割り当てることは不可能であ
る。したがって、編集されたビデオのセグメントには、
バックグラウンドセクションとは異なり、時間的な手動
編集が適切に動作するために「保護つき」のセクション
とマークされていない少なくとも１つのセクションがな
ければならない。さらに、ユーザが優先順位を設定した
結果、同じ画質およびビットレートが、それらが選択さ
れるたびに生じることはないが、編集セグメント内のピ
クチャのビットの修正された数を求めるためのプロセス
を理解すると明らかになるように、ある特定のセクショ
ンの品質は、他のセクションの割り当てられた優先順位
および他のセクションの長さにも依存する。
本発明によるエンコードシステムにより活用される特
徴とは、視聴者が、自動エンコードプロセス中にまたは
後日、エンコードされたビデオをレビューすることがで
きるという点である。エンコードされたビデオが視聴者
に表示されるに従って、視聴者は、ビデオを停止した
り、関心のあるタイムコードを書き残したりしなくて
も、ビデオの関心のあるポイントや領域を記憶するため
に、リターンキーを押したり、画面に表示される「ボタ
ン」の上でグラフィックユーザインタフェースを「クリ
ック」するなどの機能を実行できる。これらの関心のあ
るポイントは、後日、ユーザが呼び出し、映画全体をレ
ビューしなくても綿密に検討することができる。これ
は、ユーザが変更を希望するエンコードビデオ内のポイ
ントを決定する便利で、効率的な方法となる。この機能
は、関心のあるポイントや領域が発生した時点での位置
に対応して、タイムコードを記憶することによって達成
される。
ユーザがステップ284で希望の品質設定値を入力して
から、ステップ286でユーザの入力に基づいてフレーム
ごとに修正されたビットが計算される。このプロセス
は、図14−16Bに関して詳細に記述される。ビデオの編
集セグメント内で時間のビットレートを変更するための
一般的な手順は、図14のフローチャートに説明される。
ユーザの入力に基づいてビットレートを計算するため
に、ステップ302では、−５と＋５の間の範囲内から10
と０の間の範囲内にあったユーザの入力をマッピングす
る。−５という初期入力は、10というマッピングされた
設定値に対応し、最小品質であり、＋５という入力は０
というマッピングされた設定値に対応し、最大画質であ
る。同様に、０という入力された品質選択は５というマ
ッピングされた設定値に対応するなどである。ステップ
302で実行されるマッピングの目的とは、割り当てられ
たビット数がマッピングされた設定値により乗算される
量−１のべきまで引き上げられるｅ（2.71828...）に比
例することである。この場合、優先順位の設定値がさら
に小さい場合のビット数が、優先順位が高い場合より下
回るように、さらにｅ−10はe0を下回る。目標ビットを
優先順位−４から＋４に対応して求めるプロセスは、図
16Aと図16Bに詳細に説明される。
ステップ304では、「保護つき」のセクションがある
かどうか判断される。保護つきセクションとは、画質を
以前の自動エンコードから変更してはならないセクショ
ンのことである。保護つきセクションがある場合は、フ
ローはステップ306に進み、そこで保護つきセクション
の再エンコードに割り当てられるビット数が最初の自動
エンコードの結果生じる以前のビット数に等しくなるよ
うに設定される。このようにして、保護つきセクション
のピクチャ品質は変化しない。
ステップ308では、最大品質または最小品質に設定さ
れるセクションがあるかどうか判断される。最大品質と
は、ユーザ入力＋５に対応し、最小品質とはユーザ入力
−５に対応する。最大画質および最小画質の場合、依然
としてビデオバッファの制約を満たし、エンコードされ
たビデオを記憶する媒体の記憶容量を上回らずに、それ
ぞれ最高品質のビデオと最低品質のビデオが設定された
エンコードされたビデオを入手するのが望ましい。最大
品質または最小品質に設定されるセクションがある場合
は、フローは、ステップ310に進み、そこで最大ケース
または最小ケースの修正ビット数が計算される。このプ
ロセスは図15に詳しく示される。
図15では、最大ケースおよび最小ケースに割り当てら
れたビット数を求めるプロセスが、マッピングされた優
先順位の10と０にそれぞれ割り当てられたビデオのセク
ションに最小レートおよび最大レートを割り当てること
によってステップ320で開始する。図14のステップ302で
は、このマッピングおよび時間的編集の記述の残りの部
分が実行され、それ以外の明確な指示がないかぎり、マ
ッピングされた優先順位が参照される。以下に記述され
るように、最大データレートはデコーダの能力により制
限を受け、毎秒1Mbitsとなり、最大デートレートは、示
しているように図13でユーザインタフェースによりブロ
ック図され、通常は毎秒3Mbitsとなる自動エンコードモ
ードの間に使用される最小ビットレートを下回ることも
あれば、上回ることもある。
それから、ステップ322では、マッピングされた優先
順位１から９が設定されたセクションがあるかどうか判
断される。つまり、最大品質または最小品質が割り当て
られていることに加え、ユーザが割り当てるそれ以外の
中間品質が存在するのである。それ以外のマッピングさ
れた優先順位がある場合には、フローはステップ324に
進み、１と９の間のマッピングされた優先順位が設定さ
れるすべてのセクションの平均ビットレートが計算され
る。この平均が許容範囲（最大ビットレートと最小ビッ
トレートの間）にない場合、フローはステップ328に進
む。ステップ328では、最大レート、つまり最高の画質
を実現するレートは、平均が最小レートを下回る場合に
低減される。最大レートを引き下げることにより、非最
大状況および非最小状況（マッピング優先順位１−９）
に使用できるビット数が多くなり、それにより平均が希
望の範囲内または希望の範囲近くとなる。代わりに、ス
テップ328では、平均が最大レートを上回る場合、最大
デートレートは引き上げられ、それにより非最大状況お
よび非最小状況（例えば、優先順位１−９）のビット数
が引き下げられる。ステップ328の後、フローは平均が
範囲内になるまでステップ324、326、および329が繰り
返される324に戻る。さらに、最大ビットレートおよび
最小ビットレートは、「保護つき」セクションが品質の
調整の前と同じビットを受け取ることを確実にするため
に調整される。
いったんステップ326で平均が範囲内にあると判断す
ると、フローはステップ330に進み、それぞれマッピン
グされた優先順位10と０が設定されるセクションに計算
された最小レートおよび最大レートが割り当てられる。
それから、ステップ332で、残りのビットは、保護つき
ではなく、最大状況や最小状況でもないセクションに分
配される。マッピングされた範囲１−９が設定されるビ
デオのセクションおよびデータレートの変更方法につい
ては、図16Aおよび図16Bに関して後で説明する。
ステップ322でマッピングされた優先順位１−９が設
定されるセクションが存在しない、つまり最大セクショ
ン、最小セクションまたは保護つきセクションだけが存
在すると判断した場合は、ステップ340で、ビットの最
終割当てが自動エンコードによるビットの初期割当てと
等しくなるまで、必要に応じて最小レートおよび最大レ
ートを調整する。ステップ340を実行する２通りの代替
方法がある。第１に、最大ビットレートRmaxは、例えば
毎秒8Mbitsで固定されている。総合的な編集セグメント
の合計ビットは理解されているため、最大デートレート
であるRminは、自動エンコードの間に獲得されると同じ
ビット総数を達成するために調整されるだけである。Rm
inを総ビットの以前の数を達成するために調整すること
ができない場合には、自動エンコードの間に獲得される
ビット総数を達成するために、最大データレートRmaxが
調整される。
代替策として、ステップ340では最大品質セクション
に優先順位１および最小品質セクションに優先順位９が
指定され、編集セグメントの期間の新しいビットレート
を求めるために、図16Aおよび図16Bにブロック図される
ビット割当てアルゴリズムが実行される。それから、ス
テップ342で図16Aおよび図16Bに従って計算されたデー
タレートが、以下に説明するように、最低指定品質およ
び最高指定品質が設定されるセクションに割り当てら
れ、図15のプロセスが終了する。
ステップ308およびステップ310が、必要な場合に実行
された後で、ステップ312で、すべてのセクションにマ
ッピングされた優先順位１−９が設定されるかどうか判
断する。これが当てはまると、フローはステップ314に
進み、図16Aおよび図16Bに詳説するように、マッピング
された優先順位の修正ビット数が計算される。
図16Aの最初のステップでは、使用される共通ビット
プールのサイズを決定する。当初、保護つきではないマ
ッピング優先順位１−９が設定されるすべてのセクショ
ンでゃ、一定数のビットが削除されている。再分配深度
と呼ばれる係数k1は、このために使用され、例えば、0.
4に設定され、以前に（つまり自動エンコード実行か
ら）割り当てられたビットの40％が、保護つきでもな
く、最大品質や最小品質によりマークされてもいないあ
らゆるセクションから削除されることになることを意味
する。
次に、ステップ362では、ユーザ選択品質がどの程度
品質に影響を及ぼすかを判断する。動的範囲係数と呼ば
れる変数k3が設定され、優先順位から生じることになる
品質変更を決定する。k3がどのように設定されるかに応
じて、例えば優先順位２は、品質での相対的に小さな向
上、または品質での比較的に大きな向上のようなさまざ
まな品質の変更を課す場合がある。通常、動的範囲係数
k3は、1.0に設定される。
ユーザ選択優先順位をビットの再分配で使用するに
は、形式exp（−優先順位/k3）の指数的な関係が使用さ
れる。指数内の動的範囲係数k3が、指数曲線の形状を決
定する。曲線は、動的範囲係数の値が大きくなるほど急
勾配となり、実質上、変化する優先順位が設定されたセ
クションの間で割当てし直したビットでの不均衡が強ま
る。この負の指数は、マッピングされた優先順位の絶対
値が増加するに従い（さらに低い優先順位セクショ
ン）、そのセクションに割り当てられるビットは減少す
る、つまりマッピング優先順位１は最高の優先順位で、
９まで数を引き上げると設定される優先順位が低くなる
ことを意味する。
ステップ364では、ユーザ選択優先順位が正規化され
る。つまり、ユーザが選択した優先順位が、各セクショ
ンの相対優先順位を決定するために使用される。まず、
Eiが計算される。
Ei＝exp（−pi/k3） （５） この場合、piとはマッピングされたユーザ選択優先順位
で、ｉは、保護つきまたは最大品質や最小品質が設定さ
れる期間を除く、編集セグメント内のセクション期間で
ある。次に、優先順位製機化係数k2が、以下のように計
算される。
この場合、Ｎはセクション数である。優先順位正規化係
数は、優先順位に従って割当てし直されたすべてのビッ
トの合計が、つねに、ビットの使用可能な共通プールに
等しくなることを確実にするために必要とされる。
したがって、各セクションの相対優先順位は、以下の
ように計算される。
Ri＝Ei/k2 （７） Riはｉ番目のセクションの相対優先順位の端数であるの
で、すべてのRiの求和は単一となる。
ステップ366でセクションのサイズが正規化される。
割り当てられた優先順位が設定される期間のサイズは異
なり、ビットはさまざまなセクションのサイズに比例し
て分配されなければならないので、これが必要である。
第１に、編集済みフレーム総数での各期間内のフレーム
数の端数Ti（保護つきではない、非最大、または非最小
優先順位が設定されるフレーム）は、以下に従い求めら
れる。
Ti＝Ni/N （８） この場合、Niはｉ番目の期間内のフレーム数であり、Ｎ
は編集セグメントのフレーム総数である。つまり、改変
され、保護されておらず、最大でも最小でもない優先順
位ではない）優先順位が指定されるすべてのフレームで
ある。したがって、サイズ正規家係数k3は、以下の等式
に従い計算される。
この場合、Ｎはセクション数である。図16Aのステップ3
66から、フローは図16Bのステップ368に進む。
図16Bでは、ステップ368で、以下の等式に従い、ビッ
トの共通プールが求められる。
この場合、Biはｉ番目のセクションの自動エンコード手
順の間に使用されたビット数に図15のステップ332で分
配されたあらゆるビットを加算したビット総数である。
求和は「Ｎ」セクション上である。
それから、ステップ370で、以下の等式に従い各セク
ションに割り当れられるビットのターゲット数を求め
る。
Fi＝Ｃ＊Ti＊Ri/k4＋（１−k1）＊Bi （11） 各セクションのビット総数Fiは、ビットの共通プールの
パーセンテージにビットの共通プールに与えられたビッ
ト分低減されたビット（Bi）の元の数を加算したものに
等しい。ビットの共通プールからのビットのパーセンテ
ージは、各セクションのフレーム総数の端数（Ti）、セ
クションの相対優先順位（Ri）、およびセクションのそ
れぞれに総計されるフレームおその対応する端数で乗算
されるセクションの優先順位に依存するサイズ正規化係
数（k3）に基づいている。
ステップ370で計算されたセクションごとに割り当て
られたビットのターゲット数が最大デートレートと最小
データレートの間にない場合がある。これが当てはまる
と、ステップ372で、再分配深度k1が0.01低減され、フ
ローは、ステップ368のビットの共通プールを計算し直
し、ステップ370のビットのターゲット数を計算し直す
ために戻る。ステップ368、370、372および374のループ
が、ステップ370で計算されたビットのターゲット数が
最大データレートと最小データレートの間になるまで実
行される。
それから、ステップ376では、ビット位取り因数Siお
よびイントラフレームおよび非イントラフレームが、希
望の品質を獲得するために異なるビット数を必要とす
る。まず、ビット位取り因数Siが、以下の等式に従い計
算される。
Si＝Fi/Bi （12） 次に、イントラピクチャおよび非イントラピクチャの位
取り因数が計算される。イントラ位取り因数SIiは、以
下の等式に従い計算される。
SIi＝Si−（If＊Si′） （13） 大きなイントラフレームにより、バッファアンダフロー
が発生する可能性があり、イントラ因数Ifは、イントラ
ピクチャのビット割当てでの変動を、If＝0.8のときに2
0％に制限することによって安全率を示す（つまり、SIi
は範囲0.8＜SIi＜1.2に制限される）。Si'−Si−1.0で
あることに注意する。非イントラビット位取り因数SNi
は、以下のように計算される。
SNi＝Si−（−If＊Si′＊BIi/BNi） （14） この場合、BIiおよびBniは、ピクチャタイプによってｉ
番目のセクションで合計される総イントラビットと非イ
ントラビットである。
最後に、フレームごとに使用されるビット数は、適切
な食らい取り因数（イントラ位取り因数または非イント
ラ位取り因数のどちらか）で乗算される元のビット数を
使用して求められる。それから、図16B（および図14）
のプロセスが終了する。
この時点で、各フレームの修正されたビット数が計算
され、図12のステップ286が完了する。ただし、フレー
ムの変更済みビット数によりバッファアンダフローが生
じたり、編集セグメントの立ち下がり端でのビット数の
占有が、編集セグメントの外のそれ以降のフレームがア
ンダフローするように変化する場合がある。これらの状
況は、必要ならば、図17に詳説される図12のステップ28
8で調べ、訂正される。
図17は、バッファアンダフローがないか確認、訂正
し、編集セグメントの立ち下がり縁でのビット再割当て
のための問題を確認、訂正するプロセスを説明する。図
17では、ステップ390で編集セグメントのフレームのそ
れぞれのビット割当てをスキャンする。それから、ステ
ップ392で、前述のVBVモデルを使用する新しいビットの
分配のアンダフローがないか確認する。アンダフロー問
題が存在し（u_flowリスト）、各アンダフローを排除す
るのに必要なビット数が求められ、u_valに記憶される
ポイントのリストが作成される。アンダフローが、多す
ぎるビットによって表されるピクチャのために発生する
ことを頭に入れていおくことが重要である。多数のビッ
トで表される高品質のピクチャがデコーダによってバッ
ファから読み出される場合は、ピクチャが復号化される
ときにバッファから多数のビットが削除され、これらの
ビットは十分に速く再び満たすことはできない。したが
って、アンダフローを排除するためには、ビットはピク
チャ空削除される。さらに、ステップ392では、バッフ
ァがいっぱいであるポイントのリストが生成され、これ
らのポイントはo_flowに記憶される。前述したように、
バッファがいっぱいになると、データはバッファに伝送
されなくなるので、バッファがいっぱいであっても問題
はないことに注意する。
ステップ394では、編集セグメントの立ち下がり縁で
のバッファ占有を調べる。動作のVBRモードでは、編集
済みビデオセグメントの立ち下がり縁でのバッファ占有
が、編集済みセグメントがまったく同じビット数で置き
換えられていても、修正された実行のバッファ占有とは
異なる可能性がある。これは、VBR用のVBVモデルの特異
性から生じる。したがって、バッファ占有の制約を調べ
ることが重要である。編集セグメントの立ち下がり縁で
のバッファ占有がビットの再分配の前とまったく同じ
か、あるいさらに高い場合に、問題は存在しないことを
示すのはかなり簡単である。バッファ占有が以前とまっ
たく同じ場合には、それ以降のフレームの占有も、VBV
違反がないかすでに確認済みの以前の実行とまったく同
じままとなる。占有が以前より高い場合、バッファがそ
れ以降のフレームの間にいっぱいになる可能性があり、
それは、バッファがいっぱいな場合、データはバッファ
に送られなくなり、アンダフローは発生しないので完全
に許容できる状態である。しかし、以前の実行と比較し
て、バッファ占有が立ち下がり縁でさらに低い場合に、
第３のケースが生じる。これは、それ以降のフレームで
バッファアンダフローを作成する可能性があり、密接に
調べる必要がある。
編集セグメントの最後のフレームを、バッファセグメン
トの外側でのフレームのバッファアンダフローを防ぐた
めに処理できる２通りの方法がある。第１のアプローチ
は、２つの内で簡単な方である。編集セグメントの最後
のフレームのビット数により、（ログファイルに記憶さ
れる）元のエンコードより大きいまたは元のエンコード
に等しいバッファ占有が生じる場合、アンダフロー問題
は存在せず、したがって処置を講じる必要はない。編集
セグメントの最後のフレームのバッファ内のビット数
が、最初にエンコードされたセグメントのバッファ内の
ビット数を下回る場合、ビットのこの低減された数によ
り、編集セグメントの後のフレームの内容に応じて、編
集セグメントの外側のフレームのアンダフローが生じる
場合もあれば、生じない場合もある。アンダフローが発
生しないように防ぐのに必要となるビット数を求める代
わりに、編集セグメントの最後のセグメントのバッファ
の占有が、元のエンコードの場合と同じになるように調
整されるだけである。安全性の目的から、編集セグメン
トの最後のバッファ占有または十分さは、アンダフロー
の可能性がないことを保証するために元のエンコードの
占有の10％上まで引き上げることができる。編集セグメ
ントの最後のフレームのバッファ占有を元のエンコード
のレベルになるように引き上げる必要がある場合は、終
了フレームのビット数をステップ398で実行したように
低減する必要がある。最後のフレームはアンダフローポ
イントとして処理され、u_flowリストに格納され、バッ
ファレベルの元のエンコードのレベルまで引き上げるた
めに最後のフレームから排除する必要があるビット数が
u_valに付加される。
編集セグメントの再エンコードにより生じるアンダフ
ローを処理するための第２のアプローチは、編集フレー
ムの外側でバッファアンダフロー状況を引き起こさない
編集セグメントの最後のフレームのバッファの最小可能
レベルを概算する反復プロセスである。これは、元のエ
ンコードのバッファ占有と編集セグメントの最後のフレ
ームの再エンコードのバッファ占有の間の最大差異を概
算するプロセスにより実行される。
図18にブロック図されるフローチャートを見ると、元
のエンコードバッファ占有にはB0が割り当てられ、元の
エンコードのログファイルに記憶されていた。ｉ＝1...
nの場合に編集セグメントの境界を超えたフレーム
「ｉ」でのバッファ占有はBiである。この場合、「ｎ」
はエンコードされる映画内の最後のフレームに相当す
る。再エンコードのバッファ占有が、連続するフレーム
のどれかでアンダフロー状況を引き起こさずに元のエン
コードからどの程度低くなることができるかは、再エン
コードのバッファレベルを、少なくとも、それが元のエ
ンコードのためであったポイントに設定するだけの第１
アプローチとは対照的に決定されなければならない。こ
の条件を満たす境界での新しいさらに低いバッファ占有
をB0'にする。これは、編集セグメント境界での最小許
容バッファ占有である。以前の実行のバッファ占有より
低いバッファ占有を設定する可能性は、差異が、編集セ
グメント後のもっと遅いフレーム間隔で吸収されるた
め、アンダフローが発生しないという事実から生じる。
図18のステップ420で開始し、編集セグメントの最後
のフレームの再エンコードされたビデオのバッファ占有
B0'が、将来アンダフローを引き起こすことなくゼロで
あると想定する。これは、バッファ占有が、アンダフロ
ーを防ぐためにはより高くなければならないが、バッフ
ァ占有はゼロを下回ってはならない可能性があるため、
B0'に関してもっとも自由な概算である。しかし、図18
のプロセスは、再エンコードされたの編集セグメントの
最後のフレームのゼロの占有によりアンダフローが生じ
るかどうか、および生じる場合、アンダフローを引き起
こさない値B0'が見つかるまで、編集セグメントの最後
でバッファ占有を増加させるかどうかを確認するために
チェックする。
図18のプロセスでは、元のエンコードと再エンコード
の間の概算バッファ占有差異「Ｘ」を評価する。
Ｘ′＝B0−B0′ （15） 差異「Ｘ」は、「Ｘ」がチェックされ、必要に応じてア
ンダフローのすべての可能性が排除されるまで調整され
ていることが保証されるまで、最終的に決定できないの
で概算と呼ばれる。図18の手順は、境界フレーム直後の
フレーム、つまりｉ＝１で開始して、一度に１フレーム
づつ進む。B0'がゼロに等しい第１フレームの場合、概
算差異は、ステップ422で計算されるように、元のエン
コードの第１フレームのバッファ占有の値であるにすぎ
ない。
Ｘ′＝B0 （16） 次に、ステップ424では、境界フレームの右側にある
フレームにより吸収されるビット数を求める。吸収され
るビット数とは、元のエンコードの編集セグメント後の
フレームによりバッファの中に格納される場合もある
が、実際には、バッファがいっぱいであるためにさらに
ビットを受け入れることができなかったために元のエン
コードの間バッファに格納されなかったビットを指す場
合に使われる言い回しである。量Δtiは、バッファがそ
の間いっぱいであったが、B0'の値が引き下げられたた
めに現在では追加ビットを受け入れることができる編集
セグメントの後の元のエンコードのｉ番目のフレームの
期間を表す。バッファはフレーム全体でいっぱいとなる
ことはできず、ゼロより大きいか、ゼロに等しいため、
期間Δtiはフレームの期間を下回らなければならない。
元のエンコードの間にバッファが一度もいっぱいでなか
った場合には、期間Δtiはゼロである。したがって、 1/P＞Δti０ （17） この場合、‘P'は毎秒フレーム単位で測定され、通常、
毎秒30フレームであるピクチャレートである。バッファ
がいっぱいである結果、編集セグメントの右側で吸収さ
れるビット総数は、以下のように計算される。
この場合、Rmaxはバッファの充填レートである。
ステップ426では、編集セグメントの最後のフレーム
のバッファ占有レベルを求めるための手順が終了できる
かどうかを判断する。ｉ番目のフレームによって吸収さ
れるビットの合計がX'を上回る、つまりai＞X'である場
合は、バッファアンダフローが発生しないで、ステップ
428が実行されるように、バッファはもっと遅いフレー
ムで満たされることができるため、手順は停止される。
代わりに、最後のフレームｎに到達すると（Ｉ＝ｎ）、
ビデオの最後までX'の概算値によりアンダフロー問題が
生じることはない。
ステップ426に対する回答が「ノー」の場合、ステッ
プ430で吸収されずに残るビット数biが計算される。
bi＝Ｘ′−ai （19） それから、ステップ432では、bi＞Biであるかを判断す
る。この場合、Biとは編集セグメントの後のｉ番目のフ
レームのバッファ占有である。bi＞Biの場合、現在のバ
ッファ占有「Bi」が許容するより多くのビットが吸収さ
れないで残っているため、差異の概算値、X'は大きすぎ
て、アンダフローを生じさせる。したがって、吸収され
ずに残るビットの間では、「Bi」ビットだけがアンダフ
ローを引き起こさずに吸収できる。次に、差異の概算X'
はステップ434で改訂されなければならない。ステップ4
34では、X'の改訂された概算は、吸収されずに残るビッ
トに吸収されたビットを加算したものとして計算され
る。
Ｘ′＝Bi＋ai （20） ステップ432で、Bi＜Biであると判断する場合、ｉ番目
のフレームでのバッファ占有は吸収されないで残るビッ
トより大きいので、アンダフローの問題はなく、X'の概
算を変更する必要はなく、フローはステップ436に進
む。ステップ436では、次のフレームが調べられ（ｉは
１で増分される）、ステップ424、426、430、432、43
4、および436のループが、ステップ426での判断に肯定
的な回答が得られるまで繰り返される。
ステップ426に肯定的な回答が得られると、概算X'は
受け入れられるため、ステップ428では、編集セグメン
トの境界での最小許容バッファ占有B0'は以下の通りで
ある。
B0′＝B0−Ｘ′ （21） 編集セグメントの再エンコードされた最後のフレームの
実際のバッファ占有がB0'を下回る場合、アンダフロー
状況がビットの再割当てのために発生する。この場合、
最後のフレームはu_flowリスト内のアンダフローポイン
トとしてマークされ、アンダフロー状況（変更済みビデ
オのビット数と結果的に最小許容バッファ占有を生じさ
せるビット数B0'の間の差異）を防ぐための編集セグメ
ントの最後のフレームから削除する必要があるビット数
は、ステップ392について記述されたのと同様にu_valの
中に格納される。
本発明のエンコードシステムの場合、ビデオの中のす
べてのポイントのバッファ占有を知っていることが望ま
しく、この情報はログファイルに記憶されることに注記
すべきである。しかし、編集セグメントの最後のフレー
ムでのバッファ占有を引き下げる場合には、編集セグメ
ント後のフレームのバッファ占有が変更され、ログファ
イル内のバッファ占有情報が不正確になり、そのため編
集セグメント後のフレームのバッファ占有を計算し直し
是正処置を講じる必要があるだろう。
図17のプロセスに戻って参照すると、ステップ396で
は、u_flowリスト内にエントリがあるかどうかを判断す
る。ない場合は、アンダフロー問題は存在せず、図17の
プロセスは終了する。u_flowリストにエントリがある場
合は、フローはステップ398に進み、u_flowリスト内の
各位置の左側からもっとも近いo_flowポイントまでのセ
クションが保護つきとマークされ、u_val内の対応する
ビット数に等しいビットがこれらのセクションから削除
される。バッファアンダフローは１つ以上のフレーム内
の多すぎるビットにより引き起こされるため、フレーム
内のビット数を低減すると、アンダフロー問題が解決さ
れる。アンダフローを防止するために削除されるビット
が原因で画質に著しい低下が生じないようにするため
に、ビットはアンダフローポイントだけから削除される
のではなく、バッファがいっぱいであった最後のポイン
トまで戻ってすべてのフレームから均一に削除される。
これが、アンダフローを防止しながらも最高品質のビデ
オを獲得する方法となる。
その後、ステップ398で削除されるこれらのビット
は、ステップ400で保護つきとマークされないセクショ
ンに均一に分配され、図17のプロセスがもう一度開始す
る。ステップ400でビットを分配しても、アンダフロー
が問題ではなくなるという保証にはならないため、図17
のプロセス全体を繰り返し使用して、アンダフロー状況
がないか再度確認する必要がある。
図17のプロセスが完了した後、図12のステップ288は
完了し、図12のステップ290が実行される。ステップ290
では、ステップ282で求められるレート−量子化関数を
使用してフレームごとの平均量子化値を求める。希望さ
れるビットの数は、以前ステップ286で計算され、ステ
ップ288でアンダフロー問題が存在するかどうかを確認
するためにチェックされたが、エンコードされたデータ
に希望のビット数が設定されるようにデータを再エンコ
ードするためには、量子化値を求めなければならない。
これは、レート−量子化関数を求め、レートを捜し出す
ことで量子化値を求めるだけで、決定される。
ピクチャ単位で量子化レベルを求める場合は、レート
−量子化関数（RQF）は、ステップ282で求められた。こ
の関数を概算するには、ピクチャごとに２つのデータポ
イントが必要とされる。RQFは以下の通りである。
Ｒ＝Ｘ＊Q(-g)＋Ｈ （22） この場合、Ｒは１つのピクチャをコーディングするため
に使用されるビット数、Ｑは量子化スケール、Ｘ、ｇ、
およびＨはピクチャ単位のコーディング特性パラメータ
である。Ｈは、Ｈがヘッダにより消費されるビット、運
動ベクタ、DC係数などとなるように、量子化スケールと
は独立したビットを表す。
エンコーダの最初の実行は、ビデオシーケンス内のコ
ーディングされたピクチャごとに２つのデータポイント
を作成するために使用できる。これは、ピクチャ内のマ
クロブロックごとに使用される１組の交互の量子化スケ
ールにより実行できる。これらは、レート−量子化モデ
ルパラメータ「Ｘ」と「ｇ」を計算するために処理され
る。これらの２つのパラメータは、Ｈの値とともに、コ
ーディングされたビデオのフレームごとに１つ、ファイ
ル内に記憶できる。
ビデオのある特定のコーディングされたフレームに割
り当てられるターゲットビットを作り出す量子化スケー
ルを求めるために、「Ｒ」がターゲットビットを表す前
記等式が使用され、（Ｘ、ｇ、Ｈ）の値が前記のログフ
ァイルである可能性がある記憶されたデータファイルか
ら読み取られる。この等式に最適の「Ｑ」の値が希望の
量子化スケールである。
それから、ステップ292でステップ290で求められた量
子化値を使用してビデオの変更されたセクションを再エ
ンコードする。再エンコードの間に特別な手順が講じら
れない限り、既にエンコードされたビデオの再エンコー
ドセグメントによりエンコードによって問題が生じる可
能性があることに注記すべきである。エンコード構造お
よび復号化構造を回避するための再エンコードプロセス
の詳細は、以下の別個の項に説明する。ビデオは再エン
コードされてから、以前エンコードされたビデオのビッ
トストリームに代入され、プロセスは終了する。
図５に関して記述するように、ユーザは、ビデオが許
容できるかどうかを判断するために、ビデオが再エンコ
ードされた後でビデオを表示することができる。ビデオ
が許容できない場合には、ユーザは新規にエンコードさ
れたビデオを受け入れる必要はなく、既にエンコードさ
れたビデオの使用を続けることができる。ユーザが新規
にエンコードされたビデオが望ましいとわかったら、新
規にエンコードされたビデオで既にエンコードされたビ
デオは置き換えられる。それから、ユーザは、図５に説
明するように、ビデオの新しいセグメントを、空間的
に、または時間的に編集できる。
図19Aおよび図19Bでは、オリジナルビデオエンコード
からの、およびユーザが手動品質優先順位を入力した後
のビットレートの２つの異なる例を示している。図19A
および図19Bでは、（メガビットを表す106のスケールで
の）ビットレートが、ピクチャのグループ番号に対して
プロットされる。ブロック図される例では、１つのGOP
に15のピクチャが格納され、各GOPは0.5秒ごとに表示さ
れる。また、実線は元のエンコードを示し、破線はユー
ザが手動で画質を調整した後のエンコードを示す。
図19Aでは、優先順位２、−３、３、０および保護つ
きが設定される５種類の異なった優先順位領域のあるエ
ンコードを説明する。優先順位３が設定される期間は、
再エンコードの後に、元のエンコードに比較してさらに
多くのビットを使用する。優先順位はただ単に互いに相
関しているだけなので、優先順位２が設定されるセクシ
ョンのビットレートは、著しく上昇していないが、−３
および０のセクションではビットレートは低下してい
る。保護つきセクションには、再エンコードの前に存在
したのと類似した再エンコード後のビットレートが設定
されなければならない。
図19Bは、それぞれユーザが選択した優先順位０、
２、０、４、および０が設定された領域のある第２例で
ある。ここでも、優先順位は互いに相関しているので、
優先順位０は、ビットレートが未変更であることを意味
するのではなく、単に、優先順位２と４が設定されるそ
れ以外のセクションに相対する優先順位である。優先順
位４にが設定されるセクションに高いビットレートを指
定するために、ユーザ選択優先順位０が設定されるこれ
らのセクションは低減され、優先順位２が設定されるセ
クションには、エンコードの前後とほぼ同じビットレー
トが設定される。
時間的手動編集の処理は、本発明の実施例の図1Aのワ
ークステーション30で発生する。ただし、時間的手動編
集はビデオエンコードプロセスの間は発生しないので、
ワークステーション10はビデオエンコードプロセスのレ
ートを低下させないで時間的手動編集計算を実行でき
る。
本発明が、編集セグメント内でのさまざまな時間セグ
メントの画質の変更として詳しく記述されることに注記
すべきである。言うまでもなく、同じ時間セグメント内
にないピクチャのセクションの質の変更を許可するため
にこの概念を拡張することは明らかに可能である。例え
ば、映画の最後の５分間の質を最初の５分間を犠牲にし
て向上させるために、本発明の教示を適用することがで
きる。以下に説明するように、単独編集セグメントの外
側にある期間の品質を変更することが希望される場合、
ユーザは、関心のあるセグメントを連続して表示し、チ
ェックし、ビットを割当てし直し、各セクションの立ち
下がり縁でのバッファ占有だけではなく、映画の合計ビ
ットに関係する制約が規定の限度内にあることを確認す
る必要があるだろう。
時間的手動編集は、編集セグメントの元のエンコード
のビット数を、編集セグメントの再エンコードのビット
数と同じにしておくこととして記述されてきた。しか
し、希望される場合には、再エンコードされたの編集セ
グメントが消費するビットをさらに少なくしたり、十分
な記憶容量が存在する場合には、再エンコードされたの
編集セグメントのビット数が元のエンコードのビット数
を上回ることがある。また、ビデオの元のエンコード
を、それにより最終デジタル記憶媒体上の使用できるす
べての記憶スペースが消費されないように実行すること
もできる。したがって、再エンコード後のビット総数
は、元を上回るまたは下回る任意の量、例えば５％と１
％多いまたは少ないビットを含む、０％と20％の間で多
いか少ない量を消費できる。
時間的手動編集の説明は、ビデオエンコード後にビデ
オを変更することに関して行われてきた。しかし、本明
細書に記載される教示は、初期エンコードプロセスがな
かったシステムにも適用できる。さらに、共通ビットプ
ールの使用に関する時間的手動編集の教示は、以下に示
すビデオフレームの空間手動編集の概念に適用できる。
また、空間手動編集の個々のフレームでの動作様式は、
以下に説明するように、上質の時間的編集を達成するた
めにフレームの列に適用できる。
B. フレームの領域内での品質の変更 図20には、１つ以上のフレーム内で領域の品質を変え
るための一般的な手順を説明する。開始後、ステップ45
0では、システム構成要素および一般的なシステム動作
に関する項に説明するように、MPEGフォーマットやそれ
以外のフォーマットのような圧縮済みデジタルフォーマ
ットに入力ビデオをエンコードする自動ビデオエンコー
ドを実行する。ステップ452では、ユーザにエンコード
されたビデオが表示され、ステップ454では、ユーザは
１つ以上のフレーム内の領域の品質の変更を示すコマン
ドを入力できる。
図21には、図１に示されるビデオディスプレイモニタ
61のようなモニタ上で表示されるビデオのフレームがブ
ロック図される。図21のビデオのフレームは、木465、
人467、鳥468、および２つの雲471があるとして描かれ
る。
図21では、フレーム内の領域が、木465を取り囲む領
域466、人を取り囲む領域469、および領域479、重複領
域469を含めて、ならびに鳥468および人467の頭を含め
て限定される。これらの領域は、図1Aに示されるグラフ
ィックポインティングデバイス33を使用して描画され
た。図21でユーザが設定した品質優先順位には、木を含
む領域466の−５、人を含む領域469の＋２、および鳥と
人の頭を含む領域470の＋４が含まれる場合がある。図2
1内のビデオのフレームのそれ以外の領域には、ユーザ
定義優先順位は指定されず、したがって、「無定義」優
先順位が指定される。後述するように、「無定義」領域
とは、ユーザ定義優先順位が指定されるフレームのエン
コードのビット総数を、フレームの元のエンコードの結
果生じるビット数に等しくなるように調整する目的で、
ユーザ定義領域の量子化レベルを変更した後に最初に修
正される領域のことである。ユーザがフレームの領域の
品質の変更を希望しない場合、これらの領域は、ユーザ
によって優先順位ゼロが設定されるとマークされるだろ
う。
本発明の実施例では、ビデトのフレーム内で優先順位
領域を限定すると、ユーザは、当初グラフィックポイン
ティングデバイスを使用して、ビデオの表示されたフレ
ーム上に矩形領域を作成する。後で定義される領域は先
に定義される領域の上に格納され、先に定義される領域
と重複することがある。本発明が矩形領域を限定するこ
とに関して説明していても、本発明の教示を、円や楕円
のような曲線を含む領域、八角形や六角形のような多角
形の領域、またはそれ以外の、曲線または直線あるいは
その両方を含むユーザが定義する形状にも適用できるの
は言うまでもない。ユーザは、各領域を定義してから、
領域の優先順位を定義する。代わりに、ユーザは、すべ
ての領域の形状を定義し、その後にこれらの領域に優先
順位を指定することができる。
ユーザが初期に領域内で優先順位を定義する場合、領
域はピクセル位置に対応する。ただし、以下に示される
優先順位を割り当てるプロセスは、マクロブロック単位
で動作し、マクロブロックはデジタルビデオエンコード
に使用される単位である。したがって、マクロブロック
がユーザ定義領域内または外周上にある場合、そのマク
ロブロックには領域の優先順位が割り当てられる。従来
の技術の当業者は、単純な数学を利用してユーザ定義領
域に対応するマクロブロックを求めることができる。ユ
ーザ定義領域の外周の場合は、領域の外辺部がマクロブ
ロックに交差する場合に、ユーザ定義領域内に単にマク
ロブロックを入れる代替策として、マクロブロックを領
域内に入れるかどうかを判断するさらに精密なプロセス
が、ユーザ定義領域内にマクロブロックの50％以上があ
る場合には、ユーザ定義領域内にマクロブロックを入れ
て、ユーザ定義領域内にマクロブロックの50％以下があ
る場合には、ユーザ定義領域からマクロブロックを排除
することによって実行することができる。
領域およびその優先順位が定義された後で、ユーザ
は、希望する場合には領域の重複を変更できる。例え
ば、ユーザは図21の領域469の上で事前に決定されたフ
ァンクションキーを押しながら「クリック」して、領域
469を領域470の上になるように変更し、人全体に領域46
9の優先順位が設定され、鳥468だけに領域470に割り当
てられる優先順位が設定されるようにする。重複領域に
は、ユーザによって入力されるときにスタック優先順位
が指定される。このスタック優先順位は、ユーザ定義領
域が追加、削除、または修正されるときに、必要に応じ
て調整される。
領域が定義された後で、ユーザは、希望に応じて領域
の形状を作りなおしたり、グラフィックポインティング
デバイス33を使用して領域を移動することがもできるま
た、ユーザにより定義された領域は、グラフィックポイ
ンティングデバイス33を使用して削除できる。領域が削
除されていても、ユーザ定義優先順位だけが削除されて
いるのであり、言うまでもなく削除中の領域内のオリジ
ナルビデオデータは削除されていないことに注記すべき
である。
期間で品質を変更することについての前記項に説明す
るように、自動エンコードの間または自動エンコードの
後で、ユーザはエンコードビデオをレビューすることが
でき、関心のあるフレームまたは期間が発生するたび
に、ユーザはキーボードで単にキーを押したり、入力を
別の装置から入力し、特定のフレームまたは期間が重要
であることを示す。後で、ユーザはそのフレームまたは
期間に戻って、さらに時間を費やして期間を検討し、希
望に応じてその期間内で特徴を変えることができる。
ビデオのフレーム内の領域をユーザが定義するプロセ
スは、ユーザによって修正されるデータのフレームが１
つしかない単純なケースについて前述された。しかし、
ビデオシーケンス内のデータのフレームを一度に１フレ
ームづつ作業するのはきわめて単調で退屈であるため、
本発明を使用すると、ユーザは最初の期間で領域を定義
し、後の期間で対応する領域を定義できるようになる。
それ以降、最初のフレームと最後のフレームの中間のビ
デオのすべてのフレームに、ユーザにより最初のフレー
ムと最後のフレームに定義される領域に対応する領域が
作成され、最初の領域または最後の領域あるいはその両
方の領域と同じ優先順位、もしくは最初のフレームと最
後のフレームの優先順位に基づく優先順位が指定される
ように、補間プロセスが実行される。さらに、重複領域
のスタック優先順位は、補間プロセスの間維持される。
中間フレームにその領域が自動的に作成された後、ユー
ザは、希望に応じて、優先順位、領域の形状を変更する
ことにより改変したり、新しい領域を追加したり、領域
を削除することができる。
以下に、補間プロセスがどのように動作するのかの例
を示す。ユーザに時間インスタンスt_1とt_nでの２つの
フレームの優先順位領域を選択させる。ユーザがフレー
ムt_1に領域を、t_nに対応する領域を割り当てた後、こ
れら２つの領域の座標は、t_1とt_nの間のすべてのフレ
ームの領域仕様を獲得するために中間フレーム上で補間
させる。定義中の実際の領域に補間を実行できるだけで
はなく、補間は品質優先順位にも実行できる。補間プロ
セスには、単純な一時関数が使用される。ユーザがポイ
ントa_1のあるフレームt_1の領域Ａを定義し、フレーム
t_nの対応する領域Ａに対応するポイントa_nがあり、中
間フレームa_2、a_3...a_（ｎ−１）内の対応するポイ
ントに、以下のように定義される水平縦軸 a_i（ｈ）＝a_1（ｈ）＋（a_n（ｈ）−a_1（ｈ））×（ｉ−１）／（ｎ−１）
（23） および以下のような垂直縦軸 a_i（ｖ）＝a_1（ｖ）＋（a_n（ｖ）−a_1（ｖ））×（ｉ−１）／（ｎ−１）
（24） があると仮定する。この場合ｈとｖは問題のポイントの
水平縦軸と垂直縦軸に対応する。このプロセスでは、領
域を限定する多角形の頂点だけが使用され、頂点は補間
される。それから、領域は頂点により限定される。線形
補間以外の他の補間技法も実行できる。
前記補間プロセスは、編集対象のセグメント内のすべ
てのフレームのすべての領域が適切に定義されるまで、
必要な回数実行できる。さらにこのプロセスは、ユーザ
が中間プロセスの補間で決定された領域を移動したり、
領域のサイズを変更することができ、補間プロセスが最
初のフレームと改変された中間プロセスに、それから中
間とフレームと最後のプロセスにもう一度実行できるよ
うに発生する微調整プロセスにより再帰的となる。補間
プロセスは、おもに、フレームを横切って移動する領域
を定義するために使用される。しかし、本発明には、静
止しており、フレームの列内で使用される領域を一度定
義することも含まれる。
領域が定義され、ユーザ定義優先順位が入力された
後、各マクロブロックの新しい量子化値は、ユーザによ
って入力された優先順位およびマクロブロックの古い量
子化値に基づいて、図20のステップ456で概算される
か、求められる。これは、ユーザ選択優先順位のそれぞ
れで使用される元の量子化値の端数を示している図22に
説明される関係に従って決定される。例えば、ユーザが
優先順位ゼロを入力すると、使用される元の量子化値の
結果として生じる端数は１であり、元の量子化値に変更
がないことを意味する。ユーザが優先順位−３を選択す
ると、元の量子化値の端数は1.58となり、優先順位３が
設定されるマクロブロックの元の量子化値が、結果とし
て生じる量子化値を求めるために、1.58により乗算され
ることを意味する。優先順位−３は品質の低下を意味す
るので、量子化レベルは、品質の低下を達成するために
量子化レベルを引き上げる、つまりマクロブロックに使
用されるビットはさらに少なくなければならない。反対
に、３のような正の優先順位がユーザによって入力され
ると、元の自動号化からのマクロブロックの量子化値は
量子化レベルを引き下げる0.42で乗算される。引き下げ
られた量子化レベルは、マクロブロック内のイメージを
表すにはさらに多くのビットが必要とされ、したがっ
て、画質が向上することを意味する。図22に示される線
上のポイントは（−5,100）、（−4,1.75）、（−3,1.5
8）、（−2,1.42）、（−1,1.25）、（0,1）、（1,0.7
2）、（2,0.58）、（3,0.42）、（4,0.25）、および
（5,0.01）である。図22に説明されるマッピングは、ｑ
−レベルと優先順位の間のこの方向の線形関係に基づい
ている。図22で求められたポイントは、実験を通して求
められ、さまざまな端数は希望に応じてユーザ選択優先
順位と使用できる。
優先順位−５と５はそれぞれ最低可能品質および最高
可能品質を獲得することを目的とする。最低品質は、非
線形量子化スケールが使用されるときの最大許容量子化
レベル112、および線形量子化スケールがMPEG−２エン
コードに使用されるときの62の結果である。また、最高
品質を達成するために使用される最低量子化レベルは１
である。したがって、図22に説明される関係からは、実
際の許容ｑスケールから離れた値が生じることがある
が、これらの計算されたｑ値は単にその飽和レベルで格
納されるだけである。例えば、当初、マクロブロックに
量子化スケール20が設定され、ユーザがマクロブロック
の優先順位を−５となるように選択すると想定してくだ
さい。100で乗算される量子化値20が、量子化スケール
から離れた新しい量子化レベル2,000を生み出すため、
最大量子化値または飽和量子化値が使用される。
前記のように飽和レベルを使用することに加えて、本
発明では、MPEGエンコードのＩフレーム、Ｐフレーム、
およびＢフレームの予防措置を講じる。本発明は、Ｉタ
イプフレームの最高量子化レベルを、非線形量子化ケー
スの場合96となるように、線形量子化スケール使用時に
は58となるように制限する。同様に、Ｂ型フレームおよ
びＰ型フレームの最高量子化レベルは、非線形量子化ス
ケールの場合は112、線形量子化スケールの場合は62で
ある。線形量子化スケールおよび非線形量子化スケール
は、MPEG規格で定義される。Ｉフレーム型、Ｐフレーム
型、およびＢフレーム型のそれぞれに使用される最低量
子化レベルは１である。言うまでもなく、図22にブロッ
ク図されるユーザ定義入力および元の量子化値の端数
は、ユーザの要件を満たすために修正できる。
ステップ456でマクロブロックごとに新規量子化値が
計算した後、ステップ458で、ステップ456で求められた
量子化器値の結果生じるフレームごとにビット数を求め
る。本発明の実施例では、他の領域の品質は低下した
が、いくつかの領域の品質が向上した後で、各フレーム
に同じビット数を獲得しなければならないため、このス
テップは重要である。新しい量子化値の結果生じるビッ
ト数を求めるために、マクロブロックごとの結果として
生じるビット数に対する量子化レベルを適切に概算する
関数を設定する必要がある。結果として生じるビット数
と量子化レベルの間の関係正を求めるために、MPEG−２
エンコーダのようなビデオエンコーダの経験的な結果の
検討が実施され、求められた関係は実際の経験的な結果
に基づいている。多くのビデオシーケンスを使用するさ
まざまな量子化レベルおよびフレームタイプのシミュレ
ーション結果が実施された。これらの結果に基づき、マ
クロブロックの量子化レベル（ｑ）とそのマクロブロッ
クをエンコードする際に使用されるビット数（ｂ）の間
の以下の関係性は、フレームタイプに応じて、以下の通
りであると判断された。
log（ｂ）＝m log（ｑ）＋ｎ （25） この場合、Ｉタイプフレームの場合ｍ＝−0.75で、Ｂタ
イプフレームとＰタイプフレームの場合、ｍ＝01.0であ
る。さらに、Ｉフレーム、Ｐフレーム、およびＢフレー
ムの場合それぞれｎ＝15、14.5および13.8である。これ
らの値は、前記に注記されるように、多数のビデオシー
ケンスで平均化される。前記等式は、エンコーダの動作
を予測するための優れた近似基準として働き、ビット数
と量子化レベルの間の関係はログ領域内で線形である。
言うまでもなく、正確であるなら、量子化レベルの結果
として生じるビット数の間のそれ以外の関係も、本明細
書に記載されるその他のレート−量子化関数を含む、指
定された量子化レベルから生じるビット数を求める場合
に使用できる。
前記プロセスは、指定された指定量子化レベルから生
じるビット数を求める方法を説明する。しかし、複数の
エンコードが使用される場合は、新規エンコードからの
情報を使用して、量子化関数に対してデータレートをさ
らに正確にすることができる。初期自動エンコードプロ
セスの間に、エンコードされるべきビデオの統計を収集
するのに使用される第１ビデオエンコードパスがある。
それから、実際のエンコードである第２パスの間に、量
子化関数に対するデータレートの別の実際のポイント
が、指定されたｑ−レベルから作成されるビット数ｂを
記述する前記等式に対応するｑプロットに対するｂにお
いてのように獲得される。データが、以下に説明するよ
うに、ユーザ指定選択に従ってエンコードされた後、結
果として生じるビデオは、それが希望される品質の改善
を満たすかどうかに応じて、ユーザによって受け入れら
れるか、拒絶される。再エンコードするたびに、概算さ
れたビットに対するｑ−レベル関係の実際データが作成
される。新しいｑ−レベル割当てq'が指定されると、求
められたデータレートは、再エンコードによって得られ
る追加データに基づいて、このポイントに関してさらに
正確に成る。新規量子化レベル、q'が以前に得られた２
つのポイントの間に該当する場合、新規ｑ−レベルで出
力されるビット数の概算を得るために、ログ領域内で線
形補間を実行することができる。新規量子化レベル
「ｑ」が２つの事前に決定されたｑ−レベルの間に該当
しない場合には、モデルは、もっとも近いｑ−レベルか
ら新しい量子化レベルq'に補外し、エンコード時に作成
されるビット数を概算するのに使用できる。データが再
エンコードされる時間が長いほど、エンコーダからの出
力ビットに対してより優れた概算を得る確率が高くなる
ことを注記する。
概算された量子化値から生じる各フレームのビット数
が図20のステップ458で求められた後、ステップ460で、
ビット概算数がフレームの元のビット数に十分近いかど
うか判断し、必要ならビット数を訂正する。これは、図
23−25Cでブロック図されるプロセスに従い実行され
る。
ステップ460が実行されると、図23のステップ472が、
最初に、ビット概算数と元のエンコードのビット数の差
異を求める。これは、以下の等式に従い計算される。
Ｄ＝Ｂ′−Ｂ （26） この場合、B'は、修正されたフレームの概算ビット数、
Ｂは元のエンコードから結果として生じるフレームのビ
ット数、およびＤは差異である。元のエンコードから結
果として生じるビット数以外のＢの値を使用することが
できるのは言うまでもない。例えば、ユーザは、フレー
ムの総ビット数の増加を希望する場合、元のエンコード
から結果として生じるビット数より大きい事前に決定さ
れた量である数にＢを設定できる。同様にして、ユーザ
は、フレームの元のビット数を下回るようにＢを設定す
ることもできる。したがって、記録されたフレームは、
記憶領域の制約、最小品質制約、およびビデオバファア
ンダフローの可能性に応じて、元のエンコードより多い
ビットまたは少ないビットを消費することがある。ま
た、フレーム内の領域の量子化値が改変されていない場
合、その量子化値を改変された領域から結果として生じ
るビット数だけを分析し、変更されなかった領域を無視
することができる。それから、ステップ474でこの差異
を分析し、ビットが多すぎると判断されると、フロー
は、ビット数を低減するためにマクロブロックの量子化
レベルを引き上げる目的の図24A−24Cに説明されるプロ
セスのために、Ｂに進む。ステップ474で修正されたフ
レーム内のビット数が少なすぎると判断されると、新規
フレームのマクロブロックの量子化レベルは、図25A−2
5Cにブロック図されるプロセスＦに従ってさらに多くの
ビットを作成するために引き下げられる必要がある。そ
れ以外の場合、差異が許容できるスレッショルド内にあ
る場合は、マクロブロックの量子化レベルを修正する必
要はなく、プロセスは図20のステップ462を実行するた
めに戻る。フレーム内のビット数を再エンコードされた
ビデオに対し同じに保つ場合、ビットは、ある領域から
別の領域にシフトされると考えることができる。
ステップ474では、差異Ｄは、差異をスレッショルド
Ｔに比較することで分析される。スレッショルドは、領
域の品質の変更の結果生じるビット数が総ビット数の0.
001以内である場合、差異は許容でき、プロセスは停止
できることを意味する0.001xBに設定される。言うまで
もなく、差異が許容できることを示す停止スレッショル
ドは、別の方法で求められ、希望に応じて引き上げた
り、引き下げたり、フレームの元のビット数とユーザ選
択優先順位から結果的に生じるビット数の両方に基づく
ことができる。
図24A−24C、および図25A−25Cに説明されるプロセス
は、図24A−24Bがユーザ選択品質の結果として生じるビ
ット数を低減するために使用され、図25A−25Cがユーザ
選択品質の結果として生じるビット数を増加させるため
に使用されるという点を除き、きわめて類似している。
図24A−25Cで実行されるプロセスの一般的な概要は、こ
れらのプロセスの詳細を説明する前にここで記述する。
当初、ビデオのフレーム内のマクロブロックは、「無定
義」、「負の優先順位」、「正の優先順位」、「変更不
可」の４種類の内の１つとしてラベルが付けられる。領
域にユーザによる優先順位が指定されていない場合、ま
たはシステムによってユーザが「無定義」ステータスを
割り当てることができる場合、その領域は「無定義」タ
イプであると見なされる。ユーザが−５と−１の間の、
および−５と−１を含む優先順位を割り当てると、これ
らの領域のマクロブロックは「負の優先順位」であると
考えられる。領域に１と５の間の、および１と５を含む
優先順位が割り当てられると、それらの領域には「正の
優先順位」が設定されていると考えられる。最後に、優
先順位０で割り当てられるすべての領域、またはシステ
ムによってユーザが他のなんらかの方法で、領域の品質
を変更させてはならないことを示すことができる場合に
は、それらの領域のマクロブロックは「変更不可」タイ
プと見なされる。
４種類のマクロブロックのそれぞれの中でのマクロブロ
ックのそれぞれには、４種類の内のそれぞれに独自のイ
ンデックスのセットが備えられるように、インデックス
ｉでラベルが付けられる。ゼロのインデックスｉは、最
初のマクロブロックに割り当てられ、インデックスｎ−
１は最後のマクロブロックに割り当てられる。この場
合、Ｎはある領域種類内のマクロブロックの総数であ
る。例えば、「無定義」領域のすべてに対し、これらの
領域内のマクロブロックのそれぞれに０からｎ−１のイ
ンデックスが付けられる。３つ以上の「無定義」領域が
ある場合、「無定義」領域に２つの異なるインデックス
ｉ＝０がないことに注記する。すべての「無定義」領域
に対しては、インデックス０が付いたマクロブロックは
１つだけ、インデックス１がついたマクロブロックは１
つなどである。
ユーザが領域の優先順位を決定した後にフレーム内の
ビットが多すぎる場合、フレームの量子化レベルは、フ
レームのビット数を低減するために引き上げられなけれ
ばならない。マクロブロックの元の量子化値が、図10A
または10Bのどちらかにブロック図されるフォーマット
を持つマクロブロックレーヤのログファイルから削除さ
れる。代わりに、エンコーダは再実行し、量子化値がエ
ンコーダの元の実行の後に記憶されていなかった場合に
は、量子化値を求める。しかし、別の代替策では、エン
コードされたビットストリームを復号化し、元のエンコ
ードの量子化値を求める。ビット数を低減するために、
手順は、「無定義」タイプのマクロブロックごとの量子
化レベルを１量子化レベル、一度に１マクロブロックづ
つ引き上げることで動作する。これで問題が解決されな
い場合、「無定義」の各マクロブロックのｑレベルは、
一度に１マクロブロックづつ再度１増加される。事前に
決定された最大量子化レベルが設定され、無マクロブロ
ックの量子化レベルを超えて増加できる。「無定義」タ
イプのすべてのマクロブロックがこの最大レベルに達す
ると、「負の優先順位」および「正の優先順位」の領域
は、同じように１増加される。まず、すべての負の優先
順位マクロブロックが１量子化レベル引き上げられ、こ
れでビット差の問題が解決されない場合、「正の優先順
位」マクロブロックのマクロブロックの量子化レベルが
１増加される。これで問題が解決しない場合、「負の優
先順位」マクロブロックの量子化レベルは再び１増加さ
れ、これで問題が解決しない場合には、「正の優先順
位」タイプのマクロブロックの量子化レベルが１増加さ
れる。このプロセスは「負の優先順位」タイプおよび
「正の優先順位」タイプのすべてのマクロブロックの量
子化レベルが前記最大レベルに引き上げられるまで続行
する。これでビット差問題が解決しない場合には、「変
更不可」タイプのマクロブロックの量子化レベルが、ビ
ット差問題が解決されるまで、一度に１量子化レベル引
き上げられる。十中八九、ビット差問題は、「変更不
可」タイプの量子化レベルが変更され始める前に訂正さ
れるだろう。ユーザ選択優先順位が設定されるフレーム
のビット数が少なすぎて、図25a−25cのプロセスに従っ
てビット数を増加するために、マクロブロックの量子化
レベルを引き下げる必要がある場合、類似したプロセス
が発生する。
今度は、生じたビットが多すぎてしまったときに図23
によって実行される図24Aにブロック図されるフローチ
ャートを参照すると、プロセスはブロックタイプを「無
定義」タイプに設定するステップ480により図24Aで開始
する。それから、ステップ482で、マクロブロックイン
デックスを、インデックスｉがゼロに等しく設定される
ことを意味する開始ポイントに設定する。それから、設
定されていたマクロブロックタイプ（フローチャートで
初めて、「無定義」タイプの第１マクロブロック）の問
題のマクロブロック（インデックス＝ｉ内のマクロブロ
ック）の量子化レベルに最大事前定義量子化レベルが設
定されているかどうかを判断する、ステップ486が実行
される。この訂正プロセスの最大量子化レベルは、訂正
されるマクロブロックの品質で大きな劣化がないように
高すぎて設定してはならない。可能であるなら、マクロ
ブロックの質に大きな差が出ないように、均一のビット
数を減少させる目的で品質を劣化させようとすることが
望ましく、したがって、この最大値は線形量子化スケー
ルが使用されるときには量子化レベル62に、非線形量子
化スケールがMPEG−２エンコードなどに使用されるとき
には112に設定される。ただし、最大量子か器値には、
それ以外の値も使用できる。問題のマクロブロックの量
子化レベルがステップ486で最大ではないと判断される
と、ステップ488で問題のマクロブロックの量子化レベ
ルを１量子化レベル増分する。それから、ステップ490
で前記のビットレート−量子化機能を使用してフレーム
のビット概算を計算し直す。それからステップ490で
は、マクロブロックのインデックスをゾウ文する。マク
ロブロックのインデックスがマクロブロックタイプの最
後にマクロブロックが処理されていないことを示す場合
は、フローはステップ484にループバックする。それ以
外の場合は、フローはステップ492から、ブロックイン
デックスをゼロにリセットするステップ498に進み、第
１マクロブロックを示す。
フローがステップ484に戻ると、ステップ490で計算し
直されるビット概算は、前述するように、スレッショル
ドに比較される前記の差Ｄを計算し直すために使用され
る。ビット概算が高すぎない場合、ユーザ選択優先順位
を指定されるフレームのビット数が訂正され、フローは
呼び出しプロセスに戻る。それ以外の場合、フローは、
問題の（インデックス１が設定される）マクロブロック
の量子化値が最大であるかどうかをもう一度判断するス
テップ486に進む。
ステップ486で、問題のマクロブロックの量子化値が
最大であると判断すると、そのブロックの量子化レベル
は引き上げる必要はなく、ステップ494では１ブロック
インデックスｉを増分する。ステップ496でマクロブロ
ックタイプのインデックスが最後のブロックを通り過ぎ
ていないと判断すると、フローはステップ486に進み、
増分されたインデックスの付いたブロックに最大量子化
値が設定されているかどうかを判断する。それ以外の場
合、ステップ496でマクロブロックが問題のマクロブロ
ックタイプの最後のマクロブロックであると判断する
と、ステップ498が実行され、ブロックインデックスが
第１マクロブロック（ｉ＝０）にリセットされる。それ
から、フローは図24Bに説明されるプロセスＣに進む。
図24Bでは、ステップ500で、ブロックタイプが「無定
義」タイプであるかどうか調べる。「無定義」タイプで
ある場合は、ステップ502ですべての「無定義」マクロ
ブロックに最大ｑレベルが設定されているかどうかを判
断する。「無定義」マクロブロックのすべてに最大ｑレ
ベルが設定される場合、「無定義」タイプのマクロブロ
ックにさらに調整を実行することは不可能であるため、
マクロブロックタイプは、ステップ504で「負の優先順
位」に変更され、フローは図24Aにブロック図されるプ
ロセスＤに戻り、ステップ484が実行される。それ以外
の場合、ステップ502で、「無定義」タイプのすべての
マクロブロックに最大ｑレベルが設定されていないと判
断すると、フローは修正中のマクロブロックのタイプを
変更しないで、プロセスに戻る。この手順は、フレーム
の結果として生じる数がスレッショルド範囲内になるま
で続行するか、あるいは「無定義」型のすべてのマクロ
ブロックが「負の優先順位」に変更されるブロックタイ
プを結果的に生じさせる最大量子化レベルに設定され
る。
ステップ500でブロックタイプが「無定義」ではない
と判断するとステップ506がブロックタイプが「負の優
先順位」であるか判断する。ブロックタイプが「負の優
先順位」の場合、ステップ506は、「正の優先順位」の
すべてのブロックに最大ｑレベルが設定されるかどうか
判断する。ステップ508の判断の結果が負である場合、
ステップ510が実行され、ブロックタイプが「正の優先
順位」に設定され、フローは図24Aにブロック図される
プロセスＤに進む。
ステップ508で「正の優先順位」のすべてのマクロブ
ロックに最大ｑレベルが設定されると判断すると、ステ
ップ512で「負の優先順位」タイプのすべてのブロック
に最大ｑレベルが設定されるかどうか調べる。設定され
ていない場合、ブロックタイプは変更されず、フローは
図24AのプロセスＤに戻る。「負の優先順位」タイプの
すべてのマクロブロックに、ステップ512で、最大ｑレ
ベルが設定されていると判断される場合、すべての「無
定義」、「負の優先順位」および「正の優先順位」のマ
クロブロックに最大量子化レベルが設定され、ブロック
タイプがステップ512で「変更不可」に設定される。そ
れから、フロは図24AのプロセスＤに進む。
図24Bのステップ506が負と判断されてから、プロセス
Ｅおよび図24Cのステップ520が実行される。ステップ52
0でブロックタイプが「正の優先順位」であるかどうか
判断する。そうである場合は、ステップ522で「負の優
先順位」のすべてのブロックに最大Ｑレベルが設定され
るかどうかが判断される。設定されていない場合、ブロ
ックタイプは「負の優先順位」に設定され、フローは図
24Aにブロック図されるプロセスＤに戻る。ステップ522
で「負の優先順位」タイプのすべてのブロックに最大ｑ
レベルが設定されていると判断すると、ステップ526で
「正の優先順位」タイプのすべてのブロックに最大ｑレ
ベルが設定されるかどうかを調べる。設定されていない
場合、フローは図24Aにブロック図されるプロセスＤに
戻る。それ以外の場合、すべての「無定義」ブロックと
ともにすべての「負の優先順位」および「正の優先順
位」に最大量子化レベルが設定され、ステップ526でブ
ロックタイプが「変更不可」に設定され、フローは図24
Aにブロック図されるプロセスＤに戻る。
ステップ520でブロックタイプが「正の優先順位」で
はないと判断すると、ブロックタイプはそれゆえ「変更
不可」でなければならず、ステップ530で「変更不可」
タイプのすべてのブロックに最大ｑレベルが設定される
かどうかが判断される。設定されている場合、ユーザ選
択優先順位が設定されるフレーム内のビットが多すぎる
という問題を解決しないで、すべてのブロックタイプが
最大量子化レベルに設定されたので、エラーが生じる。
すべてのブロックを最大事前定義ｑレベルに設定する
と、フレームの元のエンコードを上回らないビット数が
生じるはずである。ステップ530での判断が負である場
合、フローは図24Aに説明されるプロセスＤに戻る。
図23のプロセスが、ユーザ選択優先順位領域のあるフ
レーム内のビット数が少なすぎると判断すると、図25A
−25Cのプロセスが実行される。図25A−25Cは、量子化
レベルがフレームのビット数を増加させるために引き上
げられる代わりに引き下げられ、マクロブロックの量子
化レベルが、引き下げられたときに量子化Ｒレベルの１
のような事前に決定される最小レベルを超えることがで
きないという点を除き、図24A−24Cにブロック図される
プロセスに基づいている。前記に注記した相違点を除
き、図25A−25Cのプロセスが図24A−24Cのプロセスに同
一であるため、図25A−25Cのさらなる説明は簡略を期す
ために行わない。
図23−25Cに記述される訂正プロセスは、本発明が動
作する１つの様式である。ただし、異なった種類のマク
ロブロックの量子化レベルを調整する代替手段も可能で
ある。例えば、「負の優先順位」および「正の優先順
位」のマクロブロックの量子化レベルを、前述のように
同時に変更する代わりに、「負の優先順位」タイプ、
「正の優先順位」タイプおよび「変更不可」タイプのマ
クロブロックは均一に増加できる。代わりに、ビットが
多すぎる場合には、「負の優先順位」タイプの量子化レ
ベルが、最大量子レベルに達するまで引き上げられてか
ら、「正の優先順位」タイプのマクロブロックの量子化
レベルが引き上げられる。反対に、ユーザ選択優先順位
が設定されるビット数が少なすぎる場合、「負の優先順
位」タイプのマクロブロックのレベルが引き下げられる
前にビット数を増加するために、「正の優先順位」タイ
プのマクロブロックの量子化レベルが引き下げられる場
合がある。後者の２つのケースでは、「無定義」タイプ
のマクロブロックの改変は、「負の優先順位」または
「正の優先順位」タイプのマクロブロックの前、間、ま
たは後に発生する可能性がある。
図23A−25Cのプロセスが実行された後、フローは、新
しい量子化値を使用してビデオを再エンコードする図20
のステップ462に戻る。この再エンコードは、再エンコ
ードされたのフレームの結果として生じるビット数を、
フレームの元のエンコードのビット数にできる限り近づ
ける目的で、レート−制御関数を使用して、量子化値を
微調整する間に実行される。レート−制御装置プロセス
は、以下の別項に詳しく説明する。また、再エンコード
の間、エンコード人為構造が発生する可能性があるた
め、以下の別項に説明するように、これらのエンコード
人為構造を低減する目的で特殊な手段を実行できる。
空間手動編集のプロセスは、本発明の実施例の図1Aの
ワークステーション30で発生する。しかし、空間手動編
集がビデオエンコードプロセスと同時に発生しない場
合、ワークステーション10は、ビデオエンコードプロセ
スのレートを劣化させないで時間的手動編集を事項でき
る。本発明がフレーム内のさまざまな領域の画質を変更
することとして詳しく記述されることに注記すべきであ
る。本明細書の概念を、あるフレームの領域内のビット
を別のフレームの領域にシフトすることに拡大すること
ができるのは言うまでもない。さらに、空間手動編集
は、前記の時間的手動編集といっしょに適用できる。
空間手動編集は、ユーザ指定領域優先順位が設定され
るフレームのビット数をフレームの元のエンコードと同
じに保つこととして説明された。ただし、希望される場
合、再エンコードされた編集セグメントは、十分な記憶
領域容量がある場合には、フレームの元のビット数より
多いか少ない事前に決定されるビット数を消費できる。
これらのケースでは、改変されたフレームを変更できる
ビット数を理解しておくことが望ましく、そのため図24
A−25Cにブロック図されるプロセスは、設定された差が
達成されるまで動作するだろう。したがって、任意のフ
レームの再エンコードのビット総数は、５％と１％多い
または少ないビットの両方を含む０％と20％の間で多く
または少なく、元のエンコードを上回るか、下回る任意
の量を消費する。
空間手動編集の説明は、ビデオがエンコードされた後
のビデオの変更に関して行われた。しかし、本明細書に
記載される教示は、初期エンコードプロセスがなかった
システムにも適用できる。
空間手動編集は、以前に取得されたフレームと同じビ
ット数を達成するために、ユーザ選択優先順位に基づい
て量子化値を割り当ててから、必要に応じて、フレーム
のマクロブロックの量子化レベルを調整することによっ
て動作する。対照的に、前記の項に記述された時間的手
動編集は、ビデオのセクションからビットの共通プール
を削除し、それらのビットを、ユーザ選択優先順位に従
って、共通プールから分配し直す。あるフレームに関し
て空間手動編集が実行されるプロセスについてのすべて
の教示は、時間的手動編集の項に説明されるように、時
間でビデオのフレームの品質を変更するという概念に適
用でき、逆の場合も同じである。例えば、空間編集は、
品質の変更を達成するために量子化レベルを修正するこ
ととして説明されてきたが、ビット数は時間的編集の項
で調整される。フレームまたはマクロブロックのビット
数は、直接、量子化レベルに依存するため、ビット数お
よび量子化レベルの修正は、同じ結果を達成し、そのた
め時間的編集および空間編集は、ビット数または量子化
レベルあるいはその両方を修正できる。
VIII. 品質変更後のビデオの再エンコード A. 品質が単独フレーム内で変更された場合のビット割
当て制御 図1Aにブロック図されるビデオエンコード装置50のビ
ットレートを制御するために、ワークステーション10ま
たは同じ制御機能を実行できるあらゆる専門ハードウェ
アのような制御装置が、量子化レベル、つまりｑ−レベ
ルおよびレート制御式エンコーダ内へのスライスごとの
概算ビット数または予想ビット数をロードする。それか
ら、エンコーダはエンコードを開始し、量子化レベル
は、以前に求められた予想ビット数に比較して、作成さ
れたビット数の精度を測定してから調整される。予想ビ
ット数は、空間手動編集および時間的手動編集に関する
項で前述されるように、レート−量子化関数を使用して
求められる。このプロセスは、一度のｎ個のマクロブロ
ックの集合に対して連続して実行され、各集合はMB
（ｉ）と示され、以下の通りである。
１ｉ（マクロブロックの合計数/n） （27） マクロブロックの最後の集合を再エンコードする場合、
作成されるビット数のマイナーの過剰予想が、ビットス
タッフィングを使用して吸収できるため、レート−制御
装置が、再エンコードプロセス中で作成されたビットの
総数が最初にエンコードされた長さより短くなることを
保証する。
図26は、事前に割り当てられる量子化レベルでデジタ
ルビデオの集合を再エンコードするための方法を説明す
るフローチャートである。調整は、量子化モデルが、再
エンコードにより作成されるビット数を、作成されたビ
ットの実際の数に対してどれほど正確に予想下のかに基
づいて、事前に割り当てられた量子化レベルに加えられ
る。図26では、レート制御式コーディングプロセスは、
ステップ700で開始してから、ステップ702でｉ＝１を設
定することによって、ｎマクロブロックの第１集合をマ
クロブロックの現在の集合として指定する。ステップ70
4では、マクロブロックの各集合部MB（ｉ）の再エンコ
ードで使用される、ビット予想数の完全な集合、EB
（ｉ）をロードする。それから、MB（Ｉ）はステップ70
6で再エンコードされ、実際に作成されたビットの数がG
B（ｉ）として記憶される。作成済みビットGB（ｉ）、
予想ビットEB（ｉ）の間のパーセンテージ差は、ステッ
プ708で予想率、PB（ｉ）＝GB（ｉ）/EB（ｉ）として計
算される。さらに、システムは、累積ビットの予想数E
B'（ｉ）、累積作成ビット数、GB'（ｉ）をマクロブロ
ックのすべてお再エンコードされた集合に対して計算す
ることが可能で、この場合、EB'（１）＝EB（１）、GB'
（１）＝GB（１）、EB'（ｉ）＝EB'（ｉ−１）＋EB
（ｉ）およびｉ＞２の場合、BG'（１）＝GB'（ｉ−１）
＋GB（ｉ）である。したがって、PB（ｉ）/EB'（ｉ）を
使用することによって、説明されたステップ708の代替
策として、PB（ｉ）は、累積ビット予想数EB'（ｉ）お
よび累積作成ビット数GB'（ｉ）を使用して計算でき
る。これは、マクロブロックのある特定の集合がどれほ
ど正確にエンコードされたのかを示す代わりに、全体と
しての再エンコードプロセスがどのようにターゲットビ
ット数を満たしているかのより正確な表示となる。ステ
ップ710では、概算率が使用され、マクロブロックの次
の集合、MB（ｉ＋１）内のｑ−レベルの訂正係数を判断
する。
この訂正係数は、２通りの方法の内の１つを使用して
求められる。第１の訂正係数決定方法は、割合ルックア
ップテーブルと呼ばれる割合値のテーブル内の率の単純
並べ替え済みリストを進み、どの２つの割合オ間に概算
率が該当するのかを判断する。テーブル内の２つの数の
大きい方のインデックスｊは、訂正係数インデックスと
して使用される。訂正係数インデックスは、テーブル内
のｊ番目の要素を訂正係数として選択することにより訂
正係数テーブル内で訂正係数Δ（ｉ）を探すために使用
され、マクロブロックの次の集合はΔ（ｉ）によって調
整される。割合ルックアップテーブル、RTには、例え
ば、以下のような並べ替えられた値が指定され RT＝｛0.85,0.90,0.95,1.0,1.05,1.10,1.15,1.2,1.5｝ 訂正係数テーブルCTには、以下の値が指定される。
CT＝｛−3,−2,−1,0,1,2,3,4,9｝ 図30は、概算率を使用して訂正係数インデックスを割
合ルックアップテーブルから求めるプロセスを説明する
フローチャートである。ブロック図のためだけに、PB
（ｉ）＝0.87であると想定する。インデックスｊは、当
初、ステップ722で設定される。PB（ｉ）をRT（ｊ）に
比較するプロセスが開始し、前記ルックアップテーブル
に定義されるように、ステップ724では、PB（ｉ）＝0.8
7がRT（１）＝0.85に比較される。0.87が0.85を上回る
場合、プロセスはステップ726に続く。ステップ726で残
りのインデックスがあると判断されているので、制御は
ステップ728に渡され、ｊは１増分される。ステップ724
に戻ると、PB（ｉ）＝0.87は現在RT（２）＝0.90である
ため、制御は、訂正係数インデックスの検索を終了する
ステップ730に渡される。
図31は、テーブルへのインデックスが指定されるルッ
クアップテーブル内で値を捜し出す方法を説明するフロ
ーチャートである。図31では、第１の方法に従って訂正
係数を求めるために、２であるインデックスｊが使用さ
れ、CT内の対応するエントリを捜し出す。CT内の第２位
置から読み取ると、訂正係数は、ステップ736で−２で
あると判断される。したがって、MB（Ｉ＋１）のｑ−レ
ベルは−２で変更される。同様に、PB（ｉ）＝1.12の場
合、インデックス７はPB（ｉ）より大きいRT内の最初の
入力に対応するため、７番目の位置にあるCTの訂正係数
は３である。したがって、MB（ｉ＋１）のｑ−レベルは
３を追加することによって、例えば３をMB（ｉ＋１）に
加算することにより変更される。
第２の訂正係数決定方法では、再エンコードされたマ
クロブロックの集合のパーセンテージが訂正係数を求め
る際に第２パラメータとして使用される点を除き、第１
方法に類似したプロセスを使用する。さらに、テーブル
から訂正係数を読み取る代わりに、訂正係数はマトリッ
クスから読み取られる。再エンコードされたマクロブロ
ックの集合のパーセンテージ、または再エンコードされ
ていないマクロブロックの集合のパーセンテージを使用
することにより、フレームの列の最初でより漸進的な訂
正を加え、必要なら、最後でより著しい訂正を加えるこ
とができる。これによって、システムは量子化モデルと
実際に作成されたビット数の間の変動をより正確に訂正
できるようになる。再エンコードされずに残っているマ
クロブロックの集合の数と訂正の意義の間の反転関係を
使用し、マクロ部アロックのある集合内での過剰予想が
マクロブロックの別の集合での過少予想により相殺され
ると仮定すれば、不必要な訂正は回避される。
第２訂正係数方法の訂正係数マトリックスCTMの例と
して、CTMが以下のように定義されると想定する。
フレームの列の最初で、概算比が必要なビット数の過剰
評価を示す場合、すべての未使用のビットをただちに次
のスライスに割り当てし直す必要はない。未使用のビッ
トがただちにMB（ｉ＋１）によって消費された場合、ki
＋１の場合、予想以上のビットを消費するMB（ｋ）によ
り、MB（ｋ＋１）は強制的に不必要にさらに高い量子化
レベルに引き上げられるだろう。未使用のビットは、必
要とされ、MB（ｋ）によって使用されるまで、再エンコ
ードプロセスでMB（ｉ）から前方に運ばれる。
図32は、概算比および残っている再エンコードされて
いないマクロブロックの集合の数の両方を使用して訂正
係数がどのように計算されるのかを説明するフローチャ
ートである。必要となるビット数の過剰評価のケース、
つまり訂正係数ｉがPB（ｉ）＝0.87の場合に２に等しい
と以前に判断した場合、図32のステップ744で過剰評価
が再エンコードプロセスの最初のパーセントデ発生する
かどうか判断する。CTMの（2,1）での要素は−１であ
り、したがって訂正係数として選択される。これによ
り、第１方法では−２がであった再エンコードプロセス
の初期に訂正効果は鈍る。しかし、再エンコードプロセ
スの99パーセントは実行され、概算比がPB（ｉ）＝1.12
である場合、３である要素（9,77）が選択されるので、
再エンコードプロセスの最後で完全に訂正する。
図27A−27Cに戻ると、ｑ−レベルが事前に割り当てら
れたフレームがある集合内のマクロブロックの数が１つ
のスライスの中のマクロブロックの数に等しい別の例と
して説明される。ビットの概算数EB（ｉ）が前述のよう
に計算され、図27AのMB（ｉ）、マクロブロックｉのレ
ート制御プロセスで使用されるメモリの中にロードされ
てから、MB（ｉ）が実際に再エンコードされる。作成ビ
ット数、GB（ｉ）が求められ、概算比が計算され、訂正
係数捜し出される。図27Bに示されるように、それからM
B（ｉ＋１）はΔ（ｉ）によって訂正され、プロセスMB
（ｉ＋１）のために繰り返される。図27Cには、MB（ｉ
＋１）が概算され、計算され、その概算比が求められた
後のMB（ｉ＋２）の変化が示される。このプロセスは、
すべてのマクロブロックおよび部分的なマクロブロック
が再エンコードされ、訂正されるまで続行される。
図27Aおよび27Dを参照して別の例が示される。この例
では、集合あたりのマクロブロック数は、２つのスライ
スの仲のマクロブロックの数である。EB（ｉ）、GB
（ｉ）、およびPB（ｉ）を計算した後で、２つのスライ
スを構成するMB（ｉ＋１）のマクロブロックは、図27D
に説明されるように、Δ（ｉ）により訂正される。この
再エンコードおよび訂正プロセスは、すべてのマクロブ
ロックが再エンコードされるまで以前の例で続行され
る。
再エンコードプロセスにより生じる変更は、図28Aお
よび図28Bに説明される。フレームＮの２つの等しい面
積の領域である領域Ａと領域Ｂは、当初ほぼ等しい数の
ビットを使用してエンコードされる。ユーザは、領域Ａ
の品質が劣化され、領域Ｂの品質が向上されなければな
らないと指定する。しかし、元のエンコードに使用され
たビット数が再エンコードのビット数にできる限り近く
なるようにすることが望ましい。フレームＮを再エンコ
ードした後、フレームＮには元のエンコードから作成さ
れた同じバイト数が格納されるが、領域Ａはより少ない
数のビットでコーディングされ、領域Ｂは追加ビットを
使用する。これにより、ユーザが要求したように、領域
Ａの品質は劣化し、領域Ｂの品質は向上する。本発明の
レート制御プロセスでは、レート量子化関数を使用して
求められた概算数でのマイナーな誤差を訂正することに
より、フレームの再エンコードされたビット数はできる
限り元のビット数に近づけられる。
図29では、複数のフレームからのビットを割当てし直
し、それらを第２の複数のフレームに与えることによ
り、デジタルビデオストリームに加えられる変更を説明
する。個々のフレーム面積は変化しても、フレームの集
合の総面積は同じままでなければならない。レート制御
装置により、複数のフレームの再エンコードのビット数
は、ビット概算数を求めるために使用されるレート量子
化関数がわずかに間違っていても、元のエンコードから
のビット数と同じになるように微調整できるようにな
る。
B. 編集ポイントの再エンコードでは、復号した時に目
に見えるデコード副成分が生じないように再エンコード
を行う 1. 最初にエンコードしたときに使用された状態にエン
コーダを復元する 前述の時間的品質編集動作および空間品質編集動作
は、新規量子化値でビデオを再エンコードすることによ
ってビデオ品質を変更できる。ただし、再エンコードさ
れたビデオを単にオリジナルビデオに代入するだけで
は、ビデオの編集ポイントで可視グリッチとして出現す
る好ましくない復号化人為構造（つまり目に見えるデコ
ード副成分）が生じる場合がある。これらの可視グリッ
チは、代入された新規セグメントがMPEG−２構文のよう
な適切な構文であっても、また編集境界でのバッファ制
約事項が満たされていても発生する。問題は、編集セグ
メントの前に来る最後の基準フレーム（最後のＰ−フレ
ーム）および編集セグメントの最後にある別の基準フレ
ーム（最後のＰ−フレーム）を適切に利用しないでセグ
メントをつなげた不使用性の結果である。
これにより、編集セグメントの最初にあるＢ−フレー
ムの第１集合と編集セグメント直後Ｂフレームの第１集
合とでは、それぞれにおいてエンコードと復号化の間に
格差が生じる。
デジタルエンコード圧縮ビデオの編集を適切に実行す
るためには、まず、希望の編集ポイントに対応するエン
コードビットストリームの適切な位置を決定する必要が
ある。このプロセスは、エンコードされたビデオにアク
セスするためのユーティリティを説明する第VI項に前述
された。
これは、問題のピクチャのビットオフセットを求める
ために、既にエンコードされた各フレームに使用された
ビット数を合計することで実行される。
代わりに、エンコードされたビットストリーム内のあ
る特定のフレームや期間の厳密なロケーションを示す情
報を維持するために、ディレクトリも使用できる。
図33A−33Eに戻ると、本発明の動作を説明するための
例として使用されるビデオの期間が示されている。図33
Aでは、エンコードされたビデオの元のセクション０が
示されている。エンコードされた期間5m 0sから10m 0s
（５分、ゼロ秒から10分、ゼロ秒まで）を別のビデオセ
クションで置き換えることが希望される。図33Bは、図3
3Aのエンコードビデオに代入しなければならない未エン
コードビデオ‘N'の新しいセクションが示される。図33
Bおよび33Cの破線は、未エンコードビデオを表し、図33
A、33Dおよび33Eの実線はエンコードされたビデオを示
す。
もし、GOPが先行GOPを参照して圧縮を行うような標準
MPEG−２により、図33Bに示される新しいビデオのセク
ションだけがエンコードされ、図33Aに示されるビデオ
にそのまま代入された場合、復号化人為構造が編集ポイ
ント5m 0sと10m 0sで存在することになる。これは、MPE
G−２ビデオ圧縮で使用される双方向復号化に必要であ
る正確な基準フレームが欠如することになり、所謂デコ
ード副成分が、編集ポイント5m 0sと10m 0sで存在する
ことになる。GOPの始まりは以前の先行するGOPに戻って
参照するが、GOPの最後は次のGOPに進んで参照しないと
いう事実のため、この問題は本発明により違うように処
理される５分ポイントおよび10分ポイントの両方で存在
する。
復号化人為構造をGOPの始まりで防ぐには、GOPの最初
の２つのＢ−フレームの基準フレームとして使用される
先行するGOPの最後のＰ−フレームを作成し直すことで
ある。
これは、例えば、オリジナルビデオの１つのGOPを挿
入対象のビデオの始めに格納することにより達成され、
この追加されたビデオは図１の4m 58.5sから4m 59sに示
される。例では、GOPの他の期間も可能ではあるが、あ
るGOPは１秒の２分の１に等しい。エンコーダは、4m 59
sの直前にGOPの最後のＰ−フレームを作成するために、
元のオリジナルエンコードのときに使用されたのと同じ
量子化値でこのセクションに関して再実行される。最後
のＰ−フレームを除く、ビデオのこの短いセクションの
再エンコードの結果生じるすべての情報は廃棄されても
よい。
編集セグメントの最後での復号化人為構造を防ぐため
に、オリジナルビデオの１秒という期間（例えば、図33
Cの10m 0sから10m 1s）が、置換される新規ビデオの最
後に付加され、この１秒セグメントは、元のエンコード
の間に使用されたのと同じ量子化値を使用してエンコー
ドされる。この１秒期間がビデオの最後に付加されなか
った場合、10m 0sマーク直後の２つのＢ−ピクチャは、
10m 0sは２つのGOPの間の分割ポイントであると仮定
し、編集の前と編集の後で異なる基準ピクチャに戻って
参照することになる。この例は、ビデオの２分の１秒期
間または１秒期間の新規セクションへの付加として説明
したが、概念はGOPの付加に一般化できる。
現在では、最後にある編集ポイントが10m 1sポイント
であるため、復号化人為構造は10分マークでは出現しな
くなるが、復号化人為構造が10m 1sで生じるかどうかを
も考慮しなければならない。10m 1sマーク直後の２つの
Ｂ−フレームが、それらが以前に参照した本質的に同じ
基準フレームに戻って参照するため、可視復号化人為構
造は生じない。10m 0sマーク直後の２つのＢ−フレーム
が、それらが過去に参照した同じ基準フレームに戻って
参照しなくても、２つのＢ−フレームは再エンコードさ
れていたため、適切に新しい基準フレームに戻って参照
する。したがって、可視復号化人為構造は10m 0sポイン
トまたは10m 1sポイントでは存在しない。
最後のＰ−フレームが元のエンコードのときとほぼ同
等となるのに十分な時間を得るには、図33Cの最後に２
つのGOP（１秒）を追加すると充分である。10分ポイン
トの後のオリジナルビデオを再エンコードするときにま
ったく同じ量子化値が使用されることが保証できる場合
には、1GOP（２分の１秒）で正確にエンコードされた基
準ピクチャを適切に作成するのに十分であるはずであ
る。ただし、適性な品質を保証するためには、２つのGO
Pが好まし。最初に使用されたのと同じ量子化値を使用
することが希望されても、実際には、元の量子化値から
マイナーな偏差が生じうる場合があるため、２つのGOP
が望ましい。
4m 58.5sから4m 59sおよび10m 0sから10m 1sまで使用
されるビデオの元の期間に加えて、図33Cは、4m 59sか
ら5m 0sまでの追加オリジナルビデオを示している。し
かしこのビデオは復号化人為構造の防止には必須ではな
いため、最後のＰ−フレームを決定するための２分の１
秒が5m 0sマークの直前（例えば4m 59.5sから5m 0sま
で）に使用される。ただし、オペレータによる品質の手
動変更が、編集境界を超えて影響したというように意識
されることを排除するために、4m 59sから5m 0s期間が
新規ビデオに付加される。この誤認は、MPEG GOPの最初
でのフレームのコーディング順序はIBBだが、フレーム
はBBIとして表示されるという事実のためである。１秒
期間は、その期間の元のエンコードの間に使用されたの
と同じ量子化値を使用してエンコードされる。以前使用
された量子化値を得る方法を以下に説明する。１秒期間
が4m 59sから5m 0sに付加されないと、図33Dに示される
代わりのエンコードされたビデオは、5m 0sで開始す
る。
図33Cのビデオをエンコードした結果生じる有効なデ
ータは、4m 59sから10m 1sまで実行する代替データＳと
して図33Dに示される。それから、この代替データＳ
は、図33Aに示される元のエンコードされたデータに代
入され、図33Eに示すような最終ビットストリームを結
果的に生じさせる。
図33Aに示される未エンコードおよびエンコードに対
応する情報は、ビデオの例であるが、エンコードされた
情報を復号化するために、以前のまたは以降の、あるい
はその両方の情報を使用するオーディオまたはその他の
種類の情報となる場合がある。
図33Bのビデオの新しいセクションは、任意のビデオ
ソースから得られ、前記の時間的編集プロセスまたは空
間編集プロセスによって作成されるビデオである可能性
がある。4m 59sから5m 0sまでおよび10m 0sから10m 1s
までの図33Cのオリジナルビデオは、元のエンコードに
使用されたのと同じ量子化値が設定されるオリジナルビ
デオである。図33Cの新しいビデオＮの両端にあるこの
ビデオは、時間的編集プロセスを使用し、最後のセクシ
ョンの品質を、時間的手動編集の項に説明した保護つき
に設定するだけで得られ、量子化値が同じで留まる必要
があることを示す。代わりに、図33Bのビデオは、図33A
のビデオに関係なく完了され、異なった長さとなる場合
がある。さらに、ビデオのセクションをカットアウト
し、新しいビデオを付加しないために本発明を使用する
こともできる。この場合、図33Bにビデオは存在せず、
「Ｎ」セグメントとその対応するエンコードは、図33C
−33Eには記載されていない。編集セグメントの前の最
後のＰ−フレームが適切に構築され、オリジナルビデオ
の２分の１秒から１秒の（１つまたは２つのGOP）がエ
ンコードされるべき新しいビデオの最後に付加され、元
のエンコードで使用された同じ量子化スケールでエンコ
ードされる限り、可視復号化人為構造はどのような状況
でも発生しない。
図34は、図33A−33Eに関して記述されるプロセスを説
明するフローチャートである。開始後、ステップ780
で、ビデオは圧縮フォーマットにエンコードされ、図33
Aに示されるエンコードされたビデオが作成される。ス
テップ782では、エンコードされたビデオに代入されな
ければならないエンコードされていないフォーマットの
ビデオの新しいセクションが決定される。ビデオのこの
新しいセクションは、図33Bと33CでＮとして示され、オ
リジナルフレームに関連する、オリジナルフレームに関
連しない、またはオリジナルフレームとは異なった期間
が設定される場面を表すことがある。置換されるビデオ
の開始ポイントおよび終了ポイントは、それぞれ5m 0s
と10m 0sである。ただし、置換対象の最終エンコードの
実際の開始ポイントおよび最終ポイントは、図33Dにブ
ロック図されるように異なっている場合がある。
ステップ784では、編集ポイント5m 0sおよび10m 0sで
の復号化人為構造を防止するために、前記の理由からエ
ンコードされていないビデオの期間をビデオのエンコー
ドされた新しいセクションの最後に付加する。これらの
付加された期間は4m 59sから5m 0sおよび10m 0sから10m
1sまでである。ただし、4m 59sから5m 0sまでの期間は
必須ではない。
ステップ786では、編集ポイントの直前のＰ−フレー
ムを決定する。図33Eで置換されるビデオは4m 50sから1
0m 1sなので、4m 50sの直前の最後のＰ−フレームを突
き止める必要がある。このＰ−フレームは、4m 58.5sか
ら4m 50sまでの期間のためのエンコードを、Ｐ−フレー
ムを最初にエンコードするために使用された量子化値で
実行することにより決定される。量子化値は、図10Aま
たは図10Bのどちらかに示されるフォーマットを持つマ
クロブロックログファイルから元の量子化値を検索する
ことにより求められる。ただし、映画全体の各マクロブ
ロックの量子化値は、大量の記憶領域容量を消費するの
で、量子化値を記憶するのは望ましくない場合がある。
代替策として、量子化値を、Ｉフレーム、Ｐフレーム、
およびＢフレーム用ビデオバッファ、allocated_bitと
して図9Bにピクチャレイヤログファイルに図示されるピ
クチャのターゲットビット、図9Cにmean_aftivityとし
て記憶されるピクチャの活動レベル、およびエンコード
の間にエンコーダにより計算されるマクロブロックの活
動レベルに関するレート制御ステータスを使用して単に
作り出すことができる。レート制御ステータスは、それ
ぞれＩビデオバッファ、Ｐビデオバッファ、およびＢビ
デオバッファのレート制御ステータス情報を記憶する、
図9Cの底部でSl_i、S2_i、Sl_p、S2_p、Sl_b、およびS2
_bとしてブロック図されるピクチャレイヤログファイル
に記憶される。ビデオエンコード技術の当業者は、本明
細書に記載される教示に基づき、過度の実験を行わない
で希望のＰ−フレームの量子化値を求めることができる
だろう。
基準フレームの量子化値またはエンコードされた基準
フレーム自体を求める代わりの方法として、エンコード
された基準ストリーム内の基準フレームのエンコードバ
ージョンは既知の方法で複合化できる。さらに、必要と
される基準フレームを得るそれ以外の方法も実行でき
る。
基準Ｐ−フレームが得られた後、ビデオは、最後のセ
クションの元のエンコードと同じ量子化レベルを維持し
ながら、ステップ788でエンコードされる。量子化レベ
ルは、前述のように得られる。結果として生じるエンコ
ードされたビデオは、図33Dに示される。
それから、ステップ790で、新規にエンコードされた
ビデオを最初にエンコードされたビデオに代入し、図33
Eに説明するように、最終製品が得られる。置換された
エンコードされたビデオを含むこのエンコードされたビ
デオには、編集ポイントで最小の復号化人為構造があ
る。
2. ピクチャのグループの閉鎖モードでの再エンコード 図33A−34に説明される手順の代替策として、復号化
人為構造を低減しつつも新しいビデオの始まりのエンコ
ードのために別の手順を実行できる。この手順では、ビ
デオの立ち下がり端を処理する方法は、図33A−34に関
して前記と同じである。
この代替実施例の例として、図33Aを元のエンコード
されたビデオとして、図33Bを図33Aに代入されなければ
ならないエンコードされていないビデオとして使用す
る。元のエンコードされていないビデオは図33Bの始ま
り縁で追加されず、図33Cに記述されるように、対応す
る元のエンコードされていないビデオの２つのGOP（１
秒）は、図33Bの最後に追加され、エンコードされるべ
きビデオは図35Aに示される通りである。
エンコーダが、第２基準ピクチャのないＢ−フレーム
のビットを増加させながら、図35AのビデオをGOP閉鎖モ
ードでビデオの第1GOPのためにエンコードすると、開始
編集ポイントでの可視復号化人為構造は排除される。10
m 0sから10m 1sまでの元のエンコードに使用されたのと
同じ量子化レベルを使用する最後の部分のエンコード
は、図33A−34に関して前述されるのと同じであり、そ
の結果生じるエンコードビデオは図35Bにブロック図さ
れる。GOP閉鎖モードは、第6.3.8項でのMPEG規格に説明
される。ピクチャのグループの閉鎖モードフラグは１に
セットされ、エンコードされたＢ−フレームが、逆方向
予測だけを使用してエンコードされ、以前のGOPの基準
フレームが使用されていないことを示す。しかし、双方
向フレームに通常使用される基準フレームの内の１つが
使用できないため、引き下げられた品質を排除するため
に手順が実行されない限り、Ｂ−フレームは、品質を劣
化させてしまうだろう。
GOP閉鎖モードでのＢ−フレームの品質劣化の問題を
解決するために、単一方向だけの予測が設定されるＢ−
フレームのビット数は、フレームの品質が大幅に引き下
げられないように増加される。Ｂ−フレームには単一方
向だけの予測が設定されているので、ビット数は、ほぼ
通常のＰ−フレームに使用されるビット数に増加するの
が好ましい。ただし、ビット数は、希望される画質に応
じて変化する。
図35Bのエンコードされたのビデオは、図35Cでブロッ
ク図されるように、既にエンコードされたビデオに直接
代入できる。
GOP閉鎖モードを使用するプロセスを説明するフロー
チャートは、図36に示される。図36では、ビデオはステ
ップ800での圧縮フォーマットにエンコードされ、エン
コードされたビデオに代入される必要があるビデオの新
しいセクションは、ステップ780と782に関して記述され
るのと類似した方法でステップ802で決定される。次
に、ステップ804では、必要に応じて、エンコードされ
ていないオリジナルビデオのGOP（１つまたは２つのGO
P）を、ビデオの新しいセクションの立ち下がり端に付
加する。
それから、ステップ786でビデオをエンコードする。
新しいビデオの第1GOPは、ピクチャのグループの閉鎖モ
ードでエンコードされ、基準フレームを見失った双方向
に予測されるフレームのビット数が、ほぼ単一方向予想
フレームであるＰ−フレームに使用されるビット数に増
加される。エンコードされたビデオのビット総数が同じ
ままとなる場合、二方向フレームに必要となる余分なビ
ットは他のフレームから削除されなければならない。こ
れは、空間手動編集または時間的手動編集、あるいはそ
の両方についての項に前述するように達成される。次
に、ビデオの新しいセクションの残りは普通にエンコー
ドされる。最後に、新規ビデオの立ち下がり端で付加さ
れた期間は、編集セグメントの終了ポイントでの復号化
人為構造を防ぐために、追加された期間の元のエンコー
ドの間に使用されたのと同じ量子化値を使用して、エン
コードされる。最後に、新規にエンコードされたビデオ
が、ステップ808で最初にエンコードされたビデオに代
入される。
前述のプロセス、および図34と36にブロック図された
プロセスのいずれかによって、代わりのエンコードされ
たセクションを含むエンコードされたビデオの最終バー
ジョンでは、復号化人為構造の数が低減されるため、可
視ビデオグリッチは減少し、復号化人為構造を防ぐため
になんの訂正処置も講じられない場合と比較してビデオ
の品質が向上する。前記を説明する例は、GOPの境界で
の編集ポイントに関係する。ただし、前記教示は、GOP
境界にない編集にも適用できる。
復号化人為構造を低減するプロセスは、再生VTR51お
よびビデオエンコーダ50とともに、ワークステーション
10、30、および40を使用して実行される。しかし、それ
以外のハードウェア代替策も可能であり、発明の教示し
た面は、プロセスを実行するために、任意の汎用コンピ
ュータまたは特定のハードウェアを使用して実現でき
る。編集ポイントを決定するため、およびエンコードさ
れるべきビデオの新規セクションの最後に付加されるビ
デオを決定するために使用される計算は、ワークステー
ション10またはワークステーション30のどちらかで実行
される。
IX. エンコードに使用されるレート量子化モデリング エンコードプロセスから生じるマクロブロックの列を
表すのに必要とされるビット数を正確に概算するため
に、フレームは、フレームの標準量子化レベルを表す複
数の量子化レベルを使用して事前にエンコードできる。
それから、フレームは、他の量子化レベルだけではな
く、代表的な量子化レベルを使用して実際にエンコード
できる。図1Aに示される実施例では、ワークステーショ
ン10は事前に決定された量子化レベルをビデオエンコー
ド装置50にロードする。それから、ビデオエンコード装
置50は、事前エンコードを実行する。量子化モデルを作
成するもっとも正確な方法では、可能な量子化レベルご
とに各フレームをエンコードし、結果として生じる使用
ビット数に関する統計を記録することが必要となる。し
かし、このプロセスには、未処理ビデオでのｎ会のパス
が必要となる。この場合、ｎは未処理ビデオのエンコー
ドに使用される量子化レベルの総数である。この方法は
ひどく長いので、本発明は、従来の方法に要した時間の
少しで最適の方法に類似した結果を作成する改善された
方法となる。方法には、量子化レベルに対する代表的な
ビットレートを、事前エンコードフェーズの間に複数の
フレームのそれぞれに計算できるように、複数のフレー
ムのさまざまなパーツに異なった量子化レベルを割り当
てることが必要になる。これにより、正確なビットレー
ト対量子化レベルの統計を作成しながらも、各フレーム
のｎ−１の事前エンコードが節約される。それから、こ
れらの統計を補間し、そのビットレート対量子化レベル
が事前エンコードプロセスで決定されなかったマクロブ
ロックによって使用されるビット数を概算する。２つの
代替実施例では、方法は未処理ビデオまたは未処理ビデ
オのすべてのフレームから過半数のフレームを事前エン
コードする。
図37Aには、２ポイントビットレート対量子化レベル
線が複数のフレームに作成され、結果が複数のフレーム
に記憶されるように、事前エンコードプロセス内でマク
ロブロックに基づいて２つの異なった量子化レベルをマ
クロブロックに割り当てられる未処理ビデオのフレーム
が示される。代替例では、量子化レベルは、マクログル
ープのグループまたはストリップで割り当てられる。図
37Bでは、量子化レベルが、位置に基づく統計上の異常
を回避するために、フレーム内のさまざまな場所に割り
当てられるフレームでの４つの量子化レベルの均一な分
配を説明する。図示されたフレームでは、各行のｊ、行
内の最初の量子化レベルは、qjmod4である。この結果、
４ポイントビットレート対量子化レベルの曲線が生じ
る。図37Cでは、図37Bと同じプロセスが示されるが、量
子化レベルはブロック様式で割り当てられている。この
プロセスのシングルパスは正確なビットレート対量子化
レベル曲線を作り出すが、代替実施例では、このプロセ
スは、量子化レベルごとに各フレームを分析することに
よって収集される統計に近づくさらに正確な統計を作成
するために、複数のフレームで何度も繰り返される。
図38では、複数のフレームの量子化レベル対ビットレ
ート特定を決定する一般的なプロセスを説明する。プロ
セスはステップ850で開始し、事前エンコードされる未
処理ビデオを表すビデオ信号を獲得することにより、ス
テップ852で続行する。ステップ854では、プロセスは、
第１フレーム、ｉがフレームインデックスであるところ
のｉ＝１が事前エンコードされなければならないことを
示す。ステップ856に続けると、フレームｉ＝１の量子
化レベルは、統計学上の異常を防止するためにフレーム
で均一に割り当てられる。ステップ858では、フレーム
ｉ＝１は、ステップ856で割り当てられる量子化レベル
を使用して事前エンコードされる。ステップ858の結果
は、ステップ856で割り当てられる量子化レベルごとの
ビットレートがフレームｉ＝１に記録されるように、ス
テップ860で求められる。ステップ862では、方法が、複
数のフレームのすべてが事前にエンコードされているか
どうかを判断する。事前にエンコードされていたフレー
ムは１つだけであったので、プロセスは、フレームイン
デックスｉに１を加算してエンコードされるべきフレー
ムとして第２フレームを指定するステップ866まで続
く。それから、制御は、量子化レベルをフレームｉ＝２
に割り当てるステップ856に戻される。ステップ856、85
8、860、および862で割り当て、事前にエンコードし、
ビットレートを決定するプロセスは、すべての残りのフ
レームについて続行される。ステップ862で、複数のフ
レームのすべてが事前にエンコードされていたと判断さ
れる場合、プロセスはステップ864に移動することによ
り終了する。ステップ864に到達すると、ビットレート
対量子化レベル曲線は、ステップ856で割り当てられる
量子化レベルおよびその対応するビットレートを使用す
ることにより、近似される。
未処理ビデオの複数のフレームにビットレート対量子
化レベル曲線を作成したので、事前エンコードプロセス
は、未処理ビデオの一部がデジタル記憶装置媒体、つま
りコンパクトディスクに適合するようにエンコードされ
るエンコードプロセスに移動する。未処理ビデオセグメ
ントの１つ、複数、過半数またはすべてが、この第２フ
ェーズでエンコードされる。未処理ビデオセグメントを
自動的にエンコードする必要がある場合は、エンコード
は、セグメント内の各フレームのマクロブロックに割り
当てられる量子化レベルを決定するために、対応するビ
ットレート対量子化レベル曲線と結び付いた各マクロブ
ロックの活動基準を使用する。それから、セグメントの
各フレームがエンコードされ、その結果として生じるビ
ット数は、割り当てられた量子化レベルに基づいてビッ
ト概算数と比較される。結果として生じるビット数がビ
ット予測数から大きく異なる場合、自動エンコーダは、
エンコードされるマクロブロックの次の集合の量子化レ
ベルを変更することによって、変動を補償しようと試み
る。この連続プロセスにより、自動エンコーダはターゲ
ットビット数に一致するように未処理ビデオ全体のセグ
メントをエンコードする。
さらに、ビデオシーケンスのもっと後のフレームのビ
ットレート対量子化レベル曲線は、結果として生じるエ
ンコードされたデジタルビデオを通して品質を調整する
場合に使用できる。図39に図示されるように、フレーム
Ｎは同じ量子化レベルにフレームＭより少ないビットを
作成すると知られている。したがって、フレームＭは、
フレームＮ内と同じ品質の画像を作成するためにはさら
に多くのビットを必要とする。フレームＮがそのすべて
の割り当てられたビットを使用しないで希望の品質でエ
ンコードされると、エンコーダは、同じ品質のために、
ユニット時間あたりさらに多くのビットを必要とするフ
レームＭをエンコードする際に使用される余分なビット
を前方に運ぶことができる。この機能は、Ｍ＋Ｎ＞１の
場合にフレーム先読みバッファが１つしかないシステム
では利用できない。
X. データ構造を使用して、オーディオ、ビデオ、およ
びサブピクチャのデジタル信号を結合する 本特許明細書の前記部分は、おもに、エンコード圧縮
デジタルオーディオ映像信号を作成するために、オーデ
ィオ映像情報のエンコードの間に使用される技法に関す
る。しかし、オーディオ情報およびビデオ情報が結合、
記憶、およびテレビの上などで、オーディオ映像情報を
作成し直す、または構築し直すために後で復号化される
ためには、オーディオ情報、ビデオ情報、およびそれ以
外の記憶され、後で復号化できるようにエンコードされ
ていた情報を結合し、インタリーブする必要がある。オ
ーディオ情報、視覚情報、およびそれ以外の情報の結合
は、図1Aに図示されるワークステーション20で発生する
フォーマットプロセスとして、前記に簡略に説明した。
フォーマットプロセスならびに結果として生じるデータ
構造および信号について、ここで詳しく説明する。
ここで図1Aを見ると、MPEGビデオおよびエンコードさ
れたオーディオはディスク21に記憶される。さらに、ビ
デオの上に表示またはオーバレイあるいはその両方を行
われる字幕または図形表記、あるいはその両方を含むサ
ブピクチャ情報は、例えば、別個のワークステーション
により初期にエンコードされ、エンコードされたサブピ
クチャ情報は、フロッピーディスク、テープまたはその
他の種類のディスクのようなデジタル記憶装置媒体に記
憶される。この記憶されたサブピクチャ情報は、デジタ
ル記憶装置22の内の１つにより読み取られ、フォーマッ
トプロセスでディスク21内のエンコードされたオーディ
オとビデオと結合され、ワークステーション20により１
つのデータストリームにフォーマットされる。フォーマ
ットプロセスの出力は、ディスク21に記憶されてから、
デジタル記憶装置22のデジタルテープに書き込まれる。
それから、テープは既知の光ディスク製造法により光デ
ィスクを作成するために使用される。したがって、本発
明は、オーディオおよび視覚データのエンコードに関係
するだけではなく、エンコードデータ、オーディオデー
タ、ビデオデータおよびサブピクチャデータを１つのデ
ータストリーム、デジタル記憶装置媒体およびフォーマ
ットされたオーディオ情報、ビデオ情報、およびサブピ
クチャ情報を記憶するその上でのデータ構造に結合する
ためのプロセスおよびシステムに関し、復号化プロセス
およびユーザまたは消費者に表示するためにオーディオ
情報、ビデオ情報およびサブピクチャ情報を分離し、再
構築するデコーダにも関する。光ディスク上またはフォ
ーマットされたデータ内でのデータ構造が、メモリ内に
記憶される情報の物理的な編成を分け与える特殊電子構
造要素に関係することを注記すべきである。これらの特
殊電子構造要素は、ビデオオンデマンドシステムに使用
できるまたはデジタルビデオディスクプレーヤを使用し
てユーザまたは消費者のために復号化される光ディスク
内に記憶される。
エンコードされたのオーディオ映像情報用のディスク
またはそれ以外の記憶装置媒体のフォーマット構造の特
定な特徴を説明する前に、本発明により改善される既知
の規格について説明する。ISO/IEC 13818−１は、そこ
に引用される参考とともに、参照により本明細書に取り
入れられるMPEGビデオおよびオーディオのシステム面を
記述する。これ以降MPEGシステム説明と呼ばれるISO/IE
C 13818−１は、ビデオストリームおよびオーディオス
トリームの基本的な多重化アプローチを説明する。これ
らのストリームは、パケット化基本ストリーム（PES）
パケットと呼ばれるパケットに分割される。また、MPEG
システム説明には、１つ以上の独立したタイムベースの
ある１つ以上のプログラムを１つのストリームに結合す
る移送ストリームの使用についても説明される。MPEGシ
ステム説明は、複数の基本ストリームを同期させるため
に使用されるプレゼンテーション時刻記録（PTS）の使
用について説明する。時刻記録は、一般的には90kHzと
いう単位で、システムクロックリファレンス（SCR）、
プログラムクロックリファレンス（PCR）、およびオプ
ションの基本ストリームクロックリファレンス（ESCR）
といっしょに使用される。データがMPEGシステム説明に
従い、どのようにフォーマットされるのかについての詳
細の完全な説明は、ISO/IEC 13818−１に記載される。
ISO/IEC 13818−１に基づいたフォーマットプロセス
を使用するのに加えて、データは、また、ISO 9600,198
8、情報処理−−ボリューム、および本明細書に参考に
より取り入れられる情報交換用CO−ROMのファイル構造
に従ってフォーマットおよび記憶される。この規格は、
ディスクボリューム（音量ではなく、ディスクの内容）
およびファイル構造がどのように編成されるのかを記述
する。
オーディオデータ、ビデオデータ、およびサブピクチ
ャデータを記憶するために使用される光ディスクの現在
の時刻での実施例は、片面あたり５ギガバイトの容量
で、総記憶容量10ギガバイトの単層両面ディスクであ
る。将来のフォーマットでは、記憶容量を増加するため
に多層ディスクを見越し、読み取り専用ディスクの使用
に加えて、追記技術および上書き技術も使用できる。本
発明とともに使用できるディスクのそれ以外の面につい
ては、1994年９月13日に提出された「光ディスクおよび
光ディスク装置」という米国特許明細書08/304,848に説
明する。ディスクの外径は120mmであるのが好ましい。
図40では、究極的には光ディスクに具備されるワーク
ステーション20のフォーマットされた出力の構造を説明
する。この構造900は、リードイン領域902を含む。リー
ドイン領域にはディスクから読み取られるデータのそれ
以降の処理を制御する個々のフィールドが含まれる。リ
ードイン領域900に記憶される例示的な引込み情報は、
本明細書に参考により取り入れられるクックソン（Cook
son）その他の米国特許5,400,077の図３にブロック図さ
れる。
システム領域904およびボリューム管理情報906はISO
9660に準拠する。ボリューム管理情報906には、主要な
ボリューム記述子、ボリューム記述子設定終止プログラ
ム、ディレクトリレコード、およびパステーブルレコー
ドが含まれる。主要なボリューム記述子には、ディスク
がビデオディスクであるのか、またはオーディオディス
クであるのかを示す記述子型、ディスクがどの規格に準
拠しているのかを示す標準識別子、システム識別子、ボ
リューム識別子、ボリュームサイズ、論理ブロックサイ
ズ、パステーブルサイズなどのディスクボリュームの基
本的な情報が記憶される。システムのこれらのフィール
ドおよびそれ以外のフィールド、およびボリューム管理
情報は、ISO 9660に詳説されているので、その説明は簡
略さを期すために省略される。さらに、希望する場合に
は、ISO 9660に準拠する補足ボリューム記述子もある。
ボリューム記述子設定終止プログラムには、ボリュー
ム記述子型、標準識別子、およびボリューム記述子バー
ジョンが記憶される。ディレクトリレコードには、ISO
9660に従ったディスクのさまざまなディレクトリ情報が
記憶される。パステーブルレコードには、ISO 9660に記
述されるように、Ｌ型パステーブルおよびＭ型パステー
ブルが記憶される。
ディスク情報ファイル908は、ディスクの内容につい
てのさらなる情報および光ディスクをプレイするときに
ユーザが選択できるメニュー情報にが記憶される。ディ
スク情報ファイル908の詳細は、図41に関して説明され
る。
各ディスクには、最大99データファイルまで最小１デ
ータファイル910が格納される。例えば、ディスク上に
２つの異なったオーディオ映像プログラムが記憶されて
いる場合、ディスク情報ファイル908には、ユーザが使
用を希望するデータファイルのどれかをユーザが選択す
るためのメニューを作成するのに必要な情報が記憶され
る。データファイルは、図42−56に関連して詳説され
る。リードアウト領域16は、ディスク、処理がどのよう
に実行されるのかを記述するそれ以外の情報、または関
連するディスクに関する情報が記憶されることがある。
図41は、図40のディスク情報ファイル908を説明す
る。ディスク情報ファイル908には、ファイル管理情報9
20およびユーザが対話するメニューを構成する情報であ
るメニューデータ922が格納される。メニューデータ
は、ビデオデータ、オーディオデータ、およびサブピク
チャデータを含む。ファイル管理情報902は、ファイル
管理テーブル924、ディスク構造情報926、メニュー構造
情報928、および複数オメニューセル情報フィールド932
と934が含まれるメニューセル情報テーブル930を格納す
る。
ファイル管理テーブル924には、ディスク情報ファイ
ルのあらゆる面に関する情報が含まれる。ファイル管理
テーブル924内には、ファイル名を識別するためのボリ
ューム管理情報906の対応するディレクトリレコード内
の対応するファイル識別子と同じ内容を記述するファイ
ル名が記憶される。論理ブロックの数を使用してファイ
ルのサイズを記述するフィールドがある。本明細書全体
で、「論理ブロック」という用語は、ISO 9660に定義さ
れるように使用される。論理ブロック数を使用するファ
イル管理テーブルのサイズ、ファイルの先頭からの相対
論理ブロック番号を使用するディスク構造情報926の開
始アドレス、ファイルの先頭からの相対論理ブロック番
号を使用して記述されるメニュー構造情報928の開始ア
ドレス、ファイルの先頭からの相対論理ブロック番号を
使用するメニューセル情報テーブル930の開始アドレス
を記述するエントリがある。メニューデータがない場合
は、このフィールドの値はゼロになる。ファイルの先頭
からの相対論理ブロック番号を使用するメニューデータ
922の開始アドレスを記述するフィールドがある。メニ
ューデータが存在しない場合、このエントリはゼロであ
る。
ファイル管理テーブル924には、メニューデータ用の
ビデオのビデオ属性を記述するフィールドもある。この
情報は、ビデオ圧縮モードがMPEG−１であったのか、MP
EG−２であったのか、ビデオのフレームレート（毎秒2
9.97フレームまたは毎秒25フレームのどちらか）、表示
アスペクト比が3/4であるか、または9/16であるのかを
示すフィールド、およびパンスキャンとレターボックス
モードの両方が許可されていることを示すか、パンスキ
ャンモードがは許可されているが、レターボックスモー
ドが禁止されていることを示すか、あるいはパンスキャ
ンモードが禁止され、レターボックスモードが許可され
ていることを示すディスプレイモードフィールドを含
む。
ビデオ属性を記述するフィールドと同様に、ファイル
管理テーブル924のオーディオストリームを記述するフ
ィールドもある。このフィールドには、オーディオがド
ルビーAC−３に従ってエンコードされたのかどうか、オ
ーディオがMPEGオーディオであるのかどうか、あるいは
オーディオが線形PCMオーディオ（48kHzで16ビット）を
含むオーディオコーディングモードの表示が指定され
る。また、オーディオがモノラル、ステレオ、またはデ
ジタルサラウンドであるのかを含むオーディオコーディ
ングモードの表示も指定される。
ファイル管理テーブル924には、さらに、メニューデ
ータ922のサブピクチャストリーム属性を記述するフィ
ールドも入る。このフィールドは、以下に説明するよう
に、ランレングスサブピクチャコーディングモードがサ
ブピクチャに使用されることを示す。フィールド管理テ
ーブル924には、メニューのためのすべてのサブピクチ
ャに使用される16セットのカラーパレットを記述するフ
ィールドも入る。パレット番号１から16には、輝度信号
Ｙ、カラー差異信号Cr＝Ｒ−Ｙ、およびカラー差異信号
Cb＝Ｂ−Ｙが指定される。
ディスク構造情報926には、ディスクに記憶されるビ
デオファイルおよびオーディオファイルの構成情報が含
まれる。ディスク構造情報926には、ファイル名を識別
するために使用されるディレクトリレコード内での対応
するファイル識別子と同じ内容を記述するファイル名が
含まれる。ファイルをディスク構造情報ファイルとして
識別するファイル識別子フィールドがある。図40に示さ
れるデータファイル910および914のようなディスク上の
データファイルの数を示すフィールドがある。また、フ
ァイルにビデオ情報とオーディオ情報の両方が記憶され
るのか、あるいはオーディオ情報だけが記憶されるの
か、およびアイルがカラオケファイルであるかどうかを
含むデータファイルのそれぞれのタイプを示すフィール
ドもある。
ディスク構造情報926には、データファイル内のサブ
ピクチャとオーディオ情報を含むフィールドも含まれ
る。このフィールド内には、サブピクチャチャネル数も
示される。各サブピクチャチャネルは、異なったサブピ
クチャ言語のようなさまざまなサブピクチャ情報を表示
する場合に使用できる。また、オーディオストリーム数
の表示、チャネル番号順の各サブピクチャチャネルの言
語コードの表示、オーディオストリーム番号順のオーデ
ィオストリームの言語コードの連続記述、およびファイ
ルのパレンタル管理とアングル情報の記述もある。
パレンタル管理情報は、表示される情報のある特定のシ
ーケンスを記述する場合に使用される。パレンタル管理
情報は、シーケンス内に含まれる特定のセルの最大親レ
ベルである。レベルは、１から５で変化し、レベルが高
いほど、見聞される内容に対する制限が多くなる。シー
ケンスとセル、およびパレンタル管理スキームの詳細
は、以下に説明する。ビデオシーケンスのアングルの数
を記述するフィールドもある。例えば、ミュージックビ
デオに、ミュージックビデオ全体を通して３つの異なっ
たカメラビューがある場合、ユーザはどの特定のカメラ
アングルを表示に希望するのかを選択できる。また、シ
ーケンス内のプログラム数を示すフィールドもある。
メニュー構造情報928には、各メニュータイプの開始
セル番号が含まれる。ディスプレイシーケンスには複数
のセルがある。例えば、１つのシーケンスは最高256の
セルを格納できる。セルは、後述する再生情報（PBI）
パックと次のPBIの直前のパックの間のGOP（ピクチャの
グループ）の整数である。ビデオ用データは、データを
連続して再生する必要があるレコード単位としてセルの
中に分離される。セルには、表示のための情報が含ま
れ、その目的に応じて分割される。セル内の第１オーデ
ィオパックとおよび第１サブピクチャパックが、セルの
先頭にあるPBIパックの後ろ手記録されるビデオヘッド
パック中のPTSに近いプレゼンテーション時刻記録（PT
S）を含むのが望ましい。異なったセルは、希望される
アングルおよびプログラムの親制約に応じて表示され
る。例えば、より若年層の視聴者向けには不適切であっ
た映画のあるセクションがあったと仮定する。表示でき
るパレンタル管理レベルに応じて、２つのシーケンス共
用セルが存在する。例えば、制約されていない表示の場
合、ある特定のシーケンスにセル１、２、３、および５
を表示できる。制約レベルの表示の場合は、そのシーケ
ンスに表示されるセルは１、２、４、および５である場
合がある。
異なったアングルに関しては、同時進行し、その再生
に要する時間が実質上等しい、複数のカメラアングルで
各ビデオを記録させることができる。各アングルは、ア
ングルセルと呼ばれる１つのセルから構成される。同時
に先行する複数のアングルセルの集合が、アングルブロ
ックと呼ばれる。シーケンス内の複数オロケーションで
アングルブロックが限定される場合、各アングル番号の
アングルセル数およびカメラアングルは、アングルブロ
ックを通して同じでなければならない。
メニューセルとは、ユーザに、ボリューム内の各ビデ
オファイルまたはオーディオファイルの内容を知らせる
メニュー画面を構成するセルである。メニューセルの集
合は、メニュー用データとしてディスク情報ファイルに
ともに記録される。メニュータイプ共呼ばれる、メニュ
ーセルタイプは、タイトルメニュー、プログラムメニュ
ー、オーディオメニュー、サブピクチャメニュー、およ
びアングルメニューに分類される。メニュー画面には、
メニュー用ビデオが備えられる。再生装置の画面上に表
示される選択用アイテムは、メニューセルのサブピクチ
ャデータとして記録される。
メニューセル情報テーブル930は、図41の932と934の
ような複数のメニューセル情報が記憶されるテーブルで
ある。１つのメニュー画面に１つのメニューセルが具備
される。メニューセル情報は、複数のフィールドを含
む。第１フィールドは、ディスクの情報のコピーが許可
されているかどうか、パレンタル管理のレベル、メニュ
ーがタイトルメニューであるかどうかなどのメニューセ
ルタイプ、プログラムメニュー、オーディオメニュー、
サブピクチャメニュー、またはアングルメニューおよび
メニューの言語コードを示す。各言語にはコードが割り
当てられ、言語コードサブフィールド内に現れる特殊コ
ードが、メニューと使用される言語を示す。
メニュー画面上のサブピクチャによって表示される選
択アイテムの開始番号および選択アイテム数を記述する
フィールドもある。選択アイテム開始番号は、メニュー
画面上の選択アイテムの最小数を記述し、メニューの次
のページが存在するかどうかを示すフィールド、および
選択できる１と16の間のアイテム数を記述する番号があ
る。メニューセル情報は、メニューセルの開始パックの
システムクロックリファレンス（SCR）の下位32ビッ
ト、メニューセルの開始アドレスをファイルの先頭から
の相対論理番号で記述するフィールド、およびメニュー
セルを構築する論理ブロック数を記述するフィールドも
含む。
メニューデータ922は、メニューのために表示される
実際の情報を含む。この情報は、図40のデータファイル
910と914の情報が構築されるのと同じように構築され、
したがって各面の綿密な記述は冗長な記述を防ぐために
省略される。メニュー画面で選択されるアイテムは、サ
ブピクチャ情報で形成される。ディスクプレーヤによる
メニュー選択の処理は、コンピュータコードを実行する
マイクロプロセッサを使用して実行される。タイトルの
ためのメニュー選択が行われると、選択の結果はファイ
ルの最初または選択されたタイトル番号に対応するシー
ケンス番号から再生される。プログラムメニュー選択の
場合、選択されたプログラムは選択されたプログラムの
最初から再生される。メニューからのオーディオ選択の
場合、オーディオストリームは選択されたオーディオス
トリームに対応するように設定される。同様に、サブピ
クチャメニュー選択の場合、チャネル番号は選択された
サブピクチャチャネルに等しく設定される。最後に、メ
ニューからのアングル選択は、アングルセル番号を選択
された番号に等しくなるように変更する。それ以外の情
報は、希望に応じて含まれ、メニューを通して選択でき
る。
図40のデータファイル910のようなデータファイルに
は、図42にブロック図されるような２つのセクション、
つまりデータファイル管理情報940およびオーディオ情
報、ビデオ情報およびサブピクチャ情報を表示するため
に使用される実際のデータ942が記憶される。データフ
ァイル管理情報940には、４つの主要な構成要素、つま
りデータファイル管理テーブル944、シーケンス情報テ
ーブル946、セル情報テーブル948およびデータ検索マッ
プ950を含む。
データファイル管理テーブル944は、データファイル9
10の各面に関する情報を含む。この情報には、ファイル
名を識別するためのディレクトリレコード内の対応する
ファイル識別子と同じ内容であるファイル名のフィール
ド、オーディオ情報とビデオ情報の両方がファイルに記
憶されることを示すファイル識別子、論理ブロック数に
より定義されるファイルのサイズ、ファイル管理テーブ
ルのサイズ、ファイルのシーケンス番号、ファイルのセ
ルの数、ディスク構造情報（DSI）パックの数、シーケ
ンス情報テーブル946の開始アドレス、セル情報テーブ
ル948の開始アドレス、データ検索マップの開始アドレ
ス、データ942の開始アドレス、MPEG−１またはMPEG−
２のようなビデオ圧縮モードを含むデータ942のビデオ
属性を記述するフィールド、レートが毎秒29.97フレー
ムであるのか、毎秒25フレームであるのかを含むフレー
ムレート、表示アスペクト比が3/4であるのか、9/16で
あるのか、またはディスプレイモードによってパンスキ
ャンフォーマットとレターボックスフォーマットの１つ
が可能とされるのか、両方が可能とされるのかを示す表
示アスペクト比を含む。
データファイル管理情報は、さらに、ファイル内のオ
ーディオストリーム数を、オーディオコーディングモー
ドのようなオーディオストリーム属性、モノラル、ステ
レオ、またはデジタルサラウンドのようなオーディオモ
ード、特殊言語が含まれているのかどうかを示すオーデ
ィオタイプを記述するフィールド、および言語のコード
番号を示す特殊コードのフィールドも含む。
データファイル管理テーブル944は、さらに、サブピ
クチャチャネル数を記述するフィールド、サブピクチャ
のランレングスコーディングが使用されること、および
指定言語および指定される言語があるかどうかを示すフ
ィールドのようなサブピクチャチャネル属性を記述する
フィールドを含む。さらに、ファイルのすべてのサブピ
クチャチャネルで使用される16のカラーパレットのＹ、
Cr、およびCBカラーを示すフィールドがある。また、シ
ーケンス情報テーブルのサイズ、最小セル番号と後続の
連続セルの数を記述するフィールド、およびファイルの
１つのシーケンス内で使用されるセル番号の範囲を記述
するフィールドもある。１つのシーケンス内で使用され
るセル番号は、32の連続番号で１つの集合を作り、最小
セル番号を集合の最初の番号となるように格納すること
により計算される数の集合に入れられなければならな
い。このフィールドには、シーケンスで使用されるセル
数、およびシーケンスで使用される最小セル数を含むサ
ブフィールドがある。
シーケンス情報テーブル946には、複数のシーケンス
情報エントリ952と954を含む。シーケンスとは、このシ
ーケンスにより指定される範囲内のセルが選択式で再生
される順序のことである。完全および接続という２種類
のシーケンスがある。完全型シーケンスは、それ自体を
再生した後に終了する。接続型シーケンスは、連続して
再生される。参照番号952により示されるシーケンス情
報１および954により示されるシーケンス情報ｉのよう
なシーケンス情報番号は、シーケンス番号に等しく、１
で開始するシーケンス情報テーブルい、記述順序で番号
が付けられる。シーケンス情報テーブルのシーケンス情
報エントリは、完全型シーケンスまたは接続型シーケン
スの順序で記述されている。各シーケンス情報テーブル
は、完了型シーケンスまたは接続型シーケンスの順序で
記述される。各シーケンス情報には、シーケンスタイ
プ、格納されるプログラム数、格納されるセル数、シー
ケンス再生時間、接続型シーケンス数、接続可能シーケ
ンス番号、およびシーケンス制御情報を示すフィールド
を示すフィールドを含む。
シーケンス情報のシーケンスタイプフィールドは、シ
ーケンスのコピーおよびパレンタル管理を記述する。コ
ピーが許可されているのか、または禁止されているのか
を示すサブフィールド、パレンタル管理のレベルを１−
５で指定するサブフィールド、完了型シーケンス、接続
型ヘッドシーケンス、接続型中間シーケンスまたは接続
タイプとシーケンス内の１つである可能性があるシーケ
ンスタイプを示すサブフィールドある。また、シーケン
スが、カラオケアプリケーションで使用するかどうかを
示すアプリケーション型サブフィールドもある。
格納プログラム数フィールドは、最高１つのシーケン
ス内に100というプログラム数を記述する。格納セル数
フィールドは、ある特定のシーケンス内での、合計256
セルまでのセル総数を記述する。シーケンスまたは再生
時間は、時、分、秒およびビデオフレームによる単位で
このシーケンスの総再生時間を記述する。
接続型シーケンス数フィールドには、最大数が８であ
るその直後に接続可能なシーケンス数を指定する。接続
可能シーケンス番号フィールドは、接続可能シーケンス
のシーケンス番号と指定される数のシーケンスのパレン
タル管理のレベルを記述する。接続可能シーケンスの選
択番号は、記述された順序で１から割り当てられる。こ
のフィールドには、パレンタル管理番号のサブフィール
ド、およびシーケンス番号のサブフィールドが指定され
る。シーケンス情報の最後のフィールドは、再生順でシ
ーケンスに含まれるセルを記述するシーケンス制御情報
である。このフィールドも、複数のセルの集合であるア
ングルブロックの記述に使用される。それらのセルの再
生時間は、実質上等しい。各再生セクションは、１つの
セルで構成される。アングルブロックは、多くても９個
のセルを含み、第１セルに１という番号が付けられる。
シーケンス制御情報のサブフィールドには、実質上再生
される複数のセルを結合する再生単位としてプログラム
を定義するプログラム番号を指定する。以下のセルに連
続して進むのか、休止するのか、あるいはシーケンスの
最後に到達したかを示すセル再生制御のサブフィールド
があり、ブロックが構成セルではないかどうか、ブロッ
ク構成の第１セルがあるかどうか、それがブロック構成
内のセルなのか、ブロック構成内の最後のセルであるの
かを示すブロックモードサブフィールドがある。ブロッ
クがないかどうか、またはアングルブロックがあるかど
うかを示すブロック型サブフィールドがある。最後に、
再生対象のセルのセル番号を示すサブフィールドがあ
る。
データファイル管理情報940は、さらに、複数のセル
情報エントリ956と958を含むセル情報テーブル948を含
む。各セル情報エントリは、コピーが許可されているの
か、禁止されているのかを示すセルタイプ情報、および
パレンタル管理レベルを含む。また、時、分、秒および
ビデオフレームによりセルのセル再生総時間を記述する
セル再生時間を示すフィールドもある。セルの第１パッ
クに記述されるシステムクロックリファレンスの下位32
ビットを記述するフィールド、ファイルの始めからの相
対論理ブロック番号でセルの開始ポイント得のアドレス
を記述するフィールド、およびセル内に含まれる論理ブ
ロック数を記述するフィールドがある。
ファイル管理情報940のデータの最後のセクション
は、データ検索マップ950である。
データ検索マップは、データ検索情報パック960と962の
複数のポインタを備える。再生情報（PBI）パックポイ
ンタと呼ばれるこれらのポインタは、データ942内に存
在する再生情報のアドレスを指定する。高速順方向モー
ドまたは高速反転モードを実行し、情報の表示を可能に
するためには、MPEG−２ビデオシーケンスのイントラピ
クチャに依存するのが最適です。これらのイントラピク
チャは、そのアドレスがデータ検索マップ内に記憶され
るデータ942内の再生情報パックを使用して配置され
る。PBIパックの詳説は、以下で行う。
図43にブロック図されるデータファイル910のデータ9
42は、再生情報（PBI）、ビデオ情報、サブピクチャ情
報、およびオーディオ情報のインタリーブされたパック
を含む。例えば、図43では、データは再生情報940、ビ
デオ情報942と944、サブピクチャ情報946、オーディオ
情報948などを含む。データ942内の情報の構造、および
プレゼンテーションタイミングは、MPEGシステム説明
（ISO/IEC 13818−１）に定義されるプログラムストリ
ームに準拠する。しかし、再生情報およびサブピクチャ
情報、ならびにこの情報が、記憶、エンコード、および
復号化される方法が、本発明の一部を構成する。
図43でデータ942から構成されるさまざまな情報は、
情報パックを含む。例示的なパック970Aおよび980Aが、
図44Aと44Bに示される。各パックは、パックヘッダ972A
または972B、およびビデオ情報、オーディオ情報、サブ
ピクチャ情報、または再生情報から構成される。
パック970Aの構造は、パケット982Aが2034バイトと20
27バイトの間で占有するときに使用される。スタッフィ
ングフィールド980Aによって、１から８バイトのスタッ
フィングがパック総サイズを2048バイトにできるように
する。ビデオ情報、オーディオ情報、サブピクチャ情報
または再生情報が2027バイトを下回るとき、図44Bに示
されるパック構造970Bが使用され、１バイトのスタッフ
ィング970Bおよびパケット982Bと984Bのビット総数を20
34バイトにあるようにする埋め込み984のパケットがあ
る。パケットヘッダ972Aと972Bのそれぞれには、パック
開始フィールド974、システムクロックリファレンス97
6、多重化（MUX）レートフィールド978、およびスタッ
フィングフィールド980がある。図44Aと44Bのパケット
は、ISO/IEC13818に従って構築され、プログラムストリ
ームパック内のフィールドのセマンティック定義に関す
るその第2.5.3.4項に説明される。
図45は、再生情報（PBI）パックを示している。パッ
クヘッダ972は、図44Aと44Bに関して記述されるよう
に、構築される。図45のシステムヘッダ986は、ISO/IEC
13818−１に記述されるプログラムストリームシステム
ヘッダの要件に準じて構築される。システムヘッダ内の
フィールドのセマンティック定義は、ISO/IEC 13818−
１の第2.5.3.6項に説明される。
パケットヘッダ988は、ISO/IEC 13818−１の第2.4.3
項に記述されるPESパケット内のフィールドのセマンテ
ィック定義に説明されるフィールドに従って構築され
る。ただし、パケットヘッダ988では、プレゼンテーシ
ョン時刻記録までのフィールドだけが必要とされる。
再生情報パックは、さらに、サブストリームIDフィー
ルド990を含む。これは、サブストリームの識別を示す
８ビットのフィールドである。使用できる別の識別は、
サブピクチャストリーム、ビデオ空白化情報（VBI）ス
トリーム、AC−３ストリーム、または線形PCMストリー
ムである。MPEGオーディオサブストリームなどの他のス
トリームタイプを入れることも可能である。サブストリ
ームID990はビデオ空白化情報992のデータを先行するの
で、サブストリームIDは、後続の情報がビデオ空白化情
報ストリームであることを示すように設定される。ビデ
オ空白化情報922のデータは、ISO/IEC 13818−１に従っ
て構築され、ISO/IEC 13818−１に必要となる意味論に
準拠する。
図45に示される再生情報パックの中には、データ検索
情報996のデータを格納するデータ検索情報パケットの
パケットヘッダ994も示される。パケットヘッダ994に
は、24ビット値000001hが設定されるパケット開始コー
ドプレフィックス、データ検索情報996が以前に定義さ
れた規格に準拠していないことを示すストリーム識別、
パケット長を示すフィールドを含む。データ検索情報99
6はMPEG規格では開示されていないので、ストリームID
は、後続の情報がデータストリームの私的なタイプであ
ることを示す。
図45を説明するデータ検索情報996のデータの特定の
内容が図46に示される。データ検索情報996は、一般情
報1000、アングルアドレス情報1020、ハイライト情報10
22、同期再生情報1024、およびPBIパックアドレス情報1
036を含む。
一般情報1000は、図47にさらに詳細にブロック図され
る。前記のように、データ検索情報の目的とは、デジタ
ルエンコードされた情報の迅速な検索を可能にすること
であり、特に、ビデオ復号化中に実行されるトリックモ
ード用イントラピクチャオ高速位置発見を可能にする。
したがって、図46に示される再生情報パックは、ピクチ
ャのグループ（GOP）のそれぞれのヘッドパックであ
り、Ｉ−ピクチャで開始するビデオヘッドパックの直前
に割り当てられる。一般情報1000は、Ｉ−ピクチャの再
生開始時刻であるGOP1002の時刻記録である。次に、PBI
のシステムクロックリファレンス（SCR）がある。これ
は、PBIパックヘッダに記述されるSCRの下位32ビットを
記述する。1006は、Ｉ−ピクチャの最終アドレスを示
し、ファイルの初めから相対論理ブロック番号によりＩ
−ピクチャの最終データが記録されるパックのアドレス
を記述する。セル番号はフィールド1008に記憶され、GO
Pが属するセル番号を記述する。フィールド1010は、制
約のレベルおよびコピーが許可されているかどうかも含
むパレンタル管理情報を記述する。最後に、フィールド
1012は、ファイルのヘッドからの相対論理ブロック番号
を使用するこのPBIパックのアドレスであるPBIパックア
ドレスを記述する。
図46に示されるデータ検索情報996のフィールド1020
は、アングルアドレス情報である。アングルアドレス情
報には、その他のアングルのアドレス情報が含まれる。
アングルアドレス情報には、それぞれが異なったアング
ルセル番号に関する９つのフィールドが含まれる。アン
グルアドレス情報1020の各フィールドの場合、ある特定
のPBIパックが属するセルがアングルブロックを構成す
る場合、アングルアドレス情報のフィールドは、対応す
るデータ検索情報のビデオ開始プレゼンテーション時刻
情報を超えないもっとも近いビデオ開始プレゼンテーシ
ョン時刻記録を持つアングルセル番号のPBIパックのア
ドレスを記述する。アングルセルが存在しない場合、ま
たはアングルブロックが構成されない場合、特定のセル
のアングルアドレス情報ははゼロに設定される。
データ検索情報996の第３セクションは、ハイライト
情報1022である。ハイライト情報は、メニュー画面上で
の選択アイテムの位置、および選択時に変更されるその
色のコントラストを記述する。この情報は、セルがメニ
ューの一部である場合にだけ使用される。ハイライト情
報には、選択アイテム開始番号およびメニュー画面上で
サブピクチャにより表示されるアイテム数を記述するフ
ィールドがある。選択アイテム開始番号およびアイテム
数の特定のサブフィールドには、メニュー画面上での選
択アイテムの最小数を記述するサブフィールド、メニュ
ーの次ページが存在するかどうかを記述するサブフィー
ルド、およびメニュー画面上での選択アイテムの数を記
述するサブフィールドがある。ハイライト情報の第２フ
ィールドには、選択アイテムの位置、色、およびコント
ラストが含まれる。このフィールドは、メニュー画面上
の選択アイテムごとの矩形表示領域、および選択時に変
更される対応する色とコントラストを記述する。矩形表
示領域は、Ｘ−Ｙ座標面内に限定される。選択アイテム
の位置、色、およびコントラストを記述するこのフィー
ルド内の情報には、メニューの矩形領域を限定するこ
と、およびさまざまなタイプのピクセルが、選択時にど
のようにして変更されるのかを記述する情報を含む。さ
らに詳細に後述するように、サブピクチャは４種類の異
なったピクセルを酌量する。テキストやそれ以外の情報
を表示するために使用できる第１強調ピクセルと第２強
調ピクセル、線描画またはその他の図形パターンのよう
なパターンを表示するために使用されるパターンピクセ
ル、およびバックグラウンドピクセルがある。以上４種
類の異なった情報がハイライトまたは選択される場合、
アイテムがハイライトされるときに選択される色、およ
びハイライトされたときのピクセルのコントラストも知
っておく必要がある。したがって、４種類の異なったピ
クセルが選択されたときの、その色およびコントラスト
を記述するハイライト情報内に８つのサブフィールドが
ある。
データ検索情報996内の５番目のアイテムは同期再生
情報1024である。同期再生情報1024は、図48に詳しくブ
ロック図される。同期再生情報の目的とは、ビデオデー
タと同期するオーディオとサブピクチャの開始時間とア
ドレス情報を検出できるようにすることである。図48に
示される同期再生情報1024には、オーディオのプレゼン
テーション時刻記録のターゲットであるオーディオパッ
クアドレスが含まれる。このフィールドの最上位ビット
は、オーディオパックがこのPBIの前に位置しているの
か、このPBIの後に位置しているのかを示す。オーディ
オ1028のプレゼンテーション時刻記録（PTS）は、ビデ
オ開始PTSからの相対プレゼンテーション時刻記録によ
り、Ｉ−ピクチャの再生開始時間の直後に再生開始時間
が設定されたオーディオパケットのPTSを記述する。オ
ーディオのプレゼンテーション時刻記録は、プレゼンテ
ーション時刻記録をそのために記憶させるために、最高
８つのオーディオストリームを酌量する。さらに、GOP
の間に再生されるオーディオフレームを構成するオーデ
ィオパケットがするかどうかを示すサブフィールドがあ
る。ピクチャにオーディオがない場合には、オーディオ
のプレゼンテーション時刻記録を記憶したり、復号化す
る必要はない。最高８つのオーディオチャネルがあるの
で、各オーディオチャネルには対応するアドレスフィー
ルドと時刻記録フィールドがある。
データ構造1024も、問題のサブピクチャパックの、PB
Iパックに相対したアドレスをを記述するサブピクチャ
パックアドレス1030を含む。サブピクチャのプレゼンテ
ーション時刻記録は、対応するサブピクチャ情報の同期
を記述する。GOP再生の間に再生される必要があるサブ
ピクチャユニットが存在するかどうか、サブピクチャの
再生開始時間がビデオプレゼンテーション時刻記録の前
かどうか、GOP再生中に再生されるサブピクチャユニッ
トの製作開始時間、およびGOP再生中に再生されるサブ
ピクチャユニットの再生終了時間を示すサブフィールド
がある。１つのデータストリームに含めることができる
最高32のサブピクチャのように、存在するそれぞれのサ
ブピクチャには、対応するアドレスと時刻記録のフィー
ルドがある。
データ検索情報996の図46に示される最後のセクショ
ンは、PBIパックアドレス情報である。PBIパックアドレ
ス情報は、ファイル内の他のPBIパックのアドレスを構
成し、他のPBIパックの位置が迅速に見つけられるよう
にする。PBIパックアドレス情報は、相対論理ブロック
番号を使用して周囲のPBIパックのアドレスを記述す
る。PBIパックアドレス情報には、それぞれ次のPBIパッ
クアドレスと前のPBIパックアドレスを記述する２つの
フィールドがある。現在のPBIパックアドレスからの相
対論理ブロック番号を使用して、GOPのすぐ先にあるGOP
に属するPBIパックのアドレスを、nx0.5秒と（ｎ＋１）
x0.5秒の間であるその累積した再生時間で定義し、複数
のPBIパックがこの範囲に該当する場合は、n x 0.5秒、
１≦ｂ≦15を選択する15のフィールドがある。
現在のPBIパックアドレスからの相対論理ブロック番
号を使用して、GOPに属するPBIパックのアドレスを、n
x 0.5秒と（ｎ＋１）x 0.5秒の間のその累積再生時間で
定義し、複数のパックがこの範囲っ該当する場合には、
n x 0.5秒、−15≦ｎ≦−１にもっとも近いPBIパックを
選択する15のフィールドがある。
現在のPBIパックアドレスからの相対論理ブロック番
号を使用して、GOPのすぐ先のGOPに属するPBIパックア
ドレスをn x 0.5秒と［n x 0.5＋１］秒の間のその累積
再生時間で定義し、複数のPBIパックがこの範囲に該当
する場合には、n x 0.5秒、ｎ＝20またはｎ＝60にもっ
とも近いPBIパックを選択する２つのフィールドがあ
る。
現在のPIパックアドレスからの相対論理ブロック番号
を使用して、GOPに臆するPBIのアドレスをn x 0.5秒と
［n x 0.5＋１］秒の間のその累積再生時間で定義し、
複数のPBIパックがこの範囲に該当する場合は、PBIパッ
クをn x 0.5秒、ｎ＝−20またはｎ＝−60にもっとも近
いPBIパックを選択する２つのフィールドがある。
ビデオパック1040の構造は図49にブロック図される。
ビデオパックは、図44Aと44Bに示されるヘッダ972Aまた
は972Bに従って構築されたパックヘッダ972を備える。
ビデオ用のパケットヘッダ1046は、ビデオデータ1048で
のように、ISO/IEC 13818−１に従って構築される。た
だし、MPEGビデオ信号として表記されるビデオデータ10
48は、前記技法に従いエンコードするのが好ましい。
MPEGエンコードされたピクチャのグループは、図50の
1050として示される。このGOP 1050を複数のビデオパッ
ク1040に分割し、ビデオストリーム1060を作成する方法
は、図50の底部にブロック図される。ピクチャオグルー
プ1050は、ビデオパックに適合するために適切なユニッ
トに分割される。最後のビデオパック1040G、ビデオパ
ックｊは、パックのそれぞれに使用される完全な2048バ
イトを使用しないので、最後のパックｊを2048バイトに
等しくするには、スタッフィングが使用される。
図51Aは、MPEGオーディオのビデオパックを示してい
る。このビデオパックは、パックヘッダ972、MPEG要件
に準拠して構築されるパケットヘッダ1084、およびエン
コードされたMPEGオーディオデータ1086を含む。
図51Bは、線形PCMオーディオまたはドルビーAC−３オ
ーディオのどちらかと準拠して構築されるオーディオパ
ック1090を示している。図51Bにブロック図されるパケ
ットの場合、パックヘッダ972は前記のように配列さ
れ、パケットヘッダ1094はMPEG要件に準拠して構築さ
れ、stream_idフィールドは線形PCMまたはAC−３のどち
らかに対応する私的オーディオデータストリームを示
す。サブストリームid 1096は、オーディオデータが線
形PCM用であるか、AC−３（またはMPEG）用であるかを
示す。オーディオフレームポインタ1098は、オーディオ
パケット内のオーディオフレームヘッダ数を示すフレー
ムヘッダ数を具備し、ポインタの最後のバイトからの相
対バイト数を使用して、オーディオフレームの第１アク
セス装置の先頭を示す第１アクセス装置ポインタも備え
る。線形PCMオーディオにとって、各フレームがフレー
ムヘッダとフレームデータを備えるオーディオフレーム
に分割されるのは普通のことである。オーディオフレー
ムポインタ1098も同様にドルビーAC−３で使用できる。
オーディオデータ1100は、対応するオーディオエンコー
ド方法に従って構築される。
図52は、エンコードされたオーディオストリーム1100
を示す。このオーディオストリームは、個々のパック11
22を構成するオーディオパックのストリーム1120に変換
される。各パックの長さには2048バイトで、最後のオー
ディオパック1122G、オーディオパックｊは、長さを204
8バイトにするために、スタッフィングビットを付加す
ることによって調整される。
本発明の新規の特徴とは、サブピクチャの使用および
サブピクチャパックのオーディオ情報とビデオ情報との
インタリーブである。サブピクチャ情報を使用すると、
グラフィック情報の表示が可能になり、MPEGビデオでの
サブピクチャ情報の重複が酌量できる。ホン発明により
使用されるサブピクチャ情報と従来のクローズキャプシ
ョン字幕の間の大きな相違点とは、サブピクチャ情報が
ビットマップ化されたグラフィックであるのに対し、ク
ローズキャプションでは、デコーダに記憶されている文
字セット内の文字を表示するために文字符号が伝送され
るという点である。したがって、従来のクローズキャプ
ションは、デコーダ内の文字セットによって制限され
る。しかし、サブピクチャ情報はビットマップ化してい
るため、外国語文字を含む任意のタイプの文字は、言語
ごとにデコーダ内の文字セットを記憶する必要なしに表
示することができる。
サブピクチャ情報の各表示画面が、サブピクチャユニ
ットと呼ばれる。図53にサブピクチャユニット1140がブ
ロック図される。サブピクチャユニットは、ビットマッ
プ化されたピクセルデータから成る１つの画面を具備
し、このピクセルデータの画面が複数のビデオフレーム
で表示される。サブピクチャユニット1140は、サブピク
チャユニットヘッダ1142を備える。サブピクチャユニッ
トヘッダ1142には、サブピクチャ装置の先頭からのバイ
ト数に相対して、サブピクチャユニットのサイズおよび
表示制御シーケンステーブル1146を記述するフィールド
がある。
ピクセルデータ1144は、ランレングス圧縮済みビット
マップ化情報である。ピクセルは表示された情報のバッ
クグラウンドを形成するバックグラウンドピクセル、図
形線描画を含むサブピクチャ内の表示パターンを可能に
するパターンピクセル、および２つの異なった属性を持
つ図形または文字が表示できるようにする２種類の強調
ピクセルとなる場合がある。ビットマップ化情報は、従
来のグラフィック作成技法を使用して作成できる。ラン
レングス圧縮は、以下の規則に従って実行される。同種
の１ピクセルから３ピクセルが続く場合、最初の２ビッ
トにはピクセル数を、続く２ビットにはピクセルデータ
を入力する。４ビットが１つの単位と見なされる。同種
の４から15のピクセルが続く場合は、最初の２ビットに
ゼロを指定し、続く４ビットにピクセル数、次の２ビッ
トにピクセルデータを入力する。８ビットが１つの単位
と見なされる。同種の16から63ピクセルが続く場合、最
初の４ビットにゼロを指定し、続く６ビットにピクセル
数、次の２ビットにピクセルデータを入力する。12ビッ
トが１つの単位と見なされる。同種の64から255のピク
セルが続く場合は、最初の６ビットにゼロを指定し、続
く８ビットにピクセル数、接ぎの２ビットにピクセルデ
ータを入力する。16ビットが１つの単位と見なされる。
同じピクセルが行末まで続く場合は、最初の14ビットに
ゼロを指定し、次の２ビットにピクセルデータを記述す
る。16ビットが１つの単位と考えられる。１行でのピク
セルの記述が完了するときにバイト割当てが生じない場
合、調整のために４ビットのダミーデータを挿入する。
希望に応じて、画像データを表すために他の圧縮機構を
使用することも可能である。例えば、JPEGフォーマット
やGIFFフォーマットを使用して、サブピクチャ画像を表
すことができる。
表示制御シーケンステーブル1146には、制御シーケン
スが発生する年代順を記述する複数の表示制御シーケン
ス1146A、1146B、1146Cなどが含まれる。表示制御シー
ケンステーブルには、サブピクチャユニット内の情報が
どのように表示されるのかに関する情報が含まれる。例
えば、１つのサブピクチャを形成するワードは、１つづ
つまたは経時的にグループとして表示されるか、その色
が変化することがある。これは、カラオケ情報を表示す
るためにサブピクチャを使用する場合に役立つ。
各表示制御シーケンス（DCSQ）は、サブピクチャユニ
ットが表示されている期間で実行されるピクチャデータ
を変更するコマンドを酌量する。表示制御シーケンスの
第１フィールドは表示開始時間である。このフィールド
は、サブピクチャユニットヘッダによりサブピクチャパ
ケット内で記述されるPTSからの相対PTSのあるDCSQに含
まれる表示制御コマンドの実行開始時間を記述する。記
述された実行開始時間の後の第１ビデオフレームから、
表示制御緒は、DCSQ表示制御開始時間に従って開始され
る。各DCSQの第２フィールドは、後続の表示制御シーケ
ンスのアドレスである。このフィールドは、第１サブピ
クチャユニットからの相対バイト数により後続のDCSQの
開始アドレスを記述する。後続のDCSQが存在しない場合
には、このフィールドは、第１サブピクチャユニットか
らの相対バイト数によりこのDCSQの開始アドレスを記述
する。それ以降、DCSQには１つ以上の表示制御コマンド
が格納される。これらのコマンドにより、ピクセルデー
タの属性および表示を制御、変更できるようになる。コ
マンドには、サブピクチャのオン／オフ状態に関係な
く、強制的にサブピクチャ装置の表示を開始するコマン
ドが含まれる。例えば、ユーザがサブピクチャをオフに
するためにメニューを使用する場合、このコマンドを設
定してユーザの設定値を無視することができる。別のコ
マンドは、更新されたサブピクチャ装置の表示を開始す
る。このコマンドは、各DCSQで一度表示されなければな
らない。２種類の強調ピクセル、パターンピクセル、お
よびバックグラウンドピクセルを含む前記の４種類のピ
クセルの色とコントラストを設定するためのコマンドが
ある。サブピクチャを構成するピクセルデータの矩形領
域表示および位置を設定するコマンドが存在する。この
コマンドは、上部および下部のＸ座標とＹ座標の設定を
可能にする。また、表示に使用されるピクセルデータの
ヘッドアドレスを設定するために使用されるコマンドも
ある。このコマンドを使用すると、上部フィールドと下
部フィールドの両方のヘッドアドレスを入力できる。拡
大されたフィールドでは、装置のヘッドからの相対バイ
ト数による上部フィールドと下部フィールドのピクセル
データの各ヘッドアドレスが使用される。第１ピクセル
データは、行の第１ピクセルを表す。このコマンドは、
少なくとも第1DCSQ、DCSQ0で使用されなければならな
い。
ピクセルデータの色とコントラストを変更するための
DCSQの中に表示されるコマンドがある。データ検索情報
のハイライト情報が使用される場合には、このコマンド
は使用してはならない。ピクセルデータの色とコントラ
ストを変更するためのコマンドは、表示中にピクセルデ
ータの色とコントラストを制御するためのピクセル制御
データを含む。ピクセル制御データに記述される制御の
内容は、指定された開始時間の後にビデオフレームごと
に実行され、新規ピクセル制御データが検出されるか、
新規サブピクチャユニットが検出されるまで続行する。
ピクセル制御データは、同じ変更が加えられる線を指定
するために使用される線制御情報を含む。また、ピクセ
ル制御情報は、変更が加えられる線上の位置を指定する
ために使用することもできる。線制御コマンドにより、
開始線番号、変更ポイント数、および変更終了線番号の
変更が可能になる。ピクセル制御情報は、変更開始ピク
セル番号、および強調ピクセル１と２、パターンピクセ
ル、およびバックグラウンドピクセルの新しい色とコン
トラストを含む。また、表示制御シーケンスの最後を示
すコマンドもある。各DCSQは、このコマンドで終了しな
ければならない。
映画の場合のようにビデオフレームの期間で、使用で
きる多くの異なったサブピクチャユニットが存在する。
図54に図示されるように、サブピクチャユニットは、サ
ブピクチャパック1150に分割される。サブピクチャパッ
クには、前記のパックヘッダ972、MPEGシステム要件に
準拠するパックヘッダ、後続のデータがサブピクチャデ
ータであることを示すサブストリームID、およびサブピ
クチャデータ1158それ自体がある。
サブピクチャユニット1140のようなサブピクチャユニ
ットは、図55にブロック図されるようにサブピクチャパ
ック150に分割される。最後のサブピクチャパック1050G
には、その長さを2048バイトにする埋込みが含まれる。
図56では、連続サブピクチャユニットが表示される方
法を説明する。時間が新しいサブピクチャパケットに記
述されるPTSの時間に等しくなる場合、現在表示中（116
0）のサブピクチャユニットがクリアされ（1162）、次
のサブピクチャユニットの表示制御シーケンスによって
指定される時間が発生すると、そのサブピクチャが表示
される（1164）。1160と1162の間に、サブピクチャユニ
ットｎとサブピクチャユニットｎ＋１の間の境界線があ
る。この境界線は、サブピクチャユニットｎ＋１のパケ
ットヘッダに記述されるPTSで発生する。サブユニット
ｎ＋１の実際の表示時間は、サブピクチャｎ＋１のDCSQ
に説明される。
サブピクチャ情報に使用されるピクセルデータの作成
は、表示が希望される情報のビットマップを作成するた
めにコンピュータを使用して実行できる。ビットマップ
化情報のプロセスは、技術な周知である。
図40−56は、オーディオ情報、ビデオ情報、およびサ
ブピクチャ情報をエンコードするために使用されるデー
タ構造を強調する。ただし、図40−56でのデータ構造の
開示により、MPEGエンコードの従来の技術の当業者は、
特にMPEGシステム説明ISO/IEC 13818−１の力を借り
て、エンコードされたオーディオ、ビデオ、およびサブ
ピクチャをデータ構造にフォーマットできる。同様に、
データを記憶する構造についての知識があれば、ビデオ
情報、オーディオ情報、およびサブピクチャ情報を作成
するためのデータ構造の復号化は、従来の技術の当業者
により実行できる。
本発明の一部を成す例示的なビデオデコーダは、光デ
ィスクに記憶されたデータを読み取る光ディスク読取り
装置を具備する。読み取られた情報は、情報を復号化す
るために、従来の解析技法を使用して解析される。ビデ
オ、オーディオ、サブピクチャ、およびPBIパックのす
べてを復号化しなければならない。ビデオは、オーディ
オパックが従来のデコーダを使用して復号化されるよう
に、市販されているMPEGデコーダを使用して復号化する
ことができる。サブピクチャ情報は、サブピクチャユニ
ットをサブピクチャパックから、それらがエンコードさ
れたのと逆転して構築することで復号化される。特別に
構築されたハードウェアまたはソフトウェアコーディン
グを使用してプログラミングされた汎用マイクロプロセ
ッサは、サブピクチャ情報を復号化するために使用でき
る。図45にブロック図される再生情報パックには、デー
タ検索情報996が含まれる。データ検索情報は、プログ
ラミングされたマイクロプロセッサを使用して処理さ
れ、オーディオデコーダ、ビデオデコーダ、およびサブ
ピクチャデコーダとは異なる。メニュー機能もプログラ
ミングされたマイクロプロセッサによって実行されるの
で、データ検索情報の中に含まれるハイライト情報1022
および他のすべてのメニュー機能は、サブピクチャデコ
ーダによってではなく、プログラミングされたマイクロ
プロセッサによって実行される。本発明の動作、データ
構造、エンコードプロセスと復号化プロセスに関する追
加情報は、両方とも本明細書に参考により取り入れられ
る日本国特許明細書７−8298、および７−85693に記載
される。
本発明のエンコードシステムを使用すると、ピクチャ
内で品質を制御できる。この制御は、最終ビデオ製品の
作成者がエンコードシステムの最終製品を密接に制御で
きるようになるため重要である。したがって、デジタル
ビデオエンコードによりアナログビデオ内に存在しない
復号化人為構造が生じても、最終デジタル製品はきわめ
て良好だろう。前記項のどれかの教示は、他の項に適用
できる。
本発明の決定、計算および処置は、コンピュータ技術
の当業者に明らかとなるように、本発明の教示に従って
プログラミングされた従来の汎用デジタルコンピュータ
を使用して、実現できる。適切なソフトウェアコーディ
ングは、ソフトウェア技術の当業者に明らかとなるよう
に、本開示の教示に基づいて技能のあるプログラマによ
り容易に作成できる。
本発明は、当業者に容易に明らかになるように、アプ
リケーションに特殊な集積回路を作成したり、従来の構
成部品回路の適切なネットワークの相互接続によって
も、実現される。
本発明は、本発明のプロセスを実行するためにコンピ
ュータをプログラミングする場合に使用できる指示を格
納する記憶装置媒体であるコンピュータプログラム製品
を含む。記憶装置媒体は、フロッピーディスク、光ディ
スク、CD−ROM、および磁気光学ディスク、ROM、RAM、E
PROM、EEPROM、磁気カードや光カード、あるいは電子指
示を記憶するために適当な任意のタイプの媒体を含む任
意のタイプのディスクを含むが、それらに限定されな
い。本発明は、さらに、電子指示またはデータを記憶す
るのに適当な前記媒体のどれかで記憶される、本発明に
より出力されるエンコードでータを含む記憶装置媒体で
あるコンピュータプログラム製品も含む。
前記教示という観点から、本発明の数多くの改良およ
び変化が可能であることは明らかである。したがって、
付属請求項の範囲内であれば、本発明は、本明細書に明
確に指示がある場合を除き実施できる。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ヨーグシュウォー、 ジェイ アメリカ合衆国、ニュージャージー州 08648、ローレンスビル、アンソニー・ レーン 34 (72)発明者 ン、 シャウ − バオ アメリカ合衆国、ニュージャージー州 08512、クランベリー、ペティー・ロー ド ４ (72)発明者 伊知川 偵一 神奈川県横浜市金沢区並木３−２−７− 623 (72)発明者 海野 裕明 千葉県市川市八幡１−20−９ (72)発明者 三村 英紀 神奈川県横浜市金沢区並木２−３−１− 403 (72)発明者 北村 哲也 東京都狛江市中和泉１−15−12−301 (72)発明者 クックソン、 クリストファー・ジェイ アメリカ合衆国、カリフォルニア州 90046、ロサンゼルス、トーレイソン・ ドライブ 7825 (72)発明者 サガード、 グレッグ・ビー アメリカ合衆国、カリフォルニア州 90277、レドンド・ビーチ、エメラル ド・ストリート 601 (72)発明者 ローゼン、 アンドリュー・ドルージン アメリカ合衆国、 カリフォルニア州 91304−3654、キャノガ・パーク、フォ ールブルック・アベニュー 7815 (56)参考文献 特開 平７−154802（ＪＰ，Ａ) 特開 平６−309844（ＪＰ，Ａ) 特開 平７−250329（ＪＰ，Ａ) 特開 平８−18913（ＪＰ，Ａ) 特開 平８−307878（ＪＰ，Ａ) 特開 平８−88854（ＪＰ，Ａ) 特開 平８−18912（ＪＰ，Ａ) 特開 平８−9328（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/76 - 5/956,7/32 G11B 20/00,20/10,20/12,27/02

Claims (13)

    (57)【特許請求の範囲】
  1. 【請求項１】オリジナルのエンコードデータのビットス
    トリームを編集するための方法であって、 前記オリジナルのエンコードデータにおける修正する個
    所の始点及び終点を決定する工程と、 前記始点の直前の前記オリジナルのエンコードデータが
    得られた時に用いられた基準データであって、次フレー
    ムをエンコードするために参照されて用いられたフレー
    ムデータを再構築する再構築工程と、 新エンコードデータを得るために、前記終点から前記終
    点の直後に対応する未エンコードデータを得る未エンコ
    ードデータ取得工程と、 再構築された前記基準データを用いて、前記未エンコー
    ドデータをエンコードする工程であり、このエンコード
    時は、前記基準データに対応する前記オリジナルのエン
    コードデータが得られたときとの同じ量子化値を用いて
    エンコードするエンコード工程と、 前記始点以降の前記ビットストリーム内の前記オリジナ
    ルエンコードデータを、前記エンコード工程にてエンコ
    ードされた新エンコードデータで置き換える置き換え工
    程と、 を有することを特徴とするエンコードされたデータのビ
    ットストリームを編集するための方法。
  2. 【請求項２】オリジナルのエンコードデータのビットス
    トリームを編集するための方法であって、 前記オリジナルのエンコードデータにおける修正する個
    所の始点及び終点を決定する工程と、 前記始点の直前の前記オリジナルのエンコードデータが
    得られた時に用いられた基準データであって、次フレー
    ムをエンコードするために参照されて用いられたフレー
    ムデータを再構築する再構築工程と、 新エンコードデータを得るために、前記始点の直前から
    該終点の直前に対応する未エンコードデータを取得する
    未エンコードデータ取得工程と、 再構築された前記基準データを用いて、前記未エンコー
    ドデータをエンコードする工程であり、このエンコード
    時は、前記基準データに対応する前記オリジナルのエン
    コードデータが得られたときと同じ量子化値を用いるエ
    ンコード工程と、 前記始点の直前と前記終点の直後の間の前記ビットスト
    リーム内の前記オリジナルエンコードデータを、前記エ
    ンコード工程にてエンコードされた新エンコードデータ
    で置き換える置き換え工程と、 を有することを特徴とするエンコードされたデータのビ
    ットストリームを編集するための方法。
  3. 【請求項３】請求項１又は２記載の方法であって、 前記未エンコードデータ取得工程で得られる前記未エン
    コードデータは、前記エンコード後、前記始点と終点間
    に挿入するためのデータを含み、 前記エンコード工程は、前記未エンコードデータをエン
    コードし、前記始点の直前と終点の直後のエンコードさ
    れたデータを提供する前記新エンコードデータを得る工
    程を含み、 前記基準データは前記未エンコードデータのエンコード
    中に参照され、また、 前記置き換え工程は、前記エンコード工程でエンコード
    された新エンコードデータを前記始点と終点の間に追加
    する工程を含むことを特徴とするエンコードされたデー
    タのビットストリームを編集する方法。
  4. 【請求項４】請求項３記載の方法であって、 前記置き換え工程は、 前記始点と終点の間に前記エンコードデータを追加する
    前に、前記始点直前と終点直後の間にある前記オリジナ
    ルのエンコードデータを除去する工程を含むことを特徴
    とするエンコードされたデータのビットストリームを編
    集する方法。
  5. 【請求項５】請求項１又は２記載の方法であって、 前記始点と終点の間にある前記オリジナルエンコードさ
    れたデータを除去する工程を更に含むことを特徴とする
    エンコードされたデータのビットストリームを編集する
    方法。
  6. 【請求項６】請求項２記載の方法であって、 前記エンコードする工程は、 前記終点の直後に配置される前記新エンコードデータを
    提供するための前記未エンコードのデータをエンコード
    するのに、 前記オリジナルのエンコードデータが得られたときと同
    じ前記量子化値を用いることを特徴とするエンコードさ
    れたデータのビットストリームを編集する方法。
  7. 【請求項７】請求項２記載の方法であって、 前記基準データを再構築する工程は、 前記始点の直前の予測ビデオフレームを前記基準データ
    として再構築し、またこの予測ビデオフレームは、前記
    始点の後の２つの双方向予測ビデオフレームにより参照
    されるべきフレームであることを特徴とするエンコード
    されたデータのビットストリームを編集する方法。
  8. 【請求項８】請求項７記載の方法であって、 前記基準データを再構築する工程は更に、 前記予測ビデオフレームは、前記オリジナルのエンコー
    ドデータが得られたときと同じ前記量子化値を用いて再
    構築されることを特徴とするエンコードされたデータの
    ビットストリームを編集する方法。
  9. 【請求項９】請求項８記載の方法であって、 前記オリジナルエンコードデータを得るのに使用された
    量子化値を得るために、前記オリジナルのエンコードデ
    ータを得た時の前記予測フレームのバッファ情報、割り
    当てられたビット数、及び前記予測フレームのアクティ
    ビティーレベルを判断し、この判断に基づいて前記量子
    化値を得ることを特徴とするエンコードされたデータの
    ビットストリームを編集する方法。
  10. 【請求項１０】請求項８記載の方法であって、 前記予測フレームをエンコードするのに用いる前記量子
    化値を決定する場合、ログファイル内で前記予測フレー
    ムを示している情報を参照することにより決定する工程
    を更に含むことを特徴とするエンコードされたデータの
    ビットストリームを編集する方法。
  11. 【請求項１１】請求項８記載の方法であって、 前記予測フレームをエンコードするのに用いる前記量子
    化値を得る場合、ファイル内の前記量子化値を参照する
    ことにより決定することを特徴とするエンコードされた
    データのビットストリームを編集する方法。
  12. 【請求項１２】請求項１又は２記載の方法であって、 前記始点と終点を決定する工程は、 前記エンコードデータに関するログファイルを参照し
    て、目的のフレームに至るまでのビットの数を加算する
    ことで決定すること特徴とするエンコードされたデータ
    のビットストリームの再エンコード方法。
  13. 【請求項１３】請求項１又は２記載の方法であって、 前記オリジナルのエンコードデータは、カメラからのビ
    デオをエンコードしたものであることを特徴とするエン
    コードされたデータのビットストリームを編集する方
    法。
JP1997505784A 1995-07-13 1996-04-19 エンコードされたビデオビットストリームのセクションを交換するための方法及びシステム Expired - Fee Related JP3445278B6 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/502,012 US6026232A (en) 1995-07-13 1995-07-13 Method and system to replace sections of an encoded video bitstream
US08/502,012 1995-07-31
PCT/US1996/005314 WO1997003443A1 (en) 1995-07-13 1996-04-19 Method and system to replace sections of an encoded video bitstream

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2000278022A Division JP3842537B2 (ja) 1995-07-13 2000-09-13 エンコードされたビデオビットストリームのセクションを交換するための方法及びシステム

Publications (3)

Publication Number Publication Date
JPH11500592A JPH11500592A (ja) 1999-01-12
JP3445278B2 true JP3445278B2 (ja) 2003-09-08
JP3445278B6 JP3445278B6 (ja) 2005-09-21

Family

ID=

Also Published As

Publication number Publication date
KR100287656B1 (ko) 2001-04-16
CA2202171C (en) 2001-10-30
WO1997003443A1 (en) 1997-01-30
JP4430580B2 (ja) 2010-03-10
CA2202171A1 (en) 1997-01-30
JPH11500592A (ja) 1999-01-12
EP0839374A1 (en) 1998-05-06
JP2005318645A (ja) 2005-11-10
US6219043B1 (en) 2001-04-17
EP0839374A4 (ja) 1998-05-06
JP2001128126A (ja) 2001-05-11
JP3842537B2 (ja) 2006-11-08
AU5552096A (en) 1997-02-10
US6026232A (en) 2000-02-15
AU707082B2 (en) 1999-07-01

Similar Documents

Publication Publication Date Title
JP3481629B2 (ja) エンコードされているビデオシーケンスの品質を手動によりユーザが変更できるようにした方法及びシステム
JP3253971B2 (ja) 既に符号化されたビデオ・フレームの品質をユーザが手作業で変更するための方法およびシステム
JP3512812B2 (ja) 量子化レベルを変化させることによりビデオ・エンコーダのビット割当てを制御する速度制御式デジタル・ビデオ編集方法およびシステム
JP3842537B2 (ja) エンコードされたビデオビットストリームのセクションを交換するための方法及びシステム
JP3361009B2 (ja) ビデオ符号化方法および速度量子化モデルを利用して符号化を行うシステム
JP3710820B2 (ja) オーディオエンコーダの数が低減されるオーディオ映像エンコードシステム
JP2001128126A6 (ja) エンコードされたビデオビットストリームのセクションを交換するための方法及びシステム
JP3445278B6 (ja) エンコードされたビデオビットストリームのセクションを交換するための方法及びシステム
AU735683B2 (en) Method and system to replace sections of an encoded video bitstream

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080627

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090627

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100627

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130627

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees