JP4310195B2

JP4310195B2 - エンコードされたオーディオ／ビデオシーケンスの編集

Info

Publication number: JP4310195B2
Application number: JP2003579224A
Authority: JP
Inventors: ピーケリー，デクラン; ハッセル，ヨーゼフペーファン
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-03-21
Filing date: 2003-02-17
Publication date: 2009-08-05
Anticipated expiration: 2023-02-17
Also published as: TW200305146A; KR20040094441A; EP1490874A1; CN1643608A; AU2003206043A1; US20050141613A1; CN100539670C; WO2003081594A1; JP2005521311A

Description

本発明は、フレームに基づいてコードされたオーディオ／ビデオ（Ａ／Ｖ）データの編集をするための方法及び装置に関し、より詳細には、下記に限定しないが、ＭＰＥＧ２標準によりエンコードされたオーディオ／ビデオデータに関する。フレームに基づくＡ／Ｖデータの少なくとも２つのシーケンスは、第一シーケンスの第一編集ポイントまで含んだ第一フレームシーケンスのフレーム及び第二シーケンスの第二編集ポイントから含んだ第二シーケンスのフレームに基づいて第三の組合せシーケンスを形成するために組み合される。第一及び第二シーケンスの各々は、多数のフレーム（これより以後、“Ｉフレーム”）がシーケンスの如何なる他のフレームと関係なくイントラコードされ（intra-coded）、多数のフレーム（これより以後、“Ｐフレーム”）はシーケンスの一つ先の参照フレームに関係してそれぞれコードされ、残り（これより以後、“Ｂフレーム”）はシーケンスの一つ先及び一つ後の参照フレームに関係してそれぞれコードされるようにコードされ、参照フレームはＩフレーム又はＰフレームであり、フレームの参照のコード化は、関連したレームでの同様のマクロブロックを示すフレームでの移動ベクトルに基づいている。

ＭＰＥＧは、国際標準組織（ＩＳＯ）のムービングピクチャーエキスパートグループ（Moving Picture Experts Group）（“ＭＰＥＧ”）によって確立された、ビデオ信号の圧縮規格である。ＭＰＥＧは、多数の周知のデータ圧縮技術を単一システムに統合する、マルチステージのアルゴリズムである。それらは、移動補償型の予期的なコード化、離散コサイン変換（“ＤＣＴ”）、適応性のある量子化、及び可変長のコード化（“ＶＬＣ”）を含む。ＭＰＥＧの主要な目的は、フレーム間圧縮及びインターリーブされたオーディオを許可している一方、一時的なドメイン（フレームからフレーム）と同様に空間的なドメイン（ビデオフレーム内）にも通常存在する余剰を削除することである。ＭＰＥＧ１はＩＳＯ／ＩＥＣ１１１７２で定義され、ＭＰＥＧ２はＩＳＯ／ＩＥＣ１３８１８で定義される。

飛び越し走査信号と非飛び越し走査信号のビデオ信号の２つの基本形態がある。飛び越し走査信号は、テレビシステムで採用される技術であり、そのテレビシステムは、各テレビフレームが奇数フィールド（odd-field）と偶数フィールド（even-field）と呼ばれる２フィールドから構成される。各フィールドは、側面から側面へ且つ上部から底部へ全体のピクチャーを走査する。

しかしながら、一つの（例えば、奇数）フィールドの水平の走査ラインは、別の（例えば、偶数）フィールドの水平の走査ライン間の半分に位置する。飛び越し走査信号は、放送テレビ（“ＴＶ”）及びハイビジョンテレビ（“ＨＤＴＶ”）において、典型的に使用される。非飛び越し走査信号は、典型的には、コンピュータで使用される。ＭＰＥＧ１プロトコルは、非飛び越しビデオ信号を圧縮／非圧縮での使用において目的とされ、ＭＰＥＧ２プロトコルは、ＤＶＤムービーなどの非飛び越し信号と同様に、飛び越しＴＶ及びＨＤＴＶ信号を圧縮／非圧縮での使用において目的とされる。

従来のビデオ信号がいずれかのＭＰＥＧプロトコルと一致して圧縮される前に、まずデジタル化されなければならない。デジタル処理は、ペル（pels）（ピクセル素子）として呼ばれるビデオ画像の特定位置でビデオ画像の強度及び色を特定するデジタルビデオデータを生成する。各ペルは、垂直のカラムと水平の列に配置された座標のアレイに位置した座標に関係している。各ペルの座標は、水平の列と垂直のカラムとの交点によって定義される。ビデオの各フレームをデジタルビデオデータのフレームへの変換において、非デジタル化ビデオのフレームを作り上げる２つの飛び越しフィールドの走査ラインは、デジタルデータの単一マトリックスで相互デジタル化される。デジタルビデオデータの相互デジタル化は、奇数フィールドからの走査ラインのペルをデジタルビデオデータのフレームでの奇数列の座標を有するようにさせる。同様に、デジタルビデオデータの相互デジタル化は、偶数フィールドからの走査ラインのペルをデジタルビデオデータのフレームでの偶数列の座標を有するようにさせる。

図１を参照するに、各ＭＰＥＧ１及びＭＰＥＧ−２は、一般的にフレームの連続する発生である、ビデオ入力信号をシーケンス又はフレームのグループ（“ＧＯＦ”）１０に分割し、ピクチャーのグループ（“ＧＯＰ”）とも呼ばれる。それぞれのＧＯＦ１０のフレームは、特定のフォーマットにエンコードされる。エンコードされたデータのそれぞれのフレームは、例えば、１６の画像ライン１４を表わすスライス１２に分割される。各スライス１２は、例えば、各々が１６ｘ１６のペルを表わすマクロブロックに分割される。各マクロブロック１６は、輝度データに関する幾つかのブロック１８及びクロミナンスデータに関する幾つかのブロック２０を含む多数のブロック（例えば、６ブロック）に分割される。ＭＰＥＧ２プロトコルは、輝度及びクロミナンスデータを個別にエンコードし、次いで、エンコードされたビデオデータを圧縮されたビデオストリームに組み合わす。輝度ブロックは、それぞれの８ｘ８マトリックスのペル２１に関する。各クロミナンスブロックは、マクロブロック１６によって表わされる、全体の１６ｘ１６マトリックスのペルに関する８ｘ８マトリックスのデータを含む。ビデオデータがエンコードされた後、ＭＰＥＧプロトコルと一致して、圧縮され、緩衝され、修正され、最終的にデコーダに送信される。ＭＰＥＧプロトコルは、典型的には、各々がそれぞれのヘッダー情報を備える複数の層を含む。名目上、各ヘッダーは開始コード、それぞれの層に関するデータ、ヘッダー情報を追加するための条件を含む。各マクロブロックからの６ブロックの例は、一つの可能性である（４：２：０フォーマットと呼ばれる。）。ＭＰＥＧ−２はまた、マクロブロック当たり１２ブロックを有するような他の可能性を与える。

一般的に、ビデオデータに適用される３つの異なるエンコードフォーマットがある。イントラコード化（Intra-coding）は、エンコードは専らデータのマクロブロック１６が位置するビデオフレーム内の情報に依存する、“Ｉ”ブロックを生成する。インターコード化（Inter-coding）は、“Ｐ”ブロック又は“Ｂ”ブロックのいずれかを生成してよい。“Ｐ”ブロックは、エンコードがビデオフレーム（Ｉフレーム又はＰフレームのいずれかで、これ以後は共に“参照フレーム”と呼ぶ）以前に見られた情報のブロックに基づく予測に依存するデータのブロックを設計する。“Ｂ”ブロックは、エンコードが多くて２つの取り囲むビデオフレーム、つまり、ビデオデータの先の参照フレーム及び／又は後の参照フレームからのデータのブロックに基づく予測に依存する、データブロックである。原理において、２つの参照フレーム（Ｉフレーム又はＰフレーム）間で、幾つかのフレームはＢフレームとしてコードできる。しかしながら、中間の多くのフレームがある（さらに、結果としてＢフレームのコードサイズが増大する）場合、参照フレームでの一時的な差異が増大する傾向があるので、実際のＭＰＥＧコードは、参照フレーム間で、２つだけのＢフレームが使用され、各々は参照番号１０で図１に示されるように同一の２つの取り囲む参照フレームに依存するように使用される。フレームからフレームの余剰を削除するために、ビデオ画像での移動対象の移動は、Ｐフレーム及びＢフレームにおいて評価され、フレームからフレームまでの前述のような動きを表わす移動ベクトル内にエンコードされる。Ｉフレームは、すべてのブロックがインターコードされたフレームである。Ｐフレームは、ブロックがＰブロックとしてインターコードされるフレームである。Ｂフレームは、ブロックがＢブロックとしてインターコードされるフレームである。効果的にコードするインターコードがフレームのすべてのブロックにおいて可能でない場合、幾つかのブロックはＰブロックとして又はＩブロックとしてさえもインターコードされてよい。同様に、Ｐフレームの幾つかのブロックは、Ｉブロックとしてコードされてよい。異なるフレームタイプ間の依存性は、図２に例示される。図２Ａは、Ｐフレーム２２０が一つの前の参照フレーム２１０（Ｐフレーム又はＩフレームのいずれか）に依存することを示す。図２Ｂは、Ｂフレーム２５０が一つの前の参照フレーム２３０及び一つの後の参照フレーム２４０に依存することを示す。

デジタル式にエンコードされたＡ／Ｖ及びそのようなデータ上で操作することができるデータ処理機器の高まった利用性で、必要は、フレームの１つのシーケンスの終了と、フレームの次のシーケンスの開始との間の変化が、デコーダによって、スムースに処理されるＡ／Ｖセグメントのシームレスの接合点のために生じた。特定の過程の使用が、ホームムービーの編集と、コマーシャルブレークの除去と、記録された放送材料の不連続性を含んで、Ａ／Ｖシーケンスのシームレスの接合点における適用は多数である。さらなる例は、スプライト（sprites）（コンピュータで生じる画像）におけるビデオシーケンス背景を含み、この技術の使用例は、ＭＰＥＧにコードされたビデオシーケンスの前に動く動画文字になるであろう。

例えば、ＭＰＥＧにおいて記載されるように、フレーム間コードは、効果的なコードを達成するが、２つ以上のＡ／Ｖセグメントが組み合わせたセグメントを形成するシームレス方法で結合されることを必要とする場合に問題を引き起こす。Ｐ又はＢフレームが組み合わされたシーケンスにもたらされる際にこの問題は特異的に生じるが、依存する一つのフレームは、組み合わされたシーケンスにもたらされない。エンコードされたＡ／Ｖシーケンスのフレームの正確な編集のためのデータ処理機器及び方法があり、フレームの第一及び代にシーケンスをブリッジするセグメントのフレームは、元来のフレームを完全に記録することによって生成される（例えば、特許文献１参照）。ブリッジセグメントは、参照フレームを失ったすべてのフレームを含む。記載された方法及び装置は、光学式に保存されたビデオシーケンスで特異的に適応され、専用ハードウェアのエンコーダの使用に依存する。ＰＣなどの従来のデータ処理装置の技術を使用して、主にソフトウェアベースのエンコーダを使用することは、相当の時間を取り、例えば、ホームビデオなどの編集をユーザはしない。
ＷＯ００／００９８１

本発明の目的は、エンコードされたＡ／Ｖシーケンスを編集するための改善されたデータ処理装置及びエンコードされたＡ／Ｖシーケンスを編集する改善された方法を提供することである。特に、ソフトウェアベースのビデオ編集を可能にすることが目的である。

本発明の目的を達成するために、編集するためのデータ処理装置は、第一及び第二フレームシーケンスを受けるための入力を含み、第一の編集ポイント後の参照フレームに関してコードされる第一編集ポイントを含む第一シーケンスでフレームを識別するため、且つ第二の編集ポイント前の参照フレームに関してコードされる第二編集ポイントで開始する第二シーケンスでフレームを識別するための手段を含み、さらに、Ｂタイプの識別されたフレーム（元来のＢフレーム）を、識別されたＢフレームの各々において、元来のＢフレームの移動ベクトルから単独でリエンコード（re-encoded）されたフレームの関連する移動ベクトルを派生することによって、リエンコードするためのリエンコーダを含む。

本発明者は、Ａ／Ｖデータの従来のコード化と違って、ビデオ編集において、元来のエンコードされたフレームは利用可能であり、そこでエンコードされたデータは、ある範囲まで再利用できることを認識した。特に、移動ベクトルは、計算上の資源に関して高コストとなる、移動予測を含む移動ベクトルの完全な再計算を回避して、再利用できる。

従属項２に記載されるように、第一シーケンスの２つ（以上）のＢフレームが後の参照フレームを失う場合、最後のＢフレーム以外が、いまだに存在する先の参照フレームにだけ依存する単一側のＢフレームとして、リエンコードされる。先の参照フレームに関するＢフレームの移動ベクトルは、まだ使用できる。後の参照フレームに関する移動ベクトルはもはや使用できない。これは、平均してフレームのサイズの増大を導くであろう。マクロブロックの合理的な数のために、移動ベクトルが先の参照フレームに関して存在した場合（合理的な合致を示す）、サイズはただ一つの先のフレームに関してさらにコードされたＰフレームのサイズと同様であるだろう。多数の移動ベクトルが先の参照ベクトルのために存在しない場合、多数のマクロブロックはイントラコードされる。結果となるサイズは、Ｉフレームのサイズと同様になるであろう。平均して、サイズの増大は適度になる。リエンコードが必要とされるわずかなフレームをエンコードする従来のＭＰＥＧにおいて、結果となるサイズ（及びビットレート）の増大が通常は許容範囲内におさまり、ＭＰＥＧ２の可変のビットレートのエンコードによるために、通常は、ビットレートの一時的な増大における十分な余裕がある。

従属項３に記載されるように、第一シーケンスの最後の識別されたＢフレームは、先の参照フレームに依存するＰフレームに対してリエンコードされる。先のＩフレーム又はＰフレームに関して存在する移動ベクトルは再利用される。

従属項４に記載されるように、あるいは従属項８に記載されるように、好ましくは、先の参照フレームに依存するだけの単一側のＢフレームとしてリエンコードされたＢフレームに追加して、新規に作成されたＰフレームは参照フレームとして（さらに）使用される。Ｐフレームに関する移動ベクトルは、後の参照フレームに関して使用された移動ベクトルに基づくことができる。それらの移動ベクトルは、Ｂフレームの効果的なコード化を可能にする。特に、先に参照ベクトルに関して移動ベクトルの高い比率が使用できる場合、Ｂフレームのコードサイズは、完全なリエンコードによって達成できるサイズに非常に近接する。

従属項５に記載されるように、移動ベクトルの方向は同一性を維持するが、長さは、一時的に（そのうちに）近接する新規の参照フレームにおいて補償するために減少される。

従属項６に記載されるように、長さは、新規の参照フレームが一時的に近接する比率にしたがって適応される。これは、対象物が、フレームシーケンスの持続にわたる一定の速度及び方向で実質的に移動する際に、画像にとって良好な近似である。

従属項７に記載されるように、探求が元来の移動ベクトルの長さに沿って実行される。これは、対象物の速度が変化する良好な合致の発見を可能にするが、含まれたフレームシーケンスの持続において、方向は実質的に同一性を維持する。

従属項９に記載されるように、引き継がれた第２シーケンスのフレーム中に、新規の参照フレームは、Ｐフレーム又はＩフレームのいずれかに位置する。第一参照フレームがＰフレームに位置する場合、このフレームはＩフレームまでリエンコードされる。これは、組み合わされたシーケンスの第二部分において、適切な参照フレームが元来のＩフレーム又は新規に生成されたＩフレームのいずれかに存在することを保証する。

従属項９に記載されるように、第二シーケンスの他の識別されたＢフレームは、常に状況が発生する、新規に作成したＩフレーム又は元来のＩフレームに関して単一側のＢフレームとして、ここでリエンコードされる。存在する移動ベクトルは、修正されない形態において再利用できる。

本発明の前述及び他の態様は、下記に記載の実施態様に関して詳細に説明され、明確となる。

図３Ａは、ＭＰＥＧ２コード化によるフレームの典型的なシーケンスを示す。下記の記載はこのコード化に集中するが、当業者は他のＡ／Ｖコード化標準に対する本発明の適用可能性を認識するであろう。図３Ａはまた、フレーム間の依存性を示す。Ｂフレームの前方の依存性によって引き起こされ、図３Ａに示されるようなシーケンスのフレームの送信は、受信したＢフレームが、後の参照フレームが受信した（さらにデコードした）後にデコードできるだけである効果を有する。デコード段階でシーケンスによる“ジャンプ”を有することを回避するために、フレームは図３Ａのディスプレイシーケンスに通常は保存も送信もされないが、図３Ｂに示すような対応する送信シーケンスには保存又は送信される。送信シーケンスにおいて、参照フレームは、参照フレームに依存するＢフレーム以前に送信される。これは、受信されるフレームがシーケンスでデコードできることを意味する。デコードされた前方の参照フレームのディスプレイが、依存するＢフレームが表示されるまで遅れることを認識するであろう。

本発明によるデータ処理装置は、第二編集ポイント（インポイント）で開始する第二シーケンスのフレームと第一編集ポイント（アウトポイント）まで含む第一シーケンスのフレームとを組み合わせる。認識されるように、第二シーケンス（インシーケンス（in-sequence））のフレームは、第一シーケンスのフレームと同一のシーケンスから実際に得られてよい。例えば、編集は、ホームビデオからの一つ以上のフレームを除去して実際に含んでよい。編集ポイントにわたるフレームの依存性により、幾つかのフレームのリエンコードが必要とされる。本発明によると、リエンコードは、存在する移動ベクトルを再利用する。最後のリエンコードを生じる、リエンコード段階において、新規の移動評価は生じない。結果として、第一シーケンスから引き継がれたフレームは、リエンコード段階において、第二シーケンスのフレームに関して予測されず、逆もまた同様である。したがって、２つのセグメント間のコード化の依存性は確立されないであろう。このようにして、リエンコードはセグメントジタイに制限される。図４及び５は、第一シーケンスにおけるリエンコードの例を示す。図６及び７は、第二シーケンスにおけるリエンコードの例を示す。組み合わされたシーケンスは、第二シーケンスのリエンコードされたセグメントを備える第一シーケンスのリエンコードされたセグメントの単なる連続である。

図４は、アウトポイントがフレームＢ_６である際の第一シーケンスのリエンコードを例示する。これは、Ｂ_６まで含むすべてのフレームが編集（組み合わせ）されたシーケンスに表わされるが、連続的にＢ_６（ディスプレイの順番で）続くすべてのフレームが組み合わされたシーケンスで表わされないことを意味する。実施例において、Ｂ_６はＰ_５及びＰ_８に依存する。本発明によると、Ｂ_６は、Ｐ^＊ _６として示されるＰフレームとしてリエンコードされる。示されるように、Ｐ^＊ _６はＰ_５だけに関してコードされる。Ｐ_５から予期してコードされる元来のＢ_６フレームの移動ベクトルは、Ｐ^＊ _６フレームで完全に再利用できる。追加的な移動ベクトルは、計算される必要はない。特に、移動評価は要求されない。Ｐ_８は組み合わされたシーケンスで表わされないので、Ｐ_８におけるＢ_６の移動ベクトルはもはや使用できない。結果として、平均におけるＰ^＊ _６でのさらなるマクロブロックは、イントラマクロブロックとしてコードされる必要があり、Ｂ_６おける場合であった。これはＢ_６のサイズを増大する（コード化効率を減少する）が、移動評価を消耗する時間で完全なリエンコードを使用しない。図４Ｃは図４Ｂのシーケンスを示すが、ここでは送信シーケンスを示さない。

図５は、アウトポイントがフレームＢ_７である第一シーケンスのリエンコードを例示する。この実施例において、両フレームＢ_６及びＢ_７は、Ｐ_８と同様にＰ_５関して予期される。Ｐ_８は引き継がれない。本発明によると、参照フレームが失われたＢフレームの最後の一つは、Ｐフレームまでリエンコードされる。この場合、Ｂ_７は、Ｐ_５に単独で依存するフレームＰ^＊ _７にリエンコードされる。リエンコードは、図４のＢ_６における記載と同様である。参照フレーム（この場合、Ｂ_６だけ）を失ったすべてのすべての他のＢフレームは、残存する参照フレーム（つまり、先の参照フレーム）に関してコードされる単一側のＢフレームとしてリエンコードされる。図５Ｂで示されるように、Ｂ_６は、Ｐ_５から予期された単一側のＢ^＊ _６フレームにリエンコードされる。Ｂ_６の移動ベクトルは再利用される。Ｐ_８におけるＢ_６の移動ベクトルはもはや使用できない。結果として、Ｂ^＊ _６でのさらなるマクロブロックは、イントラマクロブロック（intra macroblocks）としてコードされる必要があり、Ｂ_６における場合であった。

図５Ｄは、移動ベクトルがリエンコードされたＰ^＊ _７からのリエンコードされたフレームＢ^＊ _６を予期するために生成される、好ましい実施態様を例示する。それ自体において、移動ベクトルはＢ_７から予期する元来のフレームＢ_６に存在しない。しかしながら、Ｐ_８から予期するＢ_６の移動ベクトルは、この目的において再利用できる。図５Ａの実施例及び従来のＡ／Ｖエンコードを考慮し、フレームが固定された時間間隔でのシーケンスに位置する際に、フレームＢ_６とＰ_８との間の時間は、フレームＢ_６とＢ_７との間の時間の２倍である。時間間隔Ｂ_６乃至Ｐ_８の段階において、対象物の移動が実質的に一定であると仮定すると、移動ベクトルの長さを半分にすることは、Ｐ^＊ _７からのＢ^＊ _６を予期するための移動ベクトルの合理的な評価を与える。好ましくは、それら移動ベクトルは、Ｐ_５からのＢ^＊ _６を予期する移動ベクトルに追加して使用される。この後者の場合、これはＢ^＊ _６を規則的な二重側のＢフレームにさせる。図５の実施例は、２つのＢフレームが参照フレーム間に位置するＭＰＥＧ２の通常の状態を記載する。当業者は、参照フレーム間の２つ以上のＢフレームが存在する状況において前述を用意に適応できる。そのような、より一般的な場合において、移動ベクトルの長さは修正されるように必要とされる要素は、（Ｂ^＊フレームとＰ^＊フレームとの間のフレーム数＋１）／（元来のＢフレームとそれに続く参照フレームとの間のフレーム数＋１）によって与えられる。

さらなる好ましい実施態様において、Ｐ^＊ _７からのＢ^＊ _６を予期するための移動ベクトルの合致の正確性は、０と１との間の因子でＰ_８からのＢ_６を予期するための元来の移動ベクトルの長さを変化することによって増大される。好ましくは、２倍の探求は、０．５（一定の移動にとにかく良好な一致）で開始するこの間隔において実行される。探求技術を使用して、良好な合致は、移動の方向が含まれた時間間隔において実質的に一定を維持する際に対象物において見られることができる。

図６は、インポイントがフレームｐ_８である際の第二シーケンスのリエンコードを例示する。これは、ｐ_８で開始するすべてのフレームが編集された（組み合わされた）シーケンスで表わされるが、連続的にｐ_８に先立つ（ディスプレイの順番で）すべてのフレームは、組み合わされたシーケンスで表わされない。本発明によると、インポイントで開始する、第一参照フレームは、Ｉフレーム又はＰフレームのいずれかで位置する。このフレームがＩフレームである場合、組み合わされたシーケンスで未変更に引き継がれる。フレームがＰフレームである場合、Ｉフレームまでリエンコードされる、つまり、すべてのマクロブロックはイントラブロックとしてリエンコードされる。図６の実施例において、第一参照フレームはｐ_８である。したがって、ｐ_８はｉ^＊ _８までリエンコードされる。フレームｂ_９及びｂ_１０は、参照フレームｐ_８にすでに依存するＢフレームである。移動ベクトルは引き継がれることができる。結果として、ｂ_９及びｂ_１０は、リエンコードされる必要はない。図６Ｂは、ディスプレイシーケンスにおいて生じるリエンコードされたフレームを示す。図６Ｃは、送信シーケンスでの同一シーケンスを示す。

図７は、インポイントがフレームｂ_６である第二シーケンスをリエンコードする第二実施例を与える。インポイントで開始して、第一参照フレームはフレームｐ_８である。さらに図６において記載されるように、ｐ_８はｉ^＊ _８までリエンコードされる。次に、第二シーケンスのすべてのＢフレームは、Ｉフレーム又はインポイントｂ_６に先行するＰフレームのいずれかである、参照フレームを失い識別される。実施例において、ｂ_６及びｂ_７は、前述のＢフレームである。識別されたＢフレームは、単一側のＢフレームとしてリエンコードされる。先行する参照フレームに対する参照は除去される。残存する後の参照フレームの依存性は維持される。実施例において、残存する後のフレームｐ_８はｉ^＊ _８までリエンコードされる。したがって、ｂ_６及びｂ_７は、ｉ^＊ _８に依存してフレームｂ^＊ _６及びｂ^＊ _７として、それぞれリエンコードされる。

図８は、本発明によるデータ処理システムのブロック図を示す。データ処理システム８００は、ＰＣで実行されてよい。システム８００は、Ａ／Ｖフレームの第一及び第二シーケンスを受けるための入力８１０を有する。プロセッサ８３０は、Ａ／Ｖフレームを処理する。特に、フレームがアナログフォーマットに供給される場合、追加的なＡ／Ｖハードウェア８６０は、例えば、アナログビデオサンプラーの形態で使用されてよい。Ａ／Ｖハードウェア８６０は、ＰＣビデオカードの形態であってよい。フレームがＭＰＥＧ２のような適切なデジタルフォーマットでコードされない場合、プロセッサは所望のフォーマットでフレームを最初にリエンコードしてよい。所望のフォーマットに対する初期のコード化又はリエンコードは、通常は全体のシーケンスに適用され、ユーザの相互作用を要求しない。そういうものとして、操作は、正確にイン及びアウトポイントを決定することを通常極度のユーザ相互作用に要求するビデオ編集とは異なり、バックグラウンドで又は放置されて発生することができる。これは、より重要な編集段階において、リアルタイムに実行させる。シーケンスは、ハードディスク又は迅速な光学記憶のサブシステムなどのバックグラウンドメモリ８４０に記憶される。図８がプロセッサ８３０によるＡ／Ｖストリームの流れを示しているが、ＰＣＩ及びＩＤＥ／ＳＣＳＩなどの実際に適切な通信システムは、入力８１０から保存８４０まで直接的にストリームを導くように使用されてよい。編集のために、プロセッサは、編集するシーケンス並びにイン及びアウトポイントで情報を必要とする。好ましくは、ディスプレイが利用可能なストリームでユーザ情報を提供する際に、ユーザは、対話型方法でマウス及びキーボードなどのユーザインターフェースを介して前述のような情報を供給し、所望であれば、フレームはストリームで正確に位置する。前述したように、ユーザは、選択した場面を除去又はコピーすることによって、ホームビデオなどの唯一のストリームを実際に編集してよい。この記載の目的において、これは同一のＡ／Ｖシーケンスを２倍処理すると考慮され、一度はストリーム内（第二シーケンス）として処理し、一度はストリーム外（第一シーケンス）として処理する。本発明によるシステムにおいて、両シーケンスは独立して処理でき、組み合わされた（編集された）シーケンスは両セグメントの連結から形成される。通常は、組み合わされたシーケンスはまたバックグラウンド記憶８４０に記憶される。組み合わされたシーケンスは、出力８２０を介して外部的に供給できる。所望の際、フォーマットの変換は、Ａ／ＶＩ／Ｏハードウェア８６０を用いてなされてよく、例えば、適切なアナログフォーマットに変換されてよい。

前述したように、編集において、プロセッサ８３０は、組み合わされたシーケンス（アウトポイントまで含む第一シーケンスでのすべてのフレームインポイントで開始する第二シーケンスでのすべてのフレーム）において引き継がれることを必要とする第一及び第二シーケンスのセグメントを決定する。次に、Ｂフレームは参照フレームの一つを失って識別される。それらのフレームは、存在する移動ベクトルを再利用することによってリエンコードされる。前述のように、移動評価は本発明により要求されない。示されるように、あるマクロブロックはイントラマクロブロックとしてリエンコードされる必要があってよい。イントラコード化（インターコード化と同様に）は周知であり、当業者は前述の操作を実行することができる。リエンコードは、特別のハードウェアを用いてなされてよい。しかしながら、適切なプログラムの制御下において前述の目的のためにプロセッサ８３０を使用することが好ましい。プログラムはまた、バックグラウンド記憶８４０に記憶されてよく、操作段階において、ＲＡＭメモリなどのフォアグラウンドメモリ８５０にロードされてよい。同一のメインメモリ８５０は、リエンコードされているシーケンスの一時的な記憶（部分）のために使用されてよい。好ましい実施態様において前述されるように、システムはまた移動ベクトルの長さを評価するように作用される。それは、マクロブロックの適切な一致において確認する、好ましい２倍の探求を実行するために当業者の知識内である。移動ベクトルの最適な長さの含まれた評価は、適切なプログラムの制御下でプロセッサ８３０によって好ましく実行される。所望であれば、さらに追加的なハードウェアが使用されてよい。

前述の実施態様は本発明を限定のではなく、むしろ本発明を例示しており、当業者が請求項の範囲を逸脱しない限り代替となる実施態様を設計できることを注意するべきである。請求項において、括弧内の参照番号は、請求項を制限するようには構成されない。単語“有する”及び“含む”は、請求項に列記された以外の他の要素又は段階の存在を除外しない。本発明は、幾つかの別個の要素を有するハードウェアの手段によって、適切にプログラムされたコンピュータの手段によって実行できる。幾つかの手段を列挙して請求するシステムにおいて、幾つかのそれら手段は、ハードウェアの一つ及び同一のアイテムによって具体化できる。コンピュータプログラム製品は、光学記憶などの適切な媒体に記憶／分配されてよいが、インターネット又は無線テレコミュニケーションシステムを介して分配されるように他の形態で分配されてもよい。

従来のＭＰＥＧ２エンコードを示す図である。ＭＰＥＧ２のフレーム間のコード化を例示する図である。ディスプレイとフレームの対応する送信シーケンスを示す図である。アウトポイント（第一編集ポイント）を含んで第一シーケンスのリエンコードを示す図である。異なるアウトポイントにおける第一シーケンスのリエンコードを示す図である。インポイント（第二編集ポイント）を含んで第二シーケンスのリエンコードを示す図である。異なるインポイントにおける第二シーケンスのリエンコードを示す図である。本発明によるデータ処理装置のブロック図である。

Claims

第一シーケンスでの第一編集ポイントまで含む第一フレームシーケンスのフレーム及び第二シーケンスでの第二編集ポイントから含む第二シーケンスのフレームに基づく第三の組み合わされたシーケンスを形成するフレームに基づくＡ／Ｖデータの少なくとも２つのシーケンスを編集するためのデータ処理装置であって、前記第一及び第二シーケンスの各々は、複数のフレーム（これより以後、“Ｉフレーム”）が前記シーケンスの他のフレームを参照せずにイントラコードされ、複数のフレーム（これより以後、“Ｐフレーム”）は前記シーケンスの一つ先の参照フレームを参照してそれぞれコードされ、残り（これより以後、“Ｂフレーム”）は前記シーケンスの一つ先及び一つ後の参照フレームを参照してそれぞれコードされるようにコードされ、前記参照フレームはＩフレーム又はＰフレームであり、前記フレームの参照のコード化は、参照されたフレームでの同様のマクロブロックを示す前記フレームでの移動ベクトルに基づいており、
前記装置は、
前記第一及び第二フレームシーケンスを受けるための入力と、
前記第一の編集ポイント後の参照フレームに関してコードされる前記第一編集ポイントまで含む前記第一シーケンスのフレームを識別するため、且つ前記第二の編集ポイント前の参照フレームに関してコードされる前記第二編集ポイントで開始する前記第二シーケンスのフレームを識別するための手段と、
Ｂタイプの識別されたフレームの各々（元来のＢフレーム）を、識別されたＢフレームの各々において、単に前記元来のＢフレームの移動ベクトルから対応するリエンコードされたフレームの移動ベクトルを導くことによって、前記対応するリエンコードされたフレームにリエンコードするためのリエンコーダと、
を含み、
前記リエンコーダは、連続して近接するＩフレーム又はＰフレームのいずれかである先行するフレームを参照して、Ｐフレーム（これより以後、“Ｐ＊フレーム”）として前記第一シーケンスの前記識別されたＢフレームの連続する最後の一つをリエンコードするように配置され、
前記リエンコーダは、前記Ｐ＊フレームを参照してＢフレーム（これより以後、“Ｂ＊フレーム”）として前記識別されたＢフレームの連続する最後の一つ以外の前記第一シーケンスの識別されたＢフレームをリエンコードするように配置され、前記Ｐ＊フレームに関する前記Ｂ＊フレームの移動ベクトルが、リエンコードされたシーケンスの部分でない前記参照フレームに関するリエンコード前の前記対応する元来のＢフレームの移動ベクトルから導かれることを特徴とする装置。
前記Ｂ＊フレームの移動ベクトルの方向は、前記対応する元来のＢフレームのそれぞれの対応する移動ベクトルと同一であり、前記Ｂ＊フレームの前記移動ベクトルの長さは前記対応する元来のＢフレームのそれぞれの対応する移動ベクトルの長さに比例することを特徴とする請求項１に記載のデータ処理装置。
前記比例の割合は、（前記Ｂ＊フレームと前記Ｐ＊フレームとの間のフレーム数＋１）／（前記元来のＢフレームと該元来のＢフレームに続く参照フレームとの間のフレーム数＋１）によって与えられることを特徴とする請求項２に記載のデータ処理装置。
前記リエンコーダは、前記先の参照フレームも参照して前記識別されたＢフレームの連続する最後の一つ以外の前記第一シーケンスの前記識別されたＢフレームをリエンコードするように配置されることを特徴とする請求項１に記載のデータ処理装置。
前記リエンコーダは、前記第二編集ポイントで開始するＩフレーム又はＰフレームを求めて前記第二シーケンスを連続して走査するように配置され、Ｐフレームが最初に検出された場合、該検出されたＰフレームをＩフレーム（これより以後、Ｉ＊フレーム）にリエンコードすることを特徴とする請求項１に記載のデータ処理装置。
前記リエンコーダは、単一側のＢフレームとして前記第二シーケンスでの識別されたＢフレームの各々をリエンコードするように配置され、前記Ｐフレームが最初に検出された場合、前記単一側のＢフレームが前記Ｉ＊フレームに依存し、又は前記Ｉフレームが最初に検出された場合は前記Ｉフレームに依存することを特徴とする請求項５に記載のデータ処理装置。
第一シーケンスでの第一編集ポイントまで含む第一フレームシーケンスのフレーム及び第二シーケンスでの第二編集ポイントから含む第二シーケンスのフレームに基づく第三の組み合わされたシーケンスを形成するフレームに基づくＡ／Ｖデータの少なくとも２つのシーケンスを編集するための方法であって、前記第一及び第二シーケンスの各々は、複数のフレーム（これより以後、“Ｉフレーム”）が前記シーケンスの他のフレームを参照せずにイントラコードされ、複数のフレーム（これより以後、“Ｐフレーム”）は前記シーケンスの一つ先の参照フレームを参照してそれぞれコードされ、残り（これより以後、“Ｂフレーム”）は前記シーケンスの一つ先及び一つ後の参照フレームを参照してそれぞれコードされるようにコードされ、前記参照フレームはＩフレーム又はＰフレームであり、前記フレームの参照のコード化は、参照されたフレームでの同様のマクロブロックを示す前記フレームでの移動ベクトルに基づいており、
前記方法は、
前記第一及び第二フレームシーケンスを受けることと、
前記第一の編集ポイント後の参照フレームに関してコードされる前記第一編集ポイントまで含む前記第一シーケンスのフレームを識別し、且つ前記第二の編集ポイント前の参照フレームに関してコードされる前記第二編集ポイントで開始する前記第二シーケンスのフレームを識別することと、
Ｂタイプの識別されたフレームの各々（元来のＢフレーム）を、識別されたＢフレームの各々において、単に前記元来のＢフレームの移動ベクトルから対応するリエンコードされたフレームの移動ベクトルを導くことによって、前記対応するリエンコードされたフレームにリエンコードすることと、
を含み、
連続して近接するＩフレーム又はＰフレームのいずれかである先行するフレームを参照して、Ｐフレーム（これより以後、“Ｐ＊フレーム”）として前記第一シーケンスの前記識別されたＢフレームの連続する最後の一つをリエンコードし、
Ｂフレーム（これより以後、“Ｂ＊フレーム”）として前記識別されたＢフレームの連続する最後の一つ以外の前記第一シーケンスの識別されたＢフレームをリエンコードすることは、前記Ｐ＊フレームを参照して行われ、前記Ｐ＊フレームに関する前記Ｂ＊フレームの移動ベクトルが、リエンコードされたシーケンスの部分でない前記参照フレームに関するリエンコード前の前記対応する元来のＢフレームの移動ベクトルから導かれることを特徴とする方法。
プロセッサに請求項７に記載の段階を実行させるコンピュータプログラムを格納したコンピュータ可読媒体。