JPH10271446A - オーディオビジュアル・セグメントを貼り合わせる方法および装置、オーディオビジュアル・セグメントを接合する方法、オーディオビジュアル・ファイルからセグメントをコピーする方法、オーディオビジュアル・ファイルからセグメントを切り取るための装置、ならびにコンピュータが読み取り可能な媒体 - Google Patents

オーディオビジュアル・セグメントを貼り合わせる方法および装置、オーディオビジュアル・セグメントを接合する方法、オーディオビジュアル・ファイルからセグメントをコピーする方法、オーディオビジュアル・ファイルからセグメントを切り取るための装置、ならびにコンピュータが読み取り可能な媒体

Info

Publication number
JPH10271446A
JPH10271446A JP9315667A JP31566797A JPH10271446A JP H10271446 A JPH10271446 A JP H10271446A JP 9315667 A JP9315667 A JP 9315667A JP 31566797 A JP31566797 A JP 31566797A JP H10271446 A JPH10271446 A JP H10271446A
Authority
JP
Japan
Prior art keywords
frame
audio
segment
audio frame
audiovisual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9315667A
Other languages
English (en)
Other versions
JP3768662B2 (ja
Inventor
T Brewer Eric
エリック・ティー・ブリューワー
Paulfreeman Andrew
アンドリュー・ポールフリーマン
C Amis Gregg
グレッグ・シー・アミーズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
FutureTel Inc
Original Assignee
Hitachi Ltd
FutureTel Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, FutureTel Inc filed Critical Hitachi Ltd
Publication of JPH10271446A publication Critical patent/JPH10271446A/ja
Application granted granted Critical
Publication of JP3768662B2 publication Critical patent/JP3768662B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 第一および第二のオーディオビジュアル・セ
グメントを貼り合わせるための方法および装置を提供す
る。 【解決手段】 各オーディオビジュアル・セグメント
は、最初のオーディオ・フレーム、第一のオーディオ・
フレームに続く第二のオーディオ・フレーム、および最
後のオーディオ・フレームを含む複数のオーディオ・フ
レームを有し、さらに最初のビデオ・フレームおよび最
後のビデオ・フレームを含む複数のビデオ・フレームを
有して、第一のオーディオビジュアル・セグメントの中
の始めのオーディオ・フレームを第一のオーディオビジ
ュアル・セグメントの中の最初のビデオ・フレームと位
置合わせするステップを含む。タブ・エラーが半フレー
ムより小さい場合と大きい場合とに対応して、累積誤差
をなくすように最初または第二のオーディオ・フレーム
はタブ−イン・オーディオ・フレームに指定される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、一般的には、オー
ディオビジュアル・ファイルを編集することに関する。
より詳しくは、本発明は、編集操作を行なった後に、ビ
ット・ストリームのオーディオ構成要素とビデオ構成要
素との実質的な同期を維持させるための各種の方法およ
び装置に関する。
【0002】
【従来の技術】MPEG(動画エキスパート・グルー
プ)は、国際規格機構(ISO)が定めたデジタル・ビ
デオおよびオーディオ信号を簡潔にあらわすための構文
法に関する規格である。この構文法では、一般に、ビッ
ト・ストリームを符号化するときにしたがうべき規則の
数を最小限にして、受信者が受信したビット・ストリー
ムを明確に復号できることが求められる。当業者には公
知のように、ビット・ストリームは、ビデオおよびオー
ディオ構成要素に加えて「システム」構成要素を含むも
のである。一般に、システム構成要素は、各ビデオおよ
びオーディオ構成要素を組み合わせ同期させて単一のビ
ット・ストリームにするために必要な情報を含んでい
る。
【0003】MPEG−1と呼ばれる最初のMPEGが
公表された後、MPEG−2で知られる次のMPEGが
導入された。一般的にいって、MPEG−2は、放送さ
れるビデオをより効率的にあらわすことができる改良さ
れた構文法を規定したものである。成立の経緯から、M
PEG−1では、1.5Mビット/秒の速度でデータを取
り扱い、各フレームが352画素×240ラインの解像
度のものを毎秒約30ビデオ・フレーム(NTSC)ま
たは各フレームが352画素×288ラインの解像度の
ものを毎秒約25ビデオ・フレーム(PAL)を再構成
する場合に最適の結果が得られるものとなっている。し
たがって、復号されたMPEG−1ビデオは、消費者の
ビデオテープ(VHS)の知覚される品質にほぼ近似し
ている。それに対して、MPEG−2は、4.0から8.0
Mビット/秒のデータ速度でのCCIR601の解像度
をあらわし、また720画素×480ライン(NTS
C)または720画素×576ライン(PAL)のフレ
ーム解像度を与えるように選定されている。以下、簡単
のために、これら二つのMPEG規格の間の相違が問題
となる場合をのぞいて、「MPEG」という用語は、現
在規定されているあるいは将来規定されるであろうビデ
オおよびオーディオ符号化および復号アルゴリズムを指
すものとする。
【0004】通常、復号の過程は、ビデオ、オーディ
オ、およびシステム情報を含むMPEGビット・ストリ
ームが符号化された個別のビデオおよびオーディオ・ビ
ット・ストリームを生成する役割りを果たすシステム復
号器によってデマルチプレクスされるときに始まる。な
お、これらの符号化されたビデオおよびオーディオ・ビ
ット・ストリームは、その後、ビデオ復号器およびオー
ディオ復号器で復号することができる。現在は、符号化
されたビデオ・ビット・ストリームの構造に関心が向け
られている。一般に、符号化されたMPEGビデオ・ビ
ット・ストリームは、明確なデータ構造階層に組織され
る。この階層の最も高いレベルには「ビデオ・シーケン
ス」がある。これは、シーケンス見出し、一以上の画像
グループ(GOP)、およびシーケンスの終わりコード
を含むものとすることができる。GOPは、ビデオ・シ
ーケンスのサブセットであり、各GOPは、一以上の画
像を含むことができる。以下に説明するように、GOP
は、それによってビデオ・シーケンスのある画定された
セグメントにアクセスできるためきわめて重要である。
ただし、GOPは、きわめて大きくなる場合がある。
【0005】一つのGOP内部の各画像は、左から右へ
また上から下へ向けて画定されるいくつかの「スライ
ス」に仕切られる。個々のスライスは、16×16画素
の正方形の面積を占める一以上のマクロブロックで構成
される。MPEG規格に記されているように、一つのマ
クロブロックは、四つの8×8画素「ルミナンス(輝
度)」構成要素と二つの8×8「クロミナンス(色
差)」構成要素(すなわち、クロマ赤およびクロマ青)
を含む。
【0006】一つのGOP内部の画像の間では、画素情
報の多くが類似しているかまたは同一であるため、MP
EG規格は、この時間的冗長性を利用し、特定の基準画
像から互いに異なる選ばれた画像をあらわすようにして
いる。MPEG規格は、大きく、三種類の符号化された
画像フレームを定義している。第一の種類のフレーム
は、イントラ・フレーム(I−フレーム)である。I−
フレームは、フレーム自身に含まれる情報を用いて符号
化され、以前のまたは将来のフレームに含まれる情報に
は依存しない。その結果、I−フレームは、一般に、フ
レームのシーケンスの中の特定のGOPの起点を定義す
る。
【0007】第二の種類のフレームは、予測フレーム
(P−フレーム)である。P−フレームは、一般に、前
のIまたはP−フレームに含まれる情報を用いて符号化
される。当業者には公知のように、P−フレームは、前
方予測フレームと呼ばれる。第三の種類のフレームは、
双方向フレーム(B−フレーム)である。B−フレーム
は、過去および未来のフレームの両方に含まれる情報に
もとづいて符号化され、したがって双方向予測フレーム
と呼ばれる。したがって、B−フレームは、I−フレー
ムおよびP−フレームより圧縮されたものとなり、P−
フレームはI−フレームより圧縮されたものとなる。M
PEG規格は、IまたはP−フレームの間に特定の数の
B−フレームを配置することを求めてはいないが、大部
分の符号器は、IおよびP−フレームの間に二つのB−
フレームを選択する。このような選択の選定は、符号器
の中のメモリの量および符号化される材料に必要な特性
および定義などの各種要因にもとづいて行なわれてい
る。
【0008】
【発明が解決しようとする課題】MPEG規格は、ビデ
オおよびオーディオ・ビット・ストリームを簡潔に符号
化するための便利な構文法を定めている。コピーされた
オーディオビジュアル・ビット・ストリームのセグメン
トを他のコピーされたオーディオビジュアル・ビット・
ストリームのセグメントに接合する場合、オーディオの
同期に困難が生じる。この同期問題は、一部に、オーデ
ィオ・フレームとビデオ・フレームとがほとんど1対1
に対応しないことに起因する。したがって、ビデオ・フ
レームのセグメントがファイルからコピーされるため認
識される場合には、認識されたビデオ・フレームはその
フレームに対応する所定の数のオーディオ・フレームを
持たないことになる。
【0009】その結果、ビデオのセグメントがファイル
からコピーされ、その後で他のコピーされたセグメント
に接合される場合には、コピーされたセグメントのオー
ディオ構成要素が正規のビデオ・フレームと同期しない
おそれがある。ビデオとオーディオ・フレームが同期し
なくなると、ビデオとオーディオ・フレームが同期でき
なかったオーディオ・フレームの数またはそのパーセン
トをあらわす「エラー」が得られるビット・ストリーム
の中に入り込むことになる。例えば、接合される二つの
ビット・ストリーム・セグメントから入り込む同期エラ
ーは、オーディオ・フレームのわずか数分の一からオー
ディオ・フレームの数フレーム分までさまざまである。
【0010】二つのビット・ストリーム・セグメントの
みを接合することに関係するエラーは、場合によっては
オーディオ・フレームのわずか数フレーム分に過ぎない
かもしれないが、より複雑高度な編集作業で多数のビッ
ト・ストリーム・セグメントが接合される場合には、接
合される各セグメントに関するエラーが加え合わされる
ことになる。その結果生じるエラーがきわめて大きくな
り、したがって得られるオーディオ・フレームの同期が
大きくずれて、再生してもわけが分からなくなるおそれ
がある。さらに、同期がずれたオーディオおよびビデオ
・ビット・ストリームでは、通常、セグメントが接合さ
れた位置で、ビット・ストリームにオーディオの不連続
が生じる。この問題は、一般に音の「ポッピング」と呼
ばれる。すなわち、接合されたビット・ストリーム・セ
グメントに不連続が入り込むと、不快なポッピング音が
生じて、得られるオーディオ・ストリームは、同期がず
れているばかりでなく、耐えられないものとなる。
【0011】以上の説明から判るように、オーディオ構
成要素がビデオ構成要素とほぼ同期した状態を確保しな
がら、オーディオおよびビデオ・ビット・ストリームを
編集する方法および装置が求められている。
【0012】
【課題を解決するための手段】上に述べた課題を解決す
るため、本発明にもとづけば、編集エンジンを用いて編
集操作が行なわれる間、編集されたオーディオビジュア
ル・ファイルの同期をほぼ維持する方法および装置が提
供される。好ましくは、編集エンジンは、編集リストを
通読する二つのパスで編集操作を行なう。一つの実施の
形態にあっては、編集リストは、あるファイルからオー
ディオおよびビデオのセグメントをコピーするコピー・
オペレータの生成を編集エンジンに命令する多数のコピ
ー要求を含むものとすることができる。好ましくは、コ
ピー操作を始めるために、編集エンジンは、オーディオ
およびビデオのコピーされたセグメントは、好ましくは
ビデオ構成要素より時間的に長いオーディオ構成要素を
もつ第一のパスを通る。
【0013】一つの実施の形態にあっては、第一および
第二のオーディオビジュアル・セグメントを貼り合わせ
る方法が開示される。この実施の形態にあっては、各オ
ーディオビジュアル・セグメントは、第一のオーディオ
・フレーム、順序として第一のオーディオ・フレームに
続く第二のオーディオ・フレーム、および最後のオーデ
ィオ・フレームを含む多数のオーディオ・フレームを有
する。オーディオビジュアル・セグメントは、さらに、
最初のビデオ・フレームおよび最後のビデオ・フレーム
を含む多数のビデオ・フレームを有する。前記方法は、
第一のオーディオビジュアル・セグメントの中の始めの
オーディオ・フレームを第一のオーディオビジュアル・
セグメントの中の最初のビデオ・フレームと位置合わせ
するステップを含む。第一のオーディオビジュアル・セ
グメントからの最初のオーディオ・フレームに関係する
タブ・エラーが半フレームより小さい場合には、最初の
オーディオ・フレームが第一のオーディオビジュアル・
セグメントからのタブ−イン・オーディオ・フレームに
指定される。他方、第一のオーディオビジュアル・セグ
メントからの最初のオーディオ・フレームに関係するタ
ブ・エラーが半フレームより大きい場合には、第二のオ
ーディオ・フレームが第一のオーディオビジュアル・セ
グメントからのタブ−イン・オーディオ・フレームに指
定される。さらに、第一および第二のオーディオビジュ
アル・セグメントが貼り合わされる。
【0014】他の一実施の形態にあっては、コピーされ
たオーディオ・セグメントの各端部で所定の数のオーデ
ィオ・フレームが復号されさらに再符号化されてグル・
フレームを生成し、それが例えば音のフェージングおよ
びブレンディング効果を与える構成とすることができ
る。オーディオのコピーされたセグメントが第一のパス
で処理されると、編集エンジンが編集リストを通読する
第二のパスを開始して処理されたオーディオおよびビデ
オ・セグメントを貼り合わせて(すなわち、接合して)
一つのファイルにする。この貼り合わせの操作の間に、
各コピーされたオーディオ・セグメントの端部にあるフ
レーム(すなわち、タブ−インおよびタブ−アウト・オ
ーディオ・フレーム)を落とすかあるいは保持すること
によって、新しく生成されたオーディオビジュアル・フ
ァイルの中のオーディオ構成要素とビデオ構成要素の同
期をほぼ維持することができる。したがって、新しく生
成されたファイルは、好ましくは一オーディオ・フレー
ムの約半分以上のエラーのないオーディオ構成要素をも
つ一以上のオーディオビジュアル・セグメントからなる
ものとすることができる。
【0015】さらに他の一実施の形態にあっては、多数
のオーディオ・フレームおよび多数のビデオ・フレーム
を有する一つのオーディオビジュアル・ファイルから一
つのセグメントをコピーする方法が開示される。最初の
ステップでは、ビデオ・ファイルの中のマーク−インの
位置が選ばれて前記セグメントの中の最初のビデオ・フ
レームに対応し、前記最初のビデオ・フレームが関係す
る開始時間をもつようにされる。次に、ビデオ・ファイ
ルの中のマーク−アウトの位置が選ばれて前記セグメン
トの中の最後のビデオ・フレームに対応し、前記最後の
ビデオ・フレームが関係する終了時間をもつようにされ
る。マーク−イン・ビデオ・フレームが選定されると、
少なくとも最初のビデオ・フレームの開始時間と同じ程
度に早い最初のオーディオ・フレームの開始時間をもつ
最初のオーディオ・フレームが始めのオーディオ・フレ
ームに指定される。少なくとも最後のビデオ・フレーム
と同じ程度に遅い第二のオーディオ・フレームの開始時
間をもつ第二のオーディオ・フレームが最後のオーディ
オ・フレームに指定される。最初のビデオ・フレームか
ら最後のビデオ・フレームまで伸びるビデオ部分と始め
のオーディオ・フレームから最後のオーディオ・フレー
ムまで伸びるオーディオ部分を含むようにオーディオビ
ジュアル・ファイルがコピーされる。このようにして、
好ましくは、セグメントのオーディオ部分は、コピーさ
れたセグメントのビデオ部分より長くすることができ
る。
【0016】さらに他の一実施の形態にあっては、実質
的にオーディオとビデオの同期を維持しながら第一およ
び第二のオーディオビジュアル・セグメントを接合する
方法が開示される。各オーディオビジュアル・セグメン
トは、最初のオーディオ・フレーム、順序として前記第
一のオーディオ・フレームに続く第二のオーディオ・フ
レーム、および最後のオーディオ・フレームを含む多数
のオーディオ・フレームを有し、また最初のビデオ・フ
レームおよび最後のビデオ・フレームを含む多数のビデ
オ・フレームを有する。この実施の形態にあっては、前
記方法は、第一のオーディオビジュアル・セグメントの
中のタブ−イン・オーディオ・フレームを第一のオーデ
ィオビジュアル・セグメントの中の最初のビデオ・フレ
ームと位置合わせするステップを含む。好ましくは、第
一のオーディオビジュアル・セグメントからの最初のオ
ーディオ・フレームに関係するタブ・エラーが半フレー
ムより小さい場合には、第一のオーディオビジュアル・
セグメントからの最初のオーディオ・フレームが最初の
オーディオ・フレームに指定される。さらに、第一のオ
ーディオビジュアル・セグメントからの最初のオーディ
オ・フレームに関係するタブ・エラーが半フレームより
大きい場合には、第一のオーディオビジュアル・セグメ
ントからの第二のオーディオ・フレームが始めのオーデ
ィオ・フレームに指定される。他方、第一のオーディオ
ビジュアル・セグメントからの第二のオーディオ・フレ
ームが始めのオーディオ・フレームに指定される場合に
は、第一のオーディオビジュアル・セグメントからの最
初のオーディオ・フレームが落とされる。
【0017】前記方法は、さらに、第一のセグメントの
中の最後のオーディオ・フレームに関係する累積エラー
が約半オーディオ・フレームを超えるか否かを判別し、
最後のオーディオ・フレームに関係する累積エラーが約
半オーディオ・フレームを超えると判別された場合に
は、第一のセグメントの中の最後のオーディオ・フレー
ムを落とすことを含む。前記方法は、最後に、第二のセ
グメントの中の最初のオーディオ・フレームに関係する
累積エラーが約半オーディオ・フレームを超えるか否か
を判別し、最初のオーディオ・フレームに関係する累積
エラーが約半オーディオ・フレームを超えると判別され
た場合には、第二のセグメントの中の最初のオーディオ
・フレームを落とす。
【0018】本発明の効果は数多いが、本発明の特に顕
著な効果は、ストリーム・エラーが一オーディオ・フレ
ームの約半分を超えることが防がれ、また、連続コピー
操作の後に貼り合わされるセグメントの数にかかわら
ず、ビデオ・フレームとオーディオ・フレームの間でほ
ぼ同期がとられることである。上に述べたようにして第
二のパスでオーディオ・フレームを落としたりあるいは
保持することによって補正が行なわれなければ、さらに
オーディオビジュアル・セグメントが貼り合わされる度
に累積ストリーム・エラーが増大して拡散することは理
解されよう。
【0019】
【発明の実施の形態】本発明ならびにその効果は、添付
の図面を参照して行なう以下の説明から最もよく理解さ
れよう。
【0020】広くは、本発明は、独創的な編集エンジン
を用いることによって編集操作が行なわれる間、編集さ
れたオーディオビジュアル・ファイルの同期を維持する
方法および装置を開示するものである。好ましくは、編
集エンジンは、編集リストを通読する二つのパスで編集
操作を行なう。一般に、編集リストは、アプリケーショ
ンによって与えられ、MPEGオーディオおよびビデオ
・データを含むある数のファイルで一定の操作を行なう
ことが要求される。一つの実施の形態にあっては、編集
リストは、あるファイルからオーディオおよびビデオの
セグメントをコピーするコピー・オペレータの生成を編
集エンジンに命令する多数のコピー要求を含むものとす
ることができる。
【0021】好ましくは、コピー操作を始めるために、
編集エンジンは、オーディオおよびビデオのコピーされ
たセグメントは、好ましくはビデオ構成要素より時間的
に長いオーディオ構成要素をもつ第一のパスを通る。他
の一実施の形態にあっては、コピーされたオーディオ・
セグメントの各端部で所定の数のオーディオ・フレーム
が復号されさらに再符号化されてグル・フレームを生成
し、それが例えば音のフェージングおよびブレンディン
グ効果を与える構成とすることができる。オーディオの
コピーされたセグメントが第一のパスで処理されると、
編集エンジンが編集リストを通読する第二のパスを開始
して処理されたオーディオおよびビデオ・セグメントを
貼り合わせて(すなわち、接合して)一つのファイルに
する。この貼り合わせの操作の間に、各コピーされたオ
ーディオ・セグメントの端部にあるフレーム(すなわ
ち、タブ−インおよびタブ−アウト・オーディオ・フレ
ーム)を落とすかあるいは保持することによって、新し
く生成されたオーディオビジュアル・ファイルの中のオ
ーディオ構成要素とビデオ構成要素の同期をほぼ維持す
ることができる。したがって、新しく生成されたファイ
ルは、一以上のコピーされたオーディオビジュアル・セ
グメントからなるものとすることができる。一つの実施
の形態にあっては、新しいファイルは、好ましくは、ビ
デオ構成要素と正確に同期して一オーディオ・フレーム
の約半分以上はずれることのないオーディオ構成要素を
有する。
【0022】図1Aは、ビデオ構成要素とほぼ同期した
オーディオ構成要素を生成することに関係する処理ステ
ップを説明するために用いる多くのオーディオおよびビ
デオ・フレームのシーケンスを示す図である。例とし
て、ビデオ・フレームがMPEG規格のフォーマットに
もとづいて処理された後で符号化される順序を示すビデ
オ・フレームの符号化の順序のストリーム50が示され
ている。例として示したこの符号化の順序のストリーム
50では、最初のフレームは、I−フレームであり、そ
の後にP−フレーム、B−フレーム、B−フレーム、P
−フレーム、B−フレーム、B−フレーム、B−フレー
ム等々が続く。本発明の編集アルゴリズムは、任意の適
当に配列されたフレームのシーケンスを処理することが
できるが、表示の順序でフレームのシーケンスを処理す
ることが好ましい。したがって、処理操作が行なわれる
前に、符号化の順序のストリーム50は、表示の順序の
ストリームに変換される。
【0023】すなわち、フレーム0からフレーム36ま
で時間順序で配列されたフレーム・ストリームは、表示
順序ストリーム52の中で処理されるフレームの順序を
識別する。比較のために、符号化順序ストリーム50の
中のフレームの対応する時間順序を対応するフレームの
下に示してある。もちろん、表示順序ストリーム52
は、単に例であり、本発明にもとづいて他の適当な表示
順序ストリームを適当に処理できることは理解されよ
う。
【0024】ビデオ・フレームのセグメントが表示順序
ストリーム52からコピーされると、マーク−インの位
置およびマーク−アウトの位置が選定されて、コピーさ
れるフレームの数が識別される。例として、マーク−イ
ンの位置がP−フレームであるフレーム9に選定され、
マーク−アウトの位置がB−フレームであるフレーム2
8に選定されるとする。したがって、表示順序ストリー
ム52からコピーされるフレームのセグメントは、フレ
ーム9から28までとなる。図示のように、識別された
セグメントは、関係するオーディオ・フレームも含むも
のとなる。
【0025】当業者には公知のように、各オーディオ・
フレームは、コピーされているMPEGオーディオレイ
ヤの種類によって大きさが異なる場合がある。MPEG
オーディオ規格は、具体的に三つのレイヤがあり、各レ
イヤは、関係するフレーム速度とさまざまな識別特性を
もっている。例として、MPEGレイヤ2オーディオ
は、毎秒約28から38フレーム間での間のフレーム速
度をもつことができる。特性の例としては、オーディオ
・モード(例、ステレオ、モノ、サラウンド等々)、お
よびサンプリング周波数(例、32kHz、44.1kH
z、および48kHz)を挙げることができる。MPE
Gオーディオ文書の中に記載されているように、各オー
ディオ・フレームは、好ましくは関係するヘッダを含
み、このヘッダが、各ヘッダの後に続くオーディオ・サ
ンプルの個々の特性を識別する。ただし、わかりやすく
するために、以下では、オーディオ・フレームは、純粋
なパルス・コード変調(PCM)オーディオ・サンプル
として説明する。
【0026】表示順序ストリーム52に示すように、オ
ーディオ・フレームの例がそれぞれの関係するビデオ・
フレームの下に示されている。この代表的なビット・ス
トリームの中で互いに関係するビデオ・フレームに対す
るオーディオ・フレームの「時間」位置を識別するため
に、図では、オーディオ・フレームとビデオ・フレーム
は、やや絵画的に描かれている。
【0027】図1Bは、本発明の一実施の形態にもとづ
いて図1Aの表示順序ストリーム52からコピーされた
後のオーディオビジュアル・セグメント60を示す。図
示のように、ビデオ・フレーム9から28および始めの
オーディオ・フレーム56と終わりのオーディオ・フレ
ーム62が、表示順序ストリーム52からコピーされて
いる。始めのコピー・ステップの間、コピーされたオー
ディオ・セグメントは、コピーされたビデオ・セグメン
トより長い時間を占めることが好ましい。
【0028】以下でより詳細に説明するように、フレー
ム9がマーク−イン・ビデオ・フレームであると識別さ
れると、オーディオ・フレームをコピーするために、始
めのオーディオ・フレーム56の始まりの時間がマーク
−イン・フレーム9の開始時間54と同じかまたはそれ
より早いかの判別が行なわれる。同様に、フレーム28
がマーク−アウト・ビデオ・フレームであると識別され
ると、オーディオ・フレームをコピーするために、終わ
りのオーディオ・フレーム62の始まりの時間がマーク
−アウト・フレーム28の終了時間53と同じかまたは
それより早いかの判別が行なわれる。
【0029】簡単に述べれば、オーディオ・フレームが
マーク−イン・ビデオ・フレーム9の開始時間54また
はマーク−アウト・ビデオ・フレーム28の終了時間5
3と完全に位置合わせされない場合には、始めのオーデ
ィオ・フレーム56は、マーク−イン・ビデオ・フレー
ムの開始時間54より早い開始時間を示し、終わりのオ
ーディオ・フレーム62は、マーク−アウト・ビデオ・
フレーム28の終了時間53より早い開始時間を示す。
この例では、オーディオ・フレーム56が始めのオーデ
ィオ・フレームとして選定され、オーディオ・フレーム
62が終わりのオーディオ・フレームとして選定され
る。オーディオ・フレーム64が、マーク−アウト・ビ
デオ・フレーム28の終了時間53より遅い開始時間を
有し、したがってコピーされないことが理解されよう、
したがって、最初のパスでは、オーディオ・フレーム6
2間でのオーディオ・フレームのみがコピーされること
になる。
【0030】図2は、本発明の一実施の形態にもとづく
ビデオ・ファイルの編集に用いられるデータ・フロー・
アーキテクチャー100を示す。図示のように、ファイ
ルのオーディオ構成要素の編集にも同様なアーキテクチ
ャー(例、かげになって隠されている部分)が用いられ
る。係属関連出願に記載されているように、ビデオ・フ
ァイルは、ここにはかげで示したアーキテクチャーを用
いて並行的に編集することができる。
【0031】データ・フロー・アーキテクチャー100
は、多くの編集作業を行なうことのできるMEDITエ
ンジン102と呼ばれる編集エンジン102によって駆
動されることが好ましい。例として、この種の作業とし
て、ソースまたは入力ストリーム・ファイルからのセグ
メントが他のファイルで使用するためにコピーされる必
要があることを要求するコピー操作を挙げることができ
る。他の適当な編集作業としては、フェード操作、ブレ
ンド操作、モーフィング(形付け)操作、ティルティン
グ(傾け)操作、テキスト・アノテーション(注釈付
け)操作などを挙げることができる。一般に、MEDI
Tエンジン102は、編集作業を要求するアプリケーシ
ョンが提供するオペレータの種類に応じて異なる多くの
編集作業を管理することのできるダイナミックな装置で
ある。したがって、MEDITエンジン102は、複雑
高度な編集作業を必要とする将来のアプリケーションが
提供するオペレータ「プラグ−イン」を含む多数のオペ
レータの種類をすべて管理することができることが理解
されよう。
【0032】以下では、ソース・ファイルからビデオの
セグメントをコピーするなどの編集作業を行なう場合に
MEDITエンジン102がたどる処理ステップの概要
を説明する。一般に、コピー操作は、アプリケーション
106がコピー操作を行なうことを要求したときに開始
される。
【0033】最初、アプリケーション106は、MED
ITエンジン102に、編集する型を要求するためのチ
ャンネルを識別する数である「チャンネル・オペレー
タ」110、アプリケーション106が要求する編集機
能の種類を識別する「機能オペレータ」112、および
編集要求の終わりを識別する「終わりオペレータ」11
4を含む適当な編集リスト108を提供する。図示の実
施の形態では、機能オペレータ112は、「コピー」要
求を識別する。例として、機能オペレータ112で識別
された最初のコピー要求は、チャンネル1のためにA.
MPEGと呼ばれるファイルの中のフレーム9から28
をコピーする要求であるとする。図示のように、チャン
ネルNであるB.MPEGと呼ばれるファイルの中のフ
レーム10から25をコピーする要求に至るまで、他に
も多くのコピーの要求があり得る。もちろん、コピーす
るためにビデオ・フレームが識別されると、上に述べた
ように関係するオーディオ・フレームもコピーのために
選定されることが好ましい。
【0034】MEDITエンジン102が編集リスト1
08を受け取ると、コピーの要求が編集リスト108を
通読する二つの識別可能なパスで処理される。第一のパ
スでは、MEDITエンジン102は、編集リスト10
8全体を通読して正しい数のオーディオ・フレームを選
び出し、オーディオ構成要素が時間的にビデオ構成要素
より長くなるようにする。好ましくは、始めのオーディ
オ・フレームは、マーク−イン・ビデオ・フレームの開
始時間またはその前に始まるように選定され、終わりの
オーディオ・フレームは、マーク−アウト・ビデオ・フ
レームの終了時間またはその前に始まるように選定され
る。説明をわかりやすくするために、始めのオーディオ
・フレームを「タブ−イン」オーディオ・フレームと呼
び、終わりのオーディオ・フレームを「タブ−アウト」
オーディオ・フレームと呼ぶ。
【0035】適当なタブ−インおよびタブ−アウト・フ
レームが選定されると、コピーされたセグメントの中の
オーディオ・フレームの数を確認し、コピー・オペレー
タがタブ−イン・フレームで始まる所定の数のオーディ
オ・フレームを処理(すなわち、復号および再符号化)
してイン・グル・セグメントを生成し、またタブ−アウ
ト・フレームまでの所定の数のオーディオ・フレームを
処理してアウト・グル・セグメントを生成することがで
きるようになる。コピーされたオーディオ・セグメント
のためにグル・セグメントが生成されると、そのグル・
セグメントが適当な記憶媒体140に記憶される。記憶
媒体140は、キャッシュ・メモリ、コンピューター・
ハード・ドライブ、フロッピー・ディスク、あるいは適
当なネットワークによって接続されて遠隔に配置された
記憶媒体など任意の適当な記憶媒体とすることができ
る。
【0036】第二のパスでは、MEDITエンジン10
2は、MEDITエンジン102によって生成される複
数のスティッチャ・オブジェクト147、148を用い
てグル部分を未処理のコピーされたセグメント(すなわ
ち、ミドル・グル)と接合することで前に生成したグル
・セグメントを利用する。以下により詳細に説明するよ
うに、スティッチャ・オブジェクトは、編集リスト10
8の各チャンネルのために生成され、特定のチャンネル
に関連して生成された各スティッチャ・オブジェクト
は、編集リスト108全体を通読してそれ自身のチャン
ネルのためにグル・セグメントを接合する(例、他のチ
ャンネルに関連する情報は無視する)責任をもつ。
【0037】このようにして、編集リスト108の中で
識別された各チャンネルがそれ自身のスティッチャ・オ
ブジェクトをもつように多数のスティッチャ・オブジェ
クトを生成することができる。特定の一実施の形態にあ
っては、各スティッチャ・オブジェクトは、正しい時系
列で前記特定のグル・セグメントを接合し、生成された
各セグメントがタイム・スタンピングされて適当な表示
順序ストリームを生成するようにする責任をもつ。さら
に、生成された各スティッチャ・オブジェクトは、グル
・オブジェクト130および131などのグル・オブジ
ェクトを用いて、前に生成されたイン・グルまたはアウ
ト・グル・ファイルからグル・セグメントを引き出す
か、あるいはミドル・グル・セグメントの位置を識別す
るポインタを用いて元のファイルからミドル・グルを引
き出す。図1Bのオーディオビジュアル・セグメント6
0を参照して、オーディオ・フレーム56、58、5
9、および61が復号され再符号化されてイン・グル・
セグメントを生成し、オーディオ・フレーム66、6
5、63、および62が復号再符号化されてアウト・グ
ル・セグメントを生成すると、オーディオ・フレーム6
1と66の間にある残りのフレームは、例としてミドル
・グル・セグメントをあらわすことになる。貼り合わさ
れたフレーム・データがプログラム要素ストリーム(P
ES)としてマルチプレクサ150に出力されると、マ
ルチプレクサ150は、生成されたすべてのスティッチ
ャ・オブジェクトからPESデータを引き出し、コピー
されたセグメントをMEDITエンジン102を介して
アプリケーション106へ出力する。
【0038】図2の全体のデータの流れを説明するため
に、アプリケーション106が、チャンネル1からA.
MPEGファイル124(すなわち、図1Aの表示順序
ストリーム52)からフレーム9から28をコピーする
操作を要求する場合を仮定する。MEDITエンジン1
02は、最初のパスの間に全編集リスト108を通読し
て、前の編集要求の間にグル・セグメントがすでに生成
されてグル・ファイルの中に記憶されているか否かを判
別する。A.MPEGファイル124からのフレーム9
から28のコピー操作のためにすでに存在するグル・セ
グメントはないと仮定すると、MEDITエンジン10
2は、制御オブジェクト111(例、制御オブジェク
ト)を生成するコピー・オペレータ104を生成する。
【0039】この実施の形態にあっては、制御オブジェ
クト111は、検索エンジン装置118を使用して、
A.MPEGファイル124の中でコピーするために識
別された適当なビデオ・フレームを検索する。
【0040】適当なフレームが位置付けされ、タブ−イ
ンおよびタブ−アウト・フレームを含む適当な数のオー
ディオ・フレームが選定されると、復号器120は、タ
ブ−イン・オーディオ・フレームで始まるまたはタブ−
アウト・オーディオ・フレームでオーディオ・フレーム
で終わる所定の数のオーディオ・フレームを復号するこ
とができる。一般に、オーディオ・グル・フレームは、
例えば「ゼロへまたはゼロから」のフェードのようなオ
ーディオ効果を導入するために処理されるオーディオ・
フレームをあらわす。さらに、「インおよびアウト」グ
ル・セグメントの生成は、オプションの処理ステップ
で、コピー・オペレータ102の中のパラメーターによ
って暗示的に選定されるかあるいはアプリケーション1
06によって送られるパラメーターによって明示的に要
求される場合があることは理解されよう。したがって、
グルの生成が要求される場合には、復号器120によっ
て所定の数のオーディオ・フレームが一度に一フレーム
づつ復号される。MPEG規格の中で定義されている復
号の要件を満たすためには、使用される復号器バッファ
を管理する必要があることは理解されよう。
【0041】一つのオーディオ・フレームが復号される
と、復号されたデータがコピー・オペレータ104へ送
られる。コピー・オペレータ104は、復号されたデー
タを、コピー・オペレータ104によって生成されて符
号器115を有する制御オブジェクト113(例、制御
オブジェクト)へ送る。この時点で、符号器115は、
オーディオ・フレーム・データを適当なフォーマットに
再符号化し、再符号化されたオーディオ・フレームをグ
ル・ファイルの中に記憶するグル・オブジェクト116
を呼び出す。図示のように、グル・ファイルは、好まし
くは、キャッシュ・メモリなどの記憶媒体140の中に
記憶される。オプションで、各イン・グルおよびアウト
・グル・セグメントのために所定の数のオーディオ・グ
ル・フレームがすべて復号されて再符号化されると、前
記セグメントは、A.MPEGグル・ファイル126な
どの適当なグル・ファイルの中に記憶される。
【0042】MEDITエンジン102は、通常、編集
リスト108の中の各コピー要求のために個別のコピー
・オペレータを生成することは理解されよう。したがっ
て、編集リストの中の第二のコピー操作要求(すなわ
ち、B.MPEGファイル、チャンネルNからのフレー
ム10から50)は、個別のコピー・オペレータ104
によって処理され、これらのコピー・オペレータが、そ
れ自身の検索および復号機能のために新しい制御オブジ
ェクト111を生成し、また生成されたグル・フレーム
を復号しておそらくは記憶媒体140に記憶されている
対応するグル・ファイルへ転送するための新しい制御オ
ブジェクト113を生成する。
【0043】一実施の形態にあっては、各コピー・オペ
レータの実行は、編集リスト108の中で識別されたす
べての編集要求を迅速に処理する並行フォーマットの多
数の処理ユニットによって処理することができる。さら
に、編集リストの中にはきまった評価順序は存在せず、
また各編集操作は独立の行なうことができるので、並行
処理は容易である。他の一実施の形態にあっては、イン
ターネット・ビデオ・サーバーを用いて多重処理を行な
うことができる。当業者には公知のように、インターネ
ット・ビデオ・サーバーは、編集リスト108の中の編
集要求を同時に処理するために用いることができる。
【0044】やはり図2を参照して、編集リスト108
の中の各コピー要求のために適当なグル・ファイルが生
成されたら、MEDITエンジン102は、第二のパス
で編集リスト108を通読し、編集リスト108の中で
識別された各チャンネルのためにスティッチャ・オブジ
ェクト147および148などのスティッチャ・オブジ
ェクトを生成する。図示の例では、チャンネル1および
チャンネルNのために生成された二つのスティッチャ・
オブジェクトのみが示されているが、編集リスト108
の中で識別されたチャンネルの数に応じて任意の数のス
ティッチャ・オブジェクトを生成できることは理解され
よう。例として、実施の形態によっては、編集リスト1
08はMPEG−2プラットホームの下の約8000の
オーディオ・チャンネルおよび約4000のビデオ・チ
ャンネルの多重チャンネルのためのスティッチャ・オブ
ジェクトを含むようにすることができるものもある。
【0045】各チャンネルのためにスティッチャ・オブ
ジェクトが生成されると、各スティッチャ・オブジェク
ト147および148は、グル・オブジェクト130お
よび131を生成することが好ましい。この実施の形態
にあっては、各スティッチャ・オブジェクトは、編集リ
ストを通読して関連するチャンネルのための編集要求を
探す。例として、スティッチャ・オブジェクト147
は、編集リスト108を通読してチャンネル1のための
編集要求を識別し、同様に、スティッチャ・オブジェク
ト148は、編集リスト108を通読してチャンネルN
のための編集オペレータを識別する等々の構成とされ
る。グル・オブジェクト130および131が生成され
ると、グル・オブジェクト130は、各スティッチャ・
オブジェクト147および148に、グル・データを提
供するが、これらのデータは、最初のパスの間に生成さ
れたものとすることもできる。
【0046】この例では、グル・オブジェクト130
は、コピーされたセグメントのために各種のグル・セグ
メントを引き出す任務をもつ。例として、グル・オブジ
ェクト130は、A.MPEGグル・ファイル126の
中に記憶されたグル・データを引き出してそれをスティ
ッチャ・オブジェクト147に提供するものとすること
もできる。さらに、なんらかのミドル・グル・データ
(すなわち、切り取られたセグメントの未処理部分)が
要求された場合、グル・オブジェクト130は、制御オ
ブジェクト111によって制御されるストリーマ122
へポインタ134を用いる。このようにして、グル・オ
ブジェクト130は、A.MPEGファイル124から
正しいフレームを引き出すことができる。この実施の形
態にあっては、ミドル・グルは、図1Bのコピーされた
セグメント60の中のオーディオ・フレーム61とオー
ディオ・フレーム66の間にあるオーディオ・フレーム
に関連させることができる。もちろん、オーディオ・フ
レームのためにグル・セグメントが生成されない場合に
は、タブ−イン・オーディオ・フレームで始まりタブ−
アウト・オーディオ・フレームで終わるすべてのオーデ
ィオ・フレームは、ミドル・グルとして識別される。
【0047】したがって、各スティッチャ・オブジェク
ト147および148は、グル・データを要求し、グル
・オブジェクト130および131は、適当な位置から
データを引き出す。各スティッチャ・オブジェクトが、
時系列的に要求されたデータを引き出すと、各スティッ
チャ・オブジェクトは、PESデータ・ストリームをM
UXユニット150へ転送し、前記ユニットは、引き出
されたPESデータ・ストリームを多重化して、単一の
ストリームをMEDITエンジン102を介してアプリ
ケーション106へ送る。
【0048】図3は、本発明の一実施の形態にもとづい
てビデオ・ファイルを編集するための好ましい方法のス
テップを示すフローチャートである。この処理は、ステ
ップ300から始まり、このステップでは、MEDIT
エンジンが編集リストを受け取る。上に述べたように、
編集リストは、通常、特定の編集要求に関係して必要と
されるチャンネルの数および種類を識別する多数のチャ
ンネル・オペレータを含んでいる。例えば、通常は、ビ
デオおよびオーディオのための個別のチャンネルが存在
する。また、多数の個別のビデオ・チャンネルと多数の
個別のオーディオ・チャンネルが存在する場合もある。
【0049】図2を参照して、アプリケーション106
がMEDITエンジン102へ編集リスト108を送る
と、処理は、ステップ302へ進み、タブ−インおよび
タブ−アウト・フレームを含むオーディオ・フレームが
識別され、編集リスト108の中の各コピー要求のため
にグル・セグメントが生成される。グル・セグメントが
要求された場合には、編集リスト108の中の特定のコ
ピー操作のために任意の数のグル・セグメントが存在す
る。すなわち、グル・セグメントは、イン・グル、ミド
ル・グル(すなわち、「未処理フレーム」)、およびア
ウト・グル・セグメントを含む。所定の数のオーディオ
・フレームのためにグル・セグメントが生成された場合
には、前記生成されたグル・セグメントは、第二のパス
で使用しまた将来の編集操作で使用するために「インま
たはアウト」グル・ファイルとして記憶されることが好
ましい。
【0050】したがって、もし将来、編集操作の中で同
じフレーム域のコピーが行なわれることがある場合に
は、前に生成されたグル・セグメントを再使用すること
ができる。これによって、同じグル・ファイルをまった
く最初から非効率に再生成する必要をなくすことができ
る。実際、グル・セグメント・ファイルは、ネットワー
クに分散させ、編集操作の要求があれば引き出すように
することもできる。
【0051】適当なグル・セグメントが生成されて適当
なメモリ位置(例、キャッシュ・メモリ)に記憶される
と、処理は、ステップ304へ進み、第二のパスの間に
図2に示すMEDITエンジン102によって要求され
た出力ストリームが生成される。図示のように、各チャ
ンネル・オペレータのために多数のスティッチャが生成
され、編集リストの中で識別された各チャンネルは、そ
れ自身のスティッチャ・オブジェクトをもつことにな
り、また、各スティッチャ・オブジェクトは、編集リス
トを通読して、前記編集リストの中の各機能オペレータ
のためのデータを要求する。すなわち、各スティッチャ
・オブジェクトは、グル・マネージャー(すなわち、グ
ル・オブジェクト130および131)の補助のもと
で、さまざまなグル・ファイルからデータを引き出す。
このようにして、各スティッチャ・オブジェクトは、グ
ル・オブジェクトからデータを受け取り、多重化ユニッ
ト150は、各スティッチャ・オブジェクトからPES
ストリーム・データを要求する。
【0052】マルチプレクサが関係するスティッチャ・
オブジェクトからデータを引き出すと、前記マルチプレ
クサは、多重化されたデータをMEDITエンジン10
2を介してアプリケーションへ送る。マルチプレクサに
よるストリームの出力は、オーディオ、ビデオ、あるい
はビデオとオーディオ・データの多重化された組み合わ
せのいずれとしてもよいことは理解されよう。ステップ
304で、要求された出力ストリームがアプリケーショ
ンへ送られると、処理は、完了する。以下では、図4か
ら17を参照して、オーディオ構成要素をビデオ構成要
素とほぼ同期した状態に維持する編集された出力ストリ
ームの生成に関係する処理ステップをより詳細に説明す
る。
【0053】図4は、本発明の一実施の形態にもとづい
て任意の適当なオペレータのためにグルを生成すること
に関係する処理ステップを詳細に示したフローチャート
である。まず、MEDITエンジンは、アプリケーショ
ンによって与えられる編集リストを通読する。一般に、
処理は、ステップ310で始まり、このステップでは、
MEDITエンジンが編集リストの次の入力項目を確保
する。MEDITエンジンが編集リストの中の現在の入
力項目を確保したら、処理は、決定ステップ312へ進
む。決定ステップ312では、編集リストの中の現在の
入力項目が「END(終了)」オペレータか否かが判別
される。現在の入力項目がENDオペレータである場合
には、図4の処理は完了する。
【0054】現在の入力項目がENDオペレータでない
場合には、処理は、第二の決定ステップ314へ進み、
このステップでは、編集リストの中の現在の入力項目の
ためのグルが存在するか否かまた編集リストの中の現在
の入力項目のためにグルが必要か否かが判別される。編
集リストの中の現在の入力項目のためのグルがすでに存
在する場合には、処理は、ステップ310へ戻り、上に
述べたようにして編集リストの中の次の入力が処理され
る。他方、ステップ314で上に述べたようにグルが存
在しないかあるいは現在の入力項目のために必要でない
と判別された場合には、処理は、ステップ316へ進
み、MEDITによって現在の入力項目のためのオペレ
ータが生成される。もちろん、生成されるオペレータの
種類は、編集リストの中の入力項目の種類に依存する。
例として、入力項目がコピーの要求である場合には、図
2に示すように「コピー・オペレータ」が生成される。
【0055】したがって、MEDITによって、編集リ
ストの中で提供される編集要求の種類に応じて任意の適
当なオペレータが生成されることが理解されよう。例と
して、適当な編集オペレータは、ブレンド・オペレー
タ、フェード・オペレータ、モーフィング(形付け)オ
ペレータ、ティルティング(傾け)オペレータ、テキス
ト・アノテーション(注釈付け)オペレータを含む場合
が考えられる。さらに、本発明のMEDIT編集エンジ
ンを利用するアプリケーションによって導入される「プ
ラグ−イン」オペレータの種類によっては、将来、ME
DITによって新しいオペレータを生成することもでき
る。
【0056】ステップ316で適当なオペレータが生成
されると、処理は、ステップ318へ進み、オペレータ
が実行されて、適当なオーディオ・セグメントが生成さ
れ、また編集リストの中で要求された特定の種類の操作
のために必要なグル・セグメントが生成される。オペレ
ータの実行に関係するこの処理のステップは、図5を参
照して以下でより詳細に説明する。ステップ318で特
定の編集オペレータのための適当なオーディオ・セグメ
ントと任意のグル・セグメントが生成されると、処理
は、ステップ320へ進み、オペレータが消滅する。現
在のオペレータが消滅すると、処理は、ステップ310
へ戻り、編集リストの中の次の入力項目を受け取って、
上に述べたステップ320までの処理が繰り返される。
【0057】図5は、本発明の一実施の形態にもとづい
てコピー・オペレータを実行することに関係する処理ス
テップをより詳細に示した図である。処理は、ステップ
402から始まり、このステップでは、マーク−イン・
フレームが判別される。説明をわかりやすくするため
に、ここでは図1Aに示した表示順序ストリーム52の
例を参照する。この例では、「マーク−イン」フレーム
は、フレーム9である。マーク−イン・フレームの種類
が判別されると、処理は、ステップ404へ進み、マー
ク・アウト・フレームが識別される。この例では、図1
Aに示すように、マーク−アウト・フレームは、フレー
ム28である。
【0058】次に、処理は、ステップ406へ進み、マ
ーク−イン・フレーム9と関係づけられるオーディオ・
フレームが選定される。図示の例では、選定されたオー
ディオ・フレームは、好ましくはタブ−イン・オーディ
オ・フレームである。上に述べたように、タブ−イン・
オーディオ・フレームは、マーク−イン・ビデオ・フレ
ーム9の開始時間より前かまたは同じ開始時間を有する
ことが好ましい。したがって、タブ−イン・オーディオ
・フレームは、既知のビデオ開始時間(すなわち、マー
ク−イン・フレーム9の開始時間)を用いて「オーディ
オ−ビデオ」位置づけ操作を行ない、オーディオ構成要
素の検索を行なうことによって選定される。したがっ
て、オーディオ・シーカーは、提示タイム・スタンプお
よびマーク−イン・フレーム9に最も近いオーディオ・
フレームの復号タイム・スタンプを識別することができ
る。シーカーは、この情報を用いて、マーク−イン・ビ
デオ・フレーム9の開始時間54に最も近い開始時間を
もつオーディオ・フレームはどれかを判別する。
【0059】図1Bに示すように、開始時間54に近い
開始時間を持つのはオーディオ・フレーム58である。
この場合には、オーディオ・フレーム58が、それ自身
の関係する開始時間を持つ「マーク−イン・オーディオ
・フレーム」として識別される。この時点で、シーカー
は、マーク−イン・オーディオ・フレーム58の開始時
間が少なくともマーク−イン・ビデオ・フレーム9の開
始時間54と同じ程度に早い(すなわち、間に合う)か
否かを判別する。この例では、マーク−イン・オーディ
オ・フレーム58の開始時間は、少なくとも開始時間5
4ほど早くはない。したがって、シーカーは、オーディ
オ・フレーム56まで一オーディオ・フレーム分逆戻り
し、このオーディオ・フレームがタブ−イン・オーディ
オ・フレームとして識別される。
【0060】マーク−イン・ビデオ・フレームに関係す
るオーディオ・フレームが選定されると、処理は、ステ
ップ408へ進み、マーク−アウト・ビデオ・フレーム
28に関係づけられるオーディオ・フレームが選定され
る。上に述べたように、再び、オーディオ−ビデオ位置
づけ操作が行なわれて「マーク−アウト・オーディオ・
フレーム」が識別される。好ましくは、マーク−アウト
・オーディオ・フレームは、マーク−アウト・ビデオ・
フレーム28の終了時間53に時間的に最も近い開始時
間を持つオーディオ・フレームである。この例では、マ
ーク−アウト・ビデオ・フレーム28の終了時間53に
最も近い開始時間を持つのはオーディオ・フレーム64
である。マーク−アウト・オーディオ・フレーム64が
識別されると、シーカーは、マーク−アウト・オーディ
オ・フレーム64の開始時間がマーク−アウト・ビデオ
・フレーム28の終了時間53より遅くないか否かを判
別する。例に示したマーク−アウト・オーディオ・フレ
ーム64の開始時間は、マーク−アウト・ビデオ・フレ
ーム28の終了時間53より遅いので、シーカーは、オ
ーディオ・フレーム62まで一フレーム分逆戻りし、こ
のオーディオ・フレームが「タブ−アウト」オーディオ
・フレームとして識別される。ステップ406および4
08でタブ−インおよびタブ−アウト・オーディオ・フ
レームが識別されると、処理は、決定ステップ410へ
進む。
【0061】ステップ410では、コピーされたセグメ
ントのために「イン・グル」が必要か否かが判別され
る。上に述べたように、グル・セグメントは、通常、復
号されて再符号化されたオーディオ・フレームとして識
別される。この実施の形態にあっては、コピーされたセ
グメントの始めで所定の数のオーディオ・フレームが復
号され再符号化される。サウンド・ブレンド効果、フェ
ード効果等々を導入するために任意の数のオーディオ・
フレームを復号して再符号化することができるが、例と
して、図2のコピー・オペレータ104の暗示的要求に
もとづいてオーディオ・フレーム56、58、59、お
よび61が復号され再符号化されるものとする。他方、
図2のアプリケーション106によってグル・オーディ
オ・フレームの数およびサウンド・エフェクト(効果)
の種類が明示的に要求されたものとする。
【0062】ステップ410でイン・グルが必要と判別
された場合には、処理は、ステップ412へ進み、タブ
−イン・オーディオ・フレームで始まる所定の数のオー
ディオ・フレームのためにイン・グルが出力される。他
方、イン・グルが必要でない場合には、処理は、ステッ
プ414へ進み、「アウト・グル」が必要か否かが判別
される。アウト・グルが必要な場合には、処理は、ステ
ップ416へ進み、所定の数のフレームのためにアウト
・グル(すなわち、復号され再符号化されたオーディオ
・フレーム)が出力される。イン・グルの場合と同様
に、例として、所定の数のフレームは、図1Bのオーデ
ィオ・フレーム66、65、63、および62であると
する。他方、ステップ414でアウト・グルが必要でな
いと判別された場合には、処理は、ステップ418へ進
み、コピー操作のためにミドル・グルが必要か否かが判
別される。ステップ418でコピー操作のためにミドル
・グルが必要と判別された場合には、処理は、ステップ
420へ進み、オーディオ・フレームのミドル・グル・
セグメントが出力される。
【0063】一実施の形態にあっては、ミドル・グル・
オーディオ・セグメントは、(a)タブ−イン・フレー
ムで始まりタブ−アウト・フレームで終わるオーディオ
・フレーム、(b)タブ−インフレームと最初のアウト
・グル・オーディオ・フレームの一フレーム前の間のオ
ーディオ・フレーム、(c)最後のイン・グル・フレー
ムの後のオーディオ・フレームで始まりタブ−アウト・
フレームまで達するオーディオ・フレーム、または
(d)最後のイン・グル・フレームの後のオーディオ・
フレームで始まり最初のアウト・グル・オーディオ・フ
レームの一フレーム前まで達するオーディオ・フレーム
を含むものとすることができる。オプションとして適当
なグル・セグメントが出力されると、コピー・オペレー
タを実行する処理が完了する。
【0064】図6は、図5を参照して説明したミドル・
グルの出力に関係する処理ステップを示すフローチャー
トである。処理は、ステップ451で始まり、グル域が
識別される。上に述べたように、ミドル・グル域は、イ
ン・グルおよびアウト・グルが必要か否かによって異な
る。例として、オーディオ・フレーム56、58、5
9、および61のためにイン・グルが必要であり、オー
ディオ・フレーム66、65、63、および62のため
にアウト・グルが必要であると仮定すると、ミドル・グ
ル・セグメントは、オーディオ・フレーム69からオー
ディオ・フレーム68まで伸びているものとして識別さ
れるであろう。もちろん、「インあるいはアウト」グル
が必要でない場合には、ミドル・グル・セグメントは、
タブ−イン・フレーム56からタブ−アウト・フレーム
62まで伸びるものとなる。
【0065】ステップ451でミドル・グル域が識別さ
れると、処理は、ステップ452へ進み、多くの識別子
を含むミドル・グル・ファイルが出力される。例とし
て、この出力ファイルは、ファイル名、ミドル・グル・
セグメントに関係するフレームの数、最初のフレーム番
号(ミドル・グル・イン)、最後のフレーム番号(ミド
ル・グル・アウト)、ミドル・グルのフレーム速度、
「ミドル・グル・イン」フレームを識別する入力ストリ
ームを指すポインタ、および「ミドル・グル・アウト」
フレームを識別する入力ストリームを指すポインタを有
することが好ましい。一つの実施の形態にあっては、ミ
ドル・グル・オーディオ・フレームは、第二のパスでス
ティッチャがミドル・グル・セグメントを要求したとき
に入力ファイルから「コピーされる」未処理オーディオ
・フレーム69から68(例、復号されず再符号化され
ない)であることが好ましい。ステップ452でミドル
・グル出力ファイルが生成されると、ミドル・グルを生
成する処理が完了する。
【0066】図7は、図5を参照して説明したイン・グ
ルの出力に関係する処理ステップを示すフローチャート
である。処理は、ステップ461で始まり、このステッ
プでは、「イン・グル・イン」フレームを含みまた「イ
ン・グル・アウト」フレームまで伸びるイン・グルのセ
グメントに関してグル域が識別される。例として、図1
Bのオーディオビジュアル・セグメント60を参照すれ
ば、イン・グル・セグメントは、オーディオ・フレーム
56から61を含むことが好ましい。
【0067】ステップ461でイン・グルに関するグル
域が識別されると、処理は、ステップ462へ進み、最
初のイン・グル・フレームが復号される。例として、復
号される最初のフレームは、タブ−イン・オーディオ・
フレーム56であることが好ましい。図2のデータ・フ
ロー・アーキテクチャーを参照して、フレーム56が、
制御オブジェクト111の検索エンジン118によって
A.MPEGファイル124から選ばれると、識別され
たデータ(すなわち、タブ−イン・オーディオ・フレー
ム56)が引き出され、オーディオ・ビット・ストリー
ムからビデオ・ビット・ストリームを分離するDEMU
Xユニット121によってデマルチプレクスされる。そ
の後、タブ−イン・オーディオ・フレーム56は、復号
器120へ送られ、そこでオーディオ・サンプル・デー
タが復号される。次に、この復号されたサンプル・デー
タは、コピー・オペレータ104へ送られ、コピー・オ
ペレータ104は、このデータを符号器115へ送る。
この時点で、処理は、ステップ464へ進み、タブ−イ
ン・オーディオ・フレーム56が制御オブジェクト11
3内にある符号器115によって符号化される。
【0068】この実施の形態にあっては、フレーム56
は、貼り合わされているオーディオ・セグメントの間に
滑らかに移行させるように(例、ポッピング効果をほぼ
除去するように)再符号化することができる。上に述べ
たように、再符号化されたオーディオ・フレームは、例
えば、一秒の半分でゼロへフェードするまたはゼロから
フェードする、あるいは60Hzの「ハミング」を加え
る等々の効果を含めるように符号化することもできる。
フレーム56が符号化されると、処理は、ステップ46
6へ進み、グル・オブジェクト116によって、符号化
されたフレームが出力イン・グル・ファイル(すなわ
ち、A.MPEG グル126)に付加される。
【0069】次に、処理は、決定ステップ468へ進
み、ステップ461で識別されたフレームのイン・グル
域の中にさらに他のオーディオ・フレームが存在するか
否かが判別される。さらに他のオーディオ・フレームが
存在する場合には、処理は、再びステップ462へ進
み、上に述べたようにしてイン・グル・セグメントの中
の次のフレームが復号される。ステップ462で次のフ
レームが復号されたら、処理は、再びステップ464へ
すすみ、サウンド・エフェクトを生成する任意の数の連
続として符号化される。そのフレームが符号化された
ら、処理は、ステップ466へ進み、再びそれが出力グ
ル・ファイルに付加される。次に、処理は、ステップ4
68へ進み、ステップ461で識別されたフレームのイ
ン・グル域の中にさらに他のオーディオ・フレームが存
在するか否かが判別される。
【0070】ステップ461で識別されたフレームのイ
ン・グル域の中には他にフレームが存在しない場合に
は、処理は、ステップ469へ進み、付加されたフレー
ムを含むイン・グル・ファイルが出力される(例、A.
MPEGグル・ファイル126)。例として、このグル
・ファイルは、ファイル名、イン・グル・セグメントの
中のフレームの数、(「イン・グル・イン」)フレーム
のための最初のフレーム番号、(「イン・グル・アウ
ト」)フレームのための最後のフレーム番号、およびイ
ン・グル・セグメントのフレーム速度を含むものとする
ことができる。出力グル・ファイルが完成すると、図5
を参照して説明したイン・グルを出力することに関係す
る処理ステップが完了する。
【0071】図8は、図5を参照して説明したアウト・
グルの出力に関係する処理ステップを示すフローチャー
トである。処理は、ステップ471で始まり、このステ
ップでは、アウト・グル・セグメントのためにグル域が
計算される。例として、図1Bのオーディオビジュアル
・ストリーム60では、アウト・グル・セグメントは、
オーディオ・フレーム66で始まりタブ−アウト・オー
ディオ・フレーム62まで伸びるものとすることができ
る。ステップ471でアウト・グル域が計算されたら、
処理は、ステップ742へ進み、アウト・グル・セグメ
ントの中のオーディオ・フレーム66が復号される。
【0072】図2のデータ・フロー・アーキテクチャー
を参照して、検索エンジン118がファイル、例えば
A.MPEGファイル124の中のオーディオ・フレー
ム66を位置づけして引き出すと、DEMUX121の
中でオーディオ・フレーム・データがデマルチプレクス
されてオーディオ構成要素が分離される。次に、DEC
120の中でフレーム66が復号され、DEC120
は、制御オブジェクト111内部から復号されたオーデ
ィオ・サンプル・データを生成する。次に、復号された
サンプルデータは、コピー・オペレータ104へ送ら
れ、このデータは、さらに制御オブジェクト113の符
号器115へ送られる。ステップ474でデータが符号
器115によって再符号化されると、グル・オブジェク
ト116は、ステップ476で、この再符号化されたオ
ーディオ・フレームをグル・ファイル(例、AMPEG
グル・ファイル126)へ付加する。
【0073】次に、処理は、ステップ478へ進み、グ
ル・アウト域の中にさらに他のフレームが存在するか否
かが判別される。グル・アウト域の中にはさらに他のフ
レームが存在するので、処理は、ステップ472へ戻
り、次のフレームが処理される。例として、次のフレー
ムがオーディオ・フレーム65とすると、このフレーム
がステップ474で復号され再符号化される。上に述べ
たように、次に、フレーム66が適当な符号化フォーマ
ットに符号化され、所望のサウンド・エフェクトが生成
される。ステップ474でフレームが符号化されると、
処理は、ステップ476へ進み、上に述べたように符号
化されたフレームがアウト・グル・ファイルに付加され
る。
【0074】本発明の一実施の形態にあっては、次に、
処理は、所定のアウト・グル・セグメントの中のすべて
のオーディオ・フレームが処理されるまでループしてス
テップ472へ戻る。ステップ478で処理すべき他の
フレームはないと判別されると、処理は、ステップ47
9へ進み、出力グル・ファイルが生成される。例とし
て、このグル・ファイルは、ファイル名、アウト・グル
・セグメントの中のフレームの数、(「アウト・グル・
イン」)フレームのための最初のフレーム番号、(「ア
ウト・グル・アウト」)フレームのための最後のフレー
ム番号、およびアウト・グル・セグメントのフレーム速
度を含むものとすることができる。出力グル・ファイル
が完成すると、図5を参照して説明したアウト・グルを
出力することに関係する処理ステップが完了する。
【0075】図9は、図3のステップ304を参照して
説明したMEDITエンジン102によって第二のパス
の間に要求された出力ストリームを生成することに関係
する処理ステップの概要を示すフローチャートである。
処理は、ステップ502で始まり、このステップでは、
MEDITが編集リストを通読し、前記編集リストの中
の各チャンネルのためにスティッチャ・オブジェクトを
生成する。例として、編集リストは、異なるビデオ・フ
ァイルを表示するために多数のチャンネルをもつものと
することができる。図2に例として示すように、チャン
ネル1からチャンネルNまでのためのチャンネル・オペ
レータ110が識別される。したがって、チャンネル1
およびチャンネルNのために関係するスティッチャが生
成される。これらは、それぞれ、スティッチャ・オブジ
ェクト147およびスティッチャ・オブジェクト148
として示されている。
【0076】ステップ502で編集リストの中で識別さ
れた各チャンネルのためにスティッチャ・オブジェクト
が生成されると、処理は、ステップ504へ進み、ME
DITがマルチプレクサ150を呼び出して前記マルチ
プレクサに入力ソースのリストを与える。この実施の形
態にあっては、マルチプレクサ150は、スティッチャ
・オブジェクト147およびスティッチャ・オブジェク
ト148などの入力ソースからデータを引き出すように
構成される。ただし、マルチプレクサ150は、スティ
ッチャ・オブジェクト147および148以外の任意の
数の適当な入力ソースからデータを引き出せることは理
解されよう。例として、入力ソースは、適当なMPEG
データを含むファイルなど任意の形で実施することがで
きる。
【0077】次に、処理は、ステップ506へ進み、各
チャンネルのために生成されたスティッチャ・オブジェ
クトは、未処理入力ストリームおよび上に述べたように
第一のパスの間に生成される各種のグル・ファイルから
適当な入力データをマルチプレクサ150に供給した
後、消去される。マルチプレクサ150が要求に応じて
コピーされたセグメントを生成した後、コピーされたセ
グメントは、MEDITエンジン102を介してアプリ
ケーションへ送られる。コピーされたセグメントが出力
されると、ステップ506でスティッチャ・オブジェク
トが消去され、第二のパスが完了する。
【0078】図10は、図9のステップ504で示した
入力ソースから引き出されたデータの多重化に関係する
処理ステップをより詳細に示した図である。最初のステ
ップ530では、処理は、マルチプレクサに提供された
任意の入力ソースでデータが利用可能であるか否かを判
別する。マルチプレクサに入力ソースが提供されない場
合には、マルチプレクサの操作が完了する。他方、マル
チプレクサに提供される入力ソースが存在する場合に
は、処理は、ステップ532へ進み、入力ソースによっ
て提供されるデータがマルチプレクサによって読み取ら
れる。
【0079】ステップ532で入力ソースから利用可能
なデータが読み取られたら、処理は、ステップ534へ
進み、読み取られたデータが適用な多重化エンジンによ
って多重化される。例として、適当な公知の多重化エン
ジンとしては、Z・ヤール、J・バウチャー、J・パー
マー、およびE・ルビンによって開発された1または2
パスMPEG多重化エンジン、ファイル名MPEG−
1、マルチ−ストリーム・システム・レーヤー・エンコ
ーダ(マルチプレクサ)(公共部門、1994)を挙げ
ることができる。この多重化エンジンは、マサチューセ
ッツ州ボストンのボストン大学から入手することができ
る。
【0080】ステップ534でデータが多重化される
と、処理は、ステップ536へ進み、多重化されたデー
タがMEDITエンジン102へ読み取られ、次に図2
を参照して説明した編集操作を要求するアプリケーショ
ンへ送られる。多重化されたデータがMEDITに書き
込まれると、処理は、再び決定ステップ530へ進み、
他にも利用可能な入力ソースが存在するか否かが判別さ
れる。利用可能なソースが存在する場合には、処理は、
入力ソースが存在しなくなるまで再びステップ532、
534、および536をループして通る。他に入力ソー
スが存在しない場合には、処理が完了する。
【0081】図11は、ステップ532で説明したよう
に入力ソースからデータを読み取るときに、スティッチ
ャ・オブジェクトによって行なわれる処理ステップを詳
細に示す図である。始めに、処理は、ステップ540で
始まり、このステップでは、MEDITエンジン102
によってスティッチャ・オブジェクトが呼び出される。
上に述べたように、スティッチャ・オブジェクトは、編
集リストの中で提供される各チャンネルごとに(すなわ
ち、すべてのオーディオおよびビデオ・チャンネルに関
して)生成されることが好ましい。適当な数のスティッ
チャ・オブジェクトが生成されると、処理は、ステップ
542へ進み、マルチプレクサのための適当なビデオ・
プログラム要素ストリーム(PES)を生成するために
有限状態機械が導入される。
【0082】一般に、有限状態機械には、時系列的に入
力ソースを開き、入力ソースを読み取り、入力ソースを
閉じる任務が課される。すなわち、各スティッチャは、
状態機械を通り抜けて、各種の入力ソースを開き、ビデ
オ・データを読み取ることが好ましい。データが読み取
られたら、ファイルが閉じられる。入力ソースの中にデ
ータが見つからない(すなわち、「イン・グル、ミドル
・グル、またはアウト・グル」が生成されないまたは必
要とされない)場合には、状態機械は、次のファイルへ
進み、開き、読み取り、閉じる操作を行なう。
【0083】上に述べたように、スティッチャは、要求
された場合には、各々が、グル・オブジェクト130お
よび131のようなグル・オブジェクトを用いてグル・
ファイルを引き出す。したがって、各グル・オブジェク
トには、図3のステップ302で説明したように第一の
パスの間に生成されるグル・ファイルの各種部分を引き
出す任務が課される。各グル・ファイルが実行されると
き、グル・オブジェクトが各スティッチャが要求した適
当な位置からグル・ファイルを引き出してからは、グル
・ファイルは実際にはスティッチャに関係なく格納され
る。このようにして、各スティッチャはループして、特
定のコピー操作に利用可能なグル・ファイルがなくなる
まで、関係するグル・オブジェクトにグル・ファイルを
要求する。
【0084】図12は、図11のステップ542で説明
した有限状態機械を導入する場合に各スティッチャが行
なう処理ステップを詳細に示した図である。処理は、ス
テップ550で始まり、このステップでは、まずイン・
グルまたはアウト・グルのために「開くこと」が要求さ
れているか否かが判別される。イン・グルまたはアウト
・グルのために「開くこと」が要求されている場合に
は、処理は、ステップ552へ進み、適当なグル・ファ
イルが開かれ、当業者には公知のようにしてファイル見
出しが処理される。
【0085】ファイル・ヘッダが処理されると、処理
は、ステップ558へ進み、読み取り操作の全期間中、
開かれたグル・ファイルのためにタイム・リスタンピン
グが行なわれる。また、ステップ558では、オプショ
ンで、B−フレームの取り外しが行なわれる。一般に、
読み取り操作の間に、データは、それが一次的に保持さ
れるバッファに読み込まれる。バッファに読み込まれる
と、読み取られた内容が始めから終わりまで処理され、
適当なタイム・リスタンピングが判別され、コピーされ
たオーディオ・フレーム・セグメントのためにタブ−イ
ンおよびタブ−アウト・オーディオ・フレームを落とす
べきかまたは保持すべきかが判別される。処理される
と、バッファの全内容がマルチプレクサへ出力される
(例、図2のMUX150)。
【0086】図13を参照して以下に詳細に説明するよ
うに、タブ処理は、通常、二以上のオーディオおよびビ
デオ・セグメントが接合されたら、一オーディオ・フレ
ームの半分以上のエラーが生じていないことを確認する
ために行なわれる。広くは、タブ処理は、タブ−インお
よびタブ−アウト・オーディオ・フレームの各々に関し
て行なわれ、一定の条件が満たされれば、タブ−インお
よびタブ−アウト・オーディオ・フレームが落とされる
かあるいは保持されることになる。
【0087】ステップ558でリスタンピングおよびタ
ブ処理が行なわれたら、処理は、ステップ560へ進
み、状態機械が開いたファイルを閉じる。他方、イン・
グルおよびアウト・グルのために開くことが必要でない
場合には、処理は、ステップ554へ進み、ミドル・グ
ル・ファイルを開いてファイル・ヘッダを処理するステ
ップが行なわれる。このステップでは、MPEGストリ
ーム規格が満たされていることを確認するためにミドル
・グル・ファイルのヘッダが処理される。次に、処理
は、ステップ556へ進み、ミドル・グルの位置を示す
ポインタを参照してミドル・グル・ファイルが開かれ
る。例として、図2に示すように、ポインタ134およ
び136は、読み取りが行なわれる入力ストリームの中
の始めと終わりのフレームの位置を識別する。ステップ
556で入力ストリームが開かれると、処理は、再びス
テップ558へ進み、上に述べたようにタイム・レスタ
ンピングとB−フレームの除去が行なわれる。タイム・
リスタンピングとB−フレームの除去が行なわれると、
処理は、ステップ560へ進み、開いたファイルが閉じ
られる。
【0088】図13は、本発明の一実施の形態にもとづ
いてタブ処理を行なうことに関係する処理ステップを示
すフローチャートである。わかりやすくするために、貼
り合わされる複数のオーディオビジュアル・セグメント
を示す図14とタブ処理操作の一例のタブレーションの
表を示す図15を同時に参照しながら説明する。
【0089】図13の処理は、ステップ602で始ま
り、このステップでは、現在のタブ706が処理されて
現存するストリーム・エラーが判別される。図14に示
すように、最初のセグメントはSEGMENT Aであ
り、現存するストリーム・エラーはゼロである。この例
では、現存するストリーム・エラーを持ち越す先行のタ
ブは存在しないので、SEGMENT Aが最初のセグ
メントであり、現存ストリームストリーム・エラーはゼ
ロである。ステップ602で現存するストリーム・エラ
ーがゼロであると判別されると、処理は、ステップ60
4へ進み、タブ706に関してタブ・エラーが判別され
る。この例では、図15の表に示すように、タブ・エラ
ーは0.2である。ここで使用する限りにおいて、「エラ
ー」とは、一つのオーディオ・フレームが関係するビデ
オ・フレームと同期していないパーセントを意味する。
例えば、0.2のエラーとは、オーディオ・フレームの2
0%を意味する。さらに、説明を容易にするために丸め
た数字を用いるが、関係するエラーは、任意の適当な厳
密さであらわすことができる。
【0090】ステップ604でタブ706に関するエラ
ーが判別されると、処理は、ステップ606へ進み、現
存するストリーム・エラーとタブ・エラーの和(すなわ
ち、累積エラー)が、一フレームの半分より大きいか否
か(すなわち、>0.5エラー)か否かが判別される。こ
の例では、現存するエラー(0.0エラー)とタブ706
のエラー(0.2)の和が一フレームの半分より大きくな
い。エラーが一フレームの半分より大きくない場合に
は、処理は、ステップ608へ進み、図15の表に示す
ようにタブ706が保持される。次に、処理は、決定ス
テップ612へ進み、図14に示す貼り合わせ操作にさ
らに他のタブが存在するか否かが判別される。他のタブ
が存在するので、処理は、ステップ602へ戻り、現在
のタブに関して現存するストリーム・エラーが判別され
る。図14に示すように、現在のタブは、今度はタブ7
08である。この段階では、現存するストリーム・エラ
ーは、前のタブ処理操作から持ち越される。
【0091】図15の表に示すように、現存するストリ
ーム・エラーは、今度は0.2となる。ステップ602で
現在のストリーム・エラーが判別されると、処理は、ス
テップ604へ進み、タブ708に関するタブ・エラー
が判別される。図15の表に示すように、タブ708に
関するタブ・エラーは、0.5である。次に、処理は、決
定ステップ606へ進み、現存するストリーム・エラー
(0.2)とタブ708に関するタブ・エラー(0.5)の
和が一フレームの半分より大きいか否かが判別される。
エラーの和は、0.7(すなわち、>0.5)であるから、
処理は、ステップ610へ進み、タブ708が落とされ
る。タブ708が落とされた後、新しいストリーム・エ
ラーは、図15に示すように−0.3となる。
【0092】SEGMENT Aに関するタブ−アウト
をあらわすタブ708が処理されると、処理は、再びス
テップ612へ進み、さらに他の処理すべきタブが存在
するか否かが判別される。他の処理すべきタブが存在す
るので、処理は、ステップ602へ戻り、現在のタブ
は、SEGMENT Bのタブ−イン710となる。最
後のタブが処理された後の新しいストリーム・エラーは
−0.3であるため、タブ710が処理されるときの現存
するストリーム・エラーは、−0.3となる。次に、処理
は、ステップ604へ進み、図15の表に示すように、
タブ−イン710に関するタブ・エラーは0.4であると
判別される。
【0093】次に、処理は、決定ステップ606へ進
み、現存するストリーム・エラーとタブ710に関する
タブ・エラーの和が一オーディオ・フレームの半分より
大きいか否かが判別される。この例では、和は(−0.3
+0.4)0.1であり、一オーディオ・フレームの半分よ
り小さい(すなわち、<0.5)。したがって、図15に
示すように、タブ710は保持される。処理は、再び決
定ステップ612を続け、再びさらに他の処理すべきタ
ブが存在するか否かが判別される。図14に示すよう
に、タブ712、714、716、および720が上に
述べた図13の処理ステップを通って処理される。各タ
ブが処理されるたびに、各タブを落とすべきかあるいは
保持すべきかの判別が行なわれる。上の説明を補うため
に、図14に示すSEGMENT AからSEGMEN
T Dに関係する各タブについての計算例を示す図15
を参照されたい。
【0094】図16は、図13の処理ステップを通って
処理された各タブに関して現存するフレーム・エラーを
示す線図である。図示のように、タブ・エラーは0.2で
あったが、最初のタブ706が処理された後の現存する
ストリーム・エラーはゼロである。このようなことが可
能となるのは、最初のオーディオ・フレームの開始時間
を最初のビデオ・フレームの開始時間に合わせるために
全オーディオ構成要素が時間的に前にシフトされるから
である。ただし、第二のタブ708が処理されると、全
オーディオ構成要素の「オーディオ・フレームの20
%」が時間的に前にシフトされる(すなわち、オーディ
オは、ビデオ構成要素の前のオーディオ・フレームの2
0%である)結果、現存するストリーム・エラーは、0.
2となる。第三のタブ710が処理された後、現存する
エラーは−0.3となるが、これは、オーディオ構成要素
が、全体として「オーディオ・フレームの30%」時間
的に後にシフトされることを意味する。
【0095】補完のために、以下では、特定のタブが処
理された後、どのようにしてエラーが「一フレームの半
分のエラー」以下に維持されるかを説明する。例を挙げ
れば、第四のタブ712が処理された後、オーディオ構
成要素は、オーディオ・フレームの10%分だけビデオ
構成要素より時間的に先に進んでおり、第五のタブ71
4が処理された後、オーディオ構成要素は、オーディオ
・フレームの50%分だけビデオ構成要素より時間的に
遅れており、第六のタブ716が処理された後、オーデ
ィオ構成要素は、オーディオ・フレームの40%分だけ
ビデオ構成要素より時間的に先に進んでおり、第七のタ
ブ718が処理された後、オーディオ構成要素は、オー
ディオ・フレームの50%分だけビデオ構成要素より時
間的に進んでおり、さらに第八のタブが処理された後、
オーディオ構成要素は、オーディオ・フレームの40%
分だけビデオ構成要素より時間的に先に進んでいるよう
な場合が考えられる。
【0096】このように、現存するストリーム・エラー
が、一オーディオ・フレームの半分を超えることが防が
れるため、連続するコピー操作の後、貼り合わされたセ
グメントの数がいくつであるかにかかわりなく、ビデオ
・フレームは、オーディオ・フレームとほぼ同期するこ
とになる。上に述べたようにしてオーディオ・フレーム
を落としたり保持したりして補正を行なわない場合に
は、オーディオおよびビデオ・セグメントが貼り合わさ
れる度ごとに、累積ストリーム・エラーが大きくなりか
つ広がることは理解されよう。その結果、エラーが多数
のオーディオ・フレームに相当するまで大きくなると、
オーディオ構成要素は、ビデオ・構成要素と同期しなく
なり、したがってわけがわからないことになる。すなわ
ち、コピーされたオーディオの内容が、関係するビデオ
・フレームの内容とマッチしないことになる。
【0097】本発明では、コンピュータ・システムに記
憶されたデータを用いてコンピュータが実行するさまざ
まな操作が用いられる。これらの操作は、物理量の物理
的処理を必要とする操作である。通常、これらの量は、
記憶、転送、組み合わせ、比較、その他の処理が可能な
電気信号または磁気信号の形をとるが、必ずしもそれに
限定されるものではない。さらに、行なわれる処理は、
生成、識別、判別、または比較などと呼ばれる場合が多
い。
【0098】本明細書に記載されまた本発明の一部をな
す操作は、すべて、有用な機械操作である。本発明は、
また、これらの操作を行なうための装置に関するもので
ある。装置は、必要な目的の達成のために特別につくる
こともできるし、あるいは、コンピュータに記憶されて
いるコンピュータ・プログラムによって選択的に活性化
されあるいは構成される汎用コンピュータとすることも
できる。特に、本発明の開示内容にもとづいて書かれた
コンピュータ・プログラムには、さまざまな汎用機械を
用いることもできるし、あるいは、必要な操作を行なう
ためのより専門的な装置をつくるのが好便な場合もあ
る。本発明の構成例を以下に示す。
【0099】図17は、本発明にもとづく処理を行なう
ためのコンピュータ・システム800の例を示すブロッ
ク線図である。コンピュータ・システム800は、デジ
タル・コンピュータ802、表示画面(モニター)80
4、プリンタ806、フロッピー・ディスク・ドライブ
808、ハード・ディスク・ドライブ810、ネットワ
ーク・インターフェース812、およびキーボード81
4を含む。デジタル・コンピュータ802は、マイクロ
プロセッサ816、メモリ・バス818、ランダム・ア
クセス・メモリ(RAM)820、読み取り専用メモリ
(ROM)822、周辺バス824、キーボード・コン
トローラ826を含む。デジタル・コンピュータ800
は、パーソナル・コンピュータ(例えば、IBMコンパ
ティブルなパーソナル・コンピュータ)、ワークステー
ション・コンピュータ(例えば、サン・マイクロシステ
ムズまたはヒューレット・パッカードのワークステーシ
ョン)、あるいは他の種類のコンピュータとすることが
できる。
【0100】マイクロプロセッサ816は、汎用デジタ
ル・プロセッサで、コンピュータ・システム800の操
作を制御する。マイクロプロセッサ816は、1−チッ
プのプロセッサとすることもできるし、あるいは多数の
構成要素で実装することもできる。マイクロプロセッサ
816は、メモリから検索された命令を用いて、入力デ
ータの受信と処理、および出力装置へのデータの出力と
表示を制御する。本発明にもとづけば、マイクロプロセ
ッサ816の特定の機能として、MPEGビデオおよび
オーディオ・ストリーム内部での位置付けに関係する処
理を補助する機能を挙げることができる。
【0101】メモリ・バス818は、マイクロプロセッ
サ816がRAM820およびROM822にアクセス
するために使用する。RAM820は、マイクロプロセ
ッサ816が一般記憶域としてまたスクラッチ・パッド
・メモリとして使用し、また、入力データおよび処理ず
みデータを記憶するために使用することもできる。RO
M822は、マイクロプロセッサ816が実行する命令
およびプログラム・コードならびに他のデータを記憶す
るために用いることができる。
【0102】周辺バス824は、デジタル・コンピュー
タ802が入力、出力、および記憶装置にアクセスする
ために用いられる。記載の実施の形態にあっては、これ
らの装置は、表示画面804、プリンタ装置806、フ
ロッピー・ディスク・ドライブ808、ハード・ディス
ク・ドライブ810、およびネットワーク・インターフ
ェース812を含む。キーボード・コントローラ826
は、キーボード814から入力を受け取り、押された各
キーの復号されたシンボルをバス828を介してマイク
ロプロセッサ816へ送るために用いられる。
【0103】表示画面804は、マイクロプロセッサ8
16によって周辺バス824を介して供給されるまたは
コンピュータ・システム800の他の構成要素によって
供給されるデータの映像を表示する出力装置である。プ
リンタ装置806は、プリンタとして作動する場合に
は、紙などの上に映像を供給する。プリンタ装置806
の代わりにあるいはそれに加えて、プロッター、タイプ
セッター等々の他の出力装置も使用することができる。
【0104】フロッピー・ディスク・ドライブ808お
よびハード・ディスク・ドライブ810は、各種のデー
タを記憶するために用いることができる。フロッピー・
ディスク・ドライブ808は、各種データの他のコンピ
ュータ・システムへの移送を容易にし、ハード、ディス
ク・ドライブ810は、記憶されている大量のデータへ
の高速アクセスを可能にする。
【0105】マイクロプロセッサ816は、オペレーテ
ィング・システムと組み合わされて、コンピュータ・コ
ードを実行し、データを生成しまた使用する。これらの
コンピュータ・コードおよびデータは、RAM820、
ROM822、またはハード・ディスク・ドライブ81
0に常駐することができる。コンピュータ・コードおよ
びデータは、また、取りはずし自在のプログラム媒体に
常駐し、また、必要なときにはコンピュータ・システム
800にロードまたはインストールすることができる。
取りはずし自在のプログラム媒体は、例えば、CD−R
OM、PC−CARD、フロッピー・ディスク、および
磁気テープを含む。
【0106】ネットワーク・インターフェース812
は、他のコンピュータ・システムに接続されたネットワ
ークを介してデータを送受信するために用いられる。イ
ンターフェース・カードまたは類所の装置およびマイク
ロプロセッサ816によって実装された適当なソフトウ
エアを用いれば、コンピュータ・システム800を現存
のネットワークへ接続し、標準プロトコルにしたがって
データを転送することができる。
【0107】キーボード814は、ユーザーがこれを用
いてコマンドおよび他の命令をコンピュータ・システム
へ入力するものである。本発明に関連して他の種類の入
力装置を使用することもできる。例えば、コンピュータ
・マウス、トラック・ボール、スタイラス(尖筆)、ま
たはタブレットなどの指示具を用いて、汎用コンピュー
タの画面上のポインタを操作することもできる。
【0108】本発明は、コンピュータが読み取り可能な
媒体上のコンピュータが読み取り可能なコードとして実
施することもできる。コンピュータが読み取り可能な媒
体とは、データを記憶することができ、そのデータを後
にコンピュータ・システムで読み取ることのできる任意
のデータ記憶装置を意味する。コンピュータが読み取り
可能な媒体としては、例として、読み取り専用メモリ、
ランダム・アクセス・メモリ、CD−ROM、磁気テー
プ、光学データ記憶装置を含む。コンピュータが読み取
り可能な媒体は、また、ネットワークで連結された複数
のコンピュータ・システムに分散させて、コンピュータ
が読み取り可能なコードが分散式に記憶され実行される
ようにすることもできる。
【0109】上に説明したMPEGオーディオおよびビ
デオ規格で、参考資料として本出願に組み込まれるもの
は以下の通りである。すなわち、(1)「動画および関
連するオーディオ情報の総称的符号化:ビデオ」、IS
O/IEC13818−2("Generic Coding of Movin
g Pictures and Associated Audio Information: Vide
o," ISO/IEC 13818-2)と題する文書、(2)「デジタ
ル記憶媒体のための、約1.5Mビット/秒までの動画お
よび関連するオーディオの符号化」(第1部システム、
第2部ビデオ、第3部オーディオ)11171/111
72(1995/1996)("Coding of Moving Picu
tres and Associated Audio for DigitalStorage Media
at up to about 1.5 MBit/s" (Part 1 System, Part 2
Video, Part 3 Audio) 11171/11172 (1995/1996))、
と題する文書、および(3)「動画および関連するオー
ディオ情報の総称的符号化」、13818−3("Gener
ic Coding of Moving Pictures and Associated Audio
Information" ISO/IEC 13818-3)と題する文書である。
上に挙げたMPEG規格文書および将来のMPEG規格
文書は、すべて、スイス国ジュネーブ20、CH−12
11、ISO/IEC私書箱56(ISO/IEC Case Posta
le 56, CH-1211, Geneva 20, Switzerland)に依頼すれ
ば、入手可能である。
【0110】以上、本発明の好ましい実施の形態を詳細
に説明したが、本発明は、その精神および範囲を逸脱す
ることなく他の形態で実施できることも理解されよう。
説明した実施の形態では分散型アーキテクチャーが記載
されている。この種のアーキテクチャーは、特にモジュ
ール構成の面からまた新しい機能の導入の面から多くの
効果をもつ。
【0111】例えば、単に、シーカー、復号器、符号器
等々多くの同じ構成要素を利用することのできる追加の
「差し込み式」オペレータ用具を配設することによっ
て、新しい機能を生成することができる。上に述べたよ
うなアーキテクチャーは、特によく機能すると考えられ
るが、他のアーキテクチャーを用いても同様な機能を得
られることは、理解されよう。したがって、上に述べた
例および実施の形態は、単に例示であって本発明を制限
するものではなく、本発明は、本明細書に記されている
詳細に限定されず、添付の特許請求の範囲内で変換が可
能なものである。
【0112】本発明の実施の形態は以下の通りである。
【0113】(1) 各オーディオビジュアル・セグメ
ントが、第一のオーディオ・フレーム、順序として前記
第一のオーディオ・フレームに続く第二のオーディオ・
フレーム、および最後のオーディオ・フレームを含む複
数のオーディオ・フレームと、第一のビデオ・フレーム
および最後のビデオ・フレームを含む複数のビデオ・フ
レームとを有する第一および第二のオーディオビジュア
ル・セグメントを貼り合わせる方法であって、前記第一
のオーディオビジュアル・セグメントの中の最初のオー
ディオ・フレームを前記第一のオーディオビジュアル・
セグメントの中の前記第一のビデオ・フレームと位置合
わせするステップで、前記第一のオーディオビジュアル
・セグメントからの前記第一のオーディオ・フレームに
関係するタブ・エラーが半フレームより小さい場合に
は、前記第一のオーディオ・フレームが前記第一のオー
ディオビジュアル・セグメントからのタブ−イン・オー
ディオ・フレームに指定され、前記第一のオーディオビ
ジュアル・セグメントからの前記第一のオーディオ・フ
レームに関係するタブ・エラーが半フレームより大きい
場合には、前記第二のオーディオ・フレームが前記第一
のオーディオビジュアル・セグメントからのタブ−イン
・オーディオ・フレームに指定される前記ステップと、
前記第一および第二のオーディオビジュアル・セグメン
トを貼り合わせるステップと、を有することを特徴とす
る方法。
【0114】(2) (1)に記載の第一および第二の
オーディオビジュアル・セグメントを貼り合わせる方法
であって、さらに、前記第一のオーディオビジュアル・
セグメントからの前記最後のオーディオ・フレームに関
係するタブ・エラーが一フレームより小さい場合には、
前記最後のオーディオ・フレームが前記第一のオーディ
オビジュアル・セグメントからのタブ−アウト・オーデ
ィオ・フレームに指定されるステップと、累積ストリー
ム・エラーが約半フレームより大きい場合には、前記タ
ブ−アウト・オーディオ・フレームを落とすステップ
と、を有することを特徴とする方法。
【0115】(3) (2)に記載の第一および第二の
オーディオビジュアル・セグメントを貼り合わせる方法
であって、前記累積ストリーム・エラーは、現存のスト
リーム・エラーおよび前記タブ・エラーを含むことを特
徴とする方法。
【0116】(4) (3)に記載の第一および第二の
オーディオビジュアル・セグメントを貼り合わせる方法
であって、前記タブ−インおよびタブ−アウト・オーデ
ィオ・フレームの各々が落とされて保持された後に前記
現存のストリーム・エラーが再計算されることを特徴と
する方法。
【0117】(5) (4)に記載の第一および第二の
オーディオビジュアル・セグメントを貼り合わせる方法
であって、前記最初のオーディオ・フレームの位置合わ
せに関して前記現存のストリーム・エラーがゼロである
ことを特徴とする方法。
【0118】(6) (5)に記載の第一および第二の
オーディオビジュアル・セグメントを貼り合わせる方法
であって、さらに、前記第一のオーディオビジュアル・
セグメントの中の前記最初のオーディオ・フレームを位
置合わせするステップの後に、前記第一のオーディオビ
ジュアル・セグメントの中の前記複数のオーディオ・フ
レームを時間的に前へシフトするステップと、前記最初
のオーディオ・フレームを位置合わせした後に、前記現
存のストリーム・エラーを再計算するステップと、を有
することを特徴とする方法。
【0119】(7) (3)に記載の第一および第二の
オーディオビジュアル・セグメントを貼り合わせる方法
であって、さらに、前記第二のオーディオビジュアル・
セグメントからの前記第一のオーディオ・フレームに関
係するタブ・エラーが一フレームより小さい場合には、
第一のオーディオ・フレームが前記第二のオーディオビ
ジュアル・セグメントからのタブ−イン・オーディオ・
フレームに指定されるステップと、前記累積ストリーム
・エラーが約半フレームより大きい場合には、前記タブ
−イン・オーディオ・フレームを落とすステップと、を
有することを特徴とする方法。
【0120】(8) 各オーディオビジュアル・セグメ
ントが、第一のオーディオ・フレーム、順序として前記
第一のオーディオ・フレームに続く第二のオーディオ・
フレーム、および最後のオーディオ・フレームを含む複
数のオーディオ・フレームと、第一のビデオ・フレーム
および最後のビデオ・フレームを含む複数のビデオ・フ
レームとを有する編集された第一および第二のオーディ
オビジュアル・セグメントを接合する方法であって、前
記第一のオーディオビジュアル・セグメントの中のタブ
−イン・オーディオ・フレームを前記第一のオーディオ
ビジュアル・セグメントの中の前記第一のビデオ・フレ
ームと位置合わせするステップで、前記第一のオーディ
オビジュアル・セグメントからの前記第一のオーディオ
・フレームに関係するタブ・エラーが約半フレームより
小さい場合には、前記第一のオーディオビジュアル・セ
グメントからの前記第一のオーディオ・フレームが、前
記タブ−イン・オーディオ・フレームに指定され、前記
第一のオーディオビジュアル・セグメントからの前記第
一のオーディオ・フレームに関係するタブ・エラーが約
半フレームより大きい場合には、前記第一のオーディオ
ビジュアル・セグメントからの前記第二のオーディオ・
フレームは、前記タブ−イン・オーディオ・フレームに
指定され、前記第一のオーディオビジュアル・セグメン
トからの前記第二のオーディオ・フレームが前記タブ−
イン・オーディオ・フレームに指定される場合には、前
記第一のオーディオビジュアル・セグメントからの前記
第一のオーディオ・フレームが落とされる前記ステップ
と、前記第一のオーディオビジュアル・セグメントの中
の前記最後のオーディオ・フレームに関係する累積エラ
ーが約半オーディオ・フレームを超えるか否かを判別
し、前記最後のオーディオ・フレームに関係する前記累
積エラーが約半オーディオ・フレームを超えると判別さ
れた場合には、前記第一のオーディオビジュアル・セグ
メントの中の前記最後のオーディオ・フレームを落とす
ステップと、前記第二のオーディオビジュアル・セグメ
ントの中の第一のオーディオ・フレームに関係する累積
エラーが約半オーディオ・フレームを超えるか否かを判
別し、前記第一のオーディオ・フレームに関係する前記
累積エラーが約半オーディオ・フレームを超えると判別
された場合には、前記第二のオーディオビジュアル・セ
グメントの中の前記第一のオーディオ・フレームを落と
すステップとを有し、それによって、前記第一および第
二のオーディオビジュアル・セグメントの複数のオーデ
ィオ・フレームが前記第一および第二のオーディオビジ
ュアル・セグメントの複数のビデオ・フレームとほぼ同
期することを特徴とする方法。
【0121】(9) (8)に記載の編集された第一お
よび第二のオーディオビジュアル・セグメントを接合す
る方法であって、前記累積エラーは、現存のストリーム
・エラーおよび現在のタブ・エラーを含むことを特徴と
する方法。
【0122】(10) (9)に記載の編集された第一
および第二のオーディオビジュアル・セグメントを接合
する方法であって、さらに、前の各タブが落とされたか
あるいは保持された後に前記現存のストリーム・エラー
を計算するステップとを有することを特徴とする方法。
【0123】(11) (9)に記載の編集された第一
および第二のオーディオビジュアル・セグメントを接合
する方法であって、前記第一のオーディオビジュアル・
セグメントの前記タブ−イン・オーディオ・フレームに
関して前記現存のストリーム・エラーがゼロであり、前
記最後のオーディオ・フレームに関係する前記累積エラ
ーを計算するときに、前記タブ−イン・オーディオ・フ
レームの前記タブ・エラーが前に持ち越されることを特
徴とする方法。
【0124】(12) (11)に記載の編集された第
一および第二のオーディオビジュアル・セグメントを接
合する方法であって、さらに、前記第一のオーディオビ
ジュアル・セグメントの前記第一のオーディオ・フレー
ムが前記タブ−イン・オーディオ・フレームに指定され
た場合には、前記第一のオーディオビジュアル・セグメ
ントの前記複数のオーディオ・フレームを時間的に前へ
シフトするステップとを有することを特徴とする方法。
【0125】(13) (11)に記載の編集された第
一および第二のオーディオビジュアル・セグメントを接
合する方法であって、さらに、前記第一のオーディオビ
ジュアル・セグメントの前記第二のオーディオ・フレー
ムが前記タブ−イン・オーディオ・フレームに指定され
た場合には、前記第一のオーディオビジュアル・セグメ
ントの前記複数のオーディオ・フレームを時間的に後へ
シフトするステップとを有することを特徴とする方法。
【0126】(14) (11)に記載の編集された第
一および第二のオーディオビジュアル・セグメントを接
合する方法であって、前記第一および第二のオーディオ
ビジュアル・セグメントの中の前記最後のオーディオ・
フレームは、タブ−アウト・オーディオ・フレームに指
定されることを特徴とする方法。
【0127】(15) 各オーディオビジュアル・セグ
メントが、第一のオーディオ・フレーム、順序として前
記第一のオーディオ・フレームに続く第二のオーディオ
・フレーム、および最後のオーディオ・フレームを含む
複数のオーディオ・フレームと、第一のビデオ・フレー
ムおよび最後のビデオ・フレームを含む複数のビデオ・
フレームとを有する第一および第二のオーディオビジュ
アル・セグメントを貼り合わせる装置であって、前記第
一のオーディオビジュアル・セグメントの中の最初のオ
ーディオ・フレームを前記第一のオーディオビジュアル
・セグメントの中の前記第一のビデオ・フレームと位置
合わせするよう構成されたアライナーを有し、前記第一
のオーディオビジュアル・セグメントからの前記第一の
オーディオ・フレームに関係するタブ・エラーが約半オ
ーディオ・フレームより小さい場合には、前記最初のオ
ーディオ・フレームは、前記第一のオーディオビジュア
ル・セグメントからの前記第一のオーディオ・フレーム
であることを特徴とする装置。
【0128】(16) (15)に記載の第一および第
二のオーディオビジュアル・セグメントを貼り合わせる
装置であって、前記第一のオーディオビジュアル・セグ
メントからの前記第一のオーディオ・フレームに関係す
るタブ・エラーが約半オーディオ・フレームより大きい
場合には、前記第一のオーディオビジュアル・セグメン
トからの前記第二のオーディオ・フレームは、前記最初
のオーディオ・フレームであることを特徴とする装置。
【0129】(17) (16)に記載の第一および第
二のオーディオビジュアル・セグメントを貼り合わせる
装置であって、前記第一のオーディオビジュアル・セグ
メントからの前記第二のオーディオ・フレームが前記最
初のオーディオ・フレームである場合には、前記第一の
オーディオビジュアル・セグメントからの前記第一のオ
ーディオ・フレームが落とされることを特徴とする装
置。
【0130】(18) (17)に記載の第一および第
二のオーディオビジュアル・セグメントを貼り合わせる
装置であって、さらに、現存のストリーム・エラーと現
在のタブに関係するタブ・エラーとを加え合わせるよう
構成された累積エラー計算器を有することを特徴とする
装置。
【0131】(19) (18)に記載の第一および第
二のオーディオビジュアル・セグメントを貼り合わせる
装置であって、前記累積エラー計算器が、前記第一のオ
ーディオビジュアル・セグメントの中の前記最後のオー
ディオ・フレームに関係する累積エラーが約半オーディ
オ・フレームを超えると判別した場合には、前記第一の
オーディオビジュアル・セグメントの中の前記最後のオ
ーディオ・フレームが落とされることを特徴とする装
置。
【0132】(20) (19)に記載の第一および第
二のオーディオビジュアル・セグメントを貼り合わせる
装置であって、前記累積エラー計算器が、前記第一のオ
ーディオビジュアル・セグメントの中の前記最後のオー
ディオ・フレームに関係する累積エラーが約半オーディ
オ・フレームより小さいと判別した場合には、前記第一
のオーディオビジュアル・セグメントの中の前記最後の
オーディオ・フレームが保持されることを特徴とする装
置。
【0133】(21) (18)に記載の第一および第
二のオーディオビジュアル・セグメントを貼り合わせる
装置であって、前記累積エラー計算器が、前記第二のオ
ーディオビジュアル・セグメントの中の前記第一のオー
ディオ・フレームに関係する累積エラーが約半オーディ
オ・フレームを超えると判別した場合には、前記第二の
オーディオビジュアル・セグメントの中の前記第一のオ
ーディオ・フレームが落とされることを特徴とする装
置。
【0134】(22) (21)に記載の第一および第
二のオーディオビジュアル・セグメントを貼り合わせる
装置であって、前記累積エラー計算器が、前記第二のオ
ーディオビジュアル・セグメントの中の前記第一のオー
ディオ・フレームに関係する累積エラーが約半オーディ
オ・フレームより小さいと判別した場合には、前記第二
のオーディオビジュアル・セグメントの中の前記第一の
オーディオ・フレームが保持されることを特徴とする装
置。
【0135】(23) (17)に記載の第一および第
二のオーディオビジュアル・セグメントを貼り合わせる
装置であって、前記アライナーが前記第一のオーディオ
ビジュアル・セグメントの前記最初のオーディオ・フレ
ームを位置合わせすると、前記複数のオーディオ・フレ
ームが時間的にシフトされることを特徴とする装置。
【0136】(24) (23)に記載の第一および第
二のオーディオビジュアル・セグメントを貼り合わせる
装置であって、前記第一のオーディオ・フレームが前記
最初のオーディオ・フレームである場合には、前記複数
のオーディオ・フレームが時間的に前へシフトされるこ
とを特徴とする装置。
【0137】(25) (23)に記載の第一および第
二のオーディオビジュアル・セグメントを貼り合わせる
装置であって、前記第二のオーディオ・フレームが前記
最初のオーディオ・フレームである場合には、前記複数
のオーディオ・フレームが時間的に後へシフトされるこ
とを特徴とする装置。
【0138】(26) (18)に記載の第一および第
二のオーディオビジュアル・セグメントを貼り合わせる
装置であって、前記第一のオーディオビジュアル・セグ
メントの中の前記最初のオーディオ・フレームに関して
前記現存のストリーム・エラーがゼロであることを特徴
とする装置。
【0139】(27) (20)に記載の第一および第
二のオーディオビジュアル・セグメントを貼り合わせる
装置であって、前記第一のオーディオビジュアル・セグ
メントの中の前記最後のオーディオ・フレームに関して
前記現存のストリーム・エラーは、前記第一のオーディ
オビジュアル・セグメントの中の前記最初のオーディオ
・フレームの前記タブ・エラーであることを特徴とする
装置。
【0140】(28) 各オーディオビジュアル・セグ
メントが、第一のオーディオ・フレーム、順序として前
記第一のオーディオ・フレームに続く第二のオーディオ
・フレーム、および最後のオーディオ・フレームを含む
複数のオーディオ・フレームと、第一のビデオ・フレー
ムおよび最後のビデオ・フレームを含む複数のビデオ・
フレームとを有する第一および第二のオーディオビジュ
アル・セグメントを貼り合わせるプログラム命令を含む
コンピュータが読み取り可能な媒体であって、前記第一
のオーディオビジュアル・セグメントの中の最初のオー
ディオ・フレームを前記第一のオーディオビジュアル・
セグメントの中の前記第一のビデオ・フレームと位置合
わせするプログラム命令で、前記第一のオーディオビジ
ュアル・セグメントからの前記第一のオーディオ・フレ
ームに関係するタブ・エラーが半フレームより小さい場
合には、前記第一のオーディオ・フレームが前記第一の
オーディオビジュアル・セグメントからのタブ−イン・
オーディオ・フレームに指定され、前記第一のオーディ
オビジュアル・セグメントからの前記第一のオーディオ
・フレームに関係するタブ・エラーが半フレームより大
きい場合には、前記第二のオーディオ・フレームは前記
第一のオーディオビジュアル・セグメントからのタブ−
イン・オーディオ・フレームに指定される前記プログラ
ム命令と、前記第一および第二のオーディオビジュアル
・セグメントを貼り合わせるプログラム命令とを有する
ことを特徴とする媒体。
【0141】(29) 複数のオーディオ・フレームと
複数のビデオ・フレームとを有するオーディオビジュア
ル・ファイルからセグメントをコピーする方法であっ
て、前記セグメントの中の第一のビデオ・フレームに対
応するビデオ・ファイルの中でマーク−インの位置を選
定するステップで、前記第一のビデオ・フレームは、関
係する開始時間を有する前記ステップと、前記セグメン
トの中の最後のビデオ・フレームに対応する前記ビデオ
・ファイルの中でマーク−アウトの位置を選定するステ
ップで、前記最後のビデオ・フレームは、関係する終了
時間を有する前記ステップと、少なくとも前記第一のビ
デオ・フレームの開始時間と同程度に早い第一のオーデ
ィオ・フレーム開始時間を有する第一のオーディオ・フ
レームを最初のオーディオ・フレームに指定するステッ
プと、少なくとも前記最後のビデオ・フレームの終了時
間と同程度に遅い第二のオーディオ・フレーム開始時間
を有する第二のオーディオ・フレームを最後のオーディ
オ・フレームに指定するステップと、前記第一のビデオ
・フレームから前記最後のビデオ・フレームまで伸びる
ビデオ部分および前記最初のオーディオ・フレームから
前記最後のオーディオ・フレームまで伸びるオーディオ
部分を含む前記オーディオビジュアル・ファイルからセ
グメントをコピーするステップで、前記セグメントの前
記オーディオ部分は、前記セグメントの前記ビデオ部分
より長い前記ステップとを有することを特徴とする方
法。
【0142】(30) (29)に記載のオーディオビ
ジュアル・ファイルからセグメントをコピーする方法で
あって、前記最初のオーディオ・フレームは、時間的に
前記第一のビデオ・フレームに重なり、前記最後のオー
ディオ・フレームは、時間的に前記最後のビデオ・フレ
ームに重なることを特徴とする方法。
【0143】(31) (30)に記載のオーディオビ
ジュアル・ファイルからセグメントをコピーする方法で
あって、前記指定された最初のオーディオ・フレーム
は、前記第一のビデオ・フレームの開始時間に最も近く
関係する開始時間を有するマーク−イン・オーディオ・
フレームを識別するステップと、前記マーク−イン・オ
ーディオ・フレームの開始時間が少なくとも前記第一の
ビデオ・フレームの開始時間と同程度に早い場合には前
記マーク−イン・オーディオ・フレームを前記最初のオ
ーディオ・フレームに指定し、前記マーク−イン・オー
ディオ・フレームの開始時間が前記第一のビデオ・フレ
ームの開始時間より遅い場合には前記マーク−イン・オ
ーディオ・フレームの直前のオーディオ・フレームを前
記最初のオーディオ・フレームに指定するステップとに
よって判別されることを特徴とする方法。
【0144】(32) (30)に記載のオーディオビ
ジュアル・ファイルからセグメントをコピーする方法で
あって、前記指定された最後のオーディオ・フレーム
は、前記最後のビデオ・フレームの終了時間に最も近く
関係する開始時間を有するマーク−アウト・オーディオ
・フレームを識別するステップと、前記マーク−アウト
・オーディオ・フレームの開始時間が少なくとも前記最
後のビデオ・フレームの終了時間と同程度に早い場合に
は前記マーク−アウト・オーディオ・フレームを前記最
後のオーディオ・フレームに指定し、前記マーク−アウ
ト・オーディオ・フレームの開始時間が前記最後のビデ
オ・フレームの終了時間より遅い場合には前記マーク−
アウト・オーディオ・フレームの直前のオーディオ・フ
レームを前記最後のオーディオ・フレームに指定するス
テップとによって判別されることを特徴とする方法。
【0145】(33) (29)に記載のオーディオビ
ジュアル・ファイルからセグメントをコピーする方法で
あって、さらに、前記最初のオーディオ・フレームで始
まり第一の所定のオーディオ・フレームまで伸び、第二
の所定のオーディオ・フレームで始まり前記最後のオー
ディオ・フレームまで伸びる所定の数のオーディオ・フ
レームを処理するステップを有することを特徴とする方
法。
【0146】(34) (33)に記載のオーディオビ
ジュアル・ファイルからセグメントをコピーする方法で
あって、前記処理ステップは、前記最初のオーディオ・
フレームで始まり前記第一の所定のオーディオ・フレー
ムまで伸びる所定の数のオーディオ・フレームを復号す
るサブステップと、前記復号された所定の数のフレーム
を再符号化するサブステップとを有することを特徴とす
る方法。
【0147】(35) (33)に記載のオーディオビ
ジュアル・ファイルからセグメントをコピーする方法で
あって、前記処理ステップは、前記第二の所定のオーデ
ィオ・フレームで始まり前記最後のオーディオ・フレー
ムまで伸びる所定の数のオーディオ・フレームを復号す
るサブステップと、前記復号された所定の数のフレーム
を再符号化するサブステップとを有することを特徴とす
る方法。
【0148】(36) (34)に記載のオーディオビ
ジュアル・ファイルからセグメントをコピーする方法で
あって、前記再符号化された所定の数のフレームは、イ
ン・グル・ファイルとして記憶されることを特徴とする
方法。
【0149】(37) (35)に記載のオーディオビ
ジュアル・ファイルからセグメントをコピーする方法で
あって、前記再符号化された所定の数のフレームは、ア
ウト・グル・ファイルとして記憶されることを特徴とす
る方法。
【0150】(38) (33)に記載のオーディオビ
ジュアル・ファイルからセグメントをコピーする方法で
あって、さらに、前記処理されたオーディオの間にある
所定の数のオーディオ・フレームをミドル・グル・オー
ディオ・フレームとして識別するステップを有すること
を特徴とする方法。
【0151】(39) (38)に記載のオーディオビ
ジュアル・ファイルからセグメントをコピーする方法で
あって、前記ミドル・グル・オーディオ・フレームは、
入力オーディオビジュアル・ストリームを指すポインタ
で識別されることを特徴とする方法。
【0152】(40) 複数のオーディオ・フレームと
複数のビデオ・フレームとを有するオーディオビジュア
ル・ファイルからセグメントを切り取るための装置であ
って、前記セグメントの中の第一のビデオ・フレームに
対応するビデオ・ファイルの中でマーク−インの位置を
識別するセレクタで、前記第一のビデオ・フレームは、
関係する開始時間を有する前記セレクタと、前記セグメ
ントの中の最後のビデオ・フレームに対応する前記ビデ
オ・ファイルの中でマーク−アウトの位置を識別するセ
レクタで、前記最後のビデオ・フレームは、関係する終
了時間を有する前記セレクタと、第一のオーディオ・フ
レームが少なくとも前記第一のビデオ・フレームの開始
時間と同程度に早い開始時間を有する場合には、前記第
一のオーディオ・フレームを最初のオーディオ・フレー
ムに選定するよう構成された最初のオーディオ・フレー
ム・指示器(デジグネータ)と、第二のオーディオ・フ
レームが少なくとも前記最後のビデオ・フレームの終了
時間と同程度に遅い開始時間を有する場合には、前記第
二のオーディオ・フレームを最後のオーディオ・フレー
ムに選定するよう構成された最後のオーディオ・フレー
ム・指示器と、前記第一のビデオ・フレームから前記最
後のビデオ・フレームまで伸びるビデオ部分および前記
最初のオーディオ・フレームから前記最後のオーディオ
・フレームまで伸びるオーディオ部分を含む前記オーデ
ィオビジュアル・ファイルからセグメントをコピーする
よう構成されたクリッパで、前記セグメントの前記オー
ディオ部分は、前記セグメントの前記ビデオ部分より時
間的に短くない前記クリッパとを有することを特徴とす
る装置。
【0153】(41) 複数のオーディオ・フレームと
複数のビデオ・フレームとを有するオーディオビジュア
ル・ファイルからセグメントをコピーするためのプログ
ラム命令を含むコンピュータが読み取り可能な媒体であ
って、前記セグメントの中の第一のビデオ・フレームに
対応するビデオ・ファイルの中でマーク−インの位置を
選定するプログラム命令で、前記第一のビデオ・フレー
ムは、関係する開始時間を有する前記プログラム命令
と、前記セグメントの中の最後のビデオ・フレームに対
応する前記ビデオ・ファイルの中でマーク−アウトの位
置を選定するプログラム命令で、前記最後のビデオ・フ
レームは、関係する終了時間を有する前記プログラム命
令と、少なくとも前記第一のビデオ・フレームの開始時
間と同程度に早い第一のオーディオ・フレーム開始時間
を有する第一のオーディオ・フレームを最初のオーディ
オ・フレームに指定するプログラム命令と、少なくとも
前記最後のビデオ・フレームの終了時間と同程度に遅い
第二のオーディオ・フレーム開始時間を有する第二のオ
ーディオ・フレームを最後のオーディオ・フレームに指
定するプログラム命令と、前記第一のビデオ・フレーム
から前記最後のビデオ・フレームまで伸びるビデオ部分
および前記最初のオーディオ・フレームから前記最後の
オーディオ・フレームまで伸びるオーディオ部分を含む
前記オーディオビジュアル・ファイルからセグメントを
コピーするプログラム命令で、前記セグメントの前記オ
ーディオ部分は、前記セグメントの前記ビデオ部分より
長い前記プログラム命令とを有することを特徴とする媒
体。
【0154】(42) (41)に記載のオーディオビ
ジュアル・ファイルからセグメントをコピーするための
プログラム命令を含むコンピュータが読み取り可能な媒
体であって、前記最初のオーディオ・フレームは、時間
的に前記第一のビデオ・フレームに重なり、前記最後の
オーディオ・フレームは、時間的に前記最後のビデオ・
フレームに重なることを特徴とする媒体。
【0155】(43) (42)に記載のオーディオビ
ジュアル・ファイルからセグメントをコピーするための
プログラム命令を含むコンピュータが読み取り可能な媒
体であって、前記指定された最初のオーディオ・フレー
ムは、前記第一のビデオ・フレームの開始時間に最も近
く関係する開始時間を有するマーク−イン・オーディオ
・フレームを識別するプログラム命令と、前記マーク−
イン・オーディオ・フレームの開始時間が少なくとも前
記第一のビデオ・フレームの開始時間と同程度に早い場
合には前記マーク−イン・オーディオ・フレームを前記
最初のオーディオ・フレームに指定し、前記マーク−イ
ン・オーディオ・フレームの開始時間が前記第一のビデ
オ・フレームの開始時間より遅い場合には前記マーク−
イン・オーディオ・フレームの直前のオーディオ・フレ
ームを前記最初のオーディオ・フレームに指定するプロ
グラム命令とを与えることによって判別されることを特
徴とする媒体。
【0156】(44) (42)に記載のオーディオビ
ジュアル・ファイルからセグメントをコピーするための
プログラム命令を含むコンピュータが読み取り可能な媒
体であって、前記指定された最後のオーディオ・フレー
ムは、前記最後のビデオ・フレームの終了時間に最も近
く関係する開始時間を有するマーク−アウト・オーディ
オ・フレームを識別するプログラム指令と、前記マーク
−アウト・オーディオ・フレームの開始時間が少なくと
も前記最後のビデオ・フレームの終了時間と同程度に早
い場合には前記マーク−アウト・オーディオ・フレーム
を前記最後のオーディオ・フレームに指定し、前記マー
ク−アウト・オーディオ・フレームの開始時間が前記最
後のビデオ・フレームの終了時間より遅い場合には前記
マーク−アウト・オーディオ・フレームの直前のオーデ
ィオ・フレームを前記最後のオーディオ・フレームに指
定するプログラム指令とを与えることによって判別され
ることを特徴とする媒体。
【0157】(45) (41)に記載のオーディオビ
ジュアル・ファイルからセグメントをコピーするための
プログラム命令を含むコンピュータが読み取り可能な媒
体であって、さらに、前記最初のオーディオ・フレーム
で始まり第一の所定のオーディオ・フレームまで伸び、
第二の所定のオーディオ・フレームで始まり前記最後の
オーディオ・フレームまで伸びる所定の数のオーディオ
・フレームを処理するプログラム命令を含むことを特徴
とする媒体。
【0158】(46) (45)に記載のオーディオビ
ジュアル・ファイルからセグメントをコピーするための
プログラム命令を含むコンピュータが読み取り可能な媒
体であって、前記処理は、さらに、前記最初のオーディ
オ・フレームで始まり前記第一の所定のオーディオ・フ
レームまで伸びる所定の数のオーディオ・フレームを復
号するプログラム命令と、前記復号された所定の数のフ
レームを再符号化するプログラム命令とを含むことを特
徴とする媒体。
【0159】
【発明の効果】本発明の効果は数多いが、本発明の特に
顕著な効果は、ストリーム・エラーが一オーディオ・フ
レームの約半分を超えることが防がれ、また、連続コピ
ー操作の後に貼り合わされるセグメントの数にかかわら
ず、ビデオ・フレームとオーディオ・フレームの間でほ
ぼ同期がとられることである。この結果、オーディオ構
成要素がビデオ構成要素とほぼ同期した状態を確保しな
がら、オーディオおよびビデオ・ビット・ストリームを
編集する方法および装置を実現することができる。
【図面の簡単な説明】
【図1A】本発明の一実施の形態にもとづいてほぼ同期
したオーディオ・構成要素を生成することに関係する処
理ステップを説明するために示した多数のオーディオビ
ジュアル・フレーム・シーケンスの例を示す図である。
【図1B】本発明の一実施の形態にもとづいて図1Aの
表示順序ストリームからコピーされたオーディオビジュ
アル・セグメントの例を示す図である。
【図2】本発明の一実施の形態にもとづいたオーディオ
ビジュアル・ファイルの編集を示すデータ・フロー・ア
ーキテクチャーの図である。
【図3】本発明の一実施の形態にもとづいたオーディオ
ビジュアル・ファイルの編集の好ましいステップを示す
フローチャートである。
【図4】本発明の一実施の形態にもとづいた任意の適当
なオペレータのためにオプションでグル・セグメントを
生成する方法を示すフローチャートである。
【図5】本発明の一実施の形態にもとづいたコピー・オ
ペレータの実行に関係する処理ステップを示すフローチ
ャートである。
【図6】本発明の一実施の形態にもとづいた図5のミド
ル・グルの出力に関係する処理ステップを示すフローチ
ャートである。
【図7】本発明の一実施の形態にもとづいた図5のイン
・グルの出力に関係する処理ステップを示すフローチャ
ートである。
【図8】本発明の一実施の形態にもとづいた図5のアウ
ト・グルの出力に関係する処理ステップを示すフローチ
ャートである。
【図9】本発明の編集装置によって行なわれる第二のパ
スの間に要求された出力ストリームを生成することに関
係する処理ステップの概要を示すフローチャートであ
る。
【図10】本発明の一実施の形態にもとづいて入力ソー
スから引き出されるデータを多重化することに関係する
処理ステップの詳細を示す図である。
【図11】本発明の一実施の形態にもとづいてスティッ
チャ・オブジェクトによって行なわれる処理ステップの
概要を示す図である。
【図12】本発明の一実施の形態にもとづいてステップ
・オブジェクトによって行なわれる処理ステップの詳細
を示す図である。
【図13】本発明の一実施の形態にもとづいてタブを処
理することに関係する処理ステップを示すフローチャー
トである。
【図14】本発明の一実施の形態にもとづいて貼り合わ
される複数のオーディオビジュアル・セグメントを示す
線図である。
【図15】本発明の一実施の形態にもとづく複数のタブ
処理計算を示す表である。
【図16】本発明の一実施の形態にもとづいて処理され
るタブの後のオーディオ・フレーム・エラーを示す線図
である。
【図17】本発明の一実施の形態にもとづいてオーディ
オビジュアル編集ステップを行なうためのコンピュータ
ー・システムの例を示すブロック線図である。
【符号の説明】
50…符号化順序ストリーム、52…表示順序ストリー
ム、60…オーディオビジュアル・セグメント、9−2
8…ビデオ・フレーム、56,58−62,64…オー
ディオ・フレーム、100…データ・フロー・アーキテ
クチャ、102…MEDITエンジン、104…コピー
・オペレータ、106…アプリケーション、108…編
集リスト、140…記憶媒体。
フロントページの続き (72)発明者 アンドリュー・ポールフリーマン アメリカ合衆国、94086 カリフォルニア 州、サニーヴェイル、イー・エヴリン・ア ヴェニュー 825、アパートメント 456 (72)発明者 グレッグ・シー・アミーズ アメリカ合衆国、94062 カリフォルニア 州、レッドウッド・シティ、マナー・コー ト 73 (54)【発明の名称】 オーディオビジュアル・セグメントを貼り合わせる方法および装置、オーディオビジュアル・セ グメントを接合する方法、オーディオビジュアル・ファイルからセグメントをコピーする方法、 オーディオビジュアル・ファイルからセグメントを切り取るための装置、ならびにコンピュータ が読み取り可能な媒体

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 各オーディオビジュアル・セグメント
    が、第一のオーディオ・フレーム、順序として前記第一
    のオーディオ・フレームに続く第二のオーディオ・フレ
    ーム、および最後のオーディオ・フレームを含む複数の
    オーディオ・フレームと、第一のビデオ・フレームおよ
    び最後のビデオ・フレームを含む複数のビデオ・フレー
    ムとを有する第一および第二のオーディオビジュアル・
    セグメントを貼り合わせる方法であって、 前記第一のオーディオビジュアル・セグメントの中の最
    初のオーディオ・フレームを前記第一のオーディオビジ
    ュアル・セグメントの中の前記第一のビデオ・フレーム
    と位置合わせするステップで、 前記第一のオーディオビジュアル・セグメントからの前
    記第一のオーディオ・フレームに関係するタブ・エラー
    が半フレームより小さい場合には、前記第一のオーディ
    オ・フレームが前記第一のオーディオビジュアル・セグ
    メントからのタブ−イン・オーディオ・フレームに指定
    され、 前記第一のオーディオビジュアル・セグメントからの前
    記第一のオーディオ・フレームに関係するタブ・エラー
    が半フレームより大きい場合には、前記第二のオーディ
    オ・フレームが前記第一のオーディオビジュアル・セグ
    メントからのタブ−イン・オーディオ・フレームに指定
    される前記ステップと、 前記第一および第二のオーディオビジュアル・セグメン
    トを貼り合わせるステップと、を有することを特徴とす
    るオーディオビジュアル・セグメントを貼り合わせる方
    法。
  2. 【請求項2】 請求項1に記載の第一および第二のオー
    ディオビジュアル・セグメントを貼り合わせる方法であ
    って、さらに、 前記第一のオーディオビジュアル・セグメントからの前
    記最後のオーディオ・フレームに関係するタブ・エラー
    が一フレームより小さい場合には、前記最後のオーディ
    オ・フレームが前記第一のオーディオビジュアル・セグ
    メントからのタブ−アウト・オーディオ・フレームに指
    定されるステップと、 累積ストリーム・エラーが約半フレームより大きい場合
    には、前記タブ−アウト・オーディオ・フレームを落と
    すステップと、を有することを特徴とするオーディオビ
    ジュアル・セグメントを貼り合わせる方法。
  3. 【請求項3】 各オーディオビジュアル・セグメント
    が、第一のオーディオ・フレーム、順序として前記第一
    のオーディオ・フレームに続く第二のオーディオ・フレ
    ーム、および最後のオーディオ・フレームを含む複数の
    オーディオ・フレームと、第一のビデオ・フレームおよ
    び最後のビデオ・フレームを含む複数のビデオ・フレー
    ムとを有する編集された第一および第二のオーディオビ
    ジュアル・セグメントを接合する方法であって、 前記第一のオーディオビジュアル・セグメントの中のタ
    ブ−イン・オーディオ・フレームを前記第一のオーディ
    オビジュアル・セグメントの中の前記第一のビデオ・フ
    レームと位置合わせするステップで、 前記第一のオーディオビジュアル・セグメントからの前
    記第一のオーディオ・フレームに関係するタブ・エラー
    が約半フレームより小さい場合には、前記第一のオーデ
    ィオビジュアル・セグメントからの前記第一のオーディ
    オ・フレームが、前記タブ−イン・オーディオ・フレー
    ムに指定され、 前記第一のオーディオビジュアル・セグメントからの前
    記第一のオーディオ・フレームに関係するタブ・エラー
    が約半フレームより大きい場合には、前記第一のオーデ
    ィオビジュアル・セグメントからの前記第二のオーディ
    オ・フレームは、前記タブ−イン・オーディオ・フレー
    ムに指定され、 前記第一のオーディオビジュアル・セグメントからの前
    記第二のオーディオ・フレームが前記タブ−イン・オー
    ディオ・フレームに指定される場合には、前記第一のオ
    ーディオビジュアル・セグメントからの前記第一のオー
    ディオ・フレームが落とされる前記ステップと、 前記第一のオーディオビジュアル・セグメントの中の前
    記最後のオーディオ・フレームに関係する累積エラーが
    約半オーディオ・フレームを超えるか否かを判別し、前
    記最後のオーディオ・フレームに関係する前記累積エラ
    ーが約半オーディオ・フレームを超えると判別された場
    合には、前記第一のオーディオビジュアル・セグメント
    の中の前記最後のオーディオ・フレームを落とすステッ
    プと、 前記第二のオーディオビジュアル・セグメントの中の第
    一のオーディオ・フレームに関係する累積エラーが約半
    オーディオ・フレームを超えるか否かを判別し、前記第
    一のオーディオ・フレームに関係する前記累積エラーが
    約半オーディオ・フレームを超えると判別された場合に
    は、前記第二のオーディオビジュアル・セグメントの中
    の前記第一のオーディオ・フレームを落とすステップと
    を有し、 それによって、前記第一および第二のオーディオビジュ
    アル・セグメントの複数のオーディオ・フレームが前記
    第一および第二のオーディオビジュアル・セグメントの
    複数のビデオ・フレームとほぼ同期することを特徴とす
    るオーディオビジュアル・セグメントを接合する方法。
  4. 【請求項4】 請求項3に記載の編集された第一および
    第二のオーディオビジュアル・セグメントを接合する方
    法であって、前記累積エラーは、現存のストリーム・エ
    ラーおよび現在のタブ・エラーを含むことを特徴とする
    オーディオビジュアル・セグメントを接合する方法。
  5. 【請求項5】 各オーディオビジュアル・セグメント
    が、第一のオーディオ・フレーム、順序として前記第一
    のオーディオ・フレームに続く第二のオーディオ・フレ
    ーム、および最後のオーディオ・フレームを含む複数の
    オーディオ・フレームと、第一のビデオ・フレームおよ
    び最後のビデオ・フレームを含む複数のビデオ・フレー
    ムとを有する第一および第二のオーディオビジュアル・
    セグメントを貼り合わせる装置であって、 前記第一のオーディオビジュアル・セグメントの中の最
    初のオーディオ・フレームを前記第一のオーディオビジ
    ュアル・セグメントの中の前記第一のビデオ・フレーム
    と位置合わせするよう構成されたアライナーを有し、前
    記第一のオーディオビジュアル・セグメントからの前記
    第一のオーディオ・フレームに関係するタブ・エラーが
    約半オーディオ・フレームより小さい場合には、前記最
    初のオーディオ・フレームは、前記第一のオーディオビ
    ジュアル・セグメントからの前記第一のオーディオ・フ
    レームであることを特徴とするオーディオビジュアル・
    セグメントを貼り合わせる装置。
  6. 【請求項6】 各オーディオビジュアル・セグメント
    が、第一のオーディオ・フレーム、順序として前記第一
    のオーディオ・フレームに続く第二のオーディオ・フレ
    ーム、および最後のオーディオ・フレームを含む複数の
    オーディオ・フレームと、第一のビデオ・フレームおよ
    び最後のビデオ・フレームを含む複数のビデオ・フレー
    ムとを有する第一および第二のオーディオビジュアル・
    セグメントを貼り合わせるプログラム命令を含むコンピ
    ュータが読み取り可能な媒体であって、 前記第一のオーディオビジュアル・セグメントの中の最
    初のオーディオ・フレームを前記第一のオーディオビジ
    ュアル・セグメントの中の前記第一のビデオ・フレーム
    と位置合わせするプログラム命令で、 前記第一のオーディオビジュアル・セグメントからの前
    記第一のオーディオ・フレームに関係するタブ・エラー
    が半フレームより小さい場合には、前記第一のオーディ
    オ・フレームが前記第一のオーディオビジュアル・セグ
    メントからのタブ−イン・オーディオ・フレームに指定
    され、 前記第一のオーディオビジュアル・セグメントからの前
    記第一のオーディオ・フレームに関係するタブ・エラー
    が半フレームより大きい場合には、前記第二のオーディ
    オ・フレームは前記第一のオーディオビジュアル・セグ
    メントからのタブ−イン・オーディオ・フレームに指定
    される前記プログラム命令と、 前記第一および第二のオーディオビジュアル・セグメン
    トを貼り合わせるプログラム命令と、を有することを特
    徴とするコンピュータが読み取り可能な媒体。
  7. 【請求項7】 複数のオーディオ・フレームと複数のビ
    デオ・フレームとを有するオーディオビジュアル・ファ
    イルからセグメントをコピーする方法であって、 前記セグメントの中の第一のビデオ・フレームに対応す
    るビデオ・ファイルの中でマーク−インの位置を選定す
    るステップで、前記第一のビデオ・フレームは、関係す
    る開始時間を有する前記ステップと、 前記セグメントの中の最後のビデオ・フレームに対応す
    る前記ビデオ・ファイルの中でマーク−アウトの位置を
    選定するステップで、前記最後のビデオ・フレームは、
    関係する終了時間を有する前記ステップと、 少なくとも前記第一のビデオ・フレームの開始時間と同
    程度に早い第一のオーディオ・フレーム開始時間を有す
    る第一のオーディオ・フレームを最初のオーディオ・フ
    レームに指定するステップと、 少なくとも前記最後のビデオ・フレームの終了時間と同
    程度に遅い第二のオーディオ・フレーム開始時間を有す
    る第二のオーディオ・フレームを最後のオーディオ・フ
    レームに指定するステップと、 前記第一のビデオ・フレームから前記最後のビデオ・フ
    レームまで伸びるビデオ部分および前記最初のオーディ
    オ・フレームから前記最後のオーディオ・フレームまで
    伸びるオーディオ部分を含む前記オーディオビジュアル
    ・ファイルからセグメントをコピーするステップで、前
    記セグメントの前記オーディオ部分は、前記セグメント
    の前記ビデオ部分より長い前記ステップと、を有するこ
    とを特徴とするオーディオビジュアル・ファイルからセ
    グメントをコピーする方法。
  8. 【請求項8】 請求項7に記載のオーディオビジュアル
    ・ファイルからセグメントをコピーする方法であって、
    前記最初のオーディオ・フレームは、時間的に前記第一
    のビデオ・フレームに重なり、前記最後のオーディオ・
    フレームは、時間的に前記最後のビデオ・フレームに重
    なることを特徴とするオーディオビジュアル・ファイル
    からセグメントをコピーする方法。
  9. 【請求項9】 複数のオーディオ・フレームと複数のビ
    デオ・フレームとを有するオーディオビジュアル・ファ
    イルからセグメントを切り取るための装置であって、 前記セグメントの中の第一のビデオ・フレームに対応す
    るビデオ・ファイルの中でマーク−インの位置を識別す
    るセレクタで、前記第一のビデオ・フレームは、関係す
    る開始時間を有する前記セレクタと、 前記セグメントの中の最後のビデオ・フレームに対応す
    る前記ビデオ・ファイルの中でマーク−アウトの位置を
    識別するセレクタで、前記最後のビデオ・フレームは、
    関係する終了時間を有する前記セレクタと、 第一のオーディオ・フレームが少なくとも前記第一のビ
    デオ・フレームの開始時間と同程度に早い開始時間を有
    する場合には、前記第一のオーディオ・フレームを最初
    のオーディオ・フレームに選定するよう構成された最初
    のオーディオ・フレーム・指示器と、 第二のオーディオ・フレームが少なくとも前記最後のビ
    デオ・フレームの終了時間と同程度に遅い開始時間を有
    する場合には、前記第二のオーディオ・フレームを最後
    のオーディオ・フレームに選定するよう構成された最後
    のオーディオ・フレーム・指示器と、 前記第一のビデオ・フレームから前記最後のビデオ・フ
    レームまで伸びるビデオ部分および前記最初のオーディ
    オ・フレームから前記最後のオーディオ・フレームまで
    伸びるオーディオ部分を含む前記オーディオビジュアル
    ・ファイルからセグメントをコピーするよう構成された
    クリッパで、前記セグメントの前記オーディオ部分は、
    前記セグメントの前記ビデオ部分より時間的に短くない
    前記クリッパと、を有することを特徴とするオーディオ
    ビジュアル・ファイルからセグメントを切り取るための
    装置。
  10. 【請求項10】 複数のオーディオ・フレームと複数の
    ビデオ・フレームとを有するオーディオビジュアル・フ
    ァイルからセグメントをコピーするためのプログラム命
    令を含むコンピュータが読み取り可能な媒体であって、 前記セグメントの中の第一のビデオ・フレームに対応す
    るビデオ・ファイルの中でマーク−インの位置を選定す
    るプログラム命令で、前記第一のビデオ・フレームは、
    関係する開始時間を有する前記プログラム命令と、 前記セグメントの中の最後のビデオ・フレームに対応す
    る前記ビデオ・ファイルの中でマーク−アウトの位置を
    選定するプログラム命令で、前記最後のビデオ・フレー
    ムは、関係する終了時間を有する前記プログラム命令
    と、 少なくとも前記第一のビデオ・フレームの開始時間と同
    程度に早い第一のオーディオ・フレーム開始時間を有す
    る第一のオーディオ・フレームを最初のオーディオ・フ
    レームに指定するプログラム命令と、 少なくとも前記最後のビデオ・フレームの終了時間と同
    程度に遅い第二のオーディオ・フレーム開始時間を有す
    る第二のオーディオ・フレームを最後のオーディオ・フ
    レームに指定するプログラム命令と、 前記第一のビデオ・フレームから前記最後のビデオ・フ
    レームまで伸びるビデオ部分および前記最初のオーディ
    オ・フレームから前記最後のオーディオ・フレームまで
    伸びるオーディオ部分を含む前記オーディオビジュアル
    ・ファイルからセグメントをコピーするプログラム命令
    で、前記セグメントの前記オーディオ部分は、前記セグ
    メントの前記ビデオ部分より長い前記プログラム命令
    と、を有することを特徴とするコンピュータが読み取り
    可能な媒体。
JP31566797A 1996-11-15 1997-11-17 オーディオビジュアル・セグメントを貼り合わせる方法および装置、オーディオビジュアル・セグメントを接合する方法、ならびにコンピュータが読み取り可能な媒体 Expired - Fee Related JP3768662B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US4682296P 1996-11-15 1996-11-15
US60/046822 1996-11-15

Publications (2)

Publication Number Publication Date
JPH10271446A true JPH10271446A (ja) 1998-10-09
JP3768662B2 JP3768662B2 (ja) 2006-04-19

Family

ID=21945583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31566797A Expired - Fee Related JP3768662B2 (ja) 1996-11-15 1997-11-17 オーディオビジュアル・セグメントを貼り合わせる方法および装置、オーディオビジュアル・セグメントを接合する方法、ならびにコンピュータが読み取り可能な媒体

Country Status (2)

Country Link
US (1) US6661430B1 (ja)
JP (1) JP3768662B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007195208A (ja) * 2001-09-27 2007-08-02 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6654933B1 (en) * 1999-09-21 2003-11-25 Kasenna, Inc. System and method for media stream indexing
JP4269122B2 (ja) * 1999-10-20 2009-05-27 ソニー株式会社 記録装置および記録方法
US7277956B2 (en) 2000-07-28 2007-10-02 Kasenna, Inc. System and method for improved utilization of bandwidth in a computer system serving multiple users
US8458754B2 (en) 2001-01-22 2013-06-04 Sony Computer Entertainment Inc. Method and system for providing instant start multimedia content
EP1374080A2 (en) 2001-03-02 2004-01-02 Kasenna, Inc. Metadata enabled push-pull model for efficient low-latency video-content distribution over a network
US7143353B2 (en) * 2001-03-30 2006-11-28 Koninklijke Philips Electronics, N.V. Streaming video bookmarks
US7199805B1 (en) * 2002-05-28 2007-04-03 Apple Computer, Inc. Method and apparatus for titling
US7400653B2 (en) * 2004-06-18 2008-07-15 Dolby Laboratories Licensing Corporation Maintaining synchronization of streaming audio and video using internet protocol
US7418394B2 (en) * 2005-04-28 2008-08-26 Dolby Laboratories Licensing Corporation Method and system for operating audio encoders utilizing data from overlapping audio segments
US9648281B2 (en) 2005-05-23 2017-05-09 Open Text Sa Ulc System and method for movie segment bookmarking and sharing
US8141111B2 (en) 2005-05-23 2012-03-20 Open Text S.A. Movie advertising playback techniques
EP1899850B1 (en) 2005-05-23 2013-02-27 Open Text S.A. Distributed scalable media environment
US8145528B2 (en) 2005-05-23 2012-03-27 Open Text S.A. Movie advertising placement optimization based on behavior and content analysis
US7793329B2 (en) 2006-02-06 2010-09-07 Kasenna, Inc. Method and system for reducing switching delays between digital video feeds using multicast slotted transmission technique
US9483405B2 (en) 2007-09-20 2016-11-01 Sony Interactive Entertainment Inc. Simplified run-time program translation for emulating complex processor pipelines
US8189492B2 (en) * 2009-03-18 2012-05-29 Microsoft Corporation Error recovery in an audio-video multipoint control component
US8433759B2 (en) 2010-05-24 2013-04-30 Sony Computer Entertainment America Llc Direction-conscious information sharing
US8994777B2 (en) * 2012-03-26 2015-03-31 Salesforce.Com, Inc. Method and system for web conference recording
KR101328199B1 (ko) * 2012-11-05 2013-11-13 넥스트리밍(주) 동영상 편집 방법 및 그 단말기 그리고 기록매체
US20150113408A1 (en) * 2013-10-18 2015-04-23 Apple Inc. Automatic custom sound effects for graphical elements
JP6258168B2 (ja) * 2014-09-12 2018-01-10 株式会社東芝 配信装置、再生装置および配信システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5634020A (en) * 1992-12-31 1997-05-27 Avid Technology, Inc. Apparatus and method for displaying audio data as a discrete waveform
JP3837746B2 (ja) * 1995-04-08 2006-10-25 ソニー株式会社 編集システム
US6122668A (en) * 1995-11-02 2000-09-19 Starlight Networks Synchronization of audio and video signals in a live multicast in a LAN
US6400886B1 (en) * 1996-11-15 2002-06-04 Futuretel, Inc. Method and apparatus for stitching edited video segments
US6157771A (en) * 1996-11-15 2000-12-05 Futuretel, Inc. Method and apparatus for seeking within audiovisual files
US6201925B1 (en) * 1996-11-15 2001-03-13 Futuretel, Inc. Method and apparatus for editing video files
US6285361B1 (en) * 1996-11-15 2001-09-04 Futuretel, Inc. Method and apparatus for clipping video segments from an audiovisual file
US6262777B1 (en) * 1996-11-15 2001-07-17 Futuretel, Inc. Method and apparatus for synchronizing edited audiovisual files
US5886692A (en) * 1996-11-15 1999-03-23 Futuretel, Inc. Attracting and repelling edit blocks in a user interface of a video editor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007195208A (ja) * 2001-09-27 2007-08-02 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP4534168B2 (ja) * 2001-09-27 2010-09-01 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
US6661430B1 (en) 2003-12-09
JP3768662B2 (ja) 2006-04-19

Similar Documents

Publication Publication Date Title
US6262777B1 (en) Method and apparatus for synchronizing edited audiovisual files
US6285361B1 (en) Method and apparatus for clipping video segments from an audiovisual file
JP3768662B2 (ja) オーディオビジュアル・セグメントを貼り合わせる方法および装置、オーディオビジュアル・セグメントを接合する方法、ならびにコンピュータが読み取り可能な媒体
JP3706721B2 (ja) オーディオビジュアル・ファイル内部での検索方法および検索装置
US6400886B1 (en) Method and apparatus for stitching edited video segments
US7139470B2 (en) Navigation for MPEG streams
JP4270379B2 (ja) デジタル情報の効率的な伝送および再生
US6546189B1 (en) Method and apparatus for editing compressed moving pictures and storage medium
US6944629B1 (en) Method and device for managing multimedia file
US5959690A (en) Method and apparatus for transitions and other special effects in digital motion video
JP4503858B2 (ja) 遷移ストリームの生成/処理方法
US6201925B1 (en) Method and apparatus for editing video files
TWI359411B (en) Recording apparatus, recording method, reproductio
HU229299B1 (hu) Adatrögzítõ, és lejátszó berendezés, eljárás adatrögzítésre, és -lejátszásra, programtároló eszköz, program az eljárás végrehajtására, adathordozó eszköz
KR20020001828A (ko) 전이 스트림 발생 및 처리를 위한 방법
JPH09322111A (ja) 映像編集装置
GB2312081A (en) Text-based video editing system
US6229576B1 (en) Editing system with router for connection to HDTV circuitry
US20030128301A1 (en) Editing system with router for connection to HDTV circuitry
US10283160B1 (en) Systems and methods for switching between multiple software video players linked to a single output
JP2006333330A (ja) データ処理方法、その装置およびプログラム
WO1997030544A2 (en) Method and apparatus for transitions, reverse play and other special effects in digital motion video
WO2004032496A1 (ja) 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
EP0926678A2 (en) Method and apparatus for compressed video segment cut-and-concatenation for editing
WO2005043901A1 (ja) レジューム再生システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041012

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050621

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060202

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090210

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110210

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120210

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120210

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130210

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130210

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees