JP4503739B2 - 情報ストリームの高フレーム精度シームレス・スプライシング - Google Patents
情報ストリームの高フレーム精度シームレス・スプライシング Download PDFInfo
- Publication number
- JP4503739B2 JP4503739B2 JP27263999A JP27263999A JP4503739B2 JP 4503739 B2 JP4503739 B2 JP 4503739B2 JP 27263999 A JP27263999 A JP 27263999A JP 27263999 A JP27263999 A JP 27263999A JP 4503739 B2 JP4503739 B2 JP 4503739B2
- Authority
- JP
- Japan
- Prior art keywords
- stream
- frame
- transport
- transition
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000007704 transition Effects 0.000 claims description 173
- 238000000034 method Methods 0.000 claims description 96
- 230000008569 process Effects 0.000 claims description 24
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 230000003139 buffering effect Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 13
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010187 selection method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 1
- 206010036618 Premenstrual syndrome Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234354—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering signal-to-noise ratio parameters, e.g. requantization
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/40—Combinations of multiple record carriers
- G11B2220/41—Flat as opposed to hierarchical combination, e.g. library of tapes or discs, CD changer, or groups of record carriers that together store one title
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、一般に通信システムに関し、特に、実質的にシームレスな方式で情報ストリームをスプライスまたは連結する方法に関する。
【０００２】
【従来の技術】
いくつかの通信システムでは、利用可能な帯域幅がより有効に使用されるように、伝送すべきデータが圧縮される。例えば、動画専門家グループ（ＭＰＥＧ）は、ディジタル・データ供給システムに関していくつかの規格を公表している。ＭＰＥＧ１として知られている第一の規格は、ＩＳＯ／ＩＥＣ規格１１１７２を指し、参考文献として本明細書に組み込まれる。ＭＰＥＧ２として知られている第二の規格は、ＩＳＯ／ＩＥＣ規格１３８１８を指し、参考文献として本明細書に組み込まれる。圧縮ディジタル・ビデオシステムは、アドバンスト・テレビジョン・システム委員会（ＡＴＳＣ）ディジタル・テレビジョン基本文書Ａ／５３に記述されており、これも参考文献として本明細書に組み込まれる。
【０００３】
テレビジョン・スタジオや情報ストリームの他の「コンシューマ（消費者）」は、実質的にシームレスかつフレーム精度の高い方法で情報ストリーム（例えば、ビデオ、オーディオおよび他の関連情報サブストリームを組み込んだトランスポート符合化プログラム・ストリーム）間を連結またはスプライスできることが重要である。「フレーム精度の高い」とは、符合化フレームのフレーム・タイプ（例えば、Ｉ、ＰまたはＢフレーム符号化）に関わらず、ユーザによって選択されたフレームでスプライスが正確に行われることを意味する。「シームレスなスプライス」とは、連続した有効なＭＰＥＧストリームを生み出すスプライスを意味する。このように、第一の情報ストリームのフレーム精度の高いシームレス・スプライスを行って第二の情報ストリームを得る場合、フレーム精度の高いシームレス・スプライサは、フレームの正確な数を保持する（例えば、９００ビデオ・フレーム・コマーシャル提供を含むトランスポート符号化プログラムが正確に９００枚のフレームからなる「スロット」に納められるようにスケジュールすることができる）。
【０００４】
既知のいくつかの方法は、以下の手順の変形を利用する。すなわち、「イン・ストリーム」および「アウト・ストリーム」をベースバンドまたは基本レベルに復号化するステップ、スプライス動作を行うステップ、および得られるスプライスト・ストリームを再符号化するステップである。これらの方法は、フレーム精度の高いシームレスなスプライスを提供するが、費用が高い。
【０００５】
トランスポート・ストリーム・レベルでのシームレスなスプライシングを可能にする改良方法では、適切なストリーム入口点および出口点をそれぞれ示す各ストリームに対して「イン・ポイント」および「アウト・ポイント」を定義することにより、比較的シームレスな手法で、ＭＰＥＧ情報ストリームとビデオ情報等を含むＭＰＥＧ類似情報ストリームをスプライスし、一体化することができる。例えば、ＭＰＥＧ類似ビデオストリーム中でビデオ・シーケンス・ヘッダを含むパケットは、適切なイン・ポイントを含んでいる。このようなイン・ポイントおよびアウト・ポイントを含むＭＰＥＧ類似情報ストリームは、スプライス可能であると言われる。動画・テレビ技術者協会（ＳＭＰＴＥ）は、「ＭＰＥＧ２トランスポート・ストリームのためのスプライス・ポイント」と称されるこのようなスプライス用のポイントを定義した規格ＳＭＰＴＥ３１２Ｍを提案している。この規格は、すべて参考文献として本明細書に組み込まれる。
【０００６】
【発明が解決しようとする課題】
残念なことに、このようなイン・ポイントおよびアウト・ポイントの配置は、画像フレーム符号化モードやグループ・オブ・ピクチャ（ＧＯＰ）構造などの要因によって定義される。したがって、情報ストリーム間をシームレスにスプライスしようとしているエンド・ユーザは、必要なスプライス用ポイントが適切なイン・ポイントまたはアウト・ポイントでない場合は、「フレーム精度の高い」手法でシームレスなスプライスを行うことができない。
【０００７】
したがって、ＭＰＥＧ類似トランスポート・ストリームのシームレスでフレーム精度の高いスプライシングを可能にする方法および装置を提供することが望ましい思われる。さらに、テレビジョン・スタジオの特定の環境や他のビデオ供給環境にシームレスでフレーム精度の高いこのようなスプライシング方法を適用する方法および装置を提供することが望ましいと思われる。
【０００８】
【課題を解決するための手段】
本発明には、各スプライス・ポイントの付近に位置する各ストリームからの部分を用いて遷移ストリームまたはクリップを構成することによりＭＰＥＧ類似トランスポート・ストリームのシームレスでフレーム精度の高いスプライシングを行う方法および装置が含まれる。この遷移ストリームは、実際のスプライス・ポンイト、スプライス・ポイントの前（表示順序で）の「ｆｒｏｍ」ストリームの部分、およびスプライス・ポイントの後（表示順序で）の「ｔｏ」ストリームの部分を含む自立型符号化ストリーム（self contained encoded stream）を含んだデータ構造である。ｆｒｏｍストリームは、適切な出口点で出される。このとき、遷移ストリームが入れられる。ｔｏストリームは、適切な入口点で入れられる。このとき、遷移ストリームが出される。遷移ストリームは、復号器バッファ等の不適格な動作を引き起こすことなくｆｒｏｍストリーム出口点およびｔｏストリーム入口点の間に連結できるように構成される。
【０００９】
【発明の実施の形態】
本発明の教示は、添付図面とともに以下の詳細な説明を検討することによって容易に理解することができる。
【００１０】
理解を容易にするため、図面に共通の同一要素を示すにあたって可能な限り同一の参照番号を使用する。
【００１１】
以下の説明を検討すれば、当業者は、ビデオ・サブストリームを含むＭＰＥＧ類似トランスポート・ストリーム等のシームレスでフレーム精度の高いスプライシングを行うニーズが存在する情報処理システムにおいて本発明の教示を容易に利用できることを明らかに理解できるであろう。
【００１２】
本発明の実施形態は、遠端復号器への搬送に適したＭＰＥＧ２準拠ビデオストリーム等を生成するために、再生放送コントローラにより保存ビデオストリーム（例えば、ビデオ・セグメントまたはクリップ）がサーバから検索され、シームレスでフレーム精度の高い方式でスプライスされるテレビジョン・スタジオ環境との関連で記述される。しかしながら、本発明の範囲および教示は、いっそう広い適用可能性を有しているので、本発明を開示した実施形態に限定して解釈すべきではない。例えば、本発明は、ケーブル・ヘッドエンド用のサーバベース資産ストリーミング、ディジタル映画用のトレーラおよびローカル・コマーシャルの挿入、ＭＰＥＧ２トランスポート・ストリームのフレーム精度の高いインターネットベース・ストリーミング、および限られた生産設備（すなわち、ニュースや他の用途のためにセグメントの合成のみを行う生産設備）への適用可能性を有している。
【００１３】
この説明では、発明を記述するために種々の用語が使用される。以下の説明によって修正されない限り、これらの用語の幾つかは、次のように定義される。すなわち、スプライス済ストリームは、特定のスプライシング・ポイントで出口ストリーム（またはｆｒｏｍストリーム）を入口ストリーム（またはｔｏストリーム）に連結することによって形成されたストリームを含んでいる。出口フレームは、出口ストリームの最後のフレームである。入口フレームは、入口ストリームの最初のフレームである。
【００１４】
図１は、テレビジョン・スタジオの上位ブロック図を示している。具体的には、図１のスタジオは、再生放送サーバ（play to air server）１１０、大容量記憶装置１１５、再生放送コントローラ（play to air controller）１２０、ルータ１３０およびネットワーク・インターフェース装置（ＮＩＤ）１４０を備えている。
【００１５】
大容量記憶装置１１５は、例えば、番組を提供する符合化ビデオ・サブストリームおよび関連オーディオ・ストリームを含んだ複数のＭＰＥＧ２トランスポート・ストリームを記憶するために使用される。また、大容量記憶装置１１５は、他の種類の情報ストリーム（例えば、ビデオ・データ、オーディオ・データ、プログラム情報、その他のデータを含んでいるパケット化または非パケット化基本ストリーム）を記憶するために使用することもできる。
【００１６】
再生放送サーバ１１０は、信号経路Ｓ１を介して、大容量記憶装置１１５から情報ストリームを検索する。検索された情報ストリームは、複数の連結トランスポート・ストリームを含む出力トランスポート・ストリームを生成するように、再生放送コントローラ１２０によって生成される制御信号（例えば、再生リスト）に応じて処理される。この再生放送サーバ１１０は、出力トランスポート・ストリームを供給し、信号経路Ｓ２を介してルータ１３０に結合されている。
【００１７】
再生放送コントローラ１２０は、信号経路Ｓ３を介して再生放送サーバ１１０および他のスタジオ機器（図示せず）に制御情報を提供する。このコントローラは、ルータ１３０に結合されている。ルータ１３０は、テレビジョン・スタジオ１００の種々の機能要素の間で全ての制御およびプログラム情報をルーティングするために使用される。例えば、制御情報は、信号経路Ｓ３を介して再生放送コントローラ１２０からルータ１３０に引き渡される。この後、このルータは、信号経路Ｓ２を介して再生放送サーバ１１０に制御情報２を引き渡す。任意ではあるが、制御情報を引き渡すために、再生放送コントローラ１２０および再生放送サーバ１１０間の直接制御コネクションＣＯＮＴＯＬが使用される。
【００１８】
ルータ１３０は、信号経路Ｓ２を介して再生放送サーバ１１０からの出力トランスポート・ストリームを受信し、それに応じて、信号経路Ｓ５を介して他のスタジオ・コンポーネント（例えば、エディタ、オフライン記憶素子など）に出力トランスポート・ストリームを引き渡し、あるいは信号経路Ｓ６を介してネットワーク・インターフェース装置１４０に出力トランスポート・ストリームを引き渡す。
【００１９】
ネットワークインターフェース装置（ＮＩＤ）１４０は、図１のテレビジョン・スタジオ１００と他のスタジオ（図示せず）との間で出力トランスポート・ストリーム、制御情報または他の任意の情報を伝達するために使用される。ＮＩＤは、任意で、他のスタジオ、遠くのカメラ・クルー、放送局などから情報ストリームを受信する。生成中の出力トランスポート・ストリーム（例えば、ニュース・イベントの「ライブ」報道）へ即座に処理するため、または遅延処理のため、または大容量記憶装置への記憶（処理を伴うか否かにかかわらず）のために、これらのストリームは、再生放送サーバ１１０に結合される。
【００２０】
再生放送サーバ１１０および大容量記憶装置１１５は、カリフォルニア州マウンテンビューのＳＧＩ製Origin 2000「Play-To-Air /Production Server」などの圧縮ビットストリーム・ビデオ・サーバを使用して実装することができる。
【００２１】
再生放送コントローラ１２０は、再生放送サーバ１１０の出力トランスポート・ストリームに後で組み込まれるようにスケジュールされる情報ストリームまたはクリップに対応する再生リスト１２５を含んでいる。この再生リスト１２５は、再生放送サーバによって大容量記憶装置１１５から取り出され、連結またはスプライスされて出力トランスポート・ストリームとなる情報ストリームまたはクリップの各々の正確なフレーム入口位置および出口位置を含んでいる。再生リスト１２５は、情報ストリームまたはクリップの各々に対して最初のフレームおよび最後のフレームを特定してもよい。
【００２２】
再生放送サーバ１１０は、再生リスト１２５の少なくとも一部を提供する再生放送コントローラからの制御信号に応じて、適切なストリームまたはクリップを大容量記憶装置から検索し、制御信号内のフレーム入口情報および出口情報に従ってシームレスでフレーム精度の高い方式によりクリップをスプライスし、出力トランスポート・ストリームを生成する。重要なことであるが、生成された出力トランスポート・ストリームは、ネットワーク・インターフェース装置１４０によって提供される遠隔フィードを含む他の任意のスタジオ・コンポーネントに対する構文エラーまたは不連続性を有していない。再生放送サーバによって行われるスプライシングまたは連結操作は、図２（ａ）および（ｂ）に関連して以下で更に詳細に説明する。
【００２３】
図２（ａ）および（ｂ）は、本発明を理解するうえで有用なスプライシング操作を図示したものである。具体的に述べると、図２（ａ）は、第二のＭＰＥＧ２トランスポート・ストリーム・クリップ（２１０、２２０）ごとの二つの３０フレームのフレーム精度が高くシームレスなスプライシング操作を図示している。この操作は、遷移クリップ（２３０）を使用して、第二ＭＰＥＧ２トランスポート・ストリーム・クリップ（２４０）につきスプライス済の３０フレームを生成する。遷移ストリーム２３０は、第一ストリーム２１０および第二ストリーム２２０の一部を使用して形成される。得られるスプライス済ストリーム２４０は、第一ストリーム２１０、遷移ストリーム２３０および第二ストリーム２２０の一部の連結を含んでいる。得られるスプライス済ストリーム２４０は、第一ストリーム２１０のアウト・ポイント（２１０−ＯＵＴ）および第二ストリーム２２０のイン・ポイント（２２０−ＩＮ）において第一および第二ストリーム間の「ナイフエッジな」またはフレーム精度の高いスプライスを含んでいる。
【００２４】
図２（ｂ）は、図２（ａ）に示されるストリームまたはクリップと関連する種々のＳＭＰＴＥタイムコードを示している。第一のストリームまたはクリップ２１０（ストリームＡ）は、時刻ｔ0（００：００：００：００という対応ＳＭＰＴＥタイムコードで図示）に開始する先頭フレーム２１０−ＳＴ、時刻ｔ1に開始する遷移アウト・フレーム２１０−ＴＲＡＮＳ、時刻ｔ2（００：００：０２：１３という対応ＳＭＰＴＥタイムコードで図示）に終了するアウト・フレーム２１０−ＯＵＴ、および時刻ｔ2よりも後の時刻に開始する最終フレーム２１０−ＥＮＤを含んだ複数のフレームを備えている。
【００２５】
アウト・フレーム２１０−ＯＵＴは、第一ストリーム２１０のうち表示される最後のフレーム（すなわち、所望のスプライス・ポイントの直前のフレーム）を含んでいる。アウト・フレーム２１０−ＯＵＴは、遷移ストリーム２３０内に含まれることになる。遷移アウト・フレーム２１０‐ＴＲＡＮＳは、第一ストリーム２１０のうち伝送される最後のフレームを含んでいる。すなわち、遷移ストリーム２３０は、遷移アウト・フレーム２１０−ＴＲＡＮＳの直後に第一ストリーム２１０に連結される。
【００２６】
第二のストリームまたはクリップ２２０（ストリームＢ）は、００：００：００：００という対応ＳＭＰＴＥタイムコードに開始する先頭フレーム２２０−ＳＴ、時刻ｔ２（００：００：００：２３という対応ＳＭＰＴＥタイムコードで図示）に開始するイン・フレーム２２０−ＩＮ、時刻ｔ３に開始する遷移イン・フレーム２２０−ＴＲＡＮＳ、および時刻ｔ４（００：００：０４：１７という対応ＳＭＰＴＥタイムコードで図示）に終了する最終フレーム２１０−ＥＮＤを含む複数のフレームを備えている。
【００２７】
イン・フレーム２２０−ＩＮは、第二ストリーム２２０のうち表示される最初のフレーム（すなわち、所望のスプライス・ポイントの直後のフレーム）を含んでいる。イン・フレーム２２０−ＩＮは、遷移ストリーム２３０内に含まれる。フレーム２１０−ＴＲＡＮＳ中の遷移は、第二ストリーム２２０のうち送信される最初のフレームを含んでいる。すなわち、フレーム２２０‐ＴＲＡＮＳ中の遷移は、遷移ストリーム２３０に連結される第二ストリーム２１０の第一フレームとなる。
【００２８】
遷移ストリームまたはクリップ２３０（ストリームＴ）は、ビデオストリームのシームレスでフレーム精度の高いスプライシングを好適に提供するデータ構造である。遷移ストリームまたはクリップ２３０（ストリームＴ）は、時刻ｔ１から開始する先頭フレーム２３０−ＳＴと時刻ｔ３で終了する最終フレーム２３０−ＥＮＤを含む複数のフレームを備えている。この遷移クリップは、第一ストリーム２１０および第二ストリーム２２０の双方からのフレームを備えており、これには、対応するイン・フレームおよびアウト・フレームが含まれている。遷移クリップの先頭と終端は、それぞれ時刻ｔ１およびｔ３として図２に示されている。これらの時刻ならびに遷移ストリームの実際の先頭フレームおよび最終フレームは、図８および９を参照して以下で説明する方法に従って判断されることに注意しなければならない。
【００２９】
得られるスプライス済ストリーム２４０は、時刻ｔ０（図示では、００：００：００：００という対応ＳＭＰＴＥタイムコード）に開始する先頭フレーム２４０−ＳＴおよび時刻ｔ４（図示では、００：００：０４：１７という対応ＳＭＰＴＥタイムコード）に終了する最終フレーム２４０−ＥＮＤを含む複数のフレームを備えている。スプライス済ストリーム２４０は、第一クリップ２１０（すなわち、ｔ０〜ｔ２）からの７３フレームと第二クリップ２２０（すなわち、ｔ２〜ｔ４）からの１１５フレームを備えている。
【００３０】
図２（ａ）に示されるスプライス・ストリーム２４０は、第一ストリーム２１０および第二ストリーム２２０を備えている。これらのストリームは、第一ストリーム２１０が明らかにアウト・フレーム２１０−ＯＵＴから出て、第二ストリーム２２０が明らかにイン・フレーム２２０−ＩＮから入るナイフエッジ・スプライス（スプライス・ストリーム２４０タイムコード００：００：０２：１３）を（遷移ストリーム２３０を用いて）行う方法により連結されている。本発明を用いると、このスプライシング動作は、アウト（出口）およびイン（入口）というフレーム・タイプにかかわらず、フレーム精度の高い方式で行われる。
【００３１】
理想的なスプライシング条件（ＳＭＰＴＥ ３１２Ｍスプライシング規格で検討されている）のもとでは、遷移クリップが必要でない可能性がある点に注意すべきである。しかしながら、ほとんどの条件のもとで遷移クリップは、理想的な条件のもとで生成されうる「空フレーム（empty frame）」遷移クリップよりも多数のフレームを含むことになる。
【００３２】
図３は、図１のテレビジョン・スタジオでの使用に適した再生放送サーバの実施形態を示している。具体的に述べると、図３に例示される再生放送サーバ１１０は、入出力（Ｉ／Ｏ）回路３１０、支援回路３３０、プロセッサ３２０、メモリ３４０およびオプションのタイムベースコレクタ３５０を備えている。プロセッサ３２０は、電源、クロック回路、キャッシュ・メモリなどの従来の支援回路３１０および再生放送サーバ１１０内における種々のソフトウェア・ルーチンの実行を支援する回路と協働する。再生放送サーバ１１０は、入出力回路３１０も含んでいる。この回路は、再生放送サーバ１１０と大容量記憶装置１１５およびインタフェース・ルータ１３０とのインタフェースを形成する。
【００３３】
メモリ３４０は、本発明の実施に適したプログラムおよびその他の情報を含んでいる。具体的に述べると、メモリ３４０は、プロセッサ３２０によって実行されると索引生成関数３４２、遷移クリップ生成関数３４４、およびオプションとして遷移クリップ・タイム・リスタンプ関数３４５を実行するプログラムを格納するために使用される。メモリ３４０は、索引ライブラリ３４６およびストリーム・ライブラリ３４８の一方または双方を任意で含んでいてもよい。
【００３４】
図２（ａ）および（ｂ）を参照して上述したようなスプライシング動作を提供するために、本発明は、遷移クリップ生成関数３４４を利用する。遷移クリップ生成関数３４４は、第一の規定トランスポート・パケット境界（遷移ストリーム生成器等によって決定される）で第一ストリームを出し、生成された遷移クリップ２３０を実行し、第二の規定トランスポート・パケット境界で第二ストリーム２２０を入れることができるように、遷移クリップを生成する。第一ストリーム２１０および第二ストリーム２２０に対する実際の出口点（２１０‐ＴＲＡＮＳ）および入口点（２２０‐ＴＲＡＮＳ）は、通常、要求された実際のフレームには対応しない。むしろ遷移クリップは、第一ストリーム２１０のスプライス要求された出口点２１０−ＯＵＴの直前にある幾つかのフレームと、第二ストリーム２２０のスプライス要求された入口点２２０−ＩＮの直後にある幾つかのフレームを用いて構成される。
【００３５】
本発明は、好ましくはストリーム間遷移の品質を最適化する方式により、遷移ストリームに含まれるべきフレームを選択する。すなわち、スプライシング操作がフレーム精度の高いシームレスな方式で行われるとしても、そのスプライシング操作が、スプライシング・ポイント付近のビデオ情報の質的な劣化を生む可能性がある。これは、整合しないビデオ・バッファリング・ベリファイア（ＶＢＶ）レベル等に起因する「ビット・スタービング（bit starving）」やその他の符号化異常によって引き起こされる。本発明は、ＶＢＶレベルを適合させて、このような異常を最小限に抑える。
【００３６】
以下では、索引生成関数３４２について詳細に説明する。遷移クリップ、フレーム・データおよびＭＰＥＧデータを作成するために、２種類の情報が使用される。フレーム・データは、位置、符号化タイプ、ならびにｆｒｏｍストリームおよびｔｏストリーム中の特定のフレームの供給順序などの情報を含んでいる。フレーム・データは、ｆｒｏｍストリームおよびｔｏストリーム内のどのフレームが遷移クリップを作成するために再符号化されるのかを判断するために使用される。ＭＰＥＧデータは、フレーム寸法、ビットレート、フレーム対フィールド形式、ビデオ・バッファリング・ベリファイア（ＶＢＶ）遅延、クロミナンス・サンプリング形式などの情報を含んでいる。ＭＰＥＧデータは、トランスポート・ストリームのＭＰＥＧ符合化特性を指定するために使用される。遷移クリップは、入力ＴＳと同じＭＰＥＧパラメータを使用して符号化又は再符号化されることが好ましい。
【００３７】
遷移クリップ生成関数３４４による遷移クリップの生成を補助するため、本発明は、索引生成関数３４２を利用する。具体的に述べると、索引生成関数３４２は、スプライスされるトランスポート・ストリームの各々を処理して、各トランスポート・ストリーム内の各フレームに関連付けられた幾つかのパラメータを決定するために使用される。決定されたパラメータは、索引生成関数３４２によって処理された各トランスポート・ストリームがメタファイルとの関連付けを有するようにメタファイルに格納される。索引生成関数３４２によって処理されたトランスポート・ストリームは、大容量記憶装置１１５またはストリーム・ライブラリ３４８に格納することができる。同様に、トランスポート・ストリームに関連付けられたメタファイルは、大容量記憶装置１１５または索引ライブラリ３４６に格納することができる。
【００３８】
例示の実施形態では、トランスポート符合化ビデオストリーム中の各ビデオ・フレームに関して、索引生成関数３４２が以下の事項を決定する。
１）現在のピクチャ番号（表示順）
２）ピクチャ符号化タイプ（Ｉ、ＰまたはＢフレーム）
３）そのフレームの先頭を含むトランスポート・パケットの番号
４）そのフレームの末尾を含むトランスポート・パケットの番号
５）そのフレームの供給タイムスタンプ（presentation time stamp：ＰＴＳ）
６）そのフレームの復号タイムスタンプ（decode time stamp：ＤＴＳ）
７）そのフレームの前のシーケンス・ヘッダの先頭を含むトランスポート・パケットの番号
８）そのフレームの前のピクチャ・ヘッダの先頭を含むトランスポート・パケットの番号
９）適切なイン・フレームまたはアウト・フレームを備えるそのフレームの任意の証印（例えば、ＳＭＰＴＥ ３１２Ｍスプライシング構文に従ったフレーム・マーキングによって提供される）。
【００３９】
索引生成関数３４２は、任意で、フレームごとのデータに加えて、一般のＭＰＥＧ２構造用のすべてのフィールド（例えば、シーケンス・ヘッダ、ピクチャ・ヘッダなど）を保存してもよい。
【００４０】
このように、ストリーム・ライブラリ３４８（または大容量記憶装置１１５）は、索引生成関数３４２に従って処理されたトランスポート・ストリームを含んでいる。索引生成関数３４２の実施形態は、図１０を参照しながら後述する。
【００４１】
トランスポート・ストリームのパージングは時間のかかることがあるので、本発明のある実施形態は、事前の索引付けを利用する。すなわち、大容量記憶装置１１５に記憶されたトランスポート・ストリームまたはストリーム・ライブラリ３４８は、記憶時、またはその後できるだけ速く索引生成関数３４２によって処理される。この方式では、ストリームのフレーム・パラメータおよびＭＰＥＧパラメータを決定するためにスプライス時にトランスポート・ストリームをパーズする必要がないので、遷移クリップを作成するのに必要な時間が大きく削減される。更に、再生放送サーバ１１０は、スケジューリング関数および他の関数（例えば、フレーム・レート）に必要な可能性のあるトランスポート・ストリームの特性を迅速に検索するために、大容量記憶装置１１５または索引ライブラリ３４６に記憶されたメタファイルを任意で利用してもよい。
【００４２】
図１０は、情報ストリームに索引付けする方法のフローチャートを示している。具体的には、図１０は、図３の再生放送サーバ１１０の索引生成関数３４２で使用するのに適した方法１０００のフローチャートを示している。図１０の方法１０００は、図７の方法７００のステップ７０５を実施する際に使用するのに適している。
【００４３】
方法１０００は、ステップ１００５から開始する。このステップでは、索引付けされるべき情報ストリームが受信される。この後、方法１０００は、ステップ１０１０に進む。
【００４４】
ステップ１０１０では、索引付けされるべき情報ストリームのトランスポート層がパーズされる。すなわち、パーズされる情報ストリーム内の各トランスポート・パケットのヘッダ部分が、トランスポート・パケット番号（ｔｒ）、トランスポート・パケット内のシーケンス・ヘッダの有無、トランスポート・パケット内のピクチャ・ヘッダの有無、スプライシング・イン・フレームまたはスプライシング・アウト・フレームのＳＭＰＴＥ ３１２Ｍスプライシング構文指示の有無、および他の情報を識別するために調べられる。次いで、方法１０００は、ステップ１０１５に進む。
【００４５】
ステップ１０１５では、最初の、または現在のフレームが調べられる。すなわち、索引付けされるべき情報ストリーム内に含まれるビデオ基本ストリームの第一ビデオフレームを調べるため、索引付けされるべき情報ストリームがパケット化基本ストリーム（packetized elementary stream：ＰＥＳ）層にパーズされる。次に、方法１０００は、ステップ１０２０に進む。
【００４６】
ステップ１０２０では、ステップ１０１５で調べられたフレームに関連付けられた種々のパラメータが決定される。具体的には、図の１０２０Ｄに示されるように、ステップ１０２０は、現在のピクチャ番号（表示順）、ピクチャ符号化タイプ（Ｉ、ＰまたはＢフレーム）、フレームの先頭を含むトランスポート・パケットの番号、フレームの末尾を含むトランスポート・パケットの番号、ならびにフレームの供給タイムスタンプ（ＰＴＳ）および復号タイムスタンプ（ＤＴＳ）を決定する。ステップ１０１０に関してすでに述べたように、そのフレームの前のシーケンス・ヘッダの先頭を含むトランスポート・パケットが注目され、そのフレームの前のピクチャ・ヘッダの先頭を含むトランスポート・パケットの番号が注目され、適切なイン・フレームまたはアウト・フレームを含むフレームの証印（例えば、ＳＭＰＴＥ ３１２Ｍスプライシング構文に従うフレーム・マーキングによって提供される）が注目される。さらに、ステップ１０２０では、「ＣＢｄおよびＢｄ」も決定される。この後、方法１０００は、ステップ１０２５に進む。
【００４７】
数量Ｂｄは、ストリーム中でマークされるバッファ遅延である。これは、ピクチャの最初のビットがＶＢＶバッファ内に残る時間である。数量ＣＢｄは、算出されたバッファ遅延である。インデクサ（indexer）は、ＭＰＥＧ２仕様書のAnnex Cに示されるこの値を計算する。バッファ遅延Ｂｄおよび算出バッファＣＢｄは合致しなければならないが、入力ストリームが不適切にマーク付けされると、二つの数量が異なることがある。バッファ遅延値は、レベル２１０ｔｒａｎｓおよび２２０ｔｒａｎｓ間のＶＢＶレベルをどのように調整するかを決定するために本発明によって使用される。ＶＢＶレベル調整は、遷移クリップ中で行われる。
【００４８】
ステップ１０２５では、索引情報に関する情報が、例えば大容量記憶装置１１５や索引ライブラリ３４６に格納される。次に、方法１０００は、ステップ１０３０に進む。
【００４９】
ステップ１０３０では、さらにフレームが処理されることになっているかどうかに関する照会が行われる。照会の答がノーである場合、方法１０００は、ステップ１０４０に進み、そこで終了する。照会の答がイエスの場合、方法１０００はステップ１０３５に進む。ここで、次のフレームが待機させられる。次いで、方法１０００はステップ１０１５に進み、ここで次の待機フレームが調べられる。
【００５０】
図１１は、図３の索引ライブラリ３４６で使用するのに適したメタファイルを示す図表である。具体的には、図１１のテーブル１１００は、複数のレコード（１−５４）を含んでおり、各レコードは、対応する先頭トランスポート・パケット・フィールド１１１０、パケット化基本ストリーム識別フィールド１１２０、フレームおよびフレームタイプ識別フィールド１１３０、ＰＴＳフィールド１１４０、ＤＴＳフィールド１１５０、Ｂdフィールド１１６０、ＣＢd１１７０およびマーク付きスプライス・ポイント・フィールド１１８０に関連付けられている。
【００５１】
本発明のある実施形態では、索引生成関数３４２は、トランスポート・ストリームの受信および／またはスプライシングの前は使用されない。この実施形態では、スプライスされる各トランスポート・ストリームの少なくとも一部分の単一パス処理を用いてフレーム選択が行われ、ｆｒｏｍストリームおよびｔｏストリームに関連した幾つかのパラメータが決定される。
【００５２】
ｆｒｏｍストリームおよびｔｏストリームの双方に関して、以下のパラメータが決定される。すなわち、復号化を開始するためのシーケンス・ヘッダ（sequence_header）およびピクチャ・ヘッダ（picture_header）のトランスポート・パケット・オフセット、復号化するフレームの数、ならびに廃棄する復号化フレーム（例えば、遷移クリップに含まれるフレームを復号化するために必要なアンカー・フレーム）の数である。
【００５３】
以下のパラメータは、ｆｒｏｍストリームに関してのみ決定される。すなわち、ｆｒｏｍストリーム（すなわち、新しい出口点または出口フレーム）から再生するための最終トランスポート・パケット、および遷移クリップ中で表示するための先頭フレームのＰＴＳである。
【００５４】
以下のパラメータは、ｔｏストリームに関してのみ決定される。すなわち、遷移クリップにコピーするためのＩフレームに関する開始および終了トランスポート・パケット、遷移クリップにコピーするための残りのＧＯＰに関する開始および終了トランスポート・パケット、ｔｏストリーム（すなわち、新しい入口点または入口フレーム）から再生するための先頭トランスポート・パケット、ならびにコピーされるフレームの数である。
【００５５】
更に、索引付けライブラリは、トランスポート・ストリームをパーズするのに伴ってＭＰＥＧフィールドを検索するので、必要なすべての再符号化パラメータも、フレーム選択の間、保存される。
【００５６】
以下では、遷移クリップ生成関数３４４を詳細に説明する。遷移クリップを構築するプロセスは、１）どのフレームを遷移クリップに含めるのかを決定するステップと、２）遷移クリップに含めることになっているフレームを復号化するステップと、３）遷移クリップを形成するフレームを符号化または再符号化するステップと、４）遷移クリップをトランスポート符合化（すなわち、パケット化）するステップと、を備えている。
【００５７】
フレーム選択は、出力遷移クリップのサイズ、遷移を生成するのに必要な時間および再符号化ビデオの品質を最適化する観点で符号器に与えられる場所制約に影響を及ぼす。ここで述べるフレーム選択方法は、フレーム・カウントを低減し、品質の大きなロスなしでビデオを再符号化するのに十分な遷移時間を依然として与えつつ、フレーム依存度の問題を解決する。
【００５８】
符号化または再符号化ステップは、通常、遷移クリップ生成関数３４４のなかで最も時間を消費するステップなので、再符号化するフレームの数を減らすことは時間を節約することになる。しかしながら、遷移クリップを作成する主要な理由の一つは、スプライスされている二つのトランスポート・ストリーム間のＶＢＶレベルの差を一致させることであるので、フレーム・カウントを削減すると、符号器は、ＶＢＶレベルを調節しながらビデオ品質を維持することがより困難になる（これは、特にＶＢＶレベルを低減するときに当てはまる。というのも、フレームをより少ない数のビットで符合化しなければならないからである。）。ＶＢＶレベルを低減するためには、バッファから持ち出されるビットの数よりもバッファ中に配置されるビットの数が少なくなければならない。これは、１ピクチャあたりに（平均して）より少数のビットを使用することを符号器に要求する。
【００５９】
図４は、本発明の理解に有用な画像フレーム表示順序および画像フレーム伝送順序を示す図表である。具体的には、図４は、ビデオ・シーケンスの一部分を形成する例示の１８個の符号化イメージ・フレームの表示順序を示す第一の図表４１０と、ビデオ・シーケンスを形成する１８個のイメージ・フレームの伝送順序を示す第二の図表４２０を表している。第一の図表４１０によれば、イメージ・フレームは、グループ・オブ・ピクチャ（ＧＯＰ）構造（すなわちＩフレームの後に複数の非Ｉフレームが続く）に従って、次のように表示および符合化される（フレーム０からフレーム１７まで。ここで、フレーム０〜１４が第一ＧＯＰを形成し、フレーム１５〜１７は次のＧＯＰの一部である）。
I-B-B-P-B-B-P-B-B-P-B-B-P-B-B-I-B-B
【００６０】
しかしながら、予測復号化操作ではフレームを使用する前にフレームを受信する必要があるため（例えば、フレーム１および２はフレーム３に依存するので、フレーム３はフレーム１および２の前に送信されなければならない）、第二の図表４２０によれば、画像フレーム（０−１８）は、以下のフレーム順序で送信される。
0-3-1-2-6-4-5-9-7-8-12-10-11-15-13-14-18-16-17
【００６１】
本発明は、アウト・ストリームまたは出口ストリームとイン・ストリームまたは入口ストリームを独立に考慮することによって、ＭＰＥＧ符号化・送信機構に適用される。以下では、図５を参照しながらこの点を説明する。
【００６２】
図５は、本発明の理解に有用な画像フレーム表示順序および画像フレーム伝送順序を表す図表である。具体的には、図５は、ビデオ・シーケンスの一部を形成する例示の２４個の符合化画像フレームの表示順序を表す第一の図表５１０と、ビデオ・シーケンスを形成する２４個の画像フレームの伝送順序を表す第二の図表５２０を示している。この説明のために、図５に示されるビデオ・シーケンスは、図２の第一ストリーム２１０に関して上述したように、ｆｒｏｍストリーム・ビデオ・シーケンス（すなわち、スプライス済シーケンス中の最初に表示されるシーケンス）の一部を含んでいる。
【００６３】
具体的には、第一図表５１０については、次のようなグループ・オブ・ピクチャ（ＧＯＰ）構造（フレーム１からフレーム２４まで）に従ってイメージ・フレームが表示および符合化される。
【００６４】
【数１】
【００６５】
さらに、第二の図表５２０については、画像フレームが以下のフレーム順序で送信される。
【００６６】
【数２】
【００６７】
以下の説明のため、図５に示されるビデオ・シーケンスをフレーム１５（Ｂフレームを構成する）で出すことが望ましいと仮定する。すなわち、フレーム１５は、図５に示される出口ストリームのアウト・フレームを構成している。以下で述べるように、フレーム１０〜１５は（表示順で）復号化される。フレーム１６が伝送順ではフレーム１５の前のアンカー・フレームである点に注意すべきである。したがって、フレーム１４および１５（これらは、Ｂフレーム）を復号化する前にフレーム１６を復号化することが必要である。遷移クリップに先行するｆｒｏｍクリップ中の最後のフレームは、フレーム１３である。すなわち、ｆｒｏｍクリップは、フレーム１６の直前に出されることになる。
【００６８】
図６は、本発明の理解に有用な画像フレーム表示順序および画像フレーム伝送順序を表す図表である。具体的には、図６は、ビデオ・シーケンスの一部を形成する例示の２６個の符合化画像フレームの表示順序を表す第一の図表６１０と、ビデオ・シーケンスを形成する２６個の画像フレームの伝送順序を表す第二の図表６２０を示している。この説明のため、図６に示されるビデオ・シーケンスは、図２の第二ストリーム２２０に関して上述したように、ｔｏストリーム・ビデオ・シーケンス（すなわち、スプライス済シーケンス中で二番目に表示されるシーケンス）の一部を含んでいる。
【００６９】
具体的には、第一図表６１０については、次のようなグループ・オブ・ピクチャ（ＧＯＰ）構造（フレーム１からフレーム２６まで）に従ってイメージ・フレームが表示および符合化される。
【００７０】
【数３】
【００７１】
さらに、第二の図表５２０については、画像フレームが以下のフレーム順序で送信される。
【００７２】
【数４】
【００７３】
以下の説明のため、図６に示されるビデオ・シーケンスをフレーム１５（Ｂフレームを構成する）で入れることが望ましいと仮定する。すなわち、フレーム１５は、図６に示される入口ストリームのイン・フレームを構成する。以下で述べるように、フレーム１０〜１８は、（表示順で）復号化される。ｔｏストリームから表示される第一フレームがフレーム２５（遷移クリップに含まれないＩフレーム）である点に注意すべきである。
【００７４】
図７は、遷移ストリームまたは遷移クリップを生成する方法を示すフローチャートである。具体的には、図７は、図３の再生放送サーバ１１０の遷移クリップ生成関数３４４で使用するのに適した方法７００のフローチャートを示している。
【００７５】
方法７００は、ステップ７０５から開始する。ここでは、「ｆｒｏｍストリーム」および「ｔｏストリーム」に注釈がつけられる。すなわち、スプライス・ポイントより前の情報を提供する情報ストリーム（ｆｒｏｍストリーム）とスプライス・ポイントより後の情報を提供する情報ストリーム（ｔｏストリーム）には、索引生成関数３４２に関して上述したような種々のフレーム・パラメータをフレームごとに識別するために注釈が付けられる。情報ストリームに注釈をつける方法は、図１０を参照しながら上述した。この方法７００は、次にステップ７１０に進む。
【００７６】
ステップ７１０では、ｆｒｏｍストリームのうち出口フレームの前に位置する部分が復号化される。すなわち、出口フレーム（つまり、表示されるｆｒｏｍストリーム内の最後の情報フレーム）を含むｆｒｏｍストリーム内の複数の情報フレームが復号化される。方法７００は、この後、ステップ７１５に進む。
【００７７】
ステップ７１５では、ｔｏフレームのうち入口フレームから開始する部分が復号化される。すなわち、入口フレーム（すなわち、表示されるｔｏストリームの最初のフレーム）から始まるｔｏストリームの内の情報フレームが復号される。次いで、方法７００は、ステップ７５０に進む。
【００７８】
ステップ７２０では、ｆｒｏｍストリームおよびｔｏストリームの復号化部分が再符号化され、遷移クリップまたは遷移ストリームが生成される。これは、ｆｒｏｍストリームおよびｔｏストリームに関連付けられたビデオ情報やオーディオ情報等を含むトランスポート・ストリームを含んでいる。
【００７９】
図７の方法７００によって生成される遷移ストリームまたは遷移クリップは、図１および図３の再生放送サーバ１１０等によってｆｒｏｍストリームおよびｔｏストリーム間の遷移として使用される。
【００８０】
Ａ．フレーム選択
遷移クリップまたは遷移ストリームを構築するプロセスの第一のステップは、どのフレームを遷移クリップに含めるかを判断するステップ（すなわち、フレーム選択プロセス）を構成する。
【００８１】
図８は、ｆｒｏｍストリーム内のどの情報フレームが遷移ストリーム内に含まれるべきかを判断する方法のフローチャートを示している。図８の方法８００は、図７の方法７００のステップ７１０を実施する際に使用するのに適している。
【００８２】
方法８００は、ステップ８０５から開始する。ここでは、ｆｒｏｍストリームの出口フレームが特定される。ｆｒｏｍストリームの出口フレームは、スプライス・ポイントの前に表示されるｆｒｏｍストリーム内の最後のフレームである。例えば、図５に示されるｆｒｏｍストリームを参照すると、出口フレーム（フレーム１５）は、フレーム５１３として示されるＢフレームを構成する。次いで、方法８００は、ステップ８１０に進む。
【００８３】
ステップ８１０において方法８００は、表示順で出口フレームおよび直前の非アンカー・フレームを復号化する。すなわち、再び図５を参照すると、出口フレーム（フレーム１５）および直前の非アンカー・フレーム（フレーム１１、１２、１３および１４）が復号化される。フレーム１１、１２および１３がフレーム１０を用いて予測されるので、フレーム１０を復号化することも必要である。しかしながら、フレーム１１〜１３が復号化された後は、復号化フレーム１０を廃棄してもよい。すなわち、表示順で出口フレームに先行するＩフレームから出口フレームまで（出口フレームも含む）のすべてのフレームが復号化される。Ｉフレームはフレーム依存性を有しない（すなわち、他のフレームを先に復号化することなく復号化することができる）ので、Ｉフレームから開始することが必要である。この後、方法８００は、ステップ８１５に進む。
【００８４】
ステップ８１５では、出口フレームがＢフレームであるか否かに関して照会が行われる。ステップ８１５での照会の答がＮＯの場合、この方法はステップ８２０に進む。ステップ８１５での照会の答がＹＥＳの場合、この方法８００はステップ８２５に進む。
【００８５】
ステップ８２０では、出口フレームがＩフレームかＰフレームであることから、遷移ストリーム・フレームの前に表示される最後のｆｒｏｍストリーム・フレーム（すなわち遷移フレーム）は、伝送順で出口フレームの直前に位置するフレームである。すなわち、図５に示されるｆｒｏｍストリームのフレーム１５がＢフレームでなく、ＰフレームまたはＩフレームであったならば、表示される最後のｆｒｏｍストリーム・フレームはフレーム１４であったであろう。出口フレームがＩフレームまたはＰフレームである場合は、フレーム依存性および再順序づけによって、次のアンカー・フレームの直前（すなわち、出口フレームに依存する全てのＢフレームの後）にトランスポートを残すことが可能になる。これは再符号化するフレームの数を減らすが、遷移のためにＶＢＶレベルを調整する機会も減らす。次に、方法８００は、ステップ８３０に進む。
【００８６】
ステップ８２５では、出口フレームがＢフレーム（例えば、図５に示されるｆｒｏｍストリーム中の出口フレーム）である場合、表示される最後のｆｒｏｍストリーム・フレームは、伝送順で前アンカー・フレームの直前に位置するフレームである。ここで図５を参照すると、出口フレームに対する前アンカー・フレームは、Ｐフレーム（フレーム１３）である。図５に示される２４フレーム・シーケンスのうち送信されるべき最後のフレームはＢフレーム１２であるが、表示されるべき最後のフレームはＰフレーム１３である点に注意する必要がある。この後、方法８００は、ステップ８３０に進む。
【００８７】
ステップ８３０では、最後のｆｒｏｍストリーム・フレーム（例えば、図５でフレーム１２として示されるＢフレーム）の後に表示順で続く復号化フレームが、遷移クリップに格納される。遷移ストリームまたはクリップは、ｔｏストリームからのフレームも含む点に留意する必要がある。遷移クリップ内に格納された全てのフレームは、その後、再符号化され、符合化遷移クリップまたは遷移ストリームを形成する。
【００８８】
図９は、ｔｏストリーム内のどの情報フレームが遷移ストリーム内に含まれるべきかを判断する方法のフローチャートを示している。具体的には、図９の方法９００は、図７の遷移ストリーム生成方法７００のステップ７１５を実施する際に使用するのに適している。
【００８９】
方法９００は、ステップ９０５から開始する。ここでは、ｔｏストリームの入口フレームが特定される。ｔｏストリームの入口フレームは、スプライス・ポイントの後に表示されるｔｏストリーム内の最初のフレームである。例えば、図６に示されるｔｏストリームを参照すると、入口フレーム（フレーム１５）は、Ｂフレームを構成する。次に、方法９００は、ステップ９１０に進む。
【００９０】
ステップ９１０では、入口フレームおよび表示順で次のＩフレームの前に現れる全てのフレームが復号化される。すなわち、図６を参照すると、入口フレーム（フレーム１５）および次のＩフレーム（フレーム１９）の前に現れる全てのフレーム（すなわち、フレーム１６、１７および１８）が復号化される。図６に示されるｔｏストリーム・ビデオ・シーケンス中のフレーム１７および１８は、次のＩフレーム（フレーム１９）からの情報を用いて予測されるので、次のＩフレームを復号化することも必要である。しかしながら、フレーム１７および１８が復号化されたあとは、復号化フレーム１９を廃棄してもよい。次いで、方法９００は、ステップ９１５に進む。
【００９１】
ステップ９１５では、次のＩフレーム（例えば、ビデオ・シーケンス６１０のフレーム１９）が遷移クリップにコピーされる。すなわち、ｔｏストリームを形成するトランスポート・パケット内のビデオ情報（すなわち、ビデオ基本ストリーム情報）がトランスポート・パケットから抽出され、遷移クリップへコピーされる。符号器からの出力を遷移クリップに直接コピーできるように符号器の出力がビデオ基本ストリーム（ＶＥＳ）である点に注意する。遷移クリップは、引き続きパケット化される。この後、方法９００は、ステップ９２０に進む。
【００９２】
ステップ９２０では、次のＩフレーム（例えばフレーム２５）と後続のＩフレーム（フレーム１９）との間のフレーム（例えばフレーム２０〜２２）も、伝送順で遷移クリップにコピーされる。ステップ９１５および９２０で遷移クリップにコピーされるフレーム（例えばフレーム１９〜２１）は、符合化フレームとして遷移クリップにコピーされる点に注意しなければならない。このように、方法９００は、入口フレームおよび次のＩフレームの前に現れる全てのフレームを含むフレーム、ならびに次のＩフレームおよび次のＩフレームと後続のＩフレームとの間の全てのフレームを含む符合化フレームを遷移クリップ復号器に与える。
【００９３】
図８の方法８００および図９の方法９００は、遷移クリップで使用するための対応ｆｒｏｍストリームおよびｔｏストリーム・ビデオ部分を提供する。具体的には、図５および図６を参照すると、遷移クリップは、ｆｒｏｍストリーム・フレーム１６、１４、１５（伝送順）と、ｔｏストリーム・フレーム１５、１９、１７、１８、２２、２０および２１（伝送順）を含んでいる。フレーム１７、１８、２２、２０および２１は遷移クリップにコピーされただけである点に注意する必要がある。
【００９４】
図８および図９を参照して上述したｆｒｏｍストリームおよびｔｏストリーム・フレーム選択方法は、遷移ストリーム・フレームとｆｒｏｍストリームおよびｔｏストリームの一方または双方のフレームとの間のフレーム依存性を考慮している。以下の制約を守る必要がある。遷移クリップは、クローズドＧＯＰ構造として符合化される。すなわち、遷移クリップは、自立型ビデオクリップ（self-contained video clip）である。出されているトランスポート・ストリームは、遷移クリップ中のフレームを参照することはない。入れられているトランスポート・ストリームがオープンＧＯＰ構造を使用して符号化される場合、そのトランスポート・ストリームは、遷移クリップ中のフレームを参照するフレームを含んでいてもよい。
【００９５】
本発明の重要な点は、遷移クリップ内に含まれるフレームのフレーム依存性を適切に取り扱う遷移クリップの処理である。フレーム依存性は、例えば、遷移クリップの外側からアンカー・フレームを使用して復号化しなければならない遷移クリップ（すなわち、ＰフレームまたはＢフレーム）内で予測フレームを構成する。外部フレーム依存性のない遷移クリップ（すなわち「自立型」クリップ）を生成することが望ましいが、本発明は、このようなフレーム依存性を備えるＭＰＥＧ準拠遷移クリップを作成することも可能である。
【００９６】
ここで図５を参照すると、例示の２４フレーム・ビデオ・シーケンス５１０、５２０は、Ｂフレームである出口フレーム１５を有する出口ストリームまたはアウト・ストリームを含んでいる。このように遷移クリップは、表示順で、出口ストリームのフレーム１５〜１８を含んでいる。遷移クリップ中で再符号化フレームの直後のＧＯＰ構造が修正されていることに注意しなければならない。具体的には、図６を参照すると、例示の２６フレーム・ビデオ・シーケンス６１０、６２０は、Ｂフレームである入口フレーム１５を有する入口ストリームまたはイン・フレームを備えている。さらに、出口ストリーム６１０、６２０では、フレームＩ１９でのＧＯＰは、シーケンスＩ１９、Ｂ１７、Ｂ１８、Ｐ２２、Ｂ２０から開始する。
【００９７】
しかしながら、遷移ストリームでは、フレーム１７および１８が移動させられて再符号化されているので、新しいＧＯＰは、Ｉ１９、Ｐ２２、Ｂ２０、Ｂ２１から開始する。したがって、入口ストリームのフレーム１７および１８は、入口ストリームに入るとき、フレーム依存性を壊すために再符号化される。しかしながら、これはＧＯＰ再構築という結果となるので、再符号化フレームの後の最初のＧＯＰの時間基準フィールドは、再スタンプ付け（リスタンプ）されなければならない。これらのフレームは、クリップＢのオリジナル・コピーに影響を及ぼすことなく再スタンプ付けできるように遷移クリップにコピーされる。
【００９８】
Ｂ．復号化
遷移クリップまたは遷移ストリームを構築するプロセス中の第二のステップは、フレーム選択プロセスで選択されたフレームを復号化するステップを構成する。選択されたフレームの復号化は、標準的なハードウェアまたはソフトウェア復号化技術を使用して行うことができる。
【００９９】
本発明のある実施形態では、特殊用途復号器を使用して復号化プロセスを行う。具体的には、本発明者は、復号器を修正して遷移ビルダ・フレームワーク内で次のように動作するようにした。第一に、復号器は、ビデオ基本ストリーム（ＶＥＳ）しか復号化できなかった。この復号器は、トランスポート・ストリームからビデオを復号化するように修正された。
【０１００】
第二に、個別の初期化、単一フレーム復号化およびシャットダウンを提供するように、ラッパ（wrapper）のレイヤが追加された。新しい初期化方法は、この改良型復号器が、最も近いシーケンス・ヘッダのトランスポート・パケット・オフセットおよび復号化を開始する実際の位置を提供することにより、トランスポート・ストリーム中の任意のＩフレームで復号化を開始できるようにする。多くの環境では幾つかのフレームが廃棄されるので、単一フレーム復号化は有用である。このように、改良復号器は、所望のフレームを復号する前に復号化されて復号器出力ストリームから除去されるフレームを廃棄することができる。
【０１０１】
第三に、単一遷移クリップを構築する関係で改良復号器が２回使用される（スプライスされている各トランスポート・ストリームについて１回）ため、復号器がその最初の使用の後に適切にシャットダウンされるようにすることが有用と思われた。
【０１０２】
最後に、ファイル・システム・オーバーヘッドおよびコード複雑性を低減するように、改良復号器出力の出力は、全ての復号化フレームを単一のＹＵＶフォーマット済ファイル中に保存するようにされた。通常のＭＰＥＧツールは、各フレームを個別のファイルに格納するか、あるいはＹ、ＵおよびＶコンポーネントを個々のファイルに分割する。このように、改良復号器は、ビデオ・スプライシング動作に理想的に適合している。
【０１０３】
どのフレームが復号化されることになっているかに関わらず、Ｉフレームから復号化が始まらなければならない点に注意する必要がある。ＭＰＥＧ符号化における予測の使用のアーチファクトとして、全ての非Ｉフレームは、最終的に前のＩフレームに依存している。上記のフレーム選択方法は、トランスポート・ストリーム間でフレーム精度の高いシームレスなスプライシングを可能にするために、これらの依存性を断ち切る。
【０１０４】
Ｃ．符号化
遷移クリップまたは遷移ストリームを構築するプロセスの第三のステップは、フレーム選択および復号化プロセスから得られる復号化フレームを符合化するステップを構成する。選択されたフレームの符号化は、標準的なハードウェアまたはソフトウェア復号化技術を使用して行うことができる。
【０１０５】
（上述したような）フレーム依存性を断ち切ることに加えて、遷移クリップを生成するときの主目的の一つは、得られるスプライス済トランスポート・ストリームを処理する遠端復号器が、オーバフロー、アンダーフロー、その他の望ましくない復号器バッファ・メモリ動作を起こさないように、ｆｒｏｍストリームおよびｔｏストリーム間のＶＢＶレベルを調整することである。例えば、ｆｒｏｍストリームの出口点におけるＶＢＶレベルがｔｏストリームの入口点におけるＶＢＶレベルより低い場合、スプライスの下流でアンダーフローが生じる可能性がある。これは、通常の復号器では、データが利用可能になるのを復号器が待つ間、「フリーズ・フレーム（freeze frame）」を生じさせることになる。ｆｒｏｍストリームの出口点におけるＶＢＶレベルがｔｏストリームの入口点のＶＢＶレベルより高い場合は、さらに重大な問題が発生する。これは、スプライスの下流にＶＢＶオーバーフローを生じさせる可能性がある。オーバーフローは、バッファ可能な量よりも多くのデータが利用可能なときに発生する。オーバーフローは、ロスト・データや破損データを生み出し、通常、復号化ピクチャ中に視覚的アーチファクトを引き起こすうえ、復号器をリセットさせる可能性もある。
【０１０６】
選択されたフレームがベースバンドに復号化されたあと、これらのフレームはＶＥＳに再符号化される。本発明者は、高い全体性能、画質およびモジュール性を確保するためにサーノフ社ＤＴＶ／ＭＰＥＧ−２ソフトウェア符号器を使用した。符号器のレート制御アルゴリズムは、開始ＶＢＶレベルおよび終了ＶＢＶレベルの指定を可能にするように変更され、符号器の入力モジュールは、復号器の出力ファイル形式をサポートするようにアップデートされた。フレーム選択の間、トランスポート・ストリームからパーズされたＭＰＥＧ符号化パラメータは、再符号化ビデオがスプライスされているクリップと確実に互換性を有するように符号器に引き渡される。
【０１０７】
レート制御（これは、遷移クリップの再符号化部分の全体的な画質を最終的に決定する）に関しては、ＶＢＶレベルを上方に調節すると、選択されたフレームは、原ストリームよりも少ないビットを用いて符号化される。ＶＢＶレベルを高くすると、得られる出力の品質にある程度のロスが生じることがあるが、人間視覚システムにおけるマスキングにより、シーン変更時のビデオ品質のわずかな劣化は、視聴者が知覚できないことが多い。本発明者は、フレーム精度の高いシームレスなスプライスを含むストリームに与えられるこのような視覚的劣化は、知覚可能なレベルのビデオ劣化を生じないと判断した。
【０１０８】
本発明のある実施形態では、ｆｒｏｍストリームおよびｔｏストリームの各々は、対応するビデオ・バッファリング・ベリファイア（ＶＢＶ）を有するトランスポート・ストリームを含んでいる。本発明は、ｆｒｏｍストリームＶＢＶおよびｔｏストリームＶＢＶ間に差が存在するか否かを判断し、この判断結果によっては必要に応じて再符号化プロセスをこのような差に適応させる。例えば、本発明は、ｆｒｏｍストリームＶＢＶがｔｏストリームＶＢＶを第一のスレッショルドレベル以上、上回っているという判断に応じてレート制御ビット割当てを増加し、ｔｏストリームＶＢＶがｆｒｏｍストリームＶＢＶを第二のスレッショルドレベル以上、上回っているという判断に応じて、レート制御ビット割当てを減少させることにより、再符号化プロセスを調整することができる。
【０１０９】
Ｄ．パケット化
遷移クリップまたは遷移ストリームを構築するプロセスの第四のステップは、フレーム選択および復号化プロセスから生じる復号化フレームを符合化するステップを構成する。
【０１１０】
選択されたフレームを再符号化した後、ｔｏストリームからコピーされた残りのＧＯＰとＩフレームは、再符号化ＶＥＳに追加される。temporal_referenceフィールドのリスタンプの間、得られる遷移クリップは、構文的に完全なＭＰＥＧ２ストリーム（sequence_end_codeを有していないことを除く）を備えており、遷移における全てのフレームを含んでいる。最後のステップは、ＶＥＳをトランスポート・ストリームにパケット化することである。
【０１１１】
遷移ストリームのパケット化の第一のステップは、遷移ストリームをパーズして、各フレームの先頭（sequence_headerかpicture_headerのいずれか）のオフセットおよび遷移ストリーム内のフレームの種類を検出することである。このデータが利用可能になると、フレーム間の依存度が計算され、フレーム表示順序が決定される。temporal_referenceフィールドは、ＧＯＰ再構築のために現在無効であるので、この目的のためには不適当である点に注意する必要がある。
表示順序が決定されると、temporal_referenceフィールドがリスタンプされ、供給タイムスタンプ（ＰＴＳ）および復号タイムスタンプ（ＤＴＳ）が遷移ストリーム中の各フレームに対して計算される。
【０１１２】
ＭＰＥＧ２規格ではトランスポート・ストリーム内の時間的不連続性が許される点に留意する必要がある。しかしながら、一部の復号器がＭＰＥＧ２規格に完全に準じるわけではないので、トランスポート・ストリーム内のこのような許容時間不連続性は、不適切な復号器動作を生じさせることになる。したがって、リスタンプ・プロセスの使用によってトランスポート・ストリーム内のこのような時間的不連続性を取り除くことが望ましい。
【０１１３】
リスタンプ・プロセスの出力を使用してＰＥＳヘッダが生成され、フレームがＰＥＳストリームに出力される。各ＰＥＳヘッダの位置および各ＰＥＳパケットのサイズは、このプロセスの間、記録される。最後に、ＰＥＳパケットを保持するためにトランスポート・パケットが生成される。パケットの各レイヤは、ＴＳにオーバーヘッドを加え、わずかなサイズの増加をもたらす。得られるＴＳ中のパケットは、スプライスされているビデオストリームのＰＩＤを用いてスタンプ付けされる。パケット化プロセスの最終的な出力は、単一のＶＥＳを含むＴＳである。ストリームは、プログラム特定情報（ＰＳＩ）を含まない。
【０１１４】
Ｅ．再多重化
遷移クリップまたは遷移ストリームを構築するプロセスの最後のステップは、原プログラム・ストリームからのプログラム特定情報（ＰＳＩ）を用いてビデオ・クリップ（現在はトランスポート・ストリーム）を再多重化するステップを構成する。
【０１１５】
この再多重化ステップを達成するために、ｆｒｏｍストリームが調べられ、プログラム・アソシエーション・テーブル（ＰＡＴ）およびプログラム・マップ・テーブル（ＰＭＴ）の単一の例が（トランスポート・パケットとして）抽出される。単一のプログラム・トランスポート・ストリームをスプライスする場合では、一つのＰＭＴしか存在しない。複数のプログラム・トランスポート・ストリームをスプライスする場合は、複数のＰＭＴが存在することになる。任意であるが、ＡＴＳＣ放送形式を完全に実施するためには、（当業者に知られているように）他のテーブルを抽出することも必要である。
【０１１６】
ＰＡＴおよびＰＭＴを抽出した後、遷移クリップ中のパケットの数は、多重ビットレート、遷移クリップ中のフレーム数およびフレーム・レートに基づいて計算される。例えば、ＡＴＳＣ仕様は、少なくとも１００ｍｓごとに一つのＰＡＴを必要とし、少なくとも４００ｍｓごとに一つのＰＭＴを必要とする。ＰＡＴおよびＰＭＴテーブル間のパケットの数は、多重ビットレートから決定される。
【０１１７】
遷移クリップ中のパケットの数を計算した後、ヌル・トランスポート・パケットから構成されるブランク遷移クリップが生成され、ＰＡＴおよびＰＭＴテーブルが、算出された間隔（例えば、ＰＡＴは１００ｍｓごと、ＰＭＴは４００ｍｓごと）で挿入される。
【０１１８】
ブランク遷移ストリーム中にＰＡＴおよびＰＭＴを適切に挿入した後、残りの利用可能なパケット内でパケットを間隔をおいて配置することにより、ビデオ・トランスポート・ストリームがブランク遷移ストリーム中に挿入され、それによって出力トランスポート・ストリームが形成される。
【０１１９】
空の遷移クリップにＰＡＴ、ＰＭＴおよびビデオ・パケットを挿入するときは、新しいcontinuity_counterを用いて各パケットをリスタンプすべきである点に留意する必要がある。continuity_counterの開始値は、出口ストリームまたはｆｒｏｍストリームからの各ＰＩＤに対して独立に決定される。ビデオ・クリップがあまりに大きい場合は、期待されるクリップ持続時間を基準として遷移クリップのサイズが計算されることから、遷移クリップ中に十分なトランスポート・パケットが存在しないことになる。この計算は、フレーム・カウント、フレーム・レート、ＶＢＶ遅延、多重ビットレートなどを考慮に入れる。ＶＢＶ調整が符号器によって適切に行われることが重要である。
【０１２０】
この後、完成した遷移クリップは、算出されたトランスポート・パケット・オフセットでスプライス済トランスポート・ストリームの間に挿入され、これによって、シームレスなスプライスが実行される。他の多重化方法を使用できる点に留意する必要がある。
【０１２１】
トランスポート・ストリーム内のビデオストリームのシームレスなスプライスは、トランスポート・ストリーム内のオーディオ・ストリームに関する品質の、ある程度の犠牲を必要とする可能性がある点に注意する。オーディオ品質の劣化を最小限に抑えるため、遷移クリップ生成関数３４４は、得られるスプライス済トランスポート・ストリームが偽のオーディオ情報を含まないように、壊れたオーディオ・パケットを任意で取り除いてもよい。オーディオ・パケットおよびビデオ・パケットは、通常、トランスポート・ストリーム内の物理的な位置によってではなく供給タイムスタンプ情報によって同期させられるので、このような除去は有用である。このように、ストリームをスプライスするときにオーディオ情報が失われることがありうる。この問題に対する一つの対策は、米国特許出願第０８／８６４３２２号（１９９７年５月２８日出願）に記述されている。この出願の全体は、参照文献として本明細書に組み込まれる。
【０１２２】
遷移クリップビルダの場合、壊れたオーディオ・パケットが確実に除去され、オーディオ遷移が確実にクリーンになるように調整が行われるが、これは本実施形態のオーディオ処理の限界である。
【０１２３】
これまでは主として、二つのシングルプログラム・トランスポート・ストリーム（すなわち、映画、テレビ番組、コマーシャルなどの単一のオーディオ・ビジュアル・プログラムを含むトランスポート・ストリーム）のスプライスまたは連結との関係で本発明を説明してきた。しかしながら、当業者は、本発明がマルチプログラム・トランスポート・ストリーム間でもフレーム精度の高いシームレスなスプライシングを提供することを理解できるであろう。このようなスプライスを行うため、上記の方法は、マルチプログラム・トランスポート・ストリーム内の各プログラムに対してアウト・フレーム、イン・フレームおよび他の適切なパラメータを決定する。
【０１２４】
上記の発明は、クリップの遷移ストリームを使用してトランスポート・ストリームのシームレスでフレーム精度の高いスプライシングまたは連結を好適に提供しており、これによって全く新しいトランスポート・ストリームの構築を避けている。ｆｒｏｍストリームおよびｔｏストリームは、プロセスの間、修正されない。というのも、これらのストリームは、遷移ストリームを作り出すのに十分な情報を提供するためにしか使用されないからである。遷移ストリームは、ストリーム間に変化をもたらすために使用された後、システムによって廃棄されてもよいし、将来の使用のために保存されてもよい。
【０１２５】
注意してタイミングを考慮すべきことが幾つかある。具体的には、スプライスを行うための遷移クリップの使用は、得られる（スプライス済の）トランスポート・ストリーム内でタイミングの不連続を生じさせる。このため、本発明のある実施形態では、スプライス済情報ストリームが通信ネットワークまたはエンド・ユーザに「流される」あるいは伝達されるときにスプライス済情報ストリーム内のＰＣＲ（更に任意でＰＴＳおよびＤＴＳ）をリスタンプするために、遷移クリップ・タイムリスタンプ関数３４５が使用される。例えば、遷移クリップ・タイムリスタンプ関数３４５は、アウト・ストリームの各参照パケット（すなわち、ＰＣＲを含むパケット）をそのパケットがエンド・ユーザに伝達されているときに調べる。遷移ストリームへのスプライスの後、アウト・ストリームを流すために使用されるＰＣＲ値は、遷移ストリームで使用するために維持される。同様に、遷移ストリームからｔｏストリームへのスプライスの後、アウト・ストリームおよび遷移ストリームを流すために使用されるＰＣＲ値は、ｔｏストリームで使用するために維持される。
【０１２６】
本発明のある実施形態では、上述した種々の関数が、例えば再生放送コントローラ１２０から制御可能なソフトウェアモジュールにパッケージ化される。具体的には、遷移クリップ・ビルダ・モジュール（Transition Clip Builder module：ｔｃｂｕｉｌｄモジュール）を使用して、オペレータが再生リスト１２５内のセグメントを明示的にスケジュールし、ｔｃｂｕｉｌｄを自動的に呼び出して、やがて現れるセグメント間で遷移クリップを生成できるようにする。これらのクリップを生成するために費やされる時間は「リアルタイムに近い」ので、再生リスト内の全てのセグメントに対して遷移クリップを生成する必要は実際にはない。すなわち、遷移クリップの生成にかかる時間は、プラットフォームに依存するものの、通常、約数分未満である。（このプロセスは、クリップが別個のソフトウェアモジュール（ｔｃｉｎｄｅｘｅｒモジュール）を用いて以前に索引付けされているとすることによって改善することができる。）。この後、遷移クリップは、再生リストに挿入されるが、オペレータからは隠される。再生リスト内のセグメントの移動は、遷移クリップに対して適切な修正を与える。
【０１２７】
図１２は、ビデオ搬送トランスポート・ストリームのスプライシングが有用となるテレビジョン・スタジオやその他の環境で使用するのに適した装置を示している。具体的には、図１２のシステム１２００は、第一の復号器１２１０、第二の復号器１２２０、コントローラ１２３０、記憶モジュール１２４０、符号器１２５０、マルチプレクサ１２６０、インデクサ１２７０およびメタファイル記憶モジュール１２８０を備えている。
【０１２８】
第一復号器１２１０（例えば、ＭＰＥＧ２ビデオ復号器）は、コントローラ１２３０によって供給される制御信号ＣＤＥＣ１に応答して第一のビデオ搬送トランスポート・ストリームＳＯＵＲＣＥ１を受信し、第一ビデオ搬送トランスポート・ストリームＳＯＵＲＣＥ１の少なくとも一部を復号化して、第一の復号化出力ストリームＤＯＵＴ１を生成する。第一復号化出力ストリームＤＯＵＴ１は、記憶素子１２４０に結合される。
【０１２９】
第二復号器１２１０（例えば、ＭＰＥＧ２ビデオ復号器）は、コントローラ１２３０によって供給される制御信号ＣＤＥＣ２に応答して第二のビデオ搬送トランスポート・ストリームＳＯＵＲＣＥ２を受信し、第ニビデオ搬送トランスポート・ストリームＳＯＵＲＣＥ２の少なくとも一部を復号化して、第二の復号化出力ストリームＤＯＵＴ２を生成する。第二復号化出力ストリームＤＯＵＴ２は、記憶素子１２４０に結合される。
【０１３０】
記憶モジュール１２４０（例えば、バッファ・メモリ、ハードディスク・アレイ、その他のビデオ基本ストリームを一時的に格納するのに適したメモリ）は、コントローラ１２３０によって供給される制御信号ＣＳＴＯＲに応答して、第一および第二の復号化出力ストリームＤＯＵＴ１、ＤＯＵＴ２の一部または全部を格納する。更に、これに応じて記憶モジュール１２４０は、遷移ストリームまたは遷移クリップを表すビデオストリームＶＴを提供する。
【０１３１】
コントローラ１２３０によって供給される制御信号ＣＥＮＣに応じて、符号器１２５０は、遷移ストリームまたは遷移クリップを表すビデオストリームＶＴを符合化して、ビデオ搬送トランスポート・ストリームＴＣＬＩＰを生成する。ビデオ搬送トランスポート・ストリームＴＣＬＩＰ（これは、遷移ストリームまたはクリップを含んでいる）は、マルチプレクサ１２６０に結合される。
【０１３２】
マルチプレクサ１２６０は、符号器１２５０によって供給されるビデオ搬送トランスポート・ストリームＴＣＬＩＰに加えて、第一および第二のビデオ搬送トランスポート・ストリームＳＯＵＲＣＥ１およびＳＯＵＲＣＥ２も受信する。マルチプレクサ１２６０は、コントローラ１２３０によって供給される制御信号ＣＭＵＸに応答して、ビデオ搬送トランスポート・ストリームＳＯＵＲＣＥ１、ＳＯＵＲＣＥ２およびＴＣＬＩＰのうちの二つ以上の連結を含む出力トランスポート・ストリームＯＵＴを供給する。
【０１３３】
第一および第二のビデオ搬送ストリームＳＯＵＲＣＥ１およびＳＯＵＲＣＥ２は、それぞれインデクサ１２７０に結合される。インデクサ１２７０は、コントローラ１２３０によって生成される制御信号ＩＣに応答して、この二つのビデオ搬送トランスポート・ストリームを（既述の索引付け方法に従って）処理し、対応するメタファイルを生成する。これらのメタファイルは、信号経路ＩＮＤＥＸ＿ＯＵＴを介してメタファイル記憶モジュール１２８０に結合される。すなわち、ビデオ搬送ストリームＳＯＵＲＣＥ１およびＳＯＵＲＣＥ２の各々は、順次に、あるいは任意で同時に、インデクサ１２７０に結合される。図１１を参照して上述したように、インデクサ１２７０では、これらのストリームが処理され、対応するメタファイルが生成される。これらのメタファイルは、図１〜１１を参照して上述した方法において適切なスプライシング・パラメータを決定する際に、コントローラ１２３０（信号経路ＭＦＩＬＥを介してアクセスされる）によって使用される。
【０１３４】
本明細書では、本発明の教示を組み込んだ種々の実施形態を図示して詳細に説明してきたが、当業者は、本発明の教示を依然として組み込んだ他の多くの様々な実施形態を容易に考案することができる。
【図面の簡単な説明】
【図１】テレビジョン・スタジオの上位ブロック図である。
【図２】（ａ）および（ｂ）は、発明の理解に有用なスプライシング動作を表す図である。
【図３】図１のテレビジョン・スタジオで使用するのに適した再生放送サーバへの再生の実施形態を示す図である。
【図４】発明の理解に有用な画像フレーム表示順序および画像フレーム伝送順序の図表である。
【図５】発明の理解に有用な画像フレーム表示順序および画像フレーム伝送順序の図表である。
【図６】発明の理解に有用な画像フレーム表示順序および画像フレーム伝送順序の図表である。
【図７】遷移ストリームまたは遷移クリップを生成する方法のフローチャートである。
【図８】ｆｒｏｍストリーム内のどの情報フレームが遷移ストリーム内に含まれていなければならないかを判断する方法のフローチャートである。
【図９】ｔｏストリーム内のどの情報フレームが遷移ストリーム内に含まれていなければならないかを判断する方法のフローチャートである。
【図１０】情報ストリームに索引をつける方法のフローチャートである。
【図１１】図３の再生放送サーバに使用するのに適したメタファイルを表す図表である。
【図１２】テレビジョン・スタジオ、またはトランスポート・ストリームを運ぶビデオのスプライシングが有用な他の環境で使用するのに適した装置を示す図である。
【符号の説明】
１００…テレビジョン・スタジオ、１１０…再生放送サーバ、１１５…大容量記憶装置、１２０…再生放送コントローラ、１２５…再生リスト、１３０…インタフェース・ルータ、１４０…ネットワーク・インターフェース装置。
【発明の属する技術分野】
本発明は、一般に通信システムに関し、特に、実質的にシームレスな方式で情報ストリームをスプライスまたは連結する方法に関する。
【０００２】
【従来の技術】
いくつかの通信システムでは、利用可能な帯域幅がより有効に使用されるように、伝送すべきデータが圧縮される。例えば、動画専門家グループ（ＭＰＥＧ）は、ディジタル・データ供給システムに関していくつかの規格を公表している。ＭＰＥＧ１として知られている第一の規格は、ＩＳＯ／ＩＥＣ規格１１１７２を指し、参考文献として本明細書に組み込まれる。ＭＰＥＧ２として知られている第二の規格は、ＩＳＯ／ＩＥＣ規格１３８１８を指し、参考文献として本明細書に組み込まれる。圧縮ディジタル・ビデオシステムは、アドバンスト・テレビジョン・システム委員会（ＡＴＳＣ）ディジタル・テレビジョン基本文書Ａ／５３に記述されており、これも参考文献として本明細書に組み込まれる。
【０００３】
テレビジョン・スタジオや情報ストリームの他の「コンシューマ（消費者）」は、実質的にシームレスかつフレーム精度の高い方法で情報ストリーム（例えば、ビデオ、オーディオおよび他の関連情報サブストリームを組み込んだトランスポート符合化プログラム・ストリーム）間を連結またはスプライスできることが重要である。「フレーム精度の高い」とは、符合化フレームのフレーム・タイプ（例えば、Ｉ、ＰまたはＢフレーム符号化）に関わらず、ユーザによって選択されたフレームでスプライスが正確に行われることを意味する。「シームレスなスプライス」とは、連続した有効なＭＰＥＧストリームを生み出すスプライスを意味する。このように、第一の情報ストリームのフレーム精度の高いシームレス・スプライスを行って第二の情報ストリームを得る場合、フレーム精度の高いシームレス・スプライサは、フレームの正確な数を保持する（例えば、９００ビデオ・フレーム・コマーシャル提供を含むトランスポート符号化プログラムが正確に９００枚のフレームからなる「スロット」に納められるようにスケジュールすることができる）。
【０００４】
既知のいくつかの方法は、以下の手順の変形を利用する。すなわち、「イン・ストリーム」および「アウト・ストリーム」をベースバンドまたは基本レベルに復号化するステップ、スプライス動作を行うステップ、および得られるスプライスト・ストリームを再符号化するステップである。これらの方法は、フレーム精度の高いシームレスなスプライスを提供するが、費用が高い。
【０００５】
トランスポート・ストリーム・レベルでのシームレスなスプライシングを可能にする改良方法では、適切なストリーム入口点および出口点をそれぞれ示す各ストリームに対して「イン・ポイント」および「アウト・ポイント」を定義することにより、比較的シームレスな手法で、ＭＰＥＧ情報ストリームとビデオ情報等を含むＭＰＥＧ類似情報ストリームをスプライスし、一体化することができる。例えば、ＭＰＥＧ類似ビデオストリーム中でビデオ・シーケンス・ヘッダを含むパケットは、適切なイン・ポイントを含んでいる。このようなイン・ポイントおよびアウト・ポイントを含むＭＰＥＧ類似情報ストリームは、スプライス可能であると言われる。動画・テレビ技術者協会（ＳＭＰＴＥ）は、「ＭＰＥＧ２トランスポート・ストリームのためのスプライス・ポイント」と称されるこのようなスプライス用のポイントを定義した規格ＳＭＰＴＥ３１２Ｍを提案している。この規格は、すべて参考文献として本明細書に組み込まれる。
【０００６】
【発明が解決しようとする課題】
残念なことに、このようなイン・ポイントおよびアウト・ポイントの配置は、画像フレーム符号化モードやグループ・オブ・ピクチャ（ＧＯＰ）構造などの要因によって定義される。したがって、情報ストリーム間をシームレスにスプライスしようとしているエンド・ユーザは、必要なスプライス用ポイントが適切なイン・ポイントまたはアウト・ポイントでない場合は、「フレーム精度の高い」手法でシームレスなスプライスを行うことができない。
【０００７】
したがって、ＭＰＥＧ類似トランスポート・ストリームのシームレスでフレーム精度の高いスプライシングを可能にする方法および装置を提供することが望ましい思われる。さらに、テレビジョン・スタジオの特定の環境や他のビデオ供給環境にシームレスでフレーム精度の高いこのようなスプライシング方法を適用する方法および装置を提供することが望ましいと思われる。
【０００８】
【課題を解決するための手段】
本発明には、各スプライス・ポイントの付近に位置する各ストリームからの部分を用いて遷移ストリームまたはクリップを構成することによりＭＰＥＧ類似トランスポート・ストリームのシームレスでフレーム精度の高いスプライシングを行う方法および装置が含まれる。この遷移ストリームは、実際のスプライス・ポンイト、スプライス・ポイントの前（表示順序で）の「ｆｒｏｍ」ストリームの部分、およびスプライス・ポイントの後（表示順序で）の「ｔｏ」ストリームの部分を含む自立型符号化ストリーム（self contained encoded stream）を含んだデータ構造である。ｆｒｏｍストリームは、適切な出口点で出される。このとき、遷移ストリームが入れられる。ｔｏストリームは、適切な入口点で入れられる。このとき、遷移ストリームが出される。遷移ストリームは、復号器バッファ等の不適格な動作を引き起こすことなくｆｒｏｍストリーム出口点およびｔｏストリーム入口点の間に連結できるように構成される。
【０００９】
【発明の実施の形態】
本発明の教示は、添付図面とともに以下の詳細な説明を検討することによって容易に理解することができる。
【００１０】
理解を容易にするため、図面に共通の同一要素を示すにあたって可能な限り同一の参照番号を使用する。
【００１１】
以下の説明を検討すれば、当業者は、ビデオ・サブストリームを含むＭＰＥＧ類似トランスポート・ストリーム等のシームレスでフレーム精度の高いスプライシングを行うニーズが存在する情報処理システムにおいて本発明の教示を容易に利用できることを明らかに理解できるであろう。
【００１２】
本発明の実施形態は、遠端復号器への搬送に適したＭＰＥＧ２準拠ビデオストリーム等を生成するために、再生放送コントローラにより保存ビデオストリーム（例えば、ビデオ・セグメントまたはクリップ）がサーバから検索され、シームレスでフレーム精度の高い方式でスプライスされるテレビジョン・スタジオ環境との関連で記述される。しかしながら、本発明の範囲および教示は、いっそう広い適用可能性を有しているので、本発明を開示した実施形態に限定して解釈すべきではない。例えば、本発明は、ケーブル・ヘッドエンド用のサーバベース資産ストリーミング、ディジタル映画用のトレーラおよびローカル・コマーシャルの挿入、ＭＰＥＧ２トランスポート・ストリームのフレーム精度の高いインターネットベース・ストリーミング、および限られた生産設備（すなわち、ニュースや他の用途のためにセグメントの合成のみを行う生産設備）への適用可能性を有している。
【００１３】
この説明では、発明を記述するために種々の用語が使用される。以下の説明によって修正されない限り、これらの用語の幾つかは、次のように定義される。すなわち、スプライス済ストリームは、特定のスプライシング・ポイントで出口ストリーム（またはｆｒｏｍストリーム）を入口ストリーム（またはｔｏストリーム）に連結することによって形成されたストリームを含んでいる。出口フレームは、出口ストリームの最後のフレームである。入口フレームは、入口ストリームの最初のフレームである。
【００１４】
図１は、テレビジョン・スタジオの上位ブロック図を示している。具体的には、図１のスタジオは、再生放送サーバ（play to air server）１１０、大容量記憶装置１１５、再生放送コントローラ（play to air controller）１２０、ルータ１３０およびネットワーク・インターフェース装置（ＮＩＤ）１４０を備えている。
【００１５】
大容量記憶装置１１５は、例えば、番組を提供する符合化ビデオ・サブストリームおよび関連オーディオ・ストリームを含んだ複数のＭＰＥＧ２トランスポート・ストリームを記憶するために使用される。また、大容量記憶装置１１５は、他の種類の情報ストリーム（例えば、ビデオ・データ、オーディオ・データ、プログラム情報、その他のデータを含んでいるパケット化または非パケット化基本ストリーム）を記憶するために使用することもできる。
【００１６】
再生放送サーバ１１０は、信号経路Ｓ１を介して、大容量記憶装置１１５から情報ストリームを検索する。検索された情報ストリームは、複数の連結トランスポート・ストリームを含む出力トランスポート・ストリームを生成するように、再生放送コントローラ１２０によって生成される制御信号（例えば、再生リスト）に応じて処理される。この再生放送サーバ１１０は、出力トランスポート・ストリームを供給し、信号経路Ｓ２を介してルータ１３０に結合されている。
【００１７】
再生放送コントローラ１２０は、信号経路Ｓ３を介して再生放送サーバ１１０および他のスタジオ機器（図示せず）に制御情報を提供する。このコントローラは、ルータ１３０に結合されている。ルータ１３０は、テレビジョン・スタジオ１００の種々の機能要素の間で全ての制御およびプログラム情報をルーティングするために使用される。例えば、制御情報は、信号経路Ｓ３を介して再生放送コントローラ１２０からルータ１３０に引き渡される。この後、このルータは、信号経路Ｓ２を介して再生放送サーバ１１０に制御情報２を引き渡す。任意ではあるが、制御情報を引き渡すために、再生放送コントローラ１２０および再生放送サーバ１１０間の直接制御コネクションＣＯＮＴＯＬが使用される。
【００１８】
ルータ１３０は、信号経路Ｓ２を介して再生放送サーバ１１０からの出力トランスポート・ストリームを受信し、それに応じて、信号経路Ｓ５を介して他のスタジオ・コンポーネント（例えば、エディタ、オフライン記憶素子など）に出力トランスポート・ストリームを引き渡し、あるいは信号経路Ｓ６を介してネットワーク・インターフェース装置１４０に出力トランスポート・ストリームを引き渡す。
【００１９】
ネットワークインターフェース装置（ＮＩＤ）１４０は、図１のテレビジョン・スタジオ１００と他のスタジオ（図示せず）との間で出力トランスポート・ストリーム、制御情報または他の任意の情報を伝達するために使用される。ＮＩＤは、任意で、他のスタジオ、遠くのカメラ・クルー、放送局などから情報ストリームを受信する。生成中の出力トランスポート・ストリーム（例えば、ニュース・イベントの「ライブ」報道）へ即座に処理するため、または遅延処理のため、または大容量記憶装置への記憶（処理を伴うか否かにかかわらず）のために、これらのストリームは、再生放送サーバ１１０に結合される。
【００２０】
再生放送サーバ１１０および大容量記憶装置１１５は、カリフォルニア州マウンテンビューのＳＧＩ製Origin 2000「Play-To-Air /Production Server」などの圧縮ビットストリーム・ビデオ・サーバを使用して実装することができる。
【００２１】
再生放送コントローラ１２０は、再生放送サーバ１１０の出力トランスポート・ストリームに後で組み込まれるようにスケジュールされる情報ストリームまたはクリップに対応する再生リスト１２５を含んでいる。この再生リスト１２５は、再生放送サーバによって大容量記憶装置１１５から取り出され、連結またはスプライスされて出力トランスポート・ストリームとなる情報ストリームまたはクリップの各々の正確なフレーム入口位置および出口位置を含んでいる。再生リスト１２５は、情報ストリームまたはクリップの各々に対して最初のフレームおよび最後のフレームを特定してもよい。
【００２２】
再生放送サーバ１１０は、再生リスト１２５の少なくとも一部を提供する再生放送コントローラからの制御信号に応じて、適切なストリームまたはクリップを大容量記憶装置から検索し、制御信号内のフレーム入口情報および出口情報に従ってシームレスでフレーム精度の高い方式によりクリップをスプライスし、出力トランスポート・ストリームを生成する。重要なことであるが、生成された出力トランスポート・ストリームは、ネットワーク・インターフェース装置１４０によって提供される遠隔フィードを含む他の任意のスタジオ・コンポーネントに対する構文エラーまたは不連続性を有していない。再生放送サーバによって行われるスプライシングまたは連結操作は、図２（ａ）および（ｂ）に関連して以下で更に詳細に説明する。
【００２３】
図２（ａ）および（ｂ）は、本発明を理解するうえで有用なスプライシング操作を図示したものである。具体的に述べると、図２（ａ）は、第二のＭＰＥＧ２トランスポート・ストリーム・クリップ（２１０、２２０）ごとの二つの３０フレームのフレーム精度が高くシームレスなスプライシング操作を図示している。この操作は、遷移クリップ（２３０）を使用して、第二ＭＰＥＧ２トランスポート・ストリーム・クリップ（２４０）につきスプライス済の３０フレームを生成する。遷移ストリーム２３０は、第一ストリーム２１０および第二ストリーム２２０の一部を使用して形成される。得られるスプライス済ストリーム２４０は、第一ストリーム２１０、遷移ストリーム２３０および第二ストリーム２２０の一部の連結を含んでいる。得られるスプライス済ストリーム２４０は、第一ストリーム２１０のアウト・ポイント（２１０−ＯＵＴ）および第二ストリーム２２０のイン・ポイント（２２０−ＩＮ）において第一および第二ストリーム間の「ナイフエッジな」またはフレーム精度の高いスプライスを含んでいる。
【００２４】
図２（ｂ）は、図２（ａ）に示されるストリームまたはクリップと関連する種々のＳＭＰＴＥタイムコードを示している。第一のストリームまたはクリップ２１０（ストリームＡ）は、時刻ｔ0（００：００：００：００という対応ＳＭＰＴＥタイムコードで図示）に開始する先頭フレーム２１０−ＳＴ、時刻ｔ1に開始する遷移アウト・フレーム２１０−ＴＲＡＮＳ、時刻ｔ2（００：００：０２：１３という対応ＳＭＰＴＥタイムコードで図示）に終了するアウト・フレーム２１０−ＯＵＴ、および時刻ｔ2よりも後の時刻に開始する最終フレーム２１０−ＥＮＤを含んだ複数のフレームを備えている。
【００２５】
アウト・フレーム２１０−ＯＵＴは、第一ストリーム２１０のうち表示される最後のフレーム（すなわち、所望のスプライス・ポイントの直前のフレーム）を含んでいる。アウト・フレーム２１０−ＯＵＴは、遷移ストリーム２３０内に含まれることになる。遷移アウト・フレーム２１０‐ＴＲＡＮＳは、第一ストリーム２１０のうち伝送される最後のフレームを含んでいる。すなわち、遷移ストリーム２３０は、遷移アウト・フレーム２１０−ＴＲＡＮＳの直後に第一ストリーム２１０に連結される。
【００２６】
第二のストリームまたはクリップ２２０（ストリームＢ）は、００：００：００：００という対応ＳＭＰＴＥタイムコードに開始する先頭フレーム２２０−ＳＴ、時刻ｔ２（００：００：００：２３という対応ＳＭＰＴＥタイムコードで図示）に開始するイン・フレーム２２０−ＩＮ、時刻ｔ３に開始する遷移イン・フレーム２２０−ＴＲＡＮＳ、および時刻ｔ４（００：００：０４：１７という対応ＳＭＰＴＥタイムコードで図示）に終了する最終フレーム２１０−ＥＮＤを含む複数のフレームを備えている。
【００２７】
イン・フレーム２２０−ＩＮは、第二ストリーム２２０のうち表示される最初のフレーム（すなわち、所望のスプライス・ポイントの直後のフレーム）を含んでいる。イン・フレーム２２０−ＩＮは、遷移ストリーム２３０内に含まれる。フレーム２１０−ＴＲＡＮＳ中の遷移は、第二ストリーム２２０のうち送信される最初のフレームを含んでいる。すなわち、フレーム２２０‐ＴＲＡＮＳ中の遷移は、遷移ストリーム２３０に連結される第二ストリーム２１０の第一フレームとなる。
【００２８】
遷移ストリームまたはクリップ２３０（ストリームＴ）は、ビデオストリームのシームレスでフレーム精度の高いスプライシングを好適に提供するデータ構造である。遷移ストリームまたはクリップ２３０（ストリームＴ）は、時刻ｔ１から開始する先頭フレーム２３０−ＳＴと時刻ｔ３で終了する最終フレーム２３０−ＥＮＤを含む複数のフレームを備えている。この遷移クリップは、第一ストリーム２１０および第二ストリーム２２０の双方からのフレームを備えており、これには、対応するイン・フレームおよびアウト・フレームが含まれている。遷移クリップの先頭と終端は、それぞれ時刻ｔ１およびｔ３として図２に示されている。これらの時刻ならびに遷移ストリームの実際の先頭フレームおよび最終フレームは、図８および９を参照して以下で説明する方法に従って判断されることに注意しなければならない。
【００２９】
得られるスプライス済ストリーム２４０は、時刻ｔ０（図示では、００：００：００：００という対応ＳＭＰＴＥタイムコード）に開始する先頭フレーム２４０−ＳＴおよび時刻ｔ４（図示では、００：００：０４：１７という対応ＳＭＰＴＥタイムコード）に終了する最終フレーム２４０−ＥＮＤを含む複数のフレームを備えている。スプライス済ストリーム２４０は、第一クリップ２１０（すなわち、ｔ０〜ｔ２）からの７３フレームと第二クリップ２２０（すなわち、ｔ２〜ｔ４）からの１１５フレームを備えている。
【００３０】
図２（ａ）に示されるスプライス・ストリーム２４０は、第一ストリーム２１０および第二ストリーム２２０を備えている。これらのストリームは、第一ストリーム２１０が明らかにアウト・フレーム２１０−ＯＵＴから出て、第二ストリーム２２０が明らかにイン・フレーム２２０−ＩＮから入るナイフエッジ・スプライス（スプライス・ストリーム２４０タイムコード００：００：０２：１３）を（遷移ストリーム２３０を用いて）行う方法により連結されている。本発明を用いると、このスプライシング動作は、アウト（出口）およびイン（入口）というフレーム・タイプにかかわらず、フレーム精度の高い方式で行われる。
【００３１】
理想的なスプライシング条件（ＳＭＰＴＥ ３１２Ｍスプライシング規格で検討されている）のもとでは、遷移クリップが必要でない可能性がある点に注意すべきである。しかしながら、ほとんどの条件のもとで遷移クリップは、理想的な条件のもとで生成されうる「空フレーム（empty frame）」遷移クリップよりも多数のフレームを含むことになる。
【００３２】
図３は、図１のテレビジョン・スタジオでの使用に適した再生放送サーバの実施形態を示している。具体的に述べると、図３に例示される再生放送サーバ１１０は、入出力（Ｉ／Ｏ）回路３１０、支援回路３３０、プロセッサ３２０、メモリ３４０およびオプションのタイムベースコレクタ３５０を備えている。プロセッサ３２０は、電源、クロック回路、キャッシュ・メモリなどの従来の支援回路３１０および再生放送サーバ１１０内における種々のソフトウェア・ルーチンの実行を支援する回路と協働する。再生放送サーバ１１０は、入出力回路３１０も含んでいる。この回路は、再生放送サーバ１１０と大容量記憶装置１１５およびインタフェース・ルータ１３０とのインタフェースを形成する。
【００３３】
メモリ３４０は、本発明の実施に適したプログラムおよびその他の情報を含んでいる。具体的に述べると、メモリ３４０は、プロセッサ３２０によって実行されると索引生成関数３４２、遷移クリップ生成関数３４４、およびオプションとして遷移クリップ・タイム・リスタンプ関数３４５を実行するプログラムを格納するために使用される。メモリ３４０は、索引ライブラリ３４６およびストリーム・ライブラリ３４８の一方または双方を任意で含んでいてもよい。
【００３４】
図２（ａ）および（ｂ）を参照して上述したようなスプライシング動作を提供するために、本発明は、遷移クリップ生成関数３４４を利用する。遷移クリップ生成関数３４４は、第一の規定トランスポート・パケット境界（遷移ストリーム生成器等によって決定される）で第一ストリームを出し、生成された遷移クリップ２３０を実行し、第二の規定トランスポート・パケット境界で第二ストリーム２２０を入れることができるように、遷移クリップを生成する。第一ストリーム２１０および第二ストリーム２２０に対する実際の出口点（２１０‐ＴＲＡＮＳ）および入口点（２２０‐ＴＲＡＮＳ）は、通常、要求された実際のフレームには対応しない。むしろ遷移クリップは、第一ストリーム２１０のスプライス要求された出口点２１０−ＯＵＴの直前にある幾つかのフレームと、第二ストリーム２２０のスプライス要求された入口点２２０−ＩＮの直後にある幾つかのフレームを用いて構成される。
【００３５】
本発明は、好ましくはストリーム間遷移の品質を最適化する方式により、遷移ストリームに含まれるべきフレームを選択する。すなわち、スプライシング操作がフレーム精度の高いシームレスな方式で行われるとしても、そのスプライシング操作が、スプライシング・ポイント付近のビデオ情報の質的な劣化を生む可能性がある。これは、整合しないビデオ・バッファリング・ベリファイア（ＶＢＶ）レベル等に起因する「ビット・スタービング（bit starving）」やその他の符号化異常によって引き起こされる。本発明は、ＶＢＶレベルを適合させて、このような異常を最小限に抑える。
【００３６】
以下では、索引生成関数３４２について詳細に説明する。遷移クリップ、フレーム・データおよびＭＰＥＧデータを作成するために、２種類の情報が使用される。フレーム・データは、位置、符号化タイプ、ならびにｆｒｏｍストリームおよびｔｏストリーム中の特定のフレームの供給順序などの情報を含んでいる。フレーム・データは、ｆｒｏｍストリームおよびｔｏストリーム内のどのフレームが遷移クリップを作成するために再符号化されるのかを判断するために使用される。ＭＰＥＧデータは、フレーム寸法、ビットレート、フレーム対フィールド形式、ビデオ・バッファリング・ベリファイア（ＶＢＶ）遅延、クロミナンス・サンプリング形式などの情報を含んでいる。ＭＰＥＧデータは、トランスポート・ストリームのＭＰＥＧ符合化特性を指定するために使用される。遷移クリップは、入力ＴＳと同じＭＰＥＧパラメータを使用して符号化又は再符号化されることが好ましい。
【００３７】
遷移クリップ生成関数３４４による遷移クリップの生成を補助するため、本発明は、索引生成関数３４２を利用する。具体的に述べると、索引生成関数３４２は、スプライスされるトランスポート・ストリームの各々を処理して、各トランスポート・ストリーム内の各フレームに関連付けられた幾つかのパラメータを決定するために使用される。決定されたパラメータは、索引生成関数３４２によって処理された各トランスポート・ストリームがメタファイルとの関連付けを有するようにメタファイルに格納される。索引生成関数３４２によって処理されたトランスポート・ストリームは、大容量記憶装置１１５またはストリーム・ライブラリ３４８に格納することができる。同様に、トランスポート・ストリームに関連付けられたメタファイルは、大容量記憶装置１１５または索引ライブラリ３４６に格納することができる。
【００３８】
例示の実施形態では、トランスポート符合化ビデオストリーム中の各ビデオ・フレームに関して、索引生成関数３４２が以下の事項を決定する。
１）現在のピクチャ番号（表示順）
２）ピクチャ符号化タイプ（Ｉ、ＰまたはＢフレーム）
３）そのフレームの先頭を含むトランスポート・パケットの番号
４）そのフレームの末尾を含むトランスポート・パケットの番号
５）そのフレームの供給タイムスタンプ（presentation time stamp：ＰＴＳ）
６）そのフレームの復号タイムスタンプ（decode time stamp：ＤＴＳ）
７）そのフレームの前のシーケンス・ヘッダの先頭を含むトランスポート・パケットの番号
８）そのフレームの前のピクチャ・ヘッダの先頭を含むトランスポート・パケットの番号
９）適切なイン・フレームまたはアウト・フレームを備えるそのフレームの任意の証印（例えば、ＳＭＰＴＥ ３１２Ｍスプライシング構文に従ったフレーム・マーキングによって提供される）。
【００３９】
索引生成関数３４２は、任意で、フレームごとのデータに加えて、一般のＭＰＥＧ２構造用のすべてのフィールド（例えば、シーケンス・ヘッダ、ピクチャ・ヘッダなど）を保存してもよい。
【００４０】
このように、ストリーム・ライブラリ３４８（または大容量記憶装置１１５）は、索引生成関数３４２に従って処理されたトランスポート・ストリームを含んでいる。索引生成関数３４２の実施形態は、図１０を参照しながら後述する。
【００４１】
トランスポート・ストリームのパージングは時間のかかることがあるので、本発明のある実施形態は、事前の索引付けを利用する。すなわち、大容量記憶装置１１５に記憶されたトランスポート・ストリームまたはストリーム・ライブラリ３４８は、記憶時、またはその後できるだけ速く索引生成関数３４２によって処理される。この方式では、ストリームのフレーム・パラメータおよびＭＰＥＧパラメータを決定するためにスプライス時にトランスポート・ストリームをパーズする必要がないので、遷移クリップを作成するのに必要な時間が大きく削減される。更に、再生放送サーバ１１０は、スケジューリング関数および他の関数（例えば、フレーム・レート）に必要な可能性のあるトランスポート・ストリームの特性を迅速に検索するために、大容量記憶装置１１５または索引ライブラリ３４６に記憶されたメタファイルを任意で利用してもよい。
【００４２】
図１０は、情報ストリームに索引付けする方法のフローチャートを示している。具体的には、図１０は、図３の再生放送サーバ１１０の索引生成関数３４２で使用するのに適した方法１０００のフローチャートを示している。図１０の方法１０００は、図７の方法７００のステップ７０５を実施する際に使用するのに適している。
【００４３】
方法１０００は、ステップ１００５から開始する。このステップでは、索引付けされるべき情報ストリームが受信される。この後、方法１０００は、ステップ１０１０に進む。
【００４４】
ステップ１０１０では、索引付けされるべき情報ストリームのトランスポート層がパーズされる。すなわち、パーズされる情報ストリーム内の各トランスポート・パケットのヘッダ部分が、トランスポート・パケット番号（ｔｒ）、トランスポート・パケット内のシーケンス・ヘッダの有無、トランスポート・パケット内のピクチャ・ヘッダの有無、スプライシング・イン・フレームまたはスプライシング・アウト・フレームのＳＭＰＴＥ ３１２Ｍスプライシング構文指示の有無、および他の情報を識別するために調べられる。次いで、方法１０００は、ステップ１０１５に進む。
【００４５】
ステップ１０１５では、最初の、または現在のフレームが調べられる。すなわち、索引付けされるべき情報ストリーム内に含まれるビデオ基本ストリームの第一ビデオフレームを調べるため、索引付けされるべき情報ストリームがパケット化基本ストリーム（packetized elementary stream：ＰＥＳ）層にパーズされる。次に、方法１０００は、ステップ１０２０に進む。
【００４６】
ステップ１０２０では、ステップ１０１５で調べられたフレームに関連付けられた種々のパラメータが決定される。具体的には、図の１０２０Ｄに示されるように、ステップ１０２０は、現在のピクチャ番号（表示順）、ピクチャ符号化タイプ（Ｉ、ＰまたはＢフレーム）、フレームの先頭を含むトランスポート・パケットの番号、フレームの末尾を含むトランスポート・パケットの番号、ならびにフレームの供給タイムスタンプ（ＰＴＳ）および復号タイムスタンプ（ＤＴＳ）を決定する。ステップ１０１０に関してすでに述べたように、そのフレームの前のシーケンス・ヘッダの先頭を含むトランスポート・パケットが注目され、そのフレームの前のピクチャ・ヘッダの先頭を含むトランスポート・パケットの番号が注目され、適切なイン・フレームまたはアウト・フレームを含むフレームの証印（例えば、ＳＭＰＴＥ ３１２Ｍスプライシング構文に従うフレーム・マーキングによって提供される）が注目される。さらに、ステップ１０２０では、「ＣＢｄおよびＢｄ」も決定される。この後、方法１０００は、ステップ１０２５に進む。
【００４７】
数量Ｂｄは、ストリーム中でマークされるバッファ遅延である。これは、ピクチャの最初のビットがＶＢＶバッファ内に残る時間である。数量ＣＢｄは、算出されたバッファ遅延である。インデクサ（indexer）は、ＭＰＥＧ２仕様書のAnnex Cに示されるこの値を計算する。バッファ遅延Ｂｄおよび算出バッファＣＢｄは合致しなければならないが、入力ストリームが不適切にマーク付けされると、二つの数量が異なることがある。バッファ遅延値は、レベル２１０ｔｒａｎｓおよび２２０ｔｒａｎｓ間のＶＢＶレベルをどのように調整するかを決定するために本発明によって使用される。ＶＢＶレベル調整は、遷移クリップ中で行われる。
【００４８】
ステップ１０２５では、索引情報に関する情報が、例えば大容量記憶装置１１５や索引ライブラリ３４６に格納される。次に、方法１０００は、ステップ１０３０に進む。
【００４９】
ステップ１０３０では、さらにフレームが処理されることになっているかどうかに関する照会が行われる。照会の答がノーである場合、方法１０００は、ステップ１０４０に進み、そこで終了する。照会の答がイエスの場合、方法１０００はステップ１０３５に進む。ここで、次のフレームが待機させられる。次いで、方法１０００はステップ１０１５に進み、ここで次の待機フレームが調べられる。
【００５０】
図１１は、図３の索引ライブラリ３４６で使用するのに適したメタファイルを示す図表である。具体的には、図１１のテーブル１１００は、複数のレコード（１−５４）を含んでおり、各レコードは、対応する先頭トランスポート・パケット・フィールド１１１０、パケット化基本ストリーム識別フィールド１１２０、フレームおよびフレームタイプ識別フィールド１１３０、ＰＴＳフィールド１１４０、ＤＴＳフィールド１１５０、Ｂdフィールド１１６０、ＣＢd１１７０およびマーク付きスプライス・ポイント・フィールド１１８０に関連付けられている。
【００５１】
本発明のある実施形態では、索引生成関数３４２は、トランスポート・ストリームの受信および／またはスプライシングの前は使用されない。この実施形態では、スプライスされる各トランスポート・ストリームの少なくとも一部分の単一パス処理を用いてフレーム選択が行われ、ｆｒｏｍストリームおよびｔｏストリームに関連した幾つかのパラメータが決定される。
【００５２】
ｆｒｏｍストリームおよびｔｏストリームの双方に関して、以下のパラメータが決定される。すなわち、復号化を開始するためのシーケンス・ヘッダ（sequence_header）およびピクチャ・ヘッダ（picture_header）のトランスポート・パケット・オフセット、復号化するフレームの数、ならびに廃棄する復号化フレーム（例えば、遷移クリップに含まれるフレームを復号化するために必要なアンカー・フレーム）の数である。
【００５３】
以下のパラメータは、ｆｒｏｍストリームに関してのみ決定される。すなわち、ｆｒｏｍストリーム（すなわち、新しい出口点または出口フレーム）から再生するための最終トランスポート・パケット、および遷移クリップ中で表示するための先頭フレームのＰＴＳである。
【００５４】
以下のパラメータは、ｔｏストリームに関してのみ決定される。すなわち、遷移クリップにコピーするためのＩフレームに関する開始および終了トランスポート・パケット、遷移クリップにコピーするための残りのＧＯＰに関する開始および終了トランスポート・パケット、ｔｏストリーム（すなわち、新しい入口点または入口フレーム）から再生するための先頭トランスポート・パケット、ならびにコピーされるフレームの数である。
【００５５】
更に、索引付けライブラリは、トランスポート・ストリームをパーズするのに伴ってＭＰＥＧフィールドを検索するので、必要なすべての再符号化パラメータも、フレーム選択の間、保存される。
【００５６】
以下では、遷移クリップ生成関数３４４を詳細に説明する。遷移クリップを構築するプロセスは、１）どのフレームを遷移クリップに含めるのかを決定するステップと、２）遷移クリップに含めることになっているフレームを復号化するステップと、３）遷移クリップを形成するフレームを符号化または再符号化するステップと、４）遷移クリップをトランスポート符合化（すなわち、パケット化）するステップと、を備えている。
【００５７】
フレーム選択は、出力遷移クリップのサイズ、遷移を生成するのに必要な時間および再符号化ビデオの品質を最適化する観点で符号器に与えられる場所制約に影響を及ぼす。ここで述べるフレーム選択方法は、フレーム・カウントを低減し、品質の大きなロスなしでビデオを再符号化するのに十分な遷移時間を依然として与えつつ、フレーム依存度の問題を解決する。
【００５８】
符号化または再符号化ステップは、通常、遷移クリップ生成関数３４４のなかで最も時間を消費するステップなので、再符号化するフレームの数を減らすことは時間を節約することになる。しかしながら、遷移クリップを作成する主要な理由の一つは、スプライスされている二つのトランスポート・ストリーム間のＶＢＶレベルの差を一致させることであるので、フレーム・カウントを削減すると、符号器は、ＶＢＶレベルを調節しながらビデオ品質を維持することがより困難になる（これは、特にＶＢＶレベルを低減するときに当てはまる。というのも、フレームをより少ない数のビットで符合化しなければならないからである。）。ＶＢＶレベルを低減するためには、バッファから持ち出されるビットの数よりもバッファ中に配置されるビットの数が少なくなければならない。これは、１ピクチャあたりに（平均して）より少数のビットを使用することを符号器に要求する。
【００５９】
図４は、本発明の理解に有用な画像フレーム表示順序および画像フレーム伝送順序を示す図表である。具体的には、図４は、ビデオ・シーケンスの一部分を形成する例示の１８個の符号化イメージ・フレームの表示順序を示す第一の図表４１０と、ビデオ・シーケンスを形成する１８個のイメージ・フレームの伝送順序を示す第二の図表４２０を表している。第一の図表４１０によれば、イメージ・フレームは、グループ・オブ・ピクチャ（ＧＯＰ）構造（すなわちＩフレームの後に複数の非Ｉフレームが続く）に従って、次のように表示および符合化される（フレーム０からフレーム１７まで。ここで、フレーム０〜１４が第一ＧＯＰを形成し、フレーム１５〜１７は次のＧＯＰの一部である）。
I-B-B-P-B-B-P-B-B-P-B-B-P-B-B-I-B-B
【００６０】
しかしながら、予測復号化操作ではフレームを使用する前にフレームを受信する必要があるため（例えば、フレーム１および２はフレーム３に依存するので、フレーム３はフレーム１および２の前に送信されなければならない）、第二の図表４２０によれば、画像フレーム（０−１８）は、以下のフレーム順序で送信される。
0-3-1-2-6-4-5-9-7-8-12-10-11-15-13-14-18-16-17
【００６１】
本発明は、アウト・ストリームまたは出口ストリームとイン・ストリームまたは入口ストリームを独立に考慮することによって、ＭＰＥＧ符号化・送信機構に適用される。以下では、図５を参照しながらこの点を説明する。
【００６２】
図５は、本発明の理解に有用な画像フレーム表示順序および画像フレーム伝送順序を表す図表である。具体的には、図５は、ビデオ・シーケンスの一部を形成する例示の２４個の符合化画像フレームの表示順序を表す第一の図表５１０と、ビデオ・シーケンスを形成する２４個の画像フレームの伝送順序を表す第二の図表５２０を示している。この説明のために、図５に示されるビデオ・シーケンスは、図２の第一ストリーム２１０に関して上述したように、ｆｒｏｍストリーム・ビデオ・シーケンス（すなわち、スプライス済シーケンス中の最初に表示されるシーケンス）の一部を含んでいる。
【００６３】
具体的には、第一図表５１０については、次のようなグループ・オブ・ピクチャ（ＧＯＰ）構造（フレーム１からフレーム２４まで）に従ってイメージ・フレームが表示および符合化される。
【００６４】
【数１】
さらに、第二の図表５２０については、画像フレームが以下のフレーム順序で送信される。
【００６６】
【数２】
以下の説明のため、図５に示されるビデオ・シーケンスをフレーム１５（Ｂフレームを構成する）で出すことが望ましいと仮定する。すなわち、フレーム１５は、図５に示される出口ストリームのアウト・フレームを構成している。以下で述べるように、フレーム１０〜１５は（表示順で）復号化される。フレーム１６が伝送順ではフレーム１５の前のアンカー・フレームである点に注意すべきである。したがって、フレーム１４および１５（これらは、Ｂフレーム）を復号化する前にフレーム１６を復号化することが必要である。遷移クリップに先行するｆｒｏｍクリップ中の最後のフレームは、フレーム１３である。すなわち、ｆｒｏｍクリップは、フレーム１６の直前に出されることになる。
【００６８】
図６は、本発明の理解に有用な画像フレーム表示順序および画像フレーム伝送順序を表す図表である。具体的には、図６は、ビデオ・シーケンスの一部を形成する例示の２６個の符合化画像フレームの表示順序を表す第一の図表６１０と、ビデオ・シーケンスを形成する２６個の画像フレームの伝送順序を表す第二の図表６２０を示している。この説明のため、図６に示されるビデオ・シーケンスは、図２の第二ストリーム２２０に関して上述したように、ｔｏストリーム・ビデオ・シーケンス（すなわち、スプライス済シーケンス中で二番目に表示されるシーケンス）の一部を含んでいる。
【００６９】
具体的には、第一図表６１０については、次のようなグループ・オブ・ピクチャ（ＧＯＰ）構造（フレーム１からフレーム２６まで）に従ってイメージ・フレームが表示および符合化される。
【００７０】
【数３】
さらに、第二の図表５２０については、画像フレームが以下のフレーム順序で送信される。
【００７２】
【数４】
以下の説明のため、図６に示されるビデオ・シーケンスをフレーム１５（Ｂフレームを構成する）で入れることが望ましいと仮定する。すなわち、フレーム１５は、図６に示される入口ストリームのイン・フレームを構成する。以下で述べるように、フレーム１０〜１８は、（表示順で）復号化される。ｔｏストリームから表示される第一フレームがフレーム２５（遷移クリップに含まれないＩフレーム）である点に注意すべきである。
【００７４】
図７は、遷移ストリームまたは遷移クリップを生成する方法を示すフローチャートである。具体的には、図７は、図３の再生放送サーバ１１０の遷移クリップ生成関数３４４で使用するのに適した方法７００のフローチャートを示している。
【００７５】
方法７００は、ステップ７０５から開始する。ここでは、「ｆｒｏｍストリーム」および「ｔｏストリーム」に注釈がつけられる。すなわち、スプライス・ポイントより前の情報を提供する情報ストリーム（ｆｒｏｍストリーム）とスプライス・ポイントより後の情報を提供する情報ストリーム（ｔｏストリーム）には、索引生成関数３４２に関して上述したような種々のフレーム・パラメータをフレームごとに識別するために注釈が付けられる。情報ストリームに注釈をつける方法は、図１０を参照しながら上述した。この方法７００は、次にステップ７１０に進む。
【００７６】
ステップ７１０では、ｆｒｏｍストリームのうち出口フレームの前に位置する部分が復号化される。すなわち、出口フレーム（つまり、表示されるｆｒｏｍストリーム内の最後の情報フレーム）を含むｆｒｏｍストリーム内の複数の情報フレームが復号化される。方法７００は、この後、ステップ７１５に進む。
【００７７】
ステップ７１５では、ｔｏフレームのうち入口フレームから開始する部分が復号化される。すなわち、入口フレーム（すなわち、表示されるｔｏストリームの最初のフレーム）から始まるｔｏストリームの内の情報フレームが復号される。次いで、方法７００は、ステップ７５０に進む。
【００７８】
ステップ７２０では、ｆｒｏｍストリームおよびｔｏストリームの復号化部分が再符号化され、遷移クリップまたは遷移ストリームが生成される。これは、ｆｒｏｍストリームおよびｔｏストリームに関連付けられたビデオ情報やオーディオ情報等を含むトランスポート・ストリームを含んでいる。
【００７９】
図７の方法７００によって生成される遷移ストリームまたは遷移クリップは、図１および図３の再生放送サーバ１１０等によってｆｒｏｍストリームおよびｔｏストリーム間の遷移として使用される。
【００８０】
Ａ．フレーム選択
遷移クリップまたは遷移ストリームを構築するプロセスの第一のステップは、どのフレームを遷移クリップに含めるかを判断するステップ（すなわち、フレーム選択プロセス）を構成する。
【００８１】
図８は、ｆｒｏｍストリーム内のどの情報フレームが遷移ストリーム内に含まれるべきかを判断する方法のフローチャートを示している。図８の方法８００は、図７の方法７００のステップ７１０を実施する際に使用するのに適している。
【００８２】
方法８００は、ステップ８０５から開始する。ここでは、ｆｒｏｍストリームの出口フレームが特定される。ｆｒｏｍストリームの出口フレームは、スプライス・ポイントの前に表示されるｆｒｏｍストリーム内の最後のフレームである。例えば、図５に示されるｆｒｏｍストリームを参照すると、出口フレーム（フレーム１５）は、フレーム５１３として示されるＢフレームを構成する。次いで、方法８００は、ステップ８１０に進む。
【００８３】
ステップ８１０において方法８００は、表示順で出口フレームおよび直前の非アンカー・フレームを復号化する。すなわち、再び図５を参照すると、出口フレーム（フレーム１５）および直前の非アンカー・フレーム（フレーム１１、１２、１３および１４）が復号化される。フレーム１１、１２および１３がフレーム１０を用いて予測されるので、フレーム１０を復号化することも必要である。しかしながら、フレーム１１〜１３が復号化された後は、復号化フレーム１０を廃棄してもよい。すなわち、表示順で出口フレームに先行するＩフレームから出口フレームまで（出口フレームも含む）のすべてのフレームが復号化される。Ｉフレームはフレーム依存性を有しない（すなわち、他のフレームを先に復号化することなく復号化することができる）ので、Ｉフレームから開始することが必要である。この後、方法８００は、ステップ８１５に進む。
【００８４】
ステップ８１５では、出口フレームがＢフレームであるか否かに関して照会が行われる。ステップ８１５での照会の答がＮＯの場合、この方法はステップ８２０に進む。ステップ８１５での照会の答がＹＥＳの場合、この方法８００はステップ８２５に進む。
【００８５】
ステップ８２０では、出口フレームがＩフレームかＰフレームであることから、遷移ストリーム・フレームの前に表示される最後のｆｒｏｍストリーム・フレーム（すなわち遷移フレーム）は、伝送順で出口フレームの直前に位置するフレームである。すなわち、図５に示されるｆｒｏｍストリームのフレーム１５がＢフレームでなく、ＰフレームまたはＩフレームであったならば、表示される最後のｆｒｏｍストリーム・フレームはフレーム１４であったであろう。出口フレームがＩフレームまたはＰフレームである場合は、フレーム依存性および再順序づけによって、次のアンカー・フレームの直前（すなわち、出口フレームに依存する全てのＢフレームの後）にトランスポートを残すことが可能になる。これは再符号化するフレームの数を減らすが、遷移のためにＶＢＶレベルを調整する機会も減らす。次に、方法８００は、ステップ８３０に進む。
【００８６】
ステップ８２５では、出口フレームがＢフレーム（例えば、図５に示されるｆｒｏｍストリーム中の出口フレーム）である場合、表示される最後のｆｒｏｍストリーム・フレームは、伝送順で前アンカー・フレームの直前に位置するフレームである。ここで図５を参照すると、出口フレームに対する前アンカー・フレームは、Ｐフレーム（フレーム１３）である。図５に示される２４フレーム・シーケンスのうち送信されるべき最後のフレームはＢフレーム１２であるが、表示されるべき最後のフレームはＰフレーム１３である点に注意する必要がある。この後、方法８００は、ステップ８３０に進む。
【００８７】
ステップ８３０では、最後のｆｒｏｍストリーム・フレーム（例えば、図５でフレーム１２として示されるＢフレーム）の後に表示順で続く復号化フレームが、遷移クリップに格納される。遷移ストリームまたはクリップは、ｔｏストリームからのフレームも含む点に留意する必要がある。遷移クリップ内に格納された全てのフレームは、その後、再符号化され、符合化遷移クリップまたは遷移ストリームを形成する。
【００８８】
図９は、ｔｏストリーム内のどの情報フレームが遷移ストリーム内に含まれるべきかを判断する方法のフローチャートを示している。具体的には、図９の方法９００は、図７の遷移ストリーム生成方法７００のステップ７１５を実施する際に使用するのに適している。
【００８９】
方法９００は、ステップ９０５から開始する。ここでは、ｔｏストリームの入口フレームが特定される。ｔｏストリームの入口フレームは、スプライス・ポイントの後に表示されるｔｏストリーム内の最初のフレームである。例えば、図６に示されるｔｏストリームを参照すると、入口フレーム（フレーム１５）は、Ｂフレームを構成する。次に、方法９００は、ステップ９１０に進む。
【００９０】
ステップ９１０では、入口フレームおよび表示順で次のＩフレームの前に現れる全てのフレームが復号化される。すなわち、図６を参照すると、入口フレーム（フレーム１５）および次のＩフレーム（フレーム１９）の前に現れる全てのフレーム（すなわち、フレーム１６、１７および１８）が復号化される。図６に示されるｔｏストリーム・ビデオ・シーケンス中のフレーム１７および１８は、次のＩフレーム（フレーム１９）からの情報を用いて予測されるので、次のＩフレームを復号化することも必要である。しかしながら、フレーム１７および１８が復号化されたあとは、復号化フレーム１９を廃棄してもよい。次いで、方法９００は、ステップ９１５に進む。
【００９１】
ステップ９１５では、次のＩフレーム（例えば、ビデオ・シーケンス６１０のフレーム１９）が遷移クリップにコピーされる。すなわち、ｔｏストリームを形成するトランスポート・パケット内のビデオ情報（すなわち、ビデオ基本ストリーム情報）がトランスポート・パケットから抽出され、遷移クリップへコピーされる。符号器からの出力を遷移クリップに直接コピーできるように符号器の出力がビデオ基本ストリーム（ＶＥＳ）である点に注意する。遷移クリップは、引き続きパケット化される。この後、方法９００は、ステップ９２０に進む。
【００９２】
ステップ９２０では、次のＩフレーム（例えばフレーム２５）と後続のＩフレーム（フレーム１９）との間のフレーム（例えばフレーム２０〜２２）も、伝送順で遷移クリップにコピーされる。ステップ９１５および９２０で遷移クリップにコピーされるフレーム（例えばフレーム１９〜２１）は、符合化フレームとして遷移クリップにコピーされる点に注意しなければならない。このように、方法９００は、入口フレームおよび次のＩフレームの前に現れる全てのフレームを含むフレーム、ならびに次のＩフレームおよび次のＩフレームと後続のＩフレームとの間の全てのフレームを含む符合化フレームを遷移クリップ復号器に与える。
【００９３】
図８の方法８００および図９の方法９００は、遷移クリップで使用するための対応ｆｒｏｍストリームおよびｔｏストリーム・ビデオ部分を提供する。具体的には、図５および図６を参照すると、遷移クリップは、ｆｒｏｍストリーム・フレーム１６、１４、１５（伝送順）と、ｔｏストリーム・フレーム１５、１９、１７、１８、２２、２０および２１（伝送順）を含んでいる。フレーム１７、１８、２２、２０および２１は遷移クリップにコピーされただけである点に注意する必要がある。
【００９４】
図８および図９を参照して上述したｆｒｏｍストリームおよびｔｏストリーム・フレーム選択方法は、遷移ストリーム・フレームとｆｒｏｍストリームおよびｔｏストリームの一方または双方のフレームとの間のフレーム依存性を考慮している。以下の制約を守る必要がある。遷移クリップは、クローズドＧＯＰ構造として符合化される。すなわち、遷移クリップは、自立型ビデオクリップ（self-contained video clip）である。出されているトランスポート・ストリームは、遷移クリップ中のフレームを参照することはない。入れられているトランスポート・ストリームがオープンＧＯＰ構造を使用して符号化される場合、そのトランスポート・ストリームは、遷移クリップ中のフレームを参照するフレームを含んでいてもよい。
【００９５】
本発明の重要な点は、遷移クリップ内に含まれるフレームのフレーム依存性を適切に取り扱う遷移クリップの処理である。フレーム依存性は、例えば、遷移クリップの外側からアンカー・フレームを使用して復号化しなければならない遷移クリップ（すなわち、ＰフレームまたはＢフレーム）内で予測フレームを構成する。外部フレーム依存性のない遷移クリップ（すなわち「自立型」クリップ）を生成することが望ましいが、本発明は、このようなフレーム依存性を備えるＭＰＥＧ準拠遷移クリップを作成することも可能である。
【００９６】
ここで図５を参照すると、例示の２４フレーム・ビデオ・シーケンス５１０、５２０は、Ｂフレームである出口フレーム１５を有する出口ストリームまたはアウト・ストリームを含んでいる。このように遷移クリップは、表示順で、出口ストリームのフレーム１５〜１８を含んでいる。遷移クリップ中で再符号化フレームの直後のＧＯＰ構造が修正されていることに注意しなければならない。具体的には、図６を参照すると、例示の２６フレーム・ビデオ・シーケンス６１０、６２０は、Ｂフレームである入口フレーム１５を有する入口ストリームまたはイン・フレームを備えている。さらに、出口ストリーム６１０、６２０では、フレームＩ１９でのＧＯＰは、シーケンスＩ１９、Ｂ１７、Ｂ１８、Ｐ２２、Ｂ２０から開始する。
【００９７】
しかしながら、遷移ストリームでは、フレーム１７および１８が移動させられて再符号化されているので、新しいＧＯＰは、Ｉ１９、Ｐ２２、Ｂ２０、Ｂ２１から開始する。したがって、入口ストリームのフレーム１７および１８は、入口ストリームに入るとき、フレーム依存性を壊すために再符号化される。しかしながら、これはＧＯＰ再構築という結果となるので、再符号化フレームの後の最初のＧＯＰの時間基準フィールドは、再スタンプ付け（リスタンプ）されなければならない。これらのフレームは、クリップＢのオリジナル・コピーに影響を及ぼすことなく再スタンプ付けできるように遷移クリップにコピーされる。
【００９８】
Ｂ．復号化
遷移クリップまたは遷移ストリームを構築するプロセス中の第二のステップは、フレーム選択プロセスで選択されたフレームを復号化するステップを構成する。選択されたフレームの復号化は、標準的なハードウェアまたはソフトウェア復号化技術を使用して行うことができる。
【００９９】
本発明のある実施形態では、特殊用途復号器を使用して復号化プロセスを行う。具体的には、本発明者は、復号器を修正して遷移ビルダ・フレームワーク内で次のように動作するようにした。第一に、復号器は、ビデオ基本ストリーム（ＶＥＳ）しか復号化できなかった。この復号器は、トランスポート・ストリームからビデオを復号化するように修正された。
【０１００】
第二に、個別の初期化、単一フレーム復号化およびシャットダウンを提供するように、ラッパ（wrapper）のレイヤが追加された。新しい初期化方法は、この改良型復号器が、最も近いシーケンス・ヘッダのトランスポート・パケット・オフセットおよび復号化を開始する実際の位置を提供することにより、トランスポート・ストリーム中の任意のＩフレームで復号化を開始できるようにする。多くの環境では幾つかのフレームが廃棄されるので、単一フレーム復号化は有用である。このように、改良復号器は、所望のフレームを復号する前に復号化されて復号器出力ストリームから除去されるフレームを廃棄することができる。
【０１０１】
第三に、単一遷移クリップを構築する関係で改良復号器が２回使用される（スプライスされている各トランスポート・ストリームについて１回）ため、復号器がその最初の使用の後に適切にシャットダウンされるようにすることが有用と思われた。
【０１０２】
最後に、ファイル・システム・オーバーヘッドおよびコード複雑性を低減するように、改良復号器出力の出力は、全ての復号化フレームを単一のＹＵＶフォーマット済ファイル中に保存するようにされた。通常のＭＰＥＧツールは、各フレームを個別のファイルに格納するか、あるいはＹ、ＵおよびＶコンポーネントを個々のファイルに分割する。このように、改良復号器は、ビデオ・スプライシング動作に理想的に適合している。
【０１０３】
どのフレームが復号化されることになっているかに関わらず、Ｉフレームから復号化が始まらなければならない点に注意する必要がある。ＭＰＥＧ符号化における予測の使用のアーチファクトとして、全ての非Ｉフレームは、最終的に前のＩフレームに依存している。上記のフレーム選択方法は、トランスポート・ストリーム間でフレーム精度の高いシームレスなスプライシングを可能にするために、これらの依存性を断ち切る。
【０１０４】
Ｃ．符号化
遷移クリップまたは遷移ストリームを構築するプロセスの第三のステップは、フレーム選択および復号化プロセスから得られる復号化フレームを符合化するステップを構成する。選択されたフレームの符号化は、標準的なハードウェアまたはソフトウェア復号化技術を使用して行うことができる。
【０１０５】
（上述したような）フレーム依存性を断ち切ることに加えて、遷移クリップを生成するときの主目的の一つは、得られるスプライス済トランスポート・ストリームを処理する遠端復号器が、オーバフロー、アンダーフロー、その他の望ましくない復号器バッファ・メモリ動作を起こさないように、ｆｒｏｍストリームおよびｔｏストリーム間のＶＢＶレベルを調整することである。例えば、ｆｒｏｍストリームの出口点におけるＶＢＶレベルがｔｏストリームの入口点におけるＶＢＶレベルより低い場合、スプライスの下流でアンダーフローが生じる可能性がある。これは、通常の復号器では、データが利用可能になるのを復号器が待つ間、「フリーズ・フレーム（freeze frame）」を生じさせることになる。ｆｒｏｍストリームの出口点におけるＶＢＶレベルがｔｏストリームの入口点のＶＢＶレベルより高い場合は、さらに重大な問題が発生する。これは、スプライスの下流にＶＢＶオーバーフローを生じさせる可能性がある。オーバーフローは、バッファ可能な量よりも多くのデータが利用可能なときに発生する。オーバーフローは、ロスト・データや破損データを生み出し、通常、復号化ピクチャ中に視覚的アーチファクトを引き起こすうえ、復号器をリセットさせる可能性もある。
【０１０６】
選択されたフレームがベースバンドに復号化されたあと、これらのフレームはＶＥＳに再符号化される。本発明者は、高い全体性能、画質およびモジュール性を確保するためにサーノフ社ＤＴＶ／ＭＰＥＧ−２ソフトウェア符号器を使用した。符号器のレート制御アルゴリズムは、開始ＶＢＶレベルおよび終了ＶＢＶレベルの指定を可能にするように変更され、符号器の入力モジュールは、復号器の出力ファイル形式をサポートするようにアップデートされた。フレーム選択の間、トランスポート・ストリームからパーズされたＭＰＥＧ符号化パラメータは、再符号化ビデオがスプライスされているクリップと確実に互換性を有するように符号器に引き渡される。
【０１０７】
レート制御（これは、遷移クリップの再符号化部分の全体的な画質を最終的に決定する）に関しては、ＶＢＶレベルを上方に調節すると、選択されたフレームは、原ストリームよりも少ないビットを用いて符号化される。ＶＢＶレベルを高くすると、得られる出力の品質にある程度のロスが生じることがあるが、人間視覚システムにおけるマスキングにより、シーン変更時のビデオ品質のわずかな劣化は、視聴者が知覚できないことが多い。本発明者は、フレーム精度の高いシームレスなスプライスを含むストリームに与えられるこのような視覚的劣化は、知覚可能なレベルのビデオ劣化を生じないと判断した。
【０１０８】
本発明のある実施形態では、ｆｒｏｍストリームおよびｔｏストリームの各々は、対応するビデオ・バッファリング・ベリファイア（ＶＢＶ）を有するトランスポート・ストリームを含んでいる。本発明は、ｆｒｏｍストリームＶＢＶおよびｔｏストリームＶＢＶ間に差が存在するか否かを判断し、この判断結果によっては必要に応じて再符号化プロセスをこのような差に適応させる。例えば、本発明は、ｆｒｏｍストリームＶＢＶがｔｏストリームＶＢＶを第一のスレッショルドレベル以上、上回っているという判断に応じてレート制御ビット割当てを増加し、ｔｏストリームＶＢＶがｆｒｏｍストリームＶＢＶを第二のスレッショルドレベル以上、上回っているという判断に応じて、レート制御ビット割当てを減少させることにより、再符号化プロセスを調整することができる。
【０１０９】
Ｄ．パケット化
遷移クリップまたは遷移ストリームを構築するプロセスの第四のステップは、フレーム選択および復号化プロセスから生じる復号化フレームを符合化するステップを構成する。
【０１１０】
選択されたフレームを再符号化した後、ｔｏストリームからコピーされた残りのＧＯＰとＩフレームは、再符号化ＶＥＳに追加される。temporal_referenceフィールドのリスタンプの間、得られる遷移クリップは、構文的に完全なＭＰＥＧ２ストリーム（sequence_end_codeを有していないことを除く）を備えており、遷移における全てのフレームを含んでいる。最後のステップは、ＶＥＳをトランスポート・ストリームにパケット化することである。
【０１１１】
遷移ストリームのパケット化の第一のステップは、遷移ストリームをパーズして、各フレームの先頭（sequence_headerかpicture_headerのいずれか）のオフセットおよび遷移ストリーム内のフレームの種類を検出することである。このデータが利用可能になると、フレーム間の依存度が計算され、フレーム表示順序が決定される。temporal_referenceフィールドは、ＧＯＰ再構築のために現在無効であるので、この目的のためには不適当である点に注意する必要がある。
表示順序が決定されると、temporal_referenceフィールドがリスタンプされ、供給タイムスタンプ（ＰＴＳ）および復号タイムスタンプ（ＤＴＳ）が遷移ストリーム中の各フレームに対して計算される。
【０１１２】
ＭＰＥＧ２規格ではトランスポート・ストリーム内の時間的不連続性が許される点に留意する必要がある。しかしながら、一部の復号器がＭＰＥＧ２規格に完全に準じるわけではないので、トランスポート・ストリーム内のこのような許容時間不連続性は、不適切な復号器動作を生じさせることになる。したがって、リスタンプ・プロセスの使用によってトランスポート・ストリーム内のこのような時間的不連続性を取り除くことが望ましい。
【０１１３】
リスタンプ・プロセスの出力を使用してＰＥＳヘッダが生成され、フレームがＰＥＳストリームに出力される。各ＰＥＳヘッダの位置および各ＰＥＳパケットのサイズは、このプロセスの間、記録される。最後に、ＰＥＳパケットを保持するためにトランスポート・パケットが生成される。パケットの各レイヤは、ＴＳにオーバーヘッドを加え、わずかなサイズの増加をもたらす。得られるＴＳ中のパケットは、スプライスされているビデオストリームのＰＩＤを用いてスタンプ付けされる。パケット化プロセスの最終的な出力は、単一のＶＥＳを含むＴＳである。ストリームは、プログラム特定情報（ＰＳＩ）を含まない。
【０１１４】
Ｅ．再多重化
遷移クリップまたは遷移ストリームを構築するプロセスの最後のステップは、原プログラム・ストリームからのプログラム特定情報（ＰＳＩ）を用いてビデオ・クリップ（現在はトランスポート・ストリーム）を再多重化するステップを構成する。
【０１１５】
この再多重化ステップを達成するために、ｆｒｏｍストリームが調べられ、プログラム・アソシエーション・テーブル（ＰＡＴ）およびプログラム・マップ・テーブル（ＰＭＴ）の単一の例が（トランスポート・パケットとして）抽出される。単一のプログラム・トランスポート・ストリームをスプライスする場合では、一つのＰＭＴしか存在しない。複数のプログラム・トランスポート・ストリームをスプライスする場合は、複数のＰＭＴが存在することになる。任意であるが、ＡＴＳＣ放送形式を完全に実施するためには、（当業者に知られているように）他のテーブルを抽出することも必要である。
【０１１６】
ＰＡＴおよびＰＭＴを抽出した後、遷移クリップ中のパケットの数は、多重ビットレート、遷移クリップ中のフレーム数およびフレーム・レートに基づいて計算される。例えば、ＡＴＳＣ仕様は、少なくとも１００ｍｓごとに一つのＰＡＴを必要とし、少なくとも４００ｍｓごとに一つのＰＭＴを必要とする。ＰＡＴおよびＰＭＴテーブル間のパケットの数は、多重ビットレートから決定される。
【０１１７】
遷移クリップ中のパケットの数を計算した後、ヌル・トランスポート・パケットから構成されるブランク遷移クリップが生成され、ＰＡＴおよびＰＭＴテーブルが、算出された間隔（例えば、ＰＡＴは１００ｍｓごと、ＰＭＴは４００ｍｓごと）で挿入される。
【０１１８】
ブランク遷移ストリーム中にＰＡＴおよびＰＭＴを適切に挿入した後、残りの利用可能なパケット内でパケットを間隔をおいて配置することにより、ビデオ・トランスポート・ストリームがブランク遷移ストリーム中に挿入され、それによって出力トランスポート・ストリームが形成される。
【０１１９】
空の遷移クリップにＰＡＴ、ＰＭＴおよびビデオ・パケットを挿入するときは、新しいcontinuity_counterを用いて各パケットをリスタンプすべきである点に留意する必要がある。continuity_counterの開始値は、出口ストリームまたはｆｒｏｍストリームからの各ＰＩＤに対して独立に決定される。ビデオ・クリップがあまりに大きい場合は、期待されるクリップ持続時間を基準として遷移クリップのサイズが計算されることから、遷移クリップ中に十分なトランスポート・パケットが存在しないことになる。この計算は、フレーム・カウント、フレーム・レート、ＶＢＶ遅延、多重ビットレートなどを考慮に入れる。ＶＢＶ調整が符号器によって適切に行われることが重要である。
【０１２０】
この後、完成した遷移クリップは、算出されたトランスポート・パケット・オフセットでスプライス済トランスポート・ストリームの間に挿入され、これによって、シームレスなスプライスが実行される。他の多重化方法を使用できる点に留意する必要がある。
【０１２１】
トランスポート・ストリーム内のビデオストリームのシームレスなスプライスは、トランスポート・ストリーム内のオーディオ・ストリームに関する品質の、ある程度の犠牲を必要とする可能性がある点に注意する。オーディオ品質の劣化を最小限に抑えるため、遷移クリップ生成関数３４４は、得られるスプライス済トランスポート・ストリームが偽のオーディオ情報を含まないように、壊れたオーディオ・パケットを任意で取り除いてもよい。オーディオ・パケットおよびビデオ・パケットは、通常、トランスポート・ストリーム内の物理的な位置によってではなく供給タイムスタンプ情報によって同期させられるので、このような除去は有用である。このように、ストリームをスプライスするときにオーディオ情報が失われることがありうる。この問題に対する一つの対策は、米国特許出願第０８／８６４３２２号（１９９７年５月２８日出願）に記述されている。この出願の全体は、参照文献として本明細書に組み込まれる。
【０１２２】
遷移クリップビルダの場合、壊れたオーディオ・パケットが確実に除去され、オーディオ遷移が確実にクリーンになるように調整が行われるが、これは本実施形態のオーディオ処理の限界である。
【０１２３】
これまでは主として、二つのシングルプログラム・トランスポート・ストリーム（すなわち、映画、テレビ番組、コマーシャルなどの単一のオーディオ・ビジュアル・プログラムを含むトランスポート・ストリーム）のスプライスまたは連結との関係で本発明を説明してきた。しかしながら、当業者は、本発明がマルチプログラム・トランスポート・ストリーム間でもフレーム精度の高いシームレスなスプライシングを提供することを理解できるであろう。このようなスプライスを行うため、上記の方法は、マルチプログラム・トランスポート・ストリーム内の各プログラムに対してアウト・フレーム、イン・フレームおよび他の適切なパラメータを決定する。
【０１２４】
上記の発明は、クリップの遷移ストリームを使用してトランスポート・ストリームのシームレスでフレーム精度の高いスプライシングまたは連結を好適に提供しており、これによって全く新しいトランスポート・ストリームの構築を避けている。ｆｒｏｍストリームおよびｔｏストリームは、プロセスの間、修正されない。というのも、これらのストリームは、遷移ストリームを作り出すのに十分な情報を提供するためにしか使用されないからである。遷移ストリームは、ストリーム間に変化をもたらすために使用された後、システムによって廃棄されてもよいし、将来の使用のために保存されてもよい。
【０１２５】
注意してタイミングを考慮すべきことが幾つかある。具体的には、スプライスを行うための遷移クリップの使用は、得られる（スプライス済の）トランスポート・ストリーム内でタイミングの不連続を生じさせる。このため、本発明のある実施形態では、スプライス済情報ストリームが通信ネットワークまたはエンド・ユーザに「流される」あるいは伝達されるときにスプライス済情報ストリーム内のＰＣＲ（更に任意でＰＴＳおよびＤＴＳ）をリスタンプするために、遷移クリップ・タイムリスタンプ関数３４５が使用される。例えば、遷移クリップ・タイムリスタンプ関数３４５は、アウト・ストリームの各参照パケット（すなわち、ＰＣＲを含むパケット）をそのパケットがエンド・ユーザに伝達されているときに調べる。遷移ストリームへのスプライスの後、アウト・ストリームを流すために使用されるＰＣＲ値は、遷移ストリームで使用するために維持される。同様に、遷移ストリームからｔｏストリームへのスプライスの後、アウト・ストリームおよび遷移ストリームを流すために使用されるＰＣＲ値は、ｔｏストリームで使用するために維持される。
【０１２６】
本発明のある実施形態では、上述した種々の関数が、例えば再生放送コントローラ１２０から制御可能なソフトウェアモジュールにパッケージ化される。具体的には、遷移クリップ・ビルダ・モジュール（Transition Clip Builder module：ｔｃｂｕｉｌｄモジュール）を使用して、オペレータが再生リスト１２５内のセグメントを明示的にスケジュールし、ｔｃｂｕｉｌｄを自動的に呼び出して、やがて現れるセグメント間で遷移クリップを生成できるようにする。これらのクリップを生成するために費やされる時間は「リアルタイムに近い」ので、再生リスト内の全てのセグメントに対して遷移クリップを生成する必要は実際にはない。すなわち、遷移クリップの生成にかかる時間は、プラットフォームに依存するものの、通常、約数分未満である。（このプロセスは、クリップが別個のソフトウェアモジュール（ｔｃｉｎｄｅｘｅｒモジュール）を用いて以前に索引付けされているとすることによって改善することができる。）。この後、遷移クリップは、再生リストに挿入されるが、オペレータからは隠される。再生リスト内のセグメントの移動は、遷移クリップに対して適切な修正を与える。
【０１２７】
図１２は、ビデオ搬送トランスポート・ストリームのスプライシングが有用となるテレビジョン・スタジオやその他の環境で使用するのに適した装置を示している。具体的には、図１２のシステム１２００は、第一の復号器１２１０、第二の復号器１２２０、コントローラ１２３０、記憶モジュール１２４０、符号器１２５０、マルチプレクサ１２６０、インデクサ１２７０およびメタファイル記憶モジュール１２８０を備えている。
【０１２８】
第一復号器１２１０（例えば、ＭＰＥＧ２ビデオ復号器）は、コントローラ１２３０によって供給される制御信号ＣＤＥＣ１に応答して第一のビデオ搬送トランスポート・ストリームＳＯＵＲＣＥ１を受信し、第一ビデオ搬送トランスポート・ストリームＳＯＵＲＣＥ１の少なくとも一部を復号化して、第一の復号化出力ストリームＤＯＵＴ１を生成する。第一復号化出力ストリームＤＯＵＴ１は、記憶素子１２４０に結合される。
【０１２９】
第二復号器１２１０（例えば、ＭＰＥＧ２ビデオ復号器）は、コントローラ１２３０によって供給される制御信号ＣＤＥＣ２に応答して第二のビデオ搬送トランスポート・ストリームＳＯＵＲＣＥ２を受信し、第ニビデオ搬送トランスポート・ストリームＳＯＵＲＣＥ２の少なくとも一部を復号化して、第二の復号化出力ストリームＤＯＵＴ２を生成する。第二復号化出力ストリームＤＯＵＴ２は、記憶素子１２４０に結合される。
【０１３０】
記憶モジュール１２４０（例えば、バッファ・メモリ、ハードディスク・アレイ、その他のビデオ基本ストリームを一時的に格納するのに適したメモリ）は、コントローラ１２３０によって供給される制御信号ＣＳＴＯＲに応答して、第一および第二の復号化出力ストリームＤＯＵＴ１、ＤＯＵＴ２の一部または全部を格納する。更に、これに応じて記憶モジュール１２４０は、遷移ストリームまたは遷移クリップを表すビデオストリームＶＴを提供する。
【０１３１】
コントローラ１２３０によって供給される制御信号ＣＥＮＣに応じて、符号器１２５０は、遷移ストリームまたは遷移クリップを表すビデオストリームＶＴを符合化して、ビデオ搬送トランスポート・ストリームＴＣＬＩＰを生成する。ビデオ搬送トランスポート・ストリームＴＣＬＩＰ（これは、遷移ストリームまたはクリップを含んでいる）は、マルチプレクサ１２６０に結合される。
【０１３２】
マルチプレクサ１２６０は、符号器１２５０によって供給されるビデオ搬送トランスポート・ストリームＴＣＬＩＰに加えて、第一および第二のビデオ搬送トランスポート・ストリームＳＯＵＲＣＥ１およびＳＯＵＲＣＥ２も受信する。マルチプレクサ１２６０は、コントローラ１２３０によって供給される制御信号ＣＭＵＸに応答して、ビデオ搬送トランスポート・ストリームＳＯＵＲＣＥ１、ＳＯＵＲＣＥ２およびＴＣＬＩＰのうちの二つ以上の連結を含む出力トランスポート・ストリームＯＵＴを供給する。
【０１３３】
第一および第二のビデオ搬送ストリームＳＯＵＲＣＥ１およびＳＯＵＲＣＥ２は、それぞれインデクサ１２７０に結合される。インデクサ１２７０は、コントローラ１２３０によって生成される制御信号ＩＣに応答して、この二つのビデオ搬送トランスポート・ストリームを（既述の索引付け方法に従って）処理し、対応するメタファイルを生成する。これらのメタファイルは、信号経路ＩＮＤＥＸ＿ＯＵＴを介してメタファイル記憶モジュール１２８０に結合される。すなわち、ビデオ搬送ストリームＳＯＵＲＣＥ１およびＳＯＵＲＣＥ２の各々は、順次に、あるいは任意で同時に、インデクサ１２７０に結合される。図１１を参照して上述したように、インデクサ１２７０では、これらのストリームが処理され、対応するメタファイルが生成される。これらのメタファイルは、図１〜１１を参照して上述した方法において適切なスプライシング・パラメータを決定する際に、コントローラ１２３０（信号経路ＭＦＩＬＥを介してアクセスされる）によって使用される。
【０１３４】
本明細書では、本発明の教示を組み込んだ種々の実施形態を図示して詳細に説明してきたが、当業者は、本発明の教示を依然として組み込んだ他の多くの様々な実施形態を容易に考案することができる。
【図面の簡単な説明】
【図１】テレビジョン・スタジオの上位ブロック図である。
【図２】（ａ）および（ｂ）は、発明の理解に有用なスプライシング動作を表す図である。
【図３】図１のテレビジョン・スタジオで使用するのに適した再生放送サーバへの再生の実施形態を示す図である。
【図４】発明の理解に有用な画像フレーム表示順序および画像フレーム伝送順序の図表である。
【図５】発明の理解に有用な画像フレーム表示順序および画像フレーム伝送順序の図表である。
【図６】発明の理解に有用な画像フレーム表示順序および画像フレーム伝送順序の図表である。
【図７】遷移ストリームまたは遷移クリップを生成する方法のフローチャートである。
【図８】ｆｒｏｍストリーム内のどの情報フレームが遷移ストリーム内に含まれていなければならないかを判断する方法のフローチャートである。
【図９】ｔｏストリーム内のどの情報フレームが遷移ストリーム内に含まれていなければならないかを判断する方法のフローチャートである。
【図１０】情報ストリームに索引をつける方法のフローチャートである。
【図１１】図３の再生放送サーバに使用するのに適したメタファイルを表す図表である。
【図１２】テレビジョン・スタジオ、またはトランスポート・ストリームを運ぶビデオのスプライシングが有用な他の環境で使用するのに適した装置を示す図である。
【符号の説明】
１００…テレビジョン・スタジオ、１１０…再生放送サーバ、１１５…大容量記憶装置、１２０…再生放送コントローラ、１２５…再生リスト、１３０…インタフェース・ルータ、１４０…ネットワーク・インターフェース装置。
Claims (10)
- 第一のトランスポート・ストリーム（ｆｒｏｍストリーム）と第二のトランスポート・ストリーム（ｔｏストリーム）を連結してスプライス済トランスポート・ストリームを生成する方法であって、
前記第一トランスポート・ストリームに関して、前記スプライス済トランスポート・ストリームに含まれるべき前記第一トランスポート・ストリームの最後のフレームを表す目標アウト・フレームを決定するステップと、
前記第二トランスポート・ストリームに関して、前記スプライス済トランスポート・ストリームに含まれるべき前記第二トランスポート・ストリームの最初のフレームを表す目標イン・フレームを決定するステップと、
前記第一トランスポート・ストリームのうち前記目標アウト・フレームを含む第一の部分を復号化するステップと、
前記第二トランスポート・ストリームのうち前記目標イン・フレームを含む第一の部分を復号化するステップと、
前記第一および第二トランスポート・ストリームの前記復号化部分を符号化して、遷移トランスポート・ストリームを生成するステップと、
前記第一トランスポート・ストリームの前記第一部分、前記遷移トランスポート・ストリームおよび前記第二トランスポート・ストリームの第二の部分を指定された順序で連結するステップと、
を備え、
前記第一および第二トランスポート・ストリームの各々に索引付けするステップを更に備え、
前記索引付けステップは、
索引付けされるストリームのトランスポート層をパーズして、シーケンス・ヘッダ、ピクチャ・ヘッダおよび所定のスプライシング構文の少なくとも一つに関連付けられたパケットを識別するステップと、
索引付けされる前記ストリーム中の各フレームに関して、ピクチャ番号、ピクチャ符号化タイプ、フレーム・トランスポート・パケット番号の先頭、フレーム・トランスポート・パケット番号の末尾、プレゼンテーションタイムスタンプ（ＰＴＳ）および復号タイムスタンプ（ＤＴＳ）の少なくとも一つを決定するステップと、
を含む方法。 - 前記第一トランスポート・ストリームのうち復号化される第一の部分が、前記アウト・フレームと前記アウト・フレームから前のＩフレームまでの全ての先行フレームとを表示順に復号化するステップと、
前記アウト・フレームがＢフレームを構成している場合に、伝送順で前記前のＩフレームの直前に位置するフレームを前記遷移ストリーム中の最後の第一トランスポート・ストリーム・フレームとして定義するステップと、
前記アウト・フレームがＢフレームを構成していない場合に、前記アウト・フレームを前記遷移ストリーム中の前記最後の第一トランスポート・ストリーム・フレームとして定義するステップと、
を備える方法にしたがって決定される、請求項１記載の方法。 - 前記第二トランスポート・ストリームのうち復号化される前記第一の部分が、前記イン・フレームおよび前記イン・フレームから次のＩフレームまでの全ての非Ｉフレームを表示順に復号化するステップにしたがって決定される、請求項１記載の方法。
- 各フレームに関する前記決定が、遷移ストリームの生成において後で使用するためにメタファイルに格納される、請求項１記載の方法。
- グループ・オブ・ピクチャ（ＧＯＰ）情報構造にしたがって配列されたＩフレームと、ＰフレームおよびＢフレームの一方または双方とを含むビデオ情報ストリームを処理するシステムにおいて遷移ストリームを生成する方法であって、
前記遷移ストリームは、ｆｒｏｍストリームとｔｏストリームの連結に使用することができ、前記ｆｒｏｍストリームのうち出口フレームの前に位置する部分を復号化するステップと、
前記ｔｏストリームのうち入口フレームから開始する部分を復号化するステップと、
前記ｆｒｏｍストリーム復号化部分およびｔｏストリーム復号化部分を再符号化して前記遷移ストリームを形成するステップと、
を備え、
前記ｆｒｏｍストリーム及び前記ｔｏストリームの各々に索引付けするステップを更に備え、
前記索引付けステップは、
索引付けされるストリームのトランスポート層をパーズして、シーケンス・ヘッダ、ピクチャ・ヘッダおよび所定のスプライシング構文の少なくとも一つに関連付けられたパケットを識別するステップと、
索引付けされる前記ストリーム中の各フレームに関して、ピクチャ番号、ピクチャ符号化タイプ、フレーム・トランスポート・パケット番号の先頭、フレーム・トランスポート・パケット番号の末尾、プレゼンテーションタイムスタンプ（ＰＴＳ）および復号タイムスタンプ（ＤＴＳ）の少なくとも一つを決定するステップと、
を含む方法。 - テレビジョン・スタジオにおいて、ビデオ情報を含むトランスポート・ストリームをスプライスする装置であって、
ｆｒｏｍストリームのうち出口フレームの前に位置する末尾部分を復号化する第一の復号器と、
ｔｏストリームのうち入口フレームから開始する先頭部分を復号化する第二の復号器と、
前記ｆｒｏｍストリーム復号化部分およびｔｏストリーム復号化部分を再符号化して前記遷移ストリームを形成する符号器と、
を備え、
ストリームのトランスポート層をパーズして、シーケンス・ヘッダ、ピクチャ・ヘッダおよび所定のスプライシング構文の少なくとも一つに関連付けられたトランスポート・パケットを識別するインデクサであって、索引付けされる前記ストリーム中の各フレームに関して、ピクチャ番号、ピクチャ符号化タイプ、フレーム・トランスポート・パケット番号の先頭、フレーム・トランスポート・パケット番号の末尾、プレゼンテーションタイムスタンプ（ＰＴＳ）および復号タイムスタンプ（ＤＴＳ）の少なくとも一つを決定するインデクサを更に備える装置。 - 前記ｆｒｏｍストリームの先頭部分、前記遷移ストリームおよび前記ｔｏストリームの末尾部分を指定された順序で連結するマルチプレクサを更に備える請求項６記載の装置。
- 前記インデクサに作動可能に結合され、前記インデクサに前記ｆｒｏｍストリームおよび前記ｔｏストリームの各々を処理させるコントローラであって、識別された前記トランスポート層およびフレーム情報を利用して前記ｆｒｏｍストリームおよび前記ｔｏストリームの前記先頭部分および末尾部分を定めるコントローラを更に備える請求項６記載の装置。
- 前記ｆｒｏｍストリームおよび前記ｔｏストリームの各々が、対応するビデオ・バッファリング・ベリファイア（ＶＢＶ）パラメータに関連付けられており、前記コントローラは、前記ｆｒｏｍストリームＶＢＶパラメータと前記ｔｏストリームＶＢＶパラメータとの間に差が存在するか否かを判断し、これに応じて前記符号器の動作を調整する、請求項８記載の装置。
- 前記コントローラは、前記ｆｒｏｍストリームＶＢＶパラメータが前記ｔｏストリームＶＢＶパラメータを第一スレッショルドレベル以上、上回っているという判断に応じてレート制御ビット割当てを増加することにより、あるいは前記ｔｏストリームＶＢＶパラメータが前記ｆｒｏｍストリームＶＢＶパラメータを第二のスレッショルドレベル以上、上回っているという判断に応じて前記レート制御ビット割当てを低減することにより、前記符号器の動作を調整する、請求項９記載の装置。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10169698P | 1998-09-25 | 1998-09-25 | |
| US11506499P | 1999-01-07 | 1999-01-07 | |
| US60/115064 | 1999-07-02 | ||
| US09/347213 | 1999-07-02 | ||
| US60/101696 | 1999-07-02 | ||
| US09/347,213 US6912251B1 (en) | 1998-09-25 | 1999-07-02 | Frame-accurate seamless splicing of information streams |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000188759A JP2000188759A (ja) | 2000-07-04 |
| JP4503739B2 true JP4503739B2 (ja) | 2010-07-14 |
Family
ID=27379225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27263999A Expired - Lifetime JP4503739B2 (ja) | 1998-09-25 | 1999-09-27 | 情報ストリームの高フレーム精度シームレス・スプライシング |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6912251B1 (ja) |
| EP (1) | EP0989756A3 (ja) |
| JP (1) | JP4503739B2 (ja) |
Families Citing this family (66)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4503858B2 (ja) * | 1999-04-14 | 2010-07-14 | ライト チャンス インコーポレイテッド | 遷移ストリームの生成／処理方法 |
| JP4595150B2 (ja) * | 1999-12-20 | 2010-12-08 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム格納媒体 |
| US7096481B1 (en) * | 2000-01-04 | 2006-08-22 | Emc Corporation | Preparation of metadata for splicing of encoded MPEG video and audio |
| GB0007868D0 (en) * | 2000-03-31 | 2000-05-17 | Koninkl Philips Electronics Nv | Methods and apparatus for editing digital video recordings and recordings made by such methods |
| JP2002064794A (ja) * | 2000-08-18 | 2002-02-28 | Sony Corp | 多重化装置および方法、画像出力装置および方法、並びに記録媒体 |
| US20030223735A1 (en) * | 2001-02-28 | 2003-12-04 | Boyle William B. | System and a method for receiving and storing a transport stream for deferred presentation of a program to a user |
| DE10126790A1 (de) * | 2001-06-01 | 2003-01-02 | Micronas Munich Gmbh | Verfahren und Vorrichtung zur Darstellung von wenigstens zwei Bildern in einem Gesamtbild |
| US7096488B1 (en) * | 2001-10-19 | 2006-08-22 | Cisco Technology, Inc. | Methods and apparatus for facilitating network splicing |
| US20090282444A1 (en) * | 2001-12-04 | 2009-11-12 | Vixs Systems, Inc. | System and method for managing the presentation of video |
| US7149247B2 (en) * | 2002-01-22 | 2006-12-12 | Microsoft Corporation | Methods and systems for encoding and decoding video data to enable random access and splicing |
| FI114433B (fi) * | 2002-01-23 | 2004-10-15 | Nokia Corp | Otossiirtymän koodaaminen videokoodauksessa |
| US20030206596A1 (en) * | 2002-05-03 | 2003-11-06 | David Carver | Multimedia content assembly |
| US20040146211A1 (en) * | 2003-01-29 | 2004-07-29 | Knapp Verna E. | Encoder and method for encoding |
| US7266147B2 (en) * | 2003-03-31 | 2007-09-04 | Sharp Laboratories Of America, Inc. | Hypothetical reference decoder |
| JP3677779B2 (ja) | 2003-04-04 | 2005-08-03 | ソニー株式会社 | 情報処理装置および方法、プログラム、並びに記録媒体 |
| US9286214B2 (en) * | 2003-06-06 | 2016-03-15 | Arris Enterprises, Inc. | Content distribution and switching amongst data streams |
| US9456243B1 (en) | 2003-06-06 | 2016-09-27 | Arris Enterprises, Inc. | Methods and apparatus for processing time-based content |
| US20050094965A1 (en) * | 2003-09-05 | 2005-05-05 | Chen Jing Y. | Methods and apparatus to improve the rate control during splice transitions |
| US7609762B2 (en) * | 2003-09-07 | 2009-10-27 | Microsoft Corporation | Signaling for entry point frames with predicted first field |
| US7839930B2 (en) * | 2003-11-13 | 2010-11-23 | Microsoft Corporation | Signaling valid entry points in a video stream |
| US8213779B2 (en) * | 2003-09-07 | 2012-07-03 | Microsoft Corporation | Trick mode elementary stream and receiver system |
| US7924921B2 (en) * | 2003-09-07 | 2011-04-12 | Microsoft Corporation | Signaling coding and display options in entry point headers |
| US7852919B2 (en) * | 2003-09-07 | 2010-12-14 | Microsoft Corporation | Field start code for entry point frames with predicted first field |
| GB0413723D0 (en) | 2004-06-18 | 2004-07-21 | Nds Ltd | A method of dvr seamless splicing |
| JP4174728B2 (ja) | 2004-08-25 | 2008-11-05 | ソニー株式会社 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
| US8437392B2 (en) * | 2005-04-15 | 2013-05-07 | Apple Inc. | Selective reencoding for GOP conformity |
| US20060233237A1 (en) * | 2005-04-15 | 2006-10-19 | Apple Computer, Inc. | Single pass constrained constant bit-rate encoding |
| US8726325B2 (en) * | 2005-08-08 | 2014-05-13 | Telvue Corporation | Method and apparatus for scheduling delivery of video and graphics |
| US20070033633A1 (en) * | 2005-08-08 | 2007-02-08 | Princeton Server Group, Inc. | Method and apparatus for providing a transition between multimedia content |
| US8325768B2 (en) | 2005-08-24 | 2012-12-04 | Intel Corporation | Interleaving data packets in a packet-based communication system |
| US20070294719A1 (en) * | 2006-06-19 | 2007-12-20 | Jost Arthur P | Methods and apparatus for providing centralized advertisement insertion |
| US7707611B2 (en) * | 2006-07-24 | 2010-04-27 | Newport Media, Inc. | Receiver with a visual program guide for mobile television applications and method for creation |
| US8873932B2 (en) | 2007-12-11 | 2014-10-28 | Cisco Technology, Inc. | Inferential processing to ascertain plural levels of picture interdependencies |
| US8416859B2 (en) | 2006-11-13 | 2013-04-09 | Cisco Technology, Inc. | Signalling and extraction in compressed video of pictures belonging to interdependency tiers |
| US8875199B2 (en) * | 2006-11-13 | 2014-10-28 | Cisco Technology, Inc. | Indicating picture usefulness for playback optimization |
| US20090180546A1 (en) | 2008-01-09 | 2009-07-16 | Rodriguez Arturo A | Assistance for processing pictures in concatenated video streams |
| US8335266B2 (en) * | 2007-06-29 | 2012-12-18 | Cisco Technology, Inc. | Expedited splicing of video streams |
| US8804845B2 (en) | 2007-07-31 | 2014-08-12 | Cisco Technology, Inc. | Non-enhancing media redundancy coding for mitigating transmission impairments |
| US8958486B2 (en) | 2007-07-31 | 2015-02-17 | Cisco Technology, Inc. | Simultaneous processing of media and redundancy streams for mitigating impairments |
| US20090083811A1 (en) * | 2007-09-26 | 2009-03-26 | Verivue, Inc. | Unicast Delivery of Multimedia Content |
| US8270488B2 (en) * | 2007-10-15 | 2012-09-18 | Cisco Technology, Inc. | Using black detection to improve video splicing |
| US8543667B2 (en) | 2008-01-14 | 2013-09-24 | Akamai Technologies, Inc. | Policy-based content insertion |
| US8335262B2 (en) * | 2008-01-16 | 2012-12-18 | Verivue, Inc. | Dynamic rate adjustment to splice compressed video streams |
| US7849243B2 (en) * | 2008-01-23 | 2010-12-07 | Intel Corporation | Enabling flexibility of packet length in a communication protocol |
| US8416858B2 (en) | 2008-02-29 | 2013-04-09 | Cisco Technology, Inc. | Signalling picture encoding schemes and associated picture properties |
| WO2009152450A1 (en) | 2008-06-12 | 2009-12-17 | Cisco Technology, Inc. | Picture interdependencies signals in context of mmco to assist stream manipulation |
| US8705631B2 (en) | 2008-06-17 | 2014-04-22 | Cisco Technology, Inc. | Time-shifted transport of multi-latticed video for resiliency from burst-error effects |
| US8699578B2 (en) | 2008-06-17 | 2014-04-15 | Cisco Technology, Inc. | Methods and systems for processing multi-latticed video streams |
| US8971402B2 (en) | 2008-06-17 | 2015-03-03 | Cisco Technology, Inc. | Processing of impaired and incomplete multi-latticed video streams |
| EP2356812B1 (en) | 2008-11-12 | 2015-06-10 | Cisco Technology, Inc. | Processing of a video program having plural processed representations of a single video signal for reconstruction and output |
| US8743906B2 (en) * | 2009-01-23 | 2014-06-03 | Akamai Technologies, Inc. | Scalable seamless digital video stream splicing |
| US8326131B2 (en) * | 2009-02-20 | 2012-12-04 | Cisco Technology, Inc. | Signalling of decodable sub-sequences |
| US20100218232A1 (en) * | 2009-02-25 | 2010-08-26 | Cisco Technology, Inc. | Signalling of auxiliary information that assists processing of video according to various formats |
| US9565397B2 (en) * | 2009-02-26 | 2017-02-07 | Akamai Technologies, Inc. | Deterministically skewing transmission of content streams |
| US9906757B2 (en) * | 2009-02-26 | 2018-02-27 | Akamai Technologies, Inc. | Deterministically skewing synchronized events for content streams |
| US8650602B2 (en) * | 2009-02-27 | 2014-02-11 | Akamai Technologies, Inc. | Input queued content switching using a playlist |
| US8782261B1 (en) | 2009-04-03 | 2014-07-15 | Cisco Technology, Inc. | System and method for authorization of segment boundary notifications |
| US8949883B2 (en) * | 2009-05-12 | 2015-02-03 | Cisco Technology, Inc. | Signalling buffer characteristics for splicing operations of video streams |
| US8279926B2 (en) | 2009-06-18 | 2012-10-02 | Cisco Technology, Inc. | Dynamic streaming with latticed representations of video |
| US20110096846A1 (en) * | 2009-10-26 | 2011-04-28 | Santhana Chari | Advertisement insertion for video |
| WO2011160113A2 (en) | 2010-06-18 | 2011-12-22 | Akamai Technologies, Inc. | Extending a content delivery network (cdn) into a mobile or wireline network |
| KR102103903B1 (ko) * | 2013-08-13 | 2020-05-29 | 삼성전자주식회사 | 송신 장치, 수신 장치 및 그 데이터 처리 방법 |
| US9723377B2 (en) * | 2014-04-28 | 2017-08-01 | Comcast Cable Communications, Llc | Video management |
| CN105049938B (zh) * | 2015-08-31 | 2018-06-01 | 河南大学 | 一种基于Spice和内存共享的视频播放方法 |
| US10218986B2 (en) | 2016-09-26 | 2019-02-26 | Google Llc | Frame accurate splicing |
| CN110740344B (zh) * | 2019-09-17 | 2022-10-04 | 浙江大华技术股份有限公司 | 视频提取方法、装置及存储装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1997045965A1 (en) * | 1996-05-29 | 1997-12-04 | Sarnoff Corporation | Method and apparatus for splicing compressed information streams |
| WO1998032281A1 (en) * | 1997-01-21 | 1998-07-23 | Sarnoff Corporation | Information stream syntax for indicating the presence of a splice point |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69422960T2 (de) * | 1993-12-01 | 2000-06-15 | Matsushita Electric Industrial Co., Ltd. | Verfahren und Vorrichtung zum Editieren oder zur Mischung von komprimierten Bildern |
| JP2858631B2 (ja) * | 1994-06-29 | 1999-02-17 | 日本ビクター株式会社 | 画像データ編集装置及び画像データ復号装置 |
| US5534944A (en) * | 1994-07-15 | 1996-07-09 | Matsushita Electric Corporation Of America | Method of splicing MPEG encoded video |
| JP3019912B2 (ja) * | 1994-07-22 | 2000-03-15 | 日本ビクター株式会社 | 画像データ編集装置 |
| US5917988A (en) * | 1995-04-07 | 1999-06-29 | Sony Corporation | Editing apparatus, editing method and decoding apparatus for compressed video signal |
| US5802240A (en) * | 1995-04-28 | 1998-09-01 | Sony Corporation | Video editing apparatus |
| US5659539A (en) * | 1995-07-14 | 1997-08-19 | Oracle Corporation | Method and apparatus for frame accurate access of digital audio-visual information |
| US5917830A (en) * | 1996-10-18 | 1999-06-29 | General Instrument Corporation | Splicing compressed packetized digital video streams |
| US6005621A (en) * | 1996-12-23 | 1999-12-21 | C-Cube Microsystems, Inc. | Multiple resolution video compression |
| US6038000A (en) * | 1997-05-28 | 2000-03-14 | Sarnoff Corporation | Information stream syntax for indicating the presence of a splice point |
| US5982436A (en) * | 1997-03-28 | 1999-11-09 | Philips Electronics North America Corp. | Method for seamless splicing in a video encoder |
| JPH11110915A (ja) * | 1997-09-30 | 1999-04-23 | Sony Corp | 信号記録再生装置及び方法 |
| US6301428B1 (en) * | 1997-12-09 | 2001-10-09 | Lsi Logic Corporation | Compressed video editor with transition buffer matcher |
| US6104441A (en) * | 1998-04-29 | 2000-08-15 | Hewlett Packard Company | System for editing compressed image sequences |
-
1999
- 1999-07-02 US US09/347,213 patent/US6912251B1/en not_active Expired - Lifetime
- 1999-09-17 EP EP99307392A patent/EP0989756A3/en not_active Ceased
- 1999-09-27 JP JP27263999A patent/JP4503739B2/ja not_active Expired - Lifetime
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1997045965A1 (en) * | 1996-05-29 | 1997-12-04 | Sarnoff Corporation | Method and apparatus for splicing compressed information streams |
| WO1998032281A1 (en) * | 1997-01-21 | 1998-07-23 | Sarnoff Corporation | Information stream syntax for indicating the presence of a splice point |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0989756A3 (en) | 2000-10-11 |
| US6912251B1 (en) | 2005-06-28 |
| EP0989756A2 (en) | 2000-03-29 |
| JP2000188759A (ja) | 2000-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4503739B2 (ja) | 情報ストリームの高フレーム精度シームレス・スプライシング | |
| US7254175B2 (en) | Frame-accurate seamless splicing of information streams | |
| KR100725631B1 (ko) | 전이 스트림 발생 및 처리를 위한 방법 | |
| CA2366549C (en) | Method for generating and processing transition streams | |
| EP1095521B1 (en) | Method and apparatus for splicing | |
| US8743906B2 (en) | Scalable seamless digital video stream splicing | |
| US7096481B1 (en) | Preparation of metadata for splicing of encoded MPEG video and audio | |
| US6678332B1 (en) | Seamless splicing of encoded MPEG video and audio | |
| US6792047B1 (en) | Real time processing and streaming of spliced encoded MPEG video and associated audio | |
| US7227899B2 (en) | Method and system for re-multiplexing of content-modified MPEG-2 transport streams using interpolation of packet arrival times | |
| US6806909B1 (en) | Seamless splicing of MPEG-2 multimedia data streams | |
| US7031348B1 (en) | Apparatus and method of splicing digital video streams | |
| US20030206596A1 (en) | Multimedia content assembly | |
| US20060093045A1 (en) | Method and apparatus for splicing | |
| US20020172281A1 (en) | MPEG encoder control protocol for on-line encoding and MPEG data storage | |
| KR20040004678A (ko) | 디지털 비디오 전송 스트림의 스플라이싱 | |
| WO2010125582A2 (en) | Method and apparatus for splicing a compressed data stream | |
| US7693222B2 (en) | Method and system for re-multiplexing of content-modified MPEG-2 transport streams using PCR interpolation | |
| US8904426B2 (en) | Preconditioning ad content for digital program insertion | |
| Ward et al. | Seamless splicing for MPEG-2 transport stream video servers | |
| JP2823806B2 (ja) | 画像復号装置 | |
| WO2000062551A1 (en) | Frame-accurate seamless splicing of information streams | |
| CA2535457C (en) | Method and system for re-multiplexing of content-modified mpeg-2 transport streams using pcr interpolation | |
| Chen | Transport Packet Scheduling and Multiplexing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060803 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091215 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100311 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100413 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100422 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4503739 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140430 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |