JP4779024B2 - 符号化されたビデオ・ストリーム間をシームレスにスプライスするためのビデオ符号化 - Google Patents

符号化されたビデオ・ストリーム間をシームレスにスプライスするためのビデオ符号化 Download PDF

Info

Publication number
JP4779024B2
JP4779024B2 JP2008545991A JP2008545991A JP4779024B2 JP 4779024 B2 JP4779024 B2 JP 4779024B2 JP 2008545991 A JP2008545991 A JP 2008545991A JP 2008545991 A JP2008545991 A JP 2008545991A JP 4779024 B2 JP4779024 B2 JP 4779024B2
Authority
JP
Japan
Prior art keywords
encoded
video
transport stream
picture
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008545991A
Other languages
English (en)
Other versions
JP2009520413A (ja
Inventor
ディ. シュウォルツ、マイアー
ケイ. ジェンセン、ジェフリー
Original Assignee
タット・システムズ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by タット・システムズ・インコーポレイテッド filed Critical タット・システムズ・インコーポレイテッド
Publication of JP2009520413A publication Critical patent/JP2009520413A/ja
Application granted granted Critical
Publication of JP4779024B2 publication Critical patent/JP4779024B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401Monitoring of the client buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/12Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal

Description

本発明は、符号化された第1のビデオ・ストリーム中に、符号化された第2のビデオ・ストリームからのビデオ・コンテンツをスプライシングする方法に関する。
図1を参照すると、国内衛星アグリゲータなどのテレビジョン・プログラム作成プロバイダは、通常、連続的な1組のプログラム作成信号(「ネットワーク・フィード」としても知られている)を作成して、サービス・プロバイダにより、ビデオ送信ネットワーク5を介して閲覧している広範囲な視聴者に配信する。プログラム作成信号は、従来、非圧縮ビデオ・シーケンス6および少なくとも1つの対応する非圧縮オーディオ・シーケンス(図示せず)として開始される。シーケンス6は、一連の連続するピクチャiからなり、プロダクション施設7で組み立てられる。
組み立てられた後、非圧縮ビデオ・シーケンス6は、従来のビデオ符号器(CVE)8とすることのできるビデオ符号器により圧縮される。CVE8は、各ピクチャi(i=1、2、・・・)を符号化し、MPEG2またはH.264などのビデオ符号化規格により定義される従来のビデオ符号化アルゴリズムを用いて、bビットの対応する符号化ピクチャ(アクセス・ユニットとしても知られている)を生成する。対応する任意のオーディオ・シーケンスも、オーディオ符号器(図示せず)により圧縮される。ビデオおよびオーディオ符号器は、共通のクロック信号により同期化される。
符号化効率を最大にするために、多くの最近のビデオ符号化アルゴリズムは、3つの異なるピクチャ・タイプ、すなわち、イントラ符号化、予測符号化、および双方向に予測符号化されたタイプのうちの1つとしてピクチャを符号化する。イントラ符号化ピクチャ(またはIピクチャ)は、元のピクチャの完全な記述を含む。予測符号化ピクチャ(またはPピクチャ)は、時間的に前の参照ピクチャと比較されたピクチャの記述を含む。こうすることにより、符号器は、等価なIピクチャに必要になるはずのビットよりもかなり少ないビットを用いてPピクチャを記述することが可能になる。双方向に予測符号化されたピクチャ(またはBピクチャ)は、時間的に前の参照ピクチャ、および時間的に後の参照ピクチャと比較されたピクチャの記述を含む。こうすることにより、符号器は、等価なIピクチャよりも約1桁少ないビットを用いて、Bピクチャを記述することが可能になる。しかし、時間的に後のピクチャからの情報を用いてBピクチャを符号化するためには、その時間的に後のピクチャが、Bタイプ・ピクチャの前に符号化される必要がある。
例として図2を参照すると、非圧縮ビデオ・シーケンスのピクチャ38(i=1、2、・・・19)が部分的に表示順40で示されており、それに対応する符号化ピクチャ41が、符号化順44で示されている。各ピクチャ38に対して、CVEは、対応する符号化ピクチャ41、および符号化順における符号化ピクチャの場所に対して適切なタイプを決定する。この例では、CVEは、ピクチャ1をIピクチャIとして符号化し、次いで、ピクチャ1を参照として用いて、ピクチャ4をPピクチャPとして符号化する。次に、CVEは、ピクチャ1を時間的に前の参照として、またピクチャ4を時間的に後の参照として用いて、ピクチャ2および3をBピクチャBおよびBとして符号化する。次いで、ピクチャ4を参照として用いてピクチャ7をPピクチャPとして符号化し、ピクチャ4および7を参照として用いてピクチャ5および6をBピクチャBおよびBとして符号化し、以下同様である。PピクチャおよびBピクチャは、参照として使用されたピクチャに従属する。
図1を再度参照すると、各符号化されたピクチャのビットは、固定ビットレートR、または可変ビットレートR(t)のビデオ・エレメンタリ・ストリーム46としてCVEを離れる。ビデオ・エレメンタリ・ストリームおよび対応する任意のオーディオ・エレメンタリ・ストリーム(図示せず)は、システム符号器48に入力される。システム符号器48は、そのエレメンタリ・ストリームをパケット化して、パケット化されたエレメンタリ・ストリーム(PES)パケットにし、各PESパケットは所与のタイプの1つまたは複数のアクセス・ユニットを含む。各PESパケットは、エレメンタリ・ストリームの1つからのパケット・ヘッダおよびパケット・データを含む。次いで、PESパケットは共に多重化され、ネットワーク5を介して送信するために、転送ストリーム(TS)パケット中に配置される。各ピクチャiに対して、CVEは、他のピクチャに対する、またシステム・タイム・クロック(STC)に対するピクチャのプレイアウト時間を決定する。プレイアウト時間は、プレゼンテーション・タイム・スタンプ(PTS)の形で、符号化ピクチャのPESパケット・ヘッダ中に挿入される。符号器のSTCは、周期的にサンプリングされて、関連するPESを含む転送ストリーム中に埋め込まれるプログラム・クロック参照(PCR)を生成する。ダウンストリーム復号器16は、位相ロック・ループを用いて、受信されたPCRに基づきそれ自体のSTCを生成し、それにより、符号器のSTCと同期することになる。復号器は、次いで、受信された転送ストリーム中の各符号化されたピクチャのPTSを復元されたSTCと比較して、符号化されたピクチャを表示するのに正しい時間を決定し、したがって、オーディオおよびビデオのプレイアウトが同期され得る。
システム符号器48によりパケット化されたビデオおよびオーディオのデータは、単一のプログラム50を表す。システム符号器48を離れた後、TSパケットは、他のプログラムを表す他のTSパケットと、統計的多重化装置67中で組み合わされて、マルチプログラム転送ストリーム(MPTS)を形成する。MPTSは、アップリンク・ステーション68に入力され、搬送波を変調するために使用される。アップリンク・ステーション68は、衛星77を介して、変調された搬送波72を配信業者のヘッド・エンド76に送信する。ヘッド・エンド76で、変調された搬送波72は、復調されて逆多重され、またプログラム50は、単一プログラム転送ストリーム(SPTS)78中に再カプセル化される。SPTS78は、ヘッド・エンド76からネットワーク80を介し、光ファイバ、銅線、または同軸ケーブルなどの伝送媒体を介して、顧客環境へと送信される。顧客環境14で、SPTS78は復号器16に入力される。復号器16は、しばしば、(例えば、「セット・トップ」ボックス(STB)の一部として)配信業者により提供される。復号器は、SPTS78を用いて、再現されたビデオ・シーケンス18を生成する。
従属する符号化ピクチャは、符号化されていない参照ピクチャに依存するので、復号器16は、従属するピクチャが復号され得る前に、参照ピクチャを復号しなくてはならない。したがって、符号化ピクチャが、符号化順44(図2)で送信され、その後に続いて復号化されるが、ダウンストリーム復号器16は、単に、受信された順番で復号されたピクチャを表示することはできない。そのシーケンス中で、表示すべき時よりも前に送信された符号化ピクチャ(例えば、図2に示す例のP)に対しては、PTSに加えて、STCに対する復号タイム・スタンプ(DTS)td、iが、符号化ピクチャのパケット・ヘッダ中に挿入される。符号化ピクチャPは、復元されたSTCに対して時間td、4で復号されることになり、再現されたピクチャ4は、復号されたピクチャ・バッファ(DPB)60(図1)中に、ピクチャのPTSになるまで記憶されるが、必要に応じて、再現されたピクチャを参照として使用する。並べかえる必要のないピクチャに対しては、即座に復号されると仮定すると、それらは、直ちに提示(または表示)することができ(例えば、図2のBおよびBなど)、そのDTSおよびPTSは同一となるはずであり、したがって、PTSだけが送信され、PTSが復号時間を決定するために使用される。
符号化ピクチャのビットが復号器16中に入ると、復号器は、そのビットを、復元されたSTCがそのピクチャの復号時間に達するまで、復号化ピクチャ・バッファ(CPB)54中に置くようにし、その復号時間で、符号化ピクチャのビットは、即座にCPB54から除かれて復号される。CPBの挙動は、AVCのためのH.264により定義されている。MPEG2では、H.262により定義される等価な仮想バッファがある。CVE8は、復号器のCPB54のサイズがBビットであると想定する。CVE8は、それ自体の「仮想バッファ」を維持することにより、想定された復号器のCPBの占有量を追跡する。
図3は、符号器の仮想バッファの占有量と、例えば、図2に示す復号器のCPBの占有量との間の関係を示す。STCに関する時間tにおける符号器の仮想バッファの占有量は、再現されたSTCに関する時間tにおける復号器のCPB54の占有量を反映することは当技術分野でよく理解されている。例えば、符号器のSTCに対する時間tで、符号器の仮想バッファは、(B/2)+Cビットを含み、復号器の再現されたSTCに対する時間tで、復号器のCPBは、(B/2)−Cビットを含む。それ自体の仮想バッファがオーバーフローするのを阻止することにより、復号器のCPBのアンダーフローを阻止するようにビデオ・エレメンタリ・ストリームを制御することは符号器の責任である。符号器の仮想バッファのアンダーフローは、概して、データ送信における短い休止となるだけであるため許容可能である。
CPBがアンダーフロー(またはオーバーフロー)することを阻止するために、CVEは、各符号化ピクチャへのビットの割振りを制御する従来のレート制御アルゴリズムを使用する。バッファの占有量を制御することに加えて、レート制御アルゴリズムはまた、プログラムに対して、全体のピクチャ品質を最適化しながら、所与の目標ビットレートR(または、可変ビットレートシステムの場合、最大ビットレートR、およびR未満の何らかの平均ビットレート)を維持するようにも働く。レート制御アルゴリズムはまた、統計的多重化装置と対話して、ビデオ・エレメンタリ・ストリームの品質と、MPTSのビットレート要件との間の最適なバランスを見出すことができる。
図4を参照すると、非圧縮ビデオ・シーケンス6は、広告コンテンツ・ブロック28(すなわち、1つまたは複数のコマーシャル、公共サービス広報、放送局識別メッセージなど)を組み込んで順次送信される、反復性(recurring )テレビジョン・プログラムF1、F2、F3、およびF4のエピソードなどのような、フィーチャー・コンテンツ22を含む。プロダクション施設(7、図1)において、プログラム作成プロバイダは、6で示すように、従来のビデオ編集技法を用いて、広告コンテンツ・ブロック28を、所定の間隔でフィーチャー・コンテンツ22中へ挿入する。
プロダクション施設で、非圧縮ビデオ・シーケンス6中に挿入される広告コンテンツ・ブロック28は、通常、比較的短い持続期間を有する一連のビデオ・シーケンス(例えば、それぞれが、30秒または1分の持続期間を有する8つの別個のビデオ・シーケンス)の形をとる。プログラム作成プロバイダとサービス・プロバイダの間のコマーシャル配置の一部として、いくつかの広告コンテンツ・ブロックは、テレビジョン・ネットワークそれ自体により提供される広告など、何らかの低い優先順位の広告コンテンツ92を含む可能性がある(あるいは、例えば、広告コンテンツ・ブロックが4分のビデオ・シーケンスと1分の「ブラック(black )」100を含み得るなど、ブロックが一杯ではない場合がある)。これは、サービス・プロバイダが、プログラム作成信号中の低い優先順位の広告コンテンツ92(または「ブラック」データ100)を、自分が目標とする広告コンテンツでオーバーライトすることを可能にする。この広告挿入機能は、特にその顧客基盤を狙った、目標とする広告コンテンツを提供できるので、サービス・プロバイダにとって有利である。
図1を再度参照すると、圧縮されたビデオ・ドメイン中への広告挿入に対する従来の手法は、「第1の(primary )」圧縮されたビデオ転送ストリーム(すなわち、SPTS78)のコンテンツと、目標とする広告コンテンツを含む「第2の(secondary )」圧縮されたビデオ転送ストリーム120のコンテンツとの間で、理想的にシームレスなスプライスを行うために、従来の転送ストリーム・スプライサ116を用いることである。「シームレス」なスプライスは、そのプログラム作成信号を見ている人には見えない、すなわち、視覚的なアーティファクトがスプライスにより生成されないことであり、見ている人が、非圧縮ビデオ・シーケンス6からのコンテンツを見ていないことに気付かないことである。第2のビデオ転送ストリーム120は、普通、ビデオ・オン・デマンド(VOD)サーバ124から送られる。米国特許第6678332号および第6792047号は、従来の手法に適用可能なスプライシング技術の諸例を述べている。ISO/IEC13818−1およびANSI/SCTE35などの業界標準は、例えば、スプライス点に対して時間的に先行して、第1の転送ストリーム78に、「デジタル・キュー・トーン」を加えることによるなど、どのようにすれば潜在的なスプライス点がCVE8によりSPTS78中で識別されるかを定義するために使用することができる。潜在的なスプライス点を知らせる特有の手段にもかかわらず、従来の転送ストリーム・スプライサ116は、信号および潜在的なスプライス点を検出し、適切なときに、第2の転送ストリーム120を第1の転送ストリーム78中にスプライスする。
圧縮されたビデオ・ドメイン中でシームレスなスプライスを多少であっても行うことのできる従来の転送ストリーム・スプライサ116は、SPTS78を、例えば、バッファの占有量を計算するために部分的に復号する必要がある。SPTS10は顧客環境14への途上にあるので、広告挿入は「オンザフライ」で行われる必要があり、このため、従来の転送ストリーム・スプライサは、複雑でありかつ計算コストが高い。これは、従来のスプライシング・アプリケーションを、サービス・プロバイダにとって望ましい程度に、顧客環境に接近させて費用効果のある実装を行うことを妨げる。
図1を再度参照すると、広告挿入が、サービス・プロバイダ・ネットワーク80のダウンストリームの遠くで行われるほど、サービス・プロバイダは、より具体的に、特定の顧客を目標とすることができる。例えば、広告挿入が、サービス・プロバイダのヘッド・エンド76(図1で示すように)で行われた場合、サービス・プロバイダの顧客のすべてが、目標とされる同じ広告コンテンツを受信し、見る可能性がある。サービス・プロバイダのネットワークが、複数のゾーン108a、108bを有する場合、サービス・プロバイダは、ネットワーク80の中間点112における各ゾーンに対して、そのゾーンの統計情報特性を目標として、各ゾーンに、異なる広告をスプライスすることができる。圧縮されたビデオ転送ストリームの性質に起因して、圧縮されたビデオ・ドメイン中への広告挿入は、非圧縮ビデオ・シーケンス中に広告コンテンツ・ブロックを挿入する工程のように簡単ではないことが当技術分野でよく理解されている。
したがって、複雑で且つ計算コストの高いスプライサを適用する必要なしに、符号器と復号器との間の連鎖のいずれかにおいて、圧縮されたビデオ・ドメイン中でシームレスなスプライシングを可能にする技術が求められている。特に、顧客環境14内における広告挿入は、最も有益なものとなるはずであり、したがって、個々に目標を絞った広告コンテンツが可能となる。
本発明の第1の態様によれば、符号化された第1のビデオ転送ストリームからのビデオ・コンテンツを、符号化された第2のビデオ転送ストリームからのビデオ・コンテンツと一時的に置き換える方法が提供される。前記第1および第2のビデオ転送ストリームは最大ビットレートRで送信され、且つそれぞれが、第1および第2の符号化ピクチャのシリーズを表すビデオ・データと、その符号化ピクチャ・データに組み込まれた第1および第2の参照クロックを表すデータと、それぞれの参照クロックに対する各符号化ピクチャの復号化時間を表すデータとを含む。前記第2の符号化ピクチャのシリーズは最初の符号化ピクチャで開始されるとともに最後の符号化ピクチャで終了する。前記第2の参照クロックに対する前記第2のシリーズの持続期間はTである。当該方法は、前記第1のビデオ転送ストリームを、第1のビデオ符号器により、前記第1の参照クロックに対して符号化する工程において、前記第1のビデオ転送ストリームを受信する、サイズがBである第1の仮想復号器の符号化ピクチャ・バッファ(CPB)の占有量を追跡する第1の仮想バッファを維持する工程と、第1の時間に、該第1の時間よりも時間的に後に生ずるスプライス・アウト時間toutであって、第1の符号化ピクチャを表すビデオ・データとその後続の第2の符号化ピクチャを表すビデオ・データとの間の前記第1のビデオ転送ストリーム中で生ずるスプライス・アウト時間toutを識別する工程と、前記第1の時間と前記スプライス・アウト時間との間の第1の符号化ピクチャの復号時間において、前記第1の仮想バッファの前記占有量がXB未満(Xはゼロよりも大きく且つ1未満)となるように前記第1のビデオ転送ストリームを符号化する工程と、第2の時間に、前記スプライス・アウト時間よりも時間的に後の少なくとも時間Tに生ずるスプライス・イン時間tinであって、第3の符号化ピクチャを表すビデオ・データとその後続の第4の符号化ピクチャを表すビデオ・データとの間の前記第1のビデオ転送ストリーム中で生ずるスプライス・イン時間tinを識別する工程と、前記第2の時間と前記スプライス・イン時間との間の第3の符号化ピクチャの復号時間において、前記第1の仮想バッファの前記占有量がXB未満となるように、符号化された前記第1のビデオ転送ストリームを符号化する工程とを行うこと、前記第2のビデオ転送ストリームを、最大サイズがBである第2のCPBを有する第2のビデオ符号器により、前記第2の参照クロックに対して符号化する工程において、前記第2のビデオ転送ストリームを受信する、サイズがBである第2の仮想復号器の符号化ピクチャ・バッファの占有量を追跡する第2の仮想バッファを維持する工程と、前記最初の符号化ピクチャを表すビデオ・データが時間B/(XR)を超えずに送信されるように前記第2のビデオ転送ストリームを符号化する工程と、前記最後の符号化ピクチャの復号時間において、前記第2の仮想バッファの前記占有量がXB未満となるように前記第2のビデオ転送ストリームを符号化する工程とを行うこと、前記第1の参照クロックに対して、toutからtout+Tまでの前記第1のビデオ転送ストリーム中のビデオ・データを、前記最初のピクチャから前記最後のピクチャまでの前記第2のビデオ転送ストリームのビデオ・データと置き換える工程を行うこと、を備える。
以下の説明では、本発明の一実施形態は、H.264ビデオ符号化規格を用いたビデオの符号化/復号化に関して述べられる。しかし、本発明はまた、MPEG2などの他のビデオ符号化規格、ならびに規格間のトランスコーディング、およびビットレート間のレート変換にも適用可能である。簡単にするために、以下の説明ではオーディオを無視するが、実際のいずれの実装形態においてもオーディオ問題に対処する必要があるので、本説明の最後でオーディオの簡単な説明を行う。添付図面は、本発明をよりよく理解するために、また本発明をどのように実行するかを説明するための一例として示す。
図5を参照すると、ビデオ送信ネットワーク128は、第1の非圧縮ビデオ・シーケンス133を受信し、第1の転送ストリーム134を作成し、かつ送信するための第1のビデオ・ソース132を含む。第1のビデオ・ソース132は、CPB140を有する第1のビデオ符号器136を含む。第1のビデオ・ソース132は、大量のコンテンツ・プロバイダからの、広範囲の視聴者に対する配信点となる(図1の衛星アグリゲータなど)。第1のビデオ符号器136は、以下で述べるように変更された、同時係属の米国特許出願第11/269498号(2005年11月7日出願)に述べられたアルゴリズムなどの適応型レート制御を使用する。適応型レート制御アルゴリズムは、まだ符号化されていないピクチャに関する情報に従って現在符号化されているピクチャのビット・カウントを、適応型レート制御アルゴリズムで調整できるようにする有利な「先取り(look-ahead)」機能を有する。
さらに図5を参照すると、ビデオ送信ネットワーク128はまた、ビデオ・オン・デマンド(VOD)サーバなどの第2のビデオ・ソース144を含む。第2のビデオ・ソース144は、CPBを含みかつ適応型レート制御アルゴリズムを用いる第2のビデオ符号器(図示せず)により符号化された、第2の転送ストリーム120を記憶する。第2のビデオ・ストリーム120は、限定された持続期間の第2のビデオ・シーケンス159(例えば、上記で述べた目標とされる広告コンテンツ)から作成される。第1のビデオ・ソース132と第2のビデオ・ソース144は共に、スプライサ155に結合され、スプライサ155は、通常、顧客環境にあるSTB中に位置することになるビデオ復号器156に結合される。スプライサ155により要求があると、第2のビデオ・ソース144は、第2の転送ストリーム120を出力する。
スプライサ155は、スイッチ・ブロック160およびスプライシング制御ブロック164を含む。スイッチ・ブロック160は、スプライシング制御ブロック164による選択に応じて、第1の設定、またはスプライシング設定に設定される。第1の設定では、スイッチ・ブロック160は、ビデオ復号器156に、第1の転送ストリームを送信する。スプライシング設定では、スイッチ・ブロック160は、第1および第2の転送ストリームのコンポーネントを結合して、変更された転送ストリームを生成し、またその変更された転送ストリームをビデオ復号器156に送信する。ビデオ復号器156は、従来の復号器とすることができ、またBビットのCPB168を有する、H.264規格により定義されるHRDと等価であると仮定される。
ビデオ送信ネットワーク128が動作可能である場合、ビデオ復号器156は、未変更の第1の転送ストリーム134を受信することが概して望ましい。したがって、通常状態下では、スイッチ・ブロック160は、第1の設定であり、第2のビデオ・ソース144は、スプライシング制御ブロック164からの通知を待つことになる。しかし、以下で詳細に述べるいくつかの状況では、スプライシング制御ブロック164は、第2のビデオ・ソース144に通知信号170を送り、第2のビデオ・ソース144は、スプライサ155に対して、第2の転送ストリーム120の送信を開始し、またスプライシング制御ブロックは、スイッチ・ブロック160をスプライシング設定に設定することになる。スプライサ155は、次いで、第1の転送ストリーム134の符号化ピクチャを、第2の転送ストリーム120の符号化ピクチャで置き換えることになるが、一方、(タイム・スタンプを含む)PESパケット・ヘッダなど、第1の転送ストリームの他のコンポーネントは元のまま残され、それにより、変更された転送ストリームが作成される。したがって、第2の転送ストリームの視聴可能なコンテンツが、第1の転送ストリーム中にスプライスされる。第2の転送ストリーム120の最後に、スプライシング制御ブロック164は、スイッチ・ブロック160を第1の設定に戻し、それにより、ビデオ符号器156への改変されていない第1の転送ストリーム134の送信を再開することができる。
第2のビデオ符号器(図示せず)は、概して、第1のビデオ符号器136と同様に動作する。第2の転送ストリームが必要になる時間のしばらく前に、第2のビデオ符号器は第2の非圧縮ビデオ・シーケンスを受信し、それを符号化し、それにより、第2のビデオ転送ストリーム120を作成する。第2のビデオ転送ストリームは、次いで、スプライサ155がそれを要求するまで、第2のビデオ・ソース144中に記憶される。スプライサ155の位置に応じて、第2のビデオ・ソース144は、配信業者のヘッド・エンド(76、図1)または顧客のSTBなど、復号器156のアップストリームのいずれかに位置することができる。
図6は、スプライス中に、スプライサに入力され、またスプライサから出力される信号を示す。第1の転送ストリームパケットのビデオ・データ・ペイロードは、Pにより示される(ただし、s=0、1、・・・、k、k+1、・・・)。第2の転送ストリームパケットのビデオ・データ・ペイロードは、Aにより示される(ただし、i=0、1、・・・、n)。従来のスプライシング技法に関して上記で述べたように、到来するスプライス点182の事前通知が、例えば、第1の転送ストリーム134中のフラグ174により、スプライサに提供されなければならない。スプライサは、次いで、第2の転送ストリームの最初のパケット176が、置換される第1の転送ストリームの最初の符号化ピクチャの最初のパケット178に対して遅れずにスプライサに到着するように、第2の転送ストリーム120の送信開始を求める要求170が第2のビデオ・ソースに送られる。スプライサは、次いで、第1の転送ストリーム134中の各パケットのペイロードを、第2の転送ストリーム120中のパケットからのペイロードで置き換えることになるが、第1の転送ストリームパケットのヘッダは元のまま残して、それにより、復号器に送信される、変更された転送ストリーム166を作成する。
2つのタイプの潜在的なスプライス点、すなわちスプライス・アウト点およびスプライス・イン点が識別される。スプライス・アウト点は、スプライサ155中で、後続する第1の符号化ピクチャを第2の符号化ピクチャで置き換えることを開始することが潜在的に可能なはずの、第1の転送ストリームを構成する一連のビット中の点を示す。したがって、スプライス・アウト点の前の最後の第1の符号化ピクチャは、変更された転送ストリームの前に復号器により受信される最後の第1の符号化ピクチャである。スプライス・イン点は、スプライサが、第1の符号化ピクチャを第2の符号化ピクチャと置き換えることを停止することが潜在的に可能性なはずの、第1の転送ストリームを構成する一連のビット中の点を示す。したがって、スプライス・イン点の前の最後の第1の符号化ピクチャは、スプライサ155により上書きされる最後の第1の符号化ピクチャである。第2の転送ストリームの様々な持続期間をサポートするために、所与のスプライス・アウト点に対して、複数のスプライス・イン点があり得る。
第1および第2の転送ストリームを共に符号化することは、スプライサが、HRDのCPBの占有量を再計算することを必要とせずに、2つの転送ストリーム間でシームレスにスプライスすることが可能となるように、各符号器のレート制御アルゴリズムによる制約を受ける。第1のビデオ・ストリーム中の潜在的なスプライス点ごとに、スプライスが行われた場合に復号器のバッファがアンダーフローとなるリスクをなくすために、そのスプライス点の時間的近傍における符号化ピクチャの符号化に対して制約が適用される。復号器バッファのアンダーフローは、復号器が、復号するために利用できるビットを何も有しないときに生じ、その結果フレームが反復されることになる。復号器バッファのオーバーフローは、復号器が復号すべきビットを有しており、その復号器バッファにさらにビットをロードする前に待機することができるため許容できる。制約は、以下のようになる。
制約1.第1の転送ストリームのスプライス・アウトは、スプライスが復号化ピクチャ間の従属性を妨げることのない第1の転送ストリーム中の点で行われなければならない。したがって、復号する順番でスプライス・アウト点のすぐ後に続く第1の符号化ピクチャは、H.264の場合、IDRピクチャであり、あるいはMPEG−2の場合、ピクチャの閉じたグループの最初のピクチャでなければならない。したがって、図2に示す例示的なピクチャ・シーケンスでは、スプライスは符号化ピクチャB12の後に行うことができ、符号化ピクチャB12のすぐ後(また符号化ピクチャI14の前)の点をスプライス・アウト点にする。
制約2.スプライス・アウト点の前の符号化ピクチャの復号時間において、ビデオ符号器の仮想バッファの占有量は、XB(ただし、Bは想定される復号器のCPBのサイズ、Xは1未満の、好ましくは、1/2に等しい既知の値)以下でなければならない。第1のビデオ符号器の仮想バッファの占有量が(符号器のSTCに対して)時間td、12でXB以下である場合、復号器のCPBの占有量は、(復号器の復元されたSTCに対して)時間td、12でB−XB以上であることが当業者には理解し得る。これを達成するために、第1のビデオ・ソースにより使用される適応型レート制御アルゴリズムは、第1の転送ストリーム中の潜在的なスプライス・アウト点を検出するために、また、必要な場合、第1のビデオ符号器の仮想バッファの占有量をXB以下に強制するように、各潜在的なスプライス・アウト点の前の第1の符号化ピクチャのビット・カウントを調整するために、その先取り機能を用いるように変更される。
符号器のCPBの占有量を制御するために、第1のビデオ符号器のレート制御アルゴリズムを使用することは、復号器のCPBがスプライス・アウト点でアンダーフローしないようにするためには、それ自体十分ではない。さらに、第2のビデオ・ストリームの符号化中に、以下の制約が満たされる必要がある。
制約3.制約2を補足するために、第2のビデオ・ソースにより使用される適応型レート制御アルゴリズムは、第2の転送ストリームの最初の符号化ピクチャに対する最初のCPB遅延をXB/R以下となるよう強制すべく変更される。すなわち、第2の転送ストリームの最初の符号化ピクチャは、第2の転送ストリームの最初の符号化ピクチャが復号器のCPB中に完全にロードされるために、時間XB/Rを超えることのないように十分に小さくなくてはならない。制約2および3の結果、スプライス・アウトの結果としての復号器のCPBのアンダーフローが回避されることが当業者には理解し得る。
制約4.第1のストリーム中に戻るスプライスはまた、参照ピクチャに対応する第1の符号化ピクチャが第2の符号化ピクチャにより上書きされていることのない第1の転送ストリーム中の点で行われなければならない。例えば、図2で示す例では、符号化ピクチャBがスプライス・イン点として使用された場合、符号化ピクチャIに従属する後続の符号化ピクチャのいずれも、復号することはできない。それは、符号化ピクチャIが、第2のピクチャで上書きされているはずだからである。したがって、復号する順番で、スプライス・イン点のすぐ後に続く第1の符号化ピクチャは、制約1と完全に等価な、H.264の場合はIDRピクチャ、またはMPEG−2の場合は閉じたGOPの最初のピクチャである必要がある。
制約5.制約2と同様に、第2のビデオ符号器の仮想バッファの占有量は、符号器のSTCに対する最後の第2の符号化ピクチャの復号時間においてXB以下に強制される必要があり、したがって、復号器のSTCに対する最後の第2の符号化ピクチャの復号時間において、復号器のCPBの占有量がB−XB以上であるように強制する。
制約6.制約5を補足するために、スプライス・イン点の前の符号化ピクチャの復号時間において、第1のビデオ符号器のCPBの占有量は、XB以下でなければならない。第1のビデオ・ソースにより使用される適応型レート制御アルゴリズムは、第1の転送ストリーム中の潜在的なスプライス・イン点を検出するために、また第1のビデオ符号器のCPBの占有量をXB以下に強制するように、各潜在的なスプライス・イン点の前の第1の符号化ピクチャのビット・カウントを調整するために、その先取り機能を用いるように変更される。
制約7.第2の転送ストリームの持続期間は、スプライス・イン点とスプライス・アウト点の間の時間を超えないことが必要である。第2の転送ストリームの持続期間は、スプライス・アウト点とスプライス・イン点との間の時間に等しいことが好ましいが、第2の転送ストリームの持続期間が、スプライス点間の時間未満である場合、スプライサ155は、ブラックの符号化ピクチャなど、置換え用符号化ピクチャを、第2の転送ストリームの最後の符号化ピクチャと、スプライス・イン点に対応する第1の符号化ピクチャとの間の変更された転送ストリーム中に挿入することができる。
制約1、2、および3は、第1の転送ストリームから第2の転送ストリームへのスプライスが、ビデオ復号器の出力を見ている人間に対してシームレスになることを保証する。制約4、5、および6は、第1の転送ストリームに戻るスプライスがまた、シームレスになることを保証する。
図6を再度参照すると、転送ストリームパケットPは、スプライス・アウト点182の前の、またtd、0のDTSを有する符号化ピクチャに属する最後のパケットである。転送ストリームパケットPは、IDRピクチャの最初のパケットであり、またSTCに対するPCR時間tに対応する(PとPの間に非ビデオ・データを含むパケットがあり得る)。第2の転送ストリームパケットAは、第2の転送ストリームの最初のピクチャに属する。制約1、2、4、および6はまた、スプライスが何も行われない場合、ビデオ復号器の出力が、潜在的なスプライス点の指示を何も示さないことを保証する。
スプライス・アウトが実施されたとき、パケットPが、第2の転送ストリームからのデータにより置き換えられる最初の第1の転送ストリームパケットとなる。制約2に従って、第1のレート制御アルゴリズムが、Pの復号時間に、第1のビデオ符号器の仮想バッファの占有量をXB以下であるように強制した場合、スプライスがない場合、パケットPが復号器のCPBに入る時間tと、先行する符号化ピクチャが復号器のCPBから除去される時間td、0の間の遅延DP、0は、少なくともXB/R時間に等しくなる。
第2の転送ストリームの、パケットAで始まり、パケットAで終わる最初の符号化ピクチャが、制約3に従って符号化された場合、復号器のCPBに入るパケットAと、復号器のCPBに入るパケットAの間の遅延DA、0は、XB/Rを超えることはなく、したがって、最初の符号化ピクチャのパケットはすべて、時間td、0の前に復号器のCPBに入っていることが保証される。
図6をさらに参照すると、パケットPがスプライス・イン点183の前の最後のパケットであり、したがって、第2の転送ストリームにより置き換えられる最後の第1の転送ストリームパケットである。パケットPk+1は、STCに対する時間tに対応し、td、k+1の復号時間を有するIピクチャの最初のパケットである。パケットPk+1は、第2の転送ストリームにより置き換えられない最初の第1の転送ストリームパケットである(PとPk+1の間に非ビデオ・データを含むパケットがあり得る)。第2の転送ストリームパケットAは、第2の転送ストリームの最後の符号化ピクチャの最後のパケットである。
第2および第1の転送ストリームが、それぞれ、制約5および6に従って符号化されている場合、復号器のCPBの占有量は、第2の転送ストリームの最後の符号化ピクチャの復号時間において、少なくともB−BXとなり、したがって、第1の転送ストリームは、スプライス・イン点の後の最初の符号化ピクチャが、復号器バッファの占有量が少なくともB−XBであると予測しているように、符号化されていることになる。
上記で述べた制約を適用することにより、第2の転送ストリームのために必要なスペース量が、第1の転送ストリーム中で利用可能であるように保証されることが容易に理解し得る。
図7を参照すると、本発明の好ましい実施形態では、スプライサ155は、顧客のSTB188中に位置しており、また複数の転送ストリームが、配信業者のヘッド・エンド76などの他の場所で、可能な第2の転送ストリームとして事前に符号化され、かつ、例えば、FTPなどの従来の方法を用いることにより、STB188に転送される。転送ストリームは、次いで、メモリ・ブロック192に記憶される。スプライサ155がスプライシング設定に入る必要がある場合、要求170がメモリ・ブロック192に送られて、メモリ・ブロックは、第2の転送ストリームを送り出す。メモリ・ブロック192は、送り出すべき複数の転送ストリームのうちの1つを、ランダムに、または何らかの所定のシーケンスで選択することができる。代替的には、例えば、第1の転送ストリームのプログラム作成コンテンツもしくはその元(origin)に基づく、あるいは顧客の統計情報特性に基づく何らかの選択パラメータを、どの転送ストリームをスプライサ155に送信すべきかの選択をする場合に使用することができる。
図8を参照すると、本発明の他の実施形態では、プログラム作成プロバイダにより、制約が第1のビデオ・ストリームに適用される必要はない。第1のビデオ・ストリームは、プログラム作成プロバイダによって従来通り符号化され、本発明の制約に準拠するように、配信業者のヘッド・エンド76などの位置における配信業者によりトランスコードまたはレート変換され得る。ヘッド・エンド76で、SPTS10は、トランスコーダ(またはレート変換器)196に入力される。トランスコーダ196は、元の非圧縮ビデオ・シーケンス6を再現する復号器200を含む。トランスコーダ196はまた、第1のビデオ符号器136を含む。第1のビデオ符号器136は、再現されたビデオ・シーケンスを受け取り、上記で述べた方法で制約を適用しながら、第1の転送ストリーム134を作成する。
本発明の1実施形態は、暗号化されている第1の転送ストリーム中に、第2の転送ストリームをスプライスすることを可能にする。第2の転送ストリームそれ自体が暗号化される必要はない。前に暗号化されたストリーム中へのこのような挿入は、例えば、PESヘッダのPESスクランブル制御(PES_scrambling_control)ビットにより示されるように、ビデオPESヘッダが暗号化されていないこと、例えば、TSパケット・ヘッダの転送・スクランブル制御(transport_scrambling_control)ビット中で示されるように、デスクランブラが、暗号化されたビデオと非暗号化ビデオの差を検出すること、またスクランブラがビデオ・フレーム境界で働くことを仮定している。
広告挿入などの本発明の諸実施形態の多くの実際的な展開において、第2の転送ストリームが正しく再生されたことを検証する能力は重要な機能である。ビデオ・シーケンス(例えば、広告)を事前に符号化することにより、得られたアクセス・ユニットをハッシュ化することができ、そのハッシュ値が、PES_extension_flag==「1」、およびPES_extension_flag_2==「1」により送られる予約ビットで、第2の転送ストリームの最初のPESヘッダ中に記憶され得る。ハッシュ値と共に、90kHzのクロック・チック(clock tick)における広告の長さもまた記憶される。これらのビット(ハッシュ値および広告長さ)のためのスペースは、潜在的なスプライス点が検出されたときは常に、第1のビデオ符号器により、第1の転送ストリーム中に予約することができる。広告の完全性を検証する方法として、ハッシュ値を生成するために、1方向ハッシュ関数または暗号技術的ハッシュ関数が使用される。例えば、このようなハッシュ関数として、SHA−1またはMD5を使用することができる。SHA−1は、160ビットのハッシュ値を生成するが、MD5は、128ビットのハッシュ値を生成する。
オーディオに関する限り、そのオーディオ・フレームが、toutからtinまでの任意の長さの時間間隔を「カバーする」プレゼンテーション時間を有する(第1のストリームにおける)オーディオPESパケットは、toutからtinまでの間隔に「含まれる」広告中のオーディオ・フレームと置き換えられる。この簡単なスキームは、スプライス点で、多くても数ミリ秒の無音を生ずるだけである。
第1のビデオ符号器136が、1組の制約の下に第1の転送ストリームを構成し、したがって、第2の転送ストリームが、1組の相補的な制約の下に構成される場合、STB上への実装に適した非常に簡単なアプリケーションにより、容易に、第2の転送ストリームを、前に符号化された第1の転送ストリーム中にスプライスできるようになることが前述の内容から理解し得る。こうすることにより、配信業者は、例えば、特定の顧客を目標とした広告コンテンツ・ブロックを事前に符号化し、その符号化された広告コンテンツ・ブロックを顧客のSTB上に記憶し、かつ顧客の閲覧する体験を妨害することなく、ネットワーク・フィードを、目標とする広告ブロックと一時的に置き換えることにより、符号化された広告コンテンツ・ブロックをネットワーク・フィード中にスプライスすることが可能になる。
本発明の諸実施形態は、計算コストをかける必要なしに、また複雑なスプライシングを適用する必要なしに、顧客のセット・トップ・ボックス内を含む、第1のビデオ・ソースと復号器の間のネットワーク中のいずれかで、広告コンテンツを第1のビデオ・ストリーム中に挿入することを可能にするので有利である。
本発明は、上述した特定の実施形態に限定されないこと、また添付の特許請求の範囲およびその均等なもので定義された本発明の範囲から逸脱することなく本発明に種々の変形を加え得ることが理解し得る。
従来のビデオ送信ネットワークのブロック図。 表示順の一連のピクチャ、符号化順の一連の対応する符号化ピクチャ、および符号化ピクチャの相対的なサイズを示す図。 ビデオ符号器の符号化ピクチャ・バッファの占有量と、ダウンストリームの復号器の符号化ピクチャ・バッファの占有量との間の関係を示すグラフ図。 図1のビデオ送信ネットワークを介して送信されるビデオ・コンテンツのタイミング図。 本発明の実施形態に従って配置されたビデオ送信ネットワークのブロック図。 本発明の実施形態に従って符号化された第1のビデオ・ストリームおよび第2のビデオ・ストリームのパケット・レベルのタイミング図。 本発明の実施形態に従って構成されたビデオ送信ネットワークのブロック図。 本発明の実施形態に従って構成されたビデオ送信ネットワークのブロック図。

Claims (12)

  1. 符号化された第1のビデオ転送ストリームからのビデオ・コンテンツを、符号化された第2のビデオ転送ストリームからのビデオ・コンテンツと一時的に置き換える方法であって、前記第1および第2のビデオ転送ストリームが最大ビットレートRで送信され、且つそれぞれが、第1および第2の符号化ピクチャのシリーズを表すビデオ・データと、その符号化ピクチャ・データに組み込まれた第1および第2の参照クロックを表すデータと、それぞれの参照クロックに対する各符号化ピクチャの復号化時間を表すデータとを含み、前記第2の符号化ピクチャのシリーズが最初の符号化ピクチャで開始されるとともに最後の符号化ピクチャで終了し、前記第2の参照クロックに対する前記第2のシリーズの持続期間がTであり、当該方法が、
    A)前記第1のビデオ転送ストリームを、第1のビデオ符号器により、前記第1の参照クロックに対して符号化する工程において、
    前記第1のビデオ転送ストリームを受信する、サイズがBである第1の仮想復号器の符号化ピクチャ・バッファ(CPB)の占有量を追跡する第1の仮想バッファを維持する工程と、
    第1の時間に、該第1の時間よりも時間的に後に生ずるスプライス・アウト時間toutであって、第1の符号化ピクチャを表すビデオ・データとその後続の第2の符号化ピクチャを表すビデオ・データとの間の前記第1のビデオ転送ストリーム中で生ずるスプライス・アウト時間toutを識別する工程と、
    前記第1の時間と前記スプライス・アウト時間との間の第1の符号化ピクチャの復号時間において、前記第1の仮想バッファの前記占有量がXB未満(Xはゼロよりも大きく且つ1未満)となるように前記第1のビデオ転送ストリームを符号化する工程と、
    第2の時間に、前記スプライス・アウト時間よりも時間的に後の少なくとも時間Tに生ずるスプライス・イン時間tinであって、第3の符号化ピクチャを表すビデオ・データとその後続の第4の符号化ピクチャを表すビデオ・データとの間の前記第1のビデオ転送ストリーム中で生ずるスプライス・イン時間tinを識別する工程と、
    前記第2の時間と前記スプライス・イン時間との間の第3の符号化ピクチャの復号時間において、前記第1の仮想バッファの前記占有量がXB未満となるように、符号化された前記第1のビデオ転送ストリームを符号化する工程とを行うこと、
    B)前記第2のビデオ転送ストリームを、最大サイズがBである第2のCPBを有する第2のビデオ符号器により、前記第2の参照クロックに対して符号化する工程において、
    前記第2のビデオ転送ストリームを受信する、サイズがBである第2の仮想復号器の符号化ピクチャ・バッファの占有量を追跡する第2の仮想バッファを維持する工程と、
    前記最初の符号化ピクチャを表すビデオ・データが時間B/(XR)を超えずに送信されるように前記第2のビデオ転送ストリームを符号化する工程と、
    前記最後の符号化ピクチャの復号時間において、前記第2の仮想バッファの前記占有量がXB未満となるように前記第2のビデオ転送ストリームを符号化する工程とを行うこと、
    C)前記第1の参照クロックに対して、toutからtout+Tまでの前記第1のビデオ転送ストリーム中のビデオ・データを、前記最初のピクチャから前記最後のピクチャまでの前記第2のビデオ転送ストリームのビデオ・データと置き換える工程を行うこと、
    を備える方法。
  2. 前記方法がさらに、
    前記第1のビデオ転送ストリームを符号化する工程で、前記第1の時間と前記スプライス・アウト時間との間の前記第1のビデオ転送ストリーム中にマーカを挿入する工程と、
    前記第1のビデオ転送ストリームをモニタして前記マーカを求める工程と、
    前記マーカを取得したとき、前記第2のビデオ転送ストリームのソースに通知信号を送る工程であって、前記通知信号によって前記ソースから前記第2のビデオ転送ストリームが供給される、工程と、を備え、
    前記第2のビデオ転送ストリームが前記スプライス・アウト時間よりも遅れずに供給されるように前記マーカが前記第1のビデオ転送ストリーム中のポイントに配置される、請求項1に記載の方法。
  3. 前記Xが1/2であり、前記第2の符号化ピクチャが他のすべての符号化ピクチャから独立して符号化され、前記第2の符号化ピクチャの後に続く符号化ピクチャのすべてが、前記第2の符号化ピクチャに先行するすべての符号化ピクチャから独立して符号化され、前記第4の符号化ピクチャが他のすべての符号化ピクチャから独立して符号化され、前記第4の符号化ピクチャの後に続く符号化ピクチャのすべてが、前記第4の符号化ピクチャに先行するすべての符号化ピクチャから独立して符号化される、請求項1に記載の方法。
  4. 前記方法がさらに、
    前記第1のビデオ転送ストリームを符号化する工程の前に前記第2のビデオ転送ストリームを符号化する工程と、
    前記第2のビデオ転送ストリームを記憶デバイスに記憶する工程と、
    を備える、請求項1に記載の方法。
  5. 前記方法がさらに、
    前記第1のビデオ転送ストリームを符号化する工程で、前記第1の時間と前記スプライス・アウト時間との間の前記第1のビデオ転送ストリーム中にマーカを挿入する工程と、
    前記第1のビデオ転送ストリームをモニタして前記マーカを求める工程と、
    前記マーカを取得したとき、前記記憶デバイスに通知信号を送る工程であって、前記通知信号によって前記記憶デバイスから前記第2のビデオ転送ストリームが送信される、工程と、を備え、
    前記第2のビデオ転送ストリームが前記スプライス・アウト時間よりも遅れずに送信されるように前記マーカが前記第1のビデオ転送ストリーム中の点に配置され
    前記第2のビデオ転送ストリームが、前記記憶デバイスに記憶された、前記工程B)に従って各々符号化されている複数の符号化ビデオストリームの1つであり、
    前記方法がさらに、
    少なくとも1つの選択パラメータを前記記憶デバイスに供給する工程と、
    前記複数の符号化ビデオストリームの1つを前記第2のビデオ転送ストリームとして選択する工程であって、該選択が、少なくとも部分的に前記選択パラメータによって決定される、工程と、を備え、
    スプライサによって供給される前記少なくとも1つの選択パラメータが、前記第1のビデオ転送ストリームの宛先に関係している、請求項4に記載の方法。
  6. 前記工程A)がさらに、
    前記第1の参照クロックに対する複数の時間のそれぞれに対して、該複数の時間のそれぞれよりも時間的に後に生ずる潜在的なスプライス・アウト時間であって、潜在的な第1の符号化ピクチャを表すビデオ・データとその後続における潜在的な第2の符号化ピクチャを表すビデオ・データとの間の前記第1のビデオ転送ストリーム中で生ずる該潜在的なスプライス・アウト時間を識別する工程と、
    前記複数の時間のそれぞれと、それぞれの前記潜在的なスプライス・アウト時間との間におけるそれぞれの前記潜在的な第1の符号化ピクチャの復号時間において、前記第1の仮想バッファの前記占有量がXB未満となるように前記第1のビデオ転送ストリームを符号化する工程と、を含み、
    前記方法がさらに、複数の潜在的な第2の符号化ピクチャのうちの1つを前記工程C)の前記第2の符号化ピクチャとして選択する工程を備える、請求項1に記載の方法
  7. 各潜在的な第2の符号化ピクチャが他のすべての符号化ピクチャから独立して符号化され、前記各潜在的な第2の符号化ピクチャの後に続く符号化ピクチャのすべてが、前記各潜在的な第2の符号化ピクチャに先行するすべての符号化ピクチャから独立して符号化され、各潜在的な第4の符号化ピクチャが他のすべての符号化ピクチャから独立して符号化され、前記各潜在的に第4の符号化ピクチャの後に続く符号化ピクチャのすべてが、前記各潜在的な第4の符号化ピクチャに先行するすべての符号化ピクチャから独立して符号化される、請求項6に記載の方法
  8. 前記工程A)がさらに、
    前記第1の参照クロックに対する複数の時間のそれぞれに対して、該複数の時間のそれぞれよりも時間的に後に生ずる潜在的なスプライス・イン時間であって、潜在的な第3の符号化ピクチャを表すビデオ・データとその後続における潜在的な第4の符号化ピクチャを表すビデオ・データとの間の前記第1のビデオ転送ストリーム中で生ずる該潜在的なスプライス・イン時間を識別する工程であって、各潜在的な第4の符号化ピクチャが他のすべての符号化ピクチャから独立して符号化され、前記各潜在的な第4の符号化ピクチャの後に続くすべての符号化ピクチャが、前記各潜在的な第4の符号化ピクチャに先行するすべての符号化ピクチャから独立して符号化される、工程と、
    前記複数の時間のそれぞれと、それぞれの前記潜在的なスプライス・イン時間との間におけるそれぞれの前記潜在的な第3の符号化ピクチャの復号時間において、前記第1の仮想バッファの前記占有量がXB未満となるように前記第1のビデオ転送ストリームを符号化する工程と、を含み、
    前記方法がさらに、複数の潜在的な第4の符号化ピクチャのうちの1つを前記工程C)の前記第4の符号化ピクチャとして選択する工程を備える、請求項1に記載の方法
  9. in がt out 後の時間Tを超えて生じた場合、前記方法がさらに、前記最後の符号化ピクチャの後の時間t in −t out −Tの間、置き換え用符号化ピクチャを表すビデオ・データを前記第2のビデオ転送ストリームに追加する工程を備える、請求項1に記載の方法
  10. 前記工程A)がさらに、前記符号化された第1のビデオ転送ストリームの前記ビデオ・データを暗号化する工程を含み、前記符号化された第1のビデオ転送ストリームの各符号化ピクチャが、前記符号化された第1のビデオ転送ストリームの他の符号化ピクチャから独立して暗号化される、請求項1に記載の方法
  11. 前記工程B)がさらに、ハッシュ関数を用いて、前記符号化された第2のビデオ転送ストリームに対するハッシュ値を生成する工程と、該ハッシュ値を前記第2のビデオ転送ストリーム中に挿入する工程とを含む、請求項1に記載の方法
  12. 前記第1のビデオ符号器が、スタンドアロンのビデオ符号器、トランスコーダの符号化段、及びレート変換器の符号化段からなる群から選択される、請求項1に記載の方法
JP2008545991A 2005-12-16 2006-12-15 符号化されたビデオ・ストリーム間をシームレスにスプライスするためのビデオ符号化 Expired - Fee Related JP4779024B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US75089305P 2005-12-16 2005-12-16
US60/750,893 2005-12-16
PCT/US2006/062160 WO2007111740A2 (en) 2005-12-16 2006-12-15 Video encoding for seamless splicing between encoded video streams

Publications (2)

Publication Number Publication Date
JP2009520413A JP2009520413A (ja) 2009-05-21
JP4779024B2 true JP4779024B2 (ja) 2011-09-21

Family

ID=38541598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008545991A Expired - Fee Related JP4779024B2 (ja) 2005-12-16 2006-12-15 符号化されたビデオ・ストリーム間をシームレスにスプライスするためのビデオ符号化

Country Status (5)

Country Link
US (1) US7477692B2 (ja)
EP (1) EP1964401A4 (ja)
JP (1) JP4779024B2 (ja)
KR (1) KR101010170B1 (ja)
WO (1) WO2007111740A2 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100458917C (zh) * 2003-10-16 2009-02-04 新科实业有限公司 硬盘驱动器悬架共振优化的方法和机构
KR100781528B1 (ko) * 2006-06-29 2007-12-03 삼성전자주식회사 무결성을 보장하는 비디오 스트림을 제공하는 장치 및 그방법
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US20090180546A1 (en) * 2008-01-09 2009-07-16 Rodriguez Arturo A Assistance for processing pictures in concatenated video streams
US8873932B2 (en) 2007-12-11 2014-10-28 Cisco Technology, Inc. Inferential processing to ascertain plural levels of picture interdependencies
US20080115175A1 (en) * 2006-11-13 2008-05-15 Rodriguez Arturo A System and method for signaling characteristics of pictures' interdependencies
US8416859B2 (en) 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
EP2137733A1 (en) * 2007-04-13 2009-12-30 THOMSON Licensing An editing apparatus and an editing method
US8804845B2 (en) 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
US8958486B2 (en) 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8854964B2 (en) * 2007-12-14 2014-10-07 General Instrument Corporation Method and apparatus for determining a transport bit rate for a Multiprogram transport stream
US8411569B2 (en) * 2008-01-10 2013-04-02 Alcatel Lucent Method of splicing encoded multimedia data streams
US8416858B2 (en) 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
US20100011274A1 (en) * 2008-06-12 2010-01-14 Qualcomm Incorporated Hypothetical fec decoder and signalling for decoding control
WO2009152450A1 (en) 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US8705631B2 (en) 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8781003B2 (en) * 2008-07-17 2014-07-15 Cisco Technology, Inc. Splicing of encrypted video/audio content
US8320465B2 (en) 2008-11-12 2012-11-27 Cisco Technology, Inc. Error concealment of plural processed representations of a single video signal received in a video program
WO2010096767A1 (en) 2009-02-20 2010-08-26 Cisco Technology, Inc. Signalling of decodable sub-sequences
US20100218232A1 (en) * 2009-02-25 2010-08-26 Cisco Technology, Inc. Signalling of auxiliary information that assists processing of video according to various formats
US8782261B1 (en) 2009-04-03 2014-07-15 Cisco Technology, Inc. System and method for authorization of segment boundary notifications
US9955107B2 (en) * 2009-04-23 2018-04-24 Arris Enterprises Llc Digital video recorder recording and rendering programs formed from spliced segments
US8949883B2 (en) * 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8279926B2 (en) * 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
KR20110106160A (ko) * 2010-03-22 2011-09-28 (주)인터큐비트 다중 디스플레이를 이용한 초고해상도 영상 재생 시스템
US20110293021A1 (en) * 2010-05-28 2011-12-01 Jayant Kotalwar Prevent audio loss in the spliced content generated by the packet level video splicer
GB2481573A (en) 2010-06-15 2012-01-04 Nds Ltd Splicng of encoded media content
US8539526B1 (en) * 2012-09-27 2013-09-17 Tribune Broadcasting Company, Llc System and method for simultaneously broadcasting multiple media-components
JP6019824B2 (ja) * 2012-07-02 2016-11-02 富士通株式会社 動画像符号化装置及び動画像符号化方法ならびに動画像符号化用コンピュータプログラム
US9503753B2 (en) * 2012-09-24 2016-11-22 Qualcomm Incorporated Coded picture buffer arrival and nominal removal times in video coding
EP3185564A1 (en) * 2015-12-22 2017-06-28 Harmonic Inc. Video stream splicing of groups of pictures (gop)
US10469859B2 (en) * 2017-12-08 2019-11-05 Hulu, LLC Accelerated re-encoding of video for video delivery
US10681401B2 (en) 2018-09-04 2020-06-09 At&T Intellectual Property I, L.P. System and method for verifying presentation of an advertisement inserted in a video stream

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5966465A (en) * 1994-09-21 1999-10-12 Ricoh Corporation Compression/decompression using reversible embedded wavelets
US5652627A (en) * 1994-09-27 1997-07-29 Lucent Technologies Inc. System and method for reducing jitter in a packet-based transmission network
US5917830A (en) * 1996-10-18 1999-06-29 General Instrument Corporation Splicing compressed packetized digital video streams
KR100574186B1 (ko) * 1997-10-03 2006-04-27 소니 가부시끼 가이샤 부호화 스트림 스플라이싱 장치 및 방법과 부호화 스트림 생성 장치 및 방법과 편집 장치 및 방법 및 편집 시스템
US6414998B1 (en) * 1998-01-27 2002-07-02 Sony Corporation Method and apparatus for inserting an image material
US6480539B1 (en) * 1999-09-10 2002-11-12 Thomson Licensing S.A. Video encoding method and apparatus
US6792047B1 (en) * 2000-01-04 2004-09-14 Emc Corporation Real time processing and streaming of spliced encoded MPEG video and associated audio

Also Published As

Publication number Publication date
WO2007111740A2 (en) 2007-10-04
EP1964401A4 (en) 2011-04-20
KR20080096755A (ko) 2008-11-03
KR101010170B1 (ko) 2011-01-20
WO2007111740A3 (en) 2008-11-27
EP1964401A2 (en) 2008-09-03
US20070140358A1 (en) 2007-06-21
JP2009520413A (ja) 2009-05-21
US7477692B2 (en) 2009-01-13

Similar Documents

Publication Publication Date Title
JP4779024B2 (ja) 符号化されたビデオ・ストリーム間をシームレスにスプライスするためのビデオ符号化
EP1051848B1 (en) Apparatus and method for digital advertisement insertion in a bitstream
CA2449124C (en) Splicing of digital video transport streams
EP0944249B1 (en) Encoded stream splicing device and method, and an encoded stream generating device and method
US8170122B2 (en) Method and apparatus for inserting digital media advertisements into statistical multiplexed streams
EP1250814B1 (en) Non real-time delivery of mpeg-2 programs via an mpeg-2 transport stream
US8335262B2 (en) Dynamic rate adjustment to splice compressed video streams
US7394850B1 (en) Method and apparatus for performing digital-to-digital video insertion
EP2504991B1 (en) Splicing of content
US7075994B2 (en) Signal transmission method and signal transmission apparatus
GB2525590A (en) Digital media splicing system and method
US20100211982A1 (en) A/v premises decoder, a content manager, a video insertion system including both the decoder and manager, and a method of inserting local content into a video stream at a customers premises
EP2814256B1 (en) Method and apparatus for modifying a stream of digital content
US20110187932A1 (en) Digital broadcast method, data receiving device, and data transmitting device
EP1410646B1 (en) Method and apparatus for inserting digital media advertisements into statistical multiplexed streams
GB2543080A (en) Digital media splicing system and method
US20210168472A1 (en) Audio visual time base correction in adaptive bit rate applications

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110607

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110704

R150 Certificate of patent or registration of utility model

Ref document number: 4779024

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees