JP5452495B2 - オーディオ・ビデオレンダリングの早期開始システム及び方法 - Google Patents

オーディオ・ビデオレンダリングの早期開始システム及び方法 Download PDF

Info

Publication number
JP5452495B2
JP5452495B2 JP2010528389A JP2010528389A JP5452495B2 JP 5452495 B2 JP5452495 B2 JP 5452495B2 JP 2010528389 A JP2010528389 A JP 2010528389A JP 2010528389 A JP2010528389 A JP 2010528389A JP 5452495 B2 JP5452495 B2 JP 5452495B2
Authority
JP
Japan
Prior art keywords
audio
video
rendering
speed
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010528389A
Other languages
English (en)
Other versions
JP2011501489A (ja
Inventor
アンリ,ジャン−バティスト
エリス,アレクサンドル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2011501489A publication Critical patent/JP2011501489A/ja
Application granted granted Critical
Publication of JP5452495B2 publication Critical patent/JP5452495B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383Accessing a communication channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4392Processing of audio elementary streams involving audio buffer management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、オーディオ・ビデオのレンダリング(rendering)に関し、特に、オーディオ・ビデオレンダリングの早期開始方法に関する。
このセクションは、以下に説明して特許を請求する本発明の様々な態様に関連する様々な態様の技術を読者に紹介することを意図するものである。この説明は、本発明の様々な態様の理解を容易にする背景情報を読者に提供する役に立つと思われる。従って、言うまでもなくこれらの記載は上記を考慮して読むべきであり、先行技術として認める(admissions of prior art)ものではない。
テレビジョン放送技術における変化により、ザッピング(zapping)時間が長くなった。アナログ放送テレビジョンではザッピングはすぐにできた。デジタルテレビではザッピングに時間がかかる。以下に例を示す。放送ネットワークを介したビデオ配信には、MPEG−2やJVT/H.264/MPEG AVCなどの標準的な圧縮システムが用いられる。MPEG標準ではグループ・オブ・ピクチャ(GoP)が規定されている。GoPは連続したピクチャシーケンスI,P,Bである。これらのピクチャはMPEG標準で定義されている。Iピクチャは他のピクチャを参照せずにエンコードされる。Pピクチャは先行するIピクチャまたはPピクチャを参照する。Bピクチャは先行するIピクチャまたはPピクチャと、後続のIピクチャまたはPピクチャを参照する。受信器は、新しい番組を受信すると、Iピクチャの受信を待ってその番組のデコードを開始する。ストリームの受信と、そのストリームのビデオ画面へのレンダリングとの間には遅延が生じる。
デジタルテレビジョンの帯域幅を削減するために用いるメカニズムが使うIピクチャは減少しつつある。デコーダは、Iピクチャを見つけてデコードするのに時間がかかる。これには1/2秒かかることもある。さらに、インターネットプロトコルネットワークによるテレビジョントランスポートの場合、デコーダにバッファを設けて、ネットワークにおける配信の低信頼性を補正する必要がある。このため、番組の受信と、テレビジョンストリームのデコーダへの伝送との間の時間が長くなる。受信と、新しい番組の画面へのレンダリングとの間には2秒以上かかることもある。
このザッピング(zapping)時間を短くする技術が検討されている。特許文献1は、高速Iピクチャ検出(rapid I picture finding)などザッピング用に素早くデコードできる追加的ストリームを記載している。特許文献2は、デコーダにデータをためるユニキャストバーストプッシュ法を記載している。これらの方法では、ザッピングプロセス用に追加的ストリームをデコーダに送信することが必要である。
国際特許出願公開第WO2005/112465A1号 欧州特許出願公開第EP1523190号
本発明はオーディオ・ビデオレンダリングの早期開始方法に関する。本発明は、オーディオ・ビデオ情報の受信者における簡単な方法であり、オーディオ・ビデオ情報の送信者には何も影響を与えない。
このため、本発明は、レシーバにおける、標準的レンダリングスピードでレンダリングされるよう構成された離散的サンプルを含むストリームを再生する方法に関し、レシーバにおいて、ストリームの受信を開始する段階と、標準的レンダリングスピードより遅いスピードで離散的サンプルのレンダリングを開始する段階と、そのレンダリングスピードを標準的レンダリングスピードまで速める段階とを含む。
ストリームは他の装置から受信する。レシーバはストリームの受信を開始する。
標準的レンダリングスピードで離散的サンプルのレンダリングを開始せずに、本発明のレシーバは遅いスピードでレンダリングを開始する。これが遅く始めるレンダリングである。レンダリングスピードを、標準的レンダリングスピードまでゆっくりと連続的に速くする。これにより離散的サンプルを早くレンダリングできる。
本発明の一実施形態では、ストリームは連続的サンプルを含み、連続的および離散的サンプルは標準的レンダリングスピードで同期してレンダリングするよう構成され、方法はさらに、離散的サンプルをノーマルスピードより遅いスピードでレンダリングする時、連続的サンプルを標準的レンダリングスピードで、離散的サンプルと同期させないでレンダリングする段階と、離散的サンプルを標準的レンダリングスピードでレンダリングする時、連続的サンプルを標準的レンダリングスピードで、離散的サンプルと同期させてレンダリングする段階と、を含む。
ゆっくり始まる方法で連続的サンプルをレンダリングすると、エンドユーザにとっては不便である。連続的サンプルを同期してレンダリングするのがエンドユーザにとって受け入れられるようになる時を待っていたのでは、エンドユーザに取っては長すぎる。本発明の連続的サンプルのレンダリングは、離散的サンプルのレンダリングとは同期しない。本方法により、エンドユーザに受け入れられる、連続的サンプルの早いレンダリングを提供する。
本発明の一実施形態では、離散的サンプルと同期して連続的サンプルをレンダリングする段階は、離散的サンプルのレンダリングを連続的サンプルのレンダリングに合わせて開始する。
同期の始まりはエンドユーザには明らかである。
本発明の一実施形態では、離散的サンプルと同期しないで連続的サンプルをレンダリングする段階は、離散的サンプルを標準的レンダリングスピードでレンダリングする時に対応する時に開始する。
本発明の一実施形態では、ストリームは連続的サンプルを含み、連続的および離散的サンプルは標準的レンダリングスピードで同期してレンダリングするよう構成され、本方法はさらに、離散的サンプルをノーマルスピードより低いスピードでレンダリングし、連続的サンプルのレンダリングスピードが閾値に到達した時、離散サンプルと同期させて、ノーマルスピードより低いスピードで連続的サンプルをレンダリングする段階であって、スピードを標準レンダリングスピードまで連続的に早くする段階を含む。
エンドユーザに受け入れられるなら、標準的レンダリングスピードより遅いスピードで連続的サンプルをレンダリングすることも可能である。この方法により、レンダリングを早く始められ、連続的サンプルのレンダリングスピードが十分速く(convenient)なりしだい、離散的サンプルのレンダリングと同期できる。
本発明の一実施形態では、ストリームを受信する段階の前に、新しいプログラムをザッピングする段階を含む。
本発明のこの方法により、ザッピング時間を短くできる。
本発明の一実施形態では、離散的サンプルはビデオサンプルであり、連続的サンプルはオーディオサンプルである。
本発明の一実施形態では、ストリームはMPEG−2ストリームである。
本発明の一実施形態では、離散的サンプルをレンダリングする時間は、同じレンダリング時間の連続的サンプルと離散的サンプルの受信の間の遅延に依存する。
離散的サンプルのレンダリング時間を長くすることにより、同じレンダリング時間に対応する連続的および離散的サンプルの受信の間の遅延が大きすぎる場合、連続的サンプルのレンダリングと同期できる。
開示した実施形態と同じ範囲の態様を以下に記載する。言うまでもなく、これらの態様は、読者に本発明が取り得る形態の簡単な概要を提供するためだけに記載するものであり、本発明の範囲を限定するものではない。実際、本発明は、以下に記載していない様々な態様を包含し得る。
本発明は、添付した図面を参照して以下の実施形態及び実施例により、よりよく理解でき、例示できるであろう。
実施形態によるシステムを示すブロック図である。 実施形態による受信器を示すブロック図である。 実施形態によるゆっくり開始するビデオレンダリングプロセスを示す図である。 第1の実施形態によるゆっくり開始するオーディオレンダリングプロセスを示す図である。 第2の実施形態によるゆっくり開始するオーディオレンダリングプロセスを示す図である。 第3の実施形態によるゆっくり開始するオーディオレンダリングプロセスを示す図である。 オーディオ・ビデオストリームの受信を示す図である。 オーディオとビデオの受信によるオーディオとビデオのプレゼンテーションを示す図である。 オーディオとビデオの受信によるオーディオとビデオのプレゼンテーションを示す図である。
図1と図2では、表示したブロックは純粋に機能的なものであり、必ずしも物理的なものとして分離していることを示すものではない。すなわち、これらのブロックは、ソフトウェアとして開発してもよいし、集積回路により実施してもよいし、ソフトウェアと集積回路の組み合わせにより実施してもよい。
実施形態によるシステムを図1に示した。本システムは、サーバ6とレシーバ4とビデオ画面5となどの装置を含む。サーバはビデオソースモジュール1とビデオエンコーダモジュール2とを含む。もちろん、ビデオソースモジュールとビデオエンコーダモジュールとは別々の装置に含まれていてもよい。サーバは、オーディオ・ビデオストリームをエンコードして、それを、インターネットプロトコルネットワーク3を介してレシーバに送信する。もちろん、オーディオ・ビデオストリームは、サーバからレシーバにオーディオ・ビデオストリームを送信できるネットワークであればどんなネットワークで送信してもよい。特に、ネットワークはローカルエリアネットワークであってもよい。オーディオ・ビデオの複数のコンポーネントを複数のネットワークを介して送信してもよい。この場合、コンポーネントにはレシーバにおいて同期する手段を有している。ビデオレシーバはセットトップボックスである。もちろん、ビデオレシーバは、ビデオデコーディングをするセットトップボックスの機能などの機能を有する装置であれば、どんな装置であってもよい。ビデオストリームは、セットトップボックスで受信され、デコードされ、ビデオ画面にレンダリング(rendered)される。
実施形態によるレシーバを図2に示した。本レシーバは、ネットワークを介してサーバからオーディオビデオデータを受信する通信モジュール21を含む。オーディオデータとビデオデータとを記憶する記憶モジュール23を含む。オーディオストリームとビデオストリームをデコードするオーディオ・ビデオデコーディングモジュール25を含む。ユーザにレシーバを制御させるユーザインタフェース24を含む。ユーザインタフェースによりザッピング(zapping)方法を起動または停止(deactivate)できる。以下に説明するすべての実施形態を同一のレシーバに実装して、ユーザインタフェースによりザッピング方法を選択してもよい。処理モジュール22は、実施形態による方法を実行するように構成されている。データは内部バス26を介してやりとりされる。
実施形態によるゆっくり開始するビデオレンダリングプロセスを図3に示す。図3には、時間の関数として、受信バッファのデータレベル(filling level)を示す図と、ビデオレンダリングのスピードを示す図とを含む。
ストリームは標準的なスピードで伝送される。これにより、レシーバは標準的なスピードでそのストリームをレンダリングできる。ステップS1において、ストリームをレシーバが受信する。画像は記憶されず、レンダリングもされない。ステップS2において、ストリーム中のIピクチャを見つける。フェーズ1では、このIピクチャを画面に表示する。レシーバは受信バッファにデータをため(filling)始める。バッファには受信レートでデータがたまる。受信したIピクチャだけをレンダリングし、その他の画像は使わないからである。ステップS3において、受信バッファがレンダリング開始レベルに達する。このレベルは、ビデオを適切にレンダリングできる受信データ量に相当する。このレベル値を変更して、レンダリングをもう少し早く、または遅く開始することもできる。非常に早く開始すると、レンダリングされる画像は一連の静止画となる。それほど早くなければ、レンダリングされる画像はスローモーションビデオのように見える。この段階では、レンダリングは標準的なレンダリングスピードより遅いスピードで実行される。ここでフェーズ2が始まる。バッファには受信スピードでデータがたまるが、標準的なスピードより遅い、レンダリングスピードに対応するスピードでデータが出力される(emptied)。標準的なスピードでのレンダリングできるように、このデータが出力されるスピードをゆっくり加速する。そのため、バッファレベルは上がり続けるが、レンダリングスピードが標準スピードに近づくので、上がりかたは徐々に遅くなる。ステップS4において受信バッファがいっぱいになる時点まで、レンダリングスピードは加速される。この時点は、ビデオが標準スピードでレンダリングされるフェーズ3に対応する。
データを出力するスピード(emptying speed)は次のように加速される。ビデオバッファにはデータがN%たまっているとする。データを出力するスピードを 100/(1−N)×coeff/100 と設定する。coeffの値はデフォルトで1に設定する。例えば、ビデオバッファにデータが60%たまっていると、データを出力するスピードは標準スピードの71.4%である。
coeffの値は1以外のどんな値に設定してもよい。coeffの値を1より小さくすると、満足できるレンダリングスピードには早く達するが、バッファにデータをためるのに時間がかかり、標準的スピードに達するには時間がかかる。coeffの値を1より大きくすると、バッファに早くデータがたまるが、最初のレンダリングスピードはゆっくりである。coeffの値をバッファサイズに応じて動的に変更してもよい。
バッファのデータ量が増えると、スピードも上がり、標準スピードになる。
ゆっくり始まるレンダリングプロセスはビデオの場合に好都合である。これは、一連の静止画であり、離散サンプルとも呼ばれる。コンテンツの離散サンプルは、ある時間表示すると、その時間中同じコンテンツを表示する。離散サンプルはある時間中1回だけレンダリングされる。ビデオは、速くまたはゆっくりレンダリングされる一連の離散サンプル、すなわち静止画である。MPEG−2では一般的に、PALシステムの場合、ビデオは40msごとに1ピクチャの頻度で表示される。これは1秒あたり25ピクチャである。40msごとに1ピクチャより頻度が高ければエンドユーザには受け入れられる。
ゆっくり始まるレンダリングプロセスは、オーディオなどの連続的サンプルには適合しないかも知れない。コンテンツの連続サンプルは、ある時間表示すると、その時間中、全コンテンツを連続的に表示する。連続サンプルはある時間に徐々に表示される。MPEG−1レイヤ2またはレイヤ3では一般的に、オーディオストリームは、例えば24msごとに1サンプルの固定サイズのサンプルにエンコードされる。これは48kHzサンプリングに相当する。このサンプルを通常のレートより低い、または高いレートでレンダリングすると、一般的には音声のピッチが変化する。レンダリングスピードが5%高くなるか低くなると、ピッチの変化が分かってしまう。
早いオーディオレンダリングの第1の実施形態では、図4に示したゆっくり始まるメカニズムを用いる。図4は、時間の関数として、オーディオ受信バッファのグラフとオーディオレンダリングスピードのグラフとを示す。オーディオレンダリングスピードのグラフは、図3に示したビデオレンダリングスピードと同じである。第1の実施形態では、ゆっくり始まるビデオレンダリングと同期して、オーディオをレンダリングする。
レシーバでは、サンプルの再生の際にピッチを変えないようにサンプル時間を修正できるアルゴリズムを用いる。かかるアルゴリズムは当業者には周知である。かかるアルゴリズムを以下ピッチアルゴリズムと呼ぶが、これを用いて、エンドユーザが気がつく強い効果を生じさせずに、レンダリングスピードを25%上げる、または下げることができる。それゆえ、受信バッファにデータが75%たまっているとき、レシーバはオーディオを透過的にレンダリングしてもよい。もちろん閾値は75%より高くても低くてもよい。これは処理する音声の種類と、アルゴリズム自体に依存するだろう。
レシーバはビデオと同時にオーディオを受信する。オーディオをオーディオ受信バッファに記憶する。これがフェーズ1′であり、図3のフェーズ1に対応する。S′2(図3のS3に対応する)でビデオレンダリングが始まると、オーディオサンプルは同期して消費されるが、レンダリングはされない。これがフェーズ1.5′である。オーディオレンダリングのスピードが75%に達すると、フェーズ2′のステップS′3でオーディオレンダリングが始まる。オーディオはビデオのレンダリングと同期される。フェーズ1.5′と2′において、オーディオバッファには徐々にデータがいっぱいまで入れられる。オーディオ受信バッファがいっぱいになると、ステップS′4でフェーズ3′になる。オーディオとビデオは標準スピードでレンダリングされる。フェーズ3′は図3のフェーズ3と同じである。
実施形態によっては、オーディオを低速でレンダリング処理するピッチアルゴリズムがない。こうした実施形態では、オーディオでは標準スピードしか使えない。前記の方法では、オーディオはフェーズ2の終わりフェーズ3に入る時に初めてレンダリングする。これには時間がかかる。
図5に第2の実施形態による早期オーディオレンダリングを示した。これはレシーバがピッチアルゴリズムを有さない場合の非同期的方法である。図5は、時間の関数として、オーディオ受信バッファとオーディオレンダリングスピードとを示す。オーディオレンダリングスピードのグラフは、図3に示したビデオレンダリングスピードと同じである。特に、フェーズ1の初めとフェーズ1bisの初めは一致し、フェーズ3とフェーズ3bisは一致する。実施形態では、レシーバはオーディオストリームを受信し、オーディオ受信バッファにデータを入れる。フェーズ1の終わりでバッファがいっぱいになると、レシーバはS3bisとフェーズ2bisにおいてオーディオを標準スピードでレンダリングする。そのため、フェーズ2bisでは、オーディオのレンダリングはビデオのレンダリングと同期していない。オーディオは、低速のビデオレンダリングの開始よりも後にレンダリングされる。オーディオは、ステップS5bisでビデオが標準スピードでレンダリングされると、ビデオと同期される。
図6に示したように、第3の実施形態では、ピッチアルゴリズムを用いる方法を非同期的方法と組み合わせる。レシーバはピッチアルゴリズムを実行する手段を有する。レシーバは、フェーズ1terで、オーディオを受信し、ビデオバッファと同じスピードでオーディオ受信バッファにデータを入れる(fill)。ビデオレンダリングが始まってもオーディオレンダリングは始まらない。オーディオの閾値に到達しておらず、オーディオのレンダリングはエンドユーザにとって満足できるものではない(unacceptable)。オーディオバッファが閾値に達すると、ピッチアルゴリズムはステップS′′3で、オーディオを低いスピード(ここでは85%)でレンダリングする。ここでフェーズ1′terが始まる。オーディオはビデオのレンダリングと同期されない。
オーディオバッファにデータが入っているレベル(filling level)は、ビデオバッファにデータが入っているレベルより高い。オーディオバッファにデータが入っているレベルがビデオバッファにデータが入っているレベルになると、ステップS′′5でオーディオをビデオと同期する。ここでフェーズ2terが始まる。同期したオーディオ・ビデオのレンダリングスピードはゆっくりと高くなり、第1の実施形態で示したように、ステップS′′4とフェーズ3terで標準スピードに到達する。
オーディオとビデオが、同期すべき時(例えば、非同期的方法におけるフェーズ2の終わり)に、正確には一致しない場合、オーディオコンポーネントをビデオコンポーネントに合わせるより、ビデオコンポーネントをオーディオコンポーネントに合わせる方が容易である。その時にレンダリングされるビデオピクチャを、元の時間より長くまたは短くレンダリングして、対応するオーディオサンプルに追いつくようにする。オーディオコンポーネントの調整はビデオコンポーネントの調整ほど容易ではない。ピッチアルゴリズムが無いシステムの場合、オーディオコンポーネントの調整により、短い無音状態やスクラッチノイズなどのエンドユーザに対する音声的インパクトが生じる。
オーディオとビデオのバッファサイズはオーディオサンプルとビデオサンプルの受信時間に応じて決まる。図7に示すように、これらのサンプルは、同時に、または異なる時間に受信される。PTSはMPEG−2トランスポートストリームに準拠したプレゼンテーションタイムスタンプ(presentation time stamp)である。トランスポートプレーンは受信したパケットのPTSの値を示し、PTSの受信時間の差を示す。図では、図示を目的として、PTSは長さが等しいサンプルを表している。これはMPEGシステムでは技術的には正しくない。バッファプレーンは受信時間の差に応じて必要となる最小受信バッファサイズを示す。レンダリングプレーンは、オーディオとビデオを同期してレンダリングする時を示す。
オーディオサンプルとビデオサンプルは、同時に受信されると、受信した時の同じPTSを有する。オーディオバッファとビデオバッファには同時にデータが入れられる(filled)。そのため、オーディオバッファとビデオバッファとは時間単位のサイズは同じである。
オーディオコンポーネントとビデオコンポーネントは、トランスポートレベルでは同期しておらず、同時に受信されない。702では、オーディオの前にビデオを受信し、その差は2PTSである。Δ=2で示した。703では、オーディオの後にビデオを受信し、その差は2PTSである。Δ=−2で示した。
レシーバではバッファ調整が必要となる。702では、バッファプレーンにおけるビデオバッファサイズが時間的に2PTS大きい。703では、バッファプレーンにおけるオーディオバッファサイズが時間的に2PTS大きい。レンダリングプレーンでは、オーディオとビデオが同じPTSでレンダリングされる。
しかし、非同期的方法では、ザッピングフェーズ(zapping phase)において、オーディオレンダリングを非常に早くすることが可能である。
図8と図9は、オーディオとビデオを同時に受信していない場合のオーディオとビデオのプレゼンテーションを示す図である。図8に示したように、オーディオコンポーネントをビデオコンポーネントより遅く受信する。ビデオバッファサイズを大きくする必要はない。ビデオバッファサイズの大きさは十分であり、フェーズ2以降同期できる。仮想ビデオラインに到達すると、オーディオが非同期で始まる。仮想ビデオラインについては後で説明する。
図9に示したように、トランスポートレベルでオーディオコンポーネントをビデオコンポーネントより非常に遅く受信すると、ビデオバッファサイズを大きくして新しいビデオバッファサイズにする。これが必要なのは、デフォルトのビデオバッファサイズが十分に大きくなく、フェーズ2以降、オーディオに同期できないからである。仮想ビデオラインはこの新しいビデオバッファサイズに基づき計算される。仮想ビデオラインに到達すると、オーディオが非同期で始まる。
非同期のオーディオをレンダリングする時点は、仮想ビデオラインとの交点で決まる。この仮想ビデオラインの計算は、最後のビデオバッファサイズを用いて、ビデオがザッピング無しに標準スピードでレンダリングされた場合にレンダリングされるだろうビデオPTSを外挿して行われる。正確に計算すると、オーディオとビデオはフェーズ2の終わりで同期される。最後のビデオバッファサイズを計算するために、ビデオコンポーネントのビットレートが必要である。最後のビデオバッファサイズが時間単位で表されるからである。
仮想ビデオラインは、最小ビデオバッファサイズと、オーディオおよびビデオの受信時のPTSの差と、ビデオのビットレートとを考慮して計算する。パケット受信フローを用いて受信ビットレートを継続的に計算する。最小ビデオバッファサイズがbuffer_defaultである。受信フローにおけるオーディオとビデオの差を観測する。これがdelta_audio_videoである。
これから目標ビデオバッファを求める。これがbuffer_realである:
Figure 0005452495
仮想ビデオPTSを継続的に計算する:
Figure 0005452495
実際のオーディオのPTSがvirtual_video_PTSに到達すると、オーディオを標準スピードでレンダリングする。オーディオバッファサイズをその時のオーディオバッファにデータが入っているレベル(audio buffer filling level)に設定する。
ここに示した実施形態は好ましくは小さなバッファに適している。ここで小さなバッファとは、最大5秒に相当するものである。
バッファがもっと大きい場合、ザッピング方法は、フェーズ2とフェーズ3の間に、コンテンツを標準スピードに近いスピードで長時間レンダリングする別のフェーズを含む。リニアにノーマルレベルに到達する。レシーバは、通常、フェーズ3において、ノーマルなバッファのデータ蓄積レベル(filling level)を継続的に更新する補正メカニズムをセットアップし、トランスポートジッタの変化をサポートする。プログレッシブにバッファにデータが蓄積される仮想ラインである仮想バッファレベルを継続的に更新する補正メカニズムもこのフェーズでセットアップされる。
例えば30秒バッファの場合、フェーズ2はバッファのデータ蓄積レベルが2秒のところで終わる。その後、新しいフェーズにおいて、標準スピードの95%のスピードでビデオをレンダリングする。
明細書、特許請求の範囲、及び図面に開示した内容(references)は、独立に設けることもできるし、適切に組み合わせて設けることもできる。必要に応じて、ハードウェア、ソフトウェア、またはこれらの組み合わせで機能を実施することができる。
本明細書において「一実施形態」とは、その実施形態に関して説明する具体的な機能、構造、特徴などが本発明の少なくとも1つの実施形態に含まれ得ることを意味している。本明細書ではいろいろな箇所で「一実施形態とは」と記載するが、必ずしも同じ実施形態を指すものではなく、別の、または代替的な実施形態は、必ずしも他の実施形態と互いに排他的なものではない。
特許請求の範囲に示す参照符号は例示であり、請求項の範囲を限定するものではない。

Claims (1)

  1. レシーバにおけるストリームの早期再生方法であって、前記ストリームはビデオサンプルとオーディオサンプルとを含み、前記オーディオサンプルと前記ビデオサンプルとは標準レンダリングスピードで同期してレンダリングされるよう構成され、前記方法は、レシーバにおいて、
    前記ストリームの受信を開始するステップと、
    標準的レンダリングスピードより遅いスピードで、標準的レンダリングスピードでレンダリングされるオーディオサンプルと同期せずに、前記ビデオサンプルのレンダリングを開始するステップと、
    前記ビデオサンプルのレンダリングスピードを標準的レンダリングスピードまで速めるステップと、
    標準的レンダリングスピードでレンダリングされているオーディオサンプルと同期して、標準的レンダリングスピードでビデオサンプルをレンダリングするステップと、を含む方法。
JP2010528389A 2007-10-11 2008-10-08 オーディオ・ビデオレンダリングの早期開始システム及び方法 Active JP5452495B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07301453A EP2048890A1 (en) 2007-10-11 2007-10-11 System and method for an early start of audio-video rendering
EP07301453.2 2007-10-11
PCT/EP2008/063487 WO2009047273A1 (en) 2007-10-11 2008-10-08 System and method for an early start of audio-video rendering

Publications (2)

Publication Number Publication Date
JP2011501489A JP2011501489A (ja) 2011-01-06
JP5452495B2 true JP5452495B2 (ja) 2014-03-26

Family

ID=39712373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010528389A Active JP5452495B2 (ja) 2007-10-11 2008-10-08 オーディオ・ビデオレンダリングの早期開始システム及び方法

Country Status (7)

Country Link
US (1) US8275233B2 (ja)
EP (2) EP2048890A1 (ja)
JP (1) JP5452495B2 (ja)
KR (1) KR101442009B1 (ja)
CN (1) CN101836458B (ja)
AT (1) ATE546952T1 (ja)
WO (1) WO2009047273A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5393074B2 (ja) * 2008-07-31 2014-01-22 株式会社吉野工業所 アンプル
EP2207340A1 (en) 2009-01-12 2010-07-14 Thomson Licensing Method and device for reception of control words, and device for transmission thereof
EP2254342A1 (de) * 2009-05-18 2010-11-24 Albis Technologies AG Verfahren zur Audio-/Videosynchronisation
WO2012110906A1 (en) * 2011-02-14 2012-08-23 Tp Vision Holding B.V. Video stream receiver with buffer
EP2557806B1 (en) * 2011-08-08 2018-05-23 Advanced Digital Broadcast S.A. Method for improving channel change in a television appliance
US20130290514A1 (en) * 2012-04-27 2013-10-31 Alcatel-Lucent Usa Inc. Dynamic interstitial transitions
EP2948949A4 (en) * 2013-01-24 2016-09-21 Telesofia Medical Ltd SYSTEM AND METHOD FOR SOFT VIDEO DESIGN
WO2016018787A1 (en) 2014-07-31 2016-02-04 Dolby Laboratories Licensing Corporation Audio processing systems and methods
JP2017009663A (ja) * 2015-06-17 2017-01-12 ソニー株式会社 録音装置、録音システム、および、録音方法
US20180069909A1 (en) * 2016-09-08 2018-03-08 Sonic Ip, Inc. Systems and Methods for Adaptive Buffering for Digital Video Streaming
EP3324638A1 (en) * 2016-11-16 2018-05-23 Thomson Licensing Method for decoding an audio/video stream and corresponding device
CN110536153A (zh) * 2018-05-23 2019-12-03 视联动力信息技术股份有限公司 一种视频数据的播放方法和服务器
CN114189737B (zh) * 2021-12-06 2024-08-06 国微集团(深圳)有限公司 一种数字电视快速切台方法及数字电视

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5365552A (en) * 1992-11-16 1994-11-15 Intel Corporation Buffer fullness indicator
US5583652A (en) * 1994-04-28 1996-12-10 International Business Machines Corporation Synchronized, variable-speed playback of digitally recorded audio and video
US6247072B1 (en) * 1998-01-27 2001-06-12 Cisco Technology, Inc. Real-time data rate matching across a medium
US6665751B1 (en) * 1999-04-17 2003-12-16 International Business Machines Corporation Streaming media player varying a play speed from an original to a maximum allowable slowdown proportionally in accordance with a buffer state
JP4765194B2 (ja) * 2001-05-10 2011-09-07 ソニー株式会社 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム
JP3925311B2 (ja) * 2002-06-03 2007-06-06 ソニー株式会社 データ配信システム
GB0300361D0 (en) * 2003-01-07 2003-02-05 Koninkl Philips Electronics Nv Audio-visual content transmission
US7562375B2 (en) 2003-10-10 2009-07-14 Microsoft Corporation Fast channel change
JP4608866B2 (ja) * 2003-10-20 2011-01-12 セイコーエプソン株式会社 表示制御装置
KR101132351B1 (ko) 2004-05-03 2012-04-05 톰슨 리서치 펀딩 코포레이션 Dsl 시스템에 대해 고속으로 채널 변경할 수 있게 하는 방법 및 장치
AU2005253152B2 (en) * 2004-06-07 2010-04-22 Sling Media, Inc. Personal media broadcasting system
US8799757B2 (en) * 2005-07-01 2014-08-05 Microsoft Corporation Synchronization aspects of interactive multimedia presentation management
CN101682753B (zh) * 2007-06-13 2013-05-22 汤姆森许可贸易公司 减小频道切换时间的系统和方法

Also Published As

Publication number Publication date
KR101442009B1 (ko) 2014-09-23
WO2009047273A1 (en) 2009-04-16
JP2011501489A (ja) 2011-01-06
EP2196033A1 (en) 2010-06-16
US20100329630A1 (en) 2010-12-30
ATE546952T1 (de) 2012-03-15
US8275233B2 (en) 2012-09-25
EP2048890A1 (en) 2009-04-15
EP2196033B1 (en) 2012-02-22
CN101836458A (zh) 2010-09-15
CN101836458B (zh) 2013-01-30
KR20100058625A (ko) 2010-06-03

Similar Documents

Publication Publication Date Title
JP5452495B2 (ja) オーディオ・ビデオレンダリングの早期開始システム及び方法
CN109714634B (zh) 一种直播数据流的解码同步方法、装置及设备
US10681397B2 (en) System and method for seamless switching through buffering
KR101350754B1 (ko) 채널 변경 시간을 감소시키고 채널 변경 동안 오디오/비디오 콘텐츠를 동기화하는 방법
KR101330907B1 (ko) 디지털 비디오 장치에서 채널 변경 시간을 단축하는 방법
EP3520421B1 (en) Viewer importance adaptive bit rate delivery
US20060143669A1 (en) Fast channel switching for digital TV
JP4983923B2 (ja) デコーダ装置、およびデコード方法
WO2004019530A1 (en) System and method for seamless switching through buffering
EP1889481A1 (en) Method and device for compressed domain video editing
US20200267423A1 (en) Method for initiating a transmission of a streaming content delivered to a client device and access point for implementing this method
KR100643270B1 (ko) 비디오 스트림을 재생하는 클라이언트 및 재생 방법
KR101824278B1 (ko) 단일 디코더로 채널 변경을 가능하게 하기 위한 수신기 및 수신기에서의 방법
US20060161676A1 (en) Apparatus for IP streaming capable of smoothing multimedia stream
JP2011035775A (ja) 動画出力装置、動画出力方法およびプログラム
JP2008136001A (ja) 符号化方式変換装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121030

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130129

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130430

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131025

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20131105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131227

R150 Certificate of patent or registration of utility model

Ref document number: 5452495

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250