JP6392115B2 - ビデオ構成要素を多重化するためのデータを信号伝達すること - Google Patents

ビデオ構成要素を多重化するためのデータを信号伝達すること Download PDF

Info

Publication number
JP6392115B2
JP6392115B2 JP2014263413A JP2014263413A JP6392115B2 JP 6392115 B2 JP6392115 B2 JP 6392115B2 JP 2014263413 A JP2014263413 A JP 2014263413A JP 2014263413 A JP2014263413 A JP 2014263413A JP 6392115 B2 JP6392115 B2 JP 6392115B2
Authority
JP
Japan
Prior art keywords
component
components
video
fragment
sending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014263413A
Other languages
English (en)
Other versions
JP2015097410A (ja
JP2015097410A5 (ja
Inventor
イン・チェン
マルタ・カークゼウィックズ
ヨン・ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015097410A publication Critical patent/JP2015097410A/ja
Publication of JP2015097410A5 publication Critical patent/JP2015097410A5/ja
Application granted granted Critical
Publication of JP6392115B2 publication Critical patent/JP6392115B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)

Description

本開示は、符号化ビデオデータの記憶及び転送に関する。
デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップ又はデスクトップコンピュータ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー電話又は衛星無線電話、ビデオ遠隔会議機器などを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、デジタルビデオ情報をより効率的に送信及び受信するために、MPEG-2、MPEG-4、ITU-T H.263又はITU-T H.264/MPEG-4、Part10、Advanced Video Coding(AVC)によって定義された規格、及びそのような規格の拡張に記載されているビデオ圧縮技術など、ビデオ圧縮技術を実装する。
ビデオ圧縮技術は、ビデオシーケンスに固有の冗長性を低減又は除去するために空間的予測及び/又は時間的予測を実行する。ブロックベースのビデオ符号化の場合、ビデオフレーム又はスライスがマクロブロックに区分され得る。各マクロブロックは更に区分され得る。イントラ符号化(I)フレーム又はスライス中のマクロブロックは、隣接マクロブロックに関する空間的予測を使用して符号化される。インター符号化(P又はB)フレーム又はスライス中のマクロブロックは、同じフレーム又はスライス中の隣接マクロブロックに関する空間的予測、あるいは他の参照フレーム中のマクロブロックに関する時間的予測を使用し得る。
ビデオデータが符号化された後、ビデオデータは送信又は記憶のためにパケット化され得る。ビデオデータは、AVCなど、国際標準化機構(ISO)ベースメディアファイルフォーマット及びそれの拡張など、様々な規格のいずれかに準拠するビデオファイルにアセンブルされ得る。
H.264/AVCに基づく新しいビデオ符号化規格を開発するための取り組みが行われている。1つのそのような規格は、H.264/AVCのスケーラブル拡張であるスケーラブルビデオ符号化(SVC)規格である。別の規格は、H.264/AVCのマルチビュー拡張になったマルチビュービデオ符号化(MVC)である。MVCのジョイントドラフトは、http://wftp3.itu.int/av-arch/jvt-site/2008_07_Hannover/JVT-AB204.zipにおいて入手可能な、JVT−AB204、「Joint Draft 8.0 on Multiview Video Coding」、28th JVT meeting、Hannover、Germany、July 2008に記載されている。AVC規格のバージョンは、http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zipから入手可能な、JVT−AD007、「Editors' draft revision to ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding - in preparation for ITU-T SG 16 AAP Consent (in integrated form)」、30th JVT meeting、Geneva、CH、Feb. 2009に記載されている。この文書はSVCとMVCとをAVC仕様に組み込んでいる。
本出願は、それぞれの全体がともに参照により本明細書に組み込まれる、2010年7月15日に出願された米国仮出願第61/364,747号、及び2010年7月21日に出願された米国仮出願第61/366,436号の利益を主張する。
概して、本開示は、例えば、ハイパーテキスト転送プロトコル(HTTP)ストリーミングなどのネットワークストリーミングプロトコルを介してビデオデータを転送するための技術について説明する。場合によっては、ビデオコンテンツは、オーディオデータとビデオデータとの複数の可能な組合せを含み得る。例えば、コンテンツは、(例えば、英語、スペイン語、及びフランス語など、異なる言語の)複数の可能なオーディオトラックと、(例えば、様々なビットレート、様々なフレームレートなど、異なる符号化パラメータで、及び/又は他の様々な特性で符号化された)複数の可能なビデオトラックとを有し得る。これらのトラックは、構成要素、例えば、オーディオ構成要素及びビデオ構成要素と呼ばれることがある。構成要素の各組合せは、マルチメディアコンテンツの一意のプレゼンテーションを形成し得、サービスとしてクライアントに配信され得る。本開示の技術は、サーバが、単一のデータ構造中で、様々な表現又はマルチメディア構成要素の特性を信号伝達することを可能にする。このようにして、クライアント機器は、データ構造を検索し、例えば、ストリーミングネットワークプロトコルに従って、サーバに要求すべき表現のうちの1つを選択し得る。
一例では、カプセル化ビデオデータを送る方法は、ビデオコンテンツの複数の表現の構成要素の特性をクライアント機器に送ることであって、特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、構成要素間の依存性と、3D表現のためのターゲット出力ビューの数とのうちの少なくとも1つを備える、送ることと、特性を送った後に、クライアント機器から構成要素のうちの少なくとも1つについての要求を受信することと、要求に応答して、要求された構成要素をクライアント機器に送ることとを含む。
別の例では、カプセル化ビデオデータを送るための装置は、ビデオコンテンツの複数の表現の構成要素の特性を決定するように構成されたプロセッサと、特性をクライアント機器に送ることと、特性を送った後に、クライアント機器から構成要素のうちの少なくとも1つについての要求を受信することと、要求に応答して、要求された構成要素をクライアント機器に送ることとを行うように構成された1つ以上のインターフェースとを含み、特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、構成要素間の依存性とのうちの少なくとも1つを備える。
別の例では、カプセル化ビデオデータを送るための装置は、ビデオコンテンツの複数の表現の構成要素の特性をクライアント機器に送るための手段と、特性を送った後に、クライアント機器から構成要素のうちの少なくとも1つについての要求を受信するための手段と、要求に応答して、要求された構成要素をクライアント機器に送るための手段とを含み、特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、構成要素間の依存性とのうちの少なくとも1つを備える。
別の例では、コンピュータプログラム製品は、実行されたとき、ビデオコンテンツの複数の表現の構成要素の特性をクライアント機器に送ることと、特性を送った後に、クライアント機器から構成要素のうちの少なくとも1つについての要求を受信することと、要求に応答して、要求された構成要素をクライアント機器に送ることとを、カプセル化ビデオデータを送るための発信源機器のプロセッサに行わせる命令を備え、特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、構成要素間の依存性とのうちの少なくとも1つを備える、コンピュータ可読記憶媒体を含む。
別の例では、カプセル化ビデオデータを受信する方法は、ビデオコンテンツの複数の表現の構成要素の特性を発信源機器に要求することと、特性に基づいて構成要素のうちの1つ以上を選択することと、選択された構成要素のサンプルを要求することと、サンプルが受信された後にサンプルを復号し、提示することとを含み、特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、構成要素間の依存性とのうちの少なくとも1つを備える。
別の例では、カプセル化ビデオデータを受信するための装置は、ビデオコンテンツの複数の表現の構成要素の特性を発信源機器に要求することを行うように構成された1つ以上のインターフェースと、特性に基づいて構成要素のうちの1つ以上を選択することと、選択された構成要素のサンプルについての要求を発信源機器にサブミットすることを1つ以上のインターフェースに行わせることとを行うように構成されるプロセッサとを含み、特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、構成要素間の依存性とのうちの少なくとも1つを備える。
別の例では、カプセル化ビデオデータを受信するための装置は、ビデオコンテンツの複数の表現の構成要素の特性を発信源機器に要求するための手段と、特性に基づいて構成要素のうちの1つ以上を選択するための手段と、選択された構成要素のサンプルを要求するための手段と、サンプルが受信された後にサンプルを復号し、提示するための手段とを含み、特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、構成要素間の依存性とのうちの少なくとも1つを備える。
別の例では、コンピュータプログラム製品は、ビデオコンテンツの複数の表現の構成要素の特性を発信源機器に要求することと、特性に基づいて構成要素のうちの1つ以上を選択することと、選択された構成要素のサンプルを要求することと、サンプルが受信された後にサンプルを復号し、提示することとを、カプセル化ビデオデータを受信するための機器のプロセッサに行わせる命令を備え、特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、構成要素間の依存性とのうちの少なくとも1つを備える、コンピュータ可読記憶媒体を含む。
1つ以上の例の詳細を添付の図面及び以下の説明に記載する。他の特徴、目的、及び利点は、説明及び図面、並びに特許請求の範囲から明らかになるであろう。
オーディオ/ビデオ(A/V)発信源機器がオーディオ及びビデオデータをA/V宛先機器に転送する例示的なシステムを示すブロック図。 図1に示したA/V発信源機器において使用するのに好適な例示的なカプセル化ユニットの構成要素を示すブロック図。 図1のシステムにおいて使用され得る例示的な構成要素マップボックスと例示的な構成要素配置ボックスとを示す概念図。 図1のシステムにおいて例示的なビデオ構成要素と例示的なオーディオ構成要素とを多重化するための例示的なタイミング間隔を示す概念図。 サーバからクライアントに構成要素マップボックスと構成要素配置ボックスとを与えるための例示的な方法を示すフローチャート。
概して、本開示では、ビデオコンテンツを転送するための技術について説明する。本開示の技術は、ハイパーテキスト転送プロトコル(HTTP)ストリーミングなどのストリーミングプロトコルを使用してビデオコンテンツを転送することを含む。例示のためにHTTPについて説明するが、本開示で提示する技術は他のタイプのストリーミングで有用であり得る。ビデオコンテンツは、ISOベースメディアファイルフォーマット又はそれの拡張など、特定のファイルフォーマットのビデオファイル中でカプセル化され得る。ビデオコンテンツはまた、MPEG−2転送ストリームでカプセル化され得る。コンテンツサーバは、様々なタイプのメディアデータ(例えば、オーディオ及びビデオ)と、各タイプのためのデータの様々なセット(例えば、英語、スペイン語、及びドイツ語のオーディオなど、異なる言語及び/又はMPEG−2、MPEG−4、H.264/AVC、又はH.265など、ビデオのための異なる符号化タイプ)とを含むマルチメディアサービスを提供し得る。本開示の技術は、様々なタイプと各タイプのデータのセットとが、どのように組み合わせられ、多重化され得るかを信号伝達するために特に有用であり得る。
本開示では、複数のビデオ及び/又はオーディオコンテンツ構成要素を含んでいることがある、シーンの関係するマルチメディアデータの集合を「コンテンツ」と呼ぶ。「コンテンツ構成要素」又は単に「構成要素」という用語は、単一のタイプのメディア、例えば、ビデオ又はオーディオデータを指す。データの構成要素は、データのトラック、サブトラック、又はトラック若しくはサブトラックの集合を指すことがある。概して、「トラック」は、関係する符号化ピクチャサンプルのシーケンスに対応し得、サブトラックは、トラックの符号化サンプルのサブセットに対応し得る。一例として、コンテンツ構成要素は、ビデオトラック、オーディオトラック、又はムービーサブタイトルに対応し得る。HTTPストリーミングサーバは、コンテンツ構成要素のセットをクライアントへのサービスとしてクライアントに配信し得る。
サービスは、コンテンツのために利用可能な全てのビデオコンテンツ構成要素からの1つのビデオコンテンツ構成要素の選択と、コンテンツのために利用可能な全てのオーディオコンテンツ構成要素からの1つのオーディオコンテンツ構成要素の選択とに対応し得る。例えば、HTTPサーバに記憶されたコンテンツとしてのフットボール試合番組は、例えば、異なるビットレート(512kbps又は1Mbps)又は異なるフレームレートをもつ複数のビデオコンテンツ構成要素と、複数のオーディオ構成要素、例えば、英語、スペイン語、又は中国語とを有し得る。従って、クライアントに提供されるサービスは、1つのビデオ構成要素と1つのオーディオ構成要素との選択、例えば、512kbpsのビデオをもつスペイン語のオーディオに対応し得る。ビデオ構成要素とオーディオ構成要素との組合せをコンテンツの表現と呼ぶこともある。
HTTPストリーミングでは、一例として、クライアント機器は、HTTP Get要求又は部分Get要求の形態でデータについての1つ以上の要求を生成する。HTTP Get要求は、ファイルのユニフォームリソースロケータ(URL)又はユニフォームリソースネーム(URN)を指定する。HTTP部分Get要求は、ファイルのURL又はURN、及び検索すべきファイルのバイト範囲を指定する。HTTPストリーミングサーバは、要求されたURL又はURNのファイル、又はHTTP部分Get要求の場合、ファイルの要求されたバイト範囲を出力する(例えば、送る)ことによってHTTP Get要求に応答し得る。クライアントがHTTP Get要求及び部分Get要求を適切に生成するために、サーバは、クライアントが所望のコンテンツ構成要素を選択し、その構成要素についてのHTTP Get要求及び/又は部分Get要求を適切に生成することができるように、コンテンツ構成要素に対応するファイルのURL及び/又はURN、並びに構成要素の特性に関する情報をクライアントに与え得る。
本開示の技術は、コンテンツ構成要素の特性を信号伝達すること、例えば、様々なコンテンツ構成要素のためのデータのロケーションを信号伝達することを含む。このようにして、クライアント機器はコンテンツの表現を選択し、様々なタイプのコンテンツ構成要素の組合せについての要求を生成し得る。例えば、上記の例によれば、ユーザは、スペイン語のオーディオをもつ512kbpsのビデオを閲覧することを選び得る。閲覧者のクライアント機器は、これらの2つの構成要素についての要求をサブミットし得る。即ち、クライアント機器は、サーバからの信号伝達されたデータを使用して、512kbpsのビデオとスペイン語のオーディオとのデータのロケーションを決定し、次いで、これらのコンテンツ構成要素に対応するデータについての要求を生成し得る。要求に応答して、サーバは、これらの2つの構成要素をサービスとしてクライアント機器に配信し得る。
ISOベースメディアファイルフォーマットは、メディアの交換、管理、編集、及び表現を可能にする、フレキシブルな、拡張可能なフォーマットの表現のための、時限メディア情報を含んでいるように設計される。ISOベースメディアファイルフォーマット(ISO/IEC14496−12:2004)は、時間ベースメディアファイルのための一般的な構造を定義するMPEG−4 Part12において規定されている。それは、H.264/MPEG−4AVCビデオ圧縮のサポートを定義したAVCファイルフォーマット(ISO/IEC14496−15)、3GPPファイルフォーマット、SVCファイルフォーマット、及びMVCファイルフォーマットなどのファミリー中の他のファイルフォーマットに対する基準として使用される。3GPPファイルフォーマット及びMVCファイルフォーマットはAVCファイルフォーマットの拡張である。ISOベースメディアファイルフォーマットは、オーディオビジュアル表現などのメディアデータの時限シーケンスのためのタイミング、構造、及びメディア情報を含んでいる。ファイル構造はオブジェクト指向であり得る。ファイルは、非常に単純に基本オブジェクトに分解され得、オブジェクトの構造はそれらのタイプから暗示される。
ISOベースメディアファイルフォーマット(及びそれの拡張)に準拠するファイルは、「ボックス」と呼ばれる一連のオブジェクトとして形成され得る。ISOベースメディアファイルフォーマットのデータは、他のいかなるデータもファイル内に含まれる必要がなく、ファイル内のボックスの外部にデータがある必要がないように、ボックス中に含まれていることがある。これは、特定のファイルフォーマットによって必要とされる初期シグナチャを含む。「ボックス」は、一意のタイプ識別子と長さとによって定義されるオブジェクト指向ビルディングブロックであり得る。一般に、表現は1つのファイル中に含まれ、メディア表現は独立型(self-contained)である。ムービーコンテナ(ムービーボックス)はメディアのメタデータを含んでいることがあり、ビデオ及びオーディオフレームは、メディアデータコンテナ中に含まれていることがあり、他のファイル中にあり得る。
本開示の技術によれば、サーバは、様々なコンテンツ構成要素の特性を信号伝達する構成要素マップボックスを与え得る。構成要素マップボックスは、様々なコンテンツ構成要素の符号化サンプルを記憶するファイルとは別のファイルに記憶され得るデータ構造に対応し得る。構成要素マップボックスは、符号化ビデオサンプルを実際に含むファイルの外部に記憶されたデータ構造中で、ビデオデータのための従来信号伝達されないコンテンツ構成要素の特性を信号伝達し得る。そのようなデータ構造は、構成要素マップボックスの場合のように、HTTPストリーミングのマニフェストファイル又はメディアプレゼンテーション記述中でも信号伝達され得る。
特性は、例えば、フレームレートと、プロファイルインジケータと、レベルインジケータと、構成要素間の依存性とを含み得る。構成要素マップボックスによって信号伝達される特性は、ビューの数及びビュー間の関係(例えば、ステレオペアを形成する2つのビュー)など、3Dビデオの3次元特性をも含み得る。構成要素マップボックスは、コンテンツ構成要素のビットレート及び解像度など、コンテンツ構成要素の従来信号伝達された特性に加えて、これらの特性を信号伝達し得る。構成要素マップボックスはまた、コンテンツのサービスを一意に識別するサービス識別子(例えば、content_id値)を与え得る。サービスの各構成要素はサービス識別子に関連し得る。
発信源機器は、コンテンツがどのようにカプセル化されるかにかかわらず、ビデオコンテンツのための構成要素マップボックスを与えるように構成され得る。即ち、発信源機器は、ビデオコンテンツがAdvanced Video Coding(AVC)ファイルフォーマット、スケーラブルビデオ符号化(SVC)ファイルフォーマット、マルチビュービデオ符号化(MVC)ファイルフォーマット、Third Generation Partnership Project(3GPP)ファイルフォーマット、又は他のファイルフォーマットに従ってカプセル化されるかにかかわらず、クライアント機器に構成要素マップボックスを与え得る。構成要素マップボックスは、特定のコンテンツのためのコンテンツ構成要素の特性を信号伝達し得る。幾つかの例では、各構成要素は、ファイルのビデオ又はオーディオトラック、一連の小さいファイル中のトラック、トラックフラグメント、(例えば、SVC又はMVCにおける)トラックの組合せ、又はトラックのサブセットに対応し得る。
概して、構成要素マップボックスは、それが記述するビデオデータとは別個に記憶され得る。幾つかの例では、構成要素マップボックスは、別個のファイル中に含まれ得るか、あるいはコンテンツ構成要素を含む1つのムービーファイル、例えば、mp4もしくは3GPファイル、又は本開示で説明する機能をサポートする他のファイルの一部として含まれ得る。構成要素マップボックスのロケーションは、ファイルタイプをカプセル化することによって変化し得る。その上、構成要素マップボックスは、ISOベースメディアファイルフォーマットの拡張、又はそれの拡張のうちの1つ以上として作られ得る。そのようなデータ構造は、構成要素マップボックスの場合のように、HTTPストリーミングのマニフェストファイル又はメディアプレゼンテーション記述中でも信号伝達され得る。
デフォルトでは、構成要素マップボックスは、関連するコンテンツの持続時間全体に適用可能であり得る。しかしながら、場合によっては、構成要素マップボックスはコンテンツの特定のタイミング間隔のみに適用し得る。そのような場合、サーバは、複数の構成要素マップボックスを与え、構成要素マップボックスが対応するタイミング間隔の各々について信号伝達し得る。幾つかの例では、サーバが複数の構成要素マップボックスを与えるとき、サーバは、構成要素マップボックスが同じファイル中にタイミング間隔順序で連続して配置される、静的モードで構成され得る。幾つかの例では、サーバは、構成要素マップボックスが別々のファイル中に及び/又は互いに不連続なロケーションに与えられ得る、動的モードで構成され得る。動的モードは、ライブストリーミングのための利点を与え得、静的モードは、より大きい時間範囲におけるシークに関する利点を与え得る。
本開示はまた、ファイルのトラックと様々な構成要素との間の関係を信号伝達するための、各ファイル内に含まれ得る構成要素配置ボックスを提供する。例えば、2つ以上のトラックのためのデータを含むファイル中の構成要素配置ボックスは、ファイル中のトラックのためのトラック識別子と、対応するコンテンツ構成要素のための構成要素識別子との間の関係を信号伝達し得る。このようにして、クライアント機器は、最初に、サーバ機器から構成要素マップボックスを検索し得る。クライアント機器は、次いで、構成要素マップボックスによって信号伝達された特性に基づいて、表現の1つ以上の構成要素を選択し得る。次いで、クライアント機器は、構成要素マップボックスによって記述された構成要素を記憶するファイルから構成要素配置ボックスを検索し得る。特定の構成要素のためのフラグメントのバイト範囲などのセグメント情報を含み得る構成要素マップボックスを使用して、クライアントは、選択された構成要素のフラグメントがファイルのどこに記憶されているかを決定し得る。この決定に基づいて、クライアントは、選択された構成要素に対応するトラック又はサブトラックのフラグメントについての要求(例えば、HTTP Get又は部分Get要求)をサブミットし得る。
このようにして、各ファイル又は各トラックがコンテンツ構成要素にどのように関連するかに関する情報を構成要素マップボックス中で信号伝達するのではなく、この情報は、それぞれのファイルに関連する構成要素配置ボックスに記憶され得る。構成要素マップボックスは、コンテンツの全ての構成要素の構成要素識別子(例えば、component_id値)を信号伝達し得、構成要素配置ボックスは、構成要素配置ボックスに対応するファイル内に記憶された構成要素のcomponent_id値と、component_id値に関連するcontent_id値との間の関係を信号伝達し得る。構成要素マップボックスはまた、場合によっては、セグメント情報を記憶し得る。更に、構成要素マップボックスは、構成要素マップボックスがセグメント情報を含むかどうかを示すフラグを含み得る。クライアント機器は、構成要素マップボックスがセグメント情報を含まない場合、表現のメディアデータが依存表現中に含まれていると仮定するように構成され得る。
サーバは、メディアの各タイプに一意のcomponent_id値を割り当てて、同じサービスにおける任意のビデオ又はオーディオ構成要素に対してcomponent_id値が一意であることを保証し得る。特定のタイプの構成要素は互いに切替え可能であり得る。即ち、クライアントは、例えば、変化するネットワーク状態又は他のファクタに応答して、様々なビデオ構成要素間で切り替わり得る。クライアントは、各利用可能なタイプの構成要素を要求する必要はない。例えば、クライアントは、クローズドキャプション構成要素を含むコンテンツについてはキャプションを要求することを省略し得る。その上、場合によっては、例えば、3Dビデオ又はピクチャインピクチャをサポートするために、同じメディアタイプの複数の構成要素が要求され得る。サーバは、ピクチャインピクチャなどの特定の機能をサポートするために追加の信号伝達を行い得る。
例えば、サーバは、構成要素がピクチャインピクチャデータの記述を含むかどうかを示すフラグを与え得る。構成要素がピクチャインピクチャデータを含むことをフラグが示す場合、構成要素マップボックスは、現在の表現とともに、ピクチャインピクチャ表示を形成するために一緒に表示されるべき表現の識別子を与え得る。一方の表現は大きいピクチャに対応し得、他方の表現は、大きいピクチャでオーバーレイされるより小さいピクチャに対応し得る。
上記のように、サーバは、1つ以上の構成要素に対応する符号化サンプルを含む各ファイル中に構成要素配置ボックスを与え得る。構成要素配置ボックスは、ファイルのヘッダデータ中に与えられ得る。構成要素配置ボックスは、ファイル中に含まれる構成要素と、構成要素が、例えば、ファイル内のトラックとしてどのように記憶されるかとを示し得る。構成要素配置ボックスは、構成要素識別子値と、ファイル中の対応するトラックのトラック識別子値との間のマッピングを与え得る。
構成要素マップボックスはまた、コンテンツ構成要素間の依存性を信号伝達し得、信号伝達される依存性は、現在のコンテンツ構成要素とともに、アクセスユニット内のコンテンツ構成要素の復号順序のための依存性の順序を含み得る。現在の表現の依存性に関する信号伝達された情報は、現在の表現に依存する表現及び/又は現在の表現が依存する表現のいずれか又は両方を含み得る。また、時間次元におけるコンテンツ構成要素間の依存性があり得る。しかしながら、まったく無関係の代替ビデオビットストリーム中の時間サブレイヤは、必ずしも互いにフレームレートのマッピングを有するとは限らないので、各ビデオ構成要素のtemporal_id値を示すだけでは十分でないことがある。例えば、あるビデオ構成要素は、24fpsのフレームレートと0に等しいtemporal_idとを有し得、(2つの時間レイヤを仮定して)12fpsのサブレイヤを有し得るが、別のビデオ構成要素は、0に等しいtemporal_idとともに30fpsのフレームレートを有し得、(3つの時間レイヤを仮定して)7.5fpsのサブレイヤを有し得る。従って、サーバは、2つのビデオ構成要素の依存性が信号伝達されるときに時間レイヤ差を示し得る。
概して、構成要素の信号伝達された特性は、例えば、平均ビットレート、(例えば、1秒にわたる)最大ビットレート、解像度、フレームレート、他の構成要素への依存性、及び/又は、例えば、マルチビュービデオのための、出力の対象とされるビューの数とそれらのビューのための識別子とを含み得る予約済み拡張部を含み得る。コンテンツ構成要素を形成する一連のメディアフラグメントに関する情報も信号伝達され得る。各メディアフラグメントについての信号伝達された情報は、メディアフラグメントのバイトオフセット、メディアフラグメント中の第1のサンプルの復号時間、フラグメント中のランダムアクセスポイントとそれの復号時間及び表現時間、及び/又はフラグメントがコンテンツ構成要素の新しいセグメント(従って、異なるURL)に属するかどうかを示すフラグを含み得る。
場合によっては、オーディオデータのフラグメントはビデオデータのフラグメントと時間的に整合されない。本開示は、特定の時間間隔に基づいて複数のコンテンツ構成要素を多重化するための技術を提供する。構成要素マップボックスは、サポートされた多重化間隔のリスト、又は多重化間隔の範囲を与え得る。多重化間隔はTとして指定され得、多重化されたオーディオ及びビデオデータの時間長さを表し得る。要求される次の時間間隔が[n*T,(n+1)*T]であると仮定する。クライアント機器は、(n*T)≦t≦((n+1)*T)であるような開始時間tを有する何らかのフラグメントが各コンテンツ構成要素中にあるかどうかを決定し得る。そのようなフラグメントがある場合、クライアント機器は、そのフラグメントを要求し得る。n*Tの前に開始するフラグメントは、現在の多重化間隔n*Tの前に要求され得、間隔(n+1)*Tの後に開始するフラグメントは、後の多重化間隔において要求され得る。このようにして、互いと整合するか又は要求された多重化間隔と整合するフラグメント境界を有しないコンテンツ構成要素が、それにもかかわらず多重化され得る。その上、多重化間隔は、コンテンツ構成要素の多重化を防ぐことなしに、サービス中に変化し得る。
クライアント機器は、多重化間隔を変更することによって、変化するネットワーク状態に適応するように構成され得る。例えば、帯域幅が比較的より利用可能になったとき、クライアント機器は多重化間隔を増加させ得る。一方、帯域幅が比較的あまり利用可能でなくなったとき、クライアント機器は多重化間隔を減少させ得る。クライアント機器は、更に、あるタイミング間隔と瞬時ビットレートとに基づいて、多重化されたフラグメントを要求するように構成され得る。クライアント機器は、フラグメント中のバイト数とフラグメントの持続時間とに基づいて、瞬時ビットレートを計算し得る。
サーバは、幾つかの例では、時間スプライシングをサポートするために、2つの連続メディア表現、例えば、逐次タイミング情報を有する2つのビデオファイルに同じ構成要素識別子を割り当て得る。上記のように、場合によっては、表現は、異なるファイルに記憶されたコンテンツ構成要素を含み得る。従って、クライアント機器は、コンテンツの特定の時間間隔のためのデータを検索するために、複数のGet要求又は部分Get要求をサブミットする必要があり得る。即ち、クライアントは、表現のためのコンテンツ構成要素を記憶する様々なファイルを参照する複数のGet要求又は部分Get要求をサブミットする必要があり得る。ある時間間隔において多重化されるべきデータを得るために複数の要求が必要とされるとき、クライアント機器は、現在の時間間隔における所望のメディアフラグメントデータ間に、別の時間間隔におけるデータが受信されないことを保証するために、それらの要求をパイプライン化し得る。
このようにして、複数のファイル中に構成要素を有するメディアコンテンツが、HTTPストリーミングなどのネットワークストリーミングコンテキストにおいてサポートされ得る。即ち、メディアコンテンツの表現は、あるファイル中のある構成要素と、別個のファイル中の別の構成要素とを含み得る。サーバは、単一のデータ構造、例えば、構成要素マップボックス中で、異なるファイル中の構成要素の特性を信号伝達し得る。これは、クライアントが任意のターゲットコンテンツ構成要素についての、又はターゲットコンテンツ構成要素の任意の持続時間についての要求を行うことを可能にし得る。
また、本開示の構成要素マップボックス及び構成要素配置ボックスと同様のデータ構造の使用は他の利点を与え得る。例えば、異なる構成要素中の2つのメディアトラックは、それぞれの構成要素内で同じトラック識別子(track_id)値を有し得る。しかしながら、上記のように、構成要素マップボックスは、トラック識別子値と同じでない構成要素識別子を使用して別々の構成要素を参照し得る。各ファイルは、構成要素識別子をトラック識別子にマッピングする構成要素配置ボックスを含み得るので、構成要素マップボックスは、トラック識別子値とは無関係である構成要素識別子を使用して構成要素を参照し得る。構成要素配置ボックスはまた、例えば、コンテンツ配信ネットワーク(CDN)サーバが、多くの異なるコンテンツに対応する複数のファイルを記憶するとき、どのファイルがどのコンテンツに対応するかを指定するための効率的な機構を与え得る。
更に、本開示の技術は、異なるネットワークバッファサイズをもつクライアントをサポートし得る。即ち、幾つかのクライアントは、例えば、ネットワーク状態、クライアント能力などにより、他のクライアントとは別様にサイズ決定されたバッファを必要とし得る。従って、場合によっては、特定の表現のための複数のタイプの構成要素が、異なる時間間隔において多重化される必要があり得る。本開示は、サーバが、異なる可能な多重化時間間隔を信号伝達し、従って、要求されたデータのサイズの変動、従って、例えば、HTTPを使用したクライアントとサーバとの間のラウンドトリップ時間に関する送信のパフォーマンスを考慮するための技術を提供する。
その上、場合によっては、1つのファイル中のコンテンツ構成要素は、1つ以上の他のファイル中の幾つかの他のコンテンツ構成要素に依存し得る。そのような依存性はアクセスユニット内で生じ得る。一例として、ビデオコンテンツ構成要素は、共通インターフェースフォーマット(CIF:common interface format)レイヤとクォーター共通インターフェースフォーマット(QCIF:quarter common interface format)レイヤとに依存するCIF SVCエンハンスメントレイヤに対応し得る。CIFレイヤとQCIFレイヤの両方は1つのファイル中にあり得るが、4CIFエンハンスメントレイヤは別のファイルであり得る。本開示の技術は、クライアントのデコーダが、依存性に基づいて、CIF、QCIF、及び4CIFレイヤからのサンプルを適切な復号順序で受信するように、クライアントがこれらのレイヤのためのデータを適切に要求することが可能であることを保証し得る。
幾つかの例では、コンテンツ構成要素を一緒に多重化するファイルを動的に作成するために、動的サーバが使用され得る。例えば、動的サーバは、構成要素を一緒に多重化し、現在の時間間隔のためのデータを動的ファイルの連続部分にするための、コモンゲートウェイインターフェース(CGI)サービスに従う方法をサポートし得る。CGIは、http://tools.ietf.org/html/rfc3875において入手可能なRequest for Comment3875に記載されている。CGIなどのサービスを使用して、サーバは、コンテンツの表現のための様々なコンテンツ構成要素の組合せを含むファイルを動的に生成し得る。
表現(動きシーケンス)は、幾つかのファイル中に含まれていることがある。タイミング及びフレーミング(位置及びサイズ)情報は概してISOベースメディアファイル中にあり、補助ファイルは本質的に任意のフォーマットを使用し得る。この表現は、表現を含んでいるシステムに対して「ローカル」であり得るか、又はネットワーク若しくは他のストリーム配信機構を介して与えられ得る。
ファイルは、論理構造と時間構造と物理構造とを有し得、これらの構造は結合される必要はない。ファイルの論理構造は、時間並列トラックのセットを含んでいる(ビデオデータとオーディオデータの両方を潜在的に含む)ムービー又はビデオクリップであり得る。ファイルの時間構造は、トラックが時間的なサンプルのシーケンスを含んでおり、それらのシーケンスは、随意のエディットリストによってムービー全体のタイムラインにマッピングされるものであり得る。ファイルの物理構造は、メディアデータサンプル自体から、論理、時間、及び構造的分解のために必要とされるデータを分離し得る。この構造的情報は、ムービーボックス中に集められ、場合によってはムービーフラグメントボックスによって時間的に拡張され得る。ムービーボックスは、サンプルの論理関係及びタイミング関係をドキュメント化し得、また、サンプルが配置される場所へのポインタを含んでいることがある。それらのポインタは、例えば、URLによって参照される同じファイル又は別のファイルへのものであり得る。
各メディアストリームは、そのメディアタイプ(オーディオ、ビデオなど)に専用のトラック中に含まれていることがあり、更にサンプルエントリによってパラメータ表示され得る。サンプルエントリは、厳密なメディアタイプ(ストリームを復号するために必要とされるデコーダのタイプ)の「名前」と、必要とされるそのデコーダのパラメータ表示を含んでいることがある。名前はまた、4文字コード、例えば、「moov」、又は「trak」の形態をとり得る。MPEG−4メディアについてだけでなく、このファイルフォーマットファミリーを使用する他の編成によって使用されるメディアタイプについても、定義済みのサンプルエントリフォーマットがある。
メタデータのサポートは、概して2つの形態をとる。第1に、時限メタデータが、適切なトラックに記憶され得、必要に応じて、それが表しているメディアデータと同期され得る。第2に、ムービー又は個々のトラックにアタッチされた非時限メタデータの全般的サポートがあり得る。構造的サポートは、全般的であり、メディアデータ、即ち、符号化ビデオピクチャの記憶と同様の方法で、ファイル中の他の場所又は別のファイル中でのメタデータリソースの記憶を可能にする。更に、これらのリソースは名前付きであり得、保護され得る。
「プログレッシブダウンロード」という用語は、一般に、HTTPプロトコルを使用した、サーバからクライアントへのデジタルメディアファイルの転送を説明するために使用される。コンピュータから開始されるとき、コンピュータは、ダウンロードが完了する前にメディアの再生を開始し得る。ストリーミングメディアとプログレッシブダウンロードとの間の1つの相違は、デジタルメディアにアクセスしているエンドユーザ機器によってデジタルメディアデータが受信され、記憶される方法にある。プログレッシブダウンロード再生が可能であるメディアプレーヤは、そのままファイルのヘッダ中に配置されたメタデータと、ウェブサーバからダウンロードされたときのデジタルメディアファイルのローカルバッファとに依拠する。指定された量のバッファデータがローカル再生機器に利用可能になった時点で、機器はメディアを再生し始め得る。この指定された量のバッファデータは、エンコーダ設定においてコンテンツの製作者によってファイルに埋め込まれ得、クライアントコンピュータのメディアプレーヤによって課される追加のバッファ設定によって補強され得る。
プログレッシブダウンロード又はHTTPストリーミングでは、ビデオ及びオーディオサンプルを含む、全てのメディアデータを含む単一のムービーボックス(moovボックス)を与える代わりに、ムービーボックス中に含まれているサンプルのほかに追加のサンプルを含んでいるムービーフラグメント(moof)がサポートされる。一般に、ムービーフラグメントは、ある時間期間にわたるサンプルを含んでいる。ムービーフラグメントを使用して、クライアントは所望の時間を迅速に探索することができる。ムービーフラグメントはファイルの連続バイトを含んでいることがあり、従って、HTTPストリーミングなど、ストリーミングプロトコルに従って、クライアントは、ムービーフラグメントを検索するために部分GET要求を発行し得る。
一例として3GPPに関して、3GPPファイルをダウンロード及びプログレッシブダウンロードするためにHTTP/TCP/IP転送がサポートされる。更に、ビデオストリーミングのためにHTTPを使用することは幾つかの利点を与え得、HTTPに基づくビデオストリーミングサービスが普及しつつある。HTTPストリーミングは、ネットワーク上でビデオデータを転送するための新しい技術を開発するために新たな労力が必要とされないように、既存のインターネット構成要素及びプロトコルが使用され得ることを含む幾つかの利点を与え得る。他の転送プロトコル、例えば、リアルタイムプロトコル(RTP)ペイロードフォーマットは、メディアフォーマット及び信号伝達コンテキストを認識するために、中間ネットワーク機器、例えばミドルボックスを必要とする。また、HTTPストリーミングはクライアント主導型であり得、それにより、制御問題を回避し得る。また、HTTPを使用することは、HTTP1.1が実装されたウェブサーバにおいて、新しいハードウェア又はソフトウェア実装を必ずしも必要とはしない。HTTPストリーミングはまた、TCPフレンドリネスとファイアウォール横断とを実現する。HTTPストリーミングでは、メディア表現は、クライアントがアクセス可能であるデータの構造化された集合であり得る。クライアントは、ストリーミングサービスをユーザに提示するために、メディアデータ情報を要求し、ダウンロードし得る。
サービスは、サーバによって配信されたコンテンツ構成要素からクライアントによって復号され、レンダリングされたムービーの表現として、クライアントのユーザによって経験され得る。HTTPストリーミングでは、1つの要求に応答して完全なコンテンツを受信する代わりに、クライアントは、コンテンツ構成要素のセグメントを要求することができる。このようにして、HTTPストリーミングは、コンテンツのよりフレキシブルな配信を可能にし得る。セグメントは、1つのURLによって要求され得る連続ムービーフラグメントのセットを含み得る。例えば、セグメントは、ビデオ及びオーディオを含んでいることがある小さいファイル全体であり得る。別の例として、セグメントは、1つのビデオトラックフラグメントと1つのオーディオトラックフラグメントとを含んでいることがある1つのムービーフラグメントに対応し得る。更に別の例として、セグメントは幾つかのムービーフラグメントに対応し得、そのうちのいずれか又は全ては、1つのビデオフラグメントと1つのオーディオフラグメントとを有し得、そのムービーフラグメントは復号時間において連続であり得る。
コンテンツ配信ネットワーク(content distribution network)とも呼ばれるコンテンツ配信ネットワーク(CDN:content delivery network)は、ネットワーク全体にわたってクライアントによるデータへのアクセスのための帯域幅を最大にするようにネットワーク中の様々なポイントに配置された、データのコピーを含んでいるコンピュータのシステムを含み得る。個々のサーバの近くのボトルネックを回避し得る、全てのクライアントが同じ中央サーバにアクセスすることとは反対に、クライアントは、クライアントの近くのデータのコピーにアクセスし得る。コンテンツタイプは、ウェブオブジェクトと、ダウンロード可能なオブジェクト(メディアファイル、ソフトウェア、ドキュメントなど)と、アプリケーションと、リアルタイムメディアストリームと、インターネット配信の他の構成要素(DNS、ルート、及びデータベースクエリ)とを含み得る。HTTPプロトコルのみ、より詳細には、HTTP1.1に基づくオリジンサーバ、プロキシ及びキャッシュのみに依拠する多くの良好なCDNがある。
HTTPストリーミングでは、頻繁に使用される動作にはGET及び部分GETがある。GET動作は、所与のユニフォームリソースロケータ(URL)又はユニフォームリソースネーム(URN)に関連するファイル全体を検索する。部分GET動作は、入力パラメータとしてバイト範囲を受信し、受信したバイト範囲に対応するファイルの連続する幾つかのバイトを検索する。従って、部分GET動作は1つ以上の個々のムービーフラグメントを得ることができるので、HTTPストリーミングのためのムービーフラグメントが与えられ得る。ムービーフラグメントは、異なるトラックからの幾つかのトラックフラグメントを含んでいることがある。
HTTPストリーミングのコンテキストでは、セグメントは、(HTTP1.1における)GET要求又は部分GET要求への応答として配信され得る。CDNでは、プロキシやキャッシュなどのコンピューティング機器は、要求に応答してセグメントを記憶することができる。従って、セグメントが別のクライアント(又は同じクライアント)によって要求され、クライアントがこのプロキシ機器を通る経路を有する場合、プロキシ機器は、オリジンサーバからセグメントを再び検索することなしに、セグメントのローカルコピーをクライアントに配信することができる。HTTPストリーミングでは、プロキシ機器がHTTP1.1をサポートする場合、要求への応答としてのバイト範囲は、プロキシ機器のキャッシュに記憶される間に組み合わせられ得るか、又は要求への応答のローカルコピーとして使用されている間に抽出され得る。各コンテンツ構成要素は、クライアント機器によって送られるHTTP GET又は部分GETによってその各々が要求され得る、連続フラグメントのセクションを含み得る。コンテンツ構成要素のそのようなフラグメントはメディアフラグメントと呼ばれることがある。
様々なビットレートと様々な機器とをサポートするために、及び様々なユーザ選好に適応するために、HTTPストリーミング中には2つ以上のメディア表現があり得る。表現の記述は、サーバによって生成され、クライアントに送られるときに、構成要素マップボックスに対応し得るメディアプレゼンテーション記述(MPD:Media Presentation Description)データ構造中で記述され得る。即ち、従来のMPDデータ構造は、本開示で説明するように、構成要素マップボックスに対応するデータを含み得る。他の例では、構成要素マップボックスは、更に、構成要素マップボックスに関して本開示で説明するデータに加えて、MPDデータ構造と同様のデータを含み得る。記述された表現は、1つ以上のムービーファイル中に含まれているコンテンツ構成要素を含み得る。静的コンテンツサーバが使用される場合、サーバはムービーファイルを記憶し得る。動的コンテンツサーバがサポートされる場合、サーバは受信した要求に応答して動的ファイル(コンテンツ)を生成し得る。動的コンテンツは、サーバによってオンザフライで生成され得るが、それは、プロキシやキャッシュなどのコンピューティング機器に対して透過的である。従って、動的コンテンツサーバに対する要求に応答して与えられるセグメントは、同じくキャッシュされ得る。動的コンテンツサーバは、より複雑な実装を有し得、サーバ側での記憶があまり最適でないか、又はコンテンツの配信中のキャッシュがあまり効率的でないことがある。
更に、本開示はまた、特定の表現(例えば、構成要素の組合せ)が完全な動作点であるかどうかをMPD中で信号伝達するための技術を含む。即ち、サーバは、表現が、完全なビデオ動作点として選択され得るかどうかをクライアントに示すために、MPD中にフラグを与え得る。動作点は、MVCサブビットストリーム、即ち、ある時間レベルにおけるビューのサブセットを備え、独立して有効なビットストリームを表すMVCビットストリームのサブセットに対応し得る。動作点は、時間及びビュースケーラビリティのあるレベルを表し、ある時間レベルにおけるビューのあるサブセットを表すために有効なビットストリームに必要とされるNALユニットのみを含んでいることがある。動作点は、ビューのサブセットのビュー識別子値と、ビューのサブセットの最も高い時間識別子とによって記述され得る。
MPDはまた、マルチメディアコンテンツのための個々の表現を記述し得る。例えば、各表現について、MPDは、表現識別子と、デフォルト属性表現識別子と、表現のプロファイル及びレベルインジケータと、表現のフレームレートと、依存性グループ識別子と、時間識別子とを信号伝達し得る。表現識別子は、マルチメディアコンテンツのための関連する表現の一意の識別子を与え得る。デフォルト属性表現識別子は、プロファイル及びレベルインジケータ、帯域幅、幅、高さ、フレームレート、依存性グループ識別子、時間識別子、及び/又は3Dビデオのためのフレームパッキング(frame packing)タイプのいずれか又は全てを含み得る、現在の表現のデフォルト属性として使用されることになる属性を有する表現の識別子を与え得る。フレームレート識別子は、対応する表現のための(1つ以上の)ビデオ構成要素のフレームレートを指定し得る。依存性グループ識別子は、対応する表現が割り当てられる依存性グループを指定し得る。時間識別子値を有する依存性グループ中の表現は、より低い時間識別子値をもつ同じ依存性グループ中の表現に依存し得る。
例えば、マルチビュービデオに対応する3Dビデオ表現では、構成要素マップボックスは、出力のためのターゲットビューの数を記述し得る。即ち、構成要素マップボックスは、表現のためのターゲット出力ビューの数を表す値を含み得る。幾つかの例では、構成要素マップボックスは、クライアント機器が単一のビュー及び深さ情報から第2のビューを構築し得るように、単一のビューのための符号化サンプルとともに単一のビューについての深さ情報を与え得る。表現がビュー+深さ表現であることを示すためのフラグが存在し得る。幾つかの例では、各ビューが深さ情報に関連する、複数のビューが表現中に含まれていることがある。このようにして、ビューの各々は、ステレオビューペアを作成するためのベースとして使用され得、表現のビューの各々について2つのビューが生じる。従って、複数のビューが表現中に含まれていることがあるが、ビューのうちの2つが必ずしもステレオビューペアを形成するとは限らない。幾つかの例では、表現が、それ自体では、対応するマルチメディアコンテンツのための有効な表現を形成することができない依存表現にすぎないかどうかを示すためのフラグが含まれ得る。
図1は、オーディオ/ビデオ(A/V)発信源機器20がオーディオ及びビデオデータをA/V宛先機器40に転送する例示的なシステム10を示すブロック図である。図1のシステム10は、ビデオ通信会議システム、サーバ/クライアントシステム、放送事業者/受信機システム、又はA/V発信源機器20などの発信源機器からA/V宛先機器40などの宛先機器にビデオデータが送られる任意の他のシステムに対応し得る。幾つかの例では、A/V発信源機器20及びA/V宛先機器40は双方向情報交換を実行し得る。即ち、A/V発信源機器20及びA/V宛先機器40は、オーディオ及びビデオデータの符号化と復号(及び、送信と受信)の両方が可能であり得る。幾つかの例では、オーディオエンコーダ26は、ボコーダとも呼ばれるボイスエンコーダを備え得る。
A/V発信源機器20は、図1の例では、オーディオ発信源22とビデオ発信源24とを備える。オーディオ発信源22は、例えば、オーディオエンコーダ26によって符号化されるべき、取得されたオーディオデータを表す電気信号を生成するマイクロフォンを備え得る。代替的に、オーディオ発信源22は、前に記録されたオーディオデータを記憶する記憶媒体、コンピュータシンセサイザなどのオーディオデータ生成器、又はオーディオデータの任意の他の発信源を備え得る。ビデオ発信源24は、ビデオエンコーダ28によって符号化されるべきビデオデータを生成するビデオカメラ、前に記録されたビデオデータで符号化された記憶媒体、ビデオデータ生成ユニット、又はビデオデータの任意の他の発信源を備え得る。
未加工オーディオ及びビデオデータは、アナログ又はデジタルデータを備え得る。アナログデータは、オーディオエンコーダ26及び/又はビデオエンコーダ28によって符号化される前にデジタル化され得る。オーディオ発信源22は、通話参加者が話している間、通話参加者からオーディオデータを取得し得、同時に、ビデオ発信源24は、通話参加者のビデオデータを取得し得る。他の例では、オーディオ発信源22は、記憶されたオーディオデータを備えるコンピュータ可読記憶媒体を備え得、ビデオ発信源24は、記憶されたビデオデータを備えるコンピュータ可読記憶媒体を備え得る。このようにして、本開示で説明する技術は、ライブ、ストリーミング、リアルタイムオーディオ及びビデオデータ、又はアーカイブされた、あらかじめ記録されたオーディオ及びビデオデータに適用され得る。その上、本技術は、コンピュータ生成のオーディオ及びビデオデータに適用され得る。
ビデオフレームに対応するオーディオフレームは、概して、ビデオフレーム内に含まれている、ビデオ発信源24によって撮影されたビデオデータと同時にオーディオ発信源22によって取得されたオーディオデータを含んでいるオーディオフレームである。例えば、通話参加者が概して話すことによってオーディオデータを生成する間、オーディオ発信源22はオーディオデータを取得し、同時に、即ちオーディオ発信源22がオーディオデータを取得している間、ビデオ発信源24は通話参加者のビデオデータを取得する。従って、オーディオフレームは、1つ以上の特定のビデオフレームに時間的に対応し得る。従って、ビデオフレームに対応するオーディオフレームは、概して、オーディオデータとビデオデータとが同時に取得される状況、及びオーディオフレームとビデオフレームとが、それぞれ、同時に取得されたオーディオデータとビデオデータとを備える状況に対応する。
幾つかの例では、オーディオエンコーダ26は、符号化オーディオフレームのオーディオデータが記録された時間を表す、各符号化オーディオフレームにおけるタイムスタンプを符号化し得、同様に、ビデオエンコーダ28は、符号化ビデオフレームのビデオデータが記録された時間を表す、各符号化ビデオフレームにおけるタイムスタンプを符号化し得る。そのような例では、ビデオフレームに対応するオーディオフレームは、タイムスタンプを備えるオーディオフレームと同じタイムスタンプを備えるビデオフレームとを備え得る。A/V発信源機器20は、オーディオエンコーダ26及び/又はビデオエンコーダ28がそこからタイムスタンプを生成し得るか、若しくはオーディオ発信源22及びビデオ発信源24がオーディオ及びビデオデータをそれぞれタイムスタンプに関連付けるために使用し得る、内部クロックを含み得る。
幾つかの例では、オーディオ発信源22は、オーディオデータが記録された時間に対応するデータをオーディオエンコーダ26に送り得、ビデオ発信源24は、ビデオデータが記録された時間に対応するデータをビデオエンコーダ28に送り得る。幾つかの例では、オーディオエンコーダ26は、必ずしもオーディオデータが記録された絶対時刻を示すことなしに、符号化オーディオデータの相対的時間順序付けを示すために、符号化オーディオデータ中のシーケンス識別子を符号化し得、同様に、ビデオエンコーダ28も、符号化ビデオデータの相対的時間順序付けを示すためにシーケンス識別子を使用し得る。同様に、幾つかの例では、シーケンス識別子は、タイムスタンプにマッピングされるか、又は場合によってはタイムスタンプと相関し得る。
本開示の技術は、概して、符号化マルチメディア(例えば、オーディオ及びビデオ)データの転送と、転送されたマルチメディアデータの受信並びに後続の解釈及び復号とを対象とする。特に、カプセル化ユニット30は、マルチメディアコンテンツのための構成要素マップボックス、及びマルチメディアコンテンツに対応する各ファイルのための構成要素配置ボックスを生成し得る。幾つかの例では、プロセッサは、カプセル化ユニット30に対応する命令を実行し得る。即ち、カプセル化ユニット30による機能を実行するための命令は、コンピュータ可読媒体に記憶され、プロセッサによって実行され得る。他の例では、他の処理回路が、カプセル化ユニット30による機能をも実行するように構成され得る。構成要素マップボックスは、コンテンツの構成要素(例えば、オーディオ構成要素、ビデオ構成要素、又は他の構成要素)とは別個に記憶され得る。
従って、宛先機器40は、マルチメディアコンテンツのための構成要素マップボックスを要求し得る。宛先機器40は、構成要素マップボックスを使用して、ユーザの選好、ネットワーク状態、宛先機器40の復号及びレンダリング能力、又は他のファクタに基づいて、コンテンツの再生を実行するために要求すべき構成要素を決定し得る。
A/V発信源機器20は、A/V宛先機器40に「サービス」を提供し得る。サービスは、概して、1つ以上のオーディオコンテンツ構成要素とビデオコンテンツ構成要素との組合せに対応し、オーディオコンテンツ構成要素及びビデオコンテンツ構成要素は、完全なコンテンツの利用可能なコンテンツ構成要素のサブセットである。あるサービスは、2つビューを有するステレオビデオに対応し得るが、別のサービスは4つのビューに対応し得、更に別のサービスは8つのビューに対応し得る。概して、サービスは、発信源機器20が利用可能なコンテンツ構成要素の組合せ(即ち、サブセット)を与えることに対応する。コンテンツ構成要素の組合せをコンテンツの表現とも呼ぶ。
カプセル化ユニット30は、オーディオエンコーダ26とビデオエンコーダ28とから符号化サンプルを受信し、パケット化エレメンタリストリーム(PES)パケットの形態をとり得る符号化サンプルから、対応するネットワークアブストラクションレイヤ(NAL)ユニットを形成する。H.264/AVC(Advanced Video Coding)の例では、符号化ビデオセグメントは、ビデオテレフォニー、ストレージ、ブロードキャスト、又はストリーミングなどのアプリケーションに対処する「ネットワークフレンドリーな」ビデオ表現を与えるNALユニットに編成される。NALユニットは、Video Coding Layer(VCL)NALユニット及び非VCL NALユニットとしてカテゴリー分類され得る。VCLユニットは、コア圧縮エンジンからのデータを含んでいることがあり、ブロック、マクロブロック、及び/又はスライスレベルのデータを含み得る。他のNALユニットは非VCL NALユニットであり得る。幾つかの例では、通常は1次符号化ピクチャとして提示される、1つの時間インスタンス中の符号化ピクチャは、1つ以上のNALユニットを含み得るアクセスユニット中に含まれ得る。
本開示の技術によれば、カプセル化ユニット30は、コンテンツ構成要素の特性を記述する構成要素マップボックスを構築し得る。カプセル化ユニット30はまた、1つ以上のビデオファイルのための構成要素配置ボックスを構築し得る。カプセル化ユニット30は、各構成要素配置ボックスを対応するビデオファイルに関連付け得、構成要素マップボックスをビデオファイルのセットに関連付け得る。このようにして、構成要素配置ボックスとビデオファイルとの間には1:1対応があり得、構成要素マップボックスとビデオファイルとの間には1:N対応があり得る。
上記のように、構成要素マップボックスは、コンテンツに共通の構成要素の特性を記述し得る。例えば、コンテンツは、オーディオ構成要素と、ビデオ構成要素と、クローズドキャプションなどの他の構成要素とを含み得る。あるタイプの構成要素の各々は互いに切替え可能であり得る。例えば、2つのビデオ構成要素は、それらの2つの構成要素のいずれかからのデータがコンテンツの再生を妨げることなしに検索され得るので切替え可能であり得る。様々な構成要素は、様々な方法及び様々な品質で符号化され得る。例えば、様々なビデオ構成要素は、(例えば、異なるコーデックに対応する)異なるエンコーダを使用して、様々なフレームレート、ビットレートで符号化され、様々なファイルタイプ(例えば、H.264/AVC又はMPEG−2転送ストリーム(TS))で、若しくは場合によっては互いに異なるファイルタイプでカプセル化され得る。しかしながら、ビデオ構成要素の選択は、例えば、オーディオ構成要素の選択とは概して無関係であり得る。構成要素マップボックスによって信号伝達される構成要素の特性は、平均ビットレートと、(例えば、構成要素のための1秒の再生時間にわたる)最大ビットレートと、解像度と、フレームレートと、他の構成要素への依存性と、マルチビュービデオなどの様々なファイルタイプのための拡張部、例えば、出力の対象とされるビューの数及びビューの各々のための識別子とを含み得る。
HTTPサーバなどのサーバとして働き得る発信源機器20は、適応のために同じコンテンツの複数の表現を記憶し得る。幾つかの表現は複数のコンテンツ構成要素を含んでいることがある。構成要素は、発信源機器20のストレージ機器(例えば、1つ以上のハードドライブ)上の異なるファイルに記憶され得、従って、表現は、異なるファイルからのデータを含み得る。様々な構成要素の特性を信号伝達することによって、カプセル化ユニット30は、各切替え可能構成要素の1つを選択して、対応するコンテンツをレンダリングし、再生する能力を宛先機器40に与え得る。即ち、宛先機器40は、発信源機器20から特定のコンテンツのための構成要素マップボックスを検索し、コンテンツの特定の表現に対応するコンテンツのための構成要素を選択し、次いで、例えば、HTTPストリーミングなどのストリーミングプロトコルに従って、発信源機器20から選択された構成要素のためのデータを検索し得る。
宛先機器40は、利用可能な帯域幅などのネットワーク状態と構成要素の特性とに基づいて表現を選択し得る。その上、宛先機器40は、発信源機器20によって信号伝達されるデータを使用して、変化するネットワーク状態に適応し得る。即ち、同じタイプの構成要素は互いに切替え可能であるので、ネットワーク状態が変化したとき、宛先機器40は、新たに決定されたネットワーク状態により適した、特定のタイプの異なる構成要素を選択し得る。
カプセル化ユニット30は、マルチメディアコンテンツの各構成要素に構成要素識別子値を割り当てる。構成要素識別子値は、タイプにかかわらず、構成要素に固有である。即ち、例えば、同じ構成要素識別子を有するオーディオ構成要素とビデオ構成要素とがあってはならない。構成要素識別子はまた、必ずしも個々のファイル内のトラック識別子に関係するとは限らない。例えば、コンテンツは、各々が異なるファイルに記憶された2つのビデオ構成要素を有し得る。特定のファイルに対してローカルな識別子は、外部にではなく、そのファイルの範囲に特有であるので、ファイルの各々は、同じトラック識別子を使用してビデオ構成要素を識別し得る。しかしながら、本開示の技術は、複数のファイル内に常駐し得る構成要素の特性を与えることに関与するので、本開示は、必ずしもトラック識別子に関係するとは限らない構成要素識別子を一意に割り当てることを提案する。
構成要素マップボックスはまた、ファイル中の各構成要素/トラックのためのフラグメントがどのように記憶されるか、例えば、フラグメントがどこで開始するか、それらがランダムアクセスポイントを含むかどうか(及び、ランダムアクセスポイントが瞬時復号リフレッシュ(IDR:instantaneous decoding refresh)ピクチャであるかオープン復号リフレッシュ(ODR:open decoding refresh)ピクチャであるか)、各フラグメントの開始へのバイトオフセット、各フラグメント中の第1のサンプルの復号時間、ランダムアクセスポイントのための復号及びプレゼンテーション時間、特定のフラグメントが新しいセグメントに属するかどうかを示すフラグを示し得る。各セグメントは、独立して取出し可能であり得る。例えば、カプセル化ユニット30は、構成要素の各セグメントが一意のユニフォームリソースロケータ(URL)又はユニフォームリソースネーム(URN)を使用して検索され得るように、各セグメントを記憶し得る。
その上、カプセル化ユニット30は、ファイルの各々中に、コンテンツのための構成要素識別子と、対応するファイル内のトラック識別子との間のマッピングを与える構成要素配置ボックスを与え得る。カプセル化ユニット30はまた、同じタイプの構成要素間の依存性を信号伝達し得る。例えば、幾つかの構成要素は、正しく復号されるために同じタイプの他の構成要素に依存し得る。一例として、スケーラブルビデオ符号化(SVC)では、ベースレイヤはある構成要素に対応し得、ベースレイヤのためのエンハンスメントレイヤは別の構成要素に対応し得る。別の例として、マルチビュービデオ符号化(MVC)では、あるビューはある構成要素に対応し得、同じシーンの別のビューは別の構成要素に対応し得る。更に別の例として、ある構成要素のサンプルは、別の構成要素のサンプルに関連して符号化され得る。例えば、MVCでは、ビュー間予測が使用可能である異なるビューに対応する構成要素があり得る。
このようにして、宛先機器40は、構成要素を適切に復号及び/又はレンダリングするために、構成要素間の依存性を決定し、所望の構成要素に加えて、親構成要素に依存する構成要素のための親構成要素を検索し得る。カプセル化ユニット30は、更に、宛先機器40が適切な順序で構成要素のためのデータを要求することができるように、依存性の順序付け及び/又は構成要素の復号順序を信号伝達し得る。更に、カプセル化ユニット30は、宛先機器40が復号及び/又はレンダリングのために構成要素のサンプルを適切に整合させることができるように、依存性を有する構成要素間の時間レイヤ差を信号伝達し得る。例えば、1つのビデオ構成要素は、24fpsのフレームレート及び0に等しいtemporal_idと、12fpsのサブレイヤとを有し得、別のビデオ構成要素は、30fpsのフレームレート及び0に等しいtemporal_idと、7.5fpsのサブレイヤとを有し得る。
カプセル化ユニット30は、表現を形成するための構成要素の組合せのための様々な可能な多重化間隔を信号伝達し得る。このようにして、宛先機器40は、構成要素の前のセグメントが復号され、表示されている間に、構成要素の次回のセグメントのためのデータが検索されることを可能にするために、可能な多重化間隔のうちの1つを選択して、十分な時間期間内に様々な構成要素のためのデータを要求し得る。即ち、宛先機器40は、バッファがオーバーフローされるほど事前にではないが、(ネットワーク状態の即時の変化がないと仮定して)再生の中断がないようにはるかに十分事前に、構成要素のためのデータを要求し得る。ネットワーク状態が変化した場合、宛先機器40は、より多くの後続のデータの送信を待つ間、復号及びレンダリングのための十分な量のデータが検索されることを保証するために、構成要素を完全に切り替えるのではなく、異なる多重化間隔を選択し得る。カプセル化ユニット30は、明示的に信号伝達された間隔又は間隔の範囲に基づく多重化間隔を信号伝達し得、構成要素マップボックス内でこれらの多重化間隔を信号伝達し得る。
幾つかの例では、発信源機器20は、複数のバイト範囲を指定する要求を受信し得る。即ち、宛先機器40は、ファイル内の様々な構成要素の多重化を達成するために、1つの要求において複数のバイト範囲を指定し得る。宛先機器40は、構成要素が複数のファイル中にあるとき、複数の要求を送り得、要求のいずれか又は全ては、1つ以上のバイト範囲を指定し得る。一例として、宛先機器40は、複数のURL又はURNに対する複数のHTTP Get要求又は部分Get要求をサブミットし得、部分Get要求のいずれか又は全ては、それらの要求のURL又はURN内の複数のバイト範囲を指定し得る。発信源機器20は、宛先機器40に要求されたデータを与えることによって応答し得る。幾つかの例では、発信源機器20は、例えば、コモンゲートウェイインターフェース(CGI)を実装して表現の構成要素を互いに多重化してファイルを動的に形成することによって動的多重化をサポートし得、発信源機器20は、次いで、そのファイルを宛先機器40に与え得る。
カプセル化ユニット30はまた、構成要素マップボックスが対応するコンテンツの持続時間を指定し得る。デフォルトでは、宛先機器40は、持続時間が信号伝達されないとき、構成要素マップボックスがコンテンツ全体に適用すると決定するように構成され得る。しかしながら、信号伝達された場合、宛先機器40は、各々がコンテンツの異なる持続時間に対応する、コンテンツのための複数の構成要素マップボックスを要求するように構成され得る。カプセル化ユニット30は、構成要素マップボックスを連続して一緒に又は別々のロケーションに記憶し得る。
場合によっては、構成要素の様々な部分(例えば、セグメント)は、別々のファイル(例えば、URL又はURN取出し可能データ構造)に記憶され得る。そのような場合、ファイルの構成要素配置ボックス内でなど、各ファイル中の構成要素を識別するために同じ構成要素識別子が使用され得る。ファイルは、逐次タイミング情報、即ち、ファイルのうちの1つが他のファイルに直ちに続くことを示すタイミング情報を有し得る。宛先機器40は、あるタイミング間隔と瞬時ビットレートとに基づいて、多重化されたフラグメントについての要求を生成し得る。宛先機器40は、構成要素のフラグメント中のバイト数に基づいて瞬時ビットレートを計算し得る。
多くのビデオ符号化規格の場合と同様に、H.264/AVCは、誤りのないビットストリームのシンタックスと、セマンティクスと、復号プロセスとを定義し、そのいずれかは特定のプロファイル又はレベルに準拠する。H.264/AVCはエンコーダを指定しないが、エンコーダは、生成されたビットストリームがデコーダの規格に準拠することを保証することを課される。ビデオ符号化規格のコンテキストにおいて、「プロファイル」は、アルゴリズム、機能、又はそれらに適用するツール及び制約のサブセットに対応する。例えば、H.264規格によって定義される「プロファイル」は、H.264規格によって指定されたビットストリームシンタックス全体のサブセットである。「レベル」は、例えば、ピクチャの解像度、ビットレート、及びマクロブロック(MB)処理レートに関係するデコーダメモリ及び計算など、デコーダリソース消費の制限に対応する。プロファイルはprofile_idc(プロファイルインジケータ)値を用いて信号伝達され得、レベルはlevel_idc(レベルインジケータ)値を用いて信号伝達され得る。
H.264規格は、例えば、与えられたプロファイルのシンタックスによって課される限界内で、復号されたピクチャの指定されたサイズなど、ビットストリーム中のシンタックス要素がとる値に応じて、エンコーダ及びデコーダのパフォーマンスの大きい変動を必要とする可能性が依然としてあることを認識している。H.264規格は、多くのアプリケーションにおいて、特定のプロファイル内でシンタックスの全ての仮定的使用を処理することが可能なデコーダを実装することが実際的でもなく、経済的でもないことを更に認識している。従って、H.264規格は、ビットストリーム中のシンタックス要素の値に課された制約の指定されたセットとして「レベル」を定義している。これらの制約は、値に関する単純な限界であり得る。代替的に、これらの制約は、値の演算の組合せ(例えば、ピクチャの幅×ピクチャ高さ×毎秒復号されるピクチャの数)に関する制約の形態をとり得る。H.264規格は、個別の実装形態が、サポートされるプロファイルごとに異なるレベルをサポートし得ることを更に規定している。
プロファイルに準拠するデコーダは、通常、プロファイル中で定義された全ての機能をサポートする。例えば、符号化機能として、Bピクチャ符号化は、H.264/AVCのベースラインプロファイルではサポートされないが、H.264/AVCの他のプロファイルではサポートされる。レベルに準拠するデコーダは、レベルにおいて定義された制限を超えてリソースを必要としない任意のビットストリームを復号することが可能である必要がある。プロファイル及びレベルの定義は、説明可能性のために役立ち得る。例えば、ビデオ送信中に、プロファイル定義とレベル定義のペアが全送信セッションについてネゴシエートされ、同意され得る。より詳細には、H.264/AVCでは、レベルは、例えば、処理する必要があるマクロブロックの数に関する制限と、復号されたピクチャバッファ(DPB)サイズと、符号化ピクチャバッファ(CPB)サイズと、垂直動きベクトル範囲と、2つの連続するMBごとの動きベクトルの最大数と、Bブロックが8×8画素未満のサブマクロブロックパーティションを有することができるかどうかとを定義し得る。このようにして、デコーダは、デコーダがビットストリームを適切に復号することが可能であるかどうかを決定し得る。
メディア表現は、異なる代替表現(例えば、異なる品質をもつビデオサービス)の記述を含んでいることがあるメディア表現記述(MPD)を含み得、記述は、例えば、コーデック情報、プロファイル値、及びレベル値を含み得る。様々な表現のムービーフラグメントにアクセスする方法を決定するために、宛先機器40はメディア表現のMPDを検索し得る。ムービーフラグメントは、ビデオファイルのムービーフラグメントボックス(moofボックス)中に配置され得る。
ITU-TH.261、H.262、H.263、MPEG-1、MPEG-2及びH.264/MPEG-4 part10などのビデオ圧縮規格は、時間冗長性を低減するために動き補償時間予測を利用する。エンコーダは、動きベクトルに従って現在の符号化ピクチャを予測するために、幾つかの前の(本明細書ではフレームとも呼ぶ)符号化ピクチャからの動き補償予測を使用する。典型的なビデオ符号化には3つの主要なピクチャタイプがある。それらは、イントラ符号化ピクチャ(「Iピクチャ」又は「Iフレーム」)と、予測ピクチャ(「Pピクチャ」又は「Pフレーム」)と、双方向予測ピクチャ(「Bピクチャ」又は「Bフレーム」)とである。Pピクチャは、時間順序で現在のピクチャの前の参照ピクチャのみを使用する。Bピクチャでは、Bピクチャの各ブロックは、1つ又は2つの参照ピクチャから予測され得る。これらの参照ピクチャは、時間順序で現在のピクチャの前又は後に位置し得る。
H.264符号化規格によれば、一例として、Bピクチャは、前に符号化された参照ピクチャの2つのリスト、即ち、リスト0とリスト1とを使用する。これらの2つのリストは、それぞれ、過去及び/又は将来の符号化ピクチャを時間順序で含むことができる。Bピクチャ中のブロックは、幾つかの方法、即ちリスト0参照ピクチャからの動き補償予測、リスト1参照ピクチャからの動き補償予測、又はリスト0参照ピクチャとリスト1参照ピクチャの両方の組合せからの動き補償予測のうちの1つで予測され得る。リスト0参照ピクチャとリスト1参照ピクチャの両方の組合せを得るために、2つの動き補償基準エリアが、それぞれリスト0参照ピクチャ及びリスト1参照ピクチャから取得される。それらの組合せは現在のブロックを予測するために使用され得る。
ITU−T H.264規格は、ルーマ成分については16×16、8×8、又は4×4、及びクロマ成分については8×8など、様々なブロックサイズのイントラ予測をサポートし、並びにルーマ成分については16×16、16×8、8×16、8×8、8×4、4×8及び4×4、並びにクロマ成分については対応するスケーリングされたサイズなど、様々なブロックサイズのインター予測をサポートする。本開示では、「N×(x)N」と「N×(by)N」は、垂直寸法及び水平寸法に関するブロックの画素寸法、例えば、16×(x)16画素又は16×(by)16画素を指すために互換的に使用され得る。一般に、16×16ブロックは、垂直方向に16画素を有し(y=16)、水平方向に16画素を有する(x=16)。同様に、N×Nブロックは、一般に、垂直方向にN画素を有し、水平方向にN画素を有し、Nは、非負整数値を表す。ブロック中の画素は行と列に構成され得る。ブロックは、水平寸法と垂直寸法とにおいて異なる数の画素を有し得る。即ち、ブロックはN×M画素を含み得、Nは必ずしもMに等しいとは限らない。
16×16よりも小さいブロックサイズは16×16マクロブロックのパーティションと呼ばれることがある。ビデオブロックは、画素領域中の画素データのブロックを備え得、又は、例えば、符号化ビデオブロックと予測ビデオブロックとの画素差分を表す残差ビデオブロックデータへの離散コサイン変換(DCT)、整数変換、ウェーブレット変換、若しくは概念的に同様の変換などの変換の適用後の、変換領域中の変換係数のブロックを備え得る。場合によっては、ビデオブロックは、変換領域中の量子化変換係数のブロックを備え得る。
ビデオブロックは、小さいほどより良い解像度が得られ、高い詳細レベルを含むビデオフレームの位置決めに使用され得る。一般に、マクロブロック、及びサブブロックと呼ばれることがある様々なパーティションは、ビデオブロックと見なされ得る。更に、スライスは、マクロブロック及び/又はサブブロックなど、複数のビデオブロックであると見なされ得る。各スライスはビデオフレームの単独で復号可能なユニットであり得る。代替的に、フレーム自体が復号可能なユニットであり得るか、又はフレームの他の部分が復号可能なユニットとして定義され得る。「符号化ユニット」又は「符号化ユニット」という用語は、フレーム全体、フレームのスライス、シーケンスとも呼ばれるピクチャグループ(GOP)など、ビデオフレームの単独で復号可能な任意のユニット、又は適用可能な符号化技術に従って定義される別の単独で復号可能なユニットを指すことがある。
マクロブロックという用語は、16×16画素を備える2次元画素アレイに従ってピクチャ及び/又はビデオデータを符号化するためのデータ構造を指す。各画素はクロミナンス成分と輝度成分とを備える。従って、マクロブロックは、各々が8×8画素の2次元アレイを備える4つの輝度ブロックと、各々が16×16画素の2次元アレイを備える2つのクロミナンスブロックと、符号化ブロックパターン(CBP)、符号化モード(例えば、イントラ(I)又はインター(P又はB)符号化モード)、イントラ符号化ブロックのパーティションのパーティションサイズ(例えば、16×16、16×8、8×16、8×8、8×4、4×8、又は4×4)、若しくはインター符号化マクロブロックのための1つ以上の動きベクトルなど、シンタックス情報を備えるヘッダとを定義し得る。
ビデオエンコーダ28、ビデオデコーダ48、オーディオエンコーダ26、オーディオデコーダ46、カプセル化ユニット30、及びカプセル化解除ユニット38は、それぞれ、適用可能なとき、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなどの様々な好適な処理回路のいずれか、又はそれらの任意の組合せとして実装され得る。ビデオエンコーダ28及びビデオデコーダ48の各々は1つ以上のエンコーダ又はデコーダ中に含められ得、そのいずれかは複合ビデオエンコーダ/デコーダ(CODEC)の一部として統合され得る。同様に、オーディオエンコーダ26及びオーディオデコーダ46の各々は1つ以上のエンコーダ又はデコーダ中に含められ得、そのいずれかは複合CODECの一部として統合され得る。ビデオエンコーダ28、ビデオデコーダ48、オーディオエンコーダ26、オーディオデコーダ46、カプセル化ユニット30、及び/又はカプセル化解除ユニット38を含む装置は、1つ以上の集積回路、マイクロプロセッサ、及び/又はセルラー電話などのワイヤレス通信機器の任意の組合せを備え得る。
カプセル化ユニット30が、受信したデータに基づいてビデオファイルを組み立てた後、カプセル化ユニット30はビデオファイルを出力のために出力インターフェース32に渡す。幾つかの例では、カプセル化ユニット30は、ビデオファイルをローカルに記憶するか、又はビデオファイルを直接宛先機器40に送るのではなく、出力インターフェース32を介してビデオファイルをリモートサーバに送り得る。出力インターフェース32は、例えば、送信機、トランシーバ、例えば、オプティカルドライブ、磁気メディアドライブ(例えば、フロッピー(登録商標)ドライブ)など、コンピュータ可読媒体にデータを書き込むための機器、ユニバーサルシリアルバス(USB)ポート、ネットワークインターフェース、又は他の出力インターフェースを備え得る。出力インターフェース32は、ビデオファイルを、例えば、送信信号、磁気メディア、光メディア、メモリ、フラッシュドライブ、又は他のコンピュータ可読媒体など、コンピュータ可読媒体34に出力する。出力インターフェース32は、HTTP Get要求及び部分Get要求に応答するためにHTTP1.1を実装し得る。このようにして、発信源機器20はHTTPストリーミングサーバとして働き得る。
最終的に、入力インターフェース36はコンピュータ可読媒体34からデータを検索する。入力インターフェース36は、例えば、オプティカルドライブ、磁気媒体ドライブ、USBポート、受信機、トランシーバ、又は他のコンピュータ可読媒体インターフェースを備え得る。入力インターフェース36はデータをカプセル化解除ユニット38に与え得る。カプセル化解除ユニット38は、ビデオファイルの要素をカプセル化解除して符号化データを検索し、符号化データがオーディオ又はビデオ構成要素の一部であるかどうかに応じて、符号化データをオーディオデコーダ46又はビデオデコーダ48のいずれかに送り得る。オーディオデコーダ46は、符号化オーディオデータを復号し、復号されたオーディオデータをオーディオ出力42に送り、ビデオデコーダ48は、符号化ビデオデータを復号し、複数のビューを含み得る復号されたビデオデータをビデオ出力44に送る。
図2は、例示的なカプセル化ユニット30の構成要素を示すブロック図である。図2の例では、カプセル化ユニット30は、ビデオ入力インターフェース80と、オーディオ入力インターフェース82と、ファイル作成ユニット60と、ビデオファイル出力インターフェース84とを含む。ファイル作成ユニット60は、この例では、構成要素アセンブリユニット62と、構成要素マップボックスコンストラクタ64と、構成要素配置(arr’t)ボックスコンストラクタ66とを含む。
ビデオ入力インターフェース80及びオーディオ入力インターフェース82は、それぞれ符号化ビデオデータ及び符号化オーディオデータを受信する。ビデオ入力インターフェース80及びオーディオ入力インターフェース82は、データが符号化されると、符号化ビデオデータ及び符号化オーディオデータを受信するか、又は符号化ビデオデータ及び符号化オーディオデータをコンピュータ可読媒体から検索し得る。符号化ビデオデータ及び符号化オーディオデータを受信すると、ビデオ入力インターフェース80及びオーディオ入力インターフェース82は、ビデオファイルへのアセンブリのために符号化ビデオデータ及び符号化オーディオデータをファイル作成ユニット60に受け渡す。
ファイル作成ユニット60は、制御ユニットによる機能及びプロシージャを実行するように構成されたハードウェア、ソフトウェア、及び/又はファームウェアを含む制御ユニットに対応し得る。制御ユニットは、概して、カプセル化ユニット30による機能を更に実行し得る。ファイル作成ユニット60がソフトウェア及び/又はファームウェアで実施される例では、カプセル化ユニット30は、ファイル作成ユニット60(及び構成要素アセンブリユニット62、構成要素マップボックスコンストラクタ64、並びに構成要素配置ボックスコンストラクタ66)に関連する1つ以上のプロセッサのための命令を備えるコンピュータ可読媒体と、命令を実行するための処理ユニットとを含み得る。ファイル作成ユニット60のサブユニット(この例では、構成要素アセンブリユニット62、構成要素マップボックスコンストラクタ64、及び構成要素配置ボックスコンストラクタ66)の各々は、個々のハードウェアユニット及び/又はソフトウェアモジュールとして実装され得、機能的に統合されるか、又は追加のサブユニットに更に分離され得る。
ファイル作成ユニット60は、例えば、1つ以上のマイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、又は任意のそれらの組合せなど、任意の好適な処理ユニット又は処理回路に対応し得る。ファイル作成ユニット60は、構成要素アセンブリユニット62、構成要素マップボックスコンストラクタ64、及び構成要素配置ボックスコンストラクタ66のいずれか又は全てのための命令を記憶する非一時的コンピュータ可読媒体、並びに命令を実行するためのプロセッサを更に含み得る。
概して、ファイル作成ユニット60は、受信したオーディオ及びビデオデータを含む1つ以上のビデオファイルを作成し得る。構成要素アセンブリユニット62は、受信した符号化ビデオ及びオーディオサンプルからコンテンツの構成要素を生成し得る。構成要素は、幾つかのセグメントに対応し得、セグメントの各々は1つ以上のビデオフラグメントを含み得る。セグメントの各々は、宛先機器40などのクライアント機器によって独立して取出し可能であり得る。例えば、ファイル作成ユニット60は、セグメントを含むファイルに、一意のURL又はURNを割り当て得る。構成要素アセンブリユニット62は、概して、同じ構成要素に属する符号化サンプルがその構成要素とともにアセンブルされることを保証し得る。構成要素アセンブリユニット62はまた、コンテンツの各構成要素に、一意の構成要素識別子を割り当て得る。ファイル作成ユニット60は、1つのファイル中に2つ以上の構成要素のためのデータを含み得、1つの構成要素は複数のファイルにまたがり得る。ファイル作成ユニット60は、構成要素のためのデータをビデオファイル内のトラックとして記憶し得る。
構成要素マップボックスコンストラクタ64は、本開示の技術に従ってマルチメディアコンテンツのための構成要素マップボックスを生成し得る。例えば、構成要素マップボックスはコンテンツの構成要素の特性を信号伝達し得る。これらの特性は、構成要素の平均ビットレート、構成要素の最大ビットレート、(構成要素がビデオ構成要素であると仮定して)構成要素の解像度及びフレームレート、他の構成要素への依存性、又は他の特性を含み得る。依存性が信号伝達されるとき、構成要素マップボックスコンストラクタ64はまた、依存関係を有する構成要素間の時間レイヤ差を指定し得る。構成要素マップボックスはまた、潜在的な多重化間隔のセット又は構成要素のために利用可能な多重化間隔の範囲を信号伝達し得る。幾つかの例では、ファイル作成ユニット60は、コンテンツのための符号化サンプルを含む全ての他のファイルとは別個のファイルに構成要素マップボックスを記憶し得る。他の例では、ファイル作成ユニット60は、構成要素マップボックスをビデオファイルのうちの1つのヘッダ中に含め得る。
デフォルトでは、構成要素マップボックスはコンテンツ全体に適用する。しかしながら、構成要素マップボックスがコンテンツの一部分のみに適用するとき、構成要素マップボックスコンストラクタ64は、構成要素マップボックスが適用するコンテンツの持続時間を信号伝達し得る。構成要素マップボックスコンストラクタ64は、次いで、静的モード又は動的モードでコンテンツのための複数の構成要素マップボックスを生成し得る。静的モードでは、構成要素マップボックスコンストラクタ64は、構成要素マップボックスが対応するコンテンツの持続時間に対応する順序で、全ての構成要素マップボックスを一緒にグループ化する。動的モードでは、構成要素マップボックスコンストラクタ64は、各構成要素マップボックスを異なる位置、例えば、異なるファイルに配置し得る。
構成要素マップボックスはまた、メディアフラグメントが構成要素の新しいセグメントに属するかどうかを信号伝達し得る。構成要素の各セグメントは構成要素識別子を含むので、同じ構成要素に属するセグメントが別々のファイルに記憶されるときでも、それらのセグメントは識別され得る。構成要素マップボックスは、更に、構成要素のための符号化サンプルを含むファイル内の構成要素の部分についての信号タイミング情報を信号伝達し得る。従って、時間スプライシングが当然サポートされる。例えば、宛先機器40などのクライアント機器は、2つの別個のファイルが同じ構成要素のためのデータを含むことと、2つのファイルの時間順序付けとを決定し得る。
構成要素配置ボックスコンストラクタ66は、ファイル作成ユニット60によって生成された各ファイルのための構成要素配置ボックスを生成し得る。概して、構成要素配置ボックスコンストラクタ66は、どの構成要素がファイル内に含まれるか、及び構成要素識別子とファイルのためのトラック識別子との間の対応を識別し得る。このようにして、構成要素配置ボックスは、コンテンツのための構成要素識別子とファイルのためのトラック識別子との間のマッピングを与え得る。トラック識別子は、マッピングにおいて指定されている構成要素のための符号化サンプルを有するファイルのトラックに対応し得る。
構成要素配置ボックスはまた、各構成要素のフラグメントがファイルにどのように記憶されるかを示し得る。例えば、構成要素配置ボックスコンストラクタ66は、ファイル中の構成要素のフラグメントのためのバイト範囲と、特定のフラグメントへのバイトオフセットと、メディアフラグメント中の第1のサンプルの復号時間と、ランダムアクセスポイントがフラグメント中に存在するかどうか、存在する場合、それの復号及びプレゼンテーション時間と、ランダムアクセスポイントがIDRピクチャであるかODRピクチャであるかを指定し得る。
ファイル作成ユニット60がファイルを生成した後、ファイル出力インターフェース84はファイルを出力し得る。幾つかの例では、ファイル出力インターフェース84は、ハードディスクなどのコンピュータ可読記憶媒体にファイルを記憶し得る。幾つかの例では、ファイル出力インターフェース84は、出力インターフェース32(図1)を介して、サーバ、例えば、HTTP1.1を実装するHTTPストリーミングサーバとして働くように構成された別の機器にファイルを送り得る。幾つかの例では、ファイル出力インターフェース84は、出力インターフェース32が、例えば、HTTPストリーミング要求に応答して、宛先機器40などのクライアント機器にファイルを与えることができるように、ローカル記憶媒体にファイルを記憶し得る。
図3は、例示的な構成要素マップボックス100と構成要素配置ボックス152Aとを示す概念図である。この例では、構成要素マップボックス100は、ビデオ構成要素110とオーディオ構成要素140とを含む。構成要素マップボックス110自体が、ビデオ構成要素110とオーディオ構成要素140とのための信号伝達された特性を含むことに留意されたい。図2に関して上記したように、構成要素マップボックス100及び構成要素配置ボックス152は、ファイル作成ユニット60によって、例えば、それぞれ、構成要素マップボックスコンストラクタ64及び構成要素配置ボックスコンストラクタ66によって生成され得る。このようにして、カプセル化ユニット30は、マルチメディアコンテンツの特性と、マルチメディアコンテンツのためのデータを含むファイルとを信号伝達し得る。例えば、ビデオ構成要素110は構成要素112の信号伝達された特性を含み、オーディオ構成要素140は構成要素142の信号伝達された特性を含む。この例に示すように、構成要素112Aは構成要素特性114Aを含む。
構成要素特性114Aは、この例では、ビットレート情報116と、解像度情報118と、フレームレート情報120と、コーデック情報122と、プロファイル及びレベル情報124と、依存性情報126と、セグメント情報128と、多重化間隔情報130と、3Dビデオ情報132とを含む。
ビットレート情報116は、構成要素112Aの平均ビットレートと最大ビットレートのいずれか又は両方を含み得る。ビットレート情報116はまた、平均及び/又は最大ビットレート情報が信号伝達されるかどうかを示すフラグを含み得る。例えば、ビットレート情報116は、平均ビットレートフラグと最大ビットレートフラグとを含み得、平均ビットレートフラグは、構成要素112Aの平均ビットレートが信号伝達されるかどうかを示し、最大ビットレートフラグは、構成要素112Aの最大ビットレートが信号伝達されるかどうかを示す。ビットレート情報116はまた、構成要素112Aのための平均ビットレートを示す平均ビットレート値を含み得る。同様に、ビットレート情報116は、ある時間期間にわたる、例えば、1秒の間隔にわたる最大ビットレート値を示す最大ビットレート値を含み得る。
解像度情報118は、例えば、ピクチャの画素幅と画素高さとに関する構成要素112Aの解像度を記述し得る。場合によっては、構成要素112Aの解像度情報118は明示的に信号伝達されないことがある。例えば、構成要素特性114Aは、インデックスiを有する構成要素が、インデックスi−1を有する同じコンテンツの構成要素と同じ特性を有するかどうかを示すデフォルト特性フラグを含み得る。特性が同じであることをフラグが示すとき、特性は、信号伝達される必要はない。デフォルト特性は、例えば、解像度、フレームレート、コーデック情報、プロファイル情報、及びレベル情報、又は構成要素マップボックス100などの構成要素マップボックスによって信号伝達され得る特性の他の組合せなど、利用可能な特性のサブセットに対応し得る。幾つかの例では、構成要素の対応する特性が前の構成要素と同じであるかどうかを示す、各潜在的な構成要素のための個々のフラグが含まれる。
フレームレート情報120は、幾つかの例では、上記で説明したようにデフォルト特性として指定され得る。代替的に、フレームレート情報120は構成要素112Aのフレームレートを指定し得る。フレームレートは、ビデオ構成要素の256秒当たりのフレーム単位で指定され得る。コーデック情報122は、上記で説明したように、同じくデフォルト特性として指定され得る。代替的に、コーデック情報122は、構成要素112Aを符号化するために使用されるエンコーダを指定し得る。同様に、プロファイル及びレベル情報124は、デフォルト特性として指定されるか、又は、例えば、プロファイルインジケータ(profile_idc)値及びレベルインジケータ(level_idc)値として明示的に指定され得る。
依存性情報126は、構成要素112Aが構成要素110の他の構成要素に依存するかどうかを示し得る。依存する場合、依存性情報126は、構成要素112Aのための時間識別子を示す情報、及び構成要素112Aのための時間識別子と、構成要素112Aが依存する構成要素のための時間識別子との間の差を示す情報を含み得る。
セグメント情報128は構成要素112Aのセグメントを記述する。セグメントは、ファイル150などのファイルに記憶され得る。図3の例では、構成要素112Aのセグメントのためのデータは、以下でより詳細に説明するように、ファイル150Aに、詳細には、ビデオトラック158に記憶され得る。場合によっては、構成要素112Aのためのセグメントは複数のファイルに記憶され得る。各セグメントは、1つ以上のフラグメントに対応し得る。各フラグメントについて、セグメント情報128は、フラグメントがランダムアクセスポイントを含むかどうかと、ランダムアクセスポイントのタイプ(例えば、IDR又はODR)と、フラグメントが新しいファイル(例えば、新しいセグメント)に対応するかどうかと、フラグメントの開始へのバイトオフセットと、フラグメントの第1のサンプルについてのタイミング情報(例えば、復号及び/又は表示時間)と、次のフラグメントへのバイトオフセットと、存在する場合、ランダムアクセスポイントへのバイトオフセットと、ODR RAPにおいてストリームを開始するときに復号をスキップすべきサンプルの数とを信号伝達し得る。
多重化間隔情報130は、構成要素112Aのための多重化間隔のセット又は範囲を指定し得る。3Dビデオ情報132は、構成要素112Aが、例えば、同時又はほぼ同時にシーンの2つ以上のわずかに異なるビューを表示することによって3次元効果を生成するために使用されるべきときに含まれ得る。3Dビデオ情報132は、表示されるべきビューの数と、ビューに対応する構成要素のための識別子と、特定の基本ビデオ構成要素のための3D表現の開始時間と、3D表現の持続時間と、ターゲット解像度(例えば、最終的に表示されるときの3D表現のターゲット幅及びターゲット高さ)と、位置決め情報(例えば、表示ウィンドウにおける水平方向オフセット及び垂直方向オフセット)と、プレゼンテーションのための復号されたビデオ構成要素のレイヤを示すウィンドウレイヤと、透過率(transparent factor)とを含み得る。概して、より低いウィンドウレイヤ値は、関連するビデオ構成要素がより早くレンダリングされることになり、より高いレイヤ値をもつビデオ構成要素によって覆われ得ることを示し得る。透過性レベル情報はウィンドウレベル情報と組み合わせられ得る。構成要素が、より低いウィンドウレイヤ値を有する別の構成要素と組み合わせられるとき、他の構成要素中の各画素は、[透過レベル]/255の値で重み付けされ得、現在の構成要素中の同一場所に配置された画素は、(255−[透過レベル])/255の値で重み付けされ得る。
図3は、構成要素112、142と、構成要素112、142のためのデータを含む様々なファイル150との間の対応を示している。この例では、ファイル150Aは、ビデオトラック158の形態のビデオ構成要素112Aの符号化サンプルと、オーディオトラック160の形態のオーディオ構成要素142Aの符号化サンプルとを含む。ファイル150Aは構成要素配置ボックス152Aをも含む。この例で更に示すように、構成要素配置ボックス152Aは、構成要素対ビデオトラックマップ154と構成要素対オーディオトラックマップ156とを含む。構成要素対ビデオトラックマップ154は、構成要素112Aのための構成要素識別子がファイル150Aのビデオトラック158にマッピングされることを示す。同様に、構成要素対オーディオトラックマップ156は、構成要素142Aのための構成要素識別子がファイル150Aのオーディオトラック160にマッピングされることを示す。
この例では、構成要素112Bはファイル150Bのビデオトラック162に対応し、構成要素142Bはファイル150Cのオーディオトラック164に対応する。従って、構成要素配置ボックス152Bは、構成要素112Bとビデオトラック162との間のマッピングを含み得、構成要素配置ボックス152Cは、構成要素142Bとオーディオトラック164との間のマッピングを含み得る。このようにして、クライアント機器は、どの構成要素を要求すべきか、ファイル150からの構成要素のための符号化データにどのようにアクセスすべきかを決定するために、構成要素マップボックス100と構成要素配置ボックス152とを検索し得る。
以下の擬似コードは、構成要素マップボックスのためのデータ構造の例示的な一実装形態である。
aligned(8) class ComponentMapBox extends FullBox(‘cmmp’, version, 0) {
unsigned int(32) box_length;
unsigned int(64) content_ID;
unsigned int(32) timescale;
unsigned int(8) video_component_count;
unsigned int(8) audio_component_count;
unsigned int(8) other_component_count;
bit (1) first_cmmp_flag; //default 1
bit (1) more_cmmp_flag; //defualt 0
bit (2) cmmp_byte_range_idc;
bit (1) multi_video_present_flag;
bit (2) multiplex_interval_idc;
bit (1) duration_signalled_flag;
bit (1) dynamic_component_map_mode_flag;
bit (7) reserved_bit;
if (duration_signalled_flag) {
unsigned int (64) starting_time;
unsigned int (64) duration;
}
for (i=1; i<= video_component_count; i++) {
unsigned int(8) component_ID;
bit (1) average_bitrate_flag;
bit (1) maximum_bitrate_flag;
bit (1) default_characteristics_flag;
bit (2) resolution_idc;
bit (2) frame_rate_idc;
bit (2) codec_info_idc;
bit (2) profile_level_idc;
bit (1) dependency_flag;
bit (1) 3DVideo_flag;
bit (2) reserved_flag;
//bitrate
if (average_bitrate_flag)
unsigned int (32) avgbitrate;
if (maximum_bitrate_flage)
unsigned int (32) maxbitrate;
// resolution
if (!default_characteristics_flag) {
if (resolution_idc == 1) {
unsigned int (16) width;
unsigned int (16) height;
}
else if (resolution_idc == 2 )
unsigned int (8) same_cha_component_id;
// when resolution_idc equal to 0, the resolution is not specified, when the
// value equal to 3, it has the same resolution as the component with an
// index of i-1.
// frame rate
if (frame_rate_idc ==1 )
unsigned int (32) frame_rate;
else if ( frame_rate_idc == 2 )
usngined int (8) same_cha_component_id;
// when frame_rate_idc equal to 0, the frame rate is not specified, when the
// value is equal to 3, it has the same frame rate as the component with an
// index of i-1.
if (codec_info_idc == 1)
string [32] compressorname;
else if ( codec_info_idc == 2)
unsingedn int (8) same_cha_component_id;
//profile_level
if (profile_level_idc == 1)
profile_level;
else if ( profile_level_idc == 2)
unsigned int (8) same_cha_component_id ;
}
if (dependency_flag) {
unsigned int (8) dependent_comp_count;
bit (1) temporal_scalability;
unsigned int (3) temporal_id;
bit (4) reserved;
for ( j=1 ; j<= dependent_comp_count ; j++) {
unsigned int (6) dependent_comp_id;
if (temporal_scalability)
unsigned int (2) delta_temporal_id;
}
}
if (3DV_flag) {
unsigned int (8) number_target_views;
}
// segments
if (cmmp_byte_range_idc > 0 ) {
unsigned int (16) entry_count_byte_range;
for(j=1; i <= entry_count; j++) {
int (2) contains_RAP;
int (1) RAP_type;
bit (1) new_file_start_flag;
int (4) reserved;
unsigned int(32) reference_offset;
unsigned int(32) reference_delta_time;
if (cmmp_byt_rage_idc>0)
unsigned int (32) next_fragment_offset;
if ( contain_RAP > 1 ) {
unsigned int(32) RAP_delta_time;
unsigned int(32) delta_offset;
}
if ( contain_RAP > 0 && RAP_type !=0 ) {
unsigned int(32) delta_DT_PT;
unsigned int(8) number_skip_samples;
}
}
}
if (multiplex_interval_idc ==1) {
unsigned int (8) entry_count;
for (j=1; j<=entry_count;j++)
unsigned int (32) multiplex_time_interval;
}
else if (multiplex_interval_idc == 2) {
unsigned int (32) min_muliplex_time_interval;
unsigned int (32) max_muliplex_time_interval;
}
}

if ( multi_video_present_flag ) {
unsigned int (8) multi_video_group_count;
for (i=1; i<= multi_video_group_count ; i++ ) {
unsigned int (8) basic_video_component_id;
unsigned int (8) extra_video_component_count;
int (64) media_time;
int (64) duration;
for (j=1; j<= extra_video_component_count ; j++ )
unsigned int (8) component_id;
for (j=0; j<= extra_video_component_count ; j++ ) {
unsigned int (16) target_width;
unsigned int (16) target_height;
unsigned int (16) horizontal_offset;
unsigned int (16) vertical_offset;
unsigned int (4) window_layer;
unsigned int (8) transparent_level;
}
}
}

for (i=1; i<= audio_component_count; i++) {
unsigned int(8) component_ID;
bit (1) average_bitrate_flag;
bit (1) maximum_bitrate_flag;
bit (2) codec_info_idc;
bit (2) profile_level_idc;
...
// similar to the syntax table for video components
}
}
擬似コード要素のセマンティクスは、この例では、以下の通りである。他の例では、他の変数名及びセマンティクスが構成要素マップボックスの要素に割り当てられ得ることを理解されたい。この例では、box_lengthは、バイト単位で構成要素マップボックスの長さを示す。content_IDは、ストリーミングサーバが与えるコンテンツの一意の識別子を指定する。
timescaleは、サービス全体のための時間スケールを指定する整数である。これは、1秒間に過ぎる時間単位の数である。例えば、60分の1秒単位で時間を測定する時間座標系は、60の時間スケールを有する。
video_component_countは、構成要素マップボックスに対応するサービスが与えることができる代替ビデオ構成要素の数を指定する。このボックスにおいて定義されている任意の2つのビデオ構成要素は、互いに切り替えられ得る。複数の表現からなるビデオプレゼンテーションがある場合、そのようなプレゼンテーションは、代替ビデオ構成要素グループに属する1つの構成要素を含んでいることがある。
audio_component_countは、構成要素マップボックスに対応するサービスが与えることができる代替オーディオ構成要素の数を指定する。このボックスにおいて定義されている任意の2つのオーディオ構成要素は、互いに切り替えられ得る。other_component_countは、構成要素マップボックスに対応するサービスの他の構成要素の数を指定する。
first_cmmp_flagは、この構成要素マップボックスが、関連するサービスのための同じタイプの第1のボックスであるかどうかを示す。more_cmmp_flagは、この構成要素マップボックスが、関連するサービスのための同じタイプの最後のボックスであるかどうかを示す。
0に等しい値を有するcmmp_byte_range_idcは、バイト範囲及びタイミング情報が構成要素マップボックス中で信号伝達されないことを示す。0よりも大きい値を有するcmmp_byte_range_idcは、バイト範囲及びタイミング情報が構成要素マップボックス中で信号伝達されることを示す。1に等しい値を有するcmmp_byte_range_idcは、構成要素のセグメントの開始バイトオフセットのみが信号伝達されることを示す。2に等しい値を有するcmmp_byte_range_idcは、構成要素のセグメントの開始バイトオフセットと終了バイトオフセットの両方が信号伝達されることを示す。
temporal_scalabilityは、現在の構成要素が、それらのうちの少なくとも1つがより低いtemporal_idを有する後続の信号伝達されたコンテンツ構成要素に依存するかどうかを示す。temporal_idは、現在の構成要素の時間識別子を示す。temporal_id値は、temporal_scalability値が0に等しい場合、無視され得る。delta_temporal_idは、現在の構成要素のサンプルの全ての最も高い時間識別子値と依存構成要素の最も高い時間識別子値との差を示す。
1に等しい値を有するmulti_video_present_flagは、2つ以上の復号されたビデオ構成要素からレンダリングされるビデオプレゼンテーションがあることを示す。例えば、ピクチャインピクチャの場合、multi_video_present_flagは0に等しい値を有し得、これは、2つ以上の復号されたビデオ構成要素によってレンダリングされるビデオプレゼンテーションがないことを示し得る。
0に等しい値を有するmultiplex_interval_idcは、多重化間隔が信号伝達されないことを示す。1に等しい値を有するmultiplex_interval_idcは、多重化間隔のリストが信号伝達されることを示す。2に等しい値を有するmultiplex_interval_idcは、多重化間隔の範囲が信号伝達されることを示す。
duration_signalled_flagは、構成要素マップボックスが対応するサービスの持続時間が信号伝達されるか否かを示す。持続時間が信号伝達されない場合(例えば、duration_signalled_flagが0に等しい値を有するとき)、現在の構成要素マップボックスは、サービス全体に適用すると見なされる。
dynamic_component_map_mode_flagは、現在の構成要素マップボックスのために動的モードがサポートされるかどうかを示す。1に等しい値を有するdynamic_component_map_mode_flagは静的モードを示し、同じサービスの次の構成要素マップボックスは、それが存在する場合、同じファイル中の現在の構成要素マップボックスの直後にくる。0に等しい値を有するdynamic_component_map_mode_flagは動的モードを示し、従って、同じサービスの次の構成要素マップボックスは、異なる手段によって後でクライアントに送信される。例えば、次の構成要素マップボックスは後続のファイルのムービーボックス中に含まれ得る。
starting_timeは、現在の構成要素マップボックスが適用するサービスの開始時間を示す。durationは、現在の構成要素マップボックスが適用するコンテンツの持続時間を示す。
component_IDは構成要素の一意の識別子である。average_bitrate_flagは、関連する構成要素の平均ビットレートが信号伝達されるかどうかを示す。maximum_bitrate_flagは、最大ビットレートが、関連する構成要素のために信号伝達されるかどうかを示す。図3のビットレート値116は、擬似コード中のaverage_bitrate_flagとmaximum_bitrate_flagのいずれか又は両方に対応し得る。default_characteristics_flagは、解像度、フレームレート、コーデック情報、プロファイル及びレベルの特性について、インデックスiをもつ現在の構成要素が、インデックスi−1をもつ構成要素と同じ値を有するかどうかを示す。
0に設定されたresolution_idc/frame_rate_idc/codec_info_idc/profile_level_idc値は、関連するビデオ構成要素の(それぞれ)解像度、フレームレート、コーデック情報、プロファイル、及び/又はレベルが信号伝達されないことを示す。resolution_idcは、図3の解像度値118に対応し得る。frame_rate_idcは、図3のフレームレート値120に対応し得る。codec_info_idcは、図3のコーデック情報値122に対応し得る。profie_level_idcは、図3のプロファイル/レベル値124に対応し得る。1に設定されたこれらの値は、関連するビデオ構成要素の(それぞれ)解像度、フレームレート、コーデック情報、プロファイル、又はレベルが、インデックスi−1をもつビデオ構成要素と同じであることを示す。2に設定されたこれらの値のいずれも、それぞれの値が、値「same_cha_component_id」を使用して信号伝達される1つの特定のビデオ構成要素に等しいことを示す。
dependency_flagは、現在のビデオ構成要素の依存性が信号伝達されるかどうかを示す。構成要素が他のビデオ構成要素に依存することをdependency_flagが示すとき、現在の構成要素が依存する構成要素も信号伝達され得る。即ち、依存性が信号伝達される場合、対応するビデオ構成要素は、信号伝達されたビデオ構成要素に依存する。dependency_flag値は、現在の構成要素が依存する信号伝達されたビデオ構成要素とともに、図3の依存性値126に対応し得る。
3DVideo_flagは、現在のビデオ構成要素が、3D表現を与えるMVC又は他のビデオコンテンツに関係するかどうかを示す。number_target_viewsは、例えば、MVC(マルチビュービデオ符号化)で符号化された3Dビデオ構成要素を復号するときの、出力の対象にされるビューの数を指定する。entry_count_byte_rangeは、関連する構成要素のために信号伝達されるフラグメントの数を指定する。3DVideo_flag、number_target_views、及びentry_count_byte_rangeは、概して、図3の3Dビデオ情報値132に対応し得る。
avgbitrateは、関連する構成要素の平均ビットレートを示す。maxbitrateは、1秒の任意の間隔において計算される関連する構成要素の最大ビットレートを示す。width及びheightは、ルーマ画素単位で、復号されたビデオ構成要素の解像度を示す。
same_resl_component_idは、関連するビデオ構成要素の同じ特定の特性(解像度又はフレームレート又はコーデック情報、又はプロファイル及びレベル)を有するビデオ構成要素の構成要素識別子を示す。
frame_rateは、256秒当たりのフレーム単位で、ビデオ構成要素のフレームレートを示す。compressornameは、コーデックのブランド、例えば、「avc1」を示す4バイト値である。それは、ファイルタイプボックスのmajor_brandと同じセマンティクスを有する。profile_levelは、現在のビデオ構成要素を復号するために必要とされるプロファイル及びレベルを示す。dependent_comp_countは、関連するビデオ構成要素のための依存ビデオ構成要素の数を示す。
dependent_comp_idは、関連するビデオ構成要素が依存するビデオ構成要素のうちの1つの構成要素識別子を指定する。同じ時間インスタンスにおいて、異なるコンテンツ構成要素中のサンプルは、コンテンツ構成要素のインデックスの昇順で順序付けされ得る。即ち、インデックスjをもつサンプルは、インデックスj+1をもつサンプルよりも前に配置され得、現在のコンテンツ構成要素のサンプルは、時間インスタンスにおける最後のサンプルであり得る。
contains_RAPは、構成要素のフラグメントがランダムアクセスポイントを含んでいるかどうかを示す。contains_RAPは、フラグメントがランダムアクセスポイントを含んでいない場合、0に設定される。contains_RAPは、フラグメントが、フラグメント中の第1のサンプルとしてランダムアクセスポイントを含んでいる場合、1に設定される。contains_RAPは、ランダムアクセスポイントがフラグメントの第1のサンプルでない場合、2に設定される。RAP_typeは、ムービーフラグメントの参照されたトラック中に含まれているランダムアクセスポイント(RAP)のタイプを指定する。RAP_typeは、ランダムアクセスポイントが瞬時デコーダリフレッシュ(IDR:instantaneous decoder refresh)ピクチャである場合、0に設定される。RAP_Typeは、ランダムアクセスポイントがオープンGOPランダムアクセスポイント、例えば、オープンデコーダリフレッシュ(ODR:open decoder refresh)ピクチャである場合、1に設定される。
new_file_start_flagフラグは、フラグメントがファイル中の対応する構成要素の第1のフラグメントであるかどうかを示す。これは、現在の示されたフラグメントが新しいファイル中にあることを暗示する。この信号伝達は、サーバにおいて比較的小さいサイズのファイルが使用されるか、又は時間スプライシングが使用されるときに有益であり得る。
reference_offsetは、フラグメントを含んでいるファイル中のフラグメントの開始バイトへのオフセットを示す。reference_delta_timeは、関連するフラグメントの復号時間を示す。next_fragment_offsetは、フラグメントを含んでいるファイル中の関連するビデオ構成要素の次のフラグメントの開始バイトオフセットを示す。RAP_delta_timeは、第1のIDRランダムアクセスポイントとフラグメントの第1のサンプルとの間の復号時間差を示す。delta_offsetは、フラグメントの第1のサンプルのバイトオフセットとランダムアクセスポイントのバイトオフセットとの間のバイトオフセット差を示す。
delta_DT_PTは、ODRであるRAP(オープンGOPランダムアクセスポイント)のための復号時間とプレゼンテーション時間との差を示す。number_skip_samplesは、ムービーフラグメントの参照されたトラックの第1のRAPであり得るODRより前のプレゼンテーション時間とODR後の分解時間とを有するサンプル数を示す。デコーダが、ODRで開始するストリームを受信した場合、デコーダは、これらのサンプルの復号をスキップし得ることに留意されたい。contains_RAP、RAP_type、new_file_start_flag、reference_offset、refrence_delta_time、next_fragment_offset、RAP_delta_time、delta_offset、delta_DT_PT、及びnumber_skip_samplesは、概してセグメント情報128に対応し得る。
multiplex_time_intervalは、時間スケール単位で、関連するビデオ構成要素のための多重化間隔を示す。ビデオ構成要素が概して多重化間隔情報に関連するが、オーディオ構成要素についての多重化間隔情報も信号伝達され得る。multiplex_time_intervalは、図3の多重化間隔値130に対応し得る。min_muliplex_time_interval及びmax_muliplex_time_intervalは、時間スケール単位で、関連するビデオ構成要素のための多重化間隔の範囲を示す。multi_video_group_countは、複数の復号されたビデオ構成要素の組合せとして表示されるべきビデオプレゼンテーションの数を指定する。
basic_video_component_idは、基本ビデオ構成要素の構成要素識別子を指定する。信号伝達される他の追加のビデオ構成要素は、基本ビデオ構成要素とともに、1つの代替ビデオプレゼンテーションと見なされる。例えば、「ビデオ構成要素のvideo_component_countについて」の前のループがCID0、1、2、3、4、5、6を有する7つのビデオ構成要素を含むと仮定する。番号3をもつbasic_video_component_idと2つの追加のビデオ構成要素5及び6とがあると更に仮定する。その場合、{0}、{1}、{2}、{3,5,6}及び{4}のプレゼンテーションのグループのみが互いの代替になる。
media_timeは、basic_video_component_idの識別子を有する基本ビデオ構成要素をもつマルチビデオ表現の開始時間を示す。durationは、basic_video_component_idの識別子を有する基本ビデオ構成要素をもつマルチビデオプレゼンテーションの持続時間を指定する。target_width及びtarget_heightは、このマルチビデオプレゼンテーション中のビデオ構成要素のターゲット解像度を指定する。これがビデオの元の解像度と同じでない場合、宛先機器はスケーリングを実行し得ることに留意されたい。
horizontal_offset及びvertical_offsetは、表紙ウィンドウにおける水平及び垂直オフセットでオフセットを指定する。window_layerは、プレゼンテーションのための復号されたビデオ構成要素のレイヤを示す。より低いレイヤ値は、関連するビデオ構成要素がより早くレンダリングされ、より高いレイヤ値をもつビデオ構成要素によって覆われ得ることを示し得る。復号されたビデオ構成要素は、window_layer値の昇順でレンダリングされ得る。
transparent_levelは、この復号されたビデオが、現在のビデオ構成要素よりも低いwindow_layerと組み合わせられるときに使用される透過率を示す。各画素について、既存の画素は、transparent_level/255の値で重み付けされ得、現在の復号されたビデオ構成要素中の同一場所に配置された画素は、(255-transparent_level)/255の値で重み付けされ得る。
以下の擬似コードは、構成要素配置ボックスのためのデータ構造の例示的な一実装形態である。
aligned(8) class ComponentArrangeBox extends FullBox(‘cmar’, version, 0) {
unsigned int(64) content_ID;
unsigned int(8) component_count;
bit (1) track_map_flag;
bit (1) sub_fragment_flag;
bit (1) agg_fragment_flag;
for (i=1; i<= component_count; i++) {
unsigned int(8) component_ID;
if (track_map_flag)
unsigned int(32) track_id;
}
if (sub_fragment_flag) {
unsigned int (8) major_component_count;
for (i=1; i<= major_component_count; i++) {
unsigned int(8) full_component_ID;
unsigned int(8) sub_set_component_count;
for (j=1; j< sub_set_component_count; j++)
unsigned int(8) sub_set_component_ID;
}
}
if (agg_fragment_flag) {
unsigned int (8) aggregated_component_count;
for (i=1; i<= aggregated_component_count; i++) {
unsigned int (8) aggr_component_id;
for (j=1; j<= dependent_component_count; j++)
unsigned int (8) depenedent_component_ID;
}
}
}
擬似コード要素のセマンティクスは、この例では、以下の通りである。他の例では、他の変数名及びセマンティクスが構成要素配置ボックスの要素に割り当てられ得ることを理解されたい。
component_countは、現在のファイル中の構成要素の数を指定する。track_map_flagは、このファイル中のトラックと、content_IDのサービス識別子をもつサービスの構成要素とのマッピングが信号伝達されるかどうかを示す。
sub_fragment_flagは、このファイル中のサブトラックと構成要素とのマッピングが信号伝達されるかどうかを示す。agg_fragment_flagは、このファイル中のトラックアグリゲーションと構成要素とのマッピングが信号伝達されるかどうかを示す。major_component_countは、ファイル中の全てのサンプルを含んでいる主要構成要素の数を示す。
component_ID値は、各ムービーフラグメント中の各構成要素の第1のサンプルの順序で、ファイルに記憶された主要構成要素の識別子を示す。track_idは、component_IDの構成要素識別子をもつ構成要素に対応するトラックの識別子を示す。
sub_set_component_countは、full_component_IDのcomponent_idをもつ構成要素のフルセットを形成するサブ構成要素の数を示す。sub_set_component_IDは、full_component_IDのcomponent_idをもつ構成要素のフルセットを形成するサブ構成要素のcomponent_id値を指定する。同じ構成要素のいずれの2つのサブ構成要素も、重複するサンプルを有しない。
幾つかの例では、aggregated_component_countは、ファイル中の他の構成要素からアグリゲートされるコンテンツ構成要素の数を示す。幾つかの例では、aggregated_component_countは、aggr_component_idの構成要素識別子をもつアグリゲートコンテンツ構成要素をアグリゲートするために必要とされる依存構成要素の数を示す。aggr_component_idは、アグリゲートされた構成要素の構成要素識別子を指定する。depenedent_component_IDは、aggr_component_idのidをもつ構成要素をアグリゲートするために使用される構成要素の構成要素idを指定する。
以下の表1に、本開示の技術に一致するシンタックスオブジェクトの別の例示的なセットを示す。「要素又は属性名」列は、シンタックスオブジェクトの名前を表す。「タイプ」列は、シンタックスオブジェクトが要素であるか属性であるかを表す。「基数」列は、シンタックスオブジェクトの基数、即ち、表1に対応するデータ構造のインスタンスにおけるシンタックスオブジェクトのインスタンスの数を表す。「随意性(optionality)」列は、シンタックスオブジェクトが随意であるかどうかを表し、この例では、「M」が必須を示し、「O」は随意を示し、「OD」はデフォルト値で随意を示し、「CM」は条件付きで必須を示す。「説明」列は、対応するシンタックスオブジェクトのセマンティクスを表す。
Figure 0006392115
Figure 0006392115
Figure 0006392115
Figure 0006392115
Figure 0006392115
Figure 0006392115
Figure 0006392115
Figure 0006392115
図3の例に関して、クライアント機器は、ビデオ構成要素110とオーディオ構成要素140との特性についての情報を含む構成要素マップボックス100を要求し得る。例えば、構成要素112Aは構成要素特性114Aによって記述される。同様に、他の構成要素の各々は、構成要素特性114Aと同様の構成要素特性情報によって記述され得る。クライアント機器はまた、構成要素識別子と、ビデオトラック158、162及びオーディオトラック160、164など、オーディオ及びビデオデータのトラックとの間のマッピングを記述する構成要素配置ボックス152を検索し得る。このようにして、構成要素マップボックス100は、オーディオ及びビデオデータの符号化サンプルを含むファイル150とは別個に記憶される。クライアント機器は、構成要素マップボックス100と構成要素配置ボックス152とのデータを使用して、コンテンツの表現を選択し、例えば、HTTPストリーミングなどのネットワークストリーミングプロトコルに従って、選択された構成要素のセグメントを要求し得る。
図4は、多重化ビデオ構成要素180とオーディオ構成要素184とのための例示的なタイミング間隔190を示す概念図である。この例では、表現は、ビデオ構成要素180とオーディオ構成要素184とを含む。ビデオ構成要素180はビデオフラグメント182A〜182D(ビデオフラグメント182)を含み、オーディオ構成要素184はオーディオフラグメント186A〜186C(オーディオフラグメント186)を含む。ビデオフラグメント182は符号化ビデオサンプルを含み得、オーディオフラグメント186は符号化オーディオサンプルを含み得る。
ビデオフラグメント182及びオーディオフラグメント186は、それぞれビデオ構成要素180及びオーディオ構成要素184内に復号時間順序で配置され得る。図4の軸188は、ビデオ構成要素180とオーディオ構成要素184とについての復号時間情報を示す。この例では、復号時間は、軸188によって示されるように左から右に増加する。従って、クライアント機器は、例えば、ビデオフラグメント182Bの前にビデオフラグメント182Aを復号し得る。
図4はまた、1秒の例示的なタイミング間隔190を示している。本開示の技術によれば、ビデオ構成要素180とオーディオ構成要素184とのための構成要素マップボックスは、タイミング間隔190がタイミング間隔の潜在的なセットのうちの1つであることを示し得るか、又はタイミング間隔190を含むタイミング間隔の範囲を示し得る。クライアント機器は、この情報を使用して、バッファオーバーフローを回避するとともに、情報の次のセットがネットワーク上でストリーミングされ得る前に復号され得る十分な量のデータがバッファされることを保証するような形で、ビデオ構成要素180とオーディオ構成要素184とからのフラグメントを要求し得る。
上記のように、本開示は、クライアントがデータをサーバに連続的に要求し、データが検索されるにつれて、データを復号し、レンダリングするネットワークストリーミング状況に関する。例えば、ビデオフラグメント182Aとオーディオフラグメント186Aとのデータを復号し、レンダリングしながら、クライアント機器は、ビデオフラグメント182Bとオーディオフラグメント186Bとを要求し得る。図4の例に示すように、ビデオフラグメント182とオーディオフラグメント186とは、必ずしも時間的に整合されるとは限らない。従って、クライアント機器は、ビデオ構成要素180とオーディオ構成要素184との後続のフラグメントのデータをいつ要求すべきかを決定するためにタイミング間隔情報を使用し得る。
概して、クライアント機器は、次のタイミング間隔内の開始復号時間を有するフラグメントを検索するように構成され得る。構成要素が、次のタイミング間隔内の開始復号時間を有するフラグメントを含む場合、クライアントはそのフラグメントを要求し得る。そうでない場合、クライアントは、後続のタイミング間隔まで、構成要素からのデータについての要求をスキップし得る。
図4の例では、タイミング間隔190は1秒に等しい。ビデオ構成要素180のビデオフラグメント182の復号時間値は、この例では、ビデオフラグメント182AについてはN−1秒、ビデオフラグメント182BについてはN+1.2秒、ビデオフラグメント182CについてはN+2.1秒、ビデオフラグメント182DについてはN+3.3であり得る。オーディオ構成要素184のオーディオフラグメント186の復号時間値は、この例では、オーディオフラグメント186AについてはN−0.2秒、オーディオフラグメント186BについてはN+1.3秒、オーディオフラグメント186CについてはN+3.2秒であり得る。
一例として、宛先機器40における次回のローカル復号時間がN+2秒であると仮定する。従って、宛先機器40は、どの構成要素フラグメントがN+2秒とN+3秒との間の復号時間、即ち、ローカル復号時間+タイミング間隔190を有するかを決定し得る。N+2秒とN+3秒との間の開始復号時間を有する構成要素のフラグメントは、要求されるべき次のフラグメントに対応し得る。この例では、ビデオフラグメント182Cは、N+2秒とN+3秒との間の復号時間を有する。従って、宛先機器40は、ビデオフラグメント182Cを検索するための要求、例えば、ビデオフラグメント182Cのバイト範囲を指定するHTTP部分Get要求をサブミットし得る。オーディオフラグメント186のいずれもN+2とN+3との間の復号時間を有しないので、宛先機器40は、オーディオフラグメント186のいずれについても要求をまだサブミットしないであろう。
別の例として、次回のローカル復号時間がN+3秒であるとき、宛先機器40は、ビデオフラグメント182Dとオーディオフラグメント186Cとについての要求をサブミットし得る。即ち、ビデオフラグメント182D及びオーディオフラグメント186Cは、N+3秒とN+4秒との間の復号時間を有する。従って、宛先機器40は、ビデオフラグメント182Dとオーディオフラグメント186Cとについての要求をサブミットし得る。
更に別の例として、代わりにタイミング間隔190が2秒であると仮定する。ローカル復号時間がN+1秒である場合、宛先機器40は、ビデオフラグメント182B及び182Cとオーディオフラグメント186BとがN+1秒とN+3秒との間の復号時間を有することを最初に決定し得る。従って、宛先機器40は、ビデオフラグメント182B及び182Cとオーディオフラグメント186Bとについての要求をサブミットし得る。
図5は、サーバからクライアントに構成要素マップボックスと構成要素配置ボックスとを与えるための例示的な方法を示すフローチャートである。図5はまた、構成要素マップボックスと構成要素配置ボックスとを使用して、プレゼンテーションを形成するために構成要素を選択することと、選択された構成要素の符号化サンプルを要求することとを行うための例示的な方法を示している。概して、図1の発信源機器20と宛先機器40とに関して説明するが、他の機器が図5の技術を実装し得ることを理解されたい。例えば、ストリーミングプロトコルを介して通信するように構成された任意のサーバ及びクライアントが、これらの技術を実装し得る。
初めに、発信源機器20は、符号化ビデオサンプルを受信する(200)。発信源機器20は、符号化オーディオサンプルをも受信し得る。受信したサンプルは共通のコンテンツに対応する。受信したサンプルはコンテンツの様々な構成要素に対応し得る。発信源機器20は、サンプルがどの構成要素に対応するかを決定し得る。発信源機器20はまた、コンテンツの構成要素としてサンプルを1つ以上のファイルに記憶する(202)。発信源機器20は、構成要素が1つ以上のフラグメントを含み得、同じ構成要素のフラグメントが別々のファイルに記憶され得るように、フラグメントの形態でサンプルを配置し得る。
コンテンツの構成要素を1つ以上のファイルに記憶した後に、発信源機器20は、ファイルの各々のための構成要素配置ボックスを生成する(204)。上記で説明したように、構成要素配置ボックスは、構成要素識別子とファイルのトラック識別子との間のマッピングを与え得る。発信源機器20はまた、コンテンツの構成要素の全てを記述する構成要素マップボックスを生成する(206)。上記で説明したように、構成要素マップボックスは、例えば、ビットレート、フレームレート、解像度、コーデック情報、プロファイル及びレベル情報、構成要素間の依存性、セグメント情報、多重化間隔、コンテンツの構成要素内のフラグメントのバイト範囲を記述するセグメント情報、及び/又は3Dビデオ情報など、コンテンツの構成要素の特性を記述し得る。
幾つかの例では、発信源機器20は、符号化ビデオサンプルと構成要素配置ボックスとを含むファイル、及び構成要素マップボックスを発信源機器20内にローカルに記憶し得る。他の例では、発信源機器20は、ストリーミングネットワークプロトコルを介してクライアントに与えられるべきファイルと構成要素マップボックスとを別個のサーバ機器に送り得る。図5の例では、発信源機器20がファイルを記憶し、HTTPストリーミングなどのストリーミングネットワークプロトコルを実装すると仮定する。
従って、宛先機器40は、構成要素マップボックスと構成要素配置ボックスとを発信源機器20に要求する(208)。例えば、宛先機器40は、HTTPストリーミングに従って、構成要素マップボックスと構成要素配置ボックスとについての要求、例えば、コンテンツに関連するURLに向けられたHEAD要求を発信源機器20に送り得る。要求を受信(210)したことに応答して、発信源機器20は、宛先機器40に構成要素マップボックスと構成要素配置ボックスとを与える(212)。
構成要素マップボックスと構成要素配置ボックスとを受信(214)した後に、宛先機器40は、構成要素マップボックス内に含まれているデータに基づいて、要求すべき構成要素を決定し得る。例えば、宛先機器40は、解像度と、フレームレートと、コーデック情報と、プロファイル及びレベル情報と、3Dビデオ情報とに基づいて、宛先機器40が特定の構成要素を復号し、レンダリングすることが可能であるかどうかを決定し得る。宛先機器40はまた、利用可能な帯域幅などの現在のネットワーク状態を決定し、現在のネットワーク状態に基づいて構成要素を選択し得る。例えば、宛先機器40は、より少ない帯域幅が利用可能であるときに、比較的より低いビットレートを有する構成要素を選択するか、又はより多くの帯域幅が利用可能であるときに、比較的より高いビットレートを有する構成要素を選択し得る。別の例として、宛先機器40は、現在のネットワーク状態に基づいて多重化間隔を選択し、変化するネットワーク状態に適応するために、ボックスによって示される可能な多重化間隔に基づいて多重化間隔を変更し得る。選択された構成要素が別の構成要素に依存する場合、宛先機器40は、選択された構成要素と、選択された構成要素が依存する構成要素の両方を要求し得る。
要求すべき構成要素を選択した後に、宛先機器40は、受信した構成要素配置ボックスに基づいて、選択された構成要素のためのデータを記憶するファイルを決定する(218)。例えば、宛先機器40は、ファイルが、選択された構成要素の構成要素識別子とファイルのトラックとの間のマッピングを有するかどうかを決定するために構成要素配置ボックスを分析し得る。ファイルがマッピングを有する場合、宛先機器40は、例えば、ストリーミングネットワークプロトコルに従って、ファイルからのデータを要求する(220)。要求は、ファイルのURL又はURNに対するHTTP Get要求又は部分Get要求を備え、場合によってはファイルのバイト範囲を指定し得、バイト範囲は、ファイルによって記憶される構成要素のフラグメントに対応し得る。
宛先機器40は、選択された多重化間隔に基づいて、構成要素の逐次部分を検索するために複数の要求をサブミットし得る。即ち、初めに、宛先機器40は、選択された構成要素の各々からのフラグメントを最初に要求し得る。次いで、宛先機器40は、次の多重化間隔について、各構成要素のための、次の多重化間隔内で開始するフラグメントがあるかどうかを決定し、フラグメントがある場合、(1つ以上の)フラグメントを要求し得る。このようにして、宛先機器40は、多重化間隔に基づいて構成要素からのフラグメントを要求し得る。宛先機器40はまた、例えば、多重化間隔を変更するか又は異なる構成要素からのデータを要求することによって、変化するネットワーク状態への適応を実行するために、ネットワーク状態を周期的に再評価し得る。いずれの場合も、要求に応答して、発信源機器20は、要求されたデータを宛先機器40に出力する(222)。
1つ以上の例では、説明した技術は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つ以上の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、例えば、通信プロトコルに従ってある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含むデータ記憶媒体又は通信媒体など、有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、(1)非一時的である有形コンピュータ可読記憶媒体、あるいは(2)信号又は搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技術の実装のための命令、コード及び/又はデータ構造を検索するために1つ以上のコンピュータあるいは1つ以上のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD−ROM又は他の光ディスクストレージ、磁気ディスクストレージ、又は他の磁気ストレージ機器、フラッシュメモリ、あるいは命令又はデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。更に、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL)、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモート発信源から送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)及びディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)及びブルーレイ(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
命令は、1つ以上のデジタル信号プロセッサ(DSP)などの1つ以上のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、あるいは他の等価な集積回路又はディスクリート論理回路によって実行され得る。従って、本明細書で使用する「プロセッサ」という用語は、前述の構造、又は本明細書で説明した技術の実装に好適な他の構造のいずれかを指し得る。更に、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成された専用のハードウェア及び/又はソフトウェアモジュール内に提供され得、あるいは複合コーデックに組み込まれ得る。また、本技術は、1つ以上の回路又は論理要素中に十分に実装され得る。
本開示の技術は、ワイヤレスハンドセット、集積回路(IC)又はICのセット(例えば、チップセット)を含む、多種多様な機器又は装置において実施され得る。本開示では、開示する技術を実行するように構成された機器の機能的態様を強調するために様々な構成要素、モジュール、又はユニットについて説明したが、それらの構成要素、モジュール、又はユニットを、必ずしも異なるハードウェアユニットによって実現する必要はない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェア及び/又はファームウェアとともに、上記で説明したように1つ以上のプロセッサを含んで、コーデックハードウェアユニットにおいて組み合わせられるか、又は相互動作ハードウェアユニットの集合によって与えられ得る。
様々な例について説明した。これら及び他の例は以下の特許請求の範囲内に入る。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
[1] カプセル化ビデオデータを送る方法であって、ビデオコンテンツの複数の表現の構成要素の特性をクライアント機器に送ることと、前記特性を送った後に、前記クライアント機器から前記構成要素のうちの少なくとも1つについての要求を受信することと、前記要求に応答して、要求された前記構成要素を前記クライアント機器に送ることと
を備え、前記特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、前記構成要素間の依存性とのうちの少なくとも1つを備える、方法。
[2] 前記構成要素のうちの少なくとも2つが別々のファイルに記憶され、前記特性を送ることが、前記構成要素のうちの前記少なくとも2つの各々の特性を備えるデータ構造を送ることを備える、[1]に記載の方法。
[3] 前記構成要素についての前記特性を、前記構成要素の符号化サンプルを記憶する1つ以上のファイルとは別のファイルに記憶することを更に備え、前記特性を送ることが、前記特性が記憶された前記ファイルについての第1の要求を受信することと、前記第1の要求に応答して、前記符号化サンプルを記憶する前記1つ以上のファイルとは無関係に前記ファイルを送ることと、を備え、前記ビデオ構成要素のうちの前記少なくとも1つについての前記要求が第2の異なる要求を備える、[1]に記載の方法。
[4] 前記構成要素の各々についての前記特性を前記構成要素とは別個である単一のデータ構造に記憶することと、前記データ構造を、前記複数の表現を備えるマルチメディアコンテンツに関連付ける識別子を前記データ構造に割り当てることと、前記マルチメディアコンテンツの前記表現に一意の識別子を割り当てることと、を更に備え、前記特性を送ることが、前記データ構造を送ることを備える、[1]に記載の方法。
[5] 前記特性を送ることが、前記構成要素の構成要素識別子値を送ることを更に備え、前記構成要素識別子値のうちの少なくとも1つが、前記構成要素識別子値のうちの前記少なくとも1つに対応する前記構成要素のトラック識別子値とは異なる、[1]に記載の方法。
[6] 前記構成要素の符号化サンプルを記憶する1つ以上のファイルにおける前記構成要素の構成要素識別子値と前記構成要素のトラック識別子値との間の対応を示す情報を送ることを更に備える、[5]に記載の方法。
[7] 前記1つ以上のファイルの前記構成要素の各々について、前記構成要素内のフラグメントへのバイトオフセットと、前記フラグメント中の第1のサンプルの復号時間と、前記フラグメント中のランダムアクセスポイントと、前記フラグメントが前記構成要素の新しいセグメントに属するかどうかの指示とを示す情報を送ることを更に備える、[6]に記載の方法。
[8] 前記特性を送ることは、前記構成要素のセットが互いに切替え可能であることを示す情報を送ることを備え、前記要求が構成要素の前記セットのうちの少なくとも1つを指定する、[1]に記載の方法。
[9] 前記特性を送ることが、前記構成要素間の前記依存性と、アクセスユニット中の前記構成要素の復号順序のための前記構成要素間の前記依存性の順序付けとを示す情報を送ることを備える、[1]に記載の方法。
[10] 前記特性を送ることが、前記構成要素間の前記依存性と、第1の構成要素と前記第1の構成要素に依存する第2の構成要素との間の時間レイヤ差とを示す情報を送ることを備える、[1]に記載の方法。
[11] 前記特性を送ることが、前記複数の表現のうちの1つ以上の出力のためのターゲットビューの数を示す情報を送ること備える、[1]に記載の方法。
[12] 前記特性を送ることが、前記構成要素のうちの2つ以上の組合せのための可能な多重化間隔を示す情報を送ることを備え、前記要求が、前記多重化間隔のうちの共通の多重化間隔内の復号時間を有する、前記構成要素のうちの前記2つ以上のいずれかのフラグメントを指定する、[1]に記載の方法。
[13] 前記特性が特性の第1のセットを備え、前記特性を送ることは、特性の前記第1のセットが対応する前記構成要素の第1の持続時間を示す情報を送ることを備え、前記方法は、前記構成要素の特性の第2のセットと、特性の前記第2セットが対応する前記構成要素の第2の持続時間とを送ることを更に備える、[1]に記載の方法。
[14] カプセル化ビデオデータを送るための装置であって、ビデオコンテンツの複数の表現の構成要素の特性を決定するように構成されたプロセッサと、前記特性をクライアント機器に送ることと、前記特性を送った後に、前記クライアント機器から前記構成要素のうちの少なくとも1つについての要求を受信することと、前記要求に応答して、前記要求された構成要素を前記クライアント機器に送ることとを行うように構成された1つ以上のインターフェースと、を備え、前記特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、前記構成要素間の依存性とのうちの少なくとも1つを備える、装置。
[15] 前記特性が前記構成要素の構成要素識別子値を更に備え、前記構成要素識別子値のうちの少なくとも1つが、前記構成要素識別子値のうちの前記少なくとも1つに対応する前記構成要素のトラック識別子値とは異なり、前記特性が、前記構成要素の符号化サンプルを記憶する1つ以上のファイルにおける前記構成要素の構成要素識別子値と前記構成要素のトラック識別子値との間の対応を示す情報を備える、[14]に記載の装置。
[16] 前記特性が、前記1つ以上のファイルの前記構成要素の各々について、前記構成要素内のフラグメントへのバイトオフセットと、前記フラグメント中の第1のサンプルの復号時間と、前記フラグメント中のランダムアクセスポイントと、前記フラグメントが前記構成要素の新しいセグメントに属するかどうかの指示とを示す情報を更に備える、[15]に記載の装置。
[17] 前記特性が、前記構成要素間の前記依存性と、アクセスユニット中の前記構成要素の復号順序のための前記構成要素間の前記依存性の順序付けとを示す情報を備える、[14]に記載の装置。
[18] 前記特性が、前記構成要素間の前記依存性と、第1の構成要素と前記第1の構成要素に依存する第2の構成要素との間の時間レイヤ差とを示す情報を備える、[14]に記載の装置。
[19] 前記特性が、前記複数の表現のうちの1つ以上の出力のためのターゲットビューの数を示す情報を備える、[14]に記載の装置。
[20] 前記特性が、前記構成要素のうちの2つ以上の組合せのための可能な多重化間隔を示す情報を備え、前記要求が、前記多重化間隔のうちの共通の多重化間隔内の復号時間を有する、前記構成要素のうちの前記2つ以上のいずれかのフラグメントを指定する、[14]に記載の装置。
[21] 前記特性が特性の第1のセットを備え、前記1つ以上のインターフェースは、特性の前記第1のセットが対応する前記構成要素の第1の持続時間を示す情報を送るように構成され、前記プロセッサが、前記構成要素の特性の第2のセットと、特性の前記第2セットが対応する前記構成要素の第2の持続時間とを生成するように更に構成され、前記1つ以上のインターフェースが、特性の前記第2のセットを送るように構成された、[14]に記載の装置。
[22] 集積回路と、マイクロプロセッサと、前記プロセッサを含むワイヤレス通信機器と
のうちの少なくとも1つを備える、[14]に記載の装置。
[23] カプセル化ビデオデータを送るための装置であって、ビデオコンテンツの複数の表現の複数の構成要素の複数の特性をクライアント機器に送るための手段と、前記特性を送った後に、前記クライアント機器から前記構成要素のうちの少なくとも1つについての要求を受信するための手段と、前記要求に応答して、要求された前記構成要素を前記クライアント機器に送るための手段と、を備え、前記特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、前記構成要素間の依存性とのうちの少なくとも1つを備える、装置。
[24] 前記特性を送るための手段が、前記構成要素の複数の構成要素識別子値を送るための手段と、前記構成要素の符号化サンプルを記憶する1つ以上のファイルにおける前記構成要素の構成要素識別子値と前記構成要素のトラック識別子値との間の対応を示す情報を送るための手段と、前記1つ以上のファイルの前記構成要素の各々について、前記構成要素内のフラグメントへのバイトオフセットと、前記フラグメント中の第1のサンプルの復号時間と、前記フラグメント中のランダムアクセスポイントと、前記フラグメントが前記構成要素の新しいセグメントに属するかどうかの指示とを示す情報を送るための手段と、を更に備え、前記構成要素識別子値のうちの少なくとも1つが、前記構成要素識別子値のうちの前記少なくとも1つに対応する前記構成要素のトラック識別子値とは異なる、[23]に記載の装置。
[25] 前記特性を送るための前記手段が、前記構成要素間の前記依存性と、アクセスユニット中の前記構成要素の復号順序のための前記構成要素間の前記依存性の順序付けとを示す情報を送るための手段を備える、[23]に記載の装置。
[26] 前記特性を送るための前記手段が、前記構成要素間の前記依存性と、第1の構成要素と前記第1の構成要素に依存する第2の構成要素との間の時間レイヤ差とを示す情報を送るための手段を備える、[23]に記載の装置。
[27] 前記特性を送るための前記手段が、前記構成要素のうちの2つ以上の組合せのための可能な多重化間隔を示す情報を送るための手段を備え、前記要求が、前記多重化間隔のうちの共通の多重化間隔内の復号時間を有する、前記構成要素のうちの前記2つ以上のいずれかのフラグメントを指定する、[23]に記載の装置。
[28] 前記特性が特性の第1のセットを備え、前記特性を送るための前記手段は、特性の前記第1のセットが対応する前記構成要素の第1の持続時間を示す情報を送るための手段を備え、前記構成要素の特性の第2のセットと、特性の前記第2セットが対応する前記構成要素の第2の持続時間とを送るための手段を更に備える、[23]に記載の装置。
[29] 実行されたとき、ビデオコンテンツの複数の表現の構成要素の特性をクライアント機器に送ることと、前記特性を送った後に、前記クライアント機器から前記構成要素のうちの少なくとも1つについての要求を受信することと、前記要求に応答して、前記要求された構成要素を前記クライアント機器に送ることと、
を、符号化ビデオデータを送るための発信源機器のプロセッサに行わせる命令を記憶し、前記特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、前記構成要素間の依存性とのうちの少なくとも1つを備える、コンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
[30] 前記特性を送ることを前記プロセッサに行わせる前記命令が、前記構成要素の構成要素識別子値を送ることと、前記構成要素の符号化サンプルを記憶する1つ以上のファイルにおける前記構成要素の構成要素識別子値と前記構成要素のトラック識別子値との間の対応を示す情報を送ることと、前記1つ以上のファイルの前記構成要素の各々について、前記構成要素内のフラグメントへのバイトオフセットと、前記フラグメント中の第1のサンプルの復号時間と、前記フラグメント中のランダムアクセスポイントと、前記フラグメントが前記構成要素の新しいセグメントに属するかどうかの指示とを示す情報を送ることと、を前記プロセッサに行わせる命令を更に備え、前記構成要素識別子値のうちの少なくとも1つが、前記構成要素識別子値のうちの前記少なくとも1つに対応する前記構成要素のトラック識別子値とは異なる、[29]に記載のコンピュータプログラム製品。
[31] 前記特性を送ることを前記プロセッサに行わせる前記命令が、前記構成要素間の前記依存性と、アクセスユニット中の前記構成要素の復号順序のための前記構成要素間の前記依存性の順序付けと、第1の構成要素と前記第1の構成要素に依存する第2の構成要素との間の時間レイヤ差とを示す情報を送ることを前記プロセッサに行わせる命令を備える、[29]に記載のコンピュータプログラム製品。
[32] 前記特性を送ることを前記プロセッサに行わせる前記命令が、前記複数の表現のうちの1つ以上の出力のためのターゲットビューの数を示す情報を送ることを前記プロセッサに行わせる命令を備える、[29]に記載のコンピュータプログラム製品。
[33] 前記特性を送ることを前記プロセッサに行わせる前記命令が、前記構成要素のうちの2つ以上の組合せのための可能な多重化間隔を示す情報を送ることを前記プロセッサに行わせる命令を備え、前記要求が、前記多重化間隔のうちの共通の多重化間隔内の復号時間を有する、前記構成要素のうちの前記2つ以上のいずれかのフラグメントを指定する、[29]に記載のコンピュータプログラム製品。
[34] 前記特性が特性の第1のセットを備え、前記特性を送ることを前記プロセッサに行わせる前記命令は、特性の前記第1のセットが対応する前記構成要素の第1の持続時間を示す情報を送ることを前記プロセッサに行わせる命令を備え、前記構成要素の特性の第2のセットと、特性の前記第2セットが対応する前記構成要素の第2の持続時間とを送ることを前記プロセッサに行わせる命令を更に備える、[29]に記載のコンピュータプログラム製品。
[35] カプセル化ビデオデータを受信する方法であって、ビデオコンテンツの複数の表現の構成要素の特性を発信源機器に要求することと、前記特性に基づいて前記構成要素のうちの1つ以上を選択することと、前記選択された構成要素のサンプルを要求することと、前記サンプルが受信された後に前記サンプルを復号し、提示することと、を備え、前記特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、前記構成要素間の依存性とのうちの少なくとも1つを備える、方法。
[36] 前記構成要素の符号化サンプルを記憶する1つ以上のファイルにおける前記選択された構成要素の構成要素識別子値と前記構成要素のトラック識別子値との間の対応を示す情報を受信することと、前記選択された構成要素の各々内のフラグメントへのバイトオフセットと、前記フラグメント中の第1のサンプルの復号時間と、前記フラグメント中のランダムアクセスポイントと、前記フラグメントが前記それぞれの構成要素の新しいセグメントに属するかどうかの指示とを示す情報を受信することと、を更に備え、前記サンプルを要求することが、前記バイトオフセットと、前記復号時間と、前記ランダムアクセスポイントと、前記フラグメントが新しいセグメントに属するかどうかの前記指示とに基づいて、前記選択された構成要素の前記構成要素識別子値に対応する前記トラック識別子値に対応する前記1つ以上のファイルのトラックからのサンプルを要求することを備える、[35]に記載の方法。
[37] 前記選択された構成要素のうちの少なくとも1つが別の構成要素に依存することを示す情報を受信することと、前記選択された構成要素のうちの前記1つが依存する前記構成要素のサンプルを要求することと、を更に備える、[35]に記載の方法。
[38] 前記選択された構成要素の前記サンプルを要求することが、次の多重化間隔を決定することと、前記選択された構成要素のうち、前記次の多重化間隔において開始するフラグメントを有する構成要素を決定することと、前記選択された構成要素のうちの前記決定された構成要素からの、前記次の多重化間隔において開始する前記フラグメントを要求することと、を備える、[35]に記載の方法。
[39] 前記特性が特性の第1のセットを備え、前記方法は、特性の前記第1のセットが対応する前記構成要素の第1の持続時間を示す情報を受信することと、特性の第2のセットが対応する前記構成要素の第2の持続時間に対応する、前記構成要素の特性の前記第2のセットを要求することと、特性の前記第2のセットに基づいて、前記第2の持続時間に対応する前記構成要素からのサンプルを要求することと。
を更に備える、[35]に記載の方法。
[40] カプセル化ビデオデータを受信するための装置であって、ビデオコンテンツの複数の表現の構成要素の特性を発信源機器に要求することを行うように構成された1つ以上のインターフェースと、前記特性に基づいて前記構成要素のうちの1つ以上を選択することと、前記選択された構成要素のサンプルについての要求を前記発信源機器にサブミットすることを前記1つ以上のインターフェースに行わせることとを行うように構成されたプロセッサと、を備え、前記特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、前記構成要素間の依存性とのうちの少なくとも1つを備える、装置。
[41] 前記プロセッサが、前記構成要素の符号化サンプルを記憶する1つ以上のファイルにおける前記選択された構成要素の構成要素識別子値と前記構成要素のトラック識別子値との間の対応を示す情報を受信することと、前記選択された構成要素の各々内のフラグメントへのバイトオフセットと、前記フラグメント中の第1のサンプルの復号時間と、前記フラグメント中のランダムアクセスポイントと、前記フラグメントが前記それぞれの構成要素の新しいセグメントに属するかどうかの指示とを示す情報を受信することと、前記バイトオフセットと、前記復号時間と、前記ランダムアクセスポイントと、前記フラグメントが新しいセグメントに属するかどうかの前記指示とに基づいて、前記選択された構成要素の前記構成要素識別子値に対応する前記トラック識別子値に対応する前記1つ以上のファイルのトラックからの前記サンプルについての前記要求を構築することとを行うように構成された、[40]に記載の装置。
[42] 前記プロセッサは、選択された前記構成要素のうちの少なくとも1つが別の構成要素に依存することを示す情報を受信することと、選択された前記構成要素のうちの前記1つが依存する前記構成要素のサンプルを要求することとを行うように構成された、[40]に記載の装置。
[43] 選択された前記構成要素の前記サンプルについての前記要求を生成するために、前記プロセッサが、次の多重化間隔を決定することと、選択された前記構成要素のうち、前記次の多重化間隔において開始するフラグメントを有する構成要素を決定することと、選択された前記構成要素のうちの決定された前記構成要素からの、前記次の多重化間隔において開始する前記フラグメントを要求することとを行うように構成された、[40]に記載の装置。
[44] 前記特性が特性の第1のセットを備え、前記プロセッサは、特性の前記第1のセットが対応する前記構成要素の第1の持続時間を示す情報を受信することと、特性の第2のセットが対応する前記構成要素の第2の持続時間に対応する、前記構成要素の特性の前記第2のセットを要求することと、特性の前記第2のセットに基づいて、前記第2の持続時間に対応する前記構成要素からのサンプルを要求することとを行うように構成された、[40]に記載の装置。
[45] カプセル化ビデオデータを受信するための装置であって、ビデオコンテンツの複数の表現の構成要素の特性を発信源機器に要求するための手段と、 前記特性に基づいて前記構成要素のうちの1つ以上を選択するための手段と、前記選択された構成要素のサンプルを要求するための手段と、前記サンプルが受信された後に前記サンプルを復号し、提示するための手段と、を備え、前記特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、前記構成要素間の依存性とのうちの少なくとも1つを備える、装置。
[46] 前記構成要素の符号化サンプルを記憶する1つ以上のファイルにおける選択された前記構成要素の構成要素識別子値と前記構成要素のトラック識別子値との間の対応を示す情報を受信するための手段と、選択された前記構成要素の各々内のフラグメントへのバイトオフセットと、前記フラグメント中の第1のサンプルの復号時間と、前記フラグメント中のランダムアクセスポイントと、前記フラグメントがそれぞれの前記構成要素の新しいセグメントに属するかどうかの指示とを示す情報を受信するための手段と
を更に備え、前記サンプルを要求するための前記手段が、前記バイトオフセットと、前記復号時間と、前記ランダムアクセスポイントと、前記フラグメントが新しいセグメントに属するかどうかの前記指示とに基づいて、前記選択された構成要素の前記構成要素識別子値に対応する前記トラック識別子値に対応する前記1つ以上のファイルのトラックからのサンプルを要求するための手段を備える、[45]に記載の装置。
[47] 選択された前記構成要素のうちの少なくとも1つが別の構成要素に依存することを示す情報を受信するための手段と、選択された前記構成要素のうちの前記1つが依存する前記構成要素のサンプルを要求するための手段と、を更に備える、[45]に記載の装置。
[48] 前記選択された構成要素の前記サンプルを要求するための前記手段が、次の多重化間隔を決定するための手段と、選択された前記構成要素のうち、前記次の多重化間隔において開始するフラグメントを有する構成要素を決定するための手段と、前記選択された構成要素のうちの前記決定された構成要素からの、前記次の多重化間隔において開始する前記フラグメントを要求するための手段と、を備える、[45]に記載の装置。
[49] 前記特性が特性の第1のセットを備え、特性の前記第1のセットが対応する前記構成要素の第1の持続時間を示す情報を受信するための手段と、特性の第2のセットが対応する前記構成要素の第2の持続時間に対応する、前記構成要素の特性の前記第2のセットを要求するための手段と、特性の前記第2のセットに基づいて、前記第2の持続時間に対応する前記構成要素からのサンプルを要求するための手段と、を更に備える、[45]に記載の装置。
[50] 実行されたとき、ビデオコンテンツの複数の表現の構成要素の特性を発信源機器に要求することと、前記特性に基づいて前記構成要素のうちの1つ以上を選択することと、前記選択された構成要素のサンプルを要求することと、前記サンプルが受信された後に前記サンプルを復号し、提示することと、を、カプセル化ビデオデータを受信するための機器のプロセッサに行わせる命令を記憶し、前記特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、前記構成要素間の依存性とのうちの少なくとも1つを備える、コンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
[51] 前記構成要素の符号化サンプルを記憶する1つ以上のファイルにおける前記選択された構成要素の構成要素識別子値と前記構成要素のトラック識別子値との間の対応を示す情報を受信することと、前記選択された構成要素の各々内のフラグメントへのバイトオフセットと、前記フラグメント中の第1のサンプルの復号時間と、前記フラグメント中のランダムアクセスポイントと、前記フラグメントが前記それぞれの構成要素の新しいセグメントに属するかどうかの指示とを示す情報を受信することと、を前記プロセッサに行わせる命令を更に備え、前記サンプルを要求することを前記プロセッサに行わせる前記命令が、前記バイトオフセットと、前記復号時間と、前記ランダムアクセスポイントと、前記フラグメントが新しいセグメントに属するかどうかの前記指示とに基づいて、前記選択された構成要素の前記構成要素識別子値に対応する前記トラック識別子値に対応する前記1つ以上のファイルのトラックからのサンプルを要求することを前記プロセッサに行わせる命令を備える、[50]に記載のコンピュータプログラム製品。
[52] 前記選択された構成要素のうちの少なくとも1つが別の構成要素に依存することを示す情報を受信することと、前記選択された構成要素のうちの前記1つが依存する前記構成要素のサンプルを要求することと、を前記プロセッサに行わせる命令を更に備える、[50]に記載のコンピュータプログラム製品。
[53] 選択された前記構成要素の前記サンプルを要求することを前記プロセッサに行わせる前記命令が、次の多重化間隔を決定することと、選択された前記構成要素のうち、前記次の多重化間隔において開始するフラグメントを有する構成要素を決定することと、選択された前記構成要素のうちの前記決定された構成要素からの、前記次の多重化間隔において開始する前記フラグメントを要求することと、を前記プロセッサに行わせる命令を備える、[50]に記載のコンピュータプログラム製品。
[54] 前記特性が特性の第1のセットを備え、特性の前記第1のセットが対応する前記構成要素の第1の持続時間を示す情報を受信することと、特性の第2のセットが対応する前記構成要素の第2の持続時間に対応する、前記構成要素の特性の前記第2のセットを要求することと、特性の前記第2のセットに基づいて、前記第2の持続時間に対応する前記構成要素からのサンプルを要求することと、を前記プロセッサに行わせる命令を更に備える、[50]に記載のコンピュータプログラム製品。

Claims (56)

  1. カプセル化ビデオデータを送る方法であって、
    ハイパーテキスト転送プロトコル(HTTP)ベースのネットワークストリーミングプロトコルを介して、ビデオコンテンツの複数の代替表現の構成要素の特性を備えるマニフェストファイルをクライアント機器に送ることと、ここにおいて、前記構成要素は異なるビットレート又は異なるフレームレートを有する(a)ビデオ構成要素及び異なる言語の(b)オーディオ構成要素の少なくとも一方を含む異なる種類の構成要素を備え、前記特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、前記構成要素間の依存性とのうちの少なくとも1つを備え、前記マニフェストファイルは、前記HTTPベースのネットワークストリーミングプロトコルに準拠し、
    前記マニフェストファイルを送った後に、前記HTTPベースのネットワークストリーミングプロトコルを介して、前記クライアント機器から前記構成要素の少なくとも1つの組合せについての要求を受信することと、
    前記要求に応答して、前記HTTPベースのネットワークストリーミングプロトコルを介して、要求された前記ビデオ構成要素又は要求された前記オーディオ構成要素若しくは異なる種類の構成要素の要求された前記組合せを前記クライアント機器に送ることとを備え、前記構成要素のうちの少なくとも2つが別々のファイルに記憶され、前記マニフェストファイルが、前記構成要素のうちの前記少なくとも2つの各々の特性を備える、方法。
  2. 前記マニフェストファイルを、前記構成要素の符号化サンプルを記憶する1つ以上のファイルとは別個に記憶することを更に備え、
    前記マニフェストファイルを送ることが、
    前記マニフェストファイルについての第1の要求を受信することと、
    前記第1の要求に応答して、前記符号化サンプルを記憶する前記1つ以上のファイルとは無関係に前記マニフェストファイルを送ることと、
    を備え、前記構成要素のうちの前記少なくとも1つについての前記要求が第2の異なる要求を備える、請求項1に記載の方法。
  3. 前記マニフェストファイルは前記構成要素を含むファイルとは別個であり、前記方法は、
    前記マニフェストファイルを、前記複数の代替表現を備えるマルチメディアコンテンツに関連付ける識別子を前記マニフェストファイルに割り当てることと、
    前記マルチメディアコンテンツの前記代替表現に一意の識別子を割り当てることと、
    を更に備える、請求項1に記載の方法。
  4. 前記構成要素の構成要素識別子値を送ることを更に備え、前記構成要素識別子値のうちの少なくとも1つが、前記構成要素識別子値のうちの前記少なくとも1つに対応する前記構成要素のトラック識別子値とは異なる、請求項1に記載の方法。
  5. 前記構成要素の符号化サンプルを記憶する1つ以上のファイルにおける前記構成要素の構成要素識別子値と前記構成要素のトラック識別子値との間の対応を示す情報を送ることを更に備える、請求項4に記載の方法。
  6. 前記1つ以上のファイルの前記構成要素の各々について、前記構成要素内のフラグメントへのバイトオフセットと、前記フラグメント中の第1のサンプルの復号時間と、前記フラグメント中のランダムアクセスポイントと、前記フラグメントが前記構成要素の新しいセグメントに属するかどうかの指示とを示す情報を送ることを更に備える、請求項5に記載の方法。
  7. 前記構成要素のセットが互いに切替え可能であることを示す情報を送ることを更に備え、前記要求が構成要素の前記セットのうちの少なくとも1つを指定する、請求項1に記載の方法。
  8. 前記構成要素間の前記依存性と、アクセスユニット中の前記構成要素の復号順序のための前記構成要素間の前記依存性の順序付けとを示す情報を送ることを更に備える、請求項1に記載の方法。
  9. 前記構成要素間の前記依存性と、第1の構成要素と前記第1の構成要素に依存する第2の構成要素との間の時間レイヤ差とを示す情報を送ることをさらに備える、請求項1に記載の方法。
  10. 前記複数の代替表現のうちの1つ以上の出力のためのターゲットビューの数を示す情報を送ることを更に備える、請求項1に記載の方法。
  11. 前記構成要素のうちの2つ以上の組合せのための可能な多重化間隔を示す情報を送ることをさらに備え、前記要求が、前記多重化間隔のうちの共通の多重化間隔内の復号時間を有する、前記構成要素のうちの前記2つ以上のいずれかのフラグメントを指定する、請求項1に記載の方法。
  12. 前記特性が特性の第1のセットを備え、前記特性を備える前記マニフェストファイルを送ることは、特性の前記第1のセットが対応する前記構成要素の第1の持続時間を示す情報を送ることを備え、前記方法は、前記構成要素の特性の第2のセットと、特性の前記第2のセットが対応する前記構成要素の第2の持続時間とを送ることを更に備える、請求項1に記載の方法。
  13. カプセル化ビデオデータを送るための装置であって、
    ビデオコンテンツの複数の代替表現の構成要素の特性を決定し、前記特性を備えるマニフェストファイルを形成するように構成されたプロセッサと、ここにおいて、前記構成要素は異なるビットレート又は異なるフレームレートを有する(a)ビデオ構成要素及び異なる言語の(b)オーディオ構成要素の少なくとも一方を含む異なる種類の構成要素を備え、前記特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、前記構成要素間の依存性とのうちの少なくとも1つを備え、前記マニフェストファイルは、前記HTTPベースのネットワークストリーミングプロトコルに準拠し、
    ハイパーテキスト転送プロトコル(HTTP)ベースのネットワークストリーミングプロトコルを介して、前記マニフェストファイルをクライアント機器に送ることと、前記マニフェストファイルを送った後に、前記HTTPベースのネットワークストリーミングプロトコルを介して、前記クライアント機器から前記構成要素の少なくとも1つの組合せについての要求を受信することと、前記要求に応答して、前記HTTPベースのネットワークストリーミングプロトコルを介して、要求された前記ビデオ構成要素又は要求された前記オーディオ構成要素若しくは異なる種類の構成要素の要求された前記組合せを前記クライアント機器に送ることとを行うように構成された1つ以上のインターフェースと、
    を備え、前記構成要素のうちの少なくとも2つが別々のファイルに記憶され、前記マニフェストファイルが、前記構成要素のうちの前記少なくとも2つの各々の特性を備える、装置。
  14. 前記特性が前記構成要素の構成要素識別子値を更に備え、前記構成要素識別子値のうちの少なくとも1つが、前記構成要素識別子値のうちの前記少なくとも1つに対応する前記構成要素のトラック識別子値とは異なり、前記特性が、前記構成要素の符号化サンプルを記憶する1つ以上のファイルにおける前記構成要素の構成要素識別子値と前記構成要素のトラック識別子値との間の対応を示す情報を備える、請求項13に記載の装置。
  15. 前記特性が、前記1つ以上のファイルの前記構成要素の各々について、前記構成要素内のフラグメントへのバイトオフセットと、前記フラグメント中の第1のサンプルの復号時間と、前記フラグメント中のランダムアクセスポイントと、前記フラグメントが前記構成要素の新しいセグメントに属するかどうかの指示とを示す情報を更に備える、請求項14に記載の装置。
  16. 前記特性が、前記構成要素間の前記依存性と、アクセスユニット中の前記構成要素の復号順序のための前記構成要素間の前記依存性の順序付けとを示す情報を備える、請求項13に記載の装置。
  17. 前記特性が、前記構成要素間の前記依存性と、第1の構成要素と前記第1の構成要素に依存する第2の構成要素との間の時間レイヤ差とを示す情報を備える、請求項13に記載の装置。
  18. 前記特性が、前記複数の代替表現のうちの1つ以上の出力のためのターゲットビューの数を示す情報を備える、請求項13に記載の装置。
  19. 前記特性が、前記構成要素のうちの2つ以上の組合せのための可能な多重化間隔を示す情報を備え、前記要求が、前記多重化間隔のうちの共通の多重化間隔内の復号時間を有する、前記構成要素のうちの前記2つ以上のいずれかのフラグメントを指定する、請求項13に記載の装置。
  20. 前記特性が特性の第1のセットを備え、前記1つ以上のインターフェースは、特性の前記第1のセットが対応する前記構成要素の第1の持続時間を示す情報を送るように構成され、前記プロセッサが、前記構成要素の特性の第2のセットと、特性の前記第2のセットが対応する前記構成要素の第2の持続時間とを生成するように更に構成され、前記1つ以上のインターフェースが、特性の前記第2のセットを送るように構成された、請求項13に記載の装置。
  21. 集積回路と、
    マイクロプロセッサと、
    前記プロセッサを含むワイヤレス通信機器とのうちの少なくとも1つを備える、請求項13に記載の装置。
  22. カプセル化ビデオデータを送るための装置であって、
    ハイパーテキスト転送プロトコル(HTTP)ベースのネットワークストリーミングプロトコルを介して、ビデオコンテンツの複数の代替表現の複数の構成要素の複数の特性を備えるマニフェストファイルをクライアント機器に送るための手段と、ここにおいて、前記構成要素は異なるビットレート又は異なるフレームレートを有する(a)ビデオ構成要素及び異なる言語の(b)オーディオ構成要素の少なくとも一方を含む異なる種類の構成要素を備え、前記特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、前記構成要素間の依存性とのうちの少なくとも1つを備え、前記マニフェストファイルは、前記HTTPベースのネットワークストリーミングプロトコルに準拠し、
    前記マニフェストファイルを送った後に、前記HTTPベースのネットワークストリーミングプロトコルを介して、前記クライアント機器から前記構成要素の少なくとも1つの組合せについての要求を受信するための手段と、
    前記要求に応答して、前記HTTPベースのネットワークストリーミングプロトコルを介して、要求された前記ビデオ構成要素又は要求された前記オーディオ構成要素若しくは異なる種類の構成要素の要求された前記組合せを前記クライアント機器に送るための手段と、
    を備え、前記構成要素のうちの少なくとも2つが別々のファイルに記憶され、前記マニフェストファイルが、前記構成要素のうちの前記少なくとも2つの各々の特性を備える、装置。
  23. 前記マニフェストファイルを送るための手段が、
    前記構成要素の複数の構成要素識別子値を送るための手段と、
    前記構成要素の符号化サンプルを記憶する1つ以上のファイルにおける前記構成要素の構成要素識別子値と前記構成要素のトラック識別子値との間の対応を示す情報を送るための手段と、
    前記1つ以上のファイルの前記構成要素の各々について、前記構成要素内のフラグメントへのバイトオフセットと、前記フラグメント中の第1のサンプルの復号時間と、前記フラグメント中のランダムアクセスポイントと、前記フラグメントが前記構成要素の新しいセグメントに属するかどうかの指示とを示す情報を送るための手段と、
    を更に備え、前記構成要素識別子値のうちの少なくとも1つが、前記構成要素識別子値のうちの前記少なくとも1つに対応する前記構成要素のトラック識別子値とは異なる、請求項22に記載の装置。
  24. 前記マニフェストファイルを送るための前記手段が、前記構成要素間の前記依存性と、アクセスユニット中の前記構成要素の復号順序のための前記構成要素間の前記依存性の順序付けとを示す情報を送るための手段を備える、請求項22に記載の装置。
  25. 前記マニフェストファイルを送るための前記手段が、前記構成要素間の前記依存性と、第1の構成要素と前記第1の構成要素に依存する第2の構成要素との間の時間レイヤ差とを示す情報を送るための手段を備える、請求項22に記載の装置。
  26. 前記マニフェストファイルを送るための前記手段が、前記構成要素のうちの2つ以上の組合せのための可能な多重化間隔を示す情報を送るための手段を備え、前記要求が、前記多重化間隔のうちの共通の多重化間隔内の復号時間を有する、前記構成要素のうちの前記2つ以上のいずれかのフラグメントを指定する、請求項22に記載の装置。
  27. 前記特性が特性の第1のセットを備え、前記マニフェストファイルを送るための前記手段は、特性の前記第1のセットが対応する前記構成要素の第1の持続時間を示す情報を送るための手段を備え、前記構成要素の特性の第2のセットと、特性の前記第2のセットが対応する前記構成要素の第2の持続時間とを送るための手段を更に備える、請求項22に記載の装置。
  28. 実行されたとき、
    ハイパーテキスト転送プロトコル(HTTP)ベースのネットワークストリーミングプロトコルを介して、ビデオコンテンツの複数の代替表現の構成要素の特性を備えるマニフェストファイルをクライアント機器に送ることと、ここにおいて、前記構成要素は異なるビットレート又は異なるフレームレートを有する(a)ビデオ構成要素及び異なる言語の(b)オーディオ構成要素の少なくとも一方を含む異なる種類の構成要素を備え、前記特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、前記構成要素間の依存性とのうちの少なくとも1つを備え、前記マニフェストファイルは、ハイパーテキスト転送プロトコル(HTTP)ベースのネットワークストリーミングプロトコルに準拠し、
    前記マニフェストファイルを送った後に、前記HTTPベースのネットワークストリーミングプロトコルを介して、前記クライアント機器から前記構成要素の少なくとも1つの組合せについての要求を受信することと、
    前記要求に応答して、前記HTTPベースのネットワークストリーミングプロトコルを介して、要求された前記ビデオ構成要素又は要求された前記オーディオ構成要素若しくは異なる種類の構成要素の要求された前記組合せを前記クライアント機器に送ることと、を、符号化ビデオデータを送るための発信源機器のプロセッサに行わせる命令を記憶し、前記構成要素のうちの少なくとも2つが別々のファイルに記憶され、前記マニフェストファイルが、前記構成要素のうちの前記少なくとも2つの各々の特性を備える、コンピュータ可読記憶媒体。
  29. 前記マニフェストファイルを送ることを前記プロセッサに行わせる前記命令が、
    前記構成要素の構成要素識別子値を送ることと、
    前記構成要素の符号化サンプルを記憶する1つ以上のファイルにおける前記構成要素の構成要素識別子値と前記構成要素のトラック識別子値との間の対応を示す情報を送ることと、
    前記1つ以上のファイルの前記構成要素の各々について、前記構成要素内のフラグメントへのバイトオフセットと、前記フラグメント中の第1のサンプルの復号時間と、前記フラグメント中のランダムアクセスポイントと、前記フラグメントが前記構成要素の新しいセグメントに属するかどうかの指示とを示す情報を送ることと、
    を前記プロセッサに行わせる命令を更に備え、前記構成要素識別子値のうちの少なくとも1つが、前記構成要素識別子値のうちの前記少なくとも1つに対応する前記構成要素のトラック識別子値とは異なる、請求項28に記載のコンピュータ可読記憶媒体。
  30. 前記マニフェストファイルを送ることを前記プロセッサに行わせる前記命令が、前記構成要素間の前記依存性と、アクセスユニット中の前記構成要素の復号順序のための前記構成要素間の前記依存性の順序付けと、第1の構成要素と前記第1の構成要素に依存する第2の構成要素との間の時間レイヤ差とを示す情報を送ることを前記プロセッサに行わせる命令を備える、請求項28に記載のコンピュータ可読記憶媒体。
  31. 前記マニフェストファイルを送ることを前記プロセッサに行わせる前記命令が、前記複数の代替表現のうちの1つ以上の出力のためのターゲットビューの数を示す情報を送ることを前記プロセッサに行わせる命令を備える、請求項28に記載のコンピュータ可読記憶媒体。
  32. 前記マニフェストファイルを送ることを前記プロセッサに行わせる前記命令が、前記構成要素のうちの2つ以上の組合せのための可能な多重化間隔を示す情報を送ることを前記プロセッサに行わせる命令を備え、前記要求が、前記多重化間隔のうちの共通の多重化間隔内の復号時間を有する、前記構成要素のうちの前記2つ以上のいずれかのフラグメントを指定する、請求項28に記載のコンピュータ可読記憶媒体。
  33. 前記特性が特性の第1のセットを備え、特性の前記第1のセットが対応する前記構成要素の第1の持続時間を示す情報を送ること、および前記構成要素の特性の第2のセットと、特性の前記第2のセットが対応する前記構成要素の第2の持続時間とを送ることを前記プロセッサに行わせる命令を更に備える、請求項28に記載のコンピュータ可読記憶媒体。
  34. カプセル化ビデオデータを受信する方法であって、
    ハイパーテキスト転送プロトコル(HTTP)ベースのネットワークストリーミングプロトコルを介して、ビデオコンテンツの複数の代替表現の構成要素の特性を備えるマニフェストファイルを発信源機器に要求することと、ここにおいて、前記構成要素は異なるビットレート又は異なるフレームレートを有する(a)ビデオ構成要素及び異なる言語の(b)オーディオ構成要素の少なくとも一方を含む異なる種類の構成要素を備え、前記特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、前記構成要素間の依存性とのうちの少なくとも1つを備え、前記マニフェストファイルは、前記HTTPベースのネットワークストリーミングプロトコルに準拠し、
    前記特性に基づいて前記構成要素の1つ以上の組合せを選択することと、
    前記HTTPベースのネットワークストリーミングプロトコルを介して、前記ビデオ構成要素又は前記オーディオ構成要素若しくは選択された前記構成要素の異なる種類の前記組合せのサンプルを要求することと、
    前記サンプルが受信された後に前記サンプルを復号し、提示することと、
    を備え、前記構成要素のうちの少なくとも2つが別々のファイルに記憶され、前記マニフェストファイルが、前記構成要素のうちの前記少なくとも2つの各々の特性を備える、方法。
  35. 前記構成要素の符号化サンプルを記憶する1つ以上のファイルにおける選択された前記構成要素の構成要素識別子値と前記構成要素のトラック識別子値との間の対応を示す情報を受信することと、
    選択された前記構成要素の各々内のフラグメントへのバイトオフセットと、前記フラグメント中の第1のサンプルの復号時間と、前記フラグメント中のランダムアクセスポイントと、前記フラグメントが前記それぞれの構成要素の新しいセグメントに属するかどうかの指示とを示す情報を受信することと、
    を更に備え、前記サンプルを要求することが、前記バイトオフセットと、前記復号時間と、前記ランダムアクセスポイントと、前記フラグメントが新しいセグメントに属するかどうかの前記指示とに基づいて、選択された前記構成要素の前記構成要素識別子値に対応する前記トラック識別子値に対応する前記1つ以上のファイルのトラックからのサンプルを要求することを備える、請求項34に記載の方法。
  36. 選択された前記構成要素のうちの少なくとも1つが別の構成要素に依存することを示す情報を受信することと、
    選択された前記構成要素のうちの前記1つが依存する前記構成要素のサンプルを要求することと、
    を更に備える、請求項34に記載の方法。
  37. 選択された前記構成要素の前記サンプルを要求することが、
    次の多重化間隔を決定することと、
    選択された前記構成要素のうち、前記次の多重化間隔において開始するフラグメントを有する構成要素を決定することと、
    選択された前記構成要素のうちの決定された前記構成要素からの、前記次の多重化間隔において開始する前記フラグメントを要求することと、
    を備える、請求項34に記載の方法。
  38. 前記特性が特性の第1のセットを備え、前記方法は、
    特性の前記第1のセットが対応する前記構成要素の第1の持続時間を示す情報を受信することと、
    特性の第2のセットが対応する前記構成要素の第2の持続時間に対応する、前記構成要素の特性の前記第2のセットを要求することと、
    特性の前記第2のセットに基づいて、前記第2の持続時間に対応する前記構成要素からのサンプルを要求することと、
    を更に備える、請求項34に記載の方法。
  39. カプセル化ビデオデータを受信するための装置であって、
    ハイパーテキスト転送プロトコル(HTTP)ベースのネットワークストリーミングプロトコルを介して、ビデオコンテンツの複数の代替表現の構成要素の特性を備えるマニフェストファイルを発信源機器に要求することを行うように構成された1つ以上のインターフェースと、ここにおいて、前記構成要素は異なるビットレート又は異なるフレームレートを有する(a)ビデオ構成要素及び異なる言語の(b)オーディオ構成要素の少なくとも一方を含む異なる種類の構成要素を備え、前記特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、前記構成要素間の依存性とのうちの少なくとも1つを備え、前記マニフェストファイルは、ハイパーテキスト転送プロトコル(HTTP)ベースのネットワークストリーミングプロトコルに準拠し、
    前記特性に基づいて前記構成要素のうちの1つ以上を選択することと、前記HTTPベースのネットワークストリーミングプロトコルを介して、選択された前記構成要素の前記ビデオ構成要素又は前記オーディオ構成要素若しくは異なる種類の組合せのサンプルについての要求を前記発信源機器にサブミットすることを前記1つ以上のインターフェースに行わせることとを行うように構成されたプロセッサと、
    を備える、装置。
  40. 前記プロセッサが、前記構成要素の符号化サンプルを記憶する1つ以上のファイルにおける選択された前記構成要素の構成要素識別子値と前記構成要素のトラック識別子値との間の対応を示す情報を受信することと、選択された前記構成要素の各々内のフラグメントへのバイトオフセットと、前記フラグメント中の第1のサンプルの復号時間と、前記フラグメント中のランダムアクセスポイントと、前記フラグメントがそれぞれの前記構成要素の新しいセグメントに属するかどうかの指示とを示す情報を受信することと、前記バイトオフセットと、前記復号時間と、前記ランダムアクセスポイントと、前記フラグメントが新しいセグメントに属するかどうかの前記指示とに基づいて、選択された前記構成要素の前記構成要素識別子値に対応する前記トラック識別子値に対応する前記1つ以上のファイルのトラックからの前記サンプルについての前記要求を構築することとを行うように構成された、請求項39に記載の装置。
  41. 前記プロセッサは、選択された前記構成要素のうちの少なくとも1つが別の構成要素に依存することを示す情報を受信することと、選択された前記構成要素のうちの前記1つが依存する前記構成要素のサンプルを要求することとを行うように構成された、請求項39に記載の装置。
  42. 選択された前記構成要素の前記サンプルについての前記要求を生成するために、前記プロセッサが、次の多重化間隔を決定することと、選択された前記構成要素のうち、前記次の多重化間隔において開始するフラグメントを有する構成要素を決定することと、選択された前記構成要素のうちの決定された前記構成要素からの、前記次の多重化間隔において開始する前記フラグメントを要求することとを行うように構成された、請求項39に記載の装置。
  43. 前記特性が特性の第1のセットを備え、前記プロセッサは、特性の前記第1のセットが対応する前記構成要素の第1の持続時間を示す情報を受信することと、特性の第2のセットが対応する前記構成要素の第2の持続時間に対応する、前記構成要素の特性の前記第2のセットを要求することと、特性の前記第2のセットに基づいて、前記第2の持続時間に対応する前記構成要素からのサンプルを要求することとを行うように構成された、請求項39に記載の装置。
  44. カプセル化ビデオデータを受信するための装置であって、
    ハイパーテキスト転送プロトコル(HTTP)ベースのネットワークストリーミングプロトコルを介して、ビデオコンテンツの複数の代替表現の構成要素の特性を備えるマニフェストファイルを発信源機器に要求するための手段と、ここにおいて、前記構成要素は異なるビットレート又は異なるフレームレートを有する(a)ビデオ構成要素及び異なる言語の(b)オーディオ構成要素の少なくとも一方を含む異なる種類の構成要素を備え、前記特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、前記構成要素間の依存性とのうちの少なくとも1つを備え、前記マニフェストファイルは、前記HTTPベースのネットワークストリーミングプロトコルに準拠し、
    前記特性に基づいて前記構成要素のうちの1つ以上を選択するための手段と、
    前記HTTPベースのネットワークストリーミングプロトコルを介して、選択された前記構成要素の前記ビデオ構成要素又は前記オーディオ構成要素若しくは異なる種類の構成要素の組合せのサンプルを要求するための手段と、
    前記サンプルが受信された後に前記サンプルを復号し、提示するための手段と、
    を備え、前記構成要素のうちの少なくとも2つが別々のファイルに記憶され、前記マニフェストファイルが、前記構成要素のうちの前記少なくとも2つの各々の特性を備える、装置。
  45. 前記構成要素の符号化サンプルを記憶する1つ以上のファイルにおける選択された前記構成要素の構成要素識別子値と前記構成要素のトラック識別子値との間の対応を示す情報を受信するための手段と、
    選択された前記構成要素の各々内のフラグメントへのバイトオフセットと、前記フラグメント中の第1のサンプルの復号時間と、前記フラグメント中のランダムアクセスポイントと、前記フラグメントがそれぞれの前記構成要素の新しいセグメントに属するかどうかの指示とを示す情報を受信するための手段とを更に備え、
    前記サンプルを要求するための前記手段が、前記バイトオフセットと、前記復号時間と、前記ランダムアクセスポイントと、前記フラグメントが新しいセグメントに属するかどうかの前記指示とに基づいて、選択された前記構成要素の前記構成要素識別子値に対応する前記トラック識別子値に対応する前記1つ以上のファイルのトラックからのサンプルを要求するための手段を備える、請求項44に記載の装置。
  46. 選択された前記構成要素のうちの少なくとも1つが別の構成要素に依存することを示す情報を受信するための手段と、
    選択された前記構成要素のうちの前記1つが依存する前記構成要素のサンプルを要求するための手段と、
    を更に備える、請求項44に記載の装置。
  47. 選択された前記構成要素の前記サンプルを要求するための前記手段が、
    次の多重化間隔を決定するための手段と、
    選択された前記構成要素のうち、前記次の多重化間隔において開始するフラグメントを有する構成要素を決定するための手段と、
    選択された前記構成要素のうちの決定された前記構成要素からの、前記次の多重化間隔において開始する前記フラグメントを要求するための手段と、
    を備える、請求項44に記載の装置。
  48. 前記特性が特性の第1のセットを備え、
    特性の前記第1のセットが対応する前記構成要素の第1の持続時間を示す情報を受信するための手段と、
    特性の第2のセットが対応する前記構成要素の第2の持続時間に対応する、前記構成要素の特性の前記第2のセットを要求するための手段と、
    特性の前記第2のセットに基づいて、前記第2の持続時間に対応する前記構成要素からのサンプルを要求するための手段と、
    を更に備える、請求項44に記載の装置。
  49. 実行されたとき、
    ハイパーテキスト転送プロトコル(HTTP)ベースのネットワークストリーミングプロトコルを介して、ビデオコンテンツの複数の代替表現の構成要素の特性を備えるマニフェストファイルを発信源機器に要求することと、ここにおいて、前記構成要素は異なるビットレート又は異なるフレームレートを有する(a)ビデオ構成要素及び異なる言語の(b)オーディオ構成要素の少なくとも一方を含む異なる種類の構成要素を備え、前記特性が、フレームレートと、プロファイルインジケータと、レベルインジケータと、前記構成要素間の依存性とのうちの少なくとも1つを備え、前記マニフェストファイルは、前記HTTPベースのネットワークストリーミングプロトコルに準拠し、
    前記特性に基づいて前記構成要素のうちの1つ以上を選択することと、
    前記HTTPベースのネットワークストリーミングプロトコルを介して、選択された前記構成要素の前記ビデオ構成要素又は要求された前記オーディオ構成要素若しくは異なる種類の構成要素の組合せのサンプルを要求することと、
    前記サンプルが受信された後に前記サンプルを復号し、提示することと、
    を、カプセル化ビデオデータを受信するための機器のプロセッサに行わせる命令を記憶し、前記構成要素のうちの少なくとも2つが別々のファイルに記憶され、前記マニフェストファイルが、前記構成要素のうちの前記少なくとも2つの各々の特性を備える、コンピュータ可読記憶媒体。
  50. 前記構成要素の符号化サンプルを記憶する1つ以上のファイルにおける選択された前記構成要素の構成要素識別子値と前記構成要素のトラック識別子値との間の対応を示す情報を受信することと、
    選択された前記構成要素の各々内のフラグメントへのバイトオフセットと、前記フラグメント中の第1のサンプルの復号時間と、前記フラグメント中のランダムアクセスポイントと、前記フラグメントがそれぞれの前記構成要素の新しいセグメントに属するかどうかの指示とを示す情報を受信することと、
    を前記プロセッサに行わせる命令を更に備え、
    前記サンプルを要求することを前記プロセッサに行わせる前記命令が、前記バイトオフセットと、前記復号時間と、前記ランダムアクセスポイントと、前記フラグメントが新しいセグメントに属するかどうかの前記指示とに基づいて、選択された前記構成要素の前記構成要素識別子値に対応する前記トラック識別子値に対応する前記1つ以上のファイルのトラックからのサンプルを要求することを前記プロセッサに行わせる命令を備える、請求項49に記載のコンピュータ可読記憶媒体。
  51. 選択された前記構成要素のうちの少なくとも1つが別の構成要素に依存することを示す情報を受信することと、
    選択された前記構成要素のうちの前記1つが依存する前記構成要素のサンプルを要求することと、
    を前記プロセッサに行わせる命令を更に備える、請求項49に記載のコンピュータ可読記憶媒体。
  52. 前記選択された構成要素の前記サンプルを要求することを前記プロセッサに行わせる前記命令が、
    次の多重化間隔を決定することと、
    前記選択された構成要素のうち、前記次の多重化間隔において開始するフラグメントを有する構成要素を決定することと、
    前記選択された構成要素のうちの決定された前記構成要素からの、前記次の多重化間隔において開始する前記フラグメントを要求することと、
    を前記プロセッサに行わせる命令を備える、請求項49に記載のコンピュータ可読記憶媒体。
  53. 前記特性が特性の第1のセットを備え、
    特性の前記第1のセットが対応する前記構成要素の第1の持続時間を示す情報を受信することと、
    特性の第2のセットが対応する前記構成要素の第2の持続時間に対応する、前記構成要素の特性の前記第2のセットを要求することと、
    特性の前記第2のセットに基づいて、前記第2の持続時間に対応する前記構成要素からのサンプルを要求することと、
    を前記プロセッサに行わせる命令を更に備える、請求項49に記載のコンピュータ可読記憶媒体。
  54. 前記少なくとも2つの構成要素はオーディオコンポーネントとビデオコンポーネントを備える、請求項1に記載の方法。
  55. 前記少なくとも2つの構成要素はオーディオコンポーネントとビデオコンポーネントを備える、請求項13,22,39及び44のいずれか1項に記載の装置。
  56. 前記少なくとも2つの構成要素はオーディオコンポーネントとビデオコンポーネントを備える、請求項28又は49に記載のコンピュータ可読記憶媒体。
JP2014263413A 2010-07-15 2014-12-25 ビデオ構成要素を多重化するためのデータを信号伝達すること Active JP6392115B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US36474710P 2010-07-15 2010-07-15
US61/364,747 2010-07-15
US36643610P 2010-07-21 2010-07-21
US61/366,436 2010-07-21
US12/986,028 2011-01-06
US12/986,028 US9185439B2 (en) 2010-07-15 2011-01-06 Signaling data for multiplexing video components

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013519866A Division JP5866354B2 (ja) 2010-07-15 2011-07-15 ビデオ構成要素を多重化するためのデータを信号伝達すること

Publications (3)

Publication Number Publication Date
JP2015097410A JP2015097410A (ja) 2015-05-21
JP2015097410A5 JP2015097410A5 (ja) 2015-11-19
JP6392115B2 true JP6392115B2 (ja) 2018-09-19

Family

ID=45466659

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013519866A Active JP5866354B2 (ja) 2010-07-15 2011-07-15 ビデオ構成要素を多重化するためのデータを信号伝達すること
JP2014263413A Active JP6392115B2 (ja) 2010-07-15 2014-12-25 ビデオ構成要素を多重化するためのデータを信号伝達すること

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013519866A Active JP5866354B2 (ja) 2010-07-15 2011-07-15 ビデオ構成要素を多重化するためのデータを信号伝達すること

Country Status (8)

Country Link
US (1) US9185439B2 (ja)
EP (1) EP2594071A1 (ja)
JP (2) JP5866354B2 (ja)
CN (1) CN103069799B (ja)
AR (1) AR082242A1 (ja)
BR (1) BR112013000861B1 (ja)
TW (1) TWI458340B (ja)
WO (1) WO2012009700A1 (ja)

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) * 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) * 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9240810B2 (en) * 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
WO2004034589A2 (en) 2002-10-05 2004-04-22 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
CN101834610B (zh) 2003-10-06 2013-01-30 数字方敦股份有限公司 通过通信信道接收从源发射的数据的方法和装置
KR101161193B1 (ko) * 2004-05-07 2012-07-02 디지털 파운튼, 인크. 파일 다운로드 및 스트리밍 시스템
JP5550834B2 (ja) 2006-02-13 2014-07-16 デジタル ファウンテン, インコーポレイテッド 可変fecオーバヘッド及び保護期間を利用したストリーミング及びバッファリング
US9270414B2 (en) * 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9386064B2 (en) * 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US20100211690A1 (en) * 2009-02-13 2010-08-19 Digital Fountain, Inc. Block partitioning for a data stream
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9237101B2 (en) 2007-09-12 2016-01-12 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
US9281847B2 (en) * 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
KR101648455B1 (ko) * 2009-04-07 2016-08-16 엘지전자 주식회사 방송 송신기, 방송 수신기 및 3d 비디오 데이터 처리 방법
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US20110096828A1 (en) * 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
WO2011056139A1 (en) 2009-11-06 2011-05-12 Telefonaktiebolaget L M Ericsson (Publ). File format for synchronized media
US9049497B2 (en) 2010-06-29 2015-06-02 Qualcomm Incorporated Signaling random access points for streaming video data
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
KR20120034550A (ko) 2010-07-20 2012-04-12 한국전자통신연구원 스트리밍 컨텐츠 제공 장치 및 방법
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
EP2613543B1 (en) 2010-09-01 2017-01-11 Electronics And Telecommunications Research Institute Method and device for providing content using http adaptive streaming
US9467493B2 (en) 2010-09-06 2016-10-11 Electronics And Telecommunication Research Institute Apparatus and method for providing streaming content
CN103299616A (zh) * 2011-01-07 2013-09-11 夏普株式会社 再生装置及其控制方法、生成装置及其控制方法、记录介质、数据结构、控制程序以及记录了该程序的记录介质
EP2665261A4 (en) * 2011-01-14 2014-10-15 Sharp Kk Content replay, content replay, release system, content replay program, recording medium and data structure
KR20120083747A (ko) * 2011-01-18 2012-07-26 삼성전자주식회사 방송통신 융합형 서비스를 위한 전송 방법 및 장치
JP5529177B2 (ja) * 2011-01-19 2014-06-25 ネイバー ビジネス プラットフォーム コーポレーション P2p基盤のストリーミングサービスでバッファリングを行うシステムおよび方法、並びにクライアントでバッファリングを処理するアプリケーションを配布するシステム
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
JP5856295B2 (ja) * 2011-07-01 2016-02-09 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的オーディオシステムのための同期及びスイッチオーバ方法及びシステム
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
EP2793479A4 (en) 2011-12-12 2015-07-01 Lg Electronics Inc DEVICE AND METHOD FOR RECEIVING MULTIMEDIA CONTENT
US9930379B2 (en) * 2012-01-31 2018-03-27 Comcast Cable Communications, Llc System and method for data stream fragmentation
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
DK3481068T3 (da) 2012-04-13 2020-11-16 Ge Video Compression Llc Billedkodning med lav forsinkelse
KR20130116782A (ko) 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
US10205961B2 (en) * 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
US20130312046A1 (en) * 2012-05-15 2013-11-21 Mark Robertson Smart stream delivery server, system and methods for assembling a mix of services to be delivered to a subscriber's premises
JP6247286B2 (ja) * 2012-06-12 2017-12-13 コーヒレント・ロジックス・インコーポレーテッド ビデオコンテンツの符号化及び配信のための分散アーキテクチャ
KR102162119B1 (ko) 2012-06-29 2020-10-06 지이 비디오 컴프레션, 엘엘씨 비디오 데이터 스트림 개념
WO2014033504A1 (en) * 2012-09-03 2014-03-06 Wijetunga Sagara Method and system for segmenting and separately package audio, video, subtitle and metadata
WO2014052429A1 (en) 2012-09-27 2014-04-03 Dolby Laboratories Licensing Corporation Spatial multiplexing in a soundfield teleconferencing system
US9584792B2 (en) 2013-01-04 2017-02-28 Qualcomm Incorporated Indication of current view dependency on reference view in multiview coding file format
JP6473078B2 (ja) * 2013-04-05 2019-02-20 シャープ株式会社 画像復号装置
US9609336B2 (en) * 2013-04-16 2017-03-28 Fastvdo Llc Adaptive coding, transmission and efficient display of multimedia (acted)
GB2513140B (en) * 2013-04-16 2016-05-04 Canon Kk Methods, devices, and computer programs for streaming partitioned timed media data
WO2014170547A1 (en) 2013-04-17 2014-10-23 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
US9973559B2 (en) * 2013-05-29 2018-05-15 Avago Technologies General Ip (Singapore) Pte. Ltd. Systems and methods for presenting content streams to a client device
CN110035300A (zh) * 2013-07-19 2019-07-19 索尼公司 信息处理装置和方法
MX366219B (es) * 2013-12-03 2019-07-03 Sony Corp Dispositivo de recepcion.
JP2015136057A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
US9807406B2 (en) * 2014-03-17 2017-10-31 Qualcomm Incorporated Picture flushing and decoded picture buffer parameter inference for multi-layer bitstreams
GB2558086B (en) * 2014-03-25 2019-02-20 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
KR20160003450A (ko) * 2014-07-01 2016-01-11 삼성전자주식회사 전자장치의 데이터를 공유하기 위한 방법 및 장치
KR101600469B1 (ko) * 2014-07-16 2016-03-07 김재경 스트리밍 서비스를 위한 클라이언트 및 서버의 동작 방법
US10390059B2 (en) 2014-09-04 2019-08-20 Comcast Cable Communications, Llc Latent binding of content based on user preference
US10187680B2 (en) * 2014-11-11 2019-01-22 Cisco Technology, Inc. Adaptive bit rate system architectures using named domain networking
US10728599B2 (en) * 2014-12-12 2020-07-28 Arris Enterprise, Llc Gateway server conditioned media streaming
US10812546B2 (en) * 2014-12-24 2020-10-20 Intel IP Corporation Link-aware streaming adaptation
US10148969B2 (en) * 2015-02-11 2018-12-04 Qualcomm Incorporated Of sample entry and operation point signalling in a layered video file format
KR102126257B1 (ko) * 2015-02-13 2020-06-24 에스케이텔레콤 주식회사 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치
US9589543B2 (en) 2015-03-18 2017-03-07 Intel Corporation Static frame image quality improvement for sink displays
US9532099B2 (en) * 2015-03-24 2016-12-27 Intel Corporation Distributed media stream synchronization control
US10779057B2 (en) * 2015-06-08 2020-09-15 Qualcomm Incorporated Broadcast content redistribution and ad insertion
US9832123B2 (en) * 2015-09-11 2017-11-28 Cisco Technology, Inc. Network named fragments in a content centric network
EP3375194A1 (en) 2015-11-09 2018-09-19 Thomson Licensing Method and device for adapting the video content decoded from elementary streams to the characteristics of a display
KR101863598B1 (ko) * 2016-07-29 2018-06-01 주식회사 에어브로드 스트리밍 서비스를 위한 클라이언트의 동작 방법
US20180103271A1 (en) * 2016-10-10 2018-04-12 Qualcomm Incorporated Systems and methods for signaling missing or corrupted video data
US9872062B1 (en) * 2017-02-22 2018-01-16 Wyse Technology L.L.C. Enforcing synchronization by embedding audio within video frame data
US10587904B2 (en) * 2017-07-10 2020-03-10 Qualcomm Incorporated Processing media data using an omnidirectional media format
JP2021129127A (ja) * 2018-05-08 2021-09-02 ソニーグループ株式会社 受信装置、送信装置、受信方法、送信方法、およびプログラム
US11606569B2 (en) * 2018-09-25 2023-03-14 Apple Inc. Extending supported components for encoding image data
US11083961B2 (en) * 2018-12-21 2021-08-10 Universal City Studios Llc Scalable interactive video systems and methods
US11381867B2 (en) * 2019-01-08 2022-07-05 Qualcomm Incorporated Multiple decoder interface for streamed media data
WO2020162712A1 (ko) * 2019-02-07 2020-08-13 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 송신 방법, 방송 신호 수신 방법 및 방송 신호 수신 장치
WO2020198164A1 (en) 2019-03-26 2020-10-01 Pcms Holdings, Inc. System and method for multiplexed rendering of light fields
US11094087B2 (en) * 2019-06-24 2021-08-17 Google Llc Dual serving scheme for LOD sequences
US11564018B2 (en) * 2019-10-02 2023-01-24 Qualcomm Incorporated Random access at resync points of dash segments
US12015659B2 (en) * 2022-02-25 2024-06-18 International Business Machines Corporation Optimized transmission and consumption of digital content
WO2024151819A1 (en) * 2023-01-11 2024-07-18 Tencent America LLC Method and apparatus for signaling preselection with extensible multiplexing instructions

Family Cites Families (391)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4965825A (en) 1981-11-03 1990-10-23 The Personalized Mass Media Corporation Signal processing apparatus and methods
US4901319A (en) 1988-03-18 1990-02-13 General Electric Company Transmission system with adaptive interleaving
US7594250B2 (en) 1992-04-02 2009-09-22 Debey Henry C Method and system of program transmission optimization using a redundant transmission sequence
US5701582A (en) 1989-08-23 1997-12-23 Delta Beta Pty. Ltd. Method and apparatus for efficient transmissions of programs
US5421031A (en) 1989-08-23 1995-05-30 Delta Beta Pty. Ltd. Program transmission optimisation
US5329369A (en) 1990-06-01 1994-07-12 Thomson Consumer Electronics, Inc. Asymmetric picture compression
US5379297A (en) 1992-04-09 1995-01-03 Network Equipment Technologies, Inc. Concurrent multi-channel segmentation and reassembly processors for asynchronous transfer mode
US5371532A (en) 1992-05-15 1994-12-06 Bell Communications Research, Inc. Communications architecture and method for distributing information services
US5590405A (en) 1993-10-29 1996-12-31 Lucent Technologies Inc. Communication technique employing variable information transmission
CA2140850C (en) 1994-02-24 1999-09-21 Howard Paul Katseff Networked system for display of multimedia presentations
US5566208A (en) 1994-03-17 1996-10-15 Philips Electronics North America Corp. Encoder buffer having an effective size which varies automatically with the channel bit-rate
US5757415A (en) 1994-05-26 1998-05-26 Sony Corporation On-demand data transmission by dividing input data into blocks and each block into sub-blocks such that the sub-blocks are re-arranged for storage to data storage means
US5802394A (en) 1994-06-06 1998-09-01 Starlight Networks, Inc. Method for accessing one or more streams in a video storage system using multiple queues and maintaining continuity thereof
US5739864A (en) 1994-08-24 1998-04-14 Macrovision Corporation Apparatus for inserting blanked formatted fingerprint data (source ID, time/date) in to a video signal
US5668948A (en) 1994-09-08 1997-09-16 International Business Machines Corporation Media streamer with control node enabling same isochronous streams to appear simultaneously at output ports or different streams to appear simultaneously at output ports
US5926205A (en) 1994-10-19 1999-07-20 Imedia Corporation Method and apparatus for encoding and formatting data representing a video program to provide multiple overlapping presentations of the video program
US5659614A (en) 1994-11-28 1997-08-19 Bailey, Iii; John E. Method and system for creating and storing a backup copy of file data stored on a computer
US5617541A (en) 1994-12-21 1997-04-01 International Computer Science Institute System for packetizing data encoded corresponding to priority levels where reconstructed data corresponds to fractionalized priority level and received fractionalized packets
JP3614907B2 (ja) 1994-12-28 2005-01-26 株式会社東芝 データ再送制御方法及びデータ再送制御システム
US5835165A (en) 1995-06-07 1998-11-10 Lsi Logic Corporation Reduction of false locking code words in concatenated decoders
US6079041A (en) 1995-08-04 2000-06-20 Sanyo Electric Co., Ltd. Digital modulation circuit and digital demodulation circuit
US5751336A (en) 1995-10-12 1998-05-12 International Business Machines Corporation Permutation based pyramid block transmission scheme for broadcasting in video-on-demand storage systems
US6055012A (en) 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JP3305183B2 (ja) 1996-01-12 2002-07-22 株式会社東芝 ディジタル放送受信端末装置
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US5936659A (en) 1996-01-31 1999-08-10 Telcordia Technologies, Inc. Method for video delivery using pyramid broadcasting
US5903775A (en) 1996-06-06 1999-05-11 International Business Machines Corporation Method for the sequential transmission of compressed video information at varying data rates
US5745504A (en) 1996-06-25 1998-04-28 Telefonaktiebolaget Lm Ericsson Bit error resilient variable length code
US5940863A (en) 1996-07-26 1999-08-17 Zenith Electronics Corporation Apparatus for de-rotating and de-interleaving data including plural memory devices and plural modulo memory address generators
US5936949A (en) 1996-09-05 1999-08-10 Netro Corporation Wireless ATM metropolitan area network
KR100261706B1 (ko) 1996-12-17 2000-07-15 가나이 쓰도무 디지탈방송신호의 수신장치와 수신 및 기록재생장치
US6011590A (en) 1997-01-03 2000-01-04 Ncr Corporation Method of transmitting compressed information to minimize buffer space
US6141053A (en) 1997-01-03 2000-10-31 Saukkonen; Jukka I. Method of optimizing bandwidth for transmitting compressed video data streams
US5983383A (en) 1997-01-17 1999-11-09 Qualcom Incorporated Method and apparatus for transmitting and receiving concatenated code data
US5946357A (en) 1997-01-17 1999-08-31 Telefonaktiebolaget L M Ericsson Apparatus, and associated method, for transmitting and receiving a multi-stage, encoded and interleaved digital communication signal
US6115420A (en) 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
US6226259B1 (en) 1997-04-29 2001-05-01 Canon Kabushiki Kaisha Device and method for transmitting information device and method for processing information
US5844636A (en) 1997-05-13 1998-12-01 Hughes Electronics Corporation Method and apparatus for receiving and recording digital packet data
JP4110593B2 (ja) 1997-05-19 2008-07-02 ソニー株式会社 信号記録方法及び信号記録装置
JPH1141211A (ja) 1997-05-19 1999-02-12 Sanyo Electric Co Ltd ディジタル変調回路と変調方法、ディジタル復調回路と復調方法
WO1998053454A1 (fr) 1997-05-19 1998-11-26 Sanyo Electric Co., Ltd. Modulation et demodulation numeriques
US6128649A (en) 1997-06-02 2000-10-03 Nortel Networks Limited Dynamic selection of media streams for display
US6134596A (en) 1997-09-18 2000-10-17 Microsoft Corporation Continuous media file server system and method for scheduling network resources to play multiple files having different data transmission rates
US6073250A (en) 1997-11-06 2000-06-06 Luby; Michael G. Loss resilient decoding technique
US6163870A (en) 1997-11-06 2000-12-19 Compaq Computer Corporation Message encoding with irregular graphing
US6195777B1 (en) 1997-11-06 2001-02-27 Compaq Computer Corporation Loss resilient code with double heavy tailed series of redundant layers
US6081909A (en) 1997-11-06 2000-06-27 Digital Equipment Corporation Irregularly graphed encoding technique
JP3472115B2 (ja) 1997-11-25 2003-12-02 Kddi株式会社 マルチチャンネルを用いるビデオデータ伝送方法及びその装置
US6226301B1 (en) 1998-02-19 2001-05-01 Nokia Mobile Phones Ltd Method and apparatus for segmentation and assembly of data frames for retransmission in a telecommunications system
EP1075762A1 (en) 1998-04-02 2001-02-14 Sarnoff Corporation Bursty data transmission of compressed video data
US6185265B1 (en) 1998-04-07 2001-02-06 Worldspace Management Corp. System for time division multiplexing broadcast channels with R-1/2 or R-3/4 convolutional coding for satellite transmission via on-board baseband processing payload or transparent payload
US6067646A (en) 1998-04-17 2000-05-23 Ameritech Corporation Method and system for adaptive interleaving
US6018359A (en) 1998-04-24 2000-01-25 Massachusetts Institute Of Technology System and method for multicast video-on-demand delivery system
US6937618B1 (en) 1998-05-20 2005-08-30 Sony Corporation Separating device and method and signal receiving device and method
US6415326B1 (en) 1998-09-15 2002-07-02 Microsoft Corporation Timeline correlation between multiple timeline-altered media streams
US6320520B1 (en) 1998-09-23 2001-11-20 Digital Fountain Information additive group code generator and decoder for communications systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6408128B1 (en) 1998-11-12 2002-06-18 Max Abecassis Replaying with supplementary information a segment of a video
US7157314B2 (en) 1998-11-16 2007-01-02 Sandisk Corporation Vertically stacked field programmable nonvolatile memory and method of fabrication
JP2000151426A (ja) 1998-11-17 2000-05-30 Toshiba Corp インターリーブ・デインターリーブ回路
US6166544A (en) 1998-11-25 2000-12-26 General Electric Company MR imaging system with interactive image contrast control
US6876623B1 (en) 1998-12-02 2005-04-05 Agere Systems Inc. Tuning scheme for code division multiplex broadcasting system
US6637031B1 (en) 1998-12-04 2003-10-21 Microsoft Corporation Multimedia presentation latency minimization
US6496980B1 (en) 1998-12-07 2002-12-17 Intel Corporation Method of providing replay on demand for streaming digital multimedia
US6804202B1 (en) 1999-04-08 2004-10-12 Lg Information And Communications, Ltd. Radio protocol for mobile communication system and method
US7885340B2 (en) 1999-04-27 2011-02-08 Realnetworks, Inc. System and method for generating multiple synchronized encoded representations of media data
FI113124B (fi) 1999-04-29 2004-02-27 Nokia Corp Tiedonsiirto
MY130203A (en) 1999-05-06 2007-06-29 Sony Corp Methods and apparatus for data processing, methods and apparatus for data reproducing and recording media
KR100416996B1 (ko) 1999-05-10 2004-02-05 삼성전자주식회사 이동 통신시스템에서 라디오링크프로토콜에 따른 가변 길이의 데이터 송수신 장치 및 방법
AU5140200A (en) 1999-05-26 2000-12-18 Enounce, Incorporated Method and apparatus for controlling time-scale modification during multi-media broadcasts
JP2000353969A (ja) 1999-06-11 2000-12-19 Sony Corp デジタル音声放送の受信機
JP2001060934A (ja) 1999-08-20 2001-03-06 Matsushita Electric Ind Co Ltd Ofdm通信装置
US6332163B1 (en) 1999-09-01 2001-12-18 Accenture, Llp Method for providing communication services over a computer network system
JP4284774B2 (ja) 1999-09-07 2009-06-24 ソニー株式会社 送信装置、受信装置、通信システム、送信方法及び通信方法
JP2001094625A (ja) 1999-09-27 2001-04-06 Canon Inc データ通信装置、データ通信方法及び記憶媒体
US7529806B1 (en) 1999-11-04 2009-05-05 Koninklijke Philips Electronics N.V. Partitioning of MP3 content file for emulating streaming
DE60033011T2 (de) 1999-09-27 2007-08-09 Koninklijke Philips Electronics N.V. Aufteilung einer datei zur emulation eines datenstroms
US20050160272A1 (en) 1999-10-28 2005-07-21 Timecertain, Llc System and method for providing trusted time in content of digital data files
US6798791B1 (en) 1999-12-16 2004-09-28 Agere Systems Inc Cluster frame synchronization scheme for a satellite digital audio radio system
US20020009137A1 (en) 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
WO2001057667A1 (en) 2000-02-03 2001-08-09 Bandwiz, Inc. Data streaming
US7304990B2 (en) 2000-02-03 2007-12-04 Bandwiz Inc. Method of encoding and transmitting data over a communication medium through division and segmentation
IL140504A0 (en) 2000-02-03 2002-02-10 Bandwiz Inc Broadcast system
US6510177B1 (en) 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
JP2001274776A (ja) 2000-03-24 2001-10-05 Toshiba Corp 情報データ伝送システムとその送信装置及び受信装置
US8572646B2 (en) 2000-04-07 2013-10-29 Visible World Inc. System and method for simultaneous broadcast for personalized messages
AU2001251353A1 (en) 2000-04-08 2001-10-23 Sun Microsystems, Inc. Streaming a single media track to multiple clients
US6631172B1 (en) 2000-05-01 2003-10-07 Lucent Technologies Inc. Efficient list decoding of Reed-Solomon codes for message recovery in the presence of high noise levels
GB2366159B (en) 2000-08-10 2003-10-08 Mitel Corp Combination reed-solomon and turbo coding
US6834342B2 (en) 2000-08-16 2004-12-21 Eecad, Inc. Method and system for secure communication over unstable public connections
KR100447162B1 (ko) 2000-08-19 2004-09-04 엘지전자 주식회사 래디오 링크 콘트롤(rlc)에서 프로토콜 데이터 유닛(pdu) 정보의 길이 지시자(li) 처리방법
JP2002073625A (ja) 2000-08-24 2002-03-12 Nippon Hoso Kyokai <Nhk> 放送番組に同期した情報提供の方法、サーバ及び媒体
US7340664B2 (en) 2000-09-20 2008-03-04 Lsi Logic Corporation Single engine turbo decoder with single frame size buffer for interleaving/deinterleaving
US7151754B1 (en) 2000-09-22 2006-12-19 Lucent Technologies Inc. Complete user datagram protocol (CUDP) for wireless multimedia packet networks using improved packet level forward error correction (FEC) coding
US7031257B1 (en) 2000-09-22 2006-04-18 Lucent Technologies Inc. Radio link protocol (RLP)/point-to-point protocol (PPP) design that passes corrupted data and error location information among layers in a wireless data transmission protocol
US6486803B1 (en) 2000-09-22 2002-11-26 Digital Fountain, Inc. On demand encoding with a window
US7490344B2 (en) 2000-09-29 2009-02-10 Visible World, Inc. System and method for seamless switching
US6411223B1 (en) 2000-10-18 2002-06-25 Digital Fountain, Inc. Generating high weight encoding symbols using a basis
US6732325B1 (en) 2000-11-08 2004-05-04 Digeo, Inc. Error-correction with limited working storage
US20020133247A1 (en) 2000-11-11 2002-09-19 Smith Robert D. System and method for seamlessly switching between media streams
US7240358B2 (en) 2000-12-08 2007-07-03 Digital Fountain, Inc. Methods and apparatus for scheduling, serving, receiving media-on demand for clients, servers arranged according to constraints on resources
KR100908954B1 (ko) 2000-12-15 2009-07-22 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 오디오 또는 비디오 자료의 전송방법 및 장치
US7143433B1 (en) 2000-12-27 2006-11-28 Infovalve Computing Inc. Video distribution system using dynamic segmenting of video data files
US20020085013A1 (en) 2000-12-29 2002-07-04 Lippincott Louis A. Scan synchronized dual frame buffer graphics subsystem
NO315887B1 (no) 2001-01-04 2003-11-03 Fast Search & Transfer As Fremgangsmater ved overforing og soking av videoinformasjon
US20080059532A1 (en) 2001-01-18 2008-03-06 Kazmi Syed N Method and system for managing digital content, including streaming media
FI118830B (fi) 2001-02-08 2008-03-31 Nokia Corp Tietovirran toisto
US6868083B2 (en) 2001-02-16 2005-03-15 Hewlett-Packard Development Company, L.P. Method and system for packet communication employing path diversity
US20020129159A1 (en) 2001-03-09 2002-09-12 Michael Luby Multi-output packet server with independent streams
KR100464360B1 (ko) 2001-03-30 2005-01-03 삼성전자주식회사 고속 패킷 데이터 전송 이동통신시스템에서 패킷 데이터채널에 대한 효율적인 에너지 분배 장치 및 방법
US20020143953A1 (en) 2001-04-03 2002-10-03 International Business Machines Corporation Automatic affinity within networks performing workload balancing
US7035468B2 (en) 2001-04-20 2006-04-25 Front Porch Digital Inc. Methods and apparatus for archiving, indexing and accessing audio and video data
US20020191116A1 (en) 2001-04-24 2002-12-19 Damien Kessler System and data format for providing seamless stream switching in a digital video recorder
US7962482B2 (en) 2001-05-16 2011-06-14 Pandora Media, Inc. Methods and systems for utilizing contextual feedback to generate and modify playlists
US7076478B2 (en) 2001-06-26 2006-07-11 Microsoft Corporation Wrapper playlists on streaming media services
US6745364B2 (en) 2001-06-28 2004-06-01 Microsoft Corporation Negotiated/dynamic error correction for streamed media
FI115418B (fi) 2001-09-20 2005-04-29 Oplayo Oy Adaptiivinen mediavirta
US7480703B2 (en) 2001-11-09 2009-01-20 Sony Corporation System, method, and computer program product for remotely determining the configuration of a multi-media content user based on response of the user
US7363354B2 (en) 2001-11-29 2008-04-22 Nokia Corporation System and method for identifying and accessing network services
JP2003174489A (ja) 2001-12-05 2003-06-20 Ntt Docomo Inc ストリーミング配信装置、ストリーミング配信方法
US20030121047A1 (en) * 2001-12-20 2003-06-26 Watson Paul T. System and method for content transmission network selection
FI114527B (fi) 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
MXPA04007020A (es) 2002-01-23 2004-10-11 Nokia Corp Agrupamiento de cuadros de imagen para codificacion de video.
KR100989222B1 (ko) 2002-01-30 2010-10-20 엔엑스피 비 브이 멀티미디어 데이터로부터의 인코딩된 스트림 세트를 제공하는 방법 및 인코더와, 클라이언트 애플리케이션에 인코딩된 스트림을 제공하는 서버와, 가변 대역폭을 갖는 네트워크상에서 멀티미디어 데이터를 스트리밍하는 송신기
JP4126928B2 (ja) 2002-02-28 2008-07-30 日本電気株式会社 プロキシサーバ及びプロキシ制御プログラム
JP4116470B2 (ja) 2002-03-06 2008-07-09 ヒューレット・パッカード・カンパニー メディア・ストリーミング配信システム
FR2837332A1 (fr) 2002-03-15 2003-09-19 Thomson Licensing Sa Dispositif et procede d'insertion de codes de correction d'erreurs et de reconstitution de flux de donnees, et produits correspondants
WO2003090391A1 (en) 2002-04-15 2003-10-30 Nokia Corporation Rlp logical layer of a communication station
JP3629008B2 (ja) 2002-04-19 2005-03-16 松下電器産業株式会社 データ受信装置及びデータ配信システム
JP3689063B2 (ja) 2002-04-19 2005-08-31 松下電器産業株式会社 データ受信装置及びデータ配信システム
US20030204602A1 (en) 2002-04-26 2003-10-30 Hudson Michael D. Mediated multi-source peer content delivery network architecture
US7177658B2 (en) 2002-05-06 2007-02-13 Qualcomm, Incorporated Multi-media broadcast and multicast service (MBMS) in a wireless communications system
US7200388B2 (en) 2002-05-31 2007-04-03 Nokia Corporation Fragmented delivery of multimedia
EP1550315B1 (en) 2002-06-11 2015-10-21 Telefonaktiebolaget L M Ericsson (publ) Generation of mixed media streams
EP2278719B1 (en) 2002-06-11 2013-12-18 Digital Fountain, Inc. Decoding of chain reaction codes through inactivation
JP4154569B2 (ja) 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
US7136417B2 (en) 2002-07-15 2006-11-14 Scientific-Atlanta, Inc. Chroma conversion optimization
US8300690B2 (en) 2002-07-16 2012-10-30 Nokia Corporation Method for random access and gradual picture refresh in video coding
JP2004070712A (ja) 2002-08-07 2004-03-04 Nippon Telegr & Teleph Corp <Ntt> データ配信方法,データ配信システム,分割配信データ受信方法,分割配信データ受信装置および分割配信データ受信プログラム
AU2002319335B2 (en) 2002-08-13 2008-12-04 Nokia Corporation Symbol interleaving
US6985459B2 (en) 2002-08-21 2006-01-10 Qualcomm Incorporated Early transmission and playout of packets in wireless communication systems
JP3534742B1 (ja) 2002-10-03 2004-06-07 株式会社エヌ・ティ・ティ・ドコモ 動画像復号方法、動画像復号装置、及び動画像復号プログラム
WO2004034589A2 (en) 2002-10-05 2004-04-22 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
JP2004135013A (ja) 2002-10-10 2004-04-30 Matsushita Electric Ind Co Ltd 伝送装置及び伝送方法
FI116816B (fi) 2002-10-14 2006-02-28 Nokia Corp Median suoratoisto
US8320301B2 (en) 2002-10-25 2012-11-27 Qualcomm Incorporated MIMO WLAN system
US7289451B2 (en) 2002-10-25 2007-10-30 Telefonaktiebolaget Lm Ericsson (Publ) Delay trading between communication links
CN1708934B (zh) 2002-10-30 2010-10-06 皇家飞利浦电子股份有限公司 自适应前向错误控制方案
CA2505853A1 (en) 2002-11-18 2004-06-03 British Telecommunications Public Limited Company Transmission of video
GB0226872D0 (en) 2002-11-18 2002-12-24 British Telecomm Video transmission
KR100502609B1 (ko) 2002-11-21 2005-07-20 한국전자통신연구원 Ldpc 코드를 이용한 부호화기 및 부호화 방법
JP2004192140A (ja) 2002-12-09 2004-07-08 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP2004193992A (ja) 2002-12-11 2004-07-08 Sony Corp 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
US8135073B2 (en) 2002-12-19 2012-03-13 Trident Microsystems (Far East) Ltd Enhancing video images depending on prior image enhancements
US7164882B2 (en) 2002-12-24 2007-01-16 Poltorak Alexander I Apparatus and method for facilitating a purchase using information provided on a media playing device
US7062272B2 (en) 2003-02-18 2006-06-13 Qualcomm Incorporated Method and apparatus to track count of broadcast content recipients in a wireless telephone network
EP1455504B1 (en) 2003-03-07 2014-11-12 Samsung Electronics Co., Ltd. Apparatus and method for processing audio signal and computer readable recording medium storing computer program for the method
US7266147B2 (en) 2003-03-31 2007-09-04 Sharp Laboratories Of America, Inc. Hypothetical reference decoder
JP2004343701A (ja) 2003-04-21 2004-12-02 Matsushita Electric Ind Co Ltd データ受信再生装置、データ受信再生方法及びデータ受信再生処理プログラム
US20050041736A1 (en) 2003-05-07 2005-02-24 Bernie Butler-Smith Stereoscopic television signal processing method, transmission system and viewer enhancements
US7113773B2 (en) 2003-05-16 2006-09-26 Qualcomm Incorporated Reliable reception of broadcast/multicast content
JP2004348824A (ja) 2003-05-21 2004-12-09 Toshiba Corp Eccエンコード方法、eccエンコード装置
WO2004112368A2 (en) 2003-05-23 2004-12-23 Heyanita, Inc. Transmission of a data file by notification of a reference to the intended recipient and teleconference establishment using a unique reference
JP2004362099A (ja) 2003-06-03 2004-12-24 Sony Corp サーバ装置、情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
WO2004109538A1 (en) 2003-06-07 2004-12-16 Samsung Electronics Co. Ltd. Apparatus and method for organization and interpretation of multimedia data on a recording medium
KR101003413B1 (ko) 2003-06-12 2010-12-23 엘지전자 주식회사 이동통신 단말기의 전송데이터 압축/해제 방법
US7603689B2 (en) 2003-06-13 2009-10-13 Microsoft Corporation Fast start-up for digital video streams
RU2265960C2 (ru) 2003-06-16 2005-12-10 Федеральное государственное унитарное предприятие "Калужский научно-исследовательский институт телемеханических устройств" Способ передачи информации с использованием адаптивного перемежения
US7391717B2 (en) 2003-06-30 2008-06-24 Microsoft Corporation Streaming of variable bit rate multimedia content
US20050004997A1 (en) 2003-07-01 2005-01-06 Nokia Corporation Progressive downloading of timed multimedia content
US8149939B2 (en) 2003-07-07 2012-04-03 Samsung Electronics Co., Ltd. System of robust DTV signal transmissions that legacy DTV receivers will disregard
KR100532450B1 (ko) 2003-07-16 2005-11-30 삼성전자주식회사 에러에 대해 강인한 특성을 가지는 데이터 기록 방법,이에 적합한 데이터 재생 방법, 그리고 이에 적합한 장치들
CN1871804B (zh) 2003-08-21 2010-09-01 高通股份有限公司 广播/多播内容的外部编码方法及其相关装置
US8694869B2 (en) 2003-08-21 2014-04-08 QUALCIMM Incorporated Methods for forward error correction coding above a radio link control layer and related apparatus
JP4183586B2 (ja) 2003-09-12 2008-11-19 三洋電機株式会社 映像表示装置
US7555006B2 (en) 2003-09-15 2009-06-30 The Directv Group, Inc. Method and system for adaptive transcoding and transrating in a video network
WO2005029871A2 (de) 2003-09-15 2005-03-31 Armin Grasnick Verfahren zum erstellen einer raumbildvorlage für abbildungsverfahren mit räumlichen tiefenwirkungen und vorrichtung zum anzeigen einer raumbildvorlage
KR100608715B1 (ko) 2003-09-27 2006-08-04 엘지전자 주식회사 QoS보장형 멀티미디어 스트리밍 서비스 시스템 및 방법
CN101834610B (zh) 2003-10-06 2013-01-30 数字方敦股份有限公司 通过通信信道接收从源发射的数据的方法和装置
US7516232B2 (en) 2003-10-10 2009-04-07 Microsoft Corporation Media organization for distributed sending of media data
US7614071B2 (en) 2003-10-10 2009-11-03 Microsoft Corporation Architecture for distributed sending of media data
US7650036B2 (en) 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
EP1528808A3 (en) 2003-10-27 2008-03-26 Matsushita Electric Industrial Co., Ltd. Apparatus for receiving a broadcast signal
JP2005136546A (ja) 2003-10-29 2005-05-26 Sony Corp 送信装置および方法、記録媒体、並びにプログラム
DE602004011445T2 (de) 2003-11-03 2009-01-15 Broadcom Corp., Irvine FEC-Dekodierung mit dynamischen Parametern
US7428669B2 (en) 2003-12-07 2008-09-23 Adaptive Spectrum And Signal Alignment, Inc. Adaptive FEC codeword management
US7574706B2 (en) 2003-12-15 2009-08-11 Microsoft Corporation System and method for managing and communicating software updates
KR100770902B1 (ko) 2004-01-20 2007-10-26 삼성전자주식회사 고속 무선 데이터 시스템을 위한 가변 부호율의 오류 정정부호 생성 및 복호 장치 및 방법
JP4546104B2 (ja) 2004-01-23 2010-09-15 大王製紙株式会社 吸収性物品及びインナー吸収性物品
KR100596705B1 (ko) 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
KR100586883B1 (ko) 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
US7609653B2 (en) 2004-03-08 2009-10-27 Microsoft Corporation Resolving partial media topologies
WO2005094020A1 (en) 2004-03-19 2005-10-06 Telefonaktiebolaget Lm Ericsson (Publ) Higher layer packet framing using rlp
JP4433287B2 (ja) 2004-03-25 2010-03-17 ソニー株式会社 受信装置および方法、並びにプログラム
US8842175B2 (en) 2004-03-26 2014-09-23 Broadcom Corporation Anticipatory video signal reception and processing
US20050216472A1 (en) 2004-03-29 2005-09-29 David Leon Efficient multicast/broadcast distribution of formatted data
EP1733394A1 (en) 2004-03-30 2006-12-20 Koninklijke Philips Electronics N.V. System and method for supporting improved trick mode performance for disc-based multimedia content
JP4249224B2 (ja) 2004-04-16 2009-04-02 パナソニック株式会社 再生装置、及び記録方法
FR2869744A1 (fr) 2004-04-29 2005-11-04 Thomson Licensing Sa Methode de transmission de paquets de donnees numeriques et appareil implementant la methode
KR101161193B1 (ko) 2004-05-07 2012-07-02 디지털 파운튼, 인크. 파일 다운로드 및 스트리밍 시스템
US20050254575A1 (en) 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US20060037057A1 (en) 2004-05-24 2006-02-16 Sharp Laboratories Of America, Inc. Method and system of enabling trick play modes using HTTP GET
US8331445B2 (en) 2004-06-01 2012-12-11 Qualcomm Incorporated Method, apparatus, and system for enhancing robustness of predictive video codecs using a side-channel based on distributed source coding techniques
US8112531B2 (en) 2004-07-14 2012-02-07 Nokia Corporation Grouping of session objects
US8544043B2 (en) 2004-07-21 2013-09-24 Qualcomm Incorporated Methods and apparatus for providing content information to content servers
US7409626B1 (en) 2004-07-28 2008-08-05 Ikanos Communications Inc Method and apparatus for determining codeword interleaver parameters
US7590922B2 (en) 2004-07-30 2009-09-15 Nokia Corporation Point-to-point repair request mechanism for point-to-multipoint transmission systems
US7930184B2 (en) 2004-08-04 2011-04-19 Dts, Inc. Multi-channel audio coding/decoding of random access points and transients
WO2006020826A2 (en) 2004-08-11 2006-02-23 Digital Fountain, Inc. Method and apparatus for fast encoding of data symbols according to half-weight codes
JP2006074335A (ja) 2004-09-01 2006-03-16 Nippon Telegr & Teleph Corp <Ntt> 伝送方法、伝送システム及び伝送装置
JP2006115104A (ja) 2004-10-13 2006-04-27 Daiichikosho Co Ltd 高能率符号化された時系列情報をパケット化してリアルタイム・ストリーミング送信し受信再生する方法および装置
US7529984B2 (en) 2004-11-16 2009-05-05 Infineon Technologies Ag Seamless change of depth of a general convolutional interleaver during transmission without loss of data
EP1815684B1 (en) 2004-11-22 2014-12-31 Thomson Research Funding Corporation Method and apparatus for channel change in dsl system
WO2006060036A1 (en) 2004-12-02 2006-06-08 Thomson Licensing Adaptive forward error correction
KR20060065482A (ko) 2004-12-10 2006-06-14 마이크로소프트 코포레이션 스트리밍 미디어 데이터의 코딩 비트 레이트의 제어 시스템및 프로세스
JP2006174045A (ja) 2004-12-15 2006-06-29 Ntt Communications Kk 画像配信装置、プログラム及び方法
JP4391409B2 (ja) 2004-12-24 2009-12-24 株式会社第一興商 高能率符号化された時系列情報をリアルタイム・ストリーミング送信し受信再生する方法と受信装置
WO2006074093A2 (en) 2005-01-05 2006-07-13 Divx, Inc. Media transfer protocol
EP1847087A1 (en) 2005-02-08 2007-10-24 Telefonaktiebolaget LM Ericsson (publ) On-demand multi-channel streaming session over packet-switched networks
US7925097B2 (en) 2005-02-18 2011-04-12 Sanyo Electric Co., Ltd. Image display method, image coding apparatus, and image decoding apparatus
US7822139B2 (en) 2005-03-02 2010-10-26 Rohde & Schwarz Gmbh & Co. Kg Apparatus, systems, methods and computer products for providing a virtual enhanced training sequence
US20090222873A1 (en) 2005-03-07 2009-09-03 Einarsson Torbjoern Multimedia Channel Switching
US8028322B2 (en) 2005-03-14 2011-09-27 Time Warner Cable Inc. Method and apparatus for network content download and recording
US7450064B2 (en) 2005-03-22 2008-11-11 Qualcomm, Incorporated Methods and systems for deriving seed position of a subscriber station in support of unassisted GPS-type position determination in a wireless communication system
JP4487028B2 (ja) 2005-03-31 2010-06-23 ブラザー工業株式会社 配信速度制御装置、配信システム、配信速度制御方法、及び配信速度制御用プログラム
US7715842B2 (en) 2005-04-09 2010-05-11 Lg Electronics Inc. Supporting handover of mobile terminal
CN101120593A (zh) 2005-04-13 2008-02-06 诺基亚公司 可扩展性信息的编码、存储和信号发送
JP4515319B2 (ja) 2005-04-27 2010-07-28 株式会社日立製作所 コンピュータシステム
US8683066B2 (en) 2007-08-06 2014-03-25 DISH Digital L.L.C. Apparatus, system, and method for multi-bitrate content streaming
US7961700B2 (en) 2005-04-28 2011-06-14 Qualcomm Incorporated Multi-carrier operation in data transmission systems
JP2006319743A (ja) 2005-05-13 2006-11-24 Toshiba Corp 受信装置
US7676735B2 (en) 2005-06-10 2010-03-09 Digital Fountain Inc. Forward error-correcting (FEC) coding and streaming
US7644335B2 (en) 2005-06-10 2010-01-05 Qualcomm Incorporated In-place transformations with applications to encoding and decoding various classes of codes
JP2007013436A (ja) 2005-06-29 2007-01-18 Toshiba Corp 符号化ストリーム再生装置
US20070006274A1 (en) 2005-06-30 2007-01-04 Toni Paila Transmission and reception of session packets
JP2007013675A (ja) 2005-06-30 2007-01-18 Sanyo Electric Co Ltd ストリーミング配信システム及びサーバ
US7725593B2 (en) 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
US20070022215A1 (en) 2005-07-19 2007-01-25 Singer David W Method and apparatus for media data transmission
US20080137744A1 (en) 2005-07-22 2008-06-12 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
JP3996631B2 (ja) 2005-09-09 2007-10-24 松下電器産業株式会社 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット
US7924913B2 (en) 2005-09-15 2011-04-12 Microsoft Corporation Non-realtime data transcoding of multimedia content
US20070067480A1 (en) 2005-09-19 2007-03-22 Sharp Laboratories Of America, Inc. Adaptive media playout by server media processing for robust streaming
US20070078876A1 (en) 2005-09-30 2007-04-05 Yahoo! Inc. Generating a stream of media data containing portions of media files using location tags
US7720062B2 (en) 2005-10-05 2010-05-18 Lg Electronics Inc. Method of processing traffic information and digital broadcasting system
US9635396B2 (en) 2005-10-11 2017-04-25 Nokia Technologies Oy System and method for efficient scalable stream adaptation
US7720096B2 (en) * 2005-10-13 2010-05-18 Microsoft Corporation RTP payload format for VC-1
JP2007115293A (ja) 2005-10-17 2007-05-10 Toshiba Corp 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法
MY159176A (en) 2005-10-19 2016-12-30 Thomson Licensing Multi-view video coding using scalable video coding
JP4727401B2 (ja) 2005-12-02 2011-07-20 日本電信電話株式会社 無線マルチキャスト伝送システム、無線送信装置及び無線マルチキャスト伝送方法
JP4456064B2 (ja) 2005-12-21 2010-04-28 日本電信電話株式会社 パケット送信装置、受信装置、システム、およびプログラム
US7826536B2 (en) 2005-12-29 2010-11-02 Nokia Corporation Tune in time reduction
US8185794B2 (en) 2006-01-05 2012-05-22 Telefonaktiebolaget L M Ericsson (Publ) Media container file management
US8214516B2 (en) 2006-01-06 2012-07-03 Google Inc. Dynamic media serving infrastructure
JP4874343B2 (ja) 2006-01-11 2012-02-15 ノキア コーポレイション スケーラブルビデオ符号化における、下位互換性のあるピクチャの集約
WO2007081176A1 (en) 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
WO2007086654A1 (en) 2006-01-25 2007-08-02 Lg Electronics Inc. Digital broadcasting system and method of processing data
RU2290768C1 (ru) 2006-01-30 2006-12-27 Общество с ограниченной ответственностью "Трафиклэнд" Система медиавещания в инфраструктуре оператора мобильной связи
US20110087792A2 (en) 2006-02-07 2011-04-14 Dot Hill Systems Corporation Data replication method and apparatus
US8239727B2 (en) 2006-02-08 2012-08-07 Thomson Licensing Decoding of raptor codes
KR100770908B1 (ko) 2006-02-09 2007-10-26 삼성전자주식회사 디지털 방송 스트림의 변속 재생 장치 및 방법
JP5550834B2 (ja) 2006-02-13 2014-07-16 デジタル ファウンテン, インコーポレイテッド 可変fecオーバヘッド及び保護期間を利用したストリーミング及びバッファリング
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US20070200949A1 (en) 2006-02-21 2007-08-30 Qualcomm Incorporated Rapid tuning in multimedia applications
KR100809296B1 (ko) 2006-02-22 2008-03-04 삼성전자주식회사 타입이 일치하지 않는 하위 계층의 정보를 사용하여인터레이스 비디오 신호를 인코딩/디코딩 하는 방법 및장치
JP2007228205A (ja) 2006-02-23 2007-09-06 Funai Electric Co Ltd ネットワークサーバ
US8320450B2 (en) 2006-03-29 2012-11-27 Vidyo, Inc. System and method for transcoding between scalable and non-scalable video codecs
US20070230564A1 (en) 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US20090100496A1 (en) 2006-04-24 2009-04-16 Andreas Bechtolsheim Media server system
US20080010153A1 (en) 2006-04-24 2008-01-10 Pugh-O'connor Archie Computer network provided digital content under an advertising and revenue sharing basis, such as music provided via the internet with time-shifted advertisements presented by a client resident application
US7640353B2 (en) 2006-04-27 2009-12-29 Microsoft Corporation Guided random seek support for media streaming
US7525993B2 (en) 2006-05-24 2009-04-28 Newport Media, Inc. Robust transmission system and method for mobile television applications
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US20100211690A1 (en) 2009-02-13 2010-08-19 Digital Fountain, Inc. Block partitioning for a data stream
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
JP2008011177A (ja) * 2006-06-29 2008-01-17 Nec Corp ストリーミング配信における動的品質制御方法およびネットワーク・システム
JP2008011404A (ja) 2006-06-30 2008-01-17 Toshiba Corp コンテンツ処理装置及びコンテンツ処理方法
JP4392004B2 (ja) 2006-07-03 2009-12-24 インターナショナル・ビジネス・マシーンズ・コーポレーション パケット回復のための符号化および復号化技術
JP4982563B2 (ja) 2006-07-20 2012-07-25 サンディスク コーポレイション 向上されたavプレーヤ装置、並びにそれを使用したコンテンツ配信のシステムおよび方法
US7711797B1 (en) 2006-07-31 2010-05-04 Juniper Networks, Inc. Optimizing batch size for prefetching data over wide area networks
US20080066136A1 (en) 2006-08-24 2008-03-13 International Business Machines Corporation System and method for detecting topic shift boundaries in multimedia streams using joint audio, visual and text cues
AU2007287222A1 (en) 2006-08-24 2008-02-28 Nokia Corporation System and method for indicating track relationships in media files
JP2008109637A (ja) 2006-09-25 2008-05-08 Toshiba Corp 動画像符号化装置及びその方法
WO2008054112A2 (en) 2006-10-30 2008-05-08 Lg Electronics Inc. Methods of performing random access in a wireless communication system
JP2008118221A (ja) 2006-10-31 2008-05-22 Toshiba Corp 復号装置及び復号方法
WO2008054100A1 (en) 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
US20080109557A1 (en) 2006-11-02 2008-05-08 Vinay Joshi Method and system for reducing switching delays between digital video feeds using personalized unicast transmission techniques
JP5378227B2 (ja) 2006-11-14 2013-12-25 クゥアルコム・インコーポレイテッド チャネルスイッチングのためのシステムと方法
US8027328B2 (en) 2006-12-26 2011-09-27 Alcatel Lucent Header compression in a wireless communication network
EP4184341A1 (en) 2007-01-05 2023-05-24 DivX, LLC Video distribution system including progressive playback
CA2675135A1 (en) 2007-01-09 2008-07-17 Nokia Corporation Method for supporting file versioning in mbms file repair
MX2009000619A (es) 2007-01-11 2009-04-16 Panasonic Corp Metodo para la reproduccion de truco de datos multimedia en flujo y encriptados.
US20080172430A1 (en) 2007-01-11 2008-07-17 Andrew Thomas Thorstensen Fragmentation Compression Management
CN101543018B (zh) 2007-01-12 2012-12-26 庆熙大学校产学协力团 网络提取层单元的分组格式、使用该格式的视频编解码算法和装置以及使用该格式进行IPv6标签交换的QoS控制算法和装置
KR20080066408A (ko) 2007-01-12 2008-07-16 삼성전자주식회사 3차원 영상 처리 장치 및 방법
US8126062B2 (en) 2007-01-16 2012-02-28 Cisco Technology, Inc. Per multi-block partition breakpoint determining for hybrid variable length coding
US7721003B2 (en) 2007-02-02 2010-05-18 International Business Machines Corporation System and method to synchronize OSGi bundle inventories between an OSGi bundle server and a client
US20080192818A1 (en) * 2007-02-09 2008-08-14 Dipietro Donald Vincent Systems and methods for securing media
WO2008129500A2 (en) 2007-04-24 2008-10-30 Nokia Corporation System and method for implementing fast tune-in with intra-coded redundant pictures
WO2008133910A2 (en) 2007-04-25 2008-11-06 Thomson Licensing Inter-view prediction with downsampled reference pictures
JP4838191B2 (ja) 2007-05-08 2011-12-14 シャープ株式会社 ファイル再生装置、ファイル再生方法、ファイル再生を実行させるプログラム及びそのプログラムを記録した記録媒体
JP2008283571A (ja) 2007-05-11 2008-11-20 Ntt Docomo Inc コンテンツ配信装置、コンテンツ配信システム、およびコンテンツ配信方法
WO2008140261A2 (en) 2007-05-14 2008-11-20 Samsung Electronics Co., Ltd. Broadcasting service transmitting apparatus and method and broadcasting service receiving apparatus and method for effectively accessing broadcasting service
JP2008282295A (ja) * 2007-05-14 2008-11-20 Casio Hitachi Mobile Communications Co Ltd コンテンツ配信システム、携帯端末装置及びプログラム
CN101682466A (zh) 2007-05-16 2010-03-24 汤姆森特许公司 编码和解码信号的装置和方法
WO2008153294A2 (en) 2007-06-11 2008-12-18 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
US8340113B2 (en) 2007-06-20 2012-12-25 Telefonaktiebolaget Lm Erricsson (Publ) Method and arrangement for improved media session management
KR20100030648A (ko) 2007-06-26 2010-03-18 노키아 코포레이션 시간 레이어 스위칭 포인트들을 표시하는 시스템 및 방법
US7917702B2 (en) 2007-07-10 2011-03-29 Qualcomm Incorporated Data prefetch throttle
JP2009027598A (ja) 2007-07-23 2009-02-05 Hitachi Ltd 映像配信サーバおよび映像配信方法
US8327403B1 (en) 2007-09-07 2012-12-04 United Video Properties, Inc. Systems and methods for providing remote program ordering on a user device via a web server
US8233532B2 (en) 2007-09-21 2012-07-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Information signal, apparatus and method for encoding an information content, and apparatus and method for error correcting an information signal
US8346959B2 (en) 2007-09-28 2013-01-01 Sharp Laboratories Of America, Inc. Client-controlled adaptive streaming
US20090093134A1 (en) * 2007-10-05 2009-04-09 Asm Japan K.K Semiconductor manufacturing apparatus and method for curing materials with uv light
WO2009048277A2 (en) 2007-10-09 2009-04-16 Samsung Electronics Co., Ltd. Apparatus and method for generating and parsing mac pdu in a mobile communication system
US8706907B2 (en) 2007-10-19 2014-04-22 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8635360B2 (en) 2007-10-19 2014-01-21 Google Inc. Media playback point seeking using data range requests
US20090125636A1 (en) 2007-11-13 2009-05-14 Qiong Li Payload allocation methods for scalable multimedia servers
EP2215595B1 (en) 2007-11-23 2012-02-22 Media Patents S.L. A process for the on-line distribution of audiovisual contents with advertisements, advertisement management system, digital rights management system and audiovisual content player provided with said systems
US8543720B2 (en) 2007-12-05 2013-09-24 Google Inc. Dynamic bit rate scaling
JP5385598B2 (ja) 2007-12-17 2014-01-08 キヤノン株式会社 画像処理装置及び画像管理サーバ装置及びそれらの制御方法及びプログラム
US9313245B2 (en) 2007-12-24 2016-04-12 Qualcomm Incorporated Adaptive streaming for on demand wireless services
KR101506217B1 (ko) 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
EP2086237B1 (en) 2008-02-04 2012-06-27 Alcatel Lucent Method and device for reordering and multiplexing multimedia packets from multimedia streams pertaining to interrelated sessions
US7984097B2 (en) 2008-03-18 2011-07-19 Media Patents, S.L. Methods for transmitting multimedia files and advertisements
US8606996B2 (en) 2008-03-31 2013-12-10 Amazon Technologies, Inc. Cache optimization
US20090257508A1 (en) 2008-04-10 2009-10-15 Gaurav Aggarwal Method and system for enabling video trick modes
CN103795511B (zh) 2008-04-14 2018-05-01 亚马逊技术股份有限公司 一种在基站接收上行链路传输的方法及基站
US20100049865A1 (en) 2008-04-16 2010-02-25 Nokia Corporation Decoding Order Recovery in Session Multiplexing
US8855199B2 (en) 2008-04-21 2014-10-07 Nokia Corporation Method and device for video coding and decoding
RU2010150108A (ru) 2008-05-07 2012-06-20 Диджитал Фаунтин, Инк. (Us) Быстрое переключение канала и защита потоковой передачи высокого качества по широковещательному каналу
WO2009140208A2 (en) 2008-05-12 2009-11-19 Swarmcast, Inc. Live media delivery over a packet-based computer network
JP5022301B2 (ja) 2008-05-19 2012-09-12 株式会社エヌ・ティ・ティ・ドコモ プロキシサーバおよび通信中継プログラム、並びに通信中継方法
CN101287107B (zh) 2008-05-29 2010-10-13 腾讯科技(深圳)有限公司 媒体文件的点播方法、系统和设备
US8370887B2 (en) 2008-05-30 2013-02-05 Microsoft Corporation Media streaming with enhanced seek operation
US8775566B2 (en) 2008-06-21 2014-07-08 Microsoft Corporation File format for media distribution and presentation
US8387150B2 (en) 2008-06-27 2013-02-26 Microsoft Corporation Segmented media content rights management
US8468426B2 (en) 2008-07-02 2013-06-18 Apple Inc. Multimedia-aware quality-of-service and error correction provisioning
US8539092B2 (en) 2008-07-09 2013-09-17 Apple Inc. Video streaming using multiple channels
US20100153578A1 (en) 2008-07-16 2010-06-17 Nokia Corporation Method and Apparatus for Peer to Peer Streaming
US8638796B2 (en) 2008-08-22 2014-01-28 Cisco Technology, Inc. Re-ordering segments of a large number of segmented service flows
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
KR20100040640A (ko) 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
US8996547B2 (en) * 2008-10-31 2015-03-31 Microsoft Technology Licensing, Llc Dynamic fragmentation of digital media
US8370520B2 (en) 2008-11-24 2013-02-05 Juniper Networks, Inc. Adaptive network content delivery system
US20100169303A1 (en) 2008-12-31 2010-07-01 David Biderman Playlists for real-time or near real-time streaming
US8743906B2 (en) 2009-01-23 2014-06-03 Akamai Technologies, Inc. Scalable seamless digital video stream splicing
RU2689191C2 (ru) 2009-01-26 2019-05-24 Томсон Лайсенсинг Упаковка кадров для кодирования видео
CN104780385B (zh) 2009-01-29 2018-01-16 杜比实验室特许公司 视频装置、用于将多视图帧的序列编码为比特流的装置
US9538142B2 (en) 2009-02-04 2017-01-03 Google Inc. Server-side support for seamless rewind and playback of video streaming
US8621044B2 (en) 2009-03-16 2013-12-31 Microsoft Corporation Smooth, stateless client media streaming
US8909806B2 (en) 2009-03-16 2014-12-09 Microsoft Corporation Delivering cacheable streaming media presentations
US20120011270A1 (en) 2009-04-09 2012-01-12 Clinton Priddle Methods and arrangements for creating and handling media files
US8730303B2 (en) 2009-04-27 2014-05-20 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3D video data processing method thereof
US9807468B2 (en) 2009-06-16 2017-10-31 Microsoft Technology Licensing, Llc Byte range caching
WO2011009205A1 (en) 2009-07-22 2011-01-27 Jigsee Inc. Method of streaming media to heterogeneous client devices
US20110032333A1 (en) 2009-08-07 2011-02-10 Darren Neuman Method and system for 3d video format conversion with inverse telecine
US8355433B2 (en) 2009-08-18 2013-01-15 Netflix, Inc. Encoding video streams for adaptive video streaming
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US20120151302A1 (en) 2010-12-10 2012-06-14 Qualcomm Incorporated Broadcast multimedia storage and access using page maps when asymmetric memory is used
EP2474182B1 (en) 2009-09-02 2020-12-02 Apple Inc. Mac packet data unit construction for wireless systems
US20110096828A1 (en) 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US9438861B2 (en) 2009-10-06 2016-09-06 Microsoft Technology Licensing, Llc Integrating continuous and sparse streaming data
JP2011087103A (ja) 2009-10-15 2011-04-28 Sony Corp コンテンツ再生システム、コンテンツ再生装置、プログラム、コンテンツ再生方法、およびコンテンツサーバを提供
EP3220281A1 (en) 2009-11-04 2017-09-20 Amotech Co., Ltd. System and method for media content streaming
KR101786050B1 (ko) 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 전송 방법 및 장치
KR101786051B1 (ko) 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치
CN101729857A (zh) 2009-11-24 2010-06-09 中兴通讯股份有限公司 一种接入视频服务的方法及视频播放系统
WO2011070552A1 (en) 2009-12-11 2011-06-16 Nokia Corporation Apparatus and methods for describing and timing representations in streaming media files
KR101628432B1 (ko) 2010-02-19 2016-06-21 텔레폰악티에볼라겟엘엠에릭슨(펍) 에이치티티피 스트리밍에서 레프리젠테이션 스위칭을 위한 방법 및 장치
EP3018881A1 (en) 2010-02-19 2016-05-11 Telefonaktiebolaget LM Ericsson (publ) Method and arrangement for adaptation in http streaming
EP3079269B1 (en) 2010-03-11 2020-10-28 Electronics and Telecommunications Research Institute Method and apparatus for transceiving data in a mimo system
US9049497B2 (en) 2010-06-29 2015-06-02 Qualcomm Incorporated Signaling random access points for streaming video data
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
KR20120010089A (ko) 2010-07-20 2012-02-02 삼성전자주식회사 Http 기반의 멀티미디어 스트리밍 서비스의 품질 향상을 위한 방법 및 장치
US9131033B2 (en) 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8711933B2 (en) 2010-08-09 2014-04-29 Sony Computer Entertainment Inc. Random access point (RAP) formation using intra refreshing technique in video coding
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
KR101737325B1 (ko) 2010-08-19 2017-05-22 삼성전자주식회사 멀티미디어 시스템에서 멀티미디어 서비스의 경험 품질 감소를 줄이는 방법 및 장치
US8615023B2 (en) 2010-10-27 2013-12-24 Electronics And Telecommunications Research Institute Apparatus and method for transmitting/receiving data in communication system
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US20120208580A1 (en) 2011-02-11 2012-08-16 Qualcomm Incorporated Forward error correction scheduling for an improved radio link protocol
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery

Also Published As

Publication number Publication date
TWI458340B (zh) 2014-10-21
WO2012009700A1 (en) 2012-01-19
BR112013000861A2 (pt) 2016-05-17
CN103069799A (zh) 2013-04-24
BR112013000861B1 (pt) 2021-11-09
JP2015097410A (ja) 2015-05-21
JP2013535886A (ja) 2013-09-12
EP2594071A1 (en) 2013-05-22
AR082242A1 (es) 2012-11-21
US20120013746A1 (en) 2012-01-19
US9185439B2 (en) 2015-11-10
CN103069799B (zh) 2016-03-09
JP5866354B2 (ja) 2016-02-17
TW201212634A (en) 2012-03-16

Similar Documents

Publication Publication Date Title
JP6392115B2 (ja) ビデオ構成要素を多重化するためのデータを信号伝達すること
US11375291B2 (en) Virtual reality video signaling in dynamic adaptive streaming over HTTP
JP6345827B2 (ja) ビデオデータをストリーミングするためのシーケンスデータセットを提供すること
JP5770345B2 (ja) ビデオデータをストリーミングするためのビデオ切替え
JP5551315B2 (ja) ビデオデータをストリーミングするためのサブトラックフラグメントの配列
JP5607251B2 (ja) ネットワークストリーミングされるビデオデータについての属性をシグナリングすること
KR102434300B1 (ko) 샘플 엔트리들 및 랜덤 액세스
JP5628422B2 (ja) トリックモードビデオ表現のためのビデオサンプルを信号伝達すること
KR102434299B1 (ko) 샘플 엔트리들 및 랜덤 액세스
KR101436267B1 (ko) 비디오 구성요소들을 멀티플렉싱하기 위한 데이터의 시그널링

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151002

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161206

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170929

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20171011

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20180209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180822

R150 Certificate of patent or registration of utility model

Ref document number: 6392115

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250