JP5866359B2 - ネットワークストリーミングされるビデオデータについての属性をシグナリングすること - Google Patents

ネットワークストリーミングされるビデオデータについての属性をシグナリングすること Download PDF

Info

Publication number
JP5866359B2
JP5866359B2 JP2013523320A JP2013523320A JP5866359B2 JP 5866359 B2 JP5866359 B2 JP 5866359B2 JP 2013523320 A JP2013523320 A JP 2013523320A JP 2013523320 A JP2013523320 A JP 2013523320A JP 5866359 B2 JP5866359 B2 JP 5866359B2
Authority
JP
Japan
Prior art keywords
view
representation
horizontal location
views
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013523320A
Other languages
English (en)
Other versions
JP2013537763A (ja
Inventor
チェン、イン
チェン、ペイソン
カークゼウィックズ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2013537763A publication Critical patent/JP2013537763A/ja
Application granted granted Critical
Publication of JP5866359B2 publication Critical patent/JP5866359B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6581Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

[技術分野]
本開示は、符号化ビデオデータの記憶およびトランスポートに関する。
[背景]
デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、ビデオ遠隔会議デバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、デジタルビデオ情報をより効率的に送信および受信するために、MPEG−2、MPEG−4、ITU−T H.263またはITU−T H.264/MPEG−4、Part10、Advanced Video Coding(AVC)によって定義された規格、およびそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。
ビデオ圧縮技法では、ビデオシーケンスに固有の冗長性を低減または除去するために空間的予測および/または時間的予測を実行する。ブロックベースのビデオコーディングの場合、ビデオフレームまたはスライスがマクロブロックに区分され得る。各マクロブロックはさらに区分され得る。イントラコード化(I)フレームまたはスライス中のマクロブロックは、隣接マクロブロックに関する空間的予測を使用して符号化される。インターコード化(PまたはB)フレームまたはスライス中のマクロブロックは、同じフレームまたはスライス中の隣接マクロブロックに関する空間的予測、あるいは他の参照フレームに関する時間的予測を使用し得る。
ビデオデータが符号化された後、ビデオデータは送信または記憶のためにパケット化され得る。ビデオデータは、国際標準化機構(ISO)ベースメディアファイルフォーマットなどの様々な規格と、AVCなどのそのような規格の拡張とのうちのいずれかに準拠するビデオファイルにアセンブルされ得る。
H.264/AVCに基づく新しいビデオコーディング規格を開発するための取り組みが行われている。1つのそのような規格は、H.264/AVCのスケーラブル拡張であるスケーラブルビデオコーディング(SVC)規格である。別の規格は、H.264/AVCのマルチビュー拡張になったマルチビュービデオコーディング(MVC)である。MVCのジョイントドラフトは、JVT−AB204、「Joint Draft 8.0 on Multiview Video Coding」、28th JVT meeting、Hannover、Germany、2008年7月に記載されており、これは、
http://wftp3.itu.int/av-arch/jvt-site/2008_07_Hannover/JVT-AB204.zipにおいて入手可能である。AVC規格のバージョンは、JVT−AD007、「Editors' draft revision to ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding - in preparation for ITU-T SG 16 AAP Consent (in integrated form)」、30th JVT meeting、Geneva、CH、2009年2月に記載されており、これは、http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zipから入手可能である。この文書はSVCとMVCとをAVC仕様に組み込んでいる。
概して、本開示では、ビデオデータの記憶およびトランスポートのための技法について説明する。本開示は、3Dビデオ表現規格、たとえば、マルチビュービデオコーディング(MVC)に準拠するコード化ビデオデータについての属性をシグナリングすることと、たとえば、ハイパーテキストトランスポートプロトコル(HTTP)ストリーミングに従って、ネットワークを介してコード化ビデオデータをストリーミングすることとを行うための技法を提供する。属性はビデオサービスのマニフェスト(manifest)の一部として含まれ得、これは、クライアントが、異なる属性を用いて3Dビデオ表現を選択することによって3D知覚、たとえば、ビューアングル/位置を調整するために属性を使用し得るように、クライアントがいずれかの特定のビデオ表現を再生し始める前に送信され得る。属性は、コード化ビデオデータの複数のビュー(view)についてのカメラパースペクティブ(camera perspectives)のロケーションを記述し得る。たとえば、カメラパースペクティブのロケーションに従ってビュー識別子が割り当てられ得る。属性は、出力のターゲットにされ得る表現中のビューの、およびいくつかの例では、1つまたは複数の表現についての1つまたは複数の動作点に割り当てられたビューの、最大数をも記述し得る。
一例では、ビデオデータについての情報をシグナリングする方法が、マルチメディアコンテンツについて、シーン(scene)の2つ以上のビュー(v1ew)についてのビデオデータを受信することと、2つ以上のビューの各々についてのカメラパースペクティブの水平ロケーション(horizontal location)を判断することと、ビュー識別子がカメラパースペクティブの相対水平ロケーションに対応するように、2つ以上のビューにビュー識別子を割り当てることと、マルチメディアコンテンツの表現を形成することであって、表現が2つ以上のビューのサブセットを備える、形成することと、クライアントデバイスに、マルチメディアコンテンツの表現のマニフェストの一部として、表現についての最大ビュー識別子と最小ビュー識別子とを示す情報を送ることとを含む。
別の例では、ビデオデータについての情報をシグナリングするための装置が、マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信することと、2つ以上のビューの各々についてのカメラパースペクティブの水平ロケーションを判断することと、ビュー識別子がカメラパースペクティブの相対水平ロケーションに対応するように、2つ以上のビューにビュー識別子を割り当てることと、マルチメディアコンテンツの表現を形成することであって、表現が2つ以上のビューのサブセットを備える、形成することと、クライアントデバイスに、マルチメディアコンテンツの表現のマニフェストの一部として、表現についての最大ビュー識別子と最小ビュー識別子とを示す情報を送ることとを行うように構成されたプロセッサを含む。
別の例では、ビデオデータについての情報をシグナリングするための装置が、マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信するための手段と、2つ以上のビューの各々についてのカメラパースペクティブの水平ロケーションを判断するための手段と、ビュー識別子がカメラパースペクティブの相対水平ロケーションに対応するように、2つ以上のビューにビュー識別子を割り当てるための手段と、マルチメディアコンテンツの表現を形成するための手段であって、表現が2つ以上のビューのサブセットを備える、形成するための手段と、クライアントデバイスに、マルチメディアコンテンツの表現のマニフェストの一部として、表現についての最大ビュー識別子と最小ビュー識別子とを示す情報を送るための手段とを含む。
別の例では、コンピュータプログラム製品が、実行されたとき、ビデオデータについての情報をシグナリングするためのソースデバイスのプロセッサに、マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信することと、2つ以上のビューの各々についてのカメラパースペクティブの水平ロケーションを判断することと、ビュー識別子(view identifier)がカメラパースペクティブの相対水平ロケーションに対応するように、2つ以上のビューにビュー識別子を割り当てることと、マルチメディアコンテンツの表現を形成することであって、表現が2つ以上のビューのサブセットを備える、形成することと、クライアントデバイスに、マルチメディアコンテンツの表現のマニフェストの一部として、表現についての最大ビュー識別子と最小ビュー識別子とを示す情報を送ることとを行わせる、命令を備えるコンピュータ可読記憶媒体を含む。
別の例では、ビデオデータについての情報を受信する方法が、表現についての最大ビュー識別子と表現についての最小ビュー識別子とを示す情報を受信することであって、最大ビュー識別子が、シーンの第1のビューについてのビュー識別子を備え、最小ビュー識別子が、シーンの第2のビューについてのビュー識別子を備え、表現が、第1のビューと第2のビューとを含む2つ以上のビューについてのビデオデータを備える、受信することと、最大ビュー識別子と最小ビュー識別子とに基づいて、表現の2つ以上のビューについてのカメラパースペクティブの最大水平ロケーションと、表現の2つ以上のビューについてのカメラパースペクティブの最小水平ロケーションとを判断することであって、2つ以上のビューについてのビュー識別子が2つ以上のビューについてのカメラパースペクティブの相対水平ロケーションに対応するように、ビュー識別子が割り当てられる、判断することと、表現の2つ以上のビューについてのカメラパースペクティブの判断された最大および最小水平ロケーションに少なくとも部分的に基づいて表現のビデオデータの少なくとも一部分を要求することとを含む。
別の例では、ビデオデータについての情報を受信するための装置が、表現についての最大ビュー識別子と表現についての最小ビュー識別子とを示す情報を受信することであって、最大ビュー識別子が、シーンの第1のビューについてのビュー識別子を備え、最小ビュー識別子が、シーンの第2のビューについてのビュー識別子を備え、表現が、第1のビューと第2のビューとを含む2つ以上のビューについてのビデオデータを備える、受信することと、最大ビュー識別子と最小ビュー識別子とに基づいて、表現の2つ以上のビューについてのカメラパースペクティブの最大水平ロケーションと、表現の2つ以上のビューについてのカメラパースペクティブの最小水平ロケーションとを判断することであって、2つ以上のビューについてのビュー識別子が2つ以上のビューについてのカメラパースペクティブの相対水平ロケーションに対応するように、ビュー識別子が割り当てられる、判断することと、表現の2つ以上のビューについてのカメラパースペクティブの判断された最大および最小水平ロケーションに少なくとも部分的に基づいて表現のビデオデータの少なくとも一部分を要求することとを行うように構成されたプロセッサを含む。
別の例では、ビデオデータについての情報を受信するための装置が、表現についての最大ビュー識別子と表現についての最小ビュー識別子とを示す情報を受信するための手段であって、最大ビュー識別子が、シーンの第1のビューについてのビュー識別子を備え、最小ビュー識別子が、シーンの第2のビューについてのビュー識別子を備え、表現が、第1のビューと第2のビューとを含む2つ以上のビューについてのビデオデータを備える、受信するための手段と、最大ビュー識別子と最小ビュー識別子とに基づいて、表現の2つ以上のビューについてのカメラパースペクティブの最大水平ロケーションと、表現の2つ以上のビューについてのカメラパースペクティブの最小水平ロケーションとを判断するための手段であって、2つ以上のビューについてのビュー識別子が2つ以上のビューについてのカメラパースペクティブの相対水平ロケーションに対応するように、ビュー識別子が割り当てられる、判断するための手段と、表現の2つ以上のビューについてのカメラパースペクティブの判断された最大および最小水平ロケーションに少なくとも部分的に基づいて表現のビデオデータの少なくとも一部分を要求するための手段とを含む。
別の例では、コンピュータプログラム製品が、ビデオデータについての情報を受信するための宛先デバイスのプロセッサに、表現についての最大ビュー識別子と表現についての最小ビュー識別子とを示す情報を受信することであって、最大ビュー識別子が、シーンの第1のビューについてのビュー識別子を備え、最小ビュー識別子が、シーンの第2のビューについてのビュー識別子を備え、表現が、第1のビューと第2のビューとを含む2つ以上のビューについてのビデオデータを備える、受信することと、最大ビュー識別子と最小ビュー識別子とに基づいて、表現の2つ以上のビューについてのカメラパースペクティブの最大水平ロケーションと、表現の2つ以上のビューについてのカメラパースペクティブの最小水平ロケーションとを判断することであって、2つ以上のビューについてのビュー識別子が2つ以上のビューについてのカメラパースペクティブの相対水平ロケーションに対応するように、ビュー識別子が割り当てられる、判断することと、表現の2つ以上のビューについてのカメラパースペクティブの判断された最大および最小水平ロケーションに少なくとも部分的に基づいて表現のビデオデータの少なくとも一部分を要求することとを行わせる、命令を備えるコンピュータ可読記憶媒体を含む。
別の例では、ビデオデータについての情報をシグナリングする方法が、マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信することと、マルチメディアコンテンツの表現を形成することであって、表現が2つ以上のビューのサブセットを備える、形成することと、クライアントデバイスに、マルチメディアコンテンツの表現のマニフェストの一部として、出力のターゲットにされ得る表現中のビューの最大数を示す情報を送ることとを含む。
別の例では、ビデオデータについての情報をシグナリングするための装置が、マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信することと、マルチメディアコンテンツの表現を形成することであって、表現が2つ以上のビューのサブセットを備える、形成することと、クライアントデバイスに、マルチメディアコンテンツの表現のマニフェストの一部として、出力のターゲットにされ得る表現中のビューの最大数を示す情報を送ることとを行うように構成されたプロセッサを含む。
別の例では、ビデオデータについての情報をシグナリングするための装置が、マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信するための手段と、マルチメディアコンテンツの表現を形成するための手段であって、表現が2つ以上のビューのサブセットを備える、形成するための手段と、クライアントデバイスに、マルチメディアコンテンツの表現のマニフェストの一部として、出力のターゲットにされ得る表現中のビューの最大数を示す情報を送るための手段とを含む。
別の例では、コンピュータプログラム製品が、実行されたとき、ビデオデータについての情報をシグナリングするためのデバイスのプロセッサに、マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信することと、2つ以上のビューのサブセットを備える表現を形成することと、クライアントデバイスに、マルチメディアコンテンツの表現のマニフェストの一部として、出力のターゲットにされ得る表現中のビューの最大数を示す情報を送ることとを行わせる、命令を記憶したコンピュータ可読記憶媒体を含む。
別の例では、ビデオデータについての情報を受信する方法が、出力のターゲットにされ得る表現中のビューの最大数を示す情報を受信することであって、表現がシーンの1つまたは複数のビューについてのビデオデータを備える、受信することと、宛先デバイスによって出力され得るビューの最大数を判断することと、宛先デバイスによって出力され得るビューの判断された最大数と、出力のターゲットにされ得る表現中のビューの最大数を示す情報とに少なくとも部分的に基づいて、表現のビデオデータの少なくとも一部分を要求することとを含む。
別の例では、ビデオデータについての情報を受信するための宛先装置が、出力のターゲットにされ得る表現中のビューの最大数を示す情報を受信することであって、表現がシーンの1つまたは複数のビューについてのビデオデータを備える、受信することと、宛先装置によって出力され得るビューの最大数を判断することと、宛先装置によって出力され得るビューの判断された最大数と、出力のターゲットにされ得る表現中のビューの最大数を示す情報とに少なくとも部分的に基づいて、表現のビデオデータの少なくとも一部分を要求することとを行うように構成されたプロセッサを含む。
別の例では、ビデオデータについての情報を受信するための宛先装置が、出力のターゲットにされ得る表現中のビューの最大数を示す情報を受信するための手段であって、表現がシーンの1つまたは複数のビューについてのビデオデータを備える、受信するための手段と、宛先装置によって出力され得るビューの最大数を判断するための手段と、宛先装置によって出力され得るビューの判断された最大数と、出力のターゲットにされ得る表現中のビューの最大数を示す情報とに少なくとも部分的に基づいて、表現のビデオデータの少なくとも一部分を要求するための手段とを含む。
別の例では、コンピュータプログラム製品が、実行されたとき、ビデオデータについての情報を受信するための宛先デバイスのプロセッサに、出力のターゲットにされ得る表現中のビューの最大数を示す情報を受信することであって、表現がシーンの1つまたは複数のビューについてのビデオデータを備える、受信することと、宛先デバイスによって出力され得るビューの最大数を判断することと、宛先デバイスによって出力され得るビューの判断された最大数と、出力のターゲットにされ得る表現中のビューの最大数を示す情報とに少なくとも部分的に基づいて、表現のビデオデータの少なくとも一部分を要求することとを行わせる、命令を記憶したコンピュータ可読媒体を含む。
このようにして、本開示の技法は、表現の各々について与えられる3次元深さの相対量を判断するために使用され得る。概して、表現のすべてが、同じMVCビットストリームのビットストリームサブセットである場合、より大きいビュー識別子範囲(すなわち、最大ビュー識別子と最小ビュー識別子との間の差)をもつ3次元ビデオ表現は、一般に、より小さい範囲を有する表現よりもアグレッシブな3次元ビデオ知覚をもたらし得る。シグナリングされる情報は、ビューの相対ジオメトリ(たとえば、増加するビュー識別子が、ビューについてのカメラパースペクティブの水平方向に増加するロケーションを示すかどうか)、および/または表現について出力のターゲットにされるビューの最大数、を示す情報をさらに含み得る。
オーディオ/ビデオ(A/V)ソースデバイスがオーディオおよびビデオデータをA/V宛先デバイスに転送する例示的なシステムを示すブロック図。 例示的なカプセル化ユニットの構成要素を示すブロック図。 様々なロケーションからシーンのビューについての画像データをキャプチャするためのカメラのアレイを示す概念図。 マルチメディアコンテンツの様々な表現についての属性を与えるメディアプレゼンテーション記述(MPD:media presentation description)の概念図。 例示的なMVC予測パターンを示す概念図。 ソースデバイスがビデオデータについての情報をシグナリングし、宛先デバイスがその情報を受信する、例示的な方法を示すフローチャート。 マルチメディアコンテンツのビューにビュー識別子を割り当て、表現のターゲット出力ビューの数を動作点として提示するための、例示的な方法を示すフローチャート。 マルチメディアコンテンツのビューについてのビュー識別子と、動作点としての表現のターゲット出力ビューの数とを含む、ビデオデータについての情報を受信する方法の一例を示すフローチャート。
[詳細な説明]
概して、本開示では、ビデオデータの記憶およびトランスポートのための技法について説明する。より詳細には、本開示は、マルチビュービデオコーディング(MVC)に準拠するコード化ビデオデータについての属性をシグナリングすることと、たとえば、ハイパーテキストトランスポートプロトコル(HTTP)ストリーミングに従って、ネットワークを介してコード化ビデオデータをストリーミングすることとを行うための技法を提供する。いくつかの例では、ストリーミングネットワークデータは動的適応ストリーミングオーバーHTTP(DASH:Dynamic Adaptive Streaming over HTTP)に準拠し得る。属性は、いくつかの例では、出力のターゲットにされ得る表現中のビューの最大数を記述し得る。
本開示の技法によれば、マルチメディアコンテンツのビューについてのビュー識別子が、コード化ビデオデータのビューについてのカメラパースペクティブの水平ロケーションに対応し得る。たとえば、カメラパースペクティブの水平ロケーションに従ってビュー識別子(view_id)が割り当てられ得る。いくつかの例では、カメラパースペクティブの水平ロケーションは、ビュー識別子の関数(たとえば、単調増加または減少関数)に従って判断され得る。このようにすると、第1のビューおよび第2のビューについてのビュー識別子に基づいて、第1のビューについてのカメラパースペクティブが、別個のビューのカメラパースペクティブの水平方向左側または水平方向右側にあると判断され得る。その上、ビューの各々についてのカメラパースペクティブの水平ロケーションは、ビューについてのビュー識別子に基づいて(たとえば、宛先デバイスによって)順番に配置され得る。
いくつかの例では、属性は、表現のすべてのビューについての最小および/または最大ビュー識別子を含み得る。このようにして、属性は、マルチメディアコンテンツの表現についてのビュー識別子の範囲をシグナリングし得る。ビュー識別子は、ビューについてのカメラパースペクティブの水平ロケーションに対応し得るので、宛先デバイスは、各表現についての深さの相対量を判断し得る。属性は、さらに、ビュー識別子がどのように割り当てられるか、たとえば、より大きいビュー識別子が、より小さいカメラパースペクティブをもつビューについてのカメラパースペクティブの水平ロケーションの左側にあるカメラパースペクティブの水平ロケーションを有するビューに対応するのか、右側にあるカメラパースペクティブの水平ロケーションを有するビューに対応するのか、についての指示を与え得る。概して、最大ビュー識別子と最小ビュー識別子との間のより高い範囲は、表現の3次元ビデオデータについての深さのより大きい範囲に対応し得る。いくつかの例では、属性は、表現についてのターゲット出力ビューの最大数を含み得る。ターゲット出力ビューの最大数は、いくつかの例では、動作点として提示され得る。ターゲット出力ビューの最大数が1に等しい場合、ビュー識別子範囲についてただ1つのビュー識別子がシグナリングされ得る。
宛先デバイスは、表現についての深さの相対量に基づいて表現を選択するように構成され得る。たとえば、宛先デバイスが比較的大きいディスプレイ(たとえば、3次元対応テレビジョン)に結合された場合は、宛先デバイスは、深さのより大きい範囲を有する表現を選択し得、宛先デバイスが比較的小さいディスプレイ(たとえば、セルラー電話、タブレットコンピュータ、またはラップトップコンピュータなどのモバイルデバイス)に結合された場合は、宛先デバイスは、深さのより小さい範囲を有する表現を選択し得る。宛先デバイスはまた、表示され得るビューの数に関して異なり得、したがって、宛先デバイスは、属性においてシグナリングされた、出力のターゲットにされるビューの数を使用して、表現について出力のターゲットにされるビューの数に基づいて、その表現を選択し得る。
たとえば、MPDデータ構造中で、表現を記述する情報を使用して、クライアントデバイスは、それらの表現のうち、取り出すべき表現を選択し得る。たとえば、ソースデバイスは、異なる復号およびレンダリング能力のクライアントデバイスに適応するために多種多様な表現を与え得る。同じ未加工入力ビデオデータが、たとえば、ビューの異なる数、異なる選択されたビュー、異なるビットレート、異なるフレームレート、異なる解像度、異なる符号化規格、または表現間の他の差を用いて、多種多様な方法で符号化され得る。その場合、ソースデバイスは、クライアントデバイスによって取り出され得る、メディアプレゼンテーション記述子(MPD:media presentation descriptor)などのデータ構造中で各表現の属性を記述し得る。その場合、クライアントデバイスは、表現を選択するためにMPDを取り出し得る。
たとえば、クライアントデバイスは、(たとえば、最大ビュー識別子と最小ビュー識別子がビューについてのカメラパースペクティブの相対ロケーションを表すように、それらのビュー識別子が割り当てられたときの、最大ビュー識別子と最小ビュー識別子との間の差に対応する)深さの所望の量に基づいて表現(またはそれの動作点)を選択するように構成され得る。別の例として、クライアントデバイスは、出力のターゲットにされ得るビューの最大数、ならびにクライアントデバイスによって表示され得るビューの最大数に基づいて、表現(またはそれの動作点)を選択するように構成され得る。このようにして、クライアントは、それのディスプレイ能力を十分に利用することを試みながら、使用され得る(すなわち、表示され得る)よりも多くのビデオデータのいかなる復号をも最小限に抑えることまたはなくすことをも試み得る。
本開示の技法は、ISOベースメディアファイルフォーマット、Scalable Video Coding(SVC)ファイルフォーマット、Advanced Video Coding(AVC)ファイルフォーマット、Third Generation Partnership Project(3GPP)ファイルフォーマット、および/またはMultiview Video Coding(MVC)ファイルフォーマットのうちのいずれか、あるいは他の同様のビデオファイルフォーマットに従ってカプセル化されたビデオデータに準拠するビデオファイルに適用され得る。
いくつかの例では、複数のビューがマルチメディアコンテンツについての別個の表現として符号化され得る。各表現は、それぞれのビットストリームとして符号化され得る。そのような例において3次元ビデオをレンダリングするために、クライアントデバイスは、マルチメディアコンテンツの2つ以上の表現を取り出し得る。そのような例では、ソースデバイスは、仮想ビュー識別子が表現のビューについてのカメラパースペクティブの相対ロケーションに対応するように、表現に仮想ビュー識別子を割り当て得る。したがって、本開示の技法は、MPEG−2(Motion Picture Experts Group)、MPEG−4、ITU−T H.264/AVC、High Efficiency Video Coding(HEVC)、または他のビデオコーディング規格に従ってシングルビュービットストリームをコーディングすることによって、3次元ビデオがサポートされる場合でも、適用され得る。
ISOベースメディアファイルフォーマットは、メディアの交換、管理、編集、およびプレゼンテーションを可能にする、フレキシブルな、拡張可能なフォーマットでのプレゼンテーションのための、時限メディア情報を含んでいるように設計される。ISOベースメディアファイルフォーマット(ISO/IEC14496−12:2004)は、時間ベースメディアファイルのための一般的な構造を定義するMPEG−4 Part12において規定されている。それは、H.264/MPEG−4 AVCビデオ圧縮のサポートを定義したAVCファイルフォーマット(ISO/IEC14496−15)、3GPPファイルフォーマット、SVCファイルフォーマット、およびMVCファイルフォーマットなどのファミリー中の他のファイルフォーマットに対する基準として使用される。3GPPファイルフォーマットおよびMVCファイルフォーマットはAVCファイルフォーマットの拡張である。ISOベースメディアファイルフォーマットは、オーディオビジュアルプレゼンテーションなどのメディアデータの時限シーケンスのためのタイミング、構造、およびメディア情報を含んでいる。ファイル構造はオブジェクト指向であり得る。ファイルは、非常に単純に基本オブジェクトに分解され得、オブジェクトの構造はそれらのタイプから暗示される。
メディアがストリーミングプロトコルを介して配信されるとき、メディアは、それがファイルにおいて表される形から変換される必要があり得る。これの一例は、メディアがリアルタイムトランスポートプロトコル(RTP)を介して送信されるときである。ファイルでは、たとえば、ビデオの各フレームが、ファイルフォーマットサンプルとして連続して記憶される。RTPでは、これらのフレームをRTPパケット中に配置するために、使用されるコーデックに固有のパケット化ルールが順守されなければならない。ストリーミングサーバは、実行時にそのようなパケット化を計算するように構成され得る。ただし、ストリーミングサーバの支援のサポートがある。
本開示の技法は、たとえば、動的適応ストリーミングオーバーHTTP(DASH)による、HTTPストリーミングなどのネットワークストリーミングプロトコル(network streaming protocol)に適用可能であり得る。MPEG規格は、たとえば、3GPP HTTPストリーミングに基づくHTTPストリーミングをサポートする。HTTPストリーミングでは、頻繁に使用される動作にはGETおよび部分GETがある。GET動作は、所与のユニフォームリソースロケータ(URL)またはユニフォームリソースネーム(URN)に関連するファイル全体を取り出す。部分GET動作は、入力パラメータとしてバイト範囲を受信し、受信したバイト範囲に対応するファイルの連続するいくつかのバイトを取り出す。したがって、部分GET動作は1つまたは複数の個々のムービーフラグメントを得ることができるので、HTTPストリーミングのためのムービーフラグメントが与えられ得る。ムービーフラグメントには、異なるトラックのいくつかのトラックフラグメントがあり得ることに留意されたい。HTTPストリーミングでは、メディアプレゼンテーションは、クライアントがアクセス可能であるデータの構造化された集合であり得る。クライアントは、ストリーミングサービスをユーザに提示するために、メディアデータ情報を要求し、ダウンロードし得る。
HTTPストリーミングを使用して3GPPデータをストリーミングする例では、マルチメディアコンテンツのビデオおよび/またはオーディオデータのための複数の表現があり得る。そのような表現のマニフェストは、メディアプレゼンテーション記述(MPD)データ構造中で定義され得る。メディアプレゼンテーションは、HTTPストリーミングクライアントデバイスがアクセス可能であるデータの構造化された集合に対応し得る。HTTPストリーミングクライアントデバイスは、クライアントデバイスのユーザにストリーミングサービスを提示するために、メディアデータ情報を要求し、ダウンロードし得る。MPDの更新を含み得るMPDデータ構造中にメディアプレゼンテーションが記述され得る。
メディアプレゼンテーションは、1つまたは複数の期間のシーケンスを含んでいることがある。期間は、MPD中のPeriod要素によって定義され得る。各期間は、MPD中に属性startを有し得る。MPDは、期間ごとのstart属性とavailableStartTime属性とを含み得る。ライブサービスでは、期間のstart属性とMPD属性availableStartTimeとの和は、UTCフォーマットでの期間の利用可能性時間、特に、対応する期間中の各表現の第1のメディアセグメントを指定し得る。オンデマンドサービスでは、第1の期間のstart属性は0であり得る。他の期間では、start属性は、対応する期間の開始時間と第1の期間の開始時間との間の時間オフセットを指定し得る。各期間は、次の期間の開始まで、または最後の期間の場合、メディアプレゼンテーションの終了まで継続し得る。期間開始時間は正確であり得る。それらは、すべての前の期間のメディアを再生することから得られる実際のタイミングを反映し得る。
各期間は、同じメディアコンテンツのための1つまたは複数の表現を含んでいることがある。表現は、オーディオまたはビデオデータのいくつかの代替符号化バージョンの1つであり得る。表現は、符号化タイプによって、たとえば、ビデオデータの場合、ビットレート、解像度、および/またはコーデックによって、ならびにオーディオデータの場合、ビットレート、言語、および/またはコーデックによって異なり得る。表現という用語は、マルチメディアコンテンツの特定の期間に対応する、特定の方法で符号化された、符号化オーディオまたはビデオデータのセクションを指すために使用され得る。
特定の期間の表現は、MPD中のgroup属性によって示されるグループに割り当てられ得る。同じグループ中の表現は、概して互いの代替と見なされる。たとえば、特定の期間にわたるマルチメディアコンテンツのビデオデータを表示するために、表現のいずれも復号のために選択され得るように、対応する期間にわたるビデオデータの各表現が同じグループに割り当てられ得る。いくつかの例では、1つの期間内のメディアコンテンツは、存在する場合、グループ0からの1つの表現、または各非0グループからの多くても1つの表現の組合せのいずれかによって表され得る。期間の各表現のタイミングデータは、期間の開始時間に対して表され得る。
表現は1つまたは複数のセグメントを含み得る。各表現は初期化セグメントを含み得るか、または表現の各セグメントは自己初期化していることがある。存在するとき、初期化セグメントは、表現にアクセスするための初期化情報を含んでいることがある。概して、初期化セグメントはメディアデータを含んでいない。セグメントは、ユニフォームリソースロケータ(URL)、ユニフォームリソースネーム(URN)、またはユニフォームリソース識別子(URI)などの識別子によって一意に参照され得る。MPDはセグメントごとの識別子を与え得る。いくつかの例では、MPDはまた、URL、URN、またはURIによってアクセス可能なファイル内のセグメントのためのデータに対応し得るバイト範囲をrange属性の形態で与え得る。
各表現は、1つまたは複数のメディアコンポーネントをも含み得、その場合、各メディアコンポーネントは、オーディオ、ビデオ、または(たとえば、クローズドキャプションのための)時限テキストなど、1つの個々のメディアタイプの符号化バージョンに対応し得る。メディアコンポーネントは、1つの表現内の連続するメディアセグメントの境界を越えて時間連続であり得る。
いくつかの例では、表現についてのマニフェストにおいて、その表現の1つまたは複数の属性が与えられ得る。マニフェスト(またはマニフェストファイル)は、コード化ビデオサンプルを備えるビデオデータをサーバデバイスから宛先デバイスに送る前に、サーバデバイスから宛先デバイスに送られ得る。宛先デバイスは、そのマニフェストを使用して、表現を選択し、その表現からコード化サンプルを取り出し得る。たとえば、マニフェストは、表現についての最大ビュー識別子、表現についての最小ビュー識別子、ビュー識別子とビューについてのカメラパースペクティブの水平ロケーションとの間の関係の指示、および/または表現中の出力のターゲットにされるビューの最大数の指示、を示す情報を含み得る。本開示で使用するMPDは、たとえば、HTTPストリーミングのコンテキストにおける、マニフェストの一例である。
いくつかの例として、マニフェストは、フラッシュメディアマニフェストファイル(FMF:Flash Media Manifest File)拡張可能マークアップ言語(XML:extensible markup language)フォーマットされたファイル、M3Uプレイリストファイル、同期マルチメディア統合言語(SMIL:synchronized multimedia integration language)ドキュメントなどのサーバマニフェストファイル、およびクライアントマニフェストファイルに対応し得るが、他の例では、同様のデータ構造が使用され得る。概して、本開示の技法について、例として表現(またはマルチメディアコンテンツについての複数の表現)の属性をシグナリングするためのMPDの使用に関して説明するが、本技法は、概して、マニフェストの他の例、たとえば、等価なまたは同様のデータ構造または要素に適用され得る。
図1は、オーディオ/ビデオ(A/V)ソースデバイス20がオーディオおよびビデオデータをA/V宛先デバイス40にトランスポートする例示的なシステム10を示すブロック図である。図1のシステム10は、ビデオ通信会議システム、サーバ/クライアントシステム、放送事業者/受信機システム、またはA/Vソースデバイス20などのソースデバイスからA/V宛先デバイス40などの宛先デバイスにビデオデータが送られる任意の他のシステムに対応し得る。いくつかの例では、A/Vソースデバイス20およびA/V宛先デバイス40は双方向情報交換を実行し得る。すなわち、A/Vソースデバイス20およびA/V宛先デバイス40は、オーディオおよびビデオデータの符号化と復号(および、送信と受信)の両方が可能であり得る。いくつかの例では、オーディオエンコーダ26は、ボコーダとも呼ばれるボイスエンコーダを備え得る。
A/Vソースデバイス20は、図1の例では、オーディオソース22とビデオソース24とを備える。オーディオソース22は、たとえば、オーディオエンコーダ26によって符号化されるべき、キャプチャされたオーディオデータを表す電気信号を生成するマイクロフォンを備え得る。代替的に、オーディオソース22は、前に記録されたオーディオデータを記憶する記憶媒体、コンピュータシンセサイザなどのオーディオデータ生成器、またはオーディオデータの任意の他のソースを備え得る。ビデオソース24は、ビデオエンコーダ28によって符号化されるべきビデオデータを生成するビデオカメラ、前に記録されたビデオデータで符号化された記憶媒体、ビデオデータ生成ユニット、またはビデオデータの任意の他のソースを備え得る。
未加工オーディオおよびビデオデータは、アナログまたはデジタルデータを備え得る。アナログデータは、オーディオエンコーダ26および/またはビデオエンコーダ28によって符号化される前にデジタル化され得る。オーディオソース22は、通話参加者が話している間、通話参加者からオーディオデータを取得し得、同時に、ビデオソース24は、通話参加者のビデオデータを取得し得る。他の例では、オーディオソース22は、記憶されたオーディオデータを備えるコンピュータ可読記憶媒体を備え得、ビデオソース24は、記憶されたビデオデータを備えるコンピュータ可読記憶媒体を備え得る。このようにして、本開示で説明する技法は、ライブ、ストリーミング、リアルタイムオーディオおよびビデオデータ、またはアーカイブされた、あらかじめ記録されたオーディオおよびビデオデータに適用され得る。
ビデオソース24は、シーンの複数の同時ビューを与え得る。たとえば、ビデオソース24は、カメラアレイ、たとえば、ある量の距離だけそれぞれ分離された2つ以上のカメラに対応し得、その結果、アレイ中のカメラの各々は、ほぼ共通の焦点に向けられる。このようにして、カメラの各々は、シーンのわずかに異なるパースペクティブを与え得る。カプセル化ユニット30が、アレイ中のカメラの相対ロケーションを示す情報を受信し、ビュー識別子がカメラおよびカメラパースペクティブのロケーションに対応するように、カメラによってキャプチャされたビューにビュー識別子を割り当て得る。たとえば、カプセル化ユニット30は、カメラパースペクティブのロケーションの単調増加関数または単調減少関数に従ってビュー識別子を割り当て得る。
また、ビデオソース24は、他の技法を使用して複数の同時ビューを与え得る。たとえば、ビデオソース24は、シーン中のオブジェクトについて1つのビューおよび深さ情報を与え得る。深さ情報は、第2の仮想カメラパースペクティブから第2のビューを生成するために使用され得る。ビデオソース24は、第2のビューを生成するためのプロセッサを含み得、またはビデオエンコーダ28のための前処理ユニットが第2のビューを生成し得る。いくつかの例では、ビデオソース24は、2つ以上のカメラパースペクティブを使用してコンピュータグラフィックスを生成するコンピュータを備え得る。
ビデオフレームに対応するオーディオフレームは、概して、ビデオフレーム内に含まれている、ビデオソース24によってキャプチャされたビデオデータと同時にオーディオソース22によってキャプチャされたオーディオデータを含んでいるオーディオフレームである。たとえば、通話参加者が概して話すことによってオーディオデータを生成する間、オーディオソース22はオーディオデータをキャプチャし、同時に、すなわちオーディオソース22がオーディオデータをキャプチャしている間、ビデオソース24は通話参加者のビデオデータをキャプチャする。したがって、オーディオフレームは、1つまたは複数の特定のビデオフレームに時間的に対応し得る。したがって、ビデオフレームに対応するオーディオフレームは、概して、オーディオデータとビデオデータとが同時にキャプチャされる状況、およびオーディオフレームとビデオフレームとが、それぞれ、同時にキャプチャされたオーディオデータとビデオデータとを備える状況に対応する。
いくつかの例では、オーディオエンコーダ26は、符号化オーディオフレームのオーディオデータが記録された時間を表す、各符号化オーディオフレームにおけるタイムスタンプを符号化し得、同様に、ビデオエンコーダ28は、符号化ビデオフレームのビデオデータが記録された時間を表す、各符号化ビデオフレームにおけるタイムスタンプを符号化し得る。そのような例では、ビデオフレームに対応するオーディオフレームは、タイムスタンプを備えるオーディオフレームと同じタイムスタンプを備えるビデオフレームとを備え得る。A/Vソースデバイス20は、オーディオエンコーダ26および/またはビデオエンコーダ28がそこからタイムスタンプを生成し得るか、あるいはオーディオソース22およびビデオソース24がオーディオおよびビデオデータをそれぞれタイムスタンプに関連付けるために使用し得る、内部クロックを含み得る。
いくつかの例では、オーディオソース22は、オーディオデータが記録された時間に対応するデータをオーディオエンコーダ26に送り得、ビデオソース24は、ビデオデータが記録された時間に対応するデータをビデオエンコーダ28に送り得る。いくつかの例では、オーディオエンコーダ26は、必ずしもオーディオデータが記録された絶対時刻を示すことなしに、符号化オーディオデータの相対的時間順序付けを示すために、符号化オーディオデータ中のシーケンス識別子を符号化し得、同様に、ビデオエンコーダ28も、符号化ビデオデータの相対的時間順序付けを示すためにシーケンス識別子を使用し得る。同様に、いくつかの例では、シーケンス識別子は、タイムスタンプにマッピングされるか、または場合によってはタイムスタンプと相関し得る。
本開示の技法は、概して、符号化マルチメディア(たとえば、オーディオおよびビデオ)データの記憶およびトランスポートと、トランスポートされたマルチメディアデータの受信ならびに後続の解釈および復号とを対象とする。図1の例に示すように、ビデオソース24はシーンの複数のビューをビデオエンコーダ28に与え得る。上記で説明したように、ビデオソース24は、ビューについてのカメラパースペクティブのロケーションを示す情報をも与え得る。ビデオソース24は、この情報をビデオエンコーダ28に与えるか、またはその情報をカプセル化ユニット30に直接与え得る。
カプセル化ユニット30は、マルチメディアコンテンツのビューにビュー識別子を割り当てるために、ビューについてのカメラパースペクティブの相対ロケーションを示す情報を使用し得る。カプセル化ユニット30は、マルチメディアコンテンツの1つまたは複数の表現を形成し得、その場合、表現の各々は1つまたは複数のビューを含み得る。いくつかの例では、ビデオエンコーダ28は、たとえば、異なるフレームレート、異なるビットレート、異なる解像度、または他のそのような差を用いて、異なる方法で各ビューを符号化し得る。したがって、カプセル化ユニット30は、様々な特性、たとえば、ビットレート、フレームレート、解像度などを有する様々な表現を形成し得る。表現の各々は、宛先デバイス40によって取り出され得るそれぞれのビットストリームに対応し得る。カプセル化ユニット30は、たとえば、マルチメディアコンテンツについてのメディアプレゼンテーション記述(MPD)データ構造内で、各表現中に含まれるビューについてのビュー識別子(view_id)の範囲の指示を与え得る。たとえば、カプセル化ユニット30は、表現のビューについての最大ビュー識別子と最小ビュー識別子との指示を与え得る。MPDは、さらに、マルチメディアコンテンツの複数の表現の各々について出力のターゲットにされるビューの最大数の指示を与え得る。MPDまたはそれのデータは、いくつかの例では、(1つまたは複数の)表現についてのマニフェストに記憶され得る。
本開示の技法によれば、ビューに割り当てられるビュー識別子は、概して、ビューについてのカメラパースペクティブの水平ロケーションに対応し得る。たとえば、カプセル化ユニット30は、ビューについてのカメラパースペクティブの水平ロケーションの単調増加関数に従ってビューにビュー識別子を割り当て得る。このようにして、第1のビューについての現実世界の座標における水平カメラロケーションが、第2のビューについての現実世界の座標における水平カメラロケーションの左側にあるとき、第1のビューについてのビュー識別子の値は、第2のビューについてのビュー識別子の値よりも小さいことがある。単調増加関数は、厳密に単調に増加する関数であり得る。
別の例として、カプセル化ユニット30は、ビューについてのカメラパースペクティブの水平ロケーションの単調減少関数に従ってビューにビュー識別子を割り当て得る。このようにして、第1のビューについての現実世界の座標における水平カメラロケーションが、第2のビューについての現実世界の座標における水平カメラロケーションの左側にあるとき、第1のビューについてのビュー識別子の値は、第2のビューについてのビュー識別子の値よりも大きいことがある。単調減少関数は、厳密に単調に減少する関数であり得る。
各個のデータストリームは(オーディオかビデオかにかかわらず)エレメンタリストリームと呼ばれる。エレメンタリストリームは、表現の単一のデジタル的にコーディングされた(場合によっては圧縮された)構成要素である。たとえば、表現のコーディングされたビデオまたはオーディオ部分はエレメンタリストリームであり得る。エレメンタリストリームは、ビデオファイル内にカプセル化される前に、パケット化エレメンタリストリーム(PES:packetized elementary stream)に変換され得る。同じ表現内では、1つのエレメンタリストリームに属するPESパケットを他のものから区別するためにストリームIDが使用され得る。エレメンタリストリームの基本データ単位はパケット化エレメンタリストリーム(PES)パケットである。したがって、MVCビデオデータの各ビューはそれぞれのエレメンタリストリームに対応する。同様に、オーディオデータは1つまたは複数のそれぞれのエレメンタリストリームに対応する。
MVCコード化ビデオシーケンスは、ビデオデータのエレメンタリストリームに各々が対応するいくつかのサブビットストリームに分離され得る。MVCコード化ビデオシーケンスはまた、ビデオデータの2つ以上のエレメンタリストリーム(たとえば、2つ以上のビュー)を含むサブビットストリームに分離され得る。各サブビットストリームは、MVC view_idサブセットを使用して識別され得る。各MVC view_idサブセットの概念に基づいて、MVCビデオサブビットストリームが定義される。すなわち、サブビットストリーム中に含まれるビューのview_idを示す情報があり得る。MVCビデオサブビットストリームは、MVC view_idサブセットに記載されているビューのNALユニットを含んでいる。プログラムストリームは、概して、エレメンタリストリームのものであるNALユニットのみを含んでいる。また、どの2つのエレメンタリストリームも、同じビューを含むことはできないが、代わりに、3次元効果をもたらすためにシーンの別個のビュー、たとえば、異なるパースペクティブを含み得るように、設計される。
サブビットストリームを生成するためにMVCビットストリームから1つまたは複数のビューを抽出することが可能である。ターゲット出力ビューの所与の妥当なセットをもつサブビットストリームは動作点と呼ばれる。ビューの依存性により、ターゲット出力ビューのセットは、サブビットストリーム中に含まれているビューのサブセットであり得る。また、ターゲット出力ビューは、サブビットストリーム中に含まれているビューと同じであり得る。ただし、サービスプロバイダが、多数のビューがある動作点をサポートすることを意図していない場合、ターゲット出力ビューの数は、含まれているビューのサブセットであり得る。それらの含まれているビューは、復号されるべきビューであることに留意されたい。
カプセル化ユニット30は、さらに、表現の各々について出力のターゲットにされ得るビューの最大数の指示を与え得る。一例では、カプセル化ユニット30は表現についての動作点を形成し得、その場合、各動作点は表現のビューのサブセットに対応する。いくつかの例では、出力のターゲットにされ得るビューの最大数は、表現についての最多数のビューを有する動作点に対応し得る。カプセル化ユニット30は、表現中に含まれているすべての動作点の最大および最小ビュー識別子を示す情報をも与え得る。ターゲット出力ビューの最大数が1である場合、宛先デバイス40は、ただ1つのビュー識別子がシグナリングされると判断し得る。
図1の例では、カプセル化ユニット30は、ビデオエンコーダ28からビデオデータを備えるエレメンタリストリームを受信し、オーディオエンコーダ26からオーディオデータを備えるエレメンタリストリームを受信する。いくつかの例では、ビデオエンコーダ28およびオーディオエンコーダ26はそれぞれ、符号化データからPESパケットを形成するためのパケッタイザを含み得る。他の例では、ビデオエンコーダ28およびオーディオエンコーダ26はそれぞれ、符号化データからPESパケットを形成するためのそれぞれのパケッタイザとインターフェースし得る。さらに他の例では、カプセル化ユニット30は、符号化オーディオデータと符号化ビデオデータとからPESパケットを形成するためのパケッタイザを含み得る。
本開示で使用する「表現」は、オーディオデータとビデオデータの組合せ、たとえばA/Vソースデバイス20のサービスによって配信されたオーディオエレメンタリストリームと利用可能なビューのサブセットとを備え得る。各PESパケットは、PESパケットが属するエレメンタリストリームを識別するstream_idを含む。カプセル化ユニット30は、エレメンタリストリームをビデオファイルまたは他のカプセル化データ構造にアセンブルすることを担当する。
カプセル化ユニット30は、オーディオエンコーダ26とビデオエンコーダ28とから表現のエレメンタリストリームのPESパケットを受信し、PESパケットから対応するネットワークアブストラクションレイヤ(NAL)ユニットを形成する。H.264/AVC(Advanced Video Coding)の例では、コード化ビデオセグメントは、ビデオテレフォニー、ストレージ、ブロードキャスト、またはストリーミングなどの適用例に対処する「ネットワークフレンドリーな」ビデオ表現を与えるNALユニットに編成される。NALユニットは、Video Coding Layer(VCL)NALユニットと非VCL NALユニットとにカテゴリー分類され得る。VCLユニットは、コア圧縮エンジンを含んでいることがあり、ブロック、マクロブロック、および/またはスライスレベルのデータを含み得る。他のNALユニットは非VCL NALユニットであり得る。いくつかの例では、通常は1次コード化ピクチャとして提示される、1つの時間インスタンス中のコード化ピクチャは、1つまたは複数のNALユニットを含み得るアクセスユニット中に含まれ得る。
非VCL NALユニットは、特に、パラメータセットNALユニットとSEI NALユニットとを含み得る。パラメータセットは、(シーケンスパラメータセット(SPS:sequence parameter set)中の)シーケンスレベルヘッダ情報と(ピクチャパラメータセット(PPS:picture parameter set)中の)まれに変化するピクチャレベルヘッダ情報とを含んでいることがある。パラメータセット(たとえば、PPSおよびSPS)がある場合、まれに変化する情報をシーケンスごとまたはピクチャごとに繰り返す必要はなく、したがってコーディング効率が改善され得る。さらに、パラメータセットの使用は重要なヘッダ情報の帯域外送信を可能にし得、誤り耐性のための冗長送信の必要を回避する。帯域外送信の例では、SEI NALユニットなど、他のNALユニットとは異なるチャネル上でパラメータセットNALユニットが送信され得る。
補足エンハンスメント情報(SEI)は、VCL NALユニットからのコード化ピクチャサンプルを復号するためには必要でないが、復号、表示、誤り耐性、および他の目的に関係するプロセスを支援し得る情報を含んでいることがある。SEIメッセージは、非VCL NALユニット中に含まれていることがある。SEIメッセージは、一部の標準規格の規範的部分であり、したがって、常に標準準拠デコーダ実装のために必須であるとは限らない。SEIメッセージは、シーケンスレベルのSEIメッセージまたはピクチャレベルのSEIメッセージであり得る。SVCの例ではスケーラビリティ情報SEIメッセージ、MVCではビュースケーラビリティ情報SEIメッセージなど、SEIメッセージ中に何らかのシーケンスレベル情報が含まれていることがある。これらの例示的なSEIメッセージは、たとえば、動作点の抽出およびそれらの動作点の特性に関する情報を搬送し得る。MVCおよびSVCをサポートするために、HTTPストリーミング中に表現の依存性に基づいてMVCまたはSVCの異なるビューまたはレイヤが、異なる表現中に入れられ、一緒に要求され得るように、表現の依存性をシグナリングすることが可能である。
カプセル化ユニット30は、NALが属するプログラムを識別するヘッダ、ならびにペイロード、たとえば、オーディオデータ、ビデオデータ、あるいはNALユニットが対応するトランスポートまたはプログラムストリームを記述するデータを備えるNALユニットを形成し得る。たとえば、H.264/AVCでは、NALユニットは1バイトのヘッダと変動するサイズのペイロードとを含む。一例では、NALユニットヘッダは、priority_id要素と、temporal_id要素と、anchor_pic_flag要素と、view_id要素と、non_idr_flag要素と、inter_view_flag要素とを備える。従来のMVCでは、4バイトMVC NALユニットヘッダとNALユニットペイロードとを含む、プレフィックスNALユニットとMVCコード化スライスNALユニットとを除いて、H.264によって定義されたNALユニットが保持される。
NALヘッダのpriority_id要素は、単純なワンパス(one-path)ビットストリーム適合プロセスのために使用され得る。temporal_id要素は、異なる時間レベルが異なるフレームレートに対応する場合、対応するNALユニットの時間レベルを指定するために使用され得る。
anchor_pic_flag要素は、ピクチャがアンカーピクチャであるか非アンカーピクチャであるかを示し得る。アンカーピクチャと出力順序(すなわち、表示順序)でそれに続くすべてのピクチャとは、復号順序(すなわち、ビットストリーム順序)で前のピクチャを復号することなしに正しく復号され得、したがってランダムアクセスポイントとして使用され得る。アンカーピクチャと非アンカーピクチャとは異なる依存性を有することができ、その両方はシーケンスパラメータセット中でシグナリングされる。他のフラグについては、本章の以下のセクションで説明され、使用される。そのようなアンカーピクチャはまた、開いたGOP(Group Of Pictures)アクセスポイントと呼ばれることもあり、non_idr_flag要素が0に等しいとき、閉じたGOPアクセスポイントもサポートされる。non_idr_flag要素は、ピクチャが瞬時デコーダリフレッシュ(IDR:instantaneous decoder refresh)であるかビューIDR(V−IDR)ピクチャであるかを示す。概して、IDRピクチャと出力順序またはビットストリーム順序でそれに続くすべてのピクチャとは、復号順序または表示順序のいずれかで前のピクチャを復号することなしに正しく復号され得る。
view_id要素は、MVCデコーダ内でデータ対話性のために、たとえば、ビュー間予測のために、およびデコーダ外で、たとえば、レンダリングのために使用され得る、ビューを識別するために使用され得るシンタックス情報を備え得る。inter_view_flag要素は、対応するNALユニットが他のビューによってビュー間予測のために使用されるかどうかを指定し得る。AVCに準拠し得る、ベースビューの4バイトNALユニットヘッダ情報を搬送するために、MVCにおいてプレフィックスNALユニットが定義される。MVCのコンテキストにおいて、ベースビューアクセスユニットは、ビューの現在時間インスタンスのVCL NALユニット、ならびにNALユニットヘッドのみを含んでいるプレフィックスNALユニットを含む。H.264/AVCデコーダはプレフィックスNALユニットを無視し得る。本開示の技法によれば、view_id要素は、対応するビューをキャプチャしたカメラについての相対水平カメラパースペクティブの指示を与え得る。
ビュー間予測は、フレームのMVCビデオデータを、共通の時間ロケーションにおける1つまたは複数のフレームを参照して、異なるビューの符号化フレームとして符号化するための技法である。以下でさらに詳細に説明する図5は、ビュー間予測のための例示的なコーディング方式を与えている。概して、MVCビデオデータの符号化フレームは、空間的に、時間的に、および/または共通の時間ロケーションにおける他のビューのフレームを参照して、予測符号化され得る。したがって、他のビューがそこから予測される参照ビューは、概して、参照ビューを復号するときに、復号された参照ビューが参照のために使用され得るように、参照ビューが参照として働くビューの前に復号される。復号順序は必ずしもview_idの順序に対応しない。したがって、ビューの復号順序はビュー順序インデックスを使用して記述される。ビュー順序インデックスは、アクセスユニット中の対応するビューコンポーネントの復号順序を示すインデックスである。
そのペイロード中にビデオデータを含むNALユニットは、様々なグラニュラリティレベルのビデオデータを備え得る。たとえば、NALユニットは、ビデオデータのブロック、マクロブロック、複数のマクロブロック、ビデオデータのスライス、またはビデオデータのフレーム全体を備え得る。カプセル化ユニット30は、ビデオエンコーダ28から符号化ビデオデータをエレメンタリストリームのPESパケットの形態で受信し得る。カプセル化ユニット30は、各エレメンタリストリームを対応するプログラムに関連付け得る。
カプセル化ユニット30はまた、複数のNALユニットからアクセスユニットをアセンブルし得る。概して、アクセスユニットは、ビデオデータのフレームを表すための、ならびにそのフレームに対応するオーディオデータが利用可能であるときにそのようなオーディオデータを表すための、1つまたは複数のNALユニットを備え得る。アクセスユニットは、概して、1つの出力時間インスタンスにわたるすべてのNALユニット、たとえば1つの時間インスタンスにわたるすべてのオーディオおよびビデオデータを含む。たとえば、各ビューが20フレーム毎秒(fps)のフレームレートを有する場合、各時間インスタンスは0.05秒の時間間隔に対応し得る。この時間間隔中に、同じアクセスユニット(同じ時間インスタンス)のすべてのビューの固有のフレームは同時にレンダリングされ得る。H.264/AVCに対応する例では、アクセスユニットは、1次コード化ピクチャとして提示され得る、1つの時間インスタンス中のコード化ピクチャを備え得る。したがって、アクセスユニットは、共通の時間インスタンスのすべてのオーディオおよびビデオフレーム、たとえば、時間Xに対応するすべてのビューを備え得る。また、本開示では、特定のビューの符号化ピクチャを「ビューコンポーネント」と呼ぶ。すなわち、ビューコンポーネントは、特定の時間における特定のビューの符号化ピクチャ(またはフレーム)を備え得る。したがって、アクセスユニットは、共通の時間インスタンスのすべてのビューコンポーネントを備えるものと定義され得る。アクセスユニットの復号順序は、必ずしも出力または表示順序と同じである必要はない。
多くのビデオコーディング規格の場合と同様に、H.264/AVCは、誤りのないビットストリームのシンタックスと、セマンティクスと、復号プロセスとを定義し、そのいずれも特定のプロファイルまたはレベルに準拠する。H.264/AVCはエンコーダを指定しないが、エンコーダは、生成されたビットストリームがデコーダの規格に準拠することを保証することを課される。ビデオコーディング規格のコンテキストでは、「プロファイル」は、アルゴリズム、機能、またはツール、およびそれらに適用される制約のサブセットに対応する。たとえば、H.264規格によって定義される「プロファイル」は、H.264規格によって指定されたビットストリームシンタックス全体のサブセットである。「レベル」は、たとえば、ピクチャの解像度、ビットレート、およびマクロブロック(MB)処理レートに関係するデコーダメモリおよび計算など、デコーダリソース消費の制限に対応する。プロファイルはprofile_idc(プロファイルインジケータ)値を用いてシグナリングされ得、レベルはlevel_idc(レベルインジケータ)値を用いてシグナリングされ得る。
H.264規格は、たとえば、与えられたプロファイルのシンタックスによって課される限界内で、復号されたピクチャの指定されたサイズなど、ビットストリーム中のシンタックス要素がとる値に応じて、エンコーダおよびデコーダのパフォーマンスの大きい変動を必要とする可能性が依然としてあることを認識している。H.264規格は、多くの適用例において、特定のプロファイル内でシンタックスのすべての仮定的使用を処理することが可能なデコーダを実装することが実際的でもなく、経済的でもないことをさらに認識している。したがって、H.264規格は、ビットストリーム中のシンタックス要素の値に課された制約の指定されたセットとして「レベル」を定義している。これらの制約は、値に関する単純な限界であり得る。代替的に、これらの制約は、値の演算の組合せ(たとえば、ピクチャの幅×ピクチャ高さ×毎秒復号されるピクチャの数)に関する制約の形態をとり得る。H.264規格は、個別の実装形態が、サポートされるプロファイルごとに異なるレベルをサポートし得ることをさらに規定している。
プロファイルに準拠するデコーダは、通常、プロファイル中で定義されたすべての機能をサポートする。たとえば、コーディング機能として、Bピクチャコーディングは、H.264/AVCのベースラインプロファイルではサポートされないが、H.264/AVCの他のプロファイルではサポートされる。レベルに準拠するデコーダは、レベルにおいて定義された制限を超えてリソースを必要としない任意のビットストリームを復号することが可能である必要がある。プロファイルおよびレベルの定義は、説明可能性のために役立ち得る。たとえば、ビデオ送信中に、プロファイル定義とレベル定義のペアが全送信セッションについてネゴシエートされ、同意され得る。より詳細には、H.264/AVCでは、レベルは、たとえば、処理する必要があるマクロブロックの数に関する制限と、復号されたピクチャバッファ(DPB)サイズと、コード化ピクチャバッファ(CPB)サイズと、垂直動きベクトル範囲と、2つの連続するMBごとの動きベクトルの最大数と、Bブロックが8×8ピクセル未満のサブマクロブロックパーティションを有することができるかどうかとを定義し得る。このようにして、デコーダは、デコーダがビットストリームを適切に復号することが可能であるかどうかを判断し得る。
パラメータセットは、概して、シーケンスパラメータセット(SPS)中のシーケンスレイヤヘッダ情報とピクチャパラメータセット(PPS)中のまれに変化するピクチャレイヤヘッダ情報とを含んでいる。パラメータセットがある場合、このまれに変化する情報をシーケンスごとまたはピクチャごとに繰り返す必要はなく、したがってコーディング効率が改善され得る。さらに、パラメータセットの使用はヘッダ情報の帯域外送信を可能にし、誤り耐性を達成するための冗長送信の必要を回避し得る。帯域外送信では、他のNALユニットとは異なるチャネル上でパラメータセットNALユニットが送信される。
SVCおよびMVCの例は、スケーラブルビデオまたはマルチビュービデオのためのシーケンスパラメータセット(SPS)拡張を与える。SPS拡張情報は、他のNALユニットとは異なるNALユニットタイプを有し得る、サブSPS NALユニット中に含まれていることがある。サポートされる動作点についてのプロファイルおよびレベル情報は、SPS拡張情報を含むNALユニット中に含まれ得る。
メディアプレゼンテーションは、異なる代替表現(たとえば、異なる品質をもつビデオサービス)の記述を含んでいることがあるメディアプレゼンテーション記述(MPD)を含み得、記述は、たとえば、コーデック情報、プロファイル値、およびレベル値を含み得る。メディアプレゼンテーションについてのマニフェストが、MPDについてのデータを含み得る。様々なプレゼンテーションのムービーフラグメントにアクセスする方法を判断するために、宛先デバイス40はメディアプレゼンテーションのMPDを取り出し得る(たとえば、マニフェストを取り出し得る)。ムービーフラグメントは、ビデオファイルのムービーフラグメントボックス(moofボックス)中に配置され得る。
ITU−T H.261、H.262、H.263、MPEG−1、MPEG−2およびH.264/MPEG−4 part10などのビデオ圧縮規格は、時間冗長性を低減するために動き補償時間予測を利用する。エンコーダは、動きベクトルに従って現在のコード化ピクチャを予測するために、いくつかの前の(本明細書ではフレームとも呼ぶ)符号化ピクチャからの動き補償予測を使用する。典型的なビデオコーディングには3つの主要なピクチャタイプがある。それらは、イントラコード化ピクチャ(「Iピクチャ」または「Iフレーム」)と、予測ピクチャ(「Pピクチャ」または「Pフレーム」)と、双方向予測ピクチャ(「Bピクチャ」または「Bフレーム」)とである。Pピクチャは、時間順序で現在のピクチャの前の参照ピクチャのみを使用する。Bピクチャでは、Bピクチャの各ブロックは、1つまたは2つの参照ピクチャから予測され得る。これらの参照ピクチャは、時間順序で現在のピクチャの前または後に位置し得る。
H.264コーディング規格によれば、一例として、Bピクチャは、前にコーディングされた参照ピクチャの2つのリスト、すなわち、リスト0とリスト1とを使用する。これらの2つのリストは、それぞれ、過去および/または将来のコード化ピクチャを時間順序で含むことができる。Bピクチャ中のブロックは、いくつかの方法、すなわちリスト0参照ピクチャからの動き補償予測、リスト1参照ピクチャからの動き補償予測、またはリスト0参照ピクチャとリスト1参照ピクチャの両方の組合せからの動き補償予測のうちの1つで予測され得る。リスト0参照ピクチャとリスト1参照ピクチャの両方の組合せを得るために、2つの動き補償基準エリアが、それぞれリスト0参照ピクチャおよびリスト1参照ピクチャから取得される。それらの組合せは現在のブロックを予測するために使用され得る。
ITU−T H.264規格は、ルーマ成分については16×16、8×8、または4×4、およびクロマ成分については8×8など、様々なブロックサイズのイントラ予測をサポートし、ならびにルーマ成分については16×16、16×8、8×16、8×8、8×4、4×8および4×4、およびクロマ成分については対応するスケーリングされたサイズなど、様々なブロックサイズのインター予測をサポートする。本開示では、「N×(x)N」と「N×(by)N」は、垂直寸法および水平寸法に関するブロックのピクセル寸法、たとえば、16×(x)16ピクセルまたは16×(by)16ピクセルを指すために互換的に使用され得る。一般に、16×16ブロックは、垂直方向に16ピクセルを有し(y=16)、水平方向に16ピクセルを有する(x=16)。同様に、N×Nブロックは、一般に、垂直方向にNピクセルを有し、水平方向にNピクセルを有し、Nは、非負整数値を表す。ブロック中のピクセルは行と列に構成され得る。ブロックは、水平寸法と垂直寸法とにおいて異なる数のピクセルを有し得る。すなわち、ブロックはN×Mピクセルを含み得、Nは必ずしもMに等しいとは限らない。
16×16よりも小さいブロックサイズは16×16マクロブロックのパーティションと呼ばれることがある。ビデオブロックは、ピクセル領域中のピクセルデータのブロックを備え得、あるいは、たとえば、コード化ビデオブロックと予測ビデオブロックとのピクセル差分を表す残差ビデオブロックデータへの離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または概念的に同様の変換などの変換の適用後の、変換領域中の変換係数のブロックを備え得る。場合によっては、ビデオブロックは、変換領域中の量子化変換係数のブロックを備え得る。
ビデオブロックは、小さいほどより良い解像度が得られ、高い詳細レベルを含むビデオフレームの位置決めに使用され得る。一般に、マクロブロック、およびサブブロックと呼ばれることがある様々なパーティションは、ビデオブロックと見なされ得る。さらに、スライスは、マクロブロックおよび/またはサブブロックなど、複数のビデオブロックであると見なされ得る。各スライスはビデオフレームの単独で復号可能なユニットであり得る。代替的に、フレーム自体が復号可能なユニットであり得るか、またはフレームの他の部分が復号可能なユニットとして定義され得る。「コード化ユニット」または「コーディングユニット」という用語は、フレーム全体、フレームのスライス、シーケンスとも呼ばれるピクチャグループ(GOP)など、ビデオフレームの単独で復号可能な任意のユニット、または適用可能なコーディング技法に従って定義される別の単独で復号可能なユニットを指すことがある。
マクロブロックという用語は、16×16ピクセルを備える2次元ピクセルアレイに従ってピクチャおよび/またはビデオデータを符号化するためのデータ構造を指す。各ピクセルはクロミナンス成分と輝度成分とを備える。したがって、マクロブロックは、各々が8×8ピクセルの2次元アレイを備える4つの輝度ブロックと、各々が16×16ピクセルの2次元アレイを備える2つのクロミナンスブロックと、コード化ブロックパターン(CBP)、符号化モード(たとえば、イントラ(I)またはインター(PまたはB)符号化モード)、イントラ符号化ブロックのパーティションのパーティションサイズ(たとえば、16×16、16×8、8×16、8×8、8×4、4×8、または4×4)、あるいはインター符号化マクロブロックのための1つまたは複数の動きベクトルなど、シンタックス情報を備えるヘッダとを定義し得る。
ビデオエンコーダ28、ビデオデコーダ48、オーディオエンコーダ26、オーディオデコーダ46、カプセル化ユニット30、およびカプセル化解除ユニット38は、それぞれ、適用可能なとき、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェアなどの様々な好適な処理回路のいずれか、またはそれらの任意の組合せとして実装され得る。ビデオエンコーダ28およびビデオデコーダ48の各々は1つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも複合ビデオエンコーダ/デコーダ(コーデック)の一部として統合され得る。同様に、オーディオエンコーダ26およびオーディオデコーダ46の各々は1つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも複合コーデックの一部として統合され得る。ビデオエンコーダ28、ビデオデコーダ48、オーディオエンコーダ26、オーディオデコーダ46、カプセル化ユニット30、および/またはカプセル化解除ユニット38を含む装置は、集積回路、マイクロプロセッサ、および/またはセルラー電話などのワイヤレス通信デバイスを備え得る。
カプセル化ユニット30が、受信したデータに基づいてNALユニットおよび/またはアクセスユニットをビデオファイルにアセンブルした後、カプセル化ユニット30はビデオファイルを出力のために出力インターフェース32に受け渡す。いくつかの例では、カプセル化ユニット30は、ビデオファイルをローカルに記憶するか、またはビデオファイルを直接宛先デバイス40に送るのではなく、出力インターフェース32を介してビデオファイルをリモートサーバに送り得る。出力インターフェース32は、たとえば、送信機、トランシーバ、たとえば、オプティカルドライブ、磁気メディアドライブ(たとえば、フロッピー(登録商標)ドライブ)など、コンピュータ可読媒体にデータを書き込むためのデバイス、ユニバーサルシリアルバス(USB)ポート、ネットワークインターフェース、または他の出力インターフェースを備え得る。出力インターフェース32は、ビデオファイルを、たとえば、送信信号、磁気メディア、光メディア、メモリ、フラッシュドライブ、または他のコンピュータ可読媒体など、コンピュータ可読媒体34に出力する。
いくつかの例では、出力インターフェース32は、HTTPストリーミングなどの1つまたは複数のネットワークストリーミングプロトコルを実装し得る。出力インターフェース32、またはソースデバイス20の別のユニットは、宛先デバイス40からのHTTPストリーミング要求、たとえば、HEAD要求を待ち得る。head要求に応答して、出力インターフェース32は、要求されたマルチメディアコンテンツについてのMPDを与え得る。宛先デバイス40は、MPD中に含まれているデータに基づいて、要求すべき表現を判断し得、そのデータは、各表現についてのターゲット出力ビューの最大数と、その表現中のビューについてのビュー識別子の範囲とを含み得、その場合、ビュー識別子は、それらが表現のビューについてのカメラパースペクティブの相対水平ロケーションを記述するように、割り当てられ得る。また、MPDは、ビュー識別子がどのように割り当てられるか、たとえば、より大きいビュー識別子が、より小さいカメラパースペクティブをもつビューについてのカメラパースペクティブの水平ロケーションの左側にあるカメラパースペクティブの水平ロケーションを有するビューに対応するのか、右側にあるカメラパースペクティブの水平ロケーションを有するビューに対応するのか、についての指示を与え得る。
最終的に、宛先デバイス40の入力インターフェース36はコンピュータ可読媒体34からデータを取り出す。入力インターフェース36は、たとえば、オプティカルドライブ、磁気メディアドライブ、USBポート、受信機、トランシーバ、または他のコンピュータ可読媒体インターフェースを備え得る。入力インターフェース36は、NALユニットまたはアクセスユニットをカプセル化解除ユニット38に与え得る。カプセル化解除ユニット38は、ビデオファイルの要素を構成PESストリームにカプセル化解除し、符号化データを取り出すためにPESストリームをパケット化解除し、たとえば、ストリームのPESパケットヘッダによって示されるように、符号化データがオーディオストリームの一部であるのかビデオストリームの一部であるのかに応じて、符号化データをオーディオデコーダ46またはビデオデコーダ48に送り得る。オーディオデコーダ46は、符号化オーディオデータを復号し、復号されたオーディオデータをオーディオ出力42に送り、ビデオデコーダ48は、符号化ビデオデータを復号し、ストリームの複数のビューを含み得る復号されたビデオデータをビデオ出力44に送る。
いくつかの例では、表現の各々はシングルビュービットストリームに対応し得、それらの表現に仮想ビュー識別子が割り当てられ得る。仮想ビュー識別子は、表現のカメラパースペクティブについての相対水平ロケーションを示し得る。いくつかの例では、その情報は、2つの表現がステレオビューペアを形成することができるかどうかを示し得る。
このようにして、ソースデバイス20は、ビデオデータについての情報をシグナリングするための装置であって、上記装置は、マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信することと、2つ以上のビューの各々についてのカメラパースペクティブの水平ロケーションを判断することと、ビュー識別子がカメラパースペクティブの相対水平ロケーションに対応するように、2つ以上のビューにビュー識別子を割り当てることと、マルチメディアコンテンツの表現を形成することであって、表現が2つ以上のビューのサブセットを備える、形成することと、クライアントデバイスに、マルチメディアコンテンツの表現についてのマニフェストの一部として、表現についての最大ビュー識別子と最小ビュー識別子とを示す情報を送ることとを行うように構成されたプロセッサを備える、装置の一例を表す。
同様に、宛先デバイス40は、ビデオデータについての情報を受信するための装置であって、上記装置は、表現についての最大ビュー識別子と表現についての最小ビュー識別子とを示す情報を受信することであって、最大ビュー識別子が、シーンの第1のビューについてのビュー識別子を備え、最小ビュー識別子が、シーンの第2のビューについてのビュー識別子を備え、表現が、第1のビューと第2のビューとを含む2つ以上のビューについてのビデオデータを備える、受信することと、最大ビュー識別子と最小ビュー識別子とに基づいて、表現の2つ以上のビューについてのカメラパースペクティブの最大水平ロケーションと、表現の2つ以上のビューについてのカメラパースペクティブの最小水平ロケーションとを判断することであって、2つ以上のビューについてのビュー識別子が2つ以上のビューについてのカメラパースペクティブの相対水平ロケーションに対応するように、ビュー識別子が割り当てられる、判断することと、表現の2つ以上のビューについてのカメラパースペクティブの判断された最大および最小水平ロケーションに少なくとも部分的に基づいて表現のビデオデータの少なくとも一部分を要求することとを行うように構成されたプロセッサを備える、装置の一例を表す。
ソースデバイス20は、マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信することと、マルチメディアコンテンツの表現を形成することであって、表現が2つ以上のビューのサブセットを備える、形成することと、クライアントデバイスに、マルチメディアコンテンツの表現についてのマニフェストの一部として、出力のターゲットにされ得る表現中のビューの最大数を示す情報を送ることとを行うように構成されたプロセッサを含む、ビデオデータについての情報をシグナリングするための装置の一例をも表す。
その上、宛先デバイス40は、出力のターゲットにされ得る表現中のビューの最大数を示す情報を受信することであって、表現がシーンの1つまたは複数のビューについてのビデオデータを備える、受信することと、ビデオデータについての情報を受信するための宛先装置によって出力され得るビューの最大数を判断することと、宛先装置によって出力され得るビューの判断された最大数と、出力のターゲットにされ得る表現中のビューの最大数を示す情報とに少なくとも部分的に基づいて、表現のビデオデータの少なくとも一部分を要求することとを行うように構成されたプロセッサを含む、宛先装置の一例を表す。
図2は、例示的なカプセル化ユニット30の構成要素を示すブロック図である。図2の例では、カプセル化ユニット30は、ビデオ入力インターフェース80と、オーディオ入力インターフェース82と、ビデオファイル作成ユニット60と、ビデオファイル出力インターフェース84とを含む。ビデオファイル作成ユニット60は、この例では、ビューロケーション判断ユニット62と、ビュー識別子(ID)割当てユニット64と、表現作成ユニット66と、動作点作成ユニット68とを含む。
ビデオ入力インターフェース80およびオーディオ入力インターフェース82は、それぞれ符号化ビデオデータおよび符号化オーディオデータを受信する。ビデオ入力インターフェース80およびオーディオ入力インターフェース82は、データが符号化されると、符号化ビデオデータおよび符号化オーディオデータを受信するか、または符号化ビデオデータおよび符号化オーディオデータをコンピュータ可読媒体から取り出し得る。符号化ビデオデータおよび符号化オーディオデータを受信すると、ビデオ入力インターフェース80およびオーディオ入力インターフェース82は、ビデオファイルにアセンブルするために符号化ビデオデータおよび符号化オーディオデータをビデオファイル作成ユニット60に受け渡す。
ビデオファイル作成ユニット60は、それによる機能およびプロシージャを実行するように構成されたハードウェア、ソフトウェア、および/またはファームウェアを含む制御ユニットに対応し得る。制御ユニットは、概して、カプセル化ユニット30による機能をさらに実行し得る。ビデオファイル作成ユニット60がソフトウェアおよび/またはファームウェアで実施される例では、カプセル化ユニット30は、ビデオファイル作成ユニット60のための命令を備えるコンピュータ可読媒体と、命令を実行するための処理ユニットとを含み得る。ビデオファイル作成ユニット60のサブユニット(この例では、ビューロケーション判断ユニット62、ビューID割当てユニット64、表現作成ユニット66、および動作点作成ユニット68)の各々は、個々のハードウェアユニットおよび/またはソフトウェアモジュールとして実装され得、機能的に統合されるか、または追加のサブユニットにさらに分離され得る。
ビデオファイル作成ユニット60は、たとえば、1つまたは複数のマイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、またはそれらの任意の組合せなど、任意の好適な処理ユニットまたは処理回路に対応し得る。ビデオファイル作成ユニット60は、ビューロケーション判断ユニット62、ビューID割当てユニット64、表現作成ユニット66、および動作点作成ユニット68のいずれかまたはすべてのための命令を記憶する非一時的コンピュータ可読媒体、ならびに命令を実行するためのプロセッサをさらに含み得る。
概して、ビデオファイル作成ユニット60は、受信したオーディオおよびビデオデータを含む1つまたは複数のビデオファイルを作成し得る。本開示の技法によれば、ビデオファイル作成ユニット60は、ビュー識別子が表現中のマルチメディアコンテンツのビューについてのカメラパースペクティブの水平ロケーションに対応するように、それらのビューにビュー識別子を割り当て得る。特に、ビュー識別子は、ビューについての未加工ビデオデータをキャプチャしたカメラのロケーションに対応する。このようにして、ビュー識別子は、対応するビューについてのカメラパースペクティブの水平ロケーションに対応し得る。したがって、第1のビューについてのビュー識別子と第2のビューについてのビュー識別子との間の差が、第1のビューのカメラパースペクティブのロケーションに対する第2のビューのカメラパースペクティブのロケーションを示し得る。
ビデオ入力インターフェース80は、マルチメディアコンテンツについての1つまたは複数の符号化ビューを受信し得る。ビューロケーション判断ユニット62は、マルチメディアコンテンツの1つまたは複数のビューをキャプチャしたカメラのロケーションを示す情報を受信し得る。いくつかの例では、ビューロケーション判断ユニット62は、上記ロケーションを示す情報をビデオ入力インターフェース80を介して受信し得る。いくつかの例では、ビューロケーション判断ユニット62は、上記ロケーションを示す情報を含むサイド情報を受信し得る。たとえば、ビューロケーション判断ユニット62は、その情報をビデオソース24から直接受信し得る。いくつかのビデオ規格、たとえば、MVCは、シーケンスパラメータセットとNALユニットヘッダとにおいてview_id値を与える。そのような例では、宛先デバイスは、各表現についてのビューロケーションとビューの最大数とビュー範囲とのマニフェスト情報を生成するためにビデオソースを検査し得る。
ビューID割当てユニット64は、ビューロケーション判断ユニット62によって判断されたビューについてのカメラパースペクティブのロケーションに基づいて、それらのビューにビュー識別子を割り当て得る。一例では、ビューID割当てユニット64は、ビューについてのカメラパースペクティブのロケーションの関数としてビューにビュー識別子を割り当て得る。その関数は、厳密に単調に増加する関数または厳密に単調に減少する関数であり得る。したがって、いくつかの例では、ビューについてのカメラパースペクティブのロケーションが左から右に水平方向に進むにつれて、ビューについてのビュー識別子は単調増加関数に従って増加し得る。他の例では、ビューについてのカメラパースペクティブのロケーションが左から右に水平方向に進むにつれて、ビューについてのビュー識別子は単調減少関数に従って減少し得る。
ビデオファイル作成ユニット60は、2つ以上のビューを含むマルチメディアコンテンツについてのメディアプレゼンテーション記述(MPD)を構築し得る。他の例では、ビデオファイル作成ユニット60は、マルチメディアコンテンツについてのMPDのデータと同様のデータを記憶するマニフェストを作成し得る。ビューID割当てユニット64は、ビュー識別子がマルチメディアコンテンツのビューについてのカメラパースペクティブの水平ロケーションに対応するように、それらのビューの各々にビュー識別子を割り当て得る。表現作成ユニット66は、マルチメディアコンテンツについての1つまたは複数の表現を構築し得、それらの表現の各々は、マルチメディアコンテンツについてのビューのうちの1つまたは複数を含み得る。いくつかの例では、ビューID割当てユニット64は、表現中に含まれるビューについてのビュー識別子の最大値と最小値とを示すデータをMPDおよび/または表現(たとえば、表現についてのヘッダデータ)中に含め得る。さらに、表現作成ユニット66は、より大きいビューIDが、より小さいビューIDを有するビューについてのカメラパースペクティブの右側のカメラパースペクティブを有するビューに対応するのか、左側のカメラパースペクティブを有するビューに対応するのか、を示す情報をMPD中で与え得る。
いくつかの例では、異なるフレームレート、異なるビットレート、異なる符号化方式、または他の差など、様々な符号化特性を使用して同じビューが符号化され得る。表現作成ユニット66は、共通の表現中に含まれる各ビューが同じ符号化特性に従って符号化されることを保証し得る。このようにして、表現についてのMPDおよび/またはヘッダデータは、表現中のすべてのビューに適用される、表現についての特性(または属性)のセットをシグナリングし得る。その上、表現作成ユニット66は、符号化特性が潜在的に異なろうとも、同じビューを含む複数の表現を作成し得る。
いくつかの例では、表現作成ユニット66は、マルチメディアコンテンツの各ビューを個々の表現にカプセル化し得る。そのような例において、2つ以上のビューを出力するために、宛先デバイス40はマルチメディアコンテンツの2つ以上の表現を要求し得る。ビューID割当てユニット64は、本開示の技法によれば、仮想ビュー識別子が、表現によってカプセル化されたビューについてのカメラパースペクティブの水平ロケーションに対応するように、表現に仮想ビュー識別子を割り当て得る。このようにして、所望のカメラパースペクティブを有するビューを取り出すために、宛先デバイス40は、所望のカメラパースペクティブに対応する仮想ビュー識別子によって識別される表現を要求し得る。
一例として、宛先デバイス40は、ビューについてのカメラパースペクティブの水平ロケーション間の相対オフセットを判断するためにビュー識別子間の差を計算し得る。したがって、いくつかの例では、宛先デバイス40は、表示される相対的深さの量を増加させるために、2つのビューのビュー識別子間のより大きい差を有するそれら2つのビューを要求し得る。同様に、宛先デバイス40は、表示される深さの量を減少させるために、2つのビューのビュー識別子間のより小さい差を有するそれら2つのビューを要求し得る。宛先デバイス40は、表示すべき深さのデフォルト量で構成され得、いくつかの例では、示される深さの量を増加または減少させたいというユーザの要望を示すフィードバックを、再生中にユーザから受信し得る。
たとえば、宛先デバイス40が、ユーザのテレビジョンなどの比較的大きいディスプレイを含むかまたはそれに結合されたときは、深さのデフォルト量は比較的大きいことがあり、宛先デバイスが、モバイルデバイスなどの比較的小さいディスプレイを含むかまたはそれに結合されたときは、深さのデフォルト量は比較的小さいことがある。再生中に、ユーザは、表示されている深さの量を増加または減少させるために宛先デバイス40にフィードバックを与え得る。宛先デバイス40は、ビューID割当てユニット64によってシグナリングされたビュー識別子を使用して、たとえば、同じ動作点、同じ表現から、さらには同じマルチメディアコンテンツの異なる表現から、異なるビューを選択して、ユーザの要求に対応し得る。
動作点作成ユニット68は、マルチメディアコンテンツの1つまたは複数の表現についての動作点を作成し得る。概して、動作点は、出力のターゲットにされる表現中のビューのサブセットに対応し、その場合、ビューの各々は共通の時間レベルを共有する。H.264/AVC仕様書によって規定されているように、
動作点は、ターゲット時間レベルを表すtemporal_id値と、ターゲット出力ビューを表すview_id値のセットとによって識別される。1つの動作点がビットストリームサブセットに関連付けられ、これは、ターゲット出力ビューと、ターゲット出力ビューが依存するすべての他のビューとからなり、入力としてtemporal_id値に等しいtIdTargetと、view_id値のセットからなるviewIdTargetListとを用いて、H.8.5.3項において規定されているサブビットストリーム抽出プロセスを使用して導出される。同じビットストリームサブセットに2つ以上の動作点が関連付けられ得る。本仕様書で「動作点が復号される」と述べられているとき、それは、動作点に対応するビットストリームサブセットの復号と、ターゲット出力ビューの後続の出力とを指す。
本開示の技法によれば、表現作成ユニット66によって作成された表現のうちの2つ以上がMVC表現に対応し得る。このようにして、本開示の技法は、ビットレートと表現の他の特性とに基づく適応をサポートし得る。たとえば、再生中に、宛先デバイス40は、再生の以前の時間において利用可能であったネットワーク帯域幅の量が変化したと判断し、したがって帯域幅の新しい量に基づいて異なるMVC表現からのデータを要求し得る。宛先デバイス40は、ターゲット出力ビューの数に基づいて前のMVC表現を選択していることがある。
動作点作成ユニット68は、マルチメディアコンテンツの各MVC表現についての1つまたは複数の動作点を指定し得る。さらに、動作点作成ユニット68は、たとえば、表現のヘッダ中で、またはMPD中で、MVC表現の各動作点についてのターゲット出力ビューの数をシグナリングし得る。代替的に、動作点作成ユニット68は、MVC表現についてのターゲット出力ビューの最大数を表現の動作点としてシグナリングし得る。表現についてのターゲット出力ビューの数についてのただ1つの値をシグナリングするのではなく、本開示の技法によるデバイスは、表現の各動作点についてのターゲット出力ビューをシグナリングし得る。
ビデオファイル作成ユニット60は、作成されたビデオファイルをビデオファイル出力インターフェース84に受け渡し得る。いくつかの例では、単一のビデオファイルが、1つまたは複数の表現と、それらの表現についてのシグナリングデータ、たとえば、MPDデータ構造とを含み得る。他の例では、MPDデータ構造は、1つまたは複数のファイルにおいてMPDによって記述される表現から分離され得、また、表現の各々についてのデータは、1つまたは複数のファイルに記憶され得る。ビデオファイル出力インターフェース84は、作成されたビデオファイルを伝送媒体または記憶媒体などのコンピュータ可読媒体に受け渡し得る。
図3は、様々なロケーションからシーン90のビューについての画像データをキャプチャするカメラ92A〜92H(カメラ92)のアレイを示す概念図である。概して、カメラ92の各々は、実質的に同様の時間に画像をキャプチャし得る。カメラ92はシーン90の共通の焦点に向けられ得る。カメラ92は、軸94に沿って様々な水平ロケーション96A〜96H(ロケーション96)に位置している。したがって、カメラ92によってキャプチャされたビューは、シーン90のわずかに異なるパースペクティブを有する。
本開示の技法によれば、ソースデバイス20(図1)は、カメラ92のロケーション96に基づいて、カメラ92によってキャプチャされたビューにビュー識別子を割り当て得る。いくつかの例では、カメラ92によってキャプチャされたビューに割り当てられるビュー識別子は、カメラ92のロケーション96の単調増加関数に従って増加し得る。したがって、カメラ92Aによってキャプチャされたビューに割り当てられるビュー識別子は、最低値のビュー識別子であり得、カメラ92Hによってキャプチャされたビューに割り当てられるビュー識別子は、最高値のビュー識別子であり得、また、残りのカメラ92によってキャプチャされたビューに割り当てられるビュー識別子は、カメラ92のロケーション96に従って進み得る。たとえば、カメラ92Eによってキャプチャされたビューに割り当てられるビュー識別子は、カメラ92A〜92Dによってキャプチャされたビューについてのビュー識別子よりも大きいが、カメラ92F〜92Hによってキャプチャされたビューについてのビュー識別子よりも小さいことがある。
いくつかの例では、カメラ92によってキャプチャされたビューに割り当てられるビュー識別子は、カメラ92のロケーション96の単調減少関数に従って減少し得る。したがって、カメラ92Aによってキャプチャされたビューに割り当てられるビュー識別子は、最高値のビュー識別子であり得、カメラ92Hによってキャプチャされたビューに割り当てられるビュー識別子は、最低値のビュー識別子であり得、また、残りのカメラ92によってキャプチャされたビューに割り当てられるビュー識別子は、カメラ92のロケーション96に従って進み得る。たとえば、カメラ92Eによってキャプチャされたビューに割り当てられるビュー識別子は、カメラ92A〜92Dによってキャプチャされたビューについてのビュー識別子よりも小さいが、カメラ92F〜92Hによってキャプチャされたビューについてのビュー識別子よりも大きいことがある。
このようにして、カメラ92によってキャプチャされたビューについてのビュー識別子間の差が、カメラ92についてのロケーション96の差に近似的に対応し得る。たとえば、カメラ92Eによってキャプチャされたビューについてのビュー識別子と、カメラ92Aによってキャプチャされたビューについてのビュー識別子との間の差が、ロケーション96Eとロケーション96Aとの間の距離を近似的に表し得る。したがって、ビュー識別子がロケーション96の単調増加関数に従って割り当てられた場合、宛先デバイス40は、カメラ92Eによってキャプチャされたビューについてのビュー識別子が、カメラ92A〜92Dによってキャプチャされたビューについてのビュー識別子よりも大きいとき、カメラ92Eによってキャプチャされたビューについてのカメラパースペクティブのロケーションが、カメラ92A〜92Dによってキャプチャされたビューについてのカメラパースペクティブのロケーションの水平方向右側にあると判断し得る。
同様に、ビュー識別子がロケーション96の単調減少関数に従って割り当てられた場合、宛先デバイス40は、カメラ92Eによってキャプチャされたビューについてのビュー識別子が、カメラ92A〜92Dによってキャプチャされたビューについてのビュー識別子よりも小さいとき、カメラ92Eによってキャプチャされたビューについてのカメラパースペクティブのロケーションが、カメラ92A〜92Dによってキャプチャされたビューについてのカメラパースペクティブのロケーションの水平方向右側にあると判断し得る。
図4は、マルチメディアコンテンツ110の様々な表現120、130についての属性を与えるメディアプレゼンテーション記述(MPD)112の概念図である。この例では、MPD112および表現120〜130は、同じマルチメディアコンテンツ、すなわち、この例ではマルチメディアコンテンツ110に対応する。MPD112は、表現120の属性を記述するシグナリングデータ140Aと、表現130の属性を記述するシグナリングデータ140Nとを含む。シグナリングデータ140Aは、ビュー識別子(ID)範囲114Aと、最大ターゲット出力ビュー値118Aとを含む。シグナリングデータ140Nは、ビューID範囲114Nと、最大ターゲット出力ビュー値118Nとを含む。MPD112は、マルチメディアコンテンツ110のビューについてのカメラパースペクティブの水平ロケーションの順序付けを記述するビュー順序情報116をも含む。以下の説明では、シグナリングデータ140Aに焦点を当てるが、シグナリングデータ140Nは、この例では、表現120ではなく表現130に関することを除けば、シグナリングデータ140Aに実質的に一致することを理解されたい。MPD112は、表現120〜130のマニフェストの一例を表す。他の例では、他のマニフェストが、MPD112のデータと同様のデータを記憶し得る。
ビューID範囲114Aは、表現120中に含まれるビューについてのビュー識別子の最大値および最小値を含む。その上、本開示の技法によれば、表現120のビューについてのビュー識別子は、概して、対応するビューについてのカメラパースペクティブの水平ロケーションに対応し得る。したがって、ビューID範囲114Aの最大ビュー識別子と最小ビュー識別子との間の差が、表現120中に含まれるビューによって与えられる深さの相対量を近似的に表し得る。
ビュー順序情報116は、マルチメディアコンテンツ110のビューについてのカメラパースペクティブの水平ロケーションの順序付けの指示を与え得る。たとえば、ビュー順序情報116は、マルチメディアコンテンツ110のビューについてのビュー識別子を増加させることが、それらのビューについてのカメラパースペクティブの水平ロケーションが左から右にシフトすることを示すのか、右から左にシフトすることを示すのか、についての指示を与え得る。このようにして、ビュー順序情報116は、ビュー識別子がどのように割り当てられるか、たとえば、より大きいビュー識別子が、より小さいカメラパースペクティブをもつビューについてのカメラパースペクティブの水平ロケーションの左側にあるカメラパースペクティブの水平ロケーションを有するビューに対応するのか、右側にあるカメラパースペクティブの水平ロケーションを有するビューに対応するのか、についての指示を与え得る。ビュー識別子はマルチメディアコンテンツ110のビューに全体的に割り当てられるので、MPD112は、それらのビューについてのカメラパースペクティブの水平ロケーションが、それらのビューについてのビュー識別子に対してどのように順序付けられるかについての単一の指示を与えるだけでよい。ただし、いくつかの例では、ビュー順序情報116はシグナリング情報140の各セットにおいて与えられ得る。
出力ターゲット最大値(max target for output value)118Aは、表現120についてのターゲット出力ビューの最大数を記述する。概して、出力ターゲット最大値118Aは、表現120の動作点のいずれかからの出力のターゲットにされ得るビューの最多数を記述する。いくつかの例では、ただ1つのビューが表現内に含まれるとき、出力ターゲット最大値118Aは1の値を有し得る。この場合、ビューID範囲114Aは、ただ1つのビュー識別子値を含み得る。
表現120は、ヘッダデータ122とムービーフラグメント124A〜124N(ムービーフラグメント124)とを含む。ムービーフラグメント124N、134N、およびシグナリングデータ140Nにおける文字「N」の使用は、単に変数として理解されるべきであり、等しい数のムービーフラグメント124とムービーフラグメント134とがあること、または等しい数のムービーフラグメント124とシグナリングデータ140のセットとがあることを暗示するものではない。見方を変えれば、異なる数のムービーフラグメント124と、ムービーフラグメント134と、シグナリングデータ140のセットとがあり得る。
ヘッダデータ122は、表現中に常に含まれているとは限らず、したがって、破線の輪郭を用いて随意であるものとして示されている。存在するとき、ヘッダデータ122は、表現120についての記述データを含み得る。たとえば、ヘッダデータ122は、ムービーフラグメント124についてのシーケンスパラメータセット(SPS)データ、および/またはムービーフラグメント124のデータについてのピクチャパラメータセット(PPS)を含み得る。ヘッダデータ132は、表現130に関して、ヘッダデータ122に実質的に一致し得る。
ムービーフラグメント124は、それぞれ、1つまたは複数のコード化ビデオサンプル、たとえば、ネットワークアブストラクションレイヤ(NAL)ユニットを含み得る。ムービーフラグメント124の各々は、独立して取出し可能であり、いくつかの例では、独立して復号可能である、ビデオデータのユニットであり得る。このようにして、ムービーフラグメント124は、たとえば、HTTPストリーミングなどのネットワークストリーミングプロトコルを使用して、連続的に取り出され得る。たとえば、宛先デバイス40は、ムービーフラグメント124のうちの1つに関連するURLに向けられたHTTP Get要求をサブミットし得る。いくつかの例では、宛先デバイス40は、HTTP部分Get要求がムービーフラグメントの所望のバイト範囲を指定するように、その要求を上記URLに送ることによって、ムービーフラグメント124のうちの1つの一部分を取り出し得る。ソースデバイス20は、要求されたバイト範囲を宛先デバイス40に送ることによって応答し得る。
いくつかの例では、ムービーフラグメント124の各々はランダムアクセスポイントを含み得る。いくつかの例では、MPD112および/またはヘッダデータ122は、ムービーフラグメント124のうちのどれがランダムアクセスポイントを含むか、およびそのランダムアクセスポイントが、オープンデコーダリフレッシュ(ODR:open decoder refresh)ランダムアクセスポイントであるのか瞬時デコーダリフレッシュ(IDR)ランダムアクセスポイントであるのか、をシグナリングし得る。ムービーフラグメント134は、ムービーフラグメント134がデータの独立して取出し可能なユニットであり得るという点で、ムービーフラグメント124に実質的に一致し得る。
図5は、例示的なMVC予測パターンを示す概念図である。図5の例では、(ビューID「S0」〜「S7」を有する)8つのビューが示され、各ビューについて12個の時間ロケーション(「T0」〜「T11」)が示されている。すなわち、図5中の各行はビューに対応し、各列は時間ロケーションを示す。
MVCがH.264/AVCデコーダによって復号可能である、いわゆるベースビューを有し、また、ステレオビューペアがMVCによってサポートされ得るが、MVCの利点は、MVCが、3Dビデオ入力として3つ以上のビューを使用し、複数のビューによって表されるこの3Dビデオを復号する例をサポートすることができるということである。MVCデコーダを有するクライアントのレンダラは、複数のビューを用いて3Dビデオコンテンツを予想し得る。
図5中のフレームは、対応するフレームがイントラコード化される(すなわち、Iフレームである)のか、一方向に(すなわち、Pフレームとして)インターコード化されるのか、複数の方向に(すなわち、Bフレームとして)インターコード化されるのかを指定する、文字を含む影付きブロックを使用して、図5中の各行と各列との交差部において示されている。概して、予測は矢印によって示され、ここで矢印の終点のフレームは、予測参照のために矢印の始点のオブジェクトを使用する。たとえば、時間ロケーションT0におけるビューS2のPフレームは、時間ロケーションT0におけるビューS0のIフレームから予測される。
シングルビュービデオ符号化の場合と同様に、マルチビュービデオコーディングビデオシーケンスのフレームは、異なる時間ロケーションにおけるフレームに関して予測符号化され得る。たとえば、時間ロケーションT1におけるビューS0のbフレームは、時間ロケーションT0におけるビューS0のIフレームからそのbフレームに向けられた矢印を有し、その矢印は、bフレームがIフレームから予測されることを示す。しかしながら、さらに、マルチビュービデオ符号化のコンテキストにおいて、フレームは、ビュー間予測され得る。すなわち、ビューコンポーネントは、参照のために他のビュー中のビューコンポーネントを使用することができる。MVCでは、たとえば、別のビュー中のビューコンポーネントがインター予測参照であるかのように、ビュー間予測が実現される。潜在的なビュー間参照は、シーケンスパラメータセット(SPS)MVC拡張においてシグナリングされ、インター予測またはビュー間予測参照のフレキシブルな順序付けを可能にする参照ピクチャリスト構成プロセスによって変更され得る。
図5は、ビュー間予測の様々な例を与える。図5の例では、ビューS1のフレームは、ビューS1の異なる時間ロケーションにおけるフレームから予測されるものとして、ならびに同じ時間ロケーションにおけるビューS0およびS2のフレームのうちのフレームからビュー間予測されるものとして示されている。たとえば、時間ロケーションT1におけるビューS1のbフレームは、時間ロケーションT0およびT2におけるビューS1のBフレームの各々、ならびに時間ロケーションT1におけるビューS0およびS2のbフレームから予測される。
図5の例では、大文字の「B」および小文字の「b」は、異なる符号化方法ではなく、フレーム間の異なる階層関係を示すものとする。概して、大文字の「B」フレームは、小文字の「b」フレームよりも予測階層が比較的高い。図5はまた、異なるレベルの陰影を使用して予測階層の変形形態を示し、より大きい量の陰影の(すなわち、比較的より暗い)フレームは、より少ない陰影を有する(すなわち、比較的より明るい)それらのフレームよりも予測階層が高い。たとえば、図5中のすべてのIフレームは、完全陰影を用いて示されるが、Pフレームは、いくぶんより明るい陰影を有し、Bフレーム(そして、小文字のbフレーム)は、互いに様々なレベルの陰影を有するが、PフレームおよびIフレームの陰影よりも常に明るい。
概して、階層が比較的高いそれらのフレームが、階層が比較的低いフレームの復号中に参照フレームとして使用され得るように、予測階層が比較的高いフレームは、階層が比較的低いフレームを復号する前に復号されるべきであるという点で、予測階層はビュー順序インデックスに関係する。ビュー順序インデックスは、アクセスユニット中のビューコンポーネントの復号順序を示すインデックスである。H.264/AVC(MVC追補)の付属書類Hにおいて規定されているように、ビュー順序インデックスはSPS MVC拡張において暗示されている。SPSでは、各インデックスiについて、対応するview_idがシグナリングされる。ビューコンポーネントの復号は、ビュー順序インデックスの昇順に従う。すべてのビューが提示された場合、ビュー順序インデックスは、0からnum_views_minus_1までの連続する順序になっている。
このようにして、参照フレームとして使用されるフレームは、その参照フレームを参照して符号化されたフレームを復号する前に復号され得る。ビュー順序インデックスは、アクセスユニット中のビューコンポーネントの復号順序を示すインデックスである。各ビュー順序インデックスiについて、対応するview_idがシグナリングされる。ビューコンポーネントの復号は、ビュー順序インデックスの昇順に従う。すべてのビューが提示された場合、ビュー順序インデックスのセットは、0からビューの全数よりも1少ない数までの連続的な順序付きセットを備え得る。
階層の等しいレベルにおけるいくつかのフレームの場合、復号順序は、互いに重要でないことがある。たとえば、時間ロケーションT0におけるビューS0のIフレームは、時間ロケーションT0におけるビューS2のPフレームのための参照フレームとして使用され、そのPフレームは今度は、時間ロケーションT0におけるビューS4のPフレームのための参照フレームとして使用される。したがって、時間ロケーションT0におけるビューS0のIフレームは、時間ロケーションT0におけるビューS2のPフレームの前に復号されるべきであり、そのPフレームは、時間ロケーションT0におけるビューS4のPフレームの前に復号されるべきである。しかしながら、ビューS1およびS3は、予測のために互いに依拠しないが、代わりに、予測階層がより高いビューからのみ予測されるので、ビューS1とS3との間で復号順序は重要でない。その上、ビューS1がビューS0およびS2の後に復号される限り、ビューS1はビューS4の前に復号され得る。
このようにして、ビューS0〜S7を記述するために階層順序が使用され得る。表記法SA>SBは、ビューSAがビューSBの前に復号されるべきであることを意味する。この表記法を使用すると、図5の例では、S0>S2>S4>S6>S7である。また、図5の例に関して、S0>S1、S2>S1、S2>S3、S4>S3、S4>S5、およびS6>S5である。これらの要件に違反しないビューのための任意の復号順序が可能である。したがって、いくつかの制限のみをもつ、多くの異なる復号順序が可能である。
本開示の技法によれば、ビューS0〜S7についてのビュー識別子は、ビュー識別子が概してそれらのビューについてのカメラパースペクティブのロケーションに対応するように割り当てられ得る。たとえば、図3の例に関して、カメラ92AはビューS0についてのデータをキャプチャしていることがあり、カメラ92BはビューS1についてのデータをキャプチャしていることがあり、以下同様である。したがって、ビューS0〜S7についてのビュー識別子は、ロケーション96の単調増加関数に従って増加するか、またはロケーション96の単調減少関数に従って減少し得る。本開示の技法によれば、MPDは、各表現についての最大および最小ビュー識別子をシグナリングし得る。したがって、表現がビューS0〜S7の各々を含む場合、MPDは、最大ビュー識別子をビューS7についてのビュー識別子として、および最小ビュー識別子をビューS0についてのビュー識別子としてシグナリングし得る。
動作点は、上記のように、概して、利用可能なビューのサブセットに対応し得る。ビューS0〜S7の各々が表現中に含まれる場合、動作点はビューS0〜S7の任意のサブセットに対応し得る。一般に、動作点は、出力のターゲットにされるビュー、ならびに復号のために必要とされる介在ビュー、のセットを含む。したがって、ビューS0およびS1が、動作点中に含まれ、出力のターゲットにされる場合、動作点は、ビューS1が(ビューS2のデータに対して)適切に復号され得るように、ビューS2をも含み得る。したがって、動作点は特定の数のビューを含み得るが、ターゲット出力ビューの数は、動作点のために実際に含まれるビューの数とは異なり得る。
図6は、ソースデバイスがビデオデータについての情報をシグナリングし、宛先デバイスがその情報を受信する、例示的な方法を示すフローチャートである。図1のソースデバイス20と宛先デバイス40とに関して説明するが、図6の要素の一部または全部が追加または代替のデバイスによって実行され得ることを理解されたい。たとえば、別個のデバイスが、ビューにビュー識別子を割り当て、ビューの様々な選択を含む表現を形成し、および/またはネットワークストリーミングプロトコルに従って宛先デバイスに情報を与え得る。その上、本開示の技法から逸脱することなく、追加または代替のステップが実行され得、また、いくつかのステップが異なる順序で実行され得る。
図6の例では、ソースデバイス20が、最初に、シーンの複数のビューからの符号化ビデオサンプルを受信する(150)。たとえば、ソースデバイス20は、図3に示すカメラ92のアレイなど、共通のシーンをターゲットにするカメラアレイによってキャプチャされたビデオデータを受信し得る。別の例として、ソースデバイス20は、シーンの2つ以上のビューについてのビデオデータをコンピュータ可読媒体から取り出し得る。さらに別の例として、ソースデバイス20は、シーンの2つ以上のビューについてのビデオデータを、生成するか、またはそれを生成した別のデバイスから受信し得る。
いずれの場合も、ソースデバイス20は、次いで、ビューの各々についてのカメラパースペクティブのロケーションを判断する(152)。たとえば、ソースデバイス20は、このロケーション情報を、ビューをキャプチャしたカメラから、人間オペレータから、別個のコンピューティングデバイスから、またはビューについてのビデオデータをキャプチャしたカメラの相対ロケーションを判断する他のソースから受信し得る。
次いで、ソースデバイス20は、ビューについてのビデオデータをキャプチャしたカメラのロケーションに基づいて、それらのビューにビュー識別子を割り当てる(154)。すなわち、ソースデバイス20は、ビュー識別子が、ビューについてのビデオデータをキャプチャしたカメラのロケーションに対応するように、それらのビューにビュー識別子を割り当て得る。ソースデバイス20は、ビューについてのビデオデータをキャプチャしたカメラの水平ロケーションの関数、たとえば、単調増加関数または単調減少関数として、それらのビューにビュー識別子を割り当て得る。このようにして、ビューのうちのいずれかの2つについて、第1のカメラによってキャプチャされた第1のビューについての第1の識別子と、第2のカメラによってキャプチャされた第2のビューについての第2の識別子との間の差が、第1のビューについての第1のカメラパースペクティブのロケーションに対する第2のビューについての第2のカメラパースペクティブのロケーションを示す。
次いで、ソースデバイス20は、ビューの様々なセットを含む1つまたは複数の表現を形成する(156)。表現の各々は、ビューのうちの1つまたは複数を含み得る。いくつかの例では、ビューが多種多様な方法で複数回符号化され得、したがって、ソースデバイス20は、異なる表現においてビューのうちのいずれかまたはすべての様々な符号化バージョンを含み得る。ソースデバイス20はまた、MPD112(図4)に似ていることがあるメディアプレゼンテーション記述子(MPD)データ構造など、表現の各々の中に含まれるビューについてのビュー識別子範囲を記述するデータ構造を生成し得る。たとえば、MPDデータ構造は、表現の各々についてのビュー識別子の最大値と最小値との指示を含み得る。MPDは、さらに、マルチメディアコンテンツのビューについてのビュー識別子の値に対するそれらのビューについてのカメラパースペクティブの水平ロケーションの相対的順序付けの指示を与え得る。このようにして、MPDは、ビュー識別子がどのように割り当てられるか、たとえば、より大きいビュー識別子が、より小さいカメラパースペクティブをもつビューについてのカメラパースペクティブの水平ロケーションの左側にあるカメラパースペクティブの水平ロケーションを有するビューに対応するのか、右側にあるカメラパースペクティブの水平ロケーションを有するビューに対応するのか、についての指示を与え得る。MPDは、表現の各々について出力のターゲットにされるビューの数の指示をも与え得る。
宛先デバイス40が、表現のうちの1つまたは複数を記述する表現データを要求する(158)。たとえば、宛先デバイス40は、表現を含むマルチメディアコンテンツに関連するURLにHTTPストリーミングHEAD要求を送り得る。その要求に応答して、ソースデバイス20は、宛先デバイス40に、表現中に含まれるビューについてのビュー識別子範囲を送る(160)。ソースデバイス20は、表現の各々について出力のターゲットにされるビューの数を示す情報をも送り得る。たとえば、ソースデバイス20は、宛先デバイス40にヘッダデータ(図4のヘッダデータ122、132など)を送り得る。別の例として、ソースデバイス20は、宛先デバイス40にMPD(図4のMPD112など)を送り得る。ビュー識別子範囲をシグナリングすることに関して主に説明したが、追加または代替として、他の例では、ソースデバイス20は、表現について出力のターゲットにされ得るビューの最大数についての値をシグナリングし得ることを理解されたい。
表現の各々についてのビュー識別子範囲(たとえば、表現の各々についての最大ビュー識別子および最小ビュー識別子)を含む、ソースデバイス20から受信したデータを使用して、宛先デバイス40は、ビュー識別子範囲から表現の各々についての相対的深さを判断する(162)。次いで、宛先デバイス40は、相対的深さ情報に基づいて表現を選択する(164)。特に、宛先デバイス40は、表現のうち、宛先デバイス40のディスプレイデバイスによって表示されるべき深さの所望の量に対応する深さの量を含む表現を選択し得る。次いで、宛先デバイス40は、選択された表現のビデオデータについての要求を送る(166)。たとえば、宛先デバイス40は、ソースデバイス20に1つまたは複数のHTTP Getまたは部分Get要求を送り得、その場合、その要求は、選択された表現からデータを取り出すように構築される。
宛先デバイス40によって行われる表現の選択は、他のファクタをも考慮に入れ得る。たとえば、宛先デバイス40は、宛先デバイス40が、選択された表現を適切に復号し、レンダリングすることができるように、表現の復号および/またはレンダリング要件に基づいて表現を選択し得る。宛先デバイス40はまた、表現を選択するとき、利用可能なネットワーク帯域幅の判断された量を考慮し得る。MPDまたはヘッダデータは、動作点情報およびビュー識別子に加えて、表現の復号およびレンダリング要件、ならびに表現についてのビットレートを記述し得る。したがって、宛先デバイス40は、表現のうち、ソースデバイス20に要求すべき表現を選択するとき、この追加情報をも使用し得る。利用可能なネットワーク帯域幅の量が再生中に変化する場合、宛先デバイス40は、ネットワーク帯域幅の新たに判断された量に基づいて、異なる表現に適応的に切り替え得る。
いずれの場合も、表現からのデータについての要求に応答して、ソースデバイス20は、宛先デバイス40に要求されたビデオデータを送る(168)。次いで、宛先デバイス40は、受信したビデオデータを復号し、表示する(170)。宛先デバイス40が表現についてのデータのすべてを復号し、表示するまで、または再生の終了まで、宛先デバイス40は、選択された表現の連続データを要求し続け得る。いくつかの例では、たとえば、ユーザがビデオの残りの部分を見ないことを決定したとき、再生は早期に終了され得る。
このようにして、図6は、マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信することと、2つ以上のビューの各々についてのカメラパースペクティブの水平ロケーションを判断することと、ビュー識別子がカメラパースペクティブの相対水平ロケーションに対応するように、2つ以上のビューにビュー識別子を割り当てることと、マルチメディアコンテンツの表現を形成することであって、表現が2つ以上のビューのサブセットを備える、形成することと、クライアントデバイスからの要求に応答して、クライアントデバイスに、マルチメディアコンテンツの表現のマニフェストの一部として、表現についての最大ビュー識別子と最小ビュー識別子とを示す情報を送ることとを含む、ビデオデータについての情報をシグナリングする方法の一例を表す。
図6はまた、表現についての最大ビュー識別子と表現についての最小ビュー識別子とを示す情報を受信することであって、最大ビュー識別子が、シーンの第1のビューについてのビュー識別子を備え、最小ビュー識別子が、シーンの第2のビューについてのビュー識別子を備え、表現が、第1のビューと第2のビューとを含む2つ以上のビューについてのビデオデータを備える、受信することと、最大ビュー識別子と最小ビュー識別子とに基づいて、表現の2つ以上のビューについてのカメラパースペクティブの最大水平ロケーションと、表現の2つ以上のビューについてのカメラパースペクティブの最小水平ロケーションとを判断することであって、2つ以上のビューについてのビュー識別子が2つ以上のビューについてのカメラパースペクティブの相対水平ロケーションに対応するように、ビュー識別子が割り当てられる、判断することと、表現の2つ以上のビューについてのカメラパースペクティブの判断された最大および最小水平ロケーションに少なくとも部分的に基づいて表現のビデオデータの少なくとも一部分を要求することとを含む、ビデオデータについての情報を受信する方法の一例を表す。
図7は、マルチメディアコンテンツのビューにビュー識別子を割り当て、表現のターゲット出力ビューの最大数を動作点として提示するための、例示的な方法を示すフローチャートである。図1のソースデバイス20に関して説明するが、図7の要素の一部または全部が追加または代替のデバイスによって実行され得ることを理解されたい。たとえば、別個のデバイスが、ビューにビュー識別子を割り当て、ビューを含む表現を形成し、および/またはネットワークストリーミングプロトコルに従って宛先デバイスに情報を与え得る。その上、本開示の技法から逸脱することなく、追加または代替のステップが実行され得、また、いくつかのステップが異なる順序で実行され得る。
初めに、ビデオエンコーダ28(図1)が、シーンの2つ以上のビューについての未加工ビデオデータを受信する(200)。ビデオエンコーダ28は、ビデオデータの別個のビューを独立したエレメンタリビデオストリームとして符号化する(202)。いくつかの例では、ビデオエンコーダ28は、たとえば、異なるフレームレート、ビットレート、解像度などの異なる符号化特性、または他の異なる特性を用いて、1つまたは複数のビューを複数回符号化し得る。
ビデオエンコーダ28は、符号化されたビューをカプセル化ユニット30に受け渡し得る。また、カプセル化ユニット30は、ビデオエンコーダ28から受信されたビューをキャプチャしたカメラの水平ロケーションを記述する情報を受信し得る。カプセル化ユニット30は、受信した情報に基づいて、ビューについてのカメラパースペクティブの水平ロケーションを判断する(204)。カプセル化ユニット30は、さらに、ビューについてのカメラパースペクティブのロケーションに基づいて、それらのビューにビュー識別子を割り当てる(206)。このようにして、第1のビューのカメラパースペクティブのロケーションとビュー識別子とが知られており、また、第2のビューのビュー識別子が知られていると仮定すると、第1のビューについてのビュー識別子と第2のビューについてのビュー識別子との間の差に基づいて、第1のビューのカメラパースペクティブのロケーションに対して、第2のビューについてのカメラパースペクティブのロケーションが判断され得る。
カプセル化ユニット30は、符号化されたビューのいずれかまたはすべてを含む1つまたは複数の表現を形成する(208)。さらに、カプセル化ユニット30は、表現の各々について出力のターゲットにされるビューの数を判断し(210)、対応する表現についての判断された数以下のビューを有する、表現についての動作点を形成する(212)。次いで、カプセル化ユニット30は、ビュー識別子の範囲の指示と、ビュー識別子に基づく水平ロケーションの順序付けの指示と、表現の各々について出力のターゲットにされるビューの最大数を示す値とを含む、MPDデータ構造を形成する(214)。ビュー識別子の範囲の指示は、表現の各々がMPD中の対応する最大ビュー識別子および最小ビュー識別子を含むように、たとえば、表現についての最大ビュー識別子および最小ビュー識別子を備え得る。順序付けの指示は、ビュー識別子を増加させることが、対応するビューについてのカメラパースペクティブの水平ロケーションについて左から右へのシフトに対応するのか、右から左へのシフトに対応するのか、についての指示を備え得る。
ソースデバイス20は、表現のMPDおよび/または符号化ビデオデータについて、宛先デバイス40などの様々なクライアントデバイスから要求を受信し得る。そのような要求に応答して、ソースデバイス20は、要求元クライアントデバイスにMPDまたはビデオデータを与える(216)。たとえば、ソースデバイス20は、HTTPストリーミング要求を受信し、HTTPストリーミングに従ってその要求に応答し得る。
このようにして、図7は、マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信することと、2つ以上のビューの各々についてのカメラパースペクティブの水平ロケーションを判断することと、ビュー識別子がカメラパースペクティブの相対水平ロケーションに対応するように、2つ以上のビューにビュー識別子を割り当てることと、マルチメディアコンテンツの表現を形成することであって、表現が2つ以上のビューのサブセットを備える、形成することと、クライアントデバイスからの要求に応答して、クライアントデバイスに、マルチメディアコンテンツの表現のマニフェストの一部として、表現についての最大ビュー識別子と最小ビュー識別子とを示す情報を送ることとを含む、ビデオデータについての情報をシグナリングする方法の一例を表す。
図7はまた、マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信することと、マルチメディアコンテンツの表現を形成することであって、表現が2つ以上のビューのサブセットを備える、形成することと、クライアントデバイスに、マルチメディアコンテンツの表現のマニフェストの一部として、出力のターゲットにされ得る表現中のビューの最大数を示す情報を送ることとを含む方法の一例を表す。
図8は、マルチメディアコンテンツのビューについてのビュー識別子と、動作点としての表現のターゲット出力ビューの最大数とを含む、ビデオデータについての情報を受信する方法の一例を示すフローチャートである。図1の宛先デバイス40に関して説明するが、図8の要素の一部または全部が追加または代替のデバイスによって実行され得ることを理解されたい。たとえば、別個のデバイスが、ネットワークストリーミングプロトコルに従ってデータを取り出し、取り出されたデータを復号し、復号されたデータをレンダリング/表示し得る。その上、本開示の技法から逸脱することなく、追加または代替のステップが実行され得、また、いくつかのステップが異なる順序で実行され得る。
図8の例では、宛先デバイス40が、初めにマルチメディアコンテンツについてのMPDを要求する(250)。たとえば、宛先デバイス40は、ソースデバイス20にHTTPストリーミング要求などのネットワークストリーミング要求を送り得る。要求はマルチメディアコンテンツのURLを指定し得る。いくつかの例では、要求は、マルチメディアコンテンツのURLに向けられたHTTP HEAD要求に準拠し得る。
その要求を送った後に、宛先デバイス40は、マルチメディアコンテンツの表現の属性を記述するMPDを受信する(252)。たとえば、MPDは、マルチメディアコンテンツの各表現中に含まれるビューのビュー識別子についての範囲の指示を含み得る。その範囲は、たとえば、各表現について、その表現についての最大ビュー識別子と最小ビュー識別子との指示を備え得る。また、MPDは、第2のビュー識別子よりも大きい第1のビュー識別子が、第1のビュー識別子に対応するビューについてのカメラパースペクティブの水平ロケーションが、第2のビュー識別子に対応するビューについてのカメラパースペクティブの水平ロケーションの左側にあることを示すのか右側にあることを示すのか、を示し得る。MPDはさらに復号およびレンダリング要件を記述し得、これは、宛先デバイスの最小のサポートされる復号およびレンダリング能力の仕様であり得る。さらに、MPDは、表現についてのビットレートの指示を与え得る。MPDはまた、表現の動作点を記述する動作点情報、ならびに表現の各々について出力のターゲットにされるビューの最大数を含み得る。他の例では、宛先デバイス40は、マルチメディアコンテンツの表現のビューについてのビュー識別子範囲、および/またはマルチメディアコンテンツの表現について出力のターゲットにされるビューの最大数など、マルチメディアコンテンツの表現についてのヘッダデータ、あるいはマルチメディアコンテンツについてのシグナリングデータを含む別のデータ構造、についての要求を送り、それを要求した後にそれを受信し得る。
図8の例では、MPDを使用して、宛先デバイス40は、表現の各々についてのターゲット出力ビューの数(たとえば、ターゲット出力ビューの最大数)を判断する(254)。いくつかの例では、ターゲット出力ビューの数は表現の動作点に対応し得る。また、宛先デバイス40は、MPDからビュー識別子範囲を取り出す(256)。本開示の技法によれば、ビュー識別子は、概して、対応するビューについてのカメラパースペクティブの相対ロケーションを記述し得る。したがって、ビュー識別子範囲を使用して、宛先デバイス40は、表現の各々についての深さの相対量を判断する(258)。たとえば、表現についての深さの相対量は、表現についての最大ビュー識別子と最小ビュー識別子との間の差に対応し得る。
宛先デバイス40は、第1のビューについての第1のビュー識別子と第2のビューについての第2のビュー識別子との間の差に基づいて、第2のビューについての第2のカメラパースペクティブのロケーションに対する第1のビューについての第1のカメラパースペクティブのロケーションをも判断し得る。一例として、ビュー識別子は、カメラパースペクティブのロケーションの単調増加関数に従って割り当てられ得る。したがって、宛先デバイス40は、ビューについてのカメラパースペクティブの順序付けを判断するためにビュー識別子を使用し得る。単調増加関数の例では、ビュー識別子を最低から最高まで順序付けることによって、宛先デバイス40は、ビューについてのカメラパースペクティブのロケーションを左から右に順序付けることになる。ビュー識別子が単調減少関数に従って割り当てられる、別の例では、ビュー識別子を最高から最低まで順序付けることによって、宛先デバイス40は、ビューについてのカメラパースペクティブのロケーションを左から右に順序付けることになる。MPDは、いくつかの例では、ビュー識別子が、ビューについてのカメラパースペクティブのロケーションの単調増加関数に応じて割り当てられるのか単調減少関数に応じて割り当てられるのか、についての指示を与え得る。
判断された、表現についての深さの相対量と、表現について出力のターゲットにされるビューの最大数とを使用して、宛先デバイス40は、マルチメディアコンテンツの表現のうち、要求すべき表現を選択する(260)。宛先デバイス40は、これと、復号およびレンダリング要件ならびにビットレートなど、MPDによってシグナリングされる他の情報とに基づいて、表現を選択し得る。たとえば、宛先デバイス40は、ビデオ出力44がいくつのビューを表示することが可能であるかを判断し、少なくともその数のターゲット出力ビューを有する表現を選択し得る。宛先デバイス40は、上記数のビューを有する動作点を含む表現を選択し得る。宛先デバイス40はまた、ビデオデコーダ48の復号能力とビデオ出力44のレンダリング能力とを示す構成データを含み、その復号能力およびレンダリング能力が満たすことができる復号要件およびレンダリング要件を有する表現を選択し得る。
宛先デバイス40は、さらに、利用可能なネットワーク帯域幅の量を判断し、そのネットワーク帯域幅の量を超えることのないビットレートを有する表現を選択し得る。その上、宛先デバイス40は、表現についての深さの所望の量を記述する構成データを含み得、その量は、たとえば、宛先デバイス40のためのディスプレイデバイスのサイズに基づき得る。概して、ディスプレイデバイスが比較的小さいときは(たとえば、セルラーフォン、ラップトップ、タブレットコンピュータなど、モバイルデバイスの場合)、より少ない深さが望まれ得、ディスプレイデバイスが比較的大きいときは(たとえば、大画面テレビジョンの場合)、より多くの深さが望まれ得る。
表現を選択した後に、宛先デバイス40は、選択された表現のデータを取り出したいという要求を送る(262)。たとえば、宛先デバイス40は、表現のメディアフラグメントについてのHTTP Get要求を送り得る。いくつかの例では、宛先デバイス40は、表現のメディアフラグメントの一部分のみを取り出すために、HTTP部分Get要求を送り得る。たとえば、宛先デバイス40は、表現のサブビットストリームを抽出するために、たとえば、表現の特定の動作点を取り出すために、HTTP部分Get要求を使用し得る。
上記データを受信した後に、宛先デバイス40は、受信したデータを復号し、レンダリングし、表示する(264)。次いで、宛先デバイス40は、選択された表現のすべてのデータが取り出されたかどうかを判断する(266)。データのすべてが取り出されたとは限らない場合(266の「いいえ」分岐)、宛先デバイス40は、選択された表現の次のメディアフラグメントについての後続の要求を終了し得る。データのすべてが取り出された後(266の「はい」分岐)、宛先デバイス40はプロシージャを終了し得る。
いくつかの例では、宛先デバイス40は、利用可能なネットワーク帯域幅の量を再評価し、帯域幅の量が変化した場合、ネットワーク帯域幅の新たに判断された量だけ調整され得るビットレートを除いて同様の属性を有する、異なる表現に適応的に切り替え得る。宛先デバイス40は、前に選択された表現の直近に受信されたメディアフラグメントの再生時間の直後の再生時間を有する新たに選択された表現からデータを取り出し得る。
このようにして、図8は、表現についての最大ビュー識別子と表現についての最小ビュー識別子とを示す情報を受信することであって、最大ビュー識別子が、シーンの第1のビューについてのビュー識別子を備え、最小ビュー識別子が、シーンの第2のビューについてのビュー識別子を備え、表現が、第1のビューと第2のビューとを含む2つ以上のビューについてのビデオデータを備える、受信することと、最大ビュー識別子と最小ビュー識別子とに基づいて、表現の2つ以上のビューについてのカメラパースペクティブの最大水平ロケーションと、表現の2つ以上のビューについてのカメラパースペクティブの最小水平ロケーションとを判断することであって、2つ以上のビューについてのビュー識別子が2つ以上のビューについてのカメラパースペクティブの相対水平ロケーションに対応するように、ビュー識別子が割り当てられる、判断することと、表現の2つ以上のビューについてのカメラパースペクティブの判断された最大および最小水平ロケーションに少なくとも部分的に基づいて表現のビデオデータの少なくとも一部分を要求することとを含む、ビデオデータについての情報を受信する方法の一例を表す。
図8はまた、出力のターゲットにされ得る表現中のビューの最大数を示す情報を受信することであって、表現がシーンの1つまたは複数のビューについてのビデオデータを備える、受信することと、宛先デバイスによって出力され得るビューの最大数を判断することと、宛先デバイスによって出力され得るビューの判断された最大数と、出力のターゲットにされ得る表現中のビューの最大数を示す情報とに少なくとも部分的に基づいて、表現のビデオデータの少なくとも一部分を要求することとを含む、ビデオデータについての情報を受信する方法の一例を表す。
1つまたは複数の例では、本開示で説明した機能、方法、および技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含むデータ記憶媒体または通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、(1)非一時的である有形コンピュータ可読記憶媒体、あるいは(2)信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび/またはデータ構造を取り出すために1つまたは複数のコンピュータあるいは1つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびブルーレイ(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
命令は、1つまたは複数のデジタル信号プロセッサ(DSP)などの1つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアおよび/またはソフトウェアモジュール内に提供され得、あるいは複合コーデックに組み込まれ得る。また、本技法は、1つまたは複数の回路または論理要素中に十分に実装され得る。
本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(た
とえば、チップセット)を含む、多種多様なデバイスまたは装置において実装され得る。
本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調する
ために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成
要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実
現する必要はない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウ
ェアおよび/またはファームウェアとともに、上記で説明したように1つまたは複数のプ
ロセッサを含んで、コーデックハードウェアユニットにおいて組み合わせられるか、また
は相互動作ハードウェアユニットの集合によって与えられ得る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1] ビデオデータについての情報をシグナリングする方法であって、前記方法は、
マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信することと、
前記2つ以上のビューの各々についてのカメラパースペクティブの水平ロケーションを判断することと、
ビュー識別子が前記カメラパースペクティブの相対水平ロケーションに対応するように、前記2つ以上のビューに前記ビュー識別子を割り当てることと、
前記マルチメディアコンテンツの表現を形成することと、前記表現は前記2つ以上のビューのサブセットを備え、
クライアントデバイスに、前記マルチメディアコンテンツの前記表現のマニフェストの一部として、前記表現についての最大ビュー識別子と最小ビュー識別子とを示す情報を送ることと
を備える、
方法。
[C2] 前記クライアントデバイスに、前記ビュー識別子と前記カメラパースペクティブの前記相対水平ロケーションとの間の関係を示す情報を送ることをさらに備える、C1に記載の方法。
[C3] 前記ビューに前記ビュー識別子を割り当てることが、前記ビューの各々についての前記カメラパースペクティブの前記水平ロケーションの単調増加関数に従って前記ビューの前記識別子についての値を設定することを備え、
前記関係を示す前記情報を送ることは、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が増加することを示す、情報を送ることを備える、
C2に記載の方法。
[C4] 前記ビューに前記ビュー識別子を割り当てることが、前記ビューの各々についての前記カメラパースペクティブの前記水平ロケーションの単調減少関数に従って前記ビューの前記識別子についての値を設定することを備え、
前記関係を示す前記情報を送ることは、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が減少することを示す、情報を送ることを備える、
C2に記載の方法。
[C5] 前記関係を示す前記情報を送ることが、ネットワークストリーミングプロトコルに従って期間レベルと表現レベルとのうちの少なくとも1つにおいて前記関係を示す前記情報を送ることを備える、C2に記載の方法。
[C6] 前記クライアントデバイスによる前記表現の選択に応答して、ストリーミングハイパーテキスト転送プロトコル(HTTPストリーミング)に従って前記表現のビデオデータを送ることをさらに備える、C1に記載の方法。
[C7] ビデオデータについての情報をシグナリングするための装置であって、前記装置は、マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信することと、前記2つ以上のビューの各々についてのカメラパースペクティブの水平ロケーションを判断することと、ビュー識別子が前記カメラパースペクティブの相対水平ロケーションに対応するように、前記2つ以上のビューに前記ビュー識別子を割り当てることと、前記マルチメディアコンテンツの表現を形成することと、なお前記表現は前記2つ以上のビューのサブセットを備え、クライアントデバイスに、前記マルチメディアコンテンツの前記表現のマニフェストの一部として、前記表現についての最大ビュー識別子と最小ビュー識別子とを示す情報を送ることとを行うように構成されたプロセッサを備える、装置。
[C8] 前記プロセッサが、前記クライアントデバイスに、前記ビュー識別子と前記カメラパースペクティブの前記相対水平ロケーションとの間の関係を示す情報を送るように構成された、C7に記載の装置。
[C9] 前記プロセッサは、前記ビューの各々についての前記カメラパースペクティブの前記水平ロケーションの単調増加関数に従って前記ビューの前記識別子についての値を設定することと、前記クライアントデバイスに、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が増加することを示す、前記関係を示す情報を送ることとを行うように構成された、C8に記載の装置。
[C10] 前記プロセッサは、前記ビューの各々についての前記カメラパースペクティブの前記水平ロケーションの単調減少関数に従って前記ビューの前記識別子についての値を設定することと、前記クライアントデバイスに、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が減少することを示す、前記関係を示す情報を送ることとを行うように構成された、C8に記載の装置。
[C11] 前記プロセッサが、ネットワークストリーミングプロトコルに従って期間レベルと表現レベルとのうちの少なくとも1つにおいて前記関係を示す前記情報を送るように構成された、C8に記載の装置。
[C12] 前記プロセッサが、前記クライアントデバイスによる前記表現の選択に応答して、ストリーミングハイパーテキスト転送プロトコル(HTTPストリーミング)に従って前記表現のビデオデータを送るように構成された、C7に記載の装置。
[C13] 前記装置が、
集積回路と、
マイクロプロセッサと、
前記プロセッサを含むワイヤレス通信デバイスと
のうちの少なくとも1つを備える、C7に記載の装置。
[C14] ビデオデータについての情報をシグナリングするための装置であって、前記装置は、
マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信するための手段と、
前記2つ以上のビューの各々についてのカメラパースペクティブの水平ロケーションを判断するための手段と、
ビュー識別子が前記カメラパースペクティブの相対水平ロケーションに対応するように、前記2つ以上のビューに前記ビュー識別子を割り当てるための手段と、
前記マルチメディアコンテンツの表現を形成するための手段と、なお前記表現は前記2つ以上のビューのサブセットを備え、
クライアントデバイスに、前記マルチメディアコンテンツの前記表現のマニフェストの一部として、前記表現についての最大ビュー識別子と最小ビュー識別子とを示す情報を送るための手段と
を備える、
装置。
[C15] 前記クライアントデバイスに、前記ビュー識別子と前記カメラパースペクティブの前記相対水平ロケーションとの間の関係を示す情報を送るための手段をさらに備える、C14に記載の装置。
[C16] 前記ビューに前記ビュー識別子を割り当てるための前記手段が、前記ビューの各々についての前記カメラパースペクティブの前記水平ロケーションの単調増加関数に従って前記ビューの前記識別子についての値を設定するための手段を備え、
前記関係を示す前記情報を送るための前記手段は、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現のビュー識別子についての値が増加することを示す、情報を送るための手段を備える、
C15に記載の装置。
[C17] 前記ビューに前記ビュー識別子を割り当てるための前記手段が、前記ビューの各々についての前記カメラパースペクティブの前記水平ロケーションの単調減少関数に従って前記ビューの前記識別子についての値を設定するための手段を備え、
前記関係を示す前記情報を送るための前記手段は、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現のビュー識別子についての値が減少することを示す、情報を送るための手段を備える、
C15に記載の装置。
[C18] 前記関係を示す前記情報を送るための前記手段が、ネットワークストリーミングプロトコルに従って期間レベルと表現レベルとのうちの少なくとも1つにおいて前記関係を示す前記情報を送るための手段を備える、C15に記載の装置。
[C19] 前記クライアントデバイスによる前記表現の選択に応答して、ストリーミングハイパーテキスト転送プロトコル(HTTPストリーミング)に従って前記表現のビデオデータを送るための手段をさらに備える、C14に記載の装置。
[C20] 実行されたとき、ビデオデータについての情報をシグナリングするためのデバイスのプロセッサに、
マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信することと、
前記2つ以上のビューの各々についてのカメラパースペクティブの水平ロケーションを判断することと、
ビュー識別子が前記カメラパースペクティブの相対水平ロケーションに対応するように、前記2つ以上のビューに前記ビュー識別子を割り当てることと、
前記マルチメディアコンテンツの表現を形成することと、なお前記表現は前記2つ以上のビューのサブセットを備え、
クライアントデバイスに、前記マルチメディアコンテンツの前記表現のマニフェストの一部として、前記表現についての最大ビュー識別子と最小ビュー識別子とを示す情報を送ることと
を行わせる、命令を記憶したコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
[C21] 前記クライアントデバイスに、前記ビュー識別子と前記カメラパースペクティブの前記相対水平ロケーションとの間の関係を示す情報を送ることを前記プロセッサに行わせる命令をさらに備える、C20に記載のコンピュータプログラム製品。
[C22] 前記ビューに前記ビュー識別子を割り当てることを前記プロセッサに行わせる前記命令が、前記ビューの各々についての前記カメラパースペクティブの前記水平ロケーションの単調増加関数に従って前記ビューの前記識別子についての値を設定することを前記プロセッサに行わせる命令を備え、
前記情報を送ることは、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現のビュー識別子についての値が増加することを示す、情報を送ることを備える、
C21に記載のコンピュータプログラム製品。
[C23] 前記ビューに前記ビュー識別子を割り当てることを前記プロセッサに行わせる前記命令が、前記ビューの各々についての前記カメラパースペクティブの前記水平ロケーションの単調減少関数に従って前記ビューの前記識別子についての値を設定することを前記プロセッサに行わせる命令を備え、
前記情報を送ることは、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現のビュー識別子についての値が減少することを示す、情報を送ることを備える、
C21に記載のコンピュータプログラム製品。
[C24] 前記関係を示す前記情報を送ることを前記プロセッサに行わせる前記命令が、ネットワークストリーミングプロトコルに従って期間レベルと表現レベルとのうちの少なくとも1つにおいて前記関係を示す前記情報を送ることを前記プロセッサに行わせる命令を備える、C21に記載のコンピュータプログラム製品。
[C25] 前記クライアントデバイスによる前記表現の選択に応答して、ストリーミングハイパーテキスト転送プロトコル(HTTPストリーミング)に従って前記表現のビデオデータを送ることを前記プロセッサに行わせる命令をさらに備える、C20に記載のコンピュータプログラム製品。
[C26] ビデオデータについての情報を受信する方法であって、前記方法は、
表現についての最大ビュー識別子と前記表現についての最小ビュー識別子とを示す情報を受信することと、なお前記最大ビュー識別子は、シーンの第1のビューについてのビュー識別子を備え、前記最小ビュー識別子が、前記シーンの第2のビューについてのビュー識別子を備え、前記表現が、前記第1のビューと前記第2のビューとを含む2つ以上のビューについてのビデオデータを備え、
前記最大ビュー識別子と前記最小ビュー識別子とに基づいて、前記表現の前記2つ以上のビューについてのカメラパースペクティブの最大水平ロケーションと、前記表現の前記2つ以上のビューについてのカメラパースペクティブの最小水平ロケーションとを判断することと、なお前記2つ以上のビューについてのビュー識別子は前記2つ以上のビューについての前記カメラパースペクティブの相対水平ロケーションに対応するように、前記ビュー識別子が割り当てられ、
前記表現の前記2つ以上のビューについての前記カメラパースペクティブの前記判断された最大および最小水平ロケーションに少なくとも部分的に基づいて前記表現の前記ビデオデータの少なくとも一部分を要求することと
を備える、
方法。
[C27] クライアントデバイスへの、前記ビュー識別子と前記カメラパースペクティブの前記相対水平ロケーションとの間の関係を示す情報を受信することをさらに備える、C26に記載の方法。
[C28] 前記関係を示す前記情報を受信することは、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が増加することを示す、情報を受信することを備え、
前記最大水平ロケーションを判断することは、前記受信した情報に基づいて、前記最大水平ロケーションが前記シーンの前記第1のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することを備え、
前記最小水平ロケーションを判断することは、前記受信した情報に基づいて、前記最小水平ロケーションが前記シーンの前記第2のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することを備える、
C27に記載の方法。
[C29] 前記関係を示す前記情報を受信することは、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が減少することを示す、情報を受信することを備え、
前記最大水平ロケーションを判断することは、前記受信した情報に基づいて、前記最大水平ロケーションが前記シーンの前記第2のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することを備え、
前記最小水平ロケーションを判断することは、前記受信した情報に基づいて、前記最小水平ロケーションが前記シーンの前記第1のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することを備える、
C27に記載の方法。
[C30] 前記関係を示す前記情報を受信することが、ネットワークストリーミングプロトコルに従って期間レベルと表現レベルとのうちの少なくとも1つにおいて前記関係を示す前記情報を受信することを備える、C27に記載の方法。
[C31] 前記表現のマニフェストに基づいて前記表現を選択することと、なお前記マニフェストは、前記表現についての前記最大ビュー識別子と前記最小ビュー識別子とを示す前記情報を備え、
前記選択に応答して、ストリーミングハイパーテキスト転送プロトコル(HTTPストリーミング)に従って前記表現のビデオデータを受信することと
をさらに備える、C26に記載の方法。
[C32] ビデオデータについての情報を受信するための装置であって、前記装置は、表現についての最大ビュー識別子と前記表現についての最小ビュー識別子とを示す情報を受信することと、なお前記最大ビュー識別子は、シーンの第1のビューについてのビュー識別子を備え、前記最小ビュー識別子が、前記シーンの第2のビューについてのビュー識別子を備え、前記表現は、前記第1のビューと前記第2のビューとを含む2つ以上のビューについてのビデオデータを備え、前記最大ビュー識別子と前記最小ビュー識別子とに基づいて、前記表現の前記2つ以上のビューについてのカメラパースペクティブの最大水平ロケーションと、前記表現の前記2つ以上のビューについてのカメラパースペクティブの最小水平ロケーションとを判断することと、なお前記2つ以上のビューについてのビュー識別子は前記2つ以上のビューについての前記カメラパースペクティブの相対水平ロケーションに対応するように、前記ビュー識別子が割り当てられ、前記表現の前記2つ以上のビューについての前記カメラパースペクティブの前記判断された最大および最小水平ロケーションに少なくとも部分的に基づいて前記表現の前記ビデオデータの少なくとも一部分を要求することとを行うように構成されたプロセッサを備える、装置。
[C33] 前記プロセッサが、クライアントデバイスへの、前記ビュー識別子と前記カメラパースペクティブの前記相対水平ロケーションとの間の関係を示す情報を受信するように構成された、C32に記載の装置。
[C34] 前記プロセッサは、前記関係を示す前記情報が、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が増加することを示すとき、前記受信した情報に基づいて、前記最大水平ロケーションが前記シーンの前記第1のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することと、前記受信した情報に基づいて、前記最小水平ロケーションが前記シーンの前記第2のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することとを行うように構成された、C33に記載の装置。
[C35] 前記プロセッサは、前記関係を示す前記情報が、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が減少することを示すとき、前記受信した情報に基づいて、前記最大水平ロケーションが前記シーンの前記第2のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することと、前記受信した情報に基づいて、前記最小水平ロケーションが前記シーンの前記第1のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することとを行うように構成された、C33に記載の装置。
[C36] 前記関係を示す前記情報を受信するために、前記プロセッサが、ネットワークストリーミングプロトコルに従って期間レベルと表現レベルとのうちの少なくとも1つにおいて前記関係を示す前記情報を受信するように構成された、C33に記載の装置。
[C37] 前記プロセッサは、前記表現のマニフェストに基づいて前記表現を選択することと、なお前記マニフェストは、前記表現についての前記最大ビュー識別子と前記最小ビュー識別子とを示す前記情報を備え、前記選択に応答して、ストリーミングハイパーテキスト転送プロトコル(HTTPストリーミング)に従って前記表現のビデオデータを受信することとを行うようにさらに構成された、C32に記載の装置。
[C38] 前記装置が、
集積回路と、
マイクロプロセッサと、
前記プロセッサを含むワイヤレス通信デバイスと
のうちの少なくとも1つを備える、C32に記載の装置。
[C39] ビデオデータについての情報を受信するための装置であって、前記装置は、
表現についての最大ビュー識別子と前記表現についての最小ビュー識別子とを示す情報を受信するための手段と、なお前記最大ビュー識別子が、シーンの第1のビューについてのビュー識別子を備え、前記最小ビュー識別子が、前記シーンの第2のビューについてのビュー識別子を備え、前記表現が、前記第1のビューと前記第2のビューとを含む2つ以上のビューについてのビデオデータを備え、
前記最大ビュー識別子と前記最小ビュー識別子とに基づいて、前記表現の前記2つ以上のビューについてのカメラパースペクティブの最大水平ロケーションと、前記表現の前記2つ以上のビューについてのカメラパースペクティブの最小水平ロケーションとを判断するための手段と、なお前記2つ以上のビューについてのビュー識別子が前記2つ以上のビューについての前記カメラパースペクティブの相対水平ロケーションに対応するように、前記ビュー識別子が割り当てられる、判断するための手段と、
前記表現の前記2つ以上のビューについての前記カメラパースペクティブの前記判断された最大および最小水平ロケーションに少なくとも部分的に基づいて前記表現の前記ビデオデータの少なくとも一部分を要求するための手段と
を備える、
装置。
[C40] クライアントデバイスへの、前記ビュー識別子と前記カメラパースペクティブの前記相対水平ロケーションとの間の関係を示す情報を受信するための手段をさらに備える、C39に記載の装置。
[C41] 前記関係を示す前記情報を受信するための前記手段は、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が増加することを示す、情報を受信するための手段を備え、
前記最大水平ロケーションを判断するための前記手段は、前記受信した情報に基づいて、前記最大水平ロケーションが前記シーンの前記第1のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断するための手段を備え、
前記最小水平ロケーションを判断するための前記手段は、前記受信した情報に基づいて、前記最小水平ロケーションが前記シーンの前記第2のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断するための手段を備える、C40に記載の装置。
[C42] 前記関係を示す前記情報を受信するための前記手段は、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が減少することを示す、情報を受信するための手段を備え、
前記最大水平ロケーションを判断するための前記手段は、前記受信した情報に基づいて、前記最大水平ロケーションが前記シーンの前記第2のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断するための手段を備え、
前記最小水平ロケーションを判断するための前記手段は、前記受信した情報に基づいて、前記最小水平ロケーションが前記シーンの前記第1のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断するための手段を備える、C40に記載の装置。
[C43] 前記関係を示す前記情報を受信するための前記手段が、ネットワークストリーミングプロトコルに従って期間レベルと表現レベルとのうちの少なくとも1つにおいて前記関係を示す前記情報を受信するための手段を備える、C40に記載の装置。
[C44] 前記表現のマニフェストに基づいて前記表現を選択するための手段と、なお前記マニフェストは、前記表現についての前記最大ビュー識別子と前記最小ビュー識別子とを示す前記情報を備え、
前記選択に応答して、ストリーミングハイパーテキスト転送プロトコル(HTTPストリーミング)に従って前記表現のビデオデータを受信するための手段と
をさらに備える、C39に記載の装置。
[C45] 実行されたとき、ビデオデータについての情報を受信するためのデバイスのプロセッサに、
表現についての最大ビュー識別子と前記表現についての最小ビュー識別子とを示す情報を受信することと、なお前記最大ビュー識別子は、シーンの第1のビューについてのビュー識別子を備え、前記最小ビュー識別子が、前記シーンの第2のビューについてのビュー識別子を備え、前記表現が、前記第1のビューと前記第2のビューとを含む2つ以上のビューについてのビデオデータを備え、
前記最大ビュー識別子と前記最小ビュー識別子とに基づいて、前記表現の前記2つ以上のビューについてのカメラパースペクティブの最大水平ロケーションと、前記表現の前記2つ以上のビューについてのカメラパースペクティブの最小水平ロケーションとを判断することと、なお前記2つ以上のビューについてのビュー識別子は前記2つ以上のビューについての前記カメラパースペクティブの相対水平ロケーションに対応するように、前記ビュー識別子が割り当てられ、
前記表現の前記2つ以上のビューについての前記カメラパースペクティブの前記判断された最大および最小水平ロケーションに少なくとも部分的に基づいて前記表現の前記ビデオデータの少なくとも一部分を要求することと
を行わせる、命令を記憶したコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
[C46] クライアントデバイスへの、前記ビュー識別子と前記カメラパースペクティブの前記相対水平ロケーションとの間の関係を示す情報を受信することを前記プロセッサに行わせる命令をさらに備える、C45に記載のコンピュータプログラム製品。
[C47] 前記関係を示す前記情報を受信することを前記プロセッサに行わせる前記命令は、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が増加することを示す、情報を受信することを前記プロセッサに行わせる命令を備え、
前記最大水平ロケーションを判断することを前記プロセッサに行わせる前記命令は、前記受信した情報に基づいて、前記最大水平ロケーションが前記シーンの前記第1のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することを前記プロセッサに行わせる命令を備え、
前記最小水平ロケーションを判断することを前記プロセッサに行わせる前記命令は、前記受信した情報に基づいて、前記最小水平ロケーションが前記シーンの前記第2のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することを前記プロセッサに行わせる命令を備える、
C46に記載のコンピュータプログラム製品。
[C48] 前記関係を示す前記情報を受信することを前記プロセッサに行わせる前記命令は、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が減少することを示す、情報を受信することを前記プロセッサに行わせる命令を備え、
前記最大水平ロケーションを判断することを前記プロセッサに行わせる前記命令は、前記受信した情報に基づいて、前記最大水平ロケーションが前記シーンの前記第2のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することを前記プロセッサに行わせる命令を備え、
前記最小水平ロケーションを判断することを前記プロセッサに行わせる前記命令は、前記受信した情報に基づいて、前記最小水平ロケーションが前記シーンの前記第1のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することを前記プロセッサに行わせる命令を備える、
C46に記載のコンピュータプログラム製品。
[C49] 前記関係を示す前記情報を受信することを前記プロセッサに行わせる前記命令が、ネットワークストリーミングプロトコルに従って期間レベルと表現レベルとのうちの少なくとも1つにおいて前記関係を示す前記情報を受信することを前記プロセッサに行わせる命令を備える、C46に記載のコンピュータプログラム製品。
[C50] 前記表現のマニフェストに基づいて前記表現を選択することと、なお前記マニフェストが、前記表現についての前記最大ビュー識別子と前記最小ビュー識別子とを示す前記情報を備え、
前記選択に応答して、ストリーミングハイパーテキスト転送プロトコル(HTTPストリーミング)に従って前記表現のビデオデータを受信することと
を前記プロセッサに行わせる命令をさらに備える、C45に記載のコンピュータプログラム製品。

Claims (42)

  1. ビデオデータについての情報をシグナリングする方法であって、前記方法は、
    マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信することと、
    前記2つ以上のビューの各々についてのカメラパースペクティブの水平ロケーションを判断することと、
    ビュー識別子が前記カメラパースペクティブの相対水平ロケーションに対応するように、前記2つ以上のビューに前記ビュー識別子を前記相対水平ロケーションの単調増加関数または単調減少関数に従って割り当てることと、
    前記マルチメディアコンテンツの表現を形成することと、前記表現は前記2つ以上のビューのサブセットを備え、
    クライアントデバイスに、前記マルチメディアコンテンツの前記表現のマニフェストの一部として、前記表現についての最大ビュー識別子と最小ビュー識別子とを示す情報を送ることと
    前記クライアントデバイスに、前記ビュー識別子と前記カメラパースペクティブの前記相対水平ロケーションとの間の関係を示す情報を送ること、ここにおいて、前記関係を示す前記情報は、前記マルチメディアコンテンツの前記2つ以上のビューの前記水平ロケーションの順序付けを記述するビュー順序情報を含む、と、
    を備える、方法。
  2. 前記ビューに前記ビュー識別子を割り当てることが、前記ビューの各々についての前記カメラパースペクティブの前記水平ロケーションの単調増加関数に従って前記ビューの前記識別子についての値を設定することを備え、
    前記関係を示す前記情報を送ることは、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が増加することを示す、情報を送ることを備える、
    請求項に記載の方法。
  3. 前記ビューに前記ビュー識別子を割り当てることが、前記ビューの各々についての前記カメラパースペクティブの前記水平ロケーションの単調減少関数に従って前記ビューの前記識別子についての値を設定することを備え、
    前記関係を示す前記情報を送ることは、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が減少することを示す、情報を送ることを備える、
    請求項に記載の方法。
  4. 前記関係を示す前記情報を送ることが、前記マルチメディアコンテンツの各表現についての最大ビュー識別子と最小ビュー識別子とを示す前記情報それぞれに対するビュー順序情報含む前記関係を示す前記情報を送ることを備える、請求項に記載の方法。
  5. 前記クライアントデバイスによる前記表現の選択に応答して、ストリーミングハイパーテキスト転送プロトコル(HTTPストリーミング)に従って前記表現のビデオデータを送ることをさらに備える、請求項1に記載の方法。
  6. ビデオデータについての情報をシグナリングするための装置であって、前記装置は、マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信することと、前記2つ以上のビューの各々についてのカメラパースペクティブの水平ロケーションを判断することと、ビュー識別子が前記カメラパースペクティブの相対水平ロケーションに対応するように、前記2つ以上のビューに前記ビュー識別子を前記相対水平ロケーションの単調増加関数または単調減少関数に従って割り当てることと、前記マルチメディアコンテンツの表現を形成することと、なお前記表現は前記2つ以上のビューのサブセットを備え、クライアントデバイスに、前記マルチメディアコンテンツの前記表現のマニフェストの一部として、前記表現についての最大ビュー識別子と最小ビュー識別子とを示す情報を送ることと
    前記クライアントデバイスに、前記ビュー識別子と前記カメラパースペクティブの前記相対水平ロケーションとの間の関係を示す情報を送ること、ここにおいて、前記関係を示す前記情報は、前記マルチメディアコンテンツの前記2つ以上のビューの前記水平ロケーションの順序付けを記述するビュー順序情報を含む、と、
    を行うように構成されたプロセッサを備える、装置。
  7. 前記プロセッサは、前記ビューの各々についての前記カメラパースペクティブの前記水平ロケーションの単調増加関数に従って前記ビューの前記識別子についての値を設定することと、前記クライアントデバイスに、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が増加することを示す、前記関係を示す情報を送ることとを行うように構成された、請求項に記載の装置。
  8. 前記プロセッサは、前記ビューの各々についての前記カメラパースペクティブの前記水平ロケーションの単調減少関数に従って前記ビューの前記識別子についての値を設定することと、前記クライアントデバイスに、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が減少することを示す、前記関係を示す情報を送ることとを行うように構成された、請求項に記載の装置。
  9. 前記プロセッサが、前記マルチメディアコンテンツの各表現についての最大ビュー識別子と最小ビュー識別子とを示す前記情報それぞれに対するビュー順序情報含む前記関係を示す前記情報を送るように構成された、請求項に記載の装置。
  10. 前記プロセッサが、前記クライアントデバイスによる前記表現の選択に応答して、ストリーミングハイパーテキスト転送プロトコル(HTTPストリーミング)に従って前記表現のビデオデータを送るように構成された、請求項に記載の装置。
  11. 前記装置が、
    集積回路と、
    マイクロプロセッサと、
    前記プロセッサを含むワイヤレス通信デバイスと
    のうちの少なくとも1つを備える、請求項に記載の装置。
  12. ビデオデータについての情報をシグナリングするための装置であって、前記装置は、
    マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信するための手段と、
    前記2つ以上のビューの各々についてのカメラパースペクティブの水平ロケーションを判断するための手段と、
    ビュー識別子が前記カメラパースペクティブの相対水平ロケーションに対応するように、前記2つ以上のビューに前記ビュー識別子を前記相対水平ロケーションの単調増加関数または単調減少関数に従って割り当てるための手段と、
    前記マルチメディアコンテンツの表現を形成するための手段と、なお前記表現は前記2つ以上のビューのサブセットを備え、
    クライアントデバイスに、前記マルチメディアコンテンツの前記表現のマニフェストの一部として、前記表現についての最大ビュー識別子と最小ビュー識別子とを示す情報を送るための手段と
    前記クライアントデバイスに、前記ビュー識別子と前記カメラパースペクティブの前記相対水平ロケーションとの間の関係を示す情報を送るための手段、ここにおいて、前記関係を示す前記情報は、前記マルチメディアコンテンツの前記2つ以上のビューの前記水平ロケーションの順序付けを記述するビュー順序情報を含む、と、
    を備える、装置。
  13. 前記ビューに前記ビュー識別子を割り当てるための前記手段が、前記ビューの各々についての前記カメラパースペクティブの前記水平ロケーションの単調増加関数に従って前記ビューの前記識別子についての値を設定するための手段を備え、
    前記関係を示す前記情報を送るための前記手段は、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現のビュー識別子についての値が増加することを示す、情報を送るための手段を備える、
    請求項12に記載の装置。
  14. 前記ビューに前記ビュー識別子を割り当てるための前記手段が、前記ビューの各々についての前記カメラパースペクティブの前記水平ロケーションの単調減少関数に従って前記ビューの前記識別子についての値を設定するための手段を備え、
    前記関係を示す前記情報を送るための前記手段は、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現のビュー識別子についての値が減少することを示す、情報を送るための手段を備える、
    請求項12に記載の装置。
  15. 前記関係を示す前記情報を送るための前記手段が、前記マルチメディアコンテンツの各表現についての最大ビュー識別子と最小ビュー識別子とを示す前記情報それぞれに対するビュー順序情報含む前記関係を示す前記情報を送るための手段を備える、請求項12に記載の装置。
  16. 前記クライアントデバイスによる前記表現の選択に応答して、ストリーミングハイパーテキスト転送プロトコル(HTTPストリーミング)に従って前記表現のビデオデータを送るための手段をさらに備える、請求項12に記載の装置。
  17. 実行されたとき、ビデオデータについての情報をシグナリングするためのデバイスのプロセッサに、
    マルチメディアコンテンツについて、シーンの2つ以上のビューについてのビデオデータを受信することと、
    前記2つ以上のビューの各々についてのカメラパースペクティブの水平ロケーションを判断することと、
    ビュー識別子が前記カメラパースペクティブの相対水平ロケーションに対応するように、前記2つ以上のビューに前記ビュー識別子を前記相対水平ロケーションの単調増加関数または単調減少関数に従って割り当てることと、
    前記マルチメディアコンテンツの表現を形成することと、なお前記表現は前記2つ以上のビューのサブセットを備え、
    クライアントデバイスに、前記マルチメディアコンテンツの前記表現のマニフェストの一部として、前記表現についての最大ビュー識別子と最小ビュー識別子とを示す情報を送ることと
    前記クライアントデバイスに、前記ビュー識別子と前記カメラパースペクティブの前記相対水平ロケーションとの間の関係を示す情報を送ること、ここにおいて、前記関係を示す前記情報は、前記マルチメディアコンテンツの前記2つ以上のビューの前記水平ロケーションの順序付けを記述するビュー順序情報を含む、と、
    を行わせる、命令を記憶したコンピュータ読み取り可能な記憶媒体。
  18. 前記ビューに前記ビュー識別子を割り当てることを前記プロセッサに行わせる前記命令が、前記ビューの各々についての前記カメラパースペクティブの前記水平ロケーションの単調増加関数に従って前記ビューの前記識別子についての値を設定することを前記プロセッサに行わせる命令を備え、
    前記情報を送ることは、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現のビュー識別子についての値が増加することを示す、情報を送ることを備える、
    請求項17に記載のコンピュータ読み取り可能な記憶媒体。
  19. 前記ビューに前記ビュー識別子を割り当てることを前記プロセッサに行わせる前記命令が、前記ビューの各々についての前記カメラパースペクティブの前記水平ロケーションの単調減少関数に従って前記ビューの前記識別子についての値を設定することを前記プロセッサに行わせる命令を備え、
    前記情報を送ることは、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現のビュー識別子についての値が減少することを示す、情報を送ることを備える、
    請求項17に記載のコンピュータ読み取り可能な記憶媒体。
  20. 前記関係を示す前記情報を送ることを前記プロセッサに行わせる前記命令が、前記マルチメディアコンテンツの各表現についての最大ビュー識別子と最小ビュー識別子とを示す前記情報それぞれに対するビュー順序情報含む前記関係を示す前記情報を送ることを前記プロセッサに行わせる命令を備える、請求項17に記載のコンピュータ読み取り可能な記憶媒体。
  21. 前記クライアントデバイスによる前記表現の選択に応答して、ストリーミングハイパーテキスト転送プロトコル(HTTPストリーミング)に従って前記表現のビデオデータを送ることを前記プロセッサに行わせる命令をさらに備える、請求項17記載のコンピュータ読み取り可能な記憶媒体。
  22. ビデオデータについての情報を受信する方法であって、前記方法は、
    表現についての最大ビュー識別子と前記表現についての最小ビュー識別子とを示す情報を受信すること、ここにおいて、前記最大ビュー識別子は、シーンの第1のビューについてのビュー識別子を備え、前記最小ビュー識別子が、前記シーンの第2のビューについてのビュー識別子を備え、前記表現が、前記第1のビューと前記第2のビューとを含む2つ以上のビューについてのビデオデータを備えと、
    前記最大ビュー識別子と前記最小ビュー識別子とに基づいて、前記表現の前記2つ以上のビューについてのカメラパースペクティブの最大水平ロケーションと、前記表現の前記2つ以上のビューについてのカメラパースペクティブの最小水平ロケーションとを判断すること、ここにおいて、前記2つ以上のビューについてのビュー識別子は前記2つ以上のビューについての前記カメラパースペクティブの相対水平ロケーションに対応するように、前記ビュー識別子が前記相対水平ロケーションの単調増加関数または単調減少関数に従って割り当てられと、
    前記表現の前記2つ以上のビューについての前記カメラパースペクティブの前記判断された最大および最小水平ロケーションに少なくとも部分的に基づいて前記表現の前記ビデオデータの少なくとも一部分を要求することと
    クライアントデバイスへの、前記ビュー識別子と前記カメラパースペクティブの前記相対水平ロケーションとの間の関係を示す情報を受信すること、ここにおいて、前記関係を示す前記情報は、前記表現の前記2つ以上のビューの水平ロケーションの順序付けを記述するビュー順序情報を含む、と
    を備える、方法。
  23. 前記関係を示す前記情報を受信することは、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が増加することを示す、情報を受信することを備え、
    前記最大水平ロケーションを判断することは、前記受信した情報に基づいて、前記最大水平ロケーションが前記シーンの前記第1のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することを備え、
    前記最小水平ロケーションを判断することは、前記受信した情報に基づいて、前記最小水平ロケーションが前記シーンの前記第2のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することを備える、
    請求項22に記載の方法。
  24. 前記関係を示す前記情報を受信することは、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が減少することを示す、情報を受信することを備え、
    前記最大水平ロケーションを判断することは、前記受信した情報に基づいて、前記最大水平ロケーションが前記シーンの前記第2のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することを備え、
    前記最小水平ロケーションを判断することは、前記受信した情報に基づいて、前記最小水平ロケーションが前記シーンの前記第1のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することを備える、
    請求項22に記載の方法。
  25. 前記関係を示す前記情報を受信することが、前記表現のそれぞれについての最大ビュー識別子と最小ビュー識別子とを示す前記情報それぞれに対するビュー順序情報含む前記関係を示す前記情報を受信することを備える、請求項22に記載の方法。
  26. 前記表現のマニフェストに基づいて前記表現を選択することと、なお前記マニフェストは、前記表現についての前記最大ビュー識別子と前記最小ビュー識別子とを示す前記情報を備え、
    前記選択に応答して、ストリーミングハイパーテキスト転送プロトコル(HTTPストリーミング)に従って前記表現のビデオデータを受信することと
    をさらに備える、請求項22に記載の方法。
  27. ビデオデータについての情報を受信するための装置であって、前記装置は、表現についての最大ビュー識別子と前記表現についての最小ビュー識別子とを示す情報を受信すること、ここにおいて、前記最大ビュー識別子は、シーンの第1のビューについてのビュー識別子を備え、前記最小ビュー識別子が、前記シーンの第2のビューについてのビュー識別子を備え、前記表現は、前記第1のビューと前記第2のビューとを含む2つ以上のビューについてのビデオデータを備えと、前記最大ビュー識別子と前記最小ビュー識別子とに基づいて、前記表現の前記2つ以上のビューについてのカメラパースペクティブの最大水平ロケーションと、前記表現の前記2つ以上のビューについてのカメラパースペクティブの最小水平ロケーションとを判断すること、ここにおいて、前記2つ以上のビューについてのビュー識別子は前記2つ以上のビューについての前記カメラパースペクティブの相対水平ロケーションに対応するように、前記ビュー識別子が前記相対水平ロケーションの単調増加関数または単調減少関数に従って割り当てられと、前記表現の前記2つ以上のビューについての前記カメラパースペクティブの前記判断された最大および最小水平ロケーションに少なくとも部分的に基づいて前記表現の前記ビデオデータの少なくとも一部分を要求することと
    クライアントデバイスへの、前記ビュー識別子と前記カメラパースペクティブの前記相対水平ロケーションとの間の関係を示す情報を受信すること、ここにおいて、前記関係を示す前記情報は、前記表現の前記2つ以上のビューの水平ロケーションの順序付けを記述するビュー順序情報を含む、と、
    を行うように構成されたプロセッサを備える、装置。
  28. 前記プロセッサは、前記関係を示す前記情報が、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が増加することを示すとき、前記受信した情報に基づいて、前記最大水平ロケーションが前記シーンの前記第1のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することと、前記受信した情報に基づいて、前記最小水平ロケーションが前記シーンの前記第2のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することとを行うように構成された、請求項27に記載の装置。
  29. 前記プロセッサは、前記関係を示す前記情報が、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が減少することを示すとき、前記受信した情報に基づいて、前記最大水平ロケーションが前記シーンの前記第2のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することと、前記受信した情報に基づいて、前記最小水平ロケーションが前記シーンの前記第1のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することとを行うように構成された、請求項27に記載の装置。
  30. 前記関係を示す前記情報を受信するために、前記プロセッサが、前記表現のそれぞれについての最大ビュー識別子と最小ビュー識別子とを示す前記情報それぞれに対するビュー順序情報含む前記関係を示す前記情報を受信するように構成された、請求項27に記載の装置。
  31. 前記プロセッサは、前記表現のマニフェストに基づいて前記表現を選択することと、なお前記マニフェストは、前記表現についての前記最大ビュー識別子と前記最小ビュー識別子とを示す前記情報を備え、前記選択に応答して、ストリーミングハイパーテキスト転送プロトコル(HTTPストリーミング)に従って前記表現のビデオデータを受信することとを行うようにさらに構成された、請求項27に記載の装置。
  32. 前記装置が、
    集積回路と、
    マイクロプロセッサと、
    前記プロセッサを含むワイヤレス通信デバイスと
    のうちの少なくとも1つを備える、請求項27に記載の装置。
  33. ビデオデータについての情報を受信するための装置であって、前記装置は、
    表現についての最大ビュー識別子と前記表現についての最小ビュー識別子とを示す情報を受信するための手段、ここにおいて、前記最大ビュー識別子が、シーンの第1のビューについてのビュー識別子を備え、前記最小ビュー識別子が、前記シーンの第2のビューについてのビュー識別子を備え、前記表現が、前記第1のビューと前記第2のビューとを含む2つ以上のビューについてのビデオデータを備えと、
    前記最大ビュー識別子と前記最小ビュー識別子とに基づいて、前記表現の前記2つ以上のビューについてのカメラパースペクティブの最大水平ロケーションと、前記表現の前記2つ以上のビューについてのカメラパースペクティブの最小水平ロケーションとを判断するための手段、ここにおいて、前記2つ以上のビューについてのビュー識別子が前記2つ以上のビューについての前記カメラパースペクティブの相対水平ロケーションに対応するように、前記ビュー識別子が前記相対水平ロケーションの単調増加関数または単調減少関数に従って割り当てられと、
    前記表現の前記2つ以上のビューについての前記カメラパースペクティブの前記判断された最大および最小水平ロケーションに少なくとも部分的に基づいて前記表現の前記ビデオデータの少なくとも一部分を要求するための手段と、
    クライアントデバイスへの、前記ビュー識別子と前記カメラパースペクティブの前記相対水平ロケーションとの間の関係を示す情報を受信するための手段、ここにおいて、前記関係を示す前記情報は、前記表現の前記2つ以上のビューの水平ロケーションの順序付けを記述するビュー順序情報を含む、と、
    を備える、装置。
  34. 前記関係を示す前記情報を受信するための前記手段は、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が増加することを示す、情報を受信するための手段を備え、
    前記最大水平ロケーションを判断するための前記手段は、前記受信した情報に基づいて、前記最大水平ロケーションが前記シーンの前記第1のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断するための手段を備え、
    前記最小水平ロケーションを判断するための前記手段は、前記受信した情報に基づいて、前記最小水平ロケーションが前記シーンの前記第2のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断するための手段を備える、請求項33に記載の装置。
  35. 前記関係を示す前記情報を受信するための前記手段は、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が減少することを示す、情報を受信するための手段を備え、
    前記最大水平ロケーションを判断するための前記手段は、前記受信した情報に基づいて、前記最大水平ロケーションが前記シーンの前記第2のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断するための手段を備え、
    前記最小水平ロケーションを判断するための前記手段は、前記受信した情報に基づいて、前記最小水平ロケーションが前記シーンの前記第1のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断するための手段を備える、請求項33に記載の装置。
  36. 前記関係を示す前記情報を受信するための前記手段が、前記表現のそれぞれについての最大ビュー識別子と最小ビュー識別子とを示す前記情報それぞれに対するビュー順序情報含む前記関係を示す前記情報を受信するための手段を備える、請求項33に記載の装置。
  37. 前記表現のマニフェストに基づいて前記表現を選択するための手段と、なお前記マニフェストは、前記表現についての前記最大ビュー識別子と前記最小ビュー識別子とを示す前記情報を備え、
    前記選択に応答して、ストリーミングハイパーテキスト転送プロトコル(HTTPストリーミング)に従って前記表現のビデオデータを受信するための手段と
    をさらに備える、請求項33に記載の装置。
  38. 実行されたとき、ビデオデータについての情報を受信するためのデバイスのプロセッサに、
    表現についての最大ビュー識別子と前記表現についての最小ビュー識別子とを示す情報を受信すること、ここにおいて、前記最大ビュー識別子は、シーンの第1のビューについてのビュー識別子を備え、前記最小ビュー識別子が、前記シーンの第2のビューについてのビュー識別子を備え、前記表現が、前記第1のビューと前記第2のビューとを含む2つ以上のビューについてのビデオデータを備えと、
    前記最大ビュー識別子と前記最小ビュー識別子とに基づいて、前記表現の前記2つ以上のビューについてのカメラパースペクティブの最大水平ロケーションと、前記表現の前記2つ以上のビューについてのカメラパースペクティブの最小水平ロケーションとを判断すること、ここにおいて、前記2つ以上のビューについてのビュー識別子は前記2つ以上のビューについての前記カメラパースペクティブの相対水平ロケーションに対応するように、前記ビュー識別子が前記相対水平ロケーションの単調増加関数または単調減少関数に従って割り当てられと、
    前記表現の前記2つ以上のビューについての前記カメラパースペクティブの前記判断された最大および最小水平ロケーションに少なくとも部分的に基づいて前記表現の前記ビデオデータの少なくとも一部分を要求することと
    クライアントデバイスへの、前記ビュー識別子と前記カメラパースペクティブの前記相対水平ロケーションとの間の関係を示す情報を受信すること、ここにおいて、前記関係を示す前記情報は、前記表現の前記2つ以上のビューの水平ロケーションの順序付けを記述するビュー順序情報を含む、と、
    を行わせる、命令を記憶したコンピュータ読み取り可能な記憶媒体。
  39. 前記関係を示す前記情報を受信することを前記プロセッサに行わせる前記命令は、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が増加することを示す、情報を受信することを前記プロセッサに行わせる命令を備え、
    前記最大水平ロケーションを判断することを前記プロセッサに行わせる前記命令は、前記受信した情報に基づいて、前記最大水平ロケーションが前記シーンの前記第1のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することを前記プロセッサに行わせる命令を備え、
    前記最小水平ロケーションを判断することを前記プロセッサに行わせる前記命令は、前記受信した情報に基づいて、前記最小水平ロケーションが前記シーンの前記第2のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することを前記プロセッサに行わせる命令を備える、
    請求項38に記載のコンピュータ読み取り可能な記憶媒体。
  40. 前記関係を示す前記情報を受信することを前記プロセッサに行わせる前記命令は、前記ビューについての前記カメラパースペクティブの前記水平ロケーションが左から右に進むにつれて、前記表現の前記ビュー識別子についての値が減少することを示す、情報を受信することを前記プロセッサに行わせる命令を備え、
    前記最大水平ロケーションを判断することを前記プロセッサに行わせる前記命令は、前記受信した情報に基づいて、前記最大水平ロケーションが前記シーンの前記第2のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することを前記プロセッサに行わせる命令を備え、
    前記最小水平ロケーションを判断することを前記プロセッサに行わせる前記命令は、前記受信した情報に基づいて、前記最小水平ロケーションが前記シーンの前記第1のビューについての前記カメラパースペクティブの前記水平ロケーションに対応すると判断することを前記プロセッサに行わせる命令を備える、
    請求項38に記載のコンピュータ読み取り可能な記憶媒体。
  41. 前記関係を示す前記情報を受信することを前記プロセッサに行わせる前記命令が、前記表現のそれぞれについての最大ビュー識別子と最小ビュー識別子とを示す前記情報それぞれに対するビュー順序情報含む前記関係を示す前記情報を受信することを前記プロセッサに行わせる命令を備える、請求項38に記載のコンピュータ読み取り可能な記憶媒体。
  42. 前記表現のマニフェストに基づいて前記表現を選択することと、なお前記マニフェストが、前記表現についての前記最大ビュー識別子と前記最小ビュー識別子とを示す前記情報を備え、
    前記選択に応答して、ストリーミングハイパーテキスト転送プロトコル(HTTPストリーミング)に従って前記表現のビデオデータを受信することと
    を前記プロセッサに行わせる命令をさらに備える、請求項38に記載のコンピュータ読み取り可能な記憶媒体。
JP2013523320A 2010-08-05 2011-08-03 ネットワークストリーミングされるビデオデータについての属性をシグナリングすること Expired - Fee Related JP5866359B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US37112510P 2010-08-05 2010-08-05
US61/371,125 2010-08-05
US13/154,285 US9226045B2 (en) 2010-08-05 2011-06-06 Signaling attributes for network-streamed video data
US13/154,285 2011-06-06
US13/154,247 US9716920B2 (en) 2010-08-05 2011-06-06 Signaling attributes for network-streamed video data
US13/154,247 2011-06-06
PCT/US2011/046481 WO2012018953A1 (en) 2010-08-05 2011-08-03 Signaling attributes for network-streamed video data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015011396A Division JP2015111897A (ja) 2010-08-05 2015-01-23 ネットワークストリーミングされるビデオデータについての属性をシグナリングすること

Publications (2)

Publication Number Publication Date
JP2013537763A JP2013537763A (ja) 2013-10-03
JP5866359B2 true JP5866359B2 (ja) 2016-02-17

Family

ID=44629988

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2013523320A Expired - Fee Related JP5866359B2 (ja) 2010-08-05 2011-08-03 ネットワークストリーミングされるビデオデータについての属性をシグナリングすること
JP2013523319A Active JP5607251B2 (ja) 2010-08-05 2011-08-03 ネットワークストリーミングされるビデオデータについての属性をシグナリングすること
JP2015011396A Pending JP2015111897A (ja) 2010-08-05 2015-01-23 ネットワークストリーミングされるビデオデータについての属性をシグナリングすること

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2013523319A Active JP5607251B2 (ja) 2010-08-05 2011-08-03 ネットワークストリーミングされるビデオデータについての属性をシグナリングすること
JP2015011396A Pending JP2015111897A (ja) 2010-08-05 2015-01-23 ネットワークストリーミングされるビデオデータについての属性をシグナリングすること

Country Status (8)

Country Link
US (2) US9716920B2 (ja)
EP (2) EP2601790B1 (ja)
JP (3) JP5866359B2 (ja)
KR (3) KR101645780B1 (ja)
CN (2) CN103081464B (ja)
BR (1) BR112013002693B1 (ja)
ES (2) ES2905128T3 (ja)
WO (2) WO2012018951A1 (ja)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007106844A2 (en) 2006-03-14 2007-09-20 Divx, Inc. Federated digital rights management scheme including trusted systems
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
JP5681641B2 (ja) 2009-01-07 2015-03-11 ソニック アイピー, インコーポレイテッド オンラインコンテンツのためのメディアガイドの特異的、収集的および自動的な生成
KR101648455B1 (ko) 2009-04-07 2016-08-16 엘지전자 주식회사 방송 송신기, 방송 수신기 및 3d 비디오 데이터 처리 방법
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US8914835B2 (en) * 2009-10-28 2014-12-16 Qualcomm Incorporated Streaming encoded video data
CA2782825C (en) 2009-12-04 2016-04-26 Divx, Llc Elementary bitstream cryptographic material transport systems and methods
US9716920B2 (en) 2010-08-05 2017-07-25 Qualcomm Incorporated Signaling attributes for network-streamed video data
KR20120020627A (ko) * 2010-08-30 2012-03-08 삼성전자주식회사 3d 영상 포맷을 이용한 영상 처리 장치 및 방법
US8914534B2 (en) 2011-01-05 2014-12-16 Sonic Ip, Inc. Systems and methods for adaptive bitrate streaming of media stored in matroska container files using hypertext transfer protocol
US9118928B2 (en) * 2011-03-04 2015-08-25 Ati Technologies Ulc Method and system for providing single view video signal based on a multiview video coding (MVC) signal stream
US9860293B2 (en) 2011-03-16 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for providing streaming content using representations
US8988512B2 (en) * 2011-04-14 2015-03-24 Mediatek Inc. Method for adjusting playback of multimedia content according to detection result of user status and related apparatus thereof
MX2013014857A (es) * 2011-06-30 2014-03-26 Ericsson Telefon Ab L M Señalizacion de imagenes de referencia.
CN102860836B (zh) * 2011-07-04 2015-01-07 株式会社东芝 图像处理装置、图像处理方法以及医用图像诊断装置
US20130042013A1 (en) * 2011-08-10 2013-02-14 Nokia Corporation Methods, apparatuses and computer program products for enabling live sharing of data
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US8909922B2 (en) 2011-09-01 2014-12-09 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
US8964977B2 (en) 2011-09-01 2015-02-24 Sonic Ip, Inc. Systems and methods for saving encoded media streamed using adaptive bitrate streaming
US9906594B2 (en) * 2012-02-21 2018-02-27 Prysm, Inc. Techniques for shaping real-time content between multiple endpoints
US9584793B2 (en) * 2012-04-09 2017-02-28 Intel Corporation Signaling three-dimensional video information in communication networks
CN111182311A (zh) * 2012-04-25 2020-05-19 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
JP6175749B2 (ja) * 2012-09-19 2017-08-09 沖電気工業株式会社 コンテンツ送信装置、プログラム及びコンテンツ送信方法
US9479779B2 (en) 2012-10-01 2016-10-25 Qualcomm Incorporated Sub-bitstream extraction for multiview, three-dimensional (3D) and scalable media bitstreams
US9781413B2 (en) 2012-10-02 2017-10-03 Qualcomm Incorporated Signaling of layer identifiers for operation points
US9154785B2 (en) * 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
WO2014063026A1 (en) 2012-10-18 2014-04-24 Interdigital Patent Holdings, Inc. Decoding complexity for mobile multimedia streaming
US9313510B2 (en) 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
US9906785B2 (en) 2013-03-15 2018-02-27 Sonic Ip, Inc. Systems, methods, and media for transcoding video data according to encoding parameters indicated by received metadata
US10397292B2 (en) 2013-03-15 2019-08-27 Divx, Llc Systems, methods, and media for delivery of content
US20140297804A1 (en) * 2013-03-28 2014-10-02 Sonic IP. Inc. Control of multimedia content streaming through client-server interactions
SG11201508375VA (en) * 2013-04-19 2015-11-27 Sony Corp Information processing apparatus, content requesting method, and computer program
US9094737B2 (en) 2013-05-30 2015-07-28 Sonic Ip, Inc. Network video streaming with trick play based on separate trick play files
US9967305B2 (en) 2013-06-28 2018-05-08 Divx, Llc Systems, methods, and media for streaming media content
US10595031B2 (en) * 2013-07-12 2020-03-17 Qualcomm Incorporated Selection of target output layers in high efficiency video coding extensions
US9270721B2 (en) * 2013-10-08 2016-02-23 Qualcomm Incorporated Switching between adaptation sets during media streaming
CN112887735B (zh) * 2014-01-03 2024-04-02 康普英国有限公司 用于hevc扩展处理的条件解析扩展语法
JP2015136060A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
JP2015136057A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
KR20160110442A (ko) 2014-01-29 2016-09-21 코닌클리즈케 케이피엔 엔.브이. 이벤트 스트리밍 프레젠테이션 확립
GB2524726B (en) * 2014-03-25 2018-05-23 Canon Kk Image data encapsulation with tile support
US10659502B2 (en) * 2014-03-31 2020-05-19 British Telecommunications Public Limited Company Multicast streaming
US9866878B2 (en) 2014-04-05 2018-01-09 Sonic Ip, Inc. Systems and methods for encoding and playing back video at different frame rates using enhancement layers
US20170188062A1 (en) * 2014-04-09 2017-06-29 Lg Electronics Inc. Method and apparatus for transmitting/receiving broadcast signal
WO2016059060A1 (en) 2014-10-14 2016-04-21 Koninklijke Kpn N.V. Managing concurrent streaming of media streams
US9667885B2 (en) * 2014-12-12 2017-05-30 Futurewei Technologies, Inc. Systems and methods to achieve interactive special effects
KR102473346B1 (ko) * 2015-06-23 2022-12-05 삼성전자주식회사 디지털 방송 서비스 방법 및 장치
TWI574547B (zh) * 2015-11-18 2017-03-11 緯創資通股份有限公司 立體影像的無線傳輸系統、方法及其裝置
CA3013111C (en) * 2016-02-02 2022-08-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Scene section and region of interest handling in video streaming
JP6669403B2 (ja) * 2016-06-03 2020-03-18 キヤノン株式会社 通信装置、通信制御方法および通信システム
US10193944B2 (en) * 2016-06-17 2019-01-29 Q Technologies Inc. Systems and methods for multi-device media broadcasting or recording with active control
CN107634930B (zh) * 2016-07-18 2020-04-03 华为技术有限公司 一种媒体数据的获取方法和装置
US10743003B1 (en) * 2016-09-01 2020-08-11 Amazon Technologies, Inc. Scalable video coding techniques
US10743004B1 (en) 2016-09-01 2020-08-11 Amazon Technologies, Inc. Scalable video coding techniques
US10498795B2 (en) 2017-02-17 2019-12-03 Divx, Llc Systems and methods for adaptive switching between multiple content delivery networks during adaptive bitrate streaming
US9872062B1 (en) * 2017-02-22 2018-01-16 Wyse Technology L.L.C. Enforcing synchronization by embedding audio within video frame data
GB2560921B (en) 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
CN110035316B (zh) * 2018-01-11 2022-01-14 华为技术有限公司 处理媒体数据的方法和装置
WO2020261689A1 (ja) 2019-06-25 2020-12-30 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
US11310303B2 (en) * 2019-10-01 2022-04-19 Tencent America LLC Methods and apparatuses for dynamic adaptive streaming over HTTP
CN111726647B (zh) * 2020-06-17 2023-05-26 京东方科技集团股份有限公司 数据分流设备和数据处理系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US7447331B2 (en) 2004-02-24 2008-11-04 International Business Machines Corporation System and method for generating a viewable video index for low bandwidth applications
MX2008011652A (es) 2006-03-29 2008-09-22 Thomson Licensing Metodos y aparatos para usarse en un sistema de codificacion de video de multiples vistas.
US20080095228A1 (en) 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
WO2008140190A1 (en) 2007-05-14 2008-11-20 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding multi-view image
RU2504917C2 (ru) 2008-10-07 2014-01-20 Телефонактиеболагет Лм Эрикссон (Пабл) Файл медиаконтейнера
KR20100040640A (ko) 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
RU2689191C2 (ru) 2009-01-26 2019-05-24 Томсон Лайсенсинг Упаковка кадров для кодирования видео
US20100259595A1 (en) 2009-04-10 2010-10-14 Nokia Corporation Methods and Apparatuses for Efficient Streaming of Free View Point Video
US9674502B2 (en) 2010-06-09 2017-06-06 Samsung Electronics Co., Ltd. Method for providing fragment-based multimedia streaming service and device for same, and method for receiving fragment-based multimedia streaming service and device for same
US9716920B2 (en) 2010-08-05 2017-07-25 Qualcomm Incorporated Signaling attributes for network-streamed video data

Also Published As

Publication number Publication date
BR112013002693B1 (pt) 2021-10-26
BR112013002693A2 (pt) 2016-05-31
EP2601789B1 (en) 2021-12-22
KR20130056296A (ko) 2013-05-29
EP2601790A1 (en) 2013-06-12
JP5607251B2 (ja) 2014-10-15
JP2013537762A (ja) 2013-10-03
US9226045B2 (en) 2015-12-29
ES2903112T3 (es) 2022-03-31
CN103053159B (zh) 2016-10-26
JP2015111897A (ja) 2015-06-18
CN103081464A (zh) 2013-05-01
KR20130056297A (ko) 2013-05-29
KR101645780B1 (ko) 2016-08-04
KR20150013938A (ko) 2015-02-05
US9716920B2 (en) 2017-07-25
US20120033037A1 (en) 2012-02-09
WO2012018953A1 (en) 2012-02-09
CN103081464B (zh) 2016-10-12
CN103053159A (zh) 2013-04-17
WO2012018951A1 (en) 2012-02-09
ES2905128T3 (es) 2022-04-07
EP2601790B1 (en) 2021-12-22
EP2601789A1 (en) 2013-06-12
KR101442996B1 (ko) 2014-09-24
JP2013537763A (ja) 2013-10-03
US20120036544A1 (en) 2012-02-09

Similar Documents

Publication Publication Date Title
JP5866359B2 (ja) ネットワークストリーミングされるビデオデータについての属性をシグナリングすること
JP6345827B2 (ja) ビデオデータをストリーミングするためのシーケンスデータセットを提供すること
EP3459247B1 (en) Most-interested region in an image
JP5551315B2 (ja) ビデオデータをストリーミングするためのサブトラックフラグメントの配列
JP6392115B2 (ja) ビデオ構成要素を多重化するためのデータを信号伝達すること
JP5770345B2 (ja) ビデオデータをストリーミングするためのビデオ切替え
JP5591932B2 (ja) ファイルフォーマットトラック選択のためのメディアエクストラクタトラック
CN114503599A (zh) 使用gltf2场景描述中的扩展来支持视频和音频数据
KR101436267B1 (ko) 비디오 구성요소들을 멀티플렉싱하기 위한 데이터의 시그널링

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140227

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140606

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150123

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160104

R150 Certificate of patent or registration of utility model

Ref document number: 5866359

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees