JP6657475B2 - 全方位ビデオを伝送する方法、全方位ビデオを受信する方法、全方位ビデオの伝送装置及び全方位ビデオの受信装置 - Google Patents

全方位ビデオを伝送する方法、全方位ビデオを受信する方法、全方位ビデオの伝送装置及び全方位ビデオの受信装置 Download PDF

Info

Publication number
JP6657475B2
JP6657475B2 JP2019510706A JP2019510706A JP6657475B2 JP 6657475 B2 JP6657475 B2 JP 6657475B2 JP 2019510706 A JP2019510706 A JP 2019510706A JP 2019510706 A JP2019510706 A JP 2019510706A JP 6657475 B2 JP6657475 B2 JP 6657475B2
Authority
JP
Japan
Prior art keywords
video
metadata
information
area
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019510706A
Other languages
English (en)
Other versions
JP2019525675A (ja
Inventor
チャンウォン リ
チャンウォン リ
セチン オ
セチン オ
チョンヨル ソ
チョンヨル ソ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2019525675A publication Critical patent/JP2019525675A/ja
Application granted granted Critical
Publication of JP6657475B2 publication Critical patent/JP6657475B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00137—Transmission
    • H04N1/0014—Transmission via e-mail

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は全方位メディア（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｍｅｄｉａ）を送受信する方法及び装置に関し、より詳しくは、全方位ビデオ及び全方位ビデオに関連するメタデータを送受信する方法及び装置に関する。
アナログ放送信号送信が終了するにつれて、デジタル放送信号を送受信するための様々な技術が開発されている。デジタル放送信号はアナログ放送信号に比べてより多い量のビデオ／オーディオデータを含むことができ、ビデオ／オーディオデータだけではなく、様々な種類の付加データをさらに含むことができる。
ＶＲ（Ｖｉｒｔｕａｌｌ Ｒｅａｌｉｔｙ）システムは、ユーザに電子的に投影された環境内にいるような感覚を提供する。ＶＲを提供するシステムは、より高画質のイメージと空間的な音響を提供するために改善が必要である。ＶＲシステムはユーザがインタラクティブにＶＲコンテンツを消費できるようにする。
ＶＲシステムは、ＶＲ環境をより効率的にユーザに提供するために改善される必要がある。このために、ＶＲコンテンツのような多量のデータ伝送のためのデータ伝送効率、送受信ネットワーク間の剛健性、モバイル受信装置を考慮したネットワーク柔軟性、効率的な再生及びシグナリングのための方法の案などが提案される必要がある。
本発明では、全方位ビデオのコンテンツが提供される時、全方位ビデオの属性（ａｔｔｒｉｂｕｔｅ）などに関するメタデータを定義及び伝達することにより、全方位ビデオのサービスを効果的に提供する方法の案を提案している。
本明細書では、全方位ビデオの再生において、ユーザをしてプロデューサーが意図した視点（地点）又は領域を視聴可能にするために関連メタデータを定義、貯蔵及びシグナリングする方法の案を開示する。より具体的な内容は以下の通りである。
２Ｄ空間における領域情報に関するメタデータを定義、貯蔵及びシグナリングする方法の案を開示する。
２Ｄ空間における視点（地点）情報に関するメタデータを定義、貯蔵及びシグナリングする方法の案を開示する。
３Ｄ空間における領域情報に関するメタデータを定義、貯蔵及びシグナリングする方法の案を開示する。
３Ｄ空間における視点（地点）情報に関するメタデータを定義、貯蔵及びシグナリングする方法の案を開示する。
領域情報又は視点（地点）情報に関するメタデータトラックと全方位ビデオトラックの関係をシグナリングする方法の案を開示する。
ＤＡＳＨを用いてメタデータを伝送及びシグナリングする方法の案を開示する。
ＭＰＥＧ−２ ＴＳを用いてメタデータを伝送及びシグナリングする方法の案を開示する。
ＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ）を用いてメタデータを伝送及びシグナリングする方法の案を開示する。
また、本明細書では、全方位ビデオの再生において、映像に関連するＧＰＳ関連情報のメタデータを定義、貯蔵及びシグナリングする方法の案を開示する。より具体的な内容は以下の通りである。
ＧＰＳ関連情報に関するメタデータを定義、貯蔵及びシグナリングする方法の案を開示する。
ＧＰＳ関連情報に関するメタデータトラックと全方位ビデオトラックの関係をシグナリングする方法の案を開示する。
また、本明細書では、全方位ビデオサービスのための全方位メディアコンテンツ及び関連メタデータを送受信するプロセスを開示する。
また、本明細書では、プロデューサーが意図した視点（地点）と領域、又は統計的選好視点（地点）と領域に関するＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）メタデータを送受信する方法の案及び送受信プロセスを開示する。
本発明によれば、地上波放送網とインターネット網を使用する次世代ハイブリッド放送を支援する環境において、全方位コンテンツを効率的に伝送することができる。
本発明によれば、ユーザの全方位コンテンツの消費において、インタラクティブ経験（ｉｎｔｅｒａｃｔｉｖｅ ｅｘｐｅｒｉｅｎｃｅ）を提供するための方法の案を提案することができる。
本発明によれば、ユーザの全方位コンテンツの消費において、全方位コンテンツのプロデューサーが意図するところを正確に反映するようにシグナリングする方法の案を提案することができる。
本発明によれば、全方位コンテンツの伝達において、伝送キャパシティーを効率的に増やし、必要な情報が伝達されるようにする方法の案を提案することができる。
本発明によれば、全方位ビデオコンテンツを提供する時に、３６０ビデオの属性（ａｔｔｒｉｂｕｔｅ）などに関するメタデータを定義及び伝達することにより、全方位ビデオサービスを効果的に提供する方法の案を提案することができる。
本発明による３６０゜ビデオ提供のための全体アーキテクチャを示す図である。 本発明の一側面（ａｓｐｅｃｔ）による３６０゜ビデオの伝送装置を示す図である。 本発明の他の側面による３６０゜ビデオの受信装置を示す図である。 本発明の他の実施例による３６０゜ビデオの伝送装置／３６０゜ビデオの受信装置を示す図である。 本発明の３Ｄ空間を説明するための飛行機主軸（Ａｉｒｃｒａｆｔ Ｐｒｉｎｃｉｐａｌ Ａｘｅｓ）概念を示す図である。 本発明の一実施例によるプロジェクションスキームを示す図である。 本発明の一実施例によるタイル（ｔｉｌｅ）を示す図である。 本発明の一実施例による３６０゜ビデオ関連メタデータを示す図である。 本発明の一実施例によるメディアファイルの構造を示す図である。 本発明の一実施例によるＩＳＯＢＭＦＦ内のボックスの階層的構造を示す図である。 本発明の一実施例によるＤＡＳＨ基盤の適応型（Ａｄａｐｔｉｖｅ）ストリーミングモデルの全般的な動作を示す図である。 本発明の一実施例による２Ｄ空間における領域情報に関するメタデータを示す図である。 本発明の一実施例による２Ｄ空間における視点（地点）情報に関するメタデータを示す図である。 本発明の様々な実施例による３Ｄ空間における領域情報に関するメタデータを示す図である。 本発明の様々な実施例による３Ｄ空間において表現しようとする個別領域に関するメタデータを示す図である。 本発明のさらに他の実施例による３Ｄ空間における領域情報に関するメタデータを示す図である。 本発明のさらに他の実施例による３Ｄ空間における領域情報に関するメタデータを示す図である。 本発明のさらに他の実施例による３Ｄ空間における領域情報に関するメタデータを示す図である。 本発明の一実施例によるｒｅｇｉｏｎ ｔｙｐｅによって領域を定義する方法を説明する参考図である。 本発明の一実施例によるｔｒｅｆボックスを示す図である。 本発明の一実施例によるＧＰＳに関するメタデータを示す図である。 本発明の一実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。 本発明の他の実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。 本発明の一実施例による受信器を示すブロック図である。 本発明のさらに他の実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。 本発明の他の実施例による受信器を示すブロック図である。 本発明のさらに他の実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。 本発明のさらに他の実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。 本発明のさらに他の実施例による受信器を示すブロック図である。 ストリーム識別子と該当ストリーム識別子に割り当てられたストリーム情報を示す図である。 ストリームタイプと該当ストリームタイプに割り当てられたストリーム情報の一部を示す図である。 ＰＥＳ ｐａｃｋｅｔを通じて伝送されるａｃｃｅｓｓ ｕｎｉｔを示す図である。 本発明の一実施例によるａｄａｐｔａｔｉｏｎ ｆｉｅｌｄを示す図である。 本発明の一実施例によるｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒを示す図である。 ｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒに含まれるｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒ ｔａｇのｖａｌｕｅと、このｖａｌｕｅに該当する説明を示す図である。 本発明の一実施例によるｖｄｃｉ ｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒを示す図である。 本発明の一実施例による２Ｄ ｖｄｃｉ ｄｅｓｃｒｉｐｔｏｒを示す図である。 本発明の一実施例によるｓｐｈｒｅｃａｌ ｖｃｄｉ ｄｅｓｃｒｉｐｔｏｒを示す図である。 本発明のさらに他の実施例による受信器を示すブロック図である。 本発明の一実施例による領域情報又は視点情報に関するメタデータがＳＥＩ ｍｅｓｓａｇｅに含まれた形態を示す図である。 本発明のさらに他の実施例による領域情報又は視点情報に関するメタデータがＳＥＩ ｍｅｓｓａｇｅに含まれた形態を示す図である。 本発明のさらに他の実施例による受信器を示すブロック図である。 本発明の一実施例による３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信する過程を示す図である。 本発明の一実施例によるレンダリングメタデータ及びｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇメタデータに含まれる情報の一例を示す図である。 本発明の他の実施例によるｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇメタデータを含むボックスを示す図である。 本発明の他の実施例による３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信する過程を示す図である。 本発明のさらに他の実施例による３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信する過程を示す図である。 本発明の一実施例によるＲＯＩメタデータを示す図である。 本発明の一実施例による全方位ビデオを伝送する方法を示すフローチャートである。 本発明の一実施例による全方位ビデオを伝送する装置を示すブロック図である。 本発明の一実施例による全方位ビデオを受信する方法を示すフローチャートである。 本発明の一実施例による全方位ビデオを受信する装置を示すブロック図である。
本発明の好ましい実施の形態について具体的に説明し、その例は添付された図面に示す。添付された図面を参照した以下の詳細な説明は、本発明の実施の形態によって実現されることができる実施の形態のみを説明するよりは、本発明の好ましい実施の形態を説明するためである。次の詳細な説明は、本発明に対する徹底した理解を提供するために細部事項を含む。しかしながら、本発明がこのような細部事項無しで実行されうることは、当業者にとって自明である。
本発明で使用される大部分の用語は、該当分野において広く使用される一般的なもの等から選択されるが、一部の用語は、出願人により任意に選択され、その意味は、必要により次の説明において詳細に述べる。よって、本発明は、用語の単純な名称または意味でない用語の意図した意味に基づいて理解されなければならない。
図１は本発明による３６０゜ビデオ提供のための全体アーキテクチャを示す図である。
本発明はユーザにＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実）を提供するために、３６０゜コンテンツ又は全方位メディア（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｍｅｄｉａ）を提供する方法の案を提案する。ＶＲとは、実際又は仮想の環境を複製（ｒｅｐｌｉｃａｔｅｓ）するための技術とその環境を意味する。ＶＲは人工的にユーザに感覚的経験を提供し、これによりユーザは電子的にプロジェクションされた環境にいるような経験をすることができる。
３６０゜コンテンツはＶＲを具現、提供するためのコンテンツ全般を意味し、３６０゜ビデオ及び／又は３６０゜オーディオを含む。３６０゜ビデオはＶＲを提供するために必要な、全方向（３６０゜）が同時にキャプチャー又は再生されるビデオ又はイメージコンテンツを意味する。３６０゜ビデオは３Ｄモデルによって様々な形態の３Ｄ空間上に表されるビデオ又はイメージを意味し、例えば、３６０゜ビデオは球形（Ｓｐｈｅｒｉｃａｌ）面上に表されることができる。３６０゜オーディオもＶＲを提供するためのオーディオコンテンツであって、音響発生地が３次元の特定の空間上に位置すると認知できる、空間的（Ｓｐａｔｉａｌ）オーディオコンテンツを意味する。３６０゜コンテンツは生成、処理されてユーザに伝送され、ユーザは３６０゜コンテンツを用いてＶＲ経験を消費する。以下、３６０゜コンテンツ／ビデオ／イメージ／オーディオなどは、単位（度、ｄｅｇｒｅｅ）が省略された３６０コンテンツ／ビデオ／イメージ／オーディオなどと使用されるか、又はＶＲコンテンツ／ビデオ／イメージ／オーディオなどと使用されることができる。また、３６０゜コンテンツ／ビデオ／イメージ／オーディオなどは、全方位コンテンツ／ビデオ／イメージ／オーディオなどの用語とも混用できる。
本発明は特に３６０ビデオを効果的に提供する方法の案を提案する。３６０ビデオを提供するために、まず１つ以上のカメラにより３６０ビデオがキャプチャーされる。キャプチャーされた３６０ビデオは一連の過程を経て伝送され、受信側では受信されたデータを再び元来の３６０ビデオに加工してレンダリングすることができる。これにより３６０ビデオがユーザに提供される。
具体的には、３６０ビデオ提供のための全過程はキャプチャー過程（ｐｒｏｃｅｓｓ）、準備過程、伝送過程、プロセシング過程、レンダリング過程及び／又はフィードバック過程を含む。
キャプチャー過程は、１つ以上のカメラで複数の視点の各々に対するイメージ又はビデオをキャプチャーする過程を意味する。キャプチャー過程により図示された（ｔ１０１０）のようなイメージ／ビデオデータが生成される。図示された（ｔ１０１０）の各平面は各視点に対するイメージ／ビデオを意味する。このキャプチャーされた複数のイメージ／ビデオをロー（ｒａｗ）データとも言える。キャプチャー過程ではキャプチャーに関連するメタデータが生成されることができる。
該キャプチャーのためにはＶＲのための特殊カメラが使用されることができる。実施例によってコンピューターで生成された仮想の空間に対する３６０ビデオを提供しようとする場合、実際のカメラによるキャプチャーではないことがある。この場合、単に関連データが生成される過程をもって該当キャプチャー過程に代えることができる。
準備過程は、キャプチャーされたイメージ／ビデオ及びキャプチャー過程で発生したメタデータを処理する過程である。キャプチャーされたイメージ／ビデオは、この準備過程において、ステッチング過程、プロジェクション過程、リージョンごとのパッキング過程（Ｒｅｇｉｏｎ−ｗｉｓｅ Ｐａｃｋｉｎｇ）及び／又はエンコーディング過程などを経る。
まず各々のイメージ／ビデオはステッチング（Ｓｔｉｔｃｈｉｎｇ）過程を経る。ステッチング過程は、各々のキャプチャーされたイメージ／ビデオを連結して１つのパノラマイメージ／ビデオ又は球形のイメージ／ビデオを形成する過程である。
その後、ステッチングされたイメージ／ビデオは、プロジェクション（Ｐｒｏｊｅｃｔｉｏｎ）過程を経る。プロジェクション過程において、ステッチングされたイメージ／ビデオは２Ｄイメージ上にプロジェクションされる。この２Ｄイメージは、文脈により２Ｄイメージフレームとも呼ばれる。２Ｄイメージにプロジェクションすることを、２Ｄイメージにマッピングするとも表現できる。プロジェクションされたイメージ／ビデオデータは、図示した（ｔ１０２０）のような２Ｄイメージ形態にもなる。
２Ｄイメージ上にプロジェクションされたビデオデータは、ビデオコーディング効率などを高めるために、リージョンごとのパッキング過程（Ｒｅｇｉｏｎ−ｗｉｓｅ Ｐａｃｋｉｎｇ）を経る。リージョンごとのパッキングとは、２Ｄイメージ上にプロジェクションされたビデオデータをリージョン（Ｒｅｇｉｏｎ）ごとに分けて処理を加える過程を意味する。ここで、リージョン（Ｒｅｇｉｏｎ）とは、３６０ビデオデータがプロジェクションされた２Ｄイメージが分かれた領域を意味する。このリージョンは、実施例によって、２Ｄイメージを均等に分けて区分するか、或いは任意に分かれて区分されることができる。また実施例によってリージョンはプロジェクションスキームにより区分されることもできる。リージョンごとのパッキング過程は選択的（ｏｐｔｉｏｎａｌ）過程であり、準備過程で省略することもできる。
実施例によって、この処理過程は、ビデオコーディングの効率を高めるために、各々のリージョンを回転したり２Ｄイメージ上に再配列したりする過程を含むことができる。例えば、リージョンを回転してリージョンの特定の辺が互いに近接することにより、コーディング時の効率を向上させることができる。
実施例によって、この処理過程は、３６０ビデオ上の領域ごとにレゾリューション（ｒｅｓｏｌｕｔｉｏｎ）を差別化するために、特定のリージョンに対するレゾリューションを上げるか或いは下げる過程を含むことができる。例えば、３６０ビデオ上において相対的にもっと重要な領域に該当するリージョンは、他のリージョンよりレゾリューションを上げることができる。２Ｄイメージ上にプロジェクションされたビデオデータ又はリージョンごとのパッキングされたビデオデータは、ビデオコーデックを通じたエンコーディング過程を経ることができる。
実施例によって、準備過程は、さらにエディット（ｅｄｉｔｉｎｇ）過程などを含むことができる。このエディット過程においては、さらにプロジェクション前後のイメージ／ビデオデータに対する編集などが行われる。準備過程でも同様に、ステッチング／プロジェクション／エンコーディング／エディットなどに関するメタデータが生成されることができる。また、２Ｄイメージ上にプロジェクションされたビデオデータの初期視点、或いはＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）などに関するメタデータが生成されることができる。
伝送過程は、準備過程を経たイメージ／ビデオデータ及びメタデータを処理して伝送する過程である。伝送のために任意の伝送プロトコルによる処理が行われる。伝送のための処理が行われたデータは、放送網及び／又はブロードバンドを介して伝達される。このデータはオン・デマンド（Ｏｎ Ｄｅｍａｎｄ）方式で受信側に伝達されることもできる。受信側では様々な経路を通じて該当データを受信する。
プロセシング過程は、受信したデータをデコーディングし、プロジェクションされているイメージ／ビデオデータを３Ｄモデル上にリプロジェクション（Ｒｅ−ｐｒｏｊｅｃｔｉｏｎ）する過程を意味する。この過程において、２Ｄイメージ上にプロジェクションされているイメージ／ビデオデータが３Ｄ空間上にリプロジェクションされることができる。この過程を文脈により、マッピング、プロジェクションとも呼ぶ。この時、マッピングされる３Ｄ空間は、３Ｄモデルによって異なる形態を有する。例えば、３Ｄモデルとしては、球形（Ｓｐｈｅｒｅ）、キューブ（Ｃｕｂｅ）、シリンダー（Ｃｙｌｉｎｄｅｒ）又はピラミッド（Ｐｙｒａｍｉｄ）などがある。
実施例によって、プロセシング過程は、さらにエディット（ｅｄｉｔｉｎｇ）過程、アップスケーリング（ｕｐｓｃａｌｉｎｇ）過程などを含む。このエディット過程においては、さらにリプロジェクション前後のイメージ／ビデオデータに対する編集などが行われる。イメージ／ビデオデータが縮小されている場合は、アップスケーリング過程においてサンプルのアップスケーリングによりそのサイズを拡大することができる。必要な場合、ダウンスケーリングによりサイズを縮小する作業を行うこともできる。
レンダリング過程は、３Ｄ空間上にリプロジェクションされたイメージ／ビデオデータをレンダリングしてディスプレイする過程を意味する。リプロジェクションとレンダリングを合わせて、３Ｄモデル上にレンダリングするとも表現できる。３Ｄモデル上にリプロジェクションされた（又は３Ｄモデル上にレンダリングされた）イメージ／ビデオは、図示された（ｔ１０３０）のような形態を有することができる。図示された（ｔ１０３０）は球形（Ｓｐｈｅｒｅ）の３Ｄモデルにリプロジェクションされた場合である。ユーザはＶＲディスプレイなどによりレンダリングされたイメージ／ビデオの一部領域を見ることができる。この時、ユーザが見る領域は図示された（ｔ１０４０）のような形態であることができる。
フィードバック過程は、ディスプレイ過程から得られる様々なフィードバック情報を送信側に伝達する過程を意味する。フィードバック過程により、３６０ビデオの消費において双方向性（Ｉｎｔｅｒａｃｔｉｖｉｔｙ）が提供される。実施例によって、フィードバック過程でヘッドオリエンテーション（Ｈｅａｄ Ｏｒｉｅｎｔａｔｉｏｎ）情報、ユーザが現在見ている領域を示すビューポート（Ｖｉｅｗｐｏｒｔ）情報などが送信側に伝達される。実施例によって、ユーザはＶＲ環境上に具現されたものと相互作用することもできるが、この場合、その相互作用に関連する情報がフィードバック過程で送信側或いはサービス供給者に伝達される。実施例によって、フィードバック過程は省略できる。
ヘッドオリエンテーション情報はユーザのヘッド位置、角度、動きなどに関する情報を意味する。これらの情報に基づいてユーザが現在３６０ビデオで見ている領域に関する情報、即ち、ビューポート情報を計算することができる。
ビューポート情報は、現在ユーザが３６０ビデオで見ている領域に関する情報である。これによりゲイズ分析（Ｇａｚｅ Ａｎａｌｙｓｉｓ）が行われ、ユーザがどのような方式で３６０ビデオを消費するか、３６０ビデオのどの領域をどのくらい凝視するかなどを確認できる。ゲイズ分析は、受信側で行われて送信側にフィードバックチャネルを介して伝達される。ＶＲディスプレイなどの装置は、ユーザのヘッド位置／方向、装置が支援する垂直（ｖｅｒｔｉｃａｌ）或いは水平（Ｈｏｒｉｚｏｎｔａｌ）ＦＯＶなどに基づいて、ビューポート領域を抽出することができる。
実施例によって、上述したフィードバック情報は送信側に伝達されるだけではなく、受信側で消費されることもできる。即ち、上述したフィードバック情報を用いて受信側のデコーディング、リプロジェクション、レンダリング過程などが行われる。例えば、ヘッドオリエンテーション情報及び／又はビューポート情報を用いて現在ユーザが見ている領域に対する３６０ビデオのみを優先してデコーディング及びレンダリングすることができる。
ここで、ビューポート（ｖｉｅｗｐｏｒｔ）又はビューポート領域は、ユーザが３６０ビデオで見ている領域を意味する。視点（ｖｉｅｗｐｏｉｎｔ）はユーザが３６０ビデオで見ている地点であって、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とする領域であるが、その領域が占めるサイズ、形態などは後述するＦＯＶ（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）により決定される。
上述した３６０ビデオ提供のための全体アーキテクチャ内において、キャプチャー／プロジェクション／エンコーディング／伝送／デコーディング／リプロジェクション／レンダリングの一連の過程を経るイメージ／ビデオデータを、３６０ビデオデータと呼ぶ。３６０ビデオデータという用語はまた、かかるイメージ／ビデオデータに関連するメタデータ乃至シグナリング情報を含む概念としても使用される。
図２は本発明の一側面（ａｓｐｅｃｔ）による３６０゜ビデオの伝送装置を示す図である。
一側面によれば、本発明は３６０ビデオの伝送装置に関連する。本発明による３６０ビデオの伝送装置は、上述した準備過程乃至伝送過程に関連する動作を行う。本発明による３６０ビデオの伝送装置は、データ入力部、ステッチャー（Ｓｔｉｔｃｈｅｒ）、プロジェクション処理部、リージョンごとのパッキング処理部（図示せず）、メタデータ処理部、（送信側）フィードバック処理部、データエンコーダー、カプセル化処理部、伝送処理部及び／又は伝送部を、内部／外部エレメントとして含む。
データ入力部にはキャプチャーされた各視点ごとのイメージ／ビデオが入力される。この視点ごとのイメージ／ビデオは１つ以上のカメラによりキャプチャーされたイメージ／ビデオである。また、データ入力部にはキャプチャー過程で発生したメタデータが入力される。データ入力部は入力された視点ごとのイメージ／ビデオをステッチャーに伝達し、キャプチャー過程のメタデータをシグナリング処理部に伝達する。
ステッチャーはキャプチャーされた視点ごとのイメージ／ビデオに対するステッチング作業を行う。ステッチャーはステッチングされた３６０ビデオデータをプロジェクション処理部に伝達する。ステッチャーには、必要な場合、メタデータ処理部から必要なメタデータが伝達されてステッチング作業に用いることができる。ステッチャーはステッチング過程で発生したメタデータをメタデータ処理部に伝達する。ステッチング過程のメタデータには、ステッチングが行われたか否か、ステッチングタイプなどの情報が含まれている。
プロジェクション処理部は、ステッチングされた３６０ビデオデータを２Ｄイメージ上にプロジェクションすることができる。プロジェクション処理部は、様々なスキーム（ｓｃｈｅｍｅ）によってプロジェクションを行うが、これについては後述する。プロジェクション処理部は、各視点ごとの３６０ビデオデータの該当深さ（ｄｅｐｔｈ）を考慮してマッピングを行う。プロジェクション処理部には、必要な場合、メタデータ処理部からプロジェクションに必要なメタデータが伝達されてプロジェクション作業に用いることができる。プロジェクション処理部は、プロジェクション過程で発生したメタデータをメタデータ処理部に伝達する。プロジェクション処理部のメタデータとしては、プロジェクションスキームの種類などがある。
リージョンごとのパッキング処理部（図示せず）は、上述したリージョンごとのパッキング過程を行うことができる。即ち、リージョンごとのパッキング処理部は、プロジェクションされた３６０ビデオデータをリージョンごとに分け、各リージョンを回転、再配列するか、或いは各リージョンのレゾリューションを変更するなどの処理を行う。上述したように、リージョンごとのパッキング過程は選択的（ｏｐｔｉｏｎａｌ）過程であり、リージョンごとのパッキングが行われない場合、リージョンごとのパッキング処理部は省略できる。リージョンごとのパッキング処理部には、必要な場合、メタデータ処理部からリージョンごとのパッキングに必要なメタデータが伝達されてリージョンごとのパッキング作業に用いることができる。リージョンごとのパッキング処理部は、リージョンごとのパッキング過程で発生したメタデータをメタデータ処理部に伝達することができる。リージョンごとのパッキング処理部のメタデータとしては、各リージョンの回転程度、サイズなどがある。
上述したステッチャー、プロジェクション処理部及び／又はリージョンごとのパッキング処理部は、実施例によって１つのハードウェアコンポーネントで行われる。
メタデータ処理部は、キャプチャー過程、ステッチング過程、プロジェクション過程、リージョンごとのパッキング過程、エンコーディング過程、カプセル化過程及び／又は伝送のための処理過程で発生するメタデータを処理することができる。メタデータ処理部は、かかるメタデータを用いて３６０ビデオ関連メタデータを生成する。実施例によって、メタデータ処理部は３６０ビデオ関連メタデータをシグナリングテーブルの形態で生成することもできる。文脈により、３６０ビデオ関連メタデータは、メタデータ又は３６０ビデオ関連シグナリング情報とも呼ばれる。また、メタデータ処理部は獲得又は生成したメタデータを必要によって３６０ビデオの伝送装置の内部エレメントに伝達できる。メタデータ処理部は３６０ビデオ関連メタデータが受信側に伝送されるようにデータエンコーダー、カプセル化処理部及び／又は伝送処理部に伝達することができる。
データエンコーダーは、２Ｄイメージ上にプロジェクションされた３６０ビデオデータ及び／又はリージョンごとのパッキングされた３６０ビデオデータをエンコーディングすることができる。３６０ビデオデータは様々なフォーマットにエンコーディングできる。
カプセル化処理部は、エンコーディングされた３６０ビデオデータ及び／又は３６０ビデオ関連メタデータをファイルなどの形態でカプセル化することができる。ここで、３６０ビデオ関連メタデータは、上述したメタデータ処理部から伝達されたものである。カプセル化処理部は、該当データをＩＳＯＢＭＦＦ、ＣＦＦなどのファイルフォーマットにカプセル化したり、その他のＤＡＳＨセグメントなどの形態に処理したりすることができる。カプセル化処理部は、実施例によって３６０ビデオ関連メタデータをファイルフォーマット上に含ませることができる。３６０関連メタデータは例えば、ＩＳＯＢＭＦＦファイルフォーマット上の様々なレベルのボックス（ｂｏｘ）に含まれるか或いはファイル内で所定のトラック内のデータに含まれる。実施例によって、カプセル化処理部は、３６０ビデオ関連メタデータ自体をファイルにカプセル化することができる。伝送処理部は、ファイルフォーマットによってカプセル化された３６０ビデオデータに伝送のための処理を行うことができる。伝送処理部は、任意の伝送プロトコルによって３６０ビデオデータを処理することができる。伝送のための処理には放送網を介した伝達のための処理、ブロードバンドを介した伝達のための処理を含む。実施例によって、伝送処理部には、３６０ビデオデータだけではなく、メタデータ処理部から３６０ビデオ関連メタデータが伝達され、そこに伝送のための処理を加えることもできる。
伝送部は、伝送処理された３６０ビデオデータ及び／又は３６０ビデオ関連メタデータを放送網及び／又はブロードバンドを介して伝送する。伝送部は放送網を介した伝送のためのエレメント及び／又はブロードバンドを介した伝送のためのエレメントを含むことができる。
本発明による３６０ビデオの伝送装置の一実施例によれば、３６０ビデオの伝送装置はさらに、データ貯蔵部（図示せず）を内部／外部エレメントとして含むことができる。データ貯蔵部は、エンコーディングされた３６０ビデオデータ及び／又は３６０ビデオ関連メタデータを伝送処理部に伝達する前に貯蔵することができる。このデータが貯蔵される形態はＩＳＯＢＭＦＦなどのファイル形態である。実時間に３６０ビデオを伝送する場合にはデータ貯蔵部が不要であることもあるが、オン・デマンド、ＮＲＴ（Ｎｏｎ Ｒｅａｌ Ｔｉｍｅ）、ブロードバンドなどを介して伝達する場合にはカプセル化された３６０データがデータ貯蔵部に一定期間貯蔵されてから伝送されることもできる。
本発明による３６０ビデオの伝送装置の他の実施例によれば、３６０ビデオの伝送装置はさらに、（送信側）フィードバック処理部及び／又はネットワークインターフェース（図示せず）を内部／外部エレメントとして含むことができる。ネットワークインターフェースには、本発明による３６０ビデオの受信装置からフィードバック情報が伝達され、これを送信側フィードバック処理部に伝達する。送信側フィードバック処理部は、フィードバック情報をステッチャー、プロジェクション処理部、リージョンごとのパッキング処理部、データエンコーダー、カプセル化処理部、メタデータ処理部及び／又は伝送処理部に伝達する。実施例によって、フィードバック情報はメタデータ処理部に一旦伝達された後、再び各々の内部エレメントに伝達されることができる。フィードバック情報が伝達された内部エレメントは、今後の３６０ビデオデータ処理にフィードバック情報を反映することができる。
本発明による３６０ビデオの伝送装置のさらに他の実施例によれば、リージョンごとのパッキング処理部は、各リージョンを回転して２Ｄイメージ上にマッピングすることができる。この時、各リージョンは互いに異なる方向、互いに異なる角度に回転して２Ｄイメージ上にマッピングされる。リージョンの回転は、３６０ビデオデータが球形の面上においてプロジェクション前に隣接した部分、ステッチングされた部分などを考慮して行われる。リージョンの回転に関する情報、即ち、回転方向、角度などは３６０ビデオ関連メタデータによりシグナリングされる。本発明による３６０ビデオの伝送装置のさらに他の実施例によれば、データエンコーダーは各リージョンごとに異なるようにエンコーディングを行うことができる。データエンコーダーは特定のリージョンは高品質に、他のリージョンは低品質にエンコーディングすることができる。送信側フィードバック処理部は、３６０ビデオの受信装置から伝達されたフィードバック情報をデータエンコーダーに伝達して、データエンコーダーがリージョンごとに差別化したエンコーディング方法を使用するようにする。例えば、送信側フィードバック処理部は受信側から伝達されたビューポート情報をデータエンコーダーに伝達することができる。データエンコーダーはビューポート情報が指示する領域を含むリージョンに対して、他のリージョンよりもっと高い品質（ＵＨＤなど）にエンコーディングを行うことができる。
本発明による３６０ビデオの伝送装置のさらに他の実施例によれば、伝送処理部は、各リージョンごとに異なるように伝送のための処理を行う。伝送処理部はリージョンごとに異なる伝送パラメータ（モデュレーションオーダー、コードレートなど）を適用して、各リージョンごとに伝達されるデータの剛健性（ｒｏｂｕｓｔｅｎｓｓ）を異なるようにする。
この時、送信側のフィードバック処理部は、３６０ビデオの受信装置から伝達されたフィードバック情報を伝送処理部に伝達して、伝送処理部がリージョンごとに差別化された伝送処理を行うようにする。例えば、送信側のフィードバック処理部は受信側から伝達されたビューポート情報を伝送処理部に伝達する。伝送処理部は該当ビューポート情報が指示する領域を含むリージョンに対して、他のリージョンよりもっと高い剛健性を有するように伝送処理を行う。
上述した本発明による３６０ビデオの伝送装置の内部／外部エレメントは、ハードウェアで具現されるハードウェアエレメントであることができる。実施例によって、内部／外部エレメントは変更、省略されるか、或いは他のエレメントに代替、統合されることができる。実施例によって、付加エレメントが３６０ビデオの伝送装置に追加されることもできる。
図３は本発明の他の側面による３６０゜ビデオの受信装置を示す図である。
他の側面によれば、本発明は３６０ビデオの受信装置に関連する。本発明による３６０ビデオの受信装置は、上述したプロセシング過程及び／又はレンダリング過程に関連する動作を行う。本発明による３６０ビデオの受信装置は、受信部、受信処理部、脱カプセル化処理部、データデコーダー、メタデータパーサー、（受信側）フィードバック処理部、リプロジェクション処理部及び／又はレンダラを内部／外部エレメントとして含む。
受信部は、本発明による３６０ビデオの伝送装置が伝送した３６０ビデオデータを受信する。伝送されるチャネルによって受信部は放送網を介して３６０ビデオデータを受信し、ブロードバンドを介して３６０ビデオデータを受信する。
受信処理部は、受信された３６０ビデオデータに対して伝送プロトコルによる処理を行う。伝送側で伝送のための処理が行われることに対応して、受信処理部は上述した伝送処理部の逆過程を行うことができる。受信処理部は、得られた３６０ビデオデータを脱カプセル化処理部に伝達し、得られた３６０ビデオ関連メタデータをメタデータパーサーに伝達する。受信処理部が得た３６０ビデオ関連メタデータは、シグナリングテーブルの形態であることができる。
脱カプセル化処理部は、受信処理部から伝達されたファイル形態の３６０ビデオデータを脱カプセル化する。脱カプセル化処理部は、ＩＳＯＢＭＦＦなどによるファイルを脱カプセル化して、３６０ビデオデータ乃至３６０ビデオ関連メタデータを得る。得られた３６０ビデオデータはデータデコーダーに、得られた３６０ビデオ 関連メタデータはメタデータパーサーに伝達する。脱カプセル化処理部が得た３６０ビデオ関連メタデータは、ファイルフォーマット内のボックス或いはトラック形態であることができる。脱カプセル化処理部には、必要な場合、メタデータパーサーから脱カプセル化に必要なメタデータが伝達される。
データデコーダーは、３６０ビデオデータに対するデコーディングを行う。データデコーダーにはメタデータパーサーからデコーディングに必要なメタデータが伝達される。データデコーディング過程で得た３６０ビデオ関連メタデータは、メタデータパーサーに伝達されることもできる。
メタデータパーサーは、３６０ビデオ関連メタデータに対するパーシング（ｐａｒｓｉｎｇ）／デコーディングを行う。メタデータパーサーは得られたメタデータをデータ脱カプセル化処理部、データデコーダー、リプロジェクション処理部及び／又はレンダラに伝達することができる。
リプロジェクション処理部は、デコーディングされた３６０ビデオデータに対してリプロジェクションを行う。リプロジェクション処理部は、３６０ビデオデータを３Ｄ空間にリプロジェクションする。３Ｄ空間は使用される３Ｄモデルによって異なる形態を有することができる。リプロジェクション処理部には、メタデータパーサーからリプロジェクションに必要なメタデータが伝達される。例えば、リプロジェクション処理部には、使用される３Ｄモデルのタイプ及びその細部情報に関する情報がメタデータパーサーから伝達される。実施例によって、リプロジェクション処理部はリプロジェクションに必要なメタデータを用いて、３Ｄ空間上の特定の領域に該当する３６０ビデオデータのみを３Ｄ空間にリプロジェクションすることもできる。
レンダラは、リプロジェクションされた３６０ビデオデータをレンダリングする。上述したように、３６０ビデオデータが３Ｄ空間上にレンダリングされると表現することもできるが、このように２つの過程が同時に行われる場合、リプロジェクション処理部とレンダラが統合されて、これら全ての過程がレンダラで行われる。実施例によって、レンダラ（Ｒｅｎｄｅｒｅｒ）はユーザの視点情報によってユーザが見ている部分のみをレンダリングすることもできる。
ユーザはＶＲディスプレイなどを通じてレンダリングされた３６０ビデオの一部領域を見ることができる。ＶＲディスプレイは３６０ビデオを再生する装置であって、３６０ビデオの受信装置に含まれることができ（ｔｅｔｈｅｒｅｄ）、別の装置として３６０ビデオの受信装置に連結されることもできる（ｕｎ−ｔｅｔｈｅｒｅｄ）。
本発明による３６０ビデオの受信装置の一実施例によれば、３６０ビデオの受信装置はさらに、（受信側）フィードバック処理部及び／又はネットワークインターフェース（図示せず）を内部／外部エレメントとして含む。受信側のフィードバック処理部は、レンダラ、リプロジェクション処理部、データデコーダー、脱カプセル化処理部及び／又はＶＲディスプレイからフィードバック情報を得て処理することができる。フィードバック情報は、ビューポート情報、ヘッドオリエンテーション情報、ゲイズ（Ｇａｚｅ）情報などを含む。ネットワークインターフェースは、フィードバック情報を受信側のフィードバック処理部から受けて、これを３６０ビデオの伝送装置に伝送できる。
上述したように、フィードバック情報は送信側に伝達されるだけではなく、受信側で消費されることもできる。受信側のフィードバック処理部は得られたフィードバック情報を３６０ビデオの受信装置の内部エレメントに伝達して、レンダリングなどの過程に反映させることができる。受信側のフィードバック処理部はフィードバック情報をレンダラ、リプロジェクション処理部、データデコーダー及び／又は脱カプセル化処理部に伝達することができる。例えば、レンダラは、フィードバック情報を活用してユーザが見ている領域を優先してレンダリングすることができる。また、脱カプセル化処理部、データデコーダーなどはユーザが見ている領域乃至見る予定の領域を優先して脱カプセル化、デコーディングできる。
上述した本発明による３６０ビデオの受信装置の内部／外部エレメントは、ハードウェアで具現されるハードウェアエレメントであることができる。実施例によって、内部／外部エレメントは変更、省略されるか、或いは他のエレメントに代替、統合されることができる。実施例によって、付加エレメントが３６０ビデオの受信装置に追加されることもできる。
本発明のさらに他の側面は、３６０ビデオを伝送する方法及び３６０ビデオを受信する方法に関連する。本発明による３６０ビデオを伝送／受信する方法は、各々上述した本発明による３６０ビデオ伝送／受信装置又はその装置の実施例により行われる。
上述した本発明による３６０ビデオの伝送／受信装置、伝送／受信方法の各々の実施例及びその内部／外部エレメント各々の実施例を互いに組み合わせることができる。例えば、プロジェクション処理部の実施例とデータエンコーダーの実施例を互いに組み合わせて、その場合の数ほどの３６０ビデオの伝送装置の実施例を形成することができる。このように組み合わせた実施例も本発明の範囲に属する。
図４は本発明の他の実施例による３６０゜ビデオの伝送装置／３６０゜ビデオの受信装置を示す図である。
上述したように、図示された（ａ）のようなアーキテクチャによって３６０コンテンツが提供される。３６０コンテンツはファイル形態で提供されるか或いはＤＡＳＨなどのようにセグメント（Ｓｅｇｍｅｎｔ）に基づくダウンロード又はストリーミングサービスの形態で提供される。ここで３６０コンテンツはＶＲコンテンツとも呼ばれる。
上述したように、３６０ビデオデータ及び／又は３６０オーディオデータを得ることができる。（Ａｃｑｕｉｓｉｔｉｏｎ）。
３６０オーディオデータは、オーディオプリプロセシング過程（Ａｕｄｉｏ Ｐｒｅｐｒｏｃｅｓｓｉｎｇ）、オーディオエンコーディング過程（Ａｕｄｉｏ ｅｎｃｏｄｉｎｇ）を経る。これらの過程でオーディオ関連メタデータが生成され、エンコーディングされたオーディオとオーディオ関連メタデータは伝送のための処理（ｆｉｌｅ／Ｓｅｇｍｅｎｔ ｅｎｃａｐｓｕｌａｔｉｏｎ）を経る。
３６０ビデオデータは上述した過程を経る。３６０ビデオの伝送装置のステッチャーは、３６０ビデオデータにステッチングを行うことができる（Ｖｉｓｕａｌ ｓｔｉｔｃｈｉｎｇ）。この過程は実施例によって省略でき、受信側で行われることもできる。３６０ビデオの伝送装置のプロジェクション処理部は、３６０ビデオデータを２Ｄイメージ上にプロジェクションすることができる（Ｐｒｏｊｅｃｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ（ｐａｃｋｉｎｇ））。
このステッチング及びプロジェクション過程は、（ｂ）に具体的に示されている。図示された（ｂ）において、３６０ビデオデータ（Ｉｎｐｕｔ Ｉｍａｇｅｓ）が伝達されると、そこにステッチング及びプロジェクションが行われる。プロジェクション過程は、具体的には、ステッチングされた３６０ビデオデータを３Ｄ空間上にプロジェクションし、プロジェクションされた３６０ビデオデータが２Ｄイメージ上に配列されることである。本明細書においては、この過程を３６０ビデオデータを２Ｄイメージ上にプロジェクションすると表現することもある。ここで、３Ｄ空間は球（ｓｐｈｅｒｅ）又はキューブ（ｃｕｂｅ）などである。この３Ｄ空間は、受信側でリプロジェクションに使用される３Ｄ空間と同一であることができる。
２Ｄイメージはプロジェクテッドフレーム（Ｃ、Ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ）とも言われる。この２Ｄイメージにはさらに、リージョンごとのパッキング（Ｒｅｇｉｏｎ−ｗｉｓｅ ｐａｃｋｉｎｇ）が選択的に行われる。リージョンごとのパッキングが行われる場合、各リージョン（Ｒｅｇｉｏｎ）の位置、形態、サイズを指示することにより、２Ｄイメージ上のリージョンがパックフレーム（Ｄ、ｐａｃｋｅｄ ｆｒａｍｅ）上にマッピングされることができる。リージョンごとのパッキングが行われない場合、プロジェクテッドフレームはパックフレームと同一であることができる。リージョンについては後述する。プロジェクション過程及びリージョンごとのパッキング過程は、３６０ビデオデータの各リージョンが２Ｄイメージ上にプロジェクションされるとも表現できる。設計によって、３６０ビデオデータは中間過程なしにすぐパックフレームに変換されることもできる。
図示された（ａ）において、プロジェクションされた３６０ビデオデータは、イメージエンコーディング或いはビデオエンコーディングされる。同じコンテンツであっても異なる視点（ｖｉｅｗｐｏｉｎｔｓ）ごとに存在できるので、同じコンテンツが互いに異なるビットストリームにエンコーディングされることができる。エンコーディングされた３６０ビデオデータは、上述したカプセル化処理部によってＩＳＯＢＭＦＦなどのファイルフォーマットに処理されることができる。又はカプセル化処理部は、エンコーディングされた３６０ビデオデータをセグメントに処理することができる。セグメントはＤＡＳＨに基づく伝送のための個別トラックに含まれる。
３６０ビデオデータの処理と共に、上述したように３６０ビデオ関連メタデータが生成されることができる。このメタデータはビデオストリーム或いはファイルフォーマットに含まれて伝達される。このメタデータはエンコーディング過程やファイルフォーマットカプセル化、伝送のための処理などのような過程にも使用できる。
３６０オーディオ／ビデオデータは伝送プロトコルによって伝送のための処理が行われ、その後伝送される。上述した３６０ビデオの受信装置は、これを放送網又はブロードバンドを介して受信する。
図示された（ａ）において、ＶＲサービスプラットホーム（ＶＲ ｓｅｒｖｉｃｅ ｐｌａｔｆｏｒｍ）は、上述した３６０ビデオの受信装置の一実施例に該当する。図示された（ａ）において、スピーカー／ヘッドホン（Ｌｏｕｄｓｐｅａｋｅｒｓ／ｈｅａｄｐｈｏｎｅｓ）、ディスプレイ（Ｄｉｓｐｌａｙ）、ヘッド／アイトラッキングコンポーネント（Ｈｅａｄ／ｅｙｅ ｔｒａｃｋｉｎｇ）は、３６０ビデオの受信装置の外部装置或いはＶＲアプリケーションにより行われるものと示されているが、実施例によって３６０ビデオの受信装置は、これらを全て含むこともできる。実施例によって、ヘッド／アイトラッキングコンポーネントは、上述した受信側フィードバック処理部に該当することができる。
３６０ビデオの受信装置は、３６０オーディオ／ビデオデータに受信のための処理（Ｆｉｌｅ／Ｓｅｇｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ）を行うことができる。３６０オーディオデータは、オーディオデコーディング（Ａｕｄｉｏ ｄｅｃｏｄｉｎｇ）、オーディオレンダリング（Ａｕｄｉｏ ｒｅｎｄｅｒｉｎｇ）の過程を経て、スピーカー／ヘッドホンを通じてユーザに提供される。
３６０ビデオデータは、イメージデコーディング或いはビデオデコーディング、レンダリング（Ｖｉｓｕａｌ ｒｅｎｄｅｒｉｎｇ）の過程を経て、ディスプレイを通じてユーザに提供される。ここで、ディスプレイはＶＲを支援するディスプレイであるか或いは一般ディスプレイである。
上述したように、レンダリング過程は、具体的には、３６０ビデオデータが３Ｄ空間上にリプロジェクションされ、リプロジェクションされた３６０ビデオデータがレンダリングされるものである。これを３６０ビデオデータが３Ｄ空間上にレンダリングされると表現できる。
ヘッド／アイトラッキングコンポーネントは、ユーザのヘッドオリエンテーション情報、ゲイズ情報、ビューポート（Ｖｉｅｗｐｏｒｔ）情報などを得て処理することができる。これについては上述した。
受信側には上述した受信側の過程と通信するＶＲアプリケーションが存在する。
図５は本発明の３Ｄ空間を説明するために飛行機主軸（Ａｉｒｃｒａｆｔ Ｐｒｉｎｃｉｐａｌ Ａｘｅｓ）概念を示す図である。
本発明においては、３Ｄ空間における特定の地点、位置、方向、間隔、領域などを表現するために飛行機主軸概念が使用される。
即ち、本発明においては、プロジェクション前又はリプロジェクション後の３Ｄ空間について記載し、それに対するシグナリングを行うために飛行機主軸の概念が使用されることができる。実施例によって、Ｘ、Ｙ、Ｚ軸の概念又は球座標系を用いた方法が使用される。
飛行機は３次元に自由に回転できる。３次元をなす軸を各々、ピッチ（ｐｉｔｃｈ）軸、ヨー（ｙａｗ）軸及びロール（ｒｏｌｌ）軸という。本明細書においては、これらを簡略にｐｉｔｃｈ、ｙａｗ、ｒｏｌｌ又はｐｉｔｃｈ方向、ｙａｗ方向、ｒｏｌｌ方向と表現することもある。
Ｐｉｔｃｈ軸は、飛行機の先端が上／下に回転する方向の基準になる軸を意味する。示された飛行機の主軸概念において、Ｐｉｔｃｈ軸は飛行機の翼から翼に続く軸を意味する。
Ｙａｗ軸は、飛行機の先端が左／右に回転する方向の基準になる軸を意味する。示された飛行機の主軸概念において、ｙａｗ軸は飛行機の上から下に続く軸を意味する。
Ｒｏｌｌ軸は、示された飛行機の主軸概念において飛行機の先端から後端に続く軸であって、ｒｏｌｌ方向の回転とは、ｒｏｌｌ軸を基準とする回転を意味する。
上述したように、ｐｉｔｃｈ、ｙａｗ、ｒｏｌｌの概念を通じて本発明における３Ｄ空間が記載される。
図６は本発明の一実施例によるプロジェクションスキームを示す図である。
上述したように、本発明による３６０ビデオの伝送装置のプロジェクション処理部は、ステッチングされた３６０ビデオデータを２Ｄイメージ上にプロジェクションすることができる。この過程において様々なプロジェクションスキームが活用される。
本発明による３６０ビデオの伝送装置のさらに他の実施例によれば、プロジェクション処理部はキュービックプロジェクション（Ｃｕｂｉｃ Ｐｒｏｊｅｃｔｉｏｎ）スキームを用いてプロジェクションを行うことができる。例えば、ステッチングされた３６０ビデオデータは球形の面上に表されることができる。プロジェクション処理部はかかる３６０ビデオデータをキューブ（Ｃｕｂｅ、正六面体）形態に分けて、２Ｄイメージ上にプロジェクションすることができる。球形の面上の３６０ビデオデータは、キューブの各面に対応して、２Ｄイメージ上に（ａ）左側又は（ａ）右側のようにプロジェクションできる。
本発明による３６０ビデオの伝送装置のさらに他の実施例によれば、プロジェクション処理部は、シリンダー型プロジェクション（Ｃｙｌｉｎｄｒｉｃａｌ Ｐｒｏｊｅｃｔｉｏｎ）スキームを用いてプロジェクションを行うことができる。同様に、ステッチングされた３６０ビデオデータが球形の面上に表されることができると仮定した時、プロジェクション処理部はかかる３６０ビデオデータをシリンダー（Ｃｙｌｉｎｄｅｒ）形態に分けて２Ｄイメージ上にプロジェクションすることができる。球形の面上の３６０ビデオデータは、シリンダーの側面（ｓｉｄｅ）と上面（ｔｏｐ）、底面（ｂｏｔｔｏｍ）に各々対応して、２Ｄイメージ上に（ｂ）左側又は（ｂ）右側のようにプロジェクションされることができる。
本発明による３６０ビデオの伝送装置のさらに他の実施例によれば、プロジェクション処理部は、ピラミッドプロジェクション（Ｐｙｒａｍｉｄ Ｐｒｏｊｅｃｔｉｏｎ）スキームを用いてプロジェクションを行うことができる。同様に、ステッチングされた３６０ビデオデータが球形の面上に表されることができると仮定した時、プロジェクション処理部はかかる３６０ビデオデータをピラミッド形態と思い、各々の面を分けて２Ｄイメージ上にプロジェクションすることができる。球形の面上の３６０ビデオデータは、ピラミッドの底面（ｆｒｏｎｔ）、ピラミッドの４方向の側面（Ｌｅｆｔ ｔｏｐ、Ｌｅｆｔ ｂｏｔｔｏｍ、Ｒｉｇｈｔ ｔｏｐ、Ｒｉｇｈｔ ｂｏｔｔｏｍ）に各々対応して、２Ｄイメージ上に（ｃ）左側又は（ｃ）右側のようにプロジェクションされることができる。
実施例によって、プロジェクション処理部は、上述したスキーム以外に等正方形プロジェクション（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ Ｐｒｏｊｅｃｔｉｏｎ）スキーム、パノラミックプロジェクション（Ｐａｎｏｒａｍｉｃ Ｐｒｏｊｅｃｔｉｏｎ）スキームなどを用いて、プロジェクションを行うことができる。
上述したように、リージョン（Ｒｅｇｉｏｎ）とは、３６０ビデオデータがプロジェクションされた２Ｄイメージが分かれた領域を意味する。このリージョンはプロジェクションスキームによってプロジェクションされた２Ｄイメージ上の各面に一致する必要はない。しかし、実施例によって、プロジェクションされた２Ｄイメージ上の各面がリージョンと対応するようにリージョンが区分されて、リージョンごとのパッキングが行われることもできる。実施例によって、複数の面が１つのリージョンに対応することができ、１つの面が複数のリージョンに対応するようにリージョンが区分されることもできる。この場合、リージョンはプロジェクションスキームによって変化することができる。例えば、（ａ）において正六面体の各面（ｔｏｐ、ｂｏｔｔｏｍ、ｆｒｏｎｔ、ｌｅｆｔ、ｒｉｇｈｔ、ｂａｃｋ）は各々リージョンであることができる。（ｂ）において、シリンダーの側面（ｓｉｄｅ）、上面（ｔｏｐ）、底面（ｂｏｔｔｏｍ）は各々リージョンであることができる。（ｃ）において、ピラミッドの底面（ｆｒｏｎｔ）、４方向の側面（Ｌｅｆｔ ｔｏｐ、Ｌｅｆｔ ｂｏｔｔｏｍ、Ｒｉｇｈｔ ｔｏｐ、Ｒｉｇｈｔ ｂｏｔｔｏｍ）は各々リージョンであることができる。
図７は本発明の一実施例によるタイル（ｔｉｌｅ）を示す図である。
２Ｄイメージにプロジェクションされた３６０ビデオデータ又はリージョンごとのパッキングまで行われた３６０ビデオデータは１つ以上のタイルに区分されることができる。示された（ａ）は１つの２Ｄイメージが１６個のタイルに分けられた形態を示している。ここで、２Ｄイメージとは、上述したプロジェクテッドフレーム或いはパックフレームである。本発明による３６０ビデオの伝送装置のさらに他の実施例によれば、データエンコーダーは各々のタイルを独立的にエンコーディングすることができる。
上述したリージョンごとのパッキングとタイリング（ｔｉｌｉｎｇ）は区分される。上述したリージョンごとのパッキングは、コーディング効率を高めるために又はレゾリューションを調整するために、２Ｄイメージ上にプロジェクションされた３６０ビデオデータをリージョンに区分して処理することを意味する。タイリングは、データエンコーダーがプロジェクテッドフレーム或いはパックフレームをタイルという区画に分け、該当タイルごとに独立的にエンコーディングを行うことを意味する。３６０ビデオが提供される時、ユーザは３６０ビデオの全ての部分を同時に消費しない。タイリングは制限された帯域幅（ｂａｎｄｗｉｄｔｈ）上にユーザが現在見ているビューポートなどの主要部分或いは一定部分に該当するタイルのみを受信側に伝送或いは消費することを可能にする。タイリングにより制限された帯域幅をもっと効率的に活用でき、受信側でも全ての３６０ビデオデータを同時に処理することに比べて演算の負荷を減らすことができる。
リージョンとタイルは区分されるので、２つの領域が同一である必要はない。しかし、実施例によって、リージョンとタイルは同じ領域を称することができる。実施例によって、タイルに合わせてリージョンごとのパッキングが行われてリージョンとタイルが同一になることができる。また、実施例によって、プロジェクションスキームによる各面とリージョンが同一である場合、プロジェクションスキームによる各面、リージョン、タイルが同一の領域を称することができる。文脈により、リージョンはＶＲリージョン、タイルをタイルリージョンと呼ぶことができる。
ＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）は、３６０コンテンツ提供者が提案するユーザの関心領域を意味する。３６０コンテンツ提供者は３６０ビデオを制作する時、どの特定の領域にユーザが関心を持つと判断し、それを考慮して３６０ビデオを制作する。実施例によって、ＲＯＩは３６０ビデオのコンテンツにおいて重要な内容が再生される領域に該当する。
本発明による３６０ビデオの伝送／受信装置のさらに他の実施例によれば、受信側のフィードバック処理部はビューポート情報を抽出、収集してこれを送信側フィードバック処理部に伝達する。この過程においてビューポート情報は両側のネットワークインターフェースを用いて伝達できる。図示された（ａ）の２Ｄイメージにおいてビューポート（ｔ６０１０）が示されている。ここで、ビューポートは２Ｄイメージ上の９つのタイルにかけていることができる。
この場合、３６０ビデオの伝送装置はさらに、タイリングシステムを含むことができる。実施例によって、タイリングシステムはデータエンコーダーの後に位置することもでき（図示された（ｂ））、上述したデータエンコーダー或いは伝送処理部内に含まれることもでき、別個の内部／外部エレメントとして３６０ビデオの伝送装置に含まれることもできる。
タイリングシステムは、送信側のフィードバック処理部からビューポート情報を受ける。タイリングシステムは、ビューポート領域が含まれるタイルのみを選別して伝送することができる。図示された（ａ）の２Ｄイメージにおいて、合計１６個のタイルのうち、ビューポート領域（ｔ６０１０）を含む９つのタイルのみが伝送される。ここで、タイリングシステムは、ブロードバンドを介したユニキャスト方式でタイルを伝送できる。ユーザによってビューポート領域が異なるためである。
またこの場合、送信側のフィードバック処理部はビューポート情報をデータエンコーダーに伝達することができる。データエンコーダーはビューポート領域を含むタイルに対して他のタイルよりも高い品質でエンコーディングを行うことができる。
またこの場合、送信側のフィードバック処理部はビューポート情報をメタデータ処理部に伝達することができる。メタデータ処理部はビューポート領域に関連するメタデータを３６０ビデオの伝送装置の各々の内部エレメントに伝達するか或いは３６０ビデオ関連メタデータに含ませることができる。
かかるタイリング方式によって伝送帯域幅（ｂａｎｄｗｉｄｔｈ）を節約することができ、タイルごとに差別化された処理を行って効率的データ処理／伝送が可能になる。
上述したビューポート領域に関連する実施例は、ビューポート領域ではない他の特定の領域についても同様に適用できる。例えば、上述したゲイズ分析により、ユーザが最も関心を持っていると判断される領域、ＲＯＩ領域、ユーザがＶＲディスプレイを通じて３６０ビデオに接する時に最初に再生される領域（初期視点、Ｉｎｉｔｉａｌ Ｖｉｅｗｐｏｉｎｔ）などについても、上述したビューポート領域のような方式の処理が行われる。
本発明による３６０ビデオの伝送装置のさらに他の実施例によれば、伝送処理部は、各タイルごとに異なるように伝送のための処理を行う。伝送処理部はタイルごとに異なる伝送パラメータ（モデュレーションオーダー、コードレートなど）を適用して、各タイルごとに伝達されるデータの剛健性（ｒｏｂｕｓｔｅｎｓｓ）を異なるようにする。
この時、送信側のフィードバック処理部は、３６０ビデオの受信装置から伝達されたフィードバック情報を伝送処理部に伝達し、伝送処理部がタイルごとに差別化された伝送処理を行うようにする。例えば、送信側のフィードバック処理部は受信側から伝達されたビューポート情報を伝送処理部に伝達する。伝送処理部は該当ビューポート領域を含むタイルに対して他のタイルより高い剛健性を有するように伝送処理を行う。
図８は本発明の一実施例による３６０゜ビデオ関連メタデータを示す図である。
上述した３６０ビデオ関連メタデータは、３６０ビデオに対する多様なメタデータを含む。文脈により、３６０ビデオ関連メタデータは、３６０ビデオ関連シグナリング情報とも呼ばれる。３６０ビデオ関連メタデータは別のシグナリングテーブルに含まれて伝送されることができ、ＤＡＳＨ ＭＰＤ内に含まれて伝送されることもでき、或いはＩＳＯＢＭＦＦなどのファイルフォーマットにｂｏｘ形態に含まれて伝達されることもできる。３６０ビデオ関連メタデータがｂｏｘ形態に含まれる場合、ファイル、フラグメント、トラック、サンプルエントリー、サンプルなどの様々なレベルに含まれて該当レベルのデータに関するメタデータを含むことができる。
実施例によって、後述するメタデータの一部はシグナリングテーブルで構成されて伝達され、その他の一部はファイルフォーマット内にｂｏｘ或いはトラック形態に含まれることもできる。
本発明による３６０ビデオ関連メタデータの一実施例によると、３６０ビデオ関連メタデータは、プロジェクションスキームなどに関する基本メタデータ、立体（ｓｔｅｒｅｏｓｃｏｐｉｃ）関連メタデータ、初期視点（Ｉｎｉｔｉａｌ Ｖｉｅｗ／Ｉｎｉｔｉａｌ Ｖｉｅｗｐｏｉｎｔ）関連メタデータ、ＲＯＩ関連メタデータ、ＦＯＶ（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）関連メタデータ及び／又はクロップされた領域（ｃｒｏｐｐｅｄ ｒｅｇｉｏｎ）関連メタデータを含む。実施例によって３６０ビデオ関連メタデータは、上述したもの以外にもさらなるメタデータを含むことができる。
本発明による３６０ビデオ関連メタデータの実施例は、上述した基本メタデータ、立体関連メタデータ、初期視点関連メタデータ、ＲＯＩ関連メタデータ、ＦＯＶ関連メタデータ、クロップされた領域関連メタデータ及び／又は後に追加されるメタデータのうちのいずれか１つ以上を含む形態であることができる。本発明による３６０ビデオ関連メタデータの実施例は、各々が含む細部メタデータの場合の数によって多様に構成される。実施例によって３６０ビデオ関連メタデータは上述したこと以外にもさらなる情報を含むことができる。
基本メタデータには３Ｄモデル関連情報、プロジェクションスキーム関連情報などが含まれる。基本メタデータにはｖｒ＿ｇｅｏｍｅｔｒｙフィールド、ｐｒｏｊｅｃｔｉｏｎ＿ｓｃｈｅｍｅフィールドなどが含まれる。実施例によって、基本メタデータはさらなる情報を含むこともできる。
ｖｒ＿ｇｅｏｍｅｔｒｙフィールドは、該当３６０ビデオデータが支援する３Ｄモデルのタイプを指示することができる。上述したように、３６０ビデオデータが３Ｄ空間上にリプロジェクションされる場合、該当３Ｄ空間はｖｒ＿ｇｅｏｍｅｔｒｙフィールドが指示する３Ｄモデルによる形態を有することができる。実施例によって、レンダリング時に使用される３Ｄモデルは、ｖｒ＿ｇｅｏｍｅｔｒｙフィールドが指示するリプロジェクションに使用される３Ｄモデルとは異なることができる。この場合、基本メタデータはさらに、レンダリング時に使用される３Ｄモデルを指示するフィールドを含むこともできる。該当フィールドが０、１、２、３の値を有する場合、３Ｄ空間は各々球形（Ｓｐｈｅｒｅ）、キューブ（Ｃｕｂｅ）、シリンダー（Ｃｙｌｉｎｄｅｒ）、ピラミッド（Ｐｙｒａｍｉｄ）の３Ｄモデルを従うことができる。該当フィールドがその他の値を有する場合は、今後の使用のために残しておくことができる（Ｒｅｓｅｒｖｅｄ ｆｏｒ Ｆｕｔｕｒｅ Ｕｓｅ）。実施例によって、３６０ビデオ関連メタデータはさらに、該当フィールドにより指示される３Ｄモデルに関する具体的な情報を含むことができる。ここで、３Ｄモデルに関する具体的な情報とは、例えば、球形の半径情報、シリンダーの高さ情報などを意味する。このフィールドは省略できる。
ｐｒｏｊｅｃｔｉｏｎ＿ｓｃｈｅｍｅフィールドは、該当３６０ビデオデータが２Ｄイメージ上にプロジェクションされる時、使用されたプロジェクションスキームを指示することができる。該当フィールドが０、１、２、３、４、５の値を有する場合、各々等正方形のプロジェクション（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ Ｐｒｏｊｅｃｔｉｏｎ）スキーム、キュービックプロジェクションスキーム、シリンダー型のプロジェクションスキーム、タイルベース（ｔｉｌｅ−ｂａｓｅｄ）のプロジェクションスキーム、ピラミッドプロジェクションスキーム、パノラミックプロジェクションスキームが使用されたことができる。該当フィールドが６の値を有する場合、３６０ビデオデータがステッチング無しにすぐ２Ｄイメージ上にプロジェクションされた場合であることができる。該当フィールドがその他の値を有する場合は、今後の使用のために残しておくことができる（Ｒｅｓｅｒｖｅｄ ｆｏｒ Ｆｕｔｕｒｅ Ｕｓｅ）。実施例によって３６０ビデオ関連メタデータはさらに、該当フィールドによって特定されるプロジェクションスキームにより発生したリージョン（Ｒｅｇｉｏｎ）に関する具体的な情報を含むことができる。ここで、リージョンに関する具体的な情報とは、例えば、リージョンの回転有無、シリンダーの上面（ｔｏｐ）リージョンの半径情報などを意味する。
立体関連メタデータは３６０ビデオデータの３Ｄ関連属性に関する情報を含む。立体関連メタデータはｉｓ＿ｓｔｅｒｅｏｓｃｏｐｉｃフィールド及び／又はｓｔｅｒｅｏ＿ｍｏｄｅフィールドを含む。実施例によって立体関連メタデータはさらなる情報を含むことができる。
ｉｓ＿ｓｔｅｒｅｏｓｃｏｐｉｃフィールドは、該当３６０ビデオデータが３Ｄを支援するか否かを指示することができる。該当フィールドが１であると３Ｄ支援、０であると３Ｄ未支援を意味する。このフィールドは省略できる。
ｓｔｅｒｅｏ＿ｍｏｄｅフィールドは、該当３６０ビデオが支援する３Ｄレイアウトを指示することができる。このフィールドのみで該当３６０ビデオが３Ｄを支援するか否かを指示することができるが、この場合、上述したｉｓ＿ｓｔｅｒｅｏｓｃｏｐｉｃフィールドは省略できる。このフィールド値が０である場合、該当３６０ビデオはモノ（ｍｏｎｏ）モードであることができる。即ち、プロジェクションされた２Ｄイメージは１つのモノビュー（ｍｏｎｏ ｖｉｅｗ）のみを含むことができる。この場合、該当３６０ビデオは３Ｄを支援しないこともできる。
このフィールド値が１、２である場合、該当３６０ビデオは各々左右（Ｌｅｆｔ−Ｒｉｇｈｔ）レイアウト、上下（ｔｏｐ−Ｂｏｔｔｏｍ）レイアウトに従う。左右レイアウト、上下レイアウトは、各々サイド−バイ−サイドフォーマット、トップ−ボトムフォーマットとも呼ばれる。左右レイアウトの場合、左映像／右映像がプロジェクションされた２Ｄイメージは、イメージフレーム上において各々左／右に位置する。上下レイアウトの場合、左映像／右映像がプロジェクションされた２Ｄイメージは、イメージフレーム上において各々上／下に位置する。該当フィールドがその他の値を有する場合は、今後の使用のために残しておくことができる（Ｒｅｓｅｒｖｅｄ ｆｏｒ Ｆｕｔｕｒｅ Ｕｓｅ）。
初期視点関連メタデータはユーザが３６０ビデオを最初に再生した時に見る視点（初期視点）に関する情報を含む。初期視点関連メタデータは、ｉｎｉｔｉａｌ＿ｖｉｅｗ＿ｙａｗ＿ｄｅｇｒｅｅフィールド、ｉｎｉｔｉａｌ＿ｖｉｅｗ＿ｐｉｔｃｈ＿ｄｅｇｒｅｅフィールド及び／又はｉｎｉｔｉａｌ＿ｖｉｅｗ＿ｒｏｌｌ＿ｄｅｇｒｅｅフィールドを含む。実施例によって、初期視点関連メタデータはさらなる情報を含むこともできる。
ｉｎｉｔｉａｌ＿ｖｉｅｗ＿ｙａｗ＿ｄｅｇｒｅｅフィールド、ｉｎｉｔｉａｌ＿ｖｉｅｗ＿ｐｉｔｃｈ＿ｄｅｇｒｅｅフィールド、ｉｎｉｔｉａｌ＿ｖｉｅｗ＿ｒｏｌｌ＿ｄｅｇｒｅｅフィールドは、該当３６０ビデオ再生時の初期視点を示す。即ち、再生時に最初に見るビューポートの真ん中の地点が、これらのフィールドにより表されることができる。各フィールドはその真ん中の地点が位置をｙａｗ、ｐｉｔｃｈ、ｒｏｌｌ軸を基準として回転した方向（符号）及びその程度（角度）で示すことができる。この時、ＦＯＶによって最初の再生時に見られるビューポートが決定される。ＦＯＶにより、指示された初期視点を基準とする初期ビューポートの幅及び高さ（ｗｉｄｔｈ、ｈｅｉｇｈｔ）が決定される。即ち、これらのフィールド及びＦＯＶ情報を用いて、３６０ビデオの受信装置はユーザに３６０ビデオの一定の領域を初期ビューポートとして提供することができる。
実施例によって、初期視点関連メタデータが指示する初期視点は、シーン（ｓｃｅｎｅ）ごとに変更される。即ち、３６０コンテンツの時間的流れによって３６０ビデオのシーンが変化するが、該当３６０ビデオのシーンごとにユーザが最初に見る初期視点或いは初期ビューポートが変更される。この場合、初期視点関連メタデータは各シーンごとの初期視点を指示することができる。このために、初期視点関連メタデータはさらに、該当初期視点が適用されるシーンを識別するシーン識別子を含むことができる。また３６０ビデオのシーンごとにＦＯＶが変化することができるので、初期視点関連メタデータはさらに、該当シーンに該当するＦＯＶを示すシーンごとのＦＯＶ情報を含むことができる。
ＲＯＩ関連メタデータは、上述したＲＯＩに関連する情報を含む。ＲＯＩ関連メタデータは、２ｄ＿ｒｏｉ＿ｒａｎｇｅ＿ｆｌａｇフィールド及び／又は３ｄ＿ｒｏｉ＿ｒａｎｇｅ＿ｆｌａｇフィールドを含む。これらのフィールドは各々ＲＯＩ関連メタデータが２Ｄイメージに基づいてＲＯＩを表現するフィールドを含むか否か、３Ｄ空間に基づいてＲＯＩを表現するフィールドを含むか否かを指示することができる。実施例によって、ＲＯＩ関連メタデータはさらに、ＲＯＩによる差分エンコーディング情報、ＲＯＩによる差分伝送処理情報などの追加情報を含むことができる。
ＲＯＩ関連メタデータが２Ｄイメージに基づいてＲＯＩを表現するフィールドを含む場合、ＲＯＩ関連メタデータは、ｍｉｎ＿ｔｏｐ＿ｌｅｆｔ＿ｘフィールド、ｍａｘ＿ｔｏｐ＿ｌｅｆｔ＿ｘフィールド、ｍｉｎ＿ｔｏｐ＿ｌｅｆｔ＿ｙフィールド、ｍａｘ＿ｔｏｐ＿ｌｅｆｔ＿ｙフィールド、ｍｉｎ＿ｗｉｄｔｈフィールド、ｍａｘ＿ｗｉｄｔｈフィールド、ｍｉｎ＿ｈｅｉｇｈｔフィールド、ｍａｘ＿ｈｅｉｇｈｔフィールド、ｍｉｎ＿ｘフィールド、ｍａｘ＿ｘフィールド、ｍｉｎ＿ｙフィールド及び／又はｍａｘ＿ｙフィールドを含むことができる。
ｍｉｎ＿ｔｏｐ＿ｌｅｆｔ＿ｘフィールド、ｍａｘ＿ｔｏｐ＿ｌｅｆｔ＿ｘフィールド、ｍｉｎ＿ｔｏｐ＿ｌｅｆｔ＿ｙフィールド及びｍａｘ＿ｔｏｐ＿ｌｅｆｔ＿ｙフィールドは、ＲＯＩの左上端の座標の最小／最大値を示すことができる。これらのフィールドは順に左上端の最小ｘ座標、最大ｘ座標、最小ｙ座標及び最大ｙ座標を示す。
ｍｉｎ＿ｗｉｄｔｈフィールド、ｍａｘ＿ｗｉｄｔｈフィールド、ｍｉｎ＿ｈｅｉｇｈｔフィールド及びｍａｘ＿ｈｅｉｇｈｔフィールドは、ＲＯＩの横サイズ（ｗｉｄｔｈ）、縦サイズ（Ｈｅｉｇｈｔ）の最小／最大値を示す。これらのフィールドは順に横サイズの最小値、横サイズの最大値、縦サイズの最小値及び縦サイズの最大値を示す。
ｍｉｎ＿ｘフィールド、ｍａｘ＿ｘフィールド、ｍｉｎ＿ｙフィールド及びｍａｘ＿ｙフィールドは、ＲＯＩ内の座標の最小／最大値を示す。これらのフィールドは順にＲＯＩ内の座標の最小ｘ座標、最大ｘ座標、最小ｙ座標及び最大ｙ座標を示す。これらのフィールドは省略できる。
ＲＯＩ関連メタデータが３Ｄレンダリング空間上の座標に基づいてＲＯＩを表現するフィールドを含む場合、ＲＯＩ関連メタデータは、ｍｉｎ＿ｙａｗフィールド、ｍａｘ＿ｙａｗフィールド、ｍｉｎ＿ｐｉｔｃｈフィールド、ｍａｘ＿ｐｉｔｃｈフィールド、ｍｉｎ＿ｒｏｌｌフィールド、ｍａｘ＿ｒｏｌｌフィールド、ｍｉｎ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗフィールド及び／又はｍａｘ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗフィールドを含むことができる。
ｍｉｎ＿ｙａｗフィールド、ｍａｘ＿ｙａｗフィールド、ｍｉｎ＿ｐｉｔｃｈフィールド、ｍａｘ＿ｐｉｔｃｈフィールド、ｍｉｎ＿ｒｏｌｌフィールド及びｍａｘ＿ｒｏｌｌフィールドは、ＲＯＩが３Ｄ空間上において占める領域をｙａｗ、ｐｉｔｃｈ、ｒｏｌｌの最小／最大値で示すことができる。これらのフィールドは順にｙａｗ軸基準回転量の最小値、ｙａｗ軸基準回転量の最大値、ｐｉｔｃｈ軸基準回転量の最小値、ｐｉｔｃｈ軸基準回転量の最大値、ｒｏｌｌ軸基準回転量の最小値及びｒｏｌｌ軸基準回転量の最大値を示す。
ｍｉｎ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗフィールド、ｍａｘ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗフィールドは、該当３６０ビデオデータのＦＯＶの最小／最大値を示す。ＦＯＶは３６０ビデオの再生時に同時にディスプレイされる視野範囲を意味する。ｍｉｎ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗフィールド、ｍａｘ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗフィールドは各々ＦＯＶの最小値、最大値を示すことができる。これらのフィールドは省略できる。これらのフィールドは後述するＦＯＶ関連メタデータに含まれることもできる。
ＦＯＶ関連メタデータは上述したＦＯＶに関連する情報を含む。ＦＯＶ関連メタデータはｃｏｎｔｅｎｔ＿ｆｏｖ＿ｆｌａｇフィールド及び／又はｃｏｎｔｅｎｔ＿ｆｏｖフィールドを含むことができる。実施例によって、ＦＯＶ関連メタデータはさらに、上述したＦＯＶの最小／最大値関連情報などの追加情報を含むこともできる。
ｃｏｎｔｅｎｔ＿ｆｏｖ＿ｆｌａｇフィールドは、該当３６０ビデオに対して制作時に意図したＦＯＶに関する情報が存在するか否かを指示することができる。このフィールド値が１である場合、ｃｏｎｔｅｎｔ＿ｆｏｖフィールドが存在することができる。
ｃｏｎｔｅｎｔ＿ｆｏｖフィールドは、該当３６０ビデオに対して制作時に意図したＦＯＶに関する情報を示すことができる。実施例によって、該当３６０ビデオの受信装置の垂直（ｖｅｒｔｉｃａｌ）或いは水平（Ｈｏｒｉｚｏｎｔａｌ）ＦＯＶによって、３６０映像のうち、ユーザに同時にディスプレイされる領域を決定される。或いは実施例によって、このフィールドのＦＯＶ情報を反映してユーザに同時にディスプレイされる３６０ビデオの領域が決定されることもできる。
クロップされた領域関連メタデータは、イメージフレーム上において実際の３６０ビデオデータを含む領域に関する情報を含む。イメージフレームは実際の３６０ビデオデータのプロジェクションされたアクティブビデオ領域（Ａｃｔｉｖｅ Ｖｉｄｅｏ Ａｒｅａ）と、そうではない領域を含む。この時、アクティブビデオ領域は、クロップされた領域又はデフォルトディスプレイ領域と称することができる。このアクティブビデオ領域は、実際のＶＲディスプレイ上において３６０ビデオとして見られる領域であり、３６０ビデオの受信装置又はＶＲディスプレイは、アクティブビデオ領域のみを処理／ディスプレイすることができる。例えば、イメージフレームの横縦比（ａｓｐｅｃｔ ｒａｔｉｏ）が４：３である場合、イメージフレームにおける上側の一部及び下側の一部を除いた領域のみが３６０ビデオデータを含むことができるが、この部分をアクティブビデオ領域と言える。
クロップされた領域関連メタデータは、ｉｓ＿ｃｒｏｐｐｅｄ＿ｒｅｇｉｏｎフィールド、ｃｒ＿ｒｅｇｉｏｎ＿ｌｅｆｔ＿ｔｏｐ＿ｘフィールド、ｃｒ＿ｒｅｇｉｏｎ＿ｌｅｆｔ＿ｔｏｐ＿ｙフィールド、ｃｒ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈフィールド及び／又はｃｒ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔフィールドを含むことができる。実施例によって、クロップされた領域関連メタデータはさらに、追加情報を含むことができる。
ｉｓ＿ｃｒｏｐｐｅｄ＿ｒｅｇｉｏｎフィールドは、イメージフレームの全領域が３６０ビデオの受信装置或いはＶＲディスプレイにより使用されるか否かを示すフラッグであることができる。即ち、このフィールドはイメージフレーム全体がアクティブビデオ領域であるか否かを指示することができる。イメージフレームの一部のみがアクティブビデオ領域である場合は、さらに以下の４種類のフィールドを追加できる。
ｃｒ＿ｒｅｇｉｏｎ＿ｌｅｆｔ＿ｔｏｐ＿ｘフィールド、ｃｒ＿ｒｅｇｉｏｎ＿ｌｅｆｔ＿ｔｏｐ＿ｙフィールド、ｃｒ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈフィールド及びｃｒ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔフィールドは、イメージフレーム上においてアクティブビデオ領域を示す。これらのフィールドは、各々アクティブビデオ領域の左上端のｘ座標、アクティブビデオ領域の左上端のｙ座標、アクティブビデオ領域の幅（ｗｉｄｔｈ）、アクティブビデオ領域の高さ（Ｈｅｉｇｈｔ）を示すことができる。幅と高さはピクセル単位で示すことができる。
上述したように、３６０゜ビデオ関連シグナリング情報又はメタデータは、任意に定義されたシグナリングテーブルに含まれることができ、ＩＳＯＢＭＦＦ又はＣｏｍｍｏｎ Ｆｉｌｅ Ｆｏｒｍａｔなどのファイルフォーマットにｂｏｘ形態に含まれることもでき、又はＤＡＳＨ ＭＰＤ内に含まれて伝送されることもできる。なお、３６０゜メディアデータは、かかるファイルフォーマット又はＤＡＳＨ Ｓｅｇｍｅｎｔに含まれて伝送されることもできる。
以下、ＩＳＯＢＭＦＦ及びＤＡＳＨ ＭＰＤについて順に説明する。
図９は本発明の一実施例によるメディアファイルの構造を示す図である。
図１０は本発明の一実施例によるＩＳＯＢＭＦＦ内のボックスの階層的構造を示す図である。
オーディオ又はビデオなどのメディアデータを貯蔵して伝送するために、定型化されたメディアファイルフォーマットが定義されることができる。実施例によって、メディアファイルはＩＳＯ ＢＭＦＦ（ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ）に基づくファイルフォーマットを有することができる。
本発明によるメディアファイルは、少なくとも１つ以上のボックスを含む。ここで、ボックス（ｂｏｘ）は、メディアデータ又はメディアデータに関連するメタデータなどを含むデータブロック或いはオブジェクトである。複数のボックスは互いに階層的構造を有し、これによりデータが分類されてメディアファイルが大容量メディアデータの貯蔵及び／又は伝送に適合した形態を有することになる。またメディアファイルは、ユーザがメディアコンテンツの特定の地点に移動するなど、メディア情報への接近に容易な構造を有する。
本発明によるメディアファイルはｆｔｙｐボックス、ｍｏｏｖボックス及び／又はｍｄａｔボックスを含むことができる。
ｆｔｙｐボックス（ファイルタイプボックス）は、該当メディアファイルに対するファイルタイプ又は互換性関連情報を提供する。ｆｔｙｐボックスは該当メディアファイルのメディアデータに対する構成バージョン情報を含む。復号器はｆｔｙｐボックスを参照して該当メディアファイルを区分することができる。
ｍｏｏｖボックス（ムービーボックス）は、該当メディアファイルのメディアデータに関するメタデータを含むボックスである。ｍｏｏｖボックスは全てのメタデータのためのコンテナーの役割を果たす。ｍｏｏｖボックスはメタデータ関連ボックスのうち、最上位層のボックスであることができる。実施例によって、ｍｏｏｖボックスはメディアファイル内に１つのみが存在する。
ｍｄａｔボックス（メディアデータボックス）は、該当メディアファイルの実際のメディアデータを入れるボックスである。メディアデータはオーディオサンプル及び／又はビデオサンプルを含むが、ｍｄａｔボックスはかかるメディアサンプルを入れるコンテナーの役割を果たす。
実施例によって、上述したｍｏｏｖボックスはさらにｍｖｈｄボックス、ｔｒａｋボックス及び／又はｍｖｅｘボックスなどを下位ボックスとして含むことができる。
ｍｖｈｄボックス（ムービーヘッダーボックス）は、該当メディアファイルに含まれるメディアデータのメディアプレゼンテーション関連情報を含む。即ち、ｍｖｈｄボックスは該当メディアプレゼンテーションのメディア生成時間、変更時間、時間規格及び期間などの情報を含む。
ｔｒａｋボックス（トラックボックス）は、該当メディアデータのトラックに関連する情報を提供する。ｔｒａｋボックスはオーディオトラック又はビデオトラックに対するストリーム関連情報、プレゼンテーション関連情報、アクセス関連情報などの情報を含む。ｔｒａｋボックスはトラックの数によって複数個存在することができる。
ｔｒａｋボックスは、実施例によって、さらにｔｋｈｄボックス（トラックヘッダーボックス）を下位ボックスとして含むことができる。ｔｋｈｄボックスはｔｒａｋボックスが示す該当トラックに関する情報を含むことができる。ｔｋｈｄボックスは該当トラックの生成時間、変更時間、トラック識別子などの情報を含む。
ｍｖｅｘボックス（ムービー延長（ｅｘｔｅｎｄ）ボックス）は、該当メディアファイルに後述するｍｏｏｆボックスがあり得ることを指示する。特定トラックの全てのメディアサンプルを知るために、ｍｏｏｆボックスをスキャンする必要がある。
本発明によるメディアファイルは、実施例によって、複数のフラグメントに分かれることができる（ｔ１８０１０）。これにより、メディアファイルが分割されて貯蔵又は伝送される。メディアファイルのメディアデータ（ｍｄａｔボックス）は複数のフラグメントに分かれ、各々のフラグメントはｍｏｏｆボックスと分かれたｍｄａｔボックスを含むことができる。実施例によって、フラグメントを活用するためには、ｆｔｙｐボックス及び／又はｍｏｏｖボックスの情報が必要である。
ｍｏｏｆボックス（ムービーフラグメントボックス）は、該当フラグメントのメディアデータに関するメタデータを提供する。ｍｏｏｆボックスは該当フラグメントのメタデータ関連ボックスのうち、最上位層のボックスであることができる。
ｍｄａｔボックス（メディアデータボックス）は、上述したように、実際のメディアデータを含むことができる。このｍｄａｔボックスは、各々の該当フラグメントに該当するメディアデータのメディアサンプルを含む。
実施例によって、上述したｍｏｏｆボックスはさらにｍｆｈｄボックス及び／又はｔｒａｆボックスなどを下位ボックスとして含むことができる。
ｍｆｈｄボックス（ムービーフラグメントヘッダーボックス）は、分割された複数のフラグメント間の関連性に関連する情報を含む。ｍｆｈｄボックスはシーケンス番号（ｓｅｑｕｅｎｃｅ ｎｕｍｂｅｒ）を含み、該当フラグメントのメディアデータが分割された何番目のデータであるかを示すことができる。また、ｍｆｈｄボックスを用いて、分割されたデータのうち、漏れたことがあるか否かを確認することができる。
ｔｒａｆボックス（トラックフラグメントボックス）は、該当トラックフラグメントに関する情報を含む。ｔｒａｆボックスは該当フラグメントに含まれる分割されたトラックフラグメントに関するメタデータを提供する。ｔｒａｆボックスは該当トラックフラグメント内のメディアサンプルが復号化／再生されるようにメタデータを提供する。ｔｒａｆボックスはトラックフラグメントの数によって複数個が存在することができる。
実施例によって、上述したｔｒａｆボックスはさらにｔｆｈｄボックス及び／又はｔｒｕｎボックスなどを下位ボックスとして含むことができる。
ｔｆｈｄボックス（トラックフラグメントヘッダーボックス）は、該当トラックフラグメントのヘッダー情報を含む。ｔｆｈｄボックスは上述したｔｒａｆボックスが示すトラックフラグメントのメディアサンプルに対して、基本的なサンプルサイズ、期間、オフセット、識別子などの情報を提供することができる。
ｔｒｕｎボックス（トラックフラグメントランボックス）は、該当トラックフラグメント関連情報を含む。ｔｒｕｎボックスはメディアサンプルごとの期間、サイズ、再生視点などのような情報を含む。
上述したメディアファイル乃至メディアファイルのフラグメントは、セグメントで処理されて伝送されることができる。セグメントには初期化セグメント（ｉｎｉｔｉａｌｉｚａｔｉｏｎ Ｓｅｇｍｅｎｔ）及び／又はメディアセグメント（ｍｅｄｉａ Ｓｅｇｍｅｎｔ）がある。
図示された実施例（ｔ１８０２０）のファイルは、メディアデータは除いてメディアデコーダーの初期化に関連する情報などを含むファイルである。このファイルは、例えば、上述した初期化セグメントに該当する。初期化セグメントは上述したｆｔｙｐボックス及び／又はｍｏｏｖボックスを含む。
図示された実施例（ｔ１８０３０）のファイルは、上述したフラグメントを含むファイルである。このファイルは、例えば、上述したメディアセグメントに該当する。メディアセグメントは上述したｍｏｏｆボックス及び／又はｍｄａｔボックスを含む。またメディアセグメントはさらにｓｔｙｐボックス及び／又はｓｉｄｘボックスを含むことができる。
ｓｔｙｐボックス（セグメント タイプボックス）は分割されたフラグメントのメディアデータを識別するための情報を提供する。ｓｔｙｐボックスは分割されたフラグメントに対して、上述したｆｔｙｐボックスのような役割を果たす。実施例によってｓｔｙｐボックスはｆｔｙｐボックスと同一のフォーマットを有することができる。
ｓｉｄｘボックス（セグメントインデックスボックス）は分割されたフラグメントに対するインデックスを示す情報を提供する。これにより、該当分割されたフラグメントが何番目のフラグメントであるかが指示される。
実施例によって（ｔ１８０４０）、さらにｓｓｉｘボックスを含むことができるが、ｓｓｉｘボックス（サブセグメントインデックスボックス）は、セグメントがサブセグメントにさらに分れる場合において、そのサブセグメントのインデックスを示す情報を提供することができる。
メディアファイル内のボックスは、図示された実施例（ｔ１８０５０）のようなボックス或いはフルボックス（ＦｕｌｌＢｏｘ）の形態に基づいて、より拡張した情報を含むことができる。この実施例において、ｓｉｚｅフィールド、ｌａｒｇｅｓｉｚｅフィールドは該当ボックスの長さをバイト単位などで示すことができる。ｖｅｒｓｉｏｎフィールドは該当ボックスフォーマットのバージョンを示すことができる。ｔｙｐｅフィールドは該当ボックスのタイプ或いは識別子を示すことができる。ｆｌａｇｓフィールドは該当ボックスに関連するフラッグなどを示すことができる。
図１１は本発明の一実施例によるＤＡＳＨ基盤の適応型（Ａｄａｐｔｉｖｅ）ストリーミングモデルの全般的な動作を示す図である。
図示された実施例（ｔ５００１０）によるＤＡＳＨ基盤の適応型ストリーミングモデルは、ＨＴＴＰサーバとＤＡＳＨクライアントの間の動作について記載している。ここで、ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）は、ＨＴＴＰ基盤の適応型ストリーミングを支援するためのプロトコルであり、ネットワーク状況によって動的にストリーミングを支援することができる。これにより、ＡＶコンテンツ再生を続けて提供することができる。
まずＤＡＳＨクライアントはＭＰＤを得ることができる。ＭＰＤはＨＴＴＰサーバなどのサービス供給者から伝達される。ＤＡＳＨクライアントはＭＰＤに記載されたセグメントへの接近情報を用いてサーバに該当セグメントを要求することができる。ここで、この要求はネットワーク状態を反映して行われる。
ＤＡＳＨクライアントは該当セグメントを得た後、これをメディアエンジンで処理して画面にディスプレイする。ＤＡＳＨクライアントは再生時間及び／又はネットワーク状況などを実時間に反映して、必要なセグメントを要求して得ることができる（Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ）。これにより、コンテンツを続けて再生することができる。
ＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）は、ＤＡＳＨクライアントがセグメントを動的に獲得するための詳細情報を含むファイルであり、ＸＭＬ形態で表現されることができる。
ＤＡＳＨクライアントコントローラー（ＤＡＳＨ Ｃｌｉｅｎｔ Ｃｏｎｔｒｏｌｌｅｒ）は、ネットワーク状況を反映してＭＰＤ及び／又はセグメントを要求するコマンドを生成する。また、このコントローラーは得られた情報をメディアエンジンなどの内部ブロックで使用できるように制御する。
ＭＰＤパーサー（Ｐａｒｓｅｒ）は得られたＭＰＤを実時間にパーシングする。これにより、ＤＡＳＨクライアントコントローラーは必要なセグメントを得るコマンドを生成できるようになる。
セグメントパーサー（Ｐａｒｓｅｒ）は得られたセグメントを実時間にパーシングする。セグメントに含まれた情報によってメディアエンジンなどの内部ブロックは特定の動作を行うことができる。
ＨＴＴＰクライアントは必要なＭＰＤ及び／又はセグメントなどをＨＴＴＰサーバに要求することができる。またＨＴＴＰクライアントはサーバから獲得したＭＰＤ及び／又はセグメントをＭＰＤパーサー又はセグメントパーサーに伝達する。
メディアエンジン（Ｍｅｄｉａ Ｅｎｇｉｎｅ）はセグメントに含まれたメディアデータを用いてコンテンツを画面上に示すことができる。この時、ＭＰＤの情報を活用できる。
ＤＡＳＨデータモデルはハイアラーキー（ｈｉｅｒａｒｃｈｙ）構造（ｔ５００２０）を有することができる。メディアプレゼンテーションはＭＰＤにより記述される。ＭＰＤはメディアプレゼンテーションを形成する複数のピリオド（Ｐｅｒｉｏｄ）の時間的なシーケンスを記述する。ピリオドはメディアコンテンツの一区間を示す。
１つのピリオドにおいて、データはアダプテーションセットに含まれることができる。アダプテーションセットは、互いに交換可能な複数のメディアコンテンツコンポーネントの集合である。アダプテーションはレプリゼンテーションの集合を含む。レプリゼンテーションはメディアコンテンツコンポーネントに該当することができる。１つのレプリゼンテーション内において、コンテンツは複数のセグメントに時間的に分かれる。これは適切な接近性と伝達（ｄｅｌｉｖｅｒｙ）のためである。各々のセグメントに接近するために各セグメントのＵＲＬが提供される。
ＭＰＤはメディアプレゼンテーションに関連する情報を提供でき、ピリオドエレメント、アダプテーションセットエレメント、レプリゼンテーションエレメントは各々、該当ピリオド、アダプテーションセット、レプリゼンテーションについて記述できる。レプリゼンテーションはサブレプリゼンテーションに分かれることができるが、サブレプリゼンテーションエレメントは該当サブレプリゼンテーションについて記述できる。
ここで、共通（Ｃｏｍｍｏｎ）属性／エレメントが定義されるが、これらはアダプテーションセット、レプリゼンテーション、サブレプリゼンテーションなどに適用できる（含まれることができる）。共通属性／エレメントのうちには、エッセンシャルプロパティー（Ｅｓｓｅｎｔｉａｌ Ｐｒｏｐｅｒｔｙ）及び／又は補足プロパティー（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｐｒｏｐｅｒｔｙ）があり得る。
エッセンシャルプロパティーは、該当メディアプレゼンテーション関連データを処理するにおいて、必須であると思われるエレメントを含む情報である。補足プロパティーは該当メディアプレゼンテーション関連データを処理するにおいて、使用可能なエレメントを含む情報である。実施例によって、後述するシグナリング情報は、ＭＰＤを通じて伝達される場合、エッセンシャルプロパティー及び／又は補足プロパティー内に定義されて伝達される。
ＤＡＳＨ基盤のディスクリプターは＠ｓｃｈｅｍｅＩｄＵｒｉフィールド、＠ｖａｌｕｅフィールド及び／又は＠ｉｄフィールドを含む。＠ｓｃｈｅｍｅＩｄＵｒｉフィールドは該当ディスクリプターのスキーム（ｓｃｈｅｍｅ）を識別するためのＵＲＩを提供する。＠ｖａｌｕｅフィールドは＠ｓｃｈｅｍｅＩｄＵｒｉフィールドが指示するスキームによってその意味が定義される値（ｖａｌｕｅ）を有する。即ち、＠ｖａｌｕｅフィールドは該当スキームによるディスクリプターエレメントの値を有し、これらはパラメータとも呼ばれる。これらは互いに’、’で区分される。＠ｉｄは該当ディスクリプターの識別子を示す。同一の識別子を有する場合、同一のスキームＩＤ、値（ｖａｌｕｅ）、パラメータを含むことができる。
３６０ビデオ関連メタデータの各々の実施例は、ＤＡＳＨ基盤のディスクリプター形態で再度使用できる。ＤＡＳＨによって３６０ビデオデータが伝達される場合、３６０ビデオ関連メタデータはＤＡＳＨディスクリプターの形態で記述されて、ＭＰＤなどに含まれて受信側に伝達される。このディスクリプターは上述したエッセンシャルプロパティーのディスクリプター及び／又は補足プロパティーのディスクリプターの形態で伝達される。これらのディスクリプターはＭＰＤのアダプテーションセット、レプリゼンテーション、サブレプリゼンテーションなどに含まれて伝達されることができる。
本明細書は３６０ビデオの再生において、ディレクターズ・カット（ｄｉｒｅｃｔｏｒ´ｓ ｃｕｔ）のように意図又は勧奨される（ｒｅｃｏｍｍｅｎｄｅｄ）視点（地点）又は領域に関する情報を伝達してユーザをしてプロデューサーが意図した視点（地点）又は領域を視聴可能にするために関連メタデータを定義、貯蔵及びシグナリングする方法の案を開示する。後述する領域情報又は視点情報はプロデューサーの意図した領域又は視点（地点）を示す領域情報又は視点情報である。なお、勧奨される視点（地点）又は領域に関する情報は、ユーザ又はユーザデバイスが方向又はビューポートを制御できないか或いは方向除去が解除された場合にユーザデバイスに表示される領域を意味する。
かかる方法の案のために伝達されるべき情報は、２Ｄ空間における領域又は２Ｄ空間における視点（地点）、又は３Ｄ空間における領域又は３Ｄ空間における視点（地点）に該当する。２Ｄ空間はキャプチャー又はエンコーディングされた矩形イメージ平面を意味し、３Ｄ空間は球形、円筒形、正方形などの３６０ビデオレンダリングのためのプロジェクト（ｐｒｏｊｅｃｔｉｎｇ）空間又はプロジェクション構造（ｐｒｏｊｅｃｔｉｏｎ ｓｔｕｒｕｃｔｕｒｅ）を意味する。なお、ここで称する領域は上述したｒｅｇｉｏｎ（領域）を意味し、３Ｄ空間の領域又は視点（地点）と２Ｄ空間の領域又は視点（地点）は互いに対応する関係であることができる。即ち、２Ｄ空間の領域又は視点（地点）は３Ｄ空間の領域又は視点（地点）が２次元フレームにプロジェクション／マッピングされたものであることができる。
＜２Ｄ空間における領域及び視点情報伝達方法の案＞
２Ｄ空間における領域及び視点（地点）情報は、ＩＳＯ ＢＭＦＦ内にｔｉｍｅｄ ｍｅｔａｄａｔａとして１つのトラック（ｔｒａｃｋ）に貯蔵されることができる。以下、２Ｄ空間における領域情報に関するメタデータと、２Ｄ空間における視点（地点）情報に関するメタデータの実施例について順に説明する。
図１２は本発明の一実施例による２Ｄ空間における領域情報に関するメタデータを示す図である。
図１２の（ａ）は２Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーの構成を示し、図１２の（ｂ）は２Ｄ空間において表現しようとする個別領域に対する個別サンプルの構成を示す。
２Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーは、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈ、ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔ、ｍｉｎ＿ｔｏｐ＿ｌｅｆｔ＿ｘ、ｍａｘ＿ｔｏｐ＿ｌｅｆｔ＿ｘ、ｍｉｎ＿ｔｏｐ＿ｌｅｆｔ＿ｙ、ｍａｘ＿ｔｏｐ＿ｌｅｆｔ＿ｙ、ｍｉｎ＿ｗｉｄｔｈ、ｍａｘ＿ｗｉｄｔｈ、ｍｉｎ＿ｈｅｉｇｈｔ及び／又はｍａｘ＿ｈｅｉｇｈｔを含む。
ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈは２Ｄ空間の横サイズを示す。この時、２Ｄ空間の横サイズはピクセルの数で表現できる。
ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔは２Ｄ空間の縦サイズを示す。この時、２Ｄ空間の縦サイズはピクセルの数で表現できる。
ｍｉｎ＿ｔｏｐ＿ｌｅｆｔ＿ｘは、表現しようとする領域の左上端の地点に対する横座標の最小値を示す。
ｍａｘ＿ｔｏｐ＿ｌｅｆｔ＿ｘは、表現しようとする領域の左上端の地点に対する横座標の最大値を示す。
ｍｉｎ＿ｔｏｐ＿ｌｅｆｔ＿ｙは、表現しようとする領域の左上端の地点に対する縦座標の最小値を示す。
ｍａｘ＿ｔｏｐ＿ｌｅｆｔ＿ｙは、表現しようとする領域の左上端の地点に対する縦座標の最大値を示す。
ｍｉｎ＿ｗｉｄｔｈは表現しようとする領域（２Ｄ空間内の領域）の横サイズの最小値を示す。この時、表現しようとする領域の横サイズの最小値はピクセルの数で表現できる。
ｍａｘ＿ｗｉｄｔｈは表現しようとする領域（２Ｄ空間内の領域）の横サイズの最大値を示す。この時、表現しようとする領域の横サイズの最大値はピクセルの数で表現できる。
ｍｉｎ＿ｈｅｉｇｈｔは表現しようとする領域（２Ｄ空間内の領域）の縦サイズの最小値を示す。この時、表現しようとする領域の縦サイズの最小値はピクセルの数で表現できる。
ｍａｘ＿ｈｅｉｇｈｔは表現しようとする領域（２Ｄ空間内の領域）の縦サイズの最大値を示す。この時、表現しようとする領域の縦サイズの最大値はピクセルの数で表現できる。
２Ｄ空間において表現しようとする個別領域に対する個別サンプルは、ｔｏｐ＿ｌｅｆｔ＿ｘ、ｔｏｐ＿ｌｅｆｔ＿ｙ、ｗｉｄｔｈ、ｈｅｉｇｈｔ及び／又はｉｎｔｅｒｐｏｌａｔｅを含むことができる。
ｔｏｐ＿ｌｅｆｔ＿ｘは表現しようとする領域の左上端に対する横座標を示す。
ｔｏｐ＿ｌｅｆｔ＿ｙは表現しようとする領域の左上端に対する縦座標を示す。
ｗｉｄｔｈは表現しようとする領域の横サイズを示す。この時、表現しようとする領域の横サイズはピクセルの数で表現できる。
ｈｅｉｇｈｔは表現しようとする領域の縦サイズを示す。この時、表現しようとする領域の縦サイズはピクセルの数で表現できる。
ｉｎｔｅｒｐｏｌａｔｅは、以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値を線形補間値（ｌｉｎｅａｒｌｙ ｉｎｔｅｒｐｏｌａｔｅｄ ｖａｌｕｅｓ）で埋めるか否かを指示することができる。一実施例において、ｉｎｔｅｒｐｏｌａｔｅが１である場合、以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値は線形補間値（ｌｉｎｅａｒｌｙ ｉｎｔｅｒｐｏｌａｔｅｄ ｖａｌｕｅｓ）で埋めることができる。
図１３は本発明の一実施例による２Ｄ空間における視点（地点）情報に関するメタデータを示す図である。
図１３の（ａ）は２Ｄ空間における視点（地点）情報を貯蔵するトラックのサンプルエントリーの構成を示し、図１３の（ｂ）は２Ｄ空間において表現しようとする個別視点（地点）に対する個別サンプルの構成を示す。
２Ｄ空間における地点情報を貯蔵するトラックのサンプルエントリーは、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈ、ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔ、ｍｉｎ＿ｘ、ｍａｘ＿ｘ、ｍｉｎ＿ｙ及び／又はｍａｘ＿ｙを含む。
ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈは２Ｄ空間の横サイズを示す。この時、２Ｄ空間の横サイズはピクセルの数で表現できる。
ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔは２Ｄ空間の縦サイズを示す。この時、２Ｄ空間の縦サイズはピクセルの数で表現できる。
ｍｉｎ＿ｘは表現しようとする地点の横座標の最小値を示す。
ｍａｘ＿ｘは表現しようとする地点の横座標の最大値を示す。
ｍｉｎ＿ｙは表現しようとする地点の縦座標の最小値を示す。
ｍａｘ＿ｙは表現しようとする地点の縦座標の最大値を示す。
２Ｄ空間において表現しようとする個別地点に対する個別サンプルはｘ、ｙ及び／又はｉｎｔｅｒｐｏｌａｔｅを含む。
ｘは表現しようとする地点の横座標を示す。
ｙは表現しようとする地点の横座標を示す。
ｉｎｔｅｒｐｏｌａｔｅは、以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値を線形補間値（ｌｉｎｅａｒｌｙ ｉｎｔｅｒｐｏｌａｔｅｄ ｖａｌｕｅｓ）で埋めるか否かを指示する。一実施例において、ｉｎｔｅｒｐｏｌａｔｅが１である場合、以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値は線形補間値（ｌｉｎｅａｒｌｙ ｉｎｔｅｒｐｏｌａｔｅｄ ｖａｌｕｅｓ）で埋めることができる。
＜３Ｄ空間における領域及び視点情報の伝達方法の案＞
３Ｄ空間における領域及び視点情報は、ＩＳＯＢＭＦＦ内にｔｉｍｅｄ ｍｅｔａｄａｔａとして１つのトラック（ｔｒａｃｋ）に貯蔵されることができる。以下、３Ｄ空間における領域情報に関するメタデータと、３Ｄ空間における視点（地点）情報に関するメタデータの実施例について順に説明する。
ここで、３Ｄ空間は球形（ｓｐｈｅｒｅ）空間を意味し、３６０゜ビデオは球形面上に表現されることができる。上述した２Ｄ空間は３Ｄ空間が２次元にプロジェクション／マッピングされた２Ｄ平面を意味する。
図１４は本発明の様々な実施例による３Ｄ空間における領域情報に関するメタデータを示す図である。
図１４の（ａ）は本発明の一実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーの構成を示し、図１４の（ｂ）は本発明の他の実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーの構成を示す。
まず、図１４の（ａ）を参照すると、本発明の一実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーは、ｍｉｎ＿ｙａｗ、ｍａｘ＿ｙａｗ、ｍｉｎ＿ｐｉｔｃｈ、ｍａｘ＿ｐｉｔｃｈ、ｍｉｎ＿ｒｏｌｌ、ｍａｘ＿ｒｏｌｌ、ｍｉｎ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及び／又はｍａｘ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗを含む。
ｍｉｎ＿ｙａｗは表現しようとする領域のｙａｗ ａｘｉｓに対する回転量の最小値を示す。
ｍａｘ＿ｙａｗは表現しようとする領域のｙａｗ ａｘｉｓに対する回転量の最大値を示す。
ｍｉｎ＿ｐｉｔｃｈは表現しようとする領域のｐｉｔｃｈ ａｘｉｓに対する回転量の最小値を示す。
ｍａｘ＿ｐｉｔｃｈは表現しようとする領域のｐｉｔｃｈ ａｘｉｓに対する回転量の最大値を示す。
ｍｉｎ＿ｒｏｌｌは表現しようとする領域のｒｏｌｌ ａｘｉｓに対する回転量の最小値を示す。
ｍａｘ＿ｒｏｌｌは表現しようとする領域のｒｏｌｌ ａｘｉｓに対する回転量の最大値を示す。
ｍｉｎ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは表現しようとする視野範囲（ｆｉｅｌｄ of ｖｉｅｗ）の最小値を示す。
ｍａｘ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは表現しようとする視野範囲（ｆｉｅｌｄ of ｖｉｅｗ）の最大値を示す。
ｍｉｎ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｍａｘ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗが全部０である場合、該当サンプルエントリーを参照する各サンプルの領域は、１つの点であることができる。
次に、図１４の（ｂ）を参照すると、本発明の他の実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーは、ｃｅｎｔｅｒ＿ｙａｗ、ｃｅｎｔｅｒ＿ｐｉｔｃｈ、ｃｅｎｔｅｒ＿ｒｏｌｌ、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及び／又はｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗを含む。
ｃｅｎｔｅｒ＿ｙａｗは表現しようとする領域のｙａｗ ａｘｉｓに対する回転量の中間値を示す。
ｃｅｎｔｅｒ＿ｐｉｔｃｈは表現しようとする領域のｐｉｔｃｈ ａｘｉｓに対する回転量の中間値を示す。
ｃｅｎｔｅｒ＿ｒｏｌｌは表現しようとする領域のｒｏｌｌ ａｘｉｓに対する回転量の最小値を示す。
ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは表現しようとする水平視野範囲（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）の値を示す。この値はｃｅｎｔｅｒ＿ｙａｗを基準（中心）とする水平視野範囲であることができる。
ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは表現しようとする垂直視野範囲（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）の値を示す。この値はｃｅｎｔｅｒ＿ｐｉｔｃｈを基準（中心）とする垂直視野範囲であることができる。
ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗが全部０である場合、該当サンプルエントリーを参照する各サンプルの領域は、１つの点であることができる。
このサンプルエントリーのｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは、各サンプルにおいて変更されない限り、各サンプルに適用できる。
一実施例において、本発明の一実施例及び／又は他の実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーは、さらにｄｙｎａｍｉｃ＿ｒａｎｇｅ＿ｆｌａｇを含む。かかるｄｙｎａｍｉｃ＿ｒａｎｇｅ＿ｆｌａｇは、該当サンプルエントリーが指示する水平及び垂直視野範囲が該当サンプルエントリーを参照する全てのサンプルに対しても変化せず維持されることを指示することができる。一例として、ｄｙｎａｍｉｃ＿ｒａｎｇｅ＿ｆｌａｇが０である場合、サンプルエントリーの水平及び垂直視野範囲がサンプルエントリーを参照するサンプルにおいても維持されることを指示することができる。
図１５は本発明の様々な実施例による３Ｄ空間において表現しようとする個別領域に関するメタデータを示す図である。
図１５の（ａ）は本発明の一実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルの構成を示し、図１５の（ｂ）は本発明の他の実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルの構成を示す。
まず、図１５の（ａ）を参照すると、本発明の一実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルは、ｙａｗ、ｐｉｔｃｈ、ｒｏｌｌ、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、及び／又はｉｎｔｅｒｐｏｌａｔｅを含むことができる。
ｙａｗは表現しようとする領域のｙａｗ ａｘｉｓに対する回転量を示す。
ｐｉｔｃｈは表現しようとする領域のｐｉｔｃｈ ａｘｉｓに対する回転量を示す。
ｒｏｌｌは表現しようとする領域のｒｏｌｌ ａｘｉｓに対する回転量を示す。
一実施例において、ｙａｗ及びｐｉｔｃｈはビューポートの中心を示し、ｒｏｌｌはビューポートのｒｏｌｌ角度を示す。
ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは表現しようとする視野範囲（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す。Ｆｉｅｌｄ ｏｆ ｖｉｅｗはｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗに細分化できる。
ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは表現しようとする水平視野範囲の値を示す。この値はｃｅｎｔｅｒ＿ｙａｗを基準（中心）とする水平視野範囲であることができる。
ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは表現しようとする垂直視野範囲の値を示す。この値はｃｅｎｔｅｒ＿ｐｉｔｃｈを基準（中心）とする垂直視野範囲であることができる。
ｉｎｔｅｒｐｏｌａｔｅは以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値を線形補間値（ｌｉｎｅａｒｌｙ ｉｎｔｅｒｐｏｌａｔｅｄ ｖａｌｕｅｓ）で埋めるか否かを指示することができる。一実施例において、ｉｎｔｅｒｐｏｌａｔｅが１である場合、以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値は、線形補間値（ｌｉｎｅａｒｌｙ ｉｎｔｅｒｐｏｌａｔｅｄ ｖａｌｕｅｓ）で埋めることができる。
次に、図１５の（ｂ）を参照すると、本発明の他の実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルは、ｙａｗ、ｐｉｔｃｈ、ｒｏｌｌ及び／又はｉｎｔｅｒｐｏｌａｔｅを含むことができる。
ｙａｗは表現しようとする領域のｙａｗ ａｘｉｓに対する回転量を示す。
ｐｉｔｃｈは表現しようとする領域のｐｉｔｃｈ ａｘｉｓに対する回転量を示す。
ｒｏｌｌは表現しようとする領域のｒｏｌｌ ａｘｉｓに対する回転量を示す。
ｉｎｔｅｒｐｏｌａｔｅは以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値を線形補間値（ｌｉｎｅａｒｌｙ ｉｎｔｅｒｐｏｌａｔｅｄ ｖａｌｕｅｓ）で埋めるか否かを指示することができる。一実施例において、ｉｎｔｅｒｐｏｌａｔｅが１である場合、以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値は、線形補間値（ｌｉｎｅａｒｌｙ ｉｎｔｅｒｐｏｌａｔｅｄ ｖａｌｕｅｓ）で埋めることができる。
図１６は本発明のさらに他の実施例による３Ｄ空間における領域情報に関するメタデータを示す図である。
図１６の（ａ）は本発明のさらに他の実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーの構成を示し、図１６の（ｂ）は本発明のさらに他の実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルの構成を示す。
まず、図１６の（ａ）を参照すると、本発明のさらに他の実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーは、ｒｅｇｉｏｎ＿ｔｙｐｅ、ｒｅｆｅｒｅｎｃｅ＿ｙａｗ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈ、ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔ及び／又はｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｒａｎｇｅを含む。
ｒｅｇｉｏｎ＿ｔｙｐｅは表現しようとする領域の種類を識別することができる。
一例として、ｒｅｇｉｏｎ＿ｔｙｐｅが０である場合、該当領域はＨＭＤ（Ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）のようなユーザデバイスにおけるビューポートであることができる。この時、ビューポートはｒｅｃｔｉｌｉｎｅａｒ ｐｒｏｊｅｃｔｉｏｎのような方法で生成される。この場合、該当領域は球面（ｓｐｈｅｒｉｃａｌ ｓｕｒｆａｃｅ）に存在する２つの水平方向ｇｒｅａｔ ｃｉｒｃｌｅ（大圏、大円）と、２つの水平方向ｇｒｅａｔ ｃｉｒｃｌｅ（大圏、大円）の交点で構成される内部領域であることができる。即ち、該当領域は４つのｇｒｅａｔ ｃｉｒｃｌｅにより特定される球面上の領域であることができる。
一例として、ｒｅｇｉｏｎ＿ｔｙｐｅが１である場合、該当領域はユーザデバイスのビューポート内に含まれるべき特定のｙａｗ、ｐｉｔｃｈ、ｒｏｌｌの範囲で示されるビューポイントの集合であるビューポイントセット（ｖｉｅｗｐｏｉｎｔ ｓｅｔ）であり、この場合、該当領域は球面（ｓｐｈｅｒｅ ｓｕｒｆａｃｅ）に存在する２つの水平方向ｇｒｅａｔ ｃｉｒｃｌｅ（大圏、大円）と２つの水平方向ｓｍａｌｌ ｃｉｒｃｌｅ（小圏、小円）の交点で構成される内部領域であることができる。より具体的には、該当領域は球面に存在する２つのｐｉｔｃｈ ｃｉｒｃｌｅと２つのｙａｗ ｃｉｒｃｌｅにより特定される球面上の領域であることができる。
なお、ｒｅｇｉｏｎ＿ｔｙｐｅが１に設定される場合、ユーザデバイス（ｕｓｅｒ ｄｅｖｉｃｅ）におけるビューポートは、ユーザデバイスの固有の水平／垂直視野（Ｈｏｒｉｚｏｎｔａｌ／ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）値によって構成し、ビューポイントセット（ｖｉｅｗｐｏｉｎｔ ｓｅｔ）の領域をビューポート（ｖｉｅｗｐｏｒｔ）内に含ませる方法で使用されることもできる。
一実施例において、メタデータ内にｒｅｇｉｏｎ＿ｔｙｐｅフィールドが含まれない場合、領域識別方法はｒｅｇｉｏｎ＿ｔｙｐｅが意味する領域識別方法のうちの１つに設定される。即ち、メタデータ内にｒｅｇｉｏｎ＿ｔｙｐｅフィールドが含まれない場合、領域識別方法はｒｅｇｉｏｎ＿ｔｙｐｅが０である場合に予め設定されるか、或いはｒｅｇｉｏｎ＿ｔｙｐｅが１である場合に予め設定されて、ｒｅｇｉｏｎ＿ｔｙｐｅフィールドをシグナリングしないこともできる。
ｒｅｆｅｒｅｎｃｅ＿ｙａｗ＿ｃｅｎｔｅｒは該当トラックに存在するサンプルが表現される領域を定義するｒｅｆｅｒｅｎｃｅ ｓｐａｃｅの中央点のｙａｗ値を示す。この時、サンプルは後述する３Ｄ Ｓｐｈｅｒｉｃａｌ Ｃｏｏｒｄｉｎａｔｅｓ Ｓａｍｐｌｅにより定義できる。
ｒｅｆｅｒｅｎｃｅ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒは該当トラックに存在するサンプルが表現される領域を定義するｒｅｆｅｒｅｎｃｅ ｓｐａｃｅの中央点のｐｉｔｃｈ値を示す。この時、サンプルは後述する３Ｄ Ｓｐｈｅｒｉｃａｌ Ｃｏｏｒｄｉｎａｔｅｓ Ｓａｍｐｌｅにより定義できる。
ｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｃｅｎｔｅｒは該当トラックに存在するサンプルが表現される領域を定義するｒｅｆｅｒｅｎｃｅ ｓｐａｃｅの中央点のｒｏｌｌ値を示す。この時、サンプルは後述する３Ｄ Ｓｐｈｅｒｉｃａｌ Ｃｏｏｒｄｉｎａｔｅｓ Ｓａｍｐｌｅにより定義できる。
ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈは該当トラックに存在するサンプルが表現される領域を定義するｒｅｆｅｒｅｎｃｅ ｓｐａｃｅの水平方向の幅を示す。この時、サンプルは後述する３Ｄ Ｓｐｈｅｒｉｃａｌ Ｃｏｏｒｄｉｎａｔｅｓ Ｓａｍｐｌｅにより定義できる。
ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈはｒｅｇｉｏｎ＿ｔｙｐｅ値によってその意味が異なる。
一例として、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅが０である場合、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈはＨＭＤ（Ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）のようなユーザデバイスにおけるビューポートの水平視野（Ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す。この時、ビューポートはｒｅｃｔｉｌｉｎｅａｒ ｐｒｏｊｅｃｔｉｏｎのような方法で生成できる。
他の例として、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅが１である場合、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈはビューポイントセット（ｖｉｅｗｐｏｉｎｔ ｓｅｔ）のためのｒｅｆｅｒｅｎｃｅ ｓｐａｃｅを構成する点のｙａｗ値の範囲を示す。
Ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔは該当トラックに存在するサンプルが表現される領域を定義するｒｅｆｅｒｅｎｃｅ ｓｐａｃｅの垂直方向の高さを示す。この時、サンプルは後述する３Ｄ Ｓｐｈｅｒｉｃａｌ Ｃｏｏｒｄｉｎａｔｅｓ Ｓａｍｐｌｅにより定義できる。
ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔはｒｅｇｉｏｎ＿ｔｙｐｅ値によってその意味が異なる。
一例として、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅが０である場合、ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔはＨＭＤ（Ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）のようなユーザデバイス（ｕｓｅｒ ｄｅｖｉｃｅ）におけるビューポート（ｖｉｅｗｐｏｒｔ）の垂直視野（ｖｅｒｔｉｃａｌ ｆｉｅｌｄ of ｖｉｅｗ）を示す。この時、ビューポートはｒｅｃｔｉｌｉｎｅａｒ ｐｒｏｊｅｃｔｉｏｎのような方法で生成できる。
他の例として、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅが１である場合、ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔはビューポイントセット（ｖｉｅｗｐｏｉｎｔ ｓｅｔ）のためのｒｅｆｅｒｅｎｃｅ ｓｐａｃｅを構成する点のｐｉｔｃｈ値の範囲を示す。
ｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｒａｎｇｅは中央点を基準とするｒｅｆｅｒｅｎｃｅ ｓｐａｃｅのｒｏｌｌ値の範囲を示す。
次に、図１６の（ｂ）を参照すると、本発明のさらに他の実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルは、ｙａｗ＿ｃｅｎｔｅｒ、ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｏｌｌ＿ｃｅｎｔｅｒ、ｗｉｄｔｈ、ｈｅｉｇｈｔ及び／又はｉｎｔｅｒｐｏｌａｔｅを含むことができる。
ｙａｗ＿ｃｅｎｔｅｒは表現しようとする領域の中央点のｙａｗ値を示す。
ｐｉｔｃｈ＿ｃｅｎｔｅｒは表現しようとする領域の中央点のｐｉｔｃｈ値を示す。
ｒｏｌｌ＿ｃｅｎｔｅｒは表現しようとする領域の中央点のｒｏｌｌ値を示す。
ｗｉｄｔｈは表現しようとする領域の水平方向の幅を示す。ｗｉｄｔｈは上述したｒｅｇｉｏｎ＿ｔｙｐｅ値によってその意味が異なることもある。
一例として、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅが０である場合、ｗｉｄｔｈはＨＭＤ（Ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）のようなユーザデバイス（ｕｓｅｒ ｄｅｖｉｃｅ）におけるビューポート（ｖｉｅｗｐｏｒｔ）の水平視野（Ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す。この時、ビューポートはｒｅｃｔｉｌｉｎｅａｒ ｐｒｏｊｅｃｔｉｏｎのような方法で生成できる。
他の例として、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅが１である場合、ｗｉｄｔｈはビューポイントセット（ｖｉｅｗｐｏｉｎｔ ｓｅｔ）のためのｒｅｆｅｒｅｎｃｅ ｓｐａｃｅを構成する点のｙａｗ値の範囲を示す。
ｈｅｉｇｈｔは表現しようとする領域の垂直方向の高さを示す。ｈｅｉｇｈｔは上述したｒｅｇｉｏｎ＿ｔｙｐｅの値によってその意味が異なることもある。
一例として、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅが０である場合、ｈｅｉｇｈｔはＨＭＤ（Ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）のようなユーザデバイス（ｕｓｅｒ ｄｅｖｉｃｅ）におけるビューポート（ｖｉｅｗｐｏｒｔ）の垂直視野（ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す。この時、ビューポートはｒｅｃｔｉｌｉｎｅａｒ ｐｒｏｊｅｃｔｉｏｎのような方法で生成できる。
他の例として、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅが１である場合、ｈｅｉｇｈｔはビューポイントセット（ｖｉｅｗｐｏｉｎｔ ｓｅｔ）のためのｒｅｆｅｒｅｎｃｅ ｓｐａｃｅを構成する点のｐｉｔｃｈ値の範囲を示す。
ｉｎｔｅｒｐｏｌａｔｅは以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値を線形補間値（ｌｉｎｅａｒｌｙ ｉｎｔｅｒｐｏｌａｔｅｄ ｖａｌｕｅｓ）で埋めるか否かを指示することができる。一実施例において、ｉｎｔｅｒｐｏｌａｔｅが１である場合、以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値は、線形補間値（ｌｉｎｅａｒｌｙ ｉｎｔｅｒｐｏｌａｔｅｄ ｖａｌｕｅｓ）で埋めることができる。
図１７は本発明のさらに他の実施例による３Ｄ空間における領域情報に関するメタデータを示す図である。
図１７の（ａ）は本発明のさらに他の実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーの構成を示し、図１７の（ｂ）は本発明のさらに他の実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルの構成を示す。
図１７の実施例は、ｒｅｇｉｏｎ＿ｔｙｐｅの値によって異なるｆｉｅｌｄで構成できるという点で図１６の実施例と異なる。
まず、図１７の（ａ）を参照すると、本発明のさらに他の実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーは、ｒｅｇｉｏｎ＿ｔｙｐｅ、ｒｅｆｅｒｅｎｃｅ＿ｙａｗ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅ及び／又はｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｒａｎｇｅを含む。
ｒｅｇｉｏｎ＿ｔｙｐｅ、ｒｅｆｅｒｅｎｃｅ＿ｙａｗ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｃｅｎｔｅｒ及びｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｒａｎｇｅの場合、図１６の（ａ）で説明した内容を適用できる。
この実施例において、ｒｅｇｉｏｎ＿ｔｙｐｅが０である場合、ｒｅｆｅｒｅｎｃｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｒｅｆｅｒｅｎｃｅ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗがサンプルエントリーに含まれることができる。
ｒｅｆｅｒｅｎｃｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは、ＨＭＤ（Ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）のようなユーザデバイスにおいてｒｅｆｅｒｅｎｃｅ ｓｐａｃｅに対応するビューポートの水平視野（Ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す。この時、ビューポートはｒｅｃｔｉｌｉｎｅａｒ ｐｒｏｊｅｃｔｉｏｎのような方法で生成できる。
ｒｅｆｅｒｅｎｃｅ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは、ＨＭＤ（Ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）のようなユーザデバイスにおいてｒｅｆｅｒｅｎｃｅ ｓｐａｃｅに対応すするビューポートの垂直視野（ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す。この時、ビューポートはｒｅｃｔｉｌｉｎｅａｒ ｐｒｏｊｅｃｔｉｏｎのような方法で生成できる。
この実施例において、ｒｅｇｉｏｎ＿ｔｙｐｅが１である場合、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ及びｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅがサンプルエントリーに含まれることができる。
ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅはビューポイントセットのためのｒｅｆｅｒｅｎｃｅ ｓｐａｃｅを構成する点のｙａｗ値の範囲を示す。
ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅはビューポイントセットのためのｒｅｆｅｒｅｎｃｅ ｓｐａｃｅを構成する点のｐｉｔｃｈ値の範囲を示す。
次に、図１７の（ｂ）を参照すると、本発明のさらに他の実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルは、ｙａｗ＿ｃｅｎｔｅｒ、ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｏｌｌ＿ｃｅｎｔｅｒ、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ、ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅ及び／又はｉｎｔｅｒｐｏｌａｔｅを含む。
ｙａｗ＿ｃｅｎｔｅｒ、ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｏｌｌ＿ｃｅｎｔｅｒ及びｉｎｔｅｒｐｏｌａｔｅの場合、図１６の（ｂ）で説明した内容を適用できる。
この実施例において、ｒｅｇｉｏｎ＿ｔｙｐｅが０である場合、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗが該当サンプルに含まれることができる。
ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは、ＨＭＤ（Ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）のようなユーザデバイスにおいて該当領域に対応するビューポートの水平視野（Ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す。この時、ビューポートはｒｅｃｔｉｌｉｎｅａｒ ｐｒｏｊｅｃｔｉｏｎのような方法で生成できる。
ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは、ＨＭＤ（Ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）のようなユーザデバイスにおいて該当領域に対応するビューポートの垂直視野（ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す。この時、ビューポートはｒｅｃｔｉｌｉｎｅａｒ ｐｒｏｊｅｃｔｉｏｎのような方法で生成できる。
この実施例において、ｒｅｇｉｏｎ＿ｔｙｐｅが１である場合、ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ及びｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅが該当サンプルに含まれることができる。
ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅはビューポイントセットを構成する点のｙａｗ値の範囲を示す。
ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅはビューポイントセットを構成する点のｐｉｔｃｈ値の範囲を示す。
図１８は本発明のさらに他の実施例による３Ｄ空間における領域情報に関するメタデータを示す図である。
図１８の（ａ）は本発明のさらに他の実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーの構成を示し、図１８の（ｂ）は本発明のさらに他の実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルの構成を示す。
図１８の実施例は、サンプルエントリーはｒｅｇｉｏｎ＿ｔｙｐｅの値によって異なるフィールドで構成され、個別サンプルはｒｅｇｉｏｎ＿ｔｙｐｅが０である場合、１である場合の各々に含まれるフィールドを同時に含むように構成される実施例である。
まず、図１８の（ａ）を参照すると、本発明のさらに他の実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーは、ｒｅｆｅｒｅｎｃｅ＿ｙａｗ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅ及び／又はｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｒａｎｇｅを含む。
次に、図１８の（ｂ）を参照すると、本発明のさらに他の実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルは、ｙａｗ＿ｃｅｎｔｅｒ、ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｏｌｌ＿ｃｅｎｔｅｒ、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ、ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅ及び／又はｉｎｔｅｒｐｏｌａｔｅを含む。
図１８に示した実施例を図１７の実施例と比較した時、図１８の（ｂ）の実施例はｒｅｇｉｏｎ ｔｙｐｅが０である場合に含まれるフィールドと、ｒｅｇｉｏｎ ｔｙｐｅが１である場合に含まれるフィールドが同時に該当サンプルに含まれることができるという点で差がある。
図１８（図１８の（ａ））の実施例において、表現しようとする領域のｒｅｆｅｒｅｎｃｅ ｓｐａｃｅは、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ及びｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅの範囲に属する任意の点に対するビューポイントと、ｒｅｆｅｒｅｎｃｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｒｅｆｅｒｅｎｃｅ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗの値によって決められるビューポートの上位集合（ｓｕｐｅｒｓｅｔ）である。
図１８（図１８の（ｂ））の実施例において、表現しようとする領域は、ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ及びｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅの範囲に属する任意の点に対するビューポイントと、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗの値によって決められるビューポートの上位集合（ｓｕｐｅｒｓｅｔ）である。
なお、図１７及び図１８の実施例において、同じ名称を有するフィールドは実質的に同一であるので、図１８の各フィールドについては図１７で説明した内容を適用できる。
図１９は本発明の一実施例によるｒｅｇｉｏｎ ｔｙｐｅによって領域を定義する方法を説明する参考図である。
図１９の（ａ）は球形態の３Ｄモデルを示す図であり、図１９の（ｂ）は２つのｇｒｅａｔ ｃｉｒｃｌｅと、２つのｇｒｅａｔ ｃｉｒｃｌｅの交点で構成される領域を示す図であり、図１９の（ｃ）は２つのｇｒｅａｔ ｃｉｒｃｌｅと、２つのｓｍａｌｌ ｃｉｒｃｌｅの交点で構成される領域を示す図である。
まず、ｇｒｅａｔ ｃｉｒｃｌｅ、ｓｍａｌｌ ｃｉｒｃｌｅ、ｐｉｔｃｈ ｃｉｒｃｌｅ及びｙａｗ ｃｉｒｃｌｅの意味について説明する。
ｇｒｅａｔ ｃｉｒｃｌｅは球（ｓｐｈｅｒｅ）の中心を通る円を意味する。より具体的には、ｇｒｅａｔ ｃｉｒｃｌｅは球の中心点を通過する平面と球の交差地点を意味する。ｇｒｅａｔ ｃｉｒｃｌｅはｏｒｔｈｏｄｒｏｍｅ又はリーマン円（Ｒｉｅｍａｎｎｉａｎ ｃｉｒｃｌｅ）とも呼ばれる。なお、球の中心とｇｒｅａｔ ｃｉｒｃｌｅの中心は同じ位置にあることができる。
ｓｍａｌｌ ｃｉｒｃｌｅは球（ｓｐｈｅｒｅ）の中心を通らない円を意味する。
Ｐｉｔｃｈ ｃｉｒｃｌｅは同一のｐｉｔｃｈ値を有する全ての点を連結する球（ｓｐｈｅｒｅ）表面上の円を意味する。Ｐｉｔｃｈ ｃｉｒｃｌｅは地球上の緯線（ｌａｔｉｔｕｄｅ）と同様に、ｇｒｅａｔ ｃｉｒｃｌｅではないことができる。
ｙａｗ ｃｉｒｃｌｅは同一のｙａｗ値を有する全ての点を連結する球（ｓｐｈｅｒｅ）表面上の円を意味する。Ｙａｗ ｃｉｒｃｌｅは地球上の経線（ｌｏｎｇｉｔｕｄｅ）と同様に、いつもｇｒｅａｔ ｃｉｒｃｌｅである。
上述したように、本発明の一実施例によるｒｅｇｉｏｎ ｔｙｐｅは球面上に存在する領域を特定するタイプを指示することができる。
図１９の（ｂ）を参照すると、本発明の一実施例によるｒｅｇｉｏｎ ｔｙｐｅが０である場合、球面上の領域を特定することが示されている。
ｒｅｇｉｏｎ ｔｙｐｅが０であるので、４つのｇｒｅａｔ ｃｉｒｃｌｅにより球面上の領域が特定される。より具体的には、２つのｐｉｔｃｈ ｃｉｒｃｌｅと、２つのｙａｗ ｃｉｒｃｌｅにより球面上の領域が特定される。
一方、特定された球面上の領域の中心は、図示されたように、ｃｅｎｔｅｒ＿ｐｉｔｃｈ及びｃｅｎｔｅｒ＿ｙａｗで表現できる。かかるｃｅｎｔｅｒ＿ｐｉｔｃｈ及びｃｅｎｔｅｒ＿ｙａｗは、ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ（又はｗｉｄｔｈ）及びｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ（又はｈｅｉｇｈｔ）のようなｆｉｅｌｄ ｏｆ ｖｉｅｗ情報と共に、ｖｉｅｗｐｏｒｔを定義するために使用される。
言い換えれば、ｒｅｇｉｏｎ＿ｔｙｐｅが０である場合、該当領域はｃｅｎｔｅｒ＿ｙａｗ−ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ／２及びｃｅｎｔｅｒ＿ｙａｗ＋ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ／２のｙａｗ値を有する２つの垂直方向のｇｒｅａｔ ｃｉｒｃｌｅと、ｃｅｎｔｅｒ＿ｐｉｔｃｈ−ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ／２、ｃｅｎｔｅｒ＿ｐｉｔｃｈ＋ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ／２のｐｉｔｃｈ値を有する２つの水平方向のｇｒｅａｔ ｃｉｒｃｌｅを境界（ｂｏｕｎｄａｒｙ）とする内部局面であることができる。
図１９の（ｃ）を参照すると、本発明の一実施例によるｒｅｇｉｏｎ ｔｙｐｅが１である場合、球面上の領域を特定することが示されている。
ｒｅｇｉｏｎ ｔｙｐｅが１であるので、２つのｇｒｅａｔ ｃｉｒｃｌｅと２つのｓｍａｌｌ ｃｉｒｃｌｅにより球面上の領域が特定される。より具体的には、２つのｐｉｔｃｈ ｃｉｒｃｌｅと、２つのｙａｗ ｃｉｒｃｌｅにより球面上の領域が特定される。ここで、２つのｐｉｔｃｈ ｃｉｒｃｌｅはｇｒｅａｔ ｃｉｒｃｌｅではないｓｍａｌｌ ｃｉｒｃｌｅである。
一方、特定された球面上の領域の中心は、図示されたように、ｃｅｎｔｅｒ＿ｐｉｔｃｈ及びｃｅｎｔｅｒ＿ｙａｗで表現できる。かかるｃｅｎｔｅｒ＿ｐｉｔｃｈ及びｃｅｎｔｅｒ＿ｙａｗはｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ及びｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗのようなｆｉｅｌｄ ｏｆ ｖｉｅｗ情報と共に、ｖｉｅｗｐｏｒｔを定義するために使用される。
言い換えれば、ｒｅｇｉｏｎ＿ｔｙｐｅが１である場合、該当領域はｃｅｎｔｅｒ＿ｙａｗ−ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ／２及びｃｅｎｔｅｒ＿ｙａｗ＋ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ／２のｙａｗ値を有する２つの垂直方向のｇｒｅａｔ ｃｉｒｃｌｅと、ｃｅｎｔｅｒ＿ｐｉｔｃｈ−ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ／２、ｃｅｎｔｅｒ＿ｐｉｔｃｈ＋ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ／２のｐｉｔｃｈ値を有する２つの水平方向のｓｍａｌｌ ｃｉｒｃｌｅを境界（ｂｏｕｎｄａｒｙ）とする内部局面であることができる。
＜領域情報又は視点情報に関するメタデータトラックと３６０゜ビデオトラックの関係をシグナリングする方法の案＞
領域情報又は視点情報に関するメタデータトラックとかかるメタデータを適用する３６０゜ビデオトラックは、以下の方法でシグナリングできる。
まず、３６０゜ビデオトラックの間の関係をシグナリングする方法の案について説明する。
一実施例において、１つのビデオフレーム（ｆｒａｍｅ）が１つ以上のｒｅｇｉｏｎに分かれてコーディングされ、１つ以上のトラックを通じて該当ｒｅｇｉｏｎに関するデータが伝達される場合、各トラックに関連する３６０゜ビデオ関連メタデータがｂｏｘ形態に含まれることができる。ここで、３６０゜ビデオ関連メタデータは、図２、図３、図４及び図８などで説明した３６０゜ビデオ関連メタデータであることができる。なお、３６０゜ビデオ関連メタデータがｂｏｘ形態に含まれる場合、３６０゜ビデオ関連メタデータはＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘクラスに定義できる。ＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘはｏｍｖｂボックスと称される。かかる３６０ビデオ関連メタデータはファイル、フラグメント、トラック、サンプルエントリー、サンプルなどの多様なレベルに含まれて伝達でき、含まれるレベルによって該当３６０ビデオ関連メタデータは該当するレベルのデータに関するメタデータを提供することができる（トラック、ストリーム、サンプルなど）。
なお、１つ以上のトラックのうち、特定のいくつかのトラックのみがＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含み、その他のトラックはＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含まない場合、この残りのトラックがＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含むトラックにレファレンスできるようにするシグナリングが必要である。このために、ＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含まない残りのトラックのＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘにＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含むトラックを称するようにする情報を含めることができる。一実施例によれば、’ｏｍｖｂ’というｔｒａｃｋ ｒｅｆｅｒｅｎｃｅ ｔｙｐｅを定義し、該当ＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘに含まれたｔｒａｃｋ＿ＩＤｓを通じて３６０゜ビデオ関連メタデータを含むトラックを称することができる。
次に、領域情報又は視点情報に関するメタデータトラックと３６０゜ビデオトラックの間の関係をシグナリングする方法の案について説明する。
領域情報又は視点情報に関するメタデータトラックは３６０゜ビデオトラックとは別に貯蔵及び伝達される。即ち、領域情報又は視点情報に関するメタデータは３６０゜ビデオトラックと区別される別個のトラックで伝達される。このように、領域情報又は視点情報に関するメタデータがトラックに含まれて伝達される場合、領域情報又は視点情報に関するメタデータを含むトラックと、かかるメタデータトラックに関連する３６０゜ビデオトラックの間のレファレンスが要求されることができる。
一実施例によれば、ＩＳＯＢＭＦＦのボックスのうちの一つであるＴｒａｃｋＲｅｆｅｒｅｎｃｅＢｏｘ（’ｔｒｅｆ’）ボックスに既に定義された’ｃｄｓｃ’ｒｅｆｅｒｅｎｃｅ ｔｙｐｅを用いて領域情報又は視点情報に関するメタデータトラックと、該当メタデータトラックに関連する３６０゜ビデオトラックの間をレファレンスすることができる。
他の実施例によれば、ＴｒａｃｋＲｅｆｅｒｅｎｃｅＢｏｘ（’ｔｒｅｆ’）ボックスに’ｖｄｓｃ’というｒｅｆｅｒｅｎｃｅ ｔｙｐｅを新しく定義して領域情報又は視点情報に関するメタデータトラックと、該当メタデータトラックに関連する３６０゜ビデオトラックの間をレファレンスすることができる。
図２０は本発明の一実施例によるｔｒｅｆボックスを示す図である。
ＴｒａｃｋＲｅｆｅｒｅｎｃｅ（’ｔｒｅｆ’）ボックスは、該当ボックスに含まれたトラックと他のトラックの間のレファレンスを提供するボックスである。ＴｒａｃｋＲｅｆｅｒｅｎｃｅ（’ｔｒｅｆ’）ボックスは、所定のｒｅｆｅｒｅｎｃｅ ｔｙｐｅと、識別子を有するトラックレファレンスタイプボックス（ｔｒａｃｋ ｒｅｆｅｒｅｎｃｅ ｔｙｐｅ ｂｏｘ）を１つ以上含むことができる。
ｔｒａｃｋ＿ＩＤは含むトラックにおいてプレゼンテーション内の他のトラックに対する参照を提供する定数である。ｔｒａｃｋ＿ＩＤは再使用できず、０ではない。
ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅは以下の値のうち１つに設定される。また、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅは以下に定義されていない値に設定されることもできる。
’ｈｉｎｔ’により参照されたトラックには、該当ヒント（Ｈｉｎｔ）トラックの原本メディア（ｏｒｉｇｉｎａｌ ｍｅｄｉａ）が含まれることができる。
’ｃｄｓｃ’トラックは参照されたトラックを説明する。このトラックは参照トラックに対するタイムメタデータを含むことができる。
’ｆｏｎｔ’トラックは参照されたトラックにおいて伝達／定義されたフォント（ｆｏｎｔ）を使用できる。
’ｈｉｎｄ’トラックは参照されたヒントトラックに依存する。即ち、このトラックは参照されたヒントトラックが使用される場合に使用可能である。
’ｖｄｅｐ’トラックは参照されたビデオトラックに対する補助深さビデオ情報（ａｕｘｉｌｉａｒｙ ｄｅｐｔｈ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎ）を含む。
’ｖｐｌｘ’トラックは参照されたビデオトラックに対する補助視差ビデオ情報（ａｕｘｉｌｉａｒｙ ｐａｒａｌｌａｘ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎ）を含む。
’ｓｕｂｔ’トラックは参照されたトラック又は該当トラックが属した代替グループの全てのトラックに対する字幕、タイムテキスト及び／又はオーバーレイグラフィック情報を含む。
’ｖｄｓｃ’トラックは、領域情報を伝達するメタデータトラックと、３６０ビデオトラックとを関連付けるｒｅｆｅｒｅｎｃｅ ｔｙｐｅである。一実施例において、このｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅを有するｔｒｅｆボックスを含むトラックは、領域情報又は視点情報を伝達するメタデータトラックであることができる。この時、ｔｒｅｆボックスに含まれたｔｒａｃｋ＿ＩＤｓは３６０ビデオトラックをレファレンスすることができる。他の実施例において、このｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅを有するｔｒｅｆボックスを含むトラックは、３６０ビデオトラックであることができる。この時、ｔｒｅｆボックスに含まれたｔｒａｃｋ＿ＩＤｓは領域情報又は視点情報を伝達するメタデータトラックをレファレンスすることができる。
また、領域情報又は視点情報に関するメタデータトラックと、該当メタデータトラックに関連する３６０゜ビデオトラックの間をレファレンスするために、ｒｅｆｅｒｅｎｃｅ ｔｙｐｅ’ｃｄｓｃ’が使用されることもできる。
即ち、領域情報又は視点情報に関するメタデータトラックと、該当メタデータトラックに関連する３６０゜ビデオトラックの間をレファレンスするために、ｒｅｆｅｒｅｎｃｅ ｔｙｐｅ’ｃｄｓｃ’又はｒｅｆｅｒｅｎｃｅ ｔｙｐｅ’ｖｄｓｃ’が使用されることができる。
＜ＧＰＳ情報伝達方法の案＞
ＧＳＰ情報はＩＳＯ ＢＭＦＦ内にｔｉｍｅｄ ｍｅｔａｄａｔａとして１つのトラックで貯蔵されることができる。
以下、ＧＰＳ情報に関するメタデータの実施例について説明する。
図２１は本発明の一実施例によるＧＰＳに関するメタデータを示す図である。
図２１の（ａ）は本発明の一実施例によるＧＰＳ関連情報を貯蔵するトラックのサンプルエントリーの構成を示し、図２１の（ｂ）は本発明の一実施例によるＧＰＳデータを貯蔵する個別サンプルの構成を示し、図２１の（ｃ）は本発明の他の実施例によるＧＰＳデータを貯蔵する個別サンプルの構成を示す。
ＧＰＳ関連情報を貯蔵するトラックのサンプルエントリーは、ｃｏｏｒｄｉｎａｔｅ＿ｒｅｆｅｒｅｎｃｅ＿ｓｙｓ及び／又はａｌｔｉｔｕｄｅ＿ｆｌａｇを含むことができる。
ｃｏｏｒｄｉｎａｔｅ＿ｒｅｆｅｒｅｎｃｅ＿ｓｙｓはサンプルに含まれる緯度（ｌａｔｉｔｕｄｅ）、経度（ｌｏｎｇｉｔｕｄｅ）、高度（ａｌｔｉｔｕｄｅ）値に対するｃｏｏｒｄｉｎａｔｅ ｒｅｆｅｒｅｎｃｅ ｓｙｓｔｅｍ（座標基準系、ＣＲＳ）を示す。ｃｏｏｒｄｉｎａｔｅ＿ｒｅｆｅｒｅｎｃｅ＿ｓｙｓはＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）で表現されることができる。一例として、ｃｏｏｒｄｉｎａｔｅ＿ｒｅｆｅｒｅｎｃｅ＿ｓｙｓは“ｕｒｎ：ｏｇｃ：ｄｅｆ：ＣＲＳ：ＥＰＳＧ：：４９７９”を示すことができる。ここで、“ｕｒｎ：ｏｇｃ：ｄｅｆ：ＣＲＳ：ＥＰＳＧ：：４９７９”はＥＰＳＧデータベースにおいてｃｏｄｅ４９７９であるＣｏｏｒｄｉｎａｔｅ Ｒｅｆｅｒｅｎｃｅ Ｓｙｓｔｅｍ（ＣＲＳ）を指示することができる。
ａｌｔｉｔｕｄｅ＿ｆｌａｇはサンプルに高度値が含まれるか否かを示す。一実施例において、ａｌｔｉｔｕｄｅ＿ｆｌａｇが１である場合、サンプルに高度値が含まれることを指示し、ａｌｔｉｔｕｄｅ＿ｆｌａｇが０である場合は、サンプルに高度値が含まれないことを指示することができる。
ＧＰＳデータは個別サンプルに貯蔵される。個別サンプルに貯蔵されるＧＰＳデータの構成に関する実施例は図２１の（ｂ）、（ｃ）に示した通りである。
再度図２１の（ｂ）を参照すると、本発明の一実施例によるＧＰＳデータを貯蔵する個別サンプルの構成を示す。図２１の（ｂ）に示されたＧＰＳデータサンプルはｌｏｎｇｉｔｕｄｅ、ｌａｔｉｔｕｄｅ及び／又はａｌｔｉｔｕｄｅを含む。
Ｌｏｎｇｉｔｕｄｅは地点の経度値を示す。正の値は東経（ｅａｓｔｅｒｎ ｌｏｎｇｉｔｕｄｅ）を示し、負の値は西経（ｗｅｓｔｅｒｎ ｌｏｎｇｉｔｕｄｅ）を示す。
Ｌａｔｉｔｕｄｅは地点の緯度値を示す。正の値は北緯（ｎｏｒｔｈｅｒｎ ｌａｔｉｔｕｄｅ）を示し、負の値は南緯（ｓｏｕｔｈｅｒｎ ｌａｔｉｔｕｄｅ）を示す。
Ａｌｔｉｔｕｄｅは地点の高度値を示す。一実施例において、サンプルエントリーのａｌｔｉｔｕｄｅ ｆｌａｇがサンプルに高度値が含まれていることを指示する場合（ｅｘ． ａｌｔｉｔｕｄｅ ｆｌａｇ＝１）、サンプルにＡｌｔｉｔｕｄｅが存在することができる。他の実施例において、サンプルエントリーのａｌｔｉｔｕｄｅ ｆｌａｇがサンプルに高度値が含まれていないことを指示する場合（ｅｘ． ａｌｔｉｔｕｄｅ ｆｌａｇ＝０）、サンプルにＡｌｔｉｔｕｄｅが存在しないことができる。サンプルにａｌｔｉｔｕｄｅが存在しない実施例については図２１の（ｃ）を参照して説明する。
再度図２１の（ｃ）を参照すると、本発明の他の実施例によるＧＰＳデータを貯蔵する個別サンプルの構成を示す。図２１の（ｃ）に示されたＧＰＳデータサンプルはｌｏｎｇｉｔｕｄｅ及び／又はｌａｔｉｔｕｄｅを含むことができる。図２１の（ｃ）に示されたＧＰＳデータサンプルはａｌｔｉｔｕｄｅを含まないことができる。
Ｌｏｎｇｉｔｕｄｅは地点の経度値を示す。正の値は東経（ｅａｓｔｅｒｎ ｌｏｎｇｉｔｕｄｅ）を示し、負の値は西経（ｗｅｓｔｅｒｎ ｌｏｎｇｉｔｕｄｅ）を示す。
Ｌａｔｉｔｕｄｅは地点の緯度値を示す。正の値は北緯（ｎｏｒｔｈｅｒｎ ｌａｔｉｔｕｄｅ）を示し、負の値は南緯（ｓｏｕｔｈｅｒｎ ｌａｔｉｔｕｄｅ）を示す。
＜ＧＰＳ情報伝達メタデータのトラックと３６０゜ビデオトラックの関係をシグナリングする方法の案＞
ＧＰＳ情報に関するメタデータのトラックとこのメタデータを適用する３６０゜ビデオトラックは、以下の方法でシグナリングできる。
まず、３６０゜ビデオトラックの間の関係をシグナリングする方法の案について説明する。
一実施例において、１つのビデオフレーム（ｆｒａｍｅ）が１つ以上のｒｅｇｉｏｎに分かれてコーディングされ、１つ以上のトラックを通じて該当ｒｅｇｉｏｎに関するデータが伝達される場合、各トラックに関連する３６０゜ビデオ関連メタデータがｂｏｘ形態に含まれることができる。ここで、３６０゜ビデオ関連メタデータは、図２、図３、図４及び図８などで説明した３６０゜ビデオ関連メタデータであることができる。なお、３６０゜ビデオ関連メタデータがｂｏｘ形態に含まれる場合、３６０゜ビデオ関連メタデータはＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘクラスに定義できる。ＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘはｏｍｖｂボックスと称される。かかる３６０ビデオ関連メタデータはファイル、フラグメント、トラック、サンプルエントリー、サンプルなどの様々なレベルに含まれて伝達でき、含まれるレベルによって該当３６０ビデオ関連メタデータは該当するレベルのデータに関するメタデータを提供することができる（トラック、ストリーム、サンプルなど）。
なお、１つ以上のトラックのうち、特定のいくつかのトラックのみがＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含み、その他のトラックはＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含まない場合、この残りのトラックがＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含むトラックにレファレンスできるようにするシグナリングが必要である。このために、ＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含まない残りのトラックのＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘにＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含むトラックを称するようにする情報を含めることができる。一実施例によれば、’ｏｍｖｂ’というｔｒａｃｋ ｒｅｆｅｒｅｎｃｅ ｔｙｐｅを定義し、該当ＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘに含まれたｔｒａｃｋ＿ＩＤｓを通じて３６０゜ビデオ関連メタデータを含むトラックを称することができる。
次に、ＧＰＳ情報に関するメタデータトラックと３６０゜ビデオトラックの間の関係をシグナリングする方法の案について説明する。
ＧＰＳ情報に関するメタデータトラックは３６０゜ビデオトラックとは別に貯蔵及び伝達される。即ち、ＧＰＳ情報に関するメタデータは３６０゜ビデオトラックと区別される別個のトラックで伝達される。このように、ＧＰＳ情報に関するメタデータがトラックに含まれて伝達される場合、ＧＰＳ情報に関するメタデータを含むトラックと、かかるメタデータトラックに関連する３６０゜ビデオトラックの間のレファレンスが要求されることができる。
一実施例によれば、ＩＳＯＢＭＦＦのボックスのうちの１つであるＴｒａｃｋＲｅｆｅｒｅｎｃｅＢｏｘ（’ｔｒｅｆ’）ボックスに既に定義された’ｃｄｓｃ’ｒｅｆｅｒｅｎｃｅ ｔｙｐｅを用いてＧＰＳ情報に関するメタデータトラックと、該当メタデータトラックに関連する３６０゜ビデオトラックの間をレファレンスすることができる。
他の実施例によれば、ＴｒａｃｋＲｅｆｅｒｅｎｃｅＢｏｘ（’ｔｒｅｆ’）ボックスに’ｇｐｓｄ’というｒｅｆｅｒｅｎｃｅ ｔｙｐｅを新しく定義してＧＰＳ情報に関するメタデータトラックと、該当メタデータトラックに関連する３６０゜ビデオトラックの間をレファレンスすることができる。
上述した図２０を再度参照すると、図２０は本発明の一実施例によるｔｒｅｆボックスを示す。
ＴｒａｃｋＲｅｆｅｒｅｎｃｅ（’ｔｒｅｆ’）ボックスは、該当ボックスに含まれたトラックと他のトラックの間のレファレンスを提供するボックスである。ＴｒａｃｋＲｅｆｅｒｅｎｃｅ（’ｔｒｅｆ’）ボックスは、所定のｒｅｆｅｒｅｎｃｅ ｔｙｐｅと、識別子を有するトラックレファレンスタイプのボックス（ｔｒａｃｋ ｒｅｆｅｒｅｎｃｅ ｔｙｐｅ ｂｏｘ）を１つ以上含むことができる。ここでは、ｒｅｆｅｒｅｎｃｅ ｔｙｐｅとしてｇｐｓｄが新しく定義されて使用されることができる。
ｔｒａｃｋ＿ＩＤは含むトラックにおいてプレゼンテーション内の他のトラックに対する参照を提供する定数である。ｔｒａｃｋ＿ＩＤは再使用できず、０ではない。
ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅは以下の値のうち１つに設定される。また、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅは以下に定義されていない値に設定されることもできる。
’ｈｉｎｔ’により参照されたトラックには、該当ヒント（Ｈｉｎｔ）トラックの原本メディア（ｏｒｉｇｉｎａｌ ｍｅｄｉａ）が含まれることができる。
’ｃｄｓｃ’トラックは参照されたトラックを説明する。このトラックは参照トラックに対するタイムメタデータを含むことができる。
’ｆｏｎｔ’トラックは参照されたトラックにおいて伝達／定義されたフォント（ｆｏｎｔ）を使用できる。
’ｈｉｎｄ’トラックは参照されたヒントトラックに依存する。即ち、このトラックは参照されたヒントトラックが使用される場合に使用可能である。
’ｖｄｅｐ’トラックは参照されたビデオトラックに対する補助深さビデオ情報（ａｕｘｉｌｉａｒｙ ｄｅｐｔｈ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎ）を含む。
’ｖｐｌｘ’トラックは参照されたビデオトラックに対する補助時差ビデオ情報（ａｕｘｉｌｉａｒｙ ｐａｒａｌｌａｘ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎ）を含む。
’ｓｕｂｔ’トラックは参照されたトラック又は該当トラックが属した代替グループの全てのトラックに対する字幕、タイムテキスト及び／又はオーバーレイグラフィック情報を含む。
’ｇｐｓｄ’トラックは、ＧＰＳ情報を伝達するメタデータトラックと、３６０ビデオトラックを関連付けるｒｅｆｅｒｅｎｃｅ ｔｙｐｅである。一実施例において、このｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅを有するｔｒｅｆボックスを含むトラックは、ＧＰＳ情報を伝達するメタデータトラックであることができる。この時、ｔｒｅｆボックスに含まれたｔｒａｃｋ＿ＩＤｓは３６０ビデオトラックをレファレンスすることができる。他の実施例において、このｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅを有するｔｒｅｆボックスを含むトラックは、３６０ビデオトラックであることができる。この時、ｔｒｅｆボックスに含まれたｔｒａｃｋ＿ＩＤｓはＧＰＳ情報を伝達するメタデータトラックをレファレンスすることができる。
また、ＧＰＳ情報に関するメタデータトラックと、該当メタデータトラックに関連する３６０゜ビデオトラックの間をレファレンスするために、ｒｅｆｅｒｅｎｃｅ ｔｙｐｅ’ｃｄｓｃ’が使用されることもできる。
即ち、ＧＰＳ情報に関するメタデータトラックと、該当メタデータトラックに関連する３６０゜ビデオトラックの間をレファレンスするために、ｒｅｆｅｒｅｎｃｅ ｔｙｐｅ’ｃｄｓｃ’又はｒｅｆｅｒｅｎｃｅ ｔｙｐｅ’ｖｄｓｃ’が使用されることができる。
本明細書に開示された方法の案は、ＩＳＯＢＭＦＦのようなｂｏｘ基盤のファイルフォーマットに基づいて３６０ビデオサービスを支援するコンテンツに対するファイルを生成するか、ＭＰＥＧ ＤＡＳＨ上において動作可能なＤＡＳＨ Ｓｅｇｍｅｎｔを生成するか、又はＭＰＥＧ ＭＭＴ上において動作可能なＭＰＵを生成する場合に適用できる。また、ＤＡＳＨ ｃｌｉｅｎｔ又はＭＭＴ ｃｌｉｅｎｔを含む受信器は、３６０ビデオ関連メタデータ（フラッグ、パラメータなど）に基づいて、該当コンテンツを効果的にデコーディングし、ディスプレイすることができる。
上述した領域情報又は視点情報に関するメタデータ及び／又はＧＰＳ情報に関するメタデータのためのサンプルエントリー及び／又はサンプル（ｅｘ． ２ＤＲｅａｇｉｏｎＣａｒｔｅｓｉａｎＣｏｏｒｄｉｎａｔｅｓＳａｍｐｌｅＥｎｔｒｙ、２ＤＰｏｉｎｔＣａｒｔｅｓｉａｎＣｏｏｒｄｉｎａｔｅｓＳａｍｐｌｅＥｎｔｒｙ、３ＤＣａｒｔｅｓｉａｎＣｏｏｒｄｉｎａｔｅｓＳａｍｐｌｅＥｎｔｒｙ、ＧＰＳＳａｍｐｌｅＥｎｔｒｙ）は、１つのＩＳＯＢＭＦＦファイル、ＤＡＳＨ Ｓｅｇｍｅｎｔ又はＭＭＴ ＭＰＵ内の複数のボックスに同時に存在することができる。
この場合、上位ボックスにて定義された領域情報又は視点情報及び／又はＧＰＳ情報に関するメタデータの値は、下位ボックスにて定義された３６０ビデオ関連フラッグ或いは３６０ビデオメタデータの値にｏｖｅｒｒｉｄｅできる。
以下、図１２乃至図２０を参照して説明した領域情報又は視点情報に関するメタデータをＤＡＳＨに基づいて伝送及びシグナリングする方法の案に関する実施例を説明する。
＜ＤＡＳＨを用いた領域情報又は視点情報に関するメタデータの伝送及びシグナリング方法の案＞
メタデータの伝送のための別のアダプテーションセット（Ａｄａｐｔａｔｉｏｎ Ｓｅｔ）を構成する実施例
領域情報又は視点情報に関するメタデータがＤＡＳＨを通じて伝送される場合、メタデータを伝送するための別のアダプテーションセット（Ａｄａｐｔａｔｉｏｎ Ｓｅｔ）が構成される。この場合、領域情報又は視点情報に関するメタデータが別のＡｄａｐｔａｔｉｏｎ Ｓｅｔで伝送されることを識別できるシグナリングがＭＰＤに含まれる必要がある。一実施例においては、Ｒｏｌｅ ｄｅｓｃｒｉｐｔｏｒが、領域情報又は視点情報に関するメタデータが別のＡｄａｐｔａｔｉｏｎ Ｓｅｔで伝送されることを識別できるシグナリングとして使用される。
既存のＭＰＤに存在するＲｏｌｅのスキーム（ｓｃｈｅｍｅ）と区分するために新しいｓｃｈｅｍｅＩｄＵｒｉ値が割り当てられることができる。一例として、Ｒｏｌｅスキームのために“ｕｒｎ：ｍｅｐｇ：ｄａｓｈ：ｒｏｌｅ：２０１Ｘ”のような新しいｓｃｈｅｍｅＩｄＵｒｉ値が割り当てられることができる。このような新しいｓｃｈｅｍｅには領域情報又は視点情報に関するメタデータであることを知らせるｖａｌｕｅとして“ｄｉｒｃ”が割り当てられることができる。なお、領域情報又は視点情報に関するメタデータであることを知らせるｖａｌｕｅとして割り当てられた“ｄｉｒｃ”は一例であり、“ｄｉｒｃ”以外の他のｖａｌｕｅが割り当てられることもできる。また、ＶＲ ｖｉｄｅｏ或いは３６０ビデオを伝送するＡｄａｐｔａｔｉｏｎ Ｓｅｔの場合、ｖａｌｕｅに“ｍａｉｎ”が割り当てられることができる。
一方、ＶＲ ｖｉｄｅｏを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）と領域情報又は視点情報に関するメタデータを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）の関係をシグナリングするために、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＩｄ及びａｓｓｏｃｉａｔｉｏｎＴｙｐｅが使用されることができる。領域情報又は視点情報に関するメタデータを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）は、ａｓｓｏｓｉｃａｔｉｏｎＩｄに該当メタデータが適用されるＶＲ ｖｉｄｅｏを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）のＩＤ（“ＶＲ＿ｖｉｄｅｏ”）を称しており、ａｓｓｏｃｉａｔｉｏｎＴｙｐｅに“ｄｉｒｃ”を割り当てることができる。ここで、“ｄｉｒｃ”は領域情報又は視点情報に関するメタデータであることを示す値に新しく定義されたものである。この方法はＤＡＳＨだけではなく、ＩＳＯ ＢＭＦＦ（ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）のトラック（ｔｒａｃｋ）の間の関係表現のためにも使用できる。即ち、同一の目的のためにａｓｓｏｃｉａｔｉｏｎＩｄの代わりに’ｔｒｅｆ’ボックスのｔｒａｃｋ＿ＩＤＳを使用し、ａｓｓｏｃｉａｔｉｏｎＴｙｐｅの代わりに’ｔｒｅｆ’ボックスのｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅを使用することができる。
図２２は本発明の一実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。
図２２を参照すると、領域情報又は視点情報に関するメタデータが別のＡｄａｐｔａｔｉｏｎ Ｓｅｔで伝送されることを識別できるシグナリングがＭＰＤに含まれている。
また、図２２の実施例において、Ｒｏｌｅ ｄｅｓｃｒｉｐｔｏｒが、領域情報又は視点情報に関するメタデータが別のＡｄａｐｔａｔｉｏｎ Ｓｅｔで伝送されることを識別できるシグナリングとして使用されている。
図２２の実施例においては、領域情報又は視点情報に関するメタデータが別のＡｄａｐｔａｔｉｏｎ Ｓｅｔで伝送されることを識別するために、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１Ｘ”が割り当てられ、ｖａｌｕｅに“ｄｉｒｃ”が割り当てられたことを確認できる（Ｈ２２０２０）。また、ＶＲ ｖｉｄｅｏを伝送するＡｄａｐｔａｔｉｏｎ Ｓｅｔの場合、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”が割り当てられ、ｖａｌｕｅに“ｍａｉｎ”が割り当てられたことを確認することができる（Ｈ２２０１０）。
また、図２２の実施例において、ＶＲ ｖｉｄｅｏを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）と領域情報又は視点情報に関するメタデータを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）の関係をシグナリングするために、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＩｄ及びａｓｓｏｃｉａｔｉｏｎＴｙｐｅが使用されたことを確認することができる。領域情報又は視点情報に関するメタデータを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｉｄ＝“ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ”）は、ａｓｓｏｓｉｃａｔｉｏｎＩｄに該当メタデータが適用されるＶＲ ｖｉｄｅｏを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）のｉｄ（“ＶＲ＿ｖｉｄｅｏ”）を称しており、ａｓｓｏｃｉａｔｉｏｎＴｙｐｅに“ｄｉｒｃ”が割り当てられている（Ｈ２２０３０）。
図２２の実施例のように、領域情報又は視点情報に関するメタデータが伝送されることをシグナリングするために新しいＲｏｌｅ ｓｃｈｅｍｅを定義できる。一方、領域情報又は視点情報に関するメタデータが伝送されることをシグナリングするために、既存のＲｏｌｅ ｓｃｈｅｍｅと互換可能な方法を使用できる。
図２３は本発明の他の実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。
図２３を参照すると、領域情報又は視点情報に関するメタデータが別のＡｄａｐｔａｔｉｏｎ Ｓｅｔに伝送されることを識別できるシグナリングがＭＰＤに含まれている。
図２３を参照すると、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”が割り当てられ、ｖａｌｕｅに“ｍｅｔａｄａｔａ”が割り当てられたことを確認できる（Ｈ２３０２０）。また、ＶＲ ｖｉｄｅｏを伝送するＡｄａｐｔａｔｉｏｎ Ｓｅｔの場合、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”が割り当てられ、ｖａｌｕｅに“ｍａｉｎ”が割り当てられたことを確認できる（Ｈ２３０１０）。即ち、図２３の実施例は、既存のｍｅｔａｄａｔａを伝送するＡｄａｐｔａｔｉｏｎ Ｓｅｔの識別方法（Ｒｏｌｅ＠ｓｃｈｅｍｅＩｄＵｒｉ＝“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”、ｖａｌｕｅ＝“ｍｅｔａｄａｔａ”）を領域情報又は視点情報に関するメタデータを伝送するＡｄａｐｔａｔｉｏｎ Ｓｅｔの識別に適用した実施例であると言える。
また、図２３の実施例において、ＶＲ ｖｉｄｅｏを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）と領域情報又は視点情報に関するメタデータを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）の関係をシグナリングするために、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＩｄ及びａｓｓｏｃｉａｔｉｏｎＴｙｐｅが使用されることを確認できる。領域情報又は視点情報に関するメタデータを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ＩＤ＝“ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ”）は、ａｓｓｏｓｉｃａｔｉｏｎＩｄに該当メタデータが適用されるＶＲ ｖｉｄｅｏを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）のｉｄ（“ＶＲ＿ｖｉｄｅｏ”）を称しており、ａｓｓｏｃｉａｔｉｏｎＴｙｐｅに“ｄｉｒｃ”が割り当てられている（Ｈ２３０３０）。
以下、図２２及び図２３を参照して説明した別のＡｄａｐｔａｔｉｏｎ Ｓｅｔにより、領域情報又は視点情報に関するメタデータを伝送及びシグナリングする方法に関連する受信器の動作について説明する。
図２４は本発明の一実施例による受信器を示すブロック図である。
図２４を参照すると、本発明の一実施例による受信器は、ＤＡＳＨクライアント（ＤＡＳＨ ｃｌｉｅｎｔ、ｈ２４０２０）、セグメントパーサー（Ｓｅｇｍｅｎｔ ｐａｒｓｅｒ、Ｈ２４０３０）、ビデオデコーダー（ｖｉｄｅｏ ｄｅｃｏｄｅｒ、Ｈ２４０４０）、ＤＩＲＣパーサー（ＤＩＲＣ ｐａｒｓｅｒ、Ｈ２４０５０）及び／又はプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２４０６０）を含む。
ＭＰＤ、ＶＲコンテンツ及び／又は領域情報又は視点情報に関するメタデータは、ＤＡＳＨサーバ（ＤＡＳＨ ｓｅｒｖｅｒ、Ｈ２４０１０）から提供されて、ＤＡＳＨクライアント（Ｈ２４０２０）が受信する。この時、受信器のＤＡＳＨクライアント（Ｈ２４０２０）は、データパケット形態のＶＲコンテンツ、ＭＰＤ及び／又は領域情報又は視点情報に関するメタデータをＤＡＳＨサーバ（Ｈ２４０１０）から受信できる。ＤＡＳＨクライアント（Ｈ２４０２０）はＤＡＳＨサーバ（Ｈ２４０１０）にＭＰＤ、ＶＲコンテンツ及び／又は領域情報又は視点情報に関するメタデータを要求できる。ＤＡＳＨクライアント（Ｈ２４０２０）は受信したパケットからＭＰＤとＳｅｇｍｅｎｔを生成できる。
ＤＡＳＨクライアント（Ｈ２４０２０）は、受信されたＭＰＤをパーシングしてコンテンツ（ＶＲコンテンツ）に関する情報を得る。この時、ＤＡＳＨクライアント（Ｈ２４０２０）は、図２２及び図２３で説明した領域情報又は視点情報に関するメタデータが伝送されるアダプテーションセットに関するシグナリングにより領域情報又は視点情報に関するメタデータの有無を識別できる。また、ＤＡＳＨクライアント（Ｈ２４０２０）は、受信器のケイパビリティー（ｃａｐａｂｉｌｉｔｙ）、及び／又はコンテンツの使用目的によってＤＩＲＣパーサー及びＤＩＲＣのためのセグメントパーサーを活性化できる（図面の点線を参照）。例えば、受信器が領域情報又は視点情報に関するメタデータを処理できないか、目的に応じて領域情報又は視点情報に関するメタデータを使用しない場合、領域情報又は視点情報に関するメタデータが伝送されるアダプテーションセットは使用されないことができる（ｓｋｉｐ）。なお、セグメントはセグメントパーサー（Ｈ２４０３０）に伝達される。
セグメントパーサー（Ｈ２４０３０）は、受信されたセグメントをパーシングして、ビデオビットストリーム及び領域情報又は視点情報に関するメタデータ（ＤＩＲＣ ｍｅｔａｄａｔａ）を各々ビデオデコーダー（Ｈ２４０４０）及びＤＩＲＣパーサー（Ｈ２４０５０）に伝達する。なお、セグメントパーサー（Ｈ２００３０）は、パーシング対象により機能的に区分される。即ち、セグメントパーサー（Ｈ２４０３０）は、ビデオのためのセグメントをパーシングするセグメントパーサーと、領域情報又は視点情報に関するメタデータのためのセグメントパーサーに区分される。
ビデオデコーダー（Ｈ２４０４０）は、ビデオストリームをデコーディングしてプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２４０６０）に伝達できる。
ＤＩＲＣパーサー（Ｈ２４０５０）は、ＤＩＲＣ ｍｅｔａｄａｔａをパーシングしてパーシングされた情報（ＤＩＲＣ ｉｎｆｏ．）をプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２４０６０）に伝達できる。
プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２４０６０）には、ビデオデコーダー（Ｈ２４０４０）からビデオストリームが伝達され、ＤＩＲＣ Ｐａｒｓｅｒ（Ｈ２４０５０）には、ＤＩＲＣ ｍｅｔａｄａｔａが伝達される。また、プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２４０６０）は、ＤＩＲＣ情報を使用してＶｉｄｅｏデータをユーザに提供する。プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２４０６０）が、ＤＩＲＣ情報を使用してユーザにＶＲコンテンツを提供する方法は、アプリケーションによって異なる。一例として、ＤＩＲＣが示すプロデューサーの意図視点をユーザに自動操縦（ａｕｔｏ ｎａｖｉｇａｔｉｏｎ）の形態で見せることができる。他の例として、ユーザの視点によってＶＲコンテンツを見せるが、プロデューサーの意図視点を誘導できる方向表示などを提供することもできる。
図２５は本発明のさらに他の実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。
図２５に示された実施例は、上述した図２２及び図２３の実施例とは異なり、ＶＲビデオが２以上の空間領域で構成され、２以上の空間領域に区画されたＶＲビデオが２以上のアダプテーションセットを通じて伝送される実施例に関する。図２５の具体的な例において、ＶＲビデオは左側空間領域と右側空間領域に区画され、左側空間領域と右側空間領域は各々ＶＲ ｖｉｄｅｏ ｔｉｌｅに該当する。なお、２つのＶＲ ｖｉｄｅｏ ｔｉｌｅは各々２つのアダプテーションセットに該当する。２つのＶＲ ｖｉｄｅｏ ｔｉｌｅの空間的関係は、ＳＲＤ（ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ＠ｓｃｈｅｍｅＩｄＵｒｉ＝“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ ：ｓｒｄ：２０１４”）を通じて記述される。より具体的には、左側空間領域に該当するＶＲ ｖｉｄｅｏ ｔｉｌｅの空間的情報は、＜ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ ｓｃｈｅｍｅＩｄＵｒｉ＝"ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｓｒｄ：２０１４" ｖａｌｕｅ＝"１、０、０、１９２０、１９２０、３８４０、１９２０、０"／＞で記述され（Ｈ２５０１０）、右側空間領域に該当するＶＲ ｖｉｄｅｏ ｔｉｌｅの空間的情報は＜ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ ｓｃｈｅｍｅＩｄＵｒｉ＝"ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｓｒｄ：２０１４" ｖａｌｕｅ＝"１、０、１９２０、１９２０、１９２０、３８４０、１９２０、０"／＞で記述される（Ｈ２５０２０）。
また、領域情報又は視点情報に関するメタデータは、図２２及び図２３の実施例と同様に、Ｒｏｌｅ＠ｖａｌｕｅ＝“ｄｉｒｃ”又は“ｍｅｔａｄａｔａ”を通じて識別できる。この実施例は、図２２の実施例のように、新しいＲｏｌｅ ｓｃｈｅｍｅを定義し、Ｒｏｌｅ＠ｖａｌｕｅ＝“ｄｉｒｃ”に割り当てて領域情報又は視点情報に関するメタデータを識別する方法を使用している（Ｈ２５０３０）。
また、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＩｄは、２つ以上の空間領域に区画されたＶＲ ｖｉｄｅｏ ｔｉｌｅのＲｅｐｒｅｓｅｎｔａｔｉｏｎ又は１つのＲｅｐｒｅｓｅｎｔａｔｉｏｎ（ｂａｓｅ ｔｉｌｅ ｔｒａｃｋを伝送するＲｅｐｒｅｓｅｎｔａｔｉｏｎ）を指示することができる。この実施例は２つの空間領域に区画されたＶＲ ｖｉｄｅｏ ｔｉｌｅ１及びＶＲ ｖｉｄｅｏ ｔｉｌｅ２を指示している（Ｈ２５０４０）。
以下、図２５に説明するＶＲビデオが２以上の空間領域で構成され、２以上の空間領域に区画されたＶＲビデオが２以上のアダプテーションセットを通じて伝送される実施例において、領域情報又は視点情報に関するメタデータを伝送及びシグナリングする方法に関連する受信器の動作について説明する。
図２６は本発明の他の実施例による受信器を示すブロック図である。
図２６を参照すると、本発明の他の実施例による受信器は、ＤＡＳＨクライアント（ＤＡＳＨ ｃｌｉｅｎｔ、Ｈ２６０２０）、セグメントパーサー（Ｓｅｇｍｅｎｔ ｐａｒｓｅｒ、Ｈ２６０３０）、ビデオデコーダー（ｖｉｄｅｏ ｄｅｃｏｄｅｒ、Ｈ２６０４０）、ＤＩＲＣパーサー（ＤＩＲＣ ｐａｒｓｅｒ、Ｈ２６０５０）及び／又はプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２６０６０）を含む。
ＭＰＤ、ＶＲコンテンツ及び／又は領域情報又は視点情報に関するメタデータは、ＤＡＳＨサーバ（ＤＡＳＨ ｓｅｒｖｅｒ、Ｈ２６０１０）から提供されてＤＡＳＨクライアント（Ｈ２６０２０）が受信できる。この時、受信器のＤＡＳＨクライアント（Ｈ２６０２０）は、データパケット形態のＶＲコンテンツ、ＭＰＤ及び／又は領域情報又は視点情報に関するメタデータをＤＡＳＨサーバ（Ｈ２６０１０）から受信できる。ＤＡＳＨクライアント（Ｈ２６０２０）は、ＤＡＳＨサーバ（Ｈ２６０１０）にＭＰＤ、ＶＲコンテンツ及び／又は領域情報又は視点情報に関するメタデータを要求できる。ＤＡＳＨクライアント（Ｈ２６０２０）は、受信されたパケットからＭＰＤとＳｅｇｍｅｎｔを生成できる。
図２６の実施例において、ＤＡＳＨサーバ（Ｈ２６０１０）から伝送されるデータパケットは、全体ＶＲビデオの一部空間領域（ｅｘ．ＶＲ ｖｉｄｅｏ ｔｉｌｅ）に該当することができる。即ち、ＤＡＳＨサーバ（Ｈ２６０１０）から伝送されるＶＲ ｖｉｄｅｏ ｃｏｎｔｅｎｔは、ユーザの初期視点を含む一部空間領域（ｔｉｌｅ）に該当するか或いは後述するＤＩＲＣパーサー（Ｈ２６０５０）から伝達される情報（ＤＩＲＣ ｉｎｆｏ．）が指示するプロデューサーの意図視点又は領域を含む一部空間領域（ｔｉｌｅ）に該当することができる。
ＤＡＳＨクライアント（Ｈ２６０２０）は、受信されたＭＰＤをパーシングしてコンテンツ（ＶＲコンテンツ）に関する情報を得る。この時、ＤＡＳＨクライアント（Ｈ２６０２０）は、図２４に示した領域情報又は視点情報に関するメタデータが伝送されるアダプテーションセットに関するシグナリングにより領域情報又は視点情報に関するメタデータの有無を識別できる。また、ＤＡＳＨクライアント（Ｈ２６０２０）は、受信器のケイパビリティー（ｃａｐａｂｉｌｉｔｙ）及び／又はコンテンツの使用目的に応じてＤＩＲＣパーサー及びＤＩＲＣのためのセグメントパーサーを活性化できる（図面の点線を参照）。例えば、受信器が領域情報又は視点情報に関するメタデータを処理できないか或いは目的に応じて領域情報又は視点情報に関するメタデータを使用しない場合、領域情報又は視点情報に関するメタデータが伝送されるアダプテーションセットは使用されないことができる（ｓｋｉｐ）。なお、セグメントはセグメントパーサー（Ｈ２６０３０）に伝達できる。
セグメントパーサー（Ｈ２６０３０）は、受信されたセグメントをパーシングして、ビデオビットストリーム及び領域情報又は視点情報に関するメタデータ（ＤＩＲＣ ｍｅｔａｄａｔａ）を各々ビデオデコーダー（Ｈ２６０４０）及びＤＩＲＣパーサー（Ｈ２６０５０）に伝達する。なお、セグメントパーサー（Ｈ２６０３０）は、パーシング対象により機能的に区分される。即ち、セグメントパーサー（Ｈ２６０３０）は、ビデオのためのセグメントをパーシングするセグメントパーサーと、領域情報又は視点情報に関するメタデータのためのセグメントパーサーに区分される。
ビデオデコーダー（Ｈ２６０４０）は、ビデオストリームをデコーディングしてプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２６０６０）に伝達する。
ＤＩＲＣパーサー（Ｈ２６０５０）は、ＤＩＲＣ ｍｅｔａｄａｔａをパーシングしてパーシングされた情報（ＤＩＲＣ ｉｎｆｏ．）をプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２６０６０）に伝達する。
また、ＤＩＲＣパーサー（Ｈ２６０５０）は、パーシングされた情報（ＤＩＲＣ ｉｎｆｏ．）をＤＡＳＨクライアント（Ｈ２６０１０）に伝達する。ＤＡＳＨクライアント（Ｈ２６０１０）に伝達された情報（ＤＩＲＣ ｉｎｆｏ．）は、ＤＡＳＨクライアント（Ｈ２６０１０）がプロデューサーの意図視点又は領域を含む一部空間領域（ｔｉｌｅ）に該当するアダプテーションセット（ａｄａｐｔａｔｉｏｎ ｓｅｔ）を選択するために使用される。
プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２６０６０）にはビデオデコーダー（Ｈ２６０４０）からビデオストリームが伝達され、ＤＩＲＣ Ｐａｒｓｅｒ（Ｈ２６０５０）にはＤＩＲＣ ｍｅｔａｄａｔａが伝達される。また、プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２６０６０）はＤＩＲＣ情報を使用してＶｉｄｅｏデータをユーザに提供する。プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、ｈ２６０６０）がＤＩＲＣ情報を使用してユーザにＶＲコンテンツを提供する方法は、アプリケーションによって異なる。一例として、ＤＩＲＣが示すプロデューサーの意図視点をユーザに自動操縦（ａｕｔｏ ｎａｖｉｇａｔｉｏｎ）の形態で見せることができる。他の例として、ユーザの視点によってＶＲコンテンツを見せるが、プロデューサーの意図視点を誘導できる方向表示などを提供することもできる。
図２４乃至図２６に説明した実施例は、ＶＲビデオを伝送及びシグナリングするアダプテーションセットと、メタデータを伝送及びシグナリングするアダプテーションセットが個々に存在する実施例に関する。
以下、図２７乃至図２９を参照して、１つのアダプテーションセット内にＶＲビデオとメタデータを共に伝送及びシグナリングする実施例について説明する。
１つのＡｄａｐｔａｔｉｏｎ Ｓｅｔ内のビデオとメタデータを伝送する実施例
視点情報又は領域情報に関するメタデータは、図２２乃至図２６に説明した場合とは異なり、１つのＡｄａｐｔａｔｉｏｎ Ｓｅｔ内でＶＲ ｖｉｄｅｏと共に伝送されることができる。この場合、ビデオデータとメタデータは１つのファイル（Ｓｅｇｍｅｎｔ又はＩＳＯ ＢＭＦＦ）を通じて伝送できる。より具体的には、実施例において、ＶＲビデオとメタデータは１つのファイル内で個々のトラックで構成されることができ、メタデータが含まれた１つのビデオトラックで構成されることもできる。
以下、ＶＲビデオとメタデータが１つのファイル内で個々のトラックで構成される実施例と、メタデータが含まれた１つのビデオトラックで構成される実施例について順に説明する。
図２７は本発明のさらに他の実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。
図２７の実施例は、ＶＲビデオと領域情報又は視点情報に関するメタデータが個々のトラックで構成される実施例を示す。ＶＲビデオと領域情報又は視点情報に関するメタデータは、１つのアダプテーションセット（Ａｄａｐｔａｔｉｏｎ Ｓｅｔ）及び１つのファイル内に個々のトラックで構成されて伝送される。
図２７の実施例において、ＶＲビデオトラックとメタデータトラックは、ＭＰＤ内でＡｄａｐｔａｔｉｏｎｓｅｔ下位のＣｏｎｔｅｎｔＣｏｍｐｏｎｅｎｔで識別でき、各々“ｖｉｄｅｏ”、“ａｐｐｌｉｃａｔｉｏｎ”のｃｏｎｔｅｎｔＴｙｐｅを有する（Ｈ２７０１０、Ｈ２７０２０）。各々のＣｏｎｔｅｎｔＣｏｍｐｏｎｅｎｔは下位要素としてＲｏｌｅを有し、Ｒｏｌｅは上述した個々のＡｄｐａｔａｔｉｏｎ Ｓｅｔを通じたメタデータ伝送と同様の方法で、ＶＲビデオ及び／又はメタデータ（領域情報又は視点情報に関するメタデータ）の伝送有無を識別可能にする。即ち、ＶＲ ｖｉｄｅｏの場合、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”が割り当てられ、ｖａｌｕｅに“ｍａｉｎ’が割り当てられる。また、領域情報又は視点情報に関するメタデータの場合、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１ｘ”が割り当てられ、ｖａｌｕｅに“ｄｉｒｃ”が割り当てられるか、或いはＲｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”が割り当てられ、ｖａｌｕｅに“ｍｅｔａｄａｔａ”が割り当てられることができる。
図２７の実施例の場合、ＶＲ ｖｉｄｅｏについては、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”が割り当てられ、ｖａｌｕｅに“ｍａｉｎ’が割り当てられ（Ｈ２７０３０）、領域情報又は視点情報に関するメタデータについては、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１ｘ”が割り当てられ、ｖａｌｕｅに“ｄｉｒｃ”が割り当てられる（Ｈ２７０４０）。
図２８は本発明のさらに他の実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。
図２８の実施例は、ＶＲビデオと領域情報又は視点情報に関するメタデータが１つのトラックで構成されるものである。ＶＲビデオと領域情報又は視点情報に関するメタデータは、１つのアダプテーションセット（Ａｄａｐｔａｔｉｏｎ Ｓｅｔ）及び１つのファイル内に１つのトラックで構成されて伝送される。
１つのファイルには基本的に１つのビデオトラックが存在する。領域情報又は視点情報に関するメタデータは、ｓａｍｐｌｅ ｇｒｏｕｐ ｄｅｓｃｒｉｐｔｉｏｎのようにトラックに付属するメタデータの形態で貯蔵される。この場合、ＭＰＤにはビデオとメタデータを含む１つのＡｄａｐｔａｔｉｏｎ Ｓｅｔが存在し、２つのＲｏｌｅが存在して、該２つのＲｏｌｅが各々ビデオとメタデータの伝送有無を識別可能にする。即ち、ＶＲ ｖｉｄｅｏの場合、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”が割り当てられ、ｖａｌｕｅに“ｍａｉｎ’が割り当てられる。また、領域情報又は視点情報に関するメタデータの場合、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１ｘ”が割り当てられ、ｖａｌｕｅに“ｄｉｒｃ”が割り当てられるか、或いはＲｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”が割り当てられ、ｖａｌｕｅに“ｍｅｔａｄａｔａ”が割り当てられることができる。
なお、図２８の実施例の場合、図２７の実施例とは異なり、アダプテーションセットの下位にＶＲビデオ及びメタデータを識別するためにＣｏｎｔｅｎｔＣｏｍｐｏｎｅｎｔが存在しない。
図２８の実施例の場合、ＶＲ ｖｉｄｅｏについては、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”が割り当てられ、ｖａｌｕｅに“ｍａｉｎ’が割り当てられ（Ｈ２８０３０）、領域情報又は視点情報に関するメタデータについては、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１ｘ”が割り当てられ、ｖａｌｕｅに“ｄｉｒｃ”が割り当てられる（Ｈ２８０４０）。
以下、図２７及び図２８に説明した１つのＡｄａｐｔａｔｉｏｎ Ｓｅｔにより領域情報又は視点情報に関するメタデータを伝送及びシグナリングする方法に関連した受信器の動作について説明する。
図２９は本発明のさらに他の実施例による受信器を示すブロック図である。
図２９を参照すると、本発明のさらに他の実施例による受信器は、ＤＡＳＨクライアント（ＤＡＳＨ ｃｌｉｅｎｔ、Ｈ２９０２０）、セグメントパーサー（Ｓｅｇｍｅｎｔ ｐａｒｓｅｒ、Ｈ２９０３０）、ビデオデコーダー（ｖｉｄｅｏ ｄｅｃｏｄｅｒ、Ｇ２９０４０）、ＤＩＲＣパーサー（ＤＩＲＣ ｐａｒｓｅｒ、Ｇ２９０５０）及び／又はプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｇ２９０６０）を含む。
ＭＰＤ、ＶＲコンテンツ及び／又は領域情報又は視点情報に関するメタデータは、ＤＡＳＨサーバ（ＤＡＳＨ ｓｅｒｖｅｒ、Ｈ２９０１０）から提供されて、ＤＡＳＨクライアント（Ｈ２９０２０）が受信する。この時、受信器のＤＡＳＨクライアント（Ｈ２９０２０）は、データパケット形態のＶＲコンテンツ、ＭＰＤ及び／又は領域情報又は視点情報に関するメタデータをＤＡＳＨサーバ（Ｈ２９０１０）から受信できる。ＤＡＳＨクライアント（Ｈ２９０２０）は、ＤＡＳＨサーバ（Ｈ２９０１０）にＭＰＤ、ＶＲコンテンツ及び／又は領域情報又は視点情報に関するメタデータを要求できる。ＤＡＳＨクライアント（Ｈ２９０２０）は、受信されたパケットからＭＰＤとＳｅｇｍｅｎｔを生成できる。
ＤＡＳＨクライアント（Ｈ２９０２０）は、受信されたＭＰＤをパーシングしてコンテンツ（ＶＲコンテンツ）に関する情報を得る。この時、ＤＡＳＨクライアント（Ｈ２９０２０）は、図２７及び図２８に示した領域情報又は視点情報に関するメタデータが伝送されるアダプテーションセットに関するシグナリングにより領域情報又は視点情報に関するメタデータの有無を識別できる。また、ＤＡＳＨクライアント（Ｈ２９０２０）は、受信器のケイパビリティー（ｃａｐａｂｉｌｉｔｙ）及び／又はコンテンツの使用目的によって、ＤＩＲＣパーサー及びＤＩＲＣのためのセグメントパーサーを活性化できる（図面の点線を参照）。例えば、受信器が領域情報又は視点情報に関するメタデータを処理できないか、目的に応じて領域情報又は視点情報に関するメタデータを使用しない場合、領域情報又は視点情報に関するメタデータが伝送されるアダプテーションセットは使用されないことができる（ｓｋｉｐ）。なお、セグメントはセグメントパーサー（Ｈ２９０３０）に伝達されることができる。
セグメントパーサー（Ｈ２９０３０）は、受信されたセグメントをパーシングして、ビデオビットストリーム及び領域情報又は視点情報に関するメタデータ（ＤＩＲＣ ｍｅｔａｄａｔａ）を各々ビデオデコーダー（Ｈ２９０４０）及びＤＩＲＣパーサー（Ｈ２９０５０）に伝達する。なお、セグメントパーサー（Ｈ２９０３０）は、パーシング対象により機能的に区分される。即ち、セグメントパーサー（Ｈ２９０３０）は、ビデオのためのセグメントをパーシングするセグメントパーサーと、領域情報又は視点情報に関するメタデータのためのセグメントパーサーに区分される。
ビデオデコーダー（Ｈ２９０４０）は、ビデオストリームをデコーディングしてプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２９０６０）に伝達できる。
ＤＩＲＣパーサー（Ｈ２９０５０）は、ＤＩＲＣ ｍｅｔａｄａｔａをパーシングしてパーシングされた情報（ＤＩＲＣ ｉｎｆｏ．）をプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２９０６０）に伝達できる。
プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２９０６０）にはビデオデコーダー（Ｈ２９０４０）からビデオストリームが伝達され、ＤＩＲＣ Ｐａｒｓｅｒ（Ｈ２９０５０）にはＤＩＲＣ ｍｅｔａｄａｔａが伝達される。また、プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２９０６０）はＤＩＲＣ情報を使用してＶｉｄｅｏデータをユーザに提供できる。プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２９０６０）がＤＩＲＣ情報を使用してユーザにＶＲコンテンツを提供する方法は、アプリケーションによって異なる。一例として、ＤＩＲＣが示すプロデューサーの意図視点をユーザに自動操縦（ａｕｔｏ ｎａｖｉｇａｔｉｏｎ）の形態で見せることができる。他の例として、ユーザの視点によってＶＲコンテンツを見せるが、プロデューサーの意図視点を誘導できる方向表示などを提供することもできる。
＜ＭＰＥＧ−２ ＴＳを用いた領域情報又は視点情報に関するメタデータの伝送及びシグナリング方法の案＞
図１２乃至図２０に説明した領域情報又は視点情報に関するメタデータは、ＭＰＥＧ−２ ＴＳを通じて伝送されることもできる。より具体的には、領域情報又は視点情報に関するメタデータは、ＰＥＳ ｐａｃｋｅｔ（ｐａｃｋｅｔｉｚｅｄ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ Ｐａｃｋｅｔ）を通じて伝送されるか、或いはＴＳ（ｔｒａｎｓｐｏｒｔ ｓｔｒｅａｍ）のＡｄａｐｔａｔｉｏｎ Ｆｉｅｌｄを通じて伝送される。
以下、領域情報又は視点情報に関するメタデータが固有のＰＩＤを有するＰＥＳ Ｐａｃｋｅｔを通じて伝送される実施例及びＴＳのＡｄａｐｔａｔｉｏｎ Ｆｉｅｌｄを通じて伝送される実施例について順に説明する。
ＰＥＳで伝送する実施例
一実施例によれば、領域情報又は視点情報に関するメタデータは以下のような方式でＰＥＳパケットを通じて伝送される。領域情報又は視点情報に関するメタデータを含むＰＥＳパケットのストリーム識別子（ｓｔｒｅａｍ＿ｉｄ）がｐｒｉｖａｔｅ ｓｔｒｅａｍを指示するように設定され、該当ｐｒｉｖａｔｅ ｓｔｒｅａｍのストリームタイプ（ｓｔｒｅａｍ＿ｔｙｐｅ）が領域情報又は視点情報に関するメタデータストリームを指示するように設定される。
図３０はストリーム識別子と該ストリーム識別子に割り当てられたストリームの情報を示す図であり、図３１はストリームタイプと当ストリームタイプに割り当てられたストリームの情報の一部を示す図であり、図３２はＰＥＳ Ｐａｃｋｅｔを通じて伝送されるａｃｃｅｓｓ ｕｎｉｔを示す図である。
まず、図３０を参照すると、ｓｔｒｅａｍ＿ｉｄが’１０１１ １１０１’である場合、該当ストリームはｐｒｉｖａｔｅ＿ｓｔｒｅａｍ＿１を識別する。ｓｔｒｅａｍ＿ｉｄ＝’１０１１ １１０１’である場合であって、ｓｔｒｅａｍ＿ｔｙｐｅが’０ｘ２７’である場合、該当ストリームは領域情報又は視点情報に関するメタデータに関連するストリーム（ＶＲ Ｄｉｒｅｃｔｏｒ’ｓ ｃｕｔ ｉｎｆｏｒｍａｔｉｏｎ ｓｔｒｅａｍ）に該当する（図２６のｎｏｔｅ１１を参照）。また、図３１を参照すると、ｓｔｒｅａｍ＿ｔｙｐｅが’０ｘ２７’である場合、該当ストリームが領域情報又は視点情報に関するメタデータに関連するストリーム（ＶＲ Ｄｉｒｅｃｔｏｒ’ｓ ｃｕｔ ｉｎｆｏｒｍａｔｉｏｎ ｓｔｒｅａｍ）に該当することを指示していることを確認できる。
次に、図３２を参照すると、１つ以上のＰＥＳ Ｐａｃｋｅｔを通じて伝送されるａｃｃｅｓｓ ｕｎｉｔの構成が示されている。図３２のａｃｃｅｓｓ ｕｎｉｔ（ＶＤＣＩ＿ＡＵ）は、ｖｄｃｉ＿ｄｅｓｃｒｉｐｔｏｒ（）を含み、ｖｄｃｉ＿ｄｅｓｃｒｉｐｔｏｒ（）は領域情報又は視点情報に関するメタデータを含むことができる。このｖｄｃｉ＿ｄｅｓｃｒｉｐｔｏｒ（）については後述する。
Ａｄａｐｔａｔｉｏｎ Ｆｉｌｅｄ内に伝送する実施例
一実施例によれば、領域情報又は視点情報に関するメタデータは以下のような方式でＴＳのａｄａｐｔａｔｉｏｎ ｆｉｅｌｄを通じて伝送される。領域情報又は視点情報に関するメタデータがａｄａｐｔａｔｉｏｎ ｆｉｅｌｄに含まれて伝送される場合、ｆｌａｇフィールドにより領域情報又は視点情報に関するメタデータを含むディスクリプターの有無を指示でき、該当ｆｌａｇフィールドが領域情報又は視点情報に関するメタデータを含むディスクリプターの存在を指示する場合、領域情報又は視点情報に関するメタデータを含むディスクリプターはａｄａｐｔａｔｉｏｎ ｆｉｅｌｄに含まれることができる。
図３３は本発明の一実施例によるａｄａｐｔａｔｉｏｎ ｆｉｅｌｄを示す図である。
図３３を参照すると、ａｄａｐｔａｔｉｏｎ ｆｉｅｌｄはｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒ＿ｎｏｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを含む。ｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒ＿ｎｏｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇはｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒ（）の存在有無を識別する。図３３の実施例において、ｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒ＿ｎｏｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に設定される場合、ａｄａｐｔａｉｏｎ＿ｆｉｌｅｄ（）内にｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒ（）が存在することになる。
ＴＳのコンポーネントが領域情報又は視点情報に関するメタデータをＡｄａｐｔａｔｉｏｎ Ｆｉｅｌｄ内に含むことができるか否かは、ｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒを通じて識別可能である。ｅｘｔｅｎｓｉｏｎ＿ｄｅｓｃｒｏｐｔｏｒ＿ｔａｇが既に設定された値に割り当てられた場合、該当コンポーネントのａｄａｐｔａｔｉｏｎ ｆｉｅｌｄが領域情報又は視点情報に関するメタデータに対するディスクリプターを含めることを指示できる。
図３４は本発明の一実施例によるｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒを示す図であり、図３５はｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒに含まれるｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒ ｔａｇのｖａｌｕｅと、このｖａｌｕｅに該当する説明を示す図であり、図３６は本発明の一実施例によるｖｄｃｉ ｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒを示す図である。
まず、図３４を参照すると、本発明の一実施例によるｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒは、ｄｅｓｃｒｉｐｔｏｒ ｔａｇ、ｄｅｓｃｒｉｐｔｏｒ ｌｅｎｇｔｈ及びｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒ ｔａｇを含み、ｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒ ｔａｇの値（ｖａｌｕｅ）によってディスクリプターを含むことができる。
ｄｅｓｃｒｉｐｔｏｒ ｔａｇはこのディスクリプターを識別できる。図３４の実施例において、ｄｅｓｃｒｉｐｔｏｒ ｔａｇはｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒを識別する値に設定される。具体的には、実施例において、ｄｅｓｃｒｉｐｔｏｒ ｔａｇはｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒを指示するために’６３’に設定される。但し、ｄｅｓｃｒｉｐｔｏｒ ｔａｇの具体的な値は実施例によって異なる。
ｄｅｓｃｒｉｐｔｏｒ ｌｅｎｇｔｈは該当ディスクリプターの長さをバイト単位で記述できる。
ｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒ ｔａｇはエクステンションディスクリプター（ｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒ）に含まれる具体的なディスクリプターを識別できる。
図３５を参照すると、ｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒ ｔａｇのｖａｌｕｅによってｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒに含まれる具体的なディスクリプターが何であるかが示されている。図３４及び図３５に示したように、ｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒ ｔａｇが０ｘ０２である場合、ｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒはＯｂｊｅｃｔＤｅｓｃｒｉｐｔｏｒＵｐｄａｔｅ ｄｅｓｃｒｉｐｔｏｒを含むことができ、ｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒ ｔａｇが０ｘ０３である場合、ｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒはＨＥＶＣ＿ｔｉｍｉｎｇ＿ａｎｄ＿ＨＲＤ＿ｄｅｓｃｒｉｐｔｏｒを含むことができ、ｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒ ｔａｇが０ｘ０４である場合、ｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒはａｆ＿ｅｘｔｅｎｓｔｉｏｎｓ＿ｄｅｓｃｒｉｐｔｏｒを含むことができ、またｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒ ｔａｇが０ｘ０５である場合は、ｅｘｔｅｎｓｉｏｎ ｄｅｓｃｒｉｐｔｏｒはｖｄｃｉ＿ｅｘｔｅｎｓｔｉｏｎｓ＿ｄｅｓｃｒｉｐｔｏｒを含むことができる。
図３６を参照すると、本発明の一実施例によるｖｄｃｉ＿ｅｘｔｅｎｓｔｉｏｎｓ＿ｄｅｓｃｒｉｐｔｏｒが示されている。
本発明の一実施例によるｖｄｃｉ＿ｅｘｔｅｎｓｔｉｏｎｓ＿ｄｅｓｃｒｉｐｔｏｒは、ｖｄｃｉ ｄｅｓｃｒｉｐｔｏｒ ｔｙｐｅを含むことができる。
ｖｄｃｉ ｄｅｓｃｒｉｐｔｏｒ ｔｙｐｅは後述するｖｄｃｉ ｄｅｓｃｒｉｐｔｏｒの種類やタイプを指示できる。一例として、ｖｄｃｉ ｄｅｓｃｒｉｐｔｏｒ ｔｙｐｅが’０ｘ０１’である場合、ｖｄｃｉ ｄｅｓｃｒｉｐｔｏｒは２Ｄ＿ｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒ（）であり、ｖｄｃｉ ｄｅｓｃｒｉｐｔｏｒ ｔｙｐｅは’０ｘ０２’である場合は、ｖｄｃｉ ｄｅｓｃｒｉｐｔｏｒはｓｐｈｅｒｉｃａｌ＿ｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒ（）であることができる。
図３７乃至図３８は本発明の一実施例によるｖｄｃｉ ｄｅｓｃｒｉｐｔｏｒを示す。
より具体的には、図３７は本発明の一実施例による２Ｄ ｖｄｃｉ ｄｅｓｃｒｉｐｔｏｒを示し、図３８は本発明の一実施例によるｓｐｈｒｅｃａｌ ｖｃｄｉ ｄｅｓｃｒｉｐｔｏｒを示す。
まず、図３７を参照すると、本発明の一実施例による２Ｄ ｖｃｄｉ ｄｅｓｃｒｉｐｔｏｒが示されている。
２Ｄ＿ｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒは、２Ｄ＿ｖｃｄｉ＿ｄｅｓｃｒ＿ｔａｇ、２Ｄ＿ｖｄｃｉ＿ｄｅｓｃｒ＿ｌｅｎｇｔｈ、ｒｅｆｅｒｅｎｃｅ＿ｒｅｇｉｏｎ＿ｆｌａｇ、ｄｕｒａｔｉｏｎ＿ｆｌａｇ、ｎｅｘｔ＿ｖｃｄｉ＿ｆｌａｇ、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈ、ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔ、ｔｏｐ＿ｌｅｆｔ＿ｘ、ｔｏｐ＿ｌｅｆｔ＿ｙ、ｗｉｄｔｈ、ｈｅｉｇｈｔ、ｉｎｔｅｒｐｏｌａｔｅ、ｄｕｒａｔｉｏｎ、ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｘ、ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｙ、ｎｅｘｔ＿ｗｉｄｔｈ、ｎｅｘｔ＿ｈｅｉｇｈｔ及び／又はｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅを含む。
２Ｄ＿ｖｃｄｉ＿ｄｅｓｃｒ＿ｔａｇは、固有の値を割り当てて２Ｄｖｄｃｉ ｄｅｓｃｒｉｐｔｏｒを識別できる。
２Ｄ＿ｖｄｃｉ＿ｄｅｓｃｒ＿ｌｅｎｇｔｈは、２Ｄｖｄｃｉ ｄｅｓｃｒｉｐｔｏｒの長さをバイト数で示すことができる。
ｒｅｆｅｒｅｎｃｅ＿ｒｅｇｉｏｎ＿ｆｌａｇは、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈ及びｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔフィールドの有無を指示できる。一実施例において、ｒｅｆｅｒｅｎｃｅ＿ｒｅｇｉｏｎ＿ｆｌａｇが１に設定される場合、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈ及びｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔフィールドが存在することを示す。
ｄｕｒａｔｉｏｎ＿ｆｌａｇは、ｄｕｒａｔｉｏｎフィールドの有無を指示できる。一実施例において、ｄｕｒａｔｉｏｎ＿ｆｌａｇが１に設定される場合、ｄｕｒａｔｉｏｎフィールドが存在することを示す。
ｎｅｘｔ＿ｖｃｄｉ＿ｆｌａｇは、ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｘ、ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｙ、ｎｅｘｔ＿ｗｉｄｔｈ及びｎｅｘｔ＿ｈｅｉｇｈｔフィールドの有無を指示できる。一実施例において、ｎｅｘｔ＿ｖｃｄｉ＿ｆｌａｇが１に設定される場合、ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｘ、ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｙ、ｎｅｘｔ＿ｗｉｄｔｈ及びｎｅｘｔ＿ｈｅｉｇｈｔフィールドが存在することを示す。
ｄｕｒａｔｉｏｎは現在領域の持続時間を示す。他の実施例において、ｄｕｒａｔｉｏｎは現在の領域の表現時間と次の領域の表現時間の差を示すことができる。
ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈは２Ｄ空間における横サイズを示す。この時、２Ｄ空間の横サイズはピクセルの数で表現できる。
ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔは２Ｄ空間における縦サイズを示す。この時、２Ｄ空間の縦サイズはピクセルの数で表現できる。
ｔｏｐ＿ｌｅｆｔ＿ｘは表現しようとする領域の左上端の地点の横座標を示す。
ｔｏｐ＿ｌｅｆｔ＿ｙは表現しようとする領域の左上端の地点の縦座標を示す。
ｗｉｄｔｈは表現しようとする領域の横サイズを示す。この時、表現しようとする領域の横サイズはピクセルの数で表現できる。
ｈｅｉｇｈｔは表現しようとする領域の縦サイズを示す。この時、表現しようとする領域の縦サイズはピクセルの数で表現できる。
ｉｎｔｅｒｐｏｌａｔｅは、以前の領域と現在の領域の間の値を線形補間値で埋めるか否かを指示できる。一実施例において、ｉｎｔｅｒｐｏｌａｔｅが１に設定される場合、以前の領域と現在の領域の間の値は線形補間値（ｌｉｎｅａｒｌｙ ｉｎｔｅｒｐｏｌａｔｅｄ ｖａｌｕｅｓ）で埋めることができる。
ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｘは表現しようとする次の領域の左上端の地点の横座標を示す。
ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｙは表現しようとする次の領域の左上端の地点の縦座標を示す。
ｎｅｘｔ＿ｗｉｄｔｈは表現しようとする次の領域の横サイズを示す。この時、表現しようとする領域の横サイズはピクセルの数で表現できる。
ｎｅｘｔ＿ｈｅｉｇｈｔは表現しようとする次の領域の縦サイズを示す。この時、表現しようとする領域の縦サイズはピクセルの数で表現できる。
ｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅは、現在の領域と次の領域の間の値を線形補間値で埋めるか否かを指示できる。一実施例において、ｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅ が１に設定される場合、現在の領域と次の領域の間の値は線形補間値（ｌｉｎｅａｒｌｙ ｉｎｔｅｒｐｏｌａｔｅｄ ｖａｌｕｅｓ）で埋めることができる。
次に、図３８を参照すると、本発明の一実施例によるｓｐｈｅｒｉｃａｌ ｖｄｃｉ ｄｅｓｃｒｉｐｔｏｒが示されている。
ｓｐｈｅｒｉｃａｌ＿ｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒは、ｓｐｈｅｒｉｃａｌ＿ｖｃｄｉ＿ｄｅｓｃｒ＿ｔａｇ、ｓｐｈｅｒｉｃａｌ＿ｖｄｃｉ＿ｄｅｓｃｒ＿ｌｅｎｇｔｈ、ｒｅｆｅｒｅｎｃｅ＿ｒｅｇｉｏｎ＿ｆｌａｇ、ｄｕｒａｔｉｏｎ＿ｆｌａｇ、ｎｅｘｔ＿ｖｃｄｉ＿ｆｌａｇ、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｐｉｔｃｈ、ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｐｉｔｃｈ、ｙａｗ、ｐｉｔｃｈ、ｒｏｌｌ、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｉｎｔｅｒｐｏｌａｔｅ、ｄｕｒａｔｉｏｎ、ｎｅｘｔ＿ｙａｗ、ｎｅｘｔ＿ｐｉｔｃｈ、ｎｅｘｔ＿ｒｏｌｌ、ｎｅｘｔ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及び／又はｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅを含む。
ｓｐｈｅｒｉｃａｌ＿ｖｃｄｉ＿ｄｅｓｃｒ＿ｔａｇは固有の値を割り当ててｓｐｈｅｒｉｃａｌ ｖｄｃｉ ｄｅｓｃｒｉｐｔｏｒを識別することができる。
ｓｐｈｅｒｉｃａｌ＿ｖｄｃｉ＿ｄｅｓｃｒ＿ｌｅｎｇｔｈはｓｐｈｅｒｉｃａｌ ｖｄｃｉ ｄｅｓｃｒｉｐｔｏｒの長さをバイトの数で表すことができる。
ｒｅｆｅｒｅｎｃｅ＿ｒｅｇｉｏｎ＿ｆｌａｇはｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｐｉｔｃｈ及びｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｐｉｔｃｈフィールドの有無を指示できる。一実施例において、ｒｅｆｅｒｅｎｃｅ＿ｒｅｇｉｏｎ＿ｆｌａｇが１に設定される場合、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｐｉｔｃｈ及びｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｐｉｔｃｈフィールドが存在することを示す。
ｄｕｒａｔｉｏｎ＿ｆｌａｇはｄｕｒａｔｉｏｎフィールドの有無を指示できる。一実施例において、ｄｕｒａｔｉｏｎ＿ｆｌａｇが１に設定される場合 ｄｕｒａｔｉｏｎフィールドが存在することを示す。
ｎｅｘｔ＿ｖｃｄｉ＿ｆｌａｇはｎｅｘｔ＿ｙａｗ、ｎｅｘｔ＿ｐｉｔｃｈ、ｎｅｘｔ＿ｒｏｌｌ、ｎｅｘｔ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅフィールドの有無を指示できる。一実施例において、ｎｅｘｔ＿ｖｃｄｉ＿ｆｌａｇが１に設定される場合、ｎｅｘｔ＿ｙａｗ、ｎｅｘｔ＿ｐｉｔｃｈ、ｎｅｘｔ＿ｒｏｌｌ、ｎｅｘｔ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅフィールドが存在することを示す。
ｄｕｒａｔｉｏｎは現在の領域の持続時間を示す。又は現在の領域の表現時間と次の領域の表現時間の差を示す。
ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｙａｗは３Ｄ空間のｙａｗ ａｘｉｓに対する回転量の最小値を示す。
ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｙａｗは３Ｄ空間のｙａｗ ａｘｉｓに対する回転量の最大値を示す。
ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｐｉｔｃｈは３Ｄ空間のｐｉｔｃｈ ａｘｉｓに対する回転量の最小値を示す。
ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｐｉｔｃｈは３Ｄ空間のｐｉｔｃｈ ａｘｉｓに対する回転量の最大値を示す。
ｙａｗは表現しようとする領域のｙａｗ ａｘｉｓに対する回転量を示す。
ｐｉｔｃｈは表現しようとする領域のｐｉｔｃｈ ａｘｉｓに対する回転量を示す。
ｒｏｌｌは表現しようとする領域のｒｏｌｌ ａｘｉｓに対する回転量を示す。
ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは表現しようとする領域の視野範囲（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す。
ｉｎｔｅｒｐｏｌａｔｅは、以前の領域と現在の領域の間の値を線形補間値で埋めるか否かを指示できる。一実施例において、ｉｎｔｅｒｐｏｌａｔｅが１に設定される場合、以前の領域と現在の領域の間の値は線形補間値（ｌｉｎｅａｒｌｙ ｉｎｔｅｒｐｏｌａｔｅｄ ｖａｌｕｅｓ）で埋めることができる。
ｎｅｘｔ＿ｙａｗは表現しようとする次の領域のｙａｗ ａｘｉｓに対する回転量を示す。
ｎｅｘｔ＿ｐｉｔｃｈは表現しようとする次の領域のｐｉｔｃｈ ａｘｉｓに対する回転量を示す。
ｎｅｘｔ＿ｒｏｌｌは表現しようとする次の領域のｒｏｌｌ ａｘｉｓに対する回転量を示す。
ｎｅｘｔ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは表現しようとする次の領域の視野範囲（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を示す。
ｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅは現在の領域と次の領域の間の値を線形補間値で埋めるか否かを指示できる。一実施例において、ｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅが１に設定される場合、現在の領域と次の領域の間の値は線形補間値（ｌｉｎｅａｒｌｙ ｉｎｔｅｒｐｏｌａｔｅｄ ｖａｌｕｅｓ）で埋めることができる。
一方、図３７及び図３８に示された２Ｄ ｖｄｃｉ ｄｅｓｃｒｉｐｔｏｒ及びｓｐｈｅｒｉｃａｌ＿ｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒは各々、２Ｄ空間における領域情報又は視点情報に関するメタデータ及び３Ｄ空間における領域情報又は視点情報に関するメタデータの具体的な例であり、図１２乃至図２０に説明されたメタデータ情報が選択的にディスクリプターに含まれることができ、このディスクリプターに含まれた情報が選択的に省略されることもできる。
以下、図２９乃至図３８に説明したＭＰＥＧ−２ ＴＳにより領域情報又は視点情報に関するメタデータを伝送及びシグナリングする方法に関連する受信器の動作について説明する。
図３９は本発明のさらに他の実施例による受信器を示すブロック図である。
図３９を参照すると、本発明のさらに他の実施例による受信器は、ＭＰＥＧ−２ ＴＳ レシーバー（ＭＰＥＧ−２ ＴＳ ｒｅｃｅｉｖｅｒ、Ｈ３９０２０）、ビデオデコーダー（ｖｉｄｅｏ ｄｅｃｏｄｅｒ、Ｈ３９０３０）、ＤＩＲＣパーサー（ＤＩＲＣ ｐａｒｓｅｒ、Ｈ３９０４０）及び／又はプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ３９０５０）を含む。
ＶＲコンテンツ及び／又は領域情報又は視点情報に関するメタデータは、ＭＰＥＧ−２ ＴＳ トランスミッター（ＭＰＥＧ−２ ＴＳ ｔｒａｎｓｍｉｔｔｅｒ、Ｈ３９０１０）から提供されてＭＰＥＧ−２ ＴＳレシーバー（ＭＰＥＧ−２ ＴＳ ｒｅｃｅｉｖｅｒ、Ｈ３９０２０）が受信できる。この時、受信器のＭＰＥＧ−２ ＴＳレシーバー（Ｈ３９０２０）は、ＭＰＥＧ−２ ＴＳパケット形態のＶＲコンテンツ及び／又は領域情報又は視点情報に関するメタデータをＭＰＥＧ−２ ＴＳトランスミッター（Ｈ３９０１０）から受信できる。ＭＰＥＧ−２ ＴＳレシーバー（Ｈ３９０２０）は、受信されたＭＰＥＧ−２ ＴＳパケットを解釈してビデオストリーム（Ｖｉｄｅｏ ｂｉｔｓｔｒｅａｍ）及び領域情報又は視点情報に関するメタデータ（ＤＩＲＣ ｍｅｔａｄａｔａ）を生成できる。
この時、ＭＰＥＧ−２ ＴＳレシーバー（Ｈ３９０２０）は、上述したＰＥＳ又はＡｄａｐｔａｔｉｏｎ Ｆｉｅｌｄを通じて伝送される領域情報又は視点情報に関するメタデータ識別方法を通じて該当メタデータの存在有無を識別できる。
また、ＭＰＥＧ−２ ＴＳレシーバー（Ｈ３９０２０）は、受信器のケイパビリティー（ｃａｐａｂｉｌｉｔｙ）及び／又はコンテンツの使用目的によってＤＩＲＣパーサーを活性化できる（図面の点線を参照）。例えば、受信器が領域情報又は視点情報に関するメタデータを処理できないか、目的に応じて領域情報又は視点情報に関するメタデータを使用しない場合、領域情報又は視点情報に関するメタデータは使用されないことができる（ｓｋｉｐ）。なお、ＭＰＥＧ−２ ＴＳレシーバー（Ｈ３９０２０）は、ビデオストリーム（Ｖｉｄｅｏ ｂｉｔｓｔｒｅａｍ）及び領域情報又は視点情報に関するメタデータ（ＤＩＲＣ ｍｅｔａｄａｔａ）を各々ビデオデコーダー（Ｈ３９０３０）とＤＩＲＣパーサー（Ｈ３９０４０）に伝達できる。
ビデオデコーダー（Ｈ３９０３０）は、ビデオストリームをデコーディングしてプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ３９０５０）に伝達できる。
ＤＩＲＣパーサー（Ｈ３９０４０）は、ＤＩＲＣ ｍｅｔａｄａｔａをパーシングしてパーシングされた情報（ＤＩＲＣ ｉｎｆｏ．）をプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ３９０５０）に伝達できる。
プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ３９０５０）には、ビデオデコーダー（Ｈ３９０３０）からビデオストリームが伝達され、ＤＩＲＣ Ｐａｒｓｅｒ（Ｈ３９０４０）には、ＤＩＲＣ ｍｅｔａｄａｔａが伝達される。また、プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ３９０５０）は、ＤＩＲＣ情報を使用してＶｉｄｅｏデータをユーザに提供する。プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ３９０５０）がＤＩＲＣ情報を使用してユーザにＶＲコンテンツを提供する方法は、アプリケーションによって異なる。一例として、ＤＩＲＣが示すプロデューサーの意図視点をユーザに自動操縦（ａｕｔｏ ｎａｖｉｇａｔｉｏｎ）の形態で見せることができる。他の例として、ユーザの視点に応じてＶＲコンテンツを見せるが、プロデューサーの意図視点を誘導できる方向表示などを提供することもできる。
＜Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒを用いた領域情報又は視点情報に関するメタデータの伝送及びシグナリング方法の案＞
図１２乃至図２０に説明した領域情報又は視点情報に関するメタデータは、ＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ）を通じて伝送できる。より具体的には、領域情報又は視点情報に関するメタデータは、ＶＣＬ ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）ｍｅｓｓａｇｅの形態で伝送できる。
図４０は本発明の一実施例による領域情報又は視点情報に関するメタデータがＳＥＩ ｍｅｓｓａｇｅに含まれた形態を示す図である。
まず、図４０の上端を参照すると、本発明の一実施例によるＳＥＩ ｍｅｓｓａｇｅのペイロードは２Ｄ空間における領域情報又は視点情報に関するメタデータを含む。
本発明の一実施例によるＳＥＩ ｍｅｓｓａｇｅのペイロードは、ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ＿ｉｄ、ｒｅｆｅｒｅｎｃｅ＿ｒｅｇｉｏｎ＿ｆｌａｇ、ｄｕｒａｔｉｏｎ＿ｆｌａｇ、ｎｅｘｔ＿ｖｃｄｉ＿ｆｌａｇ、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈ、ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔ、top＿ｌｅｆｔ＿ｘ、ｔｏｐ＿ｌｅｆｔ＿ｙ、ｗｉｄｔｈ、ｈｅｉｇｈｔ、ｉｎｔｅｒｐｏｌａｔｅ、ｄｕｒａｔｉｏｎ、ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｘ、ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｙ、ｎｅｘｔ＿ｗｉｄｔｈ、ｎｅｘｔ＿ｈｅｉｇｈｔ及び／又はｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅを含む。
ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ＿ｉｄは、該当２Ｄ空間における領域情報又は視点情報に関するメタデータの固有識別子を示す。ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ＿ｉｄは、同一のストリーム上に複数の２Ｄ空間における領域情報又は視点情報に関するメタデータが存在する場合、各々を区別するための用途に使用できる。即ち、同一のｄｉｒｅｃｔｏｒｓ＿ｃｕｔ＿ｉｄを有するメタデータは、１つの２Ｄ空間における領域情報又は視点情報を示すメタデータシーケンスをなす。
本発明の一実施例によるＳＥＩ ｍｅｓｓａｇｅのペイロードに含まれた他のフィールドについては、図３３に説明した２Ｄ＿ｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒ（）についての説明内容を適用できる。
次に、図４０の下端を参照すると、本発明の他の実施例によるＳＥＩ ｍｅｓｓａｇｅのペイロードは３Ｄ空間における領域情報又は視点情報に関するメタデータを含む。
本発明の他の実施例によるＳＥＩ ｍｅｓｓａｇｅのペイロードは、ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ＿ｉｄ、ｒｅｆｅｒｅｎｃｅ＿ｒｅｇｉｏｎ＿ｆｌａｇ、ｄｕｒａｔｉｏｎ＿ｆｌａｇ、ｎｅｘｔ＿ｖｃｄｉ＿ｆｌａｇ、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｐｉｔｃｈ、ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｐｉｔｃｈ、ｙａｗ、ｐｉｔｃｈ、ｒｏｌｌ、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｉｎｔｅｒｐｏｌａｔｅ、ｄｕｒａｔｉｏｎ、ｎｅｘｔ＿ｙａｗ、ｎｅｘｔ＿ｐｉｔｃｈ、ｎｅｘｔ＿ｒｏｌｌ、ｎｅｘｔ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及び／又はｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅを含む。
ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ＿ｉｄは該当３Ｄ空間における領域情報又は視点情報に関するメタデータの固有識別子を示す。ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ＿ｉｄは、同一のストリーム上に複数の３Ｄ空間における領域情報又は視点情報に関するメタデータが存在する場合、各々を区別するための用途に使用できる。即ち、同一のｄｉｒｅｃｔｏｒｓ＿ｃｕｔ＿ｉｄを有するメタデータは、１つの３Ｄ空間における領域情報又は視点情報を示すメタデータシーケンスをなす。
本発明の一実施例によるＳＥＩ ｍｅｓｓａｇｅのペイロードに含まれた他のフィールドについては、図３４に説明したｓｐｈｅｒｉｃａｌ＿ｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒ（）についての説明内容を適用できる。
図４１は本発明のさらに他の実施例による領域情報又は視点情報に関するメタデータがＳＥＩ ｍｅｓｓａｇｅに含まれた形態を示す図である。
図４１に示された本発明のさらに他の実施例によるメタデータは、３Ｄ空間における領域情報又は視点情報に関するメタデータを含む。
本発明のさらに他の実施例によるＳＥＩ ｍｅｓｓａｇｅは、上述した４つのｇｒｅａｔ ｃｉｒｃｌｅにより１つ以上の領域の境界を設定できる。即ち、本発明のさらに他の実施例によるＳＥＩ ｍｅｓｓａｇｅは、図１６乃至図１９に説明したｒｅｇｉｏｎ ｔｙｐｅが１である場合に該当する方式で境界を設定できる。
ここで、設定される領域はディスプレイのために勧奨されるビューポートである。
図４１を参照すると、本発明のさらに他の実施例によるＳＥＩ ｍｅｓｓａｇｅのペイロードは、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｉｄ、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｃａｎｃｅｌ＿ｆｌａｇ、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇ、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｃｎｔ＿ｍｉｎｕｓ１、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｙａｗ＿ｃｅｎｔｅｒ、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｒｏｌｌ＿ｃｅｎｔｅｒ、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｙａｗ＿ｒａｎｇｅ及び／又はｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｉｔｃｈ＿ｒａｎｇｅを含む。
ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｉｄは、１つ以上の領域を識別する識別番号を指示できる。より具体的には、実施例において、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｉｄは勧奨されたビューポート領域の目的を識別するために使用される識別番号を指示できる。
ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｃａｎｃｅｌ＿ｆｌａｇは、以前のｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｖｉｅｗｐｏｒｔ ＳＥＩ ｍｅｓｓａｇｅの持続性有無を指示できる。一実施例において、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｃａｎｃｅｌ＿ｆｌａｇが１である場合、以前のｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｖｉｅｗｐｏｒｔ ＳＥＩ ｍｅｓｓａｇｅの持続性を取り消すことができ、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｃａｎｃｅｌ＿ｆｌａｇが０である場合、ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｖｉｅｗｐｏｒｔ ＳＥＩ ｍｅｓｓａｇｅが続くことを指示することができる。
ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇは、現在のレイヤ（ｃｕｒｒｅｎｔ ｌａｙｅｒ）に対するｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｖｉｅｗｐｏｒｔ ＳＥＩ ｍｅｓｓａｇｅの持続性有無を指示できる。一実施例において、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇが０である場合、ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｖｉｅｗｐｏｒｔ ＳＥＩ ｍｅｓｓａｇｅは現在デコーディングされたピクチャのみに適用されることを指示でき、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇが１である場合、ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｖｉｅｗｐｏｒｔ ＳＥＩ ｍｅｓｓａｇｅは現在のレイヤに対してｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｖｉｅｗｐｏｒｔ ＳＥＩ ｍｅｓｓａｇｅが適用されることを指示できる。なお、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇが１である場合にも、所定の条件を満たすと、ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｖｉｅｗｐｏｒｔ ＳＥＩ ｍｅｓｓａｇｅがこれ以上適用されないように設定できる。
ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｃｎｔ＿ｍｉｎｕｓ１は、このＳＥＩ ｍｅｓｓａｇｅが示す領域の数を指示できる。より具体的には、実施例において、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｃｎｔ＿ｍｉｎｕｓ１はこのＳＥＩ ｍｅｓｓａｇｅが示す勧奨ビューポート領域の数を指示できる。
ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｙａｗ＿ｃｅｎｔｅｒは該当領域の中央点のｙａｗ値を指示できる。より具体的には、実施例において、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｙａｗ＿ｃｅｎｔｅｒ［ｉ］はｉ番目の領域の中央点のｙａｗ値を指示でき、この時、領域は勧奨ビューポート領域であることができる。
ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒは該当領域の中央点のｐｉｔｃｈ値を指示できる。より具体的には、実施例において、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒ［ｉ］はｉ番目の領域の中央点のｐｉｔｃｈ値を指示でき、この時、領域は勧奨ビューポート領域であることができる。
ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｒｏｌｌ＿ｃｅｎｔｅｒは該当領域の中央点のｒｏｌｌ値を指示できる。より具体的には、実施例において、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｒｏｌｌ＿ｃｅｎｔｅｒ［ｉ］はｉ番目の領域の中央点のｒｏｌｌ値を指示でき、この時、領域は勧奨ビューポート領域であることができる。
ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｙａｗ＿ｒａｎｇｅは該当領域の範囲又はサイズをｙａｗ値を通じて指示できる。より具体的には、実施例において、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｙａｗ＿ｒａｎｇｅ［ｉ］はｉ番目の領域の範囲又はサイズをｙａｗ値を通じて指示でき、この時、領域は勧奨ビューポート領域であることができる。
ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｉｔｃｈ＿ｒａｎｇｅは該当領域の範囲又はサイズをｐｉｔｃｈ値を通じて指示できる。より具体的には、実施例において、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｉｔｃｈ＿ｒａｎｇｅ［ｉ］はｉ番目の領域の範囲又はサイズをｐｉｔｃｈ値を通じて指示でき、この時、領域は勧奨ビューポート領域であることができる。
なお、図４０に示したｖｒ＿２Ｄ＿ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ（ｐａｙｌｏａｄＳｉｚｅ）は、２Ｄ空間における領域情報又は視点情報に関するメタデータの具体的な例示であり、図４０及び図４１に示したｖｒ＿２Ｄ＿ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ（ｐａｙｌｏａｄＳｉｚｅ）及びｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ＿ｖｉｅｗｐｏｒｔ（ｐａｙｌｏａｄＳｉｚｅ）は、３Ｄ空間における領域情報又は視点情報に関するメタデータの具体的な例示であり、図１２乃至図２０に説明したメタデータ情報が選択的にこのＳＥＩ ｍｅｓｓａｇｅに含まれることができ、このＳＥＩ ｍｅｓｓａｇｅに含まれた情報は選択的に省略することもできる。
以下、図４０及び図４１に説明したＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ）により領域情報又は視点情報に関するメタデータを伝送及びシグナリングする方法に関連する受信器の動作について説明する。
図４２は本発明のさらに他の実施例による受信器を示すブロック図である。
図４２を参照すると、本発明のさらに他の実施例による受信器は、ネットワーククライアント／コンテンツパーサー（ｎｅｔｗｏｒｋ ｃｌｉｅｎｔ／ｃｏｎｔｅｎｔ ｐａｒｓｅｒ、Ｈ４２０２０）、ビデオデコーダー（ｖｉｄｅｏ ｄｅｃｏｄｅｒ、Ｈ４２０３０）、ＤＩＲＣパーサー（ＤＩＲＣ ｐａｒｓｅｒ、Ｈ４２０４０）及び／又はプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ４２０５０）を含む。
ＶＲコンテンツ及び／又は領域情報又は視点情報に関するメタデータを含むビデオデータは、コンテンツ／ネットワークサーバ（Ｈ４２０１０）から提供されて、ネットワーククライアント／コンテンツパーサー（Ｈ４２０２０）が受信できる。この時、受信器のネットワーククライアント／コンテンツパーサー（Ｈ４２０２０）は、ネットワークパケット又はファイル形態のビデオデータをコンテンツ／ネットワークサーバ（Ｈ４２０１０）から受信できる。ネットワーククライアント／コンテンツパーサー（Ｈ４２０２０）は、受信されたネットワークパケット又はファイルを解釈してビデオストリーム（Ｖｉｄｅｏ ｂｉｔｓｔｒｅａｍ）を生成できる。
ネットワーククライアント／コンテンツパーサー（Ｈ４２０２０）は、ビデオストリーム（Ｖｉｄｅｏ ｂｉｔｓｔｒｅａｍ）をビデオデコーダー（Ｈ４２０３０）に伝達できる。
ビデオデコーダー（Ｈ４２０３０）はビデオストリームをデコーディングできる。ビデオデコーダー（Ｈ４２０３０）はビデオストリームをデコーディングして、ビデオデータと領域情報又は視点情報に関するメタデータ（ＤＩＲＣ ｍｅｔａｄａｔａ）を得ることができる。
ビデオデコーダー（Ｈ４２０３０）はプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ４２０５０）に伝達できる。
また、ビデオデコーダー（Ｈ４２０３０）は、受信器のケイパビリティー（ｃａｐａｂｉｌｉｔｙ）、及び／又はコンテンツの使用目的に応じてＤＩＲＣパーサー（Ｈ４２０４０）を活性化し、領域情報又は視点情報に関するメタデータ（ＤＩＲＣ ｍｅｔａｄａｔａ）をＤＲＩＣパーサー（Ｈ４２０４０）に伝達できる。例えば、受信器が領域情報又は視点情報に関するメタデータを処理できないか或いは目的に応じて領域情報又は視点情報に関するメタデータを使用しない場合、領域情報又は視点情報に関するメタデータは使用されないことができる（ｓｋｉｐ）。
ＤＩＲＣパーサー（Ｈ４２０４０）はＤＩＲＣ ｍｅｔａｄａｔａをパーシングしてパーシングされた情報（ＤＩＲＣ ｉｎｆｏ．）をプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ４２０５０）に伝達できる。
プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ４２０５０）にはビデオデコーダー（Ｈ４２０３０）からビデオストリームが伝達され、ＤＩＲＣ Ｐａｒｓｅｒ（Ｈ４２０４０）にはＤＩＲＣ ｍｅｔａｄａｔａが伝達される。また、プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ４２０５０）は、ＤＩＲＣ情報を使用してＶｉｄｅｏデータをユーザに提供できる。プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ４２０５０）がＤＩＲＣ情報を使用してユーザにＶＲコンテンツを提供する方法は、アプリケーションによって異なる。一例として、ＤＩＲＣが示すプロデューサーの意図視点をユーザに自動操縦（ａｕｔｏ ｎａｖｉｇａｔｉｏｎ）の形態で見せることができる。他の例として、ユーザの視点によってＶＲコンテンツを見せるが、プロデューサーの意図視点を誘導できる方向表示などを提供することもできる。
＜３６０゜ビデオサービスのためのコンテンツの送受信過程及びメタデータ＞
図４３は本発明の一実施例による３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信する過程を示す図である。
図４３を参照すると、３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信するために送信側の構成及び受信側の構成が示されている。ここで、送信側の構成は３６０゜ビデオの伝送装置に含まれた構成であることができ、受信側の構成は３６０゜ビデオの受信装置に含まれた構成であることができる。また、送信側の構成及び過程は３６０゜ビデオを生成する構成及び過程を含むことができる。
以下、図４３を参照して、３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信する過程について説明する。
まず、３６０゜ビデオ送信装置は、１つ以上のカメラを用いて複数の方向に対してキャプチャーされた１つ以上のｉｍａｇｅ（ｉｎｐｕｔ ｉｍａｇｅ）を生成できる（ＳＨ４３０１０）。ここで、３６０゜ビデオ送信装置は全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ、３６０゜）に対するイメージをキャプチャーできる。このように複数の方向に対するイメージをキャプチャーする過程を、獲得過程（ａｃｑｕｉｓｉｔｉｏｎ）と称する。
続いて、３６０゜ビデオ送信装置は、キャプチャーされた複数のイメージ（ｉｎｐｕｔ ｉｍａｇｅｓ）を３次元幾何構造（ｇｅｏｍｅｔｒｙ）上においてステッチングできる（ＳＨ４３０２０）。この時、３次元幾何構造（ｇｅｏｍｅｔｒｙ）としては、球（ｓｐｈｅｒｅ）、キューブ（ｃｕｂｅ）などが使用される。ステッチング過程はキャプチャーされた複数のイメージ（ｉｎｐｕｔ ｉｍａｇｅｓ）を３次元幾何構造（ｇｅｏｍｅｔｒｙ）上において連結して１つのパノラマイメージ（ｐａｎｏｒａｍａ ｉｍａｇｅ）又は球形イメージ（ｓｐｈｅｒｉｃａｌ ｉｍａｇｅ）を形成する過程である。この実施例では、イメージステッチングを通じて球形のイメージ（ｓｐｈｅｒｉｃａｌ ｉｍａｇｅ）を生成する場合を示している。
次に、３６０゜ビデオ送信装置は、３６０゜ビデオ（ＶＲ ｖｉｄｅｏ）のレンダリング（ｒｅｎｄｅｒｉｎｇ）特性に対するレンダリングメタデータを生成できる（ＳＨ４３０３０）。このように３６０゜ビデオ（ＶＲ ｖｉｄｅｏ）に対するレンダリングメタデータを生成する過程を、オーサリング過程（ａｕｔｈｏｒｉｎｇ）と称する。
その後に、３６０゜ビデオ送信装置はステッチングされたイメージを定型化された幾何構造であるプロジェクションフォーマット（ｐｒｏｊｅｃｔｉｏｎ ｆｏｒｍａｔ）に投影（ｐｒｏｊｅｃｔｉｏｎ）して矩形形態のフレーム（ｐａｃｋｅｄ ｆｒａｍｅ、ｐａｃｋｅｄ ｉｍａｇｅ）を構成できる（ｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇ、ＳＨ４３０４０）。
この過程は定型化された幾何構造であるプロジェクションフォーマット（ｐｒｏｊｅｃｔｉｏｎ ｆｏｒｍａｔ）に投影（ｐｒｏｊｅｃｔｉｏｎ）して、ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ（ｐｒｏｊｅｃｔｅｄ ｉｍａｇｅ）を生成するプロジェクション過程（ｐｒｏｊｅｃｔｉｏｎ）と、ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ（ｐｒｏｊｅｃｔｅｄ ｉｍａｇｅ）をｐａｃｋｅｄ ｆｒａｍｅ（ｐａｃｋｅｄ ｉｍａｇｅ）にマッピングさせる過程（ｍａｐｐｉｎｇ）に細分化される。
ここで、プロジェクションのためのプロジェクションフォーマット（ｐｒｏｊｅｃｔｉｏｎ ｆｏｒｍａｔ）には、ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ、ｃｕｂｉｃなどがあり得る。なお、プロジェクション過程を通じて、ステッチングされたイメージは２Ｄフレーム上にプロジェクションされることができる。
また、マッピング過程はｐｒｏｊｅｃｔｅｄ ｆｒａｍｅを構成する矩形領域の配置及び／又は解像度などを調整してｐａｃｋｅｄ ｆｒａｍｅを構成できる。この時、特定の領域のｑｕａｌｉｔｙを高めることも可能である。ここで、特定の領域は、特定ユーザの視点領域であるか、或いは上述したプロデューサーの意図視点領域である。
かかるマッピング過程は、領域（リージョン、ｒｅｇｉｏｎ）ごとのパッキング過程と称することができる。リージョンごとのパッキング過程は選択的に行われ、リージョンごとのパッキング過程が行われない場合、ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ（ｐｒｏｊｅｃｔｅｄ ｉｍａｇｅ）とｐａｃｋｅｄ ｆｒａｍｅ（ｐａｃｋｅｄ ｉｍａｇｅ）は同一であることができる。
なお、３６０゜ビデオ送信装置はプロジェクション／マッピング過程におけるプロジェクション特性及び／又はマッピング特性に関するメタデータを生成できる。
その後に、３６０゜ビデオ送信装置は、ｐａｃｋｅｄ ｆｒａｍｅ（ｐａｃｋｅｄ ｉｍａｇｅ）を符号化（ｅｎｃｏｄｉｎｇ）してコーディングされたビデオピクチャ（ｃｏｄｅｄ ｖｉｄｅｏ ｐｉｃｔｕｒｅ）を生成できる（ｖｉｄｅｏ ｅｎｃｏｄｉｎｇ、ＳＨ４３０５０）。
次に、３６０゜ビデオ送信装置は、コーディングされたビデオピクチャ（ｃｏｄｅｄ ｖｉｄｅｏ ｐｉｃｔｕｒｅ）を含むファイル（ｆｉｌｅ）又はセグメント（Ｓｅｇｍｅｎｔ）を生成できる（ＳＨ４３０６０）。なお、この実施例において、３６０゜ビデオ送信装置は、コーディングされたビデオピクチャ（ｃｏｄｅｄ ｖｉｄｅｏ ｐｉｃｔｕｒｅ）だけではなく、レンダリングメタデータ（ｒｅｎｄｅｒｉｎｇ ｍｅｔａｄａｔａ）及びｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇメタデータを含むファイル（ｆｉｌｅ）又はセグメント（Ｓｅｇｍｅｎｔ）を生成する。
３６０゜ビデオ送信装置は、ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ） ＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）を生成し、ＭＰＤとセグメント（Ｓｅｇｍｅｎｔ）を送信できる（ＳＨ４３０７０）。
３６０゜ビデオの受信装置はＤＡＳＨ ＭＰＤを受信及びパーシングし、セグメントを要求して受信することができる（ＳＨ４３０８０）。
３６０゜ビデオの受信装置はファイル又はセグメントを受信し、ファイル又はセグメントからコーディングされたビデオピクチャ（Ｃｏｄｅｄ ｖｉｄｅｏ ｐｉｃｔｕｒｅ）を抽出できる（ＳＨ４３０９０）。なお、この実施例において、レンダリングメタデータ（ｒｅｎｄｅｒｉｎｇ ｍｅｔａｄａｔａ）及びｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇメタデータは、ファイル又はセグメントに含まれているので、３６０゜ビデオの受信装置はファイル又はセグメントからレンダリングメタデータ（ｒｅｎｄｅｒｉｎｇ ｍｅｔａｄａｔａ）及びｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇメタデータを抽出してパーシングすることができる。
次に、３６０゜ビデオの受信装置はコーディングされたビデオピクチャ（Ｃｏｄｅｄ ｖｉｄｅｏ ｐｉｃｔｕｒｅ）を復号化（ｄｅｃｏｄｉｎｇ）してｐａｃｋｅｄ ｆｒａｍｅ（ｐａｃｋｅｄ ｉｍａｇｅ）を生成できる（ＳＨ４３１００）。
その後、３６０゜ビデオの受信装置は、ｐａｃｋｅｄ ｆｒａｍｅ（ｐａｃｋｅｄ ｉｍａｇｅ）を３次元幾何構造（ｇｅｏｍｅｔｒｙ）のイメージ形態に復元できる。この実施例において、３６０゜ビデオの受信装置は、ｐａｃｋｅｄ ｆｒａｍｅ（ｐａｃｋｅｄ ｉｍａｇｅ）を３次元幾何構造（ｇｅｏｍｅｔｒｙ）の球形イメージ（ｓｐｈｅｒｉｃａｌ ｉｍａｇｅ）に復元できる（ＳＨ４３１１０）。この時、３６０゜ビデオの受信装置はｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇメタデータを用いて３次元イメージを復元できる。
また、３６０゜ビデオの受信装置は、３次元幾何構造のイメージ（球形イメージ、ｓｐｈｅｒｉｃａｌ ｉｍａｇｅ）を３次元空間上にレンダリングできる（ＳＨ４３１３０）。この時、３６０゜ビデオの受信装置はレンダリングメタデータ（ｒｅｎｄｅｒｉｎｇ ｍｅｔａｄａｔａ）を用いて３次元イメージを３次元空間上にレンダリングできる。
また、３６０゜ビデオの受信装置はさらに後述するユーザの視点（ｕｓｅｒ ｖｉｅｗｐｏｒｔ）情報を用いて３次元イメージを３次元空間上にレンダリングできる。
その後、３６０゜ビデオの受信装置は３次元空間上のイメージをディスプレイに表出できる（ＳＨ４３１４０）。
なお、３６０゜ビデオの受信装置は動作中にユーザの頭／目の動きを感知してユーザの視点（ｕｓｅｒ ｖｉｅｗｐｏｒｔ）情報を追跡（ｔｒａｃｋｉｎｇ）できる（ＳＨ４３１２０）。トラッキングされたユーザの視点（ｕｓｅｒ ｖｉｅｗｐｏｒｔ）情報は実時間に生成されて３６０゜ビデオをレンダリングする過程に使用できる。
かかるユーザの視点（ｕｓｅｒ ｖｉｅｗｐｏｒｔ）情報は、３６０゜ビデオをレンダリングする過程以外の他の過程にも使用できる。例えば、Ｖｉｅｗ−ｄｅｐｅｎｄｅｎｔ ｐｒｏｃｅｓｓｉｎｇが適用される場合、ユーザの視点（ｕｓｅｒ ｖｉｅｗｐｏｒｔ）情報に依存して各段階が行われる。
具体的に、ユーザの視点（ｕｓｅｒ ｖｉｅｗｐｏｒｔ）情報に依存して、該当ユーザの視点を含む領域に関連するビデオデータに対してビデオデコーディングが行われることができる（ｃａｓｅ Ａ）。
また、ユーザの視点（ｕｓｅｒ ｖｉｅｗｐｏｒｔ）情報に依存して、該当ユーザの視点を含む領域に関連するファイル又はセグメントに対して脱カプセル化が行われることができる（ｃａｓｅ ＢＦセル）。
または、ユーザの視点（ｕｓｅｒ ｖｉｅｗｐｏｒｔ）情報に依存して、該当ユーザの視点を含む領域に関連するセグメントに対する受信が行われることができる（ｃａｓｅ Ｃ）。
以下、図４３に説明したレンダリングメタデータ及びｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇ メタデータに含まれる情報について図４４を参照して説明する。
図４４は本発明の一実施例によるレンダリングメタデータ及びｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇメタデータに含まれる情報の一例を示す図である。
まず、本発明の一実施例によるレンダリングメタデータは、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅ、ｃｅｎｔｅｒ＿ｙａｗ、ｃｅｎｔｅｒ＿ｐｉｔｃｈ、ｍｉｎ＿ｙａｗ、ｍａｘ＿ｙａｗ、ｍｉｎ＿ｐｉｔｃｈ、ｍａｘ＿ｐｉｔｃｈ、Ｒｅｇｉｏｎ Ｍａｐｐｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ（ｉ．ｅ．、ＥｑｕｉＭａｐＶｉｄｅｏＩｎｆｏＢｏｘ、ＣｕｂｅＭａｐＶｉｄｅｏＩｎｆｏＢｏｘ）及び／又はｓｔｅｒｅｏ ｍｏｄｅを含む。
ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅは、３６０゜ビデオがマッピングされるマッピングタイプに関する情報を示す。一実施例によれば、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅのｖａｌｕｅが０である場合、ｅｑｕｉｒｅｃｔａｎｇｕｌａｒのマッピングタイプを指示し、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅのｖａｌｕｅが１である場合、ｃｕｂｉｃのマッピングタイプを指示し、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅのｖａｌｕｅが２である場合、ｃｙｌｉｎｄｅｒ又はｐａｎｏｒａｍａのマッピングタイプを指示し、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅのｖａｌｕｅが３である場合、ｐｙｒａｍｉｄのマッピングタイプを指示することができる。
即ち、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅ情報は、３６０゜ビデオを２Ｄイメージ（フレーム）上にマッピングする時に使用したプロジェクションスキーム（ｐｒｏｊｅｃｔｉｏｎ ｓｃｈｅｍｅ）を指示するといえる。この一実施例において、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅのｖａｌｕｅが０である場合、ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ ｐｒｏｊｅｃｔｉｏｎが使用されたことを指示し、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅのｖａｌｕｅが１である場合、ｃｕｂｉｃ ｐｒｏｊｅｃｔｉｏｎが使用されたことを指示し、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅのｖａｌｕｅが２である場合、ｃｙｌｉｎｄｅｒ ｐｒｏｊｅｃｔｉｏｎ又はｐａｎｏｒａｍａ ｐｒｏｊｅｃｔｉｏｎが使用されたことを指示し、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅのｖａｌｕｅが３である場合、ｐｙｒａｍｉｄ ｐｒｏｊｅｃｔｉｏｎが使用されたことを指示することができる。
ｃｅｎｔｅｒ＿ｙａｗフィールドは、３６０ビデオデータがプロジェクションされた２Ｄイメージの中央ピクセル及び３Ｄ空間上の中点に関連する情報を提供できる。一実施例において、ｃｅｎｔｅｒ＿ｙａｗフィールドは、３Ｄ空間の中点がキャプチャースペース座標系の座標原点或いはワールド座標系の原点に比べて回転した程度を示す。かかる実施例において、ｃｅｎｔｅｒ＿ｙａｗフィールドは回転した程度をｙａｗ値で示すことができる。
ｃｅｎｔｅｒ＿ｐｉｔｃｈフィールドは、３６０ビデオデータがプロジェクションされた２Ｄイメージの中央ピクセル及び３Ｄ空間上の中点に関連する情報を提供できる。一実施例において、ｃｅｎｔｅｒ＿ｐｉｔｃｈフィールドは３Ｄ空間の中点がキャプチャースペース座標系の座標原点或いはワールド座標系の原点に比べて回転した程度を示す。かかる実施例において、ｃｅｎｔｅｒ＿ｐｉｔｃｈフィールドは回転した程度をｐｉｔｃｈ値で示すことができる。
ｍｉｎ＿ｙａｗフィールドは３Ｄ空間上において占める領域をｙａｗの最小値で示すことができる。これらのフィールドはｙａｗ軸基準回転量の最小値を示す。
ｍａｘ＿ｙａｗフィールドは３Ｄ空間上において占める領域をｙａｗの最大値で示すことができる。これらのフィールドはｙａｗ軸基準回転量の最大値を示す。
ｍｉｎ＿ｐｉｔｃｈフィールドは３Ｄ空間上において占める領域をｐｉｔｃｈの最小値で示すことができる。これらのフィールドはｐｉｔｃｈ軸基準回転量の最小値を示す。
ｍａｘ＿ｐｉｔｃｈフィールドは３Ｄ空間上において占める領域をｐｉｔｃｈの最大値で示すことができる。これらのフィールドはｐｉｔｃｈ軸基準回転量の最大値を示す。
Ｒｅｇｉｏｎ Ｍａｐｐｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ（ｉ．ｅ．，ＥｑｕｉＭａｐＶｉｄｅｏＩｎｆｏＢｏｘ、ＣｕｂｅＭａｐＶｉｄｅｏＩｎｆｏＢｏｘ）は、３６０゜ビデオを２Ｄドメインにプロジェクションした結果であるプロジェクテッドピクチャ（ｐｒｏｊｅｃｔｅｄ ｐｉｃｔｕｒｅ）と実際のエンコーダーの入力により使用されるパックピクチャ（ｐａｃｋｅｄ ｐｉｃｔｕｒｅ）を構成する領域間のマッピング関係を指示できる。又はＲｅｇｉｏｎ Ｍａｐｐｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ（ｉ．ｅ．，ＥｑｕｉＭａｐＶｉｄｅｏＩｎｆｏＢｏｘ、ＣｕｂｅＭａｐＶｉｄｅｏＩｎｆｏＢｏｘ）は、パックピクチャを構成する領域と３Ｄドメイン上の球面領域（ｓｐｈｅｒｅ ｒｅｇｉｏｎ）の間のマッピング関係を指示することもできる。
ｓｔｅｒｅｏ ｍｏｄｅフィールドは、該当３６０゜ビデオが支援する３Ｄレイアウトを指示できる。また、ｓｔｅｒｅｏ ｍｏｄｅフィールドは、該当３６０゜ビデオが３Ｄを支援するか否かも指示できる。一実施例において、ｓｔｅｒｅｏ ｍｏｄｅフィールド値が０である場合、該当３６０゜ビデオはモノ（ｍｏｎｏｓｃｏｐｉｃ）モードであることができる。即ち、プロジェクションされた２Ｄイメージは、１つのモノビュー（ｍｏｎｏｓｃｏｐｉｃ ｖｉｅｗ）のみを含むことができる。この場合、該当３６０゜ビデオは３Ｄを支援しないことができる。
ｓｔｅｒｅｏ ｍｏｄｅフィールド値が１又は２である場合、該当３６０゜ビデオは各々左右（Ｌｅｆｔ-Ｒｉｇｈｔ）レイアウト、上下（ｔｏｐ-Ｂｏｔｔｏｍ）レイアウトを従う。左右レイアウト、上下レイアウトは各々、サイド−バイ−サイドフォーマット、トップ−ボトムフォーマットとも呼ばれる。左右レイアウトの場合、左映像／右映像がプロジェクションされた２Ｄイメージは、イメージフレーム上において各々左／右に配置できる。上下レイアウトの場合、左映像／右映像がプロジェクションされた２Ｄイメージはイメージフレーム上において各々上／下に配置できる。ｓｔｅｒｅｏ ｍｏｄｅフィールドが異なる値を有する場合は、今後の使用のために残しておくことができる（Ｒｅｓｅｒｖｅｄ ｆｏｒ Ｆｕｔｕｒｅ Ｕｓｅ）。
次に、本発明の一実施例によるレンダリングメタデータは、ｉｎｉｔｉａｌ＿ｙａｗ、ｉｎｉｔｉａｌ＿ｐｉｔｃｈ、ｉｎｉｔｉａｌ＿ｒｏｌｌ、ｖｉｅｗｐｏｒｔ＿ｖｆｏｖ及び／又はｖｉｅｗｐｏｒｔ＿ｈｆｏｖを含むことができる。
本発明の一実施例によるレンダリングメタデータは、初期視点（ｉｎｉｔｉａｌ ｖｉｅｗｐｏｉｎｔ）に関する情報を含むことができる。初期視点に関する情報は、図８のｉｎｉｔｉａｌ ｖｉｅｗ関連メタデータを意味する。
ｉｎｉｔｉａｌ＿ｙａｗ、ｉｎｉｔｉａｌ＿ｐｉｔｃｈ及びｉｎｉｔｉａｌ＿ｒｏｌｌフィールドは、該当３６０ビデオ再生時の初期視点を示す。即ち、再生時に最初に見られるビューポートの真ん中の地点が、これら３つのフィールドにより示されることができる。
ｉｎｉｔｉａｌ＿ｙａｗフィールドは該当３６０ビデオ再生時の真ん中の地点が位置をｙａｗ軸を基準として回転した方向（符号）及びその程度（角度）で示すことができる。
ｉｎｉｔｉａｌ＿ｐｉｔｃｈフィールドは該当３６０ビデオ再生時の真ん中の地点が位置をＰｉｔｃｈ軸を基準として回転した方向（符号）及びその程度（角度）で示すことができる。
ｉｎｉｔｉａｌ＿ｒｏｌｌフィールドは該当３６０ビデオ再生時の真ん中の地点が位置をｒｏｌｌ軸を基準として回転した方向（符号）及びその程度（角度）で示すことができる。
ｖｉｅｗｐｏｒｔ＿ｖｆｏｖはビューポートの垂直視野範囲（ｖｅｒｔｉｃａｌ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）の値を示す。一実施例において、ｖｉｅｗｐｏｒｔ＿ｖｆｏｖはｉｎｉｔｉａｌ＿ｐｉｔｃｈを基準（中心）とした垂直視野範囲であることができる。
ｖｉｅｗｐｏｒｔ＿ｈｆｏｖはビューポートの水平視野範囲（Ｈｏｒｉｚｏｎｔａｌ ｆｉｅｌｄ of ｖｉｅｗ）の値を示す。一実施例において、ｖｉｅｗｐｏｒｔ＿ｈｆｏｖはｉｎｉｔｉａｌ＿ｙａｗを基準（中心）とした水平視野範囲であることができる。
他の実施例において、レンダリングメタデータは初期視点に関する情報だけではなく、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）関連情報を提供することもできる。ＲＯＩ関連情報は図８のＲＯＩ関連メタデータを意味し、勧奨領域（ｒｅｃｏｍｍｅｎｅｄｅｄ ｒｅｇｉｏｎ）を指示するために使用されることができる。また、ＲＯＩ関連情報はプロデューサーの意図領域などを示すために使用されることもできる。
図４３に説明したｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇメタデータは、図４５のようなボックス形態でファイルに含まれることができる。
図４５は本発明の他の実施例によるｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇメタデータを含むボックスを示す図である。
本発明の一実施例によるｖｒｖｄボックスは、ｇｌｏｂａｌ＿ｙａｗ、ｇｌｏｂａｌ＿ｐｉｔｃｈ、ｇｌｏｂａｌ＿ｒｏｌｌ、ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔ、ｆｏｒｍａｔ＿ｕｒｉ、ｍａｐｐｉｎｇ＿ｆｌａｇ、ｎｕｍ＿ｒｅｇｉｏｎｓ、ｐｆ＿ｗｉｄｔｈ、ｐｆ＿ｈｅｉｇｈｔ、ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇ、ｐｆ＿ｒｅｇ＿ｗｉｄｔｈ、ｐｆ＿ｒｅｇ＿ｈｅｉｇｈｔ、ｐｆ＿ｒｅｇ＿ｔｏｐ、ｐｆ＿ｒｅｇ＿ｌｅｆｔ、ｐｆ＿ｒｅｇ＿ｍｉｎ＿ｙａｗ、ｐｆ＿ｒｅｇ＿ｍａｘ＿ｙａｗ、ｐｆ＿ｒｅｇ＿ｍｉｎ＿ｐｉｔｃｈ、ｐｆ＿ｒｅｇ＿ｍａｘ＿ｐｉｔｃｈ、ｐｆ＿ｒｅｇ＿ｒｏｌｌ、ｒｅｃｔ＿ｗｉｄｔｈ、ｒｅｃｔ＿ｈｅｉｇｈｔ、ｒｅｃｔ＿ｔｏｐ、ｒｅｃｔ＿ｌｅｆｔ及び／又はｒｅｃｔ＿ｒｏｔａｔｉｏｎを含む。
ｇｌｏｂａｌ＿ｙａｗ、ｇｌｏｂａｌ＿ｐｉｔｃｈ及びｇｌｏｂａｌ＿ｒｏｌｌは各々、プロジェクションのｙａｗ、ｐｉｔｃｈ及びｒｏｌｌを記述できる。より具体的には、ｇｌｏｂａｌ＿ｙａｗ、ｇｌｏｂａｌ＿ｐｉｔｃｈ及びｇｌｏｂａｌ＿ｒｏｌｌは、プロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ）に対応する３Ｄレンダリングモデルのｙａｗ、ｐｉｔｃｈ及びｒｏｌｌを記述できる。
一実施例において、ｇｌｏｂａｌ＿ｙａｗ、ｇｌｏｂａｌ＿ｐｉｔｃｈ及びｇｌｏｂａｌ＿ｒｏｌｌは各々、プロジェクションのｙａｗ、ｐｉｔｃｈ及びｒｏｌｌを全域座標系（ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）を基準として１６．１６の固定小数点の度単位で記述できる。
ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔは、プロジェクションフォーマットを記述できる。一実施例において、ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔは、［ＣＩＣＰ：Ｃｏｄｉｎｇ ｉｎｄｅｐｅｎｄｅｎｔ ｍｅｄｉａ ｄｅｓｃｒｉｐｔｉｏｎ ｃｏｄｅ ｐｏｉｎｔｓ］に挙げられたようにプロジェクションフォーマットを記述できる。
ｆｏｒｍａｔ＿ｕｒｉはｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔを定義するＵＲＩを記述できる。一実施例において、ｆｏｒｍａｔ＿ｕｒｉはｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔをＵＴＦ−８文字のＮＵＬＬ終了文字列で定義するＵＲＩを記述できる。
ｍａｐｐｉｎｇ＿ｆｌａｇは領域ごとのマッピング（ｒｅｇｉｏｎ−ｗｉｓｅ ｍａｐｐｉｎｇ）又は領域ごとのパッキング（ｒｅｇｉｏｎ−ｗｉｓｅ ｐａｃｋｉｎｇ）の適用有無を指示できる。一実施例において、ｍａｐｐｉｎｇ＿ｆｌａｇが０であると、領域ごとのマッピング（ｒｅｇｉｏｎ−ｗｉｓｅ ｍａｐｐｉｎｇ）又は領域ごとのパッキング（ｒｅｇｉｏｎ−ｗｉｓｅ ｐａｃｋｉｎｇ）が適用されないことを指示でき、ｍａｐｐｉｎｇ＿ｆｌａｇが１であると、領域ごとのマッピング（ｒｅｇｉｏｎ−ｗｉｓｅ ｍａｐｐｉｎｇ）又は領域ごとのパッキング（ｒｅｇｉｏｎ−ｗｉｓｅ ｐａｃｋｉｎｇ）が適用されたことを指示できる。
領域ごとのマッピング又は領域ごとのパッキングが適用されない場合、パッキングされたフレーム（ｐａｃｋｅｄ ｆｒａｍｅ）はプロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ）と同じ表現形式を有し、この場合、領域（ｒｅｇｉｏｎｓ）が指定されて品質順位を記述できる。
ｎｕｍ＿ｒｅｇｉｏｎｓは、プロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ）においてパッキングされたフレーム（ｐａｃｋｅｄ ｆｒａｍｅ）にマッピングされる領域（ｒｅｇｉｏｎｓ）の数を指示できる。一実施例において、ｎｕｍ＿ｒｅｇｉｏｎｓが０であると、パッキングされたフレーム（ｐａｃｋｅｄ ｆｒａｍｅ）はプロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ）と同じ表現形式を有することができる。
ｐｆ＿ｗｉｄｔｈ及びｐｆ＿ｈｅｉｇｈｔは各々、プロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ）の幅と高さを記述できる。
ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇは該当領域（ｒｅｇｉｏｎ）の品質順位を記述できる。一実施例において、ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇが０であると、品質順位が定義されないことを示す。また、一実施例において、ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇ［ｉ］がｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇ［ｊ］より小さいと、ｉｎｄｅｘ ｉが示す領域がｉｎｄｅｘ ｊが示す領域より高い品質を有することを示すことができる。
ｐｆ＿ｒｅｇ＿ｗｉｄｔｈは領域（ｒｅｇｉｏｎ）の幅を記述できる。より具体的には、ｐｆ＿ｒｅｇ＿ｗｉｄｔｈ［ｉ］はｉ番目の領域（ｒｅｇｉｏｎ）の幅を記述することができる。
一実施例において、ｉがｎｕｍ＿ｒｅｇｉｏｎｓ−１より小さいと、ｐｆ＿ｒｅｇ＿ｗｉｄｔｈ［ｉ］は０ではない。
また、ｐｆ＿ｒｅｇ＿ｗｉｄｔｈ［ｎｕｍ＿ｒｅｇｉｏｎｓ−１］は０であることができ、ｐｆ＿ｒｅｇ＿ｗｉｄｔｈ［ｎｕｍ＿ｒｅｇｉｏｎｓ−１］が０である場合、ｍａｐｐｉｎｇ＿ｆｌａｇは１であり、ｎｕｍ＿ｒｅｇｉｏｎｓ−１番目の領域（ｉ＝ｎｕｍ＿ｒｅｇｉｏｎｓ−１である領域）はプロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ）のうち、以前の領域（ｉ＜ｎｕｍ＿ｒｅｇｉｏｎ−１である領域）によりカバーされない全ての区域（ａｒｅａｓ）を含む。
ｐｆ＿ｒｅｇ＿ｈｅｉｇｈｔは領域（ｒｅｇｉｏｎ）の高さを記述できる。より具体的には、ｐｆ＿ｒｅｇ＿ｈｅｉｇｈｔ［ｉ］はｉ番目の領域（ｒｅｇｉｏｎ）の高さを記述できる。
ｐｆ＿ｒｅｃｔ＿ｔｏｐ及びｐｆ＿ｒｅｇ＿ｌｅｆｔはプロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ）内の領域（ｒｅｇｉｏｎ）の最上端のサンプル行と、最も左側のサンプル列を記述できる。より具体的には、ｐｆ＿ｒｅｃｔ＿ｔｏｐ［ｉ］及びｐｆ＿ｒｅｇ＿ｌｅｆｔ［ｉ］は、プロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ）のｉ番目の領域（ｒｅｇｉｏｎ）の最上端のサンプル行と、最も左側のサンプル列を記述できる。一実施例において、ｐｆ＿ｒｅｃｔ＿ｔｏｐ及びｐｆ＿ｒｅｇ＿ｌｅｆｔの値は、各々０以上ｐｆ＿ｈｅｉｇｈｔ及びｐｆ＿ｗｉｄｔｈ未満の範囲内であることができる。ここで、０はプロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ）の最上端の左側コーナー（ｔｏｐ−ｌｅｆｔ ｃｏｒｎｅｒ）を意味する。
ｐｆ＿ｒｅｇ＿ｍｉｎ＿ｙａｗ及びｐｆ＿ｒｅｇ＿ｍａｘ＿ｙａｗは、プロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ）の領域（ｒｅｇｉｏｎ）に対応する３Ｄレンダリングモデルのｙａｗ値の最小値及び最大値を各々示す。より具体的には、ｐｆ＿ｒｅｇ＿ｍｉｎ＿ｙａｗ［ｉ］及びｐｆ＿ｒｅｇ＿ｍａｘ＿ｙａｗ［ｉ］は、プロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ）のｉ番目の領域（ｒｅｇｉｏｎ）に対応する３Ｄレンダリングモデルのｙａｗ値の最小値及び最大値を各々示すことができる。
ｐｆ＿ｒｅｇ＿ｍｉｎ＿ｐｉｔｃｈ及びｐｆ＿ｒｅｇ＿ｍａｘ＿ｐｉｔｃｈは、プロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ）の領域（ｒｅｇｉｏｎ）に対応する３Ｄレンダリングモデルのｐｉｔｃｈ値の最小値及び最大値を各々示す。より具体的には、ｐｆ＿ｒｅｇ＿ｍｉｎ＿ｐｉｔｃｈ［ｉ］及びｐｆ＿ｒｅｇ＿ｍａｘ＿ｐｉｔｃｈ［ｉ］は、プロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ）のｉ番目の領域（ｒｅｇｉｏｎ）に対応する３Ｄレンダリングモデルのｐｉｔｃｈ値の最小値及び最大値を各々示すことができる。
ｐｆ＿ｒｅｇ＿ｒｏｌｌは、プロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ）の領域（ｒｅｇｉｏｎ）に対応する３Ｄレンダリングモデルのｒｏｌｌ値を示す。より具体的には、ｐｆ＿ｒｅｇ＿ｒｏｌｌ［ｉ］はプロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ）のｉ番目の領域（ｒｅｇｉｏｎ）に対応する３Ｄレンダリングモデルのｒｏｌｌ値を示すことができる。
ｒｅｃｔ＿ｗｉｄｔｈ、ｒｅｃｔ＿ｈｅｉｇｈｔ、ｒｅｃｔ＿ｔｏｐ及びｒｅｃｔ＿ｌｅｆｔは、パッキングされたフレーム内の領域（ｒｅｇｉｏｎ）の幅、高さ、最上端のサンプル行、最左側のサンプル列を各々記述できる。より具体的には、ｒｅｃｔ＿ｗｉｄｔｈ［ｉ］、ｒｅｃｔ＿ｈｅｉｇｈｔ［ｉ］、ｒｅｃｔ＿ｔｏｐ［ｉ］及びｒｅｃｔ＿ｌｅｆｔ［ｉ］は、パッキングされたフレーム内のｉ番目の領域（ｒｅｇｉｏｎ）の幅、高さ、最上端のサンプル行、最左側のサンプル列を各々記述できる。
ｒｅｃｔ＿ｒｏｔａｔｉｏｎはパッキングされたフレーム（ｐａｃｋｅｄ ｆｒａｍｅ）内の領域（ｒｅｇｉｏｎ）の回転値を記述できる。より具体的には、ｒｅｃｔ＿ｒｏｔａｔｉｏｎ［ｉ］はパッキングされたフレーム（ｐａｃｋｅｄ ｆｒａｍｅ）内におけるｉ番目の領域（ｒｅｇｉｏｎ）の中心を基準として該当ｉ番目の領域の回転値を記述できる。
＜プロデューサーの意図視点／領域、統計的選好視点／領域に対するＲＯＩメタデータを送受信する方法の案＞
以下、プロデューサーの意図視点／領域、統計的選好視点／領域に対するＲＯＩメタデータを送受信する方法の案と、その具体的な送受信動作の過程について説明する。
ＶＲビデオサービスにおいて、プロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ ｃｕｔ）、統計的な選好視点／領域（ｍｏｓｔ−ｉｎｔｅｒｅｓｔｅｄ ｒｅｇｉｏｎｓ）に関する情報をＲＯＩメタデータ形態で伝送できる。２つの場合の送受信動作の過程は以下の通りである。
図４６は本発明の他の実施例による３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信する過程を示す図面である。
図４６に示された３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信する過程の基本的な内容は、図４３に説明した内容と実質的に同一である。従って、異なる部分を中心として説明する。
一実施例によるＲＯＩタデータはプロデューサーが意図したビューポート及び／又は方向を指示するプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ ｃｕｔ）に関する情報を伝送することができる。
このプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ ｃｕｔ）に関する情報は、制作中又は制作後に監督（ｄｉｒｅｃｔｏｒ）又はコンテンツプロデューサーの意図により決定された情報である。
このプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ ｃｕｔ）に関する情報は、ユーザ装置（ｕｓｅｒ ｄｅｖｉｃｅ）においてアプリケーションに特化された方法でＶＲビデオをレンダリングするために使用できる。
このプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ ｃｕｔ）に関する情報に含まれるビューポート及び／又は回転情報は、球座標内に表現されることができる。
このプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ ｃｕｔ）に関する情報は、プロジェクション／マッピング過程前に編集されて受信側に伝達することができる。受信側のユーザ装置において、このプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ ｃｕｔ）に関する情報は、リプロジェクション／マッピング過程後に使用されることができる。即ち、ＶＲビデオレンダリングのための３Ｄモデル（球面イメージ）にこのプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ ｃｕｔ）に関する情報を適用できる。
なお、このプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ ｃｕｔ）に関する情報の編集及び使用は、３Ｄモデル（球面イメージ）で行われるので、２次元のパッキングされたフレーム（ｐａｃｋｅｄ ｆｒａｍｅ）又はコーディングされたビデオピクチャ（ｃｏｄｅｄ ｖｉｄｅｏ ｐｉｃｔｕｒｅ）より直観的な情報を提供できる。従って、プロデューサーがプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ ｃｕｔ）に関する情報を容易に編集でき、ユーザデバイスもＶＲイメージを容易にレンダリングできる。
図４７は本発明のさらに他の実施例による３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信する過程を示す図である。
図４７に示された３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信する過程の基本的な内容は、図４３に説明した内容と実質的に同一である。従って、異なる部分を中心として説明する。
他の実施例によるＲＯＩメタデータは、統計的な選好視点／領域（ｍｏｓｔ−ｉｎｔｅｒｅｓｔｅｄ ｒｅｇｉｏｎｓ）に関する情報を伝送できる。かかる統計的な選好視点／領域（ｍｏｓｔ−ｉｎｔｅｒｅｓｔｅｄ Ｒｅｇｉｏｎｓ）に関する情報は、ＶＲビデオ適応型ストリーミング（ＶＲ ｖｉｄｅｏ ｐｒｅｆｅｔｃｈｉｎｇ）においてデータプリフェッチング（ｐｒｅｆｅｔｃｈｉｎｇ）に使用できる。
統計的な選好視点／領域（ｍｏｓｔ−ｉｎｔｅｒｅｓｔｅｄ ｒｅｇｉｏｎｓ）に関する情報は、サービス／コンテンツ提供者によるユーザ統計から導き出すか或いはサービス／コンテンツ提供者による予測により決定することができる。
統計的な選好視点／領域（ｍｏｓｔ−ｉｎｔｅｒｅｓｔｅｄ ｒｅｇｉｏｎｓ）に関する情報は、プリフェッチングを目的として要求するデータをユーザ装置（ｕｓｅｒ ｄｅｖｉｃｅ）が選択するために使用できる。
この統計的な選好視点／領域（ｍｏｓｔ−ｉｎｔｅｒｅｓｔｅｄ ｒｅｇｉｏｎｓ）に関する情報は、プロジェクション／マッピング過程前に編集（ｅｄｉｔｉｎｇ）されて受信側に伝達される。また、統計的な選好視点／領域（ｍｏｓｔ−ｉｎｔｅｒｅｓｔｅｄ ｒｅｇｉｏｎｓ）に含まれるビューポート及び／又は回転情報は、上述したプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ ｃｕｔ）に関する情報の場合と同様の方式で球座標内に表現されることができる。
また、統計的な選好視点／領域（ｍｏｓｔ−ｉｎｔｅｒｅｓｔｅｄ ｒｅｇｉｏｎｓ）に関する情報は、ユーザ装置（ｕｓｅｒ ｄｅｖｉｃｅ）がプリフェッチングを要求するセグメントを決定するために使用されることができる。即ち、統計的な選好視点／領域（ｍｏｓｔ−ｉｎｔｅｒｅｓｔｅｄ ｒｅｇｉｏｎｓ）に関する情報は、ＤＡＳＨ ＭＰＤ及びセグメントを受信する過程で使用できる。
なお、２Ｄ座標（２Ｄｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ）のＲＯＩメタデータは、キューブ構造の各面（ｆａｃｅ）のセグメントの記述に非効率的であるが、球座標（ｓｐｈｅｒｉｃａｌ ｃｏｏｒｄｉｎａｔｅｓ）は、ＲＯＩメタデータを連続したセグメントに記述する時に有利である。但し、プロジェクションフォーマットが球（ｓｐｈｅｒｅ）に限定されることではないので、他のプロジェクションフォーマットが適用されることができる。
上述したＲＯＩメタデータの送受信過程に使用されるメタデータの構文及び意味は、図４８においても同様である。
図４８は本発明の一実施例によるＲＯＩメタデータを示す図である。
ＲＯＩメタデータトラックは’ｃｄｓｃ（ｃｏｎｔｅｎｔ ｄｅｓｃｒｉｂｅｓ）’トラック参照を通じて説明するトラックに連結できる。
かかるメタデータトラックに連結されたメディアトラックは、’ｔｒｅｆ’ボックスを通じて他のメディアトラックに連結されることもできる。
ＳｐｈｅｒｉｃａｌＣｏｏｒｄｉｎａｔｅｓサンプルエントリー（’ｓｐｈｃ’）は、参照されたトラックに関連する空間情報を提供し、かかる参照されたトラックは球形座標系（ｓｐｈｅｒｉｃａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）で表現される。
図４８の上端を参照すると、ＳｐｈｅｒｉｃａｌＣｏｏｒｄｉｎａｔｅｓサンプルエントリーは、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｐｉｔｃｈ及びｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｐｉｔｃｈを含む。
ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｐｉｔｃｈ及びｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｐｉｔｃｈは、全てのＲＯＩ座標（ｙａｗ、ｐｉｔｃｈ、ｒｏｌｌ及びｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ）が計算される基準球面空間（ｒｅｆｅｒｅｎｃｅ ｓｐｈｅｒｉｃａｌ ｓｐａｃｅ）においてｙａｗ及びｐｉｔｃｈ値の範囲を度単位で（ｉｎ ｄｅｇｒｅｅ）提供できる。
ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｙａｗは基準球面空間（ｒｅｆｅｒｅｎｃｅ ｓｐｈｅｒｉｃａｌ ｓｐａｃｅ）においてｙａｗの最小値を示す。
ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｙａｗは基準球面空間（ｒｅｆｅｒｅｎｃｅ ｓｐｈｅｒｉｃａｌ ｓｐａｃｅ）においてｙａｗの最大値を示す。
ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｐｉｔｃｈは基準球面空間（ｒｅｆｅｒｅｎｃｅ ｓｐｈｅｒｉｃａｌ ｓｐａｃｅ）においてｐｉｔｃｈの最小値を示す。
ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｐｉｔｃｈは基準球面空間（ｒｅｆｅｒｅｎｃｅ ｓｐｈｅｒｉｃａｌ ｓｐａｃｅ）においてｐｉｔｃｈの最小値を示す。
ＳｐｈｅｒｉｃａｌＣｏｏｒｄｉｎａｔｅｓサンプルエントリーに関連するＳｐｈｅｒｉｃａｌ ｃｏｏｒｄｉｎａｔｅｓサンプルは、図４８の下端と同じ構文に従う。
図４８の下端を参照すると、Ｓｐｈｅｒｉｃａｌ ｃｏｏｒｄｉｎａｔｅｓサンプルは、Ｙａｗ、Ｐｉｔｃｈ、ｒｏｌｌ、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｄｕｒａｔｉｏｎ及び／又はｉｎｔｅｒｐｏｌａｔｅを含む。
Ｙａｗは、参照されたトラック（ｒｅｆｅｒｅｎｃｅｄ ｔｒａｃｋ）のメディアサンプルに関連する領域（ｒｅｇｉｏｎ）の中心点において、ｙａｗ軸を基準として回転した角度を度単位で（ｉｎ ｄｅｇｒｅｅ）示すことができる。
Ｐｉｔｃｈは、参照されたトラック（ｒｅｆｅｒｅｎｃｅｄ ｔｒａｃｋ）のメディアサンプルに関連する領域（ｒｅｇｉｏｎ）の中心点において、Ｐｉｔｃｈ軸を基準として回転した角度を度単位で（ｉｎ ｄｅｇｒｅｅ）示すことができる。
ｒｏｌｌは、参照されたトラック（ｒｅｆｅｒｅｎｃｅｄ ｔｒａｃｋ）のメディアサンプルに関連する領域（ｒｅｇｉｏｎ）の中心点において、ｒｏｌｌ軸を基準として回転した角度を度単位で（ｉｎ ｄｅｇｒｅｅ）示すことができる。
ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは参照されたトラック（ｒｅｆｅｒｅｎｃｅｄ ｔｒａｃｋ）のメディアサンプルに関連する領域（ｒｅｇｉｏｎ）の視野角（ｆｉｅｌｄ ｏｆ ｖｉｅｗ ｄｅｇｒｅｅ）を示す。
ｄｕｒａｔｉｏｎは該当ｓｐｈｅｒｉｃａｌ ｃｏｏｒｄｉｎａｔｅサンプルの持続時間を示す。この値の時間単位は’ｍｖｈｄ’又は該当メタデータトラックの’ｍｄｈｄ’ボックスが提供するｔｉｍｅｓｃａｌｅである。
ｉｎｔｅｒｐｏｌａｔｅは連続サンプルに対する時間連続性を示す。一実施例において、ｉｎｔｅｒｐｏｌａｔｅがｔｒｕｅである場合、アプリケーションは以前のサンプルと現在のサンプル間のＲＯＩ座標値を線形的に補間でき、ｉｎｔｅｒｐｏｌａｔｅがｆａｌｓｅである場合、以前のサンプルと現在のサンプルの間に補間は行われない。ＲＯＩメタデータトラックに対する同期化サンプル（ｓｙｎｃ ｓａｍｐｌｅｓ）のｉｎｔｅｒｐｏｌａｔｅ値は０である。
本発明の一側面によれば、全方位ビデオを伝送する方法が開示される。
図４９は本発明の一実施例による全方位ビデオを伝送する方法を示すフローチャートである。
本発明の一実施例による全方位ビデオを伝送する方法は、全方位ビデオのためのイメージを得る段階（ＳＨ４９１００）、全方位ビデオのためのイメージを３次元プロジェクションのストラクチャーに投影する段階（ＳＨ４９２００）、３次元プロジェクションのストラクチャーに投影されたイメージを２次元フレームにパッキングする段階（ＳＨ４９３００）、２次元フレームにパッキングされたイメージをエンコーディングする段階（ＳＨ４９４００）及びエンコーディングされたイメージ及び全方位ビデオに関するメタデータを含むデータ信号を伝送する段階（ＳＨ４９５００）を含む。
全方位ビデオのためのイメージを得る段階（ＳＨ４９１００）において、全方位ビデオのためのイメージを得ることができる。図１、図２及び図４に説明したように、全方位ビデオのためのイメージは全方位カメラ（３６０゜カメラ、ＶＲカメラ）を用いて全方位ビデオのためのイメージをキャプチャーして得るか、或いは全方位ビデオに該当するデータを生成することにより得ることができる。
全方位ビデオのためのイメージを得る段階（ＳＨ４９１００）は、図１のキャプチャー過程（ｔ１０１０）に対応し、図２のデータ入力部における動作に対応し、図４の獲得（ａｃｑｕｉｓｉｔｉｏｎ）に対応し、また図４３、図４６及び図４７の獲得過程（ａｃｑｕｉｓｔｉｏｎ）に対応する。
全方位ビデオのためのイメージを３次元プロジェクションのストラクチャーに投影する段階（ＳＨ４９２００）は、全方位ビデオのためのイメージを３次元プロジェクション構造（３Ｄｐｒｏｊｅｃｔｉｏｎ ｓｔｒｕｃｔｕｒｅ）又は３次元モデル（３Ｄｍｏｄｅｌ）にプロジェクションする段階である。一実施例において、３次元プロジェクション構造（３Ｄｐｒｏｊｅｃｔｉｏｎ ｓｔｒｕｃｔｕｒｅ）又は３次元モデル（３Ｄｍｏｄｅｌ）としては、球形（Ｓｐｈｅｒｅ）、キューブ（Ｃｕｂｅ）、シリンダー（Ｃｙｌｉｎｄｅｒ）又はピラミッド（Ｐｙｒａｍｉｄ）がある。
全方位ビデオのためのイメージを３次元プロジェクションのストラクチャーに投影する段階（ＳＨ４９２００）は、図１の準備過程（ｔ１０１０）のプロジェクションに対応し、図２のプロジェクション処理部における動作に対応し、図４のプロジェクション（ｐｒｏｊｅｃｔｉｏｎ）に対応し、また図４３、図４６及び図４７のプロジェクション／マッピング過程（ｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇ）のプロジェクションに対応する。
一実施例において、全方位ビデオを伝送する方法は、全方位ビデオのためのイメージを得る段階（ＳＨ４９１００）と、全方位ビデオのためのイメージを３次元プロジェクションのストラクチャーに投影する段階（ＳＨ４９２００）の間に、さらに全方位ビデオのためのイメージを連結する段階であるステッチング段階を含む。即ち、全方位ビデオのためのイメージはステッチングを通じて連結され、連結されたイメージが３次元プロジェクション構造（３Ｄｐｒｏｊｅｃｔｉｏｎ ｓｔｒｕｃｔｕｒｅ）に投影（ｐｒｏｊｅｃｔｉｏｎ）される。
３次元プロジェクションのストラクチャーに投影されたイメージを２次元フレームにパッキングする段階（ＳＨ４９３００）は、３次元プロジェクションのストラクチャーに投影された３次元イメージを２次元フレームにマッピングする段階である。３次元プロジェクションのストラクチャーに投影された３次元イメージは３次元領域情報を通じて表現され、２次元フレームにパッキングされたイメージ（ｐａｃｋｅｄ ｉｍａｇｅ）は２次元領域情報を通じて表現されることができる。
この時、２次元領域情報と３次元領域情報は互いに対応する。即ち、２次元領域情報が指示する２次元フレーム上の領域又は地点は、３次元領域情報が指示する３次元プロジェクション構造上の領域又は地点に対応することができる。
ここで、２次元領域情報は、図１２、図１３、図３７、図４０、図４４及び図４５に説明した情報であり、３次元領域情報は図１４、図１５、図１６、図１７、図１８、図３８、図４０、図４１、図４４及び図４５に説明した情報である。また２次元領域情報及び３次元領域情報は、全方位ビデオに関するメタデータに含まれる情報である。
一方、３次元プロジェクションのストラクチャーに投影されたイメージを２次元フレームにパッキングする段階（ＳＨ４９３００）は、図１の準備過程（ｔ１０１０）の２Ｄイメージマッピングに対応し、図２のプロジェクション処理部における２Ｄプロジェクション動作に対応し、図４のプロジェクション及びマッピング（ｐｒｏｊｅｃｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）のマッピング過程に対応し、図４３、図４６及び図４７のプロジェクション／マッピング過程（ｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇ）のマッピングに対応する。
一実施例において、３次元プロジェクションのストラクチャーに投影されたイメージを２次元フレームにパッキングする段階（ＳＨ４９３００）は、３次元プロジェクションのストラクチャーに投影されたイメージを所定の領域に区画する段階及び所定の領域ごとに区画されたサブイメージを２次元フレームにパッキングする段階を含む。
かかる３次元プロジェクションのストラクチャーに投影されたイメージを所定の領域に区画する段階及び所定の領域ごとに区画されたサブイメージを２次元フレームにパッキングする段階は、図１のリージョンごとのパッキング過程に対応し、図２のリージョンごとのパッキング部の動作に対応し、図４のリージョンごとのパッキング過程（ｒｅｇｉｏｎ−ｗｉｓｅ ｐａｃｋｉｎｇ）に対応する。なお、リージョンごとのパッキングが行われた場合、所定の領域ごとに区画されたサブイメージは、各々パッキングされたフレームに対応する。リージョンごとのパッキングが行われない場合、２次元フレームはパッキングされたフレームと同一であることができる。
２次元フレームにパッキングされたイメージをエンコーディングする段階（ＳＨ４９４００）は、パッキングされたイメージを所定の符号化方式により符号化する（ｅｎｃｏｄｉｎｇ）段階である。
２次元フレームにパッキングされたイメージをエンコーディングする段階（ＳＨ４９４００）は、図１の準備過程（ｔ１０１０）のエンコーディング過程に対応し、図２のデータエンコーダーの動作に対応し、図４のビデオエンコーディング又はイメージエンコーディング過程に対応し、図４３、図４６及び図４７のビデオエンコーディング過程（ｖｉｄｅｏ ｅｎｃｏｄｉｎｇ）に対応する。
一実施例において、リージョンごとのパッキングが行われる場合、２次元フレームにパッキングされたイメージをエンコーディングする段階（ＳＨ４９４００）は、各々のリージョンに対応するパッキングされたイメージ（ｐａｃｋｅｄ ｉｍａｇｅ）ごとにエンコーディングする段階である。この時、各々のパッキングされたイメージに対する符号化方式は互いに異なることもできる。
エンコーディングされたイメージ及び全方位ビデオに関するメタデータを含むデータ信号を伝送する段階（ＳＨ４９５００）は、エンコーディングされたイメージ及び全方位ビデオに関するメタデータを含むデータ信号を受信装置に伝送する段階である。
エンコーディングされたイメージ及び全方位ビデオに関するメタデータを含むデータ信号を伝送する段階（ＳＨ４９５００）は、図１の伝送過程に対応し、図２の伝送部における動作に対応し、図４の伝達（ｄｅｌｉｖｅｒｙ）に対応する。
一実施例において、データ信号は放送信号であり、放送信号を通じてエンコーディングされたイメージ及び全方位ビデオに関するメタデータが伝送されることができる。
代替の実施例において、エンコーディングされたイメージは放送網を介して伝送され、全方位ビデオに関するメタデータはブロードバンド網を介して伝送されるが、逆にエンコーディングされたイメージはブロードバンド網を介して伝送され、全方位ビデオに関するメタデータは放送網を介して伝送されることもでき、エンコーディングされたイメージ及び全方位ビデオに関するメタデータがいずれもブロードバンド網を介して伝送されることもできる。
全方位ビデオに関するメタデータは、受信装置が全方位ビデオを処理するために必要な一体の情報を意味する。全方位ビデオに関するメタデータは図８のメタデータの全部又は一部に該当し、図１２乃至図１９、図２０乃至図２３、図２５、図２７、図２８、図３０乃至図３８、図４０、図４１、図４４、図４５及び／又は図４８の情報を意味する。
具体的な実施例において、全方位ビデオに関するメタデータは３次元プロジェクションのストラクチャーに投影されたイメージに関する３次元領域情報又は２次元フレームパッキングされたイメージに関する２次元領域情報を含むことができる。ここで、２次元領域情報は図１２、図１３、図３７、図４０、図４４及び図４５に説明した情報であり、３次元領域情報は図１４、図１５、図１６、図１７、図１８、図３８、図４０、図４１、図４４及び図４５に説明した情報である。また、２次元領域情報及び３次元領域情報は、全方位ビデオに関するメタデータに含まれる情報であることができる。
より具体的には、実施例において、３次元領域情報は、球形の３次元プロジェクションのストラクチャーにプロジェクションされた３次元イメージの領域を指示するために使用できる。即ち、３次元領域情報は球面の領域を指示する情報であることができる（図１４、図１５、図１６、図１７、図１８、図３８ 図４０、図４１、図４４及び図４５）。かかる実施例において、３次元領域情報は水平視野範囲を指示する水平視野情報及び垂直視野範囲を指示する垂直視野情報を含む。また、３次元領域情報はさらに、水平視野範囲及び垂直視野範囲の中心を指示するためのヨー（ｙａｗ）軸の角度及びピッチ（ｐｉｔｃｈ）軸の角度を各々指示するヨー情報及びピッチ情報を含むことができる。一実施例において、水平視野情報及び垂直視野情報は、図１４乃至図１８のｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｍｉｎ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｍａｘ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｅｒｔｉｃａｌ＿ ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈ、ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔ、ｗｉｄｔｈ、ｈｅｉｇｈｔ、ｒｅｆｅｒｅｎｃｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅ、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ及び／又はｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅである。
また、一実施例において、水平視野範囲及び垂直視野範囲の中心を指示するためのヨー（ｙａｗ）軸の角度及びピッチ（ｐｉｔｃｈ）軸の角度を各々指示するヨー情報及びピッチ情報は、図１４乃至図１８のｃｅｎｔｅｒ＿ｙａｗ、ｙａｗ、ｃｅｎｔｅｒ＿ｐｉｔｃｈ、ｐｉｔｃｈ、ｒｅｆｅｒｅｎｃｅ＿ｙａｗ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｃｅｎｔｅｒ、ｙａｗ＿ｃｅｎｔｅｒ、ｐｉｔｃｈ＿ｃｅｎｔｅｒ及び／又はｒｏｌｌ＿ｃｅｎｔｅｒである。
また、より具体的には、実施例において、全方位ビデオに関するメタデータは、上記球面の領域を特定する領域タイプを識別する領域タイプ情報を含む。該領域タイプは、上記球に属する４つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）により領域を特定する第１タイプ及び上記球に属する２つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）と２つの小圏（ｓｍａｌｌ ｃｉｒｃｌｅ）により領域を特定する第２タイプを含み、大圏は球の中心を通る円を意味し、小圏は球の中心を通らない円を意味する。ここで、領域タイプは図１６乃至図１９に説明したｒｅｇｉｏｎ＿ｔｙｐｅを意味する。
また、全方位ビデオに関するメタデータは、ＲＯＩ情報、勧奨領域（ｒｅｃｏｍｍｅｎｄｅｄ ｒｅｇｉｏｎ）情報、又は全方位ビデオプロデューサーが意図した視点に関する情報を指示する。
かかる全方位ビデオに関するメタデータは、ＩＳＯＢＭＦＦファイルフォーマット、ＤＡＳＨ ＭＰＤ／Ｓｅｇｍｅｎｔ、ＭＰＥＧ−２ ＴＳのＰＥＳパケット又はａｄａｐｔａｉｏｎ ｆｉｅｌｄ、及び／又はＶＣＬのＳＥＩ ｍｅｓｓａｇｅを通じて伝送される。
一実施例において、全方位ビデオに関するメタデータは、ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）のアダプテーションセット（ａｄａｐｔａｔｉｏｎ ｓｅｔ）に含まれて伝送される。これについての説明は、図２２乃至図２９と該当図面の説明に詳しく説明されている。
他の実施例において、全方位ビデオに関するメタデータは、ＭＰＥＧ−２ ＴＳのＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット又はＴＳ（ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）のアダプテーションフィールド（ａｄａｐｔａｉｏｎ ｆｉｅｌｄ）に含まれて伝送される。これについての説明は、図３０乃至図３９と該当図面の説明に詳しく説明されている。
また他の実施例において、全方位ビデオに関するメタデータは、ＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｌａｙｅｒ）のＳＥＩ ｍｅｓｓａｇｅ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｌａｙｅｒ）に含まれて伝送される。これについての説明は、図４０乃至図４２と該当図面の説明に詳しく説明されている。なお、一実施例において、上記球面の領域は、図４１に説明したように、上記球に属する４つの大圏により領域が特定される。
本発明の他の側面によれば、全方位ビデオを伝送する装置が開示される。
図５０は本発明の一実施例による全方位ビデオを伝送する装置を示すブロック図である。
本発明の一実施例による全方位ビデオを伝送する装置は、全方位ビデオのためのイメージを得るイメージ獲得部（Ｈ５０１００）、全方位ビデオのためのイメージを３次元プロジェクションのストラクチャーに投影するプロジェクション部（Ｈ５０２００）、３次元プロジェクションのストラクチャーに投影されたイメージを２次元フレームにパッキングするパッキング部（Ｈ５０３００）、２次元フレームにパッキングされたイメージをエンコーディングするエンコーダー（Ｈ５０４００）及びエンコーディングされたイメージ及び全方位ビデオに関するメタデータを含むデータ信号を伝送する伝送部（Ｈ５０５００）を含む。
イメージ獲得部（Ｈ５０１００）の動作は、図４９に説明した本発明の一実施例による全方位ビデオを伝送する方法における全方位ビデオのためのイメージを得る段階（ＳＨ４９１００）に記載の動作に対応するので、該当段階に関連する説明を適用できる。
プロジェクション部（Ｈ５０２００）の動作は、図４９に説明した本発明の一実施例による全方位ビデオを伝送する方法における全方位ビデオのためのイメージを３次元プロジェクションのストラクチャーに投影する段階（ＳＨ４９２００）に記載の動作に対応するので、該当段階に関連する説明を適用できる。
パッキング部（Ｈ５０３００）の動作は、図４９に説明した本発明の一実施例による全方位ビデオを伝送する方法における３次元プロジェクションのストラクチャーに投影されたイメージを２次元フレームにパッキングする段階（ＳＨ４９３００）に記載の動作に対応するので、該当段階に関連する説明を適用できる。
エンコーダー（Ｈ５０４００）の動作は、図４９に説明した本発明の一実施例による全方位ビデオを伝送する方法における２次元フレームにパッキングされたイメージをエンコーディングする段階（ＳＨ４９４００）に記載の動作に対応するので、該当段階に関連する説明を適用できる。
伝送部（Ｈ５０５００）の動作は、図４９に説明した本発明の一実施例による全方位ビデオを伝送する方法におけるエンコーディングされたイメージ及び全方位ビデオに関するメタデータを含むデータ信号を伝送する段階（ＳＨ４９５００）に記載の動作に対応するので、該当段階に関連する説明を適用できる。
一実施例において、全方位ビデオを伝送する装置はさらにステッチャー（図示せず）を含むことができる。このステッチャーは全方位ビデオのためのイメージを連結できる。ステッチャーの動作は図４９に説明した本発明の一実施例による全方位ビデオを伝送する方法におけるステッチング段階の動作に対応し、該当段階に関連する説明を適用できる。
また、一実施例において、パッキング部（Ｈ５０３００）は、３次元プロジェクションのストラクチャーに投影されたイメージを所定の領域に区画した後、所定の領域ごとに区画されたサブイメージを２次元フレームにパッキングすることができる。このパッキング部のリージョンごとのパッキング動作は、図４９に説明した本発明の一実施例による全方位ビデオを伝送する方法におけるリージョンごとのパッキング段階の動作に対応し、該当段階に関連する説明を適用できる。
全方位ビデオに関するメタデータは、受信装置が全方位ビデオを処理するために必要な一体の情報を意味する。全方位ビデオに関するメタデータに関する内容は、本発明の一実施例による全方位ビデオを伝送する方法に説明した内容をそのまま適用できる。
本発明のさらに他の側面によれば、全方位ビデオを受信する方法が開示される。
図５１は本発明の一実施例による全方位ビデオを受信する方法を示すフローチャートである。
本発明の一実施例による全方位ビデオを受信する方法は、全方位ビデオのためのイメージ及び全方位ビデオに関するメタデータを含むデータ信号を受信する段階（ＳＨ５１１００）、全方位ビデオに関するメタデータをパーシングする段階（ＳＨ５１２００）、全方位ビデオのためのイメージをデコーディングする段階（ＳＨ５１３００）、及び全方位ビデオのためのイメージを３次元モデルにリプロジェクションする段階（ＳＨ５１４００）を含む。
本発明の一実施例による全方位ビデオを受信する方法は、上述した本発明の一実施例による全方位ビデオを伝送する方法に対応する受信の側面の方法である。
全方位ビデオのためのイメージ及び全方位ビデオに関するメタデータを含むデータ信号を受信する段階（ＳＨ５１１００）は、全方位ビデオのためのイメージ及び全方位ビデオに関するメタデータを含むデータ信号を受信する段階であり、かかるデータ信号は送信装置から伝送されたものである。
全方位ビデオのためのイメージは、本発明の一実施例による全方位ビデオを送信する方法におけるエンコーディングされたイメージを意味する。即ち、ここで、全方位ビデオのためのイメージは、図４９のＳＨ４９１００段階、ＳＨ４９２００段階、ＳＨ４９３００段階及びＳＨ４９４００段階で生成されたエンコーディングされたイメージである。
全方位ビデオのためのイメージ及び全方位ビデオに関するメタデータを含むデータ信号を受信する段階（ＳＨ５１１００）は、図１の受信過程に対応し、図３の受信部における動作に対応し、図４の受信過程に対応する。
一実施例において、データ信号は放送信号であり、放送信号を通じて全方位ビデオのためのイメージ及び全方位ビデオに関するメタデータを伝送できる。
代替の実施例において、全方位ビデオのためのイメージは放送網を介して伝送され、全方位ビデオに関するメタデータはブロードバンド網を介して伝送されるが、逆に全方位ビデオのためのイメージはブロードバンド網を介して伝送され、全方位ビデオに関するメタデータは放送網を介して伝送されることができ、全方位ビデオのためのイメージ及び全方位ビデオに関するメタデータがいずれもブロードバンド網を介して伝送されることもできる。
全方位ビデオに関するメタデータは、受信装置が全方位ビデオを処理するために必要な一体の情報を意味する。全方位ビデオに関するメタデータは、図８のメタデータの全部又は一部に該当することができ、図１２乃至図１９、図２０乃至図２３、図２５、図２７、図２８、図３０乃至図３８、図４０、図４１、図４４、図４５及び／又は図４８の情報を意味することができる。
具体的な実施例において、全方位ビデオに関するメタデータは、３次元プロジェクションのストラクチャーに投影されたイメージに対する３次元領域情報又は２次元フレームにパッキングされたイメージに対する２次元領域情報を含む。ここで、２次元領域情報は図１２、図１３、図３７、図４０、図４４及び図４５に説明した情報であり、３次元領域情報は図１４、図１５、図１６、図１７、図１８、図３８、図４０、図４１、図４４及び図４５に説明した情報であることができる。また、２次元領域情報及び３次元領域情報は、全方位ビデオに関するメタデータに含まれる情報であることができる。
より具体的には、実施例において、３次元領域情報は球形の３次元プロジェクションのストラクチャーにプロジェクションされた３次元イメージの領域を指示するために使用できる。即ち、３次元領域情報は球面の領域を指示する情報であることができる（図１４、図１５、図１６、図１７、図１８、図３８ 図４０、図４１、図４４及び図４５）。この実施例において、３次元領域情報は、水平視野範囲を指示する水平視野情報及び垂直視野範囲を指示する垂直視野情報を含む。また、３次元領域情報はさらに、水平視野範囲及び垂直視野範囲の中心を指示するためのヨー（ｙａｗ）軸の角度及びピッチ（ｐｉｔｃｈ）軸の角度を各々指示するヨー情報及びピッチ情報を含む。一実施例において、水平視野情報及び垂直視野情報は、図１４乃至図１８のｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｍｉｎ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｍａｘ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｅｒｔｉｃａｌ＿ ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈ、ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔ、ｗｉｄｔｈ、ｈｅｉｇｈｔ、ｒｅｆｅｒｅｎｃｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅ、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ及び／又はｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅである。
また、一実施例において、水平視野範囲及び垂直視野範囲の中心を指示するためのヨー（ｙａｗ）軸の角度及びピッチ（ｐｉｔｃｈ）軸の角度を各々指示するヨー情報及びピッチ情報は、図１４乃至図１８のｃｅｎｔｅｒ＿ｙａｗ、ｙａｗ、ｃｅｎｔｅｒ＿ｐｉｔｃｈ、ｐｉｔｃｈ、ｒｅｆｅｒｅｎｃｅ＿ｙａｗ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｃｅｎｔｅｒ、ｙａｗ＿ｃｅｎｔｅｒ、ｐｉｔｃｈ＿ｃｅｎｔｅｒ及び／又はｒｏｌｌ＿ｃｅｎｔｅｒである。
また、より具体的には、実施例において、全方位ビデオに関するメタデータは球面の領域を特定する領域タイプを識別する領域タイプ情報を含む。領域タイプは、上記球に属する４つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）により領域を特定する第１タイプ、及び上記球に属する２つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）と２つの小圏（ｓｍａｌｌ ｃｉｒｃｌｅ）により領域を特定する第２タイプを含み、大圏は上記球の中心を通る円を意味し、小圏は上記球の中心を通らない円を意味する。ここで、領域タイプは図１６乃至図１９に説明したｒｅｇｉｏｎ＿ｔｙｐｅを意味する。
また、全方位ビデオに関するメタデータはＲＯＩ情報、勧奨領域（ｒｅｃｏｍｍｅｎｄｅｄ ｒｅｇｉｏｎ）情報、又は全方位ビデオプロデューサーが意図した視点に関する情報を指示できる。
この全方位ビデオに関するメタデータは、ＩＳＯＢＭＦＦファイルフォーマット、ＤＡＳＨ ＭＰＤ／Ｓｅｇｍｅｎｔ、ＭＰＥＧ−２ ＴＳのＰＥＳパケット又はａｄａｐｔａｉｏｎ ｆｉｅｌｄ、及び／又はＶＣＬのＳＥＩ ｍｅｓｓａｇｅを通じて伝送される。
一実施例において、全方位ビデオに関するメタデータは、ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）のアダプテーションセット（ａｄａｐｔａｔｉｏｎ ｓｅｔ）に含まれて伝送される。これに関する説明は、図２２乃至図２９と該当図面の説明に詳しく説明されている。
他の実施例において、全方位ビデオに関するメタデータは、ＭＰＥＧ−２ ＴＳのＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット又はＴＳ（ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）のアダプテーションフィールド（ａｄａｐｔａｉｏｎ ｆｉｅｌｄ）に含まれて伝送される。これに関する説明は、図３０乃至図３９と該当図面の説明に詳しく説明されている。
また他の実施例において、全方位ビデオに関するメタデータは、ＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｌａｙｅｒ）のＳＥＩ ｍｅｓｓａｇｅ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｌａｙｅｒ）に含まれて伝送される。これに関する説明は、図４０乃至図４２と該当図面の説明に詳しく説明されている。なお、一実施例において、上記球面の領域は、図４１に説明したように、上記球に属する４つの大圏により領域が特定される。
全方位ビデオに関するメタデータをパーシングする段階（ＳＨ５１２００）は、データ信号に含まれた全方位ビデオに関するメタデータをパーシングする段階である。
上述したように、全方位ビデオに関するメタデータは、ＩＳＯＢＭＦＦファイルフォーマット、ＤＡＳＨ ＭＰＤ／Ｓｅｇｍｅｎｔ、ＭＰＥＧ−２ ＴＳのＰＥＳパケット又はａｄａｐｔａｉｏｎ ｆｉｅｌｄ及び／又はＶＣＬのＳＥＩ ｍｅｓｓａｇｅを通じて伝送できるので、全方位ビデオに関するメタデータは各レベルにおいてパーシングされることができる。
全方位ビデオのためのイメージをデコーディングする段階（ＳＨ５１３００）は、エンコーディングされたイメージを符号化した方式に対応する復号化方式を使用して、エンコーディングされたイメージをデコーディングする段階である。
全方位ビデオのためのイメージをデコーディングする段階（ＳＨ５１３００）は、図１のプロセシング過程のデコーディング過程に対応し、図３のデータデコーダーの動作に対応し、図４のビデオデコーディング又はイメージデコーディング過程に対応し、図４３、図４６及び図４７のビデオデコーディング過程（ｖｉｄｅｏ ｄｅｃｏｄｉｎｇ）に対応する。
一実施例において、リージョンごとのパッキングが行われる場合、全方位ビデオのためのイメージをデコーディングする段階（ＳＨ５１３００）は、各リージョンに対応するパッキングされたイメージ（ｐａｃｋｅｄ ｉｍａｇｅ）ごとにデコーディングする段階である。この時、各パッキングされたイメージに対する復号化方式が異なることができる。
なお、全方位ビデオに関するメタデータがＶＣＬのＳＥＩ ｍｅｓｓａｇｅを通じて伝送される実施例である場合、全方位ビデオに関するメタデータは（ＳＨ５１３００）の段階で抽出できる。
全方位ビデオのためのイメージを３次元モデルにリプロジェクションする段階（ＳＨ５１４００）は、２次元フレームにパッキングされたイメージを３次元モデルにリプロジェクションする段階である。ＳＨ５１３００の段階でデコーディングされた全方位ビデオのためのイメージは、２次元フレームにパッキングされたイメージを意味するので、この段階（ＳＨ５１４００）は２次元フレームにパッキングされたイメージを３次元モデルにリプロジェクションする段階を意味する。ここで、３次元モデルは、本発明の一実施例による全方位ビデオを伝送する方法における３次元プロジェクションの構造と同一であることができる。
全方位ビデオのためのイメージを３次元モデルにリプロジェクションする段階（ＳＨ５１４００）は、図１のレンダリング過程（ｔ１０３０）に対応し、図３のリプロジェクション処理部の動作に対応し、図４のビデオレンダリング過程に対応し、図４３、図４６及び図４７のリプロジェクション過程（ｒｅ−ｐｒｏｊｅｃｔｉｏｎ）及びＶＲビデオレンダリング過程（ＶＲ ｖｉｄｅｏ ｒｅｎｄｅｒｉｎｇ）に対応する。
一実施例において、本発明の一実施例による全方位ビデオを受信する方法は、さらにフィードバック段階を含むことができる。このフィードバック段階は、ユーザデバイスのビューポート情報又は回転情報を出力する段階であって、このユーザデバイスのビューポート情報又は回転情報に基づいて視聴領域に対応するデータが処理される。このユーザデバイスのビューポート情報又は回転情報を含むフィードバック情報は、リプロジェクション段階又はレンダリング段階以前に提供されるか、イメージデコーディング段階以前に提供されることができ、或いは伝送ファイル又はセグメントを脱カプセル化する段階以前に提供されることもできる。さらに、フィードバック情報は送信側に伝送されることもできる。
このフィードバック段階は、図１のフィードバック過程に対応し、図３のフィードバック処理部における動作に対応し、図４のＶＲアプリケーションのトラッキング過程に対応し、図４３、図４６及び図４７のトラッキング過程（Ｈｅａｄ／ｅｙｅ ｔｒａｃｋｉｎｇ）に対応する。
本発明のさらに他の側面によれば、全方位ビデオを受信する装置が開示される。
図５２は本発明の一実施例による全方位ビデオを受信する装置を示すブロック図である。
本発明の一実施例による全方位ビデオを受信する装置は、全方位ビデオのためのイメージ及び全方位ビデオに関するメタデータを含むデータ信号を受信する受信部（Ｈ５２１００）、全方位ビデオに関するメタデータをパーシングするメタデータパーサー（Ｈ５２２００）、全方位ビデオのためのイメージをデコーディングするデコーダー（Ｈ５２３００）、及び全方位ビデオのためのイメージを３次元モデルにリプロジェクションするレンダリング部（Ｈ５２４００）を含む。
受信部（Ｈ５２１００）の動作は、図５１に説明した本発明の一実施例による全方位ビデオを受信する方法における全方位ビデオのためのイメージ及び全方位ビデオに関するメタデータを含むデータ信号を受信する段階（ＳＨ５１１００）に記載の動作に対応するので、該当段階に関連する説明を適用できる。
メタデータパーサー（Ｈ５２２００）の動作は、図５１に説明した本発明の一実施例による全方位ビデオを受信する方法における全方位ビデオに関するメタデータをパーシングする段階（ＳＨ５１２００）に記載の動作に対応するので、該当段階に関連する説明を適用できる。
デコーダー（Ｈ５２３００）の動作は、図５１に説明した本発明の一実施例による全方位ビデオを受信する方法における全方位ビデオのためのイメージをデコーディングする段階（ＳＨ５１３００）に記載の動作に対応するので、該当段階に関連する説明を適用できる。
レンダリング部（Ｈ５２４００）の動作は、図５１に説明した本発明の一実施例による全方位ビデオを受信する方法における全方位ビデオのためのイメージを３次元モデルにリプロジェクションする段階（ＳＨ５１４００）に記載の動作に対応するので、該当段階に関連する説明を適用できる。
一実施例において、全方位ビデオを受信する装置は、さらにフィードバック処理部（図示せず）を含むことができる。このフィードバック処理部は、ユーザデバイスのビューポート及び／又は回転をトラッキングしてビューポート情報及び／又は回転情報を生成して出力する。
全方位ビデオに関するメタデータは、受信装置が全方位ビデオを処理するために必要な一体の情報を意味する。全方位ビデオに関するメタデータについては、本発明の一実施例による全方位ビデオを受信する方法に説明した内容をそのまま適用できる。
上述した装置の内部コンポーネントは、メモリに貯蔵された連続する実行過程を行うプロセッサであるか、或いはそれ以外のハードウェアで構成されたハードウェアコンポーネントであることができる。これらは装置の内部／外部に位置することができる。
上述したモジュールは、実施例によって省略されることができ、或いは類似／同一の動作を行うモジュールに置き換えることができる。
上述した各々のパート、モジュール又はユニットは、メモリ（又は貯蔵ユニット）に貯蔵された連続する実行過程を行うプロセッサでるか、或いはハードウェアパートである。上述した実施例に記載された各々の段階は、プロセッサ又はハードウェアパートにより行われることができる。上述した実施例に記載された各々のモジュール／ブロック／ユニットは、ハードウェア／プロセッサとして動作できる。また、本発明が提示する方法は、コードとして行われることができる。このコードは、プロセッサが読み取り可能な貯蔵媒体に記録されることができ、よって装置（ａｐｐａｒａｔｕｓ）が提供するプロセッサにより読み取られることができる。
説明の便宜のために各図を区分して説明したが、各図に示した実施例を併合して新しい実施例を実現するように設計することも可能である。そして、通常の技術者の必要によって、以上説明した実施例を実行するためのプログラムが記録されているコンピューターで読み取り可能な記録媒体を設計することも、本発明の権利範囲に属する。
本発明に係る装置及び方法は、以上説明した実施例の構成及び方法が限定的に適用されるものではなく、上述した実施例の様々な変形が可能なように、各実施例の全部又は一部を選択的に組み合せて構成することもできる。
一方、本発明が提案する方法を、ネットワークデバイスに具備された、プロセッサで読み取り可能な記録媒体に、プロセッサで読み取り可能なコードとして具現することができる。プロセッサで読み取り可能な記録媒体は、プロセッサで読み取り可能なデータが記憶されるいずれの種類の記録装置をも含む。プロセッサで読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などがあり、また、インターネットを介した伝送などのようなキャリアウェーブの形態で具現されるものも含む。また、プロセッサで読み取り可能な記録媒体は、ネットワークで接続されたコンピューターシステムに分散され、分散方式でプロセッサで読み取り可能なコードが記憶されて実行されてもよい
また、以上では、本発明の好適な実施例について図示及び説明したが、本発明は、上述した特定の実施例に限定されず、特許請求の範囲で請求する本発明の要旨から逸脱しない限度で、当該発明の属する技術の分野における通常の知識を有する者にとって様々な変形実施が可能であることは無論である。これらの変形実施も、本発明の技術的思想や展望から個別的に理解してはならない
本発明の思想や範囲を逸脱することなく、本発明において様々な変更及び変形が可能であることは当業者に理解される。したがって、本発明は、添付された請求項及びその同等範囲内で提供される本発明の変更及び変形を含むことと意図される。
本明細書において装置及び方法発明が全て言及され、装置及び方法発明の全ての説明は互いに補完して適用されることができる。
［発明を実施するための形態］
様々な実施例が発明を実施するための最善の形態で説明された。
本発明は一連の放送信号提供分野で使用される。
本発明の思想や範囲を逸脱することなく、本発明において様々な変更及び変形が可能であることは当業者に理解される。したがって、本発明は、添付された請求項及びその同等範囲内で提供される本発明の変更及び変形を含むことと意図される。

Claims (10)

  1. 全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）ビデオを伝送する方法であって、
    前記全方位ビデオのためのイメージを得る段階と、
    前記全方位ビデオのためのイメージを球（ｓｐｈｅｒｅ）にプロジェクト（ｐｒｏｊｅｃｔｉｎｇ）する段階と、
    前記球にプロジェクトされたイメージを２次元フレームにパッキングする段階と、
    前記２次元フレームにパッキングされたイメージをエンコーディングする段階と、
    前記エンコーディングされたイメージ及び前記全方位ビデオに関するメタデータを伝送する段階と、を含み、
    前記全方位ビデオに関するメタデータは、前記球の面（ｓｕｒｆａｃｅ）の領域（ｒｅｇｉｏｎ）に関連する情報及び全域座標（ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ）に対比して相対的な座標のローテーション（ｒｏｔａｔｉｏｎ）に関連する情報を全て含み、前記領域に関連する情報は、前記領域のタイプを表示するためのタイプ情報を含むことを特徴とし、
    前記領域のタイプは、第１タイプ又は第２タイプに該当し、
    前記第１タイプは、前記球の面（ｓｕｒｆａｃｅ）上に形成された４つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）により前記領域が決定され、
    前記第２タイプは、前記球の面（ｓｕｒｆａｃｅ）上に形成された２つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）及び２つの小圏（ｓｍａｌｌ ｃｉｒｃｌｅ）により前記領域が決定されることを特徴とする、全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）ビデオの伝送方法。
  2. 前記ローテーション（ｒｏｔａｔｉｏｎ）に関連する情報は、ピッチ軸（ｐｉｔｃｈ ａｘｉｓ）の角度を指示するピッチ情報及びヨー軸（ｙａｗ ａｘｉｓ）の角度を指示するヨー情報を全て含むことを特徴とする、請求項１に記載の全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）ビデオの伝送方法。
  3. 前記大圏は、前記球の中心を通過する円を意味し、
    前記小圏は、前記球の中心を通過しない円を意味することを特徴とする、請求項２に記載の全方位ビデオの伝送方法。
  4. 前記全方位ビデオに関するメタデータは、ＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｌａｙｅｒ）のＳＥＩ ｍｅｓｓａｇｅ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｌａｙｅｒ）に含まれて伝送されることを特徴とする、請求項１に記載の全方位ビデオの伝送方法。
  5. 前記全方位ビデオに関するメタデータは、ＭＰＥＧ−２ ＴＳのＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット又はＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）のアダプテーションフィールド（ａｄａｐｔａｉｏｎ ｆｉｅｌｄ）に含まれて伝送されることを特徴とする、請求項１に記載の全方位ビデオの伝送方法。
  6. 前記全方位ビデオに関するメタデータは、ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）のアダプテーションセット（ａｄａｐｔａｔｉｏｎ ｓｅｔ）に含まれて伝送されることを特徴とする、請求項１に記載の全方位ビデオの伝送方法。
  7. 前記パッキングする段階は、
    前記球にプロジェクトされたイメージを所定の領域に区画する段階と、
    前記所定の領域ごとに区画されたサブイメージを２次元フレームにパッキングする段階と、を含むことを特徴とする、請求項１に記載の全方位ビデオの伝送方法。
  8. 全方位ビデオのためのイメージを得るイメージ獲得部と、
    前記全方位ビデオのためのイメージを球にプロジェクトするプロジェクション部と、
    前記球にプロジェクトされたイメージを２次元フレームにパッキングするパッキング部と、
    前記２次元フレームにパッキングされたイメージをエンコーディングするエンコーダーと、
    前記エンコーディングされたイメージ及び前記全方位ビデオに関するメタデータを伝送する伝送部と、を含み、
    前記全方位ビデオに関するメタデータは、前記球の面（ｓｕｒｆａｃｅ）の領域（ｒｅｇｉｏｎ）に関連する情報及び全域座標（ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ）に対比して相対的な座標のローテーション（ｒｏｔａｔｉｏｎ）に関連する情報を全て含み、前記領域に関連する情報は、前記領域のタイプを表示するためのタイプ情報を含むことを特徴とし、
    前記領域のタイプは、第１タイプ又は第２タイプに該当し、
    前記第１タイプは、前記球の面（ｓｕｒｆａｃｅ）上に形成された４つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）により前記領域が決定され、
    前記第２タイプは、前記球の面（ｓｕｒｆａｃｅ）上に形成された２つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）及び２つの小圏（ｓｍａｌｌ ｃｉｒｃｌｅ）により前記領域が決定されることを特徴とする、全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）ビデオの伝送装置。
  9. 全方位ビデオのためのイメージ及び球（ｓｐｈｅｒｅ）にプロジェクトされた前記全方位ビデオに関するメタデータを受信する段階と、
    前記全方位ビデオに関するメタデータをパーシングする段階と、
    前記全方位ビデオのためのイメージをデコーディングする段階と、
    前記メタデータに基づいて、前記全方位ビデオのためのイメージを３次元モデルにリプロジェクションする段階と、を含み、
    前記全方位ビデオに関するメタデータは、前記球の面（ｓｕｒｆａｃｅ）の領域（ｒｅｇｉｏｎ）に関連する情報及び全域座標（ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ）に対比して相対的な座標のローテーション（ｒｏｔａｔｉｏｎ）に関連する情報を全て含み、前記領域に関連する情報は、前記領域のタイプを表示するためのタイプ情報を含むことを特徴とし、
    前記領域のタイプは、第１タイプ又は第２タイプに該当し、
    前記第１タイプは、前記球の面（ｓｕｒｆａｃｅ）上に形成された４つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）により前記領域が決定され、
    前記第２タイプは、前記球の面（ｓｕｒｆａｃｅ）上に形成された２つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）及び２つの小圏（ｓｍａｌｌ ｃｉｒｃｌｅ）により前記領域が決定されることを特徴とする、全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）ビデオの受信方法。
  10. 全方位ビデオのためのイメージ及び球（ｓｐｈｅｒｅ）にプロジェクトされた前記全方位ビデオに関するメタデータを受信する受信部と、
    前記全方位ビデオに関するメタデータをパーシングするメタデータパーサーと、
    前記全方位ビデオのためのイメージをデコーディングするデコーダーと、
    前記メタデータに基づいて、前記全方位ビデオのためのイメージを３次元モデルにリプロジェクションするレンダリング部と、を含み、
    前記全方位ビデオに関するメタデータは、前記球の面（ｓｕｒｆａｃｅ）の領域（ｒｅｇｉｏｎ）に関連する情報及び全域座標（ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ）に対比して相対的な座標のローテーション（ｒｏｔａｔｉｏｎ）に関連する情報を全て含み、前記領域に関連する情報は、前記領域のタイプを表示するためのタイプ情報を含むことを特徴とし、
    前記領域のタイプは、第１タイプ又は第２タイプに該当し、
    前記第１タイプは、前記球の面（ｓｕｒｆａｃｅ）上に形成された４つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）により前記領域が決定され、
    前記第２タイプは、前記球の面（ｓｕｒｆａｃｅ）上に形成された２つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）及び２つの小圏（ｓｍａｌｌ ｃｉｒｃｌｅ）により前記領域が決定されることを特徴とする、全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）ビデオの受信装置。
JP2019510706A 2016-08-25 2017-08-23 全方位ビデオを伝送する方法、全方位ビデオを受信する方法、全方位ビデオの伝送装置及び全方位ビデオの受信装置 Active JP6657475B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662379740P 2016-08-25 2016-08-25
US62/379,740 2016-08-25
US201762444814P 2017-01-11 2017-01-11
US62/444,814 2017-01-11
PCT/KR2017/009194 WO2018038523A1 (ko) 2016-08-25 2017-08-23 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치

Publications (2)

Publication Number Publication Date
JP2019525675A JP2019525675A (ja) 2019-09-05
JP6657475B2 true JP6657475B2 (ja) 2020-03-04

Family

ID=61243088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019510706A Active JP6657475B2 (ja) 2016-08-25 2017-08-23 全方位ビデオを伝送する方法、全方位ビデオを受信する方法、全方位ビデオの伝送装置及び全方位ビデオの受信装置

Country Status (7)

Country Link
US (1) US10991066B2 (ja)
EP (1) EP3503547B1 (ja)
JP (1) JP6657475B2 (ja)
KR (1) KR102358757B1 (ja)
CN (1) CN109691094B (ja)
BR (1) BR112019003605A2 (ja)
WO (1) WO2018038523A1 (ja)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115037917A (zh) 2016-10-12 2022-09-09 弗劳恩霍夫应用研究促进协会 空间不均等流媒体化
US11197040B2 (en) * 2016-10-17 2021-12-07 Mediatek Inc. Deriving and signaling a region or viewport in streaming media
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
US10887572B2 (en) 2016-11-17 2021-01-05 Intel Corporation Suggested viewport indication for panoramic video
KR20180059210A (ko) * 2016-11-25 2018-06-04 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
WO2018131813A1 (en) * 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11139000B2 (en) * 2017-03-07 2021-10-05 Mediatek Inc. Method and apparatus for signaling spatial region information
US11532128B2 (en) * 2017-03-23 2022-12-20 Qualcomm Incorporated Advanced signaling of regions of interest in omnidirectional visual media
BR112019019311A2 (pt) * 2017-03-24 2020-04-14 Sony Corp aparelho e método de processamento de informação, e, programa.
CN110495181A (zh) * 2017-03-28 2019-11-22 三星电子株式会社 用于发送关于三维图像的数据的方法
US10375375B2 (en) 2017-05-15 2019-08-06 Lg Electronics Inc. Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US10679415B2 (en) * 2017-07-05 2020-06-09 Qualcomm Incorporated Enhanced signaling of regions of interest in container files and video bitstreams
KR102233667B1 (ko) * 2017-07-13 2021-03-31 삼성전자주식회사 네트워크 시스템에서 데이터를 전송하는 방법 및 장치
US10567734B2 (en) * 2017-08-29 2020-02-18 Qualcomm Incorporated Processing omnidirectional media with dynamic region-wise packing
CN108111899B (zh) * 2017-12-29 2021-05-11 中兴通讯股份有限公司 视频传输方法与装置、客户端、服务器及存储介质
EP3716638A4 (en) * 2018-01-12 2021-02-17 Sony Corporation DEVICE AND PROCESS FOR PROCESSING INFORMATION
US11115451B2 (en) * 2018-03-26 2021-09-07 Mediatek Singapore Pte. Ltd. Methods and apparatus for signaling viewports and regions of interest
KR102344073B1 (ko) * 2018-04-05 2021-12-28 엘지전자 주식회사 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오를 전송하는 장치 및 360도 비디오를 수신하는 장치
CN111869221B (zh) * 2018-04-05 2021-07-20 华为技术有限公司 Dash对象之间的有效关联
CN111937043B (zh) 2018-04-06 2024-05-03 华为技术有限公司 将文件格式对象和基于超文本传输协议的动态自适应流媒体(dash)对象进行关联
WO2019203456A1 (ko) * 2018-04-15 2019-10-24 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
CN111727605B (zh) * 2018-06-01 2022-09-13 Lg电子株式会社 用于发送和接收关于多个视点的元数据的方法及设备
GB2574445A (en) * 2018-06-06 2019-12-11 Canon Kk Method, device, and computer program for transmitting media content
US11012657B2 (en) * 2018-06-08 2021-05-18 Lg Electronics Inc. Method for processing overlay in 360-degree video system and apparatus for the same
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
GB2575074B (en) 2018-06-27 2022-09-28 Canon Kk Encapsulating video content with an indication of whether a group of tracks collectively represents a full frame or a part of a frame
US10931930B2 (en) * 2018-07-06 2021-02-23 Mediatek Singapore Pte. Ltd. Methods and apparatus for immersive media content overlays
WO2020009341A1 (ko) * 2018-07-06 2020-01-09 엘지전자 주식회사 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
WO2020013454A1 (ko) * 2018-07-13 2020-01-16 엘지전자 주식회사 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
CN110798707B (zh) * 2018-08-02 2023-06-16 华为技术有限公司 传输媒体数据的方法、客户端和服务器
US11575976B2 (en) 2018-08-07 2023-02-07 Coredinate Inc. Omnidirectional video streaming
KR102491939B1 (ko) * 2018-08-24 2023-01-26 삼성전자주식회사 전방향 이미지를 프로세싱하기 위한 방법 및 장치
CN110876051B (zh) * 2018-08-29 2023-04-11 中兴通讯股份有限公司 视频数据的处理，传输方法及装置，视频数据的处理系统
CN112640473A (zh) * 2018-08-30 2021-04-09 夏普株式会社 用于发送信号通知子图片定时元数据信息的系统和方法
EP3691249A1 (en) * 2019-01-29 2020-08-05 Koninklijke Philips N.V. Image signal representing a scene
US11653054B2 (en) 2019-03-14 2023-05-16 Nokia Technologies Oy Method and apparatus for late binding in media content
US11113870B2 (en) * 2019-03-18 2021-09-07 Samsung Electronics Co., Ltd. Method and apparatus for accessing and transferring point cloud content in 360-degree video environment
US11438731B2 (en) 2019-03-19 2022-09-06 Nokia Technologies Oy Method and apparatus for incorporating location awareness in media content
CN112148115A (zh) 2019-06-28 2020-12-29 中兴通讯股份有限公司 媒体处理方法、装置、系统和可读存储介质
EP3782366A4 (en) * 2019-07-03 2021-10-20 Beijing Xiaomi Mobile Software Co., Ltd. METHOD AND DEVICE FOR CODING, DECODING AND STORAGE MEDIA
US10997693B2 (en) * 2019-07-03 2021-05-04 Gopro, Inc. Apparatus and methods for non-uniform processing of image data
WO2021015982A1 (en) * 2019-07-22 2021-01-28 Interdigital Vc Holdings, Inc. A method and apparatus for delivering a volumetric video content
CN112423108B (zh) * 2019-08-20 2023-06-30 中兴通讯股份有限公司 码流的处理方法、装置、第一终端、第二终端及存储介质
EP3829166A1 (en) * 2019-11-29 2021-06-02 InterDigital CE Patent Holdings A method and apparatus for decoding a 3d video
CN112511866B (zh) 2019-12-03 2024-02-23 中兴通讯股份有限公司 媒体资源播放方法、装置、设备和存储介质
US11563947B2 (en) 2019-12-31 2023-01-24 Tencent America LLC Signaling output picture size for reference picture resampling
JP7407951B2 (ja) * 2020-01-08 2024-01-04 中興通訊股▲ふん▼有限公司 点群データ処理
US11972518B2 (en) 2020-01-20 2024-04-30 Advanced Micro Devices, Inc. Hybrid binning
US11527043B2 (en) * 2020-02-10 2022-12-13 Charter Communications Operating, Llc Providing selectable virtual reality (VR) viewpoints within a VR experience
US20210349308A1 (en) * 2020-05-05 2021-11-11 Szu Wen FAN System and method for video processing using a virtual reality device
CN114268835B (zh) * 2021-11-23 2022-11-01 北京航空航天大学 一种低传输流量的vr全景视频时空切片方法
CN114040119A (zh) * 2021-12-27 2022-02-11 未来电视有限公司 全景视频显示方法、装置和计算机设备
KR102649693B1 (ko) * 2023-05-14 2024-03-21 주식회사 아이랩미디어 체험형 디지털 입체공간 구축시스템 및 그 입체공간 구축방법

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
FR2854301B1 (fr) * 2003-04-24 2005-10-28 Yodea Procede de transmission de donnees representant la position dans l'espace d'une camera video et systeme de mise en oeuvre du procede
JP4945578B2 (ja) * 2007-01-04 2012-06-06 肇 鳴川 情報処理方法
US8319825B1 (en) * 2008-06-16 2012-11-27 Julian Urbach Re-utilization of render assets for video compression
US8817092B2 (en) * 2008-11-25 2014-08-26 Stuart Leslie Wilkinson Method and apparatus for generating and viewing combined images
CN102971770B (zh) * 2011-03-31 2016-02-10 松下电器产业株式会社 进行全周围立体图像的描绘的图像描绘装置、图像描绘方法
US9055277B2 (en) * 2011-03-31 2015-06-09 Panasonic Intellectual Property Management Co., Ltd. Image rendering device, image rendering method, and image rendering program for rendering stereoscopic images
US10049445B2 (en) * 2011-07-29 2018-08-14 Canon Kabushiki Kaisha Image processing apparatus and image processing method of a three-dimensional medical image
CN107197254B (zh) * 2011-09-09 2020-03-03 太阳专利托管公司 解码方法及解码装置
WO2013077698A1 (ko) * 2011-11-25 2013-05-30 (주)휴맥스 Mmt 미디어와 dash 미디어와의 연동 방법
JP5892797B2 (ja) * 2012-01-20 2016-03-23 日本放送協会 送受信システム及び送受信方法、受信装置及び受信方法
US9537920B2 (en) * 2012-05-18 2017-01-03 Google Technology Holdings LLC Enforcement of trick-play disablement in adaptive bit rate video content delivery
CN103077509B (zh) * 2013-01-23 2015-10-28 天津大学 利用离散立方体全景图实时合成连续平滑全景视频的方法
WO2014198001A1 (en) * 2013-06-14 2014-12-18 Cirba Inc System and method for determining capacity in computer environments using demand profiles
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
JP2015173424A (ja) * 2014-03-12 2015-10-01 株式会社セック 映像配信システムおよび映像表示装置
US10750153B2 (en) * 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US9772849B2 (en) * 2014-11-14 2017-09-26 Intel Corporation Four-dimensional morton coordinate conversion processors, methods, systems, and instructions
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
KR102370617B1 (ko) * 2015-04-23 2022-03-04 삼성전자주식회사 적응적 샘플링을 수행하여 영상을 처리하는 방법 및 장치.
KR102157655B1 (ko) * 2016-02-17 2020-09-18 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
CN105812759A (zh) * 2016-04-15 2016-07-27 杭州当虹科技有限公司 一种360度全景视频的平面投射方法及编码方法
WO2017195881A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
GB202108749D0 (en) * 2016-05-23 2021-08-04 Canon Kk Method, device, and computer program for adaptive streaming of virtual reality media content
CN105872386A (zh) * 2016-05-31 2016-08-17 深圳易贝创新科技有限公司 一种全景摄像装置以及全景图片生成方法
WO2018038520A1 (ko) * 2016-08-25 2018-03-01 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치

Also Published As

Publication number Publication date
US10991066B2 (en) 2021-04-27
EP3503547A4 (en) 2020-01-22
KR20190075041A (ko) 2019-06-28
EP3503547C0 (en) 2024-07-24
CN109691094A (zh) 2019-04-26
CN109691094B (zh) 2021-10-22
EP3503547B1 (en) 2024-07-24
KR102358757B1 (ko) 2022-02-07
BR112019003605A2 (pt) 2019-05-21
JP2019525675A (ja) 2019-09-05
WO2018038523A1 (ko) 2018-03-01
EP3503547A1 (en) 2019-06-26
US20180061002A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
JP6657475B2 (ja) 全方位ビデオを伝送する方法、全方位ビデオを受信する方法、全方位ビデオの伝送装置及び全方位ビデオの受信装置
US11109013B2 (en) Method of transmitting 360-degree video, method of receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video
US11115641B2 (en) Method of transmitting omnidirectional video, method of receiving omnidirectional video, device for transmitting omnidirectional video, and device for receiving omnidirectional video
KR102157655B1 (ko) 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US11856181B2 (en) Method and device for transmitting or receiving 6DoF video using stitching and re-projection related metadata
CN109076255B (zh) 发送、接收360度视频的方法及设备
US10893254B2 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
KR102157659B1 (ko) 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US20200389640A1 (en) Method and device for transmitting 360-degree video by using metadata related to hotspot and roi
US20200204785A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200205

R150 Certificate of patent or registration of utility model

Ref document number: 6657475

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250