JP7218826B2 - 再生装置および画像生成方法 - Google Patents

再生装置および画像生成方法 Download PDF

Info

Publication number
JP7218826B2
JP7218826B2 JP2022008593A JP2022008593A JP7218826B2 JP 7218826 B2 JP7218826 B2 JP 7218826B2 JP 2022008593 A JP2022008593 A JP 2022008593A JP 2022008593 A JP2022008593 A JP 2022008593A JP 7218826 B2 JP7218826 B2 JP 7218826B2
Authority
JP
Japan
Prior art keywords
margin
area
image
region
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022008593A
Other languages
English (en)
Other versions
JP2022040409A (ja
Inventor
遼平 高橋
光浩 平林
央二 中神
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2022040409A publication Critical patent/JP2022040409A/ja
Application granted granted Critical
Publication of JP7218826B2 publication Critical patent/JP7218826B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本技術は、再生装置および画像生成方法に関し、特にマージン有り領域とマージン無し領域を容易に取得することができるようにした再生装置および画像生成方法に関する。
マルチカメラにより撮影された撮影画像から、水平方向の周囲360度および垂直方向の周囲180度の画像を２Ｄ画像（平面画像）にマッピングした全天球画像を生成し、符号化して記録する記録装置がある（例えば、特許文献１参照）。
このような記録装置では、全天球画像の生成方法として、正距円筒図法を用いた方法やキューブマッピング方法などが用いられる。全天球画像の生成方法が正距円筒図法を用いた方法である場合、全天球画像は、撮影画像を球の面にマッピングしたときの球の正距円筒図法による画像である。また、全天球画像の生成方法がキューブマッピング方法である場合、全天球画像は、撮影画像を立方体（キューブ）の面にマッピングしたときの立方体の展開図の画像である。
一方、動画コンテンツのストリーミング方式として、MPEG-DASH（Moving Picture Experts Group phase-Dynamic Adaptive Streaming over HTTP）がある。MPEG－DASHでは、動画コンテンツの符号化ストリームを管理する管理ファイルが、配信サーバからクライアントに送信され、クライアントは、管理ファイルに基づいて再生対象とする符号化ストリームを選択し、配信サーバに要求する。
特開２００６－１４１７４号公報
ところで全天球画像においては、次のような課題がある。
（１）プロジェクテッドフレーム（projected frame）上で非連続かつプロジェクションストラクチャ (projection structure)上で隣接する面を接続する際に画質が悪化する。
（２）キューブプロジェクションマッピングなど、多面プロジェクションストラクチャ（projection structure）使用時の面境界においてテクスチャ画素を補完すると画質が悪化する。
（３）全天球画像の全体が低解像度であり、視線の中心付近の特定領域のみが高解像度画像であるような場合、低解像度レイヤ画像に高解像度レイヤ画像を重畳すると、境界の画質が悪化する。
そこで全天球画像の領域周囲にマージンを設けることで画質の悪化を抑制することが期待されている。
マージンを配信するための方法として、マージン無し領域からマージンとして延長される画素数を配信したり、マージン有り領域の内のマージンの割合を配信することが知られている。しかしながら、この場合、クライアントがマージン有りと無しの領域を認識する上で、配信方法に応じてリージョン（region）算出処理を行わなければならなかった。その結果、クライアントは容易にマージン有り領域とマージン無し領域を取得することが困難であった。
本技術はこのような状況に鑑みてなされたものであり、マージン有り領域とマージン無し領域を容易に取得することができるようにするものである。
本技術の一側面は、全天球画像がマージンを有する領域を含むことを識別するマージン識別情報を取得する取得部と、前記全天球画像を構成する複数の領域の画像を含むストリームと、前記マージン識別情報とに基づいて前記全天球画像を生成する生成部とを備える再生装置である。
本技術の一側面は、再生装置が、全天球画像がマージンを有する領域を含むことを識別するマージン識別情報を取得し、前記全天球画像を構成する複数の領域の画像を含むストリームと、前記マージン識別情報とに基づいて前記全天球画像を生成するステップを含む画像生成方法である。
本技術の一側面においては、再生装置が、全天球画像がマージンを有する領域を含むことを識別するマージン識別情報を取得し、前記全天球画像を構成する複数の領域の画像を含むストリームと、前記マージン識別情報とに基づいて前記全天球画像を生成する。
以上のように、本技術の一側面によれば、マージン有り領域とマージン無し領域を容易に取得することができる。なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また付加的な効果があってもよい。
プロジェクテッドフレームとパックドフレームを説明する図である。 マージンの例を示す図である。 マージンの例を示す図である。 マージンのパターンを示す図である。 マージンのパターンを示す図である。 リージョンマッピングボックスの構成例を示す図である。 リージョンマッピングボックスのフィールドを説明する図である。 リージョンマッピングボックスのフィールドを説明する図である。 キューブマッチングプロジェクションのマージンを説明する図である。 キューブマッチングプロジェクション時のフィールドを説明する図である。 正距円筒プロジェクションのマージンを説明する図である。 正距円筒プロジェクション時のフィールドを説明する図である。 リージョンマッピングボックスの構成例を示す図である。 リージョンマッピングボックスの構成例を示す図である。 リージョンマッピングボックスの構成例を示す図である。 リージョンマッピングボックスの構成例を示す図である。 リージョンマッピングボックスのフィールドを説明する図である。 キューブマッチングプロジェクションのマージンを説明する図である。 キューブマッチングプロジェクション時のフィールドを説明する図である。 マージン配置の例を示す図である。 マージン配置の例を示す図である。 マージン配置の例を示す図である。 DASHを適用したMPDファイルの例を示す図である。 配信システムの構成例を示すブロック図である。 生成装置の構成例を示すブロック図である。 ISOBMFF生成処理を説明するフローチャートである。 再生装置の構成例を示すブロック図である。 ISOBMFF再生処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。
以下、本技術を実施するための実施の形態について説明する。なお、説明は以下の順序で行う。
１．実施の形態
（１）プロジェクションの原理（図１）
（２）マージン（図２乃至図２３）
（３）配信システム（図２４）
（４）生成装置（図２５、図２６）
（５）再生装置（図２７、図２８）
２．コンピュータ（図２９）
３．その他
＜実施の形態＞
＜プロジェクションの原理（図１）＞
本技術においては、全天球画像が例えばサーバからクライアントにビデオストリームとして配信され、クライアント側で受信、再生、視聴される。そこで最初に全天球画像の生成、配信のため処理の原理について説明する。
本技術においては、全天球画像のプロジェクテッドフレーム（projected frame）とパックドフレーム（packed frame）が生成される。図１は、プロジェクテッドフレームとパックドフレームを説明する図である。図１に示されるように、カメラ１によりオムニディレクショナル画像（全天球画像）が撮影される。この全天球画像は上下左右360度の方向の画像である。なお、以下においては、単語をカタカナで表記すると、却って理解し難いと思われる場合には、英語で記述する。
全天球画像はプロジェクションストラクチャ（projection structure）に投影（projection）されてprojected frameが得られる。そしてprojected frameを領域ごとに位置とサイズを変更して２次元面上に配置してパッキング（packing）することでpacked frameが得られる。このように、領域ごとに位置とサイズの少なくとも一方を変更してパッキングすることをリージョンワイズパッキング（region-wise packing）という。packed frameでは、各領域が全体で矩形になるように配置される。packed frameを用いることで、高画質であることが望まれる領域の解像度を拡大し、低画質でよい領域の解像度を低下させることで、伝送容量を最適化することができる。
図１の例においては、projection structureとして球１１と立方体１２が示されている。全天球画像を球１１に正距円筒図法による投影（equirectangular projection）を行い、それを２次元で表現することでprojected frame１３が得られる。この例では、projected frame１３は、中央の領域Ａ、その上に位置する領域Ｂ、およびその下に位置する領域Ｃにより構成されている。
そしてprojected frame１３をregion-wise packingすることでpacked frame１５が得られる。この例では、領域Ａの解像度はそのままとされ、その上の左側に領域Ｂが配置され、右側に領域Ｃが配置されている。領域Ｂと領域Ｃは解像度が縮小されている。以下これらを単に領域または領域画像ともいう。
全天球画像を立方体１２に投影し（cube mapping projectionを行い）、それを２次元で表現することでprojected frame１４が得られる。立方体１２の正面（front face）、右側面（right face）、背面（back face）、左側面（left face）、上面（top face）、および底面（bottom face）の６個の面（領域）の画像が、４×３個の合計１２個の領域で構成されるprojected frame１４に配置されている。中央の４つの領域に、左側から順番に、それぞれ左側面（left）、正面（front）、右側面（right）、背面（back）の領域画像が配置され、正面（front）の上の領域に上面（top）の領域画像が配置され、下の領域に底面（bottom）の領域画像が配置されている。
projected frame１４をregion-wise packingすることでpacked frame１６が得られる。この例では、正面（front）の領域画像の解像度が拡大され、それ以外の領域画像の解像度はそのままとされている。正面（front）の領域画像の上の左側には側面（left）の領域画像が、その右側には上面（top）の領域画像が配置され、正面（front）の領域画像の右側には、上から順番に、右側面（right）、背面（back）、および底面（bottom）の領域画像が配置されている。
＜マージン（図２乃至図２３）＞
次にマージンについて説明する。図２と図３は、マージンの例を示す図である。
図２は、cube mapping projectionにおけるマージンの例を示している。図２のＡにおいて、中央の行に左から順番に、それぞれ左側面（left）の領域画像４１、正面（front）の領域画像４２、右側面（right）の領域画像４３および背面（back）の領域画像４４が配置されている。また、正面（front）の領域画像４２の上に上面（top）の領域画像４５が配置され、下に底面（bottom）の領域画像４６が配置されている。
図２のＡの例においては、各面の領域の外側に全周のマージンが形成される。例えば左側面においては、マージンを含む領域画像４１は内側の領域４１ａとその外周のマージン４１ｂから形成され、正面においては、マージンを含む領域画像４２は内側の領域４２ａとその外周のマージン４２ｂから形成されている。右側面においては、マージンを含む領域画像４３は内側の領域４３ａとその外周のマージン４３ｂから形成され、背面においては、マージンを含む領域画像４４は内側の領域４４ａとその外周のマージン４４ｂから形成されている。上面においては、マージンを含む領域画像４５は内側の領域４５ａとその外周のマージン４５ｂから形成され、底面においては、マージンを含む領域画像４６は内側の領域４６ａとその外周のマージン４６ｂから形成されている。
この例は、多面projection structure使用時に、面境界においてテクスチャ画素を補完する際の画質の悪化を抑制するために用いられる。
図２のＢの例においては、各面の領域の外側にマージンが形成される。例えば中央の行に左から順番に、それぞれ左側面（left）の領域画像６１、正面（front）の領域画像６２、右側面（right）の領域画像６３および背面（back）の領域画像６４が配置されている。また、正面（front）の領域画像６２の上に上面（top）の領域画像６５が配置され、下に底面（bottom）の領域画像６６が配置されている。
これらの領域画像のうち、領域画像６１の上側と下側にマージン６１ｂが形成されており、領域画像６３の上側と下側にマージン６３ｂが形成されている。領域画像６４においては、その上側と下側だけでなく、右側にもマージン６４ｂが形成されている。この例の場合、各マージン６１ｂ，６３ｂ，６４ｂは各領域画像６１，６３，６４の外部に形成されているため、マージンの内側の領域６１ａ，６３ａ，６４ａは、領域画像そのものとなる。
この例は、projected frame上で非連続かつprojection structureでは隣接する面を接続する際に生じる画質の悪化を抑制するために用いられる。マージンは、projected frameからprojection structureを構成する際、接続先の領域と重畳される部分である。
図３は、低解像度レイヤ画像(正距円筒プロジェクション)に対して高解像度レイヤ画像(cube mapping projection)を重畳する場合に、境界の画質の悪化を抑制する例である。例えば、低解像度である全天球画像全体に対し、視線の中心付近の特定領域のみ高解像度画像を重ね合わせる場合の例である。低解像度レイヤ画像７１に対して高解像度レイヤ画像８１が重畳されている。高解像度レイヤ画像８１は、内側の領域８１aと、それを囲むように形成されたマージン８１ｂから構成されている。
例えば、高解像度レイヤ画像の内側の領域８１ａと低解像度レイヤ画像７１はそのままレンダリングされる。高解像度レイヤ画像８１のマージン８１ｂと、それが重なる低解像度レイヤ画像７１の領域は、ブレンディング処理(ディゾルブなど)が行われて表示される。
図４は、マージンのパターンを示す図である。図４のマージンは、タイプ１のマージンとされる。図４のＡにおいては、領域画像１０１（内側の領域１０１ａ）の４辺に沿って外側にマージン１０１ｂが形成されている。図４のＢにおいては、領域画像１１１の上辺と左右の辺に沿って外側にマージン１１１ｂが形成され、内側が領域１１１ａ（領域１１１）となっている。図４のＣにおいては、領域画像１２１の上辺と右辺に沿って外側にマージン１２１ｂが形成され、内側が領域１２１ａ（領域１２１）となっている。
図４のＤにおいては、領域画像１３１の左辺と右辺に沿って外側にマージン１３１ｂが形成され、内側が領域１３１ａ（領域１３１）となっている。図４のＥにおいては、領域画像１４１の右辺に沿って外側にマージン１４１ｂが形成され、内側が領域１４１ａ（領域１４１）となっている。このパターン１においては、後述するパターン２のような非形成部が設けられていない。
図５は、マージンのパターンを示す図である。図５のマージンは、タイプ２のマージンとされる。図５のＡにおいては、領域画像１６１の４辺に沿って外側にマージン１６１ｂが形成され、内側が領域１６１ａ（領域１６１）となっている。マージン１６１ｂにおいては、その４つの隅に、マージン１６１ｂを形成していない部分（削除した部分）である非形成部１６１ｃが形成されている。
図５のＢにおいては、領域画像１７１の上辺と左右の辺に沿ってマージン１７１ｂが形成され、内側が領域１７１ａ（領域１７１）となっている。マージン１７１ｂの２つの隅には、マージン１７１ｂを形成していない部分（削除した部分）である非形成部１７１ｃが形成されている。
図５のＣにおいては、領域画像１８１の上辺と右辺に沿って外側にマージン１８１ｂが形成され、内側が領域１８１ａ（領域１８１）となっている。マージン１８１ｂの１つの隅に、マージン１８１ｂを形成していない部分（削除した部分）である非形成部１８１ｃが形成されている。
このように、タイプ２のマージンは、隣接する辺の隅に非形成部を有する（隅を有しない）。これに対してタイプ１のマージンは、非形成部を有しない（隅を有する）。タイプ１のマージンについては、マージン有り領域を幅と高さの情報で配信する。タイプ２のマージンについては、マージンタイプ１と同様に幅と高さの情報により配信されるが、マージン有り領域のうち、マージンの隅（非形成部）は、マージンを削除した領域として処理される。
本技術においては、projected frameとpacked frameの概念を用い、図４と図５の各種マージン配置を、RegionMappingBoxを用いて配信する。いずれも、マージン無しとマージン有りの各領域を、位置とサイズで示すものであり、クライアントは容易にいずれの領域も取得することができる。また、全天球画像がマージンを有する領域を持つか否かは、margin_flagで配信される。
RegionMappingBoxは、例えばISOBMFFで規定されるScheme Information Box (‘schi’)の下に、SchemeType=’rmap’のときに配置されるが、それ以外の場所に配置することもできる。以下、RegionMappingBoxの例を示す。
図６は、リージョンマッピングボックスの構成例を示す図であり、図７と図８は、リージョンマッピングボックスのフィールドを説明する図である。
図６は、projection structureにおける領域情報（projected frameの領域情報）を球座標系で示す場合のRegionMappingBoxの構成を表している。projection structureにおけるマージン無し領域と有り領域の中心は、center_yaw, center_pitchで共通に示される。region_margin_typeにより、領域ごとにマージンの有無とマージンのタイプを切り替えることができる。
図６の例においては、RegionMappingBoxにprojection_format,packing_flag,FOV_flag,margin_flag,num_regionsが記述されている。projection_formatは、プロジェクション方式を表し、その値０は、正距円筒プロジェクションを意味し、その値１は、cube mapping projectionを意味している。packing_flagは、region-wise packingを用いるか否かを表しており、その値０は、region-wise packingを用いないことを意味し、その値１は、region-wise packingを用いることを意味する。
FOV_flagは、object_width,object_heightの角度情報の基準を示し、その値０は、球面上を意味し、その値１は、透視投影面上を意味する。図９を参照して後述するが、object_widthは、projection structureにおける領域の幅（角度）を表し、object_heightは、projection structureにおける領域の高さ（角度）を表している。
margin_fkagは、全天球画像がマージンのある領域を含むか否かを表し、その値０は、マージンなしの領域のみを意味し、その値１は、マージン有りの領域があることを意味する。num_regionsは、packed frameの領域数を表す。
RegionMappingBoxにはさらに、center_yaw,center_pitch,object_width,object_heightが記述される。これらはprojected frameの領域の球座標系での領域情報である。center_yawは、projection structureにおける領域中心のyawを表し、マージン有りの領域と無しの領域に共通である。center_pitchは、projection structureにおける領域中心のpitchを表し、マージン有りの領域と無しの領域に共通である。
packing_flagの値が真である（値１である）場合、rect_width,rect_height,rect_left,rect_topが記述される。これらはpacked frameの領域の２次元座標系での領域情報である。rect_widthは、packed frameにおけるマージン無し領域の幅を表し、rect_heightは、packed frameにおけるるマージン無し領域の高さを表す。rect_leftとrect_topは、それぞれpacked frameにおけるるマージン無し領域のｘ座標とｙ座標を表す。これらも図９を参照して後にさらに説明する。
margin_flagの値が真である（値１である）場合、region_margin_typeが記述される。region_margin_typeは、領域のマージンのタイプを表す。その値０は、マージン無しの領域を意味し、値１は、マージン有りの領域（マージンの隅有り）を意味し、値２は、マージン有りの領域（マージンの隅無し）を意味する。
さらにif(region_margin_type＝!0)、すなわちregion_margin_typeが０ではない場合（値１または値２である場合）、つまり領域がマージン有りの領域である場合、object_with_margin_width,object_with_margin_height,width_margin_assignment,height_margin_assingmentが記述される。これらはprojected frameのマージンの球座標系での領域情報である。
object_with_margin_widthは、projection structureにおけるマージンを含む領域の幅（角度）を表す。これはマージンが均等に割り当てられた場合の値である。object_with_margin_heightは、projection structureにおけるマージンを含む領域の高さ（角度）を表す。これもマージンが均等に割り当てられた場合の値である。
width_margin_assignmentは、領域の幅方向のマージンの割り当てを表す。その値０は、両側への均等の割り当て、またはマージン無しを意味し、値１は、右側のマージンのみで、左側のマージンは削除したことを意味し、値２は、左側のマージンのみで、右側のマージンは削除したことを意味する。height_margin_assingmentは、領域の高さ方向のマージンの割り当てを表す。値０は、両側への均等の割り当て、またはマージン無しを意味し、値１は、上側のマージンのみで、下側のマージンは削除したことを意味する。値２は、下側のマージンのみで、上側のマージンは削除したことを意味する。
さらにpacking_flagが真である場合、すなわち、packing_flag＝１である（region-wise_packingが用いられている）場合、rect_with_margin_width, rect_with_margin_height,rect_with_margin_left, rect_with_margin_topが記述される。これらはpacked frameのマージンの２次元座標系での領域情報である。rect_with_margin_widthは、packed frameにおけるマージンを含む領域の幅を表し、rect_with_margin_heightは、packed frameにおけるマージンを含む領域の高さを表す。rect_with_margin_leftと rect_with_margin_topは、それぞれpacked frameにおけるマージンを含む領域の左上の角のｘ座標とｙ座標を表す。
以上、RegionMappingBoxの各フィールドについては、図７と図８にまとめて記載されている。
次に図９と図１０を参照して、RegionMappingBoxを用いた、cube mapping projectionのマージンの配信について説明する。図９は、キューブマッチングプロジェクションのマージンを説明する図であり、図１０は、キューブマッチングプロジェクション時のフィールドを説明する図である。
図９のＡに示されるように、projection structureである立方体１２のleft面、back面、right面およびfront面の辺から、その外側の辺２１１，２１２，２１３，２１４で示される範囲までがマージンとされる。同様に、top面とbottom面の外側の辺２１５，２１６で示される範囲までがマージンとされる。
図９のＢは、そのうちのright面２２１について示されている。projection structureである立方体１２の中心Ｏを原点として、xyz座標（front面に垂直な方向の軸がｘ軸、right面に垂直な方向の軸がｙ軸、top面に垂直な方向の軸がｚ軸）を想定する。中心Ｏとright面２２１の中心Ｃを結ぶ線が線２３０であり、線２３０をｘｙ座標面に投影した線（図９のＢの場合、線２３０と同じとなる）とｘ軸とのなす角度がcenter_yaw（図９のＢの場合、－９０度）である。線２３０のｘｙ平面に対する角度がcenter_pitch（図９のＢの場合、０度）である。
中心Ｏからright面２２１の左の辺２２３に対する垂線２３６と、右の辺２２２に対する垂線２３１のなす角度がobject_widthであり、上の辺２２４に対する垂線２３３と、下の辺２２５に対する垂線２３４のなす角度がobject_heightである。
マージンについても同様に、中心Ｏからマージン２１３の左の辺２４２に垂らした垂線２３６と、右の辺２４１に垂らした垂線２３５のなす角度がobject_with_margin_widthであり、上の辺２４３に垂らした垂線２３７と、下の辺２４４に垂らした垂線２３８のなす角度がobject_with_margin_heightである。
図９のＣは、packed frame２５１を示している。この構成例においては、上段に左から順番にleft,front,rightの各面の領域画像が配置され、下段には、左から順番に、top,bottom,backの各面の領域画像が配置されている。全体として３×２個の領域画像によりpacked frame２５１が構成されている。各領域画像のサイズは、４００×４００画素とされ、４辺の外側に４０画素のマージンが形成されている。従って、マージンを含む領域画像のサイズは、４８０×４８０画素となっている。
従って、マージンを含むright面のrect_with_margin_leftは９６０、rect_with_margin_topは０となり、rect_with_margin_widthとrect_with_margin_heightは、いずれも４８０となる。画像領域のrect_leftは１０００、rect_topは４０となり、rect_widthとrect_heightはいずれも４００となる。
図９に示されるように、球座標系で表されるcube mapping projectionによるRegionMappingBoxの各フィールドの具体的な値は図１０に示されている。projection_formatは１（cube mapping projection）、packing_flagは１（region-wise packingを用いる）、margin_flagは１(マージン有りの領域を含む)、num_regions（packed frameの領域数）は６、FOV_flagは１（透視投影面上）とされている。right面のcenter_yaw,center_pitch,object_width,object_heightは、それぞれ－９０，０，９０，９０とされている。
right面のrect_width.rect_height,rect_left,rect_topは,それぞれ４００，４００，１０００，４０となっている。region_margin_typeは１(マージン有りの領域（マージンの隅無し）)、マージンを含むright面のobject_with_margin_width,object_with_margin_heightは、それぞれ１００，１００となっている。width_margin_assignment,height_margin_assignmentは、それぞれ０（両側に近東割り当て（もしくはマージン無し））とされている。マージンを含むright面のrect_with_margin_width,rect_with_margin_height,rect_with_margin_left,rect_with_margin_topは、それぞれ４８０，４８０，９６０，０となっている。
図１０に各フィールドの値がまとめて記載されている。projection_formatは１、packing_flagは１、margin_flagは、num_regionsは６、FOV_flagは１となっている。right面のcenter_yaw,center_pitch,object_width,object_heightはそれぞれ－９０，０，９０，９０とされている。また、right面のrect_width,rect_height,rect_left,rect_topは、それぞれ４００，４００，１０００，４０となっている。
region_margin_typeは１、right面のマージンを含む領域のobject_with_margin_width,object_with_margin_heightは、それぞれ１００，１００とされている。width_margin_assignment,height_margin_assignmentはいずれも０とされている。right面のマージンを含む領域のrect_with_margin_width,rect_with_margin_height,rect_with_margin＿left.rect_with_margin_topは、それぞれ４８０，４８０，９６０，０とされている。
このように、各領域(キューブ面)のマージンは、タイプ1であるため、region_margin_type=1が配信される。また、各マージンを含む領域の幅、高さ方向ともに均等配置であるため、width_margin_assignment, height_margin_assignmentがともに０として配信される。
次に図１１と図１２を参照して、RegionMappingBoxを用いた、正距円筒プロジェクションのマージンを配信する例につて説明する。図１１は、正距円筒プロジェクションのマージンを説明する図であり、図１２は、正距円筒プロジェクション時のフィールドを説明する図である。
この例では、便宜上、領域情報はprojected frameを用いて示している。図１１のＡには、projection structureとしての球１１が示されており、そのプロジェクションにより得られるprojected frame３０１が図１１のＢに示されている。画像領域（内側の領域）３０２の右側にマージン３０３が形成されているが、便宜上、マージン３０３は領域画像３０２の左右に均等に形成されているものとされる。object_with_margin_widthは３８０、object_with_margin_heightは１８０とされている。object_widthは３６０、object_heightは１８０とされている。width_margin_assignmentは１（右側のマージンのみ。左側のマージンは削除）とされる。
図１１のＣは、packed frame３１１を表している。画像領域（内側の領域）３１２の右側には、マージン３１３が形成されている。rect_widthは１９２０、rect_heightは１４４０である。rect_with_margin_widthは２０００、rect_with_margin_heightは１４４０である。rect_left,rect_topとrect_with_margin_left,rect_with_margin_topは、いずれも０，０である。
図１２に各フィールドの値がまとめて記載されている。projection_formatは０（正距円筒プロジェクション）、packing_flagは１、margin_flagは１(マージン有りの領域を含む)、num_regionsは６、FOV_flagは０（球面上）となっている。center_yaw,center_pitch,object_width,object_heightはそれぞれ０，０，３６０，１８０とされている。また、rect_width,rect_height,rect_left,rect_topは、それぞれ１９２０，１４４０，０，０となっている。
region_margin_typeは１(マージン有りの領域（マージンの隅無し）)、object_with_margin_width,object_with_margin_heightは、それぞれ３８０，１８０とされている。width_margin_assignmentは１（右側のマージンのみ。左側のマージンは削除）、height_margin_assignmentは０（両側に均等割り当て（もしくはマージン無し））とされている。right面のマージンを含む領域のrect_with_margin_width,rect_with_margin_height,rect_with_margin＿left.rect_with_margin_topは、それぞれ２０００，１４４０，０，０とされている。
このように、マージンを含む領域の幅は、projection structureにおけるobject_with_margin_widthとして、マージンが均等に割り当てられた場合の値が配信される。領域のマージンはタイプ1であるため、region_margin_type=1が配信される。また、領域のマージンは、幅方向では右側のみ存在し、高さ方向には無しであるため、width_margin_assignment=1, height_margin_assignment=0が配信される。
次に、図１３を参照して、図６のRegionMappingBoxの変形例について説明する。図１３は、リージョンマッピングボックスの構成例を示す図である。
図１３の例においては、図６の例において記述されている、projection structureにおけるマージン有り領域情報のマージン割り当て情報(width_margin_assignment, height_margin_assignment)が省略されている。省略されたフィールド以外のフィールドのセマンティクスは、図６における場合と同様である。つまり図１３の例においては、projection structureにおけるマージン有り領域情報は、全周均等なマージンを有するとみなして配信される。この場合、対象領域に適用された最大のマージン幅が均等なマージン幅として設定される。もしくは、上下、左右方向それぞれで均等となるマージン幅として設定されてもよい。領域のマージン割り当ては、packed frameにおける領域情報(rect_with_margin_width, rect_with_margin_height, rect_with_margin_left, rect_with_margin_top)により配信される。
なお、図４と図５の例以外で、例えばマージンが領域全周に存在し、かつ領域左右、上下方向に不均一な割り当てとなる場合も、RegionMappingBoxによって配信することができる。
図１４の例も、図６のRegionMappingBoxの変形例である。図１４は、リージョンマッピングボックスの構成例を示す図である。図１４の例は、projection structureにおいてマージン有り領域情報を配信しない例である。つまり、図６の例におけるobject_width_margin_width, object_with_margin_height, width_margin_assignment, height_margin_assignmentが省略されている。省略されたフィールド以外のフィールドのセマンティクスは、図６における場合と同様である。
さらに図１５を参照して、図６のRegionMappingBoxの変形例について説明する。図１５は、リージョンマッピングボックスの構成例を示す図である。この例においては、region_margin_type=1、つまりマージンの隅が有る場合（if(region_margin_type=1)）、projection structure（object_width_margin_width, object_with_margin_height, width_margin_assignment, height_margin_assignment）とpacked frame(rect_with_margin_width, rect_with_margin_height, rect_with_margin_left, rect_with_margin_top)の両者でマージン有り領域が配信される。それ以外の場合はpacked frameのみでマージン有り領域が配信される。その他の各フィールドのセマンティクスは、図６における場合と同様である。
次に、projected frameにおける領域情報を２次元座標系で表す例について、図１６と図１７を参照して説明する。図１６は、リージョンマッピングボックスの構成例を示す図であり、図１７は、リージョンマッピングボックスのフィールドを説明する図である。
図１６の例においては、projected frameとpacked frameにおけるマージン無し、マージン有り領域の情報が、各領域の左上の画素位置および領域サイズによって２次元座標系で示される。すなわち、図６におけるcenter_yaw,center_pitch,object_width,object_heightに代えて、pf_region_width.pf_region_height,pf_region_left,pf_region_topが記述される。また、object_with_margin_width,object_with_margin_height,width_margin_assignment,height_margin_assignmentに代えて、pf_region_with_margin_width, pf_region_with_margin_height, pf_region_with_margin_left, pf_region_with_margin_topが記述される。
図１７には、図１６のフィールドがまとめて記載されている。図７と図８に記載されていないフィールドについて以下に説明する。pf_region_widthとpf_region_heightは、それぞれprojected frameにおけるマージン無し領域（マージンを含まない領域）の幅と高さを表し、pf_region_left, pf_region_topは、それぞれprojected frameにおけるマージン無し領域のｘ座標とｙ座標を表す。
pf_region_with_margin_width, pf_region_with_margin_heightは、それぞれ、projected frameにおけるマージンを含む領域の幅と高さを表す。pf_region_with_margin_left, pf_region_with_margin_topは、projected frameにおけるマージンを含む領域のｘ座標とｙ座標を表す。
次に、RegionMappingBoxを用いて、cube mapping projectionのマージンを配信する例について、図１８と図１９を参照して説明する。図１８は、キューブマッチングプロジェクションのマージンを説明する図であり、図１９は、キューブマッチングプロジェクション時のフィールドを説明する図である。
図１８のＡには、projected frame４０１が示されている。中央の行に、左から順番にleft,front,right,backの各面の領域画像が配置され、frontの上にtop面の領域画像が配置され、front面の下にbottom面の領域画像が配置されている。top面の上辺を図中左に延長した線と、left面の左辺を図中上に延長した線との交点が、ｘｙ座標の原点とされている。
各面の領域画像は、４００×４００個の画素で構成されている。left面、right面およびback面の上側と下側には、それぞれ４０画素の幅でマージンが形成されている。また、back面の右側にも、４０画素の幅でマージンが形成されている。このマージンはタイプ２のマージンとなっている。従って、back面に着目した場合、pf_region_left,pf_region_topは、それぞれ１２００，４００となる。pf_region_width,pf_region_heightは、いずれも４００となる。
マージンについては、pf_region_margin_left, pf_region_margin_topが１２００，３６０となる。また、pf_region_with_margin_width, pf_region_with_margin_heightは、４４０，４８０となる。
図１８のＢにおいては、図１８のＡのprojected frame４０１から生成されたpacked frame４１１が示されている。正面（front）の領域画像の解像度はそのまま（４００×４００）とされ、それ以外の領域画像の解像度は横と縦がそれぞれ１／２（２００×２００）に縮小されている。マージンの幅も１／２（２０画素）に縮小されているので、左側面（left）、右側面（right）、背面(back)の上側と下側には、それぞれ２０画素の幅でマージンが配置されている。また、back面の右側にも、２０画素の幅でマージンが配置されている。このマージンはタイプ２のマージンとなっている。
正面（front）の領域画像の上の左側には、マージンを有する左側面（left）の領域画像が、その右側にはマージンを有する右側面（right）の領域画像が、それぞれ配置されている。正面（front）の領域画像の右側には、上から順番に、上面（top）および底面（bottom）の領域画像が配置されている。上面（top）の領域画像の上（右側面（right）の領域画像の右側）には、マージンを有する背面（back）面の領域画像が配置されている。
図１９に、図１８に示したcube mapping projectionによるprojected frame４０１とpacked frame４１１の情報が記述されている。projection_formatは１（cube mapping projection）、packing_flagは１(region-wise packing)、margin_flagは１(マージン有りの領域がある)、num_regionsは６となっている。back面のpf_region_width, pf_region_height, pf_region_left, pf_region_topはそれぞれ４００，４００，１２００，４００となっている。また、back面のrect_width,rect_height,rect_left,rect_topは、それぞれ２００，２００，４００，２０となっている。
region_margin_typeは２（マージン有りの領域（マージンの隅無し））、back面のpf_region_with_margin_width, pf_region_with_margin_height, pf_region_with_margin_left, pf_region_with_margin_topは、それぞれ４００，４８０，１２００，３６０となっている。back面のrect_with_margin_width,rect_with_margin_height,rect_with_margin_left.rect_with_margin_topは、それぞれ２２０，２４０，４００，０となっている。
このように、packed frameにおいて、front面の解像度はそのままに、その他の面の解像度が水平、垂直方向に半分となっている。back面のマージンは、隅が無いタイプ２であるため、region_margin_type=2が配信される。各領域のマージン配置は、projected frame、packed frameともに、領域のwidth, height, top, leftで明示的に表現される。
クロマサブサンプリングが4:2:2や4:2:0の場合、色差信号間引きを考慮し、マージン幅を２の倍数の画素数とすることで、エンコード処理、領域切り出し処理を容易にすることができる。
また、マージン幅を８、もしくは１６の倍数の画素数とすることで、エンコード時のブロックサイズとの親和性を高めることができ、エンコード処理、領域切り出し処理が容易になる。
本技術は、cube mapping projectionや正距円筒プロジェクションのみでなく、その他のプロジェクション方式(例えばTruncated Square Pyramid、シリンダ等)にも適用可能である。
以上においては、矩形領域のマージンについてのみ例を示したが、その他の形状(例えば三角形や台形、円など)についても同様の方法が適用可能である。図２０乃至図２２を参照して、三角形領域のマージンについて説明する。
図２０至図２２は、それぞれマージン配置の例を示す図である。図２０のＡにおいては、領域画像４３１が三角形の形状をしており、内部の領域４３１ａの図中右側の辺の外側にマージン４３１ｂが形成されている。この場合、図２０のＢに示されるように、領域４３１ａに対応する三角形の領域４４１ａの２辺に他の三角形の領域４４２ａと領域４４３ａを組み合わせ、全体が矩形となるように成形することで領域画像４４１を形成する。
この領域画像４４１は、三角形の領域画像４３１の底辺と同じ長さの辺と、高さと同じ長さの辺を有する矩形の領域となる。そしてこの矩形の領域画像４４１の右側の一辺に、マージン４４１ｂが配置される。この矩形の領域画像４４１が三角形の領域画像４３１に替えて配信される。
図２１のＡにおいては、領域画像４５１が三角形の形状をしており、内部の領域４５１ａの底辺の外側にマージン４５１ｂが形成されている。この場合、図２１のＢに示されるように、領域４５１ａに対応する三角形の領域４６１ａの２辺に他の三角形の領域４６２ａと領域４６３ａを組み合わせ、全体が矩形となる領域画像４６１を形成する。
この領域画像４６１は、三角形の領域画像４５１の底辺と同じ長さの辺と、高さと同じ長さの辺を有する矩形の領域となる。そしてこの矩形の領域画像４６１の底辺に、マージン４６１ｂが配置される。この矩形の領域画像４６１が三角形の領域画像４５１に替えて配信される。
図２２のＡにおいては、領域画像４７１が三角形の形状をしており、内部の領域４７１ａの右辺と底辺の外側にマージン４７１ｂが形成されている。この場合、図２２のＢに示されるように、領域４７１ａに対応する三角形の領域４８１ａの２辺に他の三角形の領域４８２ａと領域４８３ａを組み合わせ、全体が矩形となる領域画像４８１を形成する。
この領域画像４８１は、三角形の領域画像４７１の底辺と同じ長さの辺と、高さと同じ長さの辺を有する矩形の領域となる。そしてこの矩形の領域画像４８１の右辺と底辺に、マージン４８１ｂが配置される。この矩形の領域画像４８１が三角形の領域画像４７１に替えて配信される。
以上においては、ISBMFFの例について説明したが、MPEG-DASH (ISO/IEC 23009-1)を用いて配信することも可能である。次に、図２３を参照して、DASHへの適用例について説明する。図２３は、DASHを適用したMPDファイルの例を示す図である。
図２３のMPDファイルにおいては、ピリオド要素に対応する時間範囲の画像ストリームのセグメントファイルが、それぞれ、１つのグループにグルーピングされ、ピリオド要素が、２つのアダプテーションセット要素（AdaptationSet）を含んでいる。
各AdaptationSetにおいて、schemeIdUri=”urn:mpeg:dash:vr:ProjectionType”のEssentialPropertyのvalue=”cube”によって、全天球画像がキューブプロジェクションマッピングによるものであることが示されている。また、schemeIdUri=”urn:mpeg:dash:vr:margin”のSupplementalPropertyによって、全天球画像の領域にマージンを含むか否か（valueが０か１か）を配信している。このSupplementalPropertyにおけるvalueは、既に説明したmargin_flagと同じセマンティクスを有する。
DASHクライアントは、例えば自身が全天球画像の領域のマージンを利用した処理を行う場合には、マージン有りのAdaptationSet, Representationを選択、取得し、再生を行うことができる。そして、再生処理にマージンが不要の場合には、マージン無しのAdaptationSet, Reresentationを選択、取得し、再生することができる。
なお、EssentialPropertyのschemeIdUriに対応していないDASHクライアントは、このPropertyが記述されているAdaptationSet（もしくはRepresentationなどの場合もあり）を無視する必要がある。また、SupplementalPropertyのschemeIdUriに対応していないDASHクライアントは、このProperty値を無視して、そのAdaptationSet(Representationなどの場合もあり)を利用するようにしてもよい。
勿論、MPDファイルにはさらにその他の情報を記述することができる。
＜配信システム（図２４）＞
次に、以上に説明したマージンを有する領域画像を含む全天球画像を配信するシステムについて、図２４を参照して説明する。図２４は、配信システムの構成例を示すブロック図である。
図２４の配信システム６１０は、撮影装置６１１、生成装置６１２、配信サーバ６１３、再生装置６１４、およびヘッドマウントディスプレイ６１５により構成される。配信システム６１０は、撮影装置６１１により撮影された撮影画像から全天球画像を生成し、全天球画像を用いて視聴者の視野範囲の表示画像を表示する。
具体的には、配信システム６１０の撮影装置６１１は、６個のカメラ６１１Ａ－１乃至６１１Ａ－６およびマイクロフォン６１１Ｂにより構成される。なお、以下では、カメラ６１１Ａ－１乃至６１１Ａ－６を特に区別する必要がない場合、それらをまとめてカメラ６１１Ａという。
各カメラ６１１Ａは動画像を撮影し、マイクロフォン６１１Ｂは周囲の音声を取得する。配信システム６１０は、各カメラ６１１Ａにより撮影された６方向の動画像である撮影画像とマイクロフォン６１１Ｂにより取得された音声を、動画コンテンツとして生成装置６１２に供給する。なお、撮影装置６１１が備えるカメラの数は、複数であれば、６個以外であってもよい。
生成装置６１２は、正距円筒図法を用いた方法により、撮影装置６１１から供給される撮影画像から全天球画像を生成し、１以上のビットレートで符号化して、各ビットレートの正距円筒ストリームを生成する。また、生成装置６１２は、キューブマッピングにより、撮影画像から全天球画像を生成し、１以上のビットレートで符号化して、各ビットレートのキューブストリームを生成する。また、生成装置６１２は、撮影装置６１１から供給される音声を符号化し、オーディオストリームを生成する。
生成装置６１２は、各ビットレートの正距円筒ストリーム、各ビットレートのキューブストリーム、およびオーディオストリームを、ISOBMFFファイル化する。生成装置６１２は、その結果生成されたISOBMFFファイルを配信サーバ６１３にアップロードする。
なお、ここでは、正距円筒ストリームとキューブストリームのビットレートが１以上であるようにするが、ビットレート以外の条件（例えば、画像のサイズ等）が１以上であるようにしてもよい。
また、生成装置６１２は、動画コンテンツのセグメントファイルを管理するMPDファイルを生成し、配信サーバ６１３にアップロードする。セグメントとは、ビデオストリーム、オーディオストリームを数秒から１０秒程度の時間単位でファイル化したものである。例えば、RegionMappingBoxを含むISOBMFFがセグメントファイルとして配信される。
例えばMEPG-DASH (ISO/IEC 23009-1)を用いた配信を行う配信サーバ６１３は、生成装置６１２からアップロードされたセグメントファイルとMPDファイルを格納する。配信サーバ６１３は、クライアントとしての再生装置６１４からの要求に応じて、格納しているセグメントファイルを再生装置６１４に送信する。
再生装置６１４は、配信サーバ６１３にISOBMFF ファイルを要求し、その要求に応じて送信されてくるISOBMFFファイルを受け取る。また、再生装置６１４は、ISOBMFFファイルに基づいて、再生装置６１４で行うことが可能なマッピングに対応する全天球画像の生成方法で生成された全天球画像のセグメントファイルを要求し、その要求に応じて送信されてくるセグメントファイルを受け取る。再生装置６１４は、受け取ったセグメントファイルに含まれるキューブストリーム(または正距円筒ストリームであってもよい)を復号する。再生装置６１４は、復号の結果得られる全天球画像を３Ｄモデルにマッピングすることにより、３Ｄモデル画像を生成する。
また、再生装置６１４は、カメラ６１４Ａを内蔵し、ヘッドマウントディスプレイ６１５に付されたマーカ６１５Ａを撮影する。そして、再生装置６１４は、マーカ６１５Ａの撮影画像に基づいて、３Ｄモデルの座標系における視聴位置を検出する。さらに、再生装置６１４は、ヘッドマウントディスプレイ６１５のジャイロセンサ６１５Ｂの検出結果を、ヘッドマウントディスプレイ６１５から受け取る。再生装置６１４は、ジャイロセンサ６１５Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。再生装置６１４は、視聴位置と視線方向に基づいて、３Ｄモデルの内部に位置する視聴者の視野範囲を決定する。
再生装置６１４は、視聴位置を焦点として、３Ｄモデル画像を視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。再生装置６１４は、表示画像をヘッドマウントディスプレイ６１５に供給する。
ヘッドマウントディスプレイ６１５は、視聴者の頭部に装着され、再生装置６１４から供給される表示画像を表示する。ヘッドマウントディスプレイ６１５には、カメラ６１４Ａにより撮影されるマーカ６１５Ａが付されている。従って、視聴者は、ヘッドマウントディスプレイ６１５を頭部に装着した状態で、移動することにより視聴位置を指定することができる。また、ヘッドマウントディスプレイ６１５には、ジャイロセンサ６１５Ｂが内蔵され、そのジャイロセンサ６１５Ｂによる角速度の検出結果は再生装置６１４に伝送される。従って、視聴者は、ヘッドマウントディスプレイ６１５を装着した頭部を回転させることにより、視線方向を指定することができる。
＜生成装置（図２５、図２６）＞
図２５は、生成装置の構成例を示すブロック図である。生成装置６１２は、スティッチング処理部６３１、マッピング処理部６３２、region-wise packing（region-wise packing）処理部６３３、エンコーダ６３４、音声処理部６３５、エンコーダ６３６、ファイル生成部６３７、およびアップロード部６３８により構成される。
スティッチング処理部６３１は、フレームごとに、図２４のカメラ６１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続するスティッチング処理を行う。スティッチング処理部６３１は、スティッチング処理後のフレーム単位の撮影画像をマッピング処理部６３２に供給する。
マッピング処理部６３２は、この例ではキューブマッピングにより、スティッチング処理部６３１から供給される撮影画像から全天球画像を生成する。具体的には、マッピング処理部６３２は、スティッチング処理後の撮影画像をテクスチャとして立方体にマッピングし、その立方体の展開図の画像を全天球画像として生成する。マッピング処理部６３２は、全天球画像をregion-wise packing処理部６３３に供給する。なお、スティッチング処理部６３１とマッピング処理部６３２は、一体化されていてもよい。
region-wise packing処理部６３３はregion-wise packing処理を行う。すなわち、projected frameを領域ごとに位置とサイズを変更して２次元面上に配置してパッキング（packing）し、packed frameを生成する。region-wise packing処理部６３３はまた、margin_flag, region_margin_typeを含むRegionMappingBoxを生成する。
エンコーダ６３４は、region-wise packing処理部６３３から供給される全天球画像を１以上のビットレートで符号化し、キューブストリームを生成する。エンコーダ６３４は、各ビットレートのキューブストリームをファイル生成部６３７に供給する。
音声処理部６３５は、図２４のマイクロフォン６１１Ｂから供給される音声を取得し、エンコーダ６３６に供給する。エンコーダ６３６は、音声処理部６３５から供給される音声を符号化し、オーディオストリームを生成する。エンコーダ６３６は、オーディオストリームをファイル生成部６３７に供給する。
ファイル生成部６３７は、各ビットレートのキューブストリーム、およびオーディオストリームを、セグメント単位でファイル化する。ファイル生成部６３７は、その結果生成されたセグメントファイルをアップロード部６３８に供給する。ファイル生成部６３７はまた、ISOBMFFファイルを生成し、アップロード部６３８に供給する。
アップロード部６３８は、ファイル生成部６３７から供給されるセグメントファイルとISOBMFFファイルとを、図２４の配信サーバ６１３にアップロードする。
次に、図２６を参照してISOBMFF生成処理について説明する。図２６は、ISOBMFF生成処理を説明するフローチャートである。主に、画像を処理する場合を例として説明する。
ステップＳ１においてスティッチング処理部６３１は、フレームごとに、図２４のカメラ６１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続するスティッチング処理を行う。スティッチング処理部６３１は、スティッチング処理後のフレーム単位の撮影画像をマッピング処理部６３２に供給する。
マッピング処理部６３２は、例えばキューブマッピングにより、スティッチング処理部６３１から供給される撮影画像から全天球画像を生成する。すなわち、マッピング処理部６３２は、スティッチング処理後の撮影画像をテクスチャとして立方体にマッピングし、その立方体の展開図の画像を全天球画像として生成する。またこのとき、マッピング処理部６３２は全天球画像の領域のマージンを生成する。マッピング処理部６３２は、全天球画像をregion-wise packing処理部６３３に供給する。
ステップＳ２においてregion-wise packing処理部６３３は、全天球画像がマージンを有する領域を含むかを判定する。全天球画像がマージンを有する領域を含む場合、ステップＳ３においてregion-wise packing処理部６３３は、margin_flag=1（マージン有りの領域がある）とし、各領域のマージンのタイプに応じてregion_margin_typeを設定する。すなわち上述したように、マージン無しの領域には値０が、隅が有るマージンを有する領域には値１、隅が無いマージンを有する領域には値２が、それぞれ設定される。そしてregion-wise packing処理部６３３はこれらを含むRegionMappingBoxを生成する。
一方、ステップＳ２において全天球画像がマージンを有する領域を含んでいないと判定された場合、ステップＳ４においてregion-wise packing処理部６３３は、margin_flag=０（マージン無しの領域のみ）とし、それを含むRegionMappingBoxを生成する。
ステップＳ３およびステップＳ４の処理が行われた後、ステップＳ５においてエンコーダ６３４は、全天球画像をエンコードする。音声処理部６３５により処理された音声データはエンコーダ６３６によりエンコードされ、ファイル作成部６３７に供給される。
ステップＳ６においてファイル作成部６３７は、ISOBMFFファイルを生成する。ファイル作成部６３７により作成されたファイルは、アップロード部６３８から配信サーバ６１３にアップロードされる。
＜再生装置（図２７、図２８）＞
次に、画像を処理する場合を例として、再生装置６１４の構成例について説明する。図２７は、再生装置の構成例を示すブロック図である。再生装置６１４は、ファイル取得部７０１、ストリーム抽出部７０２、デコーダ７０３、projected frame生成部７０４，マッピング処理部７０５、描画部７０６、受け取り部７０７、視線検出部７０８、およびカメラ６１４Ａを有している。
ファイル取得部７０１は、図２４の配信サーバ６１３から再生対象のファイルを取得する。ストリーム抽出部７０２は、ファイル取得部７０１により取得されたファイルから、ビデオストリームを抽出する。デコーダ７０３は、ストリーム抽出部７０２により抽出されたビデオストリームをデコードする。projected frame生成部７０４は、デコーダ７０３によりデコードされた画像データからprojected frameを生成する。
マッピング処理部７０５は、projected frame生成部７０４から供給される全天球画像を立方体１２の６面のそれぞれにテクスチャとしてマッピングする。
描画部７０６は、マッピング処理部７０５から供給される３Ｄモデル画像を、視線検出部７０８から供給される視聴位置を焦点として、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。描画部７０６は、表示画像をヘッドマウントディスプレイ６１５に供給する。
受け取り部７０７は、図２４のジャイロセンサ６１５Ｂの検出結果を、ヘッドマウントディスプレイ６１５から受け取り、視線検出部７０８に供給する。
視線検出部７０８は、受け取り部７０７から供給されるジャイロセンサ６１５Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。また、視線検出部７０８は、カメラ６１４Ａからマーカ６１５Ａの撮影画像を取得し、その撮影画像に基づいて、３Ｄモデルの座標系における視聴位置を検出する。視線検出部７０８は、３Ｄモデルの座標系における視聴位置と視線方向に基づいて、３Ｄモデルの座標系における視聴者の視野範囲を決定する。視線検出部７０８は、視聴者の視野範囲と視聴位置を描画部７０６に供給する。
次に、図２８を参照して、再生装置６１４の動作について説明する。図２８は、ISOBMFF再生処理を説明するフローチャートである。主に、キューブプロジェクションの場合および領域画像を処理する場合を例として説明する。
ステップＳ２１においてファイル取得部７０１は、図２４の配信サーバ６１３から再生対象のファイルを取得する。さらにファイル取得部７０１は、margin_flagは何であるかを判定する。margin_flagが値１である場合（全天球画像がマージン有りの領域を含む場合）、ステップＳ２２においてファイル取得部７０１は、再生クライアントが領域のマージンを使用するかを判定する。すなわち再生装置６１４は、自身がマージンを使用する機能を有しているかを判定する。
自身がマージンを使用する場合、ステップＳ２３において、ストリーム抽出部７０２は、ファイル取得部７０１により取得されたファイルから、ビデオストリームを抽出する。そしてデコーダ７０３は、抽出されたストリームをデコードし、projected frame生成部７０４に供給する。
ステップＳ２４においてprojected frame生成部７０４は、RegionMappingBoxの情報を基にして、マージン有り領域を取得し、projected frameを生成する。ステップＳ２５において、全天球画像を、そのマージンを例えばブレンディング等の処理をしてレンダリングする処理が実行される。すなわちマッピング処理部７０５は、全天球画像を立方体１２の６面のそれぞれにテクスチャとしてマッピングする。描画部７０６はマッピング処理部７０５から供給される３Ｄモデル画像を、視線検出部７０８から供給される視聴位置を焦点として、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。描画部７０６は、表示画像をヘッドマウントディスプレイ６１５に供給する。
ステップＳ２２において再生クライアントが領域のマージンを使用しない、すなわち再生装置６１４自身がマージンを使用する機能を有していないと判定された場合、処理はステップＳ２６に進む。ステップＳ２６において、ストリーム抽出部７０２は、ファイル取得部７０１により取得されたファイルから、ビデオストリームを抽出する。そしてデコーダ７０３は、抽出されたストリームをデコードし、projected frame生成部７０４に供給する。
ステップＳ２７においてprojected frame生成部７０４は、RegionMappingBoxの情報を基にして、マージン無し領域を取得する。ステップＳ２８において、全天球画像をレンダリングする処理が実行される。すなわち、マッピング処理部７０５は、全天球画像を立方体１２の６面のそれぞれにテクスチャとしてマッピングする。描画部７０６はマッピング処理部７０５から供給される３Ｄモデル画像を、視線検出部７０８から供給される視聴位置を焦点として、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。描画部７０６は、表示画像をヘッドマウントディスプレイ６１５に供給する。
ステップＳ２１においてmargin_flagが値０であると判定された場合（マージン無しの領域のみである場合）、ステップＳ２９において、ストリーム抽出部７０２は、ファイル取得部７０１により取得されたファイルから、ビデオストリームを抽出する。そしてデコーダ７０３は、抽出されたストリームをデコードし、projected frame生成部７０４に供給する。
ステップＳ３０においてprojected frame生成部７０４は、RegionMappingBoxの情報を基にして領域画像を取得する。
ステップＳ３１において全天球画像をレンダリングする処理が実行される。すなわち、マッピング処理部７０５は、全天球画像を立方体１２の６面のそれぞれにテクスチャとしてマッピングする。描画部７０６は、マッピング処理部７０５から供給される３Ｄモデル画像を、視線検出部７０８から供給される視聴位置を焦点として、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。描画部７０６は、表示画像をヘッドマウントディスプレイ６１５に供給する。
このように、再生処理において、margin_flagによって再生クライアントは全天球画像がマージンを有する領域を持っているか否かを判断することができる。全天球画像がマージンを有する領域を持っている場合、例えば再生クライアントが、マージンを有する領域を用いてレンダリングするか、マージンが無い領域を用いてレンダリングするかに応じて、適切な領域情報を得てレンダリング処理を行うことができる。
なお、ISOBMFFが複数のビデオトラックから構成され、マージンが無い領域のみを含む全天球画像のトラックと、マージンを有する領域を含む全天球画像のトラックが混在している場合がある。このような場合、マージンを利用しないクライアントは、マージン無しの領域のみを有する全天球画像のトラックを、マージンを利用するクライアントは、マージン有りの領域を含む全天球画像のトラックを、それぞれ選択し、再生することができる。
以上においては、主に画像の処理について説明したが、音声情報も画像情報とともに配信される。
本技術によれば、マージンを利用するクライアントが、容易にマージンを含む領域を取得でき、マージンを利用しないクライアントが、容易にマージンを含まない領域を取得することができる。
さらに、全天球画像がマージンを有する領域を持っているか否かをフラグとして配信することで、マージンを利用しないクライアントは、マージン無しの全天球画像を容易に選択することができる。また、マージンを利用するクライアントは、マージン有りの全天球画像を、容易に選択することができる。
なお本技術は、その本質を逸脱しない範囲において、種々の変形例が存在しうる。
＜コンピュータ（図２９）＞
図３８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。
入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。
以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
＜その他＞
なお、本技術は、以下のような構成もとることができる。
（１）
全天球画像が、前記全天球画像の領域に、生成されたマージンを有する領域を含むことを識別するマージン識別情報を生成する識別情報生成部を備える
生成装置。
（２）
前記全天球画像の領域のマージンを生成するマージン生成部をさらに備える
前記（１）に記載の生成装置。
（３）
前記マージンは、前記領域の外側に形成される
前記（１）または（２）に記載の生成装置。
（４）
前記マージンを有する領域の領域情報は、球座標系または２次元座標系で表される
前記（２）または（３）に記載の生成装置。
（５）
前記領域情報は、projected frameまたはpacked frameの情報として表される
前記（２）乃至（４）のいずれかに記載の生成装置。
（６）
前記projected frameの前記マージンを有する領域の前記領域情報は、前記領域が前記マージンを有する場合に記述される
前記（５）に記載の生成装置。
（７）
前記packed frameの前記マージンを有する領域の前記領域情報は、前記領域がregion-wise packingされている場合に記述される
前記（５）または（６）に記載の生成装置。
（８）
前記projected frameの前記マージンを有する領域の前記領域情報は、前記projected frameの前記マージンを含む領域の幅と高さ、および前記幅と前記高さ方向の前記マージンの割り当てを識別する割り当て識別情報を含む
前記（５）乃至（７）のいずれかに記載の生成装置。
（９）
前記packed frameの前記マージンを有する領域の前記領域情報は、前記projected frameの前記マージンを含む領域の幅と高さ、および前記領域の左上の座標を含む
前記（５）乃至（８）のいずれかに記載の生成装置。
（１０）
前記packed frameの前記マージンを有する領域の前記領域情報は、前記packed frameがregion-wise packingされている場合に記述される
前記（５）乃至（９）のいずれかに記載の生成装置。
（１１）
前記割り当て識別情報は、省略される
前記（８）に記載の生成装置。
（１２）
前記projected frameの前記マージンを有する領域の前記領域情報は、省略され、前記packed frameの前記マージンを有する領域の前記領域情報のみが記述される
前記（５）乃至（１１）のいずれかに記載の生成装置。
（１３）
前記マージンは、隅に前記マージンが形成されていない非形成部を有するタイプと有しないタイプとがある
前記（１）乃至（１２）のいずれかに記載の生成装置。
（１４）
前記識別情報生成部は、前記タイプを識別するタイプ識別情報をさらに生成する
前記（１３）に記載の生成装置。
（１５）
前記projected frameの前記マージンを有する領域の前記領域情報は、前記タイプ識別情報が、前記非形成部を有しないタイプである場合に記述される
前記（１４）に記載の生成装置。
（１６）
前記領域が三角形であり、その辺に沿って前記マージンが形成されている場合、前記三角形を矩形に成形して、前記三角形に対応する前記矩形の辺に前記マージンを配置する
前記（１）乃至（１５）のいずれかに記載の生成装置。
（１７）
前記マージン識別情報は、ISOBMFFのScheme Information Boxの下のboxに記述される
前記（１）乃至（１６）のいずれかに記載の生成装置。
（１８）
前記マージン識別情報は、MPEG-DASHのMPDファイルに記述される
前記（１）乃至（１７）のいずれかに記載の生成装置。
（１９）
生成装置が、
全天球画像が、前記全天球画像の領域に、生成されたマージンを有する領域を含むことを識別するマージン識別情報を生成する識別情報生成ステップを含む
識別情報生成方法。
（２０）
全天球画像がマージンを有する領域を含むことを識別するマージン識別情報を取得する取得部と、
取得された前記マージン識別情報に基づいてprojected frameを生成する生成部と、
前記projected frameをレンダリングするレンダリング部と
を備える再生装置。
（２１）
再生装置が、
全天球画像がマージンを有する領域を含むことを識別するマージン識別情報を取得する取得ステップと、
取得された前記マージン識別情報に基づいてprojected frameを生成する生成ステップと、
前記projected frameをレンダリングするレンダリングステップと
を含む画像生成方法。
６１０ 配信システム， ６１１ 撮像装置， ６１２ 生成装置， ６１３ 配信サーバ， ６１４ 再生装置， ６１５ヘッドマウントディスプレイ， ６３１ スティッチング処理部， ６３２ マッピング処理部， ６３３ region-wise packing処理部， ６３４ エンコーダ， ６３７ ファイル生成部， ６３８ アップロード部， ７０１ ファイル取得部， ７０４ packing frame生成部， ７０５ マッピング処理部 ７０６ 描画部

Claims (18)

  1. 全天球画像がマージンを有する領域を含むことを識別するマージン識別情報を取得する取得部と、
    前記全天球画像を構成する複数の領域の画像を含むストリームと、前記マージン識別情報とに基づいて前記全天球画像を生成する生成部と
    を備える再生装置。
  2. 前記マージンは、前記領域の外側に形成される
    請求項１に記載の再生装置。
  3. 前記取得部は、球座標系または２次元座標系で表される、前記マージンを有する領域の領域情報と、前記マージン識別情報とを含むファイルを取得する
    請求項２に記載の再生装置。
  4. 前記領域情報は、projected frameまたはpacked frameの情報として表される
    請求項３に記載の再生装置。
  5. 前記projected frameの前記マージンを有する領域の前記領域情報は、前記領域が前記マージンを有する場合に記述される
    請求項４に記載の再生装置。
  6. 前記packed frameの前記マージンを有する領域の前記領域情報は、前記領域がregion-wise packingされている場合に記述される
    請求項５に記載の再生装置。
  7. 前記projected frameの前記マージンを有する領域の前記領域情報は、前記projected frameの前記マージンを含む領域の幅と高さ、および前記幅と前記高さ方向の前記マージンの割り当てを識別する割り当て識別情報を含む
    請求項６に記載の再生装置。
  8. 前記packed frameの前記マージンを有する領域の前記領域情報は、前記packed frameの前記マージンを含む領域の幅と高さ、および前記領域の左上の座標を含む
    請求項７に記載の再生装置。
  9. 前記packed frameの前記マージンを有する領域の前記領域情報は、前記packed frameがregion-wise packingされている場合に記述される
    請求項８に記載の再生装置。
  10. 前記割り当て識別情報は、省略される
    請求項７に記載の再生装置。
  11. 前記projected frameの前記マージンを有する領域の前記領域情報は、省略され、前記packed frameの前記マージンを有する領域の前記領域情報のみが記述される
    請求項８に記載の再生装置。
  12. 前記マージンは、隅に前記マージンが形成されていない非形成部を有するタイプと有しないタイプとがある
    請求項７に記載の再生装置。
  13. 前記マージンは、クロマサブサンプリングが４：２：２または４：２：０である場合、２の倍数の画素数の幅とされる
    請求項５または請求項６に記載の再生装置。
  14. 前記マージンは、８の倍数の画素数の幅、または１６の倍数の画素数の幅とされる
    請求項５または請求項６に記載の再生装置。
  15. 前記領域が三角形であり、その辺に沿って前記マージンが形成されている場合、前記三角形が矩形に成形されて、前記三角形に対応する前記矩形の辺に前記マージンが配置されている
    請求項４に記載の再生装置。
  16. 前記マージン識別情報は、ISOBMFFのScheme Information Boxの下のboxに記述される
    請求項３に記載の再生装置。
  17. 前記マージン識別情報は、MPEG-DASHのMPDファイルに記述される
    請求項３に記載の再生装置。
  18. 再生装置が、
    全天球画像がマージンを有する領域を含むことを識別するマージン識別情報を取得し、
    前記全天球画像を構成する複数の領域の画像を含むストリームと、前記マージン識別情報とに基づいて前記全天球画像を生成する
    ステップを含む画像生成方法。
JP2022008593A 2016-12-28 2022-01-24 再生装置および画像生成方法 Active JP7218826B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016255631 2016-12-28
JP2016255631 2016-12-28
JP2018559046A JP7017147B2 (ja) 2016-12-28 2017-12-15 生成装置、識別情報生成方法、再生装置および画像生成方法
PCT/JP2017/045044 WO2018123646A1 (ja) 2016-12-28 2017-12-15 生成装置、識別情報生成方法、再生装置および画像生成方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018559046A Division JP7017147B2 (ja) 2016-12-28 2017-12-15 生成装置、識別情報生成方法、再生装置および画像生成方法

Publications (2)

Publication Number Publication Date
JP2022040409A JP2022040409A (ja) 2022-03-10
JP7218826B2 true JP7218826B2 (ja) 2023-02-07

Family

ID=62707344

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018559046A Active JP7017147B2 (ja) 2016-12-28 2017-12-15 生成装置、識別情報生成方法、再生装置および画像生成方法
JP2022008593A Active JP7218826B2 (ja) 2016-12-28 2022-01-24 再生装置および画像生成方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018559046A Active JP7017147B2 (ja) 2016-12-28 2017-12-15 生成装置、識別情報生成方法、再生装置および画像生成方法

Country Status (10)

Country Link
US (1) US10846820B2 (ja)
EP (1) EP3565260A1 (ja)
JP (2) JP7017147B2 (ja)
KR (1) KR102412955B1 (ja)
CN (2) CN110115041B (ja)
AU (1) AU2017387754A1 (ja)
BR (1) BR112019012886A2 (ja)
CA (1) CA3041858A1 (ja)
RU (1) RU2019119074A (ja)
WO (1) WO2018123646A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
WO2018123645A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 生成装置、識別情報生成方法、再生装置および画像再生方法
BR112019024597A2 (pt) * 2017-05-30 2020-06-09 Sony Corp aparelho e método de processamento de imagem, programa para fazer com que um computador execute processamento, e, aparelho e método de geração de arquivo
US10873709B2 (en) * 2018-07-10 2020-12-22 Fuji Xerox Co., Ltd. Systems and methods for automatic detection and insetting of digital streams into a 360-degree video
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
EP3973684A1 (en) * 2019-05-20 2022-03-30 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Immersive media content presentation and interactive 360° video communication
WO2021029155A1 (ja) * 2019-08-14 2021-02-18 ソニー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048546A (ja) 2002-07-15 2004-02-12 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
JP2006014174A (ja) 2004-06-29 2006-01-12 Canon Inc 画像符号化装置及び方法、画像復号化装置及び方法
US20140218354A1 (en) 2013-02-06 2014-08-07 Electronics And Telecommunications Research Institute View image providing device and method using omnidirectional image and 3-dimensional data
WO2016199608A1 (ja) 2015-06-12 2016-12-15 ソニー株式会社 情報処理装置および情報処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7782357B2 (en) * 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
TWI238975B (en) * 2003-02-20 2005-09-01 Via Tech Inc Method of performing cubic mapping with texturing
KR100677142B1 (ko) * 2004-08-13 2007-02-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
JPWO2007138858A1 (ja) * 2006-05-25 2009-10-01 日本電気株式会社 映像の特殊効果検出装置、特殊効果検出方法、特殊効果検出プログラム及び映像再生装置
US8104055B2 (en) * 2007-11-14 2012-01-24 Mavs Lab. Inc. Method of identifying target synchronization point pair through scan-line image matching scheme
JP5387905B2 (ja) * 2009-12-25 2014-01-15 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5891426B2 (ja) * 2011-03-31 2016-03-23 パナソニックＩｐマネジメント株式会社 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
CN104133819B (zh) * 2013-05-03 2019-03-01 腾讯科技（深圳）有限公司 信息检索方法及装置
CN103559737A (zh) * 2013-11-12 2014-02-05 中国科学院自动化研究所 一种对象全景建模方法
JP6079728B2 (ja) * 2014-08-14 2017-02-15 コニカミノルタ株式会社 画像処理装置、画像処理方法及びプログラム
US10366509B2 (en) * 2015-03-31 2019-07-30 Thermal Imaging Radar, LLC Setting different background model sensitivities by user defined regions and background filters
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
US10404960B2 (en) * 2016-10-10 2019-09-03 Samsung Electronics Co., Ltd. System and method to prevent boundary artifacts

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048546A (ja) 2002-07-15 2004-02-12 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
JP2006014174A (ja) 2004-06-29 2006-01-12 Canon Inc 画像符号化装置及び方法、画像復号化装置及び方法
US20140218354A1 (en) 2013-02-06 2014-08-07 Electronics And Telecommunications Research Institute View image providing device and method using omnidirectional image and 3-dimensional data
WO2016199608A1 (ja) 2015-06-12 2016-12-15 ソニー株式会社 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
CN110115041B (zh) 2021-12-21
KR20190100193A (ko) 2019-08-28
KR102412955B1 (ko) 2022-06-24
CN114745534A (zh) 2022-07-12
EP3565260A4 (en) 2019-11-06
WO2018123646A1 (ja) 2018-07-05
JP7017147B2 (ja) 2022-02-08
JPWO2018123646A1 (ja) 2019-10-31
CN110115041A (zh) 2019-08-09
CA3041858A1 (en) 2018-07-05
US10846820B2 (en) 2020-11-24
RU2019119074A3 (ja) 2020-12-21
AU2017387754A1 (en) 2019-07-18
BR112019012886A2 (pt) 2019-11-26
US20190347760A1 (en) 2019-11-14
JP2022040409A (ja) 2022-03-10
EP3565260A1 (en) 2019-11-06
RU2019119074A (ru) 2020-12-21

Similar Documents

Publication Publication Date Title
JP7218826B2 (ja) 再生装置および画像生成方法
US11109013B2 (en) Method of transmitting 360-degree video, method of receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video
JP7151486B2 (ja) 生成装置、生成方法、再生装置および再生方法
EP3453170B1 (en) Method and apparatus for signaling region of interests
KR20170132098A (ko) 레거시 및 몰입형 렌더링 디바이스를 위한 몰입형 비디오를 포맷팅하는 방법, 장치 및 스트림
US10757463B2 (en) Information processing apparatus and information processing method
US20180176650A1 (en) Information processing apparatus and information processing method
US10313763B2 (en) Method and apparatus for requesting and receiving selected segment streams based on projection information
KR102545042B1 (ko) 화상 처리 장치 및 파일 생성 장치
KR20200064998A (ko) 재생 장치 및 방법, 그리고 생성 장치 및 방법
JP7243620B2 (ja) 情報処理装置およびプログラム
JPWO2020032113A1 (ja) 画像処理装置、３ｄデータ生成装置、制御プログラム及び記録媒体
JP2022044835A (ja) 画像処理装置およびファイル生成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230109

R151 Written notification of patent or utility model registration

Ref document number: 7218826

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151