JP6997219B2 - 没入型ビデオコンテンツを生成およびレンダリングする方法、システム、および媒体 - Google Patents

没入型ビデオコンテンツを生成およびレンダリングする方法、システム、および媒体 Download PDF

Info

Publication number
JP6997219B2
JP6997219B2 JP2019567351A JP2019567351A JP6997219B2 JP 6997219 B2 JP6997219 B2 JP 6997219B2 JP 2019567351 A JP2019567351 A JP 2019567351A JP 2019567351 A JP2019567351 A JP 2019567351A JP 6997219 B2 JP6997219 B2 JP 6997219B2
Authority
JP
Japan
Prior art keywords
video content
mesh
cameras
camera
user device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019567351A
Other languages
English (en)
Other versions
JP2020527873A (ja
Inventor
サミュエル・クヴァーレン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2020527873A publication Critical patent/JP2020527873A/ja
Application granted granted Critical
Publication of JP6997219B2 publication Critical patent/JP6997219B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

関連出願の相互参照
本願は、参照によりその全体を本明細書に組み込む、2017年12月13日出願の米国特許出願第15/840361号の利益を主張するものである。
開示する主題は、没入型ビデオコンテンツを生成およびレンダリングする方法、システム、および媒体に関する。
多くのユーザが、仮想現実コンテンツ、3次元コンテンツ、180度コンテンツまたは360度コンテンツなど、見る者に没入型体験を提供することができる没入型ビデオコンテンツを見てて楽しんでいる。さらに、これらのユーザは、ゲームビデオまたはアニメーションなど、没入型形式のコンピュータ生成コンテンツを見ることを楽しむこともある。
没入型ビデオコンテンツは、平坦に見えるようにではなく球の一部分を占めているかのようにビデオコンテンツのレンダリングを生じさせる魚眼メッシュ(fish-eye mesh)または3次元エクイレクタングラーメッシュ(equirectangular mesh)などのメッシュにビデオコンテンツを適用することによって、レンダリングされることが多い。ただし、コンピュータ生成コンテンツの魚眼投影または3次元エクイレクタングラー投影を用いたレンダリングは、特にグラフィックを実時間でレンダリングするときには、資源集約的になる可能性がある。
したがって、没入型ビデオコンテンツを生成およびレンダリングする新たな方法、システム、および媒体を提供することが望ましい。
没入型ビデオコンテンツを生成およびレンダリングする方法、システム、および媒体を提供する。
開示する主題のいくつかの実施形態によれば、没入型ビデオコンテンツを生成する方法が提供され、この方法は、複数のカメラのうちのカメラの位置を示す情報を受信するステップと、複数のカメラのうちのカメラの位置に基づいてビデオコンテンツが投影されるメッシュを生成するステップであり、メッシュが、多面筒体(faceted cylinder)の一部分で構成され、多面筒体が、複数のカメラのうちの1つのカメラからの投影にそれぞれ対応する複数の面を有する、ステップと、複数のカメラに対応するビデオコンテンツを受信するステップと、ユーザデバイスからのビデオコンテンツを求める要求の受信に応答して、ビデオコンテンツおよび生成したメッシュをユーザデバイスに伝送するステップと、を含む。
いくつかの実施形態では、メッシュを生成するステップは、複数の面を横に並べた配置でスティッチング(stitch)するステップを含む。
いくつかの実施形態では、この方法は、ビデオコンテンツを含むビデオファイルをユーザデバイスに伝送する前に、生成したメッシュをビデオファイルに挿入するステップをさらに含む。
いくつかの実施形態では、ビデオコンテンツは、奥行きマップを含む。
いくつかの実施形態では、この方法は、生成したメッシュを、ビデオコンテンツを投影するための第2のタイプのメッシュに変換するステップをさらに含む。いくつかの実施形態では、第2のタイプのメッシュは、魚眼投影である。
いくつかの実施形態では、この方法は、レンダリングされたビデオコンテンツアイテムに関連する生成画像情報を受信するステップと、複数のカメラのうちのカメラの位置を示す情報に基づいて、複数のカメラのうちの1つまたは複数を変位させる指示を提示させるステップと、をさらに含む。
開示する主題のいくつかの実施形態によれば、没入型ビデオコンテンツを生成するシステムが提供され、このシステムは、メモリと、メモリに記憶されたコンピュータ実行可能命令を実行したときに、複数のカメラのうちのカメラの位置を示す情報を受信することと、複数のカメラのうちのカメラの位置に基づいてビデオコンテンツが投影されるメッシュを生成することであり、メッシュが、多面筒体の一部分で構成され、多面筒体が、複数のカメラのうちの1つのカメラからの投影にそれぞれ対応する複数の面を有する、生成することと、複数のカメラに対応するビデオコンテンツを受信することと、ユーザデバイスからのビデオコンテンツを求める要求の受信に応答して、ビデオコンテンツおよび生成したメッシュをユーザデバイスに伝送することと、を行うように構成された、ハードウェアプロセッサと、を備える。
いくつかの実施形態では、ハードウェアプロセッサは、複数の面を横に並べた配置でスティッチングして、メッシュを生成するように構成される。
いくつかの実施形態では、ハードウェアプロセッサは、ビデオコンテンツを含むビデオファイルをユーザデバイスに伝送する前に、生成したメッシュをビデオファイルに挿入するようにさらに構成される。
いくつかの実施形態では、ビデオコンテンツは、奥行きマップを含む。
いくつかの実施形態では、ハードウェアプロセッサは、生成したメッシュを、ビデオコンテンツを投影するための第2のタイプのメッシュに変換するようにさらに構成される。
いくつかの実施形態では、第2のタイプのメッシュは、魚眼投影である。
いくつかの実施形態では、ハードウェアプロセッサは、レンダリングされたビデオコンテンツアイテムに関連する生成画像情報を受信し、複数のカメラのうちのカメラの位置を示す情報に基づいて、複数のカメラのうちの1つまたは複数を変位させる指示を提示させるようにさらに構成される。
開示する主題のいくつかの実施形態によれば、プロセッサによって実行されたときに、没入型ビデオコンテンツを生成する方法をプロセッサに実行させるコンピュータ実行可能命令を含む非一時的コンピュータ可読媒体が提供され、この方法は、複数のカメラのうちのカメラの位置を示す情報を受信するステップと、複数のカメラのうちのカメラの位置に基づいてビデオコンテンツが投影されるメッシュを生成するステップであり、メッシュが、多面筒体の一部分で構成され、多面筒体が、複数のカメラのうちの1つのカメラからの投影にそれぞれ対応する複数の面を有する、ステップと、複数のカメラに対応するビデオコンテンツを受信するステップと、ユーザデバイスからのビデオコンテンツを求める要求の受信に応答して、ビデオコンテンツおよび生成したメッシュをユーザデバイスに伝送するステップと、を含む。
いくつかの実施形態では、メッシュを生成するステップは、複数の面を横に並べた配置でスティッチングするステップを含む。
いくつかの実施形態では、この方法は、ビデオコンテンツを含むビデオファイルをユーザデバイスに伝送する前に、生成したメッシュをビデオファイルに挿入するステップをさらに含む。
いくつかの実施形態では、ビデオコンテンツは、奥行きマップを含む。
いくつかの実施形態では、この方法は、生成したメッシュを、ビデオコンテンツを投影するための第2のタイプのメッシュに変換するステップをさらに含む。
いくつかの実施形態では、第2のタイプのメッシュは、魚眼投影である。
いくつかの実施形態では、この方法は、レンダリングされたビデオコンテンツアイテムに関連する生成画像情報を受信するステップと、複数のカメラのうちのカメラの位置を示す情報に基づいて、複数のカメラのうちの1つまたは複数を変位させる指示を提示させるステップと、をさらに含む。
開示する主題のいくつかの実施形態によれば、没入型ビデオコンテンツを生成するシステムが提供され、このシステムは、複数のカメラのうちのカメラの位置を示す情報を受信する手段と、複数のカメラのうちのカメラの位置に基づいてビデオコンテンツが投影されるメッシュを生成する手段であり、メッシュが、多面筒体の一部分で構成され、多面筒体が、複数のカメラのうちの1つのカメラからの投影にそれぞれ対応する複数の面を有する、手段と、複数のカメラに対応するビデオコンテンツを受信する手段と、ユーザデバイスからのビデオコンテンツを求める要求の受信に応答して、ビデオコンテンツおよび生成したメッシュをユーザデバイスに伝送する手段と、を備える。
開示する主題の様々な目的、特徴、および利点は、以下の開示する主題の詳細な説明を、以下の図面と関連付けて考慮すれば、より完全に理解することができる。これらの図面では、同じ参照番号は、同じ要素を指している。
開示する主題のいくつかの実施形態による没入型ビデオコンテンツのレンダリングを示す概略図の例である。 開示する主題のいくつかの実施形態による没入型ビデオコンテンツのレンダリングを示す概略図の例である。 開示する主題のいくつかの実施形態による没入型ビデオコンテンツをレンダリングする本明細書に記載の機構を実施するのに適した例示的なシステムを示す概略図である。 開示する主題のいくつかの実施形態による図2のサーバおよび/またはユーザデバイスで使用することができるハードウェアの詳細例を示す図である。 開示する主題のいくつかの実施形態による没入型コンテンツとしてレンダリングされるビデオストリームを処理するプロセスの例を示す図である。 開示する主題のいくつかの実施形態による没入型ビデオコンテンツをレンダリングするプロセスの例を示す図である。
様々な実施形態によれば、没入型ビデオコンテンツを生成およびレンダリングする機構(方法、システム、および媒体を含む可能性がある)が提供される。
いくつかの実施形態では、本明細書に記載する機構は、ビデオコンテンツを受信または生成することができ、そのビデオコンテンツをユーザデバイス上に没入型コンテンツとしてレンダリングするために使用することができるメッシュを生成することができる。例えば、本明細書に記載する機構は、ビデオコンテンツを見る者がそのビデオコンテンツを見ているときにビデオコンテンツ内に没入しているように感じさせることができる180度ビデオコンテンツとしてビデオコンテンツをレンダリングするために使用することができるメッシュを生成することができる。別の例として、いくつかの実施形態では、本明細書に記載する機構は、ビデオコンテンツを任意の適当な空間的範囲を有する3次元ビデオコンテンツとしてレンダリングするために使用することができるメッシュを生成することもできる。
いくつかの実施形態では、本明細書に記載する機構は、ビデオコンテンツを生成または記録する1つまたは複数のカメラに関連する任意の適当な情報に基づいてメッシュを生成することができる。例えば、いくつかの実施形態では、これらの機構は、各パネルがそれぞれ対応するカメラのグループからの視野に対応しているパネルのグループを含むメッシュを生成することができる。いくつかのこのような実施形態は、図1A、図1B、および図4に関連して以下で述べるように、パネルは、横に並べた構成で配置する(例えば互いにスティッチングする)と、カメラのグループ内のカメラの累積的な視野を表す多面筒体の一部分を生成することができる。なお、いくつかの実施形態では、本明細書に記載するカメラは、ゲームビデオ、アニメーション、グラフィック、および/またはその他の適当な種類のCGコンテンツなどのコンピュータ生成(CG)コンテンツを生成するために使用されるカメラであり得ることに留意されたい。いくつかの実施形態では、ビデオコンテンツは、実時間で、またはほぼ実時間でレンダリングされるCGコンテンツであることもある。
いくつかの実施形態では、ビデオコンテンツおよび生成されたメッシュは、ユーザデバイスに伝送され、そのユーザデバイスによってレンダリングされることもある。例えば、いくつかの実施形態では、図5に関連して以下で述べるように、生成されたメッシュをビデオコンテンツを含むビデオファイルに挿入することができ、そのビデオファイルをユーザデバイスに伝送することもできる。これに加えて、または別法として、いくつかの実施形態では、生成されたメッシュは、ビデオコンテンツの魚眼投影および/またはビデオコンテンツの3次元エクイレクタングラー投影を作成する前の中間ステップとして使用することもできる。
いくつかの実施形態では、本明細書に記載する機構は、没入型コンテンツをレンダリングするのに必要な時間を短縮する効果を有することがある。特に、これらの機構は、アニメーションビデオおよび/または視覚効果などのCGコンテンツを迅速かつ効率的にユーザデバイス上にレンダリングするために使用することができる。したがって、本明細書に記載する実施形態は、プロセッサの資源をユーザデバイス上で効率的に使用することを可能にすることができる。さらに、本明細書に記載する機構は、レンダリングアプリケーションが、魚眼投影または3次元エクイレクタングラー投影など特定のタイプの3次元投影に対応していない場合に没入型コンテンツをレンダリングするために使用することもできる。
図1Aを参照すると、開示する主題のいくつかの実施形態による没入型ビデオコンテンツとしてレンダリングされるビデオコンテンツの記録および/または生成を示す概略図の例示的な例100が示してある。いくつかの実施形態では、没入型ビデオコンテンツは、見る者がそのビデオコンテンツおよび/またはその他の任意の適当なタイプのビデオコンテンツの視点を操作することを可能にすることによって、見る者がそのビデオコンテンツを見ている間、ビデオコンテンツ内に没入しているように感じさせる、3次元ビデオコンテンツ、180度ビデオコンテンツ、または360度ビデオコンテンツとすることができる。いくつかの実施形態では、ビデオコンテンツは、任意の適当な技術または技術の組合せを使用してCGビデオコンテンツを生成するコンピュータ生成(CG)カメラによって生成することができる。
図1Aに示すように、任意の適当な数(例えば2つ、3つ、および/またはその他の任意の適当な数)のカメラのグループ104を使用して、ビデオコンテンツ102(例えば5つの水平に並んだ正方形または立方体で表されるコンテンツを含む)を生成することができる。いくつかの実施形態では、各カメラを、そのカメラの視野を表すことができる視錐台106、108、および/または110などの視錐台と関連付けることができる。いくつかのこのような実施形態では、各視錐台106～110は、対応するカメラの中心から生じる角錐として表されることもある。なお、図1Aには示していないが、いくつかの実施形態では、カメラは、立体的に提示されるビデオコンテンツを記録または生成することができることに留意されたい。例えば、いくつかの実施形態では、第1のカメラが第1の位置(例えば-30ミリメートル、および/またはその他の任意の適当な位置)に位置し、第2のカメラが、第1の位置からずれた第2の位置(例えば+30ミリメートル、および/またはその他の任意の適当な位置)に位置することがある。引き続きこの例で、カメラは、合成視錐台がビデオコンテンツを取り込み、それにより1つの出力を生成することができるように(例えば横に並べて)位置決めすることができる。
なお、いくつかの実施形態では、各カメラに関連する位置情報を使用して、各カメラに関連する位置および/または配向を構成することができることに留意されたい。これにより、例えば、-30ミリメートルの第1の位置の第1のカメラの配置、および+30ミリメートルの第2の位置の第2のカメラの配置を協調させて、見る者の各目についての生成画像情報を得ることができる。さらに具体的な例では、少なくとも2つのカメラをそれぞれ有する2つのカメラリグ(rig)を、以下のように1つの出力を生成するように構成することができる。
左カメラリグ:pos.x=-0.032m
左カメラ:rotation.y=-30°、fov=60°、ビューポートの0%から25%を占める
右カメラ:rotation.y=30°、fov=60°、ビューポートの25%から50%を占める
右カメラリグ:pos.x=+0.032m
左カメラ:rotation.y=-30°、fov=60°、ビューポートの50%から75%を占める
右カメラ:rotation.y=30°、fov=60°、ビューポートの75%から100%を占める
いくつかの実施形態では、各カメラに関連する位置情報の受信および解析に応答して、1つまたは複数のカメラを特定の距離だけ再位置決めするなどして変位させる命令が提示されることもある。例えば、ゲームエンジンは、複数のカメラでレンダリングを行うことができる。特定の位置に配置された複数のカメラからの出力の受信に応答して、ゲームエンジンは、レンダリングされたビデオコンテンツアイテムに関連する生成画像情報を受信することができ、カメラの位置を示す情報に基づいてカメラのうちの1つまたは複数を変位させる指示を提示させることができる。さらに具体的な例では、生成画像情報に基づいて、ゲームエンジンは、左カメラリグの左カメラの位置を-0.032mから-0.030mに移動させるという通知を提示することもある。
図1Bを参照すると、開示する主題のいくつかの実施形態による、カメラ位置に基づくメッシュを用いたビデオコンテンツの投影を示す概略図の例示的な例150が示してある。図示のように、各カメラによって作成される画像を使用してパネル(例えばパネル156、158、および/または160)を作成することができ、ここで、各パネルは、図1Aのグループ104内の関連するカメラの視野に対応する視野に及ぶ。例えば、グループ104内の各カメラが50度の水平視野を有し、50度ずらして配向されている場合には、パネル156～160は、それぞれが50度の視野を有することができる。いくつかの実施形態では、パネル156～160は、例えば多面筒体の側面として位置付けるなど、横に並べて位置付けることができる。したがって、各パネル156～160は、多面筒体の面に対応することがある。いくつかのこのような実施形態では、横に並べて位置付けることができるパネル156～160は、カメラのグループ104内の各カメラの視野の合計にほぼ相当する全視野を有する多面筒体の一部分を形成することができる。例えば、グループ104内の各カメラが50度の水平視野を有し、グループ104内に3つのカメラがある場合には、パネル156～160は、150度に及ぶ多面筒体の一部分を表すことができる。引き続きこの例で、図1Bは、3パネル/150度メッシュを使用して、それぞれが50度の水平視野を有する3つのカメラからの平坦投影コンテンツを投影することができる。すなわち、カメラの投影パネルに対応するパネルをカメラごとに含むメッシュが作成される。図1Aおよび図1Bに示すようにカメラが3つである場合には、作成されるメッシュは、3つの面を有する部分円筒であることがある。いくつかの実施形態では、パネル156～160は、任意に適当に回転した3次元空間内の平面をそれぞれ表すことができる。
本明細書に記載する実施形態は、一般に、180度など特定の角度の全視野に関するが、これは単なる例示に過ぎない。いくつかの実施形態では、全視野は、任意の値(例えば140度、124度、250度など)にすることができることに留意されたい。また、垂直視野と水平視野とが異なる値であってもよいことにも留意されたい。
さらに、本明細書に記載する実施形態は、一般に、多面筒体を表すように構成することができるメッシュに関するが、これは単なる例示に過ぎないことに留意されたい。いくつかの実施形態では、各カメラごとに、そのカメラの視錐台に対応する3次元空間内のパネルが作成され、これらのパネルが、任意の適当な形状に使用されることもある。例えば、その形状は、接触しない、または組み合わされないパネルで形成され、それらのパネルが連続的な形状を形成しないようになっていることもある。さらに具体的な例では、4つのカメラを前に向けて構成し、左上方向、右上方向、左下方向、および右下方向に向けて斜めにして、それらのカメラの視錐台が中心位置で重なり合うことができるようにすることもある。引き続きこの例で、これらのカメラのそれぞれに対して作成される対応するパネルは、接触する縁部を有することなく、3次元空間内で重なり合う縁部を有することもある。
図2を参照すると、開示する主題のいくつかの実施形態に従って使用することができる、没入型ビデオコンテンツをレンダリングするハードウェアの例示的な例200が示してある。図示のように、ハードウェア200は、コンテンツサーバ202、通信ネットワーク204、ならびに/またはユーザデバイス208および210など1つもしくは複数のユーザデバイス206を含むことがある。
コンテンツサーバ202は、メディアコンテンツを記憶し、かつ/またはユーザデバイス206に提供する、任意の適当なサーバ(1つまたは複数)とすることができる。例えば、いくつかの実施形態では、コンテンツサーバ202は、ビデオ、テレビジョン番組、映画、ライブストリーミングメディアコンテンツ、オーディオコンテンツ、アニメーション、ビデオゲームコンテンツ、グラフィック、および/またはその他の任意の適当なメディアコンテンツなどのメディアコンテンツを記憶することができる。いくつかの実施形態では、コンテンツサーバ202は、例えば通信ネットワーク204を介して、ユーザデバイス206にメディアコンテンツを伝送することができる。いくつかの実施形態では、図4に示し、図4に関連して以下で説明するように、コンテンツサーバ202は、クライアントデバイス(例えばユーザデバイス206)がビデオコンテンツを没入型コンテンツとしてレンダリングするために使用する任意の適当な情報と関連付けて、ビデオコンテンツ(例えばライブビデオコンテンツ、コンピュータ生成ビデオコンテンツ、および/またはその他の任意の適当なタイプのビデオコンテンツ)を記憶することができる。
通信ネットワーク204は、いくつかの実施形態では、1つまたは複数の有線ネットワークおよび/またはワイヤレスネットワークの任意の適当な組合せとすることができる。例えば、通信ネットワーク204は、インターネット、イントラネット、広域ネットワーク(WAN)、ローカルエリアネットワーク(LAN)、ワイヤレスネットワーク、デジタル加入者回線(DSL)ネットワーク、フレームリレーネットワーク、非同期転送モード(ATM)ネットワーク、仮想私設ネットワーク(VPN)、および/またはその他の任意の適当な通信ネットワークのうちの任意の1つもしくは複数を含む可能性がある。ユーザデバイス206は、1つまたは複数の通信リンク(例えば通信リンク212)によって通信ネットワーク204に接続することができ、通信ネットワーク204は、1つまたは複数の通信リンク(例えば通信リンク214)を介してコンテンツサーバ202にリンクすることができる。通信リンクは、ネットワークリンク、ダイヤルアップリンク、ワイヤレスリンク、ハードワイヤードリンク、その他の任意の適当な通信リンク、またはそれらのリンクの任意の適当な組合せなど、ユーザデバイス206およびコンテンツサーバ202の間でデータを通信するのに適した任意の通信リンクとすることができる。
ユーザデバイス206は、ビデオコンテンツを要求し、要求したビデオコンテンツを没入型ビデオコンテンツとして(例えば仮想現実コンテンツとして、3次元コンテンツとして、360度ビデオコンテンツとして、180度ビデオコンテンツとして、かつ/またはその他の任意の適当な方法で)レンダリングし、かつ/あるいはその他の任意の適当な機能を実行するのに適した、任意の1つまたは複数のユーザデバイスを含む可能性がある。例えば、いくつかの実施形態では、ユーザデバイス206は、携帯電話、タブレットコンピュータ、ウェアラブルコンピュータ、ラップトップコンピュータ、仮想現実ヘッドセット、乗物(例えば自動車、ボート、航空機、もしくはその他の任意の適当な乗物)用の情報もしくはエンタテインメントシステム、および/またはその他の任意の適当なモバイルデバイスなどのモバイルデバイス、ならびに/あるいは任意の適当な非モバイルデバイス(例えばデスクトップコンピュータ、ゲームコンソール、および/またはその他の任意の適当な非モバイルデバイス)を含む可能性がある。別の例として、いくつかの実施形態では、ユーザデバイス206は、テレビジョン、プロジェクタデバイス、ゲームコンソール、デスクトップコンピュータ、および/またはその他の任意の適当な非モバイルデバイスなどのメディア再生デバイスを含む可能性もある。
コンテンツサーバ202は、1つのデバイスとして示してあるが、コンテンツサーバ202によって実行される機能は、いくつかの実施形態では、任意の適当な数のデバイスを用いて実行されることもある。例えば、いくつかの実施形態では、複数のデバイスを使用して、コンテンツサーバ202によって実行される機能を実施することもできる。
図面を不要に複雑にすることを避けるために、図2には2つのユーザデバイス208および210を示しているが、いくつかの実施形態では、任意の適当な数のユーザデバイス、および/または任意の適当なタイプのユーザデバイスを使用することができる。
コンテンツサーバ202およびユーザデバイス206は、いくつかの実施形態では、任意の適当はハードウェアを使用して実施することができる。例えば、いくつかの実施形態では、デバイス202および206は、任意の適当な汎用コンピュータまたは特殊目的コンピュータを使用して実施することができる。例えば、特殊目的コンピュータを使用して、携帯電話を実施することもある。任意のこのような汎用コンピュータまたは特殊目的コンピュータは、任意の適当なハードウェアを含む可能性がある。例えば、図3の例示的なハードウェア300に示すように、このようなハードウェアは、ハードウェアプロセッサ302と、メモリおよび/またはストレージ304と、入力デバイス制御装置306と、入力デバイス308、ディスプレイ/オーディオドライバ310、ディスプレイおよびオーディオ出力回路312と、通信インタフェース(1つまたは複数)314と、アンテナ316と、バス318とを含むことがある。
ハードウェアプロセッサ302は、いくつかの実施形態では、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(1つまたは複数)、専用論理、および/あるいは汎用コンピュータまたは特殊目的コンピュータの機能を制御するその他の任意の適当な回路など、任意の適当なハードウェアプロセッサを含む可能性がある。いくつかの実施形態では、ハードウェアプロセッサ302は、サーバ(例えばコンテンツサーバ202など)のメモリおよび/またはストレージ304に記憶されたサーバプログラムによって制御されることがある。例えば、いくつかの実施形態では、サーバプログラムは、ハードウェアプロセッサ302に、メディアコンテンツアイテムをユーザデバイス206に伝送させ、ビデオストリームを没入型ビデオコンテンツとして提示/レンダリングする命令を伝送させ、かつ/またはその他の任意の適当なアクションを実行させることができる。いくつかの実施形態では、ハードウェアプロセッサ302は、ユーザデバイス206のメモリおよび/またはストレージ304に記憶されたコンピュータプログラムによって制御されることもある。例えば、コンピュータプログラムは、ハードウェアプロセッサ302に、ビデオストリームを没入型ビデオコンテンツとしてレンダリングさせ、かつ/またはその他の任意の適当なアクションを実行させることができる。
メモリおよび/またはストレージ304は、いくつかの実施形態では、プログラム、データ、メディアコンテンツ、および/またはその他の任意の適当な情報を記憶する任意の適当なメモリおよび/またはストレージとすることができる。例えば、メモリおよび/またはストレージ304は、ランダムアクセスメモリ、読取り専用メモリ、フラッシュメモリ、ハードディスクストレージ、光学媒体、および/またはその他の任意の適当なメモリを含む可能性がある。
入力デバイス制御装置306は、いくつかの実施形態では、1つまたは複数の入力デバイス308からの入力の制御および受取りを行う任意の適当な回路とすることができる。例えば、入力デバイス制御装置306は、タッチスクリーン、キーボード、マウス、1つまたは複数のボタン、音声認識回路、マイクロフォン、カメラ、光センサ、加速度計、温度センサ、近距離場センサ、および/またはその他の任意のタイプの入力デバイスから入力を受け取る回路である可能性がある。
ディスプレイ/オーディオドライバ310は、いくつかの実施形態では、1つまたは複数のディスプレイ/オーディオ出力デバイス312への出力を制御および駆動する任意の適当な回路とすることができる。例えば、ディスプレイ/オーディオドライバ310は、タッチスクリーン、フラットパネルディスプレイ、陰極線管ディスプレイ、プロジェクタ、1つまたは複数のスピーカ、ならびに/あるいはその他の任意の適当な表示および/または提示デバイスを駆動する回路である可能性がある。
通信インタフェース(1つまたは複数)314は、図2に示すネットワーク204などの1つまたは複数の通信ネットワークとのインタフェースをとる任意の適当な回路とすることができる。例えば、インタフェース(1つまたは複数)314は、ネットワークインタフェースカード回路、ワイヤレス通信回路、および/またはその他の任意のタイプの通信ネットワーク回路を含む可能性がある。
アンテナ316は、いくつかの実施形態では、通信ネットワーク(例えば通信ネットワーク204)とワイヤレス通信する任意の適当な1つまたは複数のアンテナとすることができる。いくつかの実施形態では、アンテナ316は、省略されることもある。
バス318は、いくつかの実施形態では、2つ以上の構成要素302、304、306、310、および314の間の通信を行う任意の適当な機構とすることができる。
いくつかの実施形態によれば、その他の任意の適当な構成要素が、ハードウェア300に含まれる可能性がある。
図4を参照すると、開示する主題のいくつかの実施形態による没入型ビデオコンテンツを生成するプロセスの例示的な例400が示してある。いくつかの実施形態では、プロセス400のブロックは、ビデオコンテンツを記憶し、記憶したビデオコンテンツをユーザデバイスに伝送するコンテンツサーバ(例えば図2に示し、図2に関連して上述したコンテンツサーバ202)など、任意の適当なデバイスによって実行することができる。
プロセス400は、402で、ビデオコンテンツを投影することができるメッシュを生成することで開始することがある。コンテンツサーバ202上でメッシュを生成することにより、計算資源(例えば処理資源および/またはメモリ資源)が限られている可能性があるユーザデバイス上で計算資源が嵩むことを回避することができる。いくつかの実施形態では、メッシュは、ビデオコンテンツを生成するために使用されるカメラの数、および/またはビデオコンテンツを生成するために使用されるそれらのカメラの位置に基づいて、生成することができる。例えば、いくつかの実施形態では、メッシュに含まれるパネルの数は、図1Aおよび図1Bに示し、図1Aおよび図1Bに関連して上述したように、ビデオコンテンツを記録または生成するために使用されるカメラの数に基づくことがある。別の例として、いくつかの実施形態では、メッシュによって表される視野は、ビデオコンテンツを記録または生成するために使用されるカメラの視野に基づくことがある。さらに具体的な例として、N個のカメラがそれぞれX度の水平視野を有する場合には、メッシュによって表される水平視野は、N×Xとすることができる。具体例として、50度の視野をそれぞれ有する3つのカメラによってビデオコンテンツを記録または生成する場合には、メッシュは、50度の視野をそれぞれ表す3つのパネルを含むことがある。引き続きこの例で、いくつかの実施形態では、メッシュは、多面筒体の150度を表すように配列された3つのパネルを含むことがある。いくつかの実施形態では、このメッシュのパネルは、横に並べた配向で配置するなど、任意の適当なかたちで配列または位置決めすることができる。いくつかの実施形態では、これらのパネルは、ビデオコンテンツを生成するために使用されるカメラの配向に基づくことがある任意の適当な回転は以降を有することがある。
なお、本明細書では、生成されるメッシュは、一般に多面筒体の一部分を表すものとして説明しているが、いくつかの実施形態では、生成されるメッシュは、任意の適当な形状を有することができることに留意されたい。例えば、いくつかの実施形態では、1つまたは複数のパネルを上下配置で配列し、それにより垂直視野を調節することもできる。別の例として、いくつかの実施形態では、隣接する各パネル間で特定の量の重複が生じるようにパネルを配列することもできる。
404で、プロセス400は、ビデオコンテンツまたは任意の適当なビデオ情報を受信することができる。例えば、いくつかの実施形態では、プロセス400は、ブロック402に関連して上述したようにCGコンテンツを生成するカメラのグループ(例えば2つ、3つ、および/またはその他の任意の適当な数)からビデオコンテンツを受信することができる。いくつかの実施形態では、ビデオコンテンツを生成するために使用されるカメラは、任意の適当なタイプのカメラとすることができる。例えば、いくつかの実施形態では、カメラは、任意の適当なコンピュータグラフィックス技術(1つまたは複数)を使用して、ビデオゲーム、アニメーション、および/またはその他の任意の適当なタイプのCGビデオコンテンツで使用されるビデオコンテンツを生成する、CGカメラであることもある。なお、いくつかの実施形態では、ビデオコンテンツは、様々なタイプのビデオコンテンツの組合せであることもあることに留意されたい。例えば、いくつかの実施形態では、プロセス400は、記録されたビデオコンテンツの一部分と、その記録されたビデオコンテンツに重畳される、オーバレイ、グラフィック、テキスト、および/またはその他の任意の適当なタイプのCGコンテンツなどのCGビデオコンテンツの一部分とを受信することもある。さらに具体的な例として、いくつかの実施形態では、CGビデオの部分が、他のビデオコンテンツにオーバレイされる視覚効果、タイトル、クレジット、および/またはその他の任意の適当なコンテンツを含むこともある。
いくつかの実施形態では、プロセス400は、任意の適当な解像度(例えば立体コンテンツの片目3840×2160、片目1920×2160、および/またはその他の任意の適当な解像度)でビデオコンテンツを受信することができる。いくつかの実施形態では、受信ビデオコンテンツは、任意の適当な奥行き情報を含む可能性がある。例えば、いくつかの実施形態では、受信CGビデオコンテンツは、ビデオコンテンツの各画素の距離を表す奥行きマップを含むこともある。さらに具体的な例として、いくつかの実施形態では、奥行きマップは、ビデオコンテンツの画素についての様々な価を含み、各値が、その画素のコンテンツの距離を表すこともある。特に、ビデオコンテンツの各画素について、奥行きマップは、その画素で取り込まれたシーンオブジェクトと、そのシーンオブジェクトのビデオコンテンツを取り込むために使用されるカメラとの間の距離を表す値を含む。いくつかの実施形態では、奥行きマップを使用して、ビデオコンテンツを立体的にレンダリングすることもできる。
なお、いくつかの実施形態では、ビデオコンテンツが特定のアプリケーション(例えばゲームまたはゲームコンソールに関連するアプリケーション、および/あるいはその他の任意の適当なタイプのアプリケーション)によってレンダリングされる場合には、プロセス400は、任意の適当な技術または技術の組合せを使用して、レンダリングされたコンテンツを記録することができることに留意されたい。例えば、いくつかの実施形態では、プロセス400は、アプリケーションに関連するアプリケーションプログラミングインタフェース(API)を使用してビデオコンテンツを記録することができる。
いくつかの実施形態では、プロセス400は、受信ビデオコンテンツを任意の適当な方法で処理または操作することができる。例えば、いくつかの実施形態では、プロセス400は、受信ビデオコンテンツを複製して、立体的にレンダリングされるビデオコンテンツを生成することができる。さらに具体的な例として、いくつかの実施形態では、プロセス400は、受信ビデオコンテンツを複製して、任意の適当な距離(例えば30ミリメートル、60ミリメートル、および/またはその他の任意の適当なずれ)だけずれた2つのバージョンのビデオコンテンツを生成することができる。ここで、第1のバージョンは、見る者の左目に送達され、第2のバージョンは、見る者の右目に送達される。
プロセス400は、406で、このビデオコンテンツを、生成したメッシュと関連付けて記憶することができる。例えば、いくつかの実施形態では、プロセス400は、ビデオコンテンツおよび生成したメッシュを、コンテンツサーバ202などのコンテンツサーバ上に記憶して、任意の適当な時点に(例えば図5に関連して以下で述べるようにユーザデバイスからの要求に応答して)ユーザデバイスに送達されるようにすることもある。いくつかの実施形態では、プロセス400は、ビデオコンテンツを、任意の適当な方法で生成したメッシュと関連付けて記憶することもできる。例えば、いくつかの実施形態では、メッシュを表す任意の適当なデータ(例えばメッシュのパネルの位置、メッシュのパネルのサイズ、メッシュのパネルの配向、および/またはその他の任意のデータ)を、ビデオコンテンツに関連するビデオファイルに挿入することもできる。
なお、いくつかの実施形態では、ブロック402で生成されるメッシュは、プロセス400において、魚眼投影、クロップ式(cropped)エクイレクタングラー投影、および/またはその他の任意のタイプの投影などの球面投影を使用してビデオコンテンツをレンダリングするための異なるメッシュを生成するための中間ステップとして使用されることもあることに留意されたい。例えば、ブロック402で生成されるメッシュは、クロップ式エクイレクタングラーメッシュに変換することができる。
図5を参照すると、開示する主題のいくつかの実施形態による没入型ビデオコンテンツをレンダリングするプロセスの例示的な例500が示してある。いくつかの実施形態では、プロセス500のブロックは、仮想現実ヘッドセット、ゲームコンソール、携帯電話、タブレットコンピュータ、テレビジョン、および/またはその他の任意の適用なユーザデバイスなど、任意の適当なデバイスによって実行することができる。
プロセス500は、502で、ユーザデバイス上で提示するビデオストリームを要求することによって開始することがある。いくつかの実施形態では、ビデオストリームは、コンテンツサーバからユーザデバイスにストリーミングされるビデオ、および/またはその他の任意の適当なタイプのビデオストリームなど、任意の適当なタイプのビデオストリームとすることができる。いくつかの実施形態では、ビデオストリームは、ユーザデバイス上で任意の適当な方法で要求することができる。例えば、いくつかの実施形態では、ビデオストリームは、ユーザデバイスのユーザが利用可能なビデオコンテンツを示すページからビデオストリームを選択したのに応答して、かつ/またはその他の任意の適当な方法で、要求することができる。ビデオストリームを求める要求は、ユーザデバイスからコンテンツサーバ(例えば図2に示し、図2に関連して上述したコンテンツサーバ202)に伝送することもできる。
プロセス500は、502で伝送された要求に応答して、504で、ビデオストリームと、ビデオストリームをレンダリングするために使用される対応するメッシュとを受信することができる。例えば、いくつかの実施形態では、ビデオストリームおよび対応するメッシュは、図4に関連して上述したように、ビデオコンテンツを記憶し、かつ/またはメッシュを生成したコンテンツサーバ(例えば図2に示し、図2に関連して上述したコンテンツサーバ202)から受信することもある。いくつかの実施形態では、ビデオストリームおよび対応するメッシュは、任意の適当な方法で受信することができる。例えば、いくつかの実施形態では、メッシュが、ビデオストリームを含むファイルに挿入されることもあり、プロセス500は、任意の適当な技術または技術の組合せを使用してファイルからメッシュを抽出することもある。なお、任意の適当な手法を使用して、対応するメッシュをビデオストリームに注入することができることに留意されたい。
プロセス500は、506で、任意の適当な技術または技術の組合せを使用して、ユーザデバイス上でビデオストリームを没入型コンテンツとしてレンダリングすることができる。例えば、いくつかの実施形態では、プロセス500は、ビデオストリームをメッシュ上に適用または投影して、ビデオストリームを没入型コンテンツとしてレンダリングすることができる。さらに具体的な例として、いくつかの実施形態では、プロセス500は、任意の適当な技術(例えばUVマッピング、および/またはその他の任意の適当な技術(1つまたは複数))を使用して、ビデオストリームのコンテンツをテクスチャとしてメッシュにマッピングすることができる。別の例として、いくつかの実施形態では、プロセス500は、ビデオストリームの第1の部分をユーザデバイスの見る者の左目に提示し、ビデオストリームの第2の部分をユーザデバイスの見る者の右目に提示することによって、ビデオストリームを立体コンテンツとしてレンダリングすることもできる。いくつかのこのような実施形態では、ビデオストリームの第1の部分と、ビデオストリームの第2の部分とを、ユーザデバイス上でレンダリングする前にメッシュ上に別々に適用または投影することもできる。
いくつかの実施形態では、プロセス500は、ビデオストリームを見る者が操作または対話することができる没入型コンテンツとして、ビデオストリームをレンダリングすることができる。例えば、いくつかの実施形態では、プロセス500は、見る者がビデオストリームの視点を変更できるようにすることができるようにビデオストリームをレンダリングすることができる。さらに具体的な例として、いくつかの実施形態では、見る者が仮想現実ヘッドセットまたはその他のウェアラブルコンピュータを使用している場合には、プロセス500は、見る者が自分の頭の向きを変えたとの判定に応答して、ビデオストリームの提示される視点を変更することもできる。別のさらに具体的な例として、いくつかの実施形態では、プロセス500は、見る者がビデオストリームが提示されているユーザインタフェースを選択してドラッグするなど、視点を操作するためのジェスチャをユーザデバイス上で入力したとの決定に応答して、ビデオストリームの提示される視点を変更することもできる。
いくつかの実施形態では、図4および図5のプロセスの上述したブロックのうちの少なくとも一部は、これらの図面に示し、これらの図面に関連して説明した順序および順番に限定されない任意の順序または順番で実行または実施することができる。また、図4および図5の上記のブロックのうちの一部は、適当である場合には実質的に同時に、または並列に実行または実施して、待ち時間および処理時間を短縮することもできる。これに加えて、または別法として、図4および図5のプロセスの上述したブロックのうちの一部は、省略されることもある。
いくつかの実施形態では、任意の適当なコンピュータ可読媒体を使用して、本明細書の機能および/またはプロセスを実行する命令を記憶することができる。例えば、いくつかの実施形態では、コンピュータ可読媒体は、一時的なものであっても、非一時的なものであってもよい。例えば、非一時的コンピュータ可読媒体は、非一時的な形態の磁気媒体(ハードディスク、フロッピーディスク、および/またはその他の任意の適当な磁気媒体)、非一時的な形態の光学媒体(コンパクトディスク、デジタルビデオディスク、Blu-ray(登録商標)ディスク、および/またはその他の任意の適当な光学媒体)、非一時的な形態の半導体媒体(フラッシュメモリ、電気的プログラム可能読取り専用メモリ(EPROM)、電気的消去可能読取り専用メモリ(EEPROM)、および/またはその他の任意の適当な半導体媒体)、過渡的でない、または伝送中に持続するように見える任意の適当な媒体、ならびに/あるいは任意の適当な有形媒体を含む可能性がある。別の例として、一時的コンピュータ可読媒体は、ネットワーク上の信号、配線内の信号、同体内の信号、光ファイバ内の信号、回路内の信号、過渡的な、または伝送中に持続するように見えない任意の適当な媒体、ならびに/あるいは任意の適当な非有形媒体を含む可能性がある。
本明細書に記載するシステムがユーザについての個人情報を収集する、または個人情報を利用する状況では、ユーザに対して、プログラムまたは機構がユーザ情報(ユーザのソーシャルネットワーク、ユーザのソーシャルアクションまたは活動、職業、ユーザの好み、またはユーザの現在位置についての情報)を収集するかどうかを制御する機会が与えられることもある。さらに、特定のデータは、記憶または使用される前に1つまたは複数の方法で処理されて、個人情報が除去されることもある。例えば、ユーザについての個人を特定できる情報を決定することができないように、ユーザの識別が処理される、あるいはユーザの具体的な位置を決定することができないように、位置情報(町レベル、郵便番号レベル、または州レベルなど)が得られるユーザの地理学的位置が一般化されることもある。よって、ユーザは、ユーザについての情報が、コンテンツサーバによってどのように収集され、使用されるかについて制御することができる。
したがって、没入型ビデオコンテンツをレンダリングする方法、システム、および媒体が提供される。
上記の例示的な実施形態において本発明を説明および例示したが、本開示は、例示のみを目的としてなされたものに過ぎないこと、ならびに後記の特許請求の範囲によってのみ限定される本発明の趣旨および範囲を逸脱することなく、本発明の実施の詳細に多数の変更を加えることができることを理解されたい。開示した実施形態の特徴は、様々に組み合わせ、再構成することができる。
102 ビデオコンテンツ
104 カメラのグループ
106 視錐台
108 視錐台
110 視錐台
156 パネル
158 パネル
160 パネル
200 ハードウェア
202 コンテンツサーバ
204 通信ネットワーク
206 ユーザデバイス
208 ユーザデバイス
210 ユーザデバイス
212 通信リンク
214 通信リンク
300 ハードウェア
302 ハードウェアプロセッサ
304 メモリおよび/またはストレージ
306 入力デバイス制御装置
308 入力デバイス
310 ディスプレイ/オーディオドライバ
312 ディスプレイおよびオーディオ出力回路
314 通信インタフェース
316 アンテナ
318 バス

Claims (21)

  1. 没入型ビデオコンテンツを生成する方法であって、
    複数のカメラのうちのカメラの位置を示す情報を、ハードウェアプロセッサによって受信するステップと、
    前記複数のカメラのうちの前記カメラの前記位置に基づいてビデオコンテンツが投影されるメッシュを、前記ハードウェアプロセッサによって生成するステップであり、前記メッシュが、多面筒体の一部分で構成され、前記多面筒体が、前記複数のカメラのうちの1つのカメラからの投影にそれぞれ対応する複数の面を有する、ステップと、
    前記複数のカメラの前記位置の1つまたは複数を、前記カメラの前記投影が所定の重複量だけ隣接するカメラの投影と重なり合うように再位置決めさせるステップと、
    前記複数のカメラに対応するビデオコンテンツを、前記ハードウェアプロセッサによって受信するステップと、
    ユーザデバイスからの前記ビデオコンテンツを求める要求の受信に応答して、前記ビデオコンテンツおよび前記生成したメッシュを前記ユーザデバイスに、前記ハードウェアプロセッサによって伝送するステップと、を含む、方法。
  2. 前記メッシュを生成するステップが、前記複数の面を横に並べた配置でスティッチングするステップを含む、請求項1に記載の方法。
  3. 前記ビデオコンテンツを含むビデオファイルを前記ユーザデバイスに伝送する前に、前記生成したメッシュを前記ビデオファイルに、前記ハードウェアプロセッサによって挿入するステップをさらに含む、請求項1または2に記載の方法。
  4. 前記ビデオコンテンツが、奥行きマップを含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記生成したメッシュを、ビデオコンテンツを投影するための第2のタイプのメッシュに、前記ハードウェアプロセッサによって変換するステップをさらに含む、請求項1から4のいずれか一項に記載の方法。
  6. 前記第2のタイプのメッシュが、魚眼投影である、請求項5に記載の方法。
  7. レンダリングされたビデオコンテンツアイテムに関連する生成画像情報を、前記ハードウェアプロセッサによって受信するステップと、
    前記複数のカメラのうちのカメラの前記位置を示す前記情報に基づいて、前記複数のカメラのうちの1つまたは複数を変位させる指示を、前記ハードウェアプロセッサによって提示させるステップと、をさらに含む、請求項1から6のいずれか一項に記載の方法。
  8. 没入型ビデオコンテンツを生成するシステムであって、
    メモリと、
    前記メモリに記憶されたコンピュータ実行可能命令を実行したときに、
    複数のカメラのうちのカメラの位置を示す情報を受信することと、
    前記複数のカメラのうちの前記カメラの前記位置に基づいてビデオコンテンツが投影されるメッシュを生成することであり、前記メッシュが、多面筒体の一部分で構成され、前記多面筒体が、前記複数のカメラのうちの1つのカメラからの投影にそれぞれ対応する複数の面を有する、生成することと、
    前記複数のカメラの前記位置の1つまたは複数を、前記カメラの前記投影が所定の重複量だけ隣接するカメラの投影と重なり合うように再位置決めさせることと、
    前記複数のカメラに対応するビデオコンテンツを受信することと、
    ユーザデバイスからの前記ビデオコンテンツを求める要求の受信に応答して、前記ビデオコンテンツおよび前記生成したメッシュを前記ユーザデバイスに伝送することと、を行うように構成された、ハードウェアプロセッサと、を備える、システム。
  9. 前記ハードウェアプロセッサが、前記複数の面を横に並べた配置でスティッチングして、前記メッシュを生成するように構成される、請求項8に記載のシステム。
  10. 前記ハードウェアプロセッサが、前記ビデオコンテンツを含むビデオファイルを前記ユーザデバイスに伝送する前に、前記生成したメッシュを前記ビデオファイルに挿入するようにさらに構成される、請求項8または9に記載のシステム。
  11. 前記ビデオコンテンツが、奥行きマップを含む、請求項8から10のいずれか一項に記載のシステム。
  12. 前記ハードウェアプロセッサが、前記生成したメッシュを、ビデオコンテンツを投影するための第2のタイプのメッシュに変換するようにさらに構成される、請求項8から11のいずれか一項に記載のシステム。
  13. 前記第2のタイプのメッシュが、魚眼投影である、請求項12に記載のシステム。
  14. 前記ハードウェアプロセッサが、
    レンダリングされたビデオコンテンツアイテムに関連する生成画像情報を受信し、
    前記複数のカメラのうちのカメラの前記位置を示す前記情報に基づいて、前記複数のカメラのうちの1つまたは複数を変位させる指示を提示させるようにさらに構成される、請求項8から13のいずれか一項に記載のシステム。
  15. プロセッサによって実行されたときに、没入型ビデオコンテンツを生成する方法を前記プロセッサに実行させるコンピュータ実行可能命令を含むコンピュータ可読記憶媒体であって、前記方法が、
    複数のカメラのうちのカメラの位置を示す情報を受信するステップと、
    前記複数のカメラのうちの前記カメラの前記位置に基づいてビデオコンテンツが投影されるメッシュを生成するステップであり、前記メッシュが、多面筒体の一部分で構成され、前記多面筒体が、前記複数のカメラのうちの1つのカメラからの投影にそれぞれ対応する複数の面を有する、ステップと、
    前記複数のカメラの前記位置の1つまたは複数を、前記カメラの前記投影が所定の重複量だけ隣接するカメラの投影と重なり合うように再位置決めさせるステップと、
    前記複数のカメラに対応するビデオコンテンツを受信するステップと、
    ユーザデバイスからの前記ビデオコンテンツを求める要求の受信に応答して、前記ビデオコンテンツおよび前記生成したメッシュを前記ユーザデバイスに伝送するステップと、を含む、コンピュータ可読記憶媒体。
  16. 前記メッシュを生成するステップが、前記複数の面を横に並べた配置でスティッチングするステップを含む、請求項15に記載のコンピュータ可読記憶媒体。
  17. 前記方法が、前記ビデオコンテンツを含むビデオファイルを前記ユーザデバイスに伝送する前に、前記生成したメッシュを前記ビデオファイルに挿入するステップをさらに含む、請求項15または16に記載のコンピュータ可読記憶媒体。
  18. 前記ビデオコンテンツが、奥行きマップを含む、請求項15から17のいずれか一項に記載のコンピュータ可読記憶媒体。
  19. 前記方法が、前記生成したメッシュを、ビデオコンテンツを投影するための第2のタイプのメッシュに変換するステップをさらに含む、請求項15から18のいずれか一項に記載のコンピュータ可読記憶媒体。
  20. 前記第2のタイプのメッシュが、魚眼投影である、請求項19に記載のコンピュータ可読記憶媒体。
  21. 前記方法が、
    レンダリングされたビデオコンテンツアイテムに関連する生成画像情報を受信するステップと、
    前記複数のカメラのうちのカメラの前記位置を示す前記情報に基づいて、前記複数のカメラのうちの1つまたは複数を変位させる指示を提示させるステップと、をさらに含む、請求項15から20のいずれか一項に記載のコンピュータ可読記憶媒体。
JP2019567351A 2017-12-13 2018-09-14 没入型ビデオコンテンツを生成およびレンダリングする方法、システム、および媒体 Active JP6997219B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/840,361 US11012676B2 (en) 2017-12-13 2017-12-13 Methods, systems, and media for generating and rendering immersive video content
US15/840,361 2017-12-13
PCT/US2018/051072 WO2019118028A1 (en) 2017-12-13 2018-09-14 Methods, systems, and media for generating and rendering immersive video content

Publications (2)

Publication Number Publication Date
JP2020527873A JP2020527873A (ja) 2020-09-10
JP6997219B2 true JP6997219B2 (ja) 2022-01-17

Family

ID=63998733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019567351A Active JP6997219B2 (ja) 2017-12-13 2018-09-14 没入型ビデオコンテンツを生成およびレンダリングする方法、システム、および媒体

Country Status (6)

Country Link
US (3) US11012676B2 (ja)
EP (1) EP3616402A1 (ja)
JP (1) JP6997219B2 (ja)
KR (1) KR102257132B1 (ja)
CN (1) CN110710203B (ja)
WO (1) WO2019118028A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11012676B2 (en) * 2017-12-13 2021-05-18 Google Llc Methods, systems, and media for generating and rendering immersive video content
EP4005201A1 (en) 2019-07-28 2022-06-01 Google LLC Methods, systems, and media for rendering immersive video content with foveated meshes
KR102419409B1 (ko) * 2020-12-30 2022-07-11 한국광기술원 왜곡 없이 정합 이미지를 출력하는 이미지 출력장치 및 방법
DE102021209627A1 (de) 2021-09-01 2023-03-02 Robert Bosch Gesellschaft mit beschränkter Haftung System und Verfahren zum Ausführen von funktional gleichen Applikationen

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005201926A (ja) 2004-01-13 2005-07-28 If Co Ltd 立体映像表示装置
US20130204977A1 (en) 2012-01-25 2013-08-08 Tourwrist, Inc. Systems and Methods for Panoramic Video Streaming of Virtual Tours
WO2014024475A1 (ja) 2012-08-10 2014-02-13 パナソニック株式会社 映像提供方法、送信装置および受信装置
US20150249815A1 (en) 2013-05-01 2015-09-03 Legend3D, Inc. Method for creating 3d virtual reality from 2d images
US20160241836A1 (en) 2015-02-17 2016-08-18 Nextvr Inc. Methods and apparatus for receiving and/or using reduced resolution images

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR0011757A (pt) * 1999-06-18 2002-04-23 Intel Corp Sistemas e métodos para apresentação visual acentuada usando correntes de vìdeo interativas
US6677982B1 (en) * 2000-10-11 2004-01-13 Eastman Kodak Company Method for three dimensional spatial panorama formation
TWI303782B (en) * 2006-03-10 2008-12-01 Sony Taiwan Ltd An optimized video stitching mehtod for asic implementation
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US20130095920A1 (en) 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging
JP2015053675A (ja) 2013-08-06 2015-03-19 株式会社リコー 画像投影装置
US20150062287A1 (en) * 2013-08-27 2015-03-05 Google Inc. Integrating video with panorama
US9406145B2 (en) * 2014-01-31 2016-08-02 Applied Concepts, Inc. Mobile radar and visual tracking coordinate transformation
US10178325B2 (en) 2015-01-19 2019-01-08 Oy Vulcan Vision Corporation Method and system for managing video of camera setup having multiple cameras
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
US9369689B1 (en) * 2015-02-24 2016-06-14 HypeVR Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video
US10567464B2 (en) * 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US9573062B1 (en) 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
US10595069B2 (en) * 2016-12-05 2020-03-17 Adobe Inc. Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
US20180192033A1 (en) * 2016-12-30 2018-07-05 Google Inc. Multi-view scene flow stitching
US10521468B2 (en) * 2017-06-13 2019-12-31 Adobe Inc. Animated seek preview for panoramic videos
US11012676B2 (en) * 2017-12-13 2021-05-18 Google Llc Methods, systems, and media for generating and rendering immersive video content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005201926A (ja) 2004-01-13 2005-07-28 If Co Ltd 立体映像表示装置
US20130204977A1 (en) 2012-01-25 2013-08-08 Tourwrist, Inc. Systems and Methods for Panoramic Video Streaming of Virtual Tours
WO2014024475A1 (ja) 2012-08-10 2014-02-13 パナソニック株式会社 映像提供方法、送信装置および受信装置
US20150249815A1 (en) 2013-05-01 2015-09-03 Legend3D, Inc. Method for creating 3d virtual reality from 2d images
US20160241836A1 (en) 2015-02-17 2016-08-18 Nextvr Inc. Methods and apparatus for receiving and/or using reduced resolution images

Also Published As

Publication number Publication date
KR20200005591A (ko) 2020-01-15
WO2019118028A1 (en) 2019-06-20
CN110710203A (zh) 2020-01-17
KR102257132B1 (ko) 2021-05-27
US20230209031A1 (en) 2023-06-29
EP3616402A1 (en) 2020-03-04
US20210274145A1 (en) 2021-09-02
JP2020527873A (ja) 2020-09-10
CN110710203B (zh) 2021-08-06
US11012676B2 (en) 2021-05-18
US11589027B2 (en) 2023-02-21
US20190182468A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
CN107590771B (zh) 具有用于在建模3d空间中投影观看的选项的2d视频
JP6997219B2 (ja) 没入型ビデオコンテンツを生成およびレンダリングする方法、システム、および媒体
CN107852573B (zh) 混合现实社交交互
US10636220B2 (en) Methods and systems for generating a merged reality scene based on a real-world object and a virtual object
US10762722B2 (en) Apparatus for sharing objects of interest and associated methods
US20080309660A1 (en) Three dimensional rendering of display information
CN113228625A (zh) 支持复合视频流的视频会议
WO2018102013A1 (en) Methods, systems, and media for enhancing two-dimensional video content items with spherical video content
JP7392105B2 (ja) 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体
KR20200013232A (ko) 가상 현실 데이터를 맞춤화하기 위한 방법들 및 시스템들
EP3676794A1 (en) Zooming an omnidirectional image or video
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment
JP6845352B2 (ja) メディアコンテンツのプレビューを提示するための方法、システム、および媒体
CN111149356A (zh) 用于投影沉浸式视听内容的方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211216

R150 Certificate of patent or registration of utility model

Ref document number: 6997219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150