JP2024026151A - 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体 - Google Patents

没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体 Download PDF

Info

Publication number
JP2024026151A
JP2024026151A JP2023198226A JP2023198226A JP2024026151A JP 2024026151 A JP2024026151 A JP 2024026151A JP 2023198226 A JP2023198226 A JP 2023198226A JP 2023198226 A JP2023198226 A JP 2023198226A JP 2024026151 A JP2024026151 A JP 2024026151A
Authority
JP
Japan
Prior art keywords
video content
mesh
content item
foveated
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023198226A
Other languages
English (en)
Inventor
ワンミン・ウ
Wanmin Wu
サミュエル・クヴァーレン
Kvaalen Samuel
イヴァン・ジャナトラ
Janatra Ivan
チャンチャン・ウ
Changchang Wu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2024026151A publication Critical patent/JP2024026151A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

【課題】没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングする。【解決手段】方法は、ビデオコンテンツアイテムを受信することと、ビデオコンテンツアイテムが少なくとも1つの基準を満たすとの判定に応答して、フォービエイテッドメッシュを、フォービエイション比パラメータに従って生成することと、を含む。フォービエイテッドメッシュが、ビデオコンテンツアイテムの各フレームの中心部分内の画素密度をビデオコンテンツアイテムの各フレームの周辺部分と比べて高める非一様なポジションマップを有する。方法はまた、ビデオコンテンツアイテムを、生成されたフォービエイテッドメッシュを含むファイル形式で記憶することを含む。没入型ビデオコンテンツは、ビデオコンテンツアイテムをテクスチャとして、生成されたフォービエイテッドメッシュに貼り付けることによってレンダリングされる。【選択図】図１

Description

関連出願の相互参照
本出願は、ここに参照によりその全体が本明細書に組み込まれている、2019年7月28日に出願した米国特許仮出願第62/879,529号の利益を主張するものである。
開示する本主題は、没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体に関する。より詳細には、開示する本主題は、ビデオコンテンツをテクスチャとして、ビデオの周辺部分内の画素密度を犠牲にすることによってビデオの中心部分内の画素密度を高めるフォービエイテッドメッシュに貼り付けることができる。
多くのユーザが、仮想現実コンテンツ、拡張現実コンテンツ、3次元コンテンツ、180度コンテンツ、または360度コンテンツなど、観視者に没入型体験をもたらすことのできる没入型環境におけるビデオコンテンツの観視を楽しんでいる。例えば、仮想現実システムは、ユーザのための没入型仮想現実環境を生成することができ、ユーザはそこで、1つまたは複数の仮想オブジェクトとインタラクションすることができる。より特定の例では、没入型仮想現実環境は、仮想現実ヘッドセットデバイスや仮想現実ヘッドマウントディスプレイデバイスなどのデバイスを使用して提供されることが可能である。別の例では、拡張現実システムは、ユーザのための没入型拡張現実環境を生成することができ、その環境では、コンピュータ生成されたコンテンツ(例えば1つまたは複数の画像)が、(例えばモバイルデバイスのカメラを使用して)ユーザの現在のビュー上に重ね合わされることが可能である。
没入型ビデオコンテンツはしばしば、ビデオコンテンツを平坦に見えるようにではなく球の一部分をそれが占めているかのようにレンダリングする、魚眼メッシュ(fisheye mesh)や3次元エクイレクタングラーメッシュ(three-dimensional equirectangular mesh)などのメッシュに、ビデオコンテンツを貼り付けることによって、レンダリングされる。しかし、没入型ビデオコンテンツを、そのようなコンテンツのビデオ品質を最適化しながらレンダリングすることは、困難かつリソース集約的なタスクである。
したがって、没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための新たな方法、システム、および媒体を提供することが望ましい。
没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体が提供される。
開示する本主題のいくつかの実施形態によれば、没入型ビデオコンテンツを生成するための方法であって、ビデオコンテンツアイテムを受信することと、ハードウェアプロセッサを使用して、ビデオコンテンツアイテムが少なくとも1つの基準を満たすかどうかを判定することと、ビデオコンテンツアイテムが少なくとも1つの基準を満たすとの判定に応答して、ハードウェアプロセッサを使用して、ビデオコンテンツアイテムのフレームがその上に投影されることになるフォービエイテッドメッシュを、フォービエイション比パラメータ(foveation ratio parameter)に従って生成することであって、フォービエイテッドメッシュが、ビデオコンテンツアイテムの各フレームの中心部分内の画素密度をビデオコンテンツアイテムの各フレームの周辺部分と比べて高める非一様なポジションマップ(position map)を有する、生成することと、ビデオコンテンツアイテムを、生成されたフォービエイテッドメッシュを含むファイル形式で記憶することとを含み、没入型ビデオコンテンツが、ビデオコンテンツアイテムをテクスチャとして、生成されたフォービエイテッドメッシュに貼り付けることによってレンダリングされる、方法が提供される。
いくつかの実施形態では、少なくとも1つの基準は、受信したビデオコンテンツアイテムが特定のファイル形式に関連するかどうかを判定することを含む。いくつかの実施形態では、特定のファイル形式は、視野180度の方向性立体視投影(directional stereoscopic projection)を使用するVR180ファイル形式を含む。
いくつかの実施形態では、少なくとも1つの基準は、受信したビデオコンテンツアイテムが立体視コンテンツ(stereoscopic content)を含むか、それとも平面視コンテンツ(monoscopic content)を含むかを判定することを含み、方法は、受信したビデオコンテンツアイテムが立体視コンテンツを含むとの判定に応答してフォービエイテッドメッシュを生成することをさらに含む。
いくつかの実施形態では、少なくとも1つの基準は、受信したビデオコンテンツアイテムが静的ビデオであるか、それとも動的ビデオであるかを判定することを含み、静的ビデオは、ビデオコンテンツが捕捉されたときにカメラが実質的に移動しなかったビデオコンテンツを含み、動的ビデオは、カメラモーションメタデータトラック(camera motion metadata track)を含み、方法は、受信したビデオコンテンツアイテムが静的ビデオであるとの判定に応答してフォービエイテッドメッシュを生成することをさらに含む。
いくつかの実施形態では、少なくとも1つの基準は、受信したビデオコンテンツアイテムが特定のタイプの入力メッシュに関連付けられているかどうかを判定することを含み、方法は、受信したビデオコンテンツアイテムが切出し(cropped)エクイレクタングラーメッシュに関連付けられているとの判定に応答してフォービエイテッドメッシュを生成することをさらに含む。いくつかの実施形態では、フォービエイテッドメッシュは、切出しエクイレクタングラーメッシュの2次元UVマップを、多項式フィッティング関数を使用して変形することによって生成される。
いくつかの実施形態では、方法は、第1のフォービエイテッドメッシュを第1のフォービエイション比パラメータに基づいて生成することと、第2のフォービエイテッドメッシュを第2のフォービエイション比パラメータに基づいて生成することとをさらに含む。
いくつかの実施形態では、受信したビデオコンテンツアイテムが第1の画素解像度から第2の画素解像度にダウンサンプリング比だけダウンサンプリングされているとの判定に応答して、フォービエイテッドメッシュが生成され、ビデオコンテンツアイテムの各フレームの中心部分における改善比(improvement ratio)が、ダウンサンプリング比と一致する。
いくつかの実施形態では、方法は、ビデオコンテンツおよび生成されたフォービエイテッドメッシュをユーザデバイスに、ユーザデバイスからビデオコンテンツアイテムを求める要求を受信したことに応答して送信することをさらに含む。
開示する本主題のいくつかの実施形態によれば、没入型ビデオコンテンツを生成するためのシステムであって、メモリと、ハードウェアプロセッサとを備え、ハードウェアプロセッサが、メモリ内に記憶されたコンピュータ実行可能命令を実行すると、ビデオコンテンツアイテムを受信することと、ビデオコンテンツアイテムが少なくとも1つの基準を満たすかどうかを判定することと、ビデオコンテンツアイテムが少なくとも1つの基準を満たすとの判定に応答して、ビデオコンテンツアイテムのフレームがその上に投影されることになるフォービエイテッドメッシュを、フォービエイション比パラメータに従って生成することであって、フォービエイテッドメッシュが、ビデオコンテンツアイテムの各フレームの中心部分内の画素密度をビデオコンテンツアイテムの各フレームの周辺部分と比べて高める非一様なポジションマップを有する、生成することと、ビデオコンテンツアイテムを、生成されたフォービエイテッドメッシュを含むファイル形式で記憶することとを行うように構成され、没入型ビデオコンテンツが、ビデオコンテンツアイテムをテクスチャとして、生成されたフォービエイテッドメッシュに貼り付けることによってレンダリングされる、システムが提供される。
開示する本主題のいくつかの実施形態によれば、プロセッサによって実行されるとプロセッサに没入型ビデオコンテンツとインタラクションするための方法を実施させるコンピュータ実行可能命令を収容した、非一時的コンピュータ可読媒体であって、方法が、ビデオコンテンツアイテムを受信することと、ビデオコンテンツアイテムが少なくとも1つの基準を満たすかどうかを判定することと、ビデオコンテンツアイテムが少なくとも1つの基準を満たすとの判定に応答して、ビデオコンテンツアイテムのフレームがその上に投影されることになるフォービエイテッドメッシュを、フォービエイション比パラメータに従って生成することであって、フォービエイテッドメッシュが、ビデオコンテンツアイテムの各フレームの中心部分内の画素密度をビデオコンテンツアイテムの各フレームの周辺部分と比べて高める非一様なポジションマップを有する、生成することと、ビデオコンテンツアイテムを、生成されたフォービエイテッドメッシュを含むファイル形式で記憶することとを含み、没入型ビデオコンテンツが、ビデオコンテンツアイテムをテクスチャとして、生成されたフォービエイテッドメッシュに貼り付けることによってレンダリングされる、非一時的コンピュータ可読媒体が提供される。
開示する本主題のいくつかの実施形態によれば、没入型ビデオコンテンツを生成するためのシステムであって、ビデオコンテンツアイテムを受信するための手段と、ビデオコンテンツアイテムが少なくとも1つの基準を満たすかどうかを判定するための手段と、ビデオコンテンツアイテムが少なくとも1つの基準を満たすとの判定に応答して、ビデオコンテンツアイテムのフレームがその上に投影されることになるフォービエイテッドメッシュを、フォービエイション比パラメータに従って生成するための手段であって、フォービエイテッドメッシュが、ビデオコンテンツアイテムの各フレームの中心部分内の画素密度をビデオコンテンツアイテムの各フレームの周辺部分と比べて高める非一様なポジションマップを有する、手段と、ビデオコンテンツアイテムを、生成されたフォービエイテッドメッシュを含むファイル形式で記憶するための手段とを備え、没入型ビデオコンテンツが、ビデオコンテンツアイテムをテクスチャとして、生成されたフォービエイテッドメッシュに貼り付けることによってレンダリングされる、システムが提供される。
開示する本主題のさまざまな目的、特徴、および利点は、開示する本主題についての以下の詳細な説明を、同様の参照番号が同様の要素を識別する添付の図面と併せて検討すれば、より完全に理解することができよう。
開示する本主題のいくつかの実施形態による、フォービエイテッドメッシュを生成するかどうかを判定し、フォービエイテッドメッシュを生成するためのプロセスの、例示的な例を示す図である。 開示する本主題のいくつかの実施形態による、没入型ビデオコンテンツをフォービエイテッドメッシュを使用してレンダリングするためのプロセスの、例示的な例を示す図である。 開示する本主題のいくつかの実施形態による、フォービエイテッドメッシュを生成するかどうかを判定し、フォービエイテッドメッシュを生成するための、本明細書において説明するメカニズムを実装するのに適した例示的なシステムの、概略図である。 開示する本主題のいくつかの実施形態による、図3のサーバおよび/またはユーザデバイスにおいて使用することのできるハードウェアの、詳細な例を示す図である。
さまざまな実施形態によれば、没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための(方法、システム、および媒体を含むことのできる)メカニズムが提供される。
いくつかの実施形態では、本明細書において説明するメカニズムは、ビデオコンテンツが1つまたは複数の基準を満たすかどうかを判定することができ、またビデオコンテンツが1つまたは複数の基準を満たしたことに応答して、ビデオコンテンツを没入型ビデオコンテンツとしてレンダリングするために使用することのできるフォービエイテッドメッシュを生成することができ、ここで、フォービエイテッドメッシュは、ビデオコンテンツの中心部分内の画素密度または画素解像度を高めることができる。
本明細書では、フォービエイテッドメッシュとは、ビデオの周辺部分内の画素密度を犠牲にすることによってビデオの中心部分内の画素密度を高める、非一様なUVマップまたは3次元ポジションマップを有するメッシュ構造をいう。
いくつかの実施形態では、フォービエイテッドメッシュは、切出しエクイレクタングラーメッシュの修正版とすることができる。例えば、切出しエクイレクタングラーメッシュ内のUV頂点は一様に分散されており、フォービエイテッドメッシュ内のUV頂点は一様に分散されていない。より特定の例では、180度切出しエクイレクタングラーメッシュは、実質的に一様なUVマップを有することができる。この例を続けると、フォービエイテッドメッシュは、切出しエクイレクタングラーメッシュの2次元UVマップを、ビデオコンテンツアイテムの中心部分内の画素密度がビデオコンテンツアイテムの周辺部分内の画素密度と比べて高まるような多項式フィッティング関数を使用して変形することによって、生成されることが可能である。
いくつかの実施形態では、ビデオコンテンツアイテムの中心部分内の画素密度がビデオコンテンツアイテムの周辺部分内の画素密度と比べて高まるような同様の変形を、3次元ポジションメッシュに加えることができ、その場合、UVマップは変更されないままである、ということに留意されたい。
いくつかの実施形態では、複数のフォービエイテッドメッシュが生成されることが可能であることにも留意されたい。例えば、メカニズムは、第1のフォービエイテッドメッシュを第1のフォービエイションストラテジ(例えば第1のフォービエイション比パラメータに基づく関数)に従って、また第2のフォービエイテッドメッシュを第2のフォービエイションストラテジ(例えば第2のフォービエイション比パラメータに基づく関数)に従って、生成することができる。より特定の例では、任意の適切な条件(例えばビデオタイプ、解像度、計算リソースなど)に基づいて、異なるフォービエイションストラテジが実施されることが可能である。別の例では、メカニズムは、フォービエイションストラテジを、複数のフォービエイションストラテジから、1つまたは複数の条件に基づいて選択することができ、選択されたフォービエイションストラテジに従ってフォービエイテッドメッシュを生成することができる。
ビデオコンテンツを適切なデバイス(例えば仮想現実ヘッドセット、ヘッドマウントディスプレイデバイス、ゲーム機、モバイル電話、タブレットコンピュータ、テレビ、および/または他の任意の適切なタイプのユーザデバイス)上にレンダリングするとき、デバイスは、ビデオコンテンツを、フォービエイテッドメッシュを含む形式で受信することができ、その場合、ビデオコンテンツの各フレームがフォービエイテッドメッシュ上に投影される。例えば、本明細書において説明するメカニズムは、ビデオコンテンツを180度ビデオコンテンツとしてレンダリングするために使用することのできるフォービエイテッドメッシュを生成することができ、それにより、ビデオコンテンツの観視者がビデオコンテンツを観視するときにビデオコンテンツに没入しているように感じることが可能になり得る。別の例において、いくつかの実施形態では、本明細書において説明するメカニズムは、ビデオコンテンツを任意の適切な空間広がりをもつ3次元ビデオコンテンツとしてレンダリングするために使用することのできるフォービエイテッドメッシュを生成することができる。
いくつかの実施形態では、本明細書において説明するメカニズムは、受信したビデオのためのフォービエイテッドメッシュを、任意の適切な基準に基づいて生成することができる。
例えば、いくつかの実施形態では、メカニズムは、受信したビデオが特定のファイル形式に関連するかどうかを判定することができる。この例を続けると、受信したビデオが、視野180度の方向性立体視投影を使用するVR180ファイル形式を有するとの、かつ/または他の任意の適切な基準を満たすとの判定に応答して、メカニズムは、没入型ビデオコンテンツをレンダリングするためのフォービエイテッドメッシュを生成することができる。
別の例において、いくつかの実施形態では、メカニズムは、受信したビデオが立体視コンテンツ(例えば左目/右目のビューまたは画像、3次元画像など)を含むか、それとも平面視コンテンツ(例えば2次元画像のセット)を含むかを判定することができる。この例を続けると、平面視コンテンツは、ウェブインターフェース、モバイルインターフェース、またはその他の形の非ヘッドセットインターフェースにおいて2次元コンテンツとして提示されることが可能であり、一方、立体視コンテンツは、仮想現実ヘッドセット、ヘッドマウントディスプレイデバイスなどの上に提示するためにレンダリングされることが可能である。受信したビデオが、立体視コンテンツを含むとの、かつ/または他の任意の適切な基準を満たすとの判定に応答して、メカニズムは、没入型ビデオコンテンツをレンダリングするためのフォービエイテッドメッシュを生成することができる。
さらに別の例において、いくつかの実施形態では、メカニズムは、受信したビデオが静的ビデオであるか、それとも動的ビデオであるかを判定することができ、ここで、静的ビデオは一般に、受信したビデオが捕捉されたときにカメラまたはカメラアセンブリが実質的に移動しなかったビデオを指す。受信したビデオが、静的ビデオであるとの、かつ/または他の任意の適切な基準を満たすとの判定に応答して、メカニズムは、没入型ビデオコンテンツをレンダリングするためのフォービエイテッドメッシュを生成することができる。
さらなる例において、いくつかの実施形態では、メカニズムは、受信したビデオに関連付けられている入力メッシュのタイプを判定することができる。受信したビデオに関連付けられている入力メッシュの例には、魚眼メッシュおよび切出しエクイレクタングラーメッシュが含まれ得る。受信したビデオが、切出しエクイレクタングラーメッシュに関連付けられているとの、かつ/または他の任意の適切な基準を満たすとの判定に応答して、メカニズムは、没入型ビデオコンテンツをレンダリングするためのフォービエイテッドメッシュを生成することができる。
いくつかの実施形態では、メカニズムは、受信したビデオを没入型ビデオコンテンツとしてレンダリングするためのフォービエイテッドメッシュを、ビデオコンテンツをダウンサンプリングするときに生成することができることに留意されたい。ビデオの中心部分における改善比は、ダウンサンプリング比によって限定され得ることにも留意されたい。例えば、ビデオコンテンツを4k画素解像度(例えば3849×2160画素または4096×2160画素)から1080p解像度(例えば1920×1080画素)にダウンサンプリングするとき、ビデオの中心部分における最高改善比は4である。この実装形態では、改善比は、フォービエイテッドメッシュを使用してレンダリングされたビデオコンテンツ内の画素数を、元のメッシュを使用してレンダリングされたビデオコンテンツ内の画素数で除算した商として測定することができることに留意されたい。
より特定の例では、メカニズムは、受信したビデオが、VR180ファイル形式の立体視コンテンツを含み、かつ切出しエクイレクタングラー入力メッシュに関連付けられている、静的ビデオであるとの判定に応答して、没入型ビデオコンテンツをレンダリングするためのフォービエイテッドメッシュを生成することができる。任意の適切な基準、および基準の任意の適切な組合せを使用して、フォービエイテッドメッシュを生成するかどうかを判定することができることに留意されたい。
いくつかの実施形態では、ビデオコンテンツおよび生成されたフォービエイテッドメッシュが、ユーザデバイス(例えば仮想現実ヘッドセット、ヘッドマウントディスプレイデバイスなど)によってレンダリングするためにユーザデバイスに送信されることが可能である。例えば、いくつかの実施形態では、生成されたフォービエイテッドメッシュが、ビデオコンテンツを含むビデオファイルに挿入され、そのビデオファイルがユーザデバイスに送信されることが可能である。それに加えてまたはその代わりに、いくつかの実施形態では、生成されたフォービエイテッドメッシュが、ビデオコンテンツの投影および/またはビデオコンテンツの3次元エクイレクタングラー投影(three-dimensional equirectangular projection)を作成する前の中間ステップとして使用されることも可能である。
いくつかの実施形態では、ビデオコンテンツ内に含まれるビデオテクスチャも、同様のフォービエイションを適用することによって修正することができることに留意されたい。例えば、フォービエイテッドメッシュを生成する際に適用されるフォービエイションストラテジを使用して、ビデオコンテンツ内に含まれるビデオテクスチャを修正し、それによって、クライアントデバイスにおいて没入型ビデオコンテンツをレンダリングする際に、没入型ビデオコンテンツが、ビデオコンテンツの縁部または周辺部分の品質を犠牲にしてビデオコンテンツの中心の周りの品質の向上を得ながら(例えば非一様な画素密度または画素解像度)、歪んでいないように見えるようにすることができる。
フォービエイテッドメッシュを使用して、没入型ビデオコンテンツの知覚される全体的なビデオ解像度またはビデオ品質の改善が達成されるように、没入型ビデオコンテンツをレンダリングすることができ、その場合、没入型ビデオコンテンツの各フレーム内の、静的な固視点(static fixation point)を与えられた中心関心領域内の画素密度または画素解像度が、没入型ビデオコンテンツの各フレーム内の周辺領域内の画素密度または画素解像度よりも高い、ということにも留意されたい。
没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための上記および他の特徴について、以下に図1～図4に関連して説明する。
図1に移ると、開示する本主題のいくつかの実施形態による、フォービエイテッドメッシュを生成するかどうかを判定し、フォービエイテッドメッシュを生成するためのプロセスの、例示的な例100が示されている。いくつかの実施形態では、プロセス100のブロックは、ビデオコンテンツを記憶し、記憶したビデオコンテンツをユーザデバイスに送信するコンテンツサーバ(例えば図3に示し、図3に関連して上述したコンテンツサーバ302)など、任意の適切なデバイスによって実施されることが可能である。
プロセス100は、110においてビデオコンテンツアイテムを受信することから開始することができる。例えば、プロセス100は、コンテンツサーバ上に記憶された、アップロードされたビデオコンテンツアイテムにアクセスすることができる。別の例では、プロセス100は、特定の基準(例えばアップロード日付、観視回数など)を満たす特定のビデオコンテンツアイテムを選択することができる。より特定の例では、プロセス100は、以下に説明する特定の基準(例えば切出しエクイレクタングラーメッシュを伴う立体視の静的ビデオ)を満たす、コンテンツサーバ上に記憶された特定のビデオコンテンツアイテムを選択することができる。さらに別の例では、プロセス100は、ユーザアカウントを有するユーザによってアップロードされたビデオコンテンツアイテムを受信することができる。
ビデオコンテンツアイテムは、任意の適切なソースから受信することができることに留意されたい。例えば、いくつかの実施形態では、立体視ビデオコンテンツは、物理的カメラデバイス(例えば360度立体視ビデオを捕捉するための360度立体カメラリグ、180度立体視ビデオを捕捉するためのVR180カメラデバイス、広角カメラのセットなど)を使用して捕捉されることが可能である。この例を続けると、仮想現実ヘッドセットやヘッドマウントディスプレイデバイスなどのコンピューティングデバイスは、立体視コンテンツに基づいてAR環境やVR環境などの没入型環境を生成することができる。
プロセス100は、120において、ビデオコンテンツアイテムと関連付けるためのフォービエイテッドメッシュを生成するかどうかを、任意の適切な基準に基づいて判定することにより継続することができる。例えば、プロセス100は、受信したビデオコンテンツアイテムが1つまたは複数の基準を満たすかどうかを判定することができ、またビデオコンテンツアイテムが1つまたは複数の基準を満たしたことに応答して、ビデオコンテンツを没入型ビデオコンテンツとしてレンダリングするために使用することのできるフォービエイテッドメッシュを生成することができ、ここで、フォービエイテッドメッシュは、ビデオコンテンツの中心部分内の画素密度または画素解像度を高めることができる。より特定の例では、プロセス100は、切出しエクイレクタングラー入力メッシュに関連付けられている静的ビデオのステレオトランスコードについてフォービエイテッドメッシュが生成されるとの決定をすることができる。
いくつかの実施形態では、フォービエイテッドメッシュを生成するための基準が、130において、受信したビデオが特定のファイル形式に関連するかどうかを判定すること、を含むことができる。この例を続けると、プロセス100は、受信したビデオがVR180カメラを使用して捕捉されたものであり、視野180度の方向性立体視投影を使用するVR180ファイル形式を有する、との判定をすることができる。より特定の例では、特定のファイル形式は、例えばビデオフレームから球面座標系内の部分的ビューポート(partial viewport)への投影を定義するメタデータ(例えばSpherical Video V2メタデータ標準による球面ビデオメタデータ)を含むことができ、プロセス100は、そのようなメタデータの存在を判定することによって、受信したビデオが特定のファイル形式に関連するかどうかを判定することができる。別のより特定の例では、ビデオコンテンツアイテムをコンテンツサーバにアップロードする際に、アップロードするユーザが、ビデオコンテンツアイテムが特定のファイル形式(例えばVR180ファイル形式)に関連することを示すこともでき、あるいはビデオコンテンツアイテムが特定のタイプのコンテンツ(例えば180度立体視ビデオコンテンツ、360度立体視ビデオコンテンツなど)を含むことを示すこともできる。したがって、Spherical Video V2メタデータ標準による球面ビデオメタデータの存在および内容によって、VR180ビデオが処理または再生のために識別されることが可能である。
受信したビデオコンテンツアイテムがVR180ファイル形式などの特定のファイル形式に関連するとの判定に応答して、プロセス100は引き続き、受信したビデオコンテンツアイテムがフォービエイテッドメッシュを生成する対象であるかどうかを判定することができる、ということに留意されたい。あるいは、受信したビデオコンテンツアイテムが特定のファイル形式に関連しないとの判定に応答して、プロセス100は、受信したビデオコンテンツアイテムについてフォービエイテッドメッシュが生成されないとの決定をすることができる。
いくつかの実施形態では、フォービエイテッドメッシュを生成するための基準が、140において、受信したビデオコンテンツアイテムが立体視コンテンツ(例えば左目/右目のビューまたは画像、3次元画像など)を含むか、それとも平面視コンテンツ(例えば2次元画像のセット)を含むかを判定すること、を含むことができる。この例を続けると、平面視コンテンツは、ウェブインターフェース、モバイルインターフェース、またはその他の形の非ヘッドセットインターフェースにおいて2次元コンテンツとして提示されることが可能であり、一方、立体視コンテンツは、仮想現実ヘッドセット、ヘッドマウントディスプレイデバイスなどの上に提示するためにレンダリングされることが可能である。より特定の例では、上述したように、受信したビデオコンテンツアイテムは、例えばビデオフレームから球面座標系内の部分的ビューポートへの投影を定義する球面ビデオメタデータに関連付けられることが可能であり、プロセス100は、そのようなメタデータ内の立体視関連フィールドの存在を判定することによって、受信したビデオが立体視コンテンツを含むか、それとも平面視コンテンツを含むかを判定することができる。別のより特定の例では、ビデオコンテンツアイテムをコンテンツサーバにアップロードする際に、アップロードするユーザが、ビデオコンテンツアイテムが特定のタイプのコンテンツ(例えば180度立体視ビデオコンテンツ、360度立体視ビデオコンテンツなど)を含むことを示すことができる。
受信したビデオコンテンツアイテムが180度立体視ビデオコンテンツなどの立体視コンテンツを含むとの判定に応答して、プロセス100は引き続き、受信したビデオコンテンツアイテムがフォービエイテッドメッシュを生成する対象であるかどうかを判定することができる、ということに留意されたい。あるいは、受信したビデオコンテンツアイテムが平面視コンテンツを含むとの判定に応答して、プロセス100は、受信したビデオコンテンツアイテムについてフォービエイテッドメッシュが生成されないとの決定をすることができる。
いくつかの実施形態では、フォービエイテッドメッシュを生成するための基準が、150において、受信したビデオが静的ビデオであるか、それとも動的ビデオであるかを判定すること、を含むことができる。例えば、静的ビデオは一般に、受信したビデオが捕捉されたときにVR180カメラや立体カメラリグなどのカメラまたはカメラアセンブリが実質的に移動しなかったビデオを指す。反対に、動的ビデオは一般に、ビデオ捕捉中にカメラまたはカメラアセンブリが移動したビデオを指す。
例えば、上述したように、ビデオコンテンツアイテムは、ビデオフレームから球面座標系内の部分的ビューポートへの投影を定義するメタデータに関連付けられることが可能である。動的ビデオの場合、ビデオコンテンツアイテムに関連付けられているそのようなメタデータは、カメラ配向情報、ジャイロスコープ情報、加速度計情報など、さまざまなタイプのカメラモーションメタデータを記憶した、カメラモーションメタデータトラックを含むことができる。カメラモーションメタデータトラックは、例えば、カメラのモーションに応じてビデオコンテンツに回転ベースのモーション安定化(motion stabilization)をもたらして、ビデオコンテンツアイテムの各ビデオフレームを、固定のワールド配向(fixed world orientation)と位置整合することができる。この例を続けると、受信したビデオが静的ビデオであるか、それとも動的ビデオであるかを判定することは、カメラモーションメタデータトラックなど、特定のメタデータの存在を検出することを含むことができ、ここで、カメラモーションメタデータトラックを含むビデオコンテンツアイテムは、動的ビデオと呼ぶことができる。
受信したビデオコンテンツアイテムが静的ビデオであるとの判定に応答して、プロセス100は引き続き、受信したビデオコンテンツアイテムがフォービエイテッドメッシュを生成する対象であるかどうかを判定することができる、ということに留意されたい。あるいは、受信したビデオコンテンツアイテムが動的ビデオであるとの判定に応答して、プロセス100は、受信したビデオコンテンツアイテムについてフォービエイテッドメッシュが生成されないとの決定をすることができる。例えば、受信したビデオコンテンツアイテムの球面ビデオメタデータがカメラモーションメタデータトラックまたは他のモーション安定化情報を含むとの判定に応答して、プロセス100は、受信したビデオコンテンツアイテムについてフォービエイテッドメッシュが生成されないとの決定をすることができる。
いくつかの実施形態では、フォービエイテッドメッシュを生成するための基準が、160において、受信したビデオコンテンツアイテムに関連付けられている入力メッシュまたはメッシュ形式のタイプを判定すること、を含むことができる。受信したビデオコンテンツアイテムに関連付けられている入力メッシュの例示的な例には、魚眼メッシュおよび切出しエクイレクタングラーメッシュが含まれ得る。例えば、プロセス100は、Spherical Video V2メタデータ標準による球面ビデオメタデータの内容にアクセスし、球面ビデオメタデータ内のProjectionType要素の値が切出しエクイレクタングラーメッシュに設定されているかどうかを判定することによって、受信したビデオコンテンツアイテムが切出しエクイレクタングラー入力メッシュに関連付けられているかどうかを判定することができる。
受信したビデオコンテンツアイテムが切出しエクイレクタングラー入力メッシュに関連付けられているとの判定に応答して、プロセス100は引き続き、受信したビデオコンテンツアイテムがフォービエイテッドメッシュを生成する対象であるかどうかを判定することができる、ということに留意されたい。あるいは、受信したビデオコンテンツアイテムが別のメッシュタイプ(例えば魚眼メッシュ)に関連付けられているとの判定に応答して、プロセス100は、受信したビデオコンテンツアイテムについてフォービエイテッドメッシュが生成されないとの決定をすることができる。
いくつかの実施形態では、フォービエイテッドメッシュを生成するための基準が、170において、受信したビデオコンテンツアイテムがダウンサンプリングされているかどうかを判定すること、を含むことができる。フォービエイテッドメッシュは、ビデオコンテンツアイテムの各フレームの周辺部分内の画素密度を犠牲にするかまたはその他の方法で低下させることによってビデオコンテンツアイテムの各フレームの中心部分内の画素密度を改善することにより、ビデオ品質が向上したという知覚をもたらすことができ、ここで、そのような改善はビデオコンテンツアイテムをダウンサンプリングするときに見ることができる、ということに留意されたい。
ビデオコンテンツアイテムの各フレームの中心部分における改善比は、ダウンサンプリング比によって限定され得ることにも留意されたい。例えば、ビデオコンテンツアイテムを4k画素解像度(例えば3849×2160画素または4096×2160画素)から1080p解像度(例えば1920×1080画素)にダウンサンプリングするとき、ビデオの中心部分における最高改善比は約4である。この実装形態では、改善比は、フォービエイテッドメッシュを使用してレンダリングされたビデオコンテンツ内の画素数を、元のメッシュを使用してレンダリングされたビデオコンテンツ内の画素数で除算した商として測定することができることに留意されたい。
受信したビデオコンテンツアイテムがダウンサンプリングされているとの判定に応答して、プロセス100は引き続き、受信したビデオコンテンツアイテムがフォービエイテッドメッシュを生成する対象であるかどうかを判定することができる。あるいは、受信したビデオコンテンツアイテムがダウンサンプリングされていないとの判定に応答して、または改善比が特定のしきい値(例えば改善比4)以下であるとの判定に応答して、プロセス100は、受信したビデオコンテンツアイテムについてフォービエイテッドメッシュが生成されないとの決定をすることができる。
したがって、受信したビデオコンテンツアイテムが130から170における基準のうちの1つまたは複数を満たすかどうかの判定に応答して、プロセス100は、180において、ビデオコンテンツアイテムを没入型ビデオコンテンツとしてレンダリングするために使用することのできるフォービエイテッドメッシュを生成することができる。例えば、受信したビデオが、VR180ファイル形式の立体視コンテンツを含み、かつ切出しエクイレクタングラー入力メッシュに関連付けられている、静的ビデオであるとの判定に応答して、没入型ビデオコンテンツをレンダリングするためのフォービエイテッドメッシュが生成されることが可能である。本明細書において説明する実施形態は一般に、切出しエクイレクタングラー入力メッシュに関連付けられている立体視コンテンツを含む静的ビデオについてフォービエイテッドメッシュを生成することに関するが、任意の適切な基準、および基準の任意の適切な組合せを使用して、フォービエイテッドメッシュを生成するかどうかを判定することができることに留意されたい。
本明細書において説明したように、フォービエイテッドメッシュは、ビデオの周辺部分内の画素密度を犠牲にすることによってビデオの中心部分内の画素密度を高める、非一様なUVマップまたは3次元ポジションマップを有するメッシュ構造である。
いくつかの実施形態では、ビデオのステレオトランスコードのトランスコーディングシステムまたはトランスコーディングパイプラインを、フォービエイテッドメッシュを生成するように、またはその他の方法でフォービエイションストラテジを実施するように、修正することができる。トランスコーディングシステムは、ビデオパラメータおよびトランスコーダメタデータをセットアップするトランスコーダ制御コンポーネントを含むことができ、このセットアップには、あるメッシュ形式から別のメッシュ形式にビデオを再投影するかまたはその他の方法で変換するのに必要なターゲットメッシュを作成することが含まれ得る。
いくつかの実施形態では、トランスコーダ制御コンポーネントを、フォービエイション比パラメータを渡すことによってパラメータ化フォービエイテッドメッシュを作成するように、修正することができることに留意されたい。いくつかの実施形態では、フォービエイテッドメッシュは、切出しエクイレクタングラーメッシュの修正版とすることができる。例えば、切出しエクイレクタングラーメッシュ内のUV頂点は一様に分散されており、フォービエイテッドメッシュ内のUV頂点は一様に分散されていない。より特定の例では、180度切出しエクイレクタングラーメッシュは、実質的に一様なUVマップを有することができる。この例を続けると、フォービエイテッドメッシュは、切出しエクイレクタングラーメッシュの2次元UVマップを、ビデオコンテンツアイテムの中心部分内の画素密度がビデオコンテンツアイテムの周辺部分内の画素密度と比べて高まるような多項式フィッティング関数を使用して変形することによって、生成されることが可能である。
いくつかの実施形態では、ビデオコンテンツアイテムの中心部分内の画素密度がビデオコンテンツアイテムの周辺部分内の画素密度と比べて高まるような、フォービエイション比パラメータに基づく同様の変形を、3次元ポジションメッシュに加えることができ、その場合、UVマップは変更されないままである、ということに留意されたい。
より特定の例では、プロセス100は、正規化座標(normalized_coord)を、フォービエイション比パラメータ(foveation_ratio)に基づいてフォービエイションする(foveat)ことができる。いくつかの実施形態では、これには、入力座標を範囲[0.0, 1.0]にクランプするかまたはその他の方法で位置を範囲[0.0, 1.0]に限定することが含まれ得ることに留意されたい。このメッシュフォービエイションは次のように表すことができる。
clamped_coord = clamp(0.0, 1.0, normalized_coord)
foveated_coord = 0.5 + atan(sqrt(foveation_ratio) * tan((clamped_coord - 0.5) * π)) / π
この例を続けると、プロセス100は、逆数を実行することによって正規化座標をアンフォービエイションする(unfoveat)ことができ、それは次のように表すことができる。
clamped_coord = clamp(0.0, 1.0, normalized_coord)
unfoveated_coord = atan(tan((clamped_coord - 0.5) * π)) / sqrt(foveation_ratio)) / π + 0.5
いくつかの実施形態では、複数のフォービエイテッドメッシュが生成されることが可能であることに留意されたい。例えば、第1のフォービエイテッドメッシュが第1のフォービエイションストラテジ(例えば第1のフォービエイション比パラメータに基づく多項式フィッティング関数)に従って生成されることが可能であり、第2のフォービエイテッドメッシュが第2のフォービエイションストラテジ(例えば第2のフォービエイション比パラメータに基づく多項式フィッティング関数)に従って生成されることが可能である。より特定の例では、任意の適切な条件(例えばビデオタイプ、解像度、計算リソースなど)に基づいて、異なるフォービエイションストラテジが実施されることが可能である。別の例では、フォービエイションストラテジは、複数のフォービエイションストラテジから、1つまたは複数の条件に基づいて選択されることが可能であり、選択されたフォービエイションストラテジに従ってフォービエイテッドメッシュを生成することができる。
図1に戻ると、いくつかの実施形態では、プロセス100は、190においてビデオコンテンツアイテムおよびフォービエイテッドメッシュを記憶することができる。例えば、プロセス100は、フォービエイテッドメッシュをビデオコンテンツアイテムとともに、特定のファイル形式(例えばVR180ファイル形式)に挿入することができる。
ビデオコンテンツを適切なデバイス(例えば仮想現実ヘッドセット、ヘッドマウントディスプレイデバイス、ゲーム機、モバイル電話、タブレットコンピュータ、テレビ、および/または他の任意の適切なタイプのユーザデバイス)上にレンダリングするとき、デバイスは、ビデオコンテンツを、フォービエイテッドメッシュを含む形式で受信することができ、その場合、ビデオコンテンツの各フレームがフォービエイテッドメッシュ上に投影される。例えば、本明細書において説明するメカニズムは、ビデオコンテンツを180度ビデオコンテンツとしてレンダリングするために使用することのできるフォービエイテッドメッシュを生成することができ、それにより、ビデオコンテンツの観視者がビデオコンテンツを観視するときにビデオコンテンツに没入しているように感じることが可能になり得る。別の例において、いくつかの実施形態では、本明細書において説明するメカニズムは、ビデオコンテンツを任意の適切な空間広がりをもつ3次元ビデオコンテンツとしてレンダリングするために使用することのできるフォービエイテッドメッシュを生成することができる。
フォービエイテッドメッシュを使用して、没入型ビデオコンテンツの知覚される全体的なビデオ解像度またはビデオ品質の改善が達成されるように、没入型ビデオコンテンツをレンダリングすることができ、その場合、没入型ビデオコンテンツの各フレーム内の、静的な固視点を与えられた中心関心領域内の画素密度または画素解像度が、没入型ビデオコンテンツの各フレーム内の周辺領域内の画素密度または画素解像度よりも高い、ということに留意されたい。
いくつかの実施形態では、ビデオコンテンツおよび生成されたフォービエイテッドメッシュが、ユーザデバイス(例えば仮想現実ヘッドセット、ヘッドマウントディスプレイデバイスなど)によってレンダリングするためにユーザデバイスに送信されることが可能である。
図2に移ると、開示する本主題のいくつかの実施形態による、没入型ビデオコンテンツをレンダリングするためのプロセスの、例示的な例200が示されている。いくつかの実施形態では、プロセス200のブロックは、仮想現実ヘッドセット、ゲーム機、モバイル電話、タブレットコンピュータ、テレビ、および/または他の任意の適切なタイプのユーザデバイスなど、任意の適切なデバイスによって実行されることが可能である。
プロセス200は、210において、ユーザデバイス上に提示するためのビデオコンテンツアイテムを要求することから開始することができる。いくつかの実施形態では、ビデオコンテンツアイテムは、コンテンツサーバからユーザデバイスにストリーミングされるビデオなど、任意の適切なタイプのビデオコンテンツアイテム、および/または他の任意の適切なタイプのビデオコンテンツアイテムとすることができる。いくつかの実施形態では、ビデオコンテンツアイテムは、ユーザデバイス上で任意の適切な様式で要求されることが可能である。例えば、いくつかの実施形態では、ビデオコンテンツアイテムは、ユーザデバイスのユーザが、利用可能なビデオコンテンツを収容したページからビデオコンテンツアイテムを選択したことに応答して、かつ/または他の任意の適切な様式で、要求されることが可能である。ビデオコンテンツアイテムを求める要求は、ユーザデバイスからコンテンツサーバ(例えば図3に示し、図3に関連して上述したコンテンツサーバ302)に送信されてよい。
プロセス200は、210において送信された要求に応答して、220において、ビデオコンテンツアイテムおよびビデオコンテンツアイテムをレンダリングするために使用される対応するフォービエイテッドメッシュを受信することができる。例えば、いくつかの実施形態では、ビデオコンテンツアイテムおよび対応するフォービエイテッドメッシュは、図1に関連して上述したように、ビデオコンテンツを記憶した、かつ/またはフォービエイテッドメッシュを生成したコンテンツサーバ(例えば図3に示し、図3に関連して上述したコンテンツサーバ302)から受信されることが可能である。いくつかの実施形態では、ビデオコンテンツアイテムおよび対応するフォービエイテッドメッシュは、任意の適切な様式で受信されることが可能である。例えば、いくつかの実施形態では、フォービエイテッドメッシュは、ビデオコンテンツアイテムを含むビデオファイルに挿入されることが可能であり、プロセス200は、任意の適切な技法または技法の組合せを使用して、ビデオファイルからフォービエイテッドメッシュを抽出することができる。任意の適切な手法を使用して、対応するフォービエイテッドメッシュをビデオコンテンツアイテムに投入することができることに留意されたい。
プロセス200は、230において、任意の適切な技法または技法の組合せを使用して、ビデオコンテンツアイテムをユーザデバイス上に没入型コンテンツとしてレンダリングすることができる。例えば、いくつかの実施形態では、プロセス200は、ビデオコンテンツアイテムをフォービエイテッドメッシュ上に貼り付けるかまたは投影して、ビデオコンテンツアイテムを没入型コンテンツとしてレンダリングすることができる。より特定の例として、いくつかの実施形態では、プロセス200は、ビデオコンテンツアイテムからのコンテンツをテクスチャとしてフォービエイテッドメッシュにマッピングするための任意の適切な技法(例えばUVマッピングおよび/または他の任意の適切な技法)を使用することができる。別の例として、いくつかの実施形態では、プロセス200は、ビデオコンテンツアイテムの第1の部分をユーザデバイスの観視者の左目に提示し、ビデオコンテンツアイテムの第2の部分をユーザデバイスの観視者の右目に提示することによって、ビデオコンテンツアイテムを立体視コンテンツとしてレンダリングすることができる。いくつかのそのような実施形態では、ビデオコンテンツアイテムの第1の部分およびビデオコンテンツアイテムの第2の部分は、フォービエイテッドメッシュ上に別々に貼り付けられるかまたは投影されてから、ユーザデバイス上にレンダリングされることが可能である。
いくつかの実施形態では、プロセス200は、ビデオコンテンツアイテムを、ビデオコンテンツアイテムの観視者が操作またはインタラクションすることのできる没入型ビデオコンテンツとしてレンダリングすることができる。例えば、いくつかの実施形態では、プロセス200は、ビデオコンテンツアイテムを、観視者がビデオコンテンツアイテムの視点を変更することを可能にすることのできる様式でレンダリングすることができる。より特定の例として、いくつかの実施形態では、観視者が仮想現実ヘッドセットまたは他のウェアラブルコンピューティングデバイスを使用している場合、プロセス200は、観視者が観視者の頭部の向きを変更したとの判定に応答して、ビデオコンテンツアイテムの提示される視点を変更することができる。別のより特定の例として、いくつかの実施形態では、プロセス200は、観視者が、ビデオコンテンツアイテムがその上に提示されるユーザインターフェースを選択しドラッグすることなどによって、視点を操作するためのジェスチャをユーザデバイス上に入力したとの判定に応答して、ビデオコンテンツアイテムの提示される視点を変更することができる。
図3に移ると、開示する本主題のいくつかの実施形態に従って使用することのできる、フォービエイテッドメッシュを生成するかどうかを判定し、フォービエイテッドメッシュを生成し、かつ/または没入型ビデオコンテンツをフォービエイテッドメッシュを使用してレンダリングするためのハードウェアの、例示的な例300が示されている。図示のように、ハードウェア300は、コンテンツサーバ302、通信ネットワーク304、および/またはユーザデバイス308や310など、1つもしくは複数のユーザデバイス306を含むことができる。
コンテンツサーバ302は、メディアコンテンツを記憶しかつ/またはそれをユーザデバイス306に提供するための、任意の適切なサーバとすることができる。例えば、いくつかの実施形態では、コンテンツサーバ302は、ビデオ、テレビ番組、映画、ライブストリーミング配信されたメディアコンテンツ、オーディオコンテンツ、アニメーション、ビデオゲームコンテンツ、グラフィックス、および/または他の任意の適切なメディアコンテンツなどのメディアコンテンツを記憶することができる。いくつかの実施形態では、コンテンツサーバ302は、メディアコンテンツをユーザデバイス306に、例えば通信ネットワーク304を介して送信することができる。いくつかの実施形態では、コンテンツサーバ302は、ビデオコンテンツ(例えばライブビデオコンテンツ、コンピュータ生成されたビデオコンテンツ、および/または他の任意の適切なタイプのビデオコンテンツ)を、図2に示し、図2に関連して上述したようにクライアントデバイス(例えばユーザデバイス306)によってビデオコンテンツを没入型コンテンツとしてレンダリングするために使用される、任意の適切な情報に関連付けて記憶することができる。
通信ネットワーク304は、いくつかの実施形態では、1つまたは複数の有線ネットワークおよび/またはワイヤレスネットワークの任意の適切な組合せとすることができる。例えば、通信ネットワーク304は、インターネット、イントラネット、広域ネットワーク(WAN)、ローカルエリアネットワーク(LAN)、ワイヤレスネットワーク、デジタル加入者回線(DSL)ネットワーク、フレームリレーネットワーク、非同期転送モード(ATM)ネットワーク、仮想プライベートネットワーク(VPN)、および/または他の任意の適切な通信ネットワークのうちのいずれか1つまたは複数を含むことができる。ユーザデバイス306は、1つまたは複数の通信リンク(例えば通信リンク312)によって通信ネットワーク304に接続されることが可能であり、通信ネットワーク304は、1つまたは複数の通信リンク(例えば通信リンク314)を介してコンテンツサーバ302にリンクされることが可能である。通信リンクは、ネットワークリンク、ダイヤルアップリンク、ワイヤレスリンク、ハードワイヤードリンク、他の任意の適切な通信リンク、またはそのようなリンクの任意の適切な組合せなど、ユーザデバイス306とコンテンツサーバ302との間でデータを通信するのに適した任意の通信リンクとすることができる。
ユーザデバイス306は、ビデオコンテンツを要求し、要求したビデオコンテンツを没入型ビデオコンテンツとして(例えば仮想現実コンテンツとして、3次元コンテンツとして、360度ビデオコンテンツとして、180度ビデオコンテンツとして、および/もしくは他の任意の適切な様式で)レンダリングし、かつ/または他の任意の適切な機能を実施するのに適した、いずれか1つまたは複数のユーザデバイスを含むことができる。例えば、いくつかの実施形態では、ユーザデバイス306には、モバイル電話、タブレットコンピュータ、ウェアラブルコンピュータ、ラップトップコンピュータ、仮想現実ヘッドセット、ビークル(例えば車、ボート、航空機、もしくは他の任意の適切なビークル)の情報システムもしくはエンターテインメントシステム、および/または他の任意の適切なモバイルデバイスなどのモバイルデバイス、ならびに/あるいは任意の適切な非モバイルデバイス(例えばデスクトップコンピュータ、ゲーム機、および/または他の任意の適切な非モバイルデバイス)が含まれ得る。別の例として、いくつかの実施形態では、ユーザデバイス306には、テレビ、プロジェクタデバイス、ゲーム機、デスクトップコンピュータ、および/または他の任意の適切な非モバイルデバイスなどのメディア再生デバイスが含まれ得る。
ユーザデバイス306がユーザによって装着されるヘッドマウントディスプレイデバイスである、より特定の例では、ユーザデバイス306には、ポータブルハンドヘルド電子デバイスに接続されたヘッドマウントディスプレイデバイスが含まれ得る。ポータブルハンドヘルド電子デバイスは、例えば、コントローラ、スマートフォン、ジョイスティック、または、ヘッドマウントディスプレイデバイスによって生成され、例えばヘッドマウントディスプレイデバイスのディスプレイ上でユーザに対して表示された没入型環境においてインタラクションするために、ヘッドマウントディスプレイデバイスとペアリングされ、それと通信することの可能な別のポータブルハンドヘルド電子デバイスとすることができる。
ポータブルハンドヘルド電子デバイスはヘッドマウントディスプレイデバイスと、例えば有線接続、または例えばWiFi接続やBluetooth接続などのワイヤレス接続を介して、動作可能に結合するかまたはペアリングすることができることに留意されたい。ポータブルハンドヘルド電子デバイスとヘッドマウントディスプレイデバイスのこのペアリングまたは動作可能な結合は、ポータブルハンドヘルド電子デバイスとヘッドマウントディスプレイデバイスとの間の通信、およびポータブルハンドヘルド電子デバイスとヘッドマウントディスプレイデバイスとの間のデータ交換を可能にすることができる。これにより、例えば、ポータブルハンドヘルド電子デバイスが、ヘッドマウントディスプレイデバイスによって生成された没入型仮想環境においてインタラクションするための、ヘッドマウントディスプレイデバイスと通信するコントローラとして機能することが可能になり得る。例えば、ポータブルハンドヘルド電子デバイスの操作、および/またはポータブルハンドヘルド電子デバイスのタッチサーフェス上で受け取られた入力、および/またはポータブルハンドヘルド電子デバイスの移動が、ヘッドマウントディスプレイデバイスによって生成され、表示された仮想環境における、対応する選択、または移動、または他のタイプのインタラクションに変換されることが可能である。
いくつかの実施形態では、ポータブルハンドヘルド電子デバイスは、デバイスの内部コンポーネントがその中に受け取られるハウジングを含むことができることにも留意されたい。ハウジング上に、ユーザからアクセス可能なユーザインターフェースを設けることができる。ユーザインターフェースは、例えば、ユーザのタッチ入力、タッチアンドドラッグ入力などを受け取られるように構成された、タッチセンシティブサーフェスを含むことができる。ユーザインターフェースは、例えば作動トリガ(actuation trigger)、ボタン、ノブ、トグルスイッチ、ジョイスティックなどのユーザ操作デバイスを含むこともできる。
いくつかの実施形態では、ヘッドマウントディスプレイデバイスは、フレームに結合されたハウジングを含むことができ、例えばヘッドホン内に取り付けられたスピーカを含むオーディオ出力デバイスもフレームに結合される、ということにさらに留意されたい。例えば、ハウジングの正面部分を、ハウジングのベース部分から離れる方向に回転させることができ、それによって、ハウジング内に受け取られたコンポーネントのいくつかが見えるようになる。ハウジングの正面部分の内部に面する側に、ディスプレイを取り付けることができる。いくつかの実施形態では、ハウジング内の、正面部分がハウジングのベース部分に対して閉鎖位置にあるときのユーザの目とディスプレイとの間に、レンズを取り付けることができる。ヘッドマウントディスプレイデバイスは、さまざまなセンサを含む感知システムと、プロセッサ、およびヘッドマウントディスプレイデバイスの動作を容易にするためのさまざまな制御システムデバイスを含んだ、制御システムとを含むことができる。
例えば、いくつかの実施形態では、感知システムは、例えば加速度計、ジャイロスコープ、磁力計、および他のそのようなセンサなど、さまざまな異なるタイプのセンサを含んだ、慣性測定ユニットを含むことができる。ヘッドマウントディスプレイデバイスの位置および配向は、慣性測定ユニット内に含まれるセンサによって提供されたデータに基づいて検出およびトラッキングされることが可能である。ヘッドマウントディスプレイデバイスの検出された位置および配向により、システムが次に、ユーザのヘッドゲイズ(head gaze)方向、ならびにヘッドゲイズ移動、ならびにヘッドマウントディスプレイデバイスの位置および配向に関係する他の情報を、検出およびトラッキングすることが可能になり得る。
いくつかの実装形態では、ヘッドマウントディスプレイデバイスは、例えばアイゲイズ(eye gaze)の方向および移動を検出およびトラッキングするための1つまたは複数のセンサを含んだゲイズトラッキングデバイスを含むことができる。センサによって捕捉された画像は、ユーザのアイゲイズの方向および移動を検出およびトラッキングするように処理されることが可能である。検出およびトラッキングされたアイゲイズは、ユーザ入力として処理されて、没入型仮想体験における対応するインタラクションに変換されることが可能である。カメラが静止画および/または動画を捕捉することができ、それがユーザの物理的位置および/またはヘッドマウントディスプレイデバイスと通信する/ヘッドマウントディスプレイデバイスと動作可能に結合された他の外部デバイスの物理的位置をトラッキングするのを助けるために使用されることが可能である。捕捉された画像は、パススルーモードにおいてディスプレイ上でユーザに対して表示されることも可能である。
コンテンツサーバ302は1つのデバイスとして図示されているが、いくつかの実施形態では、コンテンツサーバ302によって実施される機能を、任意の適切な数のデバイスを使用して実施することができる。例えば、いくつかの実施形態では、コンテンツサーバ302によって実施される機能を実装するために、複数のデバイスを使用することができる。より特定の例において、いくつかの実施形態では、第1のコンテンツサーバが、メディアコンテンツアイテムを記憶し、メディアコンテンツを求める要求に応答することができ、第2のコンテンツサーバが、要求されたメディアコンテンツアイテムに対応する仮想オブジェクトのサムネイル表現を生成することができる。
図を過度に複雑にするのを避けるために、図3には2つのユーザデバイス308および310が示されているが、いくつかの実施形態では、任意の適切な数のユーザデバイスおよび/または任意の適切なタイプのユーザデバイスを使用することができる。
コンテンツサーバ302およびユーザデバイス306は、いくつかの実施形態では、任意の適切なハードウェアを使用して実装することができる。例えば、いくつかの実施形態では、デバイス302および306は、任意の適切な汎用コンピュータまたは専用コンピュータを使用して実装することができる。例えば、モバイル電話は、専用コンピュータを使用して実装されてよい。任意のそのような汎用コンピュータまたは専用コンピュータは、任意の適切なハードウェアを含むことができる。例えば、図4の例示的なハードウェア400内に示すように、そのようなハードウェアは、ハードウェアプロセッサ402、メモリおよび/またはストレージ404、入力デバイスコントローラ406、入力デバイス408、ディスプレイ/オーディオドライバ410、ディスプレイおよびオーディオ出力回路412、通信インターフェース414、アンテナ416、ならびにバス418を含むことができる。
ハードウェアプロセッサ402には、いくつかの実施形態では、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、専用論理回路、および/または汎用コンピュータもしくは専用コンピュータの機能を制御するための他の任意の適切な回路など、任意の適切なハードウェアプロセッサが含まれ得る。いくつかの実施形態では、ハードウェアプロセッサ402は、(例えばコンテンツサーバ302などの)サーバのメモリおよび/またはストレージ404内に記憶されたサーバプログラムによって制御されることが可能である。例えば、いくつかの実施形態では、サーバプログラムはハードウェアプロセッサ402に、メディアコンテンツアイテムをユーザデバイス306に送信させ、ビデオコンテンツアイテムを没入型ビデオコンテンツとしてレンダリングすることを提示するための命令を送信させ、かつ/または他の任意の適切なアクションを実施させることができる。いくつかの実施形態では、ハードウェアプロセッサ402は、ユーザデバイス306のメモリおよび/またはストレージ404内に記憶されたコンピュータプログラムによって制御されることが可能である。例えば、コンピュータプログラムはハードウェアプロセッサ402に、ビデオコンテンツアイテムを没入型ビデオコンテンツとしてレンダリングさせ、かつ/または他の任意の適切なアクションを実施させることができる。
メモリおよび/またはストレージ404は、いくつかの実施形態では、プログラム、データ、メディアコンテンツ、および/または他の任意の適切な情報を記憶するための、任意の適切なメモリおよび/またはストレージとすることができる。例えば、メモリおよび/またはストレージ404には、ランダムアクセスメモリ、読出し専用メモリ、フラッシュメモリ、ハードディスクストレージ、光学媒体、および/または他の任意の適切なメモリが含まれ得る。
入力デバイスコントローラ406は、いくつかの実施形態では、1つまたは複数の入力デバイス408からの入力を制御し、受け取るための、任意の適切な回路とすることができる。例えば、入力デバイスコントローラ406は、タッチスクリーンからの、キーボードからの、マウスからの、1つもしくは複数のボタンからの、音声認識回路からの、マイクロホンからの、カメラからの、光センサからの、加速度計からの、温度センサからの、近接場センサからの、かつ/または他の任意のタイプの入力デバイスからの入力を受け取るための回路とすることができる。
ディスプレイ/オーディオドライバ410は、いくつかの実施形態では、1つまたは複数のディスプレイ/オーディオ出力デバイス412への出力を制御し、駆動するための、任意の適切な回路とすることができる。例えば、ディスプレイ/オーディオドライバ410は、タッチスクリーン、フラットパネルディスプレイ、陰極線管ディスプレイ、プロジェクタ、1つもしくは複数のスピーカ、ならびに/または他の任意の適切なディスプレイデバイスおよび/もしくは提示デバイスを駆動するための回路とすることができる。
通信インターフェース414は、図3に示すネットワーク304など、1つまたは複数の通信ネットワークとインターフェースするための、任意の適切な回路とすることができる。例えば、インターフェース414には、ネットワークインターフェースカード回路、ワイヤレス通信回路、および/または他の任意の適切なタイプの通信ネットワーク回路が含まれ得る。
アンテナ416は、いくつかの実施形態では、通信ネットワーク(例えば通信ネットワーク304)とワイヤレスで通信するための、任意の適切な1つまたは複数のアンテナとすることができる。いくつかの実施形態では、アンテナ416は省略することができる。
バス418は、いくつかの実施形態では、2つ以上のコンポーネント402、404、406、410、および414間で通信するための、任意の適切なメカニズムとすることができる。
いくつかの実施形態に従って、他の任意の適切なコンポーネントをハードウェア400内に含めることが可能である。
いくつかの実施形態では、図1および図2のプロセスの上述したブロックのうちの少なくともいくつかを、それらの図中に示しそれらの図に関連して説明した順序および順番に限定されない任意の順序または順番で、実行または実施することができる。また、図1および図2の上記のブロックのうちのいくつかを、レーテンシおよび処理時間を短縮するために、適切な場合には実質的に同時に、または並列に、実行または実施することができる。それに加えてまたはその代わりに、図1および図2のプロセスの上述したブロックのうちのいくつかを省略することもできる。
いくつかの実施形態では、任意の適切なコンピュータ可読媒体を使用して、本明細書における機能および/またはプロセスを実施するための命令を記憶することができる。例えば、いくつかの実施形態では、コンピュータ可読媒体は、一時的なものとすることもでき、あるいは非一時的なものとすることもできる。例えば、非一時的コンピュータ可読媒体には、(ハードディスク、フロッピーディスク、および/もしくは他の任意の適切な磁気媒体などの)非一時的な形態の磁気媒体、(コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、および/もしくは他の任意の適切な光学媒体などの)非一時的な形態の光学媒体、(フラッシュメモリ、電気的プログラマブル読出し専用メモリ(EPROM)、電気的消去可能プログラマブル読出し専用メモリ(EEPROM)、および/もしくは他の任意の適切な半導体媒体などの)非一時的な形態の半導体媒体、瞬間的でなく伝送中に外見上の永続性を欠くのでもない任意の適切な媒体、ならびに/または任意の適切な有形の媒体などの媒体が含まれ得る。別の例として、一時的コンピュータ可読媒体には、ネットワーク上の信号、配線内、導体内、光ファイバ内、回路内の信号、瞬間的でありかつ伝送中に外見上の永続性を欠く任意の適切な媒体、および/または任意の適切な無形の媒体が含まれ得る。
本明細書において説明したシステムが、ユーザについての個人情報を収集するかまたは個人情報を使用する状況においては、ユーザには、プログラムまたは機能がユーザ情報(例えばユーザのソーシャルネットワーク、社会的行為もしくは社会的活動、職業、ユーザの嗜好、またはユーザの現在位置についての情報)を収集するかどうかを制御する機会が与えられてよい。加えて、ある特定のデータが、それが記憶または使用される前に、個人情報が取り除かれるように1つまたは複数の方途で取り扱われてよい。例えば、ユーザの識別情報が、そのユーザにとって個人を特定可能な情報を特定することができないように取り扱われてよく、または位置情報が取得されるユーザの地理的位置が、ユーザの特定の位置を特定することができないように(市レベル、郵便番号レベル、もしくは州レベルなどに)一般化されてよい。したがって、ユーザは、コンテンツサーバによってユーザについてどのように情報が収集され、使用されるかについて、制御することができてよい。
したがって、没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体が提供される。
本発明については、前述の例示的な実施形態の中で説明し図示してきたが、本開示は例として行われたにすぎないこと、また添付の特許請求の範囲のみによって限定される本発明の趣旨および範囲から逸脱することなく、本発明の実装形態の詳細の多数の変更を行うことができることが、理解されよう。開示した実施形態の特徴同士を、さまざまな方途で組み合わせ、再編成することが可能である。
100 例示的な例、プロセス
200 例示的な例、プロセス
300 例示的な例、ハードウェア
302 コンテンツサーバ、デバイス
304 通信ネットワーク
306 ユーザデバイス
308 ユーザデバイス
310 ユーザデバイス
312 通信リンク
314 通信リンク
400 ハードウェア
402 ハードウェアプロセッサ、コンポーネント
404 メモリおよび/またはストレージ、コンポーネント
406 入力デバイスコントローラ、コンポーネント
408 入力デバイス
410 ディスプレイ/オーディオドライバ、コンポーネント
412 ディスプレイおよびオーディオ出力回路、ディスプレイ/オーディオ出力デバイス
414 通信インターフェース、コンポーネント
416 アンテナ
418 バス

Claims (21)

  1. 没入型ビデオコンテンツを生成するための方法であって、
    ビデオコンテンツアイテムを受信するステップと、
    ハードウェアプロセッサを使用して、前記ビデオコンテンツアイテムが少なくとも1つの基準を満たすかどうかを判定するステップと、
    前記ビデオコンテンツアイテムが前記少なくとも1つの基準を満たすとの判定に応答して、前記ハードウェアプロセッサを使用して、前記ビデオコンテンツアイテムのフレームがその上に投影されることになるフォービエイテッドメッシュを、フォービエイション比パラメータに従って生成するステップであって、前記フォービエイテッドメッシュが、前記ビデオコンテンツアイテムの各フレームの中心部分内の画素密度を前記ビデオコンテンツアイテムの各フレームの周辺部分と比べて高める非一様なポジションマップを有する、ステップと、
    前記ビデオコンテンツアイテムを、前記生成されたフォービエイテッドメッシュを含むファイル形式で記憶するステップと
    を含み、前記没入型ビデオコンテンツが、前記ビデオコンテンツアイテムをテクスチャとして、前記生成されたフォービエイテッドメッシュに貼り付けることによってレンダリングされる、方法。
  2. 前記少なくとも1つの基準が、前記受信したビデオコンテンツアイテムが特定のファイル形式に関連するかどうかを判定することを含む、請求項1に記載の方法。
  3. 前記特定のファイル形式が、視野180度の方向性立体視投影を使用するVR180ファイル形式を含む、請求項2に記載の方法。
  4. 前記少なくとも1つの基準が、前記受信したビデオコンテンツアイテムが立体視コンテンツを含むか、それとも平面視コンテンツを含むかを判定することを含み、前記方法が、前記受信したビデオコンテンツアイテムが立体視コンテンツを含むとの判定に応答して前記フォービエイテッドメッシュを生成するステップをさらに含む、請求項1に記載の方法。
  5. 前記少なくとも1つの基準が、前記受信したビデオコンテンツアイテムが静的ビデオであるか、それとも動的ビデオであるかを判定することを含み、前記静的ビデオが、ビデオコンテンツが捕捉されたときにカメラが実質的に移動しなかったビデオコンテンツを含み、前記動的ビデオが、カメラモーションメタデータトラックを含み、前記方法が、前記受信したビデオコンテンツアイテムが前記静的ビデオであるとの判定に応答して前記フォービエイテッドメッシュを生成するステップをさらに含む、請求項1に記載の方法。
  6. 前記少なくとも1つの基準が、前記受信したビデオコンテンツアイテムが特定のタイプの入力メッシュに関連付けられているかどうかを判定することを含み、前記方法が、前記受信したビデオコンテンツアイテムが切出しエクイレクタングラーメッシュに関連付けられているとの判定に応答して前記フォービエイテッドメッシュを生成するステップをさらに含む、請求項1に記載の方法。
  7. 前記フォービエイテッドメッシュが、前記切出しエクイレクタングラーメッシュの2次元UVマップを、多項式フィッティング関数を使用して変形することによって生成される、請求項6に記載の方法。
  8. 第1のフォービエイテッドメッシュを第1のフォービエイション比パラメータに基づいて生成するステップと、第2のフォービエイテッドメッシュを第2のフォービエイション比パラメータに基づいて生成するステップとをさらに含む、請求項1に記載の方法。
  9. 前記受信したビデオが第1の画素解像度から第2の画素解像度にダウンサンプリング比だけダウンサンプリングされているとの判定に応答して、前記フォービエイテッドメッシュが生成され、前記ビデオコンテンツアイテムの各フレームの前記中心部分における改善比が、前記ダウンサンプリング比と一致する、請求項1に記載の方法。
  10. 前記ビデオコンテンツおよび前記生成されたフォービエイテッドメッシュをユーザデバイスに、前記ユーザデバイスから前記ビデオコンテンツアイテムを求める要求を受信したことに応答して送信するステップをさらに含む、請求項1に記載の方法。
  11. 没入型ビデオコンテンツを生成するためのシステムであって、
    メモリと、
    ハードウェアプロセッサと
    を備え、前記ハードウェアプロセッサが、前記メモリ内に記憶されたコンピュータ実行可能命令を実行すると、
    ビデオコンテンツアイテムを受信することと、
    前記ビデオコンテンツアイテムが少なくとも1つの基準を満たすかどうかを判定することと、
    前記ビデオコンテンツアイテムが前記少なくとも1つの基準を満たすとの判定に応答して、前記ビデオコンテンツアイテムのフレームがその上に投影されることになるフォービエイテッドメッシュを、フォービエイション比パラメータに従って生成することであって、前記フォービエイテッドメッシュが、前記ビデオコンテンツアイテムの各フレームの中心部分内の画素密度を前記ビデオコンテンツアイテムの各フレームの周辺部分と比べて高める非一様なポジションマップを有する、生成することと、
    前記ビデオコンテンツアイテムを、前記生成されたフォービエイテッドメッシュを含むファイル形式で記憶することと
    を行うように構成され、前記没入型ビデオコンテンツが、前記ビデオコンテンツアイテムをテクスチャとして、前記生成されたフォービエイテッドメッシュに貼り付けることによってレンダリングされる、システム。
  12. 前記少なくとも1つの基準が、前記受信したビデオコンテンツアイテムが特定のファイル形式に関連するかどうかを判定することを含む、請求項11に記載のシステム。
  13. 前記特定のファイル形式が、視野180度の方向性立体視投影を使用するVR180ファイル形式を含む、請求項12に記載のシステム。
  14. 前記少なくとも1つの基準が、前記受信したビデオコンテンツアイテムが立体視コンテンツを含むか、それとも平面視コンテンツを含むかを判定することを含み、前記ハードウェアプロセッサが、前記受信したビデオコンテンツアイテムが立体視コンテンツを含むとの判定に応答して前記フォービエイテッドメッシュを生成することを行うようにさらに構成される、請求項11に記載のシステム。
  15. 前記少なくとも1つの基準が、前記受信したビデオコンテンツアイテムが静的ビデオであるか、それとも動的ビデオであるかを判定することを含み、前記静的ビデオが、ビデオコンテンツが捕捉されたときにカメラが実質的に移動しなかったビデオコンテンツを含み、前記動的ビデオが、カメラモーションメタデータトラックを含み、前記ハードウェアプロセッサが、前記受信したビデオコンテンツアイテムが前記静的ビデオであるとの判定に応答して前記フォービエイテッドメッシュを生成することを行うようにさらに構成される、請求項11に記載のシステム。
  16. 前記少なくとも1つの基準が、前記受信したビデオコンテンツアイテムが特定のタイプの入力メッシュに関連付けられているかどうかを判定することを含み、前記ハードウェアプロセッサが、前記受信したビデオコンテンツアイテムが切出しエクイレクタングラーメッシュに関連付けられているとの判定に応答して前記フォービエイテッドメッシュを生成することを行うようにさらに構成される、請求項11に記載のシステム。
  17. 前記フォービエイテッドメッシュが、前記切出しエクイレクタングラーメッシュの2次元UVマップを、多項式フィッティング関数を使用して変形することによって生成される、請求項16に記載のシステム。
  18. 前記ハードウェアプロセッサが、第1のフォービエイテッドメッシュを第1のフォービエイション比パラメータに基づいて生成することと、第2のフォービエイテッドメッシュを第2のフォービエイション比パラメータに基づいて生成することとを行うようにさらに構成される、請求項11に記載のシステム。
  19. 前記受信したビデオが第1の画素解像度から第2の画素解像度にダウンサンプリング比だけダウンサンプリングされているとの判定に応答して、前記フォービエイテッドメッシュが生成され、前記ビデオコンテンツアイテムの各フレームの前記中心部分における改善比が、前記ダウンサンプリング比と一致する、請求項11に記載のシステム。
  20. 前記ハードウェアプロセッサが、前記ビデオコンテンツおよび前記生成されたフォービエイテッドメッシュをユーザデバイスに、前記ユーザデバイスから前記ビデオコンテンツアイテムを求める要求を受信したことに応答して送信することを行うようにさらに構成される、請求項11に記載のシステム。
  21. プロセッサによって実行されると前記プロセッサに没入型ビデオコンテンツを生成するための方法を実施させるコンピュータ実行可能命令を収容した、非一時的コンピュータ可読媒体であって、前記方法が、
    ビデオコンテンツアイテムを受信するステップと、
    ハードウェアプロセッサを使用して、前記ビデオコンテンツアイテムが少なくとも1つの基準を満たすかどうかを判定するステップと、
    前記ビデオコンテンツアイテムが前記少なくとも1つの基準を満たすとの判定に応答して、前記ハードウェアプロセッサを使用して、前記ビデオコンテンツアイテムのフレームがその上に投影されることになるフォービエイテッドメッシュを、フォービエイション比パラメータに従って生成するステップであって、前記フォービエイテッドメッシュが、前記ビデオコンテンツアイテムの各フレームの中心部分内の画素密度を前記ビデオコンテンツアイテムの各フレームの周辺部分と比べて高める非一様なポジションマップを有する、ステップと、
    前記ビデオコンテンツアイテムを、前記生成されたフォービエイテッドメッシュを含むファイル形式で記憶するステップと
    を含み、前記没入型ビデオコンテンツが、前記ビデオコンテンツアイテムをテクスチャとして、前記生成されたフォービエイテッドメッシュに貼り付けることによってレンダリングされる、非一時的コンピュータ可読媒体。
JP2023198226A 2019-07-28 2023-11-22 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体 Pending JP2024026151A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962879529P 2019-07-28 2019-07-28
US62/879,529 2019-07-28
PCT/US2019/065417 WO2021021235A1 (en) 2019-07-28 2019-12-10 Methods, systems, and media for rendering immersive video content with foveated meshes
JP2022505610A JP7392105B2 (ja) 2019-07-28 2019-12-10 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022505610A Division JP7392105B2 (ja) 2019-07-28 2019-12-10 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体

Publications (1)

Publication Number Publication Date
JP2024026151A true JP2024026151A (ja) 2024-02-28

Family

ID=69160283

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022505610A Active JP7392105B2 (ja) 2019-07-28 2019-12-10 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体
JP2023198226A Pending JP2024026151A (ja) 2019-07-28 2023-11-22 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2022505610A Active JP7392105B2 (ja) 2019-07-28 2019-12-10 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体

Country Status (7)

Country Link
US (2) US11375170B2 (ja)
EP (1) EP4005201A1 (ja)
JP (2) JP7392105B2 (ja)
KR (2) KR102582407B1 (ja)
CN (1) CN114175630A (ja)
BR (1) BR112022001434A2 (ja)
WO (1) WO2021021235A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102582407B1 (ko) * 2019-07-28 2023-09-26 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
CN113808231B (zh) * 2021-09-18 2023-04-11 北京百度网讯科技有限公司 信息处理方法及装置、图像渲染方法及装置、电子设备
CN114627221B (zh) * 2021-12-08 2023-11-10 北京蓝亚盒子科技有限公司 一种场景渲染方法、装置及运行器、可读存储介质
KR102586644B1 (ko) * 2021-12-13 2023-10-10 한국전자기술연구원 포비티드 홀로그램의 파라미터 결정을 위한 주변시 영상 품질 변화에 대한 인지 실험 방법
US20240236355A9 (en) * 2022-10-19 2024-07-11 Samsung Electronics Co., Ltd. Packing of displacements data in video frames for dynamic mesh coding

Family Cites Families (258)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422653A (en) * 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
US5748199A (en) * 1995-12-20 1998-05-05 Synthonics Incorporated Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture
US6252989B1 (en) * 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
US6455831B1 (en) * 1998-09-11 2002-09-24 The Research Foundation Of Suny At Buffalo CMOS foveal image sensor chip
US6781585B2 (en) * 2000-01-11 2004-08-24 Sun Microsystems, Inc. Graphics system having a super-sampled sample buffer and having single sample per pixel support
US6664955B1 (en) * 2000-03-15 2003-12-16 Sun Microsystems, Inc. Graphics system configured to interpolate pixel values
US6426755B1 (en) * 2000-05-16 2002-07-30 Sun Microsystems, Inc. Graphics system using sample tags for blur
US6829391B2 (en) * 2000-09-08 2004-12-07 Siemens Corporate Research, Inc. Adaptive resolution system and method for providing efficient low bit rate transmission of image data for distributed applications
WO2002065443A1 (en) * 2001-02-15 2002-08-22 Tveye Inc. Method and apparatus for low bandwidth transmission of data utilizing of the human eye anatomy
DE10150428A1 (de) * 2001-10-11 2003-04-30 Siemens Ag Verfahren zur Erzeugung dreidimensionaler, mehrfachaufgelöster Volumenbilder eines Untersuchungsobjekts
US7408572B2 (en) * 2002-07-06 2008-08-05 Nova Research, Inc. Method and apparatus for an on-chip variable acuity imager array incorporating roll, pitch and yaw angle rates measurement
US7495638B2 (en) * 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
JP4373286B2 (ja) * 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
EP1858402B1 (en) * 2005-01-21 2017-11-29 Massachusetts Institute Of Technology Methods and apparatus for optical coherence tomography scanning
US8956396B1 (en) * 2005-10-24 2015-02-17 Lockheed Martin Corporation Eye-tracking visual prosthetic and method
JP4013989B2 (ja) * 2006-02-20 2007-11-28 松下電工株式会社 映像信号処理装置、仮想現実感生成システム
US8401246B2 (en) * 2007-11-08 2013-03-19 Topcon Medical Systems, Inc. Mapping of retinal parameters from combined fundus image and three-dimensional optical coherence tomography
US8081808B2 (en) * 2007-11-08 2011-12-20 Topcon Medical Systems, Inc. Retinal thickness measurement by combined fundus image and three-dimensional optical coherence tomography
US8808164B2 (en) * 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US8588921B2 (en) * 2010-11-12 2013-11-19 Second Sight Medical Products, Inc. Visual prosthesis with an improved electrode array adapted for foveal stimulation
US20120142415A1 (en) * 2010-12-03 2012-06-07 Lindsay L Jon Video Show Combining Real Reality and Virtual Reality
US9030583B2 (en) * 2011-09-21 2015-05-12 Semiconductor Components Industries, Llc Imaging system with foveated imaging capabilites
JP5936254B2 (ja) * 2012-02-29 2016-06-22 国立大学法人京都大学 眼底観察装置及び眼底画像解析装置
WO2013165614A1 (en) * 2012-05-04 2013-11-07 University Of Iowa Research Foundation Automated assessment of glaucoma loss from optical coherence tomography
US11714487B2 (en) * 2013-03-04 2023-08-01 Tobii Ab Gaze and smooth pursuit based continuous foveal adjustment
US20140267616A1 (en) * 2013-03-15 2014-09-18 Scott A. Krig Variable resolution depth representation
US20150019130A1 (en) * 2013-07-09 2015-01-15 Rosemount Aerospace Inc. Dual Function Focal Plane Array Seeker
EP3129958B1 (en) * 2014-04-05 2021-06-02 Sony Interactive Entertainment LLC Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
WO2015162098A1 (en) * 2014-04-24 2015-10-29 Carl Zeiss Meditec, Inc. Functional vision testing using light field displays
EP2958074A1 (en) * 2014-06-17 2015-12-23 Thomson Licensing A method and a display device with pixel repartition optimization
US11049269B2 (en) * 2014-06-27 2021-06-29 Samsung Electronics Co., Ltd. Motion based adaptive rendering
US9418472B2 (en) * 2014-07-17 2016-08-16 Google Inc. Blending between street view and earth view
WO2016032973A1 (en) * 2014-08-25 2016-03-03 Schepens Eye Research Institute Compensating 3d stereoscopic imagery
KR102533555B1 (ko) * 2015-02-17 2023-05-18 네버마인드 캐피탈 엘엘씨 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치
US11461936B2 (en) * 2015-03-17 2022-10-04 Raytrx, Llc Wearable image manipulation and control system with micro-displays and augmentation of vision and sensing in augmented reality glasses
US11956414B2 (en) * 2015-03-17 2024-04-09 Raytrx, Llc Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing
US10419737B2 (en) * 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10094713B2 (en) * 2015-04-22 2018-10-09 The Boeing Company Hyperspectral demixing using foveated compressive projections
US10037620B2 (en) * 2015-05-29 2018-07-31 Nvidia Corporation Piecewise linear irregular rasterization
DE112016002904T5 (de) * 2015-06-23 2018-03-08 Google Llc Am Kopf befestigtes Anzeigegerät mit gekrümmten Dualanzeigen
US10210844B2 (en) * 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
US9607428B2 (en) * 2015-06-30 2017-03-28 Ariadne's Thread (Usa), Inc. Variable resolution virtual reality display system
US10429648B2 (en) * 2015-09-03 2019-10-01 Lawrence Sverdrup Augmented reality head worn device
US9916682B2 (en) * 2015-10-28 2018-03-13 Intel Corporation Variable precision shading
US10726619B2 (en) * 2015-10-29 2020-07-28 Sony Interactive Entertainment Inc. Foveated geometry tessellation
DE112016005395T5 (de) * 2015-11-25 2018-08-02 Google Llc Prismenbasierte Augenverfolgung
IL242895B (en) * 2015-12-03 2021-04-29 Eyeway Vision Ltd Image projection system
US11010956B2 (en) * 2015-12-09 2021-05-18 Imagination Technologies Limited Foveated rendering
US20170178395A1 (en) * 2015-12-16 2017-06-22 Google Inc. Light field rendering of an image using variable computational complexity
WO2017112958A1 (en) * 2015-12-24 2017-06-29 Meta Company Optical engine for creating wide-field of view fovea-based display
US9846808B2 (en) * 2015-12-31 2017-12-19 Adaptive Computation, Llc Image integration search based on human visual pathway model
US10877438B2 (en) * 2016-01-07 2020-12-29 Magic Leap, Inc. Dynamic fresnel projector
US10643296B2 (en) * 2016-01-12 2020-05-05 Qualcomm Incorporated Systems and methods for rendering multiple levels of detail
US10643381B2 (en) * 2016-01-12 2020-05-05 Qualcomm Incorporated Systems and methods for rendering multiple levels of detail
US11308704B2 (en) * 2016-01-18 2022-04-19 Lg Electronics Inc. Mobile terminal for controlling VR image and control method therefor
KR102524641B1 (ko) * 2016-01-22 2023-04-21 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
US10157448B2 (en) * 2016-02-12 2018-12-18 Qualcomm Incorporated Foveated video rendering
US10475370B2 (en) * 2016-02-17 2019-11-12 Google Llc Foveally-rendered display
US10438400B2 (en) * 2016-03-08 2019-10-08 Nvidia Corporation Perceptually-based foveated rendering using a contrast-enhancing filter
US10099122B2 (en) * 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
US10192528B2 (en) * 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10401952B2 (en) * 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10372205B2 (en) * 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10169846B2 (en) * 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10394029B2 (en) * 2016-04-04 2019-08-27 Akonia Holographics, Llc Field of view enhancement
US10275928B2 (en) * 2016-04-05 2019-04-30 Qualcomm Incorporated Dual fisheye image stitching for spherical image content
US10192280B2 (en) * 2016-04-08 2019-01-29 Qualcomm Incorporated Per-vertex variable rate shading
US9721393B1 (en) * 2016-04-29 2017-08-01 Immersive Enterprises, LLC Method for processing and delivering virtual reality content to a user
GB2553744B (en) * 2016-04-29 2018-09-05 Advanced Risc Mach Ltd Graphics processing systems
US10460501B2 (en) * 2016-07-04 2019-10-29 Liquid Cinema Inc., Canada System and method for processing digital video
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
US10410313B2 (en) * 2016-08-05 2019-09-10 Qualcomm Incorporated Dynamic foveation adjustment
US10438318B2 (en) * 2016-08-30 2019-10-08 Intel IP Corporation Blind spot rendering optimizations for eye tracking head mounted displays
US20180082464A1 (en) * 2016-09-16 2018-03-22 Tomas G. Akenine-Moller Apparatus and method for an efficient 3d graphics pipeline
US10719447B2 (en) * 2016-09-26 2020-07-21 Intel Corporation Cache and compression interoperability in a graphics processor pipeline
US9779478B1 (en) * 2016-10-04 2017-10-03 Oculus Vr, Llc Rendering composite content on a head-mounted display including a high resolution inset
KR102650215B1 (ko) * 2016-10-18 2024-03-21 삼성전자주식회사 영상 처리 방법 및 장치
US10186067B2 (en) * 2016-10-25 2019-01-22 Aspeed Technology Inc. Method and apparatus for generating panoramic image with rotation, translation and warping process
US10262387B2 (en) * 2016-11-14 2019-04-16 Google Llc Early sub-pixel rendering
US10564715B2 (en) * 2016-11-14 2020-02-18 Google Llc Dual-path foveated graphics pipeline
US20180137602A1 (en) * 2016-11-14 2018-05-17 Google Inc. Low resolution rgb rendering for efficient transmission
JP6858007B2 (ja) * 2016-11-28 2021-04-14 キヤノン株式会社 画像処理システム、画像処理方法
US10082672B2 (en) * 2016-12-01 2018-09-25 Varjo Technologies Oy Display apparatus and method of displaying using electromechanical faceplate
US20180157381A1 (en) * 2016-12-02 2018-06-07 Facebook, Inc. Systems and methods for media item selection within a grid-based content feed
US10482648B2 (en) * 2016-12-13 2019-11-19 Qualcomm Incorporated Scene-based foveated rendering of graphics content
US10200683B2 (en) * 2016-12-21 2019-02-05 Microvision, Inc. Devices and methods for providing foveated scanning laser image projection with depth mapping
US11222397B2 (en) * 2016-12-23 2022-01-11 Qualcomm Incorporated Foveated rendering in tiled architectures
US10490157B2 (en) * 2017-01-03 2019-11-26 Screenovate Technologies Ltd. Compression of distorted images for head-mounted display
US10616551B2 (en) * 2017-01-27 2020-04-07 OrbViu Inc. Method and system for constructing view from multiple video streams
US10560680B2 (en) * 2017-01-28 2020-02-11 Microsoft Technology Licensing, Llc Virtual reality with interactive streaming video and likelihood-based foveation
US10425643B2 (en) * 2017-02-04 2019-09-24 OrbViu Inc. Method and system for view optimization of a 360 degrees video
US10104288B2 (en) * 2017-02-08 2018-10-16 Aspeed Technology Inc. Method and apparatus for generating panoramic image with stitching process
US10628994B2 (en) * 2017-03-07 2020-04-21 Google Llc Reducing visually induced motion sickness in head mounted display systems
US20180262758A1 (en) * 2017-03-08 2018-09-13 Ostendo Technologies, Inc. Compression Methods and Systems for Near-Eye Displays
US20180269266A1 (en) * 2017-03-16 2018-09-20 Intel Corporation Foveated displays for virtual and augmented reality
WO2018175625A1 (en) * 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems
US10417739B2 (en) * 2017-03-23 2019-09-17 Google Llc Phase aligned foveated rendering
US10546365B2 (en) * 2017-03-27 2020-01-28 Advanced Micro Devices, Inc. Single pass flexible screen/scale rasterization
US10152822B2 (en) * 2017-04-01 2018-12-11 Intel Corporation Motion biased foveated renderer
US10649524B2 (en) * 2017-04-07 2020-05-12 Intel Corporation Apparatus and method for foveated rendering, bin comparison and TBIMR memory-backed storage for virtual reality implementations
US20180300951A1 (en) * 2017-04-17 2018-10-18 Intel Corporation Adaptive tessellation for foveated rendering
US11164352B2 (en) * 2017-04-21 2021-11-02 Intel Corporation Low power foveated rendering to save power on GPU and/or display
WO2018201048A1 (en) * 2017-04-27 2018-11-01 Google Llc Synthetic stereoscopic content capture
WO2018200993A1 (en) * 2017-04-28 2018-11-01 Zermatt Technologies Llc Video pipeline
US10775884B2 (en) * 2017-05-18 2020-09-15 Tectus Corporation Gaze calibration via motion detection for eye mounted displays
KR102270131B1 (ko) * 2017-05-26 2021-06-28 구글 엘엘씨 스파스 샘플링 슈퍼-해상도를 가진 니어-아이 디스플레이
AU2017416573A1 (en) * 2017-05-29 2020-01-23 Eyeway Vision Ltd. Image projection system
US10885607B2 (en) * 2017-06-01 2021-01-05 Qualcomm Incorporated Storage for foveated rendering
EP3635686A1 (en) * 2017-06-05 2020-04-15 Google LLC Smoothly varying foveated rendering
US10572764B1 (en) * 2017-06-05 2020-02-25 Google Llc Adaptive stereo rendering to reduce motion sickness
US10515466B2 (en) * 2017-06-09 2019-12-24 Sony Interactive Entertainment Inc. Optimized deferred lighting in a foveated rendering system
JP6959365B2 (ja) * 2017-06-09 2021-11-02 株式会社ソニー・インタラクティブエンタテインメント 中心窩レンダリングシステムにおけるシャドーの最適化及びメッシュスキンの適応
US10650544B2 (en) * 2017-06-09 2020-05-12 Sony Interactive Entertainment Inc. Optimized shadows in a foveated rendering system
US10621767B2 (en) * 2017-06-12 2020-04-14 Qualcomm Incorporated Fisheye image stitching for movable cameras
KR102111501B1 (ko) * 2017-06-19 2020-05-15 주식회사 케이티 가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10319114B2 (en) * 2017-07-13 2019-06-11 Google Llc Foveated compression of display streams
US10397481B2 (en) * 2017-07-13 2019-08-27 Qualcomm Incorporated Stabilization and rolling shutter correction for omnidirectional image content
US10992916B2 (en) * 2017-07-26 2021-04-27 Google Llc Depth data adjustment based on non-visual pose data
US20190035049A1 (en) * 2017-07-31 2019-01-31 Qualcomm Incorporated Dithered variable rate shading
US10403032B2 (en) * 2017-08-22 2019-09-03 Qualcomm Incorporated Rendering an image from computer graphics using two rendering computing devices
US10948740B2 (en) * 2017-09-19 2021-03-16 Intel Corporation Head-mounted displays having curved lens arrays and generating elemental images for displaying
JP6940349B2 (ja) * 2017-09-21 2021-09-29 株式会社トプコン 眼科装置
US10755383B2 (en) * 2017-09-29 2020-08-25 Apple Inc. Multi-space rendering with configurable transformation parameters
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
US10511842B2 (en) * 2017-10-06 2019-12-17 Qualcomm Incorporated System and method for foveated compression of image frames in a system on a chip
US10388641B2 (en) * 2017-10-19 2019-08-20 Tectus Corporation Ultra-dense LED projector
US10657695B2 (en) * 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
US10678049B2 (en) * 2017-10-31 2020-06-09 Google Llc Near-eye display having lenslet array with reduced off-axis optical aberrations
US10643307B2 (en) * 2017-11-10 2020-05-05 Intel Corporation Super-resolution based foveated rendering
US10553016B2 (en) * 2017-11-15 2020-02-04 Google Llc Phase aligned foveated rendering
US10169843B1 (en) * 2017-11-20 2019-01-01 Advanced Micro Devices, Inc. Temporal foveated rendering using motion estimation
CN111164654A (zh) * 2017-11-23 2020-05-15 英特尔公司 自适应中心凹形编码器以及全局运动预测因子
KR102028997B1 (ko) * 2017-11-29 2019-10-07 엘지디스플레이 주식회사 헤드 마운트 디스플레이 장치
US11012676B2 (en) * 2017-12-13 2021-05-18 Google Llc Methods, systems, and media for generating and rendering immersive video content
US10217488B1 (en) * 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
WO2019122493A1 (en) * 2017-12-19 2019-06-27 Nokia Technologies Oy Gaze dependent foveated rendering apparatus, method, computer program and system
US10650791B2 (en) * 2017-12-28 2020-05-12 Texas Instruments Incorporated Display system
US10522113B2 (en) * 2017-12-29 2019-12-31 Intel Corporation Light field displays having synergistic data formatting, re-projection, foveation, tile binning and image warping technology
KR102532972B1 (ko) * 2017-12-29 2023-05-16 엘지디스플레이 주식회사 표시장치의 보상 방법 및 보상값 저장부를 포함하는 표시장치
US10949947B2 (en) * 2017-12-29 2021-03-16 Intel Corporation Foveated image rendering for head-mounted display devices
US10720124B2 (en) * 2018-01-15 2020-07-21 Microsoft Technology Licensing, Llc Variable pixel rate display interfaces
US10699663B2 (en) * 2018-02-27 2020-06-30 Tobii Ab Providing an image with a scaler chip in direct communication with an eye tracking device
US10694170B2 (en) * 2018-03-05 2020-06-23 Valve Corporation Controlling image display via real-time compression in peripheral image regions
JP2021105749A (ja) * 2018-03-20 2021-07-26 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
US10713997B2 (en) * 2018-03-23 2020-07-14 Valve Corporation Controlling image display via mapping of pixel values to pixels
US20190302881A1 (en) * 2018-03-29 2019-10-03 Omnivision Technologies, Inc. Display device and methods of operation
JP7174941B2 (ja) * 2018-04-11 2022-11-18 アルカクルーズ インク デジタルメディアシステム
US11048082B1 (en) * 2018-04-13 2021-06-29 Apple Inc. Wireless bandwidth reduction with display data interleaving
US10997951B2 (en) * 2018-04-13 2021-05-04 Qualcomm Incorporated Preserving sample data in foveated rendering of graphics content
US10529117B2 (en) * 2018-04-16 2020-01-07 Facebook Technologies, Llc Systems and methods for rendering optical distortion effects
US11435577B2 (en) * 2018-04-25 2022-09-06 Dhanushan Balachandreswaran Foveated projection system to produce ocular resolution near-eye displays
WO2019217261A1 (en) * 2018-05-07 2019-11-14 Zermatt Technologies Llc Dynamic foveated pipeline
GB2573543B (en) * 2018-05-09 2021-10-27 Advanced Risc Mach Ltd Graphics Processing
US10580334B2 (en) * 2018-05-17 2020-03-03 Tectus Corporation Peripheral femtoprojector optical systems
JP7341166B2 (ja) * 2018-05-22 2023-09-08 マジック リープ， インコーポレイテッド ウェアラブルシステムのためのトランスモード入力融合
US11064387B1 (en) * 2018-05-23 2021-07-13 Apple Inc. Adaptive wireless transmission schemes
US11250819B2 (en) * 2018-05-24 2022-02-15 Lockheed Martin Corporation Foveated imaging system
US10764581B2 (en) * 2018-05-24 2020-09-01 Lockhead Martin Corporation Multi-resolution regionalized data transmission
US10453828B1 (en) * 2018-06-12 2019-10-22 Facebook Technologies, Llc Foveated rendering display devices and methods of making the same
US11194389B2 (en) * 2018-06-21 2021-12-07 Qualcomm Incorporated Foveated rendering of graphics content using a rendering command and subsequently received eye position data
KR102541392B1 (ko) * 2018-06-28 2023-06-13 애플 인크. 저 레이턴시 비디오 인코딩 및 송신을 위한 레이트 제어
KR102645652B1 (ko) * 2018-06-28 2024-03-11 애플 인크. 비디오 인코딩 시스템
CN116016955A (zh) * 2018-06-28 2023-04-25 苹果公司 基于优先级的视频编码和传输
US10764547B2 (en) * 2018-06-28 2020-09-01 Sony Interactive Entertainment Inc. Foveated near to eye display system using a computational freeform lens via spatial light modulation of a laser projected image onto an emissive film
US11962819B2 (en) * 2018-07-17 2024-04-16 Dolby Laboratories Licensing Corporation Foviation and HDR
ES2938535T3 (es) * 2018-07-20 2023-04-12 Tobii Ab Representación foveada distribuida basada en la mirada del usuario
US10916040B2 (en) * 2018-07-24 2021-02-09 Apical Ltd. Processing image data using different data reduction rates
US11037271B2 (en) * 2018-08-07 2021-06-15 Qualcomm Incorporated Dynamic rendering for foveated rendering
US10565689B1 (en) * 2018-08-07 2020-02-18 Qualcomm Incorporated Dynamic rendering for foveated rendering
US20200049946A1 (en) * 2018-08-10 2020-02-13 Varjo Technologies Oy Display apparatus and method of displaying using gaze prediction and image steering
US10650568B2 (en) * 2018-09-13 2020-05-12 Qualcomm Incorporated In-flight adaptive foveated rendering
US10775617B2 (en) * 2018-10-24 2020-09-15 Google Llc Eye tracked lens for increased screen resolution
US11244494B1 (en) * 2018-10-31 2022-02-08 Facebook Technologies, Llc. Multi-channel ray casting with distortion meshes to address chromatic aberration
US11138747B1 (en) * 2018-11-02 2021-10-05 Facebook Technologies, Llc Interpolation optimizations for a display engine for post-rendering processing
US11403810B2 (en) * 2018-11-02 2022-08-02 Facebook Technologies, Llc. Display engine for post-rendering processing
US10950305B1 (en) * 2018-11-02 2021-03-16 Facebook Technologies, Llc Selective pixel output
US11244492B2 (en) * 2018-11-02 2022-02-08 Facebook Technologies, Llc. Parallel texture sampling
GB2578769B (en) * 2018-11-07 2022-07-20 Advanced Risc Mach Ltd Data processing systems
US10825131B2 (en) * 2018-11-13 2020-11-03 Intel Corporation Circular fisheye camera array rectification
US10791282B2 (en) * 2018-12-13 2020-09-29 Fenwick & West LLP High dynamic range camera assembly with augmented pixels
KR102166158B1 (ko) * 2018-12-19 2020-10-15 (주)이머시브캐스트 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템
US10937217B2 (en) * 2018-12-28 2021-03-02 Canon Kabushiki Kaisha Electronic device and control method thereof for generating edited VR content
US11683464B2 (en) * 2018-12-28 2023-06-20 Canon Kabushiki Kaisha Electronic device, control method, and non-transitorycomputer readable medium
US10831266B2 (en) * 2019-01-03 2020-11-10 International Business Machines Corporation Personalized adaptation of virtual reality content based on eye strain context
CN111506188A (zh) * 2019-01-30 2020-08-07 托比股份公司 用于动态地调整hud的方法和hmd
EP3693061A1 (en) * 2019-02-05 2020-08-12 Gensight Biologics Method for controlling an optogenetic device using filtering and associated devices
GB2583061B (en) * 2019-02-12 2023-03-15 Advanced Risc Mach Ltd Data processing systems
US11461907B2 (en) * 2019-02-15 2022-10-04 EchoPixel, Inc. Glasses-free determination of absolute motion
US10930244B2 (en) * 2019-02-19 2021-02-23 Apical Limited Data processing systems
WO2020173414A1 (zh) * 2019-02-25 2020-09-03 昀光微电子（上海）有限公司 一种基于人眼视觉特征的近眼显示方法和装置
US10810700B2 (en) * 2019-03-05 2020-10-20 Aspeed Technology Inc. Method of adjusting texture coordinates based on control regions in a panoramic image
US11068052B2 (en) * 2019-03-15 2021-07-20 Microsoft Technology Licensing, Llc Holographic image generated based on eye position
US20200275071A1 (en) * 2019-03-20 2020-08-27 Anton Zavoyskikh Electronic visual headset
US20200341273A1 (en) * 2019-04-29 2020-10-29 Tecgyver Innovations Oy Method, System and Apparatus for Augmented Reality
US20200349751A1 (en) * 2019-04-30 2020-11-05 Number 9, LLC Presentation interface and immersion platform
US11508109B2 (en) * 2019-06-10 2022-11-22 Qualcomm Incorporated Methods and apparatus for machine learning rendering
US10997773B2 (en) * 2019-06-13 2021-05-04 Facebook Technologies, Llc Dynamic tiling for foveated rendering
US11606540B2 (en) * 2019-07-22 2023-03-14 Maradin Ltd. System, method and computer program product for laser projection
US10997954B2 (en) * 2019-07-24 2021-05-04 Qualcomm Incorporated Foveated rendering using variable framerates
US10936059B2 (en) * 2019-07-26 2021-03-02 Cajal Corporation Systems and methods for gaze tracking
KR102582407B1 (ko) * 2019-07-28 2023-09-26 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
US11100899B2 (en) * 2019-08-13 2021-08-24 Facebook Technologies, Llc Systems and methods for foveated rendering
WO2021034238A1 (en) * 2019-08-19 2021-02-25 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices for handling media data streams
US11336887B2 (en) * 2019-09-03 2022-05-17 Facebook Technologies, Llc Adaptive shading and reprojection
WO2021055256A1 (en) * 2019-09-17 2021-03-25 Akalana Management Llc Optical systems with lens-based static foveation
US11307655B2 (en) * 2019-09-19 2022-04-19 Ati Technologies Ulc Multi-stream foveal display transport
GB2587230B (en) * 2019-09-20 2022-09-28 Sony Interactive Entertainment Inc Graphical rendering method and apparatus
US10970811B1 (en) * 2019-09-23 2021-04-06 Facebook Technologies, Llc Axis based compression for remote rendering
US11824072B2 (en) * 2019-09-26 2023-11-21 Apple Inc. Digital optical cross-talk compensation systems and methods
US11435821B2 (en) * 2019-09-26 2022-09-06 Apple Inc. Gaze-independent dithering for dynamically foveated displays
US11792420B2 (en) * 2019-11-04 2023-10-17 Qualcomm Incorporated Methods and apparatus for foveated compression
US11537854B2 (en) * 2019-11-08 2022-12-27 Meta Platforms Technologies, Llc Pipeline with processor including neural network for rendering artificial reality
WO2021101815A1 (en) * 2019-11-22 2021-05-27 Akalana Management Llc Display systems having multiple light paths for performing foveation
GB2589325B (en) * 2019-11-26 2021-12-22 Sony Interactive Entertainment Inc Image rendering method and apparatus
ES2960694T3 (es) * 2019-12-03 2024-03-06 Discovery Communications Llc Vista 360 no intrusiva sin cámara en el punto de vista
US11176637B2 (en) * 2019-12-03 2021-11-16 Facebook Technologies, Llc Foveated rendering using eye motion
US11132056B2 (en) * 2019-12-04 2021-09-28 Facebook Technologies, Llc Predictive eye tracking systems and methods for foveated rendering for electronic displays
US11073906B1 (en) * 2020-01-27 2021-07-27 Valve Corporation Eye tracking system for head-mounted display devices
KR20210096449A (ko) * 2020-01-28 2021-08-05 삼성전자주식회사 Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템
US11244660B2 (en) * 2020-03-13 2022-02-08 Apple Inc. Recovery from eye-tracking loss in foveated displays
WO2021199205A1 (ja) * 2020-03-30 2021-10-07 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像表示システム、および画像データ転送方法
US20210319533A1 (en) * 2020-04-08 2021-10-14 Electronics And Telecommunications Research Institute Apparatus, method and system for generating a foveated image
US20200294209A1 (en) * 2020-05-30 2020-09-17 Intel Corporation Camera feature removal from stereoscopic content
US11210840B1 (en) * 2020-08-27 2021-12-28 Aspeed Technology Inc. Transform method for rendering post-rotation panoramic images
US11557105B2 (en) * 2020-09-16 2023-01-17 Concordia University Managing real world and virtual motion
US12052472B2 (en) * 2020-09-25 2024-07-30 Advanced Micro Devices, Inc. Combined codec buffer management
GB2600944B (en) * 2020-11-11 2023-03-01 Sony Interactive Entertainment Inc Image rendering method and apparatus
US11749024B2 (en) * 2020-11-30 2023-09-05 Ganzin Technology, Inc. Graphics processing method and related eye-tracking system
US11616909B2 (en) * 2020-12-08 2023-03-28 Aspeed Technology Inc. Method of compensating for color differences between adjacent lens images in a panoramic image
US12069230B2 (en) * 2020-12-23 2024-08-20 Meta Platforms Technologies, Llc Temporal foveated rendering
US12056811B2 (en) * 2021-03-10 2024-08-06 Nokia Technologies Oy Dynamic re-lighting of volumetric video
US11748842B2 (en) * 2021-04-13 2023-09-05 Qualcomm Incorporated Methods and apparatus for content shifting in foveated rendering
US20240196065A1 (en) * 2021-04-28 2024-06-13 Sony Group Corporation Information processing apparatus and information processing method
US11308920B1 (en) * 2021-05-07 2022-04-19 Facebook Technologies, Llc. Display artifact reduction
KR20220160800A (ko) * 2021-05-28 2022-12-06 엘지디스플레이 주식회사 표시장치와 이를 이용한 개인 몰입형 시스템 및 모바일 단말 시스템
US11875473B2 (en) * 2021-06-15 2024-01-16 Aspeed Technology Inc. Method for generating projection image with scaling adjustment and seam cut stitching
US20220400243A1 (en) * 2021-06-15 2022-12-15 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20220366820A1 (en) * 2021-08-02 2022-11-17 Meta Platforms Technologies, Llc Viewport visual effect correction
US11749231B2 (en) * 2021-08-04 2023-09-05 Synaptics Incorporated Device and method for foveated rendering
US11743600B2 (en) * 2021-08-12 2023-08-29 Aspeed Technology Inc. Multiple-processor system for multiple-lens camera and method thereof
US11568783B1 (en) * 2021-08-17 2023-01-31 Varjo Technologies Oy Display drivers, apparatuses and methods for improving image quality in foveated images
US11568574B1 (en) * 2021-08-18 2023-01-31 Varjo Technologies Oy Foveation-based image encoding and decoding
EP4384976A1 (en) * 2021-09-21 2024-06-19 Apple Inc. Foveated anti-aliasing
US11748956B2 (en) * 2021-10-13 2023-09-05 Synaptics Incorporated Device and method for foveated rendering
US11900840B2 (en) * 2021-12-13 2024-02-13 Qualcomm Incorporated Chrominance optimizations in rendering pipelines
US11595574B1 (en) * 2021-12-29 2023-02-28 Aspeed Technology Inc. Image processing system and method thereof for generating projection images based on inward or outward multiple-lens camera
US11917011B2 (en) * 2022-01-10 2024-02-27 Meta Platforms Technologies, Llc Resilient rendering for augmented-reality devices
WO2023141460A1 (en) * 2022-01-21 2023-07-27 Dragonfly Optics Llc Methods, apparatus, and articles to enhance brain function via presentation of visual effects in far and/or ultra-far peripheral field
US20230245260A1 (en) * 2022-02-02 2023-08-03 Meta Platforms Technologies, Llc Techniques for Reducing Visual Artifacts in Foveated Rendering
US20230300338A1 (en) * 2022-03-16 2023-09-21 Apple Inc. Resolution-based video encoding
US20240007771A1 (en) * 2022-07-01 2024-01-04 Meta Platforms Technologies, Llc Readout methods for foveated sensing
WO2024064089A1 (en) * 2022-09-20 2024-03-28 Apple Inc. Image generation with resolution constraints
US11735147B1 (en) * 2022-09-20 2023-08-22 Apple Inc. Foveated display burn-in statistics and burn-in compensation systems and methods
US11955054B1 (en) * 2022-09-20 2024-04-09 Apple Inc. Foveated display burn-in statistics and burn-in compensation systems and methods
CN115546486A (zh) * 2022-10-17 2022-12-30 深圳市元视芯智能科技有限公司 仿生视觉传感器、成像方法以及无人机图传系统

Also Published As

Publication number Publication date
JP7392105B2 (ja) 2023-12-05
KR20220036974A (ko) 2022-03-23
BR112022001434A2 (pt) 2022-06-07
WO2021021235A1 (en) 2021-02-04
JP2022542510A (ja) 2022-10-04
US20210029340A1 (en) 2021-01-28
KR102582407B1 (ko) 2023-09-26
US11375170B2 (en) 2022-06-28
US20220321858A1 (en) 2022-10-06
KR20230144093A (ko) 2023-10-13
EP4005201A1 (en) 2022-06-01
CN114175630A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
JP7392105B2 (ja) 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体
CN107636534B (zh) 用于图像处理的方法和系统
CN107590771B (zh) 具有用于在建模3d空间中投影观看的选项的2d视频
US10725297B2 (en) Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US8644467B2 (en) Video conferencing system, method, and computer program storage device
KR20190141768A (ko) 부드럽게 변화하는 포비티드 렌더링
US10049490B2 (en) Generating virtual shadows for displayable elements
EP3646284A1 (en) Screen sharing for display in vr
US10957063B2 (en) Dynamically modifying virtual and augmented reality content to reduce depth conflict between user interface elements and video content
US11589027B2 (en) Methods, systems, and media for generating and rendering immersive video content
WO2019043025A1 (en) ZOOMING AN OMNIDIRECTIONAL IMAGE OR VIDEO
CN112105983A (zh) 增强的视觉能力
CN112987914A (zh) 用于内容放置的方法和设备
CN110709839A (zh) 用于呈现媒体内容预览的方法、系统和介质
KR20190129982A (ko) 전자기기 및 그 제어 방법
US20200057493A1 (en) Rendering content
CN117478931A (zh) 信息显示方法、装置、电子设备及存储介质
CN118689363A (zh) 显示3d图像的方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231221