JP7286791B2 - Vr360において視点切り替え能力を伝送する方法および装置 - Google Patents

Vr360において視点切り替え能力を伝送する方法および装置 Download PDF

Info

Publication number
JP7286791B2
JP7286791B2 JP2021556304A JP2021556304A JP7286791B2 JP 7286791 B2 JP7286791 B2 JP 7286791B2 JP 2021556304 A JP2021556304 A JP 2021556304A JP 2021556304 A JP2021556304 A JP 2021556304A JP 7286791 B2 JP7286791 B2 JP 7286791B2
Authority
JP
Japan
Prior art keywords
viewpoint
switching
application
viewport
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021556304A
Other languages
English (en)
Other versions
JP2022525906A (ja
JPWO2020186478A5 (ja
Inventor
ジョルジュ アンリ シャンペル,マリー-リュック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Publication of JP2022525906A publication Critical patent/JP2022525906A/ja
Publication of JPWO2020186478A5 publication Critical patent/JPWO2020186478A5/ja
Application granted granted Critical
Publication of JP7286791B2 publication Critical patent/JP7286791B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/158Switching image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8166Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173End-user applications, e.g. Web browser, game
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8541Content authoring involving branching, e.g. to different story endings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)

Description

本開示の実施例は、一般的に、仮想現実360(Virtual Reality 360、VR360)技術に関し、特に、VR360において視点切り替え能力を伝送する方法および装置に関する。
OMAF(Omnidirectional Media Format、全方向性メディアフォーマット)によれば、360°ビデオ、画像、オーディオ、および関連する同期テキストに注目される、全方向性メディアアプリケーションを実現できるメディアフォーマットが定義される。OMAFに以下の内容を含むが、これらに限定されない。
1).単位球面および三次元空間を含む座標系
2).球形のビデオシーケンスまたは画像をそれぞれに2次元の矩形のビデオシーケンスまたは画像に変換するために用いられる投影および矩形領域パッキング方法
3).ISO/IECで規定されているISOBMFF(ISO Base Media File Format、ISO基本メディアファイルフォーマット)を利用して全方向性メディアおよび関連メタデータを記憶すること
4).ISO/IEC 23009-1で規定されているHTTP上での動的適応型ストリーミング(DASH)、ISO/IEC 23008-1で規定されているMPEGメディア伝送(MMT)などのメディアストリーミングシステムにおける全方向性メディアのカプセル化、シグナリング伝送、ストリーミング伝送
5).メディアプロファイルとプレゼンテーションプロファイルは、メディアコーデックに相互運用性および一貫性という重要なポイント、および全方向性メディアコンテンツの圧縮、ストリーミング、および再生に使用できるメディアエンコーディングとカプセル化構成を提供すること
全方向性ビデオは、360°ビデオとも呼ばれる一般的な全方向性メディアアプリケーションの1つである。全方向性ビデオは、典型的には、360°のシーンをカバーできる複数のカメラで撮影することができる。従来のメディアアプリケーションフォーマットと比較して、多様な撮影およびビデオ投影技術により、全方向性ビデオのエンドツーエンド技術(撮影から再生まで)が分断されやすくなっている。撮影側では、現在、複数の異なるタイプのビデオカメラが360°ビデオを撮影する能力を有しており、再生側でも360°ビデオを再生できる処理能力の異なる複数の異なる装置が存在している。
全方向性メディアのコンテンツとデバイスの分断を避けるために、OMAF標準ISO/IEC 23090-2(MPEG-I part2)は、全方向性メディアアプリケーションの標準フォーマットを詳細に説明している。
全指向性メディアコンテンツが、ヘッドマウントプレーヤまたはヘッドマウントレシーバなどのOMAFプレーヤに対して提示される場合、ユーザがメディアを撮影している時間および場所にいるかのように、ユーザの視線方向に対応するメディアの一部のみが提示される。
図1は、部屋A、部屋B、部屋Cの3つの部屋を有する1つのVR360アプリケーションで発生するシナリオを例示的に示す。ユーザは、各部屋について、図1に示すような視点(viewpoint、ビューポート)位置で全方位映像を再生することができる。各部屋の視点(図1に示す視点A、視点B、視点C)は、当該360°映像が提示される範囲の中心である。これは、ユーザの位置としても理解され得る。
視点ごとに、推奨ビューポート(recommended viewport)/デフォルトビューポート(default viewport)が予め定義されている。図1に示すように、当該推奨視点/デフォルト視点のそれぞれはビューポートA、ビューポートB、ビューポートCである。
ビューポート(viewport)は、VR360ビデオの一部である。例えば、ビジュアルビューポートは、ユーザがVR360ビデオの一部を実際に見た場所である。ビューポートはユーザの視線方向として理解され得る。
現在、単一のOMAFにおいて異なる視点間の切り替えは、MPEG-Iではサポートされていない。
本開示は、同一のVR360アプリケーションにおいて異なる視点間で切り替えを行う技術案を提供する。
本発明の実施例の第1の態様によれば、本出願の実施例は、方法を提供する。当該方法は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するステップと、
前記VR360アプリケーションにおける視点間で切り替えを行うための前記構成を前記VR360アプリケーションに伝送するステップと、を含む。
本発明の実施例の第2の態様によれば、本出願の実施例は、方法を提供する。当該方法は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するステップと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うステップと、を含む。
本発明の実施例の第3の態様によれば、本出願の実施例は、装置を提供する。当該装置は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するように構成される決定モジュールと、
当該構成をVR360アプリケーションに伝送するように構成される伝送モジュールと、を含む。
本発明の実施例の第4の態様によれば、本出願の実施例は、装置を提供する。当該装置は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するように構成される取得モジュールと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うように構成される切り替えモジュールと、を含む。
本発明の実施例の第5の態様によれば、本出願の実施例は、装置を提供し、当該装置は、
少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、命令を実行し、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定し、
前記構成を前記VR360アプリケーションに伝送するように構成される少なくとも1つのプロセッサと、を含む。
本発明の実施例の第6の態様によれば、本出願の実施例は、装置を提供し、当該装置は、
少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、命令を実行し、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得し、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うように構成される少なくとも1つのプロセッサと、を含む。
本発明の実施例の第7の態様によれば、本出願の実施例は、コンピュータ読み取り可能な記憶媒体を提供する。当該コンピュータ読み取り可能な記憶媒体は命令を記憶している。当該命令は、プロセッサによって呼び出されて実行されるときに、
仮想現実360(VR360)アプリケーションにおける視点間で切り替えを行うための構成を決定することと、
前記構成を前記VR360アプリケーションに伝送することと、
を含む動作を、前記プロセッサにさせる。
本発明の実施例の第8の態様によれば、本出願の実施例は、コンピュータ読み取り可能な記憶媒体を提供する。当該コンピュータ読み取り可能な記憶媒体は命令を記憶している。当該命令は、プロセッサによって呼び出されて実行されるときに、
仮想現実360(VR360)アプリケーションにおける視点間で切り替えを行うための構成を取得することと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うことと、
を含む動作を、前記プロセッサにさせる。
本開示の実施例の他の特徴および利点は、本開示の実施例の原理を例示的に示す図面と併せて読むと、以下の特定の実施形態の説明によっても明らかになるであろう。
本発明の実施例は、例示的な形態で示され、以下に添付図面を参照してその利点を詳細に説明する。
シーン内に多視点および多ビューポートを有する例を例示的に示す図 本開示の実施例の方法200を例示的に示すフローチャート 視点間で切り替えを行うアクティベーションウィンドウの一例を示す図 視点間で切り替えを行うアクティベーションウィンドウの一例を示す図 視点間で切り替えを行うアクティベーションウィンドウの一例を示す図 視点間で切り替えを行うアクティベーションウィンドウの一例を示す図 視点間で切り替えを行うアクティベーションウィンドウの一例を示す図 視点間で切り替えを行うアクティベーションウィンドウの一例を示す図 視点間で切り替えを行うビューポートの一例を示す図 視点間で切り替えを行うビューポートの一例を示す図 視点間で切り替えを行うビューポートの一例を示す図 視点間で切り替えを行うビューポートの一例を示す図 トランジション・切り替え時の放送時間の一例を示す図 視点間で切り替えを行う一例を示す図 本開示の実施例の方法700を例示的に示すフローチャート 本開示の実施例を実現するのに適した装置800を例示的に示すブロック図 本開示の実施例を実現するのに適した装置900を例示的に示すブロック図 本開示の実施例を実現するのに適した装置1000を例示的に示すブロック図 本開示の実施例を実現するのに適した装置1100を例示的に示すブロック図
具体的な実施形態
ここで、本明細書に記載されたテーマについて、いくつかの例示的な実施形態を参照して説明する。これらの実施形態は、当業者が本明細書に記載されたテーマをよりよく理解し且つそれを達成するためだけに検討され、テーマの範囲を制限するものではないことを理解されたい。
本開示で使用される用語は、特定の実施形態を説明することのみを意図しており、例示的な実施形態を限定することを意図しているわけではない。本開示で使用されるように、単数形「1」、「1つ」、および「当該」は、文脈によって明示的に示されていない限り、複数形も含むことを意図している。「含む」および/または「含んでいる」という用語は、本明細書で使用される時、記載された特徴、全体、ステップ、動作、要素、および/またはコンポーネントの存在を特定するが、1つまたは複数の他の特徴、全体、ステップ、動作、要素、コンポーネント、および/またはそれらの組み合わせの存在または追加を除外しないことも理解されたい。
なお、いくつかの代替の実施形態では、図に記載された機能および動作は、図に記載された順序に限定されなくてもよい。例えば、関連する機能および動作に基づいて、2つの連続した機能または動作は、実際に同時に実行され得て、場合によっては逆順に実行され得る。
本開示の実施例は、様々な装置および/またはシステムに適用することができる。飛躍的な発展に基づいて、それは当然、将来のタイプの技術、システム、および装置においても提示され得る。なお、本開示の保護範囲は、上述した装置および/またはシステムに限定されてはならない。
本開示で使用されるように、「VR360プレーヤ」という用語は、VR360メディアを再生することができるデバイス、例えば、ヘッドマントプレーヤ、イヤホンおよびその他のデバイスを意味する。VR360メディアは、360°ビデオ、全方向メディア、または全方向メディアビデオとも呼ばれる全方向ビデオデータストリームを意味する。本開示のいくつかの実施例では、当該VR360メディアはOMAFメディアであってもよい。本開示のいくつかの実施例では、当該VR360プレーヤはOMAFプレーヤであってもよい。当該「VR360アプリケーション」という用語は、少なくとも1つの視点を含むアプリケーションを意味し、当該VR360プレーヤは、視点間で切り替えることができ、例えば、VR360は、1つの視点(ソース視点と呼ばれる)から別の視点(デスティネーション視点と呼ばれる)に切り替えることができる。当業者は、VR360アプリケーションが、VR360プレーヤまたはOMAFプレーヤのような任意の必要なデバイスを介して生成され、任意の必要なデバイスによって再生され得ることを理解することができる。
本開示で使用されるように、「視点切り替え」という用語は、VR360アプリケーションにおいて、VR360プレーヤがソース視点からデスティネーション視点に切り替えることを意味する。
本開示のいくつかの実施例では、以下のISOBMFF構造が定義される。
ViewpointPosStruct()は、全座標系における視点の位置を定義しており、GPS情報を有することができ、
ViewpointGlobalCoordinateSysRotationStruct()は、全座標系における視点の方向を定義しており、
ViewpointGlobalCoordinateSysRotationStruct()は、視点をグループ化することが可能であり、および
ViewpointEntry()は、各視点の一意の視点id(viewpoint_id)を定義している。
視点間のすべての可能なトランジションを説明するために、本開示では、少なくとも1つの視点または切り替え時のトランジションの存在に関連付けられた新しい構成を提案する。したがって、VR360アプリケーション内のストーリーラインにおいて、それぞれの可能な経路を説明することが可能になる。本開示のいくつかの実施例では、当該構成は、視点またはハンドオフトランジションに関連付けられた追加のISOBMFF構造とすることができる。
以下に、本開示のいくつかの例示的な実施例を図面に基づいて説明する。
図2aは、本開示の実施例に基づく方法200の流れを例示的に示す。当該方法200は、VR360VR360アプリケーションを生成するための装置または他の同様の装置によって実現することができる。
ステップ201において、VR360アプリケーションにおける視点間で切り替えを行うための構成を決定し、
ステップ202において、構成をVR360アプリケーションに伝送する。
いくつかの実施例では、当該構成は、視点または切り替えトランジションに関連付けられた少なくとも1つのボックスによって実現することができる。いくつかの実施例では、当該構成が複数のボックスによって実現される場合、その中のいくつかのボックスは視点に関連付けられ得て、いくつかのボックスは切り替えトランジションに関連付けられ得る。
いくつかの実施例では、当該ボックスはISOBMFFボックスまたは他の任意の類似フォーマットであってもよい。当業者は、当該構成が任意の適切なフォーマットで実施され得ることを理解することができる。
いくつかの実施例では、当該構成は、
特定視点切り替えの初期ビューポートを示すビューポートパラメータ(viewport parameter)と、
特定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータ(transition effect parameter)と、
視点切り替えのうちの少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータ(activation window parameter)と、
特定視点切り替えにわたってデスティネーション視点のメディアの再生タイムラインの開始位置を示す時間切り替えパラメータと、のいずれかまたはその任意の組み合わせを含む。
いくつかの実施例では、当該4つのパラメータは、個別に構成され得て、または組み合わせて構成され得る。いくつかの実施例では、上記いずれかのパラメータまたはパラメータの組み合わせが、1つまたは複数のボックスによって実現され得る。
いくつかの実施例では、当該ビューポートパラメータは、特定の視点切り替えトランジションにおける初期ビューポートの情報を示す。いくつかの実施例では、ビューポートパラメータが存在する場合、当該特定の初期ビューポートは、視点切り替えトランジション後に使用される。そうでない場合は、推奨ビューポートが使用されるか、デフォルトビューポートが使用される。
いくつかの実施例では、当該トランジションエフェクトパラメータは、視点切り替えトランジションにおけるエフェクトメディアの情報を示す。当該エフェクトメディアは、ビデオまたは既知の現実的なトランジション、例えば、暗闇に消えること、鏡像エフェクト、はためき、または他のものであってもよい。いくつかの実施例では、当該変換は、予め定義されたリスト内のIDによって識別され得て、または視点切り替えトランジションの間に再生される内部または外部のビデオストリームを示すISOMBFFトラックid(track_id)によって識別され得る。いくつかの実施例では、VR360プレーヤは、当該切り替えエフェクトパラメータが設けられている場合には、特定の視点切り替えトランジション時に、当該切り替えエフェクトパラメータに基づいて特定のトランジションエフェクトを再生し、そうでない場合、当該VR360プレーヤは、切り替えエフェクトを一切再生せず、デスティネーション視点に関連付けられたVR360ビデオを即座に再生する。
いくつかの実施例では、当該アクティベーションウィンドウパラメータは、トランジションがアクティブ化された時に現在の視点メディアタイムラインに関連付けられた少なくとも1つのアクティベーションウィンドウを示す。いくつかの実施例では、当該アクティベーションウィンドウパラメータが存在する場合、当該VR360プレーヤは、アクティベーションウィンドウ内でのみデスティネーション視点に切り替えることができる。そうでない場合、VR360は、タイムラインの任意の時点でデスティネーション視点に切り替えることができる。
いくつかの実施例では、当該時間切り替えパラメータは、視点切り替えトランジション後にデスティネーション視点のVR360メディアのタイムラインのどこから再生されるかを示す。いくつかの実施例では、オフセットが存在する場合、当該VR360プレーヤは、デスティネーション視点に切り替えた後、当該オフセットからVR360メディアを再生する。そうでない場合、当該VR360プレーヤは、デスティネーション視点に切り替えた後に、当該デスティネーション視点のVR360メディアの絶対位置t0または相対位置tcurrからVR360メディアを再生する。いくつかの実施例では、絶対位置t0とは、デスティネーション視点メディアタイムラインの開始位置を意味し、相対位置tcurrとは、デスティネーション視点メディアタイムラインの現在時刻(current time)を意味する。当該「現在時刻」とは、視点切り替えトランジションがアクティブになった時点を意味する。
いくつかの実施例では、当該時間切り替えパラメータは、
タイムオフセットが存在するか否かを示すタイムライン切り替えオフセットフラグ(timeline-switching-offset flag)と、
オフセットの数値を示すオフセットインジケータ(offset indicator)と、
オフセットの開始点を示す現在関連のフラグ(relative-to-current flag)と、のうちの少なくとも1つのパラメータを含む。
いくつかの実施例では、当該絶対オフセットは、当該オフセットが視点メディアタイムラインの開始点に対するオフセットであることを意味するが、相対オフセットは、当該オフセットが視点メディアタイムラインの現在時刻に対するオフセットであることを意味する。
一実施例では、タイムライン切り替えオフセットフラグtimeline-switching-offset flag=0且つ当該現在関連のフラグrelative-to-current flag=0の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、当該視点メディアのタイムラインの開始点である時間t0から再生する。タイムライン切り替えオフセットフラグtimeline-switching-offset flag=0且つ当該現在関連のフラグrelative-to-current flag=1の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、当該視点メディアのタイムラインの現在の時刻である時間tcurrから再生する。当該「現在時刻」とは、視点切り替えトランジションがアクティブになった時点を意味する。タイムライン切り替えオフセットフラグtimeline-switching-offset flag=1且つ当該現在関連のフラグrelative-to-current flag=0の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、時間t0+offsetから再生する。タイムライン切り替えオフセットフラグtimeline-switching-offset flag=1且つ当該現在関連のフラグrelative-to-current flag=1の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、時間tcurr+offsetから再生する。
図3aは、部屋A、部屋B、部屋Cの3つの部屋を有するVR360アプリケーションで発生するシナリオを例示的に示す。ユーザは、図3aに示された視点およびビューポートでVR360メディアを再生することができる。いくつかの実施例によれば、3つのISOBMFFボックスがそれぞれに3つの視点に付けられているか、または4つのSOBMFFボックスがそれぞれに4つの可能な切り替えトランジションに付けられている。当該4つの可能なトランジションは、それぞれに視点Aから視点Bへの切り替え、視点Bから視点Aへの切り替え、視点Aから視点Cへの切り替え、視点Cから視点Aへの切り替えである。当業者は、当該ISOBMFFが視点のいくつかにのみ付けられてもよく、または切り替えトランジションのいくつかにのみ付けられてもよく、またはISOBMFFボックスのいくつかが視点に付けられ、ISOBMFFボックスのいくつかが切り替えトランジションに付けられてもよいことを理解する。
いくつかの実施例では、当該ビューポートパラメータは、
デスティネーション視点に初期ビューポートが存在するか否かを示すビューポートフラグ(viewport flag)を含む。
いくつかの実施例では、当該ビューポートフラグは、デスティネーション視点が初期ビューポートを有するか否かを示す。初期ビューポートがある場合、VR360プレーヤは、視点切り替えトランジション後に、提供された初期ビューポートから視点に関連付けられたVR360メディアを再生する。いくつかの実施例では、当該VR360プレーヤは、初期ビューポートがない場合、視点切り替えトランジション後に、推奨ビューポートまたはデフォルトビューポートから視点に関連付けられたVR360メディアを再生する。
図3aは、3つの視点のそれぞれの推奨ビューポート/デフォルトビューポート、すなわち、ビューポートA、ビューポートB、ビューポートCを例示的に示す。いくつかの実施例では、当該初期ビューポートは、推奨ビューポート/デフォルトビューポートと同じであってもよく、異なっていてもよい。
図3b、3c、3d、3eおよび3fは、本開示の実施形態に基づくVR360アプリケーションを例示的に示す。
図3bに示すいくつかの実施例では、ユーザが視点Bから視点Aに切り替えた時、初期ビューポートを有していない場合、視点Aにおけるユーザのビューポートは、推奨ビューポート/デフォルトビューポート、すなわちビューポートAである。しかし、実シーンでは、ユーザの視線方向は、図3bに示すようなビューポートBAの方向である。本開示のいくつかの実施例では、初期ビューポート、すなわち、ビューポートBAは、視点Bから視点Aに切り替えられるビューポートとして予め定義されている。当該初期ビューポートBAは、視点Bから視点Aに切り替えるための初期ビューポートがビューポートフラグによって存在する場合、ユーザが部屋Bと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。
図3cに示すいくつかの実施例では、ユーザが視点Cから視点Aに切り替えた時、初期ビューポートを有していない場合、視点Aにおけるユーザのビューポートは、推奨ビューポート/デフォルトビューポート、すなわち、ビューポートAである。しかし、実シーンでは、ユーザの視線方向は、図3cに示すようなビューポートCAの方向である。本開示のいくつかの実施例では、初期ビューポート、すなわち、ビューポートCAは、視点Cから視点Aに切り替えられるビューポートとして予め定義されている。当該初期ビューポートCAは、視点Cから視点Aに切り替えるための初期ビューポートがビューポートフラグによって存在する場合、ユーザが部屋Cと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。
図3dに示すいくつかの実施例では、ビューポートBAおよびビューポートCAという2つの初期ビューポートが予め定義されている。本開示のいくつかの実施例では、2つのビューポートが視点A上に配置されるか、または2つの切り替えトランジション上にそれぞれに配置される。当業者であれば、いくつかの実施例では、図3bまたは図3cに示すように、初期ビューポートのうちの1つのみを構成できることを理解することができる。
図3dを参照すると、異なる切り替えは、異なる初期ビューポートに対応する可能性があり、例えば、視点Bから視点Aへの切り替えは、視点Aに関連付けられた視点BAに対応し、視点Cから視点Aへの切り替えは、視点Aに関連付けられた視点CAに対応する。
図3eに示すいくつかの実施例では、ユーザが視点Aから視点Bに切り替えた時、初期ビューポートを有していない場合、視点Bにおける当該ユーザのビューポートは、推奨ビューポート/デフォルトビューポート、すなわち、ビューポートBである。しかし、実シーンでは、ユーザの視線方向は、図3eに示すようなビューポートABの方向である。本開示のいくつかの実施例では、初期ビューポート、すなわち、ビューポートABは、視点Aから視点Bに切り替えられるビューポートとして予め定義されている。当該初期ビューポートCAは、ビューポートフラグによって存在する場合、ユーザが部屋Bと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。
図3fに示すいくつかの実施例では、ユーザが視点Aから視点Cに切り替えた時、初期ビューポートを有していない場合、視点Cにおける当該ユーザのビューポートは、推奨ビューポート/デフォルトビューポート、すなわち、ビューポートCである。本実施例では、切り替えの初期ビューポートは、推奨ビューポート/既定ビューポートと同じである。いくつかの実施例では、ユーザの真の視線方向が推奨ビューポート/既定ビューポートと異なる場合、ユーザの真の視線方向と同じ初期ビューポートを予め定義すべきである。
当業者であれば、いくつかの実施例では、初期ビューポートは、真の視線方向に基づいて予め定義され得ることを理解する。
以上の実施例に基づいて、当業者であれば、同じ視点の各トランジションに対応する初期ビューポートが、例えば、ビューポートBAおよびビューポートCAのように、異なっていてもよいことを理解する。
前記構成は複数の切り替え可能性をさらに含み、各切り替え可能性パラメータが最大1つの視点を持つ。当該パラメータは、
視点切り替えの数を示す数字パラメータ(number parameter)と、
視点切り替え中のデスティネーション視点のIDを示すIDパラメータ(ID parameter)と、のうちの少なくとも1つのパラメータを含む。
いくつかの実施例では、各視点は、例えば、Viewpoint Entry()であるISOBMFF構造によって決定される視点id(Viewpoint_id)を有する。当該視点idは視点を分割する。IDパラメータは、可能なデスティネーション視点の視点IDを示す。当該数字パラメータは、現在の視点の可能な視点切り替えの数を示す。
いくつかの実施例では、当該トランジションエフェクトパラメータは、
トランジションエフェクトが存在するか否かを示すトランジションエフェクトフラグ(transition effect flag)と、
特定切り替えのトランジションエフェクトのタイプを示すトランジションエフェクトタイプフラグ(transition effect type flag)と、
特定トランジションエフェクトビデオが記憶された位置を示すトランジションエフェクトインジケータ(transition effect indicator)と、のうちの少なくとも1つのパラメータを含む。
いくつかの実施例では、当該トランジションエフェクトは、予め定義されたビデオまたはオーディオ、または、切り替えトランジションが実行されている間に再生することができる他の任意の適切なメディアとすることができる。
いくつかの実施例では、トランジションエフェクトのタイプは、オーディオであってもよく、または、暗闇に消えること、鏡像エフェクト、はためき、またはその他のような既知の現実的なトランジションであってもよい。当該トランジションエフェクトは、トランジションエフェクトタイプフラグ(transition effect type flag)によって示すことができる。
いくつかの実施例では、当該トランジションエフェクトインジケータは、切り替えトランジションが行われている間に再生することができるビデオに対応するトラックIDを含む。当該トラックIDは、トランジション時に再生されるメディアを識別する。いくつかの実施例では、当該メディアは、VR360コンテンツに格納される。一部のメディアでは、当該トランジションエフェクトインジケータには、トランジション時に再生されるメディアのURL(Uniform Resource Locator、統一資源位置指定子)が含まれている。当業者であれば、当該トランジションエフェクトフラグが、トラックID、URL、またはメディアをアドレス指定することができる任意の既存の技術を含むことができることを理解する。
いくつかの実施例では、当該アクティベーションウィンドウパラメータは、
切り替えトランジションのための最小時間が存在するか否かを示す最小時間フラグ(minimum time flag)であって、最小時間が存在する場合、トランジションが当該最小時間後にのみアクティブ化可能である最小時間フラグと、
最小時間の数値を示す最小時間パラメータ(minimum time parameter)と、
切り替えトランジションのための最大時間が存在するか否かを示す最大時間フラグ(maximum time flag)であって、最大時間が存在する場合、トランジションが当該最大時間前にのみアクティブ化可能である最大時間フラグと、
最大時間の数値を示す最大時間パラメータ(maximum time parameter)と、のうちの少なくとも1つのパラメータを含む。
いくつかの実施例では、当該アクティベーションウィンドウパラメータは、トランジションがアクティブ化された現在の視点メディアタイムラインに対するものである。いくつかの実施例では、切り替えトランジションは、現在の視点メディアタイムラインの任意の時点でアクティブ化することができる。
図4a~4dは、本開示のいくつかの実施例を示す。図4aでは、最小時間フラグと最大時間フラグが設定されている。当該視点メディアタイムライン上の最小時間および最大時間は、視点切り替えのアクティベーションウィンドウを決定する。いくつかの実施例では、図4aに示すように、アクティベーションウィンドウが現在の視点メディアタイムライン内に予め定義される。いくつかの実施例では、図4bに示されるように、タイミングメタデータトラック内のViewpoint Switching Struct()を利用することによって、現在の視点のメディアタイムライン上に複数のアクティベーションウィンドウを予め定義することができる。
いくつかの実施例では、図4cに示すように、視点メディアのタイムライン上の最小時間のみが設定され、最大時間は設定されない。これは、当該アクティベーションウィンドウの開始時間のみが最小時間パラメータによって予め定義されており、終了位置は制限されていないことを意味する。言い換えれば、アクティベーションウィンドウの開始点は、当該最小時間であり、終点は、当該視点のメディアタイムラインの終点である。
いくつかの実施例では、図4dに示すように、視点メディアのタイムライン上の最大時間のみが設定され、最小時間は設定されない。これは、当該アクティベーションウィンドウの終了位置のみが最大時間パラメータによって予め定義されており、開始位置は制限されていないことを意味する。言い換えれば、アクティベーションウィンドウの開始点は、当該視点のメディアタイムラインの開始点であり、終点は、当該視点のメディアタイムラインの最大時間である。
いくつかの実施例では、当該時間切り替えパラメータは、
タイムオフセットが存在するか否かを示すタイムライン切り替えオフセットフラグ(timeline-switching-offset flag)と、
オフセットの数値を示すオフセットインジケータ(offset indicator)と、
オフセットの開始点を示す現在関連のフラグ(relative-to-current flag)と、のうちの少なくとも1つのパラメータを含む。
いくつかの実施例では、当該絶対オフセットは、オフセットが視点のメディアタイムラインの開始点に対するものであることを意味し、相対オフセットは、オフセットが視点のメディアタイムラインの現在時刻に対するものであることを意味する。
一実施例では、タイムライン切り替えオフセットフラグtimeline-switching-offset flag=0且つ当該現在関連のフラグrelative-to-current flag=0の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、当該視点メディアのタイムラインの開始点である時間t0から再生する。タイムライン切り替えオフセットフラグtimeline-switching-offset flag=0且つ当該現在関連のフラグrelative-to-current flag=1の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、当該視点メディアのタイムラインの現在の時刻である時間tcurrから再生する。当該「現在時刻」とは、視点切り替えトランジションがアクティブになった時点を意味する。タイムライン切り替えオフセットフラグtimeline-switching-offset flag=1の且つ当該現在関連のフラグrelative-to-current flag=0の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、時間t0+offsetから再生する。タイムライン切り替えオフセットフラグtimeline-switching-offset flag=1の且つ当該現在関連のフラグrelative-to-current flag=1の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、時間tcurr+offsetから再生する。
図5は、本開示のVR360アプリケーションのいくつかの実施例を例示的に示す。VR360プレーヤを有するユーザは、ユーザがドアを見ることを可能にする部屋AのビューポートAから、視点Aに関連付けられたVR360メディアをVR360メディアタイムラインの開始点である時刻t0から再生する。ユーザが時間t0に部屋Aから部屋Bに入る時、当該視点Bへのトランジションおよびその初期ビューポートは、ユーザが部屋Bと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。視点Bに関連付けられたVR360メディアも、VR360メディアタイムラインの開始点である時刻t0から再生される。
時間tcurrにユーザが部屋Bから部屋Aに戻る時、視点Aに戻るトランジションおよびその初期ビューポートは、ユーザが部屋Bと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。この時、当該視点Aに関連付けられた視点メディアは、現在時刻(tcurr)にトランジションエフェクトビデオが再生されている時点を加える時点から再生し続ける。視点Aに関連付けられた当該メディアは、オフセットoffsetが絶対オフセットである場合には、時点t0+offsetの位置から再生し、オフセットoffsetが相対オフセットである場合には、時点tcurr+offsetの位置から再生し続ける。
また、本技術は、当該新たな視点切り替え構造をトランジション特性の要素で埋めることを提案する。以下の項目が含まれている。
トランジションエフェクトは、ユーザのために当該トランジションを実際に再生することに用いられ、このようなトランジションエフェクトは、予め定義されているリスト(本開示の保護範囲ではなく、様々な従来技術から選択できるからである)のうちの1つのidインストラクションであってもよく、トランジション時に再生される内部や外部のビデオストリームを示すためのURLインストラクションまたはISOBMFFのトラックid(track id)によって示される実際の既知の変換(例えば、暗闇に消えること、鏡像エフェクト、はためき……)であってもよい。
トランジションがアクティブ化されている間の現在の視点メディアタイムラインに関連付けられたタイムウィンドウ。
デスティネーション視点に関連付けられたメディアのタイムライン内の時間的な切り替え位置に関する情報。
デスティネーション視点に関連付けられたメディア内の空間(ビューポート)的な切り替え位置に関する情報。
以下のISOBMFFコードは、本開示の可能な実施例である。
aligned(8) class ViewpointSwitchingStruct () {
unsigned int (8) num_viewpoint_switching;
for (i = 0; i < num_viewpoint_switching; i++) {
unsigned int(16) destination_viewpoint_id;
ViewpointSwitchingTransition();


aligned(8) class ViewpointSwitchingTransition() {
unsigned int(1) transitione_efect_flag;
unsigned int(1) timeline_switching_offset_flag;
unsigned int(1) relative_to_current_flag;
unsigned int(1) destination_viewport_flag;
unsigned int(1) min_time_flag;
unsigned int(1) max_time_flag;
bit(2) reserved = 0;
// type of transition effect
if (transition_effect_flag) {
unsigned int(8) transition_effect_type[i];
if (i==4) {unsigned int(32) transition_video_track_id; }
if (i==5) { unsigned int(32) transition_video_URL; }

// where to switch in timeline of media associated to destination viewpoint
if (timeline_switching_offset_flag) {
signed int (32) t_offset;

// which viewport to switch to in the destination viewpoint
if (destination_viewport_flag) {
SphereRegionConfigBox(); // definition of the destination viewport as a sphere region

// time window for activation of the switching
if (min_time_flag) { signed int (32) t_min; }
if (max_time_flag) { signed int (32) t_max; }

以下のセマンティクスは、上記のISOBMFFプログラム実施例に関連する。
表1は可能なISOBMFFプログラムのセマンティクスを示す。


























Figure 0007286791000001

Figure 0007286791000002
当業者であれば、本開示のいくつかの実施例において、上記ISOBMFFプログラムを利用することができるが、これらに限定されるものではないことを理解する。なお、上記パラメータの値は一例に過ぎない。
現在のOMAF作業文書(Working Draft W18227)と比較して、以上の本開示で定義された視点のISOBMFFボックスは、以下の新たなISOBMFFアーキテクチャに依存する。
ViewpointSwitchingStruct()は、視点からの可能な切り替えトランジション数、視点切り替えデスティネーション視点の視点id(viewpoint_id)、および切り替えトランジションの切り替え特性を定義する。
本開示のいくつかの実施例では、ViewpointSwitchingStructボックスによって提供される当該切り替えアクティベーションタイムウィンドウ機構は、1つの最小時間および最大時間のみを許容する。現在の視点メディアの再生タイムラインにマルチアクティベーションウィンドウを提供するために、本開示では、動的視点情報のために時間メタデータトラック内にViewpointSwitchingStructボックスを追加することを提案する。
本開示のいくつかの実施例では、
当該ビューポートパラメータ(viewport parameter)には、デスティネーションビューポートフラグ(destination_viewport_flag)が含まれており、
それぞれに最大1つの視点がある複数の切り替え可能性(multiple switching possibilities with at most one viewport per switching possibility parameter)は、視点切り替え数(num_viewport_switching)とデスティネーション視点id(destination_viewport_flag)を含み、
当該切り替えエフェクトパラメータ(transition effect parameter)は、トランジションエフェクトフラグ(transition_effect_flag)、トランジションエフェクトタイプ(transition_effect_type)、トランジションビデオトラックid(transition_video_track_id)、およびトランジションビデオURL(transition_video_URL)を含み、
当該時間切り替えパラメータ(time switching parameter)は、タイムライン切り替えオフセットフラグ(timeline_switching_offset_flag)、現在に対するフラグ(relative_to_current_flag)、オフセットフラグ(t_offset)を含み、および、
当該アクティベーションウィンドウパラメータ(activation window parameter)は、最小時間フラグ(min_time_flag)、最大時間フラグ(max_time_flag)、最小時間(t_min)、および最大時間(t_max)を含む。
図6は、本開示のVR360アプリケーションのいくつかの実施例を例示的に示す。本開示のいくつかの実施例では、当該VR360アプリケーションは、典型的にOMAFアプリケーションである。本開示のために、以下のストーリーライン経路が記述される可能性がある。
当該OMAFアプリケーションは、ユーザが部屋Bおよび部屋Cを見ることを可能にする推奨ビューポートAを有する部屋Aで開始する。当該視点Aに関するビデオは、t0で開始する。
ユーザが部屋Aから部屋Bに入る時、視点Bへのトランジションおよびその初期ビューポートは、ユーザが部屋Bと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。また、視点Bに関するビデオも、その開始点(t0)から開始する。
ユーザが部屋Aから部屋Cに入る時、視点Cへのトランジションおよびその初期ビューポートは、ユーザが部屋Cと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。また、視点Cに関するビデオも、その開始点(t0)から開始する。
ユーザが部屋Bから部屋Aに戻る時、視点Aに戻るトランジションおよびその初期ビューポートは、ユーザが部屋Cと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。この時、視点Aに関するビデオは、タイムラインの現在時刻(tcurr)から再生し続ける。
ユーザが部屋Cから部屋Aに戻る時、視点Aに戻るトランジションおよびその初期ビューポートは、ユーザが部屋Cと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。この時、視点Aに関連付けられたビデオは、タイムラインの現在時刻(t’curr)から再生し続ける。
実際には、ユーザの初期視点(ビューポート)は、ユーザがどの部屋から来るか、部屋Bから来るか、部屋Cから来るかによって、実際には異なることに注意されたい。
本開示は、以下のうちの少なくとも1つの利点を提供する。
OMAFプレーヤは、視点に関連付けられたユニークなISOBMFFボックスを利用して、任意の時点で、現在の視点からの視点切り替え機能を容易にアクセスすることができる。
様々なトランジションエフェクトをサポートできる。例えば、再生された(短い)ビデオは、トラックID(track_id)を利用して同じOMAFアプリケーションファイルに埋め込まれていたり、URLのために遠隔地で提供されていたりすることができる。
デスティネーション視点に切り替わる時、ニューメディアの再生開始位置は、絶対オフセットであってもよく、ソース視点メディアの現在の再生時間に対する相対オフセットであってもよい。
デスティネーション視点に切り替わる時、特定のビューポートを指定することができる。これにより、例えば、異なるソース視点から同じデスティネーション視点に切り替えられる時、異なるビューポートを持つことを可能にする。図6に示す例を参照されたい。
伝送された任意の視点切り替えに対して、アクティベーションウィンドウを定義することもできる。マルチアクティベーションウィンドウの場合、本開示は、動的視点情報メタデータトラックに伝送する方法をさらに定義している。
図7は、本明細書のいくつかの実施例に基づく方法700のフローチャートを示す。当該方法00は、VR360プレーヤまたはOMAFプレーヤ、または他の同様のデバイスを用いて実行され得る。
ステップ701において、VR360アプリケーションにおける視点間で切り替えを行うための構成を取得し、
ステップ702において、当該構成に基づいてVR360アプリケーションにおいて視点切り替えを行う。
図3Aから図6を参照すると、方法700における切り替えトランジションの実施例は、図3aから図6と同じである。
図8は、本開示のいくつかの実施例を実行するのに適した装置800の簡略化されたブロック図である。図8に示すように、当該装置800は、1つまたは複数のプロセッサ810と、プロセッサに接続された1つまたは複数のメモリ820と、を含む。当該装置800は、VR360アプリケーションを製造するための装置として利用することができる。
本開示のいくつかの実施例では、当該プロセッサ810は、以下の動作を実行するように構成される。
VR360アプリケーションにおいて視点切り替えのための構成を決定し、
当該構成をVR360アプリケーションに伝送する。
図3aから図6を参照すると、切り替えトランジション装置800によって実行されるいくつかの実施例は、図3aから図6に示されるような実施例であってもよい。
当該プロセッサ810は、参照として例示されたものであり、VR360アプリケーションの製造に適した任意のタイプであってもよく、1つまたは複数の汎用コンピュータ、特定用途コンピュータ、マイクロプロセッサ、デジタルサブシグナルプロセッサ(DSPs)、およびマルチコアプロセッサアーキテクチャに基づくプロセッサを含むことができる。当該装置800は、メインプロセッサを同期させるクロックに時間的に従属する特定用途の集積回路チップなどの複数のプロセッサを有することができる。
当該メモリ820は、参照として例示されたものであり、VR360アプリケーションを記憶するのに適した任意のメモリであってもよく、非一時的コンピュータ読み取り可能な記憶媒体、半導体に基づくメモリ装置、磁気メモリ装置およびシステム、光メモリ装置およびシステム、固定メモリおよびリムーバブルメモリなど、任意の適切なデータ記憶技術によって実現され得る。
当該メモリ820は、プログラム830のうちの少なくとも一部を記憶する。当該プログラム830は、関連するプロセッサ810によって実行された時、装置800が図2~図6のような本開示の実施例を実行することを可能にするプログラム命令を含むと考えられる。すなわち、本開示の実施例は、装置800のプロセッサ810によって実行されるソフトウェア、またはハードウェア、またはハードウェアとソフトウェアとの組み合わせによって実現され得る。
図9は、本開示のいくつかの実施例を実行するのに適した装置900の簡略化されたブロック図である。図8に示すように、当該装置900は、1つまたは複数のプロセッサ910と、プロセッサに接続された1つまたは複数のメモリ920と、を含む。装置900は、VR360アプリケーションを再生するための装置として使用することができる。
本開示のいくつかの実施例では、当該装置910は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得することと、
当該構成に基づいてVR360アプリケーションの視点間で切り替えを行うことと、を含む動作を実行するように構成される。
図3a~図6を参照すると、当該切り替えトランジション装置900によって実行されるいくつかの実施例は、図3a~図6に示されるような実施例であってもよい。
いくつかの実施例では、装置900は、プロセッサ910に接続された1つまたは複数の送信機/受信機(TX/RX)940をさらに含むことができる。ある実施例では、当該送信機/受信機(TX/RX)940は、当該装置900を位置づけるように構成される。
当該プロセッサ910は、参照として例示されたものであり、VR360アプリケーションを再生するのに適した任意のタイプであってもよく、または、1つまたは複数の汎用コンピュータ、特定用途コンピュータ、マイクロプロセッサ、デジタルサブシグナルプロセッサ(DSPs)、およびマルチコアプロセッサアーキテクチャに基づくプロセッサを含んでもよい。当該装置900は、メインプロセッサを同期させるクロックに時間的に従属する特定用途の集積回路チップなどの複数のプロセッサを有することができる。
メモリ920は、参照として例示されたものであり、VR360アプリケーションを記憶するのに適した任意のメモリであってもよく、非一時的コンピュータ読み取り可能な記憶媒体、半導体に基づくメモリ装置、磁気メモリ装置およびシステム、光メモリ装置およびシステム、固定メモリおよびリムーバブルメモリなどの任意の適切なデータ記憶技術によって実現され得る。
当該メモリ920は、プログラム930のうちの少なくとも一部を記憶する。プログラム930は、関連するプロセッサ910によって実行された時、装置900が図7に示すような本開示の実施例に基づいて動作することを可能にするプログラム命令を含むと仮定する。すなわち、本開示の実施例は、装置900のプロセッサ910によって実行されるソフトウェア、またはハードウェア、またはハードウェアとソフトウェアとの組み合わせによって実現され得る。
図10は、本開示のいくつかの実施例を実行するのに適した装置1000の簡略化されたブロック図である。装置1000は、VR360プレーヤとして使用することができる。図示するように、装置1000は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するように構成される取得モジュール1010と、
当該構成に基づいてVR360アプリケーションの視点間で切り替えを行うように構成される切り替えモジュール1020と、を含む。
当該構成には、
特定視点切り替えの初期ビューポートを示すビューポートパラメータ(viewport parameter)と、
特定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータ(transition effect parameter)と、
視点切り替えのうちの少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータ(activation window parameter)と、
特定視点切り替えにわたってデスティネーション視点のメディアの再生タイムラインの開始位置を示す時間切り替えパラメータ(time switching parameter)と、のいずれかまたはその任意の組み合わせを含む。
図3a~図6を参照すると、当該切り替えトランジション装置1000によって実行されるいくつかの実施例は、図3a~図6に示されるような実施例であってもよい。
図11は、本開示のいくつかの実施例を実行するのに適した装置1100の簡略化されたブロック図である。当該装置1100は、VR360を製造するための装置として利用することができる。図示するように、当該装置1100は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するように構成される決定モジュール1110と、
当該構成をVR360アプリケーションに伝送するように構成される伝送モジュール1120と、を含む。
当該構成は、
特定視点切り替えの初期ビューポートを示すビューポートパラメータ(viewport parameter)と、
特定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータ(transition effect parameter)と、
視点切り替えのうちの少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータ(activation window parameter)と、
特定視点切り替えにわたってデスティネーション視点のメディア再生タイムラインの開始位置を示す時間切り替えパラメータ(time switching parameter)と、のいずれかまたはその任意の組み合わせを含む。
図3a~図6を参照すると、切り替えトランジション装置1100によって実行されるいくつかの実施例は、図3a~図6に示されるような実施例であってもよい。
図2および図7に示された様々なブロックは、方法ステップとして、および/またはコンピュータプログラムコードの動作から生じる動作として、および/または関連機能を実行するように構成されている複数の結合されたロジック回路要素として扱うことができる。本開示の例示的な実施例のうちの少なくともいくつかの態様は、集積回路チップおよびモジュールのような様々なコンポーネントで実現することができ、本開示の例示的な実施例に基づいて動作するように構成可能な集積回路、FPGAまたはASICとして具現化することができる。
また、本開示は、上記コンピュータプログラムを含むキャリアを提供することもでき、キャリアは、電子信号、光信号、無線信号、またはコンピュータ読み取り可能な媒体のうちの1つである。コンピュータ読み取り可能な媒体は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、磁気テープ、CD-ROM、DVD、Blu-ray Discなどの光学ディスク、または電子記憶装置であってもよい。
本開示のいくつかの実施例では、当該VR360メディアはOMAFメディアであってもよい。本開示のいくつかの実施例では、当該VR360プレーヤはOMAFプレーヤであってもよい。
上記説明に基づいて、本開示は、装置、方法、またはコンピュータ読み取り可能な媒体によって提示することができることを当業者は理解することができる。一般的に、これらの様々な可能な実施例は、ハードウェアまたは特定用途の回路、ソフトウェア、ロジック、または上記任意の組み合わせによって実現され得る。例えば、いくつかの態様は、ハードウェアによって実現され得て、他の態様は、コントローラ、マイクロプロセッサまたは他のコンピューティングデバイスによって実行され得るように、ファームウェアまたはソフトウェアによって実現され得るが、本開示はこれらに限定されるものではない。同時に、本開示の例示的な実施例の異なる態様は、ブロック図、フローチャート、または他の図を利用して例示され、説明され得て、ここで説明されるブロック、装置、システム、技術、または方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、特定用途の回路またはロジック、汎用用途のハードウェアまたはコントローラ、または他のコンピューティングデバイス、またはこれらの組み合わせによって実施され得ることが知られている。
上記説明に基づいて、本開示は、装置、方法、またはコンピュータプログラム製品として提示することができることを当業者は理解することができる。一般に、これらの様々な例示的な実施例は、ハードウェアまたは特定ユーザの回路、ソフトウェア、ロジック、またはこれらの任意の組み合わせに適用することができる。例えば、いくつかの態様は、ハードウェアによって実現され得て、他の態様は、コントローラ、マイクロプロセッサまたは他のコンピューティングデバイスによって実行され得るように、ファームウェアまたはソフトウェアによって実現され得るが、本開示はこれらに限定されるものではない。同時に、本開示の例示的な実施例の異なる態様は、ブロック図、フローチャート、または他の図を利用して例示され、説明され得て、ここで説明されるブロック、装置、システム、技術、または方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、特定用途の回路またはロジック、汎用用途のハードウェアまたはコントローラ、または他のコンピューティングデバイス、またはこれらの組み合わせによって実施され得ることが知られている。
本明細書は、多くの具体的な実施の詳細を含むが、これらは、いずれかの開示の範囲または請求できる内容に対する制限として解釈されるべきではなく、特定の開示に特定し得る特徴に対する説明として解釈される。個々の実施例の文脈で本明細書に記載された幾つかの特徴は、単一の実施例で組み合わせて実現することもできる。逆に、単一の実施例の文脈で説明された様々な特徴は、個別に、または任意の適切なサブ組み合わせで実現され得る。さらに、上記の特徴は、最初に請求されているように、いくつかの組み合わせで機能するように説明できるが、場合によっては、請求された組み合わせからの1つまたは複数の特徴を当該組み合わせから削除することができ、請求される組み合わせは、サブ組み合わせまたはサブ組み合わせの変化に対応することができる。
同様に、図面には動作が特定の順序で示されているが、これは、示されている特定の順序でまたは順次そのような動作を実行し、または所望の結果を達成するために示されているすべての動作を実行するものとして理解すべきではない。場合によっては、マルチタスク処理や並列処理が有利な場合もある。さらに、上述した実施例における様々なシステムコンポーネントの分離は、全ての実施例において必要であると理解すべきではなく、説明されたプログラムコンポーネントおよびシステムは、通常、単一のソフトウェア製品に統合され得て、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。
本開示の上述の例示的な実施例に対する様々な補正、調整は、上記の説明を考慮して、図面を組み合わせて読むと、当業者にとっては明らかになるであろう。任意およびすべての補正は、本開示の非限定的および例示的な実施例の範囲内に入る。さらに、本開示のこれらの実施例の所属する当業者であれば、前述の説明および関連する図面に示される教示の利益を有する、本明細書に記載された開示内容の他の実施例を想到し得る。
したがって、本開示の実施例は、開示された特定の実施例に限定されず、補正および他の実施例は、添付の特許請求の範囲に含まれることが意図されていることを理解されたい。ここでは特定の用語が使用されているが、それらは一般的で記述的な意味でのみ使用され、限定するためのものではない。

Claims (24)

  1. 仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する方法であって、
    VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するステップと、
    前記VR360アプリケーションにおける視点間で切り替えを行うための前記構成を前記VR360アプリケーションに伝送するステップと、を含み、
    前記視点は、VR360アプリケーションを生成する装置が存在する物理的位置であり、
    前記視点の切り替えは、VR360アプリケーションを生成する装置が異なる視点に対応する異なる物理的位置間で行う切り替えであり、
    前記構成は、特定のビューポイントの切り替えに使用される初期ビューポートを示すビューポートパラメータを含む、
    視点切り替え能力を伝送する方法。
  2. 前記構成は、視点または切り替えトランジションに関連付けられたISOBMFFボックスを含む
    請求項1に記載の方法。
  3. 前記構成は
    定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータと、
    視点切り替えのための少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータと、
    特定視点切り替えにわたってデスティネーション視点のメディアの再生の開始位置を示す時間切り替えパラメータと、
    のいずれかまたはその任意の組み合わせを含む、
    ことを特徴とする請求項1または2に記載の方法。
  4. 前記ビューポートパラメータは、
    デスティネーション視点のための初期ビューポートが存在するか否かを示すビューポートフラグを含む、
    請求項3に記載の方法。
  5. 前記構成は複数の切り替え可能性パラメータをさらに含み、各切り替え可能性パラメータが最大1つの視点を持ち、
    当該パラメータは、
    可能な視点切り替えの数を示す数字パラメータと、
    視点切り替え中のデスティネーション視点のIDを示すIDパラメータと、
    のうちの少なくとも1つのパラメータを含む、
    請求項3に記載の方法。
  6. 前記トランジションエフェクトパラメータは、
    トランジションエフェクトが存在するか否かを示すトランジションエフェクトフラグと、
    特定切り替えのトランジションエフェクトのタイプを示すトランジションエフェクトタイプフラグと、
    特定トランジションエフェクトビデオが記憶された位置を示すトランジションエフェクトインジケータと、
    のうちの少なくとも1つのパラメータを含む、
    請求項3に記載の方法。
  7. 当該時間切り替えパラメータは、
    タイムオフセットが存在するか否かを示すタイムライン切り替えオフセットフラグと、
    オフセットの数値を示すオフセットインジケータと、
    オフセットの開始点を示す現在関連のフラグと、のうちの少なくとも1つのパラメータを含む、
    請求項3に記載の方法。
  8. 当該アクティベーションウィンドウパラメータは、
    切り替えトランジションのための最小時間が存在するか否かを示す最小時間フラグであって、最小時間が存在する場合、トランジションが当該最小時間経過後にのみアクティブ化可能である、最小時間フラグと、
    最小時間の数値を示す最小時間パラメータと、
    切り替えトランジションのための最大時間が存在するか否かを示す最大時間フラグであって、最大時間が存在する場合、トランジションが当該最大時間に達するまでにアクティブ化可能である最大時間フラグと、
    最大時間の数値を示す最大時間パラメータと、のうちの少なくとも1つのパラメータを含む、
    請求項3に記載の方法。
  9. 当該アクティベーションウィンドウパラメータは、再生のタイムメタデータトラックに関連付けられている、
    請求項8に記載の方法。
  10. 仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する方法であって、
    VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するステップと、
    前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うステップと、を含み、
    前記視点は、VR360アプリケーションを生成する装置が存在する物理的位置であり、
    前記視点の切り替えは、VR360アプリケーションを生成する装置が異なる視点に対応する異なる物理的位置間で行う切り替えであり、
    前記構成は、特定のビューポイントの切り替えに使用される初期ビューポートを示すビューポートパラメータを含む、
    仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する方法。
  11. 前記構成は、視点または切り替えトランジションに関連付けられたISOBMFFボックスを含む
    請求項10に記載の方法。
  12. 前記構成は
    定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータと、
    視点切り替えのための少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータと、
    特定視点切り替えにわたってデスティネーション視点のメディア再生の開始位置を示す時間切り替えパラメータと、
    のいずれかまたはその任意の組み合わせを含む、
    請求項10または11に記載の方法。
  13. 前記ビューポートパラメータは、
    デスティネーション視点のための初期ビューポートが存在するか否かを示すビューポートフラグを含む、
    請求項12に記載の方法。
  14. 前記構成は複数の切り替え可能性パラメータをさらに含み、各切り替え可能性パラメータが最大1つの視点を持ち、当該パラメータは、
    可能な視点切り替えの数を示す数字パラメータと、
    視点切り替え中のデスティネーション視点のIDを示すIDパラメータと、のうちの少なくとも1つのパラメータを含む、
    請求項12に記載の方法。
  15. 前記トランジションエフェクトパラメータは、
    トランジションエフェクトが存在するか否かを示すトランジションエフェクトフラグと、
    特定切り替えのトランジションエフェクトのタイプを示すトランジションエフェクトタイプフラグと、
    特定トランジションエフェクトビデオが記憶された位置を示すトランジションエフェクトインジケータと、のうちの少なくとも1つのパラメータを含む、
    請求項12に記載の方法。
  16. 前記時間切り替えパラメータは、
    タイムオフセットが存在するか否かを示すタイムライン切り替えオフセットフラグと、
    オフセットの数値を示すオフセットインジケータと、
    オフセットの開始点を示す現在関連のフラグと、のうちの少なくとも1つのパラメータを含む、
    請求項12に記載の方法。
  17. 当該アクティベーションウィンドウパラメータは、
    切り替えトランジションのための最小時間が存在するか否かを示す最小時間フラグであって、最小時間が存在する場合、トランジションが当該最小時間経過後にのみアクティブ化可能である最小時間フラグと、
    最小時間の数値を示す最小時間パラメータと、
    切り替えトランジションのための最大時間が存在するか否かを示す最大時間フラグであって、最大時間が存在する場合、トランジションが当該最大時間に達するまでにアクティブ化可能である最大時間フラグと、
    最大時間の数値を示す最大時間パラメータと、のうちの少なくとも1つのパラメータを含む、
    請求項12に記載の方法。
  18. 当該アクティベーションウィンドウパラメータは、再生のタイムメタデータトラックに関連付けられている、
    ことを特徴とする請求項17に記載の方法。
  19. 仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する装置であって、
    少なくとも1つのメモリと、
    少なくとも1つのプロセッサであって、命令を実行し、
    VR360アプリケーションにおける視点間で切り替えを行うための構成を決定し、
    前記構成を前記VR360アプリケーションに伝送するように構成される前記少なくとも1つのプロセッサと、を含み、
    前記視点は、VR360アプリケーションを生成する装置が存在する物理的位置であり、
    前記視点の切り替えは、VR360アプリケーションを生成する装置が異なる視点に対応する異なる物理的位置間で行う切り替えであり、
    前記構成は、特定のビューポイントの切り替えに使用される初期ビューポートを示すビューポートパラメータを含む、
    仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する装置。
  20. 仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する装置であって、
    少なくとも1つのメモリと、
    少なくとも1つのプロセッサであって、命令を実行し、
    VR360アプリケーションにおける視点間で切り替えを行うための構成を取得し、
    前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うように構成される前記少なくとも1つのプロセッサと、を含み、
    前記視点は、VR360アプリケーションを生成する装置が存在する物理的位置であり、
    前記視点の切り替えは、VR360アプリケーションを生成する装置が異なる視点に対応する異なる物理的位置間で行う切り替えであり、
    前記構成は、特定のビューポイントの切り替えに使用される初期ビューポートを示すビューポートパラメータを含む、
    仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する装置。
  21. コンピュータ読み取り可能な記憶媒体であって、命令を記憶しており、当該命令は、プロセッサによって呼び出されて実行されるときに、
    仮想現実360(VR360)アプリケーションにおける視点間で切り替えを行うための構成を決定することと、
    前記構成を前記VR360アプリケーションに伝送することと、
    を含む動作を、前記プロセッサにさせ
    前記視点は、VR360アプリケーションを生成する装置が存在する物理的位置であり、
    前記視点の切り替えは、VR360アプリケーションを生成する装置が異なる視点に対応する異なる物理的位置間で行う切り替えであり、
    前記構成は、特定のビューポイントの切り替えに使用される初期ビューポートを示すビューポートパラメータを含む、
    ことを特徴とするコンピュータ読み取り可能な記憶媒体。
  22. コンピュータ読み取り可能な記憶媒体であって、命令を記憶しており、当該命令は、プロセッサによって呼び出されて実行されるときに、
    仮想現実360(VR360)アプリケーションにおける視点間で切り替えを行うための構成を取得することと、
    前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うことと、
    を含む動作を、前記プロセッサにさせ
    前記視点は、VR360アプリケーションを生成する装置が存在する物理的位置であり、
    前記視点の切り替えは、VR360アプリケーションを生成する装置が異なる視点に対応する異なる物理的位置間で行う切り替えであり、
    前記構成は、特定のビューポイントの切り替えに使用される初期ビューポートを示すビューポートパラメータを含む、
    ことを特徴とするコンピュータ読み取り可能な記憶媒体。
  23. VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するように構成される決定モジュールと、
    当該構成をVR360アプリケーションに伝送するように構成される伝送モジュールと、を含み、
    前記視点は、VR360アプリケーションを生成する装置が存在する物理的位置であり、
    前記視点の切り替えは、VR360アプリケーションを生成する装置が異なる視点に対応する異なる物理的位置間で行う切り替えであり、
    前記構成は、特定のビューポイントの切り替えに使用される初期ビューポートを示すビューポートパラメータを含む、
    ことを特徴とする装置。
  24. VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するように構成される取得モジュールと、
    前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うように構成される切り替えモジュールと、を含み、
    前記視点は、VR360アプリケーションを生成する装置が存在する物理的位置であり、
    前記視点の切り替えは、VR360アプリケーションを生成する装置が異なる視点に対応する異なる物理的位置間で行う切り替えであり、
    前記構成は、特定のビューポイントの切り替えに使用される初期ビューポートを示すビューポートパラメータを含む、
    ことを特徴とする装置。
JP2021556304A 2019-03-20 2019-03-20 Vr360において視点切り替え能力を伝送する方法および装置 Active JP7286791B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/078877 WO2020186478A1 (en) 2019-03-20 2019-03-20 Method and device for transmitting viewpoint switching capabilities in a vr360 application

Publications (3)

Publication Number Publication Date
JP2022525906A JP2022525906A (ja) 2022-05-20
JPWO2020186478A5 JPWO2020186478A5 (ja) 2023-03-22
JP7286791B2 true JP7286791B2 (ja) 2023-06-05

Family

ID=68083718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021556304A Active JP7286791B2 (ja) 2019-03-20 2019-03-20 Vr360において視点切り替え能力を伝送する方法および装置

Country Status (8)

Country Link
US (1) US20220150458A1 (ja)
EP (1) EP3753257A4 (ja)
JP (1) JP7286791B2 (ja)
KR (1) KR102669467B1 (ja)
CN (2) CN113691883A (ja)
BR (1) BR112021018563A2 (ja)
SG (1) SG11202110312XA (ja)
WO (1) WO2020186478A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021198553A1 (en) * 2020-04-02 2021-10-07 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
CN111447503A (zh) * 2020-04-26 2020-07-24 烽火通信科技股份有限公司 一种多视点视频的视点切换方法、服务器和系统
CN113949829B (zh) * 2021-10-15 2022-09-20 腾讯科技(深圳)有限公司 媒体文件封装及解封装方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017159063A1 (ja) 2016-03-14 2017-09-21 ソニー株式会社 表示装置並びに情報処理端末装置
WO2018175855A1 (en) 2017-03-23 2018-09-27 Vid Scale, Inc. Metrics and messages to improve experience for 360-degree adaptive streaming
WO2018177817A1 (en) 2017-03-27 2018-10-04 Canon Kabushiki Kaisha Method and apparatus for encoding media data comprising generated content
CN108702528A (zh) 2016-02-17 2018-10-23 Lg电子株式会社 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备
CN109076255A (zh) 2016-04-26 2018-12-21 Lg电子株式会社 发送360度视频的方法、接收360度视频的方法、发送360度视频的设备、接收360度视频的设备
CN109218274A (zh) 2017-07-07 2019-01-15 华为技术有限公司 一种媒体信息的处理方法及装置

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179867A (ja) * 2001-12-10 2003-06-27 Sony Corp データ処理装置、データ処理方法、および情報記憶媒体、並びにコンピュータ・プログラム
EP2137701A1 (en) * 2007-03-15 2009-12-30 Thomson Licensing Methods and apparatus for automated aesthetic transitioning between scene graphs
TW201210325A (en) * 2010-07-21 2012-03-01 Nokia Corp Method and apparatus for indicating switching points in a streaming session
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体
US9337982B2 (en) * 2013-04-05 2016-05-10 Qualcomm Incorporated Adaptive antenna management in LTE
US9110573B2 (en) * 2013-04-26 2015-08-18 Google Inc. Personalized viewports for interactive digital maps
US9848212B2 (en) * 2015-07-10 2017-12-19 Futurewei Technologies, Inc. Multi-view video streaming with fast and smooth view switch
WO2017047173A1 (ja) * 2015-09-14 2017-03-23 ソニー株式会社 情報処理装置及び情報処理方法
CN106921864A (zh) * 2015-12-25 2017-07-04 北京奇虎科技有限公司 视频播放方法和装置
US20170244959A1 (en) * 2016-02-19 2017-08-24 Adobe Systems Incorporated Selecting a View of a Multi-View Video
CN109155861B (zh) * 2016-05-24 2021-05-25 诺基亚技术有限公司 用于编码媒体内容的方法和装置以及计算机可读存储介质
WO2018035196A1 (en) * 2016-08-16 2018-02-22 Visbit Inc. Interactive 360° vr video streaming
CN107888939A (zh) * 2016-09-30 2018-04-06 华为技术有限公司 一种视频数据的处理方法及装置
CN107888993B (zh) * 2016-09-30 2020-11-06 华为技术有限公司 一种视频数据的处理方法及装置
WO2018071562A1 (en) * 2016-10-12 2018-04-19 Viar Inc Virtual/augmented reality content management system
CN107959861B (zh) * 2016-10-18 2020-08-25 华为技术有限公司 一种数据处理方法、相关设备及系统
CN106791888A (zh) * 2016-12-20 2017-05-31 三星电子(中国)研发中心 基于用户视角的全景图片的传输方法和装置
FI20166017A (fi) * 2016-12-22 2018-06-23 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
WO2018193330A1 (en) * 2017-04-20 2018-10-25 Nokia Technologies Oy Method and apparatus for delivery of streamed panoramic images
US10388077B2 (en) * 2017-04-25 2019-08-20 Microsoft Technology Licensing, Llc Three-dimensional environment authoring and generation
US10375375B2 (en) * 2017-05-15 2019-08-06 Lg Electronics Inc. Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same
US10841537B2 (en) * 2017-06-09 2020-11-17 Pcms Holdings, Inc. Spatially faithful telepresence supporting varying geometries and moving users
CN109218755B (zh) * 2017-07-07 2020-08-25 华为技术有限公司 一种媒体数据的处理方法和装置
AU2018303842B2 (en) * 2017-07-19 2022-07-28 Axiom Holographics Pty Ltd Multiple observer improvement for a virtual environment
US11622153B2 (en) * 2017-10-04 2023-04-04 Interdigital Madison Patent Holdings, Sas Customized 360-degree media viewing
CN108111899B (zh) * 2017-12-29 2021-05-11 中兴通讯股份有限公司 视频传输方法与装置、客户端、服务器及存储介质
CN110035316B (zh) * 2018-01-11 2022-01-14 华为技术有限公司 处理媒体数据的方法和装置
KR102395395B1 (ko) * 2018-03-22 2022-05-10 브이아이디 스케일, 인크. 뷰포트 의존성 비디오 스트리밍 이벤트
US11032570B2 (en) * 2018-04-03 2021-06-08 Huawei Technologies Co., Ltd. Media data processing method and apparatus
WO2019194434A1 (ko) * 2018-04-05 2019-10-10 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
US10848894B2 (en) * 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
WO2019203456A1 (ko) * 2018-04-15 2019-10-24 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
CN110798707B (zh) * 2018-08-02 2023-06-16 华为技术有限公司 传输媒体数据的方法、客户端和服务器
US10999583B2 (en) * 2018-09-14 2021-05-04 Apple Inc. Scalability of multi-directional video streaming
US11587200B2 (en) * 2018-09-28 2023-02-21 Nokia Technologies Oy Method and apparatus for enabling multiple timeline support for omnidirectional content playback
CN114979750A (zh) * 2019-01-08 2022-08-30 诺基亚技术有限公司 用于虚拟现实的方法、装置和计算机可读介质
US10974147B1 (en) * 2019-12-19 2021-04-13 Sony Interactive Entertainment Inc. Spectator switch board customized to user viewport selection actions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108702528A (zh) 2016-02-17 2018-10-23 Lg电子株式会社 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备
WO2017159063A1 (ja) 2016-03-14 2017-09-21 ソニー株式会社 表示装置並びに情報処理端末装置
CN109076255A (zh) 2016-04-26 2018-12-21 Lg电子株式会社 发送360度视频的方法、接收360度视频的方法、发送360度视频的设备、接收360度视频的设备
WO2018175855A1 (en) 2017-03-23 2018-09-27 Vid Scale, Inc. Metrics and messages to improve experience for 360-degree adaptive streaming
WO2018177817A1 (en) 2017-03-27 2018-10-04 Canon Kabushiki Kaisha Method and apparatus for encoding media data comprising generated content
CN109218274A (zh) 2017-07-07 2019-01-15 华为技术有限公司 一种媒体信息的处理方法及装置

Also Published As

Publication number Publication date
BR112021018563A2 (pt) 2021-11-30
EP3753257A1 (en) 2020-12-23
EP3753257A4 (en) 2021-09-15
WO2020186478A1 (en) 2020-09-24
KR102669467B1 (ko) 2024-05-24
CN110313175A (zh) 2019-10-08
CN110313175B (zh) 2021-10-01
CN113691883A (zh) 2021-11-23
SG11202110312XA (en) 2021-10-28
KR20210138090A (ko) 2021-11-18
JP2022525906A (ja) 2022-05-20
US20220150458A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
KR102246002B1 (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
JP7286791B2 (ja) Vr360において視点切り替え能力を伝送する方法および装置
KR102384489B1 (ko) 정보 처리 장치, 정보 제공 장치, 제어 방법, 및 컴퓨터 판독가능 저장 매체
RU2744969C1 (ru) Способ и устройство для эффективной доставки и использования аудиосообщений для высокого качества восприятия
JP6255095B2 (ja) デジタルビデオストリーミングにおけるトリック再生
JP2011086283A (ja) 動的レンダリング用3次元ビデオキャプチャ・ワークフロー用のシステム及び方法
US10911809B2 (en) Communication apparatus, communication method, and program
US20110081133A1 (en) Method and system for a fast channel change in 3d video
WO2017022363A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20200084516A1 (en) Device and method for processing high-definition 360-degree vr image
KR20210019017A (ko) 컨텐츠의 처리 방법 및 장치
CA2896132C (en) Method and apparatus of compatible depth dependent coding
JP2022524871A (ja) メディアコンテンツにおけるレイトバインディングのための方法および装置
JP2024020473A (ja) パノラマメディア再生方法、機器及びコンピュータ読み取り可能な記憶媒体
WO2022116822A1 (zh) 沉浸式媒体的数据处理方法、装置和计算机可读存储介质
US20200374567A1 (en) Generation apparatus, reproduction apparatus, generation method, reproduction method, control program, and recording medium
US20200045359A1 (en) Reproduction device, generation device, reproduction system, program, recording medium
RU2811076C1 (ru) Способ и устройство для передачи информации о возможностях переключения точки обзора в приложении VR360
CN114556962B (zh) 多视点视频处理方法和装置
RU2781059C1 (ru) Способ и устройство для передачи информации о возможностях переключения точки обзора в приложении VR360
JP5527730B2 (ja) 再生装置
KR20210053875A (ko) 비디오 컨텐츠를 전송하는 방법 및 장치 및 비디오 컨텐츠를 수신하는 방법 및 장치
KR101634558B1 (ko) 멀티앵글영상 재생방법 및 장치
RU2791924C1 (ru) Способ и устройство для воспроизведения всенаправленного медиа и машиночитаемый носитель

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230201

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20230313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230524

R150 Certificate of patent or registration of utility model

Ref document number: 7286791

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150