JP7286791B2 - Vr360において視点切り替え能力を伝送する方法および装置 - Google Patents
Vr360において視点切り替え能力を伝送する方法および装置 Download PDFInfo
- Publication number
- JP7286791B2 JP7286791B2 JP2021556304A JP2021556304A JP7286791B2 JP 7286791 B2 JP7286791 B2 JP 7286791B2 JP 2021556304 A JP2021556304 A JP 2021556304A JP 2021556304 A JP2021556304 A JP 2021556304A JP 7286791 B2 JP7286791 B2 JP 7286791B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- switching
- application
- viewport
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/158—Switching image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8166—Monomedia components thereof involving executable data, e.g. software
- H04N21/8173—End-user applications, e.g. Web browser, game
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8541—Content authoring involving branching, e.g. to different story endings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Studio Circuits (AREA)
- Processing Or Creating Images (AREA)
Description
1).単位球面および三次元空間を含む座標系
2).球形のビデオシーケンスまたは画像をそれぞれに2次元の矩形のビデオシーケンスまたは画像に変換するために用いられる投影および矩形領域パッキング方法
3).ISO/IECで規定されているISOBMFF(ISO Base Media File Format、ISO基本メディアファイルフォーマット)を利用して全方向性メディアおよび関連メタデータを記憶すること
4).ISO/IEC 23009-1で規定されているHTTP上での動的適応型ストリーミング(DASH)、ISO/IEC 23008-1で規定されているMPEGメディア伝送(MMT)などのメディアストリーミングシステムにおける全方向性メディアのカプセル化、シグナリング伝送、ストリーミング伝送
5).メディアプロファイルとプレゼンテーションプロファイルは、メディアコーデックに相互運用性および一貫性という重要なポイント、および全方向性メディアコンテンツの圧縮、ストリーミング、および再生に使用できるメディアエンコーディングとカプセル化構成を提供すること
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するステップと、
前記VR360アプリケーションにおける視点間で切り替えを行うための前記構成を前記VR360アプリケーションに伝送するステップと、を含む。
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するステップと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うステップと、を含む。
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するように構成される決定モジュールと、
当該構成をVR360アプリケーションに伝送するように構成される伝送モジュールと、を含む。
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するように構成される取得モジュールと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うように構成される切り替えモジュールと、を含む。
少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、命令を実行し、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定し、
前記構成を前記VR360アプリケーションに伝送するように構成される少なくとも1つのプロセッサと、を含む。
少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、命令を実行し、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得し、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うように構成される少なくとも1つのプロセッサと、を含む。
仮想現実360(VR360)アプリケーションにおける視点間で切り替えを行うための構成を決定することと、
前記構成を前記VR360アプリケーションに伝送することと、
を含む動作を、前記プロセッサにさせる。
仮想現実360(VR360)アプリケーションにおける視点間で切り替えを行うための構成を取得することと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うことと、
を含む動作を、前記プロセッサにさせる。
本発明の実施例は、例示的な形態で示され、以下に添付図面を参照してその利点を詳細に説明する。
ViewpointPosStruct()は、全座標系における視点の位置を定義しており、GPS情報を有することができ、
ViewpointGlobalCoordinateSysRotationStruct()は、全座標系における視点の方向を定義しており、
ViewpointGlobalCoordinateSysRotationStruct()は、視点をグループ化することが可能であり、および
ViewpointEntry()は、各視点の一意の視点id(viewpoint_id)を定義している。
ステップ202において、構成をVR360アプリケーションに伝送する。
特定視点切り替えの初期ビューポートを示すビューポートパラメータ(viewport parameter)と、
特定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータ(transition effect parameter)と、
視点切り替えのうちの少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータ(activation window parameter)と、
特定視点切り替えにわたってデスティネーション視点のメディアの再生タイムラインの開始位置を示す時間切り替えパラメータと、のいずれかまたはその任意の組み合わせを含む。
タイムオフセットが存在するか否かを示すタイムライン切り替えオフセットフラグ(timeline-switching-offset flag)と、
オフセットの数値を示すオフセットインジケータ(offset indicator)と、
オフセットの開始点を示す現在関連のフラグ(relative-to-current flag)と、のうちの少なくとも1つのパラメータを含む。
デスティネーション視点に初期ビューポートが存在するか否かを示すビューポートフラグ(viewport flag)を含む。
視点切り替えの数を示す数字パラメータ(number parameter)と、
視点切り替え中のデスティネーション視点のIDを示すIDパラメータ(ID parameter)と、のうちの少なくとも1つのパラメータを含む。
トランジションエフェクトが存在するか否かを示すトランジションエフェクトフラグ(transition effect flag)と、
特定切り替えのトランジションエフェクトのタイプを示すトランジションエフェクトタイプフラグ(transition effect type flag)と、
特定トランジションエフェクトビデオが記憶された位置を示すトランジションエフェクトインジケータ(transition effect indicator)と、のうちの少なくとも1つのパラメータを含む。
切り替えトランジションのための最小時間が存在するか否かを示す最小時間フラグ(minimum time flag)であって、最小時間が存在する場合、トランジションが当該最小時間後にのみアクティブ化可能である最小時間フラグと、
最小時間の数値を示す最小時間パラメータ(minimum time parameter)と、
切り替えトランジションのための最大時間が存在するか否かを示す最大時間フラグ(maximum time flag)であって、最大時間が存在する場合、トランジションが当該最大時間前にのみアクティブ化可能である最大時間フラグと、
最大時間の数値を示す最大時間パラメータ(maximum time parameter)と、のうちの少なくとも1つのパラメータを含む。
タイムオフセットが存在するか否かを示すタイムライン切り替えオフセットフラグ(timeline-switching-offset flag)と、
オフセットの数値を示すオフセットインジケータ(offset indicator)と、
オフセットの開始点を示す現在関連のフラグ(relative-to-current flag)と、のうちの少なくとも1つのパラメータを含む。
トランジションエフェクトは、ユーザのために当該トランジションを実際に再生することに用いられ、このようなトランジションエフェクトは、予め定義されているリスト(本開示の保護範囲ではなく、様々な従来技術から選択できるからである)のうちの1つのidインストラクションであってもよく、トランジション時に再生される内部や外部のビデオストリームを示すためのURLインストラクションまたはISOBMFFのトラックid(track id)によって示される実際の既知の変換(例えば、暗闇に消えること、鏡像エフェクト、はためき……)であってもよい。
デスティネーション視点に関連付けられたメディアのタイムライン内の時間的な切り替え位置に関する情報。
デスティネーション視点に関連付けられたメディア内の空間(ビューポート)的な切り替え位置に関する情報。
aligned(8) class ViewpointSwitchingStruct () {
unsigned int (8) num_viewpoint_switching;
for (i = 0; i < num_viewpoint_switching; i++) {
unsigned int(16) destination_viewpoint_id;
ViewpointSwitchingTransition();
}
}
aligned(8) class ViewpointSwitchingTransition() {
unsigned int(1) transitione_efect_flag;
unsigned int(1) timeline_switching_offset_flag;
unsigned int(1) relative_to_current_flag;
unsigned int(1) destination_viewport_flag;
unsigned int(1) min_time_flag;
unsigned int(1) max_time_flag;
bit(2) reserved = 0;
// type of transition effect
if (transition_effect_flag) {
unsigned int(8) transition_effect_type[i];
if (i==4) {unsigned int(32) transition_video_track_id; }
if (i==5) { unsigned int(32) transition_video_URL; }
}
// where to switch in timeline of media associated to destination viewpoint
if (timeline_switching_offset_flag) {
signed int (32) t_offset;
}
// which viewport to switch to in the destination viewpoint
if (destination_viewport_flag) {
SphereRegionConfigBox(); // definition of the destination viewport as a sphere region
}
// time window for activation of the switching
if (min_time_flag) { signed int (32) t_min; }
if (max_time_flag) { signed int (32) t_max; }
}
以下のセマンティクスは、上記のISOBMFFプログラム実施例に関連する。
表1は可能なISOBMFFプログラムのセマンティクスを示す。
当該ビューポートパラメータ(viewport parameter)には、デスティネーションビューポートフラグ(destination_viewport_flag)が含まれており、
それぞれに最大1つの視点がある複数の切り替え可能性(multiple switching possibilities with at most one viewport per switching possibility parameter)は、視点切り替え数(num_viewport_switching)とデスティネーション視点id(destination_viewport_flag)を含み、
当該切り替えエフェクトパラメータ(transition effect parameter)は、トランジションエフェクトフラグ(transition_effect_flag)、トランジションエフェクトタイプ(transition_effect_type)、トランジションビデオトラックid(transition_video_track_id)、およびトランジションビデオURL(transition_video_URL)を含み、
当該時間切り替えパラメータ(time switching parameter)は、タイムライン切り替えオフセットフラグ(timeline_switching_offset_flag)、現在に対するフラグ(relative_to_current_flag)、オフセットフラグ(t_offset)を含み、および、
当該アクティベーションウィンドウパラメータ(activation window parameter)は、最小時間フラグ(min_time_flag)、最大時間フラグ(max_time_flag)、最小時間(t_min)、および最大時間(t_max)を含む。
当該OMAFアプリケーションは、ユーザが部屋Bおよび部屋Cを見ることを可能にする推奨ビューポートAを有する部屋Aで開始する。当該視点Aに関するビデオは、t0で開始する。
OMAFプレーヤは、視点に関連付けられたユニークなISOBMFFボックスを利用して、任意の時点で、現在の視点からの視点切り替え機能を容易にアクセスすることができる。
ステップ702において、当該構成に基づいてVR360アプリケーションにおいて視点切り替えを行う。
VR360アプリケーションにおいて視点切り替えのための構成を決定し、
当該構成をVR360アプリケーションに伝送する。
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得することと、
当該構成に基づいてVR360アプリケーションの視点間で切り替えを行うことと、を含む動作を実行するように構成される。
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するように構成される取得モジュール1010と、
当該構成に基づいてVR360アプリケーションの視点間で切り替えを行うように構成される切り替えモジュール1020と、を含む。
特定視点切り替えの初期ビューポートを示すビューポートパラメータ(viewport parameter)と、
特定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータ(transition effect parameter)と、
視点切り替えのうちの少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータ(activation window parameter)と、
特定視点切り替えにわたってデスティネーション視点のメディアの再生タイムラインの開始位置を示す時間切り替えパラメータ(time switching parameter)と、のいずれかまたはその任意の組み合わせを含む。
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するように構成される決定モジュール1110と、
当該構成をVR360アプリケーションに伝送するように構成される伝送モジュール1120と、を含む。
特定視点切り替えの初期ビューポートを示すビューポートパラメータ(viewport parameter)と、
特定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータ(transition effect parameter)と、
視点切り替えのうちの少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータ(activation window parameter)と、
特定視点切り替えにわたってデスティネーション視点のメディア再生タイムラインの開始位置を示す時間切り替えパラメータ(time switching parameter)と、のいずれかまたはその任意の組み合わせを含む。
Claims (24)
- 仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する方法であって、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するステップと、
前記VR360アプリケーションにおける視点間で切り替えを行うための前記構成を前記VR360アプリケーションに伝送するステップと、を含み、
前記視点は、VR360アプリケーションを生成する装置が存在する物理的位置であり、
前記視点の切り替えは、VR360アプリケーションを生成する装置が異なる視点に対応する異なる物理的位置間で行う切り替えであり、
前記構成は、特定のビューポイントの切り替えに使用される初期ビューポートを示すビューポートパラメータを含む、
視点切り替え能力を伝送する方法。 - 前記構成は、視点または切り替えトランジションに関連付けられたISOBMFFボックスを含む、
請求項1に記載の方法。 - 前記構成は、
特定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータと、
視点切り替えのための少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータと、
特定視点切り替えにわたってデスティネーション視点のメディアの再生の開始位置を示す時間切り替えパラメータと、
のいずれかまたはその任意の組み合わせを含む、
ことを特徴とする請求項1または2に記載の方法。 - 前記ビューポートパラメータは、
デスティネーション視点のための初期ビューポートが存在するか否かを示すビューポートフラグを含む、
請求項3に記載の方法。 - 前記構成は複数の切り替え可能性パラメータをさらに含み、各切り替え可能性パラメータが最大1つの視点を持ち、
当該パラメータは、
可能な視点切り替えの数を示す数字パラメータと、
視点切り替え中のデスティネーション視点のIDを示すIDパラメータと、
のうちの少なくとも1つのパラメータを含む、
請求項3に記載の方法。 - 前記トランジションエフェクトパラメータは、
トランジションエフェクトが存在するか否かを示すトランジションエフェクトフラグと、
特定切り替えのトランジションエフェクトのタイプを示すトランジションエフェクトタイプフラグと、
特定トランジションエフェクトビデオが記憶された位置を示すトランジションエフェクトインジケータと、
のうちの少なくとも1つのパラメータを含む、
請求項3に記載の方法。 - 当該時間切り替えパラメータは、
タイムオフセットが存在するか否かを示すタイムライン切り替えオフセットフラグと、
オフセットの数値を示すオフセットインジケータと、
オフセットの開始点を示す現在関連のフラグと、のうちの少なくとも1つのパラメータを含む、
請求項3に記載の方法。 - 当該アクティベーションウィンドウパラメータは、
切り替えトランジションのための最小時間が存在するか否かを示す最小時間フラグであって、最小時間が存在する場合、トランジションが当該最小時間経過後にのみアクティブ化可能である、最小時間フラグと、
最小時間の数値を示す最小時間パラメータと、
切り替えトランジションのための最大時間が存在するか否かを示す最大時間フラグであって、最大時間が存在する場合、トランジションが当該最大時間に達するまでにアクティブ化可能である最大時間フラグと、
最大時間の数値を示す最大時間パラメータと、のうちの少なくとも1つのパラメータを含む、
請求項3に記載の方法。 - 当該アクティベーションウィンドウパラメータは、再生のタイムメタデータトラックに関連付けられている、
請求項8に記載の方法。 - 仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する方法であって、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するステップと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うステップと、を含み、
前記視点は、VR360アプリケーションを生成する装置が存在する物理的位置であり、
前記視点の切り替えは、VR360アプリケーションを生成する装置が異なる視点に対応する異なる物理的位置間で行う切り替えであり、
前記構成は、特定のビューポイントの切り替えに使用される初期ビューポートを示すビューポートパラメータを含む、
仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する方法。 - 前記構成は、視点または切り替えトランジションに関連付けられたISOBMFFボックスを含む、
請求項10に記載の方法。 - 前記構成は、
特定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータと、
視点切り替えのための少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータと、
特定視点切り替えにわたってデスティネーション視点のメディア再生の開始位置を示す時間切り替えパラメータと、
のいずれかまたはその任意の組み合わせを含む、
請求項10または11に記載の方法。 - 前記ビューポートパラメータは、
デスティネーション視点のための初期ビューポートが存在するか否かを示すビューポートフラグを含む、
請求項12に記載の方法。 - 前記構成は複数の切り替え可能性パラメータをさらに含み、各切り替え可能性パラメータが最大1つの視点を持ち、当該パラメータは、
可能な視点切り替えの数を示す数字パラメータと、
視点切り替え中のデスティネーション視点のIDを示すIDパラメータと、のうちの少なくとも1つのパラメータを含む、
請求項12に記載の方法。 - 前記トランジションエフェクトパラメータは、
トランジションエフェクトが存在するか否かを示すトランジションエフェクトフラグと、
特定切り替えのトランジションエフェクトのタイプを示すトランジションエフェクトタイプフラグと、
特定トランジションエフェクトビデオが記憶された位置を示すトランジションエフェクトインジケータと、のうちの少なくとも1つのパラメータを含む、
請求項12に記載の方法。 - 前記時間切り替えパラメータは、
タイムオフセットが存在するか否かを示すタイムライン切り替えオフセットフラグと、
オフセットの数値を示すオフセットインジケータと、
オフセットの開始点を示す現在関連のフラグと、のうちの少なくとも1つのパラメータを含む、
請求項12に記載の方法。 - 当該アクティベーションウィンドウパラメータは、
切り替えトランジションのための最小時間が存在するか否かを示す最小時間フラグであって、最小時間が存在する場合、トランジションが当該最小時間経過後にのみアクティブ化可能である最小時間フラグと、
最小時間の数値を示す最小時間パラメータと、
切り替えトランジションのための最大時間が存在するか否かを示す最大時間フラグであって、最大時間が存在する場合、トランジションが当該最大時間に達するまでにアクティブ化可能である最大時間フラグと、
最大時間の数値を示す最大時間パラメータと、のうちの少なくとも1つのパラメータを含む、
請求項12に記載の方法。 - 当該アクティベーションウィンドウパラメータは、再生のタイムメタデータトラックに関連付けられている、
ことを特徴とする請求項17に記載の方法。 - 仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する装置であって、
少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、命令を実行し、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定し、
前記構成を前記VR360アプリケーションに伝送するように構成される前記少なくとも1つのプロセッサと、を含み、
前記視点は、VR360アプリケーションを生成する装置が存在する物理的位置であり、
前記視点の切り替えは、VR360アプリケーションを生成する装置が異なる視点に対応する異なる物理的位置間で行う切り替えであり、
前記構成は、特定のビューポイントの切り替えに使用される初期ビューポートを示すビューポートパラメータを含む、
仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する装置。 - 仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する装置であって、
少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、命令を実行し、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得し、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うように構成される前記少なくとも1つのプロセッサと、を含み、
前記視点は、VR360アプリケーションを生成する装置が存在する物理的位置であり、
前記視点の切り替えは、VR360アプリケーションを生成する装置が異なる視点に対応する異なる物理的位置間で行う切り替えであり、
前記構成は、特定のビューポイントの切り替えに使用される初期ビューポートを示すビューポートパラメータを含む、
仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する装置。 - コンピュータ読み取り可能な記憶媒体であって、命令を記憶しており、当該命令は、プロセッサによって呼び出されて実行されるときに、
仮想現実360(VR360)アプリケーションにおける視点間で切り替えを行うための構成を決定することと、
前記構成を前記VR360アプリケーションに伝送することと、
を含む動作を、前記プロセッサにさせ、
前記視点は、VR360アプリケーションを生成する装置が存在する物理的位置であり、
前記視点の切り替えは、VR360アプリケーションを生成する装置が異なる視点に対応する異なる物理的位置間で行う切り替えであり、
前記構成は、特定のビューポイントの切り替えに使用される初期ビューポートを示すビューポートパラメータを含む、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。 - コンピュータ読み取り可能な記憶媒体であって、命令を記憶しており、当該命令は、プロセッサによって呼び出されて実行されるときに、
仮想現実360(VR360)アプリケーションにおける視点間で切り替えを行うための構成を取得することと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うことと、
を含む動作を、前記プロセッサにさせ、
前記視点は、VR360アプリケーションを生成する装置が存在する物理的位置であり、
前記視点の切り替えは、VR360アプリケーションを生成する装置が異なる視点に対応する異なる物理的位置間で行う切り替えであり、
前記構成は、特定のビューポイントの切り替えに使用される初期ビューポートを示すビューポートパラメータを含む、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。 - VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するように構成される決定モジュールと、
当該構成をVR360アプリケーションに伝送するように構成される伝送モジュールと、を含み、
前記視点は、VR360アプリケーションを生成する装置が存在する物理的位置であり、
前記視点の切り替えは、VR360アプリケーションを生成する装置が異なる視点に対応する異なる物理的位置間で行う切り替えであり、
前記構成は、特定のビューポイントの切り替えに使用される初期ビューポートを示すビューポートパラメータを含む、
ことを特徴とする装置。 - VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するように構成される取得モジュールと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うように構成される切り替えモジュールと、を含み、
前記視点は、VR360アプリケーションを生成する装置が存在する物理的位置であり、
前記視点の切り替えは、VR360アプリケーションを生成する装置が異なる視点に対応する異なる物理的位置間で行う切り替えであり、
前記構成は、特定のビューポイントの切り替えに使用される初期ビューポートを示すビューポートパラメータを含む、
ことを特徴とする装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2019/078877 WO2020186478A1 (en) | 2019-03-20 | 2019-03-20 | Method and device for transmitting viewpoint switching capabilities in a vr360 application |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022525906A JP2022525906A (ja) | 2022-05-20 |
JPWO2020186478A5 JPWO2020186478A5 (ja) | 2023-03-22 |
JP7286791B2 true JP7286791B2 (ja) | 2023-06-05 |
Family
ID=68083718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021556304A Active JP7286791B2 (ja) | 2019-03-20 | 2019-03-20 | Vr360において視点切り替え能力を伝送する方法および装置 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20220150458A1 (ja) |
EP (1) | EP3753257A4 (ja) |
JP (1) | JP7286791B2 (ja) |
KR (1) | KR102669467B1 (ja) |
CN (2) | CN113691883A (ja) |
BR (1) | BR112021018563A2 (ja) |
SG (1) | SG11202110312XA (ja) |
WO (1) | WO2020186478A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021198553A1 (en) * | 2020-04-02 | 2021-10-07 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
CN111447503A (zh) * | 2020-04-26 | 2020-07-24 | 烽火通信科技股份有限公司 | 一种多视点视频的视点切换方法、服务器和系统 |
CN113949829B (zh) * | 2021-10-15 | 2022-09-20 | 腾讯科技(深圳)有限公司 | 媒体文件封装及解封装方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017159063A1 (ja) | 2016-03-14 | 2017-09-21 | ソニー株式会社 | 表示装置並びに情報処理端末装置 |
WO2018175855A1 (en) | 2017-03-23 | 2018-09-27 | Vid Scale, Inc. | Metrics and messages to improve experience for 360-degree adaptive streaming |
WO2018177817A1 (en) | 2017-03-27 | 2018-10-04 | Canon Kabushiki Kaisha | Method and apparatus for encoding media data comprising generated content |
CN108702528A (zh) | 2016-02-17 | 2018-10-23 | Lg电子株式会社 | 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备 |
CN109076255A (zh) | 2016-04-26 | 2018-12-21 | Lg电子株式会社 | 发送360度视频的方法、接收360度视频的方法、发送360度视频的设备、接收360度视频的设备 |
CN109218274A (zh) | 2017-07-07 | 2019-01-15 | 华为技术有限公司 | 一种媒体信息的处理方法及装置 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003179867A (ja) * | 2001-12-10 | 2003-06-27 | Sony Corp | データ処理装置、データ処理方法、および情報記憶媒体、並びにコンピュータ・プログラム |
EP2137701A1 (en) * | 2007-03-15 | 2009-12-30 | Thomson Licensing | Methods and apparatus for automated aesthetic transitioning between scene graphs |
TW201210325A (en) * | 2010-07-21 | 2012-03-01 | Nokia Corp | Method and apparatus for indicating switching points in a streaming session |
JP2014127987A (ja) * | 2012-12-27 | 2014-07-07 | Sony Corp | 情報処理装置および記録媒体 |
US9337982B2 (en) * | 2013-04-05 | 2016-05-10 | Qualcomm Incorporated | Adaptive antenna management in LTE |
US9110573B2 (en) * | 2013-04-26 | 2015-08-18 | Google Inc. | Personalized viewports for interactive digital maps |
US9848212B2 (en) * | 2015-07-10 | 2017-12-19 | Futurewei Technologies, Inc. | Multi-view video streaming with fast and smooth view switch |
WO2017047173A1 (ja) * | 2015-09-14 | 2017-03-23 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
CN106921864A (zh) * | 2015-12-25 | 2017-07-04 | 北京奇虎科技有限公司 | 视频播放方法和装置 |
US20170244959A1 (en) * | 2016-02-19 | 2017-08-24 | Adobe Systems Incorporated | Selecting a View of a Multi-View Video |
CN109155861B (zh) * | 2016-05-24 | 2021-05-25 | 诺基亚技术有限公司 | 用于编码媒体内容的方法和装置以及计算机可读存储介质 |
WO2018035196A1 (en) * | 2016-08-16 | 2018-02-22 | Visbit Inc. | Interactive 360° vr video streaming |
CN107888939A (zh) * | 2016-09-30 | 2018-04-06 | 华为技术有限公司 | 一种视频数据的处理方法及装置 |
CN107888993B (zh) * | 2016-09-30 | 2020-11-06 | 华为技术有限公司 | 一种视频数据的处理方法及装置 |
WO2018071562A1 (en) * | 2016-10-12 | 2018-04-19 | Viar Inc | Virtual/augmented reality content management system |
CN107959861B (zh) * | 2016-10-18 | 2020-08-25 | 华为技术有限公司 | 一种数据处理方法、相关设备及系统 |
CN106791888A (zh) * | 2016-12-20 | 2017-05-31 | 三星电子(中国)研发中心 | 基于用户视角的全景图片的传输方法和装置 |
FI20166017A (fi) * | 2016-12-22 | 2018-06-23 | Nokia Technologies Oy | Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten |
WO2018193330A1 (en) * | 2017-04-20 | 2018-10-25 | Nokia Technologies Oy | Method and apparatus for delivery of streamed panoramic images |
US10388077B2 (en) * | 2017-04-25 | 2019-08-20 | Microsoft Technology Licensing, Llc | Three-dimensional environment authoring and generation |
US10375375B2 (en) * | 2017-05-15 | 2019-08-06 | Lg Electronics Inc. | Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same |
US10841537B2 (en) * | 2017-06-09 | 2020-11-17 | Pcms Holdings, Inc. | Spatially faithful telepresence supporting varying geometries and moving users |
CN109218755B (zh) * | 2017-07-07 | 2020-08-25 | 华为技术有限公司 | 一种媒体数据的处理方法和装置 |
AU2018303842B2 (en) * | 2017-07-19 | 2022-07-28 | Axiom Holographics Pty Ltd | Multiple observer improvement for a virtual environment |
US11622153B2 (en) * | 2017-10-04 | 2023-04-04 | Interdigital Madison Patent Holdings, Sas | Customized 360-degree media viewing |
CN108111899B (zh) * | 2017-12-29 | 2021-05-11 | 中兴通讯股份有限公司 | 视频传输方法与装置、客户端、服务器及存储介质 |
CN110035316B (zh) * | 2018-01-11 | 2022-01-14 | 华为技术有限公司 | 处理媒体数据的方法和装置 |
KR102395395B1 (ko) * | 2018-03-22 | 2022-05-10 | 브이아이디 스케일, 인크. | 뷰포트 의존성 비디오 스트리밍 이벤트 |
US11032570B2 (en) * | 2018-04-03 | 2021-06-08 | Huawei Technologies Co., Ltd. | Media data processing method and apparatus |
WO2019194434A1 (ko) * | 2018-04-05 | 2019-10-10 | 엘지전자 주식회사 | 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치 |
US10848894B2 (en) * | 2018-04-09 | 2020-11-24 | Nokia Technologies Oy | Controlling audio in multi-viewpoint omnidirectional content |
WO2019203456A1 (ko) * | 2018-04-15 | 2019-10-24 | 엘지전자 주식회사 | 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치 |
CN110798707B (zh) * | 2018-08-02 | 2023-06-16 | 华为技术有限公司 | 传输媒体数据的方法、客户端和服务器 |
US10999583B2 (en) * | 2018-09-14 | 2021-05-04 | Apple Inc. | Scalability of multi-directional video streaming |
US11587200B2 (en) * | 2018-09-28 | 2023-02-21 | Nokia Technologies Oy | Method and apparatus for enabling multiple timeline support for omnidirectional content playback |
CN114979750A (zh) * | 2019-01-08 | 2022-08-30 | 诺基亚技术有限公司 | 用于虚拟现实的方法、装置和计算机可读介质 |
US10974147B1 (en) * | 2019-12-19 | 2021-04-13 | Sony Interactive Entertainment Inc. | Spectator switch board customized to user viewport selection actions |
-
2019
- 2019-03-20 EP EP19918523.2A patent/EP3753257A4/en active Pending
- 2019-03-20 BR BR112021018563A patent/BR112021018563A2/pt unknown
- 2019-03-20 SG SG11202110312XA patent/SG11202110312XA/en unknown
- 2019-03-20 WO PCT/CN2019/078877 patent/WO2020186478A1/en active Application Filing
- 2019-03-20 CN CN202110976866.6A patent/CN113691883A/zh active Pending
- 2019-03-20 CN CN201980001273.9A patent/CN110313175B/zh active Active
- 2019-03-20 US US17/441,278 patent/US20220150458A1/en active Pending
- 2019-03-20 JP JP2021556304A patent/JP7286791B2/ja active Active
- 2019-03-20 KR KR1020217033633A patent/KR102669467B1/ko active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108702528A (zh) | 2016-02-17 | 2018-10-23 | Lg电子株式会社 | 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备 |
WO2017159063A1 (ja) | 2016-03-14 | 2017-09-21 | ソニー株式会社 | 表示装置並びに情報処理端末装置 |
CN109076255A (zh) | 2016-04-26 | 2018-12-21 | Lg电子株式会社 | 发送360度视频的方法、接收360度视频的方法、发送360度视频的设备、接收360度视频的设备 |
WO2018175855A1 (en) | 2017-03-23 | 2018-09-27 | Vid Scale, Inc. | Metrics and messages to improve experience for 360-degree adaptive streaming |
WO2018177817A1 (en) | 2017-03-27 | 2018-10-04 | Canon Kabushiki Kaisha | Method and apparatus for encoding media data comprising generated content |
CN109218274A (zh) | 2017-07-07 | 2019-01-15 | 华为技术有限公司 | 一种媒体信息的处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
BR112021018563A2 (pt) | 2021-11-30 |
EP3753257A1 (en) | 2020-12-23 |
EP3753257A4 (en) | 2021-09-15 |
WO2020186478A1 (en) | 2020-09-24 |
KR102669467B1 (ko) | 2024-05-24 |
CN110313175A (zh) | 2019-10-08 |
CN110313175B (zh) | 2021-10-01 |
CN113691883A (zh) | 2021-11-23 |
SG11202110312XA (en) | 2021-10-28 |
KR20210138090A (ko) | 2021-11-18 |
JP2022525906A (ja) | 2022-05-20 |
US20220150458A1 (en) | 2022-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102246002B1 (ko) | 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램 | |
JP7286791B2 (ja) | Vr360において視点切り替え能力を伝送する方法および装置 | |
KR102384489B1 (ko) | 정보 처리 장치, 정보 제공 장치, 제어 방법, 및 컴퓨터 판독가능 저장 매체 | |
RU2744969C1 (ru) | Способ и устройство для эффективной доставки и использования аудиосообщений для высокого качества восприятия | |
JP6255095B2 (ja) | デジタルビデオストリーミングにおけるトリック再生 | |
JP2011086283A (ja) | 動的レンダリング用3次元ビデオキャプチャ・ワークフロー用のシステム及び方法 | |
US10911809B2 (en) | Communication apparatus, communication method, and program | |
US20110081133A1 (en) | Method and system for a fast channel change in 3d video | |
WO2017022363A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US20200084516A1 (en) | Device and method for processing high-definition 360-degree vr image | |
KR20210019017A (ko) | 컨텐츠의 처리 방법 및 장치 | |
CA2896132C (en) | Method and apparatus of compatible depth dependent coding | |
JP2022524871A (ja) | メディアコンテンツにおけるレイトバインディングのための方法および装置 | |
JP2024020473A (ja) | パノラマメディア再生方法、機器及びコンピュータ読み取り可能な記憶媒体 | |
WO2022116822A1 (zh) | 沉浸式媒体的数据处理方法、装置和计算机可读存储介质 | |
US20200374567A1 (en) | Generation apparatus, reproduction apparatus, generation method, reproduction method, control program, and recording medium | |
US20200045359A1 (en) | Reproduction device, generation device, reproduction system, program, recording medium | |
RU2811076C1 (ru) | Способ и устройство для передачи информации о возможностях переключения точки обзора в приложении VR360 | |
CN114556962B (zh) | 多视点视频处理方法和装置 | |
RU2781059C1 (ru) | Способ и устройство для передачи информации о возможностях переключения точки обзора в приложении VR360 | |
JP5527730B2 (ja) | 再生装置 | |
KR20210053875A (ko) | 비디오 컨텐츠를 전송하는 방법 및 장치 및 비디오 컨텐츠를 수신하는 방법 및 장치 | |
KR101634558B1 (ko) | 멀티앵글영상 재생방법 및 장치 | |
RU2791924C1 (ru) | Способ и устройство для воспроизведения всенаправленного медиа и машиночитаемый носитель |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230201 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20230313 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230524 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7286791 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |