JP7110234B2 - ビデオ再生方法、デバイス、およびシステム - Google Patents
ビデオ再生方法、デバイス、およびシステム Download PDFInfo
- Publication number
- JP7110234B2 JP7110234B2 JP2019558730A JP2019558730A JP7110234B2 JP 7110234 B2 JP7110234 B2 JP 7110234B2 JP 2019558730 A JP2019558730 A JP 2019558730A JP 2019558730 A JP2019558730 A JP 2019558730A JP 7110234 B2 JP7110234 B2 JP 7110234B2
- Authority
- JP
- Japan
- Prior art keywords
- viewing angle
- resolution
- video stream
- image
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 57
- 239000000872 buffer Substances 0.000 claims description 49
- 238000004891 communication Methods 0.000 claims description 28
- 230000001360 synchronised effect Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 17
- 230000032683 aging Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 239000000284 extract Substances 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 230000003139 buffering effect Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000004904 shortening Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
- H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4383—Accessing a communication channel
- H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
Description
12 目標視野角領域の画像
13 背景領域画像
14 低解像度の背景領域画像
15 目標視野角のVR画像
21 VRデバイス
22 サーバ
23 カメラ
41 第1の視野角
42 現在の視野角
43 重複領域
44 第1の視野角の第1の解像度の画像
45 重複画像
46 第2の解像度のフル視野角の画像
47 非重複画像
48 現在の視野角の画像
502 処理装置
600 デバイス
601 記憶ユニット
602 処理ユニット
603 通信ユニット
610 デバイス
611 メモリ
612 プロセッサ
613 通信インタフェース
614 バス
Claims (11)
- ビデオ再生方法であって、前記方法が、
仮想現実VRデバイスによって、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信するステップであって、前記第1の解像度が前記第2の解像度よりも大きい、ステップと、
前記VRデバイスによって、前記第1の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第1の視野角の画像を再生するステップと、
前記VRデバイスが、前記視野角が変化していると決定した場合、前記VRデバイスによって、前記フル視野角の前記第2の解像度VRビデオストリームと前記第1の視野角の前記第1の解像度VRビデオストリームの両方を使用することによって、現在の視野角の画像を再生するステップと、
前記VRデバイスによって、視野角情報を前記サーバに送信するステップであって、前記視野角情報が、変化した第2の視野角を示すためのパラメータを搬送する、ステップと、
前記VRデバイスによって、前記サーバによって送信された前記第2の視野角の第1の解像度VRビデオストリームを受信するステップと、
前記VRデバイスによって、前記第2の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第2の視野角の画像を再生するステップと
を含み、
前記方法は、
前記VRデバイスによって、プリセットされた時間間隔で、前記視野角情報を前記サーバに送信するステップをさらに含み、
前記VRデバイスによって、前記フル視野角の前記第2の解像度VRビデオストリームおよび前記第1の視野角の前記第1の解像度VRビデオストリームを使用することによって、現在の視野角の画像を再生する前記ステップが、
前記VRデバイスによって、前記第1の視野角の前記画像を取得するために、前記第1の視野角の前記第1の解像度VRビデオストリームをデコードするステップと、
前記VRデバイスによって、フル視野角の画像を取得するために、前記フル視野角の前記第2の解像度VRビデオストリームをデコードするステップと、
前記VRデバイスによって、前記第1の視野角の前記画像から重複画像を抽出するステップと前記フル視野角の画像から非重複画像を抽出するステップであって、前記重複画像が、前記第1の視野角の前記画像と前記現在の視野角の前記画像の間の重複領域の画像で、前記非重複画像が、前記現在の視野角の前記画像の前記重複領域の前記画像とは異なる画像である、ステップと、
前記VRデバイスによって、前記現在の視野角の前記画像を取得するために、前記重複画像および前記非重複画像を同じ解像度にスケーリングし、前記スケーリングされた重複画像および前記スケーリングされた非重複画像を組み合わせるステップと、
前記VRデバイスによって、前記現在の視野角の前記画像を再生するステップと
を含む、方法。 - 前記VRデバイスによって、前記サーバによって送信された前記第2の視野角の第1の解像度VRビデオストリームを受信する前記ステップの後、前記方法が、
前記VRデバイスによって、前記第2の視野角の前記受信した第1の解像度VRビデオストリームのタイムスタンプが、現在再生されている画像のタイムスタンプと同期するかどうかを検出するステップであって、「同期」が、前記第2の視野角の前記受信した第1の解像度VRビデオストリームの前記タイムスタンプが前記現在再生されている画像の前記タイムスタンプを含むことを意味する、ステップと、
前記第2の視野角の前記受信した第1の解像度VRビデオストリームの前記タイムスタンプが前記現在再生されている画像の前記タイムスタンプと同期している場合、前記VRデバイスによって、前記第2の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第2の視野角の画像を再生する前記ステップを実行するステップと
をさらに含む、請求項1に記載の方法。 - 前記VRデバイスによって、前記第2の視野角の前記受信した第1の解像度VRビデオストリームのタイムスタンプが、前記現在再生されている画像のタイムスタンプと同期するかどうかを検出する前記ステップの後、前記方法が、
前記第2の視野角の前記受信した第1の解像度VRビデオストリームの前記タイムスタンプが前記現在再生されている画像の前記タイムスタンプと同期している場合、前記VRデバイスによって、前記フル視野角の前記第2の解像度VRビデオストリームと前記第1の視野角の前記第1の解像度VRビデオストリームの両方を使用することによって前記第2の視野角の前記画像を再生するステップ
をさらに含む、請求項2に記載の方法。 - VRデバイスによって、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信する前記ステップの後、前記方法が、
前記VRデバイスによって、前記第1の視野角の前記第1の解像度VRビデオストリームを第1のビデオバッファに格納し、前記フル視野角の前記第2の解像度VRビデオストリームを第2のビデオバッファに保存するステップ
をさらに含む、請求項1から3のいずれか一項に記載の方法。 - 前記方法が、
前記VRデバイスが前記視野角が変化していると決定した場合、または前記VRデバイスが前記第2の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第2の視野角の前記画像を再生する場合、前記VRデバイスによって、前記第1のビデオバッファにバッファリングされた前記第1の視野角の前記第1の解像度VRビデオストリームでデータエージングを実行するステップと
をさらに含む、請求項4に記載の方法。 - 仮想現実VRデバイスであって、前記VRデバイスが通信ユニットおよび処理ユニットを備え、
前記通信ユニットが、サーバによって送信された第1の視野角の第1の解像度VRビデオストリームおよびフル視野角の第2の解像度VRビデオストリームを受信し、前記第1の解像度が前記第2の解像度よりも大きい、ように構成され、
前記処理ユニットが、前記第1の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第1の視野角の画像を再生するように構成され、
前記処理ユニットが、前記VRデバイスが、前記視野角が変化していると決定した場合、前記フル視野角の前記第2の解像度VRビデオストリームと前記第1の視野角の前記第1の解像度VRビデオストリームの両方を使用することによって、現在の視野角の画像を再生するようにさらに構成され、
前記通信ユニットが、視野角情報を前記サーバに送信し、前記視野角情報が、変化した第2の視野角を示すためのパラメータを搬送する、ようにさらに構成され、
前記通信ユニットが、前記サーバによって送信された前記第2の視野角の第1の解像度VRビデオストリームを受信するようにさらに構成され、
前記処理ユニットが、前記第2の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第2の視野角の画像を再生するようにさらに構成され、
前記通信ユニットが、プリセットされた時間間隔で、前記視野角情報を前記サーバに送信するようにさらに構成され、
前記処理ユニットが、
前記第1の視野角の前記画像を取得するために、前記第1の視野角の前記第1の解像度VRビデオストリームをデコードし、
フル視野角の画像を取得するために、前記フル視野角の前記第2の解像度VRビデオストリームをデコードし、
前記第1の視野角の前記画像から重複画像を抽出し、前記フル視野角の画像から非重複画像を抽出し、前記重複画像が、前記第1の視野角の前記画像と前記現在の視野角の前記画像の間の重複領域の画像で、前記非重複画像が、前記現在の視野角の前記画像の前記重複領域の前記画像とは異なる画像であり、
前記現在の視野角の前記画像を取得するために、前記重複画像および前記非重複画像を同じ解像度にスケーリングし、前記スケーリングされた重複画像および前記スケーリングされた非重複画像を組み合わせて、
前記現在の視野角の前記画像を再生する、
ように構成される、VRデバイス。 - 前記処理ユニットが、前記第2の視野角の前記受信した第1の解像度VRビデオストリームのタイムスタンプが、現在再生されている画像のタイムスタンプと同期するかどうかを検出し、「同期」が、前記第2の視野角の前記受信した第1の解像度VRビデオストリームの前記タイムスタンプが前記現在再生されている画像の前記タイムスタンプを含むことを意味する、ようにさらに構成され、
前記処理ユニットが、前記第2の視野角の前記受信した第1の解像度VRビデオストリームの前記タイムスタンプが前記現在再生されている画像の前記タイムスタンプと同期している場合、前記第2の視野角の前記第1の解像度VRビデオストリームを使用することによって前記第2の視野角の画像を再生するようにさらに構成される、
請求項6に記載のVRデバイス。 - 前記処理ユニットが、前記第2の視野角の前記受信した第1の解像度VRビデオストリームの前記タイムスタンプが前記現在再生されている画像の前記タイムスタンプと同期している場合、前記フル視野角の前記第2の解像度VRビデオストリームと前記第1の視野角の前記第1の解像度VRビデオストリームの両方を使用することによって前記第2の視野角の前記画像を再生するようにさらに構成される、
請求項7に記載のVRデバイス。 - 前記VRデバイスが、記憶ユニットをさらに備え、
前記記憶ユニットが、前記第1の視野角の前記第1の解像度VRビデオストリームを第1のビデオバッファに格納し、前記フル視野角の前記第2の解像度VRビデオストリームを第2のビデオバッファに格納するように構成される、
請求項6から8のいずれか一項に記載のVRデバイス。 - 前記処理ユニットが、前記視野角が変化していると決定された場合、または前記第2の視野角の前記画像が前記第2の視野角の前記第1の解像度VRビデオストリームを使用することによって再生される場合、前記第1のビデオバッファにバッファリングされた前記第1の視野角の前記第1の解像度VRビデオストリームでデータエージングを実行するようにさらに構成される、
請求項9に記載のVRデバイス。 - コンピュータ記憶媒体であって、前記コンピュータ記憶媒体が、実行可能な命令を格納し、前記実行可能な命令が、請求項1から5のいずれか一項に記載の方法を実行するために使用される、コンピュータ記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710294033.5 | 2017-04-28 | ||
CN201710294033.5A CN108810636B (zh) | 2017-04-28 | 2017-04-28 | 视频播放方法、虚拟现实设备、服务器、系统及存储介质 |
PCT/CN2018/084496 WO2018196790A1 (zh) | 2017-04-28 | 2018-04-25 | 视频播放方法、设备及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020519094A JP2020519094A (ja) | 2020-06-25 |
JP7110234B2 true JP7110234B2 (ja) | 2022-08-01 |
Family
ID=63920203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019558730A Active JP7110234B2 (ja) | 2017-04-28 | 2018-04-25 | ビデオ再生方法、デバイス、およびシステム |
Country Status (7)
Country | Link |
---|---|
US (1) | US11159848B2 (ja) |
EP (1) | EP3609178B1 (ja) |
JP (1) | JP7110234B2 (ja) |
KR (1) | KR102280134B1 (ja) |
CN (2) | CN111510782A (ja) |
IL (1) | IL270228B2 (ja) |
WO (1) | WO2018196790A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102532645B1 (ko) * | 2016-09-20 | 2023-05-15 | 삼성전자 주식회사 | 적응적 스트리밍 서비스에서 스트리밍 어플리케이케이션으로 데이터를 제공하는 방법 및 장치 |
CN111263191B (zh) * | 2018-11-30 | 2023-06-27 | 中兴通讯股份有限公司 | 视频数据的处理方法、装置、相关设备及存储介质 |
US11625806B2 (en) * | 2019-01-23 | 2023-04-11 | Qualcomm Incorporated | Methods and apparatus for standardized APIs for split rendering |
CN111935557B (zh) * | 2019-05-13 | 2022-06-28 | 华为技术有限公司 | 视频处理方法、装置及系统 |
CN110442011A (zh) * | 2019-07-29 | 2019-11-12 | 中国计量大学 | 一种能连续检测虚拟现实设备动态延时的方法及采用该方法的延时检测系统 |
CN110604921B (zh) * | 2019-08-31 | 2023-11-10 | 咪咕互动娱乐有限公司 | 一种显示内容切换方法、服务器和可存储介质 |
CN110999377A (zh) * | 2019-11-22 | 2020-04-10 | 北京小米移动软件有限公司 | 资源切换方法、装置及存储介质 |
CN112995752A (zh) * | 2019-12-12 | 2021-06-18 | 中兴通讯股份有限公司 | 全视角互动直播方法、系统、终端及计算机可读存储介质 |
US11328157B2 (en) * | 2020-01-31 | 2022-05-10 | Honeywell International Inc. | 360-degree video for large scale navigation with 3D in interactable models |
CN111246261A (zh) * | 2020-02-28 | 2020-06-05 | 北京视博云信息技术有限公司 | 一种内容投放的方法、装置及系统 |
CN111447461A (zh) * | 2020-05-20 | 2020-07-24 | 上海科技大学 | 多视角直播视频的同步切换方法、装置、设备和介质 |
CN112188303A (zh) * | 2020-09-03 | 2021-01-05 | 北京火眼目测科技有限公司 | 一种基于视角的vr流媒体播放方法及装置 |
CN114501071A (zh) * | 2020-10-27 | 2022-05-13 | 中国移动通信有限公司研究院 | 视频处理方法、视频播放方法及设备 |
US11838375B2 (en) * | 2020-11-12 | 2023-12-05 | Harman International Industries, Incorporated | Universal software communication bus |
CN112954394B (zh) * | 2021-01-28 | 2023-07-28 | 广州虎牙科技有限公司 | 一种高清视频的编码及解码播放方法、装置、设备和介质 |
CN113259770B (zh) * | 2021-05-11 | 2022-11-18 | 北京奇艺世纪科技有限公司 | 视频播放方法、装置、电子设备、介质及产品 |
CN113949884A (zh) * | 2021-09-02 | 2022-01-18 | 北京大学深圳研究生院 | 多视点视频数据处理方法、设备及存储介质 |
CN114938456A (zh) * | 2022-01-20 | 2022-08-23 | 上海瞳观智能科技有限公司 | Vr直播系统及方法 |
CN115022611B (zh) * | 2022-03-31 | 2023-12-29 | 青岛虚拟现实研究院有限公司 | Vr画面显示方法、电子设备及可读存储介质 |
CN114866787B (zh) * | 2022-07-04 | 2022-09-23 | 深圳市必提教育科技有限公司 | 一种直播实现方法及系统 |
GB2624904A (en) * | 2022-11-30 | 2024-06-05 | Sony Interactive Entertainment Inc | Virtual reality streaming system and method |
CN115631320B (zh) * | 2022-12-23 | 2023-02-28 | 腾讯科技(深圳)有限公司 | 预计算单元格显示方法、预计算单元格生成方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001229397A (ja) | 2000-02-17 | 2001-08-24 | Ricoh Co Ltd | 3次元仮想空間構築方法及びシステム並びに記憶媒体 |
JP2003519982A (ja) | 1999-12-30 | 2003-06-24 | スイスコム・モバイル・アクチエンゲゼルシヤフト | 画像データを伝送するための方法 |
US20040003409A1 (en) | 2002-06-27 | 2004-01-01 | International Business Machines Corporation | Rendering system and method for images having differing foveal area and peripheral view area resolutions |
JP2012222399A (ja) | 2011-04-04 | 2012-11-12 | Nippon Telegr & Teleph Corp <Ntt> | 映像再生システム、映像再生方法、映像再生装置及びプログラム |
JP2016015705A (ja) | 2014-06-10 | 2016-01-28 | 日本電信電話株式会社 | 映像配信装置及び映像再生装置 |
JP2016165105A (ja) | 2015-03-05 | 2016-09-08 | ノキア テクノロジーズ オーユー | 映像ストリーミング方法 |
US20170084086A1 (en) | 2015-09-22 | 2017-03-23 | Facebook, Inc. | Systems and methods for content streaming |
JP2019516297A (ja) | 2016-04-08 | 2019-06-13 | ヴィズビット インコーポレイテッド | ビューを意識した360度ビデオストリーミング |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6222675B1 (en) * | 1998-12-01 | 2001-04-24 | Kaiser Electro-Optics, Inc. | Area of interest head-mounted display using low resolution, wide angle; high resolution, narrow angle; and see-through views |
US6611268B1 (en) * | 2000-05-30 | 2003-08-26 | Microsoft Corporation | System and process for generating 3D video textures using video-based rendering techniques |
JP2004072694A (ja) * | 2002-08-09 | 2004-03-04 | Sony Corp | 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム |
US6890077B2 (en) * | 2002-11-27 | 2005-05-10 | The Boeing Company | Method and apparatus for high resolution video image display |
HU0500357D0 (en) * | 2005-04-04 | 2005-05-30 | Innoracio Fejlesztoe Es Kutata | Dynamic display and method for enhancing the effective resolution of displays |
US20120293607A1 (en) | 2011-05-17 | 2012-11-22 | Apple Inc. | Panorama Processing |
WO2012157999A2 (ko) * | 2011-05-19 | 2012-11-22 | 엘지전자 주식회사 | 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법 |
DE102014207607B4 (de) * | 2013-04-25 | 2019-09-19 | Avago Technologies International Sales Pte. Ltd. | System und Verfahren zur Verarbeitung von Videodaten |
US10204658B2 (en) * | 2014-07-14 | 2019-02-12 | Sony Interactive Entertainment Inc. | System and method for use in playing back panorama video content |
US20160353146A1 (en) * | 2015-05-27 | 2016-12-01 | Google Inc. | Method and apparatus to reduce spherical video bandwidth to user headset |
EP3304487A1 (en) * | 2015-05-27 | 2018-04-11 | Google LLC | Streaming spherical video |
CN105791882B (zh) | 2016-03-22 | 2018-09-18 | 腾讯科技(深圳)有限公司 | 视频编码方法及装置 |
CN105916060A (zh) * | 2016-04-26 | 2016-08-31 | 乐视控股(北京)有限公司 | 数据传输的方法、装置及系统 |
CN106231317A (zh) * | 2016-09-29 | 2016-12-14 | 三星电子(中国)研发中心 | 视频处理、解码方法和装置、vr终端、视频播放系统 |
US10595069B2 (en) * | 2016-12-05 | 2020-03-17 | Adobe Inc. | Prioritizing tile-based virtual reality video streaming using adaptive rate allocation |
-
2017
- 2017-04-28 CN CN202010211963.1A patent/CN111510782A/zh active Pending
- 2017-04-28 CN CN201710294033.5A patent/CN108810636B/zh active Active
-
2018
- 2018-04-25 JP JP2019558730A patent/JP7110234B2/ja active Active
- 2018-04-25 KR KR1020197034532A patent/KR102280134B1/ko active IP Right Grant
- 2018-04-25 WO PCT/CN2018/084496 patent/WO2018196790A1/zh unknown
- 2018-04-25 EP EP18790785.2A patent/EP3609178B1/en active Active
-
2019
- 2019-10-25 US US16/664,093 patent/US11159848B2/en active Active
- 2019-10-28 IL IL270228A patent/IL270228B2/en unknown
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003519982A (ja) | 1999-12-30 | 2003-06-24 | スイスコム・モバイル・アクチエンゲゼルシヤフト | 画像データを伝送するための方法 |
JP2001229397A (ja) | 2000-02-17 | 2001-08-24 | Ricoh Co Ltd | 3次元仮想空間構築方法及びシステム並びに記憶媒体 |
US20040003409A1 (en) | 2002-06-27 | 2004-01-01 | International Business Machines Corporation | Rendering system and method for images having differing foveal area and peripheral view area resolutions |
JP2012222399A (ja) | 2011-04-04 | 2012-11-12 | Nippon Telegr & Teleph Corp <Ntt> | 映像再生システム、映像再生方法、映像再生装置及びプログラム |
JP2016015705A (ja) | 2014-06-10 | 2016-01-28 | 日本電信電話株式会社 | 映像配信装置及び映像再生装置 |
JP2016165105A (ja) | 2015-03-05 | 2016-09-08 | ノキア テクノロジーズ オーユー | 映像ストリーミング方法 |
US20170084086A1 (en) | 2015-09-22 | 2017-03-23 | Facebook, Inc. | Systems and methods for content streaming |
JP2019516297A (ja) | 2016-04-08 | 2019-06-13 | ヴィズビット インコーポレイテッド | ビューを意識した360度ビデオストリーミング |
Also Published As
Publication number | Publication date |
---|---|
EP3609178B1 (en) | 2024-04-10 |
KR102280134B1 (ko) | 2021-07-20 |
IL270228B2 (en) | 2023-07-01 |
US11159848B2 (en) | 2021-10-26 |
EP3609178A1 (en) | 2020-02-12 |
WO2018196790A1 (zh) | 2018-11-01 |
IL270228A (ja) | 2019-12-31 |
KR20190137915A (ko) | 2019-12-11 |
US20200059694A1 (en) | 2020-02-20 |
CN108810636B (zh) | 2020-04-14 |
EP3609178A4 (en) | 2020-03-25 |
CN108810636A (zh) | 2018-11-13 |
JP2020519094A (ja) | 2020-06-25 |
CN111510782A (zh) | 2020-08-07 |
IL270228B1 (en) | 2023-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7110234B2 (ja) | ビデオ再生方法、デバイス、およびシステム | |
US10187668B2 (en) | Method, system and server for live streaming audio-video file | |
US20230256345A1 (en) | Game data processing method and apparatus, and storage medium | |
US11695816B2 (en) | Video streaming | |
CN112219403B (zh) | 沉浸式媒体的渲染视角度量 | |
US11523144B2 (en) | Communication apparatus, communication method, and computer-readable storage medium | |
EP2629476A1 (en) | Adaptive display streams | |
Tang et al. | Audio and video mixing method to enhance WebRTC | |
CN114554277B (zh) | 多媒体的处理方法、装置、服务器及计算机可读存储介质 | |
JP2023171661A (ja) | タイルベースの没入型ビデオをエンコードするためのエンコーダおよび方法 | |
CN114449344B (zh) | 视频流传输方法、装置、电子设备及存储介质 | |
WO2022116822A1 (zh) | 沉浸式媒体的数据处理方法、装置和计算机可读存储介质 | |
CN115174942A (zh) | 一种自由视角切换方法及交互式自由视角播放系统 | |
WO2018224799A1 (en) | Image processing device and system | |
US20230291777A1 (en) | Video streaming | |
CN115604496A (zh) | 一种显示设备、直播切台方法及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191202 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220720 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7110234 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |