RU2017115882A - Способ, устройство и поток форматирования иммерсивного видео для устройств унаследованного и иммерсивного рендеринга - Google Patents

Способ, устройство и поток форматирования иммерсивного видео для устройств унаследованного и иммерсивного рендеринга Download PDF

Info

Publication number
RU2017115882A
RU2017115882A RU2017115882A RU2017115882A RU2017115882A RU 2017115882 A RU2017115882 A RU 2017115882A RU 2017115882 A RU2017115882 A RU 2017115882A RU 2017115882 A RU2017115882 A RU 2017115882A RU 2017115882 A RU2017115882 A RU 2017115882A
Authority
RU
Russia
Prior art keywords
immersive
transform
information
video frame
region
Prior art date
Application number
RU2017115882A
Other languages
English (en)
Other versions
RU2742344C2 (ru
RU2017115882A3 (ru
Inventor
Франк ГАЛЬПЭН
Себастьен ЛАССЕРР
Пьер АНДРИВОН
Original Assignee
Томсон Лайсенсинг
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Томсон Лайсенсинг filed Critical Томсон Лайсенсинг
Publication of RU2017115882A publication Critical patent/RU2017115882A/ru
Publication of RU2017115882A3 publication Critical patent/RU2017115882A3/ru
Application granted granted Critical
Publication of RU2742344C2 publication Critical patent/RU2742344C2/ru

Links

Classifications

    • G06T3/16—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06T3/18—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86—Arrangements characterised by the broadcast information itself
    • H04H20/95—Arrangements characterised by the broadcast information itself characterised by a specific format, e.g. MP3 (MPEG-1 Audio Layer 3)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Claims (41)

1. Способ составления (110) видеокадра для устройства рендеринга из видеопотока, отличающийся тем, что способ содержит этапы, на которых:
- получают (113) первую информацию из видеопотока, причем упомянутая первая информация представляет размер и позицию первой области исходного видеокадра, полученного из видеопотока,
- в случае, если устройство рендеринга представляет собой устройство рендеринга иммерсивного видео:
-- получают (115) вторую информацию из видеопотока, причем упомянутая вторая информация представляет тип схемы поля зрения упомянутой первой части, размер второй области и опорное направление,
-- компонуют (116) преобразованную поверхность согласно упомянутой первой и второй информации и с использованием упомянутого исходного видеокадра,
-- составляют (117) видеокадр с участком упомянутой преобразованной поверхности;
- в другом случае, составляют (114) упомянутый видеокадр с упомянутой первой областью исходного видеокадра.
2. Способ по п. 1, в котором упомянутая схема основана на иммерсивном преобразовании, принадлежащем набору иммерсивного преобразования, содержащему: равнопрямоугольное преобразование, кубическое преобразование и пирамидальное преобразование.
3. Способ по п. 1 или 2, в котором первая информация переносится посредством параметров окна соответствия, при этом вторая информация переносится посредством дополнительной улучшающей информации (SEI).
4. Устройство (90), сконфигурированное с возможностью составлять видеокадр для устройства рендеринга из видеопотока, отличающееся тем, что устройство содержит:
- средство для получения первой информации из видеопотока, причем упомянутая первая информация представляет размер и позицию первой области исходного видеокадра, полученного из видеопотока,
- в случае, если устройство рендеринга представляет собой устройство рендеринга иммерсивного видео:
-- средство для получения второй информации из видеопотока, причем упомянутая вторая информация представляет тип схемы поля зрения упомянутой первой части, размер второй области и опорное направление,
-- процессор, сконфигурированный с возможностью компоновать преобразованную поверхность согласно упомянутой первой и второй информации и с использованием упомянутого исходного видеокадра,
-- процессор, сконфигурированный с возможностью составлять видеокадр с участком упомянутой преобразованной поверхности;
- в другом случае, процессор, сконфигурированный с возможностью составлять упомянутый видеокадр с упомянутой первой областью исходного видеокадра.
5. Устройство по п. 4, в котором упомянутая схема основана на иммерсивном преобразовании, принадлежащем набору иммерсивного преобразования, содержащему: равнопрямоугольное преобразование, кубическое преобразование и пирамидальное преобразование.
6. Устройство по п. 4 или 5, в котором первая информация переносится посредством параметров окна соответствия, при этом вторая информация переносится посредством дополнительной улучшающей информации (SEI).
7. Устройство по одному из пп. 4-6, причем упомянутое устройство принадлежит набору устройств, содержащему мобильное устройство, устройство связи, игровое устройство, планшетный компьютер, переносной компьютер, микросхему кодирования, сервер неподвижных изображений, видеосервер, широковещательный сервер, сервер "видео по запросу" и веб-сервер.
8. Способ формирования (100) видеопотока из иммерсивного видео, отличающийся тем, что способ содержит этап, на котором:
- кодируют первую часть (104) иммерсивного видеокадра согласно прямоугольному преобразованию;
- кодируют вторую часть (105) иммерсивного видеокадра согласно преобразованию, переходящему от упомянутого прямоугольного преобразования к иммерсивному преобразованию;
- кодируют третью часть (106) иммерсивного видеокадра согласно упомянутому иммерсивному преобразованию;
- составляют видеокадр (103) согласно схеме, содержащей упомянутую первую часть в качестве первой области, упомянутую вторую часть в качестве второй области и упомянутую третью часть в качестве третьей области;
- формируют видеопоток (107), включающий в себя упомянутый скомпонованный видеокадр, первую информацию относительно размера и местоположения упомянутой первой области и вторую информацию, содержащую, по меньшей мере, тип упомянутой схемы, поле зрения упомянутой первой части, размер второй области и опорное направление.
9. Способ по п. 8, в котором упомянутая схема основана на иммерсивном преобразовании, принадлежащем набору иммерсивного преобразования, содержащему: равнопрямоугольное преобразование, кубическое преобразование и пирамидальное преобразование.
10. Способ по п. 8 или 9, в котором первая информация переносится посредством параметров окна соответствия, при этом вторая информация переносится посредством дополнительной улучшающей информации (SEI).
11. Устройство (90), сконфигурированное с возможностью формировать видеопоток из иммерсивного видео, отличающееся тем, что устройство содержит:
- кодер, сконфигурированный с возможностью кодировать первую часть иммерсивного видеокадра согласно прямоугольному преобразованию;
- кодер, сконфигурированный с возможностью кодировать вторую часть иммерсивного видеокадра согласно преобразованию, переходящему от упомянутого прямоугольного преобразования к иммерсивному преобразованию;
- кодер, сконфигурированный с возможностью кодировать третью часть иммерсивного видеокадра согласно упомянутому иммерсивному преобразованию;
- процессор, сконфигурированный с возможностью составлять видеокадр согласно схеме, содержащей упомянутую первую часть в качестве первой области, упомянутую вторую часть в качестве второй области и упомянутую третью часть в качестве третьей области;
- формирователь видеопотоков, сконфигурированный с возможностью формировать видеопоток, включающий в себя упомянутый скомпонованный видеокадр, первую информацию относительно размера и местоположения упомянутой первой области и вторую информацию, содержащую, по меньшей мере, тип упомянутой схемы, поле зрения упомянутой первой части, размер второй области и опорное направление.
12. Устройство по п. 11, в котором упомянутая схема основана на иммерсивном преобразовании, принадлежащем набору иммерсивного преобразования, содержащему: равнопрямоугольное преобразование, кубическое преобразование и пирамидальное преобразование.
13. Устройство по п. 11 или 12, в котором первая информация переносится посредством параметров окна соответствия, при этом вторая информация переносится посредством дополнительной улучшающей информации (SEI).
14. Поток (70), переносящий данные, представляющие иммерсивное видео, отличающийся тем, что данные содержат:
- видеокадр, организуемый согласно схеме, содержащей первую область, кодируемую согласно прямоугольному преобразованию, вторую область, кодируемую согласно преобразованию, переходящему от упомянутого прямоугольного преобразования к иммерсивному преобразованию, и третью область, кодируемую согласно упомянутому иммерсивному преобразованию,
- первую информацию, представляющую размер и местоположение упомянутой первой области в видеокадре,
- вторую информацию, содержащую, по меньшей мере, тип упомянутой схемы, поле зрения первой части, размер упомянутой второй области в видеокадре и опорное направление.
15. Поток по п. 14, в котором упомянутая схема основана на иммерсивном преобразовании, принадлежащем набору иммерсивного преобразования, содержащему: равнопрямоугольное преобразование, кубическое преобразование и пирамидальное преобразование.
16. Поток по п. 14 или 15, в котором первая информация переносится посредством параметров окна соответствия, при этом вторая информация переносится посредством дополнительной улучшающей информации (SEI).
RU2017115882A 2016-05-23 2017-05-05 Способ, устройство и поток форматирования иммерсивного видео для устройств унаследованного и иммерсивного рендеринга RU2742344C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16305592.4A EP3249928A1 (en) 2016-05-23 2016-05-23 Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
EP16305592.4 2016-05-23

Publications (3)

Publication Number Publication Date
RU2017115882A true RU2017115882A (ru) 2018-11-06
RU2017115882A3 RU2017115882A3 (ru) 2020-08-26
RU2742344C2 RU2742344C2 (ru) 2021-02-04

Family

ID=56101403

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017115882A RU2742344C2 (ru) 2016-05-23 2017-05-05 Способ, устройство и поток форматирования иммерсивного видео для устройств унаследованного и иммерсивного рендеринга

Country Status (9)

Country Link
US (1) US10523980B2 (ru)
EP (2) EP3249928A1 (ru)
JP (1) JP7017866B2 (ru)
KR (1) KR102307819B1 (ru)
CN (1) CN107454468B (ru)
BR (1) BR102017010791A2 (ru)
CA (1) CA2967418A1 (ru)
MX (1) MX2017006677A (ru)
RU (1) RU2742344C2 (ru)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11006135B2 (en) * 2016-08-05 2021-05-11 Sony Corporation Image processing apparatus and image processing method
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
WO2019194572A1 (en) * 2018-04-03 2019-10-10 Samsung Electronics Co., Ltd. Methods and apparatus for determining adjustment parameter during encoding of spherical multimedia content
CN110516681A (zh) * 2018-05-21 2019-11-29 孙民 影像特征提取方法及其显著物体预测方法
EP3595319A1 (en) * 2018-07-12 2020-01-15 InterDigital VC Holdings, Inc. Methods and apparatus for volumetric video transport
CN110944109B (zh) * 2018-09-21 2022-01-14 华为技术有限公司 一种拍照方法、装置与设备
US11132838B2 (en) * 2018-11-06 2021-09-28 Lucasfilm Entertainment Company Ltd. LLC Immersive content production system
CN111198734B (zh) * 2018-11-20 2024-03-15 西安诺瓦星云科技股份有限公司 窗口设置方法和装置、电子设备和非易失性存储介质
CN113302930A (zh) * 2019-01-09 2021-08-24 华为技术有限公司 视频译码中的时间运动约束子图像指示
EP3761647A1 (en) * 2019-07-05 2021-01-06 Tiledmedia B.V. Methods and devices for rendering a video on a display
NZ784015A (en) * 2019-07-08 2024-03-22 Huawei Tech Co Ltd Handling of multiple picture size and conformance windows for reference picture resampling in video coding
WO2021034238A1 (en) * 2019-08-19 2021-02-25 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices for handling media data streams
CN110910485B (zh) * 2019-12-16 2023-07-25 山东东艺数字科技有限公司 一种沉浸式cave影像制作方法
US20210258590A1 (en) * 2020-04-09 2021-08-19 Intel Corporation Switchable scalable and multiple description immersive video codec
CN111729283B (zh) * 2020-06-19 2021-07-06 杭州赛鲁班网络科技有限公司 一种基于混合现实技术的训练系统及其方法
US11887251B2 (en) 2021-04-23 2024-01-30 Lucasfilm Entertainment Company Ltd. System and techniques for patch color correction for an immersive content production system
US11978154B2 (en) 2021-04-23 2024-05-07 Lucasfilm Entertainment Company Ltd. System and techniques for lighting adjustment for an immersive content production system
WO2023070387A1 (zh) * 2021-10-27 2023-05-04 深圳市大疆创新科技有限公司 一种图像处理方法、装置、拍摄设备及可移动平台

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249616B1 (en) * 1997-05-30 2001-06-19 Enroute, Inc Combining digital images based on three-dimensional relationships between source image data sets
WO2001095608A2 (en) * 2000-06-09 2001-12-13 Interactive Imaging Systems Inc. A method and apparatus for mapping images and video to create navigable, immersive video and images
US7308131B2 (en) 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
JP2005347813A (ja) * 2004-05-31 2005-12-15 Olympus Corp 画像変換方法および画像変換装置、並びにマルチプロジェクションシステム
JP2010530086A (ja) * 2006-12-19 2010-09-02 創太 清水 イメージングモデル及び画像処理装置
US8730130B1 (en) * 2008-12-04 2014-05-20 RPA Electronic Solutions, Inc. System and method for automatically aligning immersive displays
JP2010192971A (ja) 2009-02-16 2010-09-02 Nippon Telegr & Teleph Corp <Ntt> 選択領域符号化映像データ配信方法、符号化映像データ復号方法、配信サーバ、再生端末、プログラムおよび記録媒体
US10440329B2 (en) * 2009-05-22 2019-10-08 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view
IT1399417B1 (it) 2010-04-12 2013-04-16 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video stereoscopico compatibile e relativi dispositivi di codifica e decodifica.
US9167289B2 (en) 2010-09-02 2015-10-20 Verizon Patent And Licensing Inc. Perspective display systems and methods
US8908103B2 (en) * 2010-10-01 2014-12-09 Sony Corporation Content supplying apparatus, content supplying method, content reproduction apparatus, content reproduction method, program and content viewing system
US9397338B2 (en) * 2010-12-22 2016-07-19 Enevate Corporation Electrodes, electrochemical cells, and methods of forming electrodes and electrochemical cells
JP5790345B2 (ja) 2011-09-07 2015-10-07 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび画像処理システム
EP2645713A1 (en) 2012-03-30 2013-10-02 Alcatel Lucent Method and apparatus for encoding a selected spatial portion of a video stream
EP2870751A4 (en) 2012-07-04 2016-03-09 Intel Corp PANORAMIC 3D VIDEO CODING
CN102945563B (zh) * 2012-09-26 2017-05-24 天津游奕科技有限公司 一种全景视频的展示与交互系统及方法
EP2713593B1 (en) * 2012-09-28 2015-08-19 Alcatel Lucent, S.A. Immersive videoconference method and system
FR3004881B1 (fr) * 2013-04-19 2015-04-17 Kolor Procede de generation d'un flux video de sortie a partir d'un flux video large champ
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
KR102107270B1 (ko) * 2013-07-15 2020-05-06 소니 주식회사 상호작용성을 위한 모션-구속된 타일 세트들 sei 메시지의 확장들
CN103777455B (zh) * 2014-02-25 2016-08-17 浙江大学 基于光场拼接的球形沉浸式三维显示方法及系统
US10764655B2 (en) * 2014-04-03 2020-09-01 Nbcuniversal Media, Llc Main and immersive video coordination system and method
US9641851B2 (en) * 2014-04-18 2017-05-02 Qualcomm Incorporated Conformance window information in multi-layer coding
US10694192B2 (en) * 2014-06-27 2020-06-23 Koninklijke Kpn N.V. HEVC-tiled video streaming
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
WO2016191694A1 (en) * 2015-05-27 2016-12-01 Google Inc. Streaming spherical video
US10043237B2 (en) * 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
US10491711B2 (en) * 2015-09-10 2019-11-26 EEVO, Inc. Adaptive streaming of virtual reality data
TW202344052A (zh) * 2016-02-09 2023-11-01 弗勞恩霍夫爾協會 用於圖像/視訊資料串流而允許有效可縮減性或有效隨機存取之技術
US10334224B2 (en) * 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
EP3223524A1 (en) * 2016-03-22 2017-09-27 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices

Also Published As

Publication number Publication date
JP2018033123A (ja) 2018-03-01
JP7017866B2 (ja) 2022-02-09
CN107454468B (zh) 2021-09-14
US10523980B2 (en) 2019-12-31
CN107454468A (zh) 2017-12-08
EP3249930B1 (en) 2020-09-09
RU2742344C2 (ru) 2021-02-04
EP3249930A1 (en) 2017-11-29
KR20170132098A (ko) 2017-12-01
KR102307819B1 (ko) 2021-10-05
US20170339440A1 (en) 2017-11-23
BR102017010791A2 (pt) 2017-12-05
MX2017006677A (es) 2018-08-28
RU2017115882A3 (ru) 2020-08-26
EP3249928A1 (en) 2017-11-29
CA2967418A1 (en) 2017-11-23

Similar Documents

Publication Publication Date Title
RU2017115882A (ru) Способ, устройство и поток форматирования иммерсивного видео для устройств унаследованного и иммерсивного рендеринга
JP2018033123A5 (ru)
CN108810571B (zh) 编码和解码二维点云的方法和设备
EP3531698A1 (en) Deblocking filter method and terminal
CN102595242B (zh) 动态调整视频的系统、终端和方法
WO2020001565A1 (zh) 点云编解码方法和编解码器
US20120093214A1 (en) Composite video streaming using stateless compression
KR101266667B1 (ko) 장치 내 제어기에서 프로그래밍되는 압축 방법 및 시스템
CN109074161A (zh) 用于360度视频的混合图形及像素域架构
US20180176650A1 (en) Information processing apparatus and information processing method
RU2008125839A (ru) Способ видеокодирования и способ декодирования, устройства для программы для их реализации и запоминающие носители для хранения таких программ
JP6807032B2 (ja) 情報処理装置および情報処理方法
JP7177034B2 (ja) レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム
US20180343470A1 (en) Method of using cube mapping and mapping metadata for encoders
CN110221797B (zh) 多屏拼接系统中信号源设备的控制方法及系统
JP2021531548A (ja) 点群のジオメトリを符号化／復号する方法及び装置
TW200714029A (en) Encoding apparatus, encoding method, decoding apparatus, decoding method, and program
KR20150034735A (ko) 디지털 비디오 이미지를 인코딩하는 방법
KR20200007733A (ko) Pcc 데이터의 효과적인 압축을 위한 부호화/복호화 방법 및 장치
US11743502B2 (en) Compact description of region-wise packing information
BR112020027089A2 (pt) Método e aparelho para filtragem dependente de taxa de proporção para intraprevisão
JP2016192669A5 (ru)
JP2021527362A (ja) イントラ予測のための方法及び装置
JP2015076765A5 (ja) 画像処理装置及びその制御方法、符号化装置、並びに、コンピュータプログラム
CN104469402A (zh) 在压缩视频流中叠加应用数据的方法、装置及条件接收器

Legal Events

Date Code Title Description
HZ9A Changing address for correspondence with an applicant