RU2665872C2 - Стереопросмотр - Google Patents
Стереопросмотр Download PDFInfo
- Publication number
- RU2665872C2 RU2665872C2 RU2016141397A RU2016141397A RU2665872C2 RU 2665872 C2 RU2665872 C2 RU 2665872C2 RU 2016141397 A RU2016141397 A RU 2016141397A RU 2016141397 A RU2016141397 A RU 2016141397A RU 2665872 C2 RU2665872 C2 RU 2665872C2
- Authority
- RU
- Russia
- Prior art keywords
- image
- specified
- source
- orientation
- head
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/339—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/324—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/378—Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/18—Stereoscopic photography by simultaneous viewing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/008—Aspects relating to glasses for viewing stereoscopic images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
Abstract
Изобретение относится к стереопросмотру изображений. Техническим результатом является обеспечение прострмотра трехмерного изображения. Способ включает: определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, указанные первый и второй источники изображения формируют источник стереоизображения, рендеринг первого стереоизображения путем рендеринга первого целевого изображение для одного глаза пользователя и путем рендеринга второго целевого изображения для другого глаза пользователя, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, второй и третий источники изображения формируют источник стереоизображения, рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения. 15 н. и 59 з.п. ф-лы, 28 ил.
Description
Предпосылки создания изобретения
Стерео-просмотр цифровых неподвижных и движущиеся изображений стал общепринятым, и оборудование для просмотра 3D (трехмерных) кинофильмов - более широко доступным. В кинотеатрах предлагают трехмерные кинофильмы, для просмотра которых необходимы специальные очки, которые обеспечивают просмотр разных изображений левым и правым глазами для каждого кадра кинофильма. Тот же самый подход применен в бытовых приложениях с использованием 3D-проигрывателей и телевизоров. На практике кинофильм состоит из двух представлений одной и той же сцены: одно для левого глаза и одно для правого глаза. Эти представления создают путем съемки кинофильма специальной стерео-камерой, которая непосредственно создает контент, предназначенный для стерео-просмотра. Когда эти представления подаются в два глаза, система восприятия изображений у человека создает трехмерное представление сцены. Этой технологии присущ недостаток, заключающийся в том, что область просмотра (киноэкран или телевизор) занимает лишь часть поля зрения и, таким образом, 3D-восприятие ограничено.
Для более реалистичного восприятия были созданы устройства, занимающие большую область полного поля зрения. Доступны специальные очки для стерео-просмотра, которые надеваются так, что покрывают глаза и выделяют изображения для левого и правого глаз с помощью системы, состоящей из малого экрана и объективов. Преимущество такой технологии заключается в том, что она может использоваться в небольшом пространстве и даже в движении, по сравнению с довольно большими телевизорами, обычно используемыми для 3D-просмотра. Что касается игр, имеются игры, которые совместимы с такими стерео-очками и в которых можно создавать два изображения, необходимых для стерео-просмотра искусственного мира игры и, таким образом, для создания 3D представления внутренней модели игровой сцены. В режиме реального времени по этой модели создаются различные изображения, и поэтому этот подход требует вычислительной мощности, в особенности если модель игровой сцены сложна, очень детализирована и содержит много объектов.
Поэтому имеется потребность в решениях, которые обеспечат стерео-просмотр, то есть, просмотр трехмерного изображения.
Сущность изобретения
Предлагается усовершенствованный способ и техническое оборудование для осуществления этого способа, посредством которого решаются вышеописанные проблемы. Различные аспекты настоящего изобретения содержат способ, съемочное устройство, сервер, рендерер клиента и считываемый компьютером носитель, содержащий компьютерную программу, которые характеризуются признаками, изложенными в независимых пунктах формулы изобретения. Различные варианты выполнения настоящего изобретения раскрыты в зависимых пунктах формулы изобретения.
Изобретение относится к созданию и просмотру стерео-изображений, например видео-стерео-изображений, также называемых 3D-видео. По меньшей мере три фотокамеры-источника с накладывающимися полями зрения используются для захвата сцены так, чтобы область сцены была охвачена по меньшей мере тремя камерами. Для зрителя из множества камер выбирают пару камер так, чтобы образовать такую пару стерео-камер, которая наилучшим образом соответствует местоположению глаз пользователя, если бы они были расположены в местоположении камер-источников. Таким образом, пару камер выбирают так, чтобы диспарантность, создаваемая камерами-источниками, напоминала диспарантность, которую воспринимали бы глаза пользователя, если бы находились в этом месте. Если пользователь наклоняет голову, или ориентация меняется другим способом, можно сформировать новую пару, например переключаясь на другую камеру. В этом случае зрительское устройство формирует изображения видео-кадров для левого и правого глаз, выбирая наилучшие источники для каждой области каждого изображения для формирования реалистичной стерео-диспарантности.
Предложен способ, включающий определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, и рендеринг второго стерео-изображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.
Предложен способ, включающий определение ориентаций головы пользователя для формирования стерео-видео-последовательности сцены, выбор первого источника изображения, второго источника изображения и третьего источника изображения на основе указанных ориентаций головы, и рендеринг указанной стерео-видео-последовательности путем рендеринга последовательности изображений для левого глаза пользователя с использованием указанного первого источника изображения и указанного второго источника изображения и последовательности изображений для правого глаза пользователя с использованием указанного первого источника изображения и указанного третьего источника изображения, при этом указанный первый источник изображения используется для рендеринга различных областей указанной сцены для левого и правого глаз пользователя в каждом стерео-кадре указанной видеопоследовательности.
Предложен способ, включающий кодирование множества видеосигналов источников для стерео-просмотра, при этом указанные видеосигналы источников содержат видео данные из множества камер-источников и указанные видеосигналы источников содержат сигналы для активной области сцены и сигналы для пассивной области сцены, передачу указанного множества видеосигналов источников в устройство стерео-просмотра для просмотра, при этом выполняют по меньшей мере одно из указанного кодирования и передачи так, чтобы в переданных видеосигналах источников указанные сигналы для активной области сцены кодировались с более высокой точностью, чем указанные сигналы для пассивной области сцены; при этом указанные сигналы для активной и пассивной областей сцены соответствуют такой ориентации головы пользователя, что указанные сигналы для активной области сцены соответствуют областям сцены, которые пользователь рассматривает, а указанные сигналы для пассивной области сцены соответствуют другим областям сцены.
Предложено устройство для создания данных изображения для стереовидео-просмотра, содержащее по меньшей мере три камеры, расположенные регулярно или нерегулярно друг относительно друга так, что любая пара указанных камер из по меньшей мере трех камер имеет диспарантность для создания стереоизображения, имеющего диспарантность, при этом указанные по меньшей мере три камеры имеют такие перекрывающиеся поля зрения, что определяют область перекрытия, для которой каждая часть захвачена указанными по меньшей мере тремя камерами. Устройство может быть таким, чтобы указанная любая пара камер из указанных по меньшей мере трех камер имела параллакс, соответствующий параллаксу человеческих глаз, для создания стерео-изображения. Устройство может быть таким, что эти по меньшей мере три камеры содержат восемь камер с большим полем зрения, помещенных по существу в углы виртуального куба, при этом каждая имеет направление оптической оси по существу от центральной точки виртуального куба к углу регулярным образом, при этом поле зрения каждой из указанных камер с широким полем зрения составляет по меньшей мере 180 градусов, так чтобы каждая часть целой сферы обзора была покрыта по меньшей мере четырьмя камерами.
Предложено устройство, содержащее по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении их по меньшей мере одним процессором заставляют устройство выполнять по меньшей мере следующее: определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, и рендеринг второго стерео-изображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.
Предложено устройство, содержащее по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении их по меньшей мере одним процессором, заставляют устройство по меньшей мере выполнять следующее: определение ориентаций головы пользователя для формирования стерео-видео-последовательности сцены; выбор первого источника изображения, второго источника изображения и третьего источника изображения на основе указанных ориентаций головы; и рендеринг указанной стерео-видео-последовательности путем рендеринга последовательности изображений для левого глаза пользователя с использованием указанного первого источника изображения и указанного второго источника изображения и последовательности изображений для правого глаза пользователя с использованием указанного первого источника изображения и указанного третьего источника изображения, при этом указанный первый источник изображения используется для рендеринга различных областей указанной сцены для левого и правого глаз пользователя в каждом стерео-кадре указанной видеопоследовательности.
Предложено устройство, содержащее по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении их по меньшей мере одним процессором, заставляют устройство выполнять по меньшей мере следующее: кодирование множества видеосигналов источников для стерео-просмотра, при этом указанные видеосигналы источников содержат видео данные из множества камер-источников и указанные видеосигналы источников содержат сигналы для активной области сцены и сигналы для пассивной области сцены; передачу указанного множества видеосигналов источника в устройство стерео-просмотра для просмотра; при этом выполняют по меньшей мере одно из указанного кодирования и передачи так, чтобы в переданных видеосигналах источников указанные сигналы для активной области сцены кодировались с более высокой точностью, чем указанные сигналы для пассивной области сцены; при этом указанные сигналы для активной и пассивной областей сцены соответствуют такой ориентации головы пользователя, что указанные сигналы для активной области сцены соответствуют областям сцены, которые пользователь рассматривает, а указанные сигналы для пассивной области сцены соответствуют другим областям сцены.
Предложена система, содержащая по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении их по меньшей мере одним процессором заставляют систему выполнять по меньшей мере следующее: определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, рендеринг второго стерео-изображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.
Предложен компьютерный программный продукт, реализованный на считываемом компьютером носителе и содержащий компьютерный программный код, который при выполнении его по меньшей мере одним процессором, заставляет устройство или систему выполнять следующее: определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.
Предложено устройство, содержащее средство для определения ориентации головы пользователя с получением первой ориентации головы, средство для выбора первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, средство для рендеринга первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, средство для определения ориентации головы указанного пользователя с получением второй ориентации головы, средство для выбора указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, средство для рендеринга второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.
Предложен способ, включающий определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения, блендирование временного перемещения от изображения, сформированного с использованием указанного первого источника изображения, и изображения, сформированного с использованием указанного третьего источника изображения. Способ может включать регулировку продолжительности блендирования временного перехода с использованием информации о скорости перемещения головы.
Предложен способ, включающий определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения, определение информации об ориентации источников для указанных источников изображения, и использование указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для выбора указанных источников изображения.
Предложен способ, включающий определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения, и при этом формирование указанных первого, второго и третьего источников изображения как выхода компьютерного устройства с использованием виртуальной камеры для рендеринга синтетического изображения для указанных первого, второго и третьего источников изображения.
Описание чертежей
Ниже различные варианты выполнения настоящего изобретения описаны более подробно со ссылками на сопровождающие чертежи, где:
на фиг. 1а, 1b, 1с и 1d показана установка для формирования стереоизображения для пользователя;
на фиг. 2а показана система и устройства для стерео-просмотра;
на фиг. 2b показано стерео устройство для стерео-просмотра;
на фиг. 2с показан установленный на голове дисплей для стерео-просмотра;
на фиг. 2d показано съемочное устройство;
на фиг. 3а, 3b и 3с иллюстрируется формование стерео-изображения для первого и второго глаз из источников изображения;
на фиг. 4а, 4b, 4с, 4d и 4е иллюстрируется выбор источников изображения для создания стерео-изображений, когда ориентация головы меняется;
на фиг. 6а и 5b показан пример съемочного устройства для использования в качестве источника изображения;
на фиг. 6с показан пример микрофонного устройства для использования в качестве источника звука;
на фиг. 6а, 6b, 6с и 6d иллюстрируется использование источника и целевых систем координат для стерео-просмотра;
на фиг. 7а и 7b иллюстрируется передача данных из источника изображения для стерео-просмотра;
на фиг. 8 иллюстрируется использование источников синтетического изображения в модели виртуальной реальности для создания изображения для стерео-просмотра;
на фиг. 9а показана последовательность операций для формирования изображения для стерео-просмотра; и
на фиг. 9b показана последовательность операций для передачи изображения для стерео-просмотра.
Описание примеров выполнения настоящего изобретения
Ниже несколько вариантов выполнения настоящего изобретения описаны в контексте стерео-просмотра с использованием 3D очков. Следует отметить, однако, что изобретение не ограничено никакой конкретной технологией отображения. Фактически, у различных вариантов выполнения настоящего изобретения имеются приложения для любой обстановки, в которой требуется стерео-просмотр, например в кино и телевидении. Кроме того, хотя в описании в качестве примера источника изображения используется определенная расстановка камер, могут использоваться различные расстановки камер и различные источники изображения.
На фиг. 1а, 1b, 1с и 1d показана ситуация для формирования стереоизображения для пользователя. На фиг. 1а показана ситуация, при которой человек рассматривает две сферы А1 и А2 с использованием обоих глаз Е1 и Е2. Сфера А1 ближе к зрителю, чем сфера А2, соответствующие расстояния до первого глаза Е1, равны LE1,A1 и LE1,A2. В пространстве находятся различные объекты с соответствующем координатами (х, у, z), определяемые в системе координат SX, SY и SZ. Расстояние d12 между глазами человека может составлять в среднем приблизительно 62-64 мм и меняться от человека к человеку от 55 до 74 мм. Это расстояние называется параллаксом, и на нем основано стереоскопическое представление для восприятие его человеком. Направления просмотра (оптические оси) DIR1 и DIR2, как правило, по существу параллельны, возможно, имеют небольшое отклонение от параллельности и определяют поле зрения для глаз. Голова пользователя имеет ориентацию (ориентацию головы) относительно окружения, наиболее легко определяемую общим направлением глаз, когда глаза смотрят прямо вперед. Таким образом, ориентация головы определяет «крен», «рыскание» и «тангаж» головы относительно системы координат сцены, где находится пользователь.
В ситуации на фиг. 1а сферы А1 и А2 находятся в поле зрения обоих глаз. Центральная точка O12 между глазами и сферами находится на той же самой линии. Таким образом, если считать от центральной точки, сфера А2 находится позади сферы А1. Однако каждый глаз видит часть сферы А2 позади А1, потому что сферы не находятся на одной линии зрения ни для одного из глаз.
На фиг. 1b показана конфигурация, когда вместо глаз имеются камеры С1 и С2, помещенные в место, где на фиг. 1а находились глаза. В остальном расстояния и направления те же самые. Естественно, цель расположения на фиг. 1b состоит в возможности захвата стерео-изображения сфер А1 и А2. Двумя изображениями, полученными вследствие захвата изображения, являются FC1 и FC2. Изображение Fc1 для «левого глаза» показывает изображение SA2 сферы А2, частично видимой на левой стороне изображения SA1 сферы А1. Изображение Fc2 для «правого глаза» показывает изображение SA2 сферы А2, частично видимой на правой стороне изображения SA1 сферы А1. Эту разницу между правым и левым изображениями называют диспарантностью, и эта диспарантность, являясь основным механизмом, с помощью которого зрительная система человека система определяет информацию о глубине и создает трехмерное представление сцены, может использоваться, чтобы создать иллюзию трехмерного изображения.
На фиг. 1с показано создание этой трехмерной иллюзии. Изображения FC1 и FC2, захваченные камерами С1 и С2, подают в глаза Е1 и Е2 использованием дисплеев D1 и D2 соответственно. Диспарантность между изображениями обрабатывается зрительной системой человека так, что создается ощущение глубины. Таким образом, когда левый глаз видит изображение SA2 сферы А2 на левой стороне изображения SA1 сферы А1, и соответственно правый глаз видит изображение А2 на правой стороне, - зрительная система человека создает ощущение, что сфера V2 находится позади сферы V1 в трехмерном мире. Здесь следует понимать, что изображения FC1 и FC2 могут также быть синтетическими, то есть, созданными компьютером. Если они несут информацию о диспарантности, то синтетические изображения также будут восприниматься зрительной системой человека как трехмерные. Таким образом, пара машинно-генерируемых изображений может быть сформирована так, чтобы они могли использоваться в качестве стерео-изображения.
На фиг. 1d показано, как этот принцип подачи стерео-изображений в глаза может использоваться для создания 3D кинофильмов или сцен виртуальной реальности, имеющих иллюзию трехмерности. Изображения FX1 и FX2 или захвачены стерео-камерой, или вычислены по модели так, чтобы у изображений была соответствующая диспарантность. При показе большого количества (например 30) кадров в секунду в оба глаза с использованием дисплеев D1 и D2 так, чтобы у изображений для левого и правого глаз имелась диспарантность, зрительная система человека создает ощущение подвижного трехмерного изображения. Когда камеру поворачивают или меняется направление зрения, для которого вычисляют синтетические изображения, изменения в изображениях создают иллюзию, что меняется направление зрения, то есть, зритель поворачивается. Это направление зрения, то есть ориентация головы, может быть определена как действительная ориентация головы, например детектором ориентации, установленным на голове, или как виртуальная ориентация, определяемая управляющим устройством, таким как джойстик или «мышь», которые могут использоваться для манипуляций направлением зрения без того, чтобы пользователь фактически перемещал свою голову. Таким образом, термин «ориентация головы» может быть использован для описания действительной, физической ориентации головы пользователя и ее изменений, или может использоваться для описания виртуального направления зрения пользователя, которое определяется компьютерной программой или компьютерным устройством ввода.
На фиг. 2а показана система и устройства для стерео-просмотра, то есть, для 3D-видео и 3D-аудио цифрового захвата и воспроизведения. Задача системы состоит в захвате достаточного количества визуальной и слуховой информации из специфического места таким образом, чтобы убедительное воспроизведение ощущения присутствия в этом месте достигалось для одного или большего количества зрителей, физически расположенных в других местах и, как опция, в некоторый будущий момент. Для такого воспроизведения требуется больше информации, чем может быть захвачено одной камерой или микрофоном, поскольку зритель должен быть в состоянии определить расстояние и местоположение объектов на сцене с использованием своих глаз и ушей. Как поясняется при описании фиг. 1а-1d, для создания пары изображений с диспарантностью используются две камеры-источника. Аналогично, в слуховой системы человека, чтобы она могла распознать направление звука, используются по меньшей мере два микрофона (хорошо известный стерео-звук создают, делая запись двух аудио-каналов). Слуховая система человека может распознает иллюзию, например, по временной разности аудио-сигналов обнаружить направление звука.
Система на фиг. 2а может состоять из трех главных частей: источники изображения, сервер и рендерер. Устройство SRC1 для захвата видео-изображения содержит несколько (например 8) камер САМ1, САМ2…, CAMN с таким перекрытием полей зрения, чтобы области зрения вокруг устройства видео-захвата были захвачены по меньшей мере двумя камерами. Устройство SRC1 может содержать множество микрофонов для захвата разницы во времени и фазе аудио-сигналов, идущих с различных направлений. Устройство может содержать датчик ориентации с высокой разрешающей способностью, чтобы ориентацию (направление зрения) множества камер можно было обнаружить и записать. Устройство SRC1 содержит или функционально связано с компьютерным процессором PROC1 и памятью МЕМ1, при этом память содержит компьютерный программный код PROGR1 для управления устройством захвата. Поток изображения, захваченный устройством, может храниться в памяти МЕМ2 для использования в другом устройстве: например у зрителя, и/или быть передан в сервер с использованием интерфейса СОММ1 связи.
Альтернативно или дополнительно к устройству SRC1 видео-захвата, создающему поток изображения или множество таких потоков, в системе может присутствовать один или большее количество источников SRC2 синтетических изображений. Такие источники синтетических изображений могут применять компьютерную модель виртуального мира для вычисления различных потоков изображений, которые они передают. Например, источник SRC2 может вычислять N видео-потоков, соответствующих N виртуальным камерам, расположенным в виртуальном месте зрения. Когда такой синтетический набор видео-потоков используется для просмотра, зритель может видеть трехмерный виртуальный мир, как пояснялось выше на фиг. 1d. Устройство SRC2 содержит или функционально связано с компьютерным процессором PROC2 и памятью МЕМ2, при этом память содержит компьютерный программный код PROGR2 для управления синтетическим устройством-источником SRC2. Поток изображения, захваченный устройством, может храниться в памяти МЕМ5 (например, карте памяти CARD1) для использования в другом устройстве, например у зрителя, или быть переданным в сервер или к зрителю с использованием интерфейса СОММ2 связи.
В дополнение к устройству SRC1 захвата может иметься служебная сеть для хранения, обработки и организации потока данных. Например, может иметься сервер SERV или множество серверов, сохраняющих данные с выхода устройства SRC1 захвата или вычислительного устройства SRC2. Это устройство содержит или функционально связано с компьютерным процессором PROC3 и памятью МЕМ3, при этом память содержит компьютерный программный код PROGR3 для управления сервером. Сервер может быть связан проводной и/или беспроводной связью с источником SRC1 и/или SRC2, а также с устройствами VIEWER1 и VIEWER2 просмотра с использованием интерфейса СОММ3.
Для просмотра захваченного или созданного видео-контента, может использоваться одно или большее количество устройств VI EWER1 и VIEWER2 просмотра. У этих устройств могут иметься модуль рендеринга и модуль отображения, или же обе эти функции могут быть объединены в одном устройстве. Эти устройства могут содержать или быть функционально связаны с компьютерным процессором PROC4 и памятью МЕМ4, при этом память содержит компьютерный программный код PROGR4 для управления устройствами просмотра. Устройства просмотра (воспроизводящие устройства) могут содержать приемник потока данных для приема поток видео-данных из сервера и для дешифровки потока видеоданных. Поток данных может быть принят через сетевое соединение через интерфейс СОММ4 связи или из памяти МЕМ6 в виде карты CARD2 памяти. Устройство просмотра могут содержать графическое обрабатывающее устройство для преобразования данных в соответствующий формат и просмотра, как показано на фиг. 1с и 1d. Устройство VIEWER1 просмотра содержит устанавливаемый на голове стерео-дисплей высокого разрешения, предназначенный для просмотра стерео-видео-последовательности после рендеринга. Устанавливаемое на голове устройство может иметь датчик DET1 ориентации и головные стерео-аудио-телефоны. Устройство VIEWER2 просмотра содержит дисплей с возможностями 3D технологии (для отображения стерео-видео-данных), а рендерер может иметь связанный с ним детектор DET2 ориентации. Любое из устройств (SRC1, SRC2, SERVER, RENDERER, VIEWER1, VIEWER2) может быть компьютером или мобильным вычислительным устройством, или же быть связанным с ним. Такие рендереры могут содержать компьютерный программный код для реализации способов согласно различным примерам, описанным в этом документе.
На фиг. 2b показано устройство для стерео-просмотра. Камера содержит три или большее количество камер, которые сконфигурированы в пары камер для создания изображений для левого и правого глаз, или они могут быть организованы в такие пары. Расстояние между камерами может соответствовать обычному расстоянию между глазами человека. Камеры могут быть установлены так, чтобы имелось значительное перекрытие их полей зрения. Например, могут использоваться широкоугольные 180-градусные (или больше) объективы, и может иметься 3, 4, 5, 6, 7, 8, 9, 10, 12, 16 или 20 камер. Эти камеры могут быть регулярно или нерегулярно распределены по всей сфере зрения, или же они могут покрыть только часть всей сферы. Например, может иметься три камеры, установленные в вершинах треугольника и имеющие различные направления зрения по отношению к одной стороне треугольника так, что все три камеры перекрывают всю область перекрытия в середине направления зрения. В другом примере 8 камер имеют широкоугольные объективы и установлены регулярно в углах виртуального куба, перекрывая всю сферу так, что вся или по существу вся сфера перекрыта во всех направлениях по меньшей мере тремя или четырьмя камерами. На фиг. 2b показаны три пары стерео-камер.
На фиг. 2с показан установленный на голове дисплей для стерео-просмотра. Установленный на голове дисплей содержит две секции экрана или два экрана DISP1 и DISP2, предназначенные для создания изображений для левого и правого глаз. Эти дисплеи находятся близко к глазам, и поэтому применяются объективы, чтобы сделать изображения легко видимыми и для того, чтобы растянуть изображения и покрыть в максимально возможной степени поля зрения глаз. Устройство присоединено к голове пользователя так, чтобы оно держалось даже тогда, когда пользователь поворачивает голову. Устройства может иметь модуль ORDET1 обнаружения ориентации, предназначенный для определения положения и направления. Здесь следует отметить, что в устройстве такого типа можно обеспечить отслеживание перемещения головы, но так как дисплеи покрывают большую площадь поля зрения, в обнаружении движения глаз нет необходимости. Ориентация головы может быть связана с реальной, физической ориентацией головы пользователя, и это может быть сделано датчиком, который определяет реальную ориентацию головы пользователя. Альтернативно или дополнительно, ориентация головы может быть связана с виртуальной ориентацией направления зрения пользователя, которой управляет компьютерная программа или компьютерное устройство ввода, такое как джойстик. Таким образом, пользователь может изменить определенную ориентацию головы с помощью устройства ввода, или компьютерная программа может изменить направление зрения (например, в играх игровая программа может управлять определенной ориентацией головы вместо или в дополнение к реальной ориентации головы.
На фиг. 2d показано устройство САМ1. Камера содержит детектор CAMDET1 камеры, содержащий множество сенсорных элементов для считывания интенсивности света, падающего на сенсорный элемент. Камера содержит объектив ОВJ1 (или конструкцию, состоящую из множества объективов), при этом указанный объектив помещен так, чтобы свет попадал через объектив на сенсорные элементы. В детекторе CAMDET1 камеры имеется номинальная центральная точка СР1, которая является средней точкой для множества сенсорных элементов, например для прямоугольного датчика это точка пересечения диагоналей. У объектива также имеется номинальная центральная точка РР1, лежащая, например, на оси симметрии объектива. Направление ориентации камеры определено полулинией, идущей из центральной точки СР1 датчика камеры и центральной точки РР1 объектива.
Система, описанная выше, может работать следующим образом. Синхронизированные во времени видео-данные, аудио-данные и данные по ориентации сначала записываются устройством захвата. Они могут состоять из множества одновременных видео- и аудио-потоков, как описано выше. Затем, сразу или позже, их передают в сеть для хранения и обработки с целью обработки и преобразования в формат, подходящий для последующей выдачи в воспроизводящие устройства. Преобразование может включать шаги последующей обработки аудио-и видео-данных для повышения качества данных и/или уменьшения количества данных при сохранении качества на желательном уровне. Наконец, каждое воспроизводящее устройство принимает поток данных из сети и производит рендеринг для воспроизведения стерео-просмотра в местоположении источника, что может ощутить пользователь с использованием дисплея, закрепленного на голове, и головных телефонов.
В новом способе создания стерео-изображения для просмотра, как описано ниже, пользователь может поворачивать голову во множестве направлений, а воспроизводящее устройство способно создавать высокочастотное (например, 60 кадров в секунду) видео- и аудио-стерео-представление сцены, соответствующей той конкретной ориентации, как сцена виделась бы с места исходной записи.
На фиг. 3а, 3b и 3с показано формирование стерео-изображения для первого и второго глаз из источников изображения при использовании динамического выбора источников и динамического местоположения мест сшивания. Для создания стерео-представления для конкретной ориентации головы используются данные изображения по меньшей мере от 2 различных камер. Как правило, одна камера не в состоянии охватить все поле зрения. Поэтому, согласно настоящему решению, можно использовать множество камер для создания двух изображений для стерео-просмотра, путем сшивания секций изображений от различных камер. Создание изображения путем сшивания происходит так, чтобы у изображений была соответствующая диспарантность и чтобы можно было создать 3D-представление. Пояснение дано ниже.
Для того, чтобы использовать лучшие источники изображения, используется модель камеры и положений глаз. Камеры могут иметь положения в пространстве камер, и положения глаз спроектированы в это пространство так, чтобы глаза находились среди камер. Используется реалистический параллакс (расстояние между глазами). Например, в регулярной установке с 8 камерами, где все камеры регулярно расположены на сфере, глаза также могут быть спроектированы на сферу. Решение вначале выбирает самую близкую камеру к каждому глазу. Установленные на голове дисплеи могут иметь большое поле зрения на глаз, так что не существует никакого единственного изображения (от одной камеры), которое перекрывает полный вид для глаза. В этом случае представление должно быть создано из частей множества изображений с использованием известной техники «сшивания» таких отображений вдоль линий, которые содержат почти тот же самый контент в двух изображениях, сшиваемых вместе. На фиг. 3а показано два дисплея для стерео-просмотра. Изображение для дисплея левого глаза собрано из данных изображения из камер IS2, IS3 и IS6. Изображение для дисплея правого глаза собрано из данных изображения из камер IS1, IS3 и IS8. Отметим, что в этом примере тот же самый источник IS3 изображения используется для изображений как левого глаза, так и правого глаза, но сделано так, чтобы одна и та же область зрения не была охвачена камерой IS3 в обоих глазах. Это обеспечивает нужную диспарантность по всему представлению - то есть, в каждом месте в представлении между изображениями для левого и правого глаз есть диспарантность.
Точка сшивания меняется динамически для каждой ориентации головы, чтобы максимизировать площадь вокруг центральной области представления, полученного от камеры, ближайшей к положению глаз. В то же самое время требуется соблюдать осторожность, чтобы обеспечить использование различных камер для тех же самых областей представления в двух изображениях для различных глаз. На фиг. 3b области РХА1 и РХА2, которые соответствуют той же самой области в представлении, взяты от различных камер IS1 и IS2 соответственно. Эти две камеры пространственно разнесены, поэтому области РХА1 и РХА2 демонстрируют эффект диспарантности и создают трехмерную иллюзию в зрительной системе человека. Также следует избегать, чтобы «швы» STITCH1 и STITCH2 (который могут быть более заметными) находились в центре представления, потому что ближайшая камера будет как правило охватывать область около центра. Этот способ приводит к использованию динамического выбора пары камер для создания изображения для определенной области представления в зависимости от ориентации головы. Выбор может быть сделан для каждого пикселя и каждого кадра с использованием обнаруженной ориентации головы.
Сшивание осуществляют с использованием алгоритма, обеспечивающего, чтобы у всех сшитых областей имелось приемлемая стерео-диспарантность. На фиг. 3с левые и правые изображения сшиты так, чтобы объекты на сцене продолжались через области, полученные от различных камер-источников. Например, ближайший кубик на сцене взят от одной камеры в качестве изображения для левого глаза, и от двух различных камер для правого глаза, и изображения сшиты. Имеется и другая камера, используемая для всех частей куба для левого и правого глаз, которая создает дипарантность (правая сторона куба более видима в изображении для правого глаза).
То же самое изображение камеры может использоваться частично для обоих, левого и правого глаз, но не для той же самой области. Например правая сторона представления для левого глаза может быть подшита от камеры IS3, а левая сторона для правого глаза может быть подшита от той же самой камеры IS3, пока эти области представления не накладываются, и другие камеры (IS1 и IS2) используются для рендеринга этих областей в другом глазу. Другими словами, та же самая камера-источник (IS3 на в фиг. 3а) может использоваться для стерео-просмотра как для изображения для левого глаза, так и для изображения для правого глаза. В традиционном стерео-просмотре, наоборот, левая камера используется для левого изображения, а правая камера используется для правого изображения. Таким образом, настоящий способ позволяет более полно использовать данные источников. Это может использоваться при захвате видеоданных; в результате изображения, захваченные различными камерами в различные моменты времени (с определенной частотой измерения мгновенных значений, например 30 кадров в секунду), используются для создания левых и правых стерео-изображений для просмотра. Это может быть сделано так, что то же самое изображение от камеры, захваченное в определенный момент времени, используется для создания части изображения для левого глаза и части изображения для правого глаза, при этом изображения для левого и правого глаз используются совместно для формирования одного кадра стерео-видео-потока для просмотра. В различные моменты времени различные камеры могут использоваться для создания части кадра для левого глаза и части кадра правого глаза в видеоизображении. Это позволяет намного более эффективное использовать захваченные видео-данные.
На фиг. 4а и 4b поясняется модель для выбора ближайших камер для различных ориентаций головы. В этом примере (см. фиг. 4а) все источники (камеры) расположены вокруг центральной точки так, чтобы их положения формировали восьмигранник, а расстояния от центральной точки были равными. Это соответствует устройству с 8 камерами и регулярным интервалом между ними. Источники имеют определенные координаты х, у и z в 3D пространстве. Источники направлены прямо от центральной точки (ориентация источников поясняется в контексте фиг. 2). Установленное на голове устройство выдает «крен», «рыскание» и «тангаж» головы зрителя, и они могут использоваться для преобразования координат источников с целью приведения их к системе координат головы. Альтернативно, координаты глаз можно преобразовать к системе координат источников. Далее, система координат источников может быть преобразована к нормализованной системе координат, а система координат головы может быть преобразована к этой же нормализованной системе координат. Таким образом, и источники и глаза помещают друг относительно друга в одни и те же координаты модели.
Другими словами, местоположение первого и второго виртуальных глаз, соответствующих указанным глазам пользователя, определяют в системе координат с использованием ориентации головы, а затем выбирают источники изображения на основе местоположения виртуальных глаз относительно местоположений источников изображения в этой системе координат.
Пример преобразования Rx поворота координат вокруг оси X на угол γ (также известный как угол тангажа) определяется матрицей поворота:
Аналогично могут быть сформированы повороты Ry (для рыскания) и Rz (для крена) вокруг различных осей. Перемножением этих трех матриц можно выразить обобщенный поворот R=Rx Ry Rz. Эту матрицу поворота можно затем использовать для умножения любого вектора в первой системе координат согласно выражению v2=R v1 и получить вектор в целевой системе координат.
Ниже дан пример преобразования координат источника и глаз. Все векторы - это векторы в трехмерном пространстве и описаны как (х, у, z). Начало координат находится в точке (0, 0, 0). Все источники изображения определяются ориентацией по крену, рысканию, и тангажу относительно начала координат.
Для каждого источника вычисляют вектор положения:
- Создают вектор положения для источника и задают ему значение (0, 0, 1);
- Создают матрицу тождественного преобразования;
- Умножают эту матрицу на другую, которая поворачивает координаты вокруг оси Y на угол рыскания;
- Умножают эту матрицу на другую, которая поворачивает координаты вокруг оси X на угол тангажа;
- Умножают эту матрицу на другую, которая поворачивает координаты вокруг оси Z на угол крена;
- Преобразуют вектор положения путем матричного умножения с использованием этой матрицу, при умножении матрица стоит слева.
Для глаза вычисляют вектор положения:
- Создают вектор положения для глаза и задают ему значение (0, 0, 1)
- Берут матрицу представления, которая используется для рендеринга источников согласно направлению просмотра (ориентации головы) и инвертируют ее. (Поясним, почему матрица представления инвертирована: например, когда направление просмотра поворачивается на 10 градусов вокруг оси Y, источники должны повернуться на -10 градусов вокруг оси Y. Аналогично, если вы смотрите на объект и поворачиваете голову вправо, объект в ваших глазах перемещается влево. Поэтому тот поворот, который мы применяем к предполагаемому положению глаз, может быть взят как инверсия поворота, которую мы применяем к источникам/представлению.)
- Поворачивают инвертированную матрицу представления вокруг оси Y (ось, которая направлена вверх в системе координат главной) согласно моделируемой диспарантности глаз (как описано ниже).
- Преобразуют вектор положения согласно полученной в результате матрице путем действия этой матрицей на предварительный вектор.
- Вычисляют расстояние между положением глаза и источниками и выбирают кратчайшее расстояние (см. ниже).
Предполагаемое положение (левого или правого) глаза помещают на таком же расстоянии от центральной точки, как камеры, и поворачивают вокруг центральной точки вокруг всех осей х, у и z согласно относительной ориентации установленного на головой устройства зрителя по сравнению с ориентацией устройства захвата. Как показано на фиг. 4а и 4b, в результате получаем положение мнимого среднего глаза MEYE в середине лица (соответствует точке O12 на фиг. 1а). Затем положение мнимого среднего глаза зрителя поворачивают вокруг оси Y представления (выровненной по голове зрителя от подбородка до макушки) с получением положения LEYE виртуального левого глаза или положения REYE виртуального правого глаза. Для моделирования диспарантности глаз человека в зависимости от того, является ли это представление для левого глаза или для правого глаза, этот поворот производят в соответствующем направлении. Угол между виртуальным левым и виртуальным правым глазами может находиться между 80 и 120 градусами, например, составлять приблизительно 100 градусов. Углы больше 90 градусов препятствуют выбору той же самой камеры для той же области для обоих глаз, а углы меньше 110 градусов препятствуют выбору камер со слишком большим расстоянием между ними.
Источники (например, камеры) упорядочивают согласно расстоянию между источником и виртуальным глазом, и производят рендеринг представления так, чтобы пиксели выбирались из того источника который соответственно: А) «покрывал» этот пиксель; В) имел наименьшее расстояние до виртуального глаза по сравнению со всеми источниками, для которых выполнено условие А. Другими словами, в качестве источника изображения для пикселя в изображении для первого глаза пользователя выбирают такой ближний источник изображения, который удовлетворяет критерию близости (например, он является самым близким источником) к виртуальному глазу, соответствующему указанному первому глазу, при этом близкий источник изображения захватывает часть сцены, соответствующую пикселю. Если близкий источник изображения не захватывает часть сцены, соответствующую пикселю, выбирают другой источник изображения для пикселя изображения для первого глаза пользователя, нежели указанный близкий к указанному виртуальному глазу источник изображения, соответствующий указанному первому глазу.
На фиг. 4с и 4d иллюстрируется выбор источников изображения для создания стерео-изображений, когда ориентация головы меняется. Рендеринг пикселей из источника выбирают следующим образом:
1. Составляют список всех источников, которые покрывают текущий пиксель;
2. Из всех источников в этом списке выбирают тот, который лучше всего соответствует тому, что человек видел бы этим конкретным глазом, если его голову поместить туда, где находится центральная точка источника, и повернуть согласно ориентации установленного на голове дисплея (головы зрителя);
3. Регулируют диспарантность глаз воображаемого человека, чтобы обеспечить, что для левого и правого глаза выбран не один источник и что у выбранных источников имеется диспарантность по возможности наиболее близкая к глазам человека (например, для параллакса 64 мм). Амплитуда этой регулировки зависит от доступных источников и их положений. Кроме того, регулировку можно произвести заранее. Если обнаружено, что ближайшая камера для первого глаза находится на 10 градусов ниже по тангажу, чем первый глаз, ближайший второй глаз можно также повернуть на 10 градусов вниз по тангажу. Это может быть сделано, чтобы по меньшей мере в некоторых случаях избежать вращения (опрокидывания) линии параллакса между камерами, что получилось бы, если бы другой глаз выбрал камеру, которая расположена выше по тангажу.
Виртуальные положения могут быть предварительно отображены в виде справочной таблицы ближайших камер, и эти отображения могут иметь, например, «зернистость» 1 мм, в пределах которой все положения входят в тот же список. Когда идет рендеринг пикселей выводимых изображений, можно использовать буфер шаблона, чтобы сначала шел рендеринг пикселей от ближайшей камеры и в буфере шаблона эти пиксели помечались как прошедшие рендеринг. Затем выполняют шаблонный тест, чтобы определить пиксели, которые не прошли рендеринг и которые могут пройти рендеринг из следующей ближайшей камеры, проводят рендеринг этих пикселей из следующей ближайшей камеры и маркируют их, и так далее, пока не осуществится рендеринг всего изображения. Таким образом, проводят рендеринг областей изображения для глаза так, чтобы эти области соответствовали источникам изображения, при этом производят рендеринг области в порядке близости источников изображения к виртуальному глазу, соответствующему указанному глазу в исходной системе координат изображения.
Для создания гладких «швов» (пространственных переходов) от одной области камеры к другой, область края камеры может подвергаться рендерингу с использованием рендеринга альфа-канала следующим образом. Для каждого пикселя вычисляют значения цвета (красный-синий-зеленый) по значениям цвета источника для пикселей источника, например, путем интерполяции или с использованием значений цвета ближайшего пикселя источника. Для большинства пикселей альфа-значение (непрозрачность) равна единице. Для пикселей на краю источника альфа-значение может быть установлено меньше единицы. Это означает, что значения цвета для следующего перекрывающегося источника и ранее вычисленные значения цвета смешаны, образуя переходное сшивание. Для краевых областей рендеринг может, таким образом, начинаться с самой дальней камеры, которая «покрывает» пиксель. Таким образом, области изображений можно комбинировать, блендируя краевые части областей.
Выше было описаны две оптимизации в качестве опции, а именно: было описано использование буфера шаблона и сглаживание с использованием альфа-канала. Для этого могут быть использованы функциональные возможности графического процессора.
На фиг. 4с, 4d и 4е иллюстрируется выбор источников изображения для создания стерео-изображений, когда меняется ориентация головы. На фиг. 4с ориентация головы пользователя соответствует первой ориентации головы. Затем выбирают первый источник изображения (IS7) и второй источник изображения (IS2) на основе этой первой ориентации головы так, чтобы первый и второй источники изображения формировали источник стерео-изображения, как было рассмотрено выше. В сцене, как очевидно, может присутствовать виртуальная область, которая соответствует некоторой детали на сцене. В изображениях для левого и правого глаз имеется соответствующая область пикселей (РХА1 и РХА2), которая представляют область сцены. Значения цвета для первой области пикселей (РХА1), соответствующей первой области сцены, определяют с использованием первого источника изображения (IS7), а значения цвета для этой первой области пикселей сформированы в изображение левого глаза. Значения цвета для второй области пикселей (РХА2), соответствующей той же самой области сцены, сформированы с использованием второго источника изображения (IS2), и эти значения цвета для этой второй области пикселей сформированы в изображение для правого глаза.
Когда пользователь поворачивает голову (имеет место поворот, описываемый значениями крена, рыскания и тангажа), вновь определяют ориентацию головы пользователя - вторую ориентацию головы. Это может произойти, например, так: на установленном на голове дисплее имеется детектор перемещения головы. Для формирования областей изображения, соответствующих первой области сцены, вновь выбирают источники изображения, как показано в фиг. 4d. Поскольку голова повернулась, на основе второй ориентации головы выбирают второй источник изображения (IS2), и теперь третий источник изображения (IS8), при этом второй и третий источники изображения формируют источник стерео-изображения. Это делается, как раскрыто выше. Значения цвета для третьей области пикселей (РХА3), соответствующей первой области сцены, формируют с использованием третьего источника изображения (IS8), значения цвета для третьей области пикселей (РХА3) формируют в третье изображение для демонстрации левому глазу. Значения цвета для четвертой области пикселей (РХА4), соответствующей той же самой первой области сцены, все еще формируют с использованием второго источника изображения (IS2), значения цвета для четвертой области пикселей формируют в четвертое изображение для демонстрации правому глазу.
Аналогично, обнаруженная или задаваемая ориентация головы влияет на выбор источников изображения, которые используются для формирования изображения для глаза. Пара источников изображения (камеры), используемая для создания стерео-изображения области сцены, может меняться во времени, если пользователь поворачивает голову или поворачивается поле зрения камеры. Это происходит потому, что один и тот же источник изображения может не всегда оставаться ближайшим источником изображения для (виртуального) глаза.
При воспроизведении стерео-представления для конкретной ориентации зрения на основе данных от множества камер главным является наличие параллакса между камерами. Как было отмечено, этот параллакс может, однако, вызвать скачок в области изображения (и диспарантность) между двумя последовательными кадрами, когда пара камер для области изображения меняется, вследствие изменения угла зрения (ориентации головы). Этот скачок может раздражать зрителя и уменьшить точность воспроизведения. На фиг. 4 с рендеринг левого изображения идет из камер IS1, IS3 и IS7, а правого изображения - из камер IS2, IS3 и IS6. Когда пользователь наклоняет голову налево, изображения естественно поворачиваются против часовой стрелки. Однако положение глаз относительно источников также меняется. На фиг. 4d одна камера (IS7) заменена (на IS8) для изображения левой стороны. Изображение из IS7 немного отличается от изображения из IS8, и, таким образом, когда пользователь наклоняет голову, изменение камеры может вызвать заметное изменение диспарантности в нижней части изображения.
Техника, используемая в этом решении, это перемешивание во время рендеринга кадров между двумя парами камер с регулировкой синхронизации и продолжительности перемешивания согласно угловой скорости направления зрения. Цель состоит в том, чтобы сделать перемешивание при скачке, когда направление просмотра меняется быстро, поскольку в этом случае уже имеется естественное размытие изображения, и пользователь не фокусируется ни на какой конкретной точке. Продолжительность перемешивания может также быть отрегулирована согласно угловой скорости так, чтобы при замедленном движении перемешивание происходило за более длительный промежуток времени, а при более быстром движении перемешивание происходило быстрее. Этот способ уменьшает заметность скачка при переходе от одной пары камер к другой. Перемешивание может быть достигнуто суммированием с весом значений для актуальных областей изображения. Например, как показано на фиг. 4е, область, в которой произойдет перемешивание, может быть выбрана как комбинация областей IS7 и IS8. Эта область может также быть выбрана только как область IS8 или только IS7. Этот способ оценивали на предмет уменьшения заметности скачка от одной пары камер к другой, в особенности когда просмотр происходит с использованием закрепленного на голове дисплея. Другими словами, для улучшения качества видеоизображения временное преобразование может быть осуществлено путем блендирования изображения, сформированного с использованием первого источника изображения, с изображением, полученным с использованием другого источника изображения. Продолжительность временного переходного блендирования может быть отрегулирована с использованием информации о скорости перемещения головы, например, угловой скорости.
При изменении источника может быть применен гистерезис изменения. Под гистерезисом здесь подразумевается, что, как только изменение источника от первого источника до второго источника было применено вследствие определения, что второй источник находится ближе к виртуальному глазу, чем первый источник, возврат назад к первому источнику происходит не так легко, как первое изменение. Таким образом, если ориентация головы возвращается к ориентации непосредственно перед этим изменением, возврата назад к первому источнику не происходит. Для возврата к первому источнику потребуется большее изменение ориентации головы, так чтобы первый источник был явно ближе к виртуальному глазу, чем второй источник. Такое использование гистерезиса может применяться для предотвращения мерцания, вызванного быстрым переключением камер назад и вперед при ориентации, когда первый и второй источники находятся почти в одинаковой близости от виртуального глаза.
Очевидно, что перемешивание может также происходить так, чтобы менялись источники изображения для всей области, при этом перемешивается вся область.
На фиг. 5а и 5b показан пример съемочного устройства для использования в качестве источника изображения. Для создания полной стерео-панорамы на 360 градусов каждое направление зрения должно быть сфотографировано с двух мест - одно для левого глаза и одно для правого глаза. В случае видео-панорамы эти изображения должны быть захвачены одновременно, чтобы не нарушать взаимной синхронизации глаз. Поскольку одна камера физически не может охватить все 360 градусов обзора, по меньшей мере не будучи затененной другой камерой, для формирования всей панорамы на 360 градусов должно иметься множество камер. Однако дополнительные камеры увеличивают стоимость и размер системы и добавляют количество потоков данных, которое необходимо обработать. Эта задача становится еще более существенной при установке камер на сфере или в номинальном правильном многограннике для получения большего вертикального поля зрения. Однако даже при наличии множества пар камер, например на сфере или номинальном правильном многограннике, таком как восьмигранник или додекаэдр, пары камер не будут обеспечивать произвольного углового параллакса между картинами для глаз. Параллакс между глазами жестко связан с положениям индивидуальных камер в паре, то есть, в направлении, перпендикулярном к паре камер, никакого параллакса достигнуть невозможно. Это создает проблему, когда стерео-контент рассматривается с использованием установленного на голове дисплея, который допускает произвольный поворот поля зрения на угол вокруг оси Z.
Требование, чтобы множество камер покрывали каждую точку вокруг устройства захвата с двойным запасом, потребовало бы очень большого количества камер в устройстве захвата. Для новой техники, используемой в данном решении, требуется использовать объективы с полем зрения 180 градусов (полусфера) или больше и устанавливать камеры в строго выбранные места вокруг устройства захвата. Такое расположение показано на фиг. 5а, где камеры помещены в углы виртуального куба, и имеют ориентации DIR_CAM1, DIR_CAM2…, DIR_CAMN, по существу направленные от центральной точки куба.
Можно использовать объективы с супершироким полем зрения, чтобы камера могла служить в качестве пары из камеры для левого глаза и камеры для правого глаза. Это вдвое уменьшает количество необходимых камер. Как это ни удивительно, такое уменьшение количества камер повышает качество стерео-просмотра, поскольку оно также позволяет выбирать камеры для левого глаза и для правого глаза произвольно среди всех камер, лишь бы они перекрывали поле зрения друг друга. Использование этой техники с различным количеством камер и различным расположением камер, например на сфере или правильном многограннике, позволяет выбрать подходящую ближайшую камеру для каждого глаза (как раскрыто выше) и достигнуть также поперечного параллакса между глазами. Это особенно предпочтительно, когда контент рассматривается с использованием закрепленного на голове дисплея. Описанное расположение камер вместе с техникой сшивания, описанной выше, позволяет создавать стерео-просмотр с более высокой точностью воспроизведения и меньшими расходами на камеры.
Широкое поле зрения позволяет выбрать данные изображения из одной камеры в качестве данных источника для различных глаз в зависимости от текущего направления взгляда, что минимизирует необходимое количество камер. Эти камеры можно разместить в виде кольца из 5 или большего количества камер вокруг одной оси в случае, когда выше и ниже устройства не требуется ни высокое качество изображения, ни ориентация представления с наклоном относительно перпендикуляра к оси кольца.
В случае, когда требуется высококачественные изображения и произвольный наклон поля зрения во всех направлениях, следует использовать правильный многогранник: любой куб (с 6 камерами), восьмигранник (с 8 камерами) или додекаэдр (с 12 камерами). Из них восьмигранник, или углы куба (фиг. 5а), является хорошим выбором, так как допускает большой выбор компромиссных решений между уменьшением количества камер при максимальном количестве комбинаций пар камер, которые доступны для другой ориентации взгляда. Фактическое устройство, содержащее 8 камер, показано на фиг. 5b. В этом съемочном устройстве используют широкоугольные (185 градусов) объективы, чтобы полное покрытие камерами было больше, чем 4 полные сферы. Это означает, что любая точка сцены «покрывается» по меньшей мере 4 камерами. Камеры имеют ориентации DIR_CAM1, DIR_CAM2…, DIR_CAMN, в направлении от центра устройства.
Даже при меньшем количеством камер, такое сверхпокрытие может быть достигнуто с использованием, например, 6 камер с теми же самыми объективами 185 градусов, - в этом случае можно достигнуть трехкратного покрытия. Когда происходит рендеринг сцены и для определенного пикселя выбирают ближайшие камеры, это сверхпокрытие означает, что всегда есть по меньшей мере 3 камеры, которые покрывают некую точку, а следовательно можно сформировать по меньшей мере 3 различных пары камер для этой точки. Таким образом, в зависимости от ориентации взгляда (ориентации головы), можно легко найти пару камер с хорошим параллаксом.
Устройство может содержать по меньшей мере три камеры с регулярным или нерегулярным расположением, установленные друг относительно друга так, что у любой пары камер из указанных по меньшей мере трех камер имеется диспарантность для создания стерео-изображения, имеющего диспарантность. У этих по меньшей мере трех камер имеются области перекрытия полей зрения, так что определена область перекрытия, для которой каждая часть захвачена указанными по меньшей мере тремя камерами. У любой пары камер из этих по меньшей мере трех камер может иметься параллакс, соответствующий параллаксу глаз человека, для создания стерео-изображения. Например, параллакс (расстояние) между парой камер может составлять от 5,0 см до 12,0 см, например, составлять приблизительно 6,5 см. У этих по меньшей мере трех камер могут быть различные направления оптической оси. Область перекрытия может иметь односвязную топологию, что означает, что она образует непрерывную поверхность без отверстий или по существу без отверстий так, что диспарантность может быть получена по всей поверхность просмотра, или по меньшей мере для большей части области перекрытия. Поле зрения для каждой из указанных по меньшей мере трех камер может приблизительно соответствовать половине сферы. Устройство может содержать три камеры, при этом эти три камеры установлены в вершинах треугольника, в результате чего угол между направлениями оптических осей для любой парой камер составляет меньше 90 градусов. Эти по меньшей мере три камеры могут содержать восемь камер с большим полем зрения, установленных по существу в углах виртуального куба, при этом каждая имеет направление оптической оси по существу из центральной точки виртуального куба к углу, при этом поле зрения каждой из указанных камер с большим полем зрения составляет по меньшей мере 180 градусов, так чтобы каждая часть всего сферического обзора покрывалась по меньшей мере четырьмя камерами (см. фиг. 5b).
На фиг. 5с показан пример микрофонного устройства, предназначенного для использоваться в качестве аудио-источника. Множество микрофонов MIC1, MIC2… MICN можно разместить вокруг центра устройства, регулярно или нерегулярно. Например, может иметься 8-20 микрофонов, установленных на поверхности виртуальной сферы. Для улучшения эффекта присутствия при воспроизведении сцены, можно сгенерировать убедительный аудио-стерео-сигнал. Устройство захвата может содержать множество микрофонов, охватывающих звуковое поле во множестве мест и со всех направлений вокруг устройства. Аналогично видеорендерингу, эти потоки источников можно использовать для ренгдеринга (например, с использованием передаточной функции слухового аппарата человека, HRTF=Head-related transfer function) синтетического аудио-сигнала, подобного тому, который мы услышали бы, когда ухо находилось бы в том месте на сцене, которое соответствует положению головы зрителя.
Аудио-поток, соответствующий положению виртуального уха, может быть создан из записанных данных из множества микрофонов с использованием множества способов. Один из них заключается в выборе единственного источника звука, ближайшего к каждому виртуальному уху. Однако это ограничивает разрешение пространственного перемещения количеством микрофонов-источников. Предпочтительнее использовать известные аудио-лучеобразующие алгоритмы для комбинирования записанных данных из наборов из 2 или большего количества микрофонов и создания синтетических промежуточных аудио-потоков, соответствующих нескольким сфокусированным лучам в пространстве вокруг устройства захвата. Во время рендеринга эти промежуточные потоки фильтруют с использованием передаточной функции слухового аппарата человека, соответствующей их текущему местоположению относительно виртуального уха в виртуальной голове, согласованному с текущей ориентацией головы пользователя, и затем суммируют с формированием финального моделированного потока, который наиболее близко согласован с потоком, который услышало бы ухо в том положении, в котором находится виртуальное ухо. Передаточная функция слухового аппарата человека (HRTF) является передаточной функцией, которая говорит, как ухо слышит звук из некоторой точки в пространстве. Две передаточные функции слухового аппарата человека (для левого и правого уха) могут использоваться для формирования стерео-звука, который кажется идущим с определенного направления и расстояния. Множественно звуковых источников с различных направлений и расстояний можно просто суммировать с получением комбинированного стерео-звука из этих источников.
Коррекция ориентации, используемая для видео-представления и описанная ниже, применяется также в качестве опции и для аудио-представления для устранения движения устройства захвата, если голова зрителя не двигается.
Эффект присутствия от 3D контента, просматриваемого с использованием установленного на голове дисплея, происходит оттого, что пользователь имеет возможность озираться, поворачивая голову, и контент виден правильно согласно ориентации головы. Если устройство захвата двигалось в момент захвата (например, когда оно установлено на шлеме аквалангиста или на ветви дерева), это перемещение воздействует на угол наблюдения пользователя независимо от ориентации головы зрителя. Это, как отмечено, нарушает эффект присутствия и мешает пользователю, сосредоточиться на определенной точке или угле наблюдения.
На фиг. 6а и 6b показано использование систем координат источника и назначения для стерео-просмотра. Техника, используемая здесь, призвана записывать ориентацию устройства захвата синхронно с накладывающимися видеоданными и использовать информацию об ориентации для коррекции ориентации изображения, представленного пользователю - эффективно устраняя повороты устройства захвата во время воспроизведения так, чтобы направлением просмотра управлял пользователь, а не устройство захвата. Если зритель вместо этого хочет ощущать исходное движение устройства захвата, эту коррекцию можно выключить. Если зритель хочет испытать менее экстремальную версию исходного движения, коррекцию можно применить динамически с фильтром так, чтобы исходное движение отслеживалось, но более медленно или с меньшими отклонениями от нормальной ориентации.
На фиг. 6а и 6b иллюстрируется поворот съемочного устройства и поворот системы координат камеры (система координат источника). Естественно, обзор и ориентация каждой камеры также меняются, и следовательно, даже при том, что зритель остается в той же ориентации, что и раньше, он увидит поворот налево. Если в это же время, как показано в фиг. 6с и 6d, пользователь повернет голову налево, результирующая картинка повернется налево еще сильнее, возможно меняя направление обзора на 180 градусов. Однако, если перемещение съемочного устройства нейтрализовано, обзором будет управлять именно перемещение головы пользователя (см. фиг. 6с и 6d). В примере с аквалангистом зритель может выбрать объекты, на которые смотреть, независимо от того, на что смотрел ныряльщик. Таким образом для определения изображений, которые будут показаны пользователю, используется ориентация источника изображения совместно с ориентацией головы пользователя.
На фиг. 7а и 7b иллюстрируется передача данных из источника изображения для стерео-просмотра. Система стерео-просмотра, представленная в этом приложении, для передачи видео-данных источника зрителю может использовать видеокодирование нескольких изображений (MVC). Таким образом, сервер может иметь кодирующее устройство или видео данные могут быть в сервере в кодированной форме, так чтобы избыточность видео-данных можно было использовать для уменьшения ширины полосы. Однако вследствие значительного искажения, вносимого широкоугольными объективами, эффективность кодирования можно снизить. В таком случае сигналы V1-V8 от различных источников могут быть объединены в один видеосигнал, как в фиг. 7а, и переданы как один закодированный телевизионный поток. Устройство просмотра может тогда выбрать значения для тех пикселей, в которых оно нуждается для рендеринга изображения для левого и правого глаз.
Возможно, будет необходимо передать (и/или расшифровать у зрителя) данные для всей сцены, поскольку во время воспроизведения, зритель должен получит немедленный ответ на угловое движение головы зрителя и рендеринг контента должен идти из правильного угла. Для этого необходимо перенести из сервера на просмотровое устройство все панорамное 360-градусное видеоизображение, поскольку пользователь может повернуть свою голову в любое время. Для этого требуется, чтобы был перенесен большой объем данных, что приводит к использованию большой ширины полосы и требует мощностей для дешифровки.
Техника, используемая в этом приложении, предусматривает сообщение о текущем и будущем угле наблюдения назад в сервер вместе с видео-сигналами, чтобы сервер мог отрегулировать параметры кодирования согласно углу наблюдения. Сервер может передать данные так, чтобы видимые области (активные источники изображения) использовали большую доступную ширину полосы и имели лучшее качество, а меньшая часть ширины полосы (и более низкое качество) остается для областей, которые не видимы в настоящее время или которые не будут видимыми в ближайшее время, если основываться на движении головы (пассивные источники изображения). На практике это означает, что, когда пользователь быстро поворачивает голову на значительный угол, контент сначала имеет худшее качество, но оно станет лучше, как только сервер принял новый угол наблюдения и соответственно отрегулировал поток. Преимущество может состоять в том, что пока перемещение головы невелико, качество изображения будет лучше по сравнению со случаем статического назначения одинаковой ширины полосы для всей сцены. Это иллюстрируется на фиг. 7b, где сигналы активных источников V1, V2, V5 и V7 кодируются с лучшим качеством, чем остальная часть сигналов источников V3, V4, V6 и V8 (пассивные источники изображения).
В случае трансляции (со множеством зрителей) сервер может транслировать множество потоков, при этом у каждого есть разная сильно сжатая область сферической панорамы, вместо одного потока, где все сжато одинаково. Устройство просмотра может тогда, согласно углу наблюдения, выбрать поток, который требуется дешифровать и просмотреть. При этом сервер не должен знать об угле наблюдения отдельного зрителя, и контент может быть транслирован любому количеству приемников.
Для экономии ширины полосы данные изображения могут быть обработаны так, чтобы часть сферического представления переносилась с более низким качеством. Это может быть осуществлено в сервере, например, как шаг предварительной обработки, чтобы требования к вычислениям во время передачи были меньше.
В случае соединения «один с одним» между зрителем и сервером (то есть не трансляции) выбирают часть картинки, которая переносится с более низким качеством, - она не видима при текущем угле наблюдения. Клиент может непрерывно сообщать в сервер свой угол наблюдения. В то же время клиент может также отсылать назад другие подсказки о качестве и ширине полосы потока, которые он хочет принимать.
В случае трансляции (соединение «один со многими») сервер может транслировать множество потоков, где различные части картинки переносятся в более низком качестве, а затем клиент выбирает поток, который дешифрует и просматривает, так чтобы область с низким качеством оставалась вне изображения при текущим угле наблюдения.
Некоторые способы понижения качества определенной области при сферическом представления включают, например:
- Уменьшение пространственного разрешения и/или масштаба данных изображения;
- Уменьшение разрешения цветового кодирования или битовой глубины;
- Уменьшение скорости кадров;
- Увеличение сжатия; и/или
- Отбрасывание дополнительных источников для пиксельных данных и хранение только одного источника для пикселей, фактически эффективно делая эту область моноскопической вместо стереоскопической.
Все это можно осуществить индивидуально, в комбинациях, или даже одновременно, например на базе источников путем разбивания потока на два или большее количество отдельных потоков, которые являются или потоками высокого качества или потоками низкого качества и содержат один или большее количество источников на поток.
Эти способы могут также быть применены, даже если все источники переносятся в том же потоке. Например в потоке, который содержит 8 источников, организованных в восьмигранник, можно значительно снизить ширину полосы, если не трогать те 4 источника, которые охватывают текущее направление просмотра полностью (и с избытком), а из оставшихся 4 источников 2 отбросить полностью, и уменьшить масштаб для двух оставшихся. Кроме того, сервер может обновлять те два источника с низким качеством только каждый второй кадр, чтобы алгоритм сжатия был в состоянии сжимать нетронутые последовательные кадры очень плотно, а также можно установить, чтобы при сжатии область, представляющая интерес, покрывала только 4 незатронутых источника. Осуществляя это, сервер может поддерживать высокое качество всех видимых источников, но значительно снизить требуемую ширину полосы, делая невидимые области моноскопическими, с более низким разрешением, с более низкой скоростью кадров и с большей степенью сжатия. Пользователь это увидит, если быстро изменит направление просмотра, но затем клиент приспособится к новому углу наблюдения и выберет поток (потоки), которые имеют новый угол наблюдения и высокое качество, или в случае взаимодействия «один в один» сервер адаптирует поток, чтобы обеспечить высококачественные данные для нового угла наблюдения и снизить качество для источников, которые скрыты.
Рендеринг синтетического 3D контента может происходить из внутренней модели сцены с использованием графического обрабатывающего устройства для интерактивного воспроизведения. Такой подход распространен, например, в компьютерных играх. Однако сложность и реализм такого контента всегда ограничивается количеством доступной локальной вычислительной мощности, которая намного меньше, чем доступно для рендеринга «не вживую».
Однако предварительный рендеринг 3D-фильмов с компьютерно-анимируемым 3D-контентом традиционно производится с фиксированной точкой наблюдения, кодируемой в пары стерео-изображений. В лучшем случае зритель может вручную выбрать пару по желанию, хотя в киноиндустрии доступна только одна пара. Такие подходы не имеют интерактивного потенциала для работы с контентом с локальным рендерингом.
На фиг. 8 иллюстрируется использование синтетических видео-источников в модели виртуальной реальности для создания изображений для стерео-просмотра. Техника, используемая в этом приложении, должна использовать способ, уже описанный выше, для захвата контента реального мира для предварительного рендеринга, для распределения и воспроизведения виртуального контента, рендеринг которых производится компьютерами. В этом случае, как показано на фиг. 8, устройство VCAMS с виртуальными камерами содержит множество камер и помещено в виртуальный мир кинофильма, а происходящее действие захватывается компьютером в видео-потоки, соответствующие виртуальным камерам устройства с виртуальными камерами. Другими словами, контент, поставляемый игроку, должен генерироваться искусственно так же, как в обычном 3D фильме, однако содержит множество картинок из камер (больше, чем 2), покрывающих всю сферу вокруг виртуального зрителя по меньшей мере дважды, и для каждой ориентации зрителя создают множество аудиопотоков, обеспечивающих создание реалистичного аудио сигнала. Если говорить в практических терминах, используется внутренняя трехмерная (подвижная) модель виртуального мира для вычисления изображений источника. В результате рендеринга различных объектов OBJ1, OBJ2 и OBJ3 получают изображения, захваченные камерой, и выполняют вычисления для каждой камеры. Например, виртуальные 360-градусные виртуальные камеры в углах тетраэдра обеспечили бы такую же величину перекрытия как физическое 8-камерное устройство, описанное выше. 4 камеры, которые захватывают полную сцену, но обладают диспарантностью, когда взяты парами, обеспечивают стерео-просмотр синтетического мира при произвольных углах. Можно использовать также 8 полусферных камер или любое другое практическое количество. Виртуальные камеры не заслоняют друг друга так, как реальные камеры, потому что виртуальные камеры могут быть сделаны невидимыми в виртуальном мире. Поэтому количество виртуальных камер можно выбрать так, чтобы зрительское устройство могло выполнить рендеринг изображений.
В просмотровом устройстве сигналы широкоугольных синтетических источников могут быть дешифрованы, и могут быть созданы стерео-изображения синтетического мира путем выбора сигналов источников для левого глаза и правого глаза и, возможно, создания изображения способом сшивания, описанным выше, если имеется потребность в таком сшивании. В результате каждый зритель этого контента может находиться в виртуальном мире фильма и может смотреть во всех направлениях, даже в момент, когда фильм остановлен.
На фиг. 9а показана последовательность операций для способа формирования изображения для стерео-просмотра. Как описано выше, на шаге 910 определяют ориентацию головы пользователя с получением первой ориентации головы. На основе этой ориентации головы на шаге 915 выбирают первый источник изображения и второй источник изображения. Эти источники изображения таковы, что формируют источник стерео-изображения, то есть, стерео-изображение, созданное из изображений из этих двух источников, создало бы иллюзию трехмерного изображения в зрительной системе человека. На шаге 920 создают первое стерео-изображение путем рендеринга первого целевого изображения для одного глаза пользователя с использованием первого источника изображения и создают второе целевое изображение для другого глаза пользователя с использованием второго источника изображения. Эти источники изображения могут быть достаточными для обоих - первого и второго целевых изображений, - или можно также использовать другие источники изображения, как было описано выше. На шаге 930 снова определяют ориентацию головы пользователя с получением второй ориентации головы. На основе указанной второй ориентации головы на шаге 935 выбирают тот же самый второй источник изображения и новый третий источник изображения. Эти источники изображения таковы, что формируют источник стереоизображения, то есть, стерео-изображение, созданное из изображений из этих двух источников, создало бы иллюзию трехмерного изображения в зрительной системе человека. Затем на шаге 940 создают второе стерео-изображение путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием второго источника изображения и создают четвертое целевое изображение для другого глаза пользователя с использованием третьего источника изображения.
На фиг. 9b показана последовательность операций для передачи изображений для стерео-просмотра.
Различные варианты выполнения настоящего изобретения могут быть осуществлены с помощью компьютерного программного кода, который находится в памяти и заставляет соответствующие устройства выполнять изобретение. Например, устройство может содержать электрическую схему и электронные средства для обработки, приема и передачи данных, компьютерный программный код в памяти и процессор, который при выполнении компьютерного программного кода заставляет устройство выполнять функции какого-либо из вариантов выполнения настоящего изобретения. Кроме того, сетевое устройство, например, сервер, может содержать электрическую схему и электронные средства для обработки, приема и передачи данных, компьютерный программный код в памяти и процессор, который при выполнении компьютерного программного кода заставляет устройство выполнять функции какого-либо из вариантов выполнения настоящего изобретения.
Очевидно, что настоящее изобретение не ограничено исключительно описанными выше вариантами его выполнения, но может быть модифицировано в объеме пунктов формулы изобретения.
Claims (197)
1. Способ создания данных стереоизображения, включающий:
определение ориентации головы пользователя с получением первой ориентации головы,
выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стереоизображения,
рендеринг первого стереоизображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,
определение ориентации головы указанного пользователя с получением второй ориентации головы,
выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стереоизображения,
рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.
2. Способ по п. 1, включающий:
формирование значений цвета для первой области пикселей, соответствующих первой области сцены, с использованием указанного первого источника изображения, при этом указанные значения цвета для указанной первой области пикселей используют для формирования указанного первого целевого изображения для отображения его первому глазу,
формирование значений цвета для второй области пикселей, соответствующих указанной первой области сцены, с использованием указанного второго источника изображения, при этом указанные значения цвета для указанной второй области пикселей используют для формирования указанного второго целевого изображения для отображения его второму глазу,
формирование значений цвета для третьей области пикселей, соответствующих указанной первой области сцены, с использованием указанного третьего источника изображения, при этом указанные значения цвета для указанной третьей области пикселей используют для формирования указанного третьего целевого изображения для отображения его указанному первому глазу,
формирование значений цвета для четвертой области пикселей, соответствующих указанной первой области сцены, с использованием указанного второго источника изображения, при этом указанные значения цвета для указанной четвертой области пикселей используют для формирования указанного четвертого целевого изображения для отображения его указанному второму глазу.
3. Способ по п. 1 или 2, включающий:
определение местоположений первого и второго виртуальных глаз, соответствующих указанным глазам пользователя в системе координат, с использованием указанной ориентации головы,
выбор указанных источников изображения на основе указанных местоположений указанных виртуальных глаз относительно местоположений источников изображения в указанной системе координат.
4. Способ по п. 3, включающий:
определение такого источника изображения для пикселя изображения для первого глаза пользователя, который будет близким источником изображения, удовлетворяющим критерию близости к виртуальному глазу, соответствующему указанному первому глазу, при этом указанный близкий источник изображения захватывает часть сцены, соответствующую указанному пикселю, и
определение источника изображения для пикселя изображения для указанного первого глаза пользователя, который будет другим источником, нежели указанный близкий источник изображения для указанного виртуального глаза, соответствующий указанному первому глазу, при этом указанный близкий источник изображения не захватывает часть сцены, соответствующую указанному пикселю.
5. Способ по п. 1 или 2, включающий:
такой рендеринг областей изображения для глаза, чтобы эти области соответствовали источникам изображения, при этом производят рендеринг этих областей в порядке близости источников изображения к виртуальному глазу, соответствующему указанному глазу в системе координат источника изображения.
6. Способ по п. 5, в котором области указанного изображения объединяют на краях с использованием техники сшивания изображения.
7. Способ по п. 6, в котором указанные области указанных изображений объединяют путем блендирования краевых частей этих областей.
8. Способ по п. 1 или 2, включающий:
блендирование временного перемещения от изображения, сформированного с использованием указанного первого источника изображения, и изображения, сформированного с использованием указанного третьего источника изображения.
9. Способ по п. 8, включающий:
регулировку продолжительности блендирования временного перемещения путем использования информации о скорости перемещения головы.
10. Способ по п. 1 или 2, включающий:
определение аудиоинформации для левого уха и аудиоинформации для правого уха с использованием указанной информации об ориентации головы для модификации аудиоинформации из двух или большего количества аудиоисточников с использованием функции моделирования восприятия звука.
11. Способ по п. 1 или 2, включающий:
определение информации об ориентации источников для указанных источников изображения и использование указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для выбора указанных источников изображения.
12. Способ по п. 10, включающий:
определение информации об ориентации источников для указанных аудиоисточников и
использование указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для модификации аудиоинформации из указанных аудиоисточников.
13. Способ по п. 1 или 2, в котором указанные источники изображения представляют собой камеры в реальном мире.
14. Способ по п. 1 или 2, в котором указанные источники изображения сформированы как выход компьютерного устройства, использующего виртуальные камеры для рендеринга синтетических изображений.
15. Способ по п. 1 или 2, в котором указанная ориентация головы связана с физической ориентацией головы пользователя.
16. Способ по п. 1 или 2, в котором указанная ориентация головы связана с виртуальной ориентацией направления просмотра пользователем, которым управляет компьютерная программа или компьютерное устройство ввода.
17. Способ по п. 1 или 2, в котором указанные стереоизображения используются для формирования стереовидеопоследовательности.
18. Способ создания данных стерео-изображения, включающий:
определение ориентаций головы пользователя для формирования стереовидеопоследовательности сцены;
выбор первого источника изображения, второго источника изображения и третьего источника изображения на основе указанных ориентаций головы; и
рендеринг указанной стереовидеопоследовательности путем рендеринга последовательности изображений для левого глаза пользователя с использованием указанного первого источника изображения и указанного второго источника изображения и последовательности изображений для правого глаза пользователя с использованием указанного первого источника изображения и указанного третьего источника изображения, при этом указанный первый источник изображения используется для рендеринга различных областей указанной сцены для левого и правого глаз пользователя в каждом стереокадре указанной видеопоследовательности.
19. Способ создания данных стереоизображения, включающий:
кодирование множества видеосигналов источников для стереопросмотра, при этом указанные видеосигналы источников содержат видеоданные из множества камер-источников, и указанные видеосигналы источников содержат сигналы для активной области сцены и сигналы для пассивной области сцены;
передачу указанного множества видеосигналов источника в устройство стереопросмотра для просмотра;
при этом выполняют по меньшей мере одно из указанного кодирования и передачи так, чтобы в переданных видеосигналах источников указанные сигналы для активной области сцены кодировались с более высокой точностью, чем указанные сигналы для пассивной области сцены; при этом указанные сигналы для активной и пассивной областей сцены соответствуют такой ориентации головы пользователя, что указанные сигналы для активной области сцены соответствуют областям сцены, которые пользователь рассматривает, а указанные сигналы для пассивной области сцены соответствуют другим областям сцены.
20. Способ по п. 19, в котором указанные видеосигналы источников содержат по меньшей мере три сигнала активной области сцены, так чтобы указанные по меньшей мере три сигнала активной области сцены покрывали область сцены, так чтобы по меньшей мере две различные пары указанных сигналов активной области сцены могли использоваться для создания стереоскопического видеоизображения указанной области сцены.
21. Устройство для создания данных стереоизображения, содержащее:
по меньшей мере три камеры, расположенные регулярно или нерегулярно друг относительно друга так, что любая пара указанных камер из по меньшей мере трех камер имеет диспарантность для создания стереоизображения, имеющего диспарантность,
при этом указанные по меньшей мере три камеры имеют такие перекрывающиеся поля зрения, что определяется область перекрытия, для которой каждая часть захвачена указанными по меньшей мере тремя камерами.
22. Устройство по п. 21, в котором любая пара камер по меньшей мере из трех камер имеет параллакс, соответствующий параллаксу человеческих глаз, для создания стереоизображения.
23. Устройство по п. 22, в котором указанный параллакс между любой указанной парой камер лежит между 5,0 см и 12,0 см.
24. Устройство по п. 21, 22 или 23, в котором указанные по меньшей мере три камеры имеют различные направления оптической оси.
25. Устройство по любому из пп. 21-23, в котором указанные области перекрытия имеют простую односвязную топологию.
26. Устройство по любому из пп. 21-23, в котором поле зрения каждой из указанных по меньшей мере трех камер приблизительно соответствует половине сферы.
27. Устройство по любому из пп. 21-23, которое содержит три камеры, при этом указанные три камеры расположены в вершинах треугольника, в результате чего направления оптических осей между любой парой камер формируют угол меньше 90 градусов.
28. Устройство по любому из пп. 21-23, в котором указанные по меньшей мере три камеры содержат:
восемь камер с широким полем зрения, расположенных по существу в углах виртуального куба, при этом каждая имеет направление оптической оси по существу от центральной точки виртуального куба к углу регулярным образом, при этом поле зрения каждой из указанных камер с широким полем зрения составляет по меньшей мере 180°, так чтобы каждая часть целой сферы обзора была покрыта по меньшей мере четырьмя камерами.
29. Устройство для создания данных стереоизображения, содержащее по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении их по меньшей мере одним процессором заставляют устройство выполнять по меньшей мере следующее:
определение ориентации головы пользователя с получением первой ориентации головы,
выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стереоизображения,
рендеринг первого стереоизображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,
определение ориентации головы указанного пользователя с получением второй ориентации головы,
выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стереоизображения,
рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.
30. Устройство по п. 29, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
формирование значений цвета для первой области пикселей, соответствующих первой области сцены, с использованием указанного первого источника изображения, при этом указанные значения цвета для указанной первой области пикселей используют для формирования указанного первого целевого изображения для отображения его первому глазу,
формирование значений цвета для второй области пикселей, соответствующих указанной первой области сцены, с использованием указанного второго источника изображения, при этом указанные значения цвета для указанной второй области пикселей используют для формирования указанного второго целевого изображения для отображения его второму глазу,
формирование значений цвета для третьей области пикселей, соответствующих указанной первой области сцены, с использованием указанного третьего источника изображения, при этом указанные значения цвета для указанной третьей области пикселей используют для формирования указанного третьего целевого изображения для отображения его указанному первому глазу,
формирование значений цвета для четвертой области пикселей, соответствующих указанной первой области сцены, с использованием указанного второго источника изображения, при этом указанные значения цвета для указанной четвертой области пикселей используют для формирования указанного четвертого целевого изображения для отображения его указанному второму глазу.
31. Устройство по п. 29 или 30, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
определение местоположений первого и второго виртуальных глаз, соответствующих указанным глазам пользователя в системе координат, с использованием указанной ориентации головы,
выбор указанных источников изображения на основе указанных местоположений указанных виртуальных глаз относительно местоположений источников изображения в указанной системе координат.
32. Устройство по п. 31, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
определение такого источника изображения для пикселя изображения для первого глаза пользователя, который будет близким источником изображения, удовлетворяющим критерию близости к виртуальному глазу, соответствующему указанному первому глазу, при этом указанный близкий источник изображения захватывает часть сцены, соответствующую указанному пикселю, и
определение источника изображения для пикселя изображения для указанного первого глаза пользователя, который будет другим источником, нежели указанный близкий источник изображения для указанного виртуального глаза, соответствующий указанному первому глазу, при этом указанный близкий источник изображения не захватывает часть сцены, соответствующую указанному пикселю.
33. Устройство по п. 29 или 30, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
такой рендеринг областей изображения для глаза, чтобы эти области соответствовали источникам изображения, при этом производится рендеринг этих областей в порядке близости источников изображения к виртуальному глазу, соответствующему указанному глазу в системе координат источника изображения.
34. Устройство по п. 33, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
объединение области указанного изображения на краях с использованием техники сшивания изображения.
35. Устройство по п. 34, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
объединение указанных областей указанных изображений путем блендирования краевых частей этих областей.
36. Устройство по п. 29 или 30, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
блендирование временного перемещения от изображения, сформированного с использованием указанного первого источника изображения, и изображения, сформированного с использованием указанного третьего источника изображения.
37. Устройство по п. 36, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
регулировку продолжительности блендирования временного перемещения путем использования информации о скорости перемещения головы.
38. Устройство по п. 29 или 30, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
определение аудиоинформации для левого уха и аудиоинформации для правого уха с использованием указанной информации об ориентации головы для модификации аудиоинформации из двух или большего количества аудиоисточников с использованием функции моделирования восприятия звука.
39. Устройство по п. 29 или 30, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
определение информации об ориентации источников для указанных источников изображения, и
использование указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для выбора указанных источников изображения.
40. Устройство по п. 38, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
определение информации об ориентации источников для указанных аудиоисточников и
использование указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для модификации аудиоинформации из указанных аудиоисточников.
41. Устройство по п. 29 или 30, в котором указанные источники изображения представляют собой камеры в реальном мире
42. Устройство по п. 29 или 30, в котором указанные источники изображения сформированы как выход компьютерного устройства с использованием виртуальных камер для рендеринга синтетических изображений.
43. Устройство по п. 29 или 30, в котором указанная ориентация головы связана с физической ориентацией головы пользователя.
44. Устройство по п. 29 или 30, в котором указанная ориентация головы связана с виртуальной ориентацией направления просмотра пользователем, которым управляет компьютерная программа или компьютерное устройство ввода.
45. Устройство по п. 29 или 30, в котором указанные стереоизображения используются для формирования стереовидеопоследовательности.
46. Устройство для создания данных стереоизображения, содержащее по меньшей мере один процессор, и память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении кода по меньшей мере одним процессором заставляют устройство выполнять по меньшей мере следующее:
определение ориентаций головы пользователя для формирования стереовидеопоследовательности сцены;
выбор первого источника изображения, второго источника изображения и третьего источника изображения на основе указанных ориентаций головы; и
рендеринг указанной стереовидеопоследовательности путем рендеринга последовательности изображений для левого глаза пользователя с использованием указанного первого источника изображения и указанного второго источника изображения и последовательности изображений для правого глаза пользователя с использованием указанного первого источника изображения и указанного третьего источника изображения, при этом указанный первый источник изображения используется для рендеринга различных областей указанной сцены для левого и правого глаз пользователя в каждом стереокадре указанной видеопоследовательности.
47. Устройство для создания данных стереоизображения, содержащее по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении их по меньшей мере одним процессором заставляют устройство выполнять по меньшей мере следующее:
кодирование множества видеосигналов источников для стереопросмотра, при этом указанные видеосигналы источников содержат видеоданные из множества камер-источников, и указанные видеосигналы источников содержат сигналы для активной области сцены и сигналы для пассивной области сцены;
передачу указанного множества видеосигналов источника в устройство стереопросмотра для просмотра;
при этом по меньшей мере одно из указанного кодирования и передачи выполняются так, чтобы в переданных видеосигналах источников указанные сигналы для активной области сцены кодировались с более высокой точностью, чем указанные сигналы для пассивной области сцены; при этом указанные сигналы для активной и пассивной областей сцены соответствуют такой ориентации головы пользователя, что указанные сигналы для активной области сцены соответствуют областям сцены, которые пользователь рассматривает, а указанные сигналы для пассивной области сцены соответствуют другим областям сцены.
48. Устройство по п. 47, указанные видеосигналы источников содержат по меньшей мере три сигнала активной области сцены, так чтобы указанные по меньшей мере три сигнала активной области сцены покрывали область сцены, так чтобы по меньшей мере две различные пары указанных сигналов активной области сцены могли использоваться для создания стереоскопического видеоизображения указанной области сцены.
49. Система для создания данных стереоизображения, содержащая по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении кода по меньшей мере одним процессором заставляют систему выполнять по меньшей мере следующее:
определение ориентации головы пользователя с получением первой ориентации головы,
выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стереоизображения,
рендеринг первого стереоизображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,
определение ориентации головы указанного пользователя с получением второй ориентации головы,
выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стереоизображения,
рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.
50. Считываемый компьютером носитель для создания данных стереоизображения, содержащий компьютерный программный код, который при выполнении его по меньшей мере одним процессором заставляет устройство или систему выполнять следующее:
определение ориентации головы пользователя с получением первой ориентации головы,
выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стереоизображения,
рендеринг первого стереоизображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,
определение ориентации головы указанного пользователя с получением второй ориентации головы,
выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стереоизображения,
рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.
51. Устройство для создания данных стереоизображения, содержащее:
средство для определения ориентации головы пользователя с получением первой ориентации головы,
средство для выбора первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стереоизображения,
средство для рендеринга первого стереоизображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,
средство для определения ориентации головы указанного пользователя с получением второй ориентации головы,
средство для выбора указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стереоизображения,
средство для рендеринга второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.
52. Устройство по п. 51, содержащее:
средство для формирования значений цвета для первой области пикселей, соответствующих первой области сцены, с использованием указанного первого источника изображения, при этом указанные значения цвета для указанной первой области пикселей используют для формирования указанного первого целевого изображения для отображения его первому глазу,
средство для формирования значений цвета для второй области пикселей, соответствующих указанной первой области сцены, с использованием указанного второго источника изображения, при этом указанные значения цвета для указанной второй области пикселей используют для формирования указанного второго целевого изображения для отображения его второму глазу,
средство для формирования значений цвета для третьей области пикселей, соответствующих указанной первой области сцены, с использованием указанного третьего источника изображения, при этом указанные значения цвета для указанной третьей области пикселей используют для формирования указанного третьего целевого изображения для отображения его указанному первому глазу,
средство для формирования значений цвета для четвертой области пикселей, соответствующих указанной первой области сцены, с использованием указанного второго источника изображения, при этом указанные значения цвета для указанной четвертой области пикселей используют для формирования указанного четвертого целевого изображения для отображения его указанному второму глазу.
53. Устройство по п. 51 или 52, содержащее:
средство для определения местоположений первого и второго виртуальных глаз, соответствующих указанным глазам пользователя в системе координат, с использованием указанной ориентации головы,
средство для выбора указанных источников изображения на основе указанных местоположений указанных виртуальных глаз относительно местоположений источников изображения в указанной системе координат.
54. Устройство по п. 53, содержащее:
средство для определения такого источника изображения для пикселя изображения для первого глаза пользователя, который будет близким источником изображения, удовлетворяющим критерию близости к виртуальному глазу, соответствующему указанному первому глазу, при этом указанный близкий источник изображения захватывает часть сцены, соответствующую указанному пикселю, и
средство для определения источника изображения для пикселя изображения для указанного первого глаза пользователя, который будет другим источником, нежели указанный близкий источник изображения для указанного виртуального глаза, соответствующий указанному первому глазу, при этом указанный близкий источник изображения не захватывает часть сцены, соответствующую указанному пикселю.
55. Устройство по п. 51 или 52, содержащее:
средство для такого рендеринга областей изображения для глаза, чтобы эти области соответствовали источникам изображения, при этом производится рендеринг этих областей в порядке близости источников изображения к виртуальному глазу, соответствующему указанному глазу в системе координат источника изображения.
56. Устройство по п. 55, содержащее средство для объединения области указанного изображения на краях с использованием техники сшивания изображения.
57. Устройство по п. 56, содержащее средство для объединения указанных областей указанных изображений путем блендирования краевых частей этих областей.
58. Устройство по п. 51 или 52, содержащее:
средство для блендирования временного перемещения от изображения, сформированного с использованием указанного первого источника изображения, и изображения, сформированного с использованием указанного третьего источника изображения.
59. Устройство по п. 58, содержащее:
средство для регулировки продолжительности блендирования временного перемещения путем использования информации о скорости перемещения головы.
60. Устройство по п. 51 или 52, содержащее:
средство для определения аудиоинформации для левого уха и аудиоинформации для правого уха с использованием указанной информации об ориентации головы для модификации аудиоинформации из двух или большего количества аудиоисточников с использованием функции моделирования восприятия звука.
61. Устройство по п. 51 или 52, содержащее:
средство для определения информации об ориентации источников для указанных источников изображения, и
средство для использования указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для выбора указанных источников изображения.
62. Устройство по п. 60, содержащее:
средство для определения информации об ориентации источников для указанных аудиоисточников и
средство для использования указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для модификации аудиоинформации из указанных аудиоисточников.
63. Устройство по п. 51 или 52, в котором указанные источники изображения представляют собой камеры в реальном мире.
64. Устройство по п. 51 или 52, в котором указанные источники изображения сформированы как выход компьютерного устройства с использованием виртуальных камер для рендеринга синтетических изображений.
65. Устройство по п. 51 или 52, в котором указанная ориентация головы связана с физической ориентацией головы пользователя.
66. Устройство по п. 51 или 52, в котором указанная ориентация головы связана с виртуальной ориентацией направления просмотра пользователем, которым управляет компьютерная программа или компьютерное устройство ввода.
67. Устройство по п. 51 или 52, в котором указанные стереоизображения используются для формирования стереовидеопоследовательности.
68. Устройство для создания данных стереоизображения, содержащее:
средство для определения ориентаций головы пользователя для формирования стереовидеопоследовательности сцены;
средство для выбора первого источника изображения, второго источника изображения и третьего источника изображения на основе указанных ориентаций головы; и
средство для рендеринга указанной стереовидеопоследовательности путем рендеринга последовательности изображений для левого глаза пользователя с использованием указанного первого источника изображения и указанного второго источника изображения и последовательности изображений для правого глаза пользователя с использованием указанного первого источника изображения и указанного третьего источника изображения, при этом указанный первый источник изображения используется для рендеринга различных областей указанной сцены для левого и правого глаз пользователя в каждом стереокадре указанной видеопоследовательности.
69. Устройство для создания данных стереоизображения, содержащее:
средство для кодирования множества видеосигналов источников для стереопросмотра, при этом указанные видеосигналы источников содержат видеоданные из множества камер-источников, и указанные видеосигналы источников содержат сигналы для активной области сцены и сигналы для пассивной области сцены;
средство для передачи указанного множества видеосигналов источника в устройство стереопросмотра для просмотра;
при этом по меньшей мере одно из указанного кодирования и передачи выполняется так, чтобы в переданных видеосигналах источников указанные сигналы для активной области сцены кодировались с более высокой точностью, чем указанные сигналы для пассивной области сцены; при этом указанные сигналы для активной и пассивной областей сцены соответствуют такой ориентации головы пользователя, что указанные сигналы для активной области сцены соответствуют областям сцены, которые пользователь рассматривает, а указанные сигналы для пассивной области сцены соответствуют другим областям сцены.
70. Устройство по п. 69, в котором указанные видеосигналы источников содержат по меньшей мере три сигнала активной области сцены, так чтобы указанные по меньшей мере три сигнала активной области сцены покрывали область сцены, так чтобы по меньшей мере две различные пары указанных сигналов активной области сцены могли использоваться для создания стереоскопического видеоизображения указанной области сцены.
71. Способ создания данных стереоизображения, включающий:
определение ориентации головы пользователя с получением первой ориентации головы,
выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стереоизображения,
рендеринг первого стереоизображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,
определение ориентации головы указанного пользователя с получением второй ориентации головы,
выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стереоизображения,
рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения,
блендирование временного перемещения от изображения, сформированного с использованием указанного первого источника изображения, и изображения, сформированного с использованием указанного третьего источника изображения.
72. Способ по п. 71, включающий:
регулировку продолжительности блендирования временного перемещения путем использования информации о скорости перемещения головы.
73. Способ создания данных стереоизображения, включающий:
определение ориентации головы пользователя с получением первой ориентации головы,
выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стереоизображения,
рендеринг первого стереоизображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,
определение ориентации головы указанного пользователя с получением второй ориентации головы,
выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стереоизображения,
рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения,
определение информации об ориентации источников для указанных источников изображения, и
использование указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для выбора указанных источников изображения.
74. Способ создания данных стереоизображения, включающий:
определение ориентации головы пользователя с получением первой ориентации головы,
выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стереоизображения,
рендеринг первого стереоизображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,
определение ориентации головы указанного пользователя с получением второй ориентации головы,
выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стереоизображения,
рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения, при этом
формирование указанных первого, второго и третьего источников изображения как выхода компьютерного устройства с использованием виртуальной камеры для рендеринга синтетического изображения для указанных первого, второго и третьего источников изображения.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1406201.2A GB2525170A (en) | 2014-04-07 | 2014-04-07 | Stereo viewing |
GB1406201.2 | 2014-04-07 | ||
PCT/FI2015/050184 WO2015155406A1 (en) | 2014-04-07 | 2015-03-19 | Stereo viewing |
Publications (3)
Publication Number | Publication Date |
---|---|
RU2016141397A RU2016141397A (ru) | 2018-05-08 |
RU2016141397A3 RU2016141397A3 (ru) | 2018-05-08 |
RU2665872C2 true RU2665872C2 (ru) | 2018-09-04 |
Family
ID=50776915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2016141397A RU2665872C2 (ru) | 2014-04-07 | 2015-03-19 | Стереопросмотр |
Country Status (13)
Country | Link |
---|---|
US (3) | US10455221B2 (ru) |
EP (3) | EP3130143B1 (ru) |
JP (1) | JP2017518663A (ru) |
KR (1) | KR101885979B1 (ru) |
CN (1) | CN106165415B (ru) |
AU (1) | AU2015245446B2 (ru) |
CA (1) | CA2943856C (ru) |
GB (1) | GB2525170A (ru) |
MX (1) | MX369376B (ru) |
PH (1) | PH12016501960A1 (ru) |
RU (1) | RU2665872C2 (ru) |
WO (1) | WO2015155406A1 (ru) |
ZA (1) | ZA201607530B (ru) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2792413C1 (ru) * | 2020-03-03 | 2023-03-22 | Хонор Дивайс Ко., Лтд. | Способ обработки изображений и мобильный терминал |
US11758265B2 (en) | 2020-03-03 | 2023-09-12 | Honor Device Co., Ltd. | Image processing method and mobile terminal |
Families Citing this family (69)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2543549C2 (ru) * | 2013-07-09 | 2015-03-10 | Сергей Александрович Соболев | Телевизионный многоракурсный способ получения, передачи и приема стереоинформации о наблюдаемом пространстве с его автоматическим измерением. система "третий глаз" |
GB2525170A (en) | 2014-04-07 | 2015-10-21 | Nokia Technologies Oy | Stereo viewing |
US9332285B1 (en) | 2014-05-28 | 2016-05-03 | Lucasfilm Entertainment Company Ltd. | Switching modes of a media content item |
TW201637432A (zh) * | 2015-04-02 | 2016-10-16 | Ultracker Technology Co Ltd | 即時影像縫合裝置及即時影像縫合方法 |
CN106612426B (zh) * | 2015-10-26 | 2018-03-16 | 华为技术有限公司 | 一种多视点视频传输方法及装置 |
TWI555378B (zh) * | 2015-10-28 | 2016-10-21 | 輿圖行動股份有限公司 | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 |
CN106657961B (zh) | 2015-10-30 | 2020-01-10 | 微软技术许可有限责任公司 | 立体视频的混合数字-模拟编码 |
US11716487B2 (en) | 2015-11-11 | 2023-08-01 | Sony Corporation | Encoding apparatus and encoding method, decoding apparatus and decoding method |
CN105915877A (zh) * | 2015-12-27 | 2016-08-31 | 乐视致新电子科技(天津)有限公司 | 一种三维视频的自由观影方法及设备 |
US20170195560A1 (en) * | 2015-12-31 | 2017-07-06 | Nokia Technologies Oy | Method and apparatus for generating a panoramic view with regions of different dimensionality |
KR102360179B1 (ko) * | 2016-02-02 | 2022-02-08 | 삼성전자주식회사 | 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라 |
KR102381370B1 (ko) | 2016-02-19 | 2022-03-31 | 삼성전자주식회사 | 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스 |
GB2547689A (en) * | 2016-02-26 | 2017-08-30 | Nokia Technologies Oy | A multi-camera device and a calibration method |
GB2548860A (en) | 2016-03-31 | 2017-10-04 | Nokia Technologies Oy | Multi-camera image coding |
US10666941B1 (en) * | 2016-04-06 | 2020-05-26 | Ambarella International Lp | Low bitrate encoding of panoramic video to support live streaming over a wireless peer-to-peer connection |
US10601889B1 (en) * | 2016-04-06 | 2020-03-24 | Ambarella International Lp | Broadcasting panoramic videos from one server to multiple endpoints |
CN107316273B (zh) * | 2016-04-27 | 2021-05-18 | 深圳看到科技有限公司 | 全景图像采集装置及采集方法 |
US10757790B2 (en) * | 2016-06-10 | 2020-08-25 | Intel Corporation | Sensor hub apparatus and method for sensing ambient light and audio conditions |
GB2556017A (en) * | 2016-06-21 | 2018-05-23 | Nokia Technologies Oy | Image compression method and technical equipment for the same |
GB2551526A (en) | 2016-06-21 | 2017-12-27 | Nokia Technologies Oy | Image encoding method and technical equipment for the same |
GB2556319A (en) * | 2016-07-14 | 2018-05-30 | Nokia Technologies Oy | Method for temporal inter-view prediction and technical equipment for the same |
KR102317683B1 (ko) | 2016-07-28 | 2021-10-26 | 삼성전자주식회사 | 영상을 처리하는 방법, 디바이스 및 기록매체 |
EP4084480A1 (en) * | 2016-09-09 | 2022-11-02 | Vid Scale, Inc. | Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming |
JP6732617B2 (ja) | 2016-09-21 | 2020-07-29 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
US10346950B2 (en) | 2016-10-05 | 2019-07-09 | Hidden Path Entertainment, Inc. | System and method of capturing and rendering a stereoscopic panorama using a depth buffer |
AU2017345780B2 (en) * | 2016-10-21 | 2022-11-17 | Magic Leap, Inc. | System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views |
GB2555139A (en) * | 2016-10-21 | 2018-04-25 | Nokia Technologies Oy | Detecting the presence of wind noise |
GB2556910A (en) * | 2016-11-25 | 2018-06-13 | Nokia Technologies Oy | Virtual reality display |
US10416757B2 (en) * | 2016-12-08 | 2019-09-17 | Raymond Maurice Smit | Telepresence system |
US11636572B2 (en) | 2016-12-29 | 2023-04-25 | Nokia Technologies Oy | Method and apparatus for determining and varying the panning speed of an image based on saliency |
US11836285B2 (en) * | 2017-03-10 | 2023-12-05 | Kenneth Perlin | System for a spectator to view a virtual reality of a performer and method |
EP3603056A4 (en) * | 2017-03-22 | 2020-12-23 | Nokia Technologies Oy | METHOD, DEVICE AND COMPUTER PROGRAM PRODUCT FOR ADAPTIVE STREAMING |
US10547704B2 (en) * | 2017-04-06 | 2020-01-28 | Sony Interactive Entertainment Inc. | Predictive bitrate selection for 360 video streaming |
KR102402046B1 (ko) * | 2017-04-28 | 2022-05-26 | 삼성전자주식회사 | 콘텐츠를 제공하기 위한 방법 및 이를 위한 장치 |
WO2018199701A1 (en) * | 2017-04-28 | 2018-11-01 | Samsung Electronics Co., Ltd. | Method for providing content and apparatus therefor |
EP3616400A4 (en) * | 2017-04-28 | 2020-05-13 | Samsung Electronics Co., Ltd. | METHOD FOR PROVIDING CONTENT AND DEVICE THEREFOR |
CN109327699B (zh) * | 2017-07-31 | 2021-07-16 | 华为技术有限公司 | 一种图像的处理方法、终端和服务器 |
CN107491172B (zh) * | 2017-08-16 | 2020-10-09 | 歌尔科技有限公司 | 体感数据获取方法、装置及电子设备 |
US10818087B2 (en) | 2017-10-02 | 2020-10-27 | At&T Intellectual Property I, L.P. | Selective streaming of immersive video based on field-of-view prediction |
US11303814B2 (en) * | 2017-11-09 | 2022-04-12 | Qualcomm Incorporated | Systems and methods for controlling a field of view |
US11087527B2 (en) * | 2017-12-01 | 2021-08-10 | Koninklijke Kpn N.V. | Selecting an omnidirectional image for display |
WO2019125793A1 (en) * | 2017-12-20 | 2019-06-27 | Leia Inc. | Cross-render multiview camera, system, and method |
US10623725B2 (en) * | 2018-01-03 | 2020-04-14 | Votanic Ltd. | 3D glasses incorporating real-time tracking |
EP3509308A1 (en) * | 2018-01-05 | 2019-07-10 | Koninklijke Philips N.V. | Apparatus and method for generating an image data bitstream |
CN111670577A (zh) * | 2018-02-09 | 2020-09-15 | 索尼公司 | 图像处理装置、图像处理方法和图像处理程序 |
US10659815B2 (en) | 2018-03-08 | 2020-05-19 | At&T Intellectual Property I, L.P. | Method of dynamic adaptive streaming for 360-degree videos |
KR102638415B1 (ko) | 2018-03-22 | 2024-02-19 | 브이아이디 스케일, 인크. | 뷰포트 의존성 비디오 스트리밍 이벤트 |
KR20190118040A (ko) | 2018-04-09 | 2019-10-17 | 삼성전자주식회사 | 웨어러블 디스플레이 장치 및 그의 입체 영상 표시 방법 |
US11917127B2 (en) | 2018-05-25 | 2024-02-27 | Interdigital Madison Patent Holdings, Sas | Monitoring of video streaming events |
EP3576407A1 (en) * | 2018-05-31 | 2019-12-04 | Nokia Technologies Oy | Stereoscopic content |
US10628957B2 (en) * | 2018-06-18 | 2020-04-21 | Google Llc | Vision-enhanced pose estimation |
US10412361B1 (en) * | 2018-07-16 | 2019-09-10 | Nvidia Corporation | Generated stereoscopic video using zenith and nadir view perspectives |
US10902556B2 (en) | 2018-07-16 | 2021-01-26 | Nvidia Corporation | Compensating for disparity variation when viewing captured multi video image streams |
CN109040601B (zh) * | 2018-09-05 | 2020-06-26 | 清华-伯克利深圳学院筹备办公室 | 一种多尺度非结构化的十亿像素vr全景摄影系统 |
CN109407828A (zh) * | 2018-09-11 | 2019-03-01 | 上海科技大学 | 一种凝视点估计方法及系统、存储介质及终端 |
WO2020066008A1 (ja) * | 2018-09-28 | 2020-04-02 | 株式会社ソニー・インタラクティブエンタテインメント | 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法 |
US10818077B2 (en) * | 2018-12-14 | 2020-10-27 | Canon Kabushiki Kaisha | Method, system and apparatus for controlling a virtual camera |
DE102019101192A1 (de) * | 2019-01-17 | 2020-07-23 | Innogy Se | Kamerasystem und Heimautomatisierungssystem mit einem Kamerasystem |
EP3690822A1 (en) | 2019-01-30 | 2020-08-05 | Koninklijke Philips N.V. | Image representation of a scene |
CN113396311A (zh) * | 2019-02-07 | 2021-09-14 | 麦克赛尔株式会社 | 复合入射射出装置 |
CN113728267A (zh) | 2019-02-28 | 2021-11-30 | 奇跃公司 | 使用由光发射器阵列形成的多个瞳孔内视差视图来提供可变适应提示的显示系统和方法 |
CA3086502A1 (en) * | 2019-07-09 | 2021-01-09 | Interaptix Inc. | System and method for corrected video-see-through for head mounted displays |
US11336832B1 (en) * | 2019-08-30 | 2022-05-17 | Gopro, Inc. | Systems and methods for horizon leveling videos |
US10893218B1 (en) * | 2019-09-20 | 2021-01-12 | Gopro, Inc. | Systems and methods for generating panoramic visual content |
US11301035B1 (en) | 2019-09-27 | 2022-04-12 | Apple Inc. | Method and device for video presentation |
CN111061123B (zh) * | 2019-12-25 | 2022-02-15 | 重庆特斯联智慧科技股份有限公司 | 一种旅游景观展示的旋转全景成像系统及使用方法 |
KR20210143607A (ko) * | 2020-05-20 | 2021-11-29 | 삼성전자주식회사 | 이미지 생성 장치 및 방법 |
US11622100B2 (en) * | 2021-02-17 | 2023-04-04 | flexxCOACH VR | 360-degree virtual-reality system for dynamic events |
US11750930B1 (en) * | 2022-03-17 | 2023-09-05 | Honeywell International Inc. | Panoramic vision system with parallax mitigation |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6141034A (en) * | 1995-12-15 | 2000-10-31 | Immersive Media Co. | Immersive imaging method and apparatus |
US20020110275A1 (en) * | 1994-12-29 | 2002-08-15 | Peter Rogina | Image transformation and synthesis methods |
US20040246333A1 (en) * | 2003-06-03 | 2004-12-09 | Steuart Leonard P. (Skip) | Digital 3D/360 degree camera system |
RU2375840C2 (ru) * | 2007-04-19 | 2009-12-10 | Владимир Семенович Леонов | Способ формирования трехмерного цветного виртуального видеоизображения и устройство для создания эффекта виртуальной реальности у пользователя (варианты) |
Family Cites Families (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3225651A (en) | 1964-11-12 | 1965-12-28 | Wallace A Clay | Methods of stereoscopic reproduction of images |
JPH0646313A (ja) | 1992-07-21 | 1994-02-18 | Fujita Corp | テレビカメラシステム |
US5684531A (en) * | 1995-04-10 | 1997-11-04 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Ranging apparatus and method implementing stereo vision system |
US5703604A (en) | 1995-05-22 | 1997-12-30 | Dodeca Llc | Immersive dodecaherdral video viewing system |
US5657073A (en) * | 1995-06-01 | 1997-08-12 | Panoramic Viewing Systems, Inc. | Seamless multi-camera panoramic imaging with distortion correction and selectable field of view |
US6055012A (en) * | 1995-12-29 | 2000-04-25 | Lucent Technologies Inc. | Digital multi-view video compression with complexity and compatibility constraints |
US6529631B1 (en) | 1996-03-29 | 2003-03-04 | Sarnoff Corporation | Apparatus and method for optimizing encoding and performing automated steerable image compression in an image coding system using a perceptual metric |
JPH11164326A (ja) | 1997-11-26 | 1999-06-18 | Oki Electric Ind Co Ltd | パノラマステレオ画像生成表示方法及びそのプログラムを記録した記録媒体 |
US6434265B1 (en) * | 1998-09-25 | 2002-08-13 | Apple Computers, Inc. | Aligning rectilinear images in 3D through projective registration and calibration |
US20020046218A1 (en) | 1999-06-23 | 2002-04-18 | Scott Gilbert | System for digitally capturing and recording panoramic movies |
AU1724901A (en) | 1999-12-31 | 2001-10-30 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Stereo panoramic camera arrangements for recording panoramic images useful in a stereo panoramic image pair |
JP3569661B2 (ja) * | 2000-06-05 | 2004-09-22 | 株式会社スクウェア・エニックス | ゲームのプログラムを記録したコンピュータ読み取り可能な記録媒体、ゲーム処理方法およびゲーム処理装置 |
IL139995A (en) | 2000-11-29 | 2007-07-24 | Rvc Llc | System and method for spherical stereoscopic photographing |
JP2002171460A (ja) | 2000-11-30 | 2002-06-14 | Sony Corp | 再生装置 |
AU2002254217A1 (en) | 2001-02-24 | 2002-09-12 | Eyesee360, Inc. | Method and apparatus for processing photographic images |
JP4158344B2 (ja) | 2001-02-28 | 2008-10-01 | ソニー株式会社 | 画像入力装置 |
JP2002354505A (ja) | 2001-05-29 | 2002-12-06 | Vstone Kk | 立体視システム |
US6947059B2 (en) | 2001-08-10 | 2005-09-20 | Micoy Corporation | Stereoscopic panoramic image capture device |
US6583808B2 (en) * | 2001-10-04 | 2003-06-24 | National Research Council Of Canada | Method and system for stereo videoconferencing |
US20030067476A1 (en) | 2001-10-04 | 2003-04-10 | Eastman Kodak Company | Method and system for displaying an image |
JP2004072694A (ja) * | 2002-08-09 | 2004-03-04 | Sony Corp | 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム |
MXPA05006802A (es) * | 2002-12-19 | 2005-09-08 | Pharmacia Corp | Formulacion no higroscopica que comprende un farmaco higroscopico. |
US7154157B2 (en) | 2002-12-30 | 2006-12-26 | Intel Corporation | Stacked semiconductor radiation sensors having color component and infrared sensing capability |
JP2006515128A (ja) * | 2003-01-24 | 2006-05-18 | マイコイ・コーポレーション | 立体パノラマ画像取り込み装置 |
US8299979B2 (en) * | 2003-05-14 | 2012-10-30 | Broadcom Corporation | Integral eye-path alignment on telephony and computer video devices using two or more image sensing devices |
US20050018911A1 (en) * | 2003-07-24 | 2005-01-27 | Eastman Kodak Company | Foveated video coding system and method |
US7506267B2 (en) * | 2003-12-23 | 2009-03-17 | Intel Corporation | Compose rate reduction for displays |
US20070103558A1 (en) | 2005-11-04 | 2007-05-10 | Microsoft Corporation | Multi-view video delivery |
US7542210B2 (en) * | 2006-06-29 | 2009-06-02 | Chirieleison Sr Anthony | Eye tracking head mounted display |
EP2104359A4 (en) | 2006-12-13 | 2012-07-11 | Sharp Kk | DYNAMIC BILDCODING DEVICE AND DYNAMIC IMAGE DECODING DEVICE |
US20080298674A1 (en) * | 2007-05-29 | 2008-12-04 | Image Masters Inc. | Stereoscopic Panoramic imaging system |
US20090096927A1 (en) | 2007-10-15 | 2009-04-16 | Camp Jr William O | System and method for video coding using variable compression and object motion tracking |
US7850306B2 (en) * | 2008-08-28 | 2010-12-14 | Nokia Corporation | Visual cognition aware display and visual data transmission architecture |
CN101414054B (zh) | 2008-11-21 | 2010-12-15 | 浙江大学 | 利用全景环带成像透镜实现立体成像装置及其方法 |
US20100220215A1 (en) | 2009-01-12 | 2010-09-02 | Jorge Rubinstein | Video acquisition and processing systems |
US10015620B2 (en) * | 2009-02-13 | 2018-07-03 | Koninklijke Philips N.V. | Head tracking |
US20130176403A1 (en) * | 2011-08-16 | 2013-07-11 | Kenneth Varga | Heads up display (HUD) sensor system |
US8274544B2 (en) | 2009-03-23 | 2012-09-25 | Eastman Kodak Company | Automated videography systems |
US8164524B2 (en) * | 2009-07-27 | 2012-04-24 | Auden Techno Corp. | Built-in straight mobile antenna type dual band antenna assembly with improved HAC performance |
US8502860B2 (en) | 2009-09-29 | 2013-08-06 | Toyota Motor Engineering & Manufacturing North America (Tema) | Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent |
US8717360B2 (en) * | 2010-01-29 | 2014-05-06 | Zspace, Inc. | Presenting a view within a three dimensional scene |
US8890934B2 (en) | 2010-03-19 | 2014-11-18 | Panasonic Corporation | Stereoscopic image aligning apparatus, stereoscopic image aligning method, and program of the same |
US8213708B2 (en) | 2010-03-22 | 2012-07-03 | Eastman Kodak Company | Adjusting perspective for objects in stereoscopic images |
EP2408196B1 (en) | 2010-07-14 | 2017-01-11 | Alcatel Lucent | A method, server and terminal for generating a composite view from multiple content items |
WO2012015460A1 (en) | 2010-07-26 | 2012-02-02 | Thomson Licensing | Dynamic adaptation of displayed video quality based on viewers' context |
WO2012021129A1 (en) * | 2010-08-10 | 2012-02-16 | Sony Computer Entertainment Inc. | 3d rendering for a rotated viewer |
US8493390B2 (en) | 2010-12-08 | 2013-07-23 | Sony Computer Entertainment America, Inc. | Adaptive displays using gaze tracking |
US9118928B2 (en) * | 2011-03-04 | 2015-08-25 | Ati Technologies Ulc | Method and system for providing single view video signal based on a multiview video coding (MVC) signal stream |
JP2014508954A (ja) * | 2011-03-22 | 2014-04-10 | アナロジック コーポレイション | 合成オブジェクト分割方法およびシステム{compoundobjectseparation} |
EP2695385B8 (en) * | 2011-04-08 | 2016-03-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Capturing panoramic or semi-panoramic 3d scenes |
TWI442166B (zh) | 2011-06-09 | 2014-06-21 | Metal Ind Res & Dev Ct | 一種單照相機全景立體成像系統 |
WO2012172719A1 (ja) * | 2011-06-16 | 2012-12-20 | パナソニック株式会社 | ヘッドマウントディスプレイおよびその位置ずれ調整方法 |
EP2536143B1 (en) * | 2011-06-16 | 2015-01-14 | Axis AB | Method and a digital video encoder system for encoding digital video data |
US8184069B1 (en) * | 2011-06-20 | 2012-05-22 | Google Inc. | Systems and methods for adaptive transmission of data |
US20130201296A1 (en) * | 2011-07-26 | 2013-08-08 | Mitchell Weiss | Multi-camera head |
JP5996169B2 (ja) | 2011-07-27 | 2016-09-21 | オリンパス株式会社 | 画像処理システム、情報処理装置及びプログラム |
CA2844593A1 (en) | 2011-08-09 | 2013-02-14 | Byeong-Doo Choi | Multiview video data encoding method and device, and decoding method and device |
JP5367034B2 (ja) | 2011-08-24 | 2013-12-11 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
CN103018903A (zh) * | 2011-09-23 | 2013-04-03 | 奇想创造事业股份有限公司 | 具有显示方位锁定装置的头戴式显示器及其显示方法 |
TW201322179A (zh) | 2011-11-28 | 2013-06-01 | Hon Hai Prec Ind Co Ltd | 街景建立系統及街景建立方法 |
US20130222590A1 (en) * | 2012-02-27 | 2013-08-29 | Honeywell International Inc. | Methods and apparatus for dynamically simulating a remote audiovisual environment |
JP5920708B2 (ja) * | 2012-02-29 | 2016-05-18 | 国立大学法人名古屋大学 | 多視点映像ストリーム視聴システムおよび方法 |
JP5938977B2 (ja) | 2012-03-23 | 2016-06-22 | ソニー株式会社 | ヘッドマウントディスプレイ及び手術システム |
US20130258044A1 (en) | 2012-03-30 | 2013-10-03 | Zetta Research And Development Llc - Forc Series | Multi-lens camera |
JP6122260B2 (ja) * | 2012-07-09 | 2017-04-26 | キヤノン株式会社 | 画像処理装置及びその方法とプログラム |
ITRM20120329A1 (it) * | 2012-07-12 | 2012-10-11 | Virtualmind Di Davide Angelelli | Videocamera per riprese immersive/sferiche a 360° con 6-11 ottiche a 5-10 megapixel con geolocalizzazione gps |
US9225942B2 (en) * | 2012-10-11 | 2015-12-29 | GM Global Technology Operations LLC | Imaging surface modeling for camera modeling and virtual view synthesis |
US9185437B2 (en) * | 2012-11-01 | 2015-11-10 | Microsoft Technology Licensing, Llc | Video data |
US9317764B2 (en) | 2012-12-13 | 2016-04-19 | Qualcomm Incorporated | Text image quality based feedback for improving OCR |
US9413930B2 (en) | 2013-03-14 | 2016-08-09 | Joergen Geerds | Camera system |
US20160205341A1 (en) | 2013-08-20 | 2016-07-14 | Smarter Tv Ltd. | System and method for real-time processing of ultra-high resolution digital video |
GB2525170A (en) | 2014-04-07 | 2015-10-21 | Nokia Technologies Oy | Stereo viewing |
-
2014
- 2014-04-07 GB GB1406201.2A patent/GB2525170A/en not_active Withdrawn
-
2015
- 2015-03-19 RU RU2016141397A patent/RU2665872C2/ru active
- 2015-03-19 EP EP15777524.8A patent/EP3130143B1/en active Active
- 2015-03-19 US US15/302,123 patent/US10455221B2/en active Active
- 2015-03-19 KR KR1020167030907A patent/KR101885979B1/ko active IP Right Grant
- 2015-03-19 MX MX2016012988A patent/MX369376B/es active IP Right Grant
- 2015-03-19 JP JP2016561358A patent/JP2017518663A/ja active Pending
- 2015-03-19 CA CA2943856A patent/CA2943856C/en active Active
- 2015-03-19 WO PCT/FI2015/050184 patent/WO2015155406A1/en active Application Filing
- 2015-03-19 EP EP17164124.4A patent/EP3206398B1/en active Active
- 2015-03-19 EP EP17164118.6A patent/EP3206397B1/en active Active
- 2015-03-19 CN CN201580018687.4A patent/CN106165415B/zh active Active
- 2015-03-19 AU AU2015245446A patent/AU2015245446B2/en active Active
-
2016
- 2016-10-03 PH PH12016501960A patent/PH12016501960A1/en unknown
- 2016-11-01 ZA ZA2016/07530A patent/ZA201607530B/en unknown
-
2017
- 2017-02-13 US US15/431,279 patent/US11575876B2/en active Active
- 2017-02-13 US US15/430,779 patent/US10645369B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020110275A1 (en) * | 1994-12-29 | 2002-08-15 | Peter Rogina | Image transformation and synthesis methods |
US6141034A (en) * | 1995-12-15 | 2000-10-31 | Immersive Media Co. | Immersive imaging method and apparatus |
US20040246333A1 (en) * | 2003-06-03 | 2004-12-09 | Steuart Leonard P. (Skip) | Digital 3D/360 degree camera system |
RU2375840C2 (ru) * | 2007-04-19 | 2009-12-10 | Владимир Семенович Леонов | Способ формирования трехмерного цветного виртуального видеоизображения и устройство для создания эффекта виртуальной реальности у пользователя (варианты) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2805260C2 (ru) * | 2018-09-13 | 2023-10-13 | Конинклейке Филипс Н.В. | Устройство и способ обработки аудиовизуальных данных |
RU2792413C1 (ru) * | 2020-03-03 | 2023-03-22 | Хонор Дивайс Ко., Лтд. | Способ обработки изображений и мобильный терминал |
US11758265B2 (en) | 2020-03-03 | 2023-09-12 | Honor Device Co., Ltd. | Image processing method and mobile terminal |
Also Published As
Publication number | Publication date |
---|---|
EP3130143A1 (en) | 2017-02-15 |
EP3206398B1 (en) | 2019-07-24 |
CA2943856C (en) | 2020-08-18 |
US10645369B2 (en) | 2020-05-05 |
ZA201607530B (en) | 2019-04-24 |
MX369376B (es) | 2019-11-07 |
CN106165415A (zh) | 2016-11-23 |
EP3130143A4 (en) | 2017-12-27 |
RU2016141397A (ru) | 2018-05-08 |
US11575876B2 (en) | 2023-02-07 |
US20170118458A1 (en) | 2017-04-27 |
EP3206397B1 (en) | 2020-01-08 |
KR20160143746A (ko) | 2016-12-14 |
AU2015245446B2 (en) | 2019-04-04 |
EP3130143B1 (en) | 2020-08-12 |
EP3206398A1 (en) | 2017-08-16 |
MX2016012988A (es) | 2016-12-07 |
RU2016141397A3 (ru) | 2018-05-08 |
US20170155884A1 (en) | 2017-06-01 |
EP3206397A1 (en) | 2017-08-16 |
WO2015155406A1 (en) | 2015-10-15 |
JP2017518663A (ja) | 2017-07-06 |
KR101885979B1 (ko) | 2018-08-06 |
PH12016501960A1 (en) | 2017-01-09 |
CA2943856A1 (en) | 2015-10-15 |
US20170163970A1 (en) | 2017-06-08 |
GB2525170A (en) | 2015-10-21 |
GB201406201D0 (en) | 2014-05-21 |
CN106165415B (zh) | 2020-12-04 |
AU2015245446A1 (en) | 2016-09-22 |
US10455221B2 (en) | 2019-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2665872C2 (ru) | Стереопросмотр | |
US20210409672A1 (en) | Methods and apparatus for receiving and/or playing back content | |
US10334220B2 (en) | Aggregating images and audio data to generate virtual reality content | |
JP2017536565A (ja) | ステレオ視のための広視野カメラ装置 | |
US10681276B2 (en) | Virtual reality video processing to compensate for movement of a camera during capture | |
US20220264068A1 (en) | Telepresence system and method | |
JP2017527230A (ja) | コンテンツを配信および/または再生するための方法及び装置 | |
US20210185299A1 (en) | A multi-camera device and a calibration method | |
KR101329057B1 (ko) | 다시점 입체 동영상 송신 장치 및 방법 | |
CN112740150B (zh) | 用于处理视听数据的装置和方法 | |
US11431901B2 (en) | Aggregating images to generate content | |
WO2019146425A1 (ja) | 画像処理装置、画像処理方法、プログラム、および投影システム |