RU2016141397A - Стерео-просмотр - Google Patents

Стерео-просмотр Download PDF

Info

Publication number
RU2016141397A
RU2016141397A RU2016141397A RU2016141397A RU2016141397A RU 2016141397 A RU2016141397 A RU 2016141397A RU 2016141397 A RU2016141397 A RU 2016141397A RU 2016141397 A RU2016141397 A RU 2016141397A RU 2016141397 A RU2016141397 A RU 2016141397A
Authority
RU
Russia
Prior art keywords
image
specified
source
image source
orientation
Prior art date
Application number
RU2016141397A
Other languages
English (en)
Other versions
RU2016141397A3 (ru
RU2665872C2 (ru
Inventor
Ким ГРЁНХОЛМ
Эндрю Роберт БАЛДВИН
Original Assignee
Нокиа Текнолоджиз Ой
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Нокиа Текнолоджиз Ой filed Critical Нокиа Текнолоджиз Ой
Publication of RU2016141397A3 publication Critical patent/RU2016141397A3/ru
Publication of RU2016141397A publication Critical patent/RU2016141397A/ru
Application granted granted Critical
Publication of RU2665872C2 publication Critical patent/RU2665872C2/ru

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/339Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/324Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/378Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/18Stereoscopic photography by simultaneous viewing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/008Aspects relating to glasses for viewing stereoscopic images

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)

Claims (198)

1. Способ, включающий:
определение ориентации головы пользователя с получением первой ориентации головы,
выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения,
рендеринг первого стерео-изображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,
определение ориентации головы указанного пользователя с получением второй ориентации головы,
выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения,
рендеринг второго стерео-изображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.
2. Способ по п. 1, включающий:
формирование значений цвета для первой области пикселей, соответствующих первой области сцены, с использованием указанного первого источника изображения, при этом указанные значения цвета для указанной первой области пикселей используют для формирования указанного первого целевого изображения для отображения его первому глазу,
формирование значений цвета для второй области пикселей, соответствующих указанной первой области сцены, с использованием указанного второго источника изображения, при этом указанные значения цвета для указанной второй области пикселей используют для формирования указанного второго целевого изображения для отображения его второму глазу,
формирование значений цвета для третьей области пикселей, соответствующих указанной первой области сцены, с использованием указанного третьего источника изображения, при этом указанные значения цвета для указанной третьей области пикселей используют для формирования указанного третьего целевого изображения для отображения его указанному первому глазу,
формирование значений цвета для четвертой области пикселей, соответствующих указанной первой области сцены, с использованием указанного второго источника изображения, при этом указанные значения цвета для указанной четвертой области пикселей используют для формирования указанного четвертого целевого изображения для отображения его указанному второму глазу.
3. Способ по п. 1 или 2, включающий:
определение местоположений первого и второго виртуальных глаз, соответствующих указанным глазам пользователя в системе координат, с использованием указанной ориентации головы,
выбор указанных источников изображения на основе указанных местоположений указанных виртуальных глаз относительно местоположений источников изображения в указанной системе координат.
4. Способ по п. 3, включающий:
определение такого источника изображения для пикселя изображения для первого глаза пользователя, который будет близким источником изображения, удовлетворяющим критерию близости к виртуальному глазу, соответствующему указанному первому глазу, при этом указанный близкий источник изображения захватывает часть сцены, соответствующую указанному пикселю, и
определение источника изображения для пикселя изображения для указанного первого глаза пользователя, который будет другим источником, нежели указанный близкий источник изображения для указанного виртуального глаза, соответствующий указанному первому глазу, при этом указанный близкий источник изображения не захватывает часть сцены, соответствующую указанному пикселю.
5. Способ по п. 1 или 2, включающий:
такой рендеринг областей изображения для глаза, чтобы эти области соответствовали источникам изображения, при этом производят рендеринг этих областей в порядке близости источников изображения к виртуальному глазу, соответствующему указанному глазу в системе координат источника изображения.
6. Способ по п. 5, в котором области указанного изображения объединяют на краях с использованием техники сшивания изображения.
7. Способ по п. 6, в котором указанные области указанных изображений объединяют путем блендирования краевых частей этих областей.
8. Способ по п. 1 или 2, включающий:
блендирование временного перемещения от изображения, сформированного с использованием указанного первого источника изображения, и изображения, сформированного с использованием указанного третьего источника изображения.
9. Способ по п. 8, включающий:
регулировку продолжительности блендирования временного перемещения путем использования информации о скорости перемещения головы.
10. Способ по п. 1 или 2, включающий:
определение аудио-информации для левого уха и аудио-информации для правого уха с использованием указанной информации об ориентации головы для модификации аудио-информации из двух или большего количества аудио-источников с использованием функции моделирования восприятия звука.
11. Способ по п. 1 или 2, включающий:
определение информации об ориентации источников для указанных источников изображения и
использование указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для выбора указанных источников изображения.
12. Способ по п. 10, включающий:
определение информации об ориентации источников для указанных аудио-источников и
использование указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для модификации аудио-информации из указанных аудио-источников.
13. Способ по п. 1 или 2, в котором указанные источники изображения представляют собой камеры в реальном мире.
14. Способ по п. 1 или 2, в котором указанные источники изображения сформированы как выход компьютерного устройства, использующего виртуальные камеры для рендеринга синтетических изображений.
15. Способ по п. 1 или 2, в котором указанная ориентация головы связана с физической ориентацией головы пользователя.
16. Способ по п. 1 или 2, в котором указанная ориентация головы связана с виртуальной ориентацией направления просмотра пользователем, которым управляет компьютерная программа или компьютерное устройство ввода.
17. Способ по п. 1 или 2, в котором указанные стерео-изображения используются для формирования стерео-видео-последовательности.
18. Способ, включающий:
определение ориентаций головы пользователя для формирования стерео-видео-последовательности сцены;
выбор первого источника изображения, второго источника изображения и третьего источника изображения на основе указанных ориентаций головы; и
рендеринг указанной стерео-видео-последовательности путем рендеринга последовательности изображений для левого глаза пользователя с использованием указанного первого источника изображения и указанного второго источника изображения и последовательности изображений для правого глаза пользователя с использованием указанного первого источника изображения и указанного третьего источника изображения, при этом указанный первый источник изображения используется для рендеринга различных областей указанной сцены для левого и правого глаз пользователя в каждом стерео-кадре указанной видео-последовательности.
19. Способ, включающий:
кодирование множества видеосигналов источников для стерео-просмотра, при этом указанные видеосигналы источников содержат видеоданные из множества камер-источников, и указанные видеосигналы источников содержат сигналы для активной области сцены и сигналы для пассивной области сцены;
передачу указанного множества видеосигналов источника в устройство стерео-просмотра для просмотра;
при этом выполняют по меньшей мере одно из указанного кодирования и передачи так, чтобы в переданных видеосигналах источников указанные сигналы для активной области сцены кодировались с более высокой точностью, чем указанные сигналы для пассивной области сцены; при этом указанные сигналы для активной и пассивной областей сцены соответствуют такой ориентации головы пользователя, что указанные сигналы для активной области сцены соответствуют областям сцены, которые пользователь рассматривает, а указанные сигналы для пассивной области сцены соответствуют другим областям сцены.
20. Способ по п. 19, в котором указанные видеосигналы источников содержат по меньшей мере три сигнала активной области сцены, так чтобы указанные по меньшей мере три сигнала активной области сцены покрывали область сцены, так чтобы по меньшей мере две различные пары указанных сигналов активной области сцены могли использоваться для создания стереоскопического видеоизображения указанной области сцены.
21. Устройство для создания данных стерео-изображения, содержащее:
по меньшей мере три камеры, расположенные регулярно или нерегулярно друг относительно друга так, что любая пара указанных камер из по меньшей мере трех камер имеет диспарантность для создания стерео-изображения, имеющего диспарантность,
при этом указанные по меньшей мере три камеры имеют такие перекрывающиеся поля зрения, что определяется область перекрытия, для которой каждая часть захвачена указанными по меньшей мере тремя камерами.
22. Устройство по п. 21, в котором любая пара камер по меньшей мере из трех камер имеет параллакс, соответствующий параллаксу человеческих глаз, для создания стерео-изображения.
23. Устройство по п. 22, в котором указанный параллакс между любой указанной парой камер лежит между 5,0 см и 12,0 см.
24. Устройство по пп. 21, 22 или 23, в котором указанные по меньшей мере три камеры имеют различные направления оптической оси.
25. Устройство по любому из пп. 21-23, в котором указанные области перекрытия имеют простую односвязную топологию.
26. Устройство по любому из пп. 21-23, в котором поле зрения каждой из указанных по меньшей мере трех камер приблизительно соответствует половине сферы.
27. Устройство по любому из пп. 21-23, которое содержит три камеры, при этом указанные три камеры расположены в вершинах треугольника, в результате чего направления оптических осей между любой парой камер формируют угол меньше 90 градусов.
28. Устройство по любому из пп. 21-23, в котором указанные по меньшей мере три камеры содержат:
восемь камер с широким полем зрения, расположенные по существу в углах виртуального куба, при этом каждая имеет направление оптической оси по существу от центральной точки виртуального куба к углу регулярным образом, при этом поле зрения каждой из указанных камер с широким полем зрения составляет по меньшей мере 180 градусов, так чтобы каждая часть целой сферы обзора была покрыта по меньшей мере четырьмя камерами.
29. Устройство, содержащее по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении их по меньшей мере одним процессором заставляют устройство выполнять по меньшей мере следующее:
определение ориентации головы пользователя с получением первой ориентации головы,
выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения,
рендеринг первого стерео-изображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,
определение ориентации головы указанного пользователя с получением второй ориентации головы,
выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения,
рендеринг второго стерео-изображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.
30. Устройство по п. 29, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
формирование значений цвета для первой области пикселей, соответствующих первой области сцены, с использованием указанного первого источника изображения, при этом указанные значения цвета для указанной первой области пикселей используют для формирования указанного первого целевого изображения для отображения его первому глазу,
формирование значений цвета для второй области пикселей, соответствующих указанной первой области сцены, с использованием указанного второго источника изображения, при этом указанные значения цвета для указанной второй области пикселей используют для формирования указанного второго целевого изображения для отображения его второму глазу,
формирование значений цвета для третьей области пикселей, соответствующих указанной первой области сцены, с использованием указанного третьего источника изображения, при этом указанные значения цвета для указанной третьей области пикселей используют для формирования указанного третьего целевого изображения для отображения его указанному первому глазу,
формирование значений цвета для четвертой области пикселей, соответствующих указанной первой области сцены, с использованием указанного второго источника изображения, при этом указанные значения цвета для указанной четвертой области пикселей используют для формирования указанного четвертого целевого изображения для отображения его указанному второму глазу.
31. Устройство по п. 29 или 30, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
определение местоположений первого и второго виртуальных глаз, соответствующих указанным глазам пользователя в системе координат, с использованием указанной ориентации головы,
выбор указанных источников изображения на основе указанных местоположений указанных виртуальных глаз относительно местоположений источников изображения в указанной системе координат.
32. Устройство по п. 31, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
определение такого источника изображения для пикселя изображения для первого глаза пользователя, который будет близким источником изображения, удовлетворяющим критерию близости к виртуальному глазу, соответствующему указанному первому глазу, при этом указанный близкий источник изображения захватывает часть сцены, соответствующую указанному пикселю, и
определение источника изображения для пикселя изображения для указанного первого глаза пользователя, который будет другим источником, нежели указанный близкий источник изображения для указанного виртуального глаза, соответствующий указанному первому глазу, при этом указанный близкий источник изображения не захватывает часть сцены, соответствующую указанному пикселю.
33. Устройство по п. 29 или 30, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
такой рендеринг областей изображения для глаза, чтобы эти области соответствовали источникам изображения, при этом производится рендеринг этих областей в порядке близости источников изображения к виртуальному глазу, соответствующему указанному глазу в системе координат источника изображения.
34. Устройство по п. 33, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
объединение области указанного изображения на краях с использованием техники сшивания изображения.
35. Устройство по п. 34, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
объединение указанных областей указанных изображений путем блендирования краевых частей этих областей.
36. Устройство по п. 29 или 30, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
блендирование временного перемещения от изображения, сформированного с использованием указанного первого источника изображения, и изображения, сформированного с использованием указанного третьего источника изображения.
37. Устройство по п. 36, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
регулировку продолжительности блендирования временного перемещения путем использования информации о скорости перемещения головы.
38. Устройство по п. 29 или 30, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
определение аудио-информации для левого уха и аудио-информации для правого уха с использованием указанной информации об ориентации головы для модификации аудио-информации из двух или большего количества аудио-источников с использованием функции моделирования восприятия звука.
39. Устройство по п. 29 или 30, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
определение информации об ориентации источников для указанных источников изображения, и
использование указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для выбора указанных источников изображения.
40. Устройство по п. 38, содержащее компьютерный программный код, который заставляет устройство выполнять следующее:
определение информации об ориентации источников для указанных аудио-источников и
использование указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для модификации аудиоинформации из указанных аудио-источников.
41. Устройство по п. 29 или 30, в котором указанные источники изображения представляют собой камеры в реальном мире
42. Устройство по п. 29 или 30, в котором указанные источники изображения сформированы как выход компьютерного устройства с использованием виртуальных камер для рендеринга синтетических изображений.
43. Устройство по п. 29 или 30, в котором указанная ориентация головы связана с физической ориентацией головы пользователя.
44. Устройство по п. 29 или 30, в котором указанная ориентация головы связана с виртуальной ориентацией направления просмотра пользователем, которым управляет компьютерная программа или компьютерное устройство ввода.
45. Устройство по п. 29 или 30, в котором указанные стерео-изображения используются для формирования стерео-видео-последовательности.
46. Устройство, содержащее по меньшей мере один процессор, и память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении кода по меньшей мере одним процессором заставляют устройство выполнять по меньшей мере следующее:
определение ориентаций головы пользователя для формирования стерео-видео-последовательности сцены;
выбор первого источника изображения, второго источника изображения и третьего источника изображения на основе указанных ориентаций головы; и
рендеринг указанной стерео-видео-последовательности путем рендеринга последовательности изображений для левого глаза пользователя с использованием указанного первого источника изображения и указанного второго источника изображения и последовательности изображений для правого глаза пользователя с использованием указанного первого источника изображения и указанного третьего источника изображения, при этом указанный первый источник изображения используется для рендеринга различных областей указанной сцены для левого и правого глаз пользователя в каждом стерео-кадре указанной видео-последовательности.
47. Устройство, содержащее по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении их по меньшей мере одним процессором заставляют устройство выполнять по меньшей мере следующее:
кодирование множества видеосигналов источников для стерео-просмотра, при этом указанные видеосигналы источников содержат видеоданные из множества камер-источников, и указанные видеосигналы источников содержат сигналы для активной области сцены и сигналы для пассивной области сцены;
передачу указанного множества видеосигналов источника в устройство стерео-просмотра для просмотра;
при этом по меньшей мере одно из указанного кодирования и передачи выполняются так, чтобы в переданных видеосигналах источников указанные сигналы для активной области сцены кодировались с более высокой точностью, чем указанные сигналы для пассивной области сцены; при этом указанные сигналы для активной и пассивной областей сцены соответствуют такой ориентации головы пользователя, что указанные сигналы для активной области сцены соответствуют областям сцены, которые пользователь рассматривает, а указанные сигналы для пассивной области сцены соответствуют другим областям сцены.
48. Устройство по п. 47, указанные видеосигналы источников содержат по меньшей мере три сигнала активной области сцены, так чтобы указанные по меньшей мере три сигнала активной области сцены покрывали область сцены, так чтобы по меньшей мере две различные пары указанных сигналов активной области сцены могли использоваться для создания стереоскопического видеоизображения указанной области сцены.
49. Система, содержащая по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении кода по меньшей мере одним процессором заставляют систему выполнять по меньшей мере следующее:
определение ориентации головы пользователя с получением первой ориентации головы,
выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения,
рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,
определение ориентации головы указанного пользователя с получением второй ориентации головы,
выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения,
рендеринг второго стерео-изображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.
50. Считываемый компьютером носитель, содержащий компьютерный программный код, который при выполнении его по меньшей мере одним процессором заставляет устройство или систему выполнять следующее:
определение ориентации головы пользователя с получением первой ориентации головы,
выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения,
рендеринг первого стерео-изображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,
определение ориентации головы указанного пользователя с получением второй ориентации головы,
выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения,
рендеринг второго стерео-изображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.
51. Устройство, содержащее:
средство для определения ориентации головы пользователя с получением первой ориентации головы,
средство для выбора первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения,
средство для рендеринга первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,
средство для определения ориентации головы указанного пользователя с получением второй ориентации головы,
средство для выбора указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения,
средство для рендеринга второго стерео-изображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.
52. Устройство по п. 51, содержащее:
средство для формирования значений цвета для первой области пикселей, соответствующих первой области сцены, с использованием указанного первого источника изображения, при этом указанные значения цвета для указанной первой области пикселей используют для формирования указанного первого целевого изображения для отображения его первому глазу,
средство для формирования значений цвета для второй области пикселей, соответствующих указанной первой области сцены, с использованием указанного второго источника изображения, при этом указанные значения цвета для указанной второй области пикселей используют для формирования указанного второго целевого изображения для отображения его второму глазу,
средство для формирования значений цвета для третьей области пикселей, соответствующих указанной первой области сцены, с использованием указанного третьего источника изображения, при этом указанные значения цвета для указанной третьей области пикселей используют для формирования указанного третьего целевого изображения для отображения его указанному первому глазу,
средство для формирования значений цвета для четвертой области пикселей, соответствующих указанной первой области сцены, с использованием указанного второго источника изображения, при этом указанные значения цвета для указанной четвертой области пикселей используют для формирования указанного четвертого целевого изображения для отображения его указанному второму глазу.
53. Устройство по п. 51 или 52, содержащее:
средство для определения местоположений первого и второго виртуальных глаз, соответствующих указанным глазам пользователя в системе координат, с использованием указанной ориентации головы,
средство для выбора указанных источников изображения на основе указанных местоположений указанных виртуальных глаз относительно местоположений источников изображения в указанной системе координат.
54. Устройство по п. 53, содержащее:
средство для определения такого источника изображения для пикселя изображения для первого глаза пользователя, который будет близким источником изображения, удовлетворяющим критерию близости к виртуальному глазу, соответствующему указанному первому глазу, при этом указанный близкий источник изображения захватывает часть сцены, соответствующую указанному пикселю, и
средство для определения источника изображения для пикселя изображения для указанного первого глаза пользователя, который будет другим источником, нежели указанный близкий источник изображения для указанного виртуального глаза, соответствующий указанному первому глазу, при этом указанный близкий источник изображения не захватывает часть сцены, соответствующую указанному пикселю.
55. Устройство по п. 51 или 52, содержащее:
средство для такого рендеринга областей изображения для глаза, чтобы эти области соответствовали источникам изображения, при этом производится рендеринг этих областей в порядке близости источников изображения к виртуальному глазу, соответствующему указанному глазу в системе координат источника изображения.
56. Устройство по п. 55, содержащее средство для объединения области указанного изображения на краях с использованием техники сшивания изображения.
57. Устройство по п. 56, содержащее средство для объединения указанных областей указанных изображений путем блендирования краевых частей этих областей.
58. Устройство по п. 51 или 52, содержащее:
средство для блендирования временного перемещения от изображения, сформированного с использованием указанного первого источника изображения, и изображения, сформированного с использованием указанного третьего источника изображения.
59. Устройство по п. 58, содержащее:
средство для регулировки продолжительности блендирования временного перемещения путем использования информации о скорости перемещения головы.
60. Устройство по п. 51 или 52, содержащее:
средство для определения аудио-информации для левого уха и аудио-информации для правого уха с использованием указанной информации об ориентации головы для модификации аудио-информации из двух или большего количества аудио-источников с использованием функции моделирования восприятия звука.
61. Устройство по п. 51 или 52, содержащее:
средство для определения информации об ориентации источников для указанных источников изображения, и
средство для использования указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для выбора указанных источников изображения.
62. Устройство по п. 60, содержащее:
средство для определения информации об ориентации источников для указанных аудио-источников и
средство для использования указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для модификации аудио-информации из указанных аудио-источников.
63. Устройство по п. 51 или 52, в котором указанные источники изображения представляют собой камеры в реальном мире.
64. Устройство по п. 51 или 52, в котором указанные источники изображения сформированы как выход компьютерного устройства с использованием виртуальных камер для рендеринга синтетических изображений.
65. Устройство по п. 51 или 52, в котором указанная ориентация головы связана с физической ориентацией головы пользователя.
66. Устройство по п. 51 или 52, в котором указанная ориентация головы связана с виртуальной ориентацией направления просмотра пользователем, которым управляет компьютерная программа или компьютерное устройство ввода.
67. Устройство по п. 51 или 52, в котором указанные стерео-изображения используются для формирования стерео-видео-последовательности.
68. Устройство, содержащее:
средство для определения ориентаций головы пользователя для формирования стерео-видео-последовательности сцены;
средство для выбора первого источника изображения, второго источника изображения и третьего источника изображения на основе указанных ориентаций головы; и
средство для рендеринга указанной стерео-видео-последовательности путем рендеринга последовательности изображений для левого глаза пользователя с использованием указанного первого источника изображения и указанного второго источника изображения и последовательности изображений для правого глаза пользователя с использованием указанного первого источника изображения и указанного третьего источника изображения, при этом указанный первый источник изображения используется для рендеринга различных областей указанной сцены для левого и правого глаз пользователя в каждом стерео-кадре указанной видео-последовательности.
69. Устройство, содержащее:
средство для кодирования множества видеосигналов источников для стерео-просмотра, при этом указанные видеосигналы источников содержат видеоданные из множества камер-источников, и указанные видеосигналы источников содержат сигналы для активной области сцены и сигналы для пассивной области сцены;
средство для передачи указанного множества видеосигналов источника в устройство стерео-просмотра для просмотра;
при этом по меньшей мере одно из указанного кодирования и передачи выполняется так, чтобы в переданных видеосигналах источников указанные сигналы для активной области сцены кодировались с более высокой точностью, чем указанные сигналы для пассивной области сцены; при этом указанные сигналы для активной и пассивной областей сцены соответствуют такой ориентации головы пользователя, что указанные сигналы для активной области сцены соответствуют областям сцены, которые пользователь рассматривает, а указанные сигналы для пассивной области сцены соответствуют другим областям сцены.
70. Устройство по п. 69, в котором указанные видеосигналы источников содержат по меньшей мере три сигнала активной области сцены, так чтобы указанные по меньшей мере три сигнала активной области сцены покрывали область сцены, так чтобы по меньшей мере две различные пары указанных сигналов активной области сцены могли использоваться для создания стереоскопического видеоизображения указанной области сцены.
71. Способ, включающий:
определение ориентации головы пользователя с получением первой ориентации головы,
выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения,
рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,
определение ориентации головы указанного пользователя с получением второй ориентации головы,
выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения,
рендеринг второго стерео-изображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения,
блендирование временного перемещения от изображения, сформированного с использованием указанного первого источника изображения, и изображения, сформированного с использованием указанного третьего источника изображения.
72. Способ по п. 71, включающий:
регулировку продолжительности блендирования временного перемещения путем использования информации о скорости перемещения головы.
73. Способ, включающий:
определение ориентации головы пользователя с получением первой ориентации головы,
выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения,
рендеринг первого стерео-изображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,
определение ориентации головы указанного пользователя с получением второй ориентации головы,
выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения,
рендеринг второго стерео-изображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения,
определение информации об ориентации источников для указанных источников изображения, и
использование указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для выбора указанных источников изображения.
74. Способ, включающий:
определение ориентации головы пользователя с получением первой ориентации головы,
выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения,
рендеринг первого стерео-изображения путем рендеринга первого целевого изображения для одного глаза пользователя с использованием указанного первого источника изображения и путем рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения,
определение ориентации головы указанного пользователя с получением второй ориентации головы,
выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения,
рендеринг второго стерео-изображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и путем рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения, при этом
формирование указанных первого, второго и третьего источников изображения как выхода компьютерного устройства с использованием виртуальной камеры для рендеринга синтетического изображения для указанных первого, второго и третьего источников изображения.
RU2016141397A 2014-04-07 2015-03-19 Стереопросмотр RU2665872C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1406201.2 2014-04-07
GB1406201.2A GB2525170A (en) 2014-04-07 2014-04-07 Stereo viewing
PCT/FI2015/050184 WO2015155406A1 (en) 2014-04-07 2015-03-19 Stereo viewing

Publications (3)

Publication Number Publication Date
RU2016141397A3 RU2016141397A3 (ru) 2018-05-08
RU2016141397A true RU2016141397A (ru) 2018-05-08
RU2665872C2 RU2665872C2 (ru) 2018-09-04

Family

ID=50776915

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016141397A RU2665872C2 (ru) 2014-04-07 2015-03-19 Стереопросмотр

Country Status (13)

Country Link
US (3) US10455221B2 (ru)
EP (3) EP3130143B1 (ru)
JP (1) JP2017518663A (ru)
KR (1) KR101885979B1 (ru)
CN (1) CN106165415B (ru)
AU (1) AU2015245446B2 (ru)
CA (1) CA2943856C (ru)
GB (1) GB2525170A (ru)
MX (1) MX369376B (ru)
PH (1) PH12016501960A1 (ru)
RU (1) RU2665872C2 (ru)
WO (1) WO2015155406A1 (ru)
ZA (1) ZA201607530B (ru)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2543549C2 (ru) * 2013-07-09 2015-03-10 Сергей Александрович Соболев Телевизионный многоракурсный способ получения, передачи и приема стереоинформации о наблюдаемом пространстве с его автоматическим измерением. система "третий глаз"
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
US9332285B1 (en) 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
TW201637432A (zh) * 2015-04-02 2016-10-16 Ultracker Technology Co Ltd 即時影像縫合裝置及即時影像縫合方法
CN106612426B (zh) * 2015-10-26 2018-03-16 华为技术有限公司 一种多视点视频传输方法及装置
TWI555378B (zh) * 2015-10-28 2016-10-21 輿圖行動股份有限公司 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN106657961B (zh) * 2015-10-30 2020-01-10 微软技术许可有限责任公司 立体视频的混合数字-模拟编码
SG11201803682RA (en) 2015-11-11 2018-06-28 Sony Corp Encoding apparatus and encoding method, decoding apparatus and decoding method
CN105915877A (zh) * 2015-12-27 2016-08-31 乐视致新电子科技(天津)有限公司 一种三维视频的自由观影方法及设备
US20170195560A1 (en) * 2015-12-31 2017-07-06 Nokia Technologies Oy Method and apparatus for generating a panoramic view with regions of different dimensionality
KR102360179B1 (ko) * 2016-02-02 2022-02-08 삼성전자주식회사 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라
KR102381370B1 (ko) 2016-02-19 2022-03-31 삼성전자주식회사 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스
GB2547689A (en) * 2016-02-26 2017-08-30 Nokia Technologies Oy A multi-camera device and a calibration method
GB2548860A (en) * 2016-03-31 2017-10-04 Nokia Technologies Oy Multi-camera image coding
US10666941B1 (en) * 2016-04-06 2020-05-26 Ambarella International Lp Low bitrate encoding of panoramic video to support live streaming over a wireless peer-to-peer connection
US10601889B1 (en) * 2016-04-06 2020-03-24 Ambarella International Lp Broadcasting panoramic videos from one server to multiple endpoints
CN107316273B (zh) * 2016-04-27 2021-05-18 深圳看到科技有限公司 全景图像采集装置及采集方法
US10757790B2 (en) * 2016-06-10 2020-08-25 Intel Corporation Sensor hub apparatus and method for sensing ambient light and audio conditions
GB2556017A (en) * 2016-06-21 2018-05-23 Nokia Technologies Oy Image compression method and technical equipment for the same
GB2551526A (en) 2016-06-21 2017-12-27 Nokia Technologies Oy Image encoding method and technical equipment for the same
GB2556319A (en) * 2016-07-14 2018-05-30 Nokia Technologies Oy Method for temporal inter-view prediction and technical equipment for the same
KR102317683B1 (ko) * 2016-07-28 2021-10-26 삼성전자주식회사 영상을 처리하는 방법, 디바이스 및 기록매체
CN109891850B (zh) * 2016-09-09 2023-04-04 Vid拓展公司 用于减少360度视区自适应流媒体延迟的方法和装置
JP6732617B2 (ja) * 2016-09-21 2020-07-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
US10346950B2 (en) * 2016-10-05 2019-07-09 Hidden Path Entertainment, Inc. System and method of capturing and rendering a stereoscopic panorama using a depth buffer
GB2555139A (en) * 2016-10-21 2018-04-25 Nokia Technologies Oy Detecting the presence of wind noise
AU2017345780B2 (en) * 2016-10-21 2022-11-17 Magic Leap, Inc. System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views
GB2556910A (en) * 2016-11-25 2018-06-13 Nokia Technologies Oy Virtual reality display
US10416757B2 (en) * 2016-12-08 2019-09-17 Raymond Maurice Smit Telepresence system
US11636572B2 (en) 2016-12-29 2023-04-25 Nokia Technologies Oy Method and apparatus for determining and varying the panning speed of an image based on saliency
US11836285B2 (en) * 2017-03-10 2023-12-05 Kenneth Perlin System for a spectator to view a virtual reality of a performer and method
US11218683B2 (en) 2017-03-22 2022-01-04 Nokia Technologies Oy Method and an apparatus and a computer program product for adaptive streaming
US10547704B2 (en) * 2017-04-06 2020-01-28 Sony Interactive Entertainment Inc. Predictive bitrate selection for 360 video streaming
KR102402046B1 (ko) * 2017-04-28 2022-05-26 삼성전자주식회사 콘텐츠를 제공하기 위한 방법 및 이를 위한 장치
EP3616400A4 (en) * 2017-04-28 2020-05-13 Samsung Electronics Co., Ltd. METHOD FOR PROVIDING CONTENT AND DEVICE THEREFOR
WO2018199701A1 (en) 2017-04-28 2018-11-01 Samsung Electronics Co., Ltd. Method for providing content and apparatus therefor
CN109327699B (zh) * 2017-07-31 2021-07-16 华为技术有限公司 一种图像的处理方法、终端和服务器
CN107491172B (zh) * 2017-08-16 2020-10-09 歌尔科技有限公司 体感数据获取方法、装置及电子设备
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
US11303814B2 (en) * 2017-11-09 2022-04-12 Qualcomm Incorporated Systems and methods for controlling a field of view
US11087527B2 (en) * 2017-12-01 2021-08-10 Koninklijke Kpn N.V. Selecting an omnidirectional image for display
JP7339259B2 (ja) * 2017-12-20 2023-09-05 レイア、インコーポレイテッド クロスレンダリングマルチビューカメラ、システム、及び方法
US10623725B2 (en) * 2018-01-03 2020-04-14 Votanic Ltd. 3D glasses incorporating real-time tracking
EP3509308A1 (en) * 2018-01-05 2019-07-10 Koninklijke Philips N.V. Apparatus and method for generating an image data bitstream
JPWO2019155934A1 (ja) * 2018-02-09 2021-01-28 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10659815B2 (en) 2018-03-08 2020-05-19 At&T Intellectual Property I, L.P. Method of dynamic adaptive streaming for 360-degree videos
CN116708847A (zh) 2018-03-22 2023-09-05 Vid拓展公司 方法、系统及非暂时性计算机可读介质
KR20190118040A (ko) 2018-04-09 2019-10-17 삼성전자주식회사 웨어러블 디스플레이 장치 및 그의 입체 영상 표시 방법
US11917127B2 (en) 2018-05-25 2024-02-27 Interdigital Madison Patent Holdings, Sas Monitoring of video streaming events
EP3576407A1 (en) * 2018-05-31 2019-12-04 Nokia Technologies Oy Stereoscopic content
US10628957B2 (en) 2018-06-18 2020-04-21 Google Llc Vision-enhanced pose estimation
US10902556B2 (en) 2018-07-16 2021-01-26 Nvidia Corporation Compensating for disparity variation when viewing captured multi video image streams
US10412361B1 (en) * 2018-07-16 2019-09-10 Nvidia Corporation Generated stereoscopic video using zenith and nadir view perspectives
CN109040601B (zh) * 2018-09-05 2020-06-26 清华-伯克利深圳学院筹备办公室 一种多尺度非结构化的十亿像素vr全景摄影系统
CN109407828A (zh) * 2018-09-11 2019-03-01 上海科技大学 一种凝视点估计方法及系统、存储介质及终端
EP3629585A1 (en) * 2018-09-25 2020-04-01 Koninklijke Philips N.V. Image synthesis
US20210297649A1 (en) * 2018-09-28 2021-09-23 Sony Interactive Entertainment Inc. Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method
US10818077B2 (en) * 2018-12-14 2020-10-27 Canon Kabushiki Kaisha Method, system and apparatus for controlling a virtual camera
DE102019101192A1 (de) * 2019-01-17 2020-07-23 Innogy Se Kamerasystem und Heimautomatisierungssystem mit einem Kamerasystem
EP3690822A1 (en) 2019-01-30 2020-08-05 Koninklijke Philips N.V. Image representation of a scene
JP7212073B2 (ja) * 2019-02-07 2023-01-24 マクセル株式会社 複合入出射装置
EP3931625A4 (en) 2019-02-28 2022-11-23 Magic Leap, Inc. DISPLAY SYSTEM AND METHOD FOR DELIVERING VARIABLE ACCOMMODATION CURITIES USING MULTIPLE PARALLAX INTRA-PUPILAL VIEWS SHAPED BY LIGHT EMITTER ARRANGEMENTS
CA3086502A1 (en) * 2019-07-09 2021-01-09 Interaptix Inc. System and method for corrected video-see-through for head mounted displays
US11336832B1 (en) * 2019-08-30 2022-05-17 Gopro, Inc. Systems and methods for horizon leveling videos
US10893218B1 (en) 2019-09-20 2021-01-12 Gopro, Inc. Systems and methods for generating panoramic visual content
US11301035B1 (en) 2019-09-27 2022-04-12 Apple Inc. Method and device for video presentation
CN111061123B (zh) * 2019-12-25 2022-02-15 重庆特斯联智慧科技股份有限公司 一种旅游景观展示的旋转全景成像系统及使用方法
CN111294517B (zh) 2020-03-03 2021-12-17 荣耀终端有限公司 一种图像处理的方法及移动终端
KR20210143607A (ko) * 2020-05-20 2021-11-29 삼성전자주식회사 이미지 생성 장치 및 방법
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
US11750930B1 (en) * 2022-03-17 2023-09-05 Honeywell International Inc. Panoramic vision system with parallax mitigation

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3225651A (en) 1964-11-12 1965-12-28 Wallace A Clay Methods of stereoscopic reproduction of images
JPH0646313A (ja) * 1992-07-21 1994-02-18 Fujita Corp テレビカメラシステム
US6327381B1 (en) * 1994-12-29 2001-12-04 Worldscape, Llc Image transformation and synthesis methods
US5684531A (en) * 1995-04-10 1997-11-04 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Ranging apparatus and method implementing stereo vision system
US5703604A (en) * 1995-05-22 1997-12-30 Dodeca Llc Immersive dodecaherdral video viewing system
US5657073A (en) * 1995-06-01 1997-08-12 Panoramic Viewing Systems, Inc. Seamless multi-camera panoramic imaging with distortion correction and selectable field of view
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JP2000506687A (ja) 1996-03-29 2000-05-30 サーノフ コーポレイション 知覚量を用いて符号化を最適化し自動操作可能な画像圧縮を実行する装置及び方法
JPH11164326A (ja) 1997-11-26 1999-06-18 Oki Electric Ind Co Ltd パノラマステレオ画像生成表示方法及びそのプログラムを記録した記録媒体
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US20020046218A1 (en) 1999-06-23 2002-04-18 Scott Gilbert System for digitally capturing and recording panoramic movies
IL149724A0 (en) 1999-12-31 2002-11-10 Yissum Res Dev Co Streo panoramic camera arrangements for recording panoramic images useful in a stereo panoramic image pair
JP3569661B2 (ja) 2000-06-05 2004-09-22 株式会社スクウェア・エニックス ゲームのプログラムを記録したコンピュータ読み取り可能な記録媒体、ゲーム処理方法およびゲーム処理装置
IL139995A (en) * 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
JP2002171460A (ja) 2000-11-30 2002-06-14 Sony Corp 再生装置
AU2002254217A1 (en) 2001-02-24 2002-09-12 Eyesee360, Inc. Method and apparatus for processing photographic images
JP4158344B2 (ja) 2001-02-28 2008-10-01 ソニー株式会社 画像入力装置
JP2002354505A (ja) 2001-05-29 2002-12-06 Vstone Kk 立体視システム
US6947059B2 (en) 2001-08-10 2005-09-20 Micoy Corporation Stereoscopic panoramic image capture device
US6583808B2 (en) * 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing
US20030067476A1 (en) 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
JP2004072694A (ja) * 2002-08-09 2004-03-04 Sony Corp 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム
ATE353633T1 (de) * 2002-12-19 2007-03-15 Pharmacia Corp Nicht-hygroskopische formulierung, die einen hygroskopischen wirkstoff enthält
US7154157B2 (en) 2002-12-30 2006-12-26 Intel Corporation Stacked semiconductor radiation sensors having color component and infrared sensing capability
AU2003214899A1 (en) * 2003-01-24 2004-08-23 Micoy Corporation Stereoscopic Panoramic Image Capture Device
US8299979B2 (en) * 2003-05-14 2012-10-30 Broadcom Corporation Integral eye-path alignment on telephony and computer video devices using two or more image sensing devices
US7463280B2 (en) * 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
US7506267B2 (en) * 2003-12-23 2009-03-17 Intel Corporation Compose rate reduction for displays
US20070103558A1 (en) 2005-11-04 2007-05-10 Microsoft Corporation Multi-view video delivery
US7542210B2 (en) * 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
JP4888919B2 (ja) 2006-12-13 2012-02-29 シャープ株式会社 動画像符号化装置および動画像復号装置
RU2375840C2 (ru) * 2007-04-19 2009-12-10 Владимир Семенович Леонов Способ формирования трехмерного цветного виртуального видеоизображения и устройство для создания эффекта виртуальной реальности у пользователя (варианты)
US20080298674A1 (en) * 2007-05-29 2008-12-04 Image Masters Inc. Stereoscopic Panoramic imaging system
US20090096927A1 (en) 2007-10-15 2009-04-16 Camp Jr William O System and method for video coding using variable compression and object motion tracking
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
CN101414054B (zh) 2008-11-21 2010-12-15 浙江大学 利用全景环带成像透镜实现立体成像装置及其方法
US20100220215A1 (en) 2009-01-12 2010-09-02 Jorge Rubinstein Video acquisition and processing systems
JP5676487B2 (ja) 2009-02-13 2015-02-25 コーニンクレッカ フィリップス エヌ ヴェ モバイル用途のための頭部追跡
US20130176403A1 (en) * 2011-08-16 2013-07-11 Kenneth Varga Heads up display (HUD) sensor system
US8274544B2 (en) 2009-03-23 2012-09-25 Eastman Kodak Company Automated videography systems
US8164524B2 (en) * 2009-07-27 2012-04-24 Auden Techno Corp. Built-in straight mobile antenna type dual band antenna assembly with improved HAC performance
US8502860B2 (en) 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
JP5679978B2 (ja) 2010-03-19 2015-03-04 パナソニックIpマネジメント株式会社 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム
US8213708B2 (en) 2010-03-22 2012-07-03 Eastman Kodak Company Adjusting perspective for objects in stereoscopic images
EP2408196B1 (en) 2010-07-14 2017-01-11 Alcatel Lucent A method, server and terminal for generating a composite view from multiple content items
US20130125155A1 (en) 2010-07-26 2013-05-16 Thomson Licensing Dynamic adaptation of displayed video quality based on viewers' context
WO2012021129A1 (en) * 2010-08-10 2012-02-16 Sony Computer Entertainment Inc. 3d rendering for a rotated viewer
US8493390B2 (en) 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US9118928B2 (en) * 2011-03-04 2015-08-25 Ati Technologies Ulc Method and system for providing single view video signal based on a multiview video coding (MVC) signal stream
EP2689394A1 (en) * 2011-03-22 2014-01-29 Analogic Corporation Compound object separation
EP2695385B8 (en) * 2011-04-08 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
TWI442166B (zh) 2011-06-09 2014-06-21 Metal Ind Res & Dev Ct 一種單照相機全景立體成像系統
EP2536143B1 (en) * 2011-06-16 2015-01-14 Axis AB Method and a digital video encoder system for encoding digital video data
JP5414946B2 (ja) 2011-06-16 2014-02-12 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
US8184069B1 (en) * 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
US20130201296A1 (en) * 2011-07-26 2013-08-08 Mitchell Weiss Multi-camera head
JP5996169B2 (ja) 2011-07-27 2016-09-21 オリンパス株式会社 画像処理システム、情報処理装置及びプログラム
MX335982B (es) 2011-08-09 2016-01-07 Samsung Electronics Co Ltd Metodo y aparato de codificacion de datos de video de vistas multiples y metodo y aparato de decodificacion.
JP5367034B2 (ja) 2011-08-24 2013-12-11 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
CN103018903A (zh) * 2011-09-23 2013-04-03 奇想创造事业股份有限公司 具有显示方位锁定装置的头戴式显示器及其显示方法
TW201322179A (zh) 2011-11-28 2013-06-01 Hon Hai Prec Ind Co Ltd 街景建立系統及街景建立方法
US20130222590A1 (en) * 2012-02-27 2013-08-29 Honeywell International Inc. Methods and apparatus for dynamically simulating a remote audiovisual environment
JP5920708B2 (ja) 2012-02-29 2016-05-18 国立大学法人名古屋大学 多視点映像ストリーム視聴システムおよび方法
JP5938977B2 (ja) 2012-03-23 2016-06-22 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
US20130258044A1 (en) 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
JP6122260B2 (ja) * 2012-07-09 2017-04-26 キヤノン株式会社 画像処理装置及びその方法とプログラム
ITRM20120329A1 (it) 2012-07-12 2012-10-11 Virtualmind Di Davide Angelelli Videocamera per riprese immersive/sferiche a 360° con 6-11 ottiche a 5-10 megapixel con geolocalizzazione gps
US9225942B2 (en) * 2012-10-11 2015-12-29 GM Global Technology Operations LLC Imaging surface modeling for camera modeling and virtual view synthesis
US9185437B2 (en) * 2012-11-01 2015-11-10 Microsoft Technology Licensing, Llc Video data
US9317764B2 (en) 2012-12-13 2016-04-19 Qualcomm Incorporated Text image quality based feedback for improving OCR
US9413930B2 (en) 2013-03-14 2016-08-09 Joergen Geerds Camera system
WO2015025309A1 (en) 2013-08-20 2015-02-26 Smarter Tv Ltd. System and method for real-time processing of ultra-high resolution digital video
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing

Also Published As

Publication number Publication date
GB2525170A (en) 2015-10-21
EP3130143A4 (en) 2017-12-27
CN106165415A (zh) 2016-11-23
KR101885979B1 (ko) 2018-08-06
US10645369B2 (en) 2020-05-05
KR20160143746A (ko) 2016-12-14
US20170118458A1 (en) 2017-04-27
AU2015245446B2 (en) 2019-04-04
US10455221B2 (en) 2019-10-22
AU2015245446A1 (en) 2016-09-22
US20170155884A1 (en) 2017-06-01
MX2016012988A (es) 2016-12-07
EP3130143A1 (en) 2017-02-15
MX369376B (es) 2019-11-07
PH12016501960A1 (en) 2017-01-09
RU2016141397A3 (ru) 2018-05-08
CA2943856C (en) 2020-08-18
EP3206398A1 (en) 2017-08-16
GB201406201D0 (en) 2014-05-21
WO2015155406A1 (en) 2015-10-15
EP3206397B1 (en) 2020-01-08
EP3130143B1 (en) 2020-08-12
US20170163970A1 (en) 2017-06-08
US11575876B2 (en) 2023-02-07
RU2665872C2 (ru) 2018-09-04
CA2943856A1 (en) 2015-10-15
EP3206398B1 (en) 2019-07-24
CN106165415B (zh) 2020-12-04
EP3206397A1 (en) 2017-08-16
ZA201607530B (en) 2019-04-24
JP2017518663A (ja) 2017-07-06

Similar Documents

Publication Publication Date Title
RU2016141397A (ru) Стерео-просмотр
KR20180101165A (ko) 파노라마 프레임으로의 프레임 스티칭
US20150002636A1 (en) Capturing Full Motion Live Events Using Spatially Distributed Depth Sensing Cameras
JP4903888B2 (ja) 画像表示装置、画像表示方法、および画像補正方法
JP2017505565A (ja) 多面映像の生成方法及びシステム
US10885651B2 (en) Information processing method, wearable electronic device, and processing apparatus and system
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
CN107545537A (zh) 一种从稠密点云生成3d全景图片的方法
US20170171534A1 (en) Method and apparatus to display stereoscopic image in 3d display system
US9258546B2 (en) Three-dimensional imaging system and image reproducing method thereof
US20140347352A1 (en) Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
US10110876B1 (en) System and method for displaying images in 3-D stereo
JP6685241B2 (ja) 立体視ビデオ生成
JP5222407B2 (ja) 画像表示装置、画像表示方法、および画像補正方法
JP6200316B2 (ja) 画像生成方法、画像生成装置及び画像生成プログラム
KR20170100229A (ko) 다시점 영상 디스플레이 시스템
JP6490107B2 (ja) 立体視ビデオズーミング
KR20170059879A (ko) 입체 영상 촬영 장치
CN113382225B (zh) 一种基于全息沙盘的双目全息展示方法及装置
JP2024062935A (ja) 立体視表示コンテンツを生成する方法および装置
JP2017525198A (ja) 立体視深度調節及び焦点調節
CN109729335A (zh) 一种视差调整的方法、装置及系统
KR20170123741A (ko) 사용자 인터랙션 기반 3차원 디스플레이 시스템