RU2782312C1 - Image processing method and display device mounted on the head - Google Patents
Image processing method and display device mounted on the head Download PDFInfo
- Publication number
- RU2782312C1 RU2782312C1 RU2021130378A RU2021130378A RU2782312C1 RU 2782312 C1 RU2782312 C1 RU 2782312C1 RU 2021130378 A RU2021130378 A RU 2021130378A RU 2021130378 A RU2021130378 A RU 2021130378A RU 2782312 C1 RU2782312 C1 RU 2782312C1
- Authority
- RU
- Russia
- Prior art keywords
- image
- camera
- module
- head
- display device
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 230000003287 optical Effects 0.000 claims description 62
- 230000000875 corresponding Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 description 17
- 238000000034 method Methods 0.000 description 15
- 239000000203 mixture Substances 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000002156 mixing Methods 0.000 description 10
- 210000003128 Head Anatomy 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 8
- 239000002131 composite material Substances 0.000 description 6
- 230000000051 modifying Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 4
- 210000001747 Pupil Anatomy 0.000 description 3
- 230000003190 augmentative Effects 0.000 description 3
- 235000019800 disodium phosphate Nutrition 0.000 description 3
- 230000001965 increased Effects 0.000 description 3
- 230000001537 neural Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 210000004556 Brain Anatomy 0.000 description 1
- 208000002173 Dizziness Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement Effects 0.000 description 1
- 230000002708 enhancing Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006011 modification reaction Methods 0.000 description 1
- 210000002569 neurons Anatomy 0.000 description 1
- RZVAJINKPMORJF-UHFFFAOYSA-N p-acetaminophenol Chemical compound CC(=O)NC1=CC=C(O)C=C1 RZVAJINKPMORJF-UHFFFAOYSA-N 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001702 transmitter Effects 0.000 description 1
Images
Abstract
Description
Эта заявка испрашивает приоритет китайской заявки на патент № 201910228846.3, поданной в Национальное управление интеллектуальной собственности Китая 25 марта 2019 г. И озаглавленной "Способ обработки изображения и устройство отображения, устанавливаемое на голове", которая полностью включена в настоящий документ посредством ссылки.This application claims the priority of Chinese Patent Application No. 201910228846.3 filed with the National Intellectual Property Administration of China on March 25, 2019 and entitled "Image Processing Method and Head-mounted Display Device", which is hereby incorporated by reference in its entirety.
Область техники, к которой относится изобретениеThe technical field to which the invention belongs
Эта заявка относится к области коммуникационных технологий и, в частности, к способу обработки изображения и устройству отображения, устанавливаемому на голову.This application relates to the field of communication technology and, in particular, to an image processing method and a head-mounted display device.
Уровень техникиState of the art
Дополненная реальность (Augmented Reality, AR) – это технология, которая вычисляет местоположение и угол камеры видео в реальном времени и добавляет соответствующее изображение, видео или 3D (трехмерную) модель. Типичное устройство отображения, устанавливаемое на голове, на основе перспективы видео (или называемое дисплеем, устанавливаемым на голову (Head-mounted display, HMD)), может захватывать реальное изображение сцены с помощью камеры, а затем объединять захваченное изображение с виртуальным объектом и отображать составное изображение на экране устанавливаемого на голове устройства отображения.Augmented Reality (AR) is a technology that calculates the location and camera angle of a live video and adds the corresponding image, video, or 3D (three-dimensional) model. A typical head-mounted display device based on video perspective (or called a head-mounted display (HMD)) can capture a real image of a scene with a camera, and then combine the captured image with a virtual object and display the composite the image on the screen of a head-mounted display device.
Когда пользователь носит устанавливаемое на голове устройство отображения, экран устанавливаемого на голове устройства отображения находится близко к человеческим глазам, и когда человеческий глаз чувствует оптимальную четкость, угловое разрешение изображения может достигать 60 PPD (пикселей на градус). Однако ни одно существующее устанавливаемое на голове устройство отображения не может удовлетворить требованиям к разрешению. Если разрешение реального изображения сцены, захваченного камерой, улучшается, то существенно увеличивается объем данных при обработке изображения и сложность обработки изображения, вызывая такие проблемы, как увеличенная задержка отображения и головокружение пользователя.When the user wears the head-mounted display device, the screen of the head-mounted display device is close to human eyes, and when the human eye senses optimal clarity, the image angular resolution can reach 60 PPD (pixels per degree). However, no existing head-mounted display device can satisfy the resolution requirement. If the resolution of the actual image of the scene captured by the camera is improved, the amount of image processing data and the complexity of image processing are greatly increased, causing problems such as increased display lag and user dizziness.
Сущность изобретенияThe essence of the invention
В настоящей заявке предложен способ обработки изображения и устройство отображения, устанавливаемое на голове, чтобы удовлетворить требования к просмотру изображения пользователем с помощью устройства отображения, устанавливаемого на голове, а также помочь уменьшить объем данных и задержку отображения.The present application proposes an image processing method and a head-mounted display device to meet the requirements for viewing an image by a user using a head-mounted display device, and to help reduce data volume and display delay.
В соответствии с первым аспектом в этой заявке предложен способ обработки изображения, применяемый в устройстве отображения, устанавливаемом на голове. В устройстве отображения, устанавливаемом на голове, расположено два модуля, причем каждый модуль включает в себя модуль камеры, экран дисплея, соответствующий модулю камеры, и модуль обработки, причем модуль камеры включает в себя первую камеру и вторую камеру, при этом поле обзора первой камеры больше, чем поле обзора второй камеры, и каждый модуль выполняет следующий способ: в ответ на обнаруженную операцию запуска первая камера собирает первое изображение первого разрешения, а вторая камера собирает второе изображение второго разрешения, где первое разрешение меньше второго; модуль обработки генерирует четвертое изображение на основе первого изображения и второго изображения, где четвертое изображение является реальным изображением сцены и включает в себя изображение первого разрешения и изображение второго разрешения; модуль обработки генерирует пятое изображение на основе четвертого изображения и третьего изображения, которое включает в себя виртуальный объект, где пятое изображение включает в себя реальное изображение сцены и виртуальный объект; и на экране дисплея модуля отображают пятое изображение.According to a first aspect, this application proposes an image processing method for use in a head-mounted display device. The head-mounted display device has two modules, each module including a camera module, a display screen corresponding to the camera module, and a processing module, the camera module including a first camera and a second camera, the field of view of the first camera greater than the field of view of the second camera, and each module performs the following method: in response to the detected trigger operation, the first camera collects the first image of the first resolution, and the second camera collects the second image of the second resolution, where the first resolution is less than the second; the processing module generates a fourth image based on the first image and the second image, where the fourth image is a real scene image and includes a first resolution image and a second resolution image; the processing module generates a fifth image based on the fourth image and the third image that includes the virtual object, where the fifth image includes the real scene image and the virtual object; and the fifth image is displayed on the display screen of the module.
Понятно, что, поскольку поле обзора первого изображения, полученного первой камерой, велико, то поле обзора фоновой области на пятом изображении велико, так что для пользователя может быть обеспечен более широкий угол обзора, тем самым отвечая требованию сравнительно широкого поля зрения человеческого глаза. Кроме того, поскольку второе разрешение второго изображения, захваченного второй камерой, является высоким, изображение центральной области в пятом изображении имеет высокое разрешение, так что пользователю может быть предоставлено изображение высокой четкости в пределах глубины резкости линии обзора. Понятно, что техническое решение, представленное в этой заявке, помогает улучшить ощущение погружения, ощущение реальности и визуальный опыт пользователя.It is understood that since the field of view of the first image acquired by the first camera is large, the field of view of the background area in the fifth image is large, so that a wider viewing angle can be provided to the user, thereby meeting the requirement of a relatively wide field of view of the human eye. In addition, since the second resolution of the second image captured by the second camera is high, the image of the central region in the fifth image has a high resolution, so that a user can be provided with a high-definition image within the depth of field of the line of sight. It is understood that the technical solution presented in this application helps to improve the sense of immersion, the sense of reality and the visual experience of the user.
Кроме того, поскольку первое разрешение первого изображения, полученного первой камерой, низкое, изображение фоновой области в пятом изображении имеет низкое разрешение, так что может быть уменьшен объем данных во время обработки изображения и сложность вычислений, тем самым помогая уменьшить задержку при отображении.In addition, since the first resolution of the first image acquired by the first camera is low, the image of the background area in the fifth image has a low resolution, so that the amount of data during image processing and computational complexity can be reduced, thereby helping to reduce display latency.
В возможной реализации расстояние от оптического центра первой камеры одного модуля до оптического центра первой камеры другого модуля составляет от 61 миллиметра до 65 миллиметров.In a possible implementation, the distance from the optical center of the first chamber of one module to the optical center of the first chamber of another module is between 61 millimeters and 65 millimeters.
Понятно, что расстояние между первыми камерами в двух модулях камеры может согласовываться с расстоянием между зрачками двух глаз пользователя, так что можно смоделировать реальную сцену, просматриваемую двумя глазами пользователя.It is understood that the distance between the first cameras in the two camera modules can be consistent with the distance between the pupils of the user's two eyes, so that the real scene viewed by the user's two eyes can be simulated.
В возможной реализации расстояние от оптического центра первой камеры до оптического центра второй камеры в каждом модуле составляет менее 20 миллиметров.In a possible implementation, the distance from the optical center of the first chamber to the optical center of the second chamber in each module is less than 20 millimeters.
Понятно, что вторые камеры в двух модулях камер используют для получения изображений в областях визуальной фокусировки пользователя. Следовательно, в одном и том же модуле камеры вторая камера находится как можно ближе к первой камере.It will be understood that the second cameras in the two camera modules are used to acquire images in areas of visual focus of the user. Therefore, in the same camera module, the second camera is as close as possible to the first camera.
В возможной реализации каждый модуль также включает в себя окуляр, а экран дисплея расположен между окуляром и модулем камеры.In an exemplary implementation, each module also includes an eyepiece and a display screen is positioned between the eyepiece and the camera module.
В возможной реализации оптический центр окуляра, оптический центр экрана дисплея и оптический центр первой камеры в каждом модуле расположены на прямой линии.In an exemplary embodiment, the optical center of the eyepiece, the optical center of the display screen, and the optical center of the first camera in each module are in a straight line.
В этой заявке камеру с большим полем обзора в левом модуле камеры и камеру с большим полем обзора в правом модуле камеры используют для имитации двух глаз пользователя для фотографирования реальных изображений сцены. Следовательно, оптические центры двух камер соответственно совмещены с центрами левого и правого глаза пользователя. Кроме того, поскольку реальные изображения сцены представляют в итоге с использованием первого экрана дисплея и второго экрана дисплея, чтобы пользователь мог чувствовать себя погруженным и ощущал реальность, оптические центры первого экрана дисплея и второго экрана дисплея также должны быть соответственно выровнены с центрами левого и правого глаза пользователя. Кроме того, пользователь отдельно просматривает изображения на дисплеях, используя первый окуляр и второй окуляр. Следовательно, первый окуляр и второй окуляр также должны быть соответственно выровнены с центрами левого и правого глаза пользователя.In this application, a large field of view camera in the left camera module and a large field of view camera in the right camera module are used to simulate two eyes of a user to photograph real scene images. Therefore, the optical centers of the two cameras are respectively aligned with the centers of the user's left and right eyes. In addition, since real images of the scene are summed up using the first display screen and the second display screen so that the user can feel immersed and experience reality, the optical centers of the first display screen and the second display screen also need to be respectively aligned with the centers of the left and right eyes. user. In addition, the user separately views images on the displays using the first eyepiece and the second eyepiece. Therefore, the first eyepiece and the second eyepiece must also be respectively aligned with the centers of the user's left and right eyes.
В возможной реализации генерация модулем обработки четвертого изображения на основе первого изображения и второго изображения включает в себя следующее: модуль обработки регулирует угол обзора второго изображения, чтобы он был таким же, как угол обзора первого изображения; и генерирует четвертое изображение на основе скорректированного второго изображения и первого изображения.In an exemplary implementation, the processing module's generation of a fourth image based on the first image and the second image includes: the processing module adjusts the viewing angle of the second image to be the same as the viewing angle of the first image; and generates a fourth image based on the adjusted second image and the first image.
Второе изображение и первое изображение имеют один и тот же сфотографированный объект, но существует определенная разница в угле обзора между изображениями одного и того же сфотографированного объекта на двух изображениях из-за разного расположения первой камеры и второй камеры. Следовательно, углы обзора двух изображений необходимо выровнять.The second image and the first image have the same photographed object, but there is a certain difference in the angle of view between the images of the same photographed object in the two images due to the different arrangement of the first camera and the second camera. Therefore, the viewing angles of the two images need to be aligned.
В возможной реализации регулировка модулем обработки угла обзора второго изображения, чтобы он был таким же, как угол обзора первого изображения, включает в себя следующее: модуль обработки выполняет поворот, перемещение и калибровку некопланарных строк на втором изображении, чтобы угол обзора второго изображения был таким же, как угол обзора первого изображения.In a possible implementation, adjusting the second image's viewing angle by the processing module to be the same as the first image's viewing angle includes the following: the processing module rotates, moves, and calibrates the non-coplanar lines in the second image so that the second image's viewing angle is the same. , as the angle of view of the first image.
В возможной реализации генерация модулем обработки четвертого изображения на основе скорректированного второго изображения и первого изображения включает в себя следующее: модуль обработки определяет в качестве целевых областей область в скорректированном втором изображении и область в первом изображении, которые имеют перекрывающиеся углы обзора; и заменяет изображение целевой области в первом изображении на скорректированное второе изображение.In an exemplary implementation, the processing module's generation of a fourth image based on the corrected second image and the first image includes the following: the processing module determines as target areas an area in the corrected second image and an area in the first image that have overlapping viewing angles; and replaces the target area image in the first image with the adjusted second image.
Изображение целевой области на первом изображении может быть удалено, а затем может быть заполнено изображением целевой области на втором изображении, полученным после совмещения угла обзора. После заполнения, чтобы избежать такой проблемы, как ощущение наложения, вызванное процессом компоновки изображения, положения краев композиции двух изображений (а именно, положения краев целевых областей) смешивают с использованием способа взвешенного смешивания, так что окончательное составное изображение (а именно четвертое изображение) является более естественным и реальным.The image of the target area in the first image may be removed, and then may be filled with the image of the target area in the second image obtained after the alignment of the viewing angle. After filling, in order to avoid such a problem as the overlapping feeling caused by the image composition process, the edge positions of the composition of the two images (namely, the edge positions of the target areas) are mixed using a weighted blending method, so that the final composite image (namely, the fourth image) is more natural and real.
Способ компоновки изображения может представлять собой один или несколько из следующих: технология прямого вырезания-вставки (cut-paste), альфа-смешивание (alpha blending), многополосное смешивание (multiband blending) или пуассоновское смешивания (poisson blending). В этой заявке не ограничен конкретный способ компоновки изображения.The image composition method may be one or more of the following: direct cut-paste technology, alpha blending, multiband blending, or poisson blending. This application is not limited to a particular way of arranging an image.
В возможной реализации, перед тем, как модуль обработки генерирует пятое изображение на основе четвертого изображения и третьего изображения, которое включает в себя виртуальный объект, способ также включает в себя следующее: на основе информации о положении устанавливаемого на голове устройства отображения и первого изображения модуль обработки генерирует третье изображение, которое включает в себя виртуальный объект.In an exemplary implementation, before the processing module generates a fifth image based on the fourth image and the third image that includes the virtual object, the method also includes: based on the position information of the head-mounted display device and the first image, the processing module generates a third image that includes the virtual object.
В возможной реализации создание пятого изображения на основе четвертого изображения и третьего изображения, которое включает в себя виртуальный объект, включает в себя следующее: регулируют разрешение третьего изображения на основе первого разрешения первого изображения и/или регулируют тень виртуального объекта в третьем изображении на основе информации о свете в первом изображении; и генерируют пятое изображение на основе четвертого изображения и скорректированного третьего изображения.In a possible implementation, generating a fifth image based on a fourth image and a third image that includes the virtual object includes: adjusting the resolution of the third image based on the first resolution of the first image, and/or adjusting the shadow of the virtual object in the third image based on information about light in the first image; and generating a fifth image based on the fourth image and the corrected third image.
В соответствии со вторым аспектом в этой заявке предложено устройство отображения, устанавливаемое на голове, включающее в себя два модуля и память. Каждый модуль включает в себя модуль камеры, экран дисплея, соответствующий модулю камеры, и модуль обработки, причем модуль камеры включает в себя первую камеру и вторую камеру, при этом поле обзора первой камеры больше, чем поле обзора второй камеры, память выполнена с возможностью хранения компьютерного программного кода, причем компьютерный программный код включает в себя компьютерную инструкцию, и когда модуль обработки считывает компьютерную инструкцию из памяти, каждый модуль в устройстве отображения, устанавливаемом на голове, получает возможность выполнять следующие операции: в ответ на обнаруженную операцию запуска первая камера получает первое изображение первого разрешения, а вторая камера получает второе изображение второго разрешения, где первое разрешение меньше второго разрешения; модуль обработки генерирует четвертое изображение на основе первого изображения и второго изображения, где четвертое изображение является реальным изображением сцены и включает в себя изображение первого разрешения и изображение второго разрешения; модуль обработки генерирует пятое изображение на основе четвертого изображения и третьего изображения, которое включает в себя виртуальный объект, где пятое изображение включает в себя реальное изображение сцены и виртуальный объект; и на экране дисплея модуля отображают пятое изображение.According to a second aspect, this application provides a head mounted display device including two modules and a memory. Each module includes a camera module, a display screen corresponding to the camera module, and a processing module, the camera module includes a first camera and a second camera, the field of view of the first camera is larger than the field of view of the second camera, the memory is configured to store computer program code, the computer program code including a computer instruction, and when the processing unit reads the computer instruction from the memory, each unit in the head mounted display device is enabled to perform the following operations: in response to the detected triggering operation, the first camera receives the first the image of the first resolution, and the second camera receives the second image of the second resolution, where the first resolution is less than the second resolution; the processing module generates a fourth image based on the first image and the second image, where the fourth image is a real scene image and includes a first resolution image and a second resolution image; the processing module generates a fifth image based on the fourth image and the third image that includes the virtual object, where the fifth image includes the real scene image and the virtual object; and a fifth image is displayed on the display screen of the module.
В возможной реализации расстояние от оптического центра первой камеры одного модуля до оптического центра первой камеры другого модуля составляет от 61 миллиметра до 65 миллиметров.In a possible implementation, the distance from the optical center of the first chamber of one module to the optical center of the first chamber of another module is between 61 millimeters and 65 millimeters.
В возможной реализации расстояние от оптического центра первой камеры до оптического центра второй камеры в каждом модуле составляет менее 20 миллиметров.In a possible implementation, the distance from the optical center of the first chamber to the optical center of the second chamber in each module is less than 20 millimeters.
В возможной реализации каждый модуль также включает в себя окуляр, а экран дисплея расположен между окуляром и модулем камеры.In an exemplary implementation, each module also includes an eyepiece and a display screen is positioned between the eyepiece and the camera module.
В возможной реализации, когда устройство отображения, устанавливаемое на голове, расположено горизонтально, линия соединения между оптическим центром первой камеры и оптическим центром второй камеры в каждом модуле параллельна горизонтальной плоскости.In an exemplary implementation, when the head-mounted display device is positioned horizontally, the connection line between the optical center of the first camera and the optical center of the second camera in each module is parallel to the horizontal plane.
В возможной реализации оптический центр окуляра, оптический центр экрана дисплея и оптический центр первой камеры в каждом модуле расположены на прямой линии.In an exemplary embodiment, the optical center of the eyepiece, the optical center of the display screen, and the optical center of the first camera in each module are in a straight line.
В возможной реализации, когда модуль обработки считывает компьютерную инструкцию из памяти, каждый модуль в устройстве отображения, устанавливаемом на голове, также получает возможность выполнять следующие операции: модуль обработки регулирует угол обзора второго изображения, чтобы он был таким же, как угол обзора первого изображения; и генерирует четвертое изображение на основе скорректированного второго изображения и первого изображения.In an exemplary implementation, when the processing module reads the computer instruction from the memory, each module in the head-mounted display device is also enabled to perform the following operations: the processing module adjusts the viewing angle of the second image to be the same as the viewing angle of the first image; and generates a fourth image based on the adjusted second image and the first image.
В возможной реализации, когда модуль обработки считывает компьютерную инструкцию из памяти, каждый модуль в устройстве отображения, устанавливаемом на голове, также получает возможность выполнять следующую операцию: модуль обработки выполняет поворот, перемещение и калибровку некопланарных строк на втором изображении, чтобы угол обзора второго изображения был таким же, как угол обзора первого изображения.In an exemplary implementation, when the processing module reads the computer instruction from memory, each module in the head-mounted display device is also enabled to perform the following operation: the processing module rotates, moves, and calibrates the non-coplanar lines in the second image so that the viewing angle of the second image is the same as the viewing angle of the first image.
В возможной реализации, когда модуль обработки считывает компьютерную инструкцию из памяти, каждый модуль в устройстве отображения, устанавливаемом на голове, также получает возможность выполнять следующие операции: модуль обработки определяет в качестве целевых областей область в скорректированном втором изображении и область в первом изображении, которые имеют перекрывающиеся углы обзора; и заменяет изображение целевой области в первом изображении на скорректированное второе изображение.In an exemplary implementation, when the processing module reads a computer instruction from the memory, each module in the head-mounted display device is also enabled to perform the following operations: the processing module determines as target areas an area in the corrected second image and an area in the first image, which have overlapping viewing angles; and replaces the target area image in the first image with the adjusted second image.
В возможной реализации, когда модуль обработки считывает компьютерную инструкцию из памяти, каждый модуль в устройстве отображения, устанавливаемом на голове, также получает возможность выполнять следующую операцию: на основе информации о положении устанавливаемого на голове устройства отображения и первого изображения модуль обработки генерирует третье изображение, которое включает в себя виртуальный объект.In an exemplary implementation, when the processing module reads a computer instruction from the memory, each module in the head-mounted display device is also enabled to perform the following operation: based on the position information of the head-mounted display device and the first image, the processing module generates a third image, which includes a virtual object.
В возможной реализации, когда модуль обработки считывает компьютерную инструкцию из памяти, каждый модуль в устройстве отображения, устанавливаемом на голове, также получает возможность выполнять следующие операции: модуль обработки регулирует разрешение третьего изображения на основе первого разрешения первого изображения и/или регулирует тень виртуального объекта в третьем изображении на основе информации о свете в первом изображении; и генерирует пятое изображение на основе четвертого изображения и скорректированного третьего изображения.In an exemplary implementation, when the processing module reads the computer instruction from the memory, each module in the head-mounted display device is also enabled to perform the following operations: the processing module adjusts the resolution of the third image based on the first resolution of the first image and/or adjusts the shadow of the virtual object in a third image based on the light information in the first image; and generates a fifth image based on the fourth image and the adjusted third image.
В соответствии с третьим аспектом предложен компьютерный носитель информации, включающий в себя компьютерные инструкции. Когда компьютерные инструкции выполняют на терминале, терминал может выполнять способ в соответствии с первым аспектом или любой из возможных реализаций первого аспекта.According to a third aspect, a computer storage medium is provided, including computer instructions. When computer instructions are executed at the terminal, the terminal may perform the method according to the first aspect, or any of the possible implementations of the first aspect.
В соответствии с четвертым аспектом предложен компьютерный программный продукт. Когда компьютерный программный продукт выполняют на компьютере, компьютер может выполнять способ в соответствии с первым аспектом или любой из возможных реализаций первого аспекта.According to the fourth aspect, a computer program product is provided. When the computer program product is executed on a computer, the computer may perform the method according to the first aspect, or any of the possible implementations of the first aspect.
Краткое описание чертежейBrief description of the drawings
На фиг. 1A приведен схематический вид полей зрения различных областей изображения в соответствии с вариантом осуществления этой заявки;In FIG. 1A is a schematic view of the fields of view of various areas of the image in accordance with an embodiment of this application;
на фиг. 1B приведен схематический структурный вид устанавливаемого на голове устройства отображения в соответствии с вариантом осуществления этой заявки;in fig. 1B is a schematic structural view of a head-mounted display device according to an embodiment of this application;
на фиг. 2A приведен схематический структурный вид модулей камеры некоторых устанавливаемых на голове устройств отображения в соответствии с вариантом осуществления этой заявки;in fig. 2A is a schematic structural view of camera modules of some head-mounted display devices in accordance with an embodiment of this application;
на фиг. 2B приведен схематический структурный вид другого устанавливаемого на голове устройства отображения в соответствии с вариантом осуществления этой заявки;in fig. 2B is a schematic structural view of another head mounted display device according to an embodiment of this application;
на фиг. 3 приведен схематический структурный вид другого устанавливаемого на голове устройства отображения в соответствии с вариантом осуществления этой заявки;in fig. 3 is a schematic structural view of another head-mounted display device according to an embodiment of this application;
на фиг. 4 приведен схематический структурный вид другого устанавливаемого на голове устройства отображения в соответствии с вариантом осуществления этой заявки;in fig. 4 is a schematic structural view of another head-mounted display device according to an embodiment of this application;
на фиг. 5 приведен схематический структурный вид другого устанавливаемого на голове устройства отображения в соответствии с вариантом осуществления этой заявки;in fig. 5 is a schematic structural view of another head mounted display device according to an embodiment of this application;
на фиг. 6 приведена схематическая блок-схема последовательности действий способа обработки изображения в соответствии с вариантом осуществления этой заявки; иin fig. 6 is a schematic flowchart of an image processing method according to an embodiment of this application; and
на фиг. 7 приведен схематический вид процесса обработки изображения в соответствии с вариантом осуществления этой заявки.in fig. 7 is a schematic view of an image processing process according to an embodiment of this application.
Описание вариантов осуществленияDescription of Embodiments
Ниже в вариантах осуществления настоящей заявки описаны технические решения со ссылкой на сопровождающие чертежи вариантов осуществления настоящей заявки. В описании вариантов осуществления этой заявки "/" означает "или", если не указано иное. Например, A/B может представлять A или B. В этой спецификации "и/или" описывает только отношение ассоциации для описания связанных объектов и представляет, что могут существовать три отношения. Например, A и/или B может представлять следующие три случая: Имеется только A, имеются и A, и B, и имеется только B.Below in the embodiments of the present application, technical solutions are described with reference to the accompanying drawings of the embodiments of the present application. In the description of the embodiments of this application, "/" means "or" unless otherwise indicated. For example, A/B can represent A or B. In this specification, "and/or" only describes an association relation for describing related objects, and represents that three relations can exist. For example, A and/or B could represent the following three cases: There is only A, there are both A and B, and there is only B.
Следующие термины "первый" и "второй" предназначены только для целей описания, и их не следует понимать как указание или значение относительной важности или неявное указание количества указанных технических признаков. Следовательно, признак, ограниченный "первым" или "вторым", может явно или неявно включать в себя один или несколько признаков. В описании вариантов осуществления этой заявки, если не указано иное, "несколько" означает два или более.The following terms "first" and "second" are for purposes of description only and should not be understood as an indication or meaning of relative importance or an implicit indication of the number of said technical features. Therefore, a feature limited to "first" or "second" may explicitly or implicitly include one or more features. In the description of embodiments of this application, unless otherwise indicated, "several" means two or more.
В вариантах осуществления этой заявки такое слово, как "пример" или "например", используют для представления примера, иллюстрации или описания. Любой вариант осуществления или конструктивное решение, описанные как "пример" или "например" в вариантах осуществления этой заявки, не следует считать более предпочтительными или имеющими больше преимуществ, чем другой вариант осуществления или конструктивное решение. А именно, использование таких слов, как "пример" или "например", предназначено для представления сравнительной концепции определенным образом.In embodiments of this application, a word such as "example" or "for example" is used to represent an example, illustration, or description. Any embodiment or design described as "example" or "for example" in the embodiments of this application should not be considered preferable or more advantageous than another embodiment or design. Namely, the use of words such as "example" or "for example" is intended to represent a comparative concept in a certain way.
Разрешение изображения современных устройств отображения, устанавливаемых на голове, как правило, не может удовлетворить требованию пользователя к четкости изображения во время просмотра с близкого расстояния. Кроме того, простое повышение разрешения изображения вызывает такие проблемы, как увеличение объема данных и сложность обработки изображения. Считается, что человеческий глаз обладает такой визуальной особенностью: во время наблюдения область непосредственно перед глазом пользователя обычно является областью визуального фокуса. Эта часть области воспринимается наиболее четко и требует высокого разрешения изображения для устройства отображения, устанавливаемого на голове. Однако другая область, видимая глазом, не воспринимается четко пользователем и требует низкого разрешения изображения для устройства отображения, устанавливаемого на голове. То есть изображение, отображаемое на устанавливаемом на голове устройстве отображения, может быть разделено на центральную область и фоновую область. Как показано на фиг. 1A, изображение, отображаемое на устанавливаемом на голове устройстве отображения, включает в себя на центральную область и фоновую область. Центральная область является областью визуального фокуса пользователя и может обеспечивать изображение с относительно высоким разрешением, чтобы соответствовать требованию четкости для глаза пользователя во время просмотра с близкого расстояния. Фоновая область представляет собой часть, отличную от центральной области изображения, и может предоставлять только изображение со сравнительно низким разрешением, чтобы уменьшить объем данных и сложность обработки изображения, выполняемой устройством отображения, устанавливаемым на голове. Другими словами, разрешение центральной области выше, чем разрешение фоновой области. Следует отметить, что на фиг. 1A для иллюстрации области визуального фокуса (а именно, центральной области) глаза пользователя используют прямоугольник, и его в основном используют для представления приблизительного местоположения центральной области в изображении, отображаемом на устройстве отображения, устанавливаемом на голове. Это не ограничивает форму области визуального фокуса человеческого глаза пользователя.The image resolution of modern head-mounted display devices generally cannot meet the user's requirement for image clarity during close-up viewing. In addition, simply increasing the resolution of an image causes problems such as an increase in the amount of data and complexity in image processing. It is believed that the human eye has this visual feature: during observation, the area directly in front of the user's eye is usually the area of visual focus. This part of the area is perceived most clearly and requires high image resolution for a head-mounted display device. However, the other area visible to the eye is not clearly perceived by the user and requires a low image resolution for a head-mounted display device. That is, an image displayed on the head-mounted display device can be divided into a center area and a background area. As shown in FIG. 1A, an image displayed on the head-mounted display device includes a center area and a background area. The central area is the user's visual focus area and can provide a relatively high resolution image to meet the clarity requirement of the user's eye during close viewing. The background area is a part other than the central area of the image, and can only provide a relatively low resolution image in order to reduce the amount of data and the complexity of image processing performed by the head-mounted display device. In other words, the resolution of the center area is higher than the resolution of the background area. It should be noted that in FIG. 1A, a rectangle is used to illustrate the visual focus area (namely, the central area) of the user's eye, and it is mainly used to represent the approximate location of the central area in an image displayed on a head-mounted display device. This does not restrict the shape of the visual focus area of the user's human eye.
Кроме того, считают, что поле зрения человеческого глаза сравнительно большое и может достигать 180 градусов, но поле зрения обычного устройства отображения, устанавливаемого на голове, сравнительно мало, и, следовательно, с обеих сторон может появиться сравнительно большое количество слепых областей, когда пользователь использует устройство отображения, устанавливаемое на голове, для наблюдения, вызывая у пользователя недостаточное ощущение погружения. В настоящей заявке предложено использовать камеру с большим полем обзора для захвата изображения со сравнительно большим полем обзора (изображения, которое включает в себя фоновую область), причем изображение с большим полем обзора обычно имеет низкое разрешение; и одновременно использовать камеру с небольшим полем обзора для захвата изображения центральной области высокой четкости. На изображении, показанном на фиг. 1А, поле обзора б, соответствующее фоновой области, больше, чем поле обзора в, соответствующее центральной области.In addition, it is believed that the field of view of the human eye is relatively large and can reach 180 degrees, but the field of view of a conventional head-mounted display device is relatively small, and therefore a relatively large number of blind areas may appear on both sides when the user uses a head-mounted display device for observation, causing the user to experience a lack of immersive feeling. In the present application, it is proposed to use a large field of view camera to capture a relatively large field of view image (an image that includes a background area), where the large field of view image is usually of low resolution; and at the same time use a camera with a small field of view to capture a high-definition image of the central area. In the image shown in Fig. 1A, the field of view b corresponding to the background area is larger than the field of view c corresponding to the central area.
Следует отметить, что поле обзора используют для обозначения максимального диапазона углов, который может быть сфотографирован камерой во время фотографирования изображения. Если объект, который нужно сфотографировать, попадает в диапазон углов, то объект, который нужно сфотографировать, захватывают камерой, и затем он присутствует на изображении предварительного просмотра. Если подлежащий фотографированию объект выходит за пределы диапазона углов, то сфотографированный объект не захватывают устройством захвата изображения; другими словами, отсутствует на изображении предварительного просмотра. Обычно камера с большим полем обзора соответствует большему диапазону фотографирования и меньшему фокусному расстоянию, а камера с меньшим полем обзора соответствует меньшему диапазону фотографирования и большему фокусному расстоянию.It should be noted that the field of view is used to refer to the maximum range of angles that can be photographed by the camera while photographing an image. If the object to be photographed falls within the angle range, then the object to be photographed is captured by the camera and then present in the preview image. If the object to be photographed is out of the range of angles, the photographed object is not captured by the image pickup device; in other words, missing from the preview image. Generally, a camera with a larger field of view corresponds to a larger photographing range and a shorter focal length, while a camera with a smaller field of view corresponds to a smaller photographing range and a longer focal length.
Обычно поле обзора включает в себя угол в горизонтальном направлении и угол в вертикальном направлении. В этой заявке угол в горизонтальном направлении и угол в вертикальном направлении могут быть представлены отдельно с использованием двух полей обзора, или угол в горизонтальном направлении и угол в вертикальном направлении могут быть представлены с использованием одного поля обзора. Для простоты описания в этой заявке все описания ниже приведены на примере того, что одно поле обзора представляет как угол в горизонтальном направлении, так и угол в вертикальном направлении. Например, как показано на фиг. 1A, поле обзора б представляет собой угол, соответствующий диагональным линиям двух краев изображения (а именно, изображения фоновой области), снятого камерой с большим полем обзора, и может представлять как угол в горизонтальном направлении, так и угол в вертикальном направлении. Поле обзора в представляет собой угол, соответствующий диагональным линиям двух краев изображения (а именно, изображения центральной области), снятого камерой с малым полем обзора, и может представлять как угловую ширину в горизонтальном направлении, так и угловую ширину в вертикальном направлении.Typically, the field of view includes an angle in the horizontal direction and an angle in the vertical direction. In this application, the angle in the horizontal direction and the angle in the vertical direction may be represented separately using two fields of view, or the angle in the horizontal direction and the angle in the vertical direction may be represented using one field of view. For ease of description in this application, all descriptions below are exemplified by one field of view representing both an angle in the horizontal direction and an angle in the vertical direction. For example, as shown in FIG. 1A, the field of view b is the angle corresponding to the diagonal lines of the two edges of the image (namely, the image of the background area) captured by the large field of view camera, and can represent both the angle in the horizontal direction and the angle in the vertical direction. The field of view β is the angle corresponding to the diagonal lines of the two edges of the image (namely, the image of the center area) captured by the small field of view camera, and can represent both the angular width in the horizontal direction and the angular width in the vertical direction.
В этой заявке "поле обзора" также может называться таким словом, как "диапазон поля обзора" или "диапазон поля зрения". Название "поля обзора" не ограничено в данном описании при условии, что выражена вышеупомянутая концепция.In this application, "field of view" may also be referred to by a word such as "field of view range" or "field of view range". The name "field of view" is not limited in this specification as long as the above concept is expressed.
Затем изображение с большим полем обзора совмещают с изображением центральной области высокой четкости для получения реального изображения сцены. Затем изображение, которое включает в себя виртуальный объект, генерируют на основе полученной информации о положении устройства отображения, устанавливаемого на голове, и изображения с большим полем обзора. Наконец, изображение, которое включает в себя виртуальный объект, также комбинируют с изображением реальной сцены, полученным после первой композиции, для получения изображения, которое включает в себя реальную сцену и виртуальный объект, и изображение отображают на устройстве отображения, устанавливаемом на голове. В этом случае поле зрения отображаемого изображения является сравнительно большим и может быть близко к полю зрения человеческого глаза, насколько это возможно. Кроме того, разрешение изображения в области визуального фокуса человеческого глаза является сравнительно высоким. Это соответствует требованию пользователя к четкости при просмотре изображений с близкого расстояния, тем самым значительно улучшая ощущение погружения пользователя и улучшая визуальное восприятие.Then, the large field of view image is superimposed with the image of the central high definition region to obtain a real image of the scene. Then, an image that includes the virtual object is generated based on the obtained position information of the head-mounted display device and the large field of view image. Finally, the image that includes the virtual object is also combined with the image of the real scene obtained after the first composition to obtain an image that includes the real scene and the virtual object, and the image is displayed on the head-mounted display device. In this case, the field of view of the displayed image is relatively large and can be as close to the field of view of the human eye as possible. In addition, the resolution of the image in the region of visual focus of the human eye is relatively high. This meets the user's requirement for clarity when viewing images at close range, thereby greatly improving the user's immersive feeling and enhancing the visual experience.
Технические решения, предложенные в вариантах осуществления этой заявки, могут быть применены к устройству отображения, устанавливаемому на голове, или тому подобному в таком сценарии, как виртуальная реальность (Virtual Reality, VR)/дополненная реальность (Augmented Reality, AR)/смешанная реальность (Mixed Reality, MR). Конкретная форма устройства отображения, устанавливаемого на голове, которая выполняет технические решения, не ограничена в этой заявке.The technical solutions proposed in the embodiments of this application can be applied to a head-mounted display device or the like in a scenario such as virtual reality (Virtual Reality, VR) / augmented reality (Augmented Reality, AR) / mixed reality ( Mixed Reality, MR). The specific form of the head-mounted display device that implements the technical solutions is not limited in this application.
На фиг. 1B приведен схематический структурный вид устанавливаемого на голове устройства отображения в соответствии с вариантом осуществления этой заявки. Устройство 100 отображения, устанавливаемое на голове, включает в себя корпус 110 шлема и ремень 140. Ремень 140 выполнен с возможностью ношения устанавливаемого на голове устройства 100 отображения на голове пользователя. Корпус 110 шлема имеет переднюю панель 120 и заднюю панель 130 напротив передней панели 120. Передняя панель 120 представляет собой поверхность, удаленную от пользователя, когда пользователь носит устройство 100 отображения, устанавливаемое на голове. Задняя панель 130 представляет собой поверхность, расположенную ближе к пользователю, когда пользователь носит устройство 100 отображения, устанавливаемое на голове.In FIG. 1B is a schematic structural view of a head-mounted display device according to an embodiment of this application. The head-mounted
На передней панели 120 расположено два модуля камеры: модуль 150 левой камеры и модуль 160 правой камеры, чтобы захватывать реальные изображения сцены перед пользователем. Левый модуль 150 камеры расположен перед левым глазом пользователя, а правый модуль 160 камеры расположен перед правым глазом пользователя. Каждый модуль камеры включает в себя по меньшей мере две камеры, и по меньшей мере две камеры включают в себя по меньшей мере одну камеру с большим полем обзора и по меньшей мере одну камеру с малым полем обзора. По меньшей мере одна камера с большим полем обзора (например, имеющая поле зрения от 100 градусов до 200 градусов и разрешение от VGA до 720p) представляет собой, например, камеру 151 и камеру 161. По меньшей мере одна камера с малым полем обзора (например, имеющая поле зрения от 20 градусов до 60 градусов и разрешение от 720p до 2Kp) представляет собой, например, камеру 152 и камеру 162. Изображение, полученное камерой с большим полем обзора, имеет сравнительно большое поле зрения и сравнительно низкое разрешение. Изображение, полученное камерой с малым полем обзора, имеет сравнительно небольшое поле зрения и сравнительно высокое разрешение.The
В этой заявке изображение, захваченное камерой с большим полем обзора, имеет сравнительно большое поле зрения, так что для пользователя может быть обеспечен более широкий угол обзора, тем самым отвечая требованию сравнительно широкого поля зрения человеческого глаза. Изображение, захваченное камерой с малым полем обзора, имеет сравнительно высокое разрешение, так что пользователю может быть предоставлено изображение в пределах глубины резкости линии обзора. Понятно, что в этой заявке изображение, захваченное камерой с большим полем обзора, совмещают с изображением, захваченным камерой с малым полем обзора, а затем составное изображение применяют в таком сценарии, как AR/VR/MR, тем самым помогая улучшить ощущение погружения, ощущение реальности и визуальный опыт пользователя. Кроме того, изображение фоновой области имеет низкое разрешение, так что объем данных во время обработки изображения и сложность вычислений может быть дополнительно уменьшены, тем самым помогая уменьшить задержку во время отображения.In this application, an image captured by a large field of view camera has a relatively large field of view, so that a wider viewing angle can be provided to the user, thereby meeting the requirement of a relatively wide field of view of the human eye. The image captured by the small field of view camera has a relatively high resolution so that the user can be presented with an image within the depth of field of the line of sight. It is understood that in this application, an image captured by a large field of view camera is combined with an image captured by a small field of view camera, and then the composite image is applied to a scenario such as AR/VR/MR, thereby helping to improve the immersive feeling, the feeling reality and visual user experience. In addition, the background area image has a low resolution, so that the amount of data during image processing and computational complexity can be further reduced, thereby helping to reduce latency during display.
В некоторых вариантах осуществления, когда и левый, и правый модули камеры включают в себя по одной камере с большим полем обзора для фотографирования реального изображения сцены, расстояние D1 между оптическими центрами двух камер с большим полем обзора (например, камеры 151 и камеры 161) приблизительно соответствует расстоянию между зрачками двух глаз пользователя. Следовательно, D1 обычно находится в диапазоне от 61 мм до 65 мм и может составлять, например, 63 мм. В одном модуле камеры камера с малым полем обзора расположена рядом с камерой с большим полем обзора. Обычно расстояние D2 между оптическим центром камеры с малым полем обзора и оптическим центром камеры с большим полем обзора составляет менее 20 мм. На фиг. 1B показана центральная ось устройства 100 отображения, устанавливаемого на голове, устройство, устанавливаемое на голове, расположено приблизительно горизонтально вперед. Что касается центральной оси, ниже в качестве примера используют модуль 150 камеры перед левым глазом для описания местоположения камеры 152 с малым полем обзора относительно камеры 151 с большим полем обзора. Например, обращенная к передней панели 120 камера 152 с малым полем обзора может быть расположена с левой стороны от камеры 151 с большим полем обзора (другими словами, камера 152 с малым полем обзора находится ближе к центральной оси, чем камера 151 с большим полем обзора, как показано на фиг. 1B) или с правой стороны от камеры 151 с большим полем обзора (другими словами, камера 152 с малым полем обзора расположена дальше от центральной оси, чем камера 151 с большим полем обзора, как показано на фиг.2A (1)); и оптические центры камеры 151 с большим полем обзора, камеры 152 с малым полем обзора, камеры 161 с большим полем обзора и камеры 162 с малым полем зрения приблизительно расположены на одной горизонтальной плоскости.In some embodiments, when both the left and right camera modules each include one large field of view camera for photographing a real image of the scene, the distance D1 between the optical centers of the two large field of view cameras (e.g.,
В качестве другого примера, когда устройство, устанавливаемое на голове, расположено приблизительно горизонтально вперед, как показано на фиг. 1B, камера 152 с малым полем обзора может быть расположена над камерой 151 с большим полем обзора (другими словами, направление от оптического центра камеры 152 с малым полем зрения к оптическому центру камеры 151 с большим полем обзора совпадает с направлением силы тяжести, как показано на фиг. 2A (2)) или ниже камеры 151 с большим полем обзора (другими словами, направление от оптического центра камера 152 с малым полем обзора до оптического центра камеры 151 с большим полем зрения противоположно направлению силы тяжести). В качестве альтернативы, камера 152 с малым полем обзора может быть расположена в любом месте, например, сверху по диагонали (как показано на фиг. 2A (3)) или снизу по диагонали от камеры 151 с большим полем обзора. То есть относительное местоположение камеры с малым полем обзора и камеры с большим полем обзора в одном модуле камеры не ограничено в этой заявке. Конечно, камера с малым полем обзора может быть закреплена рядом с камерой с большим полем обзора. В качестве альтернативы камера с малым полем обзора может быть расположена во вращающемся или съемном устройстве; другими словами, камеру с малым полем обзора можно перемещать рядом с камерой с большим полем обзора. Вышеприведенные описания камеры 152 с малым полем обзора и камеры 151 с большим полем обзора, соответственно, применимы к камере 162 с малым полем зрения и камере 161 с большим полем обзора. Они не будут повторены в этом варианте осуществления заявки.As another example, when the head mounted device is positioned approximately horizontally forward as shown in FIG. 1B, the small field of
В некоторых других вариантах осуществления и правый, и левый модуль камеры включает в себя две или несколько камер с большим полем обзора; другими словами, реальное изображение сцены получают путем наложения или объединения изображений, снятых несколькими камерами. В этом случае обычно одна камера с большим полем обзора может быть расположена в качестве основной камеры в левом и правом модуле камеры. То есть угол обзора изображения, сфотографированного основной камерой, используют в качестве ориентира для составных и объединенных изображений, сфотографированных другими камерами с большим полем обзора, для получения реального изображения сцены. В этом случае расстояние между оптическими центрами двух основных камер равно D1, и оно должно соответствовать расстоянию между зрачками двух глаз пользователя. В одном модуле камеры камера с малым полем обзора расположена рядом с основной камерой из камер с большим полем обзора. Обычно расстояние между оптическим центром камеры с малым полем обзора и оптическим центром основной камеры составляет D2 и меньше 20 мм. Например, как показано на фиг. 2B, левый и правый модули камеры устройства 100 отображения, устанавливаемого на голове, включают в себя две камеры с большим полем обзора. То есть левый модуль 150 камеры включает в себя две камеры с большим полем обзора: камеру 1511 и камеру 1512, и правый модуль 160 камеры включает в себя две камеры с большим полем обзора: камеру 1611 и камеру 1612. Предполагается, что две камеры с большим полем обзора (а именно камера 1511 и камера 1611), находящиеся ближе к центральной оси, выступают в качестве основных камер. В этом случае расстояние между оптическим центром камеры 1511 и оптическим центром камеры 1611 составляет D1. Камера с малым полем обзора расположена рядом с основной камерой из камер с большим полем обзора. То есть расстояние между оптическим центром камеры 152 и оптическим центром камеры 1511 равно D2, а расстояние между оптическим центром камеры 162 и оптическим центром камеры 1611 равно D2.In some other embodiments, both the right and left camera module includes two or more large field of view cameras; in other words, a real image of the scene is obtained by superimposing or combining images taken by several cameras. In this case, usually one camera with a large field of view can be located as the main camera in the left and right camera module. That is, the angle of view of the image photographed by the main camera is used as a guide for composite and combined images photographed by other cameras with a large field of view to obtain a real image of the scene. In this case, the distance between the optical centers of the two main cameras is equal to D1, and it should correspond to the distance between the pupils of the user's two eyes. In one camera module, the small field of view camera is located next to the main camera of the large field of view cameras. Usually, the distance between the optical center of the small field of view camera and the optical center of the main camera is D2 and less than 20mm. For example, as shown in FIG. 2B, the left and right camera modules of the head mounted
В еще некоторых других вариантах осуществления на передней панели 120 также может быть установлен датчик, который определяет движение устройства 100 отображения, устанавливаемого на голове, такой как инерциальный измерительный блок (Inertial measurement unit, IMU) 170, выполненный с возможностью измерения информации о положении устройства 100 отображения, устанавливаемого на голове, например, трехкомпонентного угла положения (или угловой скорости) и ускорения устройства 100 отображения, устанавливаемого на голове. Обычно IMU включает в себя три акселерометра и три гироскопа, а акселерометры и гироскопы установлены на взаимно перпендикулярных измерительных осях. IMU с низкой точностью может быть дополнительно скорректирован другим способом. Например, для корректировки долгосрочного дрейфа местоположения используют GPS, для корректировки высоты используют барометр, или для корректировки позы используют магнитометр. В таком сценарии, как VR/AR/MR, информация о положении, которая относится к устройству 100 отображения, устанавливаемому на голове, и которая получена посредством IMU 170, и реальные изображения сцены, полученные модулями камеры, могут быть использованы для определения местоположения и компоновки реальной сцены, в котором расположено устройство 100 отображения, устанавливаемое на голове.In yet other embodiments, a sensor may also be mounted on the
Для более четкого описания компонентов устройства 100 отображения, устанавливаемого на голове, и взаимных положений между компонентами в этом варианте осуществления этой заявки представлен вид сверху носимого пользователем устройства 100 отображения, устанавливаемого на голове, как показано на фиг. 3. На фиг. 3 показан пример, в котором левый и правый модули камеры включают в себя одну камеру с большим полем обзора и одну камеру с малым полем обзора.To more clearly describe the components of the head-mounted
Левый окуляр 230 и правый окуляр 240, соответственно, соответствующие левому и правому глазу, расположены на задней панели 130 устройства 100 отображения, устанавливаемого на голове. Устройство 100 отображения, устанавливаемое на голове, включает в себя дисплеи, соответствующие левому и правому окулярам. Понятно, что поле обзора дисплея не меньше, чем поле обзора камеры с большим полем обзора в модуле камеры, так что дисплей может полностью отображать изображение, сфотографированное камерой с большим полем обзора. Левый окуляр 230 соответствует левому дисплею 210, а правый окуляр 240 соответствует правому дисплею 220. Левый и правый окуляры могут помочь человеческому глазу сфокусироваться на левом и правом дисплеях и т.п., чтобы левый глаз пользователя, используя левый окуляр 230, мог видеть изображение, отображаемое на левом дисплее 210, а правый глаз пользователя, используя правый окуляр 230, мог видеть изображение, отображаемое на правом дисплее 220. Следует отметить, что левый дисплей 210 и правый дисплей 220 могут представлять собой два независимых дисплея или могут представлять собой разные области отображения на одном дисплее. Это не ограничено данным вариантом выполнения данной заявки.The
Из фиг. 3 также видно, что левый модуль 150 камеры, соответствующий левому глазу пользователя, расположен на передней панели 120 устройства 100 отображения, устанавливаемого на голове, включающей в себя камеру 151 с большим полем обзора и камеру с малым полем обзора. 152, и правый модуль камеры, соответствующий правому глазу пользователя, расположен на передней панели 120 устройства 100 отображения, устанавливаемого на голове, включающей в себя камеру 161 с большим полем обзора и камеру 162 с малым полем обзора. IMU 170 также может быть расположен на передней панели 120.From FIG. 3, it can also be seen that the
Таким образом, после обработки двух изображений, снятых двумя камерами в левом модуле 150 камеры, с использованием способа, предложенного в этой заявке, обработанное изображение отображают на левом дисплее 210 перед левым глазом для просмотра левым глазом. После обработки двух изображений, снятых двумя камерами в правом модуле 160 камеры, с использованием способа, предложенного в этой заявке, обработанное изображение отображают на правом дисплее 220 перед правым глазом для просмотра правым глазом. Обычно камеры в левом модуле 150 камеры и в правом модуле 160 камеры захватывают изображения одновременно. Кроме того, из-за разницы в расположении между левым модулем 150 камеры и правым модулем 160 камеры также имеется разница в углах обзора между изображениями, одновременно снятыми двумя модулями, и разница в углах обзора такая же, как визуальная разница для лица. Следовательно, получают эффект трехмерного угла обзора, когда два глаза пользователя одновременно просматривают два изображения с левого дисплея 210 и правого дисплея 220.Thus, after processing two images captured by two cameras in the
Понятно, что в этой заявке камеру с большим полем обзора в левом модуле камеры и камеру с большим полем обзора в правом модуле камеры используют для имитации двух глаз пользователя для фотографирования реальных изображений сцены. Следовательно, оптические центры двух камер соответственно совмещены с центрами левого и правого глаза пользователя. Кроме того, поскольку реальные изображения сцены представляют в итоге с использованием левого экрана 210 дисплея и правого экрана 220 дисплея, чтобы пользователь мог чувствовать себя погруженным и ощущал реальность, оптические центры левого экрана 210 дисплея и правого экрана 220 дисплея также должны быть соответственно выровнены с центрами левого и правого глаза пользователя. Кроме того, в устройстве 100 отображения, устанавливаемом на голове, пользователь отдельно просматривает изображения на дисплеях, используя левый окуляр 230 и правый окуляр 240. Следовательно, оптические центры левого окуляра 230 и правого окуляра 240 также должны быть соответственно выровнены с центрами левого и правого глаза пользователя. На фиг. 4 показан схематический вид, на котором пользователь использует для просмотра устройство отображения, устанавливаемое на голове. В качестве примера используют правый глаз. Центр правого глаза пользователя, оптический центр A правого окуляра 240, оптический центр B правого дисплея 220 и оптический центр C большого поля 161 обзора в правом модуле камеры расположены на прямой или приблизительно расположены на прямой.It is understood that in this application, the large field of view camera in the left camera module and the large field of view camera in the right camera module are used to simulate the user's two eyes to photograph real images of the scene. Therefore, the optical centers of the two cameras are respectively aligned with the centers of the user's left and right eyes. In addition, since real images of the scene are summarized using the
На фиг. 5 приведен схематический структурный вид другого устанавливаемого на голове устройства 100 отображения в соответствии с вариантом осуществления этой заявки. В дополнение к компонентам, показанным на фиг. 1B-3 (например, модуль 150 левой камеры, модуль 160 правой камеры, левый дисплей 210, правый дисплей 220 и IMU 170), устройство 100 отображения, устанавливаемое на голове, также может включать в себя процессор 501, интерфейс 502 внешней памяти, внутреннюю память 503, интерфейс 504 универсальной последовательной шины (universal serial bus, USB), модуль 505 управления зарядкой, модуль 506 управления питанием, аккумулятор 507, модуль 508 беспроводной связи, аудиомодуль 509, динамик 510 , телефонный приемник 511, микрофон 512, разъем 513 для гарнитуры, кнопку 514, мотор 515 и индикатор 516.In FIG. 5 is a schematic structural view of another head-mounted
Понятно, что схематическая структура в этом варианте осуществления настоящего изобретения не представляет собой конкретных ограничений для устройства 100 отображения, устанавливаемого на голове. В некоторых других вариантах осуществления этой заявки устройство 100 отображения, устанавливаемое на голове, может включать в себя больше или меньше компонентов, чем показано на чертеже, или объединять некоторые компоненты, или разделять некоторые компоненты, или иметь другое расположение компонентов. Компоненты, показанные на чертеже, могут быть реализованы с использованием аппаратного обеспечения, программного обеспечения или комбинации программного и аппаратного обеспечения.It is understood that the schematic structure in this embodiment of the present invention is not particularly limited to the head-mounted
Процессор 501 включает в себя один или несколько блоков обработки. Например, процессор 501 может включать в себя прикладной процессор (application processor, AP), процессор модема, графический процессор (graphics processing unit, GPU), процессор сигналов изображения (image signal processor, ISP), контроллер, видеокодер/декодер, процессор цифровой обработки сигналов (digital signal processor, DSP), процессор основной полосы частот и/или нейросетевой процессор (neural-network processing unit, NPU). Различные блоки обработки могут быть независимыми компонентами или могут быть интегрированы в один или несколько процессоров.The
Контроллер может генерировать сигнал управления работой на основе кода операции команды и сигнала временной последовательности для управления чтением команд и выполнением команд.The controller may generate an operation control signal based on the command opcode and the time sequence signal to control the reading of the commands and the execution of the commands.
В процессоре 501 также может быть размещена память для хранения инструкций и данных. В некоторых вариантах осуществления память в процессоре 501 представляет собой кэш. В памяти может храниться инструкция или данные, которые в данный момент или циклически использует процессор 501. Если процессору 501 необходимо снова использовать команду или данные, процессор 501 может напрямую вызвать команду или данные из памяти. Это позволяет избежать повторного доступа и сокращает время ожидания процессора 501, тем самым повышая эффективность системы.The
В некоторых вариантах осуществления процессор 501 может включать в себя один или несколько интерфейсов. Интерфейс может включать в себя интерфейс для связи между интегральными схемами (inter-integrated circuit, I2C), интерфейс для соединения цифровых аудиоустройств (inter-integrated circuit sound, I2S), интерфейс с импульсной кодовой модуляцией (pulse code modulation, PCM), интерфейс универсального асинхронного приемопередатчика (universal asynchronous receiver/transmitter, UART), интерфейс процессора мобильной индустрии (mobile industry processor interface, MIPI), интерфейс ввода/вывода общего назначения (general-purpose input/output, GPIO), a интерфейс модуля идентификации абонента (subscriber identity module, SIM), интерфейс универсальной последовательной шины (universal serial bus, USB) и/или тому подобное.In some embodiments,
Понятно, что схематические взаимосвязи интерфейсных соединений между модулями в этом варианте осуществления данной заявки являются просто иллюстративными описаниями и не представляют собой ограничения на конструкцию устройства 100 отображения, устанавливаемого на голове. В некоторых других вариантах осуществления этой заявки устройство 100 отображения, устанавливаемое на голове, может использовать способы подключения интерфейса, отличные от тех, что применяют в вышеупомянутом варианте осуществления, или может использовать комбинацию нескольких способов подключения интерфейса.It is understood that the schematic relationships of interface connections between modules in this embodiment of this application are merely illustrative descriptions and do not represent limitations on the design of the head-mounted
Модуль 505 управления зарядкой выполнен с возможностью получения входных данных о зарядке от зарядного устройства. Зарядное устройство может быть беспроводным или проводным. В некоторых вариантах осуществления проводной зарядки модуль 505 управления зарядкой может принимать входные данные о зарядке от проводного зарядного устройства с использованием интерфейса 504 USB. В некоторых вариантах осуществления беспроводной зарядки модуль 505 управления зарядкой может принимать входные данные от беспроводной зарядки с использованием катушки беспроводной зарядки устройства 100 отображения, устанавливаемого на голове. При зарядке аккумулятора модуль 505 управления зарядкой также может подавать питание на устройство отображения, устанавливаемое на голове, используя модуль управления питанием.The charge control module 505 is configured to receive charging input from the charger. The charger can be wireless or wired. In some wired charging embodiments, charge control module 505 may receive charging input from a wired charger using USB interface 504. In some wireless charging embodiments, charge control module 505 may receive input from wireless charging using the wireless charging coil of head-mounted
Модуль 506 управления питанием выполнен с возможностью подключения к аккумулятору 507, модулю 505 управления зарядкой и процессору 501. Модуль 506 управления питанием принимает входные данные от аккумулятора 507 и/или модуля 505 управления зарядкой для подачи питания на процессор 501, внутреннюю память, левый дисплей 210, правый дисплей 220, модуль 150 камеры, модуль 160 камеры, модуль беспроводной связи и т.п. Модуль 506 управления питанием также может быть выполнен с возможностью отслеживания таких параметров, как емкость аккумулятора 507, количество циклов аккумулятора 507 и состояние работоспособности (утечка электричества и сопротивление) аккумулятора 507. В некоторых других вариантах осуществления модуль 506 управления питанием может быть расположен в процессоре 501. В некоторых других вариантах осуществления модуль 506 управления питанием и модуль 505 управления зарядкой могут быть расположены в одном компоненте.The
Модуль 508 беспроводной связи может обеспечивать решение беспроводной связи, применяемое к устанавливаемому на голове устройству 100 отображения, включая беспроводную локальную сеть (wireless local area networks, WLAN) (например, сеть беспроводной связи (wireless fidelity, Wi-Fi)), Bluetooth (bluetooth, BT), глобальную навигационную спутниковую систему (global navigation satellite system, GNSS), частотную модуляцию (frequency modulation, FM), технологию беспроводной связи ближнего радиуса действия (Near Field Communication, NFC), инфракрасный порт (infrared, IR) или тому подобное. Модуль 508 беспроводной связи представлять собой один или несколько компонентов, в которые интегрирован по меньшей мере один модуль управления передачей данных. Модуль 508 беспроводной связи принимает электромагнитную волну с помощью антенны, выполняет частотную модуляцию и фильтрацию сигнала электромагнитной волны и отправляет обработанный сигнал на процессор 501. Модуль 508 беспроводной связи также может принимать сигнал, который должен быть отправлен от процессора 501, выполнять частотную модуляцию и усиление сигнала и преобразовывать сигнал, полученный после частотной модуляции и усиления, в электромагнитную волну, используя антенну для излучения.The
Устанавливаемое на голове устройство 100 отображения реализует функцию отображения с использованием графического процессора (GPU), левого дисплея 210, правого дисплея 220, прикладного процессора и т.п. Графический процессор представляет собой микропроцессор для обработки изображений, и он подключен к левому дисплею 210, правому дисплею 220 и прикладному процессору. Графический процессор выполнен с возможностью выполнения математических и геометрических вычислений, а также с возможностью выполнения графического рендеринга. Процессор 501 может включать в себя один или несколько графических процессоров, и один или несколько графических процессоров выполняют программную инструкцию для генерации или изменения отображаемой информации.The head-mounted
В некоторых вариантах осуществления этой заявки устройство 100 отображения, устанавливаемое на голове, может представлять собой интегрированный HMD. Таким образом, устройство 100 отображения, устанавливаемое на голове, может выполнять обработку полученного изображения и информации о положении устройства 100 отображения, устанавливаемого на голове, используя, например, CPU, GPU, NPU, прикладной процессор и т.п., предварительную обработку и объединение изображения низкой четкости, захваченного камерой с большим полем обзора, и изображения высокой четкости, захваченного камерой с малым полем обзора, для получения реального изображения сцены; генерировать изображение, которое включает в себя виртуальный объект; и составлять изображение, которое включает в себя виртуальный объект, с реальным изображением сцены.In some embodiments of this application, the head mounted
Изображение низкого разрешения, захваченное камерой с большим полем обзора, описывается относительно изображения, захваченного камерой с малым полем обзора, а разрешение изображения, захваченного камерой с большим полем обзора, ниже, чем разрешение изображения, полученного камерой с малым полем обзора. Изображение низкой четкости, захваченное камерой с большим полем обзора, удовлетворяет требованиям пользователя к разрешению изображения фоновой области во время просмотра изображения с помощью HDM. Аналогично, изображение высокого разрешения, захваченное камерой с малым полем обзора, описывается относительно изображения, захваченного камерой с большим полем обзора, а разрешение изображения, захваченного камерой с малым полем обзора, выше, чем разрешение изображения, полученного камерой с большим полем обзора. Изображение высокой четкости, захваченное камерой с малым полем обзора, удовлетворяет требованиям пользователя к разрешению изображения центральной области во время просмотра изображения с помощью HDM.The low resolution image captured by the large field of view camera is described relative to the image captured by the small field of view camera, and the resolution of the image captured by the large field of view camera is lower than the resolution of the image captured by the small field of view camera. The low-definition image captured by the large field of view camera satisfies the user's requirement for image resolution of the background area while viewing the image using HDM. Similarly, a high-resolution image captured by a small field of view camera is described relative to an image captured by a large field of view camera, and the resolution of an image captured by a small field of view camera is higher than that of an image captured by a large field of view camera. The high-definition image captured by the small field of view camera satisfies the user's requirements for image resolution of the central area while viewing the image using HDM.
В некоторых других вариантах осуществления этой заявки устройство 100 отображения, устанавливаемое на голове, может представлять собой раздельный HMD. То есть, устройство 100 отображения, устанавливаемое на голове, может полностью или частично передавать обработку данных, выполняемую над полученным изображением и информацией о положении устройства 100 отображения, устанавливаемого на голове, другому электронному устройству или прибору. Например, устройство 100 отображения, устанавливаемое на голове, может отправлять, используя, например, интерфейс 504 USB, полученное изображение высокой четкости и изображение низкой четкости, а также полученное положение устройства 100 отображения, устанавливаемого на голове, на другое электронное устройство (например, мобильный телефон, персональный компьютер или планшетный компьютер), подключенный к устройству 100 отображения, устанавливаемому на голове. Электронное устройство выполняет обработку данных, а затем возвращает результат обработки на устройство 100 отображения, устанавливаемое на голове, для отображения на устройстве 100 отображения, устанавливаемом на голове. В этом примере устройство 100 отображения, устанавливаемое на голове, может не включать в себя какое-либо одно или несколько из следующих аппаратных устройств: GPU, NPU, прикладной процессор и т.п.In some other embodiments of this application, the head mounted
Левый дисплей 210 выполнен с возможностью отображения изображения, видео или тому подобного, соответствующего левому глазу, а правый дисплей 220 выполнен с возможностью отображения изображения, видео или тому подобного, соответствующего правому глазу. Левый дисплей 210 и правый дисплей 220 могут включать в себя панель отображения. Панель отображения может представлять собой жидкокристаллический дисплей (liquid crystal display, LCD), органический светодиод (organic light-emitting diode, OLED), активную матрицу на органических светодиодах (active-matrix organic light emitting diode, AMOLED), гибкий светодиод (flex light-emitting diode, FLED), MiniLED, MicroLED, Micro-OLED, светоизлучающий диод с квантовыми точками (quantum dot light emitting diode, QLED) или тому подобное.The
Устройство 100 отображения, устанавливаемое на голове, может реализовывать функцию фотографирования с помощью ISP, модуля 150 камеры, модуля 160 камеры, видеокодера/декодера, GPU, левого дисплея 210, правого дисплея 220, прикладного процессора и т.п.The head-mounted
ISP выполнен с возможностью обработки данных, возвращаемых модулем 150 камеры и модулем 160 камеры. Например, когда модуль камеры захватывает изображение, свет передают на светочувствительный элемент камеры через линзу, так что оптический сигнал преобразуют в электрический сигнал; и светочувствительный элемент камеры передает электрический сигнал на ISP для обработки, так что электрический сигнал преобразуют в видимое изображение. ISP может дополнительно выполнить алгоритмическую оптимизацию шума, яркости и общего вида изображения. ISP также может оптимизировать такие параметры, как экспозиция и цветовая температура сфотографированной сцены. В некоторых вариантах осуществления ISP может быть расположен в модуле 150 камеры и модуле 160 камеры.The ISP is configured to process the data returned by the
Модуль 150 камеры и модуль 160 камеры могут быть выполнены с возможностью захвата неподвижного изображения или видео. Оптическое изображение объекта создают с помощью линзы и проецируют на светочувствительный элемент. Светочувствительный элемент может представлять собой устройство с зарядовой связью (charge coupled device, CCD) или комплементарный металлооксидный полупроводник (complementary metal-oxide-semiconductor, CMOS). Светочувствительный элемент преобразует оптический сигнал в электрический сигнал, а затем передает электрический сигнал на ISP, так что электрический сигнал преобразуют в сигнал цифрового изображения. ISP выводит цифровой сигнал изображения на DSP для обработки. DSP преобразует сигнал цифрового изображения в сигнал изображения в стандартном формате, таком как RGB или YUV. В некоторых вариантах осуществления устройство 100 отображения, устанавливаемое на голове, может включать в себя один или N модулей 150 камеры и один или M модулей 160 камеры. N и M являются положительными целыми числами больше 1.The
Процессор цифровых сигналов выполнен с возможностью обработки цифрового сигнала и может также обрабатывать другой цифровой сигнал в дополнение к сигналу цифрового изображения. Например, когда устройство 100 отображения, устанавливаемое на голове, выполняет выбор частоты, процессор цифровых сигналов выполняет преобразование Фурье и т.п. на частотной энергии.The digital signal processor is configured to process a digital signal and may also process another digital signal in addition to the digital image signal. For example, when the
Видеокодер/декодер выполнен с возможностью сжатия или распаковки цифрового видео. Устройство 100 отображения, устанавливаемое на голове, может поддерживать один или несколько типов видеокодеров/декодеров. Таким образом, устройство 100 отображения, устанавливаемое на голове, может воспроизводить или записывать видео в нескольких форматах кодирования, таких как формат экспертной группы MPEG (moving picture experts group, MPEG) 1, MPEG 2, MPEG 3 и MPEG 4.The video encoder/decoder is configured to compress or decompress digital video. The head-mounted
NPU – это нейросетевой процессор (neural-network, NN); и он быстро обрабатывает входную информацию с помощью биологической нейросетевой структуры, такой как способ передачи между нервными клетками человеческого мозга, и может дополнительно постоянно выполнять самообучение. NPU может быть использован для реализации такого приложения, как интеллектуальное распознавание в устройстве 100 отображения, устанавливаемом на голове, например, распознавание изображений, распознавание лиц, распознавание речи или понимание текста.NPU is a neural network processor (neural-network, NN); and it quickly processes the input information with the biological neural network structure, such as the transmission method between the nerve cells of the human brain, and can further continuously perform self-learning. The NPU can be used to implement an application such as intelligent recognition in the head-mounted
Интерфейс 502 внешней памяти может быть выполнен с возможностью подключения к внешней карте памяти, такой как карта MicroSD, для расширения возможностей хранения устройства 100 отображения, устанавливаемого на голове. Внешняя карта памяти обменивается данными с процессором 501 с помощью интерфейса 502 внешней памяти, чтобы реализовать функцию хранения данных, например, сохранение файла, такого как музыка или видео, на внешней карте памяти.The
Внутренняя память 503 может быть выполнена с возможностью хранения компьютерного исполняемого программного кода, а исполняемый программный код включает в себя инструкцию. Внутренняя память 503 может включать в себя область хранения программ и область хранения данных. Область хранения программ может хранить операционную систему, прикладную программу, требуемую по меньшей мере одной функцией (например, функцией воспроизведения голоса или функцией воспроизведения изображения) и т.п. В области хранения данных могут храниться данные (например, аудиоданные и адресная книга) и т.п., созданные во время использования устройства 100 отображения, устанавливаемого на голове. Кроме того, внутренняя память 503 может включать в себя высокоскоростную память с произвольным доступом или может включать в себя энергонезависимую память, такую как по меньшей мере одна память на магнитных дисках, флэш-память или универсальный флэш-накопитель (universal flash storage, UFS). Процессор 501 выполняет инструкцию, хранящуюся во внутренней памяти 503, и/или инструкцию, хранящуюся в памяти, расположенной в процессоре 501, для выполнения различных функциональных приложений и обработки данных устройства 100 отображения, устанавливаемого на голове.The
Устройство 100 отображения, устанавливаемое на голове, может реализовывать звуковую функцию, например, воспроизводить или записывать музыку, используя аудиомодуль 509, динамик 510, телефонный приемник 511, микрофон 512, разъем 513 для гарнитуры, прикладной процессор и тому подобное.The head-mounted
Аудиомодуль 509 выполнен с возможностью преобразования цифровой аудиоинформации в выходной аналоговый аудиосигнал, а также преобразования аналогового аудиовхода в цифровой аудиосигнал. Аудиомодуль 509 также может быть выполнен с возможностью кодирования и декодирования аудиосигнала. В некоторых вариантах осуществления аудиомодуль 509 может быть расположен в процессоре 501, или некоторые функциональные модули аудиомодуля 509 могут быть расположены в процессоре 501.The audio module 509 is configured to convert the digital audio information into an analog audio output signal, as well as convert the analog audio input into a digital audio signal. Audio module 509 may also be configured to encode and decode an audio signal. In some embodiments, the audio module 509 may be located in the
Динамик 510 также называют "громкоговорителем", и он выполнен с возможностью преобразования звукового электрического сигнала в звуковой сигнал. Устройство 100 отображения, устанавливаемое на голове, может прослушивать музыку или звонки в режиме громкой связи с помощью динамика 510.Speaker 510 is also referred to as a "loudspeaker" and is configured to convert an audio electrical signal into an audio signal. The head-mounted
Телефонный приемник 511 также называют "наушником", и он выполнен с возможностью преобразования звукового электрического сигнала в звуковой сигнал Если устройство 100 отображения, устанавливаемое на голове, отвечает на вызов или принимает голосовое сообщение, телефонный приемник 511 можно разместить рядом с человеческим ухом для приема голоса.The
Микрофон 512 также называют "микрофоном" или "микрофоном", и он выполнен с возможностью преобразования звукового сигнала в электрический сигнал. При получении голосового сообщения пользователь может говорить, приближая рот к микрофону 512, чтобы ввести звуковой сигнал в микрофон 512. По меньшей мере один микрофон 512 может быть расположен в устройстве 100 отображения, устанавливаемом на голове. В некоторых других вариантах осуществления в устройстве 100 отображения, устанавливаемом на голове, может быть расположено два микрофона 512, чтобы реализовывать функцию шумоподавления в дополнение к получению звукового сигнала. В некоторых других вариантах осуществления в устройстве 100 отображения, устанавливаемом на голове, может быть расположено три, четыре или более микрофонов 512, чтобы собирать звуковой сигнал и реализовывать шумоподавление, а также дополнительно распознавать источник звука для реализации функции направленной записи и т.п.
Гнездо 513 для гарнитуры выполнено с возможностью подключения проводной гарнитуры. Гнездо 513 для гарнитуры может представлять собой интерфейс USB или стандартный 3,5 мм интерфейс открытой платформы мобильных терминалов (open mobile terminal platform, OMTP) или стандартный интерфейс ассоциации телекоммуникационной отрасли США (cellular telecommunications industry association of the USA, CTIA).The headset jack 513 is configured to connect a wired headset. The headset jack 513 may be a USB interface or a standard 3.5 mm open mobile terminal platform (OMTP) interface or a standard cellular telecommunications industry association of the USA (CTIA) interface.
Кнопка 514 включает в себя кнопку включения, кнопку громкости и т.п. Кнопка 514 может быть механической кнопкой 514 или сенсорной кнопкой 514. Устройство 100 отображения, устанавливаемое на голове, может принимать ввод от кнопки 514 и формировать входной сигнал кнопки, относящийся к пользовательским настройкам и управлению функциями устройства 100 отображения, устанавливаемого на голове.The button 514 includes a power button, a volume button, and the like. The button 514 may be a mechanical button 514 or a touch button 514. The
Мотор 515 может генерировать вибрацию. Мотор 515 может быть выполнен с возможностью обеспечения вибрации для входящего вызова или может быть выполнен с возможностью обеспечения вибрационной обратной связи на касания. Например, сенсорные операции, выполняемые в разных приложениях (например, фотосъемка и воспроизведение звука), могут соответствовать различным эффектам вибрационной обратной связи. Для операций касания, выполняемых в разных областях левого дисплея 210 и правого дисплея 220, мотор 515 также может соответствовать различным эффектам вибрационной обратной связи. Различные сценарии приложений (например, напоминание о времени, получение информации, будильник и игра) также могут соответствовать различным эффектам вибрационной обратной связи. В качестве альтернативы можно настроить вибрационный эффект обратной связи при касании.Motor 515 may generate vibration. Motor 515 may be configured to provide vibration for an incoming call, or may be configured to provide vibration feedback on touch. For example, touch operations performed in different applications (such as taking photos and playing audio) may correspond to different vibration feedback effects. For touch operations performed in different areas of the
Индикатор 516 может представлять собой световой индикатор и может быть выполнен с возможностью индикации состояния зарядки и замены батареи, или может быть выполнен с возможностью индикации сообщения, пропущенного вызова, уведомления и т.п.The indicator 516 may be an indicator light and may be configured to indicate the status of charging and battery replacement, or may be configured to indicate a message, missed call, notification, or the like.
Все технические решения в следующих вариантах осуществления могут быть реализованы в устройстве 100 отображения, устанавливаемом на голове, показанном на фиг. 1B-5.All the technical solutions in the following embodiments can be implemented in the head mounted
На фиг. 6 приведена блок-схема последовательности действий способа обработки изображения в соответствии с вариантом осуществления этой заявки. Способ, в частности, включает в себя следующие этапы.In FIG. 6 is a flowchart of an image processing method according to an embodiment of this application. The method specifically includes the following steps.
S101. В ответ на обнаруженную пользовательскую операцию запуска получают первое изображение первого разрешения с помощью первой камеры и одновременно получают второе изображение второго разрешения с помощью второй камеры.S101. In response to the detected custom trigger operation, a first image of the first resolution is obtained using the first camera, and a second image of the second resolution is simultaneously obtained using the second camera.
В этом варианте осуществления этой заявки две первые камеры могут быть использованы для имитации двух глаз пользователя (первая камера с левой стороны соответствует левому глазу, а первая камера с правой стороны соответствует правому глазу). Для получения изображения или видео в максимальном диапазоне, видимом двумя глазами пользователя, оптические центры двух первых камер соответственно выровнены с центрами двух глаз пользователя, а поле обзора каждой первой камеры должно быть близко к полю зрения человеческого глаза. Таким образом, два первых изображения, полученные одновременно двумя первыми камерами, можно рассматривать как два изображения в пределах максимального диапазона, видимого двумя глазами пользователя, и их можно использовать в качестве изображения фоновых областей в реальных сценах, видимых пользователем. Когда две первые камеры получают первые изображения, две вторые камеры используют для получения изображений областей визуальной фокусировки пользователя (вторая камера с левой стороны соответствует левому глазу, а вторая камера с правой стороны соответствует правому глазу), а именно изображения центральных областей. Как упомянуто выше, диапазон области визуальной фокусировки пользователя меньше максимального диапазона, видимого двумя глазами пользователя, и для области визуальной фокусировки требуется сравнительно высокая четкость. Следовательно, поле зрения второй камеры меньше поля зрения первой камеры, а разрешение (а именно второе разрешение) второй камеры выше, чем разрешение (а именно, первое разрешение) первой камеры.In this embodiment of this application, the first two cameras can be used to simulate the user's two eyes (the first camera on the left side corresponds to the left eye, and the first camera on the right side corresponds to the right eye). To obtain an image or video in the maximum range visible to the user's two eyes, the optical centers of the first two cameras are respectively aligned with the centers of the user's two eyes, and the field of view of each first camera should be close to the field of view of the human eye. Thus, the first two images taken simultaneously by the two first cameras can be considered as two images within the maximum range visible with the two eyes of the user, and they can be used as an image of background areas in actual scenes seen by the user. When the first two cameras acquire the first images, the second two cameras are used to acquire images of the user's visual focus areas (the second camera on the left side corresponds to the left eye and the second camera on the right side corresponds to the right eye), namely, images of the central areas. As mentioned above, the range of the user's visual focus area is less than the maximum range visible with the user's two eyes, and relatively high definition is required for the visual focus area. Therefore, the field of view of the second camera is smaller than the field of view of the first camera, and the resolution (namely the second resolution) of the second camera is higher than the resolution (namely the first resolution) of the first camera.
Поля обзора фоновой области и центральной области, а также требования к четкости для пользователя во время просмотра с близкого расстояния определяют на основе визуальной особенности человеческого глаза. Например, поле зрения первой камеры может находиться в диапазоне от 100 градусов до 200 градусов, а разрешение (а именно, первое разрешение) первой камеры может варьироваться от VGA до 720p. Поле зрения второй камеры может находиться в диапазоне от 20 градусов до 60 градусов, а разрешение (а именно, второе разрешение) второй камеры может варьироваться от 720p до 2Kp.The fields of view of the background area and the center area, as well as the clarity requirements for the user during close viewing, are determined based on the visual feature of the human eye. For example, the field of view of the first camera may range from 100 degrees to 200 degrees, and the resolution (namely, the first resolution) of the first camera may range from VGA to 720p. The field of view of the second camera may range from 20 degrees to 60 degrees, and the resolution (namely, the second resolution) of the second camera may range from 720p to 2Kp.
Например, пользовательская операция запуска может представлять собой операцию запуска пользователем приложения AR, пользовательской операцией, которая запускает службу, или операцией, посредством которой пользователь включает камеру. Например, пользователь может коснуться элемента управления, нажать физическую кнопку или ввести определенную голосовую команду или заранее заданный жест. Это не ограничено данным вариантом выполнения данной заявки.For example, the user start operation may be a user start operation of the AR application, a user operation that starts a service, or an operation by which the user turns on the camera. For example, the user can tap a control, press a physical button, or enter a specific voice command or a predefined gesture. It is not limited to this embodiment of this application.
После обнаружения пользовательской операции запуска устройство отображения, устанавливаемое на голове, управляет двумя первыми камерами и двумя вторыми камерами для одновременного получения изображений для получения двух первых изображений большого поля обзора. Из-за особой разницы в местоположении между двумя первыми камерами только в горизонтальном направлении имеется сравнительно небольшая разница в углах обзора между двумя полученными первыми изображениями только в горизонтальном направлении. Например, как показано на фиг. 7, сфотографированные объекты на первом изображении включают в себя дерево, собаку и мяч, а первое изображение является изображением первого разрешения.Upon detecting the user's triggering operation, the head-mounted display device controls the first two cameras and the second two cameras to acquire images simultaneously to acquire the first two images of a large field of view. Due to the particular position difference between the two first cameras in the horizontal direction only, there is a relatively small difference in viewing angles between the two first images acquired in the horizontal direction only. For example, as shown in FIG. 7, the photographed objects in the first image include a tree, a dog, and a ball, and the first image is a first resolution image.
Поскольку поле зрения второй камеры меньше, чем поле зрения первой камеры, второе изображение, полученное второй камерой, является частью содержимого первого изображения и является содержимым центральной области первого изображения, но разрешение второго изображения выше, чем у первого изображения. Например, как показано на фиг. 7 сфотографированный объект на втором изображении представляет собой дерево, а второе изображение является изображением второго разрешения. Можно отметить, что на фиг. 7, для обозначения изображения второго разрешения используют затенение, чтобы отличить его от изображения первого разрешения. Ниже это повторно не описано.Since the field of view of the second camera is smaller than the field of view of the first camera, the second image captured by the second camera is part of the content of the first image and is the content of the central region of the first image, but the resolution of the second image is higher than that of the first image. For example, as shown in FIG. 7, the photographed object in the second image is a tree, and the second image is a second resolution image. It may be noted that in Fig. 7, shading is used to indicate the second resolution image to distinguish it from the first resolution image. This is not described again below.
Следует отметить, что в этом варианте осуществления этой заявки устройство отображения, устанавливаемое на голове, имеет два модуля камеры (каждый из которых включает в себя первую камеру и вторую камеру), соответственно, соответствующих двум глазам пользователя, и два дисплея. То есть первая камера и вторая камера с левой стороны получают изображения, и после обработки изображений обработанное изображение отображают на дисплее с левой стороны для просмотра левым глазом пользователя. Первая камера и вторая камера с правой стороны получают изображения, и после обработки изображений обработанное изображение отображают на дисплее с правой стороны для просмотра правым глазом пользователя. Поскольку для левой и правой сторон выполняют одинаковую обработку изображений, ниже в качестве примера для описания используют процесс обработки изображения на одной из сторон. Ниже это повторно не описано.It should be noted that in this embodiment of this application, the head-mounted display device has two camera modules (each including a first camera and a second camera), respectively, corresponding to the user's two eyes, and two displays. That is, the first camera and the second camera on the left side acquire images, and after image processing, the processed image is displayed on the display on the left side for viewing by the user's left eye. The first camera and the second camera on the right side receive images, and after image processing, the processed image is displayed on the display on the right side for viewing by the user's right eye. Since the same image processing is performed on the left and right sides, the image processing on one side is used as an example for description. This is not described again below.
Кроме того, поскольку видео, сфотографированное камерой, также включает в себя множество последовательных кадров изображений, обработку видео также можно понимать как обработку множества кадров изображений. Поэтому в этой заявке не описан способ обработки видео.In addition, since the video captured by the camera also includes a plurality of consecutive image frames, video processing can also be understood as processing of a plurality of image frames. Therefore, this application does not describe a video processing method.
S102. Отдельно осуществляют предварительную обработку первого изображения и второго изображения.S102. The first image and the second image are pre-processed separately.
Предварительная обработка включает в себя такую обработку, как устранение искажений и баланс белого. Камера состоит из группы линз, а характерная особенность линз вызывает искажение сфотографированного изображения. Следовательно, обработку снимаемого изображения необходимо выполнять на основе физических характеристик каждой камеры. Кроме того, из-за воздействия таких факторов, как окружающий свет, исходное изображение, снятое камерой, искажается. Следовательно, необходимо выполнить дополнительную обработку, например баланс белого, на сфотографированном изображении. То есть предварительную обработку первого изображения выполняют на основе физических характеристик первой камеры, а предварительную обработку второго изображения выполняют на основе физических характеристик второй камеры. Следует отметить, что предварительная обработка не изменяет поля зрения, разрешение, сфотографированные объекты и т.п. на первом и втором изображении.Pre-processing includes processing such as de-warping and white balance. A camera is made up of a group of lenses, and a characteristic feature of the lenses causes distortion of the photographed image. Therefore, the processing of the captured image needs to be performed based on the physical characteristics of each camera. In addition, due to factors such as ambient light, the original image captured by the camera is distorted. Therefore, additional processing, such as white balance, needs to be performed on the photographed image. That is, the first image is pre-processed based on the physical characteristics of the first camera, and the second image is pre-processed based on the physical characteristics of the second camera. It should be noted that pre-processing does not change the field of view, resolution, photographed objects, etc. in the first and second images.
Как исправление искажений изображения, так и баланс белого могут быть выполнены с использованием соответствующих технологий в данной области техники. Подробности здесь не описаны.Both image distortion correction and white balance can be performed using appropriate techniques in the art. Details are not described here.
S103. Выравнивают угол обзора предварительно обработанного второго изображения с углом обзора обработанного первого изображения на основе местоположения второй камеры относительно первой камеры.S103. The viewing angle of the pre-processed second image is aligned with the viewing angle of the processed first image based on the location of the second camera relative to the first camera.
Предварительно обработанное второе изображение и предварительно обработанное первое изображение имеют один и тот же сфотографированный объект, но существует определенная разница в угле обзора между изображениями одного и того же сфотографированного объекта на двух изображениях из-за разного расположения первой камеры и второй камеры. Следовательно, углы обзора двух изображений необходимо выровнять. Выше подробно описано взаимное местоположение первой камеры и второй камеры в одном модуле камеры. Следовательно, разница углов обзора между двумя изображениями может быть определена на основе взаимного местоположения, а затем угол обзора предварительно обработанного второго изображения может быть отрегулирован на основе разницы углов обзора для согласования с углом обзора предварительно обработанного первого изображения. Из области компьютерной графики понятно, что процесс регулировки угла обзора включает в себя такие процессы, как вращение, перемещение и калибровка некопланарных строк на предварительно обработанном втором изображении. Для соответствующего способа регулировки угла обзора следует обратиться к предшествующему уровню техники. Подробности здесь не описаны.The preprocessed second image and the preprocessed first image have the same photographed object, but there is a certain difference in the angle of view between the images of the same photographed object in the two images due to the different positioning of the first camera and the second camera. Therefore, the viewing angles of the two images need to be aligned. The relative position of the first camera and the second camera in the same camera module has been described in detail above. Therefore, the viewing angle difference between the two images can be determined based on the relative position, and then the viewing angle of the pre-processed second image can be adjusted based on the viewing angle difference to match the viewing angle of the pre-processed first image. From the field of computer graphics it is clear that the process of adjusting the viewing angle includes such processes as rotating, moving and calibrating non-coplanar lines in the pre-processed second image. For the appropriate method of adjusting the viewing angle, reference should be made to the prior art. Details are not described here.
Следует отметить, что в качестве альтернативы угол обзора второго изображения может быть сначала выровнен с углом обзора первого изображения на одной и той же стороне, а затем осуществляют предварительную обработку второго изображения, полученного после выравнивания угла обзора. Последовательность этапа выравнивания угла обзора и этапа предварительной обработки не ограничена в этом варианте осуществления данной заявки.It should be noted that, alternatively, the viewing angle of the second image can be first aligned with the viewing angle of the first image on the same side, and then the second image obtained after the alignment of the viewing angle is pre-processed. The sequence of the viewing angle alignment step and the pre-processing step is not limited in this embodiment of the present application.
S104. Получают информацию о положении устройства отображения, устанавливаемого на голове, и на основе предварительно обработанного первого изображения генерируют третье изображение, которое включает в себя виртуальный объект.S104. Information about the position of the display device mounted on the head is obtained, and on the basis of the pre-processed first image, a third image is generated, which includes a virtual object.
Например, устройство отображения, устанавливаемое на голове, выполняет одноканальное извлечение данных и понижающую дискретизацию предварительно обработанного первого изображения и со ссылкой на информацию о положении (то есть информацию о положении устройства отображения, устанавливаемого на голове, во время получения первого изображения), полученную от датчика движения (например, IMU), вычисляет информацию о местоположении и положении устройства отображения, устанавливаемого на голове, информацию о глубине реальной окружающей среды и результат трехмерной реконструкции, используя алгоритм одновременной локализацию и построения карты SLAM (Simultaneously Localization and Mapping) алгоритм. Затем соответствующим приложением (например, приложением AR) в устройстве отображения, устанавливаемом на голове, генерируют третье изображение, которое включает в себя виртуальный объект, со ссылкой на виртуальный объект. Как показано на фиг. 7, виртуальный объект, сгенерированный устройством отображения, устанавливаемым на голове, является роботом, а изображение, а именно третье изображение, которое включает в себя робота, генерируют на основе вычисленной информации о локализации и положении, информации о глубине окружающей среды и результата трехмерной реконструкции.For example, the head-mounted display device performs single-channel data extraction and downsampling of the pre-processed first image, and with reference to the position information (i.e., the position information of the head-mounted display device at the time of acquisition of the first image) received from the sensor (e.g., IMU), calculates location and position information of a head-mounted display device, depth information of the real environment, and a 3D reconstruction result using the Simultaneously Localization and Mapping (SLAM) algorithm. Then, a third image, which includes the virtual object, is generated in the head-mounted display device with a reference to the virtual object by an appropriate application (for example, an AR application). As shown in FIG. 7, the virtual object generated by the head-mounted display device is a robot, and an image, namely a third image that includes the robot, is generated based on the calculated location and position information, the environment depth information, and the 3D reconstruction result.
Кроме того, чтобы можно было естественным образом смешивать виртуальный объект, сгенерированный независимо соответствующим приложением, с реальной сценой, чтобы пользователь не ощущал резкой выраженности и неестественности, виртуальный объект может быть дополнительно отрегулирован на основе реального изображения сцены. Например, разрешение виртуального объекта адаптируют к разрешению реального изображения сцены, регулируют местоположение виртуального объекта и вычисляют тень виртуального объекта на основе условий освещения в реальной сцене.In addition, in order to naturally blend the virtual object generated independently by the corresponding application with the real scene so that the user does not feel harsh and unnatural, the virtual object can be further adjusted based on the actual image of the scene. For example, the resolution of the virtual object is adapted to the resolution of the real image of the scene, the location of the virtual object is adjusted, and the shadow of the virtual object is calculated based on the lighting conditions in the real scene.
S105. Объединяют в виде четвертого изображения реальной сцены предварительно обработанное первое изображение со вторым изображением, полученным после совмещения угла обзора, где четвертое изображение включает в себя изображение первого разрешения и изображение второго разрешения.S105. The pre-processed first image is merged as the fourth image of the real scene with the second image obtained after the viewing angle is aligned, where the fourth image includes the first resolution image and the second resolution image.
Например, устройство отображения, устанавливаемое на голове, в качестве целевых областей определяет область в предварительно обработанном первом изображении и область во втором изображении, полученном после совмещения угла обзора, которые имеют перекрывающиеся углы обзора. То есть изображения в целевых областях в двух изображениях являются изображениями, полученными путем одновременного фотографирования одного и того же сфотографированного объекта под одним и тем же углом обзора. Объединение изображений выполняют на предварительно обработанном первом изображении и втором изображении, полученном после совмещения угла обзора, для получения четвертого изображения. Изображение целевой области на четвертом изображении такое же, как изображение целевой области на втором изображении, полученном после совмещения угла обзора, и имеет сравнительно высокое второе разрешение. Изображение области, отличной от целевой области, в четвертом изображении такое же, как изображение в предварительно обработанном первом изображении, и имеет сравнительно низкое первое разрешение. Например, как показано на фиг. 7 на четвертом изображении разрешение дерева является вторым разрешением, а разрешение собаки, мяча и т.п., кроме дерева, является первым разрешением.For example, the head-mounted display device determines as target areas an area in a pre-processed first image and an area in a second image obtained after viewing angle alignment, which have overlapping viewing angles. That is, the images in the target areas in the two images are images obtained by photographing the same photographed object at the same time from the same viewing angle. The image merging is performed on the pre-processed first image and the second image obtained after the alignment of the viewing angle to obtain the fourth image. The image of the target area in the fourth image is the same as the image of the target area in the second image obtained after the alignment of the angle of view, and has a relatively high second resolution. The image of the area other than the target area in the fourth image is the same as the image in the pre-processed first image and has a relatively low first resolution. For example, as shown in FIG. 7 in the fourth image, the resolution of the tree is the second resolution, and the resolution of the dog, ball, etc. other than the tree is the first resolution.
Понятно, что целевая область на четвертом изображении является областью визуального фокуса пользователя, а именно центральной областью, и требует сравнительно высокого разрешения. Область, отличная от целевой области на четвертом изображении, является вышеуказанной фоновой областью и требует сравнительно низкого разрешения, но имеет относительно большое поле зрения.It is understood that the target area in the fourth image is the user's visual focus area, namely the center area, and requires a relatively high resolution. The area other than the target area in the fourth image is the above background area and requires a relatively low resolution but has a relatively large field of view.
Например, в вышеупомянутом процессе объединения изображений изображение целевой области на предварительно обработанном первом изображении может быть удалено, а затем может быть заполнено изображением целевой области на втором изображении, полученным после совмещения угла обзора. После заполнения, чтобы избежать такой проблемы, как ощущение наложения, вызванное процессом компоновки изображения, положения краев композиции двух изображений (а именно, положения краев целевых областей) смешивают с использованием способа взвешенного смешивания, так что окончательное составное изображение (а именно четвертое изображение) является более естественным и реальным.For example, in the above image merging process, the image of the target area in the pre-processed first image may be removed, and then may be filled with the image of the target area in the second image obtained after the angle of view is aligned. After filling, in order to avoid such a problem as the overlapping feeling caused by the image composition process, the edge positions of the composition of the two images (namely, the edge positions of the target areas) are mixed using a weighted blending method, so that the final composite image (namely, the fourth image) is more natural and real.
Способ компоновки изображения может представлять собой один или несколько из следующих: технология прямого вырезания-вставки (cut-paste), альфа-смешивание (alpha blending), многополосное смешивание (multiband blending) или пуассоновское смешивания (poisson blending). В этой заявке не ограничен конкретный способ компоновки изображения.The image composition method may be one or more of the following: direct cut-paste technology, alpha blending, multiband blending, or poisson blending. This application is not limited to a particular way of arranging an image.
Например, целевые области могут быть определены с использованием способа сопоставления характерных точек. Следует отметить, что, хотя изображения целевых областей на двух изображениях получены путем одновременного фотографирования одного и того же сфотографированного объекта и имеют одинаковый угол обзора, поскольку две фотографии получают двумя камерами, находящимися в разных местах, а значения пикселей изображений в целевых областях в двух изображениях не полностью согласованы из-за таких факторов, как свет, то целевые области необходимо определять на основе двух изображений.For example, target areas may be determined using a feature point matching method. It should be noted that although the images of the target areas in the two images are obtained by photographing the same photographed object at the same time and have the same viewing angle, since the two photographs are taken by two cameras located in different places, and the pixel values of the images in the target areas in the two images are not fully matched due to factors such as light, the target areas need to be determined based on the two images.
Проще говоря, распознавание характерных точек выполняют отдельно на двух изображениях, а затем сравнивают сходство характерных точек на двух изображениях для определения целевых областей. То есть области с одинаковыми характерными точками на двух изображениях определяют как области с одинаковым углом обзора, а именно как целевые области. Характерная точка – это один или несколько пикселей, и сходство характерных точек на двух изображениях может быть одинаковым соотношением между пиксельными значениями характерных точек и пиксельными значениями пикселей вокруг характерных точек по следующей причине: Хотя пиксельные значения пикселей в целевых областях двух изображений различаются из-за таких факторов, как свет, поскольку целевые области отображают один и тот же сфотографированный объект, имеет место фиксированная взаимосвязь между пикселем в целевой области и пикселями вокруг этого пикселя. Например, для одного и того же листа, сфотографированного в одно и то же время, на изображении 1 свет относительно сильный, а весь лист сравнительно яркий; а на изображении 2 свет относительно темный, а весь лист сравнительно темный. Другими словами, пиксельное значение листа на изображении 1 отличается от пиксельного значения листа на изображении 2. Однако разница между пиксельными значениями разных частей листа на изображении 1 такая же, как разница между пиксельными значениями разных частей листа на изображении 2.In simple terms, feature point recognition is performed separately on two images, and then the similarity of feature points in the two images is compared to determine target areas. That is, areas with the same feature points in the two images are defined as areas with the same viewing angle, namely as target areas. A feature point is one or more pixels, and the similarity of the feature points in two images may be the same ratio between the pixel values of the feature points and the pixel values of the pixels around the feature points due to the following reason: Although the pixel values of the pixels in the target areas of the two images differ due to such factors such as light, since the target areas display the same photographed object, there is a fixed relationship between a pixel in the target area and the pixels around that pixel. For example, for the same leaf, photographed at the same time, in
Метод распознавания характерных точек может представлять собой один или несколько из следующих: алгоритм SIFT, алгоритм SURF (Speeded Up Robust Features), алгоритм FAST, алгоритм ORB (ORiented Brief and Rotated BRIEF) или т.п. В этом варианте осуществления настоящей заявки конкретный способ распознавания характерной точки не ограничен.The feature point recognition method may be one or more of the following: SIFT algorithm, SURF (Speeded Up Robust Features) algorithm, FAST algorithm, ORB (ORiented Brief and Rotated BRIEF) algorithm, or the like. In this embodiment of the present application, the specific feature point recognition method is not limited.
Конечно, целевые области могут быть определены с использованием другого способа. Например, из-за фиксированного взаимного местоположения первой камеры и второй камеры, местоположение целевой области в предварительно обработанном первом изображении также фиксировано, и местоположение целевой области во втором изображении, полученном после выравнивания угла обзора, также фиксировано. Следовательно, местоположение целевой области в предварительно обработанном первом изображении и местоположение целевой области во втором изображении, полученном после выравнивания угла обзора, могут быть определено заранее, и затем выполняют объединение изображений непосредственно на основе местоположений. Способ определения целевой области также не ограничен в этом варианте осуществления данной заявки.Of course, the target regions may be determined using another method. For example, due to the fixed relative position of the first camera and the second camera, the location of the target area in the preprocessed first image is also fixed, and the location of the target area in the second image obtained after equalizing the viewing angle is also fixed. Therefore, the location of the target area in the pre-processed first image and the location of the target area in the second image obtained after equalizing the viewing angle can be determined in advance, and then image merging is performed directly based on the locations. The method for determining the target area is also not limited in this embodiment of this application.
Следует отметить, что в этом варианте осуществления настоящей заявки этап S105 может быть выполнен перед этапом S104, или этапы S104 и S105 могут быть выполнены одновременно. Это не ограничено в данной заявке.It should be noted that in this embodiment of the present application, step S105 may be performed before step S104, or steps S104 and S105 may be performed simultaneously. It is not limited in this application.
S106. Объединяют четвертое изображение с третьим изображением, чтобы получить пятое изображение, и отображают пятое изображение, причем пятое изображение включает в себя реальную сцену и виртуальный объект.S106. The fourth image is combined with the third image to obtain the fifth image, and the fifth image is displayed, the fifth image including the real scene and the virtual object.
В частности, объединение изображений выполняют для четвертого изображения и третьего изображения, так что составное изображение (а именно, пятое изображение) включает в себя виртуальный объект из третьего изображения, а также включает в себя реальную сцену из четвертого изображения; другими словами, реализуют объединение реальности и виртуальности.Specifically, image merging is performed for the fourth image and the third image, so that the composite image (namely, the fifth image) includes the virtual object from the third image and also includes the real scene from the fourth image; in other words, they realize the unification of reality and virtuality.
Например, в процессе объединения третьего изображения и четвертого изображения, местоположение виртуального объекта вычисляют, когда третье изображение генерируют на этапе S104. Следовательно, изображение в том же месте на четвертом изображении может быть удалено, а виртуальный объект может быть помещен на третьем изображении. Для смешивания на краю размещенной области используют способ взвешенного смешивания, чтобы получить пятое изображение. Другими словами, для обработки используют способ объединения изображений, описанный на этапе S105.For example, in the process of combining the third image and the fourth image, the location of the virtual object is calculated when the third image is generated in step S104. Therefore, the image at the same location in the fourth image can be removed and the virtual object can be placed in the third image. For blending at the edge of the placed area, a weighted blending method is used to obtain a fifth image. In other words, the image combining method described in step S105 is used for processing.
В качестве альтернативы, в процессе объединения третьего изображения и четвертого изображения изображение или текстура виртуального объекта может быть прикреплена к одному и тому же местоположению на четвертом изображении на основе местоположения виртуального объекта, которое вычисляют на предыдущем этапе. Например, объединение изображений может быть реализовано с помощью шейдера (shader). Другими словами, третье изображение и четвертое изображение используют для совместного участия в рендеринге. Для получения информации о конкретном способе визуализации следует обратиться к соответствующему уровню техники. Подробности здесь не описаны.Alternatively, in the process of combining the third image and the fourth image, the image or texture of the virtual object may be attached to the same location in the fourth image based on the location of the virtual object that is calculated in the previous step. For example, combining images can be implemented using a shader. In other words, the third image and the fourth image are used to participate in rendering together. For information on a particular imaging method, refer to the relevant prior art. Details are not described here.
Следует отметить, что конкретный способ объединения изображений не ограничен в этом варианте осуществления данной заявки.It should be noted that the specific method of combining images is not limited in this embodiment of this application.
Из вышеизложенного понятно, что устройство отображения, устанавливаемое на голове, может отдельно отображать на левом и правом дисплеях изображения с сочетанием реальности и виртуальности, полученные в соответствии с вышеизложенным способом, и между изображениями на левом и правом дисплеях имеет место определенная разница углов обзора, так что пользователь может наслаждаться 3D-эффектом во время просмотра.From the foregoing, it is clear that the head-mounted display device can separately display on the left and right displays the images with a combination of reality and virtuality obtained in accordance with the above method, and there is a certain difference in viewing angles between the images on the left and right displays, so that the user can enjoy the 3D effect while browsing.
Кроме того, поскольку поле обзора фоновой области на отображаемом изображении велико, то для пользователя может быть обеспечен более широкий угол обзора, тем самым отвечая требованию сравнительно широкого поля зрения человеческого глаза. Кроме того, изображение центральной области имеет высокое разрешение, так что пользователю может быть предоставлено изображение высокой четкости в пределах глубины резкости линии обзора. Понятно, что техническое решение, представленное в этой заявке, помогает улучшить ощущение погружения, ощущение реальности и визуальный опыт пользователя.In addition, since the field of view of the background area in the displayed image is large, a wider viewing angle can be provided to the user, thereby meeting the requirement of a relatively wide field of view of the human eye. In addition, the image of the central area has a high resolution, so that the user can be provided with a high definition image within the depth of field of the line of sight. It is understood that the technical solution presented in this application helps to improve the sense of immersion, the sense of reality and the visual experience of the user.
Кроме того, изображение фоновой области имеет низкое разрешение, так что объем данных во время обработки изображения и сложность вычислений могут быть уменьшены, тем самым помогая уменьшить задержку во время отображения.In addition, the image of the background area has a low resolution, so that the amount of data during image processing and computational complexity can be reduced, thereby helping to reduce the delay during display.
Понятно, что для реализации вышеупомянутых функций вышеупомянутый терминал или тому подобное включает в себя соответствующие аппаратные структуры и/или программные модули для выполнения этих функций. Специалисту в области техники понятно, что в сочетании с описанными в вариантах осуществления примерами, изложенными в этой спецификации, блоки, алгоритмы и этапы могут быть реализованы в вариантах осуществления этой заявки с помощью аппаратного обеспечения или сочетания аппаратного обеспечения компьютерного программного обеспечения. Будет ли функция выполнена аппаратным обеспечением или аппаратным обеспечением, управляемым компьютерным программным обеспечением, зависит от конкретных приложений и конструктивных ограничений технических решений. Специалисты в области техники могут применять различные способы для реализации описанных функций для каждого конкретного приложения, но не следует считать, что реализация выходит за пределы объема вариантов осуществления настоящего изобретения.It is understood that, in order to implement the above functions, the aforementioned terminal or the like includes appropriate hardware structures and/or software modules for performing these functions. One skilled in the art will appreciate that, in combination with the examples described in the embodiments set forth in this specification, the blocks, algorithms, and steps may be implemented in the embodiments of this application using hardware or a combination of computer software hardware. Whether the function is performed by hardware or by hardware controlled by computer software depends on particular applications and design constraints. Those skilled in the art may use various methods to implement the described functions for each particular application, but the implementation should not be considered outside the scope of the embodiments of the present invention.
В вариантах осуществления этой заявки вышеупомянутый терминал или тому подобное может быть разделен на функциональные модули на основе вышеупомянутых примеров способов. Например, каждый функциональный модуль может быть получен путем разделения на основе соответствующей функции, или две или более функций могут быть интегрированы в один модуль обработки. Интегрированный модуль может быть реализован в виде аппаратного обеспечения, либо могут быть реализованы в виде программного функционального модуля. Следует отметить, что в вариантах осуществления настоящего изобретения разделение на модули является примером и представляет собой просто логическое разделение функций. В фактической реализации может использоваться другой способ разделения.In the embodiments of this application, the aforementioned terminal or the like may be divided into functional modules based on the aforementioned method examples. For example, each functional unit may be obtained by separation based on a corresponding function, or two or more functions may be integrated into one processing unit. An integrated module may be implemented in hardware, or may be implemented as a software function module. It should be noted that in the embodiments of the present invention, the division into modules is an example and is simply a logical separation of functions. The actual implementation may use a different partitioning method.
Приведенное выше описание реализаций позволяет специалисту в данной области техники ясно понять, что в целях удобного и краткого описания разделение вышеупомянутых функциональных модулей взято в качестве примера для иллюстрации. В реальном приложении вышеупомянутые функции могут быть назначены различным функциональным модулям для реализации в соответствии с требованиями. То есть внутренняя структура устройства разделена на различные функциональные модули для реализации всех или некоторых из вышеупомянутых функций. Для подробных рабочих процессов вышеупомянутой системы, устройства и блока следует обратиться к соответствующим процессам в вышеупомянутых вариантах осуществления способа. Подробности здесь снова не описаны.The above description of the implementations will enable one skilled in the art to clearly understand that, for purposes of convenience and brevity, the division of the above functional modules is taken as an example for illustration. In a real application, the above functions can be assigned to different function modules to be implemented according to the requirements. That is, the internal structure of the device is divided into various functional modules to implement all or some of the above functions. For detailed working processes of the aforementioned system, apparatus, and unit, refer to the respective processes in the aforementioned method embodiments. The details are again not described here.
Функциональные блоки в вариантах осуществления этой заявки могут быть интегрированы в один процессор, либо каждый из блоков может быть выполнен физически отдельно, либо два или несколько блоков могут быть интегрированы в один блок. Интегрированный блок может быть реализован в виде аппаратного обеспечения, либо могут быть реализованы в виде программного функционального модуля.The functional blocks in the embodiments of this application may be integrated into a single processor, or each of the blocks may be physically implemented separately, or two or more blocks may be integrated into one block. The integrated unit may be implemented in hardware, or may be implemented as a software function module.
Если интегрированный блок реализован в виде программного функционального блока, который продают или используют в качестве независимого продукта, то интегрированный блок может быть сохранен на машинном носителе информации. Понимая это, технические решение настоящего изобретения по сути или часть, вносящая вклад в существующий уровень техники, или все или некоторые технические решения могут быть реализованы в виде программного продукта. Программный продукт хранят на носителе информации, и он включает в себя несколько команд, предназначенных для того, чтобы вычислительное устройство (которое может представлять собой персональный компьютер, сервер, сетевое устройство и т.п.) или процессор 501 выполнял все или некоторые этапы способов, описанных в вариантах осуществления настоящего изобретения. Вышеупомянутый носитель информации включает в себя: любой носитель, способный хранить программный код, такой как флэш-память, съемный жесткий диск, постоянная память, память произвольного доступа, магнитный диск или оптический диск.If the integrated block is implemented as a software functional block that is sold or used as an independent product, then the integrated block may be stored on a computer storage medium. Understanding this, the technical solution of the present invention in essence or a part contributing to the existing state of the art, or all or some of the technical solutions can be implemented as a software product. The software product is stored on a storage medium and includes several instructions for causing the computing device (which may be a personal computer, server, network device, etc.) or
Вышеприведенное описание представляет собой всего лишь отдельные реализации настоящей заявки, и не предполагается, что оно ограничивает объем защиты настоящего изобретения. Любые изменения или замены в пределах технического объема, раскрытого в этой заявке, должны подпадать под объем защиты этой заявки. Следовательно, объем защиты этой заявки должен соответствовать объему защиты формулы изобретения.The foregoing description is only a separate implementation of the present application, and is not intended to limit the scope of protection of the present invention. Any modifications or substitutions within the technical scope disclosed in this application shall fall within the protection scope of this application. Therefore, the scope of protection of this application should be consistent with the scope of protection of the claims.
Claims (46)
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910228846.3 | 2019-03-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2782312C1 true RU2782312C1 (en) | 2022-10-25 |
Family
ID=
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU220681U1 (en) * | 2023-04-24 | 2023-09-28 | Российская Федерация, от имени которой выступает ФОНД ПЕРСПЕКТИВНЫХ ИССЛЕДОВАНИЙ | Augmented reality device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107462994A (en) * | 2017-09-04 | 2017-12-12 | 浙江大学 | Immersive VR head-wearing display device and immersive VR display methods |
CN108513057A (en) * | 2017-02-28 | 2018-09-07 | 深圳市掌网科技股份有限公司 | Image processing method and device |
EP3392743A1 (en) * | 2017-04-17 | 2018-10-24 | INTEL Corporation | Sensory enhanced augmented reality and virtual reality device |
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108513057A (en) * | 2017-02-28 | 2018-09-07 | 深圳市掌网科技股份有限公司 | Image processing method and device |
EP3392743A1 (en) * | 2017-04-17 | 2018-10-24 | INTEL Corporation | Sensory enhanced augmented reality and virtual reality device |
CN107462994A (en) * | 2017-09-04 | 2017-12-12 | 浙江大学 | Immersive VR head-wearing display device and immersive VR display methods |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU220681U1 (en) * | 2023-04-24 | 2023-09-28 | Российская Федерация, от имени которой выступает ФОНД ПЕРСПЕКТИВНЫХ ИССЛЕДОВАНИЙ | Augmented reality device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7408678B2 (en) | Image processing method and head mounted display device | |
JP7185434B2 (en) | Electronic device for capturing images using multiple cameras and image processing method using the same | |
CN113422903B (en) | Shooting mode switching method, equipment and storage medium | |
US9927948B2 (en) | Image display apparatus and image display method | |
CN113473005B (en) | Shooting transfer live-action insertion method, equipment and storage medium | |
US20180276800A1 (en) | Apparatus and methods for source dynamic range processing of panoramic content | |
US20220417433A1 (en) | Video Image Stabilization Processing Method and Electronic Device | |
US20230162332A1 (en) | Image Transformation Method and Apparatus | |
KR102330264B1 (en) | Electronic device for playing movie based on movment information and operating mehtod thereof | |
KR20200092631A (en) | Apparatus and method for generating slow motion video | |
CN113596321A (en) | Transition dynamic effect generation method, apparatus, storage medium, and program product | |
CN113850709A (en) | Image transformation method and device | |
CN113906736A (en) | Video distribution system, video distribution method, and display terminal | |
CN115150542A (en) | Video anti-shake method and related equipment | |
CN115147492A (en) | Image processing method and related equipment | |
RU2782312C1 (en) | Image processing method and display device mounted on the head | |
US20210303824A1 (en) | Face detection in spherical images using overcapture | |
US11636708B2 (en) | Face detection in spherical images | |
CN112565735B (en) | Virtual reality measuring and displaying method, device and system | |
JP2020167657A (en) | Image processing apparatus, head-mounted display, and image display method | |
WO2024125379A1 (en) | Image processing method, head-mounted display device, and medium | |
KR20200025241A (en) | Electronic device and method for changing image provision manner based on movement variation | |
WO2022127612A1 (en) | Image calibration method and device | |
WO2022218216A1 (en) | Image processing method and terminal device | |
JP2021005829A (en) | Imaging apparatus, image processing system, method, and program |