WO2022033310A1 - 图像处理装置和虚拟现实设备 - Google Patents
图像处理装置和虚拟现实设备 Download PDFInfo
- Publication number
- WO2022033310A1 WO2022033310A1 PCT/CN2021/108957 CN2021108957W WO2022033310A1 WO 2022033310 A1 WO2022033310 A1 WO 2022033310A1 CN 2021108957 W CN2021108957 W CN 2021108957W WO 2022033310 A1 WO2022033310 A1 WO 2022033310A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- processing apparatus
- unit
- processed
- fusion
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 104
- 230000004927 fusion Effects 0.000 claims abstract description 71
- 238000007781 pre-processing Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 19
- 230000003190 augmentative effect Effects 0.000 claims description 16
- 238000007499 fusion processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Definitions
- the present application relates to the technical field of image processing, for example, to an image processing apparatus and a virtual reality device.
- the images to be fused must first be sent to the central processing unit (CPU), the central processing unit will fuse the images, and send the fused images to the display unit.
- the image after fusion processing is performed by the central processing unit.
- the embodiments of the present disclosure provide an image processing apparatus and a virtual reality device, so as to avoid the delay problem caused by the image fusion processing performed by the central processing unit as much as possible.
- an image preprocessing unit configured to preprocess the image to be processed to obtain a preprocessed image, and to output at least one of the image to be processed and the preprocessed image;
- An image fusion unit configured to perform image fusion on at least two images from at least one of an application processor (AP) and an image preprocessing unit based on transparency to obtain a fused image.
- AP application processor
- the image preprocessing unit may include:
- a receiving unit configured to receive the image to be processed
- a first processing unit configured to preprocess the image to be processed to obtain a preprocessed image
- a first output unit configured to output the preprocessed image to the image fusion unit
- At least one second output unit configured to output at least one of the image to be processed and the preprocessed image to the AP.
- the image preprocessing unit may further include: a buffering unit configured to buffer the to-be-processed image.
- the cache unit may include:
- the first processing unit may be configured to preprocess the image to be processed in at least one of the following ways:
- the image to be processed and the preprocessed image may both be complete images.
- the image processing apparatus may further include: an image acquisition unit configured to acquire an image to be processed.
- the image fusion unit may be configured to perform image fusion based on the following:
- the image to be processed may include at least two original images
- the image fusion unit may be configured to perform image fusion on at least two original images.
- the original image may include at least one of an original follow-up image and an original reference image.
- the image processing apparatus may further include an AP configured to:
- At least two of an augmented reality image, a virtual follow-up image, and a virtual reference image are obtained.
- the augmented image may include at least one of a virtual image and an augmented reality image.
- the virtual image may include at least one of a virtual follow-up image and a virtual reference image.
- the image to be processed may include an original image; an application processor may be configured to obtain an enhanced image; and an image fusion unit may be configured to perform image fusion on the original image and the enhanced image.
- the application processor can be configured to obtain at least two of the augmented reality image, the virtual follow-up image and the virtual reference image; the image fusion unit can be configured to Perform image fusion with at least two of the virtual reference images.
- the image fusion unit may also be configured to: process the received original image to obtain a partial image.
- the image fusion unit may be configured to: determine the display area of the original image according to the azimuth angle information of the original image, so as to obtain a partial image in the display area.
- the image processing apparatus may further include an initialization unit configured to: configure parameters for the units in the image processing apparatus.
- the image processing apparatus can communicate with the display device, and can be configured to: send the image obtained by at least one of the image preprocessing unit and the image fusion unit to the display device for display.
- the image processing device may be provided on the chip.
- the image processing device may be provided on a dedicated chip.
- the virtual reality device provided by the present application includes: a display device, and the above-mentioned image processing apparatus.
- the display device is capable of 2D display, or 3D display.
- the image fusion processing is performed by the image fusion unit independent of the central processing unit, which improves the speed of the image fusion processing, and can avoid the delay problem caused by the central processing unit performing the image fusion processing as much as possible.
- FIG. 1 is a schematic structural diagram of an image processing apparatus provided by an embodiment of the present disclosure
- FIG. 2 is a schematic structural diagram of an image preprocessing unit provided by an embodiment of the present disclosure
- FIG. 3 is another schematic structural diagram of an image preprocessing unit provided by an embodiment of the present disclosure.
- FIG. 4 is a schematic structural diagram of a cache unit provided by an embodiment of the present disclosure.
- FIG. 5 is another schematic structural diagram of an image processing apparatus provided by an embodiment of the present disclosure.
- FIG. 6 is another schematic structural diagram of an image processing apparatus provided by an embodiment of the present disclosure.
- FIG. 7 is another schematic structural diagram of an image processing apparatus provided by an embodiment of the present disclosure.
- FIG. 8 is another schematic structural diagram of an image processing apparatus provided by an embodiment of the present disclosure.
- FIG. 9 is a schematic diagram of the setting of an image processing apparatus provided by an embodiment of the present disclosure.
- FIG. 10 is another schematic diagram of the setting of the image processing apparatus provided by the embodiment of the present disclosure.
- FIG. 11 is a schematic structural diagram of a virtual reality device provided by an embodiment of the present disclosure.
- 100 image processing device; 101: image preprocessing unit; 103: image fusion unit; 105: receiving unit; 1051: input register; 107: first processing unit; 1071: receiving register; 109: first output unit; 111: 113: cache unit; 115: image acquisition unit; 117: AP; 119: initialization unit; 121: display device; 200: chip; 300: dedicated chip; 400: virtual reality device.
- an image processing apparatus 100 including:
- the image preprocessing unit 101 is configured to preprocess the image to be processed to obtain the preprocessed image, and output at least one of the image to be processed and the preprocessed image;
- the image fusion unit 103 is configured to perform image fusion on at least two images from at least one of the AP 117 and the image preprocessing unit 101 based on transparency to obtain a fusion image.
- the image fusion processing can be performed by the image fusion unit 103 independent of the central processing unit, which improves the speed of the image fusion processing and avoids the delay problem caused by the central processing unit performing the image fusion processing as much as possible.
- the image preprocessing unit 101 may include:
- a receiving unit 105 configured to receive the image to be processed
- the first processing unit 107 is configured to preprocess the image to be processed to obtain the preprocessed image
- the first output unit 109 is configured to output the preprocessed image to the image fusion unit 103;
- At least one second output unit 111 is configured to output at least one of the image to be processed and the preprocessed image to the AP 117.
- a second output unit 111 is shown in FIG. 2 .
- the number of the second output units 111 may also be two or more.
- the first output unit 109 and the second output unit 111 may be communication interfaces capable of data transmission.
- the first processing unit 107 may perform visual processing, such as color enhancement processing, on the image to be processed.
- the first processing unit 107 may also perform transparent transmission processing on the image to be processed, so as to directly transmit the image to be processed as a transmission path.
- the image preprocessing unit 101 may further include: a buffering unit 113 configured to buffer the to-be-processed image.
- the receiving unit 105 , the first output unit 109 , and the second output unit 111 can obtain the to-be-processed image buffered by the buffer unit 113 .
- the cache unit 113 may include:
- At least one of the input register 1051 of the receiving unit 105 and the receiving register 1071 of the first processing unit 107 is provided.
- the buffer unit 113 may be independent of the receiving unit 105 and the first processing unit 107, and may set at least one of the input register 1051 of the receiving unit 105 and the receiving register 1071 of the first processing unit 107 in the buffer unit 113 as a part of the cache unit 113 .
- the buffer unit 113 may exist as the input register 1051 of the receiving unit 105, or as the receiving register 1071 of the first processing unit 107, or as the input register 1051 of the receiving unit 105 and the first processing unit 107.
- the reception register 1071 exists.
- the first processing unit 107 may be configured to preprocess the image to be processed in at least one of the following ways:
- the first processing unit 107 may preprocess a single pixel or a matrix of pixels of the image to be processed.
- the pixel matrix may include a plurality of pixels arranged in an array, eg, a plurality of pixels arranged in a determinant.
- the array arrangement of the plurality of pixels may be different from the above-mentioned determinant, but in other array shapes, such as circular, elliptical, triangular and other array arrangements.
- the first processing unit 107 may preprocess at least one row of pixels or at least one column of pixels of the image to be processed.
- the first processing unit 107 may also perform preprocessing on at least one row of pixels and at least one column of pixels of the image to be processed.
- the image to be processed and the preprocessed image may both be complete images.
- At least one of the image to be processed and the preprocessed image is a complete image rather than a portion of the complete image.
- the image processing apparatus 100 may further include: an image obtaining unit 115 configured to obtain an image to be processed.
- the image acquisition unit 115 may be a camera device or a radar.
- the camera device can be a camera.
- At least one of the originally obtained image to be processed and the preprocessed image may be a complete image, rather than a part of the complete image.
- the image fusion unit 103 may be configured to perform image fusion based on the following contents:
- the image fusion unit 103 may perform image transparency-based overlay on corresponding pixels of the image to be fused, so as to obtain a fused image based on the pixels obtained after the overlay.
- the image fusion unit 103 may perform depth-of-field information-based superimposition on corresponding pixels of the image to be fused, and superimpose the superimposed image based on the image transparency of the above-mentioned image to be fused.
- the obtained pixels are then subjected to transparency adjustment to obtain a fusion image based on the pixels obtained after the transparency adjustment.
- the image fusion unit 103 can also perform superposition based on image transparency on the corresponding pixels of the images to be fused, and perform depth-of-field adjustment on the pixels obtained after the superposition based on the depth-of-field information of the above-mentioned images to be fused, so as to adjust the depth of field based on the depth-of-field adjustment.
- the resulting pixels get the fused image.
- the image to be processed may include at least two original images
- the image fusion unit 103 may be configured to perform image fusion on at least two original images.
- the original image may be a real scene image obtained based on a real scene without any processing, for example: a real scene image obtained by image acquisition of the real scene.
- the original image may include at least one of an original follow-up image and an original reference image.
- the original moving image may be an image obtained by a camera based on a real scene (eg, a panoramic image).
- the original moving image may change with the change of the user's viewing angle
- the original reference image may be fixed or movable, and may not change with the change of the user's viewing angle.
- the image fusion unit 103 when the image fusion unit 103 performs image fusion on at least two original images, it may perform image fusion on at least two original moving images; or perform image fusion on at least two original reference images; or perform image fusion on at least one original image. Image fusion is performed on the original follow-up image and at least one original reference image.
- the image processing apparatus 100 may further include an AP 117 configured to:
- At least two of an augmented reality image, a virtual follow-up image, and a virtual reference image are obtained.
- the augmented image may include at least one of a virtual image and an augmented reality image.
- the virtual image may include at least one of a virtual follow-up image and a virtual reference image.
- the image to be processed may comprise the original image
- an application processor which can be configured to obtain the enhanced image
- the image fusion unit 103 can be configured to perform image fusion on the original image and the enhanced image;
- an application processor which may be configured to obtain at least two of an augmented reality image, a virtual follow-up image, and a virtual reference image;
- the image fusion unit 103 may be configured to perform image fusion on at least two of the augmented reality image, the virtual follow-up image and the virtual reference image.
- the application processor may obtain the enhanced image directly from the storage medium.
- the application processor may generate an enhanced image based on an image, eg, an enhanced image based on an original image.
- the application processor may generate enhanced images based on its own logic.
- the augmented reality image may be an image obtained by enhancing a real scene image, for example, the augmented reality image may be an image obtained by performing color enhancement on a real scene image.
- the virtual image may be an image created out of thin air, eg, an image of a black hole scene created out of thin air, an image of a scene outside a spacecraft, or an image of a scene inside a spacecraft cabin, and the like.
- the virtual follow-up image may be an image of a scene outside the spaceship, which may change based on changes in the user's perspective.
- the virtual reference image may be a scene image in the cabin of the spacecraft, for example, the operating console in the cabin of the spacecraft, which may not change with the change of the user's perspective.
- the image fusion unit 103 may also be configured to: process the received original image to obtain a partial image.
- the original image may be a panoramic image or a non-panoramic image.
- the original images in the form of non-panoramic images may be processed by stitching, fusion, etc. to obtain a panoramic image.
- the panoramic image may be obtained by shooting the scene with a panoramic camera.
- the panoramic image may be an image that has been rendered.
- the image fusion unit 103 may be configured to: determine the display area of the original image according to the azimuth angle information of the original image, so as to obtain a partial image in the display area.
- the image fusion unit 103 may adjust the azimuth angle information according to the direction information of the azimuth sensor (eg, gyroscope).
- the image fusion unit 103 may adjust the azimuth angle information according to user instructions (eg, touch signals, gesture signals, mouse input signals, etc.).
- the image processing apparatus 100 may further include an initialization unit 119 configured to: configure parameters for the units in the image processing apparatus 100 .
- the initialization unit 119 can perform parameter configuration on some or all of the units/devices in the image processing apparatus 100, so that the units/devices that have completed the parameter configuration can work normally.
- the image processing apparatus 100 can communicate with the display device 121 and is configured to: send an image obtained by at least one of the image preprocessing unit 101 and the image fusion unit 103 to the display device 121 for use on display.
- the image processing apparatus 100 may be disposed on the chip 200 .
- the image processing apparatus 100 may be provided on a general-purpose chip or a special-purpose chip 300, such as an application-specific integrated circuit (ASIC) chip.
- ASIC application-specific integrated circuit
- some or all of the units/devices in the image processing apparatus 100 may be provided locally or off-site.
- the display device 121 can be set locally or off-site to perform corresponding local or off-site display.
- an embodiment of the present disclosure provides a virtual reality device 400 , including: a display device 121 , and the above-mentioned image processing apparatus 100 .
- the display device 121 is capable of 2D display, or 3D display.
- the display device 121 may also include other components for supporting the normal operation of the display, such as at least one of components such as a communication interface, a frame, a control circuit, and the like.
- the image processing device and the virtual reality device provided by the embodiments of the present disclosure can perform image fusion processing by an image fusion unit independent of the central processing unit, improve the speed of image fusion processing, and avoid as much as possible when the central processing unit performs image fusion processing. lead to delay problems.
- a first element could be termed a second element, and, similarly, a second element could be termed a first element, so long as all occurrences of "the first element” were consistently renamed and all occurrences of "the first element” were named consistently.
- the “second element” can be renamed consistently.
- the first element and the second element are both elements, but may not be the same element.
- the terms used in this application are used to describe the embodiments only and not to limit the claims. As used in the description of the embodiments and the claims, the singular forms "a” (a), “an” (an) and “the” (the) are intended to include the plural forms as well, unless the context clearly dictates otherwise. .
- the term “and/or” as used in this application is meant to include any and all possible combinations of one or more of the associated listings.
- the term “comprise” and its variations “comprises” and/or including and/or the like refer to stated features, integers, steps, operations, elements, and/or The presence of a component does not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components and/or groupings of these.
- an element qualified by the phrase “comprising a" does not preclude the presence of additional identical elements in the process, method, or device that includes the element.
- each embodiment may focus on the differences from other embodiments, and the same and similar parts between the various embodiments may refer to each other.
- the methods, products, etc. disclosed in the embodiments if they correspond to the method section disclosed in the embodiments, reference may be made to the description of the method section for relevant parts.
- the disclosed methods and products may be implemented in other ways.
- the apparatus embodiments described above are only illustrative.
- the division of units may only be a logical function division.
- multiple units or components may be combined or may be Integration into another system, or some features can be ignored, or not implemented.
- the shown or discussed mutual coupling or direct coupling or communication connection may be through some interfaces, indirect coupling or communication connection of devices or units, and may be in electrical, mechanical or other forms.
- Units described as separate components may or may not be physically separated, and components shown as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. This embodiment may be implemented by selecting some or all of the units according to actual needs.
- each functional unit in the embodiment of the present disclosure may be integrated into one processing unit, or each unit may exist physically alone, or two or more units may be integrated into one unit.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
涉及图像处理技术领域,公开了一种图像处理装置(100)及一种虚拟现实设备(400),其中图像处理装置(100)包括:图像预处理单元(101),被配置为对待处理图像进行预处理以得到预处理图像,以及输出待处理图像和预处理图像中至少之一;图像融合单元(103),被配置为基于透明度对来自应用处理器AP(117)和图像预处理单元(101)中至少之一的至少两个图像进行图像融合,以得到融合图像。图像处理装置(100),由独立于中央处理器的图像融合单元(103)进行图像融合处理,提高了图像融合处理的速度,能够尽量避免中央处理器进行图像融合处理时所导致的时延问题。
Description
本申请要求在2020年08月11日提交中国知识产权局、申请号为202010799313.3、发明名称为“图像处理装置及虚拟现实设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
本申请涉及图像处理技术领域,例如涉及一种图像处理装置和虚拟现实设备。
在进行图像融合(Image Fusion)处理时,待融合的图像都要先发送到中央处理器CPU,中央处理器对图像进行融合处理,将进行融合处理后的图像发送到显示单元,显示单元显示经过中央处理器进行融合处理后的图像。
在实现本公开实施例的过程中,发现相关技术中至少存在如下问题:当图像需要进行融合处理时,都是中央处理器对图像进行融合处理,同时,中央处理器还需要对其他数据进行处理,使得中央处理器处理的数据量过大,从而不能及时对图像进行融合处理,最终导致融合后的图像在显示时产生时延,从而降低了用户体验。
发明内容
为了对披露的实施例的一些方面有基本的理解,下面给出了简单的概括。该概括不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围,而是作为后面的详细说明的序言。
本公开实施例提供了一种图像处理装置和虚拟现实设备,以尽量避免中央处理器进行图像融合处理时所导致的时延问题。
本公开实施例提供的图像处理装置,包括:
图像预处理单元,被配置为对待处理图像进行预处理以得到预处理图像,以及输出待处理图像和预处理图像中至少之一;
图像融合单元,被配置为基于透明度对来自应用处理器(AP)和图像预处理单元中至少之一的至少两个图像进行图像融合,以得到融合图像。
在一些实施例中,图像预处理单元,可以包括:
接收单元,被配置为接收待处理图像;
第一处理单元,被配置为对待处理图像进行预处理,以得到预处理图像;
第一输出单元,被配置为向图像融合单元输出预处理图像;
至少一个第二输出单元,被配置为向AP输出待处理图像和预处理图像中至少之一。
在一些实施例中,图像预处理单元,还可以包括:缓存单元,被配置为缓存待处理图像。
在一些实施例中,缓存单元,可以包括:
接收单元的输入寄存器,以及第一处理单元的接收寄存器中至少之一。
在一些实施例中,第一处理单元,可以被配置为通过以下方式中至少之一对待处理图像进行预处理:
以像素为单位对待处理图像进行预处理;
以行或列为单位对待处理图像进行预处理。
在一些实施例中,待处理图像和预处理图像可以均为完整图像。
在一些实施例中,图像处理装置还可以包括:图像获取单元,被配置为获得待处理图像。
在一些实施例中,图像融合单元,可以被配置为基于如下内容进行图像融合:
图像透明度,或
图像透明度和景深信息。
在一些实施例中,待处理图像可以包括至少两个原始图像;
图像融合单元,可以被配置为对至少两个原始图像进行图像融合。
在一些实施例中,原始图像可以包括原始随动图像和原始参考图像中的至少一种。
在一些实施例中,图像处理装置还可以包括AP,被配置为:
获得增强图像;或
获得增强化现实图像、虚拟随动图像和虚拟参考图像中至少两种。
在一些实施例中,增强图像可以包括虚拟图像和增强化现实图像中至少之一。
在一些实施例中,虚拟图像可以包括虚拟随动图像和虚拟参考图像中至少之一。
在一些实施例中,待处理图像可以包括原始图像;应用处理器,可以被配置为获得增强图像;图像融合单元,可以被配置为对原始图像和增强图像进行图像融合。可选地,应用处理器,可以被配置为获得增强化现实图像、虚拟随动图像和虚拟参考图像中的至少两种;图像融合单元,可以被配置为对增强化现实图像、虚拟随动图像和虚拟参考图像中的至少两种进行图像融合。
在一些实施例中,图像融合单元,还可以被配置为:对接收到的原始图像进行处理, 以得到局部图像。
在一些实施例中,图像融合单元,可以被配置为:根据原始图像的方位角信息确定原始图像的显示区域,以得到显示区域中的局部图像。
在一些实施例中,图像处理装置还可以包括初始化单元,被配置为:对图像处理装置中的单元进行参数配置。
在一些实施例中,图像处理装置能够与显示器件通信,可以被配置为:将图像预处理单元、图像融合单元中至少之一所得到的图像发送给显示器件用于显示。
在一些实施例中,图像处理装置可以设置于芯片。
在一些实施例中,图像处理装置可以设置于专用芯片。
本申请提供的虚拟现实设备,包括:显示器件,以及上述的图像处理装置。
在一些实施例中,显示器件能够进行2D显示,或3D显示。
本公开实施例提供的图像处理装置和虚拟现实设备,可以实现以下技术效果:
由独立于中央处理器的图像融合单元进行图像融合处理,提高了图像融合处理的速度,能够尽量避免中央处理器进行图像融合处理时所导致的时延问题。
以上的总体描述和下文中的描述仅是示例性和解释性的,不用于限制本申请。
至少一个实施例通过与之对应的附图进行示例性说明,这些示例性说明和附图并不构成对实施例的限定,附图中具有相同参考数字标号的元件示为类似的元件,附图不构成比例限制,并且其中:
图1是本公开实施例提供的图像处理装置的结构示意图;
图2是本公开实施例提供的图像预处理单元的结构示意图;
图3是本公开实施例提供的图像预处理单元的另一结构示意图;
图4是本公开实施例提供的缓存单元的结构示意图;
图5是本公开实施例提供的图像处理装置的另一结构示意图;
图6是本公开实施例提供的图像处理装置的另一结构示意图;
图7是本公开实施例提供的图像处理装置的另一结构示意图;
图8是本公开实施例提供的图像处理装置的另一结构示意图;
图9是本公开实施例提供的图像处理装置的设置原理图;
图10是本公开实施例提供的图像处理装置的另一设置原理图;
图11是本公开实施例提供的虚拟现实设备的结构示意图。
附图标记:
100:图像处理装置;101:图像预处理单元;103:图像融合单元;105:接收单元;1051:输入寄存器;107:第一处理单元;1071:接收寄存器;109:第一输出单元;111:第二输出单元;113:缓存单元;115:图像获取单元;117:AP;119:初始化单元;121:显示器件;200:芯片;300:专用芯片;400:虚拟现实设备。
为了能够更加详尽地了解本公开实施例的特点与技术内容,下面结合附图对本公开实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本公开实施例。在以下的技术描述中,为方便解释起见,通过多个细节以提供对所披露实施例的充分理解。然而,在没有这些细节的情况下,至少一个实施例仍然可以实施。在其它情况下,为简化附图,熟知的结构和装置可以简化展示。
参见图1,本公开实施例提供了一种图像处理装置100,包括:
图像预处理单元101,被配置为对待处理图像进行预处理以得到预处理图像,以及输出待处理图像和预处理图像中至少之一;
图像融合单元103,被配置为基于透明度对来自AP 117和图像预处理单元101中至少之一的至少两个图像进行图像融合,以得到融合图像。
这样,可以由独立于中央处理器的图像融合单元103进行图像融合处理,提高了图像融合处理的速度,能够尽量避免中央处理器进行图像融合处理时所导致的时延问题。
参见图2,在一些实施例中,图像预处理单元101,可以包括:
接收单元105,被配置为接收待处理图像;
第一处理单元107,被配置为对待处理图像进行预处理,以得到预处理图像;
第一输出单元109,被配置为向图像融合单元103输出预处理图像;
至少一个第二输出单元111,被配置为向AP 117输出待处理图像和预处理图像中至少之一。
图2中示出了一个第二输出单元111。可选地,第二输出单元111的数量也可以为两个或两个以上。
在一些实施例中,第一输出单元109、第二输出单元111可以是能够实现数据传输的通信接口。
在一些实施例中,第一处理单元107可以对待处理图像进行视觉处理,例如:色彩增 强处理。可选地,第一处理单元107也可以对待处理图像进行透传处理,以作为传输通路直接传输待处理图像。
参见图3,在一些实施例中,图像预处理单元101,还可以包括:缓存单元113,被配置为缓存待处理图像。可选地,接收单元105、第一输出单元109、第二输出单元111可以获得缓存单元113所缓存的待处理图像。
参见图4,在一些实施例中,缓存单元113,可以包括:
接收单元105的输入寄存器1051,以及第一处理单元107的接收寄存器1071中至少之一。
在一些实施例中,缓存单元113可以独立于接收单元105以及第一处理单元107,且可以将接收单元105的输入寄存器1051,以及第一处理单元107的接收寄存器1071中至少之一设置于缓存单元113中作为缓存单元113的一部分。可选地,缓存单元113可以作为接收单元105的输入寄存器1051而存在,或者作为第一处理单元107的接收寄存器1071而存在,或者作为接收单元105的输入寄存器1051、以及第一处理单元107的接收寄存器1071而存在。
在一些实施例中,第一处理单元107,可以被配置为通过以下方式中至少之一对待处理图像进行预处理:
以像素为单位对待处理图像进行预处理;
以行或列为单位对待处理图像进行预处理。
在一些实施例中,在以像素为单位对待处理图像进行预处理时,第一处理单元107可以对待处理图像的单个像素或像素矩阵进行预处理。
在一些实施例中,像素矩阵可以包括呈阵列排布的多个像素,例如:行列式排布的多个像素。可选地,多个像素的阵列排布方式可以不同于上述的行列式,而是呈其他阵列形状的排布方式,例如:圆形、椭圆形、三角形等阵列排布方式。
在一些实施例中,在以行或列为单位对待处理图像进行预处理时,第一处理单元107可以对待处理图像的至少一行像素或至少一列像素进行预处理。可选地,第一处理单元107也可以对待处理图像的至少一行像素、以及至少一列像素进行预处理。
在一些实施例中,待处理图像和预处理图像可以均为完整图像。
在一些实施例中,待处理图像和预处理图像中的至少之一为完整图像,而非完整图像的一部分。
参见图5,在一些实施例中,图像处理装置100还可以包括:图像获取单元115,被配置为获得待处理图像。可选地,图像获取单元115可以为摄像设备或雷达。可选地,摄像 设备可以为摄像头。
在一些实施例中,在由图像获取单元115获得待处理图像的情况下,原始获得的待处理图像和预处理图像中的至少之一可以为完整图像,而非完整图像的一部分。
在一些实施例中,图像融合单元103,可以被配置为基于如下内容进行图像融合:
图像透明度,或
图像透明度和景深信息。
在一些实施例中,在基于图像透明度进行图像融合时,图像融合单元103可以对需要融合的图像的对应像素进行基于图像透明度的叠加,以基于叠加后所得的像素得到融合图像。
在一些实施例中,在基于图像透明度和景深信息进行图像融合时,图像融合单元103可以对需要融合的图像的对应像素进行基于景深信息的叠加,并基于需要融合的上述图像的图像透明度对叠加后所得的像素进行透明度调整,以基于透明度调整后所得的像素得到融合图像。可选地,图像融合单元103也可以对需要融合的图像的对应像素进行基于图像透明度的叠加,并基于需要融合的上述图像的景深信息对叠加后所得的像素进行景深调整,以基于景深调整后所得的像素得到融合图像。
在一些实施例中,待处理图像可以包括至少两个原始图像;
图像融合单元103,可以被配置为对至少两个原始图像进行图像融合。
在一些实施例中,原始图像可以是不经过任何处理的基于真实场景得到的真实场景图像,例如:对真实场景进行图像采集所得到的真实场景图像。
在一些实施例中,原始图像可以包括原始随动图像和原始参考图像中的至少一种。
在一些实施例中,原始随动图像可以为摄像头获取的基于真实场景的图像(例如:全景图像)。可选地,原始随动图像可以随着用户视角的变化而变化,原始参考图像可以是固定的或可移动的,可以不随用户视角的变化而变化。
在一些实施例中,图像融合单元103对至少两个原始图像进行图像融合时,可以对至少两个原始随动图像进行图像融合;或对至少两个原始参考图像进行图像融合;或对至少一个原始随动图像和至少一个原始参考图像进行图像融合。
参见图6,在一些实施例中,图像处理装置100还可以包括AP 117,被配置为:
获得增强图像;或
获得增强化现实图像、虚拟随动图像和虚拟参考图像中至少两种。
在一些实施例中,增强图像可以包括虚拟图像和增强化现实图像中至少之一。
在一些实施例中,虚拟图像可以包括虚拟随动图像和虚拟参考图像中至少之一。
在一些实施例中,待处理图像可以包括原始图像;
应用处理器,可以被配置为获得增强图像;
图像融合单元103,可以被配置为对原始图像和增强图像进行图像融合;
或,
应用处理器,可以被配置为获得增强化现实图像、虚拟随动图像和虚拟参考图像中的至少两种;
图像融合单元103,可以被配置为对增强化现实图像、虚拟随动图像和虚拟参考图像中的至少两种进行图像融合。
在一些实施例中,应用处理器可以从存储介质中直接获取增强图像。可选地,应用处理器可以基于某一图像生成增强图像,例如:基于原始图像生成增强图像。可选地,应用处理器可以基于自身逻辑生成增强图像。
在一些实施例中,增强化现实图像可以是对真实场景图像进行增强后得到的图像,例如:增强化现实图像可以是对真实场景图像进行色彩增强后得到的图像。
在一些实施例中,虚拟图像可以是凭空创造出的图像,例如,凭空创造出的黑洞场景的图像,宇宙飞船外的场景图像或宇宙飞船船舱内的场景图像,等。可选地,虚拟随动图像可以是宇宙飞船外的场景图像,可以基于用户视角的变化而变化。可选地,虚拟参考图像可以是宇宙飞船船舱内的场景图像,例如:宇宙飞船船舱内的操作台,可以不随用户视角的变化而变化。
在一些实施例中,图像融合单元103,还可以被配置为:对接收到的原始图像进行处理,以得到局部图像。
在一些实施例中,原始图像可以是全景图像或非全景图像。可选地,可以对以非全景图像形式存在的原始图像进行拼接、融合等处理,以得到全景图像。
在一些实施例中,全景图像可以是通过全景摄像头对场景进行拍摄得到的。可选地,全景图像可以是已经进行过渲染处理的图像。
在一些实施例中,图像融合单元103,可以被配置为:根据原始图像的方位角信息确定原始图像的显示区域,以得到显示区域中的局部图像。
在一些实施例中,图像融合单元103可以根据方位传感器(例如:陀螺仪)的方向信息调整方位角信息。可选地,图像融合单元103可以根据用户指令(例如:触摸信号、手势信号、鼠标输入信号,等)调整方位角信息。
参见图7,在一些实施例中,图像处理装置100还可以包括初始化单元119,被配置为:对图像处理装置100中的单元进行参数配置。可选地,初始化单元119可以对图像处 理装置100中的部分或全部单元/器件进行参数配置,以使完成参数配置的单元/器件能够正常工作。
参见图8,在一些实施例中,图像处理装置100能够与显示器件121通信,被配置为:将图像预处理单元101、图像融合单元103中至少之一所得到的图像发送给显示器件121用于显示。
参见图9,在一些实施例中,图像处理装置100可以设置于芯片200。
参见图10,在一些实施例中,图像处理装置100可以设置于通用芯片或专用芯片300,例如:专用集成电路(ASIC)芯片。
在一些实施例中,图像处理装置100中的部分或全部单元/器件可以本地或异地设置。可选地,显示器件121可以本地或异地设置,以进行相应的本地或异地显示。
参见图11,本公开实施例提供了一种虚拟现实设备400,包括:显示器件121,以及上述的图像处理装置100。
在一些实施例中,显示器件121能够进行2D显示,或3D显示。
在一些实施例中,显示器件121还可以包括用于支持显示器正常运转的其他构件,例如:通信接口、框架、控制电路等构件中的至少之一。
本公开实施例提供的图像处理装置和虚拟现实设备,能够由独立于中央处理器的图像融合单元进行图像融合处理,提高了图像融合处理的速度,能够尽量避免中央处理器进行图像融合处理时所导致的时延问题。
以上描述和附图充分地示出了本公开的实施例,以使本领域技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求,否则单独的部件和功能是可选的,并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围,以及权利要求书的所有可获得的等同物。当用于本申请中时,虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件,但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如,在不改变描述的含义的情况下,第一元件可以叫做第二元件,并且同样地,第二元件可以叫做第一元件,只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件,但可以不是相同的元件。而且,本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的,除非上下文清楚地表明,否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地,如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联 的列出的任何以及所有可能的组合。另外,当用于本申请中时,术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素,和/或组件的存在,但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下,由语句“包括一个…”限定的要素,并不排除在包括该要素的过程、方法或者设备中还存在另外的相同要素。本文中,每个实施例重点说明的可以是与其他实施例的不同之处,各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言,如果其与实施例公开的方法部分相对应,那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,可以取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能,但是这种实现不应认为超出本公开实施例的范围。本领域技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本文所披露的实施例中,所揭露的方法、产品(包括但不限于装置、设备等),可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,可以仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外,在本公开实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在附图中,考虑到清楚性和描述性,可以夸大元件或层等结构的宽度、长度、厚度等。当元件或层等结构被称为“设置在”(或“安装在”、“铺设在”、“贴合在”、“涂布在”等类似描述)另一元件或层“上方”或“上”时,该元件或层等结构可以直接“设置在”上述的另一元件或层“上方”或“上”,或者可以存在与上述的另一元件或层之间的中间元件或层等结构,甚至有一部分嵌入上述的另一元件或层。
Claims (22)
- 一种图像处理装置,包括:图像预处理单元,被配置为对待处理图像进行预处理以得到预处理图像,以及输出所述待处理图像和所述预处理图像中至少之一;图像融合单元,被配置为基于透明度对来自应用处理器AP和所述图像预处理单元中至少之一的至少两个图像进行图像融合,以得到融合图像。
- 根据权利要求1所述的图像处理装置,其中,所述图像预处理单元,包括:接收单元,被配置为接收所述待处理图像;第一处理单元,被配置为对所述待处理图像进行预处理,以得到所述预处理图像;第一输出单元,被配置为向所述图像融合单元输出所述预处理图像;至少一个第二输出单元,被配置为向所述AP输出所述待处理图像和所述预处理图像中至少之一。
- 根据权利要求2所述的图像处理装置,其中,所述图像预处理单元,还包括:缓存单元,被配置为缓存所述待处理图像。
- 根据权利要求3所述的图像处理装置,其中,所述缓存单元,包括:所述接收单元的输入寄存器,以及所述第一处理单元的接收寄存器中至少之一。
- 根据权利要求2所述的图像处理装置,其中,所述第一处理单元,被配置为通过以下方式中至少之一对所述待处理图像进行预处理:以像素为单位对所述待处理图像进行预处理;以行或列为单位对所述待处理图像进行预处理。
- 根据权利要求1所述的图像处理装置,其中,所述待处理图像和所述预处理图像均为完整图像。
- 根据权利要求1所述的图像处理装置,还包括:图像获取单元,被配置为获得所述待处理图像。
- 根据权利要求1至7任一项所述的图像处理装置,其中,所述图像融合单元,被配置为基于如下内容进行所述图像融合:图像透明度,或图像透明度和景深信息。
- 根据权利要求8所述的图像处理装置,其中,所述待处理图像包括至少两个原始图像;所述图像融合单元,被配置为对所述至少两个原始图像进行图像融合。
- 根据权利要求9所述的图像处理装置,其中,所述原始图像包括原始随动图像和原始参考图像中的至少一种。
- 根据权利要求8所述的图像处理装置,还包括所述AP,被配置为:获得增强图像;或获得增强化现实图像、虚拟随动图像和虚拟参考图像中至少两种。
- 根据权利要求11所述的图像处理装置,其中,所述增强图像包括虚拟图像和所述增强化现实图像中至少之一。
- 根据权利要求12所述的图像处理装置,其中,所述虚拟图像包括所述虚拟随动图像和所述虚拟参考图像中至少之一。
- 根据权利要求11所述的图像处理装置,其中,所述待处理图像包括原始图像;所述应用处理器,被配置为获得所述增强图像;所述图像融合单元,被配置为对所述原始图像和所述增强图像进行图像融合;或,所述应用处理器,被配置为获得所述增强化现实图像、所述虚拟随动图像和所述虚拟参考图像中的至少两种;所述图像融合单元,被配置为对所述增强化现实图像、虚拟随动图像和虚拟参考图像中的至少两种进行图像融合。
- 根据权利要求1至14任一项所述的图像处理装置,其中,所述图像融合单元,还被配置为:对接收到的原始图像进行处理,以得到局部图像。
- 根据权利要求15所述的图像处理装置,其中,所述图像融合单元,被配置为:根据所述原始图像的方位角信息确定所述原始图像的显示区域,以得到所述显示区域中的局部图像。
- 根据权利要求1所述的图像处理装置,还包括初始化单元,被配置为:对所述图像处理装置中的单元进行参数配置。
- 根据权利要求1所述的图像处理装置,其中,所述图像处理装置能够与显示器件通信,被配置为:将所述图像预处理单元、所述图像融合单元中至少之一所得到的图像发送给所述显示器件用于显示。
- 根据权利要求1所述的图像处理装置,其中,所述图像处理装置设置于芯片。
- 根据权利要求19所述的图像处理装置,其中,所述图像处理装置设置于专用芯片。
- 一种虚拟现实设备,包括:显示器件,以及如权利要求1至20任一项所述的图像处理装置。
- 根据权利要求21所述的虚拟现实设备,其中,所述显示器件能够进行2D显示,或3D显示。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010799313.3A CN114078102A (zh) | 2020-08-11 | 2020-08-11 | 图像处理装置和虚拟现实设备 |
CN202010799313.3 | 2020-08-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022033310A1 true WO2022033310A1 (zh) | 2022-02-17 |
Family
ID=80247661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2021/108957 WO2022033310A1 (zh) | 2020-08-11 | 2021-07-28 | 图像处理装置和虚拟现实设备 |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN114078102A (zh) |
TW (1) | TWI820460B (zh) |
WO (1) | WO2022033310A1 (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050238253A1 (en) * | 2002-11-29 | 2005-10-27 | Mirada Solutions Limited British Body Corporate | Image registration |
CN106408086A (zh) * | 2016-09-12 | 2017-02-15 | 上海影城有限公司 | 用于图像优化的深度学习神经网络处理方法及系统 |
CN106504220A (zh) * | 2016-08-19 | 2017-03-15 | 华为机器有限公司 | 一种图像处理方法及装置 |
CN109978926A (zh) * | 2018-12-29 | 2019-07-05 | 深圳市行知达科技有限公司 | 一种图像自动融合方法、装置及终端设备 |
CN110378943A (zh) * | 2019-06-21 | 2019-10-25 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN110728648A (zh) * | 2019-10-25 | 2020-01-24 | 北京迈格威科技有限公司 | 图像融合的方法、装置、电子设备及可读存储介质 |
CN111524071A (zh) * | 2020-04-24 | 2020-08-11 | 安翰科技(武汉)股份有限公司 | 胶囊内窥镜图像拼接方法、电子设备及可读存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102157011B (zh) * | 2010-12-10 | 2012-12-26 | 北京大学 | 利用移动拍摄设备进行动态纹理采集及虚实融合的方法 |
CN103544688B (zh) * | 2012-07-11 | 2018-06-29 | 东芝医疗系统株式会社 | 医用图像融合装置和方法 |
CN106383587B (zh) * | 2016-10-26 | 2020-08-04 | 腾讯科技(深圳)有限公司 | 一种增强现实场景生成方法、装置及设备 |
CN106997618A (zh) * | 2017-04-14 | 2017-08-01 | 陈柳华 | 一种虚拟现实与真实场景融合的方法 |
CN107016730A (zh) * | 2017-04-14 | 2017-08-04 | 陈柳华 | 一种虚拟现实与真实场景融合的装置 |
CN107071394A (zh) * | 2017-04-19 | 2017-08-18 | 深圳市易瞳科技有限公司 | 一种通过fpga实现hmd低延时视频透视的方法及头戴式显示器 |
CN108537889A (zh) * | 2018-03-26 | 2018-09-14 | 广东欧珀移动通信有限公司 | 增强现实模型的调整方法、装置、存储介质和电子设备 |
CN111127302B (zh) * | 2018-10-31 | 2023-08-01 | 中国银联股份有限公司 | 一种图片显示方法、图片处理方法及其系统 |
CN110412765B (zh) * | 2019-07-11 | 2021-11-16 | Oppo广东移动通信有限公司 | 增强现实图像拍摄方法、装置、存储介质及增强现实设备 |
CN111035458A (zh) * | 2019-12-31 | 2020-04-21 | 上海交通大学医学院附属第九人民医院 | 一种手术综合视景智能辅助系统及图像处理方法 |
-
2020
- 2020-08-11 CN CN202010799313.3A patent/CN114078102A/zh active Pending
-
2021
- 2021-07-28 WO PCT/CN2021/108957 patent/WO2022033310A1/zh active Application Filing
- 2021-08-02 TW TW110128388A patent/TWI820460B/zh active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050238253A1 (en) * | 2002-11-29 | 2005-10-27 | Mirada Solutions Limited British Body Corporate | Image registration |
CN106504220A (zh) * | 2016-08-19 | 2017-03-15 | 华为机器有限公司 | 一种图像处理方法及装置 |
CN106408086A (zh) * | 2016-09-12 | 2017-02-15 | 上海影城有限公司 | 用于图像优化的深度学习神经网络处理方法及系统 |
CN109978926A (zh) * | 2018-12-29 | 2019-07-05 | 深圳市行知达科技有限公司 | 一种图像自动融合方法、装置及终端设备 |
CN110378943A (zh) * | 2019-06-21 | 2019-10-25 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN110728648A (zh) * | 2019-10-25 | 2020-01-24 | 北京迈格威科技有限公司 | 图像融合的方法、装置、电子设备及可读存储介质 |
CN111524071A (zh) * | 2020-04-24 | 2020-08-11 | 安翰科技(武汉)股份有限公司 | 胶囊内窥镜图像拼接方法、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
TW202211156A (zh) | 2022-03-16 |
CN114078102A (zh) | 2022-02-22 |
TWI820460B (zh) | 2023-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3438919B1 (en) | Image displaying method and head-mounted display apparatus | |
US10129984B1 (en) | Three-dimensional electronics distribution by geodesic faceting | |
WO2021011083A1 (en) | Dynamic detection and correction of light field camera array miscalibration | |
US20140098185A1 (en) | Interactive user selected video/audio views by real time stitching and selective delivery of multiple video/audio sources | |
EP4000253A1 (en) | Light field camera modules and light field camera module arrays | |
US10613624B2 (en) | Display driving circuit, driving method thereof and display device | |
WO2021011100A1 (en) | Temperature-related camera array calibration and compensation for light field image capture and processing | |
US20200174252A1 (en) | Eccentric Incident Luminance Pupil Tracking | |
CN106534780A (zh) | 三维全景视频监控装置及其视频图像处理方法 | |
US10594951B2 (en) | Distributed multi-aperture camera array | |
EP4000252A1 (en) | Device pose detection and pose-related image capture and processing for light field based telepresence communications | |
WO2020048485A1 (zh) | Vr全景摄影系统 | |
CN110691203B (zh) | 基于纹理映射的多路全景视频拼接显示方法及其系统 | |
US20190246100A1 (en) | In-Layer Signal Processing | |
GB2538797A (en) | Managing display data | |
WO2022033310A1 (zh) | 图像处理装置和虚拟现实设备 | |
CN115868158A (zh) | 一种显示调节方法、装置、设备及介质 | |
US20190246097A1 (en) | Plenoptic Cellular Imaging System | |
US10838250B2 (en) | Display assemblies with electronically emulated transparency | |
WO2022033313A1 (zh) | 图像处理装置及终端 | |
WO2022033312A1 (zh) | 图像处理装置及终端 | |
WO2018006669A1 (zh) | 视差融合方法和装置 | |
US11187914B2 (en) | Mirror-based scene cameras | |
WO2022033311A1 (zh) | 图像处理装置及虚拟现实设备 | |
US20190246099A1 (en) | Direct Camera-to-Display System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21855363 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21855363 Country of ref document: EP Kind code of ref document: A1 |