WO2021184931A1 - 适用于光学穿透式头戴显示器的颜色对比增强绘制方法、装置以及系统 - Google Patents

适用于光学穿透式头戴显示器的颜色对比增强绘制方法、装置以及系统 Download PDF

Info

Publication number
WO2021184931A1
WO2021184931A1 PCT/CN2021/070529 CN2021070529W WO2021184931A1 WO 2021184931 A1 WO2021184931 A1 WO 2021184931A1 CN 2021070529 W CN2021070529 W CN 2021070529W WO 2021184931 A1 WO2021184931 A1 WO 2021184931A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
constraint
optimal
vector
background video
Prior art date
Application number
PCT/CN2021/070529
Other languages
English (en)
French (fr)
Inventor
王锐
鲍虎军
张云锦
Original Assignee
浙江大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浙江大学 filed Critical 浙江大学
Priority to US17/627,671 priority Critical patent/US11854172B2/en
Publication of WO2021184931A1 publication Critical patent/WO2021184931A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the invention belongs to the field of real-time rendering, and in particular relates to a color contrast enhancement rendering method, device and system suitable for an optical penetrating head-mounted display.
  • OST-HMD optical see-through head-mounted displays
  • MR mixed reality
  • OST-HMD has translucent optical lenses, so it can present real and non-drawn surroundings and virtual and drawn display content at the same time.
  • This design enables the user to perceive the surrounding environment without delay and high fidelity when wearing the OST-HMD, which greatly relieves the discomfort when wearing a video penetrating head-mounted display, but it also brings new problems.
  • the optical structure of OST-HMD makes it unable to completely block the light from the external environment, making the virtual drawing content unable to be presented on the display independently.
  • this kind of optical design can lead to the so-called color-blending problem, that is, due to the color mixing of the virtual display content and the real background environment, the virtual content becomes difficult to see, especially when the virtual When there is a low color contrast between the content and the background environment.
  • the purpose of the present invention is to provide a color contrast enhancement rendering method, device and system suitable for optical transmissive head-mounted displays.
  • the color contrast enhancement rendering method searches pixel by pixel based on the original rendering color and The optimal drawing color for the background environment color.
  • a color contrast enhancement rendering method suitable for optical transmissive head-mounted displays including the following steps:
  • the original drawing color refers to the original color displayed on the display screen of OST-HMD before the application of this technical solution.
  • the original drawing color space refers to the color space used by the aforementioned original drawing color.
  • the background video color refers to the video capture The color of the video in the background environment behind the OST-HMD collected by the device (such as a camera).
  • the background video color space refers to the color space used by the aforementioned background video color.
  • the original drawing color and the processed background video color are separated from each other.
  • the conversion of the color space of the video to the CIELAB color space refers to the conversion of the original drawing color from the original drawing color space to the CIELAB color space, and the conversion of the background video color from the video color space to the CIELAB color space.
  • the original drawing color space can be RGB, HSV, YUV, CIEXYZ, CIELAB and other color spaces
  • the video color space can be RGB, HSV, YUV, YCbCr and other color spaces.
  • the preprocessing of the background video includes:
  • Gaussian blur processing on the background video, specifically, use a Gaussian filter kernel to filter the background video to obtain a blur effect, where the mathematical description of the Gaussian filter kernel is as follows:
  • x and y represent the horizontal and vertical distance from the pixel to its center pixel, and ⁇ represents the standard deviation of the selected Gaussian distribution;
  • u and v represent the texture coordinates of the drawn picture in the horizontal and vertical directions
  • x and y represent the texture coordinates of the frame image of the background video in the horizontal and vertical directions
  • s u and s v represent the frame of the background video, respectively
  • b u and b v represent the offset of the texture coordinates of the frame image of the background video in the horizontal and vertical directions, respectively.
  • step (2) the specific steps of step (2) are:
  • step (3)
  • Color difference constraint The color difference between the optimal drawing color and the original drawing color should be kept within a certain range.
  • the color difference constraint is defined as follows:
  • Chromaticity saturation constraint The chromaticity saturation of the optimally drawn color should not be reduced.
  • the chromaticity saturation constraint is defined as follows:
  • ch opt and ch d respectively represent the chromaticity saturation of the optimal drawing color and the original drawing color in the CIELAB color space;
  • Brightness constraint The brightness difference between the optimal drawing color and the original drawing color should be kept within a certain range.
  • the brightness constraint is defined as follows:
  • ⁇ L * ( ⁇ ) represents the brightness difference of the two colors in the CIELAB color space
  • ⁇ L represents a brightness threshold, and its value is positive
  • Minimum noticeable difference constraint The optimal drawing color and background video color should have a color difference that can be distinguished by the human eye.
  • the minimum noticeable difference constraint is defined as follows:
  • l b represents the background video color
  • ⁇ JND represents the smallest noticeable difference
  • its value is positive.
  • step (3) The specific steps of step (3) are:
  • I and B respectively represent the three-dimensional coordinates of the ideal optimal rendering color and the background video color after Gaussian blur in the CIELAB color space scaled to the unit sphere
  • O represents the origin of the coordinate
  • O is also the center of the unit sphere
  • dist( ⁇ ) represents the Euclidean distance between two points in the space
  • norm( ⁇ ) represents the normalization of the vector
  • D and E respectively represent the three-dimensional coordinates of the original drawing color and the ideal and optimal drawing color after the chromatic aberration constraint is applied in the CIELAB color space scaled to the unit sphere, and min( ⁇ ) represents the smaller value of the two, ⁇ ′ E represents a color difference threshold scaled to the range of the unit sphere, Represents a three-dimensional vector whose starting point is D and ending point is I;
  • L opt represents the three-dimensional coordinates of the optimal drawing color in the CIELAB color space scaled to the unit sphere
  • r represents a scaling factor: when the Euclidean distance from P to B is less than the smallest noticeable difference in the range of the scaling to the unit sphere, r is less than 1, thus reducing the starting point is D, the end point is P
  • the modulus length of the vector makes the reduced
  • the Euclidean distance from the end point of the vector to B is not less than the smallest noticeable difference in the range of the unit ball; if the Euclidean distance from P to B is already greater than or equal to the smallest noticeable difference in the range of the unit ball, then r is equal to 1. .
  • step (4) The specific steps of step (4) are:
  • the camera of the OST-HMD can be used to collect the background environment in real time. Only the color difference threshold ⁇ E and the minimum noticeable difference ⁇ JND need to be determined by the user. The brightness threshold ⁇ L and other parameters are automatically determined by the present invention during operation. set up.
  • a color contrast enhancement rendering device suitable for optical transmissive head-mounted displays including:
  • the acquisition and processing module is used to acquire a background environment in real time to obtain a background video, perform Gaussian blur and visual field correction processing on the background video, to obtain a processed background video;
  • the color space conversion module is used to convert the original drawing color and the processed background video color from their original color space to the CIELAB color space, and also used to convert the optimal drawing color from the CIELAB color space back to the original drawing color space;
  • the optimal drawing color calculation module is used to find the optimal color based on the original drawing color and the processed background video color according to the set color difference constraint, chromaticity saturation constraint, brightness constraint, and minimum noticeable difference constraint in the CIELAB color space Draw color
  • the drawing module is used for real-time drawing using the converted optimal drawing color instead of the original drawing color.
  • a color contrast enhancement rendering system suitable for an optical transmissive head-mounted display includes a processor, a memory, and a computer program stored in the processor that can be executed by the processor, and the computer program is processed by the processor.
  • the above-mentioned color contrast enhancement drawing method suitable for the optical transmissive head-mounted display is realized.
  • the drawing method of the present invention is a full-screen post-processing effect, which can be applied to drawing frameworks such as Vulkan, DirectX, OpenGL, and other commercial game engines, and can also be extended to various OST-HMDs;
  • Fig. 1 is a flowchart of a color contrast enhancement rendering method suitable for an optical transmissive head-mounted display according to an embodiment of the present invention.
  • the color contrast enhancement rendering method suitable for the optical transmissive head-mounted display in this embodiment includes the following steps:
  • S01 Use the camera of the optical penetrating head-mounted display to collect the background environment in real time to obtain the background video.
  • the resolution of the generated background video is 768 ⁇ 432
  • the frame rate is 24 frames per second.
  • S02 Use Gaussian filter check to filter the background video to obtain a blur effect.
  • the mathematical description of the Gaussian filtering kernel required to perform Gaussian filtering is as follows:
  • x and y represent the horizontal and vertical distances from the pixel to its center pixel
  • ⁇ represents the standard deviation of the selected Gaussian distribution.
  • the standard deviation of the selected Gaussian distribution is 3.
  • the definition of visual field correction is as follows:
  • u and v represent the texture coordinates of the drawn picture in the horizontal and vertical directions
  • x and y represent the texture coordinates of the frame image of the background video in the horizontal and vertical directions
  • s u and s v represent the frame of the background video, respectively
  • b u and b v represent the offset of the texture coordinates of the frame image of the background video in the horizontal and vertical directions, respectively.
  • the values of s u and s v are both 0.65
  • the values of b u and b v are 0.13 and 0.17, respectively.
  • S04 Convert the original drawing color and background video color from RGB color space to CIELAB color space on a pixel-by-pixel basis, and then zoom the three-dimensional coordinates of the original drawing color and background video color of the CIELAB color space to the unit sphere range, that is, CIELAB after zooming
  • the Euclidean distance from the three-dimensional coordinate corresponding to any color in the color space to the origin is less than or equal to 1;
  • Color difference constraint The color difference between the optimal drawing color and the original drawing color should be kept within a certain range.
  • the color difference constraint is defined as follows:
  • ch opt and ch d respectively represent the chromaticity saturation of the optimal drawing color and the original drawing color in the CIELAB color space;
  • Brightness constraint The brightness difference between the optimal drawing color and the original drawing color should be kept within a certain range.
  • the brightness constraint is defined as follows:
  • ⁇ L * ( ⁇ ) represents the brightness difference of the two colors in the CIELAB color space
  • ⁇ L represents a brightness threshold, and its value is positive
  • the minimum noticeable difference constraint The optimal drawing color and the background video color should have a color difference that can be distinguished by the human eye.
  • the minimum noticeable difference constraint is defined as follows:
  • l b represents the background video color
  • ⁇ JND represents the smallest noticeable difference
  • its value is positive.
  • S05-1 calculate the ideal and optimal drawing color.
  • the following formula is used to calculate the ideal and optimal drawing color:
  • I and B respectively represent the three-dimensional coordinates of the ideal optimal rendering color and the background video color after Gaussian blur in the CIELAB color space scaled to the unit sphere
  • O represents the origin of the coordinate
  • O is also the center of the unit sphere
  • dist( ⁇ ) represents the Euclidean distance between two points in the space
  • norm( ⁇ ) represents the normalization of the vector
  • D and E respectively represent the three-dimensional coordinates of the original drawing color and the ideal and optimal drawing color after the chromatic aberration constraint is applied in the CIELAB color space scaled to the unit sphere, and min( ⁇ ) represents the smaller value of the two, ⁇ ′ E represents a color difference threshold scaled to the range of the unit sphere, Represents a three-dimensional vector whose starting point is D and ending point is I;
  • L opt represents the three-dimensional coordinates of the optimal drawing color in the CIELAB color space scaled to the unit sphere
  • r represents a scaling factor: when the Euclidean distance from P to B is less than the smallest noticeable difference in the range of the scaling to the unit sphere, r is greater than 1, thus reducing the starting point to D, the end point to P
  • the modulus length of the vector makes the reduced
  • the Euclidean distance from the end point of the vector to B is not less than the smallest noticeable difference in the range of the unit ball; if the Euclidean distance from P to B is already greater than or equal to the smallest noticeable difference in the range of the unit ball, then r is equal to 1.
  • the value of the smallest noticeable difference before scaling is 2.3.
  • S06 Convert the optimal drawing color from the CIELAB color space to the CIE XYZ color space on a pixel-by-pixel basis, and then convert the optimal drawing color in the CIE XYZ color space back to the RGB color space.
  • ⁇ 'E represents a user-specified threshold color. It can be seen that the method of the present invention can enhance the color contrast between the drawing color and the background color, thereby significantly improving the discrimination between the virtual content and the real background environment.
  • the embodiment also provides a color contrast enhancement rendering device suitable for an optical transmissive head-mounted display, including:
  • the acquisition and processing module is used to acquire a background environment in real time to obtain a background video, perform Gaussian blur and visual field correction processing on the background video, to obtain a processed background video;
  • the color space conversion module is used to convert the original drawing color and the processed background video color from RGB color space to CIELAB color space, and also used to convert the optimal drawing color from CIELAB color space back to RGB color space;
  • the optimal drawing color calculation module is used to find the optimal color based on the original drawing color and the processed background video color according to the set color difference constraint, chromaticity saturation constraint, brightness constraint, and minimum noticeable difference constraint in the CIELAB color space Draw color
  • the drawing module is used for real-time drawing using the optimal drawing color in the RGB color space instead of the original drawing color.
  • the color contrast enhancement drawing device suitable for the optical transmissive head-mounted display provided in the above embodiment should be illustrated by the division of the above functional modules when performing color contrast enhancement drawing. Function allocation is completed by different functional modules, that is, the internal structure of the terminal or server is divided into different functional modules to complete all or part of the functions described above.
  • the color contrast enhancement rendering device suitable for optical transmissive head-mounted displays provided by the above embodiments and the embodiment of the color contrast enhanced rendering method suitable for optical transmissive head-mounted displays belong to the same concept, and the specific implementation process is detailed in The embodiment of the color contrast enhancement rendering method suitable for the optical transmissive head-mounted display is not repeated here.
  • the embodiment also provides a color contrast enhancement rendering system suitable for an optical transmissive head-mounted display, which includes a processor, a memory, and a computer program stored in the processor and executable by the processor.
  • a color contrast enhancement drawing method suitable for the optical transmissive head-mounted display is realized.
  • the memory may include one or more computer-readable storage media, and the computer-readable storage media may be non-transitory.
  • the memory may also include high-speed random access memory and non-volatile memory, such as one or more magnetic disk storage devices and flash memory storage devices.
  • the non-transitory computer-readable storage medium in the memory is used to store at least one instruction, and the at least one instruction is used to be executed by the processor to implement the optical transmission method provided in the method embodiment of the present application.
  • the color contrast enhancement rendering method of the transparent head-mounted display is used to store at least one instruction, and the at least one instruction is used to be executed by the processor to implement the optical transmission method provided in the method embodiment of the present application.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种适用于光学穿透式头戴显示器的颜色对比增强绘制方法、装置及系统，所述方法包括：(1)实时采集背景环境以获得背景视频，对所述视频进行高斯模糊以及视野矫正处理；(2)将原绘制颜色和处理后视频颜色从RGB颜色空间转换到缩放为单位球范围的CIELAB颜色空间；(3)根据设定的色差约束、色品饱和度约束、亮度约束、最小可觉差约束，在缩放后的CIELAB空间中寻找基于原绘制颜色和处理后视频颜色的最优绘制颜色；(4)将最优绘制颜色转换回RGB空间后，利用RGB空间的最优绘制颜色进行实时绘制。该方法应用范围广泛，能够显著提高虚拟内容和背景环境之间的区分度，支持各种虚拟场景及背景环境且无需事先准备过程。

Description

适用于光学穿透式头戴显示器的颜色对比增强绘制方法、装置以及系统 技术领域
本发明属于实时绘制领域，尤其涉及一种适用于光学穿透式头戴显示器的颜色对比增强绘制方法、装置以及系统。
背景技术
随着光学穿透式头戴显示器(optical see-through head-mounted displays，以下简称OST-HMD)的不断革新，与之相关的混合现实(mixed reality，以下简称MR)技术也不断发展。与常规的虚拟现实头戴显示器或视频穿透式头戴显示器不同，OST-HMD由于具有半透明的光学镜片，因而可以同时呈现真实、非绘制的周围环境以及虚拟、绘制的显示内容。这种设计使用户在佩戴OST-HMD时能够无延迟、高保真地感知到周遭环境，极大地缓解了佩戴视频穿透式头戴显示器时的不适感，但同时也带来了新的问题。OST-HMD的光学结构致使其不能完全阻挡来自外部环境的光线，使得虚拟的绘制内容无法独立呈现在显示器上。在MR应用场景里，这种光学设计会导致所谓的颜色混合(color-blending)问题，即由于虚拟显示内容和真实背景环境的颜色发生混合，使得虚拟内容变得难以看清，尤其是当虚拟内容和背景环境之间具有较低的颜色对比度时。
在这样的背景下，增强虚拟显示内容和真实背景环境之间的区分度已成为一个实际的需求。然而，目前并不存在适用于主流商用OST-HMD的通用解决方案，在这个方向还有很多可能性有待探索。在OST-HMD上缓解颜色混合问题的相关策略中，通过增加额外的硬件系统以实现控制显示 像素的不透明度被证明是一种行之有效的硬件解决方案。此类方案通过调节显示像素的不透明度，可获得虚拟显示内容和真实背景环境之间的完全或部分遮挡效果，从而提高两者之间的区分度。然而，此类硬件解决方案通常都不具有可扩展性，也难以实现设备外形尺寸的小型化，生产成本也较高。
除硬件方案外，另有一些软件方案通过对显示器画面和背景环境进行像素级的精确匹配，进而从虚拟显示内容中减去真实背景环境的颜色成分，使得混合后的虚拟显示内容所对应的真实背景环境几乎不可见，最终提高两者之间的区分度。然而，在日常环境中针对主流商用OST-HMD采用此方案会降低虚拟显示内容的亮度，从而增加虚拟显示内容的透明度，反而降低了虚拟显示内容和真实背景环境之间的区分度。
还有一类针对主流商用OST-HMD的软件方案以增强虚拟显示内容的亮度的方式来提高虚拟显示内容的不透明度，从而提高虚拟显示内容和真实背景环境之间的区分度。然而，这类方案又会导致虚拟显示内容自身的对比度降低，损失了具体细节，不适用于具有复杂纹理的虚拟内容，通用性较低。
发明内容
本发明的目的是提供一种适用于光学穿透式头戴显示器的颜色对比增强绘制方法、装置和系统，该颜色对比增强绘制方法在满足一系列约束条件下逐像素地寻找基于原始绘制颜色和背景环境颜色的最优绘制颜色。
本发明的技术方案为：
一种适用于光学穿透式头戴显示器的颜色对比增强绘制方法，包括以下步骤：
(1)实时采集背景环境以获得背景视频，对所述背景视频进行预处理，获得处理后的背景视频；
(2)将原始绘制颜色和处理后的背景视频颜色从各自的颜色空间转换到CIELAB颜色空间；
(3)在CIELAB颜色空间内，根据设定的色差约束、色品饱和度约束、亮度约束、最小可觉差约束寻找基于原始绘制颜色和处理后背景视频颜色的最优绘制颜色；
(4)将所述最优绘制颜色从CIELAB颜色空间转换回原始绘制颜色空间后，利用转换后的最优绘制颜色代替原始绘制颜色进行实时绘制。
原始绘制颜色是指在未应用本技术方案前，OST-HMD在其显示屏幕上显示的原始颜色，原始绘制颜色空间是指前述原始绘制颜色所采用的颜色空间，背景视频颜色是指通过视频采集设备(如摄像头)采集到的位于OST-HMD后方的背景环境的视频的颜色，背景视频颜色空间是指前述背景视频颜色所采用的颜色空间，将原始绘制颜色和处理后的背景视频颜色从各自的颜色空间转换到CIELAB颜色空间，是指将原始绘制颜色从原始绘制颜色空间转换到CIELAB颜色空间，将背景视频颜色从视频颜色空间转换到CIELAB颜色空间。原始绘制颜色空间可以为RGB、HSV、YUV、CIEXYZ、CIELAB等颜色空间，视频颜色空间可以为RGB、HSV、YUV、YCbCr等颜色空间。
优选地，所述对所述背景视频进行预处理包括：
对所述背景视频进行高斯模糊处理，具体地，使用高斯滤波核对背景视频进行滤波，以获得模糊效果，其中高斯滤波核的数学描述如下：
Figure PCTCN2021070529-appb-000001
其中，x和y分别代表该像素到其中心像素的水平和垂直距离，σ代表所选高斯分布的标准差；
对高斯处理后的背景视频进行视野矫正，使背景视频的帧图像与绘制画面实现像素精度一一映射，矫正公式为：
Figure PCTCN2021070529-appb-000002
其中，u和v分别代表绘制画面在水平和垂直方向上的纹理坐标，x和y分别代表背景视频的帧图像在水平和垂直方向上的纹理坐标；s u和s v分别代表背景视频的帧图像在水平和垂直方向上的纹理坐标的缩放系数，b u和b v分别代表背景视频的帧图像在水平和垂直方向上的纹理坐标的偏移量。
其中，步骤(2)的具体步骤为：
(2-1)将原始绘制颜色和处理后的背景视频颜色从各自原始的颜色空间转换到CIE LAB颜色空间；
(2-2)将CIELAB颜色空间的原始绘制颜色和背景视频颜色的三维坐标缩放至单位球范围内，即缩放后CIELAB颜色空间中任意颜色对应的三维坐标到原点的欧氏距离小于等于1。
步骤(3)中，
色差约束：最优绘制颜色与原始绘制颜色的颜色差异应保持在一定范围内，色差约束的定义如下：
Figure PCTCN2021070529-appb-000003
其中，
Figure PCTCN2021070529-appb-000004
表示两个颜色在CIELAB颜色空间中的颜色差异，l opt和l d分别代表最优绘制颜色和原始绘制颜色，λ E表示一个色差阈值，其值为正；
色品饱和度约束：最优绘制颜色的色品饱和度不应减小，色品饱和度 约束的定义如下：
ch opt-ch d≥0
其中，ch opt和ch d分别代表最优绘制颜色和原始绘制颜色在CIELAB颜色空间的色品饱和度；
亮度约束：最优绘制颜色与原始绘制颜色的亮度差异应保持在一定范围内，亮度约束的定义如下：
ΔL *(l opt,l d)≤λ L
其中，ΔL *(·)表示两个颜色在CIELAB颜色空间中的亮度差异，λ L表示一个亮度阈值，其值为正；
最小可觉差约束：最优绘制颜色与背景视频颜色应具有人眼可分辨的色差，最小可觉差约束的定义如下：
Figure PCTCN2021070529-appb-000005
其中，l b代表背景视频颜色，λ JND表示最小可觉差，其值为正。
步骤(3)的具体步骤为：
(3-1)利用以下公式计算理想最优绘制颜色：
Figure PCTCN2021070529-appb-000006
其中，I和B分别表示理想最优绘制颜色和高斯模糊后的背景视频颜色在缩放为单位球的CIELAB颜色空间中的三维坐标，O表示坐标原点，O同时也是单位球的球心，dist(·)表示空间中两点间的欧氏距离，norm(·)表示将向量归一化，
Figure PCTCN2021070529-appb-000007
表示起点为O，终点为B的向量；
(3-2)为理想最优绘制颜色施加色差约束，施加色差约束的方法如下：
Figure PCTCN2021070529-appb-000008
其中，D和E分别表示原始绘制颜色和施加了色差约束后的理想最优绘制颜色在缩放为单位球的CIELAB颜色空间中的三维坐标，min(·)表示取二者中较小值，λ′ E表示一个缩放至单位球范围的色差阈值，
Figure PCTCN2021070529-appb-000009
代表起点为D，终点为I的三维向量；
(3-3)为施加了色差约束后的理想最优绘制颜色继续施加色品饱和度约束。令上标′表示取向量在CIELAB颜色空间中a *Ob *平面上的投影向量，施加色品饱和度约束的方法如下：
Figure PCTCN2021070529-appb-000010
Figure PCTCN2021070529-appb-000011
其中，
Figure PCTCN2021070529-appb-000012
表示施加了色品饱和度约束后的
Figure PCTCN2021070529-appb-000013
向量，
Figure PCTCN2021070529-appb-000014
表示
Figure PCTCN2021070529-appb-000015
向量在
Figure PCTCN2021070529-appb-000016
向量方向上的分向量，即色品饱和度的变化向量，
Figure PCTCN2021070529-appb-000017
表示
Figure PCTCN2021070529-appb-000018
向量的另一分向量，其方向垂直于
Figure PCTCN2021070529-appb-000019
向量，即
Figure PCTCN2021070529-appb-000020
θ ch表示从
Figure PCTCN2021070529-appb-000021
向量到
Figure PCTCN2021070529-appb-000022
向量的角度；
(3-4)为施加了色差约束和色品饱和度约束的理想最优绘制颜色继续施加亮度约束，施加亮度约束的方法如下：
Figure PCTCN2021070529-appb-000023
其中，
Figure PCTCN2021070529-appb-000024
表示
Figure PCTCN2021070529-appb-000025
向量在缩放为单位球的CIELAB颜色空间中的L *轴上的分向量，
Figure PCTCN2021070529-appb-000026
表示施加了亮度约束后的
Figure PCTCN2021070529-appb-000027
向量，θ l表示从L *轴正方向到
Figure PCTCN2021070529-appb-000028
向量的角度，|·|表示取绝对值；
(3-5)为施加了色差约束、色品饱和度约束、亮度约束的理想最优绘制颜色继续施加最小可觉差约束以得到最优绘制颜色，施加最小可觉差约束的方法如下：
Figure PCTCN2021070529-appb-000029
Figure PCTCN2021070529-appb-000030
其中，L opt表示最优绘制颜色在缩放为单位球的CIELAB颜色空间中的三维坐标，r代表一个缩放系数：当P到B的欧氏距离小于缩放至单位球范围的最小可觉差时，r小于1，从而缩减起点为D，终点为P的
Figure PCTCN2021070529-appb-000031
向量的模长，使得缩减后的
Figure PCTCN2021070529-appb-000032
向量的终点到B的欧氏距离不小于缩放至单位球范围的最小可觉差；如果P到B的欧氏距离原本已大于或等于缩放至单位球范围的最小可觉差，则r等于1。
步骤(4)的具体步骤为：
(4-1)将缩放至单位球范围的CIELAB颜色空间中的最优绘制颜色缩放回原始CIELAB颜色空间的坐标范围；
(4-2)将CIELAB颜色空间的最优绘制颜色转换回原始绘制颜色空间；
(4-3)利用转换后的最优绘制颜色代替原始绘制颜色进行实时绘制。
本发明中，可以采用OST-HMD自带的摄像机实时采集背景环境，仅色差阈值λ E和最小可觉差λ JND需由用户自行确定，亮度阈值λ L等其余参数均在运行时由本发明自动设置。
一种适用于光学穿透式头戴显示器的颜色对比增强绘制装置，包括：
采集及处理模块，用于实时采集背景环境以获得背景视频，对所述背景视频进行高斯模糊以及视野矫正处理，获得处理后的背景视频；
颜色空间转换模块，用于将原始绘制颜色和处理后的背景视频颜色从各自原始的颜色空间转换到CIELAB颜色空间，还用于将最优绘制颜色从CIELAB颜色空间转换回原始绘制颜色空间；
最优绘制颜色计算模块，用于在CIELAB颜色空间内，根据设定的色差约束、色品饱和度约束、亮度约束、最小可觉差约束寻找基于原始绘制 颜色和处理后背景视频颜色的最优绘制颜色；
绘制模块，用于利用转换后的最优绘制颜色代替原始绘制颜色进行实时绘制。
一种适用于光学穿透式头戴显示器的颜色对比增强绘制系统，包括处理器、存储器以及存储在所述处理器中可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时，实现上述适用于光学穿透式头戴显示器的颜色对比增强绘制方法。
与现有技术相比，本发明的有益效果如下：
应用范围广泛，不局限于某一具体应用程序或某一具体硬件。本发明的绘制方法是一种全屏后处理效果，可以应用于Vulkan、DirectX、OpenGL等绘制框架及其他多种商用游戏引擎，还可以被推广到各种不同的OST-HMD上；
在用户给定的色差阈值内，通过增大虚拟显示内容和真实背景环境之间的颜色对比，在尽量保证呈现原虚拟内容的前提下显著提高两者之间的区分度，避免了现有技术导致的虚拟显示内容的可见性降低或是细节损失；
支持各种混合现实应用场景且无需任何事先准备过程，可用于各种常见背景环境。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明实施例提供的适用于光学穿透式头戴显示器的颜色对比 增强绘制方法的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
参见图1，本实施例中适用于光学穿透式头戴显示器的颜色对比增强绘制方法，包括以下步骤：
S01，使用光学穿透式头戴显示器自带的摄像机实时采集背景环境以获得背景视频。
本实施例中，生成的背景视频分辨率为768×432，帧速率为24帧/秒。
S02，使用高斯滤波核对背景视频进行滤波以获得模糊效果。
本实施例中，执行高斯滤波所需的高斯滤波核的数学描述如下：
Figure PCTCN2021070529-appb-000033
其中，x和y分别代表该像素到其中心像素的水平和垂直距离，σ代表所选高斯分布的标准差。在本实施例中，所选高斯分布的标准差为3。
S03，使用视野矫正公式对背景视频进行视野矫正。
本实施例中，视野矫正的定义如下：
Figure PCTCN2021070529-appb-000034
其中，u和v分别代表绘制画面在水平和垂直方向上的纹理坐标，x和y分别代表背景视频的帧图像在水平和垂直方向上的纹理坐标；s u和s v分别代表背景视频的帧图像在水平和垂直方向上的纹理坐标的缩放系数，b u和 b v分别代表背景视频的帧图像在水平和垂直方向上的纹理坐标的偏移量。在本实施例中，s u和s v的取值均为0.65，b u和b v的取值分别为0.13和0.17。
S04，逐像素地将原始绘制颜色和背景视频颜色从RGB颜色空间转换到CIELAB颜色空间，再将CIELAB颜色空间的原始绘制颜色和背景视频颜色的三维坐标缩放至单位球范围内，即缩放后CIELAB颜色空间中任意颜色对应的三维坐标到原点的欧氏距离小于等于1；
S05，根据用户给定的色差阈值，在满足一系列约束条件下逐像素地寻找出基于原始显示颜色和背景视频颜色的最优绘制颜色。
本实施例中，一系列约束条件共有4条，分别定义如下：
(a)色差约束：最优绘制颜色与原始绘制颜色的颜色差异应保持在一定范围内，色差约束的定义如下：
Figure PCTCN2021070529-appb-000035
其中，
Figure PCTCN2021070529-appb-000036
表示两个颜色在CIELAB颜色空间中的颜色差异，l opt和l d分别代表最优绘制颜色和原始绘制颜色，λ E表示一个色差阈值，其值为正；
(b)色品饱和度约束：最优绘制颜色的色品饱和度不应减小，色品饱和度约束的定义如下：
ch opt-ch d≥0
其中，ch opt和ch d分别代表最优绘制颜色和原始绘制颜色在CIELAB颜色空间的色品饱和度；
(c)亮度约束：最优绘制颜色与原始绘制颜色的亮度差异应保持在一定范围内，亮度约束的定义如下：
ΔL *(l opt,l d)≤λ L
其中，ΔL *(·)表示两个颜色在CIELAB颜色空间中的亮度差异，λ L表 示一个亮度阈值，其值为正；
(d)最小可觉差约束：最优绘制颜色与背景视频颜色应具有人眼可分辨的色差，最小可觉差约束的定义如下：
Figure PCTCN2021070529-appb-000037
其中，l b代表背景视频颜色，λ JND表示最小可觉差，其值为正。
S05的具体步骤为：
S05-1，计算理想最优绘制颜色。本实施例利用以下公式计算理想最优绘制颜色：
Figure PCTCN2021070529-appb-000038
其中，I和B分别表示理想最优绘制颜色和高斯模糊后的背景视频颜色在缩放为单位球的CIELAB颜色空间中的三维坐标，O表示坐标原点，O同时也是单位球的球心，dist(·)表示空间中两点间的欧氏距离，norm(·)表示将向量归一化，
Figure PCTCN2021070529-appb-000039
表示起点为O，终点为B的向量；
S05-2，为理想最优绘制颜色施加色差约束，施加色差约束的方法如下：
Figure PCTCN2021070529-appb-000040
其中，D和E分别表示原始绘制颜色和施加了色差约束后的理想最优绘制颜色在缩放为单位球的CIELAB颜色空间中的三维坐标，min(·)表示取二者中较小值，λ′ E表示一个缩放至单位球范围的色差阈值，
Figure PCTCN2021070529-appb-000041
代表起点为D，终点为I的三维向量；
S05-3，为施加了色差约束后的理想最优绘制颜色继续施加色品饱和度约束。令上标′表示取向量在CIELAB颜色空间中a *Ob *平面上的投影向量，施加色品饱和度约束的方法如下：
Figure PCTCN2021070529-appb-000042
Figure PCTCN2021070529-appb-000043
其中，
Figure PCTCN2021070529-appb-000044
表示施加了色品饱和度约束后的
Figure PCTCN2021070529-appb-000045
向量，
Figure PCTCN2021070529-appb-000046
表示
Figure PCTCN2021070529-appb-000047
向量在
Figure PCTCN2021070529-appb-000048
向量方向上的分向量，即色品饱和度的变化向量，
Figure PCTCN2021070529-appb-000049
表示
Figure PCTCN2021070529-appb-000050
向量的另一分向量，其方向垂直于
Figure PCTCN2021070529-appb-000051
向量，即
Figure PCTCN2021070529-appb-000052
θ ch表示从
Figure PCTCN2021070529-appb-000053
向量到
Figure PCTCN2021070529-appb-000054
向量的角度；
S05-4，为施加了色差约束和色品饱和度约束的理想最优绘制颜色继续施加亮度约束，施加亮度约束的方法如下：
Figure PCTCN2021070529-appb-000055
其中，
Figure PCTCN2021070529-appb-000056
表示
Figure PCTCN2021070529-appb-000057
向量在缩放为单位球的CIELAB颜色空间中的L *轴上的分向量，
Figure PCTCN2021070529-appb-000058
表示施加了亮度约束后的
Figure PCTCN2021070529-appb-000059
向量，θ l表示从L *轴正方向到
Figure PCTCN2021070529-appb-000060
向量的角度，|·|表示取绝对值；
S05-5，为施加了色差约束、色品饱和度约束、亮度约束的理想最优绘制颜色继续施加最小可觉差约束以计算得到最优绘制颜色。本实施例中，施加最小可觉差约束的方法如下：
Figure PCTCN2021070529-appb-000061
Figure PCTCN2021070529-appb-000062
其中，L opt表示最优绘制颜色在缩放为单位球的CIELAB颜色空间中的三维坐标，r代表一个缩放系数：当P到B的欧氏距离小于缩放至单位球范围的最小可觉差时，r大于1，从而缩减起点为D，终点为P的
Figure PCTCN2021070529-appb-000063
向量的模长，使得缩减后的
Figure PCTCN2021070529-appb-000064
向量的终点到B的欧氏距离不小于缩放至单位球范围的最小可觉差；如果P到B的欧氏距离原本已大于或等于缩放至单位球范围的最小可觉差，则r等于1。在本实施例中，缩放前的最小可觉差的取 值为2.3。
S06，逐像素地将最优绘制颜色从CIELAB颜色空间转换到CIE XYZ颜色空间，再将CIE XYZ颜色空间的最优绘制颜色转换回RGB颜色空间。
S07，利用RGB颜色空间的最优绘制颜色代替原始绘制颜色进行实时绘制。
利用本实施例的方法对虚拟显示内容进行绘制时的实验仿真结果如表1所示。其中，λ′ E表示用户指定的色差阈值。可以看出，本发明的方法可以增强绘制颜色与背景颜色之间的颜色对比，从而显著提高虚拟内容和真实背景环境之间的区分度。
表1
Figure PCTCN2021070529-appb-000065
实施例还提供了一种适用于光学穿透式头戴显示器的颜色对比增强绘制装置，包括：
采集及处理模块，用于实时采集背景环境以获得背景视频，对所述背景视频进行高斯模糊以及视野矫正处理，获得处理后的背景视频；
颜色空间转换模块，用于将原始绘制颜色和处理后的背景视频颜色从RGB颜色空间转换到CIELAB颜色空间，还用于将最优绘制颜色从CIELAB颜色空间转换回RGB颜色空间；
最优绘制颜色计算模块，用于在CIELAB颜色空间内，根据设定的色差约束、色品饱和度约束、亮度约束、最小可觉差约束寻找基于原始绘制颜色和处理后背景视频颜色的最优绘制颜色；
绘制模块，用于利用RGB颜色空间的最优绘制颜色代替原始绘制颜色进行实时绘制。
需要说明的是，上述实施例提供的适用于光学穿透式头戴显示器的颜色对比增强绘制装置在进行颜色对比增强绘制时，应以上述各功能模块的划分进行举例说明，可以根据需要将上述功能分配由不同的功能模块完成，即在终端或服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的适用于光学穿透式头戴显示器的颜色对比增强绘制装置与适用于光学穿透式头戴显示器的颜色对比增强绘制方法实施例属于同一构思，其具体实现过程详见适用于光学穿透式头戴显示器的颜色对比增强绘制方法实施例，这里不再赘述。
实施例还提供了一种适用于光学穿透式头戴显示器的颜色对比增强绘制系统，包括处理器、存储器以及存储在所述处理器中可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时，实现上述适用于光学穿透式头戴显示器的颜色对比增强绘制方法。
其中，存储器可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器所执行以实现本申请中方法实施例提供的适用于光学穿透式头戴显示器的颜色对比增强绘制方法。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

  1. 一种适用于光学穿透式头戴显示器的颜色对比增强绘制方法，其特征在于，所述颜色对比增强绘制方法包括以下步骤：
    (1)实时采集背景环境以获得背景视频，对所述背景视频进行预处理，获得处理后的背景视频；
    (2)将原始绘制颜色和处理后的背景视频颜色从各自的颜色空间转换到CIELAB颜色空间；
    (3)在CIELAB颜色空间内，利用以下公式计算理想最优绘制颜色，然后为理想最优绘制颜色依次施加色差约束、色品饱和度约束、亮度约束、最小可觉差约束，得到最优绘制颜色；
    Figure PCTCN2021070529-appb-100001
    其中，I和B分别表示理想最优绘制颜色和高斯模糊后的背景视频颜色在缩放为单位球的CIELAB颜色空间中的三维坐标，O表示坐标原点，O同时也是单位球的球心，dist(·)表示空间中两点间的欧氏距离，norm(·)表示将向量归一化，
    Figure PCTCN2021070529-appb-100002
    表示起点为O，终点为B的向量；
    (4)将所述最优绘制颜色从CIELAB颜色空间转换回原始绘制颜色空间后，利用转换后的最优绘制颜色代替原始绘制颜色进行实时绘制。
  2. 如权利要求1所述的适用于光学穿透式头戴显示器的颜色对比增强绘制方法，其特征在于，所述对所述背景视频进行预处理包括：
    对所述背景视频进行高斯模糊处理；
    对高斯处理后的背景视频进行视野矫正，使背景视频的帧图像与绘制画面实现像素精度一一映射，矫正公式为：
    Figure PCTCN2021070529-appb-100003
    其中，u和v分别代表绘制画面在水平和垂直方向上的纹理坐标，x和y分别代表背景视频的帧图像在水平和垂直方向上的纹理坐标；s u和s v分别代表背景视频的帧图像在水平和垂直方向上的纹理坐标的缩放系数，b u和b v分别代表背景视频的帧图像在水平和垂直方向上的纹理坐标的偏移量。
  3. 如权利要求1所述的适用于光学穿透式头戴显示器的颜色对比增强绘制方法，其特征在于，步骤(2)的具体步骤为：
    (2-1)将原始绘制颜色和处理后的背景视频颜色从各自原始的颜色空间转换到CIE LAB颜色空间；
    (2-2)将CIELAB颜色空间的原始绘制颜色和背景视频颜色的三维坐标缩放至单位球范围内，即缩放后CIELAB颜色空间中任意颜色对应的三维坐标到原点的欧氏距离小于等于1。
  4. 如权利要求1所述的适用于光学穿透式头戴显示器的颜色对比增强绘制方法，其特征在于，步骤(3)中，
    色差约束：最优绘制颜色与原始绘制颜色的颜色差异应保持在一定范围内，色差约束的定义如下：
    Figure PCTCN2021070529-appb-100004
    其中，
    Figure PCTCN2021070529-appb-100005
    表示两个颜色在CIELAB颜色空间中的颜色差异，l opt和l d分别代表最优绘制颜色和原始绘制颜色，λ E表示一个色差阈值，其值为正；
    色品饱和度约束：最优绘制颜色的色品饱和度不应减小，色品饱和度约束的定义如下：
    ch opt-ch d≥0
    其中，ch opt和ch d分别代表最优绘制颜色和原始绘制颜色在CIELAB颜色空间的色品饱和度；
    亮度约束：最优绘制颜色与原始绘制颜色的亮度差异应保持在一定范围内，亮度约束的定义如下：
    ΔL *(l opt,l d)≤λ L
    其中，ΔL *(·)表示两个颜色在CIELAB颜色空间中的亮度差异，λ L表示一个亮度阈值，其值为正；
    最小可觉差约束：最优绘制颜色与背景视频颜色应具有人眼可分辨的色差，最小可觉差约束的定义如下：
    Figure PCTCN2021070529-appb-100006
    其中，l b代表背景视频颜色，λ JND表示最小可觉差，其值为正。
  5. 如权利要求1所述的适用于光学穿透式头戴显示器的颜色对比增强绘制方法，其特征在于，所述理想最优绘制颜色依次施加色差约束、色品饱和度约束、亮度约束、最小可觉差约束，得到最优绘制颜色包括：
    为理想最优绘制颜色施加色差约束，施加色差约束的方法如下：
    Figure PCTCN2021070529-appb-100007
    其中，D和E分别表示原始绘制颜色和施加了色差约束后的理想最优绘制颜色在缩放为单位球的CIELAB颜色空间中的三维坐标，min(·)表示取二者中较小值，λ′ E表示一个缩放至单位球范围的色差阈值，
    Figure PCTCN2021070529-appb-100008
    代表起点为D，终点为I的三维向量；
    为施加了色差约束后的理想最优绘制颜色继续施加色品饱和度约束，令上标′表示取向量在CIELAB颜色空间中a *Ob *平面上的投影向量，施加色品饱和度约束的方法如下：
    Figure PCTCN2021070529-appb-100009
    Figure PCTCN2021070529-appb-100010
    其中，
    Figure PCTCN2021070529-appb-100011
    表示施加了色品饱和度约束后的
    Figure PCTCN2021070529-appb-100012
    向量，
    Figure PCTCN2021070529-appb-100013
    表示
    Figure PCTCN2021070529-appb-100014
    向量在
    Figure PCTCN2021070529-appb-100015
    向量方向上的分向量，即色品饱和度的变化向量，
    Figure PCTCN2021070529-appb-100016
    表示
    Figure PCTCN2021070529-appb-100017
    向量的另一分向量，其方向垂直于
    Figure PCTCN2021070529-appb-100018
    向量，即
    Figure PCTCN2021070529-appb-100019
    θ ch表示从
    Figure PCTCN2021070529-appb-100020
    向量到
    Figure PCTCN2021070529-appb-100021
    向量的角度；
    为施加了色差约束和色品饱和度约束的理想最优绘制颜色继续施加亮度约束，施加亮度约束的方法如下：
    Figure PCTCN2021070529-appb-100022
    其中，
    Figure PCTCN2021070529-appb-100023
    表示
    Figure PCTCN2021070529-appb-100024
    向量在缩放为单位球的CIELAB颜色空间中的L *轴上的分向量，
    Figure PCTCN2021070529-appb-100025
    表示施加了亮度约束后的
    Figure PCTCN2021070529-appb-100026
    向量，θ l表示从L *轴正方向到
    Figure PCTCN2021070529-appb-100027
    向量的角度，|·|表示取绝对值；
    为施加了色差约束、色品饱和度约束、亮度约束的理想最优绘制颜色继续施加最小可觉差约束以得到最优绘制颜色，施加最小可觉差约束的方法如下：
    Figure PCTCN2021070529-appb-100028
    Figure PCTCN2021070529-appb-100029
    其中，L opt表示最优绘制颜色在缩放为单位球的CIELAB颜色空间中的三维坐标，r代表一个缩放系数：当P到B的欧氏距离小于缩放至单位球范围的最小可觉差时，r小于1，从而缩减起点为D，终点为P的
    Figure PCTCN2021070529-appb-100030
    向量的模长，使得缩减后的
    Figure PCTCN2021070529-appb-100031
    向量的终点到B的欧氏距离不小于缩放至单位球范围的最小可觉差；如果P到B的欧氏距离原本已大于或等于缩放至单位球范围的最小可觉差，则r等于1。
  6. 如权利要求1所述的适用于光学穿透式头戴显示器的颜色对比增 强绘制方法，其特征在于，步骤(4)的具体步骤为：
    (4-1)将缩放至单位球范围的CIELAB颜色空间中的最优绘制颜色缩放回原始CIELAB颜色空间的坐标范围；
    (4-2)将CIELAB颜色空间的最优绘制颜色转换回原始绘制颜色空间；
    (4-3)利用转换后的最优绘制颜色代替原始绘制颜色进行实时绘制。
  7. 一种适用于光学穿透式头戴显示器的颜色对比增强绘制装置，其特征在于，包括：
    采集及处理模块，用于实时采集背景环境以获得背景视频，对所述背景视频进行高斯模糊以及视野矫正处理，获得处理后的背景视频；
    颜色空间转换模块，用于将原始绘制颜色和处理后的背景视频颜色从各自原始的颜色空间转换到CIELAB颜色空间，还用于将最优绘制颜色从CIELAB颜色空间转换回原始绘制颜色空间；
    最优绘制颜色计算模块，用于在CIELAB颜色空间内，利用以下公式计算理想最优绘制颜色，然后为理想最优绘制颜色依次施加色差约束、色品饱和度约束、亮度约束、最小可觉差约束，得到最优绘制颜色；
    Figure PCTCN2021070529-appb-100032
    其中，I和B分别表示理想最优绘制颜色和高斯模糊后的背景视频颜色在缩放为单位球的CIELAB颜色空间中的三维坐标，O表示坐标原点，O同时也是单位球的球心，dist(·)表示空间中两点间的欧氏距离，norm(·)表示将向量归一化，
    Figure PCTCN2021070529-appb-100033
    表示起点为O，终点为B的向量；
    绘制模块，用于利用转换后的最优绘制颜色代替原始绘制颜色进行实时绘制。
  8. 一种适用于光学穿透式头戴显示器的颜色对比增强绘制系统，包括处理器、存储器以及存储在所述处理器中可被所述处理器执行的计算机程序，其特征在于，所述计算机程序被所述处理器执行时，实现权利要求1～6任一项所述的适用于光学穿透式头戴显示器的颜色对比增强绘制方法。
PCT/CN2021/070529 2020-03-16 2021-01-06 适用于光学穿透式头戴显示器的颜色对比增强绘制方法、装置以及系统 WO2021184931A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/627,671 US11854172B2 (en) 2020-03-16 2021-01-06 Color contrast enhanced rendering method, device and system suitable for optical see-through head-mounted display

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010181920.3A CN111402354B (zh) 2020-03-16 2020-03-16 适用于光学穿透式头戴显示器的颜色对比增强绘制方法、装置以及系统
CN202010181920.3 2020-03-16

Publications (1)

Publication Number Publication Date
WO2021184931A1 true WO2021184931A1 (zh) 2021-09-23

Family

ID=71432754

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/070529 WO2021184931A1 (zh) 2020-03-16 2021-01-06 适用于光学穿透式头戴显示器的颜色对比增强绘制方法、装置以及系统

Country Status (3)

Country Link
US (1) US11854172B2 (zh)
CN (1) CN111402354B (zh)
WO (1) WO2021184931A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402354B (zh) * 2020-03-16 2020-12-25 浙江大学 适用于光学穿透式头戴显示器的颜色对比增强绘制方法、装置以及系统
US11715405B1 (en) * 2021-02-10 2023-08-01 Sivalogeswaran Ratnasingam Chroma modification based on ambient light characteristics

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581571A (zh) * 2013-11-22 2014-02-12 北京中科大洋科技发展股份有限公司 一种基于色彩三要素的视频抠像方法
US20170323438A1 (en) * 2006-03-15 2017-11-09 Quad/Tech, Inc. Color correct imaging
CN108806600A (zh) * 2018-06-20 2018-11-13 珠海市魅族科技有限公司 一种显示面板及显示装置
CN110419061A (zh) * 2017-03-17 2019-11-05 奇跃公司 具有多源虚拟内容合成的混合现实系统及使用该系统生成虚拟内容的方法
CN111402354A (zh) * 2020-03-16 2020-07-10 浙江大学 适用于光学穿透式头戴显示器的颜色对比增强绘制方法、装置以及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652008B (zh) * 2016-12-23 2019-08-13 浙江大学 一种自动生成网格与着色器多层次细节的方法
CN108806622A (zh) * 2017-05-06 2018-11-13 北京微美云息软件有限公司 头戴式全息lcos显示器
US10181192B1 (en) * 2017-06-30 2019-01-15 Canon Kabushiki Kaisha Background modelling of sport videos
CN110096145A (zh) * 2019-04-11 2019-08-06 湖北大学 基于混合现实和神经网络的心理状态显示方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170323438A1 (en) * 2006-03-15 2017-11-09 Quad/Tech, Inc. Color correct imaging
CN103581571A (zh) * 2013-11-22 2014-02-12 北京中科大洋科技发展股份有限公司 一种基于色彩三要素的视频抠像方法
CN110419061A (zh) * 2017-03-17 2019-11-05 奇跃公司 具有多源虚拟内容合成的混合现实系统及使用该系统生成虚拟内容的方法
CN108806600A (zh) * 2018-06-20 2018-11-13 珠海市魅族科技有限公司 一种显示面板及显示装置
CN111402354A (zh) * 2020-03-16 2020-07-10 浙江大学 适用于光学穿透式头戴显示器的颜色对比增强绘制方法、装置以及系统

Also Published As

Publication number Publication date
CN111402354A (zh) 2020-07-10
CN111402354B (zh) 2020-12-25
US11854172B2 (en) 2023-12-26
US20220261969A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
US10565742B1 (en) Image processing method and apparatus
US20210333870A1 (en) Image rendering method, device, system, storage medium, image display method and computer device
CN109660782B (zh) 减少立体深度传感器成像中的纹理化ir图案
JP6615917B2 (ja) 実時間ビデオエンハンスメント方法、端末及び非一時的コンピュータ可読記憶媒体
CN109741289B (zh) 一种图像融合方法和vr设备
WO2021184931A1 (zh) 适用于光学穿透式头戴显示器的颜色对比增强绘制方法、装置以及系统
CN107274351B (zh) 图像处理设备、图像处理系统和图像处理方法
US11004179B2 (en) Image blurring methods and apparatuses, storage media, and electronic devices
US20190325564A1 (en) Image blurring methods and apparatuses, storage media, and electronic devices
WO2019101005A1 (zh) 像素补偿方法、装置和终端设备
WO2019184251A1 (en) Rendering method, computer product and display apparatus
CN112241933A (zh) 人脸图像处理方法、装置、存储介质及电子设备
CN110248242B (zh) 一种图像处理和直播方法、装置、设备和存储介质
WO2020001176A1 (zh) 显示方法及装置、可见光通信传输方法及装置
US11880983B2 (en) Image enhancement system
WO2020135234A1 (zh) 一种图像处理方法及装置
WO2020107995A1 (zh) 成像方法和装置、电子设备、计算机可读存储介质
TW201933046A (zh) 基於擴增實境的圖像處理方法、裝置及電子設備
WO2023226218A1 (zh) 轴对称光学成像并行仿真方法及装置
CN110782400A (zh) 一种自适应的光照均匀实现方法和装置
WO2023273111A1 (zh) 一种图像处理方法、装置、计算机设备和存储介质
TW202021330A (zh) 圖像縮放方法和裝置
TWI743477B (zh) 圖像處理裝置及圖像處理的方法
CN110874816B (zh) 一种图像处理方法、装置、移动终端及存储介质
CN113012051A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21770865

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21770865

Country of ref document: EP

Kind code of ref document: A1