WO2018099087A1 - 用于数字图像的动态范围扩展的系统、方法以及存储介质 - Google Patents

用于数字图像的动态范围扩展的系统、方法以及存储介质 Download PDF

Info

Publication number
WO2018099087A1
WO2018099087A1 PCT/CN2017/092593 CN2017092593W WO2018099087A1 WO 2018099087 A1 WO2018099087 A1 WO 2018099087A1 CN 2017092593 W CN2017092593 W CN 2017092593W WO 2018099087 A1 WO2018099087 A1 WO 2018099087A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
histogram
previous frame
frame
parameter
Prior art date
Application number
PCT/CN2017/092593
Other languages
English (en)
French (fr)
Inventor
那彦波
严寒
段然
Original Assignee
京东方科技集团股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东方科技集团股份有限公司 filed Critical 京东方科技集团股份有限公司
Priority to US15/745,032 priority Critical patent/US10217199B2/en
Priority to EP17825721.8A priority patent/EP3550508B1/en
Publication of WO2018099087A1 publication Critical patent/WO2018099087A1/zh

Links

Images

Classifications

    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Definitions

  • the present disclosure relates to the field of image processing and, more particularly, to a system, method, and computer-executable non-volatile storage medium for dynamic range expansion of digital images or video signals.
  • the digital image is represented by a 2-D array of integers of width x height. Colors are represented by three arrays that can be in different formats (eg, RGB, YUV, LUV, etc.), and sometimes the fourth channel is also used to represent a transparent region (alpha channel).
  • the present disclosure focuses only on luminance data (not color or transparency) and is referred to as 1 channel representing luminance (eg, Y channel in YUV format).
  • the most commonly used integer format (bit depth) in digital images is unsigned 8 bits/pixel (values from 0 to 255).
  • the range of brightness covered by the display panel is referred to as the dynamic range of the display panel.
  • Digital images may not use all available brightness levels. For example, an 8-bit/pixel image may only use a Y value from 64 to 191, which covers only 50% of the full range from 0 to 255. Images with low (large) luminance value coverage are referred to as low (high) dynamic range images (LDR or HDR images, respectively).
  • LDR low dynamic range images
  • a system for dynamic range expansion of a digital image comprising: a configuration device configured to generate a first parameter and a second parameter, and according to the first parameter and The second parameter obtains a value of the block tridiagonal matrix; the analyzing means is configured to calculate a histogram of the input previous frame image data and a histogram equalization of the input previous frame image data, and store the previous frame a histogram of the image data and a histogram equalization of the previous frame of image data; an optimization device configured to be based on the first parameter and the second parameter from the configuration device, the block tridiagonal matrix, and from A histogram of the image data of the previous frame of the analysis device and a histogram equalization of the image data of the previous frame, and an output histogram of the image data of the previous frame is calculated and stored using an equation including the block three diagonal matrix According to the output histogram of the image data of the previous frame, Calculating and obtaining a mapping function, obtaining
  • the analyzing means is configured to calculate a histogram of the arriving frame image data and a histogram equalization of the arriving frame image data.
  • the optimization means is configured to perform a calculation and derive a mapping table of the previous frame of image data.
  • the mapping device when each frame of image arrives, the mapping device is configured to process the arriving frame image data with a mapping table of image data of a previous frame of the arriving frame image data to generate the enhanced image data.
  • the histogram gap of the pixel features is processed using a symmetric difference to obtain the block three diagonal matrix.
  • the block tridiagonal matrix is as follows:
  • h input is the input image histogram
  • h EQ is the input image histogram equalization
  • S is the block tridiagonal matrix
  • h out is the output histogram
  • ⁇ is the constant parameter.
  • a block tridiagonal method is used to solve the block tridiagonal matrix equation and the output histogram is obtained.
  • a method for dynamic range expansion of a digital image comprising: generating a first parameter and a second parameter, and obtaining a block based on the first parameter and the second parameter a value of the tridiagonal matrix; calculating a histogram of the input previous image data of the previous frame and the histogram of the input previous frame image data, and storing a histogram and a picture of the image data of the previous frame Histogram equalization of the previous frame image data; according to the first parameter and the second parameter, the block tridiagonal matrix, and the histogram of the previous frame image data and the previous frame image data Histogram equalization, using an equation including the block tridiagonal matrix, calculating and storing an output histogram of the image data of the previous frame, and calculating and obtaining a map according to an output histogram of the image data of the previous frame a function, according to the mapping function, obtaining a mapping table of image data of a previous frame and saving the mapping table;
  • a histogram of the arriving frame image data and a histogram equalization of the arrived frame image data are calculated and stored.
  • a mapping table of the image data of the previous frame is calculated and obtained during the time interval before the image acquisition of the previous frame has been completed and before the arrival of the image of the next frame.
  • the arrived frame image data is processed using a mapping table of image data of the previous frame of the arrived frame image data to generate the enhanced image data.
  • the histogram gap of the pixel features is processed using a symmetric difference to obtain the block three diagonal matrix.
  • the block tridiagonal matrix is as follows:
  • h input is the input image histogram
  • h EQ is the input image histogram equalization
  • S is the block tridiagonal matrix
  • h out is the output histogram
  • ⁇ is the constant parameter.
  • a block tridiagonal method is used to solve the block tridiagonal matrix equation and the output histogram is obtained.
  • a computer executable non-volatile memory is provided a storage medium, wherein the medium stores program instructions, and when the computer executes the program instructions, performing the following steps: generating a first parameter and a second parameter, and obtaining three pairs of blocks according to the first parameter and the second parameter a value of the angle matrix; calculating a histogram of the input previous frame image data and a histogram equalization of the input previous frame image data, and storing a histogram of the previous frame image data and the previous frame image data Histogram equalization; according to the first parameter and the second parameter, the block tridiagonal matrix and the histogram of the previous frame image data and the histogram equalization of the previous frame image data, including Calculating and storing an output histogram of the previous frame image data according to an equation of the block three diagonal matrix, and calculating and obtaining a mapping function according to the output histogram of the image data of the previous frame, according to the mapping function Deriving a mapping table of image
  • a histogram of the arriving frame image data and a histogram equalization of the arrived frame image data are calculated and stored.
  • a system, method, and storage medium for extending the dynamic range of a digital image or video signal disclosed by embodiments of the present disclosure. Compared with the prior art, it not only can process ultra high definition images, but also has low requirements on hardware systems. Thus, the present disclosure enables processing of ultra high definition images with very low hardware requirements. Solved a more complex problem that enhances the enhancements.
  • the present disclosure solves the following problems:
  • the present disclosure enhances the visual effect of an image by increasing contrast and controlling visual artifacts such as noise and bands. And the present disclosure provides a system that can be implemented on an FPGA using a small amount of resources.
  • the original image is shown on the left side of Fig. 1, and the histogram equalization image is shown on the right side of Fig. 1.
  • the original image is shown on the left side of Fig. 2, and the histogram smoothed image is shown in the middle of Fig. 2; the histogram equalization smoothed image is shown on the right side of Fig. 2.
  • FIG. 3 illustrates a block diagram of a system for dynamic range expansion of digital images in accordance with an embodiment of the present disclosure.
  • FIG. 4 illustrates a timing diagram of dynamic range expansion of image data in accordance with an embodiment of the present disclosure.
  • Figure 5a illustrates a first flow diagram of a method for dynamic range expansion of digital images in accordance with an embodiment of the disclosure.
  • Figure 5b illustrates another flow diagram of a method for dynamic range expansion of digital images in accordance with an embodiment of the disclosure.
  • a popular feature in modern HDR displays is to enhance the dynamic range of the input image to reveal the greatest amount of detail and produce a better user experience.
  • Standard contrast enhancers (such as simply re-adjusting the range of values to cover 100% of the brightness characteristics) are not suitable for such applications because they produce many undesirable effects, such as image flicker, color banding, and increase in the video.
  • the noise A simple contrast enhancer fails to consider the distribution of pixel features that may use 100% dynamic range, but most pixels may still be concentrated in a low dynamic range.
  • the distribution of pixel features in image Y can be seen in its histogram:
  • h Y (n) the number of pixels in which Y is equal to n in one frame of image.
  • the original image is shown on the left side of Fig. 1, and the histogram equalization image is shown on the right side of Fig. 1.
  • the CDF value has a sharp increase in the narrow range of pixel values used by the image (see the left side of Figure 1).
  • a standard technique that considers pixel distribution to enhance contrast is histogram equalization (HEQ).
  • HEQ evenly distributes the pixel values and produces a CDF that is similar to a linear increase.
  • HEQ produces the largest possible increase in dynamic range, but it can sometimes result in an over-enhanced output, may not provide control parameters, and may not control noise and banding artifacts (see Figure 1).
  • HEQ redistributes pixel features without using intermediate values. This creates a large gap in the histogram and sudden changes in the CDF are visible in the image. For example, several new solutions can control and improve the effects of HEQ using numerical optimization methods.
  • An ideal method called histogram smoothing produces an optimized output histogram h opt that makes:
  • h opt is the histogram h that produces the smallest sum of the three components: 1) the sum of the squared differences of the input histogram h input , and 2 the sum of the squared differences of the HEQ h EQ weighted by the constant parameter ⁇ , 3) The sum of the square values of the histogram step difference Dh weighted by the constant parameter ⁇ .
  • Dh is a matrix vector multiplication:
  • Equation 1 D is the parameter matrix in Equation 1.
  • Equation 2 is a variant of Equation 1.
  • an optimized image Y can be obtained by the following process:
  • W is the width
  • H is the height
  • WxH refers to the number of all pixels in the image
  • B is the bit depth
  • Sh out h input + ⁇ h EQ can be solved with a three-diagonal matrix solver, but it may not be used for LCD displays.
  • the present disclosure optimizes the above-described three-diagonal matrix equation to obtain an optimized output histogram.
  • FIG. 3 illustrates a block diagram of a system for dynamic range expansion of digital images in accordance with an embodiment of the present disclosure.
  • the histogram gap at pixel feature n is processed according to the forward difference h(n+1)-h(n), which inevitably causes the overall pixel feature distribution to move up, making the image appear brighter. Effect.
  • the original image is shown on the left side of Fig. 2, and the histogram smoothed image is shown in the middle of Fig. 2; the histogram equalization smoothed image is shown on the right side of Fig. 2.
  • the processed image does not match the original image, and the brightness and contrast are changed, reducing the ability to increase the dynamic range. It is also sensitive to gap locations and produces flicker in the video signal.
  • the present disclosure utilizes a symmetric difference to process a histogram gap at a pixel feature of n, ie, h[n+1]-h[n-1].
  • the matrix S is now not tridiagonal, but rather a block of three diagonals having a size of 2x2. which is:
  • the system solves the problem of bit depth 10 bits/pixel and image resolution 8K (4320x7680) using a fixed-point algorithm.
  • the system for dynamic range expansion of digital images includes an optimization device 303 and a mapping device 304.
  • the optimization device 303 is configured to calculate and store an output histogram of the image data of the previous frame; calculate and derive a mapping function according to an output histogram of the image data of the previous frame, and obtain a previous function according to the mapping function A mapping table of frame image data and save the mapping table.
  • the mapping device 304 is configured to receive the next frame of image data and process the subsequent frame of image data using the mapping table of the previous frame of image data to produce enhanced image data.
  • the system for dynamic range expansion of the digital image may further include a configuration device 301 and an analysis device 302.
  • the block tridiagonal matrix S includes the parameters ⁇ and ⁇ .
  • the parameters ⁇ and ⁇ are usually configured differently depending on the system.
  • the configuration means 301 is configured to generate suitable parameters ⁇ and ⁇ (parameters ⁇ and ⁇ suitable for different systems can be obtained according to experiments), and the values of the block tridiagonal matrices S and D are obtained from the parameters ⁇ and ⁇ .
  • the values of the block tridiagonal matrices S and D can be pre-calculated using software and do not need to be run on an FPGA (Field-Programmable Gate Array).
  • the analyzing device 302 is configured to calculate a histogram of the input previous frame image data and a histogram equalization of the input previous frame image data, and store a histogram of the previous frame image data and a histogram equalization of the previous frame image data. .
  • the optimization means 303 is configured to utilize the blocks according to the parameters ⁇ and ⁇ from the configuration means 301, the block tridiagonal matrix S, and the histogram of the previous frame image data from the analysis means 302 and the histogram equalization of the previous frame image data, using the block
  • the tridiagonal matrix equation calculates and stores the output histogram of the image data of the previous frame; calculates and obtains a mapping function according to the output histogram of the image data of the previous frame, and obtains a mapping table of the image data of the previous frame according to the mapping function and Save the mapping table.
  • mapping function can adopt the following mapping function defined in the reference [1]:
  • the mapping device 304 is configured to receive the next frame of image data and process the subsequent frame of image data using the mapping table of the previous frame of image data to produce enhanced image data.
  • Mapping device 304 also includes a user-defined adjustment parameter CT. This value can be changed from 0 (no effect) to 64 (strongest effect). The user can control the degree of enhancement of the algorithm of the present disclosure by parameter CT.
  • the enhanced image data can be generated using a mapping table.
  • a mapping table For video signals, if image enhancement is applied frame by frame, a frame buffer is needed to store the pixels of the input image data, calculate an optimal mapping table, and finally output the enhanced image.
  • UHD Ultra High Definition Television
  • Embodiments of the present disclosure employ a method of analyzing the previous frame and applying enhancement in the latter frame, saving resources, enhancing invisible details in the image, and preventing existing noise or artifacts in the image from becoming visible. .
  • Each of the above devices can be implemented by any software, hardware, and firmware.
  • the processor may be a central processing unit (CPU) or other form of processing unit having data processing capabilities and/or program execution capabilities, such as an image processing unit (GPU), a field programmable gate array (FPGA), or a tensor processing unit ( TPU) and so on.
  • CPU central processing unit
  • FPGA field programmable gate array
  • TPU tensor processing unit
  • One or more computer programs can be stored on a computer readable storage medium, and the processor can execute a computer program to perform the various functions described above.
  • FIG. 4 illustrates a timing diagram of dynamic range expansion of image data in accordance with an embodiment of the present disclosure.
  • the optimization means 303 performs processing in the time interval between the two frames (i.e., VBLANK time).
  • the first frame is unchanged
  • the second frame is processed by the mapping table obtained in the first frame
  • the third frame is obtained by using the second frame to obtain the third frame, ... using the kth frame
  • the display is always the output image obtained by processing the next frame using the optimized mapping table of the previous frame.
  • the output histogram of the optimized k-frame is obtained according to the histogram
  • the mapping function is obtained according to the output histogram
  • the k-frame mapping is obtained according to the mapping function.
  • each pixel of the k+1 frame is used as an input of the above mapping table, and is mapped according to the mapping table to obtain an output of each pixel of the k+1 frame as a k+1 frame.
  • the processed output image is outputted; and the process of steps 1 to 3 above is repeated while the k+1 frame is input, and a mapping table of k+1 frames is obtained for mapping processing of K+2 frames. analogy.
  • Figure 5a illustrates a first flow diagram of a method for dynamic range expansion of digital images in accordance with an embodiment of the disclosure.
  • a method for dynamic range expansion of a digital image may include the following steps:
  • step S510 an output histogram of image data of the previous frame is acquired.
  • step S520 based on the output histogram of the image data of the previous frame, a mapping function is calculated and obtained, and a mapping table of image data of the previous frame is obtained according to the mapping function and the mapping table is saved.
  • step S530 the image data of the next frame is received, and the image data of the next frame is processed by the mapping table of the image data of the previous frame to generate enhanced image data.
  • Figure 5b illustrates another flow diagram of a method for dynamic range expansion of digital images in accordance with an embodiment of the disclosure.
  • the blocks of the block tridiagonal matrix S include the parameters ⁇ and ⁇ .
  • the parameters ⁇ and ⁇ are usually configured differently depending on the system.
  • the appropriate parameters ⁇ and ⁇ are configured (parameters ⁇ and ⁇ suitable for different systems can be obtained according to experiments), and the values of the block tridiagonal matrices S and D are obtained from the parameters ⁇ and ⁇ .
  • step 401 can pre-calculate the values of the block tridiagonal matrices S and D using software and does not need to run on an FPGA (Field-Programmable Gate Array).
  • FPGA Field-Programmable Gate Array
  • a histogram equalization of the input histogram of the previous frame image data and the input previous frame image data is calculated, and a histogram of the previous frame image data and a histogram equalization of the previous frame image data are stored.
  • the EQ computes and stores the output of the histogram of the previous frame image data; based on the output of the histogram data of the previous frame image, and calculates a mapping function derived, prior to a mapping table obtained image data according to a mapping function and save the mapping table .
  • next frame of image data is received, and the subsequent frame of image data is processed using the mapping table of the previous frame of image data to produce enhanced image data.
  • mapping function can adopt the following mapping function defined in the reference [1]:
  • step 504 is the user controlling the algorithm of the present disclosure by custom adjusting the parameter CT Degree of enhancement. This value can be changed from 0 (no effect) to 64 (strongest effect).
  • the present disclosure achieves a better quality effect than HEQ because its distribution controls the pixels of the gap between the pixel features in the output histogram.
  • the present disclosure reduces noise and banding artifacts compared to HEQ.
  • the present disclosure has improved visual effects compared to histogram smoothing in the previous embodiments, and can also be implemented in an FPGA. Histogram smoothing can change the brightness level in the output image, reducing the ability to extend the dynamic range.
  • the present disclosure provides a system and method for implementing an enhancer in an FPGA using a small amount of resources. It solves the technical problem that the numerical problem of implementing histogram smoothing in FPGA is too complicated.
  • the present disclosure achieves a better quality effect than a weighted histogram and a local histogram approximation. And the present disclosure is superior to histogram smoothing.
  • the present disclosure can analyze the entire image frame to obtain an optimized solution.
  • Local histogram approximation uses small block images to speed up processing.
  • the present disclosure avoids the necessity of a frame buffer by applying an optimization result of one frame in the next frame.
  • a computer-executable non-volatile storage medium is also provided.
  • the non-volatile memory may include, for example, a read only memory (ROM), a hard disk, an erasable programmable read only memory (EPROM), a portable read only memory, a USB memory, a flash memory, or the like.
  • ROM read only memory
  • EPROM erasable programmable read only memory
  • portable read only memory a USB memory
  • flash memory or the like.
  • the image data of the next frame is received, and the image data of the next frame is processed by the mapping table of the image data of the previous frame to generate enhanced image data.
  • the block tridiagonal matrix and the histogram of the image data of the previous frame Histogram equalization with the previous frame image data using the block tridiagonal matrix equation to calculate and store the output histogram of the previous frame of image data.
  • the histogram of the arrived frame image data and the histogram equalization of the arrived frame image data are calculated and stored.
  • the computer program instructions may also be stored in a computer readable memory, and the computer or other programmable data processing apparatus may be directed to operate in a particular manner such that the instructions stored in the computer readable memory comprise an implementation flow diagram and/or a block diagram block.
  • the computer program instructions can also be loaded onto a computer or other programmable data processing device, causing a series of operational steps to be performed on a computer or other programmable device to produce computer-implemented processing such that instructions are executed on a computer or other programmable device.
  • the steps of the specified function/action in the flowchart and/or block diagram block are implemented.
  • Each block may represent a code module, segment or portion that includes one or more executable instructions for implementing the specified logical function.
  • the functions noted in the blocks may not occur in the order noted. For example, two blocks shown in succession may be executed substantially concurrently, or the blocks may sometimes be executed in the reverse order.

Abstract

一种用于数字图像的动态范围扩展的系统，包括：优化装置(303)，计算并存储前一帧图像数据的输出直方图，根据前一帧图像数据的输出直方图，计算并得出映射函数，根据映射函数得出前一帧图像数据的映射表；映射装置(304)，接收后一帧图像数据，利用前一帧图像数据的映射表处理后一帧图像数据以产生增强的图像数据。该系统不但可处理超高清图像，而且对硬件系统要求很低。因此，本公开实现了以很低的硬件要求去处理超高清图像。还提供了一种用于数字图像的动态范围扩展的方法以及非易失性存储介质。

Description

用于数字图像的动态范围扩展的系统、方法以及存储介质 技术领域
本公开涉及图像处理领域，更具体地说，涉及一种用于数字图像或视频信号的动态范围扩展的系统、方法以及计算机可执行的非易失性存储介质。
背景技术
数字图像由尺寸为宽×高的整数的2-D阵列表示。颜色由可以是不同格式(例如RGB、YUV、LUV等)的3种阵列表示，并且有时第四通道也用于表示透明区域(alpha通道)。本公开仅集中研究亮度数据(不是颜色或透明度)，被称为表示亮度的1个通道(例如YUV格式的Y通道)。在数字图像中最常用的整数格式(比特深度)是无符号的8位/像素(值从0到255)。
在显示面板中，在伽玛校正之后，将亮度值转换成(cd/m2)，范围从Y＝0的最低(最暗)级别到Y＝2比特深度-1的最高(最亮)级别。由显示面板覆盖的亮度的范围被称为显示面板的动态范围。
数字图像可能不使用所有可用的亮度级别。例如，8比特/像素图像可能仅使用从64到191的Y值，其仅覆盖从0到255的完整范围的50％。具有低(大)亮度值覆盖的图像被称为低(高)动态范围图像(分别为LDR或HDR图像)。
发明内容
根据本公开的至少一个实施例，提供了一种用于数字图像的动态范围扩展的系统，包括：配置装置，被配置以产生第一参数和第二参数，并根据所述第一参数和所述第二参数得到块三对角矩阵的值；分析装置，被配置以计算输入的前一帧图像数据的直方图和输入的前一帧图像数据的直方图均衡，并存储所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡；优化装置，被配置以根据来自配置装置的所述第一参数和所述第二参数、所述块三对角矩阵以及来自分析装置的所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡，利用包括所述块三对角矩阵的方程，计算并存储前一帧图像数据的输出直方图，根据所述前一帧图像数据的输出直方图， 计算并得出映射函数，根据所述映射函数得出前一帧图像数据的映射表并保存所述映射表；映射装置，被配置接收后一帧图像数据，利用所述前一帧图像数据的映射表处理后一帧图像数据以产生增强的图像数据。
例如，当每一帧图像到达时，分析装置被配置为计算到达的帧图像数据的直方图和到达的帧图像数据的直方图均衡。
例如，在前一帧图像获取已经完成后并在后一帧图像到达之前的时间间隔期间，优化装置被配置为进行计算并得出所述前一帧图像数据的映射表。
例如，当每一帧图像到达时，映射装置被配置为利用到达的帧图像数据前一帧的图像数据的映射表处理到达的帧图像数据以产生所述增强的图像数据。
例如，利用对称差来处理像素特征的直方图间隙，从而获得所述块三对角矩阵。
例如，所述块三对角矩阵如下：
Figure PCTCN2017092593-appb-000001
其中，
Figure PCTCN2017092593-appb-000002
和
Figure PCTCN2017092593-appb-000003
例如，所述块三对角矩阵方程如下：
Shout＝hinput+λhEQ
其中，hinput为输入图像直方图，hEQ为输入图像直方图均衡，S为块三对角矩阵，hout为输出直方图，λ为常量参数。
例如，利用块三对角方法来求解所述块三对角矩阵方程并得到所述输出直方图。
根据本公开的至少一个实施例，提供了一种用于数字图像的动态范围扩展的方法，包括：产生第一参数和第二参数，并根据所述第一参数和所述第二参数得到块三对角矩阵的值；计算输入的前一帧图像数据的直方图和输入的前一帧图像数据的直方图均衡，并存储所述前一帧图像数据的直方图和所 述前一帧图像数据的直方图均衡；根据所述第一参数和所述第二参数、所述块三对角矩阵以及所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡，利用包括所述块三对角矩阵的方程，计算并存储所述前一帧图像数据的输出直方图，根据所述前一帧图像数据的输出直方图，计算并得出映射函数，根据所述映射函数得出前一帧图像数据的映射表并保存所述映射表；接收后一帧图像数据，利用所述前一帧图像数据的映射表处理所述后一帧图像数据以产生增强的图像数据。
例如，当每一帧图像到达时，计算并存储到达的帧图像数据的直方图和到达的帧图像数据的直方图均衡。
例如，在前一帧图像获取已经完成后并在后一帧图像到达之前的时间间隔期间，计算并得出所述前一帧图像数据的映射表。
例如，当每一帧图像到达时，利用到达的帧图像数据前一帧的图像数据的映射表处理到达的帧图像数据以产生所述增强的图像数据。
例如，利用对称差来处理像素特征的直方图间隙，从而获得所述块三对角矩阵。
例如，所述块三对角矩阵如下：
Figure PCTCN2017092593-appb-000004
其中，
Figure PCTCN2017092593-appb-000005
和
Figure PCTCN2017092593-appb-000006
例如，所述块三对角矩阵方程如下：
Shout＝hinput+λhEQ
其中，hinput为输入图像直方图，hEQ为输入图像直方图均衡，S为块三对角矩阵，hout为输出直方图，λ为常量参数。
例如，利用块三对角方法来求解所述块三对角矩阵方程并得到所述输出直方图。
根据本公开的至少一个实施例，提供了一种计算机可执行的非易失性存 储介质，所述介质中存储程序指令，所述计算机执行所述程序指令时执行以下步骤：产生第一参数和第二参数，并根据所述第一参数和所述第二参数得到块三对角矩阵的值；计算输入的前一帧图像数据的直方图和输入的前一帧图像数据的直方图均衡，并存储所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡；根据所述第一参数和所述第二参数、所述块三对角矩阵以及所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡，利用包括所述块三对角矩阵的方程，计算并存储所述前一帧图像数据的输出直方图，根据所述前一帧图像数据的输出直方图，计算并得出映射函数，根据所述映射函数得出前一帧图像数据的映射表并保存所述映射表；接收后一帧图像数据，利用所述前一帧图像数据的映射表处理所述后一帧图像数据以产生增强的图像数据。
例如，当每一帧图像到达时，计算并存储到达的帧图像数据的直方图和到达的帧图像数据的直方图均衡。
本公开的另外方面和优点部分将在后面的描述中阐述，还有部分可从描述中明显地看出，或者可以在本公开的实践中得到。
本公开实施例公开的扩展数字图像或视频信号的动态范围的系统、方法以及存储介质。与现有技术相比，不但可处理超高清图像，而且对硬件系统要求很低。因此，本公开实现了以很低的硬件要求去处理超高清图像。解决了提高增强效果的更复杂的问题。
本公开解决了如下问题：
1.重新定义系统Sh＝hinput+λhEQ(使用不同的矩阵S)以改善图像增强。
2.提出一种在FPGA上求解Sh＝hinput+λhEQ的系统和方法，并增强LCD显示器中的视频信号。
本公开通过增加对比度和控制视觉伪像(如噪声和条带)来提高图像的视觉效果。并且本公开提供了一个可以使用少量资源在FPGA上实现的系统。
附图说明
通过结合附图对本公开的优选实施例进行详细描述，本公开的上述和其他目的、特性和优点将会变得更加清楚，其中相同的标号指定相同结构的单元，并且在其中：
图1左侧示出了原始图像，图1右侧示出了直方图均衡图像。
图2左侧示出了原始图像，图2中间示出了直方图平滑图像；图2右侧示出了直方图均衡平滑图像。
图3示出了根据本公开实施例的用于数字图像的动态范围扩展的系统的框图。
图4示出了根据本公开实施例的图像数据的动态范围扩展的时序图。
图5a示出了根据本公开实施例的用于数字图像的动态范围扩展的方法的第一流程图。
图5b示出了根据本公开实施例的用于数字图像的动态范围扩展的方法的另一流程图。
具体实施方式
下面将参照示出本公开实施例的附图充分描述本公开。然而，本公开可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本公开的范围。在附图中，为了清楚起见放大了组件。
例如BT.2020的数字电视的现代标准正在增加图像的比特深度到最少10比特/像素。这是由现代显示面板覆盖高动态范围(例如>1000cd/m2)的能力所激发的。在HDR(High Dynamic Range，高动态范围)显示器中，连续亮度特征(ΔY＝1)之间的亮度中的差值增加并变得更加可见。因此，对于HDR显示器来说，增加图像的比特深度以减少可能产生不想要的伪像(例如，亮度条带、增加的噪声或可见的压缩伪像)的相邻像素特征之间的间隙是尤其重要的。
现代HDR显示器中的流行特征是增强输入图像的动态范围以展现最大量的细节并产生更好的用户体验。标准对比度增强器(例如简单地重新调节值的范围以覆盖100％的亮度特征)不适合于这样的应用，因为它们产生许多不期望的效果，例如：视频中的图像闪烁、颜色条带和增加的噪声。简单的对比度增强器未能考虑可能使用100％动态范围的像素特征的分布，但是大多数像素可能仍然集中在低动态范围。图像Y中的像素特征的分布可以在它的直方图中看出：
hY(n)＝一帧图像中Y等于n的像素点的个数。
其中，Y是灰度值。
或在累积分布函数(CDF)中：
CDFY(n)＝一帧图像中Y<＝n的像素点总数。
其中，Y是灰度值。
图1左侧示出了原始图像，图1右侧示出了直方图均衡图像。
对于LDR(Low Dynamic Range，低动态范围)图像，CDF值在由图像使用的像素值的窄范围中具有急剧增加(参见图1左侧)。考虑像素分布来增强对比度的标准技术是直方图均衡(HEQ)。如图1右侧所示，HEQ均匀地分布像素值，并产生类似于线性增加的CDF。HEQ产生动态范围的最大可能增加，但是它有时可能会导致过度增强的输出，可能不提供控制参数并且可能不能控制噪声和条带伪像(参见图1)。
如图1所示的HEQ的一个特定问题是它在不使用中间值的情况下重新分布像素特征。这在直方图中产生大的间隙，并且CDF中的突然变化在图像中可见。例如，几个新的解决方案可以控制和改进使用数值优化方法的HEQ的效果。称为直方图平滑的一种理想方法产生优化的输出直方图hopt，使得：
hopt＝ArgMinh||h-hinput||2+λ||h-hEQ||2+γ||Dh||2    方程1
这意味着，hopt是产生3个分量的最小和的直方图h：1)具有输入直方图hinput的平方差的和，2)通过常量参数λ加权的HEQ hEQ的平方差的和，3)由常量参数γ加权的、直方图步长差值Dh的平方值的和。这里Dh是一个矩阵向量乘法：
Figure PCTCN2017092593-appb-000007
D是方程1中的参数矩阵。
例如，该优化问题的解可以通过求解线性方程2来计算，Shout＝hinput+λhEQ...方程2，其中：
Figure PCTCN2017092593-appb-000008
S是方程2的参数矩阵。方程2是方程1的变形形式。
例如，给定输入图像X，可以通过以下过程获得优化的图像Y：
1.计算输入图像直方图hinput和输入图像直方图均衡hEQ。
2.通过求解三对角矩阵方程Shout＝hinput+λhEQ计算输出图像直方图hout。其中λ和γ是常量参数，具体取值通常需要根据不同系统而被不同配置。
3.计算映射函数：
Figure PCTCN2017092593-appb-000009
其中
Figure PCTCN2017092593-appb-000010
是小于x的最大整数，W是宽度，H是高度，WxH是指图像中所有的像素点个数，B是比特深度。
4.对于每个输入像素Y[i,j]，输出像素由下式给出：
Out[i,j]＝T[Y[i,j]]
例如，Shout＝hinput+λhEQ可以用三对角矩阵求解器求解，但它可能不能用于LCD显示器。
针对上述问题，本公开对上述的三对角矩阵方程进行了优化从而得到优化的输出直方图。
图3示出了根据本公开实施例的用于数字图像的动态范围扩展的系统的框图。
在前述示例中，根据前向差h(n+1)-h(n)来处理像素特征为n处的直方图间隙，这必然会导致整体的像素特征分布上移，使图像呈现出更明亮的效果。图2左侧示出了原始图像，图2中间示出了直方图平滑图像；图2右侧示出了直方图均衡平滑图像。如图2所示，处理后的图像与原始图像不匹配，而且改变亮度和对比度，降低了增加动态范围的能力。它还对间隙位置敏感，并且在视频信号中产生闪烁。
本公开利用对称差来处理像素特征为n处的直方图间隙，即，h[n+1]-h[n-1]。
对于对称差的对应矩阵D为：
Figure PCTCN2017092593-appb-000011
从而，获得优化的输出直方图的块三对角矩阵方程是Shout＝hinput+λhEQ，其中
Figure PCTCN2017092593-appb-000012
现在矩阵S不是三对角的，而是具有大小为2×2的块的块三对角的。即：
Figure PCTCN2017092593-appb-000013
其中，
Figure PCTCN2017092593-appb-000014
和
Figure PCTCN2017092593-appb-000015
这些2×2块矩阵都是对角线的，因此易于反转。然后可以使用块三对角求解器来求解该矩阵方程。
本公开使用块三对角方法来求解块三对角矩阵方程Sh＝hinput+λhEQ。该系统使用定点算法解决了比特深度10位/像素和图像分辨率8K(4320x7680)的问题。
如图3所示，用于数字图像的动态范围扩展的系统包括优化装置303以及映射装置304。
根据本公开的一个示例，优化装置303被配置为计算并存储前一帧图像数据的输出直方图；根据前一帧图像数据的输出直方图，计算并得出映射函数，根据映射函数得出前一帧图像数据的映射表并保存该映射表。
映射装置304被配置以接收后一帧图像数据，并利用前一帧图像数据的映射表处理后一帧图像数据以产生增强的图像数据。
根据本公开的又一个示例，为了计算并存储前一帧图像数据的输出直方图，如图3所示，用于数字图像的动态范围扩展的系统还可以包括配置装置301和分析装置302。
如上所述，在块三对角矩阵方程中，块三对角矩阵S包括参数γ和λ。参数γ和λ通常根据不同系统而被不同配置。
配置装置301被配置以产生合适的参数γ和λ(根据实验可以得到适合不同系统的参数γ和λ)，并根据参数γ和λ得到块三对角矩阵S和D的值。
如果γ和λ是固定的，则可以使用软件预先计算块三对角矩阵S和D的值，并且不需要在FPGA(Field-Programmable Gate Array，现场可编程门阵列)上运行。
分析装置302被配置以计算输入的前一帧图像数据的直方图和输入的前一帧图像数据的直方图均衡，并存储前一帧图像数据的直方图和前一帧图像数据的直方图均衡。
优化装置303被配置以根据来自配置装置301的参数γ和λ、块三对角矩阵S以及来自分析装置302的前一帧图像数据的直方图和前一帧图像数据的直方图均衡，利用块三对角矩阵方程，计算并存储前一帧图像数据的输出直方图；根据前一帧图像数据的输出直方图，计算并得出映射函数，根据映射函数得出前一帧图像数据的映射表并保存该映射表。
其中，块三对角矩阵方程可以采用参考文献[1]中所公开的方程Shout＝hinput+λhEQ；或者也可以采用现有或者未来的其他方程。
其中，映射函数可以采用参考文献[1]中所定义的如下映射函数：
Figure PCTCN2017092593-appb-000016
或者也可以采用现有或者未来的其他映射函数。
映射装置304被配置以接收后一帧图像数据，并利用前一帧图像数据的映射表处理后一帧图像数据以产生增强的图像数据。
映射装置304还包括用户自定义调整参数CT。该值可以从0(无效果)更改为64(最强效果)。用户可以通过参数CT来控制本公开的算法的增强程度。
根据现有系统，仅在对每帧数字图像的所有像素进行上述处理之后，才 能够利用映射表产生增强的图像数据。对于视频信号，如果逐帧地应用图像增强，则需要帧缓冲器来存储输入图像数据的像素，计算最佳映射表，并最终输出增强的图像。对于UHD(Ultra High Definition Television，超高清电视分辨率)，将需要大量的资源。
本公开实施例，采用了分析前一帧并在后一帧中应用增强的方法，节约了资源，增强了图像中看不见的细节，同时也防止图像中的现有噪声或伪像变得可见。
上述系统中的各个装置可以通过任何软件、硬件以及固件来实现。例如，通过处理器来实现。处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元，例如图像处理单元(GPU)、现场可编程门阵列(FPGA)或张量处理单元(TPU)等。可以在计算机可读存储介质上可以存储一个或多个计算机程序，上述处理器可以运行计算机程序，以实现上述各种功能。
图4示出了根据本公开实施例的图像数据的动态范围扩展的时序图。
如图4所示，当k+1帧到达时，其被分析以计算其直方图，并且同时，利用来自k帧的信息的映射表来处理k+1帧并显示处理后的输出图像。并且在两个帧之间的时间间隔(即，VBLANK时间)中优化装置303执行处理。
例如，在开机时候，第1帧不变，用第1帧得出的映射表去处理第2帧，用第2帧得出映射表去处理第3帧，……用第k帧的得出的映射表去处理第k+1帧，以此类推。并且，显示的永远是利用前一帧优化后的映射表处理后一帧所得的输出图像。
假设连续的两帧记为k和k+1，则处理时序如下：
1.在k帧输入的同时，计算k帧的直方图；
2.在k帧输入完毕后，直方图统计完成；
3.在帧k和k+1之间的Vblank区间内，根据直方图进行运算得出优化的k帧的输出直方图，根据输出直方图得出映射函数，根据映射函数得出k帧的映射表并保存该映射表；
4.当k+1帧输入时，k+1帧的每个像素都作为上述映射表的输入，根据映射表进行映射并得出k+1帧的每个像素的输出，作为k+1帧处理后的输出图像，并输出显示；在k+1帧输入的同时，也重复上述步骤1到3的过程，得到k+1帧的映射表以用于K+2帧的映射处理，以此类推。
图5a示出了根据本公开实施例的用于数字图像的动态范围扩展的方法的第一流程图。
根据本公开的一个示例，参见图5a，用于数字图像的动态范围扩展的方法可以包括以下步骤：
在步骤S510中，获取前一帧图像数据的输出直方图。
在步骤S520中，根据前一帧图像数据的输出直方图，计算并得出映射函数，根据映射函数得出前一帧图像数据的映射表并保存映射表。
在步骤S530中，接收后一帧图像数据，利用前一帧图像数据的映射表处理后一帧图像数据以产生增强的图像数据。
图5b示出了根据本公开实施例的用于数字图像的动态范围扩展的方法的另一流程图。块三对角矩阵S的块中包括参数γ和λ。参数γ和λ通常根据不同系统而被不同配置。如图5b所示，在步骤501，配置合适的参数γ和λ(根据实验可以得到适合不同系统的参数γ和λ)，并根据参数γ和λ得到块三对角矩阵S和D的值。
如果γ和λ是固定的，则该步骤401可以使用软件预先计算块三对角矩阵S和D的值，并且不需要在FPGA(Field-Programmable Gate Array，现场可编程门阵列)上运行。
在步骤502，计算输入的前一帧图像数据的直方图和输入的前一帧图像数据的直方图均衡，并存储前一帧图像数据的直方图和前一帧图像数据的直方图均衡。
在步骤503，根据参数γ和λ、块三对角矩阵S以及前一帧图像数据的直方图和前一帧图像数据的直方图均衡，利用块三对角矩阵方程Shout＝hinput+λhEQ，计算并存储前一帧图像数据的输出直方图；根据前一帧图像数据的输出直方图，计算并得出映射函数，根据映射函数得出前一帧图像数据的映射表并保存该映射表。
在步骤504，接收后一帧图像数据，并利用前一帧图像数据的映射表处理后一帧图像数据以产生增强的图像数据。
其中，映射函数可以采用参考文献[1]中所定义的如下映射函数：
Figure PCTCN2017092593-appb-000017
或者也可以采用现有或者未来的其他映射函数。
在步骤504还包括用户通过自定义调整参数CT来控制本公开的算法的 增强程度。该值可以从0(无效果)更改为64(最强效果)。
本公开的优点：
与HEQ相比，本公开获得更好的质量效果，因为其分布控制输出直方图中的像素特征之间的间隙的像素。与HEQ相比，本公开减少了噪声和条带伪像。
与前述实施例中的直方图平滑相比，本公开具有改进的视觉效果，并且还可以在FPGA中实现。直方图平滑可以改变输出图像中的亮度级别，降低扩展动态范围的能力。本公开提供了一种使用少量资源在FPGA中实现增强器的系统和方法。解决了在FPGA中实现直方图平滑的数值问题太复杂的技术问题。
与加权直方图和局部直方图近似相比，本公开实现了更好的质量效果。并且本公开优于直方图平滑。
此外，本公开可以分析整个图像帧以获得优化的解。局部直方图近似使用小块图像来加速处理。本公开通过在下一帧应用上一帧的优化结果来避免帧缓冲器的必要性。
此外，根据本公开的至少一个实施例，还提供了一种计算机可执行的非易失性存储介质。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式只读存储器、USB存储器、闪存等。介质中存储程序指令，计算机执行程序指令时执行以下步骤：
获取前一帧图像数据的输出直方图；
根据前一帧图像数据的输出直方图，计算并得出映射函数，根据映射函数得出前一帧图像数据的映射表并保存映射表；
接收后一帧图像数据，利用前一帧图像数据的映射表处理后一帧图像数据以产生增强的图像数据。
根据本公开的又一个实施例，计算机执行介质中存储的程序指令时，还可以执行以下步骤：
产生第一参数和第二参数，并根据第一参数和第二参数得到块三对角矩阵的值；
计算输入的前一帧图像数据的直方图和输入的前一帧图像数据的直方图均衡，并存储前一帧图像数据的直方图和前一帧图像数据的直方图均衡；
根据第一参数和第二参数、块三对角矩阵以及前一帧图像数据的直方图 和前一帧图像数据的直方图均衡，利用块三对角矩阵方程，计算并存储前一帧图像数据的输出直方图。
此外，当每一帧图像到达时，计算并存储到达的帧图像数据的直方图和到达的帧图像数据的直方图均衡。
上述计算机执行的方法步骤与前述实施例中的类似，具体可以参见前述实施例，在此不再赘述。除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
这里参照支持根据本公开实施例的方法、装置(系统)和计算机程序产品的方框图和流程图描述本公开示例性实施例。应当理解，流程图和/或方框图的每个方框以及流程图和/或方框图的方框组合可以通过计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得通过计算机或其他可编程数据处理装置的处理器执行的指令创建实现流程图和/或方框图方框中指定功能/动作的手段。
这些计算机程序指令也可以存储在计算机可读存储器中，可以引导计算机或其他可编程数据处理装置以特定方式运行，使得存储在计算机可读存储器中的指令产生包括实现流程图和/或方框图方框中指定功能/动作的指令手段的制造物品。
计算机程序指令还可以加载到计算机或其他可编程数据处理装置上，导致在计算机或其他可编程装置上执行一系列操作步骤来产生计算机实现的处理，使得计算机或其他可编程装置上执行的指令提供实现流程图和/或方框图方框中指定功能/动作的步骤。每个方框可以表示代码模块、片断或部分，其包括一个或多个用来实现指定逻辑功能的可执行指令。还应当注意，在其他实现中，方框中标出的功能可能不按图中标出的顺序发生。例如，根据所涉及的功能，连续示出的两个方框可能实际上基本上并发地执行，或者方框有时可能以相反的顺序执行。
上面是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开 的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。
本申请要求于2016年11月29日递交的中国专利申请第201611073013.7号的优先权，在此全文引用上述中国专利申请公开的内容以作为本申请的一部分。

Claims (20)

  1. 一种用于数字图像的动态范围扩展的系统，包括：
    配置装置，被配置以产生第一参数和第二参数，并根据所述第一参数和所述第二参数得到块三对角矩阵的值；
    分析装置，被配置以计算输入的前一帧图像数据的直方图和输入的前一帧图像数据的直方图均衡，并存储所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡；
    优化装置，被配置以根据来自配置装置的所述第一参数和所述第二参数、所述块三对角矩阵以及来自分析装置的所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡，利用包括所述块三对角矩阵的方程，计算并存储前一帧图像数据的输出直方图，根据所述前一帧图像数据的输出直方图，计算并得出映射函数，根据所述映射函数得出前一帧图像数据的映射表并保存所述映射表；
    映射装置，被配置接收后一帧图像数据，利用所述前一帧图像数据的映射表处理后一帧图像数据以产生增强的图像数据。
  2. 如权利要求1所述的系统，其中，当每一帧图像到达时，分析装置被配置为，计算到达的帧图像数据的直方图和到达的帧图像数据的直方图均衡。
  3. 如权利要求1或2所述的系统，其中，在前一帧图像获取已经完成后并在后一帧图像到达之前的时间间隔期间，优化装置被配置为，进行计算并得出所述前一帧图像数据的映射表。
  4. 如权利要求1-3任一所述的系统，其中，当每一帧图像到达时，映射装置被配置为，利用到达的帧图像数据前一帧的图像数据的映射表处理到达的帧图像数据以产生所述增强的图像数据。
  5. 如权利要求1-4中的任何一个所述的系统，其中，利用对称差来处理像素特征的直方图间隙，从而获得所述块三对角矩阵。
  6. 如权利要求1-5任一所述的系统，其中，所述块三对角矩阵如下：
    Figure PCTCN2017092593-appb-100001
    其中，
    Figure PCTCN2017092593-appb-100002
    和
    Figure PCTCN2017092593-appb-100003
  7. 如权利要求1-6任一所述的系统，其中，所述包括块三对角矩阵的方程如下：
    Shout＝hinput+λhEQ
    其中，hinput为输入图像直方图，hEQ为输入图像直方图均衡，S为块三对角矩阵，hout为输出直方图，λ为常量参数。
  8. 如权利要求7所述的系统，其中，利用块三对角方法来求解所述包括块三对角矩阵的方程并得到输出直方图。
  9. 如权利要求1-8任一所述的系统，其中，所述第一参数和所述第二参数根据实验得到。
  10. 一种用于数字图像的动态范围扩展的方法，包括：
    产生第一参数和第二参数，并根据所述第一参数和所述第二参数得到块三对角矩阵的值；
    计算输入的前一帧图像数据的直方图和输入的前一帧图像数据的直方图均衡，并存储所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡；
    根据所述第一参数和所述第二参数、所述块三对角矩阵以及所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡，利用包括所述块三对角矩阵的方程，计算并存储所述前一帧图像数据的输出直方图，根据所述前一帧图像数据的输出直方图，计算并得出映射函数，根据所述映射函数得出前一帧图像数据的映射表并保存所述映射表；
    接收后一帧图像数据，利用所述前一帧图像数据的映射表处理所述后一帧图像数据以产生增强的图像数据。
  11. 如权利要求10所述的方法，其中，当每一帧图像到达时，计算并存 储到达的帧图像数据的直方图和到达的帧图像数据的直方图均衡。
  12. 如权利要求10或11所述的方法，其中，在前一帧图像获取已经完成后并在后一帧图像到达之前的时间间隔期间，计算并得出所述前一帧图像数据的映射表。
  13. 如权利要求10-12任一所述的方法，其中，当每一帧图像到达时，利用到达的帧图像数据前一帧的图像数据的映射表处理到达的帧图像数据以产生所述增强的图像数据。
  14. 如权利要求10-13中的任何一个所述的方法，其中，利用对称差来处理像素特征的直方图间隙，从而获得所述块三对角矩阵。
  15. 如权利要求10-14任一所述的方法，其中，所述块三对角矩阵如下：
    Figure PCTCN2017092593-appb-100004
    其中，
    Figure PCTCN2017092593-appb-100005
    和
    Figure PCTCN2017092593-appb-100006
  16. 如权利要求10-15任一所述的方法，其中，所述包括块三对角矩阵的方程如下：
    Shout＝hinput+λhEQ；
    其中，hinput为输入图像直方图，hEQ为输入图像直方图均衡，S为块三对角矩阵，hout为输出直方图，λ为常量参数。
  17. 如权利要求16所述的方法，其中，利用块三对角方法来求解所述块三对角矩阵方程并得到输出直方图。
  18. 如权利要求10-17任一所述的方法，其中，所述第一参数和所述第二参数根据实验得到。
  19. 一种计算机可执行的非易失性存储介质，所述介质中存储程序指令，所述计算机执行所述程序指令时执行以下步骤：
    产生第一参数和第二参数，并根据所述第一参数和所述第二参数得到块三对角矩阵的值；
    计算输入的前一帧图像数据的直方图和输入的前一帧图像数据的直方图均衡，并存储所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡；
    根据所述第一参数和所述第二参数、所述块三对角矩阵以及所述前一帧图像数据的直方图和所述前一帧图像数据的直方图均衡，利用包括所述块三对角矩阵的方程，计算并存储所述前一帧图像数据的输出直方图，根据所述前一帧图像数据的输出直方图，计算并得出映射函数，根据所述映射函数得出前一帧图像数据的映射表并保存所述映射表；
    接收后一帧图像数据，利用所述前一帧图像数据的映射表处理所述后一帧图像数据以产生增强的图像数据。
  20. 如权利要求19所述的存储介质，其中，
    当每一帧图像到达时，计算并存储到达的帧图像数据的直方图和到达的帧图像数据的直方图均衡。
PCT/CN2017/092593 2016-11-29 2017-07-12 用于数字图像的动态范围扩展的系统、方法以及存储介质 WO2018099087A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/745,032 US10217199B2 (en) 2016-11-29 2017-07-12 System, method and storage medium for dynamic range expansion of digital image
EP17825721.8A EP3550508B1 (en) 2016-11-29 2017-07-12 System and method for dynamic range expansion of digital image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611073013.7A CN108122216B (zh) 2016-11-29 2016-11-29 用于数字图像的动态范围扩展的系统和方法
CN201611073013.7 2016-11-29

Publications (1)

Publication Number Publication Date
WO2018099087A1 true WO2018099087A1 (zh) 2018-06-07

Family

ID=62226664

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/092593 WO2018099087A1 (zh) 2016-11-29 2017-07-12 用于数字图像的动态范围扩展的系统、方法以及存储介质

Country Status (4)

Country Link
US (1) US10217199B2 (zh)
EP (1) EP3550508B1 (zh)
CN (1) CN108122216B (zh)
WO (1) WO2018099087A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201611253D0 (en) * 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
CN109600605B (zh) * 2019-01-18 2020-04-07 中央电视台 4k超高清视频的检测方法、电子设备及计算机程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1750043A (zh) * 2005-08-22 2006-03-22 上海广电（集团）有限公司中央研究院 一种控制平均亮度的直方图均衡方法
CN102231264A (zh) * 2011-06-28 2011-11-02 王洪剑 动态对比度增强装置和方法
US20140056517A1 (en) * 2012-08-22 2014-02-27 Sony Corporation Method, system and apparatus for applying histogram equalization to an image
CN104200447A (zh) * 2014-09-18 2014-12-10 中国航空无线电电子研究所 一种实时低照度彩色图像增强方法及其实现装置
CN105049831A (zh) * 2014-03-18 2015-11-11 辉达公司 使用级联面板的超分辨率显示器
CN105787898A (zh) * 2016-03-02 2016-07-20 南京理工大学 基于fpga的平台直方图均衡化实现方法及其装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002316262A1 (en) * 2001-06-15 2003-01-02 Massachusetts Institute Of Technology Adaptive mean estimation and normalization of data
US8538117B2 (en) * 2009-04-07 2013-09-17 Virginia Commonwealth University Accurate pelvic fracture detection for X-ray and CT images
WO2011091054A1 (en) * 2010-01-19 2011-07-28 Johannes Ronald L Computing trading strategies for portfolio management and associated probability distributions for option pricing
EP2448246B1 (en) * 2010-10-28 2019-10-09 Axis AB Method for focusing
EP3078935A1 (en) * 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1750043A (zh) * 2005-08-22 2006-03-22 上海广电（集团）有限公司中央研究院 一种控制平均亮度的直方图均衡方法
CN102231264A (zh) * 2011-06-28 2011-11-02 王洪剑 动态对比度增强装置和方法
US20140056517A1 (en) * 2012-08-22 2014-02-27 Sony Corporation Method, system and apparatus for applying histogram equalization to an image
CN105049831A (zh) * 2014-03-18 2015-11-11 辉达公司 使用级联面板的超分辨率显示器
CN104200447A (zh) * 2014-09-18 2014-12-10 中国航空无线电电子研究所 一种实时低照度彩色图像增强方法及其实现装置
CN105787898A (zh) * 2016-03-02 2016-07-20 南京理工大学 基于fpga的平台直方图均衡化实现方法及其装置

Also Published As

Publication number Publication date
US20190012772A1 (en) 2019-01-10
US10217199B2 (en) 2019-02-26
EP3550508A4 (en) 2020-06-10
EP3550508B1 (en) 2021-06-23
CN108122216B (zh) 2019-12-10
EP3550508A1 (en) 2019-10-09
CN108122216A (zh) 2018-06-05

Similar Documents

Publication Publication Date Title
US11379959B2 (en) Method for generating high dynamic range image from low dynamic range image
CN101340511B (zh) 一种基于亮度检测的自适应视频图像增强方法
JP4616749B2 (ja) 適応コントラスト向上
JP5522918B2 (ja) 色再現域外色転換を選択的に処理するシステム及び方法
JP6602789B2 (ja) 局所的なコントラスト強調のためのシステムおよび方法
US20210158488A1 (en) Image edge processing method, electronic device, and computer readable storage medium
US9147238B1 (en) Adaptive histogram-based video contrast enhancement
US9311696B2 (en) Color enhancement for graphic images
US20210174762A1 (en) A method for reducing brightness of images, a data-processing apparatus, and a display apparatus
US8265391B1 (en) Localized, adaptive video contrast enhancement using controlled histogram equalization
WO2019179512A1 (zh) 显示方法、显示装置及显示器
US8860806B2 (en) Method, device, and system for performing color enhancement on whiteboard color image
WO2020135234A1 (zh) 一种图像处理方法及装置
US11551336B2 (en) Chrominance and luminance enhancing systems and methods
WO2018099087A1 (zh) 用于数字图像的动态范围扩展的系统、方法以及存储介质
US11941785B2 (en) Directional scaling systems and methods
US10475164B2 (en) Artifact detection in a contrast enhanced output image
KR102303666B1 (ko) 영상 처리 방법, 영상 처리 방법을 수행하는 영상 처리 장치, 및 영상 처리 장치를 포함하는 표시 장치
US10719916B2 (en) Statistical noise estimation systems and methods
US11321813B2 (en) Angular detection using sum of absolute difference statistics systems and methods
JP2008099008A (ja) 画像信号処理装置及び画像信号処理方法
TW201822148A (zh) 影像增強方法
JP5193976B2 (ja) 映像処理装置及び映像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17825721

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE