WO2022032666A1 - 处理图像的方法和相关装置 - Google Patents

处理图像的方法和相关装置 Download PDF

Info

Publication number
WO2022032666A1
WO2022032666A1 PCT/CN2020/109318 CN2020109318W WO2022032666A1 WO 2022032666 A1 WO2022032666 A1 WO 2022032666A1 CN 2020109318 W CN2020109318 W CN 2020109318W WO 2022032666 A1 WO2022032666 A1 WO 2022032666A1
Authority
WO
WIPO (PCT)
Prior art keywords
channel
monochromatic
nth
correction
data
Prior art date
Application number
PCT/CN2020/109318
Other languages
English (en)
French (fr)
Inventor
夏余
卓峰
刘昊鹏
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to CN202080004655.XA priority Critical patent/CN114375569A/zh
Priority to PCT/CN2020/109318 priority patent/WO2022032666A1/zh
Publication of WO2022032666A1 publication Critical patent/WO2022032666A1/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise

Definitions

  • the present application provides a method and related apparatus for processing images, which can improve the presentation of better images to users.
  • the different values of any two groups of correction parameters in the N groups of correction parameters may include: the white balance gain terms of any two groups of correction parameters are different.
  • Figure 11 is a cumulative histogram of the adjusted B channel.
  • FIG. 12 is a schematic flowchart of a method for processing an image according to an embodiment of the present application.
  • the gamma-corrected image is input to a color space conversion (CSC) module 107 .
  • the CSC module 107 is responsible for converting red green blue (RGB) images into YUV images.
  • the converted YUV image is output to the H265/H264 encoding module 108 .
  • the video processing flow may also include other processing steps, such as lens shading correction, defective pixel correction, automatic exposure control, and the like.
  • the image sensor uses the photoelectric conversion function of the photoelectric device to convert the light image on the photosensitive surface into an electrical signal that is proportional to the light image.
  • Common image sensors include charge-coupled device (CCD) sensors and complementary metal oxide semiconductor (CMOS) sensors.
  • FIG. 2 is a schematic diagram of an image sensor employing a Bayer array.
  • R can represent a red pixel (ie the pixel used to collect red)
  • B can represent a blue pixel (ie the pixel used to collect blue)
  • Gr and Gb can represent two green pixels (ie the pixel used to collect green) .
  • the way the pixels are arranged in the Bayer array can also be referred to as the RGGB arrangement.
  • one green pixel in the Bayer array is replaced with one white (W) pixel.
  • W white
  • Such an array arrangement can be called an RGBW arrangement.
  • two green pixels in the Bayer array are referred to by two yellow (yellow, Y) pixels, thereby forming an arrangement of RYYB.
  • the image captured by the image sensor includes data from multiple monochromatic channels.
  • the number of monochrome channels is the same as the number of pixel types included in the sensor array. For example, if the sensor adopts Bayer array, then the number of monochromatic channels is four, and the four monochromatic channels can be called R channel, Gr channel, Gb channel and B channel respectively. For another example, if the sensor adopts an RGBW arrangement, then the four monochromatic channels can be called R channel, G channel, B channel and W channel respectively. For another example, if the sensor adopts the RYYB arrangement, the four monochromatic channels can be called R channel, Y channel 1, Y channel 2 and B channel respectively.
  • FIG. 3 is a schematic flowchart of a method for processing an image according to an embodiment of the present application.
  • the determining of the four black level correction items according to the first preset ratio and the four cumulative histograms may include: determining the black level correction item R according to the first preset ratio and the cumulative histogram R; Determine the black level correction item Gr according to the preset ratio and the cumulative histogram Gr; determine the black level correction item Gb according to the first preset ratio and the cumulative histogram Gb; and determine the black level correction item Gb according to the first preset ratio and the cumulative histogram B; , determine the black level correction term B.
  • the manner of determining the BLC Gr , the BLC Gb and the BLC B is similar to the manner of determining the BLC R , and for the sake of brevity, details are not repeated here.
  • the determining of the four auxiliary parameters according to the second preset ratio and the four cumulative histograms may include: determining the auxiliary parameter R according to the second preset ratio and the cumulative histogram R; according to the second preset ratio and the cumulative histogram Gr; , determine the auxiliary parameter Gr; according to the second preset ratio and the cumulative histogram Gb, determine the auxiliary parameter Gb; according to the second preset ratio and the cumulative histogram B, determine the auxiliary parameter B.
  • the auxiliary parameter R may be represented by top R
  • the auxiliary parameter Gr may be represented by top Gr
  • the auxiliary parameter Gb may be represented by top Gb
  • the auxiliary parameter B may be represented by top B.
  • top Gr , top Gb and top B are similar to the determination methods of top R , and are not repeated here for brevity.
  • the second preset ratio of 98.5% in the above-mentioned embodiment is only an indication of the second preset ratio, rather than a limitation on the first preset ratio.
  • the second preset ratio may also be other values.
  • the second preset ratio may be any value greater than or equal to 90% and less than or equal to 98.5%.
  • the sum of the first preset ratio and the second preset ratio is 100%. Therefore, after the sum of the first preset ratio is determined, the value of the second preset ratio is also determined.
  • determining the four white balance gain terms may include: determining the white balance gain term R according to BLC R , top R and the color depth of the initial image; Determine the white balance gain term Gr according to BLC Gr , top Gr and the color depth of the initial image; determine the white balance gain term Gb according to BLC Gb , top Gb and the color depth of the initial image; Color depth, determine the white balance gain term B.
  • the white balance gain term R may be represented by GR
  • the white balance gain term Gr may be represented by G Gr
  • the white balance gain term Gb may be represented by G Gb
  • the white balance gain term B may be represented by G B.
  • G R can be determined according to the following formula:
  • 2 bitDepth represents the color depth of the initial image, and the meanings of G R , top R and BLC R are the same as above.
  • the processing of the monochrome channel data by the black level correction term and the white balance gain term is the same as the processing of the monochrome channel data by the black level correction term and the white balance gain term in the prior art.
  • the subsequent processing method of the data of the four channels adjusted by the BLC module and the AWB module is the same as the processing method of the existing image, and for the sake of brevity, it will not be repeated here.
  • the determination of the dynamic black level correction item and the white balance gain item in the above technical solution is real-time, rather than a fixed preset value.
  • the method for determining the white balance gain item in the above technical solution is simple, and the computing power consumption of the hardware can be reduced.
  • the above technical solution can reduce the problem of image color cast, improve the color accuracy of the image, and provide reliable materials for subsequent image processing and pattern recognition processes.
  • the above technical solution can be applied in an intelligent transport system (intelligent transport system, ITS).
  • ITS intelligent transport system
  • the above technical solution can reduce image color cast problems caused by mixed color temperature lamp scenes, ITS scenes with strong sunset sunlight, ITS scenes with too many movable monochrome targets occupying the screen of the bayonet camera, and large-area monochrome scenes.
  • FIG. 5 is a cumulative histogram of the R channel adjusted according to the method provided by the embodiment of the present application.
  • FIG. 6 is a cumulative histogram of the Gr channel before adjustment
  • FIG. 7 is a cumulative histogram of the Gr channel after adjustment according to the method provided by the embodiment of the present application.
  • Fig. 10 is a cumulative histogram of the B channel before adjustment
  • Fig. 11 is a cumulative histogram of the B channel after adjustment according to the method provided by the embodiment of the present application.
  • the chromaticity distribution is basically A single peak, or when the distribution is relatively concentrated, and the chromaticity average is large, there is generally a color shift, and the larger the chromaticity average, the more serious the color shift.
  • the chromaticity distribution in the histogram on the ab chromaticity coordinate plane has obvious multiple peaks and is relatively scattered, the degree of color shift of the image will be greatly reduced, or even no color shift.
  • FIG. 15 is a histogram of the ab chromaticity plane coordinates before adjustment.
  • FIG. 16 is a histogram of the coordinates of the ab chromaticity plane adjusted according to the method provided by the embodiment of the present application.
  • the chromaticity distribution in the adjusted histogram has obvious multi-peak values and is more scattered. It can be seen that the color cast problem of the image can be reduced by using the method provided by the present application, and the accuracy of the color of the image can be improved.
  • a reference value can be calculated using a color cast detection algorithm. Generally speaking, if this reference value is less than 1.5, then it can be considered that the image has no obvious color cast.
  • Table 1 shows the reference values determined by the color cast detection algorithm before and after the images of five different scenes are adjusted by using the solution of the embodiment of the present application. It can be seen that the reference values before adjustment are all greater than 1.5, while the reference values after adjustment are all less than 1.5.
  • FIG. 12 is a schematic flowchart of a method for processing an image according to an embodiment of the present application.
  • the imaging device acquires an initial image, where the initial image includes data of N monochromatic channels, where N is a positive integer greater than or equal to 2.
  • the imaging device determines N groups of correction parameters, where the nth group of correction parameters in the N groups of correction parameters corresponds to the nth monochromatic channel in the N monochromatic channels, and the nth group of correction parameters includes the correction parameters corresponding to the At least one of the black level correction term BLC n of the nth monochromatic channel and the white balance gain term Gn corresponding to the nth monochromatic channel, wherein the values of any two sets of correction parameters in the N sets of correction parameters different.
  • different values of any two groups of correction parameters in the N groups of correction parameters may include: different black level correction items in any two groups of correction parameters.
  • the different values of any two groups of correction parameters in the N groups of correction parameters may include: the white balance gain terms of any two groups of correction parameters are different.
  • BLC 1 can be equivalent to BLC R in the above embodiment
  • BLC 2 can be equivalent to the above embodiment
  • BLC Gr and BLC 3 may be equivalent to the BLC Br in the above embodiment
  • BLC 4 may be equivalent to the BLC B in the above embodiment.
  • Similar G 1 to G 4 may correspond to GR , G Gr , G Gb and GB in the above-mentioned embodiment, respectively.
  • the correction parameter corresponding to the nth monochromatic channel includes a black level correction term BLC n corresponding to the nth monochromatic channel and a black level correction term corresponding to the nth monochromatic channel.
  • the BLC n is related to the cumulative histogram of the nth monochromatic channel
  • the G n is related to the cumulative histogram of the nth monochromatic channel
  • the BLC n and the The color depth of the initial image is related.
  • the BLC n related to the cumulative histogram of the nth monochromatic channel may be a quantile of a specific ratio of the value of the BLC n to the nth monochromatic cumulative histogram. same or similar numbers.
  • the G n may be the same as or similar to a value determined according to the cumulative histogram of the nth monochromatic channel, the BLC n and the color depth of the initial image.
  • the BLC n is a quantile corresponding to the first preset ratio in the cumulative histogram of the nth monochromatic channel.
  • the G n is determined by: determining the quantile top n corresponding to the second preset ratio in the nth cumulative histogram; according to the BLC n , the top n and the color depth of the initial image, determine the G n .
  • top 1 to top 4 can be respectively equivalent to top R , top Gr , top Gb and top in the above embodiment B.
  • the sum of the first preset ratio and the second preset ratio may be 100%. For example, if the first preset ratio is 1.5%, then the second preset ratio may be 98.5%; if the first preset ratio is 5%, then the second preset ratio may be 95%; if the The first preset ratio is 10%, then the second preset ratio may be 90%.
  • top 1 may be equal to 28800
  • BLC 2 may be equal to 41000
  • BLC 3 may be equal to 41000
  • BLC 4 may be equal to 19000.
  • the G n is determined according to the following formula:
  • 2 bitDepth represents the color depth of the initial image.
  • top n and BLC n are quantiles corresponding to the second preset ratio and the first preset ratio (that is, no rounding operation is required)
  • G n can be calculated During the process, the difference between top n and BLC n is rounded.
  • the imaging device determines a corrected image corresponding to the initial image according to the N groups of correction parameters and the data of the N monochromatic channels, including: according to the BLC n , the G n and the The data of the n th single color channel determines the first correction data of the n th single color channel; according to the first correction data of the N single color channels, the corrected image corresponding to the initial image is determined.
  • the data imRGB R ' of the nth monochrome channel after BLC and AWB adjustment (that is, the nth The first correction data of a single color channel) can be expressed as:
  • imRGB n, G n ⁇ (imRGB n -BLC n ). (Equation 2.2).
  • determining the first correction data of the n th monochrome channel according to the BLC n , the G n and the data of the n th monochrome channel includes: according to the BLC n and the data of the nth monochrome channel, determine the second correction data of the nth monochrome channel; according to the G n and the second correction data of the nth monochrome channel, determine the nth monochrome channel The first correction data for the channel.
  • determining the second correction data of the nth monochrome channel according to the BLC n and the data of the nth monochrome channel includes: determining the nth monochrome channel The difference between the data of and the BLC n is the second correction data of the nth monochromatic channel.
  • the second correction data for the n-th monochromatic channel is imRGB n -BLC n in Equation 2.2.
  • determining the first correction data of the nth monochrome channel according to the Gn and the second correction data of the nth monochrome channel includes: determining the Gn and the second correction data of the nth monochrome channel.
  • the product of the second correction data of the nth monochromatic channel is the second correction data of the nth monochromatic channel.
  • the initial image may be an image in RAW format.
  • RAW format For example, one of many formats such as RGGB, RYYB, RGBW, etc.
  • the format of the initial image can also be an image format generated after ISP processing, such as RGB format, YUV format, Lab format, joint photographic experts group (joint photographic experts group, JPGE) format, tag image file format (TIFF), etc.
  • FIG. 13 is a schematic structural block diagram of an image processing apparatus provided according to an embodiment of the present application.
  • the image processing apparatus 1300 shown in FIG. 13 may include an acquisition unit 1301 and a processing unit 1302 .
  • the acquiring unit 1301 is configured to acquire an initial image, where the initial image includes data of N monochromatic channels, where N is a positive integer greater than or equal to 2.
  • the processing unit 1302 is configured to determine N groups of correction parameters, the nth group of correction parameters in the N groups of correction parameters corresponds to the nth monochromatic channel in the N monochromatic channels, and the nth group of correction parameters includes corresponding to At least one of the black level correction term BLC n of the nth monochromatic channel and the white balance gain term Gn corresponding to the nth monochromatic channel, wherein any two sets of correction parameters in the N sets of correction parameters are at least one of value is different.
  • the processing unit 1302 is further configured to determine a corrected image corresponding to the initial image according to the N groups of correction parameters and the data of the N monochromatic channels.
  • the image processing apparatus 1300 may be a surveillance camera, a video camera, a camera, or other apparatus capable of acquiring images.
  • the device includes a lens, an image sensor, and a processing device (eg, a chip or a system on chip (SoC), etc.) for processing electrical signals acquired by the image sensor.
  • SoC system on chip
  • the image processing apparatus 1300 may also be a processing apparatus in the foregoing apparatus capable of acquiring images.
  • the image processing apparatus 1300 is an apparatus capable of acquiring images.
  • the acquisition unit 1301 may then include a lens and an image sensor of the device.
  • the processing unit 1302 may be a processing device such as a chip or SoC in the device, which is responsible for processing the electrical signals obtained by the image sensor.
  • the processing unit 1302 can be implemented by one chip in the device (using a general-purpose processor chip (such as a central processing unit (CPU), etc.), or can be implemented by multiple chips in the device, such as digital A signal processor (DSP), an advanced RSIC machine (ARM) chip and a HiSilicon chip are jointly implemented.
  • DSP digital A signal processor
  • ARM advanced RSIC machine
  • the corrected image determined by the second processor 1404 may also be stored in the memory 1405 .
  • the camera device 1400 may further include a third processor 1406 .
  • the image sensor 1402 may send the acquired image in RAW format to the third processor 1406 .
  • the third processor 1406 may be configured to decompose the RAW format image into data of N monochromatic channels, and send the data of the N monochromatic channels to the first processor 1403 .
  • the first processor 1403 determines N groups of correction parameters according to the data of the N monochromatic channels, and sends the determined N groups of correction parameters to the second processor 1404 .
  • the second processor 1404 processes the image in RAW format according to the correction parameters from the first processor 1403 to obtain a corrected image.
  • the third processor 1406 if the third processor 1406 is not included in the camera device 1400, the work of decomposing the RAW format image into data of N monochrome channels can be implemented by the first processor. If the third processor 1404 is included in the camera device 1400 , the work of decomposing the RAW format image can be implemented by the third processor 1406 .
  • the processor in this embodiment of the present application may be an integrated circuit chip, which has a signal processing capability.
  • each step of the above method embodiments may be completed by a hardware integrated logic circuit in a processor or an instruction in the form of software.
  • a general purpose processor may be a microprocessor or the processor may be any conventional processor or the like.
  • the steps of the method disclosed in combination with the embodiments of the present application may be directly embodied as being executed by a processor, or executed by a combination of hardware and software modules in the processor.
  • the software modules may be located in random access memory, flash memory, read-only memory, programmable read-only memory or electrically erasable programmable memory, registers and other storage media mature in the art.
  • the storage medium is located in the memory, and the processor reads the information in the memory, and completes the steps of the above method in combination with its hardware.
  • the memory in this embodiment of the present application may be a volatile memory or a non-volatile memory, or may include both volatile and non-volatile memory.
  • the non-volatile memory may be read-only memory (ROM), programmable read-only memory (PROM), erasable programmable read-only memory (EPROM), electrically programmable Erase programmable read-only memory (electrically EPROM, EEPROM) or flash memory.
  • Volatile memory may be random access memory (RAM), which acts as an external cache.
  • the units described as separate components may or may not be physically separated, and components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution in this embodiment.
  • each functional unit in each embodiment of the present application may be integrated into one processing unit, or each unit may exist physically alone, or two or more units may be integrated into one unit.
  • the functions, if implemented in the form of software functional units and sold or used as independent products, may be stored in a computer-readable storage medium.
  • the technical solution of the present application can be embodied in the form of a software product in essence, or the part that contributes to the prior art or the part of the technical solution, and the computer software product is stored in a storage medium, including Several instructions are used to cause a computer device (which may be a personal computer, a server, or a network device, etc.) to execute all or part of the steps of the methods described in the various embodiments of the present application.
  • the aforementioned storage medium includes: U disk, mobile hard disk, read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disk or optical disk and other media that can store program codes .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

一种处理图像的方法和相关装置,该方法包括摄像设备使用N个组校正参数对初始图像进行校正,该N组校正参数与该初始图像包括的N个单色通道一一对应。该N组校正参数中的任意两组校正参数的值不同。上述方法中校正参数与颜色通道相关,从而使得设置的校正通道更适用于对应的颜色通道。这样,可以提升处理后得到的校正图像的效果。

Description

处理图像的方法和相关装置 技术领域
本申请涉及图像处理领域,更具体地,涉及处理图像的方法和相关装置。
背景技术
摄像设备中的图像传感器可以通过光电转换获取原始(RAW)格式的图像。呈现给用户的图像是RAW格式的图像经过一系列处理之后得到。例如,需要对RAW格式的图像进行黑电平校正、自动白平衡(auto white balance,AWB)等处理。对RAW格式的图像进行的处理可以称为图像信号处理(image signal processing,ISP)。
目前ISP过程中使用的一些参数并不能使得呈现给用户的图像有较好的效果。
发明内容
本申请提供一种处理图像的方法和相关装置,可以提高呈现给用户更好的图像。
第一方面,本申请实施例提供一种摄像设备获取初始图像,该初始图像包括N个单色通道的数据,N为大于或等于2的正整数;该摄像设备确定N组校正参数,该N组校正参数中的第n组校正参数与该N个单色通道中的第n个单色通道对应,该第n组校正参数包括对应于该第n个单色通道的黑电平校正项BLC n和对应于该第n个单色通道的白平衡增益项G n中的至少一个,其中该N组校正参数中任意两组校正参数的值不同;该摄像设备根据该N组校正参数和该N个单色通道的数据,确定对应于该初始图像的校正图像。
可选的,在一些实施例中,该N组校正参数中任意两组校正参数的值不同可以包括:任意两组校正参数中的黑电平校正项不同。
可选的,该N组校正参数中任意两组校正参数的值不同可以包括:任意两组校正参数的白平衡增益项不同。
上述技术方案针对不同的单色通道设置不同的校正参数(黑电平校正项和/或不同的白平衡增益项)。这样,校正参数与颜色通道相关,从而使得设置的校正通道更适用于对应的颜色通道。这样,可以提升处理后得到的校正图像的效果。
结合第一方面,在一种可能的设计中,该第n组校正参数与该第n个单色通道的累计直方图有关。
同一个单色通道(例如R通道)在不同图像中的累计直方图是不同的。上述技术方案中校正参数是和对应的单色通道的累计直方图相关的。不同的图像中同一个颜色通道的校正参数也是不一样的。换句话说,上述技术方案确定出的校正参数是实时的,而非一个固定不变的预设值。因此,利用上述技术方案得到的校正参数不仅更适用于对应的单色通道,更适应于当前图像。这样得到的校正图像的质量可以更好。
结合第一方面,在一种可能的设计中,在该对应于该第n个单色通道的校正参数包括对应于该第n个单色通道的黑电平校正项BLC n和对应于该第n个单色通道的白平衡增益 项G的情况下,该BLC n与该第n个单色通道的累计直方图有关,该G n与该第n个单色通道的累计直方图、该BLC n和该初始图像的色深有关。上述技术方案中不同的单色通道有不同的黑电平校正项和白平衡增益项,并且黑电平校正项和白平衡增益项是与对应单色通道的累计直方图相关的。这样得到的黑电平校正项和白平衡增益项更适用于对应的单色通道,从而可以减轻图像色偏问题,提升图像色彩准确度,为后续图像处理和模式识别等流程提供可靠素材。
结合第一方面,在一种可能的设计中,该BLC n是第一预设比例在该第n个单色通道的累计直方图中对应的分位数。上述技术方案提供了一种简单的黑电平校正项的确定方法,可以使得硬件使用较低的算力就能得到对应单色通道的黑电平校正项。
结合第一方面,在一种可能的设计中,该G n是通过以下方式确定的:确定第二预设比例在该第n个累计直方图中对应的分位数top n;根据该BLC n、该top n和该初始图像的色深,确定该G n。上述技术方案提供了一种简单的白平衡增益项的确定方法,可以使得硬件使用较低的算力就能得到对应单色通道的白平衡增益项。
结合第一方面,在一种可能的设计中,根据该BLC n、该top n和该初始图像的色深,确定该G n,包括:根据以下公式确定该G n
Figure PCTCN2020109318-appb-000001
其中,2 bitDepth表示该初始图像的色深。
结合第一方面,在一种可能的设计中,该摄像设备根据该N组校正参数和该N个单色通道的数据,确定对应于该初始图像的校正图像,包括:根据该BLC n、该G n和该第n个单色通道的数据,确定该第n个单色通道的第一校正数据;根据该N个单色通道的第一校正数据,确定对应于该初始图像的校正图像。
结合第一方面,在一种可能的设计中,该根据该BLC n、该G n和该第n个单色通道的数据,确定该第n个单色通道的第一校正数据,包括:根据该BLC n和该第n个单色通道的数据,确定该第n个单色通道的第二校正数据;根据该G n和该第n个单色通道的第二校正数据,确定该第n个单色通道的第一校正数据。
结合第一方面,在一种可能的设计中,该根据该BLC n和该第n个单色通道的数据,确定该第n个单色通道的第二校正数据,包括:确定该第n个单色通道的数据与该BLC n的差为该第n个单色通道的第二校正数据。
结合第一方面,在一种可能的设计中,该根据该G n和该第n个单色通道的第二校正数据,确定该第n个单色通道的第一校正数据,包括:确定该G n和该第n个单色通道的第二校正数据的积为该第n个单色通道的第二校正数据。
结合第一方面,在一种可能的设计中,该初始图像为原始格式的图像。
第二方面,本申请实施例提供一种摄像设备,该摄像设备包括图像传感器、第一处理器和第二处理器,该图像传感器用于获取初始图像,该初始图像包括N个单色通道的数据,N为大于或等于2的正整数;该第一处理器,用于确定N组校正参数,该N组校正参数中的第n组校正参数与该N个单色通道中的第n个单色通道对应,该第n组校正参数包括对应于该第n个单色通道的黑电平校正项BLC n和对应于该第n个单色通道的白平衡增益项G n中的至少一个,其中该N组校正参数中任意两组校正参数的黑电平校正项的值或者 白平衡增益项的值不同;该第二处理器,用于根据该N组校正参数和该N个单色通道的数据,确定对应于该初始图像的校正图像。
可选的,在一些实施例中,该N组校正参数中任意两组校正参数的值不同可以包括:任意两组校正参数中的黑电平校正项不同。
可选的,该N组校正参数中任意两组校正参数的值不同可以包括:任意两组校正参数的白平衡增益项不同。
上述技术方案针对不同的单色通道设置不同的校正参数(黑电平校正项和/或不同的白平衡增益项)。这样,校正参数与颜色通道相关,从而使得设置的校正通道更适用于对应的颜色通道。这样,可以提升处理后得到的校正图像的效果。
结合第二方面,在一种可能的设计中,该摄像设备还包括第三处理器,该第三处理器用于从该图像传感器获取该初始图像,将该初始图像分析为N个单色通道的数据,将该N个单色通道的数据发送至该第一处理器和该第二处理器。
上述技术方案利用专用的处理器将初始图像分解为不同单色通道的数据,这样可以加速处理获取到的图像,提升处理速度。
结合第二方面,在一种可能的设计中,该第n组校正参数与该第n个单色通道的累计直方图有关。
同一个单色通道(例如R通道)在不同图像中的累计直方图是不同的。上述技术方案中校正参数是和对应的单色通道的累计直方图相关的。不同的图像中同一个颜色通道的校正参数也是不一样的。换句话说,上述技术方案确定出的校正参数是实时的,而非一个固定不变的预设值。因此,利用上述技术方案得到的校正参数不仅更适用于对应的单色通道,更适应于当前图像。这样得到的校正图像的质量可以更好。
结合第二方面,在一种可能的设计中,在该对应于该第n个单色通道的校正参数包括对应于该第n个单色通道的黑电平校正项BLC n和对应于该第n个单色通道的白平衡增益项G的情况下,该BLC n与该第n个单色通道的累计直方图有关,该G n与该第n个单色通道的累计直方图、该BLC n和该初始图像的色深有关。
上述技术方案中不同的单色通道有不同的黑电平校正项和白平衡增益项,并且黑电平校正项和白平衡增益项是与对应单色通道的累计直方图相关的。这样得到的黑电平校正项和白平衡增益项更适用于对应的单色通道,从而可以减轻图像色偏问题,提升图像色彩准确度,为后续图像处理和模式识别等流程提供可靠素材。
结合第二方面,在一种可能的设计中,该第一处理器具体用于确定第一预设比例在该第n个单色通道的累计直方图中对应的分位数为该BLC n。上述技术方案提供了一种简单的黑电平校正项的确定方法,可以使得硬件使用较低的算力就能得到对应单色通道的黑电平校正项。
结合第二方面,在一种可能的设计中,该第一处理器,具体用于确定第二预设比例在该第n个累计直方图中对应的分位数top n;根据该BLC n、该top n和该初始图像的色深,确定该G n。上述技术方案提供了一种简单的白平衡增益项的确定方法,可以使得硬件使用较低的算力就能得到对应单色通道的白平衡增益项。
结合第二方面,在一种可能的设计中,该第一处理器,具体用于根据以下公式确定该G n
Figure PCTCN2020109318-appb-000002
其中,2 bitDepth表示该初始图像的色深。
结合第二方面,在一种可能的设计中,该第二处理器,具体用于根据该BLC n、该G n和该第n个单色通道的数据,确定该第n个单色通道的第一校正数据;根据该N个单色通道的第一校正数据,确定对应于该初始图像的校正图像。
结合第二方面,在一种可能的设计中,该第二处理器,具体用于根据该BLC n和该第n个单色通道的数据,确定该第n个单色通道的第二校正数据;根据该G n和该第n个单色通道的第二校正数据,确定该第n个单色通道的第一校正数据。
结合第二方面,在一种可能的设计中,该第二处理器,具体用于确定该第n个单色通道的数据与该BLC n的差为该第n个单色通道的第二校正数据。
结合第二方面,在一种可能的设计中,该第二处理器,具体用于确定该G n和该第n个单色通道的第二校正数据的积为该第n个单色通道的第二校正数据。
结合第二方面,在一种可能的设计中,该初始图像为原始格式的图像。
第三方面,本申请实施例提供了一种图像处理装置,该图像处理装置包括用于实现第一方面或第一方面的任一种可能的设计的单元。
第四方面,本申请实施例还提供一种处理器芯片,该处理器芯片可以是第二方面或第二方面的任一种可能的设计中的第一处理器。
第五方面,本申请实施例提供一种计算机可读存储介质,包括指令,当该指令在计算机上运行时,如上述第一方面或第一方面的任一种可能的设计的方法被执行。
附图说明
图1是ISP处理的流程图。
图2是一个采用拜耳阵列的图像传感器的示意图。
图3是根据本申请实施例提供的一种处理图像的方法的示意性流程图。
图4是调整前的R通道的累计直方图。
图5是调整后的R通道的累计直方图。
图6是调整前的Gr通道的累计直方图。
图7是调整后的Gr通道的累计直方图。
图8是调整前的Gb通道的累计直方图。
图9是调整后的Gb通道的累计直方图。
图10是调整前的B通道的累计直方图。
图11是调整后的B通道的累计直方图。
图12是根据本申请实施例提供的一种处理图像的方法的示意性流程图。
图13是根据本申请实施例提供的一种图像处理装置的示意性结构框图。
图14是根据本申请实施例提供的一种摄像设备的示意性结构框图。
图15是调整前的ab色度平面坐标的直方图。
图16是根据本申请实施例提供的方法调整后的ab色度平面坐标的直方图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
本申请将围绕可包括多个设备、组件、模块等的系统来呈现各个方面、实施例或特征。应当理解和明白的是,各个系统可以包括另外的设备、组件、模块等,并且/或者可以并不包括结合附图讨论的所有设备、组件、模块等。此外,还可以使用这些方案的组合。
另外,在本申请实施例中,“示例的”、“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用示例的一词旨在以具体方式呈现概念。
本申请实施例中,“相应的(corresponding,relevant)”和“对应的(corresponding)”有时可以混用,应当指出的是,在不强调其区别时,其所要表达的含义是一致的。
本申请实施例中,有时候下标如W 1可能会笔误为非下标的形式如W1,在不强调其区别时,其所要表达的含义是一致的。
本申请实施例描述的网络架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着网络架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
本申请实施例既可以在处理视频流数据时达到实时,也可以对抓拍的单帧图像进行处理。
为了本领域技术人员更好地理解本申请的技术方案,首先介绍一下ISP的一些基本概念。
图1是ISP处理的流程图。
镜头将光信号投射到传感器单元101的感光区域后,传感器单元101经过光电转换以及一系列处理后,可以得到原始(RAW)格式的图像。
以色深(color depth)为8比特(bit)的数据为例,单个像素(pixel)的有效值是0~255。但是实际模数转换芯片的精度可能无法将电压值很小的一部分转换出来,因此,传感器厂家一般会在模数的输入之前加上一个固定的偏移量,使输出的像素值在一个大于0的值 (例如5)到255之间。这一过程称为黑电平校正(black level correction,BLC)。BLC可以由BLC模块102实现。BLC的目的是为了让暗部的细节完全保留。虽然BLC同时也会损失一些亮部细节,但是对于图像来说,关注度更倾向于暗部区域,ISP后面会有很多增益模块,因此亮区的一点点损失是可以接受的。
经过BLC模块102处理后的图像可以输入至AWB模块103。AWB模块103负责调整图像的白平衡。白平衡(white balance),字面上的理解是白色的平衡。白平衡是衡量白色精确度的一项指标。白平衡可以解决色彩还原和色调处理的一系列问题。如果不对图像的白平衡进行调整,那么在日光灯的房间里拍摄的图像会显得发绿,在室内钨丝灯光下拍摄出来的图像就会偏黄,而在日光阴影处拍摄到的图像则莫名其妙地偏蓝。
例如,业界常用的AWB的策略是基于白点检测统计以及色温估计的方法实现。对于普通环境,这一策略对能够得到较好的自动白平衡效果,但是对于一些特殊场景如:夜间道路混合色温灯场景、傍晚日照强烈导致的不同物体处于不同色温的场景、大面积单色场景等,由于现有AWB原理和策略的局限,都会导致输出图像的偏色问题。
又如,灰度世界算法(gray word algorithm,GWA)是一种常见的AWB算法。GWA算法是将整幅图像的平均颜色作为图像的光照颜色。但是如果图像中的颜色比较单一(比如大面积单色)时,GWA算法就会失效。
经过AWB模块103调整后的图像可以进行颜色插值(demosaic)处理。传感器的每个像素点只能感应到一种颜色(例如红色)。因此,必须要找到一种方法来复原该像素点其它两个颜色(例如蓝色和绿色)的信息,寻找该像素点另外两个颜色的值来复原该像素点的真实色彩的过程可以称为颜色插值处理。颜色插值处理可以由颜色插值模块104实现。
颜色插值模块104在完成颜色插值处理后,可以将处理后的图像发送至颜色校正(color correction matrix,CCM)模块105。CCM模块105对获取到的图像进行颜色校正。颜色校正主要为了校正在滤光板处各颜色块之间的颜色渗透带来的颜色误差。一般颜色校正的过程是首先利用该图像传感器拍摄到的图像与标准图像相比较,以此来计算得到一个校正矩阵。该矩阵就是该图像传感器的颜色校正矩阵。在该图像传感器应用的过程中,可以利用该矩阵对该图像传感器所拍摄的所有图像来进行校正,以获得最接近于物体真实颜色的图像。
经过颜色校正后的图像被输入伽马(gamma)模块106。伽马模块106负责伽马校正(gamma correction)。人眼对外界光源的感光值与输入光强不是呈线性关系的,而是呈指数型关系的。在低照度下,人眼更容易分辨出亮度的变化,随着照度的增加,人眼不易分辨出亮度的变化。而摄像机感光与输入光强呈线性关系,为方便人眼辨识图像,需要将摄像机采集的图像进行伽马矫正。伽马矫正是对输入图像灰度值进行的非线性操作,使输出图像灰度值与输入图像灰度值呈指数关系。
经过伽马校正后的图像被输入至色彩空间转换(color space convert,CSC)模块107。CSC模块107负责将红绿蓝(red green blue,RGB)图像转换为YUV图像。转换后得到的YUV图像被输出至H265/H264编码模块108。
H265/H264编码模块108对获取到的YUV图像进行编码,得到可供观看的视频流。
本领域技术人员可以理解,图1所示是视频的处理流程。图片的处理流程与视频的处 理流程类似,也需要进行BLC、AWB、颜色插值处理等处理,其具体处理方法与视频的处理方法类似,为了简洁,在此就不再赘述。
此外,可以理解的是,除了图1所示外,视频的处理流程还可以包括其他处理步骤,例如镜头矫正(lens shading correction)、坏点校正(defect pixel correction)、自动曝光控制等。
图像传感器是利用光电器件的光电转换功能将感光面上的光像转换为与光像成相应比例关系的电信号。常见的图像传感器有电荷耦合器件(charge-coupled device,CCD)传感器和互补金属氧化物半导体(complementary metal oxide semiconductor,CMOS)传感器。
图像传感器上分布着许许多多的像素点。拜耳阵列是一种常见的像素点的排布方式。拜耳阵列采用1红2绿1蓝的排列方式来排列像素。图2是一个采用拜耳阵列的图像传感器的示意图。R可以表示红色像素(即用于采集红色的像素),B可以表示蓝色像素(即用于采集蓝色的像素),Gr和Gb可以表示两个绿色像素(即用于采集绿色的像素)。
拜耳阵列排布像素点的方式也可以称为RGGB排布。
然而,需要注意的是,图像传感器在进行光电转换的过程中是无法得到颜色信息的,它只能取得不同的强度信息。拜耳阵列的机制类似于“分色”,其滤镜上的红色、绿色和蓝色像素只允许与之相对应颜色的光线通过,阻挡其他色光进入,这样一来每个像素就都获得了颜色和明暗信息。然而,“分色”的过程存在一个缺陷,过滤光线的同时会折损一部分光的强度,在同一个点上也只能获得一种颜色信息,而该位置上的其他颜色信息就全部损失掉了。
为了提高进光亮,业界提出了其他的像素排列方式。例如,采用一个白色(white,W)像素替换掉拜耳阵列中的一个绿色像素。这样的阵列排布方式可以称为RGBW排布。又如,将拜耳阵列中的两个绿色像素用两个黄色(yellow,Y)像素提到,从而形成RYYB的排布方式。
图像传感器采集的图像包括多个单色通道的数据。单色通道的数目与传感器阵列包括的像素类型数目是相同的。例如,如果传感器是采用拜耳整列,那么单色通道的数目共有四个,四个单色通道可以分别称为R通道,Gr通道,Gb通道和B通道。又如,如果传感器采用的是RGBW排布,那么四个单色通道可以分别称为R通道、G通道、B通道和W通道。又如,如果传感器采用的是RYYB排布,那么四个单色通道可以分别称为R通道、Y通道1、Y通道2和B通道。
为了便于描述,以下实施例中均假设图像传感器采用的是拜耳阵列。
图3是根据本申请实施例提供的一种处理图像的方法的示意性流程图。
301,获取初始图像。
该初始图像包括四个单色通道的数据,分别为R通道的数据,Gr通道的数据、Gb通道的数据以及B通道的数据。
R通道的数据包括图像传感器中所有的红色像素采集的值。Gr通道的数据包括图像传感器中所有绿色(Gr)像素采集的值。Gb通道的数据包括图像传感器中所有绿色(Gb)像素采集的值。B通道的数据包括图像传感器中所有蓝色像素的值。
302,根据四个单色通道的数据,分别确定四个累计直方图。
该四个累计直方图与四个单色通道一一对应。为了便于描述,与R通道对应的累计直 方图可以称为累计直方图R,与Gr通道对应的累计直方图可以称为累计直方图Gr,与Gb通道对应的累计直方图可以称为累计直方图Gb,与B通道对应的累计直方图可以称为累计直方图B。
图4示出了累计直方图R。累计直方图的横轴表示像素值,累计直方图的纵轴表示像素值对应的像素点的个数。累计直方图R是根据R通道的数据确定的。假设图4至11所示的累计直方图对应的初始图像的色深为16bit。在此情况下,像素点的像素值的取值范围为0至65535。
如图4所示,R通道中绝大多数像素点的像素值小于2×10 4
303,根据第一预设比例和四个累计直方图,确定四个黑电平校正项。
该根据第一预设比例和四个累计直方图,确定四个黑电平校正项可以包括:根据该第一预设比例和累计直方图R,确定黑电平校正项R;根据该第一预设比例和累计直方图Gr,确定黑电平校正项Gr;根据该第一预设比例和累计直方图Gb,确定黑电平校正项Gb;根据该第一预设比例和累计直方图B,确定黑电平校正项B。
为了便于描述,黑电平校正项R可以用BLC R表示,黑电平校正项Gr可以用BLC Gr表示,黑电平校正项Gb可以用BLC Gb表示,黑电平校正项B可以由BLC B表示。
BLC R是该第一预设比例在累计直方图R中对应的分位数。还以图4为例,假设第一预设比例为1.5%。1.5%对应的分位数为4608。在此情况下,BLC R的值为4608。
BLC Gr、BLC Gb和BLC B的确定方式与BLC R的确定方式类似,为了简洁,在此就不再赘述。
可以理解的是,上述实施例中的第一预设比例为1.5%只不过是第一预设比例的一个示意,而并非是对第一预设比例的限制。第一预设比例也可以是其他值。例如,第一预设比例可以是大于或等于1.5%且小于或等于10%的任一值。
在一些实施例中,第一预设比例的值与图像的色彩丰富程度成反比。换句话说,如果图像的色彩越丰富,则第一预设比例的值越小;如果图像的色彩越单调,则第一预设比例的值越大。例如,图像中的绝大部分内容都只有一个颜色,那么第一预设比例的值可以取10%。
304,根据第二预设比例和四个累计直方图,确定四个辅助参数。
该根据第二预设比例和四个累计直方图,确定四个辅助参数可以包括:根据第二预设比例和累计直方图R,确定辅助参数R;根据第二预设比例和累计直方图Gr,确定辅助参数Gr;根据第二预设比例和累计直方图Gb,确定辅助参数Gb;根据第二预设比例和累计直方图B,确定辅助参数B。
为了便于描述,辅助参数R可以用top R表示,辅助参数Gr可以用top Gr表示,辅助参数Gb可以用top Gb表示,辅助参数B可以用top B表示。
top R的确定方式与BLC R的确定方式类似。还以图4所示的累计直方图R为例。假设第二预设比例为98.5%。98.5%对应的分位数为28752。在此情况下,top R的值为28752。
top Gr、top Gb和top B的确定方式和top R的确定方式类似,为了简洁,在此就不再赘述。
可以理解的是,上述实施例中的第二预设比例为98.5%只不过是第二预设比例的一个示意,而并非是对第一预设比例的限制。第二预设比例也可以是其他值。例如,第二预设比例可以是大于或等于90%且小于或等于98.5%的任一值。
第一预设比例与第二预设比例的和为100%。因此,在确定了第一预设比例之和,第二预设比例的值也就确定了。
305,根据四个黑电平校正项、四个辅助参数以及初始图像的色深,确定四个白平衡增益项。
根据四个黑电平校正项、四个辅助参数以及初始图像的色深,确定四个白平衡增益项可以包括:根据BLC R、top R和初始图像的色深,确定白平衡增益项R;根据BLC Gr、top Gr和初始图像的色深,确定白平衡增益项Gr;根据BLC Gb、top Gb和初始图像的色深,确定白平衡增益项Gb;根据BLC B、top B和初始图像的色深,确定白平衡增益项B。
为了便于描述,白平衡增益项R可以用G R表示,白平衡增益项Gr可以用G Gr表示,白平衡增益项Gb可以用于G Gb表示,白平衡增益项B可以用G B表示。
依然以G R为例介绍如何根据BLC R、top R和初始图像的色深确定G R
G R可以根据以下公式确定:
Figure PCTCN2020109318-appb-000003
其中2 bitDepth表示该初始图像的色深,G R、top R和BLC R的含义同上。
306,利用四个黑电平校正项和四个白平衡增益项分别对四个单色通道的数据进行处理,得到校正图像。
利用黑电平校正项和白平衡增益项对单色通道的数据的处理方式与现有技术中利用黑电平校正项和白平衡增益项对单色通道的数据的处理方式相同。
还以R通道为例,假设imRGB R是调整前的R通道的数据,那么经过BLC和AWB调整后的R通道的数据imRGB R’可以表示为:
imRGB R,=G R×(imRGB R-BLC R)。  (公式1.2)
经过BLC模块和AWB模块调整后的四个通道的数据的后续处理方式与现有的图像的处理方式相同,为了简洁,这里就不再赘述。
上述技术方案中动态黑电平校正项与白平衡增益项的确定是实时的,而非是一个固定不变的预设值。此外,上述技术方案中确定白平衡增益项的方法简单,可以降低硬件的算力消耗。并且,上述技术方案可以减轻图像色偏问题,提升图像色彩准确度,为后续图像处理和模式识别等流程提供可靠素材。
上述技术方案可应用在智能交通系统(intelligent transport system,ITS)中。上述技术方案可以降低混合色温灯场景、夕阳日照强烈的ITS场景、可移动单色目标占据卡口像机画面过多的ITS场景和大面积单色场景导致的图像偏色问题。
除此之外,上述技术方案也可以应用到其他需要应用AWB的场景中,例如视频拍摄,图片拍摄,安防监控等场景。
例如,图5是根据本申请实施例提供的方法调整后的R通道的累计直方图。
图6是调整前的Gr通道的累计直方图,图7是根据本申请实施例提供的方法调整后的Gr通道的累计直方图。
图8是调整前的Gb通道的累计直方图,图9是根据本申请实施例提供的方法调整后的Gb通道的累计直方图。
图10是调整前的B通道的累计直方图,图11是根据本申请实施例提供的方法调整后 的B通道的累计直方图。
经过对正常图像和偏色图像的分析发现,如果国际照明委员会(International Commission on Illumination,CIE)L*a*b*色彩空间的ab色度坐标平面上的直方图中,色度分布基本上为单峰值,或者分布较为集中,而色度平均值又较大时,一般都存在色偏,而且色度平均值越大,色偏越严重。然而,如果在ab色度坐标平面上的直方图中色度分布存在明显的多峰值,而且较为分散时,图像色偏程度将大大减轻,甚至没有色偏。
图15是调整前的ab色度平面坐标的直方图。图16是根据本申请实施例提供的方法调整后的ab色度平面坐标的直方图。
可以看出与调整前相比,调整后的直方图中色度分布存在明显的多峰值,而且较为分散。由此可见,利用本申请提供的方法可以降低图像偏色问题,提升图像色彩的准确度。
另外,利用偏色检测算法可以计算出一个参考值。一般而言,如果这个参考值小于1.5,那么可以认为这个图像没有发生明显的色偏。表1是利用本申请实施例的方案对五种不同场景的图像进行调整前和调整后,利用偏色检测算法确定的参考值。可以看出,调整前的参考值均大于1.5,而调整后的参考值均小于1.5。
表1
  场景一 场景二 场景三 场景四 场景五
调整前 1.8725 3.2766 2.1453 4.1526 3.5124
调整后 0.5126 0.3365 0.4482 1.1246 0.9012
图12是根据本申请实施例提供的一种处理图像的方法的示意性流程图。
1201,摄像设备获取初始图像,该初始图像包括N个单色通道的数据,N为大于或等于2的正整数。
1202,该摄像设备确定N组校正参数,该N组校正参数中的第n组校正参数与该N个单色通道中的第n个单色通道对应,该第n组校正参数包括对应于该第n个单色通道的黑电平校正项BLC n和对应于该第n个单色通道的白平衡增益项G n中的至少一个,其中该N组校正参数中任意两组校正参数的值不同。
1203,该摄像设备根据该N组校正参数和该N个单色通道的数据,确定对应于该初始图像的校正图像。
可选的,该N组校正参数中任意两组校正参数的值不同可以包括:任意两组校正参数中的黑电平校正项不同。
可选的,该N组校正参数中任意两组校正参数的值不同可以包括:任意两组校正参数的白平衡增益项不同。
例如,如果N等于4,且四个单色通道分别为R通道、Gr通道、Gb通道和B通道,那么BLC 1可以相当于上述实施例中的BLC R,BLC 2可以相当于上述实施例中的BLC Gr,BLC 3可以相当于上述实施例中的BLC Br,BLC 4可以相当于上述实施例中的BLC B。类似的G 1至G 4可以分别相当于上述实施例中的G R,G Gr,G Gb和G B
可选的,在一些实施例中,该第n组校正参数与该第n个单色通道的累计直方图有关。
可选的,在一些实施例中,在该对应于该第n个单色通道的校正参数包括对应于该第n个单色通道的黑电平校正项BLC n和对应于该第n个单色通道的白平衡增益项G的情况下,该BLC n与该第n个单色通道的累计直方图有关,该G n与该第n个单色通道的累计直 方图、该BLC n和该初始图像的色深有关。
可选的,在一些实施例中,该BLC n与该第n个单色通道的累计直方图有关可以是该BLC n的值可以与该第n个单色累计直方图的特定比例的分位数相同或者相似。
可选的,在一些实施例中,该G n可以与根据该第n个单色通道的累计直方图、该BLC n和该初始图像的色深确定的值相同或者相似。
可选的,在一些实施例中,该BLC n是第一预设比例在该第n个单色通道的累计直方图中对应的分位数。
可选的,在一些实施例中,该G n是通过以下方式确定的:确定第二预设比例在该第n个累计直方图中对应的分位数top n;根据该BLC n、该top n和该初始图像的色深,确定该G n
如果N等于4,且四个单色通道分别为R通道、Gr通道、Gb通道和B通道,那么top 1至top 4可以分别相当于上述实施例中的top R,top Gr,top Gb和top B
该第一预设比例与该第二预设比例之和可以为100%。例如,如果该第一预设比例为1.5%,那么该第二预设比例可以为98.5%;如果该第一预设比例为5%,那么该第二预设比例可以为95%;如果该第一预设比例为10%,那么该第二预设比例可以为90%。
表2是四个不同的单色通道的累计直方图中第一预设比例和第二预设比例对应的分位数。
表2
Figure PCTCN2020109318-appb-000004
如表2所示的初始图像的色深为16bit,在此情况下,在此情况下,像素点的像素值的取值范围为0至65535。对于R通道,1.5%对应的分位数(即像素值)为4608,98.5%对应的分位数为28752。在此情况下,BLC 1等于4608,top 1=28752。
可选的,在另一些实施例中,BLC n还可以是对第一预设比例对应的分位数进行取整操作后得到的值。取整操作可以是向上取整,向下取整或者可以是四舍五入的方式取整。
还以表2所示的R通道为例,BLC 1可以等于4600,BLC 2可以等于5200,BLC 4可以等于4500。
类似的,top n也可以是对第二预设比例对应的分位数进行取整操作后得到的值。取整操作可以是向上取整,向下取整或者可以是四舍五入的方式取整。
还以表2所示的R通道为例,top 1可以等于28800,BLC 2可以等于41000,BLC 3可以等于41000,BLC 4可以等于19000。
可选的,在一些实施例中,根据以下公式确定该G n
Figure PCTCN2020109318-appb-000005
其中,2 bitDepth表示该初始图像的色深。
可选的,在另一些实施例中,如果top n和BLC n是第二预设比例和第一预设比例对应的分位数(即不需要进行取整操作),那么可以在计算G n的过程中对top n和BLC n的差进行取整操作。
可选的,在一些实施例中,该摄像设备根据该N组校正参数和该N个单色通道的数据,确定对应于该初始图像的校正图像,包括:根据该BLC n、该G n和该第n个单色通道的数据,确定该第n个单色通道的第一校正数据;根据该N个单色通道的第一校正数据,确定对应于该初始图像的校正图像。
还以第n个单色通道为例,假设imRGB n是调整前的第n个单色通道的数据,那么经过BLC和AWB调整后的第n个单色通道的数据imRGB R’(即第n个单色通道的第一校正数据)可以表示为:
imRGB n,=G n×(imRGB n-BLC n)。  (公式2.2)。
可选的,在一些实施例中,该根据该BLC n、该G n和该第n个单色通道的数据,确定该第n个单色通道的第一校正数据,包括:根据该BLC n和该第n个单色通道的数据,确定该第n个单色通道的第二校正数据;根据该G n和该第n个单色通道的第二校正数据,确定该第n个单色通道的第一校正数据。
可选的,在一些实施例中,该根据该BLC n和该第n个单色通道的数据,确定该第n个单色通道的第二校正数据,包括:确定该第n个单色通道的数据与该BLC n的差为该第n个单色通道的第二校正数据。换句话说,第n个单色通道的第二校正数据是公式2.2中的imRGB n-BLC n
可选的,在一些实施例中,该根据该G n和该第n个单色通道的第二校正数据,确定该第n个单色通道的第一校正数据,包括:确定该G n和该第n个单色通道的第二校正数据的积为该第n个单色通道的第二校正数据。
可选的,在一些实施例中,该初始图像可以是RAW格式的图像。例如,RGGB、RYYB、RGBW等多种格式中的一种。
可选的,在另一些实施例中,该初始图像的格式也可以是经过ISP处理后生成的图像格式,例如RGB格式,YUV格式、Lab格式,联合图像专家组(joint photographic experts group,JPGE)格式、标签图像文件格式(tag image file format,TIFF)等。
图13是根据本申请实施例提供的一种图像处理装置的示意性结构框图。如图13所示的图像处理装置1300可以包括获取单元1301和处理单元1302。
获取单元1301,用于获取初始图像,该初始图像包括N个单色通道的数据,N为大于或等于2的正整数。
处理单元1302,用于确定N组校正参数,该N组校正参数中的第n组校正参数与该N个单色通道中的第n个单色通道对应,该第n组校正参数包括对应于该第n个单色通道的黑电平校正项BLC n和对应于该第n个单色通道的白平衡增益项G n中的至少一个,其中该N组校正参数中任意两组校正参数的值不同。
处理单元1302,还用于根据该N组校正参数和该N个单色通道的数据,确定对应于 该初始图像的校正图像。
获取单元1301和处理单元1302的具体功能和有益效果可以参见上述实施例的描述,为了简洁,在此就不再赘述。
可选的,在一些实施例中,图像处理装置1300可以是监控摄像头、摄像机、照相机等能够获取图像的装置。该装置包括镜头、图像传感器以及用于处理图像传感器获取到的电信号的处理装置(例如芯片或芯片系统(system on chip,SoC)等)。
可选的,在另一些实施例中,图像处理装置1300也可以是上述能够获取图像的装置中的处理装置。
如果图像处理装置1300是能够获取图像的装置。那么获取单元1301可以包括该装置的镜头和图像传感器。处理单元1302可以是该装置中的芯片或SoC等负责处理图像传感器获取到的电信号的处理装置。处理单元1302可以由该装置中的一个芯片实现(利用通用的处理器芯片(例如中央处理器(central processing unit,CPU)等),也可以由该装置中的多个芯片实现,例如可以由数字信号处理器(digital signal processor,DSP)、进阶精简指令集机器(advanced RSIC machine,ARM)芯片和海思芯片联合实现。
如果图像处理装置1300是装置中的处理装置。那么获取单元1301可以是该处理装置的输入输出接口。该输入输出接口可以获取图像传感器获取到的电信号。处理单元1302可以是该处理装置中的逻辑电路。
图14是根据本申请实施例提供的一种摄像设备的示意性结构框图。如图14所示的摄像设备1400包括镜头1401,图像传感器1402,第一处理器1403、第二处理器1404和存储器1405。
图像传感器1402将镜头1401获取到的光信号转换为电信号,并确定的电信号(即RAW格式的图像)发送至第一处理器1403和第二处理器1404。处理器1403获取来自于图像传感器的电信号,并对电信号进行处理,得到对应于各个单色通道的黑电平校正项和白平衡增益。第一处理器1403将确定的黑电平校正项和白平衡增益发送至第二处理器1404。第二处理器1404根据来自于第一处理器1403的黑电平校正项和白平衡增益对RAW格式的图像进行处理,得到校正图像。
处理器执行的程序代码可以存储在存储器1405中也可以存储在处理器内部的存储器中,本申请实施例对此并不限定。处理器通过执行存储器中保存的程序代码,实现上述方法的操作步骤。
第二处理器1404确定的校正图像也可以保存在存储器1405中。
可选的,在一些实施例中,摄像设备1400还可以包括第三处理器1406。图像传感器1402可以将获取到的RAW格式的图像发送至第三处理器1406。第三处理器1406可以用于将RAW格式的图像分解为N个单色通道的数据,并将该N个单色通道的数据发送至第一处理器1403。第一处理器1403根据该N个单色通道的数据,确定N组校正参数,并将确定的N组校正参数发送至第二处理器1404。第二处理器1404根据来自于第一处理器1403的校正参数对RAW格式的图像进行处理,得到校正图像。
换句话说,如果摄像设备1400中不包括第三处理器1406,那么将RAW格式的图像分解为N个单色通道的数据的工作可以由第一处理器实现。如果摄像设备1400中包括第三处理器1404,那么分解RAW格式的图像的工作可以由第三处理器1406实现。
第三处理器1406可以是DSP,第一处理器1403可以是ARM处理器,第二处理器1404可以是通用的能够用于处理图像的芯片。例如海思芯片。
上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
应注意,本申请实施例中的处理器可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
根据本申请实施例提供的方法,本申请还提供一种计算机程序产品,该计算机程序产品包括:计算机程序代码,当该计算机程序代码在计算机上运行时,使得该计算机执行上述实施例中任意一个实施例的方法。
根据本申请实施例提供的方法,本申请还提供一种计算机可读介质,该计算机可读介质存储有程序代码,当该程序代码在计算机上运行时,使得该计算机执行上述实施例中任意一个实施例的方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装 置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (24)

  1. 一种处理图像的方法,其特征在于,包括:
    摄像设备获取初始图像,所述初始图像包括N个单色通道的数据,N为大于或等于2的正整数;
    所述摄像设备确定N组校正参数,所述N组校正参数中的第n组校正参数与所述N个单色通道中的第n个单色通道对应,所述第n组校正参数包括对应于所述第n个单色通道的黑电平校正项BLC n和对应于所述第n个单色通道的白平衡增益项G n中的至少一个,其中所述N组校正参数中任意两组校正参数的值不同;
    所述摄像设备根据所述N组校正参数和所述N个单色通道的数据,确定对应于所述初始图像的校正图像。
  2. 如权利要求1所述的方法,其特征在于,所述第n组校正参数与所述第n个单色通道的累计直方图有关。
  3. 如权利要求2所述的方法,其特征在于,在所述对应于所述第n个单色通道的校正参数包括对应于所述第n个单色通道的黑电平校正项BLC n和对应于所述第n个单色通道的白平衡增益项G的情况下,所述BLC n与所述第n个单色通道的累计直方图有关,所述G n与所述第n个单色通道的累计直方图、所述BLC n和所述初始图像的色深有关。
  4. 如权利要求3所述的方法,其特征在于,所述BLC n是第一预设比例在所述第n个单色通道的累计直方图中对应的分位数。
  5. 如权利要求3或4所述的方法,其特征在于,所述G n是通过以下方式确定的:
    确定第二预设比例在所述第n个累计直方图中对应的分位数top n
    根据所述BLC n、所述top n和所述初始图像的色深,确定所述G n
  6. 如权利要求5所述的方法,其特征在于,根据所述BLC n、所述top n和所述初始图像的色深,确定所述G n,包括:根据以下公式确定所述G n
    Figure PCTCN2020109318-appb-100001
    其中,2 bitDepth表示所述初始图像的色深。
  7. 如权利要求1至6中任一项所述的方法,其特征在于,所述摄像设备根据所述N组校正参数和所述N个单色通道的数据,确定对应于所述初始图像的校正图像,包括:
    根据所述BLC n、所述G n和所述第n个单色通道的数据,确定所述第n个单色通道的第一校正数据;
    根据所述N个单色通道的第一校正数据,确定对应于所述初始图像的校正图像。
  8. 如权利要求7所述的方法,其特征在于,所述根据所述BLC n、所述G n和所述第n个单色通道的数据,确定所述第n个单色通道的第一校正数据,包括:
    根据所述BLC n和所述第n个单色通道的数据,确定所述第n个单色通道的第二校正数据;
    根据所述G n和所述第n个单色通道的第二校正数据,确定所述第n个单色通道的第一校正数据。
  9. 如权利要求8所述的方法,其特征在于,所述根据所述BLC n和所述第n个单色通道的数据,确定所述第n个单色通道的第二校正数据,包括:
    确定所述第n个单色通道的数据与所述BLC n的差为所述第n个单色通道的第二校正数据。
  10. 如权利要求8或9所述的方法,其特征在于,所述根据所述G n和所述第n个单色通道的第二校正数据,确定所述第n个单色通道的第一校正数据,包括:确定所述G n和所述第n个单色通道的第二校正数据的积为所述第n个单色通道的第二校正数据。
  11. 如权利要求1至10中任一项所述的方法,其特征在于,所述初始图像为原始格式的图像。
  12. 一种摄像设备,其特征在于,所述摄像设备包括图像传感器、第一处理器和第二处理器,所述图像传感器用于获取初始图像,所述初始图像包括N个单色通道的数据,N为大于或等于2的正整数;
    所述第一处理器,用于确定N组校正参数,所述N组校正参数中的第n组校正参数与所述N个单色通道中的第n个单色通道对应,所述第n组校正参数包括对应于所述第n个单色通道的黑电平校正项BLC n和对应于所述第n个单色通道的白平衡增益项G n中的至少一个,其中所述N组校正参数中任意两组校正参数的值不同;
    所述第二处理器,用于根据所述N组校正参数和所述N个单色通道的数据,确定对应于所述初始图像的校正图像。
  13. [根据细则91更正 16.03.2021] 
    如权利要求12所述的摄像设备,其特征在于,所述摄像设备还包括第三处理器,所述第三处理器用于从所述图像传感器获取所述初始图像,将所述初始图像分析为N个单色通道的数据,将所述N个单色通道的数据发送至所述第一处理器和所述第二处理器。
  14. 如权利要求12或13所述的摄像设备,其特征在于,所述第n组校正参数与所述第n个单色通道的累计直方图有关。
  15. 如权利要求14所述的摄像设备,其特征在于,在所述对应于所述第n个单色通道的校正参数包括对应于所述第n个单色通道的黑电平校正项BLC n和对应于所述第n个单色通道的白平衡增益项G的情况下,所述BLC n与所述第n个单色通道的累计直方图有关,所述G n与所述第n个单色通道的累计直方图、所述BLC n和所述初始图像的色深有关。
  16. 如权利要求15所述的摄像设备,其特征在于,所述第一处理器具体用于确定第一预设比例在所述第n个单色通道的累计直方图中对应的分位数为所述BLC n
  17. 如权利要求15或16所述的摄像设备,其特征在于,所述第一处理器,具体用于确定第二预设比例在所述第n个累计直方图中对应的分位数top n;根据所述BLC n、所述top n和所述初始图像的色深,确定所述G n
  18. 如权利要求17所述的摄像设备,其特征在于,所述第一处理器,具体用于根据以下公式确定所述G n
    Figure PCTCN2020109318-appb-100002
    其中,2 bitDepth表示所述初始图像的色深。
  19. 如权利要求12至18中任一项所述的摄像设备,其特征在于,所述第二处理器,具体用于根据所述BLC n、所述G n和所述第n个单色通道的数据,确定所述第n个单色通 道的第一校正数据;
    根据所述N个单色通道的第一校正数据,确定对应于所述初始图像的校正图像。
  20. 如权利要求19所述的摄像设备,其特征在于,所述第二处理器,具体用于根据所述BLC n和所述第n个单色通道的数据,确定所述第n个单色通道的第二校正数据;
    根据所述G n和所述第n个单色通道的第二校正数据,确定所述第n个单色通道的第一校正数据。
  21. 如权利要求20所述的摄像设备,其特征在于,所述第二处理器,具体用于确定所述第n个单色通道的数据与所述BLC n的差为所述第n个单色通道的第二校正数据。
  22. 如权利要求20或21所述的摄像设备,其特征在于,所述第二处理器,具体用于确定所述G n和所述第n个单色通道的第二校正数据的积为所述第n个单色通道的第二校正数据。
  23. 如权利要求12至22中任一项所述的摄像设备,其特征在于,所述初始图像为原始格式的图像。
  24. 一种处理器芯片,其特征在于,所述处理器芯片为如权利要求12至18中任一项所述的第一处理器。
PCT/CN2020/109318 2020-08-14 2020-08-14 处理图像的方法和相关装置 WO2022032666A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080004655.XA CN114375569A (zh) 2020-08-14 2020-08-14 处理图像的方法和相关装置
PCT/CN2020/109318 WO2022032666A1 (zh) 2020-08-14 2020-08-14 处理图像的方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/109318 WO2022032666A1 (zh) 2020-08-14 2020-08-14 处理图像的方法和相关装置

Publications (1)

Publication Number Publication Date
WO2022032666A1 true WO2022032666A1 (zh) 2022-02-17

Family

ID=80247542

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/109318 WO2022032666A1 (zh) 2020-08-14 2020-08-14 处理图像的方法和相关装置

Country Status (2)

Country Link
CN (1) CN114375569A (zh)
WO (1) WO2022032666A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309161B (zh) * 2023-03-17 2024-03-19 内蒙古工业大学 一种改善色觉缺陷者感知图像颜色对比度的方法与装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130308006A1 (en) * 2010-11-01 2013-11-21 Nokia Corporation Tuning of digital image quality
CN106506905A (zh) * 2016-10-20 2017-03-15 湖南国科微电子股份有限公司 镜头阴影校正方法
CN108063926A (zh) * 2017-12-25 2018-05-22 广东欧珀移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN110555805A (zh) * 2018-05-31 2019-12-10 杭州海康威视数字技术股份有限公司 图像处理的方法、装置、设备及存储介质
CN110557584A (zh) * 2018-05-31 2019-12-10 杭州海康威视数字技术股份有限公司 图像处理方法及装置、计算机可读存储介质
CN111016445A (zh) * 2014-09-26 2020-04-17 英特尔公司 使用块匹配的镜头阴影颜色校正的方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970549B (zh) * 2012-09-20 2015-03-18 华为技术有限公司 图像处理方法及装置
CN108632537B (zh) * 2018-05-04 2020-08-21 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130308006A1 (en) * 2010-11-01 2013-11-21 Nokia Corporation Tuning of digital image quality
CN111016445A (zh) * 2014-09-26 2020-04-17 英特尔公司 使用块匹配的镜头阴影颜色校正的方法和系统
CN106506905A (zh) * 2016-10-20 2017-03-15 湖南国科微电子股份有限公司 镜头阴影校正方法
CN108063926A (zh) * 2017-12-25 2018-05-22 广东欧珀移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN110555805A (zh) * 2018-05-31 2019-12-10 杭州海康威视数字技术股份有限公司 图像处理的方法、装置、设备及存储介质
CN110557584A (zh) * 2018-05-31 2019-12-10 杭州海康威视数字技术股份有限公司 图像处理方法及装置、计算机可读存储介质

Also Published As

Publication number Publication date
CN114375569A (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
US11849224B2 (en) Global tone mapping
JP5497151B2 (ja) 自動バックライト検出
US6995791B2 (en) Automatic white balance for digital imaging
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
US8547450B2 (en) Methods and systems for automatic white balance
US8023014B2 (en) Method and apparatus for compensating image sensor lens shading
US10325354B2 (en) Depth assisted auto white balance
US8698918B2 (en) Automatic white balancing for photography
US8243164B2 (en) Method, apparatus, and system for selecting pixels for automatic white balance processing
US20200228770A1 (en) Lens rolloff assisted auto white balance
WO2019104047A1 (en) Global tone mapping
WO2023036034A1 (zh) 图像处理方法及其相关设备
JP2013058859A (ja) 画像処理装置、画像処理方法及びプログラム
US20100238317A1 (en) White balance processing apparatus, method for processing white balance, and white balance processing program
WO2022032666A1 (zh) 处理图像的方法和相关装置
WO2018146945A1 (ja) 動体監視装置および動体監視システム
US20200228769A1 (en) Lens rolloff assisted auto white balance
US9113121B2 (en) Method for white balance adjustment of images
US8390699B2 (en) Opponent color detail enhancement for saturated colors
JP3958700B2 (ja) デジタルカメラ
US20190052803A1 (en) Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium
US20230017498A1 (en) Flexible region of interest color processing for cameras
US10393992B1 (en) Auto focus based auto white balance
CN115170407A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP2014087062A (ja) ホワイトバランス調整方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20949164

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20949164

Country of ref document: EP

Kind code of ref document: A1