WO2022011506A1 - 图像处理的方法和图像处理装置 - Google Patents

图像处理的方法和图像处理装置 Download PDF

Info

Publication number
WO2022011506A1
WO2022011506A1 PCT/CN2020/101670 CN2020101670W WO2022011506A1 WO 2022011506 A1 WO2022011506 A1 WO 2022011506A1 CN 2020101670 W CN2020101670 W CN 2020101670W WO 2022011506 A1 WO2022011506 A1 WO 2022011506A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
full
pixel
rgb
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2020/101670
Other languages
English (en)
French (fr)
Inventor
李伟冲
张玮
程祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Goodix Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Goodix Technology Co Ltd filed Critical Shenzhen Goodix Technology Co Ltd
Priority to PCT/CN2020/101670 priority Critical patent/WO2022011506A1/zh
Publication of WO2022011506A1 publication Critical patent/WO2022011506A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Definitions

  • the embodiments of the present application relate to the field of images, and more particularly, to an image processing method and an image processing apparatus.
  • White, red, green and blue is a four-color pixel design by adding white (W) pixels to the original red, green and blue (RGB). Compared to RGB, WRGB absorbs more light, resulting in higher sensitivity and better imaging performance especially in low light conditions.
  • the embodiments of the present application provide an image processing method and an image processing device, which can convert a WRGB image into an RGB image, and perform fusion on the RGB image, so that the generated RGB image can be better injected with spatial detail information at the same time.
  • the brightness information of W is maintained, which can effectively improve the image quality in low light.
  • a first aspect provides an image processing method, the method comprising: subsampling a WRGB image, obtaining a first sampling image including R pixels, G pixels and B pixels and a second sampling image including W pixels; The first sampled image is converted into a Bayer array image and the second sampled image is interpolated into a full W pixel image; the Bayer array image is demosaiced to generate a first RGB image; according to the full W pixel image, the The first RGB image is pan-sharpened to generate the second RGB image.
  • performing pan-color sharpening processing on the first RGB image according to the full-W pixel image to generate a second RGB image includes: according to For the full W pixel image, image restoration processing is performed on the first RGB image that has undergone panchromatic sharpening processing to generate the second RGB image.
  • the first RGB image is subjected to panchromatic sharpening processing according to the full W pixel image to generate a second
  • the RGB image includes: performing panchromatic sharpening processing on the first RGB image after image restoration processing according to the full W pixel image, so as to generate the second RGB image.
  • the image restoration processing includes automatic white balance AWB, color correction matrix CCM, gamma GAMA or tone curve TONE CURVER.
  • the converting the first sampling image into a Bayer array image includes: performing an average value operation on the first sampling image , to acquire the Bayer array image.
  • performing demosaic processing on the Bayer array image to generate a first RGB image includes: Perform sub-sampling on the positions of the R pixel, B pixel and G pixel in the image to obtain the third sampling map, the fourth sampling map and the fifth sampling map; interpolate the fifth sampling map into a full G pixel image; A full R pixel image is obtained from the G pixel image and the third sampling map, and a full B pixel image is obtained according to the full G pixel image and the fourth sampling map; according to the full G pixel image, the full R pixel image image and the full B pixel image to generate the first RGB image.
  • the acquiring a full R pixel image according to the full G pixel image and the third sampling map, and obtaining a full R pixel image according to the full G pixel image and the third sampling map, and Obtaining a full B pixel image from the pixel image and the fourth sampling map includes: performing guided filtering processing on the full G pixel image and the third sampling map, obtaining an initial estimation map of the full R pixel image, and Perform guided filtering processing on the full G pixel image and the fourth sampled image to obtain an initial estimated image of the full B pixel image; obtain the difference between the third sampled image and the initial estimated image of the full R pixel image
  • the first residual map of , and obtain the second residual map between the fourth sampling map and the initial estimation map of the full B pixel image perform linear interpolation on the first residual map to obtain the first full A resolution residual map and performing linear interpolation on the second residual map to obtain a second full-resolution residual map; performing an
  • the first RGB image is subjected to panchromatic sharpening processing according to the full W pixel image to generate a second
  • the RGB image includes: up-sampling the first RGB image to obtain a third RGB image; and generating the second RGB image according to the third RGB image and the full-W pixel image.
  • generating the second RGB image according to the third RGB image and the full-W pixel image includes: Steering filtering processing is performed on the third RGB image and the full-W pixel image to generate the second RGB image.
  • an image processing apparatus includes: a sampling unit, configured to sub-sample a WRGB image, obtain a first sampling image including R pixels, G pixels, and B pixels, and a first sampling image including W pixels a second sampling image; a Bayer array generating unit for converting the first sampling image into a Bayer array image; an interpolation unit for interpolating the second sampling image into a full W pixel image; a first RGB image generation a unit for performing demosaic processing on the Bayer array image to generate a first RGB image; a second RGB image generating unit for performing panchromatic sharpening on the first RGB image according to the full W pixel image processing to generate a second RGB image.
  • the second RGB image generation unit is specifically configured to: according to the full W pixel image, generate the first RGB image that has undergone panchromatic sharpening processing Image restoration processing is performed to generate the second RGB image.
  • the second RGB image generation unit is specifically configured to: according to the full W pixel image, The first RGB image is pan-sharpened to generate the second RGB image.
  • the image restoration processing includes automatic white balance (Automatic white balance, AWB), color correction matrix (Color Correction Matrix, CCM), GAMMA or TONE CURVER.
  • AWB Automatic white balance
  • CCM Color Correction Matrix
  • GAMMA GAMMA
  • TONE CURVER TONE CURVER
  • the Bayer array generating unit is specifically configured to: perform an average value operation on the first sampling image to obtain the Bayer array image .
  • the first RGB image generation unit is specifically configured to: respectively perform the R pixel, the B pixel, and the G pixel in the Bayer array image. Perform sub-sampling at the position of , to obtain the third sampling image, the fourth sampling image and the fifth sampling image; interpolate the fifth sampling image into a full G pixel image; according to the full G pixel image and the third sampling image Acquire a full R pixel image, and acquire a full B pixel image according to the full G pixel image and the fourth sampling map; generate a full B pixel image according to the full G pixel image, the full R pixel image, and the full B pixel image the first RGB image.
  • the first RGB image generation unit is specifically configured to: guide the full G pixel image and the third sampling image filtering, obtaining an initial estimation image of the full R pixel image, and performing guided filtering processing on the full G pixel image and the fourth sampling image to obtain an initial estimation image of the full B pixel image; obtaining the A first residual map between the third sampling map and the initial estimation map of the full R pixel image, and obtaining a second residual between the fourth sampling map and the initial estimation map of the full B pixel image Figure; perform linear interpolation on the first residual map to obtain a first full-resolution residual map and perform linear interpolation on the second residual map to obtain a second full-resolution residual map; Perform a point addition operation on the initial estimated image of the image and the first full-resolution residual image to obtain the full R pixel image, and perform a point addition operation on the initial estimated image of the full B pixel image and the second full-resolution residual image.
  • a point addition operation on the initial estimated image of the image and the first full-resolution residual image to obtain the
  • the sampling unit is further configured to: perform up-sampling on the first RGB image to obtain a third RGB image;
  • the second RGB image generating unit is specifically configured to: generate the second RGB image according to the third RGB image and the full W pixel image.
  • the second RGB image generation unit is specifically configured to: guide the third RGB image and the full W pixel image filtering to generate the second RGB image.
  • the image processing apparatus further includes: a photoelectric conversion unit, configured to collect the WRGB image.
  • the photoelectric conversion unit is suitable for a charge-coupled device (Charge-coupled Device, CCD) structure or a complementary metal-oxide-semiconductor (Complementary Metal-Oxide-Semiconductor) structure. Oxide Semiconductor, CMOS) structure.
  • a chip including: a processor for calling and running a computer program from a memory, so that a device installed with the chip executes the method in the first aspect or each of its implementations.
  • an image processing apparatus comprising: a processor and a memory, the memory is used for storing a computer program, the processor is used for calling and running the computer program stored in the memory, and executing the above-mentioned first aspect or a method in each of its implementations.
  • a computer-readable storage medium for storing a computer program, and the computer program causes a computer to execute the method in the above-mentioned first aspect or each of its implementations.
  • FIG. 1 is a system architecture diagram of an image processing apparatus according to an embodiment of the present application.
  • Figure 2 is a schematic representation of a Bayer array image.
  • Figure 3 is a schematic diagram of a WRGB image.
  • FIG. 4 is a schematic block diagram of an image processing method according to an embodiment of the present application.
  • FIG. 5 is a process diagram of an image processing method according to an embodiment of the present application.
  • FIG. 6 is a schematic diagram of each pixel value of a sub-sampling map in an embodiment of the present application.
  • FIG. 7 is a process diagram of demosaic processing according to an embodiment of the present application.
  • FIG. 8 is a process diagram of a panchromatic sharpening process according to an embodiment of the present application.
  • FIG. 9(a), FIG. 9(b), and FIG. 9(c) respectively show the WRGB image of the same image and the effect diagram obtained by using the image processing method of the embodiment of the present application.
  • FIG. 10 shows a schematic block diagram of an image processing apparatus according to an embodiment of the present application.
  • FIG. 11 shows a schematic block diagram of a chip according to an embodiment of the present application.
  • FIG. 1 shows a schematic block diagram of an image processing apparatus 100.
  • the image processing apparatus 100 may refer to any electronic device.
  • the image processing apparatus 100 may be a mobile phone; or, the image processing apparatus 100 may also be an electronic device.
  • a part of, for example, a camera module in an electronic device, and the embodiment of the present application is not limited to this.
  • the image processing apparatus 100 generally includes a pixel array (Pixel Array) 101 (or may also be referred to as a photoelectric conversion unit 101 or an image sensor 101), a signal reading circuit 102, a signal processor 103, a controller 104, Interface circuit 105 and power supply 106 .
  • the electrical signal output terminal of the pixel array 101 is connected to the input terminal of the signal reading circuit 102
  • the control terminal of the pixel array 101 is connected to the output terminal of the controller 104
  • the output terminal of the signal reading circuit 102 is connected to the output terminal of the signal processor 103 .
  • the input terminal is connected, and the power supply 106 is used to provide power for the signal reading circuit 102 , the signal processor 103 , the controller 104 and the interface circuit 105 .
  • the pixel array 101 is used to collect the optical signal returned by the imaging object, convert the optical signal into an electrical signal, and reflect the optical image of the imaging object through the intensity of the electrical signal.
  • the signal reading circuit 102 is used to read the electrical signal output by each pixel.
  • the signal processor 103 is configured to perform analog-to-digital conversion on the electrical signals output by the pixel array, and output image data of the imaging object.
  • the interface circuit 105 is used for externally transmitting image data.
  • the controller 104 is used for outputting a control signal, and the control signal is used for controlling each pixel in the pixel array to work together.
  • each pixel structure in the pixel array 101 is similar, and generally, each pixel structure may include a lens (or a microlens), a color filter and a photosensitive element. Wherein, the lens is located above the filter, and the filter is located above the photosensitive element. After passing through the imaging object, the returned light is focused by the lens, and then emitted from the exit area of the lens. After being filtered by a filter, it is injected into a photosensitive element such as a photodiode (PD), and the photosensitive element converts the light signal into electricity. Signal.
  • a photosensitive element such as a photodiode (PD)
  • the pixels may include red pixels (hereinafter referred to as R pixels), green pixels (hereinafter referred to as G pixels) and blue pixels (hereinafter referred to as B pixels).
  • R pixels means that only red light enters the photosensitive element after being filtered by the filter.
  • G pixels green pixels
  • B pixels blue pixels
  • the principle of the G pixel and the B pixel is the same as that of the R pixel, and will not be repeated here.
  • each pixel in the pixel array can only convert one type of optical signal into an electrical signal, and then combine the optical signals collected by other types of pixels around to perform interpolation operations, which can be restored.
  • This process is also called demosaicing (Demosaicing), which is usually done in the processor. For example, if the current pixel is an R pixel, and the R pixel can only convert the red light signal into an electrical signal, you can combine the electrical signals collected by the surrounding B pixels or G pixels to restore the blue light and green light intensity of the current pixel to determine the current pixel. image color.
  • CFA Color Filter Array
  • the included CFA adopts the Bayer format based on RGB three primary colors as shown in FIG. 2 .
  • the characteristic of the Bayer format is that its basic unit is a 2 ⁇ 2 four-pixel array, including one red pixel R, one blue pixel B and two green pixels G, wherein the two green pixels G are arranged adjacent to each other at the same vertex. . Since any pixel can actually only obtain a signal of a certain color in RGB, it must be realized through a specific image processing algorithm to restore the complete color information.
  • WRGB CFA also suffers from problems: reduced color resolution, increased color noise, and degraded image quality. Therefore, the embodiments of the present application provide an image processing method to solve this problem.
  • WRGB refers to a format including W pixels, R pixels, G pixels, and B pixels, and this format has nothing to do with the arrangement of each pixel, which may also be referred to as RGBW.
  • FIG. 4 shows a schematic block diagram of a method 200 for image processing according to an embodiment of the present application.
  • the method 200 may be executed by the image processing apparatus 100 shown in FIG. 1 , and specifically, may be executed by the processor 103 in the image processing apparatus 100 .
  • the method 200 may include some or all of the following:
  • S210 Subsampling the WRGB image to obtain a first sampling image including R pixels, G pixels, and B pixels, and a second sampling image including W pixels.
  • S220 Convert the first sampling image into a Bayer array image.
  • S250 Perform pan-color sharpening processing on the first RGB image according to the full-W pixel image to generate a second RGB image.
  • the size of the sequence numbers of the above-mentioned processes does not mean the sequence of execution, and the execution sequence of each process should be determined by its functions and internal logic, and should not be dealt with in this application.
  • the implementation of the embodiments constitutes no limitation.
  • the image sensor in the embodiment of the present application may include a photosensitive unit array and a filter unit array as shown in FIG. 3 , wherein the filter unit in the filter unit array may be the same as the photosensitive unit array.
  • the green filter unit in the filter unit array is used to output green light
  • the red filter unit is used to output red light
  • the blue filter unit is used to output blue light
  • the white filter unit is used to output white light.
  • the photosensitive unit corresponding to the green filter unit outputs G pixels
  • the photosensitive unit corresponding to the blue filter unit outputs B pixels
  • the photosensitive unit corresponding to the red filter unit outputs R pixels
  • the photosensitive unit corresponding to the white filter unit outputs W Pixels, that is, the image format captured by the image sensor is WRGB.
  • FIG. 5 shows the architecture of the image processing flow of the embodiment of the present application executed by the processor.
  • the processor performs subsampling on the acquired WRGB image, and obtains a first sampled image that only includes B pixels, R pixels, and G pixels, and a first sampling image that only includes WRGB pixels.
  • the second sampling image of the pixels wherein the positions of the B pixels, R pixels and G pixels in the first sampling image are still the positions of the corresponding pixels in the WRGB image, and the position of the W pixel in the second sampling image is also the WRGB image. pixel location.
  • the processor may convert the first sampled image into a Bayer array image, for example, the processor may perform an average operation on the first sampled image to obtain a Bayer array image. Assuming that each pixel value in the first sampling image is shown in Figure 6, then each pixel value in the converted Bayer array image can be respectively
  • the processor may also perform other operations on the first sample map, such as a maximum value operation, to obtain a Bayer array image. That is, each pixel value in the converted Bayer array image can be respectively max ⁇ B 1,2 ,B 2,1 ⁇ ,max ⁇ G 1,4 ,G 2,3 ⁇ ,max ⁇ G 3,2 ,G 4 , 1 ⁇ ,max ⁇ R 3,4 ,R 4,3 ⁇ .
  • the processor may interpolate the second sample image into a full W pixel image. That is, by setting W pixels at the positions of pixels other than W pixels in the WRGB image, a full-resolution luminance image can be obtained.
  • the converted Bayer array image can be further processed.
  • the processor may perform demosaicing (Demosaicing) processing on the converted Bayer array image to obtain a low-resolution first RGB image.
  • the fifth sampling image is interpolated into a full G pixel image; a full R pixel image is obtained according to the full G pixel image and the third sampling image, and a full G pixel image is obtained according to the full G pixel image and the fourth sampling image.
  • B pixel image sub-sampling the positions of the R pixel, B pixel, and G pixel in the Bayer array image, respectively, to obtain the third sampling map, the fourth sampling map, and the fifth sampling map;
  • the fifth sampling image is interpolated into a full G pixel image; a full R pixel image is obtained according to the full G pixel image and the third sampling image, and a full G pixel image is obtained according to the full G pixel image and the fourth sampling image.
  • B pixel image sub-sampling the positions of the R pixel, B
  • the input of the demosaicing process is a Bayer array image
  • the output is a first RGB image.
  • Step 1 The Bayer array image can be sub-sampled at the R pixel, B pixel and G pixel positions, respectively, to obtain the corresponding sampling images, namely the third sampling image, the fourth sampling image and the fifth sampling image, which are denoted as R s respectively. , B s , G s .
  • Step 2 Perform linear interpolation on G s to obtain an interpolated full G pixel image, denoted as G.
  • Step 3 According to G and R s , obtain a full-R pixel image, denoted as R; according to G and B s , obtain a full-B pixel image, denoted as B. specifically,
  • Step 3.1 Using G as the guide map, apply the guide filter algorithm to G and R s to obtain the initial estimation map of the full resolution of the R channel, that is, the initial estimation map of the full R pixel image, denoted as Taking G as the guide map, apply the Guided Filter algorithm to G and B s to obtain the initial estimation map of the full resolution of the B channel, that is, the initial estimation map of the full B pixel image, denoted as
  • the guided filtering algorithm in step 3.1 can also be replaced with other algorithms, such as joint bilateral filtering, hybrid color mapping (Hybrid Color Mapping, HCM).
  • Step 3.2 Calculate the residual ⁇ R at the R channel position, mathematically expressed as R M represents a binary image, the value of the R channel at position 1, the position of the other is 0; residual Delta] B is calculated, the mathematical channel position indicated as B M B represents a binary image, and the value is 1 in the B channel position and 0 in other positions.
  • Step 3.3 perform linear interpolation on the residual ⁇ R obtained in step 3.2 to obtain the full-resolution residual image after interpolation
  • Step 3.3 perform linear interpolation on the residual ⁇ B obtained in step 3.2 to obtain the full-resolution residual map after interpolation
  • Step 3.4 the full resolution residual map obtained in step 3.3
  • Step 4 Combine the full G pixel image, the full R pixel image and the full B pixel image obtained in Step 2 and Step 3 to obtain a first RGB image.
  • the first RGB image obtained through mosaic processing is a low-resolution image, and in order to obtain a second RGB image with full resolution, the first RGB image also needs to be processed in the next step.
  • the processor may perform pan sharpening (Pansharpening) processing on the mosaic-processed first RGB image according to the full-W pixel image to obtain a full-resolution second RGB image.
  • pan sharpening is also called image fusion.
  • the panchromatic sharpening process may include: up-sampling the first RGB image to obtain a third RGB image; according to the third RGB image and the full W pixel image to generate the second RGB image.
  • the input is the first RGB image with low resolution, denoted as RGB 1r and the full W pixel image, denoted as W
  • the output is the second RGB image with full resolution, denoted as RGB.
  • Step 1 Bilinear interpolation can be performed on RGB 1r to obtain an initial estimated image of RGB after up-sampling, which is denoted as RGB hr , and the initial estimated image of RGB is a full-resolution image.
  • Step 2 You can use W as the guide map, and apply guided filtering operations to the R, G, and B channels of RGB hr to obtain RGB. Specifically, taking the R channel as an example, it is mathematically expressed as:
  • R i,j a p,q ⁇ W i,j +b p,q
  • G i,j a p,q ⁇ W i,j +b p,q
  • R i, j is the pixel value j positions of RGB of R pixels in the image i
  • B i, j is the RGB B pixels in the image i
  • G i, j is the RGB G pixel image
  • the pixel values at positions i and j in the middle, R hri, j are the pixel values at positions i, j in the R pixel image in RGB hr
  • B hri, j are the pixel values at positions i, j in the B pixel image in RGB hr
  • G hri, j is the pixel value of position i, j in the G pixel image in RGB
  • Wi j is the pixel value of position i, j in W
  • ⁇ p, q represents the window of size p, q.
  • the image processing method of the embodiment of the present application can convert a WRGB image into an RGB image, and fuse the W image on the RGB image, so that the processed RGB image can better maintain the W image while injecting spatial detail information.
  • the brightness information can effectively improve the image quality in low light conditions.
  • an image restoration (Color Reproduction) process may also be performed on the processed RGB image.
  • image restoration processing may be performed on the first RGB image
  • full-color sharpening processing may be performed on the first RGB image after image restoration processing according to the full W pixel image, thereby obtaining the second RGB image.
  • ISP Image Signal Processor
  • image restoration processing may be performed to obtain the second RGB image. This scheme is more conducive to the color restoration of RGB images.
  • FIG. 9(a), FIG. 9(b), and FIG. 9(c) respectively show the WRGB image of the same image and the effect diagram obtained by using the technical solutions of the embodiments of the present application.
  • Fig. 9(a) is a WRGB image
  • Fig. 9(b) is an RGB image obtained by first performing image restoration processing and then performing panchromatic sharpening processing
  • Fig. 9(c) is a
  • the technical solutions of the embodiments of the present application can improve the image quality.
  • the image processing method according to the embodiment of the present application is described in detail above.
  • the image processing apparatus according to the embodiment of the present application will be described below with reference to FIG. 10 .
  • the technical features described in the method embodiment are applicable to the following device embodiments.
  • FIG. 10 shows a schematic block diagram of an image processing apparatus 300 according to an embodiment of the present application.
  • the image processing apparatus 300 includes:
  • the sampling unit 310 is configured to perform sub-sampling on the WRGB image, and obtain a first sampling image including R pixels, G pixels and B pixels, and a second sampling image including W pixels.
  • the Bayer array generating unit 320 is configured to convert the first sampling image into a Bayer array image.
  • the interpolation unit 330 is configured to interpolate the second sample image into a full W pixel image.
  • the first RGB image generating unit 340 is configured to perform demosaic processing on the Bayer array image to generate a first RGB image.
  • the second RGB image generating unit 350 is configured to perform pan-color sharpening processing on the first RGB image according to the full W pixel image, so as to generate a second RGB image.
  • the image processing device of the embodiment of the present application can convert a WRGB image into an RGB image, and perform image fusion on the RGB image, so that the generated RGB image can be injected with spatial detail information and can better maintain the W RGB image. Brightness information, which can effectively improve the image quality in low light.
  • the second RGB image generation unit is specifically configured to: perform image restoration processing on the first RGB image that has undergone panchromatic sharpening processing according to the full W pixel image, so as to generate the Second RGB image.
  • the second RGB image generation unit is specifically configured to: perform panchromatic sharpening processing on the first RGB image that has undergone image restoration processing according to the full W pixel image, so as to generate the Second RGB image.
  • the image restoration processing includes automatic white balance AWB, color correction matrix CCM, gamma GAMA or tone curve TONE CURVER.
  • the Bayer array generation unit is specifically configured to: perform an average value operation on the first sampling image to obtain the Bayer array image.
  • the first RGB image generation unit is specifically configured to: respectively perform sub-sampling on the positions of the R pixel, the B pixel and the G pixel in the Bayer array image, and obtain the third sampling map, the Four sampling images and a fifth sampling image; interpolate the fifth sampling image into a full G pixel image; obtain a full R pixel image according to the full G pixel image and the third sampling image, and obtain a full R pixel image according to the full G pixel image and the third sampling image Four-sampled image to obtain full B pixel image.
  • the first RGB image unit is specifically configured to: perform guided filtering processing on the full G pixel image and the third sampling map, and obtain an initial estimation map of the full R pixel image, and Perform guided filtering processing on the full G pixel image and the fourth sampled image to obtain an initial estimated image of the full B pixel image; a residual map, and obtain a second residual map between the fourth sampling map and the initial estimation map of the full B-pixel image; perform linear interpolation on the first residual map to obtain a first full resolution Residual map and performing linear interpolation on the second residual map to obtain a second full-resolution residual map; performing point addition on the initial estimation map of the full-R pixel image and the first full-resolution residual map operation is performed to obtain the full R pixel image, and a point addition operation is performed on the initial estimation image of the full B pixel image and the second full resolution residual image to obtain the full B pixel image.
  • the sampling unit is further configured to: upsample the first RGB image to obtain a third RGB image;
  • the second RGB image generation unit is specifically configured to: according to the third RGB image image and the full W pixel image to generate the second RGB image.
  • the processing second RGB image generating unit is specifically configured to: perform guided filtering processing on the third RGB image and the full-W pixel image, so as to generate the second RGB image.
  • the image processing apparatus further includes: a photoelectric conversion unit 350, configured to collect the WRGB image.
  • the photoelectric conversion unit is suitable for a charge coupled device CCD structure or a complementary metal oxide semiconductor CMOS structure.
  • FIG. 11 is a schematic structural diagram of an image processing apparatus 400 provided by an embodiment of the present application.
  • the image processing apparatus 400 shown in FIG. 11 includes a processor 410, and the processor 410 can call and run a computer program from a memory, so as to implement the methods in the embodiments of the present application.
  • the image processing apparatus 400 may further include a memory 420 .
  • the processor 410 may call and run a computer program from the memory 420 to implement the methods in the embodiments of the present application.
  • the memory 420 may be a separate device independent of the processor 410 , or may be integrated in the processor 410 .
  • the image processing apparatus 400 may specifically be the image processing apparatus of the embodiment of the present application, and the image processing apparatus 400 may implement the corresponding processes implemented by the image processing apparatus in each method of the embodiment of the present application. This will not be repeated here.
  • Embodiments of the present application further provide a chip, where the chip includes a processor, and the processor can call and run a computer program from a memory to implement the methods in the embodiments of the present application.
  • the chip can be applied to the image processing apparatus in the embodiments of the present application, and the chip can implement the corresponding processes implemented by the image processing apparatus in each method of the embodiments of the present application, which is not repeated here for brevity.
  • the chip mentioned in the embodiments of the present application may also be referred to as a system-on-chip, a system-on-chip, a system-on-chip, or a system-on-a-chip, or the like.
  • the embodiments of the present application further provide a computer-readable medium, which is used for storing a computer program to implement the methods in the embodiments of the present application.
  • the processor in this embodiment of the present application may be an integrated circuit chip, which has a signal processing capability.
  • each step of the above method embodiments may be completed by a hardware integrated logic circuit in a processor or an instruction in the form of software.
  • the above-mentioned processor can be a general-purpose processor, a digital signal processor (Digital Signal Processor, DSP), an application specific integrated circuit (Application Specific Integrated Circuit, ASIC), a field programmable gate array (Field Programmable Gate Array, FPGA) or other possible Programming logic devices, discrete gate or transistor logic devices, discrete hardware components.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • a general purpose processor may be a microprocessor or the processor may be any conventional processor or the like.
  • the steps of the method disclosed in conjunction with the embodiments of the present application may be directly embodied as executed by a hardware decoding processor, or executed by a combination of hardware and software modules in the decoding processor.
  • the software modules may be located in random access memory, flash memory, read-only memory, programmable read-only memory or electrically erasable programmable memory, registers and other storage media mature in the art.
  • the storage medium is located in the memory, and the processor reads the information in the memory, and completes the steps of the above method in combination with its hardware.
  • the memory in this embodiment of the present application may be a volatile memory or a non-volatile memory, or may include both volatile and non-volatile memory.
  • the non-volatile memory may be a read-only memory (Read-Only Memory, ROM), a programmable read-only memory (Programmable ROM, PROM), an erasable programmable read-only memory (Erasable PROM, EPROM), an electrically programmable read-only memory (Erasable PROM, EPROM). Erase programmable read-only memory (Electrically EPROM, EEPROM) or flash memory.
  • Volatile memory may be Random Access Memory (RAM), which acts as an external cache.
  • RAM Static RAM
  • DRAM Dynamic RAM
  • SDRAM Synchronous DRAM
  • SDRAM double data rate synchronous dynamic random access memory
  • Double Data Rate SDRAM DDR SDRAM
  • enhanced SDRAM ESDRAM
  • synchronous link dynamic random access memory Synchlink DRAM, SLDRAM
  • Direct Rambus RAM Direct Rambus RAM
  • the memory in the embodiment of the present application may also be a static random access memory (static RAM, SRAM), a dynamic random access memory (dynamic RAM, DRAM), Synchronous dynamic random access memory (synchronous DRAM, SDRAM), double data rate synchronous dynamic random access memory (double data rate SDRAM, DDR SDRAM), enhanced synchronous dynamic random access memory (enhanced SDRAM, ESDRAM), synchronous connection Dynamic random access memory (synch link DRAM, SLDRAM) and direct memory bus random access memory (Direct Rambus RAM, DR RAM) and so on. That is, the memory in the embodiments of the present application is intended to include but not limited to these and any other suitable types of memory.
  • the disclosed system, apparatus and method may be implemented in other manners.
  • the apparatus embodiments described above are only illustrative.
  • the division of the units is only a logical function division. In actual implementation, there may be other division methods.
  • multiple units or components may be combined or Can be integrated into another system, or some features can be ignored, or not implemented.
  • the shown or discussed mutual coupling or direct coupling or communication connection may be through some interfaces, indirect coupling or communication connection of devices or units, and may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution in this embodiment.
  • each functional unit in each embodiment of the present application may be integrated into one processing unit, or each unit may exist physically alone, or two or more units may be integrated into one unit.
  • the functions, if implemented in the form of software functional units and sold or used as independent products, may be stored in a computer-readable storage medium.
  • the technical solution of the present application can be embodied in the form of a software product in essence, or the part that contributes to the prior art or the part of the technical solution.
  • the computer software product is stored in a storage medium, including Several instructions are used to cause a computer device (which may be a personal computer, a server, or a network device, etc.) to execute all or part of the steps of the methods described in the various embodiments of the present application.
  • the aforementioned storage medium includes: U disk, mobile hard disk, read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disk or optical disk and other media that can store program codes .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种图像处理的方法和图像处理装置，该方法包括：对WRGB图像进行子采样，获取包括R像素、G像素以及B像素的第一采样图和包括W像素的第二采样图（210）；将所述第一采样图转换成拜耳阵列图像（220）；将所述第二采样图内插成全W像素图像（230）；对所述拜耳阵列图像进行去马赛克处理，以生成第一RGB图像（240）；根据所述全W像素图像，对所述第一RGB图像进行全色锐化处理，以生成第二RGB图像（250）。该方法和装置，能够将WRGB图像转换成RGB图像，并且是在RGB图像上进行融合，使得对生成的RGB图像在注入空间细节信息的同时能更好的保持W的亮度信息，从而可以有效地提升暗光下的图像质量。

Description

图像处理的方法和图像处理装置 技术领域
本申请实施例涉及图像领域，并且更具体地，涉及图像处理的方法和图像处理装置。
背景技术
白红绿蓝(WRGB)是在原有红绿蓝(RGB)的基础上加入了白色(W)像素，成为四色型像素设计。与RGB相比，WRGB能吸收更多的光，从而具有更高的灵敏度，尤其在低光条件下具有更好的成像性能。
虽然WRGB在灵敏度方面有所提高，但是仍会遭受空间分辨率下降的困扰，从而导致图像质量不高。
发明内容
本申请实施例提供一种图像处理的方法和图像处理装置，能够将WRGB图像转换成RGB图像，并且是在RGB图像上进行融合，使得对生成的RGB图像在注入空间细节信息的同时能更好的保持W的亮度信息，从而可以有效地提升暗光下的图像质量。
第一方面，提供了一种图像处理的方法，该方法包括：对WRGB图像进行子采样，获取包括R像素、G像素以及B像素的第一采样图和包括W像素的第二采样图；将该第一采样图转换成拜耳阵列图像以及将该第二采样图内插成全W像素图像；对该拜耳阵列图像进行去马赛克处理，以生成第一RGB图像；根据该全W像素图像，对该第一RGB图像进行全色锐化处理，以生成第二RGB图像。
结合第一方面，在第一方面的一种实现方式中，所述根据所述全W像素图像，对所述第一RGB图像进行全色锐化处理，以生成第二RGB图像，包括：根据所述全W像素图像，将经过全色锐化处理的所述第一RGB图像进行图像还原处理，以生成所述第二RGB图像。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，所述根据所述全W像素图像，对所述第一RGB图像进行全色锐化处理，以生成第二RGB图像，包括：根据所述全W像素图像，对经过图像还原处理的 所述第一RGB图像进行全色锐化处理，以生成所述第二RGB图像。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，所述图像还原处理包括自动白平衡AWB、颜色校正矩阵CCM、伽马GAMA或色调曲线TONE CURVER。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，所述将所述第一采样图转换成拜耳阵列图像，包括：对所述第一采样图进行平均值运算，获取所述拜耳阵列图像。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，所述对所述拜耳阵列图像进行去马赛克处理，以生成第一RGB图像，包括：分别对所述拜耳阵列图像中R像素、B像素以及G像素的位置进行子采样，获取第三采样图、第四采样图和第五采样图；将所述第五采样图内插成全G像素图像；根据所述全G像素图像和所述第三采样图获取全R像素图像，以及根据所述全G像素图像和所述第四采样图获取全B像素图像；根据所述全G像素图像、所述全R像素图像以及所述全B像素图像，生成所述第一RGB图像。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，所述根据所述全G像素图像和所述第三采样图获取全R像素图像，以及根据所述全G像素图像和所述第四采样图获取全B像素图像，包括：对所述全G像素图像和所述第三采样图进行引导滤波处理，获取所述全R像素图像的初始估计图，以及对所述全G像素图像和所述第四采样图进行引导滤波处理，获取所述全B像素图像的初始估计图；获取所述第三采样图与所述全R像素图像的初始估计图之间的第一残差图，以及获取所述第四采样图与所述全B像素图像的初始估计图之间的第二残差图；对所述第一残差图进行线性插值得到第一全分辨率残差图以及对所述第二残差图进行线性插值得到第二全分辨率残差图；对所述全R像素图像的初始估计图与所述第一全分辨率残差图进行点加运算，获取所述全R像素图像，以及对所述全B像素图像的初始估计图与所述第二全分辨率残差图进行点加运算，获取所述全B像素图像。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，所述根据所述全W像素图像，对所述第一RGB图像进行全色锐化处理，以生成第二RGB图像，包括：对所述第一RGB图像进行上采样，得到第三RGB 图像；根据所述第三RGB图像以及所述全W像素图像，以生成所述第二RGB图像。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，所述根据所述第三RGB图像以及所述全W像素图像，以生成所述第二RGB图像，包括：对所述第三RGB图像以及所述全W像素图像进行导向滤波处理，以生成所述第二RGB图像。
第二方面，提供了一种图像处理装置，该图像处理装置包括：采样单元，用于对WRGB图像进行子采样，获取包括R像素、G像素以及B像素的第一采样图和包括W像素的第二采样图；拜耳阵列生成单元，用于将所述第一采样图转换成拜耳阵列图像；内插单元，用于将所述第二采样图内插成全W像素图像；第一RGB图像生成单元，用于对所述拜耳阵列图像进行去马赛克处理，以生成第一RGB图像；第二RGB图像生成单元，用于根据所述全W像素图像，对所述第一RGB图像进行全色锐化处理，以生成第二RGB图像。
结合第二方面，在第二方面的一种实现方式中，所述第二RGB图像生成单元具体用于：根据所述全W像素图像，将经过全色锐化处理的所述第一RGB图像进行图像还原处理，以生成所述第二RGB图像。
结合第二方面及其上述实现方式，在第二方面的另一种实现方式中，所述第二RGB图像生成单元具体用于：根据所述全W像素图像，对经过图像还原处理的所述第一RGB图像进行全色锐化处理，以生成所述第二RGB图像。
结合第二方面及其上述实现方式，在第二方面的另一种实现方式中，所述图像还原处理包括自动白平衡(Automatic white balance，AWB)、颜色校正矩阵(Color Correction Matrix，CCM)、伽马GAMMA或色调曲线TONE CURVER。
结合第二方面及其上述实现方式，在第二方面的另一种实现方式中，所述拜耳阵列生成单元具体用于：对所述第一采样图进行平均值运算，获取所述拜耳阵列图像。
结合第二方面及其上述实现方式，在第二方面的另一种实现方式中，所述第一RGB图像生成单元具体用于：分别对所述拜耳阵列图像中R像素、B像素以及G像素的位置进行子采样，获取第三采样图、第四采样图和第五 采样图；将所述第五采样图内插成全G像素图像；根据所述全G像素图像和所述第三采样图获取全R像素图像，以及根据所述全G像素图像和所述第四采样图获取全B像素图像；根据所述全G像素图像、所述全R像素图像以及所述全B像素图像，生成所述第一RGB图像。
结合第二方面及其上述实现方式，在第二方面的另一种实现方式中，所述第一RGB图像生成单元具体用于：对所述全G像素图像和所述第三采样图进行引导滤波处理，获取所述全R像素图像的初始估计图，以及对所述全G像素图像和所述第四采样图进行引导滤波处理，获取所述全B像素图像的初始估计图；获取所述第三采样图与所述全R像素图像的初始估计图之间的第一残差图，以及获取所述第四采样图与所述全B像素图像的初始估计图之间的第二残差图；对所述第一残差图进行线性插值得到第一全分辨率残差图以及对所述第二残差图进行线性插值得到第二全分辨率残差图；对所述全R像素图像的初始估计图与所述第一全分辨率残差图进行点加运算，获取所述全R像素图像，以及对所述全B像素图像的初始估计图与所述第二全分辨率残差图进行点加运算，获取所述全B像素图像。
结合第二方面及其上述实现方式，在第二方面的另一种实现方式中，所述采样单元还用于：对所述第一RGB图像进行上采样，得到第三RGB图像；所述第二RGB图像生成单元具体用于：根据所述第三RGB图像以及所述全W像素图像，以生成所述第二RGB图像。
结合第二方面及其上述实现方式，在第二方面的另一种实现方式中，所述第二RGB图像生成单元具体用于：对所述第三RGB图像以及所述全W像素图像进行导向滤波处理，以生成所述第二RGB图像。
结合第二方面及其上述实现方式，在第二方面的另一种实现方式中，所述图像处理装置还包括：光电转换单元，用于采集所述WRGB图像。
结合第二方面及其上述实现方式，在第二方面的另一种实现方式中，所述光电转换单元适用于电荷耦合装置(Charge-coupled Device，CCD)结构或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)结构。
第三方面，提供了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行上述第一方面或其各实现方式中的方法。
第四方面，提供了一种图像处理装置，包括：处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，执行上述第一方面或其各实现方式中的方法。
第五方面，提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行上述第一方面或其各实现方式中的方法。
附图说明
图1是根据本申请实施例的图像处理装置的系统架构图。
图2是拜耳阵列图像的示意图。
图3是WRGB图像的示意图。
图4是根据本申请实施例的图像处理的方法的示意性框图。
图5是根据本申请实施例的图像处理的方法的过程图。
图6是本申请实施例中的子采样图的各个像素值的示意图。
图7是本申请实施例的去马赛克处理的过程图。
图8是本申请实施例的全色锐化处理的过程图。
图9(a)、图9(b)以及图9(c)分别示出了同一幅图的WRGB图像以及使用本申请实施例的图像处理的方法所得到的效果图。
图10示出了本申请实施例的图像处理装置的示意性框图。
图11示出了本申请实施例的芯片的示意性框图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
图像处理装置是利用像素阵列的光电转换功能，将成像对象的光像转换为与光像成相应比例关系的电信号，进而获得成像对象的图像。图1示出了一种图像处理装置100的示意性框图，该图像处理装置100可以指任意电子设备，例如，该图像处理装置100可以为手机；或者，该图像处理装置100也可以为电子设备的一部分，例如，可以为电子设备中的摄像模组，本申请实施例并不限于此。
如图1所示，图像处理装置100通常包括像素阵列(Pixel Array)101(或者也可以称为光电转换单元101或者图像传感器101)、信号读取电路102、信号处理器103、控制器104、接口电路105以及电源106。其中，像 素阵列101的电信号输出端与信号读取电路102的输入端连接，像素阵列101的控制端与控制器104的输出端连接，信号读取电路102的输出端与信号处理器103的输入端连接，电源106用于为信号读取电路102、信号处理器103、控制器104以及接口电路105提供电源。
其中，像素阵列101用于采集经由成像对象返回的光信号，并将该光信号转换为电信号，通过电信号强弱反应成像对象的光像。信号读取电路102用于读取每个像素输出的电信号。信号处理器103用于对像素阵列输出的电信号进行模数转换，输出成像对象的图像数据。接口电路105用于向外传输图像数据。控制器104用于输出控制信号，控制信号用于控制像素阵列中每个像素协同工作。
其中，图像处理装置100的核心部件就是像素阵列101。像素阵列101中的每个像素结构相似，通常每个像素结构可以包括透镜(或者微透镜)、滤光片(Color Filter)以及光敏元件。其中，透镜位于滤光片的上方，滤光片位于光敏元件的上方。经由成像对象后返回的光经过透镜聚焦后，由透镜出射区域射出，经过滤光片过滤后，射入例如光电二极管(Photo-Diode，PD)等光敏元件，由光敏元件将光信号转换为电信号。根据不同滤光片所能透过的光的类型，像素可以包括红色像素(以下称为R像素)、绿色像素(以下称为G像素)以及蓝色像素(以下称为B像素)。R像素是指经过滤光片过滤后仅有红色光射入光敏元件，G像素和B像素的原理与R像素相同，此处不再赘述。
其中，图像传感器生成彩色图像数据的原理为：像素阵列中每个像素仅能将一种类型的光信号转换为电信号，再结合周围其他类型的像素采集的光信号进行插值运算，即可还原出当前像素所采集区域的图像颜色，这一过程也称作去马赛克(Demosaicing)，通常在处理器中完成。例如：当前像素为R像素，R像素仅能将红色光信号转换电信号，则可以结合周围的B像素或者G像素采集的电信号，还原出当前像素的蓝色光和绿色光强度，确定当前像素的图像颜色。
因此，为了采集彩色图像，需要像素阵列中包括的光敏元件阵列上方设置颜色特定排布的滤色器，或者也可以称为颜色滤镜阵列(Color Filter Array，CFA)。目前，对于大部分像素阵列，例如CCD和CMOS图像传感器，其包括的CFA采用如图2所示的基于RGB三原色的Bayer格式。Bayer格式的 特点是其基本单元是一个2×2的四像素阵列，包括1个红色像素R，一个蓝色像素B以及2个绿色像素G，其中，两个绿色像素G共顶角相邻设置。由于任一像素实际只能获得RGB中某一种颜色的信号，要还原出完整的色彩信息就必须通过特定的图像处理算法加以实现。
这种纯RGB的bayer布局，仅允许通过特定颜色的光，也就是会截断大部分的光子，那么在低光照环境下，就可能无法准确的还原图像。因此，采用如图3所示的基于WRGB四色型像素设计的CFA应运而生，其主要是将发送全部波长光的白色像素W添加至RGB阵列中。与标准的Bayer CFA相比，WRGB CFA能吸收更多的光，可以增加每个像素的电荷积累量，从而具有更高的灵敏度，尤其在低光条件下有更好的成像性能。
但是WRGB CFA也同样存在问题：颜色分辨率降低，颜色噪声增加以及图像质量退化。因此，本申请实施例提供了一种图像处理的方法，以此来解决该问题。
需要说明的是，WRGB是指包括W像素、R像素、G像素和B像素的格式，该格式与各个像素的排列方式无关，其也可以称为RGBW。
图4示出了本申请实施例的图像处理的方法200的示意性框图。该方法200可以由图1所示的图像处理装置100执行，具体地，可以由图像处理装置100中的处理器103执行。如图4所示，该方法200可以包括以下部分或全部内容：
S210，对WRGB图像进行子采样，获取包括R像素、G像素以及B像素的第一采样图和包括W像素的第二采样图。
S220，将所述第一采样图转换成拜耳阵列图像。
S230，将所述第二采样图内插成全W像素图像。
S240，对所述拜耳阵列图像进行去马赛克处理，以生成第一RGB图像。
S250，根据所述全W像素图像，对所述第一RGB图像进行全色锐化处理，以生成第二RGB图像。
需要说明的是，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本申请实施例中的图像传感器(即像素阵列或光电转换单元)可以包括感光单元阵列和如图3所示的滤光单元阵列，其中，滤光单元阵列中的滤光 单元可以与感光单元阵列中的感光单元一一对应。滤光单元阵列中的绿色滤光单元用于输出绿光，红色滤光单元用于输出红光，蓝色滤光单元用于输出蓝光，白色滤光单元用于输出白光，感光单元阵列中与绿色滤光单元对应的感光单元输出G像素，与蓝色滤光单元对应的感光单元输出B像素，与红色滤光单元对应的感光单元输出R像素，与白色滤光单元对应的感光单元输出W像素，即图像传感器采集的图像格式为WRGB。
图像传感器可以将采集到的WRGB图像发送给处理器，由处理器执行上述过程。图5示出了处理器执行的本申请实施例的图像处理流程的架构。具体地，结合图4和图5，在S210中，处理器对获取到的WRGB图像进行子采样(subsampling)，分别获得只包括B像素、R像素以及G像素的第一采样图和只包括W像素的第二采样图，其中，第一采样图中B像素、R像素以及G像素的位置仍为WRGB图像中对应像素的位置，第二采样图中W像素的位置也同样是WRGB图像中W像素的位置。
可选地，在S220中，处理器可以将该第一采样图转换成拜耳阵列图像，例如，处理器可以对第一采样图进行求平均值运算，以获得拜耳阵列图像。假设第一采样图中各个像素值如图6所示，那么，转换后的拜耳阵列图像中各个像素值可以分别为
Figure PCTCN2020101670-appb-000001
可选地，处理器还可以对第一采样图进行其他运算，例如求最大值运算，以获得拜耳阵列图像。即转换后的拜耳阵列图像中各个像素值可以分别为max{B 1,2,B 2,1},max{G 1,4,G 2,3},max{G 3,2,G 4,1},max{R 3,4,R 4,3}。
可选地，在S230中，处理器可以将第二采样图内插成全W像素图像。也就是说，在WRGB图像中除了W像素以外的像素的位置设置W像素，可以得到全分辨率的亮度图像。
如图5所示，由于转换后的拜耳阵列图像为低分辨率的图像，因此，可以对转换后的拜耳阵列图像进一步进行处理。可选地，在S240中，处理器可以对转换后的拜耳阵列图像进行去马赛克(Demosaicing)处理，得到低分辨率的第一RGB图像。
可选地，在本申请实施例中，分别对所述拜耳阵列图像中R像素、B像素以及G像素的位置进行子采样，获取第三采样图、第四采样图和第五采样 图；将所述第五采样图内插成全G像素图像；根据所述全G像素图像和所述第三采样图获取全R像素图像，以及根据所述全G像素图像和所述第四采样图获取全B像素图像。
下面将结合图7详细描述去马赛克处理的具体流程。其中，去马赛克处理的输入为拜耳阵列图像，输出为第一RGB图像。
步骤1：可以对拜耳阵列图像分别在R像素、B像素和G像素位置进行子采样，得到对应的采样图，即第三采样图、第四采样图和第五采样图，分别记为R s，B s，G s。
步骤2：对G s进行线性插值，得到插值后的全G像素图像，记为G。
步骤3：根据G和R s，获取全R像素图像，记为R；根据G和B s，获取全B像素图像，记为B。具体地，
步骤3.1：以G为导向图，对G和R s运用导向滤波算法，得到R通道全分辨率的初始估计图，即全R像素图像的初始估计图，记做
Figure PCTCN2020101670-appb-000002
以G为导向图，对G和B s运用导向滤波(Guided Filter)算法，得到B通道全分辨率的初始估计图，即全B像素图像的初始估计图，记做
Figure PCTCN2020101670-appb-000003
可选地，步骤3.1中的导向滤波算法也可以替换为其他算法，例如联合双边滤波、混合颜色映射(Hybrid Color Mapping，HCM)。
步骤3.2：在R通道位置计算出残差ΔR，数学表示为
Figure PCTCN2020101670-appb-000004
M R表示二值图，在R通道位置值为1，其他位置值为0；在B通道位置计算出残差ΔB，数学表示为
Figure PCTCN2020101670-appb-000005
M B表示二值图，在B通道位置值为1，其他位置值为0。
步骤3.3，对步骤3.2得到的残差ΔR进行线性插值得到插值后的全分辨率残差图
Figure PCTCN2020101670-appb-000006
对步骤3.2得到的残差ΔB进行线性插值得到插值后的全分辨率残差图
Figure PCTCN2020101670-appb-000007
步骤3.4，将步骤3.3得到的全分辨率残差图
Figure PCTCN2020101670-appb-000008
与步骤3.1得到的R通道全R像素图像的初始估计图
Figure PCTCN2020101670-appb-000009
进行点加，得到插值后的R通道图，即全R像素图像；将步骤3.3得到的全分辨率残差图
Figure PCTCN2020101670-appb-000010
与步骤3.1得到的全B像素图像的初始估计图
Figure PCTCN2020101670-appb-000011
进行点加，得到插值后的B通道图，即全B像素图像。
步骤4，将步骤2和步骤3中得到的全G像素图像、全R像素图像以及全B像素图像合并，得到第一RGB图像。
需要说明的是，经过马赛克处理得到的第一RGB图像为低分辨率的图 像，为了得到全分辨率的第二RGB图像，还需要对该第一RGB图像进行下一步的处理。
可选地，在S250中，处理器可以根据全W像素图像，对进行马赛克处理后的第一RGB图像进行全色锐化(Pansharpening)处理，得到全分辨率的第二RGB图像。其中，所谓全色锐化，也叫图像融合。
可选地，在本申请实施例中，所述全色锐化处理可以包括：对所述第一RGB图像进行上采样，得到第三RGB图像；根据所述第三RGB图像以及所述全W像素图像，以生成所述第二RGB图像。
下面将结合图8详细描述全色锐化的具体流程。其中，输入的是低分辨率的第一RGB图像，记为RGB 1r和全W像素图像，记为W，输出为全分辨率的第二RGB图像，记为RGB。
步骤1：可以对RGB 1r运算双线性插值得到上采样后的RGB的初始估计图，记为RGB hr，该RGB的初始估计图为全分辨率的图像。
步骤2：可以以W为导向图，对RGB hr的R，G，B通道分别运用导向滤波运算，得到RGB。具体地，以R通道为例，数学上表示为：
R i,j＝a p,q·W i,j+b p,q
Figure PCTCN2020101670-appb-000012
Figure PCTCN2020101670-appb-000013
类似地，以B通道为例，数学上表示为：
B i,j＝a p,q·W i,j+b p,q
Figure PCTCN2020101670-appb-000014
Figure PCTCN2020101670-appb-000015
类似地，以G通道为例，数学上表示为：
G i,j＝a p,q·W i,j+b p,q
Figure PCTCN2020101670-appb-000016
Figure PCTCN2020101670-appb-000017
其中，R i，j为RGB中R像素图像中i,j位置的像素值，B i，j为RGB中B 像素图像中i,j位置的像素值，G i，j为RGB中G像素图像中i,j位置的像素值，R hri，j为RGB hr中R像素图像中i,j位置的像素值，B hri，j为RGB hr中B像素图像中i,j位置的像素值，G hri，j为RGB中G像素图像中i,j位置的像素值，W i， j为W中i,j位置的像素值，ω p,q表示p,q大小的窗口。
因此，本申请实施例的图像处理的方法，可以将WRGB图像转换为RGB图像，并且是在RGB图像上融合W图像，使得处理后的RGB图像在空间细节信息注入的同时能更好地保持W的亮度信息，从而可以有效地提升低光照条件下的图像质量。
可选地，在本申请实施例中，还可以对处理得到的RGB图像进行图像还原(Color Reproduction)处理。例如，可以对第一RGB图像进行图像还原处理，并且根据全W像素图像，对进行图像还原处理后的第一RGB图像进行全色锐化处理，进而得到第二RGB图像。该方案方便、灵活简单，可以适配于现存的图像信号处理器(Image Signal Processor，ISP)和图像处理芯片。
再例如，可以在根据全W像素图像，对第一RGB图像进行全色锐化之后，再进行图像还原处理，进而得到第二RGB图像。该方案更有利于RGB图像的颜色还原。
图9(a)、图9(b)以及图9(c)分别示出了同一幅图的WRGB图像以及使用本申请实施例的技术方案所得到的效果图。其中，图9(a)为WRGB图像，图9(b)为先进行图像还原处理，再进行全色锐化处理得到的RGB图像，图9(c)为先进行全色锐化处理，后进行图像还原处理得到的RGB图像，显然，本申请实施例的技术方案可以提高图像质量。
上文中详细描述了根据本申请实施例的图像处理的方法，下面将结合图10，描述根据本申请实施例的图像处理装置，方法实施例所描述的技术特征适用于以下装置实施例。
图10示出了本申请实施例的图像处理装置300的示意性框图，如图10所示，该图像处理装置300包括：
采样单元310，用于对WRGB图像进行子采样，获取包括R像素、G像素以及B像素的第一采样图和包括W像素的第二采样图。
拜耳阵列生成单元320，用于将该第一采样图转换成拜耳阵列图像。
内插单元330，用于将该第二采样图内插成全W像素图像。
第一RGB图像生成单元340，用于对该拜耳阵列图像进行去马赛克处理，以生成第一RGB图像。
第二RGB图像生成单元350，用于根据该全W像素图像，对该第一RGB图像进行全色锐化处理，以生成第二RGB图像。
因此，本申请实施例的图像处理装置，能够将WRGB图像转换成RGB图像，并且是在RGB图像上进行图像融合，使得对生成的RGB图像在注入空间细节信息的同时能更好的保持W的亮度信息，从而可以有效地提升暗光下的图像质量。
可选地，在本申请实施例中，该第二RGB图像生成单元具体用于：根据该全W像素图像，将经过全色锐化处理的该第一RGB图像进行图像还原处理，以生成该第二RGB图像。
可选地，在本申请实施例中，该第二RGB图像生成单元具体用于：根据该全W像素图像，对经过图像还原处理的该第一RGB图像进行全色锐化处理，以生成该第二RGB图像。
可选地，在本申请实施例中，该图像还原处理包括自动白平衡AWB、颜色校正矩阵CCM、伽马GAMA或色调曲线TONE CURVER。
可选地，在本申请实施例中，该拜耳阵列生成单元具体用于：对该第一采样图进行平均值运算，获取该拜耳阵列图像。
可选地，在本申请实施例中，该第一RGB图像生成单元具体用于：分别对该拜耳阵列图像中R像素、B像素以及G像素的位置进行子采样，获取第三采样图、第四采样图和第五采样图；将该第五采样图内插成全G像素图像；根据该全G像素图像和该第三采样图获取全R像素图像，以及根据该全G像素图像和该第四采样图获取全B像素图像。
可选地，在本申请实施例中，该第一RGB图像单元具体用于：对该全G像素图像和该第三采样图进行引导滤波处理，获取该全R像素图像的初始估计图，以及对该全G像素图像和该第四采样图进行引导滤波处理，获取该全B像素图像的初始估计图；获取所述第三采样图与所述全R像素图像的初始估计图之间的第一残差图，以及获取所述第四采样图与所述全B像素图像的初始估计图之间的第二残差图；对所述第一残差图进行线性插值得到第一全分辨率残差图以及对所述第二残差图进行线性插值得到第二全分辨率 残差图；对所述全R像素图像的初始估计图与所述第一全分辨率残差图进行点加运算，获取所述全R像素图像，以及对所述全B像素图像的初始估计图与所述第二全分辨率残差图进行点加运算，获取所述全B像素图像。
可选地，在本申请实施例中，该采样单元还用于：对该第一RGB图像进行上采样，得到第三RGB图像；该第二RGB图像生成单元具体用于：根据该第三RGB图像以及该全W像素图像，以生成该第二RGB图像。
可选地，在本申请实施例中，该处理第二RGB图像生成单元具体用于：对该第三RGB图像以及该全W像素图像进行导向滤波处理，以生成该第二RGB图像。
可选地，在本申请实施例中，该图像处理装置还包括：光电转换单元350，用于采集该WRGB图像。
可选地，在本申请实施例中，该光电转换单元适用于电荷耦合装置CCD结构或互补金属氧化物半导体CMOS结构。
图11是本申请实施例提供的一种图像处理装置400示意性结构图。图11所示的图像处理装置400包括处理器410，处理器410可以从存储器中调用并运行计算机程序，以实现本申请实施例中的方法。
可选地，如图11所示，图像处理装置400还可以包括存储器420。其中，处理器410可以从存储器420中调用并运行计算机程序，以实现本申请实施例中的方法。
其中，存储器420可以是独立于处理器410的一个单独的器件，也可以集成在处理器410中。
可选地，该图像处理装置400具体可为本申请实施例的图像处理装置，并且该图像处理装置400可以实现本申请实施例的各个方法中由图像处理装置实现的相应流程，为了简洁，在此不再赘述。
本申请实施例还提供了一种芯片，该芯片包括处理器，处理器可以从存储器中调用并运行计算机程序，以实现本申请实施例中的方法。
可选地，该芯片可应用于本申请实施例中的图像处理装置，并且该芯片可以实现本申请实施例的各个方法中由图像处理装置实现的相应流程，为了简洁，在此不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。
可选地，本申请实施例还提供了一种计算机可读介质，其用于存储计算机程序，以实现本申请实施例中的方法。
应理解，本申请实施例的处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解，上述存储器为示例性但不是限制性说明，例如，本申请实施例中的存储器还可以是静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)以及直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)等等。也就是说，本申请实施例中的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (23)

  1. 一种图像处理的方法，其特征在于，包括：
    对WRGB图像进行子采样，获取包括R像素、G像素以及B像素的第一采样图和包括W像素的第二采样图；
    将所述第一采样图转换成拜耳阵列图像以及将所述第二采样图内插成全W像素图像；
    对所述拜耳阵列图像进行去马赛克处理，以生成第一RGB图像；
    根据所述全W像素图像，对所述第一RGB图像进行全色锐化处理，以生成第二RGB图像。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述全W像素图像，对所述第一RGB图像进行全色锐化处理，以生成第二RGB图像，包括：
    根据所述全W像素图像，将经过全色锐化处理的所述第一RGB图像进行图像还原处理，以生成所述第二RGB图像。
  3. 根据权利要求1所述的方法，其特征在于，所述根据所述全W像素图像，对所述第一RGB图像进行全色锐化处理，以生成第二RGB图像，包括：
    根据所述全W像素图像，对经过图像还原处理的所述第一RGB图像进行全色锐化处理，以生成所述第二RGB图像。
  4. 根据权利要求2或3所述的方法，其特征在于，所述图像还原处理包括自动白平衡AWB、颜色校正矩阵CCM、伽马GAMA或色调曲线TONE CURVER。
  5. 根据权利要求1至4中任一项所述的方法，其特征在于，所述将所述第一采样图转换成拜耳阵列图像，包括：
    对所述第一采样图进行平均值运算，获取所述拜耳阵列图像。
  6. 根据权利要求1至5中任一项所述的方法，其特征在于，所述对所述拜耳阵列图像进行去马赛克处理，以生成第一RGB图像，包括：
    分别对所述拜耳阵列图像中R像素、B像素以及G像素的位置进行子采样，获取第三采样图、第四采样图和第五采样图；
    将所述第五采样图内插成全G像素图像；
    根据所述全G像素图像和所述第三采样图获取全R像素图像，以及根 据所述全G像素图像和所述第四采样图获取全B像素图像；
    根据所述全G像素图像、所述全R像素图像以及所述全B像素图像，生成所述第一RGB图像。
  7. 根据权利要求6所述的方法，其特征在于，所述根据所述全G像素图像和所述第三采样图获取全R像素图像，以及根据所述全G像素图像和所述第四采样图获取全B像素图像，包括：
    对所述全G像素图像和所述第三采样图进行引导滤波处理，获取所述全R像素图像的初始估计图，以及对所述全G像素图像和所述第四采样图进行引导滤波处理，获取所述全B像素图像的初始估计图；
    获取所述第三采样图与所述全R像素图像的初始估计图之间的第一残差图，以及获取所述第四采样图与所述全B像素图像的初始估计图之间的第二残差图；
    对所述第一残差图进行线性插值得到第一全分辨率残差图以及对所述第二残差图进行线性插值得到第二全分辨率残差图；
    对所述全R像素图像的初始估计图与所述第一全分辨率残差图进行点加运算，获取所述全R像素图像，以及对所述全B像素图像的初始估计图与所述第二全分辨率残差图进行点加运算，获取所述全B像素图像。
  8. 根据权利要求1至7中任一项所述的方法，其特征在于，所述根据所述全W像素图像，对所述第一RGB图像进行全色锐化处理，以生成第二RGB图像，包括：
    对所述第一RGB图像进行上采样，得到第三RGB图像；
    根据所述第三RGB图像以及所述全W像素图像，以生成所述第二RGB图像。
  9. 根据权利要求8所述的方法，其特征在于，所述根据所述第三RGB图像以及所述全W像素图像，以生成所述第二RGB图像，包括：
    对所述第三RGB图像以及所述全W像素图像进行导向滤波处理，以生成所述第二RGB图像。
  10. 一种图像处理装置，其特征在于，所述图像处理装置包括：
    采样单元，用于对WRGB图像进行子采样，获取包括R像素、G像素以及B像素的第一采样图和包括W像素的第二采样图；
    拜耳阵列生成单元，用于将所述第一采样图转换成拜耳阵列图像；
    内插单元，用于将所述第二采样图内插成全W像素图像；
    第一RGB图像生成单元，用于对所述拜耳阵列图像进行去马赛克处理，以生成第一RGB图像；
    第二RGB图像生成单元，用于根据所述全W像素图像，对所述第一RGB图像进行全色锐化处理，以生成第二RGB图像。
  11. 根据权利要求10所述的图像处理装置，其特征在于，所述第二RGB图像生成单元具体用于：
    根据所述全W像素图像，对经过全色锐化处理的所述第一RGB图像进行图像还原处理，以生成所述第二RGB图像。
  12. 根据权利要求10所述的图像处理装置，其特征在于，所述第二RGB图像生成单元具体用于：
    根据所述全W像素图像，对经过图像还原处理的所述第一RGB图像进行全色锐化处理，以生成所述第二RGB图像。
  13. 根据权利要求11或12所述的图像处理装置，其特征在于，所述图像还原处理包括自动白平衡AWB、颜色校正矩阵CCM、伽马GAMA或色调曲线TONE CURVER。
  14. 根据权利要求10至13中任一项所述的图像处理装置，其特征在于，所述拜耳阵列生成单元具体用于：
    对所述第一采样图进行平均值运算，获取所述拜耳阵列图像。
  15. 根据权利要求10至14中任一项所述的图像处理装置，其特征在于，所述第一RGB图像生成单元具体用于：
    分别对所述拜耳阵列图像中R像素、B像素以及G像素的位置进行子采样，获取第三采样图、第四采样图和第五采样图；
    将所述第五采样图内插成全G像素图像；
    根据所述全G像素图像和所述第三采样图获取全R像素图像，以及根据所述全G像素图像和所述第四采样图获取全B像素图像；
    根据所述全G像素图像、所述全R像素图像以及所述全B像素图像，生成所述第一RGB图像。
  16. 根据权利要求15所述的图像处理装置，其特征在于，所述第一RGB图像生成单元具体用于：
    对所述全G像素图像和所述第三采样图进行引导滤波处理，获取所述全 R像素图像的初始估计图，以及对所述全G像素图像和所述第四采样图进行引导滤波处理，获取所述全B像素图像的初始估计图；
    获取所述第三采样图与所述全R像素图像的初始估计图之间的第一残差图，以及获取所述第四采样图与所述全B像素图像的初始估计图之间的第二残差图；
    对所述第一残差图进行线性插值得到第一全分辨率残差图以及对所述第二残差图进行线性插值得到第二全分辨率残差图；
    对所述全R像素图像的初始估计图与所述第一全分辨率残差图进行点加运算，获取所述全R像素图像，以及对所述全B像素图像的初始估计图与所述第二全分辨率残差图进行点加运算，获取所述全B像素图像。
  17. 根据权利要求10至16中任一项所述的图像处理装置，其特征在于，所述采样单元还用于：
    对所述第一RGB图像进行上采样，得到第三RGB图像；
    所述第二RGB图像生成单元具体用于：
    根据所述第三RGB图像以及所述全W像素图像，以生成所述第二RGB图像。
  18. 根据权利要求17所述的图像处理装置，其特征在于，所述第二RGB图像生成单元具体用于：
    对所述第三RGB图像以及所述全W像素图像进行导向滤波处理，以生成所述第二RGB图像。
  19. 根据权利要求10至18中任一项所述的图像处理装置，其特征在于，所述图像处理装置还包括：
    光电转换单元，用于采集所述WRGB图像。
  20. 根据权利要求19所述的图像处理装置，其特征在于，所述光电转换单元适用于电荷耦合装置CCD结构或互补金属氧化物半导体CMOS结构。
  21. 一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1至9中任一项所述的方法。
  22. 一种图像处理装置，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如权利要求1至9中任一项所述的方法。
  23. 一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至9中任一项所述的方法。
PCT/CN2020/101670 2020-07-13 2020-07-13 图像处理的方法和图像处理装置 Ceased WO2022011506A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/101670 WO2022011506A1 (zh) 2020-07-13 2020-07-13 图像处理的方法和图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/101670 WO2022011506A1 (zh) 2020-07-13 2020-07-13 图像处理的方法和图像处理装置

Publications (1)

Publication Number Publication Date
WO2022011506A1 true WO2022011506A1 (zh) 2022-01-20

Family

ID=79556063

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/101670 Ceased WO2022011506A1 (zh) 2020-07-13 2020-07-13 图像处理的方法和图像处理装置

Country Status (1)

Country Link
WO (1) WO2022011506A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147278A (zh) * 2022-07-05 2022-10-04 深圳市汇顶科技股份有限公司 图像处理方法、装置及计算机可读存储介质
CN120602792A (zh) * 2024-02-27 2025-09-05 荣耀终端股份有限公司 一种基于rgbw传感器的成像方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106161890A (zh) * 2015-05-11 2016-11-23 佳能株式会社 成像装置、成像系统以及信号处理方法
CN107622477A (zh) * 2017-08-08 2018-01-23 成都精工华耀机械制造有限公司 一种rgbw图像联合去马赛克和去模糊方法
EP3429197A1 (en) * 2016-03-09 2019-01-16 Sony Corporation Image processing apparatus, imaging apparatus, image processing method, and program
CN110235441A (zh) * 2017-03-24 2019-09-13 华为技术有限公司 用于低照度的多摄像头系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106161890A (zh) * 2015-05-11 2016-11-23 佳能株式会社 成像装置、成像系统以及信号处理方法
EP3429197A1 (en) * 2016-03-09 2019-01-16 Sony Corporation Image processing apparatus, imaging apparatus, image processing method, and program
CN110235441A (zh) * 2017-03-24 2019-09-13 华为技术有限公司 用于低照度的多摄像头系统
CN107622477A (zh) * 2017-08-08 2018-01-23 成都精工华耀机械制造有限公司 一种rgbw图像联合去马赛克和去模糊方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147278A (zh) * 2022-07-05 2022-10-04 深圳市汇顶科技股份有限公司 图像处理方法、装置及计算机可读存储介质
CN120602792A (zh) * 2024-02-27 2025-09-05 荣耀终端股份有限公司 一种基于rgbw传感器的成像方法及相关设备

Similar Documents

Publication Publication Date Title
CN111741277B (zh) 图像处理的方法和图像处理装置
CN112261391B (zh) 图像处理方法、摄像头组件及移动终端
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
CN111405204B (zh) 图像获取方法、成像装置、电子设备及可读存储介质
JP7349806B2 (ja) 画像処理方法及びフィルタアレイ
CN111432099A (zh) 图像传感器、处理系统及方法、电子设备和存储介质
WO2021208593A1 (zh) 高动态范围图像处理系统及方法、电子设备和存储介质
CN111629140A (zh) 图像传感器和电子设备
CN111491111A (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN104301635A (zh) 在产生数字图像时曝光像素组
CN112738493B (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
CN111314592A (zh) 图像处理方法、摄像头组件及移动终端
CN113676675B (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
CN111899178B (zh) 图像处理方法、图像处理系统、电子设备及可读存储介质
CN111586375A (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
WO2013172205A1 (ja) 撮像装置および撮像方法、電子機器、並びにプログラム
CN111741221A (zh) 图像获取方法、摄像头组件及移动终端
EP4270931A1 (en) Image processing method, image processing system, electronic device, and readable storage medium
US20030122937A1 (en) Method for processing digital CFA images, particularly for motion and still imaging
CN114125318B (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN112351172B (zh) 图像处理方法、摄像头组件及移动终端
JP7298020B2 (ja) 画像キャプチャ方法、カメラアセンブリ及び移動端末
CN111970460A (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
JP5753395B2 (ja) 撮像装置
CN112822475B (zh) 图像处理方法、图像处理装置、终端及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20945463

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20945463

Country of ref document: EP

Kind code of ref document: A1