WO2023174367A1 - 图像处理方法、装置、电子设备及可读存储介质 - Google Patents

图像处理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
WO2023174367A1
WO2023174367A1 PCT/CN2023/081836 CN2023081836W WO2023174367A1 WO 2023174367 A1 WO2023174367 A1 WO 2023174367A1 CN 2023081836 W CN2023081836 W CN 2023081836W WO 2023174367 A1 WO2023174367 A1 WO 2023174367A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
type
signal
collected
Prior art date
Application number
PCT/CN2023/081836
Other languages
English (en)
French (fr)
Inventor
伊藤康幸
萩原泰文
近藤克博
Original Assignee
维沃移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 维沃移动通信有限公司 filed Critical 维沃移动通信有限公司
Publication of WO2023174367A1 publication Critical patent/WO2023174367A1/zh

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Definitions

  • This application belongs to the field of image processing technology, and specifically relates to an image processing method, device, electronic equipment and readable storage medium.
  • the front camera is mainly used for selfies and is placed on the same side as the display. Since the front camera is installed on the same side as the display, the front camera needs to be installed away from the display, making it difficult to achieve a so-called full-screen design in which the entire back of the electronic device serves as the display.
  • under-screen camera devices have been developed that install a front camera under the display and take selfies through the display. If the transmittance of the display directly above the front camera is increased to ensure the amount of light required for photography and to fully obtain the display contrast of the display when the display is used, problems such as cost, thickness, reliability, etc. can be eliminated and the realization of Smartphone with full screen design.
  • At least one embodiment of the present invention provides an image processing method, device, electronic device and readable storage medium for improving the image quality of an under-screen camera device.
  • the present invention is implemented as follows:
  • an embodiment of the present invention provides an image processing method, including:
  • an image processing device including:
  • a receiving module configured to receive a first type of image collected by a first type of camera, and to receive a second type of image collected by a second type of camera, wherein the first type of camera and the second type of camera are arranged on the transparent surface of the display screen. Below the light area, and the operating wavelength ranges of the first type of camera and the second type of camera are different;
  • a fusion module is used to perform image fusion processing on the first type of image and the second type of image to obtain a target image.
  • embodiments of the present invention provide an electronic device, including a processor and a memory.
  • the memory stores programs or instructions that can be run on the processor.
  • the program or instructions are executed by the processor, Implement the steps of the image processing method as described in the first aspect.
  • embodiments of the present invention provide a computer-readable storage medium.
  • a program is stored on the computer-readable storage medium.
  • the program is executed by a processor, the steps of the above method are implemented.
  • the image processing methods, devices, electronic equipment, and readable storage media can reduce or eliminate problems such as low sensitivity, poor resolution, and flare of under-screen camera devices, thereby improving Improve the image quality of the under-screen camera device.
  • Figure 1 is a flow chart of an image processing method according to an embodiment of the present invention.
  • Figure 2 is a schematic structural diagram of an under-screen camera device according to an embodiment of the present invention.
  • Figure 3 is a flow chart of image fusion in the first application scenario according to the embodiment of the present invention.
  • Figure 4 is another flow chart of image fusion in the first application scenario according to the embodiment of the present invention.
  • Figure 5 is another flow chart of image fusion in the first application scenario according to the embodiment of the present invention.
  • Figure 6 is another structural schematic diagram of an under-screen camera device according to an embodiment of the present invention.
  • Figure 7 is a flow chart of image fusion in the second application scenario according to the embodiment of the present invention.
  • Figure 8 is another flow chart of image fusion in the second application scenario according to the embodiment of the present invention.
  • Figure 9 is another flow chart of image fusion in the second application scenario according to the embodiment of the present invention.
  • Figure 10 is a schematic structural diagram of an image processing device according to an embodiment of the present invention.
  • Figure 11 is another structural schematic diagram of an image processing device according to an embodiment of the present invention.
  • Figures 12 to 17 are schematic structural diagrams of the fusion module according to the embodiment of the present invention.
  • Figure 18 is a schematic structural diagram of an electronic device according to an embodiment of the present invention.
  • first, second, etc. in the description and claims of this application are used to distinguish similar objects and are not used to describe a specific order or sequence. It is to be understood that the figures so used are interchangeable under appropriate circumstances so that the embodiments of the present application can be practiced in orders other than those illustrated or described herein, and that "first,” “second,” etc. are distinguished Objects are usually of one type, and the number of objects is not limited. For example, the first object can be one or multiple.
  • “and/or” in the description and claims indicates at least one of the connected objects, and the character “/" generally indicates that the related objects are in an "or” relationship.
  • the following problems of deterioration in image quality can be cited.
  • embodiments of the present invention provide an image processing method, which is applied to an under-screen camera device with a front camera below the display screen of an electronic device.
  • embodiments of the present invention are: A plurality of cameras with different working wavelengths are arranged under the screen, and a light-transmitting area (which can also be called a high-transmitting area) that can improve the transmittance is arranged above the camera setting part of the display screen.
  • the image processing method includes:
  • Step 11 Receive the first type of image collected by the first type of camera, and receive the second type of image collected by the second type of camera, wherein the first type of camera and the second type of camera are arranged in the light-transmitting area of the display screen below, and the operating wavelength ranges of the first type of camera and the second type of camera are different.
  • the first-type camera and the second-type camera arranged under the light-transmitting area of the display screen respectively collect images of the target object to obtain the first-type image and the second-type image.
  • the transmittance of the light-transmitting area is greater than the preset first threshold.
  • the transmittance of the light-transmitting area is less than a preset second threshold, and the second threshold is greater than the first threshold.
  • the first type of camera and the second type of camera are based on different wavelength ranges. of light for imaging.
  • the number of the first type of cameras may be one or more, and the number of the second type of cameras may also be one or more.
  • the first type of camera is a red green blue (RGB) camera that performs imaging based on visible light
  • the second type of camera is an NIR camera that performs imaging based on near infrared light (NIR).
  • RGB red green blue
  • NIR near infrared light
  • Step 12 Perform image fusion processing on the first type of image and the second type of image to obtain a target image.
  • step 12 by performing fusion processing on images based on imaging at different wavelengths, embodiments of the present invention can utilize the imaging characteristics of different wavelengths to reduce or eliminate the low sensitivity, poor resolution, and presence of flares of the under-screen camera device. problem, thereby improving the image quality of the under-screen camera device.
  • the embodiment of the present invention can also compare the first type of image and the The second type of image is subjected to distortion and parallax correction, and then, in step 12, image fusion processing is performed on the corrected first type of image and the second type of image.
  • the first type of camera is an RGB camera
  • the second type of camera is an NIR camera
  • the first type of camera includes a first camera
  • the second type of camera includes a second camera
  • the One camera collects the first image (RGB image)
  • the second camera collects the second image (YUV image).
  • This first method can solve the above-mentioned problem of (1) low sensitivity and (2) problem of low resolution. Specifically, convert the first image from RGB format to YUV format, obtain the first Y signal and the first UV signal of the first image; and extract the second Y signal from the second image; for The first Y signal and the second Y signal are fused to obtain a third Y signal; the third Y signal and the first UV signal are combined to obtain a target image.
  • This second method can solve the above-mentioned problems of (1) low sensitivity, (2) low resolution, and (3) problem of flare occurrence. Specifically, convert the first image from RGB format to YUV format, obtain the first Y signal and the first UV signal of the first image; and extract the second Y signal from the second image; calculate The first Y signal and the second Y signal of the first Difference value; detect the flare position according to the first difference value, and remove the flare in the first image and the second image to obtain the updated first Y signal, first UV signal and second Y signal; for The updated first Y signal and the second Y signal are fused to obtain a fourth Y signal; the fourth Y signal and the updated first UV signal are used to synthesize the target image.
  • This third method can solve the above-mentioned problems of (1) low sensitivity, (2) low resolution, (3) occurrence of flares, and (4) face authentication problems.
  • a first depth image is generated according to the disparity information between the first image and the second image; and the target image and the target image corresponding to the target image are output.
  • a first depth image so that face recognition can be performed based on the depth information of the first depth image.
  • the first camera collects the first image (RGB image)
  • the second camera collects the second image (black and white image)
  • the third camera collects the third image (black and white image).
  • the embodiment of the present invention also has multiple steps in the above step 12. different implementation methods.
  • This first method can solve the above-mentioned problem of (1) low sensitivity and (2) problem of low resolution. Specifically, convert the first image from RGB format to YUV format, obtain the first Y signal and the first UV signal of the first image; extract the second Y signal from the second image, and, from Extract a fifth Y signal from the third image; fuse the first Y signal, the second Y signal and the fifth Y signal to obtain a sixth Y signal; use the sixth Y signal and the first The UV signals are synthesized to obtain the target image.
  • This second method can solve the above-mentioned problems of (1) low sensitivity, (2) low resolution, and (3) problem of flare occurrence. Specifically, convert the first image from RGB format to YUV format, obtain the first Y signal and the first UV signal of the first image; extract the second Y signal from the second image, and, from Extracting a fifth Y signal from the third image; calculating a first difference between the first Y signal and the second Y signal, and calculating a second difference between the first Y signal and the second Y signal; According to the first difference value and the second difference value, the flare position is detected, and Remove the flares in the first image, the second image and the third image to obtain the updated first Y signal, the first UV signal, the second Y signal and the fifth Y signal; for the updated first Y signal , the second Y signal and the fifth Y signal are fused to obtain a seventh Y signal; the seventh Y signal and the updated first UV signal are used to synthesize the target image.
  • This third method can solve the above-mentioned problems of (1) low sensitivity, (2) low resolution, (3) occurrence of flares, and (4) face authentication problems.
  • a second depth image is generated according to the disparity information between the first image, the second image and the third image; the target image and the target image are output The corresponding second depth image.
  • the process of the above first application scenario and the second application scenario will be described in more detail through several figures. .
  • an under-screen camera device with two cameras is configured below the display screen.
  • the display screen includes a high-transmission area, and the light transmittance of the high-transmission area is higher than other parts of the display screen.
  • a first-type camera and a second-type camera are provided below the high-transmission area. These cameras receive light that passes through the high-transmission area of the display plane and take pictures.
  • the first type of camera includes camera 1
  • the second type of camera includes camera 2.
  • the camera 1 is a commonly used RGB camera that accepts visible light
  • the camera 2 is an NIR camera that only detects near-infrared NIR light.
  • the images of the target object are collected by the camera 1 and the camera 2 respectively, thereby obtaining the first image collected by the camera 1 and the second image collected by the camera 2.
  • FIG. 3 shows a process flow of image fusion using output images from two under-screen cameras in order to solve the problem of (1) low sensitivity and (2) low resolution.
  • the first image from camera 1 RGB camera
  • the second image from camera 2 NIR camera
  • first image and second image have differences in viewing angle, optical axis, parallax, etc., so they are detected and then corrected to obtain the corrected image.
  • first image and second image After that, Camera 1 (RGB camera)
  • the collected first image is converted from RGB format to YUV format, and then separated into a first Y signal and a first UV signal.
  • a third Y signal is obtained, which improves sensitivity in dark areas and reduces noise while also improving brightness resolution.
  • the third Y signal after image fusion and the first UV signal from the RGB camera are used to synthesize a colored target image and output it.
  • Figure 4 shows the image processing flow of flare removal and image fusion using output images from two under-screen cameras in order to further solve the problem of flare occurrence in (3).
  • the first image from camera 1 (RGB camera) and the second image from camera 2 (NIR camera) have differences in viewing angle, optical axis, parallax, etc., so they are detected and then corrected to obtain the corrected image.
  • first image and second image Afterwards, the first image collected by camera 1 (RGB camera) is converted from RGB format to YUV format, and then separated into a first Y signal and a first UV signal.
  • the occurrence state of the flare in the RGB camera and the occurrence of the flare in the NIR camera are detected.
  • the difference in the occurrence state makes it possible to separate the flare from other images, and using this information, the flare can be efficiently removed.
  • the flare of LED lights which is a big problem in night scenes, is not detected by the NIR camera, so it can effectively remove the flare.
  • the first Y signal from the RGB camera and the second Y signal from the NIR camera are used for image fusion processing to obtain the fourth Y signal. This can improve the sensitivity of dark parts and reduce noise. Luminance resolution. After that, the fourth Y signal of image fusion and the first UV signal from the RGB camera are used to synthesize a colored target image and output it.
  • Figure 5 shows the process of flare removal, image fusion image processing and face authentication using output images from two under-screen cameras in order to further realize the face recognition function of (4).
  • the first image from camera 1 (RGB camera) and the second image from camera 2 (NIR camera) have differences in angle of view, optical axis, parallax, etc., so they are detected and then corrected to obtain the corrected first image. image and a second image.
  • the first image collected by camera 1 is converted from RGB format to YUV format, and then separated into a first Y signal and a first UV signal.
  • the difference in the occurrence state of the flare can be distinguished from Images away from the flare and beyond can use this information to efficiently remove flares.
  • the flare of LED lights which is a big problem in night scenes, is not detected by the NIR camera, so it can effectively remove the flare.
  • the fourth Y signal is obtained by using the first Y signal from the RGB camera and the second Y signal from the NIR camera for image fusion processing, thus improving the sensitivity of dark parts and reducing noise, while also improving the brightness resolution. .
  • the fourth Y signal after image fusion and the first UV signal from the RGB camera are used to synthesize a colored target image and output it.
  • a depth map can also be generated based on the disparity information of camera 1 and camera 2, and its three-dimensional information and the output target image can be used to perform face recognition.
  • an under-screen camera device with three cameras is configured below the display screen.
  • Camera 1 is a commonly used RGB camera that receives visible light.
  • Camera 2 and camera 3 are both NIR cameras that only detect near-infrared NIR light.
  • the camera 1, the camera 2 and the camera 3 are arranged below the high transmittance area of the display, and receive light passing through the high transmittance area of the display to take pictures.
  • due to differences in resolution, optical characteristics, etc. between the RGB camera and the NIR camera there may be a problem with the parallax detection accuracy.
  • two NIR cameras with high detection accuracy in dark areas will be installed, so that accurate parallax information can be obtained between the NIR cameras, so the accuracy of the depth map can be improved. Improve face recognition accuracy.
  • FIG. 7 shows an image fusion image processing flow using output images from three under-screen cameras in order to solve the problem of (1) low sensitivity and (2) low resolution.
  • the first image from camera 1 RGB camera
  • the second image from camera 2 NIR camera
  • the third image from camera 3 NIR camera
  • image correction is performed to obtain the corrected first image, second image and third image.
  • the first image collected by the camera 1 (RGB camera) is converted from the RGB format to the YUV format, and then separated into the first Y signal and the first UV signal, so that the Y signal from the RGB camera and the two signals from the NIR camera can be
  • the Y signals are subjected to image fusion processing to improve the sensitivity of dark parts and reduce noise, while also improving the brightness resolution.
  • the Y signal after image fusion and the UV signal from the RGB camera are used to synthesize a colored target image and output it.
  • Figure 8 shows that in order to further solve the problem of flare generation in (3), three under-screen cameras are used. Flare removal and image fusion image processing process of the output image of the camera.
  • the first image from camera 1 RGB camera
  • the second image from camera 2 NIR camera
  • the third image from camera 3 NIR camera
  • image correction is performed to obtain the corrected first image, second image and third image.
  • the first image collected by camera 1 RGB camera
  • the first image collected by camera 1 is converted from RGB format to YUV format, and then separated into a first Y signal and a first UV signal.
  • the occurrence state of the flare in the RGB camera and the occurrence state of the flare in the two NIR cameras are detected.
  • the difference makes it possible to separate the flare from other images, and this information can be used to efficiently remove the flare.
  • the flare of LED lights which is a big problem in night scenes, is not detected by NIR cameras, so the above-mentioned flare can be effectively removed.
  • the sensitivity in dark parts can be improved, the noise can be reduced, and the brightness resolution can be improved.
  • the Y signal after image fusion and the UV signal from the RGB camera are used to synthesize the color target image and output it.
  • Figure 9 shows the process of flare removal and image fusion image processing and face authentication using output images from three under-screen cameras in order to further realize the face recognition function in (4).
  • the first image from camera 1 RGB camera
  • the second image from camera 2 NIR camera
  • the third image from camera 3 NIR camera
  • image correction is performed to obtain the corrected first image, second image and third image.
  • the first image collected by camera 1 RGB camera
  • the first image collected by camera 1 is converted from RGB format to YUV format, and then separated into a first Y signal and a first UV signal.
  • the occurrence state of the flare in the RGB camera and the occurrence of the flare in the two NIR cameras are detected.
  • the flare can be separated from other images, and this information can be used to efficiently remove the flare.
  • the flare of LED lights which is a big problem in night scenes, is not detected by NIR cameras, so the above-mentioned flare can be effectively removed.
  • the sensitivity of the dark part can be improved, the noise can be reduced, and the brightness analysis can be improved. resolution.
  • the Y signal after image fusion and the UV signal from the RGB camera are used to synthesize a color image and output it.
  • an embodiment of the present invention also provides an image processing device 90, including:
  • the receiving module 91 is used to receive the first type of image collected by the first type of camera, and to receive the second type of image collected by the second type of camera, wherein the first type of camera and the second type of camera are arranged on the display screen. Below the light-transmitting area, and the operating wavelength ranges of the first type of camera and the second type of camera are different;
  • the fusion module 92 is used to perform image fusion processing on the first type of image and the second type of image to obtain a target image.
  • the first type of camera is an RGB camera that performs imaging based on visible light
  • the second type of camera is an NIR camera that performs imaging based on near-infrared light.
  • This embodiment of the present invention also provides another image processing device 90. Based on Figure 9, the device also includes:
  • the correction module 93 is configured to perform distortion and parallax correction on the first type of image and the second type of image before the fusion module performs image fusion processing on the first type of image and the second type of image. In this way, the fusion module 92 performs image fusion on the first type of image and the second type of image during the fusion process.
  • the first type of camera includes a first camera
  • the second type of camera includes application scenarios of the second camera
  • the first type of image includes a first image collected by the first camera
  • the second type of image includes a third The second image collected by the second camera.
  • the fusion module 92 in Figure 10 or 11 specifically includes:
  • the first extraction sub-module 9201 is used to convert the first image from RGB format to YUV format, obtain the first Y signal and the first UV signal of the first image; and extract from the second image Second Y signal;
  • the first fusion sub-module 9202 is used to fuse the first Y signal and the second Y signal, Get the third Y signal;
  • the first synthesis sub-module 9203 is used to synthesize the third Y signal and the first UV signal to obtain a target image.
  • the fusion module 92 in Figure 10 or 11 specifically includes:
  • the first extraction sub-module 9201 is used to convert the first image from RGB format to YUV format, obtain the first Y signal and the first UV signal of the first image; and extract from the second image Second Y signal;
  • the first calculation sub-module 9204 is used to calculate the first difference between the first Y signal and the second Y signal;
  • the first flare removal sub-module 9205 is used to detect the flare position according to the first difference value, and remove the flare in the first image and the second image to obtain the updated first Y signal and first UV signal. and the second Y signal;
  • the second fusion sub-module 9206 is used to fuse the updated first Y signal and the second Y signal to obtain the fourth Y signal;
  • the second synthesis sub-module 9207 is used to synthesize the fourth Y signal and the updated first UV signal to obtain the target image.
  • the fusion module 92 also includes:
  • the first generation sub-module 9208 is used to generate a first depth image according to the disparity information between the first image and the second image;
  • the second synthesis sub-module 9207 is also used to output the target image and the first depth image corresponding to the target image.
  • the first type of camera includes a first camera
  • the second type of camera includes application scenarios of a second camera and a third camera
  • the first type of image includes a first image collected by the first camera
  • the second type of camera includes The class image includes a second image collected by the second camera and a third image collected by the third camera.
  • the fusion module 92 in Figure 10 or 11 specifically includes:
  • the second extraction sub-module 9211 is used to convert the first image from RGB format to YUV format. Formula, obtain the first Y signal and the first UV signal of the first image; extract the second Y signal from the second image, and extract the fifth Y signal from the third image;
  • the second fusion sub-module 9212 is used to fuse the first Y signal, the second Y signal and the fifth Y signal to obtain the sixth Y signal;
  • the third synthesis sub-module 9213 is used to synthesize the sixth Y signal and the first UV signal to obtain a target image.
  • the fusion module 92 in Figure 10 or 11 specifically includes:
  • the second extraction sub-module 9211 is used to convert the first image from RGB format to YUV format, obtain the first Y signal and the first UV signal of the first image; extract the second second image from the second image. Y signal, and extracting a fifth Y signal from the third image;
  • the first calculation sub-module 9214 is used to calculate the first difference between the first Y signal and the second Y signal, and calculate the second difference between the first Y signal and the second Y signal;
  • the second flare removal sub-module 9215 is used to detect the flare position according to the first difference value and the second difference value, and remove the flare in the first image, the second image and the third image to obtain the updated the first Y signal, the first UV signal, the second Y signal and the fifth Y signal;
  • the fourth fusion sub-module 9216 is used to fuse the updated first Y signal, second Y signal and fifth Y signal to obtain the seventh Y signal;
  • the fourth synthesis sub-module 9217 is used to synthesize the seventh Y signal and the updated first UV signal to obtain the target image.
  • the fusion module 92 also includes:
  • the second generation sub-module 9218 is used to generate a second depth image according to the disparity information between the first image, the second image and the third image;
  • the fourth synthesis sub-module 9217 is also used to output the target image and the second depth image corresponding to the target image.
  • the device in this embodiment is the device corresponding to the above-mentioned image processing method.
  • the implementation methods in each of the above embodiments are applicable to the embodiment of the device, and the same technical effect can be achieved.
  • the above-mentioned equipment provided by the embodiments of the present invention can realize the above-mentioned method embodiments. All method steps are implemented and the same technical effects can be achieved. The same parts and beneficial effects in this embodiment as in the method embodiment will not be described in detail here.
  • An embodiment of the present invention also provides an electronic device 1800, including a processor 1801, a memory 1802, and a computer program stored on the memory 1802 and executable on the processor 1801.
  • the computer program is processed by the processor 1801.
  • Embodiments of the present invention also provide a computer-readable storage medium.
  • a computer program is stored on the computer-readable storage medium.
  • the computer program is executed by a processor, each process of the above image processing method embodiment is implemented, and the same can be achieved. The technical effects will not be repeated here to avoid repetition.
  • the computer-readable storage medium is such as read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disk or optical disk, etc.
  • the methods of the above embodiments can be implemented by means of software plus the necessary general hardware platform. Of course, it can also be implemented by hardware, but in many cases the former is better. implementation.
  • the technical solution of the present invention can be embodied in the form of a software product in essence or the part that contributes to the existing technology.
  • the computer software product is stored in a storage medium (such as ROM/RAM, disk, CD), including several instructions to cause a terminal (which can be a mobile phone, a computer, a server, an air conditioner, or a network device, etc.) to execute the methods described in various embodiments of the present invention.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Image Processing (AREA)
  • Cameras In General (AREA)

Abstract

一种图像处理方法、装置、电子设备及可读存储介质，该方法包括：接收第一类摄像头采集的第一类图像，以及，接收第二类摄像头采集的第二类图像，其中，所述第一类摄像头和第二类摄像头设置于显示屏幕的透光区的下方，且第一类摄像头和第二类摄像头的工作波长范围不同；对所述第一类图像和第二类图像进行图像融合处理，得到目标图像。

Description

图像处理方法、装置、电子设备及可读存储介质
相关申请的交叉引用
本申请主张于2022年3月18日在日本提交的日本专利申请第2022-043890的优先权，其全部内容通过引用包含于此。
技术领域
本申请属于图像处理技术领域，具体涉及一种图像处理方法、装置、电子设备及可读存储介质。
背景技术
目前，很多电子设备(如智能手机、平板电脑等)都设置有前置摄像头。前置摄像头主要用于自拍而设置在与显示器同侧。前置摄像头由于设置在与显示器同侧，因此前置摄像头的设置位置需要避开显示器，因此难以实现将电子设备的整个背面作为显示器的所谓的全屏设计。通常，有将前置摄像头设置于显示器外侧的挡板(bezel)部分的挡板型、在显示器的一部分开孔来设置前置摄像头的凹口(notch)型、点滴(dot drop)型、打孔(punch hole)型等。
此外，存在采用在电子设备的侧壁预先收纳前置摄像头，在摄像时使其弹出的弹出(popup)式，而成功地实现智能手机显示器全屏化设计的例子，但是，存在成本、厚度及可靠性等问题、摄像时镜头的进出花费时间的问题。另外，还有在背面设置第二个显示器，将后置摄像头用于自拍这样的方案，但是，在成本、设计方面存在问题。
因此，近年来，进行了在显示器下方设置前置摄像头，通过显示器进行自拍的屏下摄像装置的开发。如果提高前置摄像头正上方的显示器的透过率，确保摄像所需的光量的同时，也能够充分获得显示器使用时的显示器的显示对比度，则能够消除成本、厚度、可靠性等的问题，实现全屏设计的智能手机。
发明内容
本发明的至少一个实施例提供了一种图像处理方法、装置、电子设备及可读存储介质，用于提高屏下摄像装置的图像质量。
为了解决上述技术问题，本发明是这样实现的：
第一方面，本发明实施例提供了一种图像处理方法，包括：
接收第一类摄像头采集的第一类图像，以及，接收第二类摄像头采集的第二类图像，其中，所述第一类摄像头和第二类摄像头设置于显示屏幕的透光区的下方，且第一类摄像头和第二类摄像头的工作波长范围不同；
对所述第一类图像和第二类图像进行图像融合处理，得到目标图像。
第二方面，本发明实施例提供了一种图像处理装置，包括：
接收模块，用于接收第一类摄像头采集的第一类图像，以及，接收第二类摄像头采集的第二类图像，其中，所述第一类摄像头和第二类摄像头设置于显示屏幕的透光区的下方，且第一类摄像头和第二类摄像头的工作波长范围不同；
融合模块，用于对所述第一类图像和第二类图像进行图像融合处理，得到目标图像。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的图像处理方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有程序，所述程序被处理器执行时，实现如上所述的方法的步骤。
与现有技术相比，本发明实施例提供的图像处理方法、装置、电子设备及可读存储介质，能够减少或消除屏下摄像装置的灵敏度低、分辨率差、存在耀斑等问题，从而提高了屏下摄像装置的图像质量。
附图说明
图1为本发明实施例的图像处理方法的流程图；
图2为本发明实施例的屏下摄像装置的一种结构示意图；
图3为本发明实施例在第一种应用场景下的图像融合的一种流程图；
图4为本发明实施例在第一种应用场景下的图像融合的另一种流程图；
图5为本发明实施例在第一种应用场景下的图像融合的又一种流程图；
图6为本发明实施例的屏下摄像装置的另一种结构示意图；
图7为本发明实施例在第二种应用场景下的图像融合的一种流程图；
图8为本发明实施例在第二种应用场景下的图像融合的另一种流程图；
图9为本发明实施例在第二种应用场景下的图像融合的又一种流程图；
图10为本发明实施例的图像处理装置的一种结构示意图；
图11为本发明实施例的图像处理装置的另一种结构示意图；
图12～图17为本发明实施例的融合模块的结构示意图；
图18为本发明实施例的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
现有技术的屏下摄像装置中，为了通过显示器进行摄像，需要提高设置镜头的部分的显示器的透过率，但是，在提高显示器的透过率的情况下，存在显示的对比度降低从而显示质量降低，而与其他部分的均一性受损这样的问题，因此在提高显示器的透过率上存在限制。
因此，作为屏下摄像装置的缺点，可以列举如下的图像质量变差的问题。(1)显示器的透过光量下降所引起的灵敏度下降。(2)显示器的像素的衍射效应所引起的分辨率变差。(3)显示器构成层的光的散射所引起耀斑发生。 (4)显示器透过率的波长依存性、构成层的相位变化而引起色移、伪像(artifact)、伪色等发生。(5)显示器构成层的不均一性引起的图像失真。
针对这些问题，虽然提出了通过改善图像处理、镜头的各种解决方案，但是当前的现状是还没有实现商品化的解决方案。特别是在灵敏度低、分辨率变差、耀斑的发生方面还存在较大的问题。由于将镜头配置在显示器下方，因此存在若增大镜头来提高灵敏度则智能手机变厚的问题。
另一方面，在最近的智能手机中，在前面显示器侧设置个人认证用的镜头的情况也变多。在这样的情况下，使用利用红外线的点阵投射器(Dot Projector)和红外线镜头的结构光(Structured Light)方式、利用红外线激光和红外线镜头的飞行时间(Time of Flight)方式等。在这些方式中，需要照射激光来高精度地接收来自对象物的反射光，因此，难以设置在显示器的下方；需要在显示器的外侧设置这些个人认证系统的位置，因此，无法采用全屏设计。因此，在使用上述屏下摄像装置的情况下，使用指纹认证方式的个人认证系统的情况较多，但是指纹认证方式的认证精度还不充分高，因此在需要高可靠性的用途中还无法使用。
为解决以上问题中的至少一种，本发明实施例提供了一种图像处理方法，应用于在电子设备的显示屏幕下方设置前置摄像头的屏下摄像装置中，具体的，本发明实施例在屏下设置多个不同工作波长的摄像头，在显示屏幕的摄像头设置部的上方设置能够提高刚透过率的透光区(也可以称作高透过区)。
如图1所示，该图像处理方法包括：
步骤11，接收第一类摄像头采集的第一类图像，以及，接收第二类摄像头采集的第二类图像，其中，所述第一类摄像头和第二类摄像头设置于显示屏幕的透光区的下方，且第一类摄像头和第二类摄像头的工作波长范围不同。
这里，通过设置于显示屏幕的透光区下方的第一类摄像头和第二类摄像头，分别采集目标对象的图像，获得第一类图像和第二类图像。所述透光区的透过率大于预设的第一门限。为了减轻透光区与显示屏幕的其他部分的均一性受损的问题，所述透光区的透过率小于预设的第二门限，所述第二门限大于第一门限。
本发明实施例中，第一类摄像头和第二类摄像头分别基于不同波长范围 的光进行成像。所述第一类摄像头的数量可以是一个或多个，所述第二类摄像头的数量也可以是一个或多个。具体的，所述第一类摄像头是基于可见光进行成像的红绿蓝(Red Green Blue，RGB)摄像头，所述第二类摄像头是基于近红外光(Near Infrared，NIR)进行成像的NIR摄像头。
步骤12，对所述第一类图像和第二类图像进行图像融合处理，得到目标图像。
这里，在步骤12中，通过对基于不同波长成像的图像进行融合处理，本发明实施例能够利用不同波长各自成像的特性，减少或消除屏下摄像装置的灵敏度低、分辨率差、存在耀斑等问题，从而提高了屏下摄像装置的图像质量。
由于屏下摄像头的位置不同，因此针对同一目标对象采集的图像通常存在着视角、光轴、视差等差异，因此，在上述步骤12之前，本发明实施例还可以对所述第一类图像和第二类图像进行失真和视差校正，然后，在步骤12中，对校正后的第一类图像和第二类图像进行图像融合处理。
在所述第一类摄像头为RGB摄像头，所述第二类摄像头为NIR摄像头，且所述第一类摄像头包括第一摄像头，第二类摄像头包括第二摄像头的第一种应用场景下，第一摄像头采集第一图像(RGB图像)，第二摄像头采集第二图像(YUV图像)，本发明实施例在上述步骤12中有多种不同的实现方式。
第一种方式：
该第一种方式能够解决上述(1)的灵敏度低下的问题和(2)的分辨率低下的问题。具体的，将所述第一图像从RGB格式转换为YUV格式，获得所述第一图像的第一Y信号和第一UV信号；以及，从所述第二图像中提取第二Y信号；对所述第一Y信号和第二Y信号进行融合，得到第三Y信号；使用所述第三Y信号与所述第一UV信号合成得到目标图像。
第二种方式：
该第二种方式能够解决上述(1)的灵敏度低下的问题、(2)的分辨率低下和(3)的耀斑发生的问题。具体的，将所述第一图像从RGB格式转换为YUV格式，获得所述第一图像的第一Y信号和第一UV信号；以及，从所述第二图像中提取第二Y信号；计算所述第一Y信号和第二Y信号的第一 差值；根据所述第一差值，检测耀斑位置，并去除所述第一图像和第二图像中的耀斑，得到更新后的第一Y信号、第一UV信号和第二Y信号；对更新后的第一Y信号和第二Y信号进行融合，得到第四Y信号；使用所述第四Y信号与更新后的第一UV信号合成得到所述目标图像。
第三种方式：
该第三种方式能够解决上述(1)的灵敏度低下的问题、(2)的分辨率低下、(3)的耀斑发生和和(4)的人脸认证的问题。具体的，在上述第二种实现方式的基础上，根据所述第一图像和第二图像之间的视差信息，生成第一深度图像；输出所述目标图像和所述目标图像对应的所述第一深度图像，从而可以基于第一深度图像的深度信息进行人脸识别。
在所述第一类摄像头为RGB摄像头，所述第二类摄像头为NIR摄像头，且所述第一类摄像头包括第一摄像头，第二类摄像头包括第二摄像头和第三摄像头的第二种应用场景下，第一摄像头采集第一图像(RGB图像)，第二摄像头采集第二图像(黑白图像)，第三摄像头采集第三图像(黑白图像)，本发明实施例在上述步骤12中也有多种不同的实现方式。
第一种方式：
该第一种方式能够解决上述(1)的灵敏度低下的问题和(2)的分辨率低下的问题。具体的，将所述第一图像从RGB格式转换为YUV格式，获得所述第一图像的第一Y信号和第一UV信号；从所述第二图像中提取第二Y信号，以及，从所述第三图像中提取第五Y信号；对所述第一Y信号、第二Y信号和第五Y信号进行融合，得到第六Y信号；使用所述第六Y信号与所述第一UV信号合成得到目标图像。
第二种方式：
该第二种方式能够解决上述(1)的灵敏度低下的问题、(2)的分辨率低下和(3)的耀斑发生的问题。具体的，将所述第一图像从RGB格式转换为YUV格式，获得所述第一图像的第一Y信号和第一UV信号；从所述第二图像中提取第二Y信号，以及，从所述第三图像中提取第五Y信号；计算所述第一Y信号和第二Y信号的第一差值，以及，计算所述第一Y信号和第二Y信号的第二差值；根据所述第一差值和第二差值，检测耀斑位置，并去 除所述第一图像、第二图像和第三图像中的耀斑，得到更新后的第一Y信号、第一UV信号、第二Y信号和第五Y信号；对更新后的第一Y信号、第二Y信号和第五Y信号进行融合，得到第七Y信号；使用所述第七Y信号与更新后的第一UV信号合成得到所述目标图像。
第三种方式：
该第三种方式能够解决上述(1)的灵敏度低下的问题、(2)的分辨率低下、(3)的耀斑发生和和(4)的人脸认证的问题。具体的，在上述第二种实现方式的基础上，根据所述第一图像、第二图像和第三图像之间的视差信息，生成第二深度图像；输出所述目标图像和所述目标图像对应的所述第二深度图像。
下面以所述第一类摄像头为RGB摄像头，所述第二类摄像头为NIR摄像头为例，通过若干附图，对以上第一种应用场景和第二种应用场景的流程作更为具体的描述。
请参照图2～图5，对应于上述的第一种应用场景，如图2所示，在显示屏幕下方配置2个摄像头的屏下摄像装置。显示屏幕包括有一个高透过区，高透过区的光透过率高于显示屏幕的其他部分。在高透过区下方设置有第一类摄像头和第二类摄像头，这些摄像头接收透过显示平面的高透过区的光而进行摄像。其中，第一类摄像头包括摄像头1，第二类摄像头包括摄像头2，具体的，所述摄像头1是通常使用的接受可见光的RGB摄像头，摄像头2是仅检测近红外线NIR光的NIR摄像头。通过摄像头1和摄像头2分别采集目标对象的图像，从而获得摄像头1采集到的第一图像以及摄像头2采集到的第二图像。
基于图2所示的屏下摄像装置，还提供了图3～图5所示的多种图像融合方法。
图3表示为了解决(1)的灵敏度低下的问题和(2)的分辨率低下的问题的、使用来自两个屏下摄像头的输出图像的图像融合的处理流程。首先，来自摄像头1(RGB摄像头)的第一图像和来自摄像头2(NIR摄像头)的第二图像因为存在视角、光轴、视差等差异，因此对其进行检测后进行图像校正，获得校正后的第一图像和第二图像。之后，摄像头1(RGB摄像头) 采集的第一图像从RGB格式变换为YUV格式，然后分离为第一Y信号和第一UV信号。通过使用来自RGB摄像头的第一Y信号和来自NIR摄像头的第二Y信号进行图像融合处理，得到第三Y信号，在提高在暗部的灵敏度降低噪声的同时，还能够提高亮度分辨率。之后，使用图像融合后的第三Y信号和来自RGB摄像头的第一UV信号合成彩色的目标图像并输出。
图4表示为了进一步解决(3)的耀斑发生的问题的、使用来自两个屏下摄像头的输出图像的耀斑去除以及图像融合图像处理流程。首先，来自摄像头1(RGB摄像头)的第一图像和来自摄像头2(NIR摄像头)的第二图像因为存在视角、光轴、视差等差异，因此对其进行检测后进行图像校正，获得校正后的第一图像和第二图像。之后，摄像头1(RGB摄像头)采集的第一图像从RGB格式变换为YUV格式，然后分离为第一Y信号和第一UV信号。通过对来自RGB摄像头的第一Y信号和第一UV信号、以及来自NIR摄像头的第二Y信号进行比较而形成差值，来检测在RGB摄像头中的耀斑的发生状态和NIR摄像头中的耀斑的发生状态的差，由此能够分离耀斑和其以外的图像，使用该信息能够高效去除耀斑。特别是在夜景中成为较大问题的LED灯的耀斑不会在NIR摄像头中被检测到，因此能够高效去除上述耀斑。在耀斑去除后，使用来自RGB摄像头的第一Y信号和来自NIR摄像头的第二Y信号来进行图像融合处理，得到第四Y信号，由此在提高暗部的灵敏度降低噪声的同时，还能够提高亮度分辨率。之后，使用图像融合的第四Y信号和来自RGB摄像头的第一UV信号合成彩色的目标图像后输出。
图5表示为了进一步实现(4)的人脸识别功能的、使用来自两个屏下摄像头的输出图像的耀斑去除以及图像融合图像处理和人脸认证的流程。来自摄像头1(RGB摄像头)的第一图像和来自摄像头2(NIR摄像头)的第二图像因为存在视角、光轴、视差等差异，因此对其进行检测后进行图像校正，获得校正后的第一图像和第二图像。之后，摄像头1(RGB摄像头)采集的第一图像从RGB格式变换为YUV格式，然后分离为第一Y信号和第一UV信号。通过对来自RGB摄像头的第一Y信号和第一UV信号、以及来自NIR摄像头的第二Y信号进行比较而形成差值，由此检测在RGB摄像头中的耀斑的发生状态和在NIR摄像头中的耀斑的发生状态的差，由此，能够分 离耀斑和其以外的图像，能够使用该信息高效地去除耀斑。特别是在夜景下成为较大问题的LED灯的耀斑不会在NIR摄像头中被检测到，因此能够高效地去除上述耀斑。耀斑去除后，通过使用来自RGB摄像头的第一Y信号和来自NIR摄像头的第二Y信号进行图像融合处理，得到第四Y信号，由此提高暗部的灵敏度降低噪声，同时还提高了亮度分辨率。之后，使用图像融合后的第四Y信号和来自RGB摄像头的第一UV信号合成彩色的目标图像后输出。此外，还能够根据摄像头1和摄像头2的视差信息生成深度图(depth map)，使用其三维信息和输出的所述目标图像进行人脸识别。
请参照图6～图9，对应于上述的第二种应用场景，如图6所示，在显示屏幕下方配置3个摄像头的屏下摄像装置。摄像头1是通常使用的接收可见光的RGB摄像头，摄像头2和摄像头3均是仅检测近红外线NIR光的NIR摄像头。摄像头1、摄像头2和摄像头3配置在显示器的高透过区的下方，接收透过显示器的高透过区的光来进行摄像。在以上实施例中，由于RGB摄像头和NIR摄像头的分辨率、光学特性等存在差异，因此可能存在视差的检测精度的问题。在本实施例中，与以上实施例相比，特别是将设置两个在暗部的检测精度高的NIR摄像头，由此能够在NIR摄像头间获取准确的视差信息，因此能够提高深度图的精度，提高人脸识别精度。
图7表示为了解决(1)的灵敏度低下的课题和(2)的分辨率低下的问题的、使用了来自3个屏下摄像头的输出图像的图像融合图像处理流程。首先，来自摄像头1(RGB摄像头)的第一图像、来自摄像头2(NIR摄像头)的第二图像和来自摄像头3(NIR摄像头)的第三图像因为存在视角、光轴、视差等差异，因此对其进行检测后进行图像校正，获得校正后的第一图像、第二图像和第三图像。之后，摄像头1(RGB摄像头)采集的第一图像从RGB格式变换为YUV格式，然后分离为第一Y信号和第一UV信号，从而能够通过使用来自RGB摄像头的Y信号和来自NIR摄像头的两个Y信号进行图像融合处理来提高暗部的灵敏度降低噪声，同时能够提高亮度分辨率。之后，使用图像融合后的Y信号和来自RGB摄像头的UV信号合成彩色的目标图像后输出。
图8表示为了进一步解决(3)的耀斑产生问题使用了来自3个屏下摄 像头的输出图像的耀斑去除以及图像融合图像处理流程。首先，来自摄像头1(RGB摄像头)的第一图像、来自摄像头2(NIR摄像头)的第二图像和来自摄像头3(NIR摄像头)的第三图像因为存在视角、光轴、视差等差异，因此对其进行检测后进行图像校正，获得校正后的第一图像、第二图像和第三图像。之后，摄像头1(RGB摄像头)采集的第一图像从RGB格式变换为YUV格式，然后分离为第一Y信号和第一UV信号。通过对来自RGB摄像头的Y信号和UV信号、以及来自NIR摄像头的两个Y信号进行比较而形成差分，来检测在RGB摄像头中的耀斑的发生状态和在两个NIR摄像头中的耀斑的发生状态的差，由此能够分离耀斑和其以外的图像，能够使用该信息高效去除耀斑。特别是在夜景下成为较大问题的LED灯的耀斑不会在NIR摄像头中检测到，因此能够高效地去除上述耀斑。耀斑去除后，通过使用来自RGB摄像头的Y信号和来自NIR摄像头的两个Y信号进行图像融合处理，能够提高暗部的灵敏度降低噪声，同时能够提高亮度分辨率。之后，使用图像融合后的Y信号和来自RGB摄像头的UV信号来合成彩色目标图像后输出。
图9表示为了进一步实现(4)的人脸识别功能的、使用来自3个屏下摄像头的输出图像的耀斑去除和图像融合图像处理以及人脸认证的流程。首先，来自摄像头1(RGB摄像头)的第一图像、来自摄像头2(NIR摄像头)的第二图像和来自摄像头3(NIR摄像头)的第三图像因为存在视角、光轴、视差等差异，因此对其进行检测后进行图像校正，获得校正后的第一图像、第二图像和第三图像。之后，摄像头1(RGB摄像头)采集的第一图像从RGB格式变换为YUV格式，然后分离为第一Y信号和第一UV信号。通过对来自RGB摄像头的Y信号和UV信号、以及来自NIR摄像头的两个Y信号进行比较而形成差值，来检测在RGB摄像头中的耀斑的发生状态和在两个NIR摄像头中的耀斑的发生状态的差，由此能够将耀斑与其以外的图像分离、能够使用该信息高效地去除耀斑。特别是在夜景下成为较大问题的LED灯的耀斑不会在NIR摄像头中检测到，因此能够高效地去除上述耀斑。耀斑去除后，通过使用来自RGB摄像头的Y信号和来自两个NIR摄像头的Y信号进行图像融合处理，能够提高暗部的灵敏度，降低噪声，同时能够提高亮度分 辨率。之后，使用图像融合后的Y信号和来自RGB摄像头的UV信号来合成彩色图像后输出。此外，还能够根据摄像头1、摄像头2和摄像头3的视差信息生成深度图像，使用其三维信息和输出的所述目标图像来进行人脸识别。
以上介绍了本发明实施例的各种方法。下面将进一步提供实施上述方法的装置。
请参考图10，本发明实施例还提供了一种图像处理装置90，包括：
接收模块91，用于接收第一类摄像头采集的第一类图像，以及，接收第二类摄像头采集的第二类图像，其中，所述第一类摄像头和第二类摄像头设置于显示屏幕的透光区的下方，且第一类摄像头和第二类摄像头的工作波长范围不同；
融合模块92，用于对所述第一类图像和第二类图像进行图像融合处理，得到目标图像。
可选的，所述第一类摄像头为基于可见光进行成像的RGB摄像头，所述第二类摄像头为基于近红外光进行成像的NIR摄像头。
请参考图11，本发明实施例还提供另一种图像处理装置90，该装置在图9的基础上，还包括：
校正模块93，用于在所述融合模块对所述第一类图像和第二类图像进行图像融合处理之前，对所述第一类图像和第二类图像进行失真和视差校正。这样，所述融合模块92在融合处理时，是对所述第一类图像和第二类图像进行图像融合。
针对所述第一类摄像头包括第一摄像头，所述第二类摄像头包括第二摄像头的应用场景，所述第一类图像包括第一摄像头采集的第一图像，所述第二类图像包括第二摄像头采集的第二图像。此时，请参照图12，作为一种实现方式，图10或图11中的所述融合模块92具体包括：
第一提取子模块9201，用于将所述第一图像从RGB格式转换为YUV格式，获得所述第一图像的第一Y信号和第一UV信号；以及，从所述第二图像中提取第二Y信号；
第一融合子模块9202，用于对所述第一Y信号和第二Y信号进行融合， 得到第三Y信号；
第一合成子模块9203，用于使用所述第三Y信号与所述第一UV信号合成得到目标图像。
请参照图13，作为另一种实现方式，图10或图11中的所述融合模块92具体包括：
第一提取子模块9201，用于将所述第一图像从RGB格式转换为YUV格式，获得所述第一图像的第一Y信号和第一UV信号；以及，从所述第二图像中提取第二Y信号；
第一计算子模块9204，用于计算所述第一Y信号和第二Y信号的第一差值；
第一耀斑去除子模块9205，用于根据所述第一差值，检测耀斑位置，并去除所述第一图像和第二图像中的耀斑，得到更新后的第一Y信号、第一UV信号和第二Y信号；
第二融合子模块9206，用于对更新后的第一Y信号和第二Y信号进行融合，得到第四Y信号；
第二合成子模块9207，用于使用所述第四Y信号与更新后的第一UV信号合成得到所述目标图像。
请参照图14，作为又一种实现方式，在图13的基础上，所述融合模块92还包括：
第一生成子模块9208，用于根据所述第一图像和第二图像之间的视差信息，生成第一深度图像；
所述第二合成子模块9207，还用于输出所述目标图像和所述目标图像对应的所述第一深度图像。
针对所述第一类摄像头包括第一摄像头，所述第二类摄像头包括第二摄像头和第三摄像头的应用场景，所述第一类图像包括第一摄像头采集的第一图像，所述第二类图像包括第二摄像头采集的第二图像和第三摄像头采集的第三图像。此时，请参照图15，作为一种实现方式，图10或图11中的所述融合模块92具体包括：
第二提取子模块9211，用于将所述第一图像从RGB格式转换为YUV格 式，获得所述第一图像的第一Y信号和第一UV信号；从所述第二图像中提取第二Y信号，以及，从所述第三图像中提取第五Y信号；
第二融合子模块9212，用于对所述第一Y信号、第二Y信号和第五Y信号进行融合，得到第六Y信号；
第三合成子模块9213，用于使用所述第六Y信号与所述第一UV信号合成得到目标图像。
请参照图16，作为另一种实现方式，图10或图11中的所述融合模块92具体包括：
第二提取子模块9211，用于将所述第一图像从RGB格式转换为YUV格式，获得所述第一图像的第一Y信号和第一UV信号；从所述第二图像中提取第二Y信号，以及，从所述第三图像中提取第五Y信号；
第一计算子模块9214，用于计算所述第一Y信号和第二Y信号的第一差值，以及，计算所述第一Y信号和第二Y信号的第二差值；
第二耀斑去除子模块9215，用于根据所述第一差值和第二差值，检测耀斑位置，并去除所述第一图像、第二图像和第三图像中的耀斑，得到更新后的第一Y信号、第一UV信号、第二Y信号和第五Y信号；
第四融合子模块9216，用于对更新后的第一Y信号、第二Y信号和第五Y信号进行融合，得到第七Y信号；
第四合成子模块9217，用于使用所述第七Y信号与更新后的第一UV信号合成得到所述目标图像。
请参照图17，作为又一种实现方式，在图16的基础上，所述融合模块92还包括：
第二生成子模块9218，用于根据所述第一图像、第二图像和第三图像之间的视差信息，生成第二深度图像；
所述第四合成子模块9217，还用于输出所述目标图像和所述目标图像对应的所述第二深度图像。
需要说明的是，该实施例中的设备是与上述应用于图像处理方法对应的设备，上述各实施例中的实现方式均适用于该设备的实施例中，也能达到相同的技术效果。本发明实施例提供的上述设备，能够实现上述方法实施例所 实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
请参考图18，本发明实施例还提供一种电子设备1800，包括处理器1801，存储器1802，存储在存储器1802上并可在所述处理器1801上运行的计算机程序，该计算机程序被处理器1801执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“中包含”或者其任何其他变体意在涵盖非排他性的中包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (19)

  1. 一种图像处理方法，包括：
    接收第一类摄像头采集的第一类图像，以及，接收第二类摄像头采集的第二类图像，其中，所述第一类摄像头和第二类摄像头设置于显示屏幕的透光区的下方，且第一类摄像头和第二类摄像头的工作波长范围不同；
    对所述第一类图像和第二类图像进行图像融合处理，得到目标图像。
  2. 根据权利要求1所述的方法，其中，在对所述第一类图像和第二类图像进行图像融合处理之前，还包括：
    对所述第一类图像和第二类图像进行失真和视差校正。
  3. 根据权利要求1或2所述的方法，其中，所述第一类摄像头为基于可见光进行成像的RGB摄像头，所述第二类摄像头为基于近红外光进行成像的NIR摄像头。
  4. 根据权利要求3所述的方法，其中，所述第一类摄像头包括第一摄像头，所述第二类摄像头包括第二摄像头；所述第一类图像包括第一摄像头采集的第一图像，所述第二类图像包括第二摄像头采集的第二图像。
  5. 根据权利要求4所述的方法，其中，所述对所述第一类图像和第二类图像进行图像融合处理，得到目标图像，包括：
    将所述第一图像从RGB格式转换为YUV格式，获得所述第一图像的第一Y信号和第一UV信号；以及，从所述第二图像中提取第二Y信号；
    对所述第一Y信号和第二Y信号进行融合，得到第三Y信号；
    使用所述第三Y信号与所述第一UV信号合成得到目标图像。
  6. 根据权利要求4所述的方法，其中，所述对所述第一类图像和第二类图像进行图像融合处理，得到目标图像，包括：
    将所述第一图像从RGB格式转换为YUV格式，获得所述第一图像的第一Y信号和第一UV信号；以及，从所述第二图像中提取第二Y信号；
    计算所述第一Y信号和第二Y信号的第一差值；
    根据所述第一差值，检测耀斑位置，并去除所述第一图像和第二图像中的耀斑，得到更新后的第一Y信号、第一UV信号和第二Y信号；
    对更新后的第一Y信号和第二Y信号进行融合，得到第四Y信号；
    使用所述第四Y信号与更新后的第一UV信号合成得到所述目标图像。
  7. 根据权利要求6所述的方法，其中，所述对所述第一类图像和第二类图像进行图像融合处理，得到目标图像，还包括：
    根据所述第一图像和第二图像之间的视差信息，生成第一深度图像；
    输出所述目标图像和所述目标图像对应的所述第一深度图像。
  8. 根据权利要求3所述的方法，其中，所述第一类摄像头包括第一摄像头，所述第二类摄像头包括第二摄像头和第三摄像头；所述第一类图像包括第一摄像头采集的第一图像，所述第二类图像包括第二摄像头采集的第二图像和第三摄像头采集的第三图像。
  9. 根据权利要求8所述的方法，其中，所述对所述第一类图像和第二类图像进行图像融合处理，得到目标图像，包括：
    将所述第一图像从RGB格式转换为YUV格式，获得所述第一图像的第一Y信号和第一UV信号；从所述第二图像中提取第二Y信号，以及，从所述第三图像中提取第五Y信号；
    对所述第一Y信号、第二Y信号和第五Y信号进行融合，得到第六Y信号；
    使用所述第六Y信号与所述第一UV信号合成得到目标图像。
  10. 根据权利要求8所述的方法，其中，所述对所述第一类图像和第二类图像进行图像融合处理，得到目标图像，包括：
    将所述第一图像从RGB格式转换为YUV格式，获得所述第一图像的第一Y信号和第一UV信号；从所述第二图像中提取第二Y信号，以及，从所述第三图像中提取第五Y信号；
    计算所述第一Y信号和第二Y信号的第一差值，以及，计算所述第一Y信号和第二Y信号的第二差值；
    根据所述第一差值和第二差值，检测耀斑位置，并去除所述第一图像、第二图像和第三图像中的耀斑，得到更新后的第一Y信号、第一UV信号、第二Y信号和第五Y信号；
    对更新后的第一Y信号、第二Y信号和第五Y信号进行融合，得到第七 Y信号；
    使用所述第七Y信号与更新后的第一UV信号合成得到所述目标图像。
  11. 根据权利要求10所述的方法，其中，所述对所述第一类图像和第二类图像进行图像融合处理，得到目标图像，还包括：
    根据所述第一图像、第二图像和第三图像之间的视差信息，生成第二深度图像；
    输出所述目标图像和所述目标图像对应的所述第二深度图像。
  12. 一种图像处理装置，包括：
    接收模块，用于接收第一类摄像头采集的第一类图像，以及，接收第二类摄像头采集的第二类图像，其中，所述第一类摄像头和第二类摄像头设置于显示屏幕的透光区的下方，且第一类摄像头和第二类摄像头的工作波长范围不同；
    融合模块，用于对所述第一类图像和第二类图像进行图像融合处理，得到目标图像。
  13. 根据权利要求12所述的图像处理装置，其中，还包括：
    校正模块，用于在所述融合模块对所述第一类图像和第二类图像进行图像融合处理之前，对所述第一类图像和第二类图像进行失真和视差校正。
  14. 根据权利要求12或13所述的图像处理装置，其中，
    所述第一类摄像头为基于可见光进行成像的RGB摄像头，所述第二类摄像头为基于近红外光进行成像的NIR摄像头。
  15. 根据权利要求14所述的图像处理装置，其中，所述第一类摄像头包括第一摄像头，所述第二类摄像头包括第二摄像头；所述第一类图像包括第一摄像头采集的第一图像，所述第二类图像包括第二摄像头采集的第二图像。
  16. 根据权利要求14所述的图像处理装置，其中，所述第一类摄像头包括第一摄像头，所述第二类摄像头包括第二摄像头和第三摄像头；所述第一类图像包括第一摄像头采集的第一图像，所述第二类图像包括第二摄像头采集的第二图像和第三摄像头采集的第三图像。
  17. 一种电子设备，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利 要求1-11任一项所述的图像处理方法的步骤。
  18. 根据权利要求17所述的电子设备，其中，还包括：
    显示屏幕，所述显示屏幕包括有透光区；
    设置于所述透光区下方的至少一个第一类摄像头和第二类摄像头。
  19. 一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-11任一项所述的图像处理方法的步骤。
PCT/CN2023/081836 2022-03-18 2023-03-16 图像处理方法、装置、电子设备及可读存储介质 WO2023174367A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022/043890 2022-03-18
JP2022043890A JP7324329B1 (ja) 2022-03-18 2022-03-18 画像処理方法、装置、電子機器及び読み取り可能な記憶媒体

Publications (1)

Publication Number Publication Date
WO2023174367A1 true WO2023174367A1 (zh) 2023-09-21

Family

ID=87519515

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/081836 WO2023174367A1 (zh) 2022-03-18 2023-03-16 图像处理方法、装置、电子设备及可读存储介质

Country Status (2)

Country Link
JP (1) JP7324329B1 (zh)
WO (1) WO2023174367A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170094141A1 (en) * 2015-09-24 2017-03-30 Intel Corporation Infrared and visible light dual sensor imaging system
CN107292860A (zh) * 2017-07-26 2017-10-24 武汉鸿瑞达信息技术有限公司 一种图像处理的方法及装置
CN111586273A (zh) * 2020-05-22 2020-08-25 Oppo广东移动通信有限公司 电子设备及图像获取方法
CN111741281A (zh) * 2020-06-30 2020-10-02 Oppo广东移动通信有限公司 图像处理方法、终端及存储介质
CN112767289A (zh) * 2019-10-21 2021-05-07 浙江宇视科技有限公司 图像融合方法、装置、介质及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6221682B2 (ja) 2013-11-22 2017-11-01 株式会社リコー 画像処理装置、撮像システム、画像処理方法およびプログラム
JP6910792B2 (ja) 2016-12-13 2021-07-28 ソニーセミコンダクタソリューションズ株式会社 データ処理装置、データ処理方法、プログラム、および電子機器
US11445094B2 (en) 2017-08-07 2022-09-13 Apple Inc. Electronic device having a vision system assembly held by a self-aligning bracket assembly
JP7316809B2 (ja) 2019-03-11 2023-07-28 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
KR20210069289A (ko) 2019-12-03 2021-06-11 엘지디스플레이 주식회사 디스플레이 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170094141A1 (en) * 2015-09-24 2017-03-30 Intel Corporation Infrared and visible light dual sensor imaging system
CN107292860A (zh) * 2017-07-26 2017-10-24 武汉鸿瑞达信息技术有限公司 一种图像处理的方法及装置
CN112767289A (zh) * 2019-10-21 2021-05-07 浙江宇视科技有限公司 图像融合方法、装置、介质及电子设备
CN111586273A (zh) * 2020-05-22 2020-08-25 Oppo广东移动通信有限公司 电子设备及图像获取方法
CN111741281A (zh) * 2020-06-30 2020-10-02 Oppo广东移动通信有限公司 图像处理方法、终端及存储介质

Also Published As

Publication number Publication date
JP2023137620A (ja) 2023-09-29
JP7324329B1 (ja) 2023-08-09

Similar Documents

Publication Publication Date Title
US9992457B2 (en) High resolution multispectral image capture
US9581436B2 (en) Image processing device, image capturing apparatus, and image processing method
JP6394338B2 (ja) 画像処理装置、画像処理方法、及び撮像システム
US20150097932A1 (en) Digital cinema projection method, optimization device and projection system
US20130113888A1 (en) Device, method and program for determining obstacle within imaging range during imaging for stereoscopic display
US20150278996A1 (en) Image processing apparatus, method, and medium for generating color image data
TW201019721A (en) Image capture using separate luminance and chrominance sensors
CN106296625A (zh) 图像处理装置及图像处理方法、摄像装置及摄像方法
JP7285791B2 (ja) 画像処理装置、および出力情報制御方法、並びにプログラム
CN112991245B (zh) 双摄虚化处理方法、装置、电子设备和可读存储介质
JPWO2013047066A1 (ja) 追尾枠の初期位置設定装置およびその動作制御方法
US11330177B2 (en) Image processing apparatus and image processing method
CN109729259B (zh) 图像处理装置、其方法、其系统以及计算机可读介质
US20210405384A1 (en) Optical processing apparatus, camera module, electronic device and capturing method
CN111866369B (zh) 图像处理方法及装置
US20230033956A1 (en) Estimating depth based on iris size
WO2023174367A1 (zh) 图像处理方法、装置、电子设备及可读存储介质
US20220405896A1 (en) Image processing method and apparatus, model training method and apparatus, and storage medium
US20190057492A1 (en) Method and image processing device for detecting a portion of an image
JP7426438B2 (ja) 画像処理方法、装置、電子機器および読み取り可能記憶媒体
CN109447925B (zh) 图像处理方法和装置、存储介质、电子设备
CN108111831B (zh) 拍摄方法、成像装置、计算机可读存储介质和计算机设备
US20240320794A1 (en) Image processing method and related device thereof
CN115118947B (zh) 图像的处理方法、装置、电子设备及存储介质
CN112055191B (zh) 白平衡调整的方法、图像采集设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23769869

Country of ref document: EP

Kind code of ref document: A1