WO2021115040A1 - 图像校正方法、装置、终端设备和存储介质 - Google Patents

图像校正方法、装置、终端设备和存储介质 Download PDF

Info

Publication number
WO2021115040A1
WO2021115040A1 PCT/CN2020/129243 CN2020129243W WO2021115040A1 WO 2021115040 A1 WO2021115040 A1 WO 2021115040A1 CN 2020129243 W CN2020129243 W CN 2020129243W WO 2021115040 A1 WO2021115040 A1 WO 2021115040A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
face
threshold
image
standard
Prior art date
Application number
PCT/CN2020/129243
Other languages
English (en)
French (fr)
Inventor
王运
Original Assignee
Oppo广东移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo广东移动通信有限公司 filed Critical Oppo广东移动通信有限公司
Priority to EP20899659.5A priority Critical patent/EP4064177A4/en
Publication of WO2021115040A1 publication Critical patent/WO2021115040A1/zh
Priority to US17/744,101 priority patent/US20220270219A1/en

Links

Images

Classifications

    • G06T3/18—
    • G06T5/80—
    • G06T5/77—
    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • This application relates to the field of image processing technology, and in particular to an image correction method, device, terminal device, and storage medium.
  • the terminal equipment is equipped with a wide-angle camera, and the image captured by the wide-angle camera always has distortion, and the degree of image distortion is usually expressed by the distortion coefficient.
  • This application proposes an image correction method, device, terminal device and storage medium, which solves the technical problem of correcting target objects that do not need correction processing in the prior art, thereby affecting correction processing efficiency and correction effect, and realizes
  • the background pixels of the image are used to perform pixel compensation on the blank area generated during the correction process, which improves the efficiency of image correction processing and ensures the effect of image correction processing.
  • An embodiment of the present application provides an image correction method.
  • the method includes the following steps: extracting the face attributes of the standard area corresponding to each face in the image; and obtaining the face attributes from the standard area according to the face attributes. Correct the first area of the attribute; obtain the second area with the face protection attribute from the standard area according to the face attribute; perform image correction on the face of the first area, and perform image correction according to the background pixel of the image.
  • the blank area generated in the correction process of the first area is subjected to pixel compensation, wherein the background pixels of the image do not include pixels in the second area.
  • the device includes: an extraction module for extracting face attributes of a standard region corresponding to each face in an image; a first acquisition module for The face attribute obtains the first area with the face correction attribute from the standard area; the second obtaining module is used to obtain the second area with the face protection attribute from the standard area according to the face attribute; the correction module uses To perform image correction on the face of the first area, and perform pixel compensation on the blank area generated in the correction process of the first area according to the background pixels of the image, wherein the background pixels of the image do not include Pixels in the second area.
  • a terminal device including: a memory, a processor, and a computer program stored in the memory and capable of running on the processor.
  • the processor implements image correction when the computer program is executed. method.
  • the image correction method includes the following steps: extracting the face attributes of the standard area corresponding to each face in the image; obtaining a first area with face correction attributes from the standard area according to the face attribute; Attributes: Obtain the second area with face protection attributes from the standard area; perform image correction on the face of the first area, and correct the blanks generated in the first area during the correction process according to the background pixels of the image The area performs pixel compensation, wherein the background pixels of the image do not include pixels in the second area.
  • an embodiment provides a computer-readable storage medium on which a computer program is stored, and the computer program is executed by a processor to implement an image correction method.
  • the image correction method includes the following steps: extracting the face attributes of the standard area corresponding to each face in the image; obtaining a first area with face correction attributes from the standard area according to the face attribute; Attributes: Obtain the second area with face protection attributes from the standard area; perform image correction on the face of the first area, and correct the blanks generated in the first area during the correction process according to the background pixels of the image The area performs pixel compensation, wherein the background pixels of the image do not include pixels in the second area.
  • Fig. 1 is a flowchart of an image correction method according to an embodiment of the present application
  • Fig. 2 is a flowchart of an image correction method according to another embodiment of the present application.
  • Fig. 3 is a schematic structural diagram of an image correction device according to an embodiment of the present application.
  • Fig. 4 is a schematic structural diagram of an image correction device according to another embodiment of the present application.
  • the image correction method of the embodiment of the present application includes:
  • extracting the face attributes of the standard region corresponding to each face in the image includes:
  • obtaining a first area with face correction attributes from a standard area according to face attributes includes:
  • the face area is greater than the first area threshold, and/or the standard area corresponding to the face radial distance greater than the first distance threshold is the first area with the face correction attribute.
  • obtaining the second area with face protection attributes from the standard area according to the face attributes includes:
  • the face area is less than the first area threshold and greater than the second area threshold, and the radial distance of the face is less than the first distance threshold and greater than the second distance threshold.
  • the corresponding standard area is the second area with face protection attributes. .
  • the image correction method further includes determining, according to the comparison result, that the face area is less than the second area threshold, and the standard area corresponding to the face radial distance less than the second distance threshold is the third area with the background attribute of the face. ;
  • the image correction device of the embodiment of the present application includes an extraction module 310, a first acquisition module 320, a second acquisition module 330, and a correction module 340.
  • the extraction module 310 is used to extract the face attributes of the standard region corresponding to each face in the image.
  • the first obtaining module 320 is configured to obtain a first area with a face correction attribute from the standard area according to the face attribute.
  • the second obtaining module 330 is configured to obtain a second area with face protection attributes from the standard area according to the face attributes.
  • the correction module 340 is used to perform image correction on the human face in the first area, and perform pixel compensation on the blank area generated in the correction process of the first area according to the background pixels of the image, wherein the background pixels of the image do not include those in the second area. Of pixels.
  • the extraction module 310 includes a detection unit 3101, a first calculation unit 3102, and a second calculation unit 3103.
  • the detection unit 3101 is used to detect the face frame of each face in the image, and the standard area of the face is calibrated from each face frame according to a preset algorithm; the first calculation unit 3102 is used to calculate the face area of each standard area
  • the second calculation unit 3103 is used to calculate the radial distance of the face from the coordinates of the center point of each face frame to the center coordinates of the image.
  • the first obtaining module 320 is specifically configured to compare the face area with a preset first area threshold, and to compare the radial distance of the face with the preset first distance threshold; determine according to the comparison result
  • the face area is greater than the first area threshold, and/or the standard area corresponding to the face radial distance greater than the first distance threshold is the first area with the face correction attribute.
  • the second acquisition module 330 is specifically configured to: compare the face area with a preset second area threshold, and compare the radial distance of the face with the preset second distance threshold; where , The first area threshold is greater than the second area threshold, and the first distance threshold is greater than the second distance threshold; according to the comparison result, it is determined that the face area is less than the first area threshold and greater than the second area threshold, and the radial distance of the face is less than the first distance
  • the standard area corresponding to the threshold and greater than the second distance threshold is the second area with the face protection attribute.
  • the third area with the background attribute of the face is determined according to the comparison result that the face area is smaller than the second area threshold, and the radial distance of the face is smaller than the standard area corresponding to the second distance threshold; the correction module 340, It is specifically used for: performing pixel compensation on the blank area generated in the correction process of the first area according to the pixels in the third area with the face background attribute around the first area.
  • the terminal device of the embodiment of the present application includes a memory, a processor, and a computer program that is stored on the memory and can run on the processor.
  • the processor executes the computer program, the following steps are implemented: Face attributes; obtain the first area with face correction attributes from the standard area according to the face attributes; obtain the second area with face protection attributes from the standard area according to the face attributes; perform the process on the face of the first area Image correction, and pixel compensation is performed on the blank area generated in the correction process of the first area according to the background pixels of the image, wherein the background pixels of the image do not include the pixels in the second area.
  • the processor when the processor executes the computer program, the following steps are implemented: detecting the face frame of each face in the image, marking the standard area of the face from each face frame according to a preset algorithm; calculating each standard area The face area; calculate the radial distance of the face from the coordinates of the center point of each face frame to the center coordinates of the image.
  • the processor executes the computer program, the following steps are implemented: comparing the face area with a preset first area threshold, and comparing the radial distance of the face with the preset first distance threshold ; According to the comparison result, it is determined that the face area is greater than the first area threshold, and/or the standard area corresponding to the face radial distance greater than the first distance threshold is the first area with the face correction attribute.
  • the processor executes the computer program, the following steps are implemented: comparing the face area with a preset second area threshold, and comparing the radial distance of the face with the preset second distance threshold ; Wherein, the first area threshold is greater than the second area threshold, the first distance threshold is greater than the second distance threshold; according to the comparison result, it is determined that the face area is less than the first area threshold and greater than the second area threshold, and the radial distance of the face is less than the first
  • a standard area corresponding to a distance threshold and greater than a second distance threshold is a second area with face protection attributes.
  • the processor executes the computer program, the following steps are implemented: according to the comparison result, it is determined that the face area is less than the second area threshold, and the standard area corresponding to the face radial distance less than the second distance threshold is a human face.
  • the computer readable storage medium in the embodiment of the present application stores a computer program when the computer program is executed by a processor to implement the following steps: extract the face attributes of the standard area corresponding to each face in the image; Obtain the first area with face correction attributes; obtain the second area with face protection attributes from the standard area according to the face attributes; perform image correction on the face of the first area, and perform image correction on the first area according to the background pixels of the image
  • the blank area generated in the correction process of the area is subjected to pixel compensation, wherein the background pixels of the image do not include the pixels in the second area.
  • the following steps are implemented: detecting the face frame of each face in the image, marking the standard area of the face from each face frame according to a preset algorithm; calculating each standard area The face area; calculate the radial distance of the face from the coordinates of the center point of each face frame to the center coordinates of the image.
  • the following steps are implemented: comparing the face area with a preset first area threshold, and comparing the radial distance of the face with the preset first distance threshold ; According to the comparison result, it is determined that the face area is greater than the first area threshold, and/or the standard area corresponding to the face radial distance greater than the first distance threshold is the first area with the face correction attribute.
  • the following steps are implemented: comparing the face area with a preset second area threshold, and comparing the radial distance of the face with the preset second distance threshold ; Wherein, the first area threshold is greater than the second area threshold, the first distance threshold is greater than the second distance threshold; according to the comparison result, it is determined that the face area is less than the first area threshold and greater than the second area threshold, and the radial distance of the face is less than the first
  • a standard area corresponding to a distance threshold and greater than a second distance threshold is a second area with face protection attributes.
  • the following steps are implemented: According to the comparison result, it is determined that the face area is less than the second area threshold, and the standard area corresponding to the face radial distance less than the second distance threshold is a human face.
  • the application subject of the image correction method of the embodiment of the present application may be any terminal device with a camera.
  • This application provides an image correction method.
  • the facial attributes of the standard region corresponding to each human face in the image are extracted according to the technical problem of the correction processing efficiency and the correction effect.
  • the attribute acquires the first area with face correction attributes from the standard area, and acquires the second area with face protection attributes from the standard area according to the face attributes, performs image correction on the face of the first area, and according to the image
  • the background pixels perform pixel compensation for the blank area generated in the first area during the correction process, where the background pixels of the image do not include the pixels in the second area, thereby realizing the correction of the blank area generated during the correction process through the background pixels of the image. Pixel compensation is performed in the area to improve the efficiency of image correction processing and ensure the effect of image correction processing.
  • Fig. 1 is a flowchart of an image correction method according to an embodiment of the present application. As shown in Fig. 1, the method includes:
  • Step 101 Extract the face attributes of the standard area corresponding to each face in the image.
  • the image correction method of the present application is mainly a correction for the distortion of the human face in the image. It is understandable that there can be one or more human faces in the actual captured image, and the human face can be a front face or a side face. Faces and half faces, etc., when there are multiple faces, this application can classify each face into a face that needs distortion correction, a face that needs to be protected and not processed as a background, and a face that can be used as a background , During the correction, the face that needs to be corrected can be processed, and the face that needs to be protected can be protected, which reduces unnecessary face correction and ensures that the protected face is not stretched or deformed.
  • the standard area refers to the precise area of the human face, which can be selected and adjusted according to actual application needs
  • the face attributes can be the area of the human face, the distance between the human face and the center of the image, and so on.
  • the standard area of the face there are many ways to obtain the standard area of the face, such as obtaining the standard area of the face directly through the face detection algorithm, or obtaining the human body area through the instance segmentation algorithm, and then obtaining the face area from the human body area.
  • the standard area of the face it can also be the superposition of the face frame obtained by the face detection algorithm and the human body area obtained by the instance segmentation algorithm to obtain the standard area of the face.
  • the detection of each person in the image For the face frame of the face, the standard area of the face is calibrated from each face frame according to the preset algorithm, the face area of each standard area is calculated, and the face diameter from the center point coordinate of each face frame to the center coordinate of the image is calculated To distance.
  • Step 102 Obtain a first area with a face correction attribute from a standard area according to the face attribute.
  • Step 103 Obtain a second area with face protection attributes from the standard area according to the face attributes.
  • each face in the image has a corresponding standard area, and the face attributes of the standard area are extracted.
  • the face correction attributes can be obtained from each standard area.
  • the standard area as the first area and the standard area with face protection attributes as the second area.
  • the preset judgment strategy can be adjusted according to actual application needs, and the face attribute is the face area and the distance between the face and the image center.
  • an example is as follows:
  • the first example is to compare the face area with a preset first area threshold, compare the radial distance of the face with the preset first distance threshold, and determine according to the comparison result that the face area is greater than the first area threshold, And/or, the standard area corresponding to the radial distance of the human face greater than the first distance threshold is the first area with the face correction attribute.
  • the second example is to compare the face area with a preset second area threshold, and compare the radial distance of the face with the preset second distance threshold; wherein the first area threshold is greater than the second area threshold, The first distance threshold is greater than the second distance threshold. According to the comparison result, it is determined that the face area is less than the first area threshold and greater than the second area threshold, and the radial distance of the face is less than the first distance threshold and greater than the standard area corresponding to the second distance threshold. It is the second area with face protection attributes.
  • Step 104 Perform image correction on the face in the first area, and perform pixel compensation on the blank area generated in the correction process in the first area according to the background pixels of the image, where the background pixels of the image do not include pixels in the second area .
  • the pixels perform image correction on the face in the first area, and perform image correction according to the background of the image.
  • the pixels perform pixel compensation on the blank area generated in the correction process of the first area, wherein the background pixels of the image do not include the pixels in the second area.
  • the face in the first area needs to be adjusted.
  • a blank area will appear, which needs to be processed by interpolation compensation, such as the original circular first area
  • the blank area generated after the face is corrected into an ellipse is pixel-compensated by the background pixels of the image that does not include the pixels in the second area, so that the face that needs to be corrected can be processed during distortion correction.
  • Protecting the face that needs to be protected reduces unnecessary face correction and avoids the situation that the protected face is stretched and deformed as a background.
  • the image correction method of the embodiment of the present application extracts the face attributes of the standard area corresponding to each face in the image, and obtains the first area with the face correction attribute from the standard area according to the face attribute, and according to the face attribute Obtain the second area with face protection properties from the standard area, perform image correction on the face of the first area, and perform pixel compensation on the blank area generated in the correction process of the first area according to the background pixels of the image, where,
  • the background pixels of the image do not include the pixels in the second area, which solves the technical problem of correcting the target object that does not need to be corrected in the prior art, thereby affecting the efficiency and effect of correction processing, and realizes the improvement of the image
  • the background pixel performs pixel compensation for the blank area generated in the correction process to improve the efficiency of image correction processing and ensure the effect of image correction processing.
  • the method includes:
  • Step 201 Detect the face frame of each face in the image, and mark the standard area of the face from each face frame according to a preset algorithm.
  • the face frame of each face can be obtained.
  • preset algorithms such as entity segmentation and semantic segmentation can be combined with the face frame to determine the standard of the face. area.
  • the object is separated from the background by entity segmentation, and then pixel extraction is performed on the detected object, and the detected object is classified.
  • the non-human area mask pixel value in the segmentation result is 0.
  • the mask pixel values of different human body regions correspond to different non-zero values.
  • the face frame of each face is obtained, and it is judged whether there is a human body region segmented by an instance in the face frame. If there is only one instance segmentation result of the human body region in the face frame, the corresponding human body mask is searched for.
  • the part of the face frame is the standard area of the face; if there are multiple instance segmentation results of the human body area in the face frame, the segmentation result of the human body area occupying the largest area in the face frame is taken as the The standard area of the face.
  • Step 202 Calculate the face area of each standard area, and calculate the radial distance of the face from the coordinate of the center point of each face frame to the center coordinate of the image.
  • Step 203 Compare the face area with a preset first area threshold, and compare the radial distance of the face with the preset first distance threshold.
  • Step 204 Determine, according to the comparison result, that the face area is greater than the first area threshold, and/or the standard area corresponding to the face radial distance greater than the first distance threshold is the first area with the face correction attribute.
  • Step 205 Compare the face area with a preset second area threshold, and compare the radial distance of the face with a preset second distance threshold; wherein the first area threshold is greater than the second area threshold, and the first area threshold is greater than the second area threshold. The distance threshold is greater than the second distance threshold.
  • Step 206 Determine, according to the comparison result, that the face area is less than the first area threshold and greater than the second area threshold, and at the same time, the standard area corresponding to the face radial distance less than the first distance threshold and greater than the second distance threshold is a face protection attribute.
  • the second area is a face protection attribute.
  • the face area of each standard area such as the overlapping part of the face area obtained by semantic segmentation and instance segmentation and the face rectangle frame obtained by face detection, and then calculate the area size of the face.
  • the coordinates of the central point of the face can be calculated according to the coordinates of the four vertices of the face frame obtained by face detection, and the face frame can be calculated
  • the radial distance from the coordinate of the central point to the center of the image is the distance of the face.
  • the face area is greater than the first area threshold, or the face radial distance is greater than the first distance threshold, and the face area is greater than the first area threshold and the face radial distance is greater than the standard area corresponding to the first distance threshold It is the first area with face correction attributes.
  • the corresponding standard area is the second area with face protection attributes; wherein, The first area threshold is greater than the second area threshold, and the first distance threshold is greater than the second distance threshold.
  • the first area threshold, the second area threshold, the first distance threshold, and the second distance threshold can all be selected and set according to actual application needs.
  • Step 207 Determine, according to the comparison result, that the face area is less than the second area threshold, and the standard area corresponding to the face radial distance less than the second distance threshold is the third area with the background attribute of the face.
  • Step 208 Perform pixel compensation on the blank area generated in the correction process of the first area according to the pixels in the third area with the human face background attribute around the first area.
  • the face area is less than the second area threshold, and the standard area corresponding to the face radial distance less than the second distance threshold is the third area with the background attributes of the face, that is, the third area corresponding to the face as the background. area.
  • the distortion correction is performed, the face that needs protection is protected, the face that can be used as the background is used as the background, and the pixels in the third area with the background attribute of the face around the first area are used as the background.
  • Pixel compensation is performed on the blank area generated in the correction process of the first area.
  • the standard area is the third area with face background attributes.
  • the standard area is The pixels in the three areas perform pixel compensation for the blank area generated in the first area during the correction process. It solves the technical problem that the distortion of different areas on the image cannot be accurately obtained in the prior art, and the target object that does not need to be corrected is corrected, which affects the correction processing efficiency and the correction effect, and realizes that the image is different.
  • the specific distortion of the area is processed differently.
  • the pixels in the third area with the background attribute of the face around the first area are used to perform pixel compensation for the blank area generated in the correction process of the first area to improve the processing efficiency of image correction. Ensure the effect of distortion removal.
  • FIG. 3 is a schematic diagram of the structure of an image correction device according to an embodiment of the present application. As shown in FIG. 3, the device includes: an extraction module 310, a first An obtaining module 320, a second obtaining module 330, and a correction module 340,
  • the extraction module 310 is used to extract the face attributes of the standard region corresponding to each face in the image.
  • the first obtaining module 320 is configured to obtain a first area with a face correction attribute from the standard area according to the face attribute.
  • the second obtaining module 330 is configured to obtain a second area with face protection attributes from the standard area according to the face attributes.
  • the correction module 340 is configured to perform image correction on the face in the first area, and perform pixel compensation on the blank area generated in the correction process of the first area according to the background pixels of the image, wherein the background pixels of the image do not include the second area In the pixel.
  • the extraction module 310 includes: a detection unit 3101, a first calculation unit 3102, and a second calculation unit 3103.
  • the detection unit 3101 is configured to detect the face frame of each face in the image, and mark the standard area of the face from each of the face frames according to a preset algorithm;
  • the first calculation unit 3102 is configured to calculate the face area of each of the standard regions
  • the second calculating unit 3103 is configured to calculate the radial distance of the face from the coordinates of the center point of each face frame to the center coordinates of the image.
  • the first obtaining module 320 is specifically configured to:
  • the second obtaining module 330 is specifically configured to:
  • the correction module 340 specifically used for:
  • the image correction device of the embodiment of the present application extracts the face attribute of the standard area corresponding to each face in the image, and obtains the first area with the face correction attribute from the standard area according to the face attribute, and according to the face attribute Obtain the second area with face protection properties from the standard area, perform image correction on the face of the first area, and perform pixel compensation on the blank area generated in the correction process of the first area according to the background pixels of the image, where,
  • the background pixels of the image do not include the pixels in the second area, which solves the technical problem of correcting the target object that does not need to be corrected in the prior art, thereby affecting the efficiency and effect of correction processing, and realizes the improvement of the image
  • the background pixel performs pixel compensation for the blank area generated in the correction process to improve the efficiency of image correction processing and ensure the effect of image correction processing.
  • this application also proposes a terminal device, including: a memory, a processor, and a computer program stored in the memory and running on the processor.
  • a terminal device including: a memory, a processor, and a computer program stored in the memory and running on the processor.
  • the processor executes the computer program, The image correction method as described in the previous embodiment.
  • the present application also proposes a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, the image correction method as described in the foregoing embodiment is implemented.
  • first and second are only used for descriptive purposes, and cannot be understood as indicating or implying relative importance or implicitly indicating the number of indicated technical features. Therefore, the features defined with “first” and “second” may explicitly or implicitly include at least one of the features. In the description of the present application, "a plurality of” means at least two, such as two, three, etc., unless specifically defined otherwise.
  • a "computer-readable medium” can be any device that can contain, store, communicate, propagate, or transmit a program for use by an instruction execution system, device, or device or in combination with these instruction execution systems, devices, or devices.
  • computer readable media include the following: electrical connections (electronic devices) with one or more wiring, portable computer disk cases (magnetic devices), random access memory (RAM), Read only memory (ROM), erasable and editable read only memory (EPROM or flash memory), fiber optic devices, and portable compact disk read only memory (CDROM).
  • the computer-readable medium can even be paper or other suitable media on which the program can be printed, because it can be done, for example, by optically scanning the paper or other media, and then editing, interpreting or other suitable The program is processed in a way to obtain the program electronically and then stored in the computer memory.
  • each part of this application can be implemented by hardware, software, firmware, or a combination thereof.
  • multiple steps or methods can be implemented by software or firmware stored in a memory and executed by a suitable instruction execution system.
  • Discrete logic gate circuits with logic functions for data signals Logic circuits, application specific integrated circuits with suitable combinational logic gates, programmable gate array (PGA), field programmable gate array (FPGA), etc.
  • a person of ordinary skill in the art can understand that all or part of the steps carried in the method of the foregoing embodiments can be implemented by a program instructing relevant hardware to complete.
  • the program can be stored in a computer-readable storage medium, and the program can be stored in a computer-readable storage medium. When executed, it includes one of the steps of the method embodiment or a combination thereof.
  • the functional units in the various embodiments of the present application may be integrated into one processing module, or each unit may exist alone physically, or two or more units may be integrated into one module.
  • the above-mentioned integrated modules can be implemented in the form of hardware or software functional modules. If the integrated module is implemented in the form of a software function module and sold or used as an independent product, it can also be stored in a computer readable storage medium.
  • the aforementioned storage medium may be a read-only memory, a magnetic disk or an optical disk, etc.

Abstract

一种图像校正方法、图像校正装置、终端设备和计算机可读存储介质。方法包括：提取图像的人脸属性；从标准区域中获取具有人脸校正属性的第一区域；从标准区域中获取具有人脸保护属性的第二区域；对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿。

Description

图像校正方法、装置、终端设备和存储介质
优先权信息
本申请请求2019年12月9日向中国国家知识产权局提交的、专利申请号为201911252839.3的专利申请的优先权和权益，并且通过参照将其全文并入此处。
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像校正方法、装置、终端设备和存储介质。
背景技术
目前，终端设备配有广角摄像头，通过广角摄像头进行拍摄的图像一直存在畸变，通常通过畸变系数表示图像畸变的程度。
发明内容
本申请提出一种图像校正方法、装置、终端设备和存储介质，解决了现有技术中对原本不需要进行校正处理的目标对象进行了校正，从而影响校正处理效率和校正效果的技术问题，实现了通过图像的背景像素对校正过程中产生的空白区域进行像素补偿，提高图像校正处理效率，保证图像校正处理效果。
本申请一方面实施例提供了一种图像校正方法，所述方法包括以下步骤：提取图像中各人脸对应的标准区域的人脸属性；根据所述人脸属性从标准区域中获取具有人脸校正属性的第一区域；根据所述人脸属性从标准区域中获取具有人脸保护属性的第二区域；对所述第一区域的人脸进行图像校正，并根据所述图像的背景像素对所述第一区域在校正过程中产生的空白区域进行像素补偿，其中，所述图像的背景像素不包括所述第二区域中的像素。
本申请另一方面实施例提供了一种图像校正装置，所述装置包括：提取模块，用于提取图像中各人脸对应的标准区域的人脸属性；第一获取模块，用于根据所述人脸属性从标准区域中获取具有人脸校正属性的第一区域；第二获取模块，用于根据所述人脸属性从标准区域中获取具有人脸保护属性的第二区域；校正模块，用于对所述第一区域的人脸进行图像校正，并根据所述图像的背景像素对所述第一区域在校正过程中产生的空白区域进行像素补偿，其中，所述图像的背景像素不包括所述第二区域中的像素。
本申请又一方面实施例提供了一种终端设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现图像校正方法。所述图像校正方法包括以下步骤：提取图像中各人脸对应的标准区域的人脸属性；根据所述人脸属性从标准区域中获取具有人脸校正属性的第一区域；根据所述人脸属性从标准区域中获取具有人脸保护属性的第二区域；对所述第一区域的人脸进行图像校正，并根据所述图像的背景像素对所述第一区域在校正过程中产生的空白区域进行像素补偿，其中，所述图像的背景像素不包括所述第二区域中的像素。
本申请还一方面实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现图像校正方法。所述图像校正方法包括以下步骤：提取图像中各人脸对应的标准区域的人脸属性；根据所述人脸属性从标准区域中获取具有人脸校正属性的第一区域；根据所述人脸属性从标准区域中获取具有人脸保护属性的第二区域；对所述第一区域的人脸进行图像校正，并根据所述图像的背景像素对所述第一区域在校正过程中产生的空白区域进行像素补偿，其中，所述图像 的背景像素不包括所述第二区域中的像素。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本申请一个实施例的图像校正方法的流程图；
图2是根据本申请另一个实施例的图像校正方法的流程图；
图3是根据本申请一个实施例的图像校正装置的结构示意图；
图4是根据本申请另一个实施例的图像校正装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
请参阅图1，本申请实施方式的图像校正方法包括：
提取图像中各人脸对应的标准区域的人脸属性；
根据人脸属性从标准区域中获取具有人脸校正属性的第一区域；
根据人脸属性从标准区域中获取具有人脸保护属性的第二区域；
对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，其中，图像的背景像素不包括第二区域中的像素。
在某些实施方式中，提取图像中各人脸对应的标准区域的人脸属性，包括：
检测图像中各人脸的人脸框，按照预设算法从各人脸框中标定人脸的标准区域；
计算各标准区域的人脸面积；
计算各人脸框的中央点坐标到图像的中心坐标的人脸径向距离。
请参阅图2，在某些实施方式中，根据人脸属性从标准区域中获取具有人脸校正属性的第一区域，包括：
将人脸面积和预设的第一面积阈值进行比较，以及将人脸径向距离与预设的第一距离阈值进行比较；
根据比较结果确定人脸面积大于第一面积阈值，和/或，人脸径向距离大于第一距离阈值对应的标准区域为具有人脸校正属性的第一区域。
在某些实施方式中，根据人脸属性从标准区域中获取具有人脸保护属性的第二区域，包括：
将人脸面积和预设的第二面积阈值进行比较，以及将人脸径向距离与预设的第二距离阈值进行比较；其中，第一面积阈值大于第二面积阈值，第一距离阈值大于第二距离阈值；
根据比较结果确定人脸面积小于第一面积阈值且大于第二面积阈值，同时人脸径向距离小于第一距离阈值且大于第二距离阈值对应的标准区域为具有人脸保护属性的第二区域。
在某些实施方式中，图像校正方法还包括根据比较结果确定人脸面积小于第二面积阈值，同时人脸径向距离小于第二距离阈值对应的标准区域为具有人脸背景属性的第三区域；
根据第一区域周边的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，包括：
根据第一区域周边的具有人脸背景属性的第三区域中的像素对第一区域在校正过程中产生的空白区域进行像素补偿。
请参阅图3，本申请实施方式的图像校正装置包括提取模块310、第一获取模块320、第二获取模块330和校正模块340。提取模块310用于提取图像中各人脸对应的标准区域的人脸属性。第一获取模块320用于根据人脸属性从标准区域中获取具有人脸校正属性的第一区域。第二获取模块330，用于根据人脸属性从标准区域中获取具有人脸保护属性的第二区域。校正模块340用于对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，其中，图像的背景像素不包括第二区域中的像素。
请参阅图4，在某些实施方式中，提取模块310包括检测单元3101、第一计算单元3102和第二计算单元3103。检测单元3101，用于检测图像中各人脸的人脸框，按照预设算法从各人脸框中标定人脸的标准区域；第一计算单元3102，用于计算各标准区域的人脸面积；第二计算单元3103，用于计算各人脸框的中央点坐标到图像的中心坐标的人脸径向距离。
在某些实施方式中，第一获取模块320具体用于将人脸面积和预设的第一面积阈值进行比较，以及将人脸径向距离与预设的第一距离阈值；根据比较结果确定人脸面积大于第一面积阈值，和/或，人脸径向距离大于第一距离阈值对应的标准区域为具有人脸校正属性的第一区域。
在某些实施方式中，第二获取模块330具体用于：将人脸面积和预设的第二面积阈值进行比较，以及将人脸径向距离与预设的第二距离阈值进行比较；其中，第一面积阈值大于第二面积阈值，第一距离阈值大于第二距离阈值；根据比较结果确定人脸面积小于第一面积阈值且大于第二面积阈值，同时人脸径向距离小于第一距离阈值且大于第二距离阈值对应的标准区域为具有人脸保护属性的第二区域。
在某些实施方式中，具有人脸背景属性的第三区域为根据比较结果确定人脸面积小于第二面积阈值，同时人脸径向距离小于第二距离阈值对应的标准区域；校正模块340，具体用于：根据第一区域周边的具有人脸背景属性的第三区域中的像素对第一区域在校正过程中产生的空白区域进行像素补偿。
本申请实施方式的终端设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现以下步骤：提取图像中各人脸对应的标准区域的人脸属性；根据人脸属性从标准区域中获取具有人脸校正属性的第一区域；根据人脸属性从标准区域中获取具有人脸保护属性的第二区域；对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，其中，图像的背景像素不包括第二区域中的像素。
在某些实施方式中，处理器执行计算机程序时，实现以下步骤：检测图像中各人脸的人脸框，按照预设算法从各人脸框中标定人脸的标准区域；计算各标准区域的人脸面积；计算各人脸框的中央点坐标到图像的中心坐标的人脸径向距离。
在某些实施方式中，处理器执行计算机程序时，实现以下步骤：将人脸面积和预设的第一面积阈值进行比较，以及将人脸径向距离与预设的第一距离阈值进行比较；根据比较结果确定人脸面积大于第一面积阈值，和/或，人脸径向距离大于第一距离阈值对应的标准区域为具有人脸校正属性的第一区域。
在某些实施方式中，处理器执行计算机程序时，实现以下步骤：将人脸面积和预设的第二面积阈值进行比较，以及将人脸径向距离与预设的第二距离阈值进行比较；其中，第一面积阈值大于第二面积阈值，第一距离阈值大于第二距离阈值；根据比较结果确定人脸面积小于第一面积阈值且大于第二 面积阈值，同时人脸径向距离小于第一距离阈值且大于第二距离阈值对应的标准区域为具有人脸保护属性的第二区域。
在某些实施方式中，处理器执行计算机程序时，实现以下步骤：根据比较结果确定人脸面积小于第二面积阈值，同时人脸径向距离小于第二距离阈值对应的标准区域为具有人脸背景属性的第三区域；根据第一区域周边的具有人脸背景属性的第三区域中的像素对第一区域在校正过程中产生的空白区域进行像素补偿。
本申请实施方式中的计算机可读存储介质上存储有计算机程序计算机程序被处理器执行时实现以下步骤：提取图像中各人脸对应的标准区域的人脸属性；根据人脸属性从标准区域中获取具有人脸校正属性的第一区域；根据人脸属性从标准区域中获取具有人脸保护属性的第二区域；对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，其中，图像的背景像素不包括第二区域中的像素。
在某些实施方式中，计算机程序被处理器执行时实现以下步骤：检测图像中各人脸的人脸框，按照预设算法从各人脸框中标定人脸的标准区域；计算各标准区域的人脸面积；计算各人脸框的中央点坐标到图像的中心坐标的人脸径向距离。
在某些实施方式中，计算机程序被处理器执行时实现以下步骤：将人脸面积和预设的第一面积阈值进行比较，以及将人脸径向距离与预设的第一距离阈值进行比较；根据比较结果确定人脸面积大于第一面积阈值，和/或，人脸径向距离大于第一距离阈值对应的标准区域为具有人脸校正属性的第一区域。
在某些实施方式中，计算机程序被处理器执行时实现以下步骤：将人脸面积和预设的第二面积阈值进行比较，以及将人脸径向距离与预设的第二距离阈值进行比较；其中，第一面积阈值大于第二面积阈值，第一距离阈值大于第二距离阈值；根据比较结果确定人脸面积小于第一面积阈值且大于第二面积阈值，同时人脸径向距离小于第一距离阈值且大于第二距离阈值对应的标准区域为具有人脸保护属性的第二区域。
在某些实施方式中，计算机程序被处理器执行时实现以下步骤：根据比较结果确定人脸面积小于第二面积阈值，同时人脸径向距离小于第二距离阈值对应的标准区域为具有人脸背景属性的第三区域；根据第一区域周边的具有人脸背景属性的第三区域中的像素对第一区域在校正过程中产生的空白区域进行像素补偿。
下面参考附图描述本申请实施例的图像校正方法、装置、终端设备和存储介质。本申请实施例的图像校正方法的应用主体可以是任意拥有摄像头的终端设备。
为了解决当前终端设备中仅对一个摄像头标定一组畸变系数来获取需要进行畸变校正的图像，以及采用全局优化方法对图像进行去畸变处理，导致对原本不需要进行校正处理的目标对象进行了校正，从而影响校正处理效率和校正效果的技术问题，本申请中提供了一种图像校正方法，在本申请的实施例中，提取图像中各人脸对应的标准区域的人脸属性，根据人脸属性从标准区域中获取具有人脸校正属性的第一区域，根据人脸属性从标准区域中获取具有人脸保护属性的第二区域，对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，其中，图像的背景像素不包括第二区域中的像素，由此，实现了通过图像的背景像素对校正过程中产生的空白区域进行像素补偿，提高图像校正处理效率，保证图像校正处理效果。
下面参考附图描述本申请实施例的图像校正方法。
图1是根据本申请一个实施例的图像校正方法的流程图，如图1所示，该方法包括：
步骤101，提取图像中各人脸对应的标准区域的人脸属性。
具体地，本申请的图像校正方法，主要是针对图像中人脸存在畸变的一种校正，可以理解的是，在实际拍摄的图像中可以有一个或者多个人脸，人脸可以是正脸、侧脸和半脸等，在存在多个人脸的情况下，本申请可以将各个人脸区分为需要畸变校正的人脸，需要保护、不被作为背景处理的人脸，以及可作为背景的人脸，在校正时能够对需要进行校正的人脸进行处理，对需要保护的人脸进行保护，减少了对没必要的人脸校正同时保证了保护的人脸不被拉伸变形。
其中，标准区域指的是人脸的精确区域，可以根据实际应用需要进行选择调整，人脸属性可以是人脸面积、人脸与图像中心的距离等。
可以理解的是，可以通过很多方式来获取人脸的标准区域，比如通过人脸检测算法直接获取人脸的标准区域，再比如通过实例分割算法获取人体区域，再从人体区域中获取人脸区域作为人脸的标准区域，还可以是将人脸检测算法得到的人脸框和实例分割算法得到的人体区域进行叠加处理得到人脸的标准区域，作为一种可能实现方式，检测图像中各人脸的人脸框，按照预设算法从各人脸框中标定人脸的标准区域，计算各标准区域的人脸面积，计算各人脸框的中央点坐标到图像的中心坐标的人脸径向距离。
步骤102，根据人脸属性从标准区域中获取具有人脸校正属性的第一区域。
步骤103，根据人脸属性从标准区域中获取具有人脸保护属性的第二区域。
可以理解的是，图像中每个人脸都有对应的标准区域，并提取标准区域的人脸属性，通过选择预设判断策略对人脸属性的判断可以从各个标准区域中获取具有人脸校正属性的标准区域作为第一区域和具有人脸保护属性的标准区域作为第二区域，其中，可以根据实际应用需要选择调整预设判断策略，以人脸属性为人脸面积、人脸与图像中心的距离为例，举例说明如下：
第一种示例，将人脸面积和预设的第一面积阈值进行比较，将人脸径向距离与预设的第一距离阈值进行比较，根据比较结果确定人脸面积大于第一面积阈值，和/或，人脸径向距离大于第一距离阈值对应的标准区域为具有人脸校正属性的第一区域。
第二种示例，将人脸面积和预设的第二面积阈值进行比较，以及将人脸径向距离与预设的第二距离阈值进行比较；其中，第一面积阈值大于第二面积阈值，第一距离阈值大于第二距离阈值，根据比较结果确定人脸面积小于第一面积阈值且大于第二面积阈值，同时人脸径向距离小于第一距离阈值且大于第二距离阈值对应的标准区域为具有人脸保护属性的第二区域。
步骤104，对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，其中，图像的背景像素不包括第二区域中的像素。
进一步地，在确定需要去畸变校正的第一区域的人脸，需要保护、不被作为背景处理的第二区域的人脸后，对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，其中，图像的背景像素不包括第二区域中的像素。
也就是在，对图像进行去畸变的过程中，需要对第一区域的人脸进行调整，在调整之后会出现空白区域，需要通过插值补偿等方式进行处理，比如将原本圆形的第一区域的人脸进行图像校正即变成椭圆形之后产生的空白区域通过不包括第二区域中的像素的图像的背景像素进行像素补偿，使得在畸变校正时能够对需要进行校正的人脸进行处理，对需要保护的人脸进行保护，减少了对没必要的人脸校正同时避免了保护的人脸被当作背景进行拉伸变形的情况。
综上，本申请实施例的图像校正方法，提取图像中各人脸对应的标准区域的人脸属性，根据人脸属性从标准区域中获取具有人脸校正属性的第一区域，根据人脸属性从标准区域中获取具有人脸保护 属性的第二区域，对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，其中，图像的背景像素不包括第二区域中的像素，解决了现有技术中对原本不需要进行校正处理的目标对象进行了校正，从而影响校正处理效率和校正效果的技术问题，实现了通过图像的背景像素对校正过程中产生的空白区域进行像素补偿，提高图像校正处理效率，保证图像校正处理效果。
为了更加清楚描述上述实施例，下面结合图2进行详细说明，如图2所示，该方法包括：
步骤201，检测图像中各人脸的人脸框，按照预设算法从各人脸框中标定人脸的标准区域。
具体地，对图像进行人脸检测可以得到各人脸的人脸框，为了获取人脸对应的标准区域，可以通过实体分割、语义分割等预设算法结合人脸框进行处理确定人脸的标准区域。
比如通过实体分割的方式将物体从背景中分离，接着对检测到的物体进行像素提取，对检测到的物体进行类别划分，一般示例分割结果中非人体区域掩模(mask)像素值为0，不同的人体区域的mask像素值对应不同非零值。
进一步地，获得各人脸的人脸框，判断该人脸框中是否存在实例分割出的人体区域，若该人脸框中只存在一个人体区域的实例分割结果，则寻找该对应人体mask在人脸框中所在部分，即为该人脸的标准区域；若该人脸框中存在多个人体区域的实例分割结果，则取人脸框中所占面积最大的人体区域的分割结果作为该人脸的标准区域。
步骤202，计算各标准区域的人脸面积，计算各人脸框的中央点坐标到图像的中心坐标的人脸径向距离。
步骤203，将人脸面积和预设的第一面积阈值进行比较，以及将人脸径向距离与预设的第一距离阈值进行比较。
步骤204，根据比较结果确定人脸面积大于第一面积阈值，和/或，人脸径向距离大于第一距离阈值对应的标准区域为具有人脸校正属性的第一区域。
步骤205，将人脸面积和预设的第二面积阈值进行比较，以及将人脸径向距离与预设的第二距离阈值进行比较；其中，第一面积阈值大于第二面积阈值，第一距离阈值大于第二距离阈值。
步骤206，根据比较结果确定人脸面积小于第一面积阈值且大于第二面积阈值，同时人脸径向距离小于第一距离阈值且大于第二距离阈值对应的标准区域为具有人脸保护属性的第二区域。
具体地，首先对各标准区域的人脸面积，比如可以通过语义分割、实例分割得到的人像区域部分与人脸检测得到的人脸矩形框的重叠部分得到该人脸的面积大小，接着计算各人脸框的中央点坐标到图像的中心坐标的人脸径向距离，比如可以根据人脸检测得到的人脸框四个顶点的坐标计算得到人脸的中央点坐标，通过计算该人脸框中央点坐标到图像中心的径向距离得到该人脸的距离。
进一步地，当人脸面积大于第一面积阈值、或者是人脸径向距离大于第一距离阈值，以及人脸面积大于第一面积阈值且人脸径向距离大于第一距离阈值对应的标准区域为具有人脸校正属性的第一区域。
当人脸面积小于第一面积阈值且大于第二面积阈值，同时人脸径向距离小于第一距离阈值且大于第二距离阈值对应的标准区域为具有人脸保护属性的第二区域；其中，第一面积阈值大于第二面积阈值，第一距离阈值大于第二距离阈值，第一面积阈值、第二面积阈值、第一距离阈值和第二距离阈值都可以根据实际应用需要进行选择设置。
步骤207，根据比较结果确定人脸面积小于第二面积阈值，同时人脸径向距离小于第二距离阈值对应的标准区域为具有人脸背景属性的第三区域。
步骤208，根据第一区域周边的具有人脸背景属性的第三区域中的像素对第一区域在校正过程中产生的空白区域进行像素补偿。
具体地，确定人脸面积小于第二面积阈值，同时人脸径向距离小于第二距离阈值对应的标准区域为具有人脸背景属性的第三区域，即可作为背景的人脸对应的第三区域。
需要说明的是，上述第一区域、第二区域和第三区域的划分方式可以根据具体应用来选择调整。
需要说明的是，上述实施例描述中若该人脸框中不存在人体区域的实例分割结果，则认为该人脸框可信度较低，将该人脸对应的标准区域设置为具有人脸背景属性的第三区域。
从而，在校正过程中对需要进行畸变校正，对需要保护的人脸进行保护，对可作为背景的人脸作为背景，并根据第一区域周边的具有人脸背景属性的第三区域中的像素对第一区域在校正过程中产生的空白区域进行像素补偿。
由此，通过引入人脸属性，综合人脸检测结果以及实例分割结果，以及每个人脸的面积大小以及人脸径向距离，计算得到每个人脸是否需要做校正、保护还是作为背景，使得最终校正结果中每张人脸都得到较好的处理效果。
综上，本申请实施例的图像校正方法，检测图像中各人脸的人脸框，按照预设算法从各人脸框中标定人脸的标准区域，计算各标准区域的人脸面积，计算各人脸框的中央点坐标到图像的中心坐标的人脸径向距离，将人脸面积和预设的第一面积阈值进行比较，以及将人脸径向距离与预设的第一距离阈值＝进行比较，，根据比较结果确定人脸面积大于第一面积阈值，和/或，人脸径向距离大于第一距离阈值对应的标准区域为具有人脸校正属性的第一区域，根据比较结果确定人脸面积小于第一面积阈值且大于第二面积阈值，同时人脸径向距离小于第一距离阈值且大于第二距离阈值对应的标准区域为具有人脸保护属性的第二区域，根据比较结果确定人脸面积小于第二面积阈值，同时人脸径向距离小于第二距离阈值对应的标准区域为具有人脸背景属性的第三区域，根据第一区域周边的具有人脸背景属性的第三区域中的像素对第一区域在校正过程中产生的空白区域进行像素补偿。解决了现有技术中不能够准确获取图像上不同区域的畸变情况，以及对原本不需要进行校正处理的目标对象进行了校正，从而影响校正处理效率和校正效果的技术问题，实现了针对图像不同区域的具体畸变情况进行不同的处理，通过第一区域周边的具有人脸背景属性的第三区域中的像素对第一区域在校正过程中产生的空白区域进行像素补偿，提高图像校正处理效率，保证去畸变处理效果。
为了实现上述实施例，本申请还提出一种图像校正装置，图3是根据本申请一个实施例的图像校正装置的结构试示意图，如图3所示，该装置包括：提取模块310、第一获取模块320、第二获取模块330和校正模块340，
其中，提取模块310，用于提取图像中各人脸对应的标准区域的人脸属性。
第一获取模块320，用于根据人脸属性从标准区域中获取具有人脸校正属性的第一区域。
第二获取模块330，用于根据人脸属性从标准区域中获取具有人脸保护属性的第二区域。
校正模块340，用于对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，其中，图像的背景像素不包括第二区域中的像素。
在本申请的一个实施例中，如图4所示，在图3的基础上，提取模块310，包括：检测单元3101、第一计算单元3102和第二计算单元3103。
检测单元3101，用于检测图像中各人脸的人脸框，按照预设算法从各所述人脸框中标定人脸的标准区域；
第一计算单元3102，用于计算各所述标准区域的人脸面积；
第二计算单元3103，用于计算各所述人脸框的中央点坐标到所述图像的中心坐标的人脸径向距离。
在本申请的一个实施例中，第一获取模块320，具体用于：
将人脸面积和预设的第一面积阈值进行比较，以及将人脸径向距离与预设的第一距离阈值进行比较；根据比较结果确定所述人脸面积大于第一面积阈值，和/或，人脸径向距离大于第一距离阈值对应的标准区域为具有人脸校正属性的第一区域。
在本申请的一个实施例中，第二获取模块330，具体用于：
将人脸面积和预设的第二面积阈值进行比较，以及将人脸径向距离与预设的第二距离阈值进行比较；其中，第一面积阈值大于第二面积阈值，第一距离阈值大于第二距离阈值，根据比较结果确定人脸面积小于所述第一面积阈值且大于第二面积阈值，同时人脸径向距离小于第一距离阈值且大于第二距离阈值对应的标准区域为具有人脸保护属性的第二区域。
在本申请的一个实施例中，根据比较结果确定人脸面积小于第二面积阈值，同时人脸径向距离小于第二距离阈值对应的标准区域为具有人脸背景属性的第三区域，校正模块340，具体用于：
根据第一区域周边的具有人脸背景属性的第三区域中的像素对第一区域在校正过程中产生的空白区域进行像素补偿。
需要说明的是，前述对图像校正方法的说明，也适用于本申请实施例的图像校正装置，其实现原理类似，在此不再赘述。
综上，本申请实施例的图像校正装置，提取图像中各人脸对应的标准区域的人脸属性，根据人脸属性从标准区域中获取具有人脸校正属性的第一区域，根据人脸属性从标准区域中获取具有人脸保护属性的第二区域，对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，其中，图像的背景像素不包括第二区域中的像素，解决了现有技术中对原本不需要进行校正处理的目标对象进行了校正，从而影响校正处理效率和校正效果的技术问题，实现了通过图像的背景像素对校正过程中产生的空白区域进行像素补偿，提高图像校正处理效率，保证图像校正处理效果。
为了实现上述实施例，本申请还提出了一种终端设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如前述实施例所描述的图像校正方法。
为了实现上述实施例，本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施例所描述的图像校正方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用 于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (20)

  1. 一种图像校正方法，其特征在于，包括以下步骤：
    提取图像中各人脸对应的标准区域的人脸属性；
    根据所述人脸属性从标准区域中获取具有人脸校正属性的第一区域；
    根据所述人脸属性从标准区域中获取具有人脸保护属性的第二区域；
    对所述第一区域的人脸进行图像校正，并根据所述图像的背景像素对所述第一区域在校正过程中产生的空白区域进行像素补偿，其中，所述图像的背景像素不包括所述第二区域中的像素。
  2. 如权利要求1所述的方法，其特征在于，所述提取图像中各人脸对应的标准区域的人脸属性，包括：
    检测图像中各人脸的人脸框，按照预设算法从各所述人脸框中标定人脸的标准区域；
    计算各所述标准区域的人脸面积；
    计算各所述人脸框的中央点坐标到所述图像的中心坐标的人脸径向距离。
  3. 如权利要求2所述的方法，其特征在于，所述根据所述人脸属性从标准区域中获取具有人脸校正属性的第一区域，包括：
    将所述人脸面积和预设的第一面积阈值进行比较，以及将所述人脸径向距离与预设的第一距离阈值进行比较；
    根据比较结果确定所述人脸面积大于所述第一面积阈值，和/或，所述人脸径向距离大于所述第一距离阈值对应的标准区域为具有人脸校正属性的第一区域。
  4. 如权利要求3所述的方法，其特征在于，所述根据所述人脸属性从标准区域中获取具有人脸保护属性的第二区域，包括：
    将所述人脸面积和预设的第二面积阈值进行比较，以及将所述人脸径向距离与预设的第二距离阈值进行比较；其中，所述第一面积阈值大于所述第二面积阈值，所述第一距离阈值大于所述第二距离阈值；
    根据比较结果确定所述人脸面积小于所述第一面积阈值且大于所述第二面积阈值，同时所述人脸径向距离小于所述第一距离阈值且大于所述第二距离阈值对应的标准区域为具有人脸保护属性的第二区域。
  5. 如权利要求4所述的方法，其特征在于，还包括：
    根据比较结果确定所述人脸面积小于所述第二面积阈值，同时所述人脸径向距离小于所述第二距离阈值对应的标准区域为具有人脸背景属性的第三区域；
    所述根据所述第一区域周边的背景像素对所述第一区域在校正过程中产生的空白区域进行像素补偿，包括：
    根据所述第一区域周边的所述具有人脸背景属性的第三区域中的像素对所述第一区域在校正过程中产生的空白区域进行像素补偿。
  6. 一种图像校正装置，其特征在于，所述装置包括：
    提取模块，用于提取图像中各人脸对应的标准区域的人脸属性；
    第一获取模块，用于根据所述人脸属性从标准区域中获取具有人脸校正属性的第一区域；
    第二获取模块，用于根据所述人脸属性从标准区域中获取具有人脸保护属性的第二区域；
    校正模块，用于对所述第一区域的人脸进行图像校正，并根据所述图像的背景像素对所述第一区域在校正过程中产生的空白区域进行像素补偿，其中，所述图像的背景像素不包括所述第二区域中的 像素。
  7. 如权利要求6所述的装置，其特征在于，所述提取模块包括：
    检测单元，用于检测图像中各人脸的人脸框，按照预设算法从各所述人脸框中标定人脸的标准区域；
    第一计算单元，用于计算各所述标准区域的人脸面积；
    第二计算单元，用于计算各所述人脸框的中央点坐标到所述图像的中心坐标的人脸径向距离。
  8. 如权利要求7所述的装置，其特征在于，所述第一获取模块，具体用于：
    将所述人脸面积和预设的第一面积阈值进行比较，以及将所述人脸径向距离与预设的第一距离阈值；
    根据比较结果确定所述人脸面积大于所述第一面积阈值，和/或，所述人脸径向距离大于所述第一距离阈值对应的标准区域为具有人脸校正属性的第一区域。
  9. 如权利要求8所述的装置，其特征在于，所述第二获取模块，具体用于：
    将所述人脸面积和预设的第二面积阈值进行比较，以及将所述人脸径向距离与预设的第二距离阈值进行比较；其中，所述第一面积阈值大于所述第二面积阈值，所述第一距离阈值大于所述第二距离阈值；
    根据比较结果确定所述人脸面积小于所述第一面积阈值且大于所述第二面积阈值，同时所述人脸径向距离小于所述第一距离阈值且大于所述第二距离阈值对应的标准区域为具有人脸保护属性的第二区域。
  10. 如权利要求9所述的装置，其特征在于，具有人脸背景属性的第三区域为根据比较结果确定所述人脸面积小于所述第二面积阈值，同时所述人脸径向距离小于所述第二距离阈值对应的标准区域；所述校正模块，具体用于：根据所述第一区域周边的所述具有人脸背景属性的第三区域中的像素对所述第一区域在校正过程中产生的空白区域进行像素补偿。
  11. 一种终端设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现以下步骤：
    提取图像中各人脸对应的标准区域的人脸属性；
    根据所述人脸属性从标准区域中获取具有人脸校正属性的第一区域；
    根据所述人脸属性从标准区域中获取具有人脸保护属性的第二区域；
    对所述第一区域的人脸进行图像校正，并根据所述图像的背景像素对所述第一区域在校正过程中产生的空白区域进行像素补偿，其中，所述图像的背景像素不包括所述第二区域中的像素。
  12. 如权利要求11所述的终端设备，其特征在于，所述处理器执行所述计算机程序时，实现以下步骤：
    检测图像中各人脸的人脸框，按照预设算法从各所述人脸框中标定人脸的标准区域；
    计算各所述标准区域的人脸面积；
    计算各所述人脸框的中央点坐标到所述图像的中心坐标的人脸径向距离。
  13. 如权利要求12所述的终端设备，其特征在于，所述处理器执行所述计算机程序时，实现以下步骤：
    将所述人脸面积和预设的第一面积阈值进行比较，以及将所述人脸径向距离与预设的第一距离阈值进行比较；
    根据比较结果确定所述人脸面积大于所述第一面积阈值，和/或，所述人脸径向距离大于所述第一 距离阈值对应的标准区域为具有人脸校正属性的第一区域。
  14. 如权利要求13所述的终端设备，其特征在于，所述处理器执行所述计算机程序时，实现以下步骤：
    将所述人脸面积和预设的第二面积阈值进行比较，以及将所述人脸径向距离与预设的第二距离阈值进行比较；其中，所述第一面积阈值大于所述第二面积阈值，所述第一距离阈值大于所述第二距离阈值；
    根据比较结果确定所述人脸面积小于所述第一面积阈值且大于所述第二面积阈值，同时所述人脸径向距离小于所述第一距离阈值且大于所述第二距离阈值对应的标准区域为具有人脸保护属性的第二区域。
  15. 如权利要求14所述的终端设备，其特征在于，所述处理器执行所述计算机程序时，实现以下步骤：
    根据比较结果确定所述人脸面积小于所述第二面积阈值，同时所述人脸径向距离小于所述第二距离阈值对应的标准区域为具有人脸背景属性的第三区域；
    根据所述第一区域周边的所述具有人脸背景属性的第三区域中的像素对所述第一区域在校正过程中产生的空白区域进行像素补偿。
  16. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
    提取图像中各人脸对应的标准区域的人脸属性；
    根据所述人脸属性从标准区域中获取具有人脸校正属性的第一区域；
    根据所述人脸属性从标准区域中获取具有人脸保护属性的第二区域；
    对所述第一区域的人脸进行图像校正，并根据所述图像的背景像素对所述第一区域在校正过程中产生的空白区域进行像素补偿，其中，所述图像的背景像素不包括所述第二区域中的像素。
  17. 如权利要求16所述的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
    检测图像中各人脸的人脸框，按照预设算法从各所述人脸框中标定人脸的标准区域；
    计算各所述标准区域的人脸面积；
    计算各所述人脸框的中央点坐标到所述图像的中心坐标的人脸径向距离。
  18. 如权利要求17所述的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
    将所述人脸面积和预设的第一面积阈值进行比较，以及将所述人脸径向距离与预设的第一距离阈值进行比较；
    根据比较结果确定所述人脸面积大于所述第一面积阈值，和/或，所述人脸径向距离大于所述第一距离阈值对应的标准区域为具有人脸校正属性的第一区域。
  19. 如权利要求18所述的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
    将所述人脸面积和预设的第二面积阈值进行比较，以及将所述人脸径向距离与预设的第二距离阈值进行比较；其中，所述第一面积阈值大于所述第二面积阈值，所述第一距离阈值大于所述第二距离阈值；
    根据比较结果确定所述人脸面积小于所述第一面积阈值且大于所述第二面积阈值，同时所述人脸 径向距离小于所述第一距离阈值且大于所述第二距离阈值对应的标准区域为具有人脸保护属性的第二区域。
  20. 如权利要求19所述的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
    根据比较结果确定所述人脸面积小于所述第二面积阈值，同时所述人脸径向距离小于所述第二距离阈值对应的标准区域为具有人脸背景属性的第三区域；
    根据所述第一区域周边的所述具有人脸背景属性的第三区域中的像素对所述第一区域在校正过程中产生的空白区域进行像素补偿。
PCT/CN2020/129243 2019-12-09 2020-11-17 图像校正方法、装置、终端设备和存储介质 WO2021115040A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20899659.5A EP4064177A4 (en) 2019-12-09 2020-11-17 IMAGE CORRECTION METHOD AND DEVICE, TERMINAL DEVICE AND STORAGE MEDIUM
US17/744,101 US20220270219A1 (en) 2019-12-09 2022-05-13 Image correction method, terminal device and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911252839.3A CN111028169B (zh) 2019-12-09 2019-12-09 图像校正方法、装置、终端设备和存储介质
CN201911252839.3 2019-12-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/744,101 Continuation US20220270219A1 (en) 2019-12-09 2022-05-13 Image correction method, terminal device and storage medium

Publications (1)

Publication Number Publication Date
WO2021115040A1 true WO2021115040A1 (zh) 2021-06-17

Family

ID=70205043

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/129243 WO2021115040A1 (zh) 2019-12-09 2020-11-17 图像校正方法、装置、终端设备和存储介质

Country Status (4)

Country Link
US (1) US20220270219A1 (zh)
EP (1) EP4064177A4 (zh)
CN (1) CN111028169B (zh)
WO (1) WO2021115040A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115273210A (zh) * 2022-09-30 2022-11-01 平安银行股份有限公司 抗图像旋转的合影图像识别方法、装置、电子设备及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028169B (zh) * 2019-12-09 2024-02-06 Oppo广东移动通信有限公司 图像校正方法、装置、终端设备和存储介质
CN115578762A (zh) * 2022-09-07 2023-01-06 浙江大华技术股份有限公司 侧脸矫正的方法、矫正装置及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103391361A (zh) * 2013-07-05 2013-11-13 中科创达软件股份有限公司 一种智能终端自拍构图自动提醒方法及装置
US20140318430A1 (en) * 2013-04-30 2014-10-30 Brother Kogyo Kabushiki Kaisha Non-transitory computer-readable medium and device
CN105611142A (zh) * 2015-09-11 2016-05-25 广东欧珀移动通信有限公司 一种拍照方法及装置
CN110139033A (zh) * 2019-05-13 2019-08-16 Oppo广东移动通信有限公司 拍照控制方法及相关产品
CN110533729A (zh) * 2019-08-22 2019-12-03 深圳传音控股股份有限公司 智能终端、像素处理方法及计算机可读存储介质
CN111028169A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像校正方法、装置、终端设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082211B2 (en) * 2002-05-31 2006-07-25 Eastman Kodak Company Method and system for enhancing portrait images
JP2011257502A (ja) * 2010-06-07 2011-12-22 Sony Corp 画像安定化装置、画像安定化方法、及びプログラム
US9600869B2 (en) * 2013-03-14 2017-03-21 Cyberlink Corp. Image editing method and system
US9514524B2 (en) * 2015-02-27 2016-12-06 Sony Corporation Optical distortion compensation
CN104994281B (zh) * 2015-06-30 2017-09-19 广东欧珀移动通信有限公司 一种人脸畸变校正的方法及终端
CN105554403B (zh) * 2016-02-29 2018-12-04 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN107451965B (zh) * 2017-07-24 2019-10-18 深圳市智美达科技股份有限公司 畸变人脸图像校正方法、装置、计算机设备和存储介质
KR20230065365A (ko) * 2018-05-07 2023-05-11 구글 엘엘씨 얼굴의 PD(perspective distortion) 보정

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140318430A1 (en) * 2013-04-30 2014-10-30 Brother Kogyo Kabushiki Kaisha Non-transitory computer-readable medium and device
CN103391361A (zh) * 2013-07-05 2013-11-13 中科创达软件股份有限公司 一种智能终端自拍构图自动提醒方法及装置
CN105611142A (zh) * 2015-09-11 2016-05-25 广东欧珀移动通信有限公司 一种拍照方法及装置
CN110139033A (zh) * 2019-05-13 2019-08-16 Oppo广东移动通信有限公司 拍照控制方法及相关产品
CN110533729A (zh) * 2019-08-22 2019-12-03 深圳传音控股股份有限公司 智能终端、像素处理方法及计算机可读存储介质
CN111028169A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像校正方法、装置、终端设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4064177A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115273210A (zh) * 2022-09-30 2022-11-01 平安银行股份有限公司 抗图像旋转的合影图像识别方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN111028169A (zh) 2020-04-17
EP4064177A1 (en) 2022-09-28
US20220270219A1 (en) 2022-08-25
EP4064177A4 (en) 2023-05-24
CN111028169B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
WO2021115040A1 (zh) 图像校正方法、装置、终端设备和存储介质
US8977052B2 (en) Apparatus and method for detecting error in lesion contour, apparatus and method for correcting error in lesion contour, and apparatus for inspecting error in lesion contour
CN106156692B (zh) 一种用于人脸边缘特征点定位的方法及装置
US9269155B2 (en) Region growing method for depth map/color image
WO2019165604A1 (zh) 一种发际线轮廓的定位方法、装置及计算机可读存储介质
WO2011148596A1 (ja) 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム
CN107633237B (zh) 图像背景分割方法、装置、设备及介质
CN112991193B (zh) 深度图像修复方法、设备及计算机可读存储介质
JP2011134114A (ja) パターン認識方法およびパターン認識装置
CN112509003A (zh) 解决目标跟踪框漂移的方法及系统
Han et al. Research and implementation of an improved canny edge detection algorithm
CN107993239B (zh) 一种计算单目图像的深度次序的方法和装置
US20200242391A1 (en) Object detection apparatus, object detection method, and computer-readable recording medium
EP2536123A1 (en) Image processing method and image processing apparatus
CN109753886B (zh) 一种人脸图像的评价方法、装置及设备
JP2014191400A (ja) 画像検出装置及び制御プログラム並びに画像検出方法
CN111027474B (zh) 人脸区域获取方法、装置、终端设备和存储介质
US20150063637A1 (en) Image recognition method and robot
CN113902652A (zh) 散斑图像校正方法、深度计算方法、装置、介质及设备
JP2015184773A (ja) 画像処理装置および３次元物体トラッキング方法
US9916663B2 (en) Image processing method and process simulation apparatus
US11551368B2 (en) Electronic devices, methods, and computer program products for controlling 3D modeling operations based on pose metrics
JP2011113311A (ja) 画像補正方法
JP2009059165A (ja) 輪郭検出装置、それを用いた視線検出装置、偽の輪郭データの除去をコンピュータに実行させるためのプログラム、視線方向の検出をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2020095549A1 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20899659

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020899659

Country of ref document: EP

Effective date: 20220623

NENP Non-entry into the national phase

Ref country code: DE