WO2019137131A1 - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
WO2019137131A1
WO2019137131A1 PCT/CN2018/120108 CN2018120108W WO2019137131A1 WO 2019137131 A1 WO2019137131 A1 WO 2019137131A1 CN 2018120108 W CN2018120108 W CN 2018120108W WO 2019137131 A1 WO2019137131 A1 WO 2019137131A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
face
target
area
sample
Prior art date
Application number
PCT/CN2018/120108
Other languages
English (en)
French (fr)
Inventor
陈岩
刘耀勇
Original Assignee
Oppo广东移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo广东移动通信有限公司 filed Critical Oppo广东移动通信有限公司
Priority to EP18899051.9A priority Critical patent/EP3739502A4/en
Publication of WO2019137131A1 publication Critical patent/WO2019137131A1/zh
Priority to US16/900,141 priority patent/US11386699B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the present application relates to the field of image processing technologies, and in particular, to an image processing method, apparatus, storage medium, and electronic device.
  • the embodiment of the present application provides an image processing method, device, storage medium, and electronic device, which can repair an image and improve image quality.
  • an embodiment of the present application provides an image processing method, including:
  • the local area is corrected according to the target sample face image.
  • an image processing apparatus including:
  • An identification module for identifying a face area in the target image
  • a determining module configured to determine a local area to be processed from the face region based on the trained convolutional neural network model
  • a first acquiring module configured to acquire posture information of a face in the target image
  • a selecting module configured to select a target sample face image from the face image database according to the posture information
  • a correction module configured to correct the local area according to the target sample face image.
  • the embodiment of the present application further provides a storage medium, where the storage medium stores a plurality of instructions, and the instructions are adapted to be loaded by a processor to perform the following steps:
  • the local area is corrected according to the target sample face image.
  • an embodiment of the present application further provides an electronic device, including a processor and a memory, where the processor is electrically connected to the memory, the memory is used to store instructions and data, and the processor is configured to perform the following steps. :
  • the local area is corrected according to the target sample face image.
  • FIG. 1 is a schematic diagram of a scenario structure of an electronic device for implementing deep learning according to an embodiment of the present application.
  • FIG. 2 is a schematic flowchart of an image processing method provided by an embodiment of the present application.
  • FIG. 3 is a schematic diagram of an application scenario of an image processing method provided by an embodiment of the present application.
  • FIG. 4 is another application scenario diagram of an image processing method provided by an embodiment of the present application.
  • FIG. 5 is another schematic flowchart of an image processing apparatus according to an embodiment of the present application.
  • FIG. 6 is a schematic structural diagram of an image processing apparatus according to an embodiment of the present application.
  • FIG. 7 is another schematic structural diagram of an image processing apparatus according to an embodiment of the present application.
  • FIG. 8 is still another schematic structural diagram of an image processing apparatus according to an embodiment of the present application.
  • FIG. 9 is a schematic diagram of still another structure of an image processing apparatus according to an embodiment of the present application.
  • FIG. 10 is a schematic structural diagram of an electronic device according to an embodiment of the present application.
  • FIG. 11 is another schematic structural diagram of an electronic device according to an embodiment of the present application.
  • the embodiment of the present application provides an image processing method, device, storage medium, and electronic device. The details will be described separately below.
  • FIG. 1 is a schematic diagram of a scenario in which an electronic device implements deep learning according to an embodiment of the present disclosure.
  • the electronic device can record related information during processing.
  • the electronic device may include a data collection and statistics system and a prediction system with feedback adjustment.
  • the electronic device can acquire a large amount of image classification result data of the user through the data acquisition system, and make corresponding statistics, and extract image features of the image, and analyze and process the extracted image features based on machine depth learning.
  • the electronic device predicts the classification result of the image through the prediction system.
  • the prediction system reversely reciprocates the weights of the weighting items according to the final result of the user behavior. After a number of iterative corrections, the weights of the weighting items of the prediction system are finally converged to form a learned database.
  • a face data set can be created, and pictures of face blurred, out-of-focus, noisy, and ghosted feature areas are labeled differently, and then based on the labeled pictures, the convolutional neural network pair is used for training. After repeated iteration corrections, the convolutional neural network can correctly determine which pictures have problems such as blur, out-of-focus, noise, and ghosting, and thus obtain a better classification algorithm model.
  • the electronic device may be a mobile terminal, such as a mobile phone, a tablet computer, or the like, and may be a conventional PC (Personal Computer), etc., which is not limited in this embodiment.
  • a mobile terminal such as a mobile phone, a tablet computer, or the like
  • PC Personal Computer
  • an image processing method is provided. As shown in FIG. 2, the flow may be as follows:
  • the target image may specifically be an image captured by the electronic device through the camera.
  • the camera can be a digital camera or an analog camera.
  • the digital camera converts the analog image signal generated by the image acquisition device into a digital signal, which is then stored in a computer.
  • the image signal captured by the analog camera must be converted to a digital mode by a specific image capture card and compressed before being converted to a computer for use.
  • the digital camera captures the image directly and transmits it to the computer via a serial, parallel or USB interface.
  • the image processing method provided by the embodiments of the present application mainly targets some pictures such as blur, out of focus, noise, ghosting and the like.
  • some pictures such as blur, out of focus, noise, ghosting and the like.
  • the pixels of the front camera are generally poor, the shutter speed is slow, and it is easy to cause ghosting of the captured photos when shooting, and shooting at night when the light is insufficient. It is also prone to serious noise effects.
  • the target image includes one or more person images, and at least one recognizable face exists.
  • the target image may further include a scene image such as a building, an animal or a plant.
  • the face region therein may be identified from the target image based on the image recognition technology, such as recognizing the facial features.
  • the method may further include:
  • the trained convolutional neural network model is trained based on the training samples to obtain the trained convolutional neural network model.
  • the constructed convolutional neural network can be a multi-scale architecture with branches that perform operations on different sampled versions depending on the size of the input test image. Each such branch has a zero-filled convolution module followed by a linear rectification. These branches are then combined by a nearest-neighbor upsampling that differs by one and a concatenation along the channel axis.
  • the user can first obtain the historical image of the self-timer of various angles of the user to create a data set of the face self-timer, and mark the image of the face self-timer blur, out-of-focus, noise, and ghost image area, and further Areas with specific problems such as blur, out of focus, noise, and ghosting are marked in the image.
  • a picture quality threshold can be set, and images with blur, out-of-focus, noise, ghost, and the like to a certain degree are recorded as not reaching the preset condition, and vice versa, the preset condition is reached.
  • the preset condition may be a threshold of the degree of blur, the degree of defocus, the degree of noise, and/or the degree of ghosting, which can be calculated by a correlation image algorithm.
  • the training sample is first input, the parameter initialization is performed, and after reaching the full connection layer after the convolution and sampling process, the processed image is output, and after repeated iteration correction, the convolutional neural network can correctly determine Which images have problems such as blur, out-of-focus, noise, and ghosting, so that a better convolutional neural network model is trained.
  • key points can be detected on a face in the target image to determine the pose of the face. That is, in some embodiments, the step of "acquiring the pose information of the face in the target image” may include the following process:
  • the posture information of the face is obtained according to the difference value.
  • the facial feature point may specifically be a feature point obtained according to “two eyes + mouth” or “two eyes + nose” in the face image.
  • the preset facial feature vector may be a feature vector when the face pose is positive.
  • the gesture information may be a gesture relative to the front side. For example, referring to FIG. 3, A is an eyebrow, an eye B1 (left), and an eye B2 (right), a nose C, a mouth D, an ear E, and a face F, wherein two eyes B1, B2, and a nose C are used as features, further Feature points are selected from the features as facial feature points.
  • a vector formed by a positional relationship between feature points is used as a feature vector.
  • the feature points selected in Fig. 3 are the inner corner of the eye B1, the inner corner of the eye B2, and the tip of the nose C (because the eyeball is rotated, it is possible to select a marker point with a fixed position) as the facial feature point, and Three vectors constituting a triangular region are formed, and these three vectors can be used as preset facial feature vectors.
  • the facial feature vector of the real-time face can be detected and compared with the preset facial feature vector. Then, according to the calculated difference value between the two, the posture information of the current face image, such as the left side, the right side, the upper side, the lower side, the upper right side, the lower left side, and the like, are determined.
  • the face image database includes sample face images of a plurality of different postures of the same person, and FIG. 4 is referred to.
  • the embodiment of the present application is mainly directed to the problem of blurring, defocusing, noise, ghosting, and the like of the image. Therefore, the sample face images in the constructed face image database are images with higher image quality. In practical applications, these high-definition sample face images can be obtained by the user shooting in a well-lit scene.
  • the first is to collect a plurality of photos of different postures, specifically to obtain photos of different angles.
  • the angle of deflection of the face relative to the plane of the camera lens can then be analyzed by the camera's shooting parameters or the positional relationship between the lens and the subject.
  • the collected face image as the sample face image and the corresponding deflection angle as the sample deflection angle, and establishing a mapping relationship between the captured face image and the deflection angle, the sample face image,
  • the sample deflection angle and the mapping relationship between the two are added to the preset face image database to complete the construction of the set.
  • the attitude information may include a deflection angle; then the step of “selecting the target sample face image from the face image database according to the posture information” may include the following process:
  • the sample face image corresponding to the target sample deflection angle is used as the target sample face image.
  • the deflection angle may be a deflection angle in six degrees of freedom.
  • a large number of face images with different postures can be obtained to increase the density of the deflection angle in the sample face image and reduce the interval value between the deflection angles.
  • the target sample face image is a high-definition image, so that the local image region with poor image quality in the target image can be corrected based on the target sample face image to improve the image quality of the target image.
  • the partial image may be modified according to a portion of the target sample face image corresponding to the local region to reduce the influence of blur, out-of-focus, noise, ghosting, and the like on the partial image. That is, in some embodiments, the step "correcting the local area according to the target sample face image" may include the following process:
  • the image features of the mapped area are extracted, and the localized areas are corrected according to the image features.
  • the angles of the two images may also be different. Therefore, in order to better match the parts of the face, an affine transformation process is required to align the face area in the target image with the target sample face image. After the two images are aligned, the local area that needs to be processed in the face area is mapped onto the transformed target sample face image, so that the mapping area corresponding to the local area is determined on the target sample face image, so that the local area can be Correction processing is performed based on the mapping area.
  • the step of "extracting the image features of the mapped region and correcting the local regions according to the image features” may include the following process:
  • Image features are analyzed and processed based on a preset algorithm model to obtain corresponding image feature parameters
  • the local area is corrected according to the image feature parameters.
  • the image feature may specifically be a color feature, a texture feature, a shape feature, and a spatial relationship feature in the extracted face image. If the recognition accuracy is to be improved, the electronic device can be trained based on the machine's deep learning technology to obtain a high-precision algorithm model, and the image features are analyzed and processed to obtain accurate image feature parameters.
  • the local area in the target image may be adjusted according to the obtained image feature parameter, and the features such as the color, texture, shape, and spatial position of the target sample face image are adjusted to be consistent with the image features in the mapping area, Achieve corrections to local areas.
  • the texture features of the image can be represented and extracted by using a color histogram, a color moment, a color set, a color aggregation vector, and a color correlation diagram. Then, the texture features of the image can be extracted by using statistical methods, geometric methods, model methods, and signal processing methods.
  • the boundary feature method, the Fourier shape description method, the set parameter method, and the shape invariant moment method can be used to extract the collision characteristics of the image.
  • the feature extraction can be performed by the model-based pose estimation method and the learning-based pose estimation method.
  • the color information of the original face area on the target image may be further acquired, and the color adjustment parameter is generated according to the color information.
  • the acquired color information may include various colors such as color temperature, hue, brightness, saturation, and the like. Then, the color of the corrected local area in the current face area is finely adjusted according to the color adjustment parameter, so that the entire face area is uniform in skin color and the face light color is more natural.
  • the method may further include:
  • the face image database is updated based on the corrected target image.
  • the corrected image can be added to the face image database to update the face features, so that the photo display effect is more biased toward the user's shooting habits.
  • the preset time period can be set by a person skilled in the art or a product manufacturer, such as one week, one month, and the like.
  • an embodiment of the present application provides an image processing method for identifying a face region in a target image; determining a local region to be processed from a face region based on the trained convolutional neural network model; and acquiring a target image
  • the posture information of the middle face; the target sample face image is selected from the face image database according to the posture information; and the local area is corrected according to the target sample face image.
  • This program can repair images with poor quality and improve image quality.
  • another image processing method is also provided. As shown in FIG. 5, the flow may be as follows:
  • the face image database includes sample face images of a plurality of different postures of the same person.
  • the embodiment of the present application is mainly directed to the problem of blurring, defocusing, noise, ghosting, and the like of the image. Therefore, the sample face images in the constructed face image database are images with higher image quality. In practical applications, these high-definition sample face images can be obtained by the user shooting in a well-lit scene.
  • the first is to collect a plurality of photos of different postures, specifically to obtain photos of different angles.
  • the angle of deflection of the face relative to the plane of the camera lens can then be analyzed by the camera's shooting parameters or the positional relationship between the lens and the subject.
  • the collected face image as the sample face image and the corresponding deflection angle as the sample deflection angle, and establishing a mapping relationship between the captured face image and the deflection angle, the sample face image,
  • the sample deflection angle and the mapping relationship between the two are added to the preset face image database to complete the construction of the set.
  • the method may further include:
  • the trained convolutional neural network model is trained based on the training samples to obtain the trained convolutional neural network model.
  • the user can first obtain the historical image of the self-timer of various angles of the user to create a data set of the face self-timer, and mark the image of the face self-timer blur, out-of-focus, noise, and ghost image area, and further Areas with specific problems such as blur, out of focus, noise, and ghosting are marked in the image.
  • a picture quality threshold can be set, and images with blur, out-of-focus, noise, ghost, and the like to a certain degree are recorded as not reaching the preset condition, and vice versa, the preset condition is reached.
  • the preset condition may be a threshold of the degree of blur, the degree of defocus, the degree of noise, and/or the degree of ghosting, which can be calculated by a correlation image algorithm.
  • the training sample is first input, the parameter initialization is performed, and after reaching the full connection layer after the convolution and sampling process, the processed image is output, and after repeated iteration correction, the convolutional neural network can correctly determine Which images have problems such as blur, out-of-focus, noise, and ghosting, so that a better convolutional neural network model is trained.
  • the target image may specifically be an image captured by the electronic device through the camera.
  • the image processing method provided by the embodiments of the present application mainly targets some pictures such as blur, out of focus, noise, ghosting and the like.
  • the target image includes one or more person images, and at least one recognizable face exists.
  • the target image may further include a scene image such as a building, an animal or a plant.
  • the face region therein may be identified from the target image based on the image recognition technology, such as recognizing the facial features.
  • an area where blur, out of focus, noise, or ghosting exists may be distinguished from the target image as the local area to be processed. among them,
  • key points can be detected on a face in the target image to determine the pose of the face. That is, in some embodiments, the step of "acquiring the pose information of the face in the target image” may include the following process:
  • the posture information of the face is obtained according to the difference value.
  • the facial feature point may specifically be a feature point obtained according to “two eyes + mouth” or “two eyes + nose” in the face image.
  • the preset facial feature vector may be a feature vector when the face pose is positive.
  • the gesture information may be a gesture relative to the front side. A vector formed by the positional relationship between feature points is used as a feature vector.
  • the attitude information may include a deflection angle.
  • the sample deflection angle corresponding to each sample face image in the face image database may be acquired, and multiple samples are obtained. Deflecting the angle, then selecting a target sample deflection angle that is the smallest difference from the deflection angle from the plurality of sample deflection angles, and using the sample face image corresponding to the target sample deflection angle as the target sample face image.
  • the deflection angle may be a deflection angle in six degrees of freedom.
  • a large number of face images with different postures can be obtained to increase the density of the deflection angle in the sample face image and reduce the interval value between the deflection angles.
  • the target sample face image is a high-definition image, so that the local image region with poor image quality in the target image can be corrected based on the target sample face image to improve the image quality of the target image.
  • the partial image may be modified according to a portion of the target sample face image corresponding to the local region to reduce the influence of blur, out-of-focus, noise, ghosting, and the like on the partial image.
  • the target sample face image may be affine transformed based on the face region to align the face region with the transformed target sample face image; then, the local region is mapped onto the transformed target sample face image. To determine the mapping area from the target sample face image; finally, extract the image features of the mapping area, and correct the local area according to the image features.
  • the angles of the two images may also be different. Therefore, in order to better match the parts of the face, an affine transformation process is required to align the face area in the target image with the target sample face image. After the two images are aligned, the local area that needs to be processed in the face area is mapped onto the transformed target sample face image, so that the mapping area corresponding to the local area is determined on the target sample face image, so that the local area can be Correction processing is performed based on the mapping area.
  • the image features when performing a specific correcting operation, may be analyzed and processed based on the relevant algorithm model to obtain corresponding image feature parameters. Then, the local area in the target image may be adjusted according to the obtained image feature parameter, and the features such as the color, texture, shape, and spatial position of the target sample face image are adjusted to be consistent with the image features in the mapping area, Achieve corrections to local areas.
  • the image feature may specifically be a color feature, a texture feature, a shape feature, and a spatial relationship feature in the extracted face image.
  • the color information of the original face area on the target image may be further acquired, and the color adjustment parameter is generated according to the color information.
  • the acquired color information may include various colors such as color temperature, hue, brightness, saturation, and the like. Then, the color of the corrected local area in the current face area is finely adjusted according to the color adjustment parameter, so that the entire face area is uniform in skin color and the face light color is more natural.
  • step 208 Determine whether a deletion instruction of the user for the corrected target image is received within the preset time period; if yes, the process ends, otherwise step 208 is performed.
  • a deletion instruction of the user for the corrected target image is received within the preset time period. It can be understood that if the user approves the corrected image, it will keep it in the electronic device album. If the corrected image is not satisfactory, it will usually be deleted from the album.
  • the preset time period can be set by a person skilled in the art or a product manufacturer, such as one week, one month, and the like.
  • the corrected target image can be added to the face image database to update the face image database, so that the photo display effect is more biased toward the user's shooting habit.
  • the image processing method identifies the face region in the target image; determines the local region to be processed from the face region based on the trained convolutional neural network model; and acquires the person in the target image
  • the posture information of the face; the target sample face image is selected from the face image database according to the posture information; the local area is corrected according to the target sample face image; and the user is not received for the corrected target image within the preset time period
  • the corrected target image is added to the face image database to update the face image database.
  • the scheme can repair the image with poor quality and improve the image quality.
  • the face image database can be updated based on the corrected image, so that the photo display effect is more biased towards the user's shooting habit.
  • an image processing apparatus is further provided, which may be integrated in an electronic device in the form of software or hardware, and the electronic device may specifically include a mobile phone, a tablet computer, a notebook computer, and the like.
  • the image processing apparatus 30 may include an information identification module 301, a determination module 302, a first acquisition module 3030, a selection module 304, and a correction module 305, where:
  • the identification module 301 is configured to identify a face area in the target image
  • a determining module 302 configured to determine a local area to be processed from the face region based on the trained convolutional neural network model
  • the first obtaining module 303 is configured to acquire posture information of a face in the target image.
  • the selecting module 304 is configured to select a target sample face image from the face image database according to the posture information
  • the correction module 305 is configured to correct the local area according to the target sample face image.
  • the image processing apparatus 30 may further include:
  • a building module 306 configured to construct a convolutional neural network before identifying a face region in the target image
  • a second acquiring module 307 configured to acquire a plurality of labeled sample images of the face in the target image and the marked area, where the marked area is an area where the image quality does not reach the preset condition;
  • a generating module 308, configured to generate a training sample according to the sample image and the marked area
  • the training module 309 is configured to perform parameter training on the constructed convolutional neural network based on the training sample to obtain a trained convolutional neural network model.
  • the first obtaining module 303 may be configured to: determine a facial feature point of a face in the target image; generate a facial feature vector according to the facial feature point; and acquire the facial feature vector and the preset facial feature vector The difference value between the two; the posture information of the face is obtained according to the difference value.
  • the correction module 305 can include:
  • the transform sub-module 3051 is configured to perform affine transformation on the target sample face image based on the face region, so that the face region is aligned with the transformed target sample face image;
  • mapping sub-module 3052 configured to map the local area to the transformed target sample face image to determine a mapping area from the target sample face image
  • the correction sub-module 3053 is configured to extract an image feature of the mapping area, and correct the local area according to the image feature.
  • the image processing apparatus 30 may further include:
  • the determining module 310 is configured to determine, after the local area is corrected according to the target sample face image, whether a deletion instruction of the user for the corrected target image is received within the preset time period;
  • the updating module 311 is configured to update the face image database according to the corrected target image when the determining module 310 determines to be no.
  • the image processing apparatus identifies the face region in the target image by using the trained convolutional neural network model to determine the local region to be processed from the face region;
  • the posture information of the face; the target sample face image is selected from the face image database according to the posture information; and the local region is corrected according to the target sample face image.
  • This program can repair images with poor quality and improve image quality.
  • an electronic device is further provided, and the electronic device may be a device such as a smart phone or a tablet computer.
  • the electronic device 400 includes a processor 401 and a memory 402.
  • the processor 401 is electrically connected to the memory 402.
  • the processor 401 is a control center of the electronic device 400, which connects various parts of the entire electronic device using various interfaces and lines, executes the electronic by running or loading an application stored in the memory 402, and calling data stored in the memory 402.
  • the various functions and processing data of the device enable overall monitoring of the electronic device.
  • the processor 401 in the electronic device 400 loads the instructions corresponding to the process of one or more applications into the memory 402 according to the following steps, and is stored and stored in the memory 402 by the processor 401.
  • the application thus implementing various functions:
  • the local area is corrected according to the target sample face image.
  • the processor 401 can perform the following steps:
  • the constructed convolutional neural network is trained in parameters, and the trained convolutional neural network model is obtained.
  • processor 401 can perform the following steps:
  • the attitude information includes a deflection angle; the processor 401 can perform the following steps:
  • the sample face image corresponding to the target sample deflection angle is used as the target sample face image.
  • processor 401 can perform the following steps:
  • mapping the local area to the transformed target sample face image to determine a mapping area from the target sample face image
  • An image feature of the mapping area is extracted, and the local area is corrected according to the image feature.
  • the processor 401 may perform the following steps:
  • the face image database is updated based on the corrected target image.
  • Memory 402 can be used to store applications and data.
  • the application stored in the memory 402 contains instructions that are executable in the processor.
  • Applications can form various functional modules.
  • the processor 401 executes various functional applications and data processing by running an application stored in the memory 402.
  • the electronic device 400 further includes a display screen 403, a control circuit 404, a radio frequency circuit 405, an input unit 406, an audio circuit 407, a sensor 408, and a power source 409.
  • the processor 401 is electrically connected to the display screen 403, the control circuit 404, the radio frequency circuit 405, the input unit 406, the audio circuit 407, the sensor 408, and the power source 409, respectively.
  • the display screen 403 can be used to display information entered by the user or information provided to the user as well as various graphical user interfaces of the electronic device, which can be composed of images, text, icons, video, and any combination thereof.
  • the display screen 403 can be used as a screen in the embodiment of the present application for displaying information.
  • the control circuit 404 is electrically connected to the display screen 403 for controlling the display screen 403 to display information.
  • the radio frequency circuit 405 is configured to transmit and receive radio frequency signals to establish wireless communication with network devices or other electronic devices through wireless communication, and to transmit and receive signals with network devices or other electronic devices.
  • the input unit 406 can be configured to receive input digits, character information, or user characteristic information (eg, fingerprints), and to generate keyboard, mouse, joystick, optical, or trackball signal inputs related to user settings and function controls.
  • the input unit 406 can include a fingerprint identification module.
  • the audio circuit 407 can provide an audio interface between the user and the electronic device through a speaker and a microphone.
  • Sensor 408 is used to collect external environmental information.
  • Sensor 408 can include ambient brightness sensors, acceleration sensors, light sensors, motion sensors, and other sensors.
  • Power source 409 is used to power various components of electronic device 400.
  • the power supply 409 can be logically coupled to the processor 401 through a power management system to enable functions such as managing charging, discharging, and power management through the power management system.
  • the camera 410 is used for collecting external images, and can be a digital camera or an analog camera. In some embodiments, camera 410 may convert the acquired external picture into data for transmission to processor 401 to perform image processing operations.
  • the electronic device 400 may further include a Bluetooth module or the like, and details are not described herein again.
  • the electronic device provided by the embodiment of the present application identifies the face region in the target image; determines the local region to be processed from the face region based on the trained convolutional neural network model; and acquires the face in the target image Attitude information; the target sample face image is selected from the face image database according to the posture information; and the local area is corrected according to the target sample face image.
  • This program can repair images with poor quality and improve image quality.
  • a further embodiment of the present application further provides a storage medium having a plurality of instructions stored therein, the instructions being adapted to be loaded by a processor to perform the steps of any of the image processing methods described above, such as: identifying a target image a face region; determining a local region to be processed from the face region based on the trained convolutional neural network model; acquiring posture information of a face in the target image; and extracting from the face image database according to the posture information Selecting a target sample face image; correcting the local area according to the target sample face image.
  • the program may be stored in a computer readable storage medium, and the storage medium may include: Read Only Memory (ROM), Random Access Memory (RAM), disk or optical disk.
  • ROM Read Only Memory
  • RAM Random Access Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种图像处理方法、装置、存储介质及电子设备。该图像处理方法，通过识别目标图像中的人脸区域(101)；基于训练好的卷积神经网络模型从人脸区域中确定待处理的局部区域(102)；获取目标图像中人脸的姿态信息(103)；根据姿态信息从人脸图像数据库中选取目标样本人脸图像(104)；根据目标样本人脸图像对局部区域进行修正(105)。

Description

图像处理方法、装置、存储介质及电子设备
本申请要求于2018年1月10日提交中国专利局、申请号为201810023876.6、发明名称为“图像处理方法、装置、存储介质及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
现有的电子设备一般具有拍照、摄影功能。随着智能电子设备和计算机视觉技术的高速发展，用户对于智能电子设备的摄像头的需求不仅仅局限在传统的拍照、摄影，而更多倾向于图像处理功能，如智能美颜、风格迁移等技术被越来越多的智能电子设备所普及。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备，可以对图像进行修复，提升图像画质。
第一方面，本申请实施例提供一种图像处理方法，包括：
识别目标图像中的人脸区域；
基于训练好的卷积神经网络模型从所述人脸区域中确定待处理的局部区域；
获取所述目标图像中人脸的姿态信息；
根据所述姿态信息从人脸图像数据库中选取目标样本人脸图像；
根据所述目标样本人脸图像对所述局部区域进行修正。
第二方面，本申请实施例提供了一种图像处理装置，包括：
识别模块，用于识别目标图像中的人脸区域；
确定模块，用于基于训练好的卷积神经网络模型从所述人脸区域中确定待处理的局部区域；
第一获取模块，用于获取所述目标图像中人脸的姿态信息；
选取模块，用于根据所述姿态信息从人脸图像数据库中选取目标样本人脸图像；
修正模块，用于根据所述目标样本人脸图像对所述局部区域进行修正。
第三方面，本申请实施例还提供了一种存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行以下步骤：
识别目标图像中的人脸区域；
基于训练好的卷积神经网络模型从所述人脸区域中确定待处理的局部区域；
获取所述目标图像中人脸的姿态信息；
根据所述姿态信息从人脸图像数据库中选取目标样本人脸图像；
根据所述目标样本人脸图像对所述局部区域进行修正。
第四方面，本申请实施例还提供了一种电子设备，包括处理器、存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据；处理器用于执行以下步骤：
识别目标图像中的人脸区域；
基于训练好的卷积神经网络模型从所述人脸区域中确定待处理的局部区域；
获取所述目标图像中人脸的姿态信息；
根据所述姿态信息从人脸图像数据库中选取目标样本人脸图像；
根据所述目标样本人脸图像对所述局部区域进行修正。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的电子设备实现深度学习的场景构架示意图。
图2是本申请实施例提供的图像处理方法的一种流程示意图。
图3是本申请实施例提供的图像处理方法的一种应用场景图。
图4是本申请实施例提供的图像处理方法的另一种应用场景图。
图5是本申请实施例提供的图像处理装置的另一种流程示意图。
图6是本申请实施例提供的图像处理装置的一种结构示意图。
图7是本申请实施例提供的图像处理装置的另一种结构示意图。
图8是本申请实施例提供的图像处理装置的又一种结构示意图。
图9是本申请实施例提供的图像处理装置的再一种结构示意图。
图10是本申请实施例提供的电子设备的一种结构示意图。
图11是本申请实施例提供的电子设备的另一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备。以下将分别进行详细说明。
请参阅图1，图1为本申请实施例提供的电子设备实现深度学习的场景示意图。
当用户对电子设备中的图像进行处理时，电子设备可记录处理过程中的相关信息。其中，电子设备中可以包括数据采集统计系统与带回馈调整的预测系统。电子设备可通过数据采集系统获取用户大量的图像分类结果数据，并作出相应的统计，并提取图像的图像特征，基于机器深度学习对所提取到的图像特征进行分析处理。在输入图像时，电子设备通过预测系统预测图像的分类结果。在用户做出最终选择行为后，所述预测系统根据用户行为的最终结果，反向回馈调整各权重项的权值。经过多次的迭代更正以后，使得所述预测系统的各个权重项的权值最终收敛，形成学习得到的数据库。
比如，首先可制作人脸数据集，对人脸模糊、失焦、有噪点、重影特征区域的图片进行不同的标注，然后基于这些被标注的图片，利用卷积神经网络对进行训练，经过多次的迭代更正以后，使得卷积神经网络可以正确判断出哪些图片存在模糊、失焦、噪点、重影等问题，从而得到较良好的分类算法模型。
其中，电子设备可以为移动终端，如手机、平板电脑等，也可以为传统的PC(Personal Computer，个人电脑)等，本申请实施例对此不进行限定。
在一实施例中，提供一种图像处理方法，如图2所示，流程可以如下：
101、识别目标图像中的人脸区域。
在一些实施例中，该目标图像具体可以为电子设备通过摄像头采集到的图像。该摄像头可以为数字摄像头，也可为模拟摄像头。数字摄像头可以将图像采集设备产生的模拟图像信号转换成数字信号，进而将其储存在计算机里。模拟摄像头捕捉到的图像信号必须经 过特定的图像捕捉卡将模拟信号转换成数字模式，并加以压缩后才可以转换到计算机上运用。数字摄像头可以直接捕捉影像，然后通过串、并口或者USB接口传到计算机里。
本申请实施例所提供的图像处理方法，主要针对一些诸如模糊、失焦、有噪点、重影等问题的图片。尤其是利用电子设备的摄像头自拍时，以手机为例，其前置摄像头的像素一般较差，快门速度较慢，在拍摄时容易因抖动导致拍摄的照片产生重影，在光线不足的夜间拍摄还容易产生严重的噪声影响。其中，目标图像包括有一个或多个人物图像，且至少存在一个可识别到的人脸。另外，该目标图像中还可进一步包括景物图像，如建筑物、动植物等。
本申请实施例中，可基于图像识别技术从目标图像中识别出其中的人脸区域，如识别到人脸五官。
102、基于训练好的卷积神经网络模型从人脸区域中确定待处理的局部区域。
在本申请实施例中，需要采集数据，预先训练好卷积神经网络模型。也即在识别目标图像中的人脸区域之前，该方法还可以包括：
构建卷积神经网络；
获取目标图像中人脸的多个被标记的样本图像以及被标记的区域，其中，被标记的区域为画质未达到预设条件的区域；
根据样本图像以及被标记的区域生成训练样本；
基于训练样本对所构建的卷积神经网络进行参数训练，得到训练后的卷积神经网络模型。
在一些实施例中，所构建的卷积神经网络可为一个带有分支的多尺度架构，这些分支根据所输入测试图像的尺寸的不同，在不同的采样版本上执行运算。每一个这样的分支都有零填充的卷积模块，其后还跟着线性修正(linear rectification)。这些分支再通过相差一倍的最近邻上采样(nearest-neighbor upsampling)和沿信道轴的级联(concatenation along the channel axis)组合起来。
具体实施过程中，首先可获取用户各种角度自拍的历史图像，以制作人脸自拍的数据集，对人脸自拍模糊、失焦、有噪点、重影特征区域的图像进行标注，进一步的可以在图像中标记出具体的存在模糊、失焦、有噪点、重影等问题的区域。实际应用中，可以设定一个画质阈值，将存在模糊、失焦、有噪点、重影等问题到一定程度的图像记作未达到预设条件，反之则记作达到了预设条件。在此，预设条件可以为模糊程度、失焦程度、噪点程度和/或重影程度的阈值，可通过相关图像算法进行衡量计算得到。
在具体训练过程中，首先输入训练样本，执行参数初始化，经过卷积和采样过程后到达全连接层，输出处理后的图像，经过多次的迭代更正以后，使得卷积神经网络可以正确判断出哪些图片存在模糊、失焦、噪点、重影等问题，从而训练得到较良好的卷积神经网络模型。
103、获取目标图像中人脸的姿态信息。
具体地，可以对目标图像中的人脸进行关键点检测，以确定人脸的姿态。也即，在一些实施例中，步骤“获取目标图像中人脸的姿态信息”可以包括以下流程：
确定目标图像中人脸的面部特征点；
根据面部特征点生成面部特征向量；
获取面部特征向量与预设面部特征向量之间的差异值；
根据差异值获取人脸的姿态信息。
其中，面部特征点具体可以是根据人脸图像中的“两只眼睛+嘴巴”，或者“两只眼睛+鼻子”而得到的特征点。而预设面部特征向量可以为人脸姿态为正面时的特征向量。姿态信息可以是相对于该正面而言的姿态。比如参考图3，A为眉毛、眼睛B1(左)和眼睛B2(右)、 鼻子C、嘴巴D、耳朵E以及脸蛋F，其中将两只眼睛B1、B2以及鼻子C作为特征部，进一步的从特征部中选取特征点，以作为面部特征点。将特征点相互之间的位置关系所构成的向量作为特征向量。
如图3所选取的特征点为眼睛B1的内眼角、眼睛B2的内眼角以及鼻子C的鼻尖(由于眼球是会转动的，因此可以选择位置固定不变的标识点)作为面部特征点，并形成构成三角区域的三个向量，图中这三个向量即可以作为预设面部特征向量。实际应用中，人脸一旦发生姿态改变，则该三个向量的大小和/或方向也会发生变化，因此可所检测到实时人脸的面部特征向量，将其与预设面部特征向量进行比较，便可以根据所计算两者间的差异值来确定当前人脸图像的姿态信息，如偏左、偏右、偏上、偏下、偏右上、偏左下等等。
104、根据姿态信息从人脸图像数据库中选取目标样本人脸图像。
在本申请实施例中，需要预先构建人脸图像数据库。需要说明的是，人脸图像数据库中包括有同一人物的多个不同姿态的样本人脸图像，参考图4。本由于本申请实施例主要针对图像的模糊、失焦、噪点、重影等问题，因此，所构建的人脸图像数据库中的样本人脸图像都为画质较高的图像。实际应用中，这些高清的样本人脸图像可以由用户在光线良好的场景下拍摄而得到。
在构建预设人脸图像数据库时，首先是采集多张不同姿态的照片，具体可以使获取不同角度的照片。然后可通过相机的拍摄参数或者镜头与被拍摄者之间的位置关系，分析出人脸相对于摄像头镜头所在平面的偏转角度。最后，将所采集到的人脸图像作为样本人脸图像、对应的偏转角度作为样本偏转角度，并建立所拍摄出的人脸图像与偏转角度之间的映射关系后，将样本人脸图像、样本偏转角度以及两者之间的映射关系添加到预设人脸图像数据库中，以完成集合的构建。
相应的，在一些实施例中，姿态信息可以包括偏转角度；则步骤“根据姿态信息从人脸图像数据库中选取目标样本人脸图像”可以包括以下流程：
获取人脸图像数据库中每一样本人脸图像对应的样本偏转角度，得到多个样本偏转角度；
从多个样本偏转角度中选中与偏转角度之间差值最小的目标样本偏转角度；
将目标样本偏转角度对应的样本人脸图像作为目标样本人脸图像。
其中，该偏转角度可以是在六个自由度上的偏转角度。为了提升人脸区域与样本人脸图像的匹配度，可以获取大量不同姿态的人脸图像，以增加样本人脸图像中偏转角度的密度，减小偏转角度之间的间隔值。
105、根据目标样本人脸图像对局部区域进行修正。
在本申请实施例中，目标样本人脸图像为高清图像，因此可以基于目标样本人脸图像对目标图像中画质较差的局部区域进行修正，以提升目标图像的画质。
在一些实施例中，可以根据目标样本人脸图像上与该局部区域对应的部分，对该局部图像进行修正调整，以降低模糊、失焦、噪点、重影等问题对局部图像的影响。也即，在一些实施例中，步骤“根据目标样本人脸图像对局部区域进行修正”可以包括以下流程：
基于人脸区域对目标样本人脸图像进行仿射变换，以使人脸区域与变换后的目标样本人脸图像对齐；
将局部区域映射到变换后的目标样本人脸图像上，以从目标样本人脸图像上确定映射区域；
提取映射区域的图像特征，并根据图像特征对局部区域进行修正。
具体地，由于目标样本人脸图像的大小和目标图像中人脸区域的大小可能相同，两张图像的角度也可能不相同。因此，为了更好地匹配人脸各部分，需进行仿射变换处理，以使目标图像中的人脸区域与目标样本人脸图像对齐。在两图像对齐之后，将人脸区域中需 要处理的局部区域映射到变换后的目标样本人脸图像上，从而在目标样本人脸图像上确定与局部区域对应的映射区域，以供局部区域可基于该映射区域进行修正处理。
在一些实施例中，步骤“提取映射区域的图像特征，并根据图像特征对局部区域进行修正”可以包括以下流程：
提取映射区域的图像特征；
基于预设算法模型对图像特征进行分析处理，获取对应的图像特征参数；
根据图像特征参数对局部区域进行修正。
在一些实施例中，图像特征具体可以为提取人脸图像中的颜色特征、纹理特征、形状特征、空间关系特征。而若要提高识别精度，则可基于机器的深度学习技术，对该电子设备进行训练得到一高精确度的算法模型，对图像特征进行分析处理，从而得到精确的图像特征参数。
随后，可按照得到的图像特征参数对目标图像中的局部区域进行调整，将该目标样本人脸图像的颜色、纹理、形状以及空间位置等特征调整为与该映射区域中的图像特征一致，以实现对局部区域的修正。
具体实施过程中，可利用颜色直方图、颜色矩、颜色集、颜色聚合向量以及颜色相关图等方式，对图像的纹理特征进表示及提取。然后，可利用统计法、几何法、模型法、信号处理法，对图像的纹理特征进行提取。另外，可利用边界特征法、傅立叶形状描述法、集合参数法、形状不变矩法，对图像的相撞特征进行提取。此外，对于图像的空间关系特征，可通过基于模型的姿态估计法、基于学习的姿态估计法进行特征的提取。
在修正局部区域之后，还可进一步获取目标图像上原人脸区域的颜色信息，根据颜色信息生成颜色调整参数。其中，所获取的颜色信息可以包括多种，比如色温、色调、亮度、饱和度等。然后，根据颜色调整参数对当前人脸区域中被修正过的局部区域的颜色进行微调，以使整个人脸区域整体上肤色均匀、人脸光线色彩更自然。
在一些实施例中，在根据目标样本人脸图像对局部区域进行修正之后，上述方法还可以包括：
判断在预设时间段内是否接收到用户针对修正后的目标图像的删除指令；
若否，则根据将修正后的目标图像更新人脸图像数据库。
可以理解的是，用户若认可修正后的图像，则会将其保留在电子设备相册中，若对修正后的图像不满意，则通常会将其从相册中删除。可将修正后的图像添加到人脸图像数据库中，以更新人脸特征，使得照片显示效果更加偏向用户的拍摄习惯。其中，预设时间段可以由本领域技术人员或者产品生产厂商进行设定，如一周、一个月等。
由上可知，本申请实施例提供了一种图像处理方法，通过识别目标图像中的人脸区域；基于训练好的卷积神经网络模型从人脸区域中确定待处理的局部区域；获取目标图像中人脸的姿态信息；根据姿态信息从人脸图像数据库中选取目标样本人脸图像；根据目标样本人脸图像对局部区域进行修正。该方案可以对画质较差的图像进行修复，提升图像质量。
在一实施例中，还提供另一种图像处理方法，如图5所示，流程可以如下：
201、构建人脸图像数据库。
在本申请实施例中，需要预先构建人脸图像数据库。需要说明的是，人脸图像数据库中包括有同一人物的多个不同姿态的样本人脸图像。本由于本申请实施例主要针对图像的模糊、失焦、噪点、重影等问题，因此，所构建的人脸图像数据库中的样本人脸图像都为画质较高的图像。实际应用中，这些高清的样本人脸图像可以由用户在光线良好的场景下拍摄而得到。
在构建预设人脸图像数据库时，首先是采集多张不同姿态的照片，具体可以使获取不同角度的照片。然后可通过相机的拍摄参数或者镜头与被拍摄者之间的位置关系，分析出 人脸相对于摄像头镜头所在平面的偏转角度。最后，将所采集到的人脸图像作为样本人脸图像、对应的偏转角度作为样本偏转角度，并建立所拍摄出的人脸图像与偏转角度之间的映射关系后，将样本人脸图像、样本偏转角度以及两者之间的映射关系添加到预设人脸图像数据库中，以完成集合的构建。
202、训练卷积神经网络模型。
在本申请实施例中，需要采集数据，预先训练好卷积神经网络模型。也即在识别目标图像中的人脸区域之前，该方法还可以包括：
构建卷积神经网络；
获取目标图像中人脸的多个被标记的样本图像以及被标记的区域，其中，被标记的区域为画质未达到预设条件的区域；
根据样本图像以及被标记的区域生成训练样本；
基于训练样本对所构建的卷积神经网络进行参数训练，得到训练后的卷积神经网络模型。
具体实施过程中，首先可获取用户各种角度自拍的历史图像，以制作人脸自拍的数据集，对人脸自拍模糊、失焦、有噪点、重影特征区域的图像进行标注，进一步的可以在图像中标记出具体的存在模糊、失焦、有噪点、重影等问题的区域。实际应用中，可以设定一个画质阈值，将存在模糊、失焦、有噪点、重影等问题到一定程度的图像记作未达到预设条件，反之则记作达到了预设条件。在此，预设条件可以为模糊程度、失焦程度、噪点程度和/或重影程度的阈值，可通过相关图像算法进行衡量计算得到。
在具体训练过程中，首先输入训练样本，执行参数初始化，经过卷积和采样过程后到达全连接层，输出处理后的图像，经过多次的迭代更正以后，使得卷积神经网络可以正确判断出哪些图片存在模糊、失焦、噪点、重影等问题，从而训练得到较良好的卷积神经网络模型。
203、识别目标图像中的人脸区域。
在一些实施例中，该目标图像具体可以为电子设备通过摄像头采集到的图像。本申请实施例所提供的图像处理方法，主要针对一些诸如模糊、失焦、有噪点、重影等问题的图片。其中，目标图像包括有一个或多个人物图像，且至少存在一个可识别到的人脸。另外，该目标图像中还可进一步包括景物图像，如建筑物、动植物等。
本申请实施例中，可基于图像识别技术从目标图像中识别出其中的人脸区域，如识别到人脸五官。
204、基于训练好的卷积神经网络模型从人脸区域中确定待处理的局部区域。
具体地，可基于训练好的卷积神经网络模型，从目标图像中分辨出存在模糊、失焦、噪点或重影的区域，以作为待处理的局部区域。其中，
205、获取目标图像中人脸的姿态信息，并根据姿态信息从人脸图像数据库中选取目标样本人脸图像。
具体地，可以对目标图像中的人脸进行关键点检测，以确定人脸的姿态。也即，在一些实施例中，步骤“获取目标图像中人脸的姿态信息”可以包括以下流程：
确定目标图像中人脸的面部特征点；
根据面部特征点生成面部特征向量；
获取面部特征向量与预设面部特征向量之间的差异值；
根据差异值获取人脸的姿态信息。
其中，面部特征点具体可以是根据人脸图像中的“两只眼睛+嘴巴”，或者“两只眼睛+鼻子”而得到的特征点。而预设面部特征向量可以为人脸姿态为正面时的特征向量。姿态信息可以是相对于该正面而言的姿态。将特征点相互之间的位置关系所构成的向量作为特 征向量。
在一些实施例中，姿态信息可以包括偏转角度，在从人脸图像数据库中选取目标样本人脸图像时，可获取人脸图像数据库中每一样本人脸图像对应的样本偏转角度，得到多个样本偏转角度，然后从多个样本偏转角度中选中与偏转角度之间差值最小的目标样本偏转角度，并将目标样本偏转角度对应的样本人脸图像作为目标样本人脸图像。
其中，该偏转角度可以是在六个自由度上的偏转角度。为了提升人脸区域与样本人脸图像的匹配度，可以获取大量不同姿态的人脸图像，以增加样本人脸图像中偏转角度的密度，减小偏转角度之间的间隔值。
206、根据目标样本人脸图像对局部区域进行修正。
在本申请实施例中，目标样本人脸图像为高清图像，因此可以基于目标样本人脸图像对目标图像中画质较差的局部区域进行修正，以提升目标图像的画质。
在一些实施例中，可以根据目标样本人脸图像上与该局部区域对应的部分，对该局部图像进行修正调整，以降低模糊、失焦、噪点、重影等问题对局部图像的影响。比如，可基于人脸区域对目标样本人脸图像进行仿射变换，以使人脸区域与变换后的目标样本人脸图像对齐；然后，将局部区域映射到变换后的目标样本人脸图像上，以从目标样本人脸图像上确定映射区域；最后，提取映射区域的图像特征，并根据图像特征对局部区域进行修正。
具体地，由于目标样本人脸图像的大小和目标图像中人脸区域的大小可能相同，两张图像的角度也可能不相同。因此，为了更好地匹配人脸各部分，需进行仿射变换处理，以使目标图像中的人脸区域与目标样本人脸图像对齐。在两图像对齐之后，将人脸区域中需要处理的局部区域映射到变换后的目标样本人脸图像上，从而在目标样本人脸图像上确定与局部区域对应的映射区域，以供局部区域可基于该映射区域进行修正处理。
在一些实施例中，在执行具体修正操作时，可基于相关算法模型对图像特征进行分析处理，获取对应的图像特征参数。然后，可按照得到的图像特征参数对目标图像中的局部区域进行调整，将该目标样本人脸图像的颜色、纹理、形状以及空间位置等特征调整为与该映射区域中的图像特征一致，以实现对局部区域的修正。其中，图像特征具体可以为提取人脸图像中的颜色特征、纹理特征、形状特征、空间关系特征。
在修正局部区域之后，还可进一步获取目标图像上原人脸区域的颜色信息，根据颜色信息生成颜色调整参数。其中，所获取的颜色信息可以包括多种，比如色温、色调、亮度、饱和度等。然后，根据颜色调整参数对当前人脸区域中被修正过的局部区域的颜色进行微调，以使整个人脸区域整体上肤色均匀、人脸光线色彩更自然。
207、判断在预设时间段内是否接收到用户针对修正后的目标图像的删除指令；若是，结束流程，否则执行步骤208。
具体地，对局部区域进行修正之后，判断在预设时间段内是否接收到用户针对修正后的目标图像的删除指令。可以理解的是，用户若认可修正后的图像，则会将其保留在电子设备相册中，若对修正后的图像不满意，则通常会将其从相册删除。
其中，预设时间段可以由本领域技术人员或者产品生产厂商进行设定，如一周、一个月等。
208、将修正后的目标图像添加到人脸图像数据库中，以更新人脸图像数据库。
具体地，若在预设时间段内未接收到用户针对修正后的目标图像的删除指令，则表明用户若认可修正后的图像。此时可将修正后的目标图像添加到人脸图像数据库中，以更新人脸图像数据库，使得照片显示效果更加偏向用户的拍摄习惯。
由上可知，本申请实施例提供的图像处理方法，通过识别目标图像中的人脸区域；基于训练好的卷积神经网络模型从人脸区域中确定待处理的局部区域；获取目标图像中人脸 的姿态信息；根据姿态信息从人脸图像数据库中选取目标样本人脸图像；根据目标样本人脸图像对局部区域进行修正；在预设时间段内未接收到用户针对修正后的目标图像的删除指令时，将修正后的目标图像添加到人脸图像数据库中，以更新人脸图像数据库。该方案可以对画质较差的图像进行修复，提升图像质量，另外可基于修正后的图像更新人脸图像数据库，使得照片显示效果更加偏向用户的拍摄习惯。
在本申请又一实施例中，还提供一种图像处理装置，该图像处理装置可以软件或硬件的形式集成在电子设备中，该电子设备具体可以包括手机、平板电脑、笔记本电脑等设备。如图6所示，该图像处理装置30可以包括信息识别模块301、确定模块302、第一获取模块3030、选取模块304以及修正模块305，其中：
识别模块301，用于识别目标图像中的人脸区域；
确定模块302，用于基于训练好的卷积神经网络模型从该人脸区域中确定待处理的局部区域；
第一获取模块303，用于获取该目标图像中人脸的姿态信息；
选取模块304，用于根据该姿态信息从人脸图像数据库中选取目标样本人脸图像；
修正模块305，用于根据该目标样本人脸图像对该局部区域进行修正。
在一些实施例中，参考图7，该图像处理装置30还可以包括：
构建模块306，用于在识别目标图像中的人脸区域之前，构建卷积神经网络；
第二获取模块307，用于获取该目标图像中人脸的多个被标记的样本图像以及被标记的区域，其中，被标记的区域为画质未达到预设条件的区域；
生成模块308，用于根据样本图像以及被标记的区域生成训练样本；
训练模块309，用于基于该训练样本对所构建的卷积神经网络进行参数训练，得到训练后的卷积神经网络模型。
在一些实施例中，第一获取模块303可以用于：确定目标图像中人脸的面部特征点；根据所述面部特征点生成面部特征向量；获取所述面部特征向量与预设面部特征向量之间的差异值；根据所述差异值获取所述人脸的姿态信息。
在一些实施例中，参考图8，该修正模块305可以包括：
变换子模块3051，用于基于该人脸区域对该目标样本人脸图像进行仿射变换，以使该人脸区域与变换后的目标样本人脸图像对齐；
映射子模块3052，用于将该局部区域映射到变换后的目标样本人脸图像上，以从目标样本人脸图像上确定映射区域；
修正子模块3053，用于提取该映射区域的图像特征，并根据该图像特征对该局部区域进行修正。
在一些实施例中，参考图9，该图像处理装置30还可以包括:
判断模块310，用于在根据该目标样本人脸图像对该局部区域进行修正之后，判断在预设时间段内是否接收到用户针对修正后的目标图像的删除指令；
更新模块311，用于在判断模块310判定为否时，根据修正后的目标图像更新该人脸图像数据库
由上可知，本申请实施例提供的图像处理装置，通过识别目标图像中的人脸区域；基于训练好的卷积神经网络模型从人脸区域中确定待处理的局部区域；获取目标图像中人脸的姿态信息；根据姿态信息从人脸图像数据库中选取目标样本人脸图像；根据目标样本人脸图像对局部区域进行修正。该方案可以对画质较差的图像进行修复，提升图像质量。
在本申请又一实施例中还提供一种电子设备，该电子设备可以是智能手机、平板电脑等设备。如图10所示，电子设备400包括处理器401、存储器402。其中，处理器401与存储器402电性连接。
处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
在本实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能：
识别目标图像中的人脸区域；
基于训练好的卷积神经网络模型从该人脸区域中确定待处理的局部区域；
获取该目标图像中人脸的姿态信息；
根据该姿态信息从人脸图像数据库中选取目标样本人脸图像；
根据该目标样本人脸图像对该局部区域进行修正。
在一些实施例中，在识别目标图像中的人脸区域之前，处理器401可以执行以下步骤：
构建卷积神经网络；
获取该目标图像中人脸的多个被标记的样本图像以及被标记的区域，其中，被标记的区域为画质未达到预设条件的区域；
根据样本图像以及被标记的区域生成训练样本；
基于该训练样本对所构建的卷积神经网络进行参数训练，得到训练后的卷积神经网络模型。
在一些实施例中，处理器401可以执行以下步骤：
确定目标图像中人脸的面部特征点；
根据该面部特征点生成面部特征向量；
获取该面部特征向量与预设面部特征向量之间的差异值；
根据该差异值获取该人脸的姿态信息。
在一些实施例中，该姿态信息包括偏转角度；处理器401可以执行以下步骤：
获取人脸图像数据库中每一样本人脸图像对应的样本偏转角度，得到多个样本偏转角度；
从多个样本偏转角度中选中与该偏转角度之间差值最小的目标样本偏转角度；
将该目标样本偏转角度对应的样本人脸图像作为目标样本人脸图像。
在一些实施例中，处理器401可以执行以下步骤：
基于该人脸区域对该目标样本人脸图像进行仿射变换，以使该人脸区域与变换后的目标样本人脸图像对齐；
将该局部区域映射到变换后的目标样本人脸图像上，以从目标样本人脸图像上确定映射区域；
提取映射区域的图像特征，并根据该图像特征对该局部区域进行修正。
在一些实施例中，在根据该目标样本人脸图像对该局部区域进行修正之后，处理器401可以执行以下步骤：
判断在预设时间段内是否接收到用户针对修正后的目标图像的删除指令；
若否，则根据修正后的目标图像更新该人脸图像数据库。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可在处理器中执行的指令。应用程序可以组成各种功能模块。处理器401通过运行存储在存储器402的应用程序，从而执行各种功能应用以及数据处理。
在一些实施例中，如图11所示，电子设备400还包括：显示屏403、控制电路404、射频电路405、输入单元406、音频电路407、传感器408以及电源409。其中，处理器401分别与显示屏403、控制电路404、射频电路405、输入单元406、音频电路407、传感器408以及电 源409电性连接。
显示屏403可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。其中，该显示屏403可以作为本申请实施例中的屏幕，用于显示信息。
控制电路404与显示屏403电性连接，用于控制显示屏403显示信息。
射频电路405用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。
输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中，输入单元406可以包括指纹识别模组。
音频电路407可通过扬声器、传声器提供用户与电子设备之间的音频接口。
传感器408用于采集外部环境信息。传感器408可以包括环境亮度传感器、加速度传感器、光传感器、运动传感器、以及其他传感器。
电源409用于给电子设备400的各个部件供电。在一些实施例中，电源409可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
摄像头410用于采集外界画面，可以使数字摄像头，也可以为模拟摄像头。在一些实施例中，摄像头410可将采集到的外界画面转换成数据发送给处理器401以执行图像处理操作。
尽管图11中未示出，电子设备400还可以包括蓝牙模块等，在此不再赘述。
由上可知，本申请实施例提供的电子设备，通过识别目标图像中的人脸区域；基于训练好的卷积神经网络模型从人脸区域中确定待处理的局部区域；获取目标图像中人脸的姿态信息；根据姿态信息从人脸图像数据库中选取目标样本人脸图像；根据目标样本人脸图像对局部区域进行修正。该方案可以对画质较差的图像进行修复，提升图像质量。
本申请又一实施例中还提供一种存储介质，该存储介质中存储有多条指令，该指令适于由处理器加载以执行上述任一图像处理方法的步骤，比如：识别目标图像中的人脸区域；基于训练好的卷积神经网络模型从所述人脸区域中确定待处理的局部区域；获取所述目标图像中人脸的姿态信息；根据所述姿态信息从人脸图像数据库中选取目标样本人脸图像；根据所述目标样本人脸图像对所述局部区域进行修正。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
在描述本申请的概念的过程中使用了术语“一”和“所述”以及类似的词语(尤其是在所附的权利要求书中)，应该将这些术语解释为既涵盖单数又涵盖复数。此外，除非本文中另有说明，否则在本文中叙述数值范围时仅仅是通过快捷方法来指代属于相关范围的每个独立的值，而每个独立的值都并入本说明书中，就像这些值在本文中单独进行了陈述一样。另外，除非本文中另有指明或上下文有明确的相反提示，否则本文中所述的所有方法的步骤都可以按任何适当次序加以执行。本申请的改变并不限于描述的步骤顺序。除非另外主张，否则使用本文中所提供的任何以及所有实例或示例性语言(例如，“例如”)都仅仅为了更好地说明本申请的概念，而并非对本申请的概念的范围加以限制。在不脱离精神和范围的情况下，所属领域的技术人员将易于明白多种修改和适应。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质及电子设备进行了详细介绍，本文中应用程序了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员， 依据本申请的思想，在具体实施方式及应用程序范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (20)

  1. 一种图像处理方法，其中，包括：
    识别目标图像中的人脸区域；
    基于训练好的卷积神经网络模型从所述人脸区域中确定待处理的局部区域；
    获取所述目标图像中人脸的姿态信息；
    根据所述姿态信息从人脸图像数据库中选取目标样本人脸图像；
    根据所述目标样本人脸图像对所述局部区域进行修正。
  2. 如权利要求1所述的图像处理方法，其中，在识别目标图像中的人脸区域之前，所述方法还包括：
    构建卷积神经网络；
    获取所述目标图像中人脸的多个被标记的样本图像以及被标记的区域，其中，被标记的区域为画质未达到预设条件的区域；
    根据样本图像以及被标记的区域生成训练样本；
    基于所述训练样本对所构建的卷积神经网络进行参数训练，得到训练后的卷积神经网络模型。
  3. 如权利要求1所述的图像处理方法，其中，获取目标图像中人脸的姿态信息的步骤，包括：
    确定目标图像中人脸的面部特征点；
    根据所述面部特征点生成面部特征向量；
    获取所述面部特征向量与预设面部特征向量之间的差异值；
    根据所述差异值获取所述人脸的姿态信息。
  4. 如权利要求1所述的图像处理方法，其中，所述姿态信息包括偏转角度；根据所述姿态信息从人脸图像数据库中选取目标样本人脸图像的步骤包括：
    获取人脸图像数据库中每一样本人脸图像对应的样本偏转角度，得到多个样本偏转角度；
    从多个样本偏转角度中选中与所述偏转角度之间差值最小的目标样本偏转角度；
    将所述目标样本偏转角度对应的样本人脸图像作为目标样本人脸图像。
  5. 如权利要求1所述的图像处理方法，其中，根据所述目标样本人脸图像对所述局部区域进行修正的步骤，包括：
    基于所述人脸区域对所述目标样本人脸图像进行仿射变换，以使所述人脸区域与变换后的目标样本人脸图像对齐；
    将所述局部区域映射到变换后的目标样本人脸图像上，以从目标样本人脸图像上确定映射区域；
    提取所述映射区域的图像特征，并根据所述图像特征对所述局部区域进行修正。
  6. 如权利要求5所述的图像处理方法，其中，提取映射区域的图像特征，并根据图像特征对局部区域进行修正的步骤，包括：
    提取映射区域的图像特征；
    基于预设算法模型对所述图像特征进行分析处理，获取对应的图像特征参数；
    根据所述图像特征参数对所述局部区域进行修正。
  7. 如权利要求1所述的图像处理方法，其中，在根据所述目标样本人脸图像对所述局部区域进行修正之后，所述方法还包括：
    判断在预设时间段内是否接收到用户针对修正后的目标图像的删除指令；
    若否，则根据修正后的目标图像更新所述人脸图像数据库。
  8. 一种图像处理装置，其中，包括：
    识别模块，用于识别目标图像中的人脸区域；
    确定模块，用于基于训练好的卷积神经网络模型从所述人脸区域中确定待处理的局部区域；
    第一获取模块，用于获取所述目标图像中人脸的姿态信息；
    选取模块，用于根据所述姿态信息从人脸图像数据库中选取目标样本人脸图像；
    修正模块，用于根据所述目标样本人脸图像对所述局部区域进行修正。
  9. 如权利要求8所述的图像处理装置，其中，所述装置还包括：
    构建模块，用于在识别目标图像中的人脸区域之前，构建卷积神经网络；
    第二获取模块，用于获取所述目标图像中人脸的多个被标记的样本图像以及被标记的区域，其中，被标记的区域为画质未达到预设条件的区域；
    生成模块，用于根据样本图像以及被标记的区域生成训练样本；
    训练模块，用于基于所述训练样本对所构建的卷积神经网络进行参数训练，得到训练后的卷积神经网络模型。
  10. 如权利要求8所述的图像处理装置，其中，第一获取模块用于：
    确定目标图像中人脸的面部特征点；
    根据所述面部特征点生成面部特征向量；
    获取所述面部特征向量与预设面部特征向量之间的差异值；
    根据所述差异值获取所述人脸的姿态信息。
  11. 如权利要求8所述的图像处理装置，其中，所述修正模块包括：
    变换子模块，用于基于所述人脸区域对所述目标样本人脸图像进行仿射变换，以使所述人脸区域与变换后的目标样本人脸图像对齐；
    映射子模块，用于将所述局部区域映射到变换后的目标样本人脸图像上，以从目标样本人脸图像上确定映射区域；
    修正子模块，用于提取所述映射区域的图像特征，并根据所述图像特征对所述局部区域进行修正。
  12. 如权利要求8所述的图像处理装置，其中，所述装置还包括:
    判断模块，用于在根据所述目标样本人脸图像对所述局部区域进行修正之后，判断在预设时间段内是否接收到用户针对修正后的目标图像的删除指令；
    更新模块，用于在判断模块判定为否时，根据修正后的目标图像更新所述人脸图像数据库。
  13. 一种存储介质，其中，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行以下步骤：
    识别目标图像中的人脸区域；
    基于训练好的卷积神经网络模型从所述人脸区域中确定待处理的局部区域；
    获取所述目标图像中人脸的姿态信息；
    根据所述姿态信息从人脸图像数据库中选取目标样本人脸图像；
    根据所述目标样本人脸图像对所述局部区域进行修正。
  14. 一种电子设备，其中，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据；所述处理器用于执行以下步骤：
    识别目标图像中的人脸区域；
    基于训练好的卷积神经网络模型从所述人脸区域中确定待处理的局部区域；
    获取所述目标图像中人脸的姿态信息；
    根据所述姿态信息从人脸图像数据库中选取目标样本人脸图像；
    根据所述目标样本人脸图像对所述局部区域进行修正。
  15. 如权利要求14所述的电子设备，其中，在识别目标图像中的人脸区域之前，所述处理器还用于执行以下步骤：
    构建卷积神经网络；
    获取所述目标图像中人脸的多个被标记的样本图像以及被标记的区域，其中，被标记的区域为画质未达到预设条件的区域；
    根据样本图像以及被标记的区域生成训练样本；
    基于所述训练样本对所构建的卷积神经网络进行参数训练，得到训练后的卷积神经网络模型。
  16. 如权利要求14所述的电子设备，其中，在获取目标图像中人脸的姿态信息时，所述处理器用于执行以下步骤：
    确定目标图像中人脸的面部特征点；
    根据所述面部特征点生成面部特征向量；
    获取所述面部特征向量与预设面部特征向量之间的差异值；
    根据所述差异值获取所述人脸的姿态信息。
  17. 如权利要求14所述的电子设备，其中，所述姿态信息包括偏转角度；根据所述姿态信息从人脸图像数据库中选取目标样本人脸图像时，所述处理器用于执行以下步骤：
    获取人脸图像数据库中每一样本人脸图像对应的样本偏转角度，得到多个样本偏转角度；
    从多个样本偏转角度中选中与所述偏转角度之间差值最小的目标样本偏转角度；
    将所述目标样本偏转角度对应的样本人脸图像作为目标样本人脸图像。
  18. 如权利要求14所述的电子设备，其中，根据所述目标样本人脸图像对所述局部区域进行修正时，所述处理器用于执行以下步骤：
    基于所述人脸区域对所述目标样本人脸图像进行仿射变换，以使所述人脸区域与变换后的目标样本人脸图像对齐；
    将所述局部区域映射到变换后的目标样本人脸图像上，以从目标样本人脸图像上确定映射区域；
    提取所述映射区域的图像特征，并根据所述图像特征对所述局部区域进行修正。
  19. 如权利要求18所述的电子设备，其中，提取映射区域的图像特征，并根据图像特征对局部区域进行修正的时，所述处理器用于执行以下步骤：
    提取映射区域的图像特征；
    基于预设算法模型对所述图像特征进行分析处理，获取对应的图像特征参数；
    根据所述图像特征参数对所述局部区域进行修正。
  20. 如权利要求14所述的电子设备，其中，在根据所述目标样本人脸图像对所述局部区域进行修正之后，所述处理器还用于执行以下步骤：
    判断在预设时间段内是否接收到用户针对修正后的目标图像的删除指令；
    若否，则根据修正后的目标图像更新所述人脸图像数据库。
PCT/CN2018/120108 2018-01-10 2018-12-10 图像处理方法、装置、存储介质及电子设备 WO2019137131A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18899051.9A EP3739502A4 (en) 2018-01-10 2018-12-10 IMAGE PROCESSING METHOD AND DEVICE, STORAGE MEDIUM AND ELECTRONIC DEVICE
US16/900,141 US11386699B2 (en) 2018-01-10 2020-06-12 Image processing method, apparatus, storage medium, and electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810024320.9 2018-01-10
CN201810024320.9A CN110020578A (zh) 2018-01-10 2018-01-10 图像处理方法、装置、存储介质及电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/900,141 Continuation US11386699B2 (en) 2018-01-10 2020-06-12 Image processing method, apparatus, storage medium, and electronic device

Publications (1)

Publication Number Publication Date
WO2019137131A1 true WO2019137131A1 (zh) 2019-07-18

Family

ID=67188190

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/120108 WO2019137131A1 (zh) 2018-01-10 2018-12-10 图像处理方法、装置、存储介质及电子设备

Country Status (4)

Country Link
US (1) US11386699B2 (zh)
EP (1) EP3739502A4 (zh)
CN (1) CN110020578A (zh)
WO (1) WO2019137131A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717406A (zh) * 2019-09-18 2020-01-21 平安科技（深圳）有限公司 一种人脸检测的方法、装置及终端设备
CN112419687A (zh) * 2020-11-16 2021-02-26 珠海格力电器股份有限公司 能够纠正书本在书桌上摆放角度的方法和读书设备
CN113496460A (zh) * 2020-04-03 2021-10-12 北京大学 一种基于特征调整的神经风格迁移方法及系统
CN113537182A (zh) * 2021-09-17 2021-10-22 北京慧荣和科技有限公司 染色体中期分裂相显微图像的自动识别方法与系统
CN117094966A (zh) * 2023-08-21 2023-11-21 青岛美迪康数字工程有限公司 基于图像扩增的舌图像识别方法、装置和计算机设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443752B (zh) * 2019-07-25 2023-05-05 维沃移动通信有限公司 一种图像处理方法和移动终端
CN111078926A (zh) * 2019-12-19 2020-04-28 青岛海信电器股份有限公司 一种人像缩略图像的确定方法及显示设备
CN113313786A (zh) * 2020-02-27 2021-08-27 深圳云天励飞技术有限公司 人像图片上色方法、装置及终端设备
CN111383199B (zh) * 2020-03-23 2023-05-26 如你所视(北京)科技有限公司 图像处理方法、装置、计算机可读存储介质及电子设备
CN111582180B (zh) * 2020-05-09 2023-04-18 浙江大华技术股份有限公司 车牌定位方法、图像处理装置及具有存储功能的装置
CN112989904B (zh) * 2020-09-30 2022-03-25 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
CN112270377B (zh) * 2020-11-11 2024-03-15 北京百度网讯科技有限公司 目标图像提取方法、神经网络训练方法和装置
CN112822393B (zh) * 2020-12-29 2022-11-25 维沃移动通信有限公司 图像处理方法、装置及电子设备
CN115359589B (zh) * 2022-08-08 2023-10-10 珠海格力电器股份有限公司 智能门锁的控制方法、装置、电子装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031539A (en) * 1997-03-10 2000-02-29 Digital Equipment Corporation Facial image method and apparatus for semi-automatically mapping a face on to a wireframe topology
CN102043943A (zh) * 2009-10-23 2011-05-04 华为技术有限公司 人脸姿态参数获取方法及装置
CN102722698A (zh) * 2012-05-17 2012-10-10 上海中原电子技术工程有限公司 多姿态人脸检测与跟踪方法及系统
CN106650574A (zh) * 2016-09-19 2017-05-10 电子科技大学 基于PCANet的人脸识别方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010186216A (ja) * 2009-02-10 2010-08-26 Seiko Epson Corp 顔画像における特徴部位の位置の特定
JP5480592B2 (ja) 2009-10-23 2014-04-23 日本電産サンキョー株式会社 カード送出装置およびカード送出装置の制御方法
CN101719270B (zh) * 2009-12-25 2012-01-11 武汉大学 一种基于非负矩阵分解的人脸超分辨率处理方法
US8406519B1 (en) * 2010-03-10 2013-03-26 Hewlett-Packard Development Company, L.P. Compositing head regions into target images
CN101799919A (zh) * 2010-04-08 2010-08-11 西安交通大学 一种基于pca对齐的正面人脸图像超分辨率重建方法
KR101495580B1 (ko) 2010-04-26 2015-02-25 파나소닉 주식회사 리드 프레임, 배선판, 발광 유닛, 조명 장치
CN102486608A (zh) 2010-12-01 2012-06-06 上海琪川感光设备有限公司 CTcP感光胶及其制备方法和CTcP版
CN102486868A (zh) * 2010-12-06 2012-06-06 华南理工大学 一种基于平均脸的美丽人脸合成方法
CN102043966B (zh) * 2010-12-07 2012-11-28 浙江大学 基于部分主分量分析和姿态估计联合的人脸识别方法
CN102693418A (zh) * 2012-05-17 2012-09-26 上海中原电子技术工程有限公司 多姿态人脸识别方法及系统
CN102902961B (zh) * 2012-09-21 2015-02-18 武汉大学 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法
CN102982520B (zh) * 2012-12-05 2015-07-15 武汉大学 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法
CN103310415A (zh) * 2013-03-15 2013-09-18 清华大学 基于人脸的图像缺损补绘方法及系统
CN104786040B (zh) 2013-07-30 2017-03-22 宁波北仑宁润机械有限公司 一种便于安装的后视镜轴套自动安装机构
CN103577815B (zh) * 2013-11-29 2017-06-16 中国科学院计算技术研究所 一种人脸对齐方法和系统
US9799096B1 (en) * 2014-07-08 2017-10-24 Carnegie Mellon University System and method for processing video to provide facial de-identification
US10134177B2 (en) * 2015-01-15 2018-11-20 Samsung Electronics Co., Ltd. Method and apparatus for adjusting face pose
CN104574321B (zh) * 2015-01-29 2018-10-23 京东方科技集团股份有限公司 图像修正方法、图像修正装置和视频系统
CN105046250B (zh) * 2015-09-06 2018-04-20 广州广电运通金融电子股份有限公司 人脸识别的眼镜消除方法
CN106558025B (zh) * 2015-09-29 2021-02-09 腾讯科技（深圳）有限公司 一种图片的处理方法和装置
CN105741229B (zh) * 2016-02-01 2019-01-08 成都通甲优博科技有限责任公司 实现人脸图像快速融合的方法
CN106023063A (zh) * 2016-05-09 2016-10-12 西安北升信息科技有限公司 一种视频移植换脸的方法
CN106127147B (zh) * 2016-06-23 2019-07-26 深圳市唯特视科技有限公司 一种基于三维数据的人脸深度纹理修复方法
US10509952B2 (en) * 2016-08-30 2019-12-17 Irida Labs S.A. Fast, embedded, hybrid video face recognition system
CN106599817A (zh) * 2016-12-07 2017-04-26 腾讯科技（深圳）有限公司 一种人脸替换方法及装置
CN107563978A (zh) * 2017-08-31 2018-01-09 苏州科达科技股份有限公司 人脸去模糊方法及装置
US10380788B2 (en) * 2017-10-12 2019-08-13 Ohio State Innovation Foundation Fast and precise object alignment and 3D shape reconstruction from a single 2D image
CN107663978A (zh) 2017-11-21 2018-02-06 佛山沃尔新信息科技有限公司 车门锁装置
CN108558025A (zh) 2018-04-04 2018-09-21 江南大学 一种利用库德毕赤酵母吸附电镀废水中铑离子的方法
CN108650574A (zh) 2018-05-15 2018-10-12 合肥智慧龙图腾知识产权股份有限公司 一种试管结构可调节导线长度的便携耳机及其使用方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031539A (en) * 1997-03-10 2000-02-29 Digital Equipment Corporation Facial image method and apparatus for semi-automatically mapping a face on to a wireframe topology
CN102043943A (zh) * 2009-10-23 2011-05-04 华为技术有限公司 人脸姿态参数获取方法及装置
CN102722698A (zh) * 2012-05-17 2012-10-10 上海中原电子技术工程有限公司 多姿态人脸检测与跟踪方法及系统
CN106650574A (zh) * 2016-09-19 2017-05-10 电子科技大学 基于PCANet的人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3739502A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717406A (zh) * 2019-09-18 2020-01-21 平安科技（深圳）有限公司 一种人脸检测的方法、装置及终端设备
CN110717406B (zh) * 2019-09-18 2024-04-09 平安科技（深圳）有限公司 一种人脸检测的方法、装置及终端设备
CN113496460A (zh) * 2020-04-03 2021-10-12 北京大学 一种基于特征调整的神经风格迁移方法及系统
CN113496460B (zh) * 2020-04-03 2024-03-22 北京大学 一种基于特征调整的神经风格迁移方法及系统
CN112419687A (zh) * 2020-11-16 2021-02-26 珠海格力电器股份有限公司 能够纠正书本在书桌上摆放角度的方法和读书设备
CN113537182A (zh) * 2021-09-17 2021-10-22 北京慧荣和科技有限公司 染色体中期分裂相显微图像的自动识别方法与系统
CN117094966A (zh) * 2023-08-21 2023-11-21 青岛美迪康数字工程有限公司 基于图像扩增的舌图像识别方法、装置和计算机设备
CN117094966B (zh) * 2023-08-21 2024-04-05 青岛美迪康数字工程有限公司 基于图像扩增的舌图像识别方法、装置和计算机设备

Also Published As

Publication number Publication date
CN110020578A (zh) 2019-07-16
US20200302154A1 (en) 2020-09-24
EP3739502A4 (en) 2021-03-10
US11386699B2 (en) 2022-07-12
EP3739502A1 (en) 2020-11-18

Similar Documents

Publication Publication Date Title
WO2019137131A1 (zh) 图像处理方法、装置、存储介质及电子设备
WO2019128508A1 (zh) 图像处理方法、装置、存储介质及电子设备
WO2019128507A1 (zh) 图像处理方法、装置、存储介质及电子设备
CN108229369B (zh) 图像拍摄方法、装置、存储介质及电子设备
RU2762142C1 (ru) Способ и устройство для определения ключевой точки лица, компьютерное устройство и носитель данных
KR101679290B1 (ko) 영상 처리 방법 및 장치
CN109727303B (zh) 视频展示方法、系统、计算机设备、存储介质和终端
KR101303877B1 (ko) 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치
WO2019134516A1 (zh) 全景图像生成方法、装置、存储介质及电子设备
TW201911130A (zh) 一種翻拍影像識別方法及裝置
CN108200334B (zh) 图像拍摄方法、装置、存储介质及电子设备
CN108712603B (zh) 一种图像处理方法及移动终端
WO2021129669A1 (zh) 图像处理方法及系统、电子设备、计算机可读介质
CN108810406B (zh) 人像光效处理方法、装置、终端及计算机可读存储介质
CN106056064A (zh) 一种人脸识别方法及人脸识别装置
CN109937434B (zh) 图像处理方法、装置、终端和存储介质
Vazquez-Fernandez et al. Built-in face recognition for smart photo sharing in mobile devices
CN107395957B (zh) 拍照方法、装置、存储介质及电子设备
JP6157165B2 (ja) 視線検出装置及び撮像装置
JP2014048766A (ja) 画像生成装置、画像生成方法及びプログラム
CN110581954A (zh) 一种拍摄对焦方法、装置、存储介质及终端
CN105744144A (zh) 图像生成方法以及图像生成装置
CN109451234A (zh) 优化拍照功能的方法、设备及存储介质
CN110326287A (zh) 拍摄方法和装置
WO2022083118A1 (zh) 一种数据处理方法及相关设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18899051

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018899051

Country of ref document: EP

Effective date: 20200810