WO2022042669A1 - 一种图片处理方法、装置、设备及存储介质 - Google Patents

一种图片处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2022042669A1
WO2022042669A1 PCT/CN2021/114880 CN2021114880W WO2022042669A1 WO 2022042669 A1 WO2022042669 A1 WO 2022042669A1 CN 2021114880 W CN2021114880 W CN 2021114880W WO 2022042669 A1 WO2022042669 A1 WO 2022042669A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
face
position information
processed
image
Prior art date
Application number
PCT/CN2021/114880
Other languages
English (en)
French (fr)
Inventor
吉靖宇
许译天
徐旺
Original Assignee
北京字节跳动网络技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京字节跳动网络技术有限公司 filed Critical 北京字节跳动网络技术有限公司
Priority to EP21860503.8A priority Critical patent/EP4198813A4/en
Priority to JP2023513988A priority patent/JP2023540272A/ja
Publication of WO2022042669A1 publication Critical patent/WO2022042669A1/zh
Priority to US18/090,114 priority patent/US11838622B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present disclosure relates to the field of picture data processing, and in particular, to a picture processing method, apparatus, device, and storage medium.
  • the picture quality can be measured from the local details and the whole of the picture.
  • the present disclosure provides a picture processing method, apparatus, device and storage medium, which can improve the efficiency of picture processing.
  • the present disclosure provides a picture processing method, the method comprising:
  • the first picture does not conform to the multi-person composition rule, based on the position information of each face on the first picture, the first picture is cropped and corrected to obtain a processed picture.
  • the method before performing face detection on the first picture, the method further includes:
  • the second picture is rotated and corrected to obtain the first picture.
  • the target object includes a plurality of sub-objects
  • determining whether the second picture is in a scene horizontal state by detecting whether the target object in the second picture is in a vertical state includes:
  • the target object includes a human body part and a human face part
  • the determining whether the second picture is in a scene horizontal state by detecting whether the target object in the second picture is in a vertical state includes:
  • the method before the first picture is obtained by performing rotation correction on the picture to be processed, the method further includes:
  • the said second picture is rotated and corrected to obtain the first picture, including:
  • the second picture is rotated and corrected to obtain the first picture.
  • the method further includes:
  • composition prompt is displayed.
  • composition prompt when it is detected that the first picture or the processed picture does not meet the correction conditions, displaying a composition prompt, including:
  • composition prompt is displayed
  • composition prompt is displayed.
  • the first picture is the current preview image in the camera preview window; the method further includes:
  • the processed picture is displayed in the camera preview window.
  • the displaying the processed picture in the camera preview window includes:
  • the processed picture is displayed in a picture-in-picture format.
  • the present disclosure provides a picture processing apparatus, the apparatus comprising:
  • the first determination module is used for performing face detection on the first picture to obtain the position information of each face on the first picture; the second determination module is used for based on the position information of each face on the first picture , to determine whether the first picture complies with the multi-person composition rule;
  • the cropping correction module is used for cropping and correcting the first picture based on the position information of each face on the first picture when the first picture does not conform to the multi-person composition rule to obtain a processed picture.
  • the present disclosure provides a computer-readable storage medium, where instructions are stored in the computer-readable storage medium, and when the instructions are executed on a terminal device, the terminal device is made to implement the above method.
  • the present disclosure provides a device comprising: a memory, a processor, and a computer program stored on the memory and executable on the processor, when the processor executes the computer program, Implement the above method.
  • An embodiment of the present disclosure provides a method for processing a picture. First, face detection is performed on a first picture to obtain position information of each face on the first picture, and then based on the position information of each face on the first picture, the first picture is determined. Whether the image conforms to the multi-person composition rules. If it is determined that the first picture does not conform to the multi-person composition rule, the first picture is cropped and corrected based on the position information of each face on the first picture to obtain a processed picture. The embodiment of the present disclosure corrects the composition of the picture from the perspective of the overall effect of the picture, thereby improving the quality of the picture.
  • FIG. 1 is a flowchart of a picture processing method according to an embodiment of the present disclosure
  • FIG. 2 is a schematic diagram of a picture with a missing main body provided by an embodiment of the present disclosure
  • FIG. 3 is a flowchart of another image processing method provided by an embodiment of the present disclosure.
  • FIG. 4 is a structural block diagram of a picture processing apparatus according to an embodiment of the present disclosure.
  • FIG. 5 is a structural block diagram of a picture processing device according to an embodiment of the present disclosure.
  • an embodiment of the present disclosure provides a picture processing method.
  • face detection is performed on a first picture to obtain position information of each face on the first picture, and then based on the position information of each face on the first picture, Determine if the first image complies with the multi-person composition rule.
  • the first picture is cropped and corrected based on the position information of each face on the first picture to obtain a processed picture.
  • the embodiment of the present disclosure corrects the composition of the picture from the perspective of the overall effect of the picture, thereby improving the quality of the picture.
  • an embodiment of the present disclosure provides a picture processing method.
  • a flowchart of a picture processing method provided by an embodiment of the present disclosure includes:
  • S101 Perform face detection on the first picture, and determine the position information of each face on the first picture.
  • the first picture may be any picture containing multiple faces, for example, it may be the current preview picture in the preview window of the camera when a group photo is taken, or the shutter button of the camera is pressed A group photo of the group was taken later.
  • the position information of the face may be two-dimensional coordinate information of the center point of the face, wherein the two-dimensional coordinate information may be coordinate information in a coordinate system with the upper left corner of the first picture as the origin.
  • the machine learning model may be used to detect the face on the first picture, which will not be repeated here.
  • a picture with a missing main body usually cannot realize composition correction through basic correction operations such as rotation and cropping
  • first detect the first picture before performing face detection on the first picture, first detect the first picture. Whether there is a defect in the main body of the picture, for example, whether the face, body, etc. in the first picture are defective due to the shooting method. If it is determined that the main body is defective in the first picture, the overall effect of the first picture cannot be achieved through subsequent correction operations. At this time, a composition prompt for the first picture can be displayed to the user, so that the user can re-shoot the first picture based on the composition prompt, so as to obtain a shot picture with an overall effect better than that of the first picture.
  • FIG. 2 it is a schematic diagram of a picture with a missing subject provided by an embodiment of the present disclosure, wherein a part of the portrait on the right side of the picture is missing. Therefore, an embodiment of the present disclosure can display a composition prompt, as shown in FIG. 2 .
  • the right arrow prompts the user to move the camera pose to retake a better picture. Among them, the right arrow prompts the user to move the camera to the right.
  • the composition prompt can also prompt the movement of the pose of the person in the picture, such as the person moving to the left as shown in Figure 2.
  • face detection may be performed on the first picture, so that the first picture is subsequently corrected based on the face detection result.
  • S102 Based on the position information of each face on the first picture, determine whether the first picture conforms to a multi-person composition rule. When the first picture does not conform to the multi-person composition rule, perform S103.
  • the first picture after obtaining the position information of each face on the first picture, it is determined whether the first picture conforms to the multi-person composition rule based on the position information of each face.
  • the multi-person composition rules include the rule of thirds, center symmetry and other composition rules. Based on the position information of each face, it is determined whether the first picture conforms to at least one multi-person composition rule. The picture conforms to the multi-person composition rule; otherwise, it is determined that the first picture does not conform to the multi-person composition rule, and composition correction processing is required.
  • the position information of each face on the first picture can be input into the multi-person composition rule model, and by matching with each rule in the multi-person composition rule model, it is determined whether the first picture complies with at least A multi-person composition rule.
  • the first picture is cropped and corrected.
  • the first picture may be cropped and corrected based on the position information of each face on the first picture.
  • the position information of each face indicates that each face is located on the right side of the first picture, and there is no human face in most of the left part of the first picture, then the left part of the first picture can be cropped and corrected, In order to make the overall effect of the processed picture better.
  • the processed picture after cropping and correction it can be further judged whether it conforms to the multi-person composition rule. Specifically, based on the cropping and correction of the first picture, the position information of each face on the first picture is updated, and then based on the updated position information of each face, it is re-determined whether the first picture after one cropping and correction is Comply with the multi-person composition rule until you get a processed image that complies with the multi-person composition rule.
  • the position information of each face on the first picture is updated, and then based on the updated position information of each face, it is re-determined whether the first picture after one cropping and correction is Comply with the multi-person composition rule until you get a processed image that complies with the multi-person composition rule.
  • the processed picture is obtained after cropping and correction of the first picture.
  • the processed picture can be enlarged and displayed. If the enlarged and displayed processed picture is detected The display is not clear, specifically, the pixel value of the enlarged image after processing is lower than the preset pixel value, which can indicate that the first image cannot be improved by cropping and correction. Therefore, the embodiment of the present disclosure can display composition prompts for the first image , so that the user can retake the first picture according to the composition prompt.
  • the picture processing method provided by the embodiment of the present disclosure, firstly, face detection is performed on the first picture to determine the position information of each face on the first picture, and then based on the position information of each face on the first picture, the first picture is determined Whether it complies with the multi-person composition rules. If it is determined that the first picture does not conform to the multi-person composition rule, the first picture is cropped and corrected based on the position information of each face on the first picture to obtain a processed picture.
  • the embodiment of the present disclosure corrects the composition of the picture from the perspective of the overall effect of the picture, thereby improving the quality of the picture.
  • an embodiment of the present disclosure further provides a picture processing method.
  • FIG. 3 it is a flowchart of another picture processing method provided by an embodiment of the present disclosure. Methods include:
  • S301 Determine whether the second picture is in a scene horizontal state by detecting whether the target object in the second picture is in a vertical state. When the second picture is not in the scene level state, perform S302.
  • the second picture may be any picture containing multiple faces, for example, it may be the current preview picture in the preview window of the camera when taking a group photo of multiple people, or the shutter button of the camera is pressed A group photo of the group was taken later.
  • the second picture after the second picture is determined, it is detected whether the target object in the second picture is in a vertical state, and whether the second picture is in a scene horizontal state is determined by whether the target object is in a vertical state.
  • the scene horizontal state refers to that the scene in the picture is not in a tilted state. For example, when a group photo of a group of people is taken at the beach, and the sea level in the group photo of the group of people is horizontal, it means that the group photo of the group of people is in a state of scene level.
  • the target object may be a predetermined specific building in the second picture, etc., by detecting whether the specific building is in a vertical state, it is determined whether the second picture is in a scene horizontal state.
  • the target object may be a human body part in the second picture, and it is determined whether the second picture is in a scene horizontal state by detecting whether the human body part is in a vertical state. Specifically, whether a person's body part is in a vertical state can be determined based on whether the person's head and feet are on the same vertical line.
  • the target object may also be a human face in the second picture, and it is determined whether the second picture is in a scene horizontal state by detecting whether the human face is in a vertical state. Specifically, whether a person's face is in a vertical state may be determined based on the position of the facial features on the face.
  • the target object in this embodiment of the present disclosure, may be set as a human body part and a human face The detection of the vertical state of the part determines whether the second picture is in the horizontal state of the scene.
  • the target object on the second picture includes multiple sub-objects
  • the embodiment of the present disclosure may determine whether the second picture is in the scene horizontal state based on the detection of the vertical state of each sub-object. Specifically, by detecting whether each sub-object on the second picture is in a vertical state, it is determined whether the second picture is in a scene horizontal state.
  • each sub-object in the second picture is in a vertical state, and if the ratio of the number of sub-objects in the vertical state to the total number of sub-objects is greater than a preset ratio threshold, the second image is determined.
  • the picture is in the scene level state; otherwise, it is determined that the second picture is not in the scene level state.
  • the multiple sub-objects included in the second picture may be the face positions of multiple people on the second picture, that is, if the ratio of the number of faces in the vertical state to the total number of faces is greater than the preset ratio threshold, Then it is determined that the second picture is in the scene level state, otherwise it is determined that the second picture is not in the scene level state.
  • the second picture after the second picture is determined, it is also possible to first detect whether there is a main body defect in the second picture, and if so, display a composition prompt for the second picture so that the user can retake the shot.
  • S302 Perform rotation correction on the second picture to obtain a first picture.
  • rotation correction is performed on the second picture, so that the overall effect of the second picture is better.
  • the offset angle of the target object in the second picture in the vertical direction is acquired. Then, based on the offset angle, the second picture is rotated and corrected to obtain the first picture.
  • the offset angle of each sub-object in the vertical direction is obtained, then the average value of each offset angle is calculated, and then the second The image is rotated and corrected to obtain the first image.
  • the first picture obtained after rotation and correction has problems such as incomplete main body, which reduces the picture quality, it means that the second picture cannot be corrected to improve the picture quality.
  • a composition prompt is performed on the second picture, so that the user can retake the shot according to the composition prompt.
  • S303 Perform face detection on the first picture, and determine the position information of each face on the first picture.
  • S304 Based on the position information of each face on the first picture, determine whether the first picture conforms to a multi-person composition rule. When the first picture does not conform to the multi-person composition rule, perform S302.
  • both the first picture in the above-mentioned embodiment and the second picture in this embodiment may be the current preview image in the preview window of the camera. Pictures, which can be displayed in the camera preview window. At this time, if the user presses the shutter button, the captured image is the processed image displayed in the camera preview window.
  • the processed picture may be displayed in a picture-in-picture format in the camera preview window.
  • a composition prompt will be displayed in the camera preview window, as shown in Figure 2, indicating that the user Move the camera pose to the right.
  • the embodiments of the present disclosure further provide a picture processing apparatus.
  • a schematic structural diagram of the picture processing apparatuses provided by the embodiments of the present disclosure is provided, and the apparatus includes:
  • the first determination module 401 is used for performing face detection on the first picture to obtain the position information of each face on the first picture;
  • the second determination module 402 is used for performing face detection on the first picture based on the location information, to determine whether the first picture conforms to the multi-person composition rule;
  • the cropping and correcting module 403 is used for cropping and correcting the first picture based on the position information of each human face on the first picture when the first picture does not conform to the multi-person composition rule to obtain the processed picture.
  • the device further includes:
  • a third determination module configured to determine whether the second picture is in a scene horizontal state by detecting whether the target object in the second picture is in a vertical state
  • a rotation correction module configured to perform rotation correction on the second picture when the second picture is not in the scene level state to obtain a first picture.
  • the target object includes multiple sub-objects
  • the third determining module is specifically used for:
  • the target object includes a human body part and a human face part
  • the third determining module is specifically used for:
  • the device further includes:
  • an obtaining module configured to obtain the offset angle of the target object in the second picture in the vertical direction when the second picture is not in the horizontal state of the scene
  • the rotation correction module is specifically used for:
  • the second picture is rotated and corrected to obtain the first picture.
  • the device further includes:
  • the first display module is configured to display a composition prompt when the first picture or the processed picture does not meet the correction condition.
  • the first display module includes:
  • a first display sub-module configured to display a composition prompt when there is a missing subject in the first picture
  • the second display sub-module is configured to display a composition prompt when the pixel value of the enlarged image after processing is lower than the preset pixel value.
  • the first picture is the current preview image in the camera preview window; the device further includes:
  • the second display module is configured to display the processed picture in the camera preview window.
  • the second display module is specifically used for:
  • the processed picture is displayed in a picture-in-picture format.
  • the picture processing apparatus provided by the embodiment of the present disclosure firstly performs face detection on the first picture, obtains the position information of each face on the first picture, and then determines whether the first picture is based on the position information of each face on the first picture. Comply with multi-person composition rules. When the first picture does not conform to the multi-person composition rule, the first picture is cropped and corrected based on the position information of each face on the first picture to obtain a processed picture.
  • the embodiment of the present disclosure corrects the composition of the picture from the perspective of the overall effect of the picture, thereby improving the quality of the picture.
  • embodiments of the present disclosure also provide a computer-readable storage medium, where instructions are stored in the computer-readable storage medium, and when the instructions are executed on a terminal device, the terminal device is made to implement the present invention.
  • the image processing methods described in the embodiments are disclosed.
  • an embodiment of the present disclosure further provides a picture processing device, as shown in FIG. 5 , which may include:
  • Processor 501 memory 502 , input device 503 and output device 504 .
  • the number of processors 501 in the image processing device may be one or more, and one processor is taken as an example in FIG. 5 .
  • the processor 501 , the memory 502 , the input device 503 and the output device 504 may be connected through a bus or other means, wherein the connection through a bus is taken as an example in FIG. 5 .
  • the memory 502 can be used to store software programs and modules, and the processor 501 executes various functional applications and data processing of the image processing apparatus by running the software programs and modules stored in the memory 502 .
  • the memory 502 may mainly include a stored program area and a stored data area, wherein the stored program area may store an operating system, an application program required for at least one function, and the like. Additionally, memory 502 may include high-speed random access memory, and may also include non-volatile memory, such as at least one magnetic disk storage device, flash memory device, or other volatile solid state storage device.
  • the input device 503 can be used to receive input numerical or character information, and generate signal input related to user setting and function control of the picture processing apparatus.
  • the processor 501 loads the executable files corresponding to the processes of one or more application programs into the memory 502 according to the following instructions, and the processor 501 runs the executable files stored in the memory 502 application, so as to realize various functions of the above picture processing device.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供了一种图片处理方法、装置、设备及存储介质，所述方法包括：首先对第一图片进行人脸检测，获得第一图片上各个人脸的位置信息，然后基于第一图片上各个人脸的位置信息，确定第一图片是否符合多人构图法则。当第一图片不符合多人构图法则时，基于第一图片上各个人脸的位置信息，对第一图片进行裁剪矫正，得到处理后图片。本公开实施例从图片整体效果角度对图片的构图进行矫正，提高了图片的质量。

Description

一种图片处理方法、装置、设备及存储介质
本申请要求于2020年08月31日提交国家知识产权局、申请号为202010900860.6、申请名称为“一种图片处理方法、装置、设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及图片数据处理领域，尤其涉及一种图片处理方法、装置、设备及存储介质。
背景技术
随着图片处理方式的多样化发展，人们对图片质量的要求越来越高。其中，图片质量可以从图片的局部细节和整体分别进行衡量。
目前，对于图片处理的需求不再局限于对细节效果的处理，针对图片的整体效果是否符合人们的审美习惯等，也越来越受到人们的关注。
因此，如何从提高图片的整体效果的角度，提高图片的质量，是目前亟需解决的技术问题。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种图片处理方法、装置、设备及存储介质，能够提高图片处理的效率。
第一方面，本公开提供了一种图片处理方法，所述方法包括：
对第一图片进行人脸检测，获得所述第一图片上各个人脸的位置信息；基于所述第一图片上各个人脸的位置信息，确定所述第一图片是否符合多人构图法则；
当所述第一图片不符合多人构图法则时，基于所述第一图片上各个人脸的位置信息，对所述第一图片进行裁剪矫正，得到处理后图片。
一种可选的实施方式中，所述对第一图片进行人脸检测之前，还包括：
通过检测第二图片中的目标对象是否处于竖直状态，确定所述第二图片是否处于场景水平状态；
当所述第二图片未处于所述场景水平状态时，对所述第二图片进行旋转矫正，得到第一图片。
一种可选的实施方式中，所述目标对象包括多个子对象，所述通过检测第二图片中的目标对象是否处于竖直状态，确定所述第二图片是否处于场景水平状态，包括：
通过检测第二图片中的各个子对象是否处于竖直状态，确定所述第二图片是否处于场景水平状态。
一种可选的实施方式中，所述目标对象包括人的身体部位和人脸部位；
所述通过检测第二图片中的目标对象是否处于竖直状态，确定所述第二图片是否处于场景水平状态，包括：
通过检测第二图片中同一个人的所述身体部位和所述人脸部位是否均处于竖直状态， 确定所述第二图片是否处于场景水平状态。
一种可选的实施方式中，所述对所述待处理图片进行旋转矫正，得到第一图片之前，还包括：
当所述第二图片未处于所述场景水平状态时，获取所述第二图片中的所述目标对象在竖直方向上的偏移角度；
所述对所述第二图片进行旋转矫正，得到第一图片，包括：
基于所述偏移角度，对所述第二图片进行旋转矫正，得到第一图片。
一种可选的实施方式中，所述方法还包括：
当检测到所述第一图片或者所述处理后图片不符合矫正条件时，显示构图提示。
一种可选的实施方式中，所述当检测到所述第一图片或者所述处理后图片不符合矫正条件时，显示构图提示，包括：
当检测到所述第一图片中存在主体残缺时，显示构图提示；
或者，当检测到所述处理后图片被放大后像素值低于预设像素值时，显示构图提示。
一种可选的实施方式中，所述第一图片为相机预览窗口中的当前预览图像；所述方法还包括：
在所述相机预览窗口中显示所述处理后图片。
一种可选的实施方式中，所述在所述相机预览窗口中显示所述处理后图片，包括：
在所述相机预览窗口中，以画中画形式显示所述处理后图片。
第二方面，本公开提供了一种图片处理装置，所述装置包括：
第一确定模块，用于对第一图片进行人脸检测，获得所述第一图片上各个人脸的位置信息；第二确定模块，用于基于所述第一图片上各个人脸的位置信息，确定所述第一图片是否符合多人构图法则；
裁剪矫正模块，用于当所述第一图片不符合多人构图法则时，基于所述第一图片上各个人脸的位置信息，对所述第一图片进行裁剪矫正，得到处理后图片。
第三方面，本公开提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现上述的方法。
第四方面，本公开提供了一种设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例提供了一种图片处理方法，首先对第一图片进行人脸检测，获得第一图片上各个人脸的位置信息，然后基于第一图片上各个人脸的位置信息，确定第一图片是否符合多人构图法则。如果确定第一图片不符合多人构图法则，则基于第一图片上各个人脸的位置信息，对第一图片进行裁剪矫正，得到处理后图片。本公开实施例从图片整体效果角度对图片的构图进行矫正，提高了图片的质量。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施 例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种图片处理方法的流程图；
图2为本公开实施例提供的一种存在主体残缺的图片的示意图；
图3为本公开实施例提供的另一种图片处理方法的流程图；
图4为本公开实施例提供的一种图片处理装置结构框图；
图5为本公开实施例提供的一种图片处理设备结构框图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
目前，人们对图片质量要求的越来越高，针对图片的整体效果是否符合人们的审美习惯等，也越来越受到人们的关注。因此，如何从提高图片的整体效果的角度，提高图片的质量，是目前亟需解决的技术问题。
为此，本公开实施例提供了一种图片处理方法，首先对第一图片进行人脸检测，获得第一图片上各个人脸的位置信息，然后基于第一图片上各个人脸的位置信息，确定第一图片是否符合多人构图法则。当第一图片不符合多人构图法则时，基于第一图片上各个人脸的位置信息，对第一图片进行裁剪矫正，得到处理后图片。本公开实施例从图片整体效果角度对图片的构图进行矫正，提高了图片的质量。
基于此，本公开实施例提供了一种图片处理方法，参考图1，为本公开实施例提供的一种图片处理方法的流程图，该方法包括：
S101：对第一图片进行人脸检测，确定所述第一图片上各个人脸的位置信息。
本公开实施例中，第一图片可以是任意一张包含多张人脸的图片，例如可以是在拍摄多人合照时相机预览窗口中的当前预览图片，也可以是相机的快门键被按下后拍摄到的多人合照图片。
本公开实施例中，在确定第一图片后，对第一图片进行人脸检测，以确定第一图片上各个人脸的位置信息。其中，人脸的位置信息可以是人脸的中心点的二维坐标信息，其中，二维坐标信息可以是以第一图片的左上角为原点的坐标系中的坐标信息。
实际应用中，可以利用机器学习模型对第一图片上的人脸进行检测，在此不再赘述。
一种可选的实施方式中，由于存在主体残缺的图片通常不能通过旋转、裁剪等基本矫正操作实现构图矫正，因此，本公开实施例在对第一图片进行人脸检测之前，首先检测第一图片是否存在主体残缺，例如，第一图片中的人脸、身体等是否存在因拍摄方式导致的 残缺，如果确定第一图片存在主体残缺，则不能通过后续矫正操作实现对第一图片的整体效果处理，此时可以向用户显示针对第一图片的构图提示，以便用户能够基于构图提示对第一图片进行重新拍摄，以得到整体效果优于第一图片的拍摄图片。
如图2所示，为本公开实施例提供的一种存在主体残缺的图片的示意图，其中，图片右侧部分人像残缺，因此，本公开实施例可以通过显示构图提示，如图2所示的向右箭头，提示用户移动相机位姿，以便重新拍摄效果更优的图片。其中，向右箭头是提示用户向右移动相机。另外，构图提示还可以提示图片中人位姿的移动，如图2中人向左移动等。
另外，如果确定第一图片未存在主体残缺，则可以对第一图片进行人脸检测，以便后续基于人脸检测结果对第一图片进行矫正。
S102：基于所述第一图片上各个人脸的位置信息，确定所述第一图片是否符合多人构图法则。当所述第一图片不符合多人构图法则时，执行S103。
本公开实施例中，在获取到第一图片上各个人脸的位置信息后，基于各个人脸的位置信息，确定第一图片是否符合多人构图法则。
实际应用中，多人构图法则包括三分法、居中对称等多种构图法则，基于各个人脸的位置信息，确定第一图片是否符合至少一种多人构图法则，如果是，则确定第一图片符合多人构图法则；否则，确定第一图片不符合多人构图法则，需要进行构图矫正处理。
一种可选的实施方式中，可以将第一图片上各个人脸的位置信息，输入至多人构图法则模型中，通过与多人构图法则模型中各个法则的匹配，确定第一图片是否符合至少一种多人构图法则。
S103：基于所述第一图片上各个人脸的位置信息，对所述第一图片进行裁剪矫正，得到处理后图片。
本公开实施例中，如果确定第一图片不符合多人构图法则，则对第一图片进行裁剪矫正。具体的，可以基于第一图片上各个人脸的位置信息，对第一图片进行裁剪矫正。例如，各个人脸的位置信息指示各个人脸均位于第一图片的右侧，而第一图片的左侧大部分区域不存在人脸，则可以对第一图片的左侧部分进行裁剪矫正，以使得到的处理后图片的整体效果更佳。
一种可选的实施方式中，对于裁剪矫正后的处理后图片，还可以继续判断其是否符合多人构图法则。具体的，基于对第一图片的裁剪矫正，对第一图片上的各个人脸的位置信息进行更新，然后基于更新后的各个人脸的位置信息，重新确定经过一次裁剪矫正的第一图片是否符合多人构图法则，直到得到符合多人构图法则的处理后图片。具体的确定方式参照上述理解，在此不再赘述。
另一种可选的实施方式中，在对第一图片进行裁剪矫正后得到处理后图片，为了便于用户查看处理后图片，可以对处理后图片进行放大显示，如果检测到放大显示的处理后图片显示不清晰，具体为，处理后图片被放大后像素值低于预设像素值，如此可以说明第一图片不能通过裁剪矫正提高图片质量，因此，本公开实施例可以针对第一图片显示构图提示，以便用户能够根据构图提示对第一图片进行重拍。
本公开实施例提供的图片处理方法中，首先对第一图片进行人脸检测，确定第一图片 上各个人脸的位置信息，然后基于第一图片上各个人脸的位置信息，确定第一图片是否符合多人构图法则。如果确定第一图片不符合多人构图法则，则基于第一图片上各个人脸的位置信息，对第一图片进行裁剪矫正，得到处理后图片。本公开实施例从图片整体效果角度对图片的构图进行矫正，提高了图片的质量。
为了进一步提高图片的质量，在上述实施例的基础上，本公开实施例还提供了一种图片处理方法，参考图3，为本公开实施例提供的另一种图片处理方法的流程图，该方法包括：
S301：通过检测第二图片中的目标对象是否处于竖直状态，确定所述第二图片是否处于场景水平状态。当所述第二图片未处于场景水平状态时，执行S302。
本公开实施例中，第二图片可以是任意一张包含多张人脸的图片，例如可以是在拍摄多人合照时相机预览窗口中的当前预览图片，也可以是相机的快门键被按下后拍摄到的多人合照图片。
本公开实施例中，在确定第二图片之后，检测第二图片中的目标对象是否处于竖直状态，通过目标对象是否处于竖直状态确定第二图片是否处于场景水平状态。其中，场景水平状态是指图片中的场景未处于倾斜状态。例如，在海边拍摄多人合照时，多人合照图片中的海平面是水平的，则说明该多人合照图片处于场景水平状态。
一种可选的实施方式中，目标对象可以是预先确定的第二图片中的特定建筑物等，通过检测特定建筑物是否处于竖直状态，确定第二图片是否处于场景水平状态。
另一种可选的实施方式中，目标对象可以是第二图片中人的身体部位，通过检测人的身体部位是否处于竖直状态，确定第二图片是否处于场景水平状态。具体的，人的身体部位是否处于竖直状态，可以基于人的头部和脚部是否处于同一竖直线上确定。
另一种可选的实施方式中，目标对象还可以是第二图片中人的人脸部位，通过检测人的人脸部位是否处于竖直状态，确定第二图片是否处于场景水平状态。具体的，人的人脸部位是否处于竖直状态，可以基于人脸部位上的五官位置确定。
另一种可选的实施方式中，为了进一步提高场景水平状态检测的准确性，本公开实施例可以将目标对象设置为人的身体部位和人脸部位，结合对同一个人的身体部位和人脸部位的竖直状态的检测，确定第二图片是否处于场景水平状态。
具体的，通过检测第二图片中同一个人的所述身体部位和所述人脸部位是否均处于竖直状态，确定所述第二图片是否处于场景水平状态。
一种应用场景中，第二图片上的目标对象包括多个子对象，本公开实施例可以基于对各个子对象的竖直状态的检测，确定第二图片是否处于场景水平状态。具体的，通过检测第二图片上各个子对象是否处于竖直状态，确定第二图片是否处于场景水平状态。
一种可选的实施方式中，检测第二图片中的各个子对象是否处于竖直状态，若处于竖直状态的子对象数量与子对象总数量的比值大于预设比例阈值，则确定第二图片处于场景水平状态；否则确定第二图片未处于场景水平状态。
其中，第二图片包括的多个子对象可以为第二图片上多个人的人脸部位，也就是说，若处于竖直状态的人脸数量与人脸总数量的比值大于预设比例阈值，则确定第二图片处于 场景水平状态，否则确定第二图片未处于场景水平状态。
一种可选的实施方式中，在确定第二图片后，也可以先检测第二图片是否存在主体残缺，如果存在，则针对第二图片显示构图提示，以便用户重拍。
S302：对所述第二图片进行旋转矫正，得到第一图片。
本公开实施例中，在确定第二图片未处于场景水平状态后，对第二图片进行旋转矫正，以使得第二图片的整体效果更佳。
一种可选的实施方式中，在确定第二图片未处于场景水平状态时，获取第二图片中目标对象在竖直方向上的偏移角度。然后，基于该偏移角度，对第二图片进行旋转矫正，得到第一图片。
一种可选的实施方式中，如果目标对象包括多个子对象，则获取各个子对象在竖直方向上的偏移角度，然后计算各个偏移角度的平均值，进而基于该平均值对第二图片进行旋转矫正，得到第一图片。
一种可选的实施方式中，如果经过旋转矫正后得到的第一图片存在主体残缺等问题，降低了图片质量，则说明第二图片不可通过矫正提升图片质量，因此，本公开实施例可以针对第二图片进行构图提示，以便用户能够根据构图提示进行重拍。
S303：对第一图片进行人脸检测，确定所述第一图片上各个人脸的位置信息。
S304：基于所述第一图片上各个人脸的位置信息，确定所述第一图片是否符合多人构图法则。当所述第一图片不符合多人构图法则时，执行S302。
S305：基于所述第一图片上各个人脸的位置信息，对所述第一图片进行裁剪矫正，得到处理后图片。
本公开实施例中的S303-S305可参照上述实施例中的S101-S103中的描述进行理解，在此不再赘述。
一种应用场景中，上述实施例中的第一图片和本实施例中第二图片均可以为相机预览窗口中的当前预览图像，利用本公开提供的图片处理方法进行处理后，得到的处理后图片，可以在相机预览窗口中显示。此时，若用户按下快门键拍摄到的图片为相机预览窗口中显示的处理后图片。
一种可选的实施方式中，可以在相机预览窗口中，以画中画形式显示处理后图片。
另外，如果确定相机预览窗口中的当前预览图像不符合矫正条件，例如存在主体残缺、矫正后主体残缺或不清楚等问题，则在相机预览窗口中显示构图提示，如图2所示，指示用户向右移动相机位姿。
与上述方法实施例属于同一个发明构思，本公开实施例还提供了一种图片处理装置，参考图4，为本公开实施例提供的一种图片处理装置的结构示意图，所述装置包括：
第一确定模块401，用于对第一图片进行人脸检测，获得所述第一图片上各个人脸的位置信息；第二确定模块402，用于基于所述第一图片上各个人脸的位置信息，确定所述第一图片是否符合多人构图法则；
裁剪矫正模块403，用于当所述第一图片不符合多人构图法则时，基于所述第一图片 上各个人脸的位置信息，对所述第一图片进行裁剪矫正，得到处理后图片。
一种可选的实施方式中，所述装置还包括：
第三确定模块，用于通过检测第二图片中的目标对象是否处于竖直状态，确定所述第二图片是否处于场景水平状态；
旋转矫正模块，用于当所述第二图片未处于所述场景水平状态时，对所述第二图片进行旋转矫正，得到第一图片。
一种可选的实施方式中，所述目标对象包括多个子对象，所述第三确定模块，具体用于：
通过检测第二图片中的各个子对象是否处于竖直状态，确定所述第二图片是否处于场景水平状态。
一种可选的实施方式中，所述目标对象包括人的身体部位和人脸部位；
所述第三确定模块，具体用于：
通过检测第二图片中同一个人的所述身体部位和所述人脸部位是否均处于竖直状态，确定所述第二图片是否处于场景水平状态。
一种可选的实施方式中，所述装置还包括：
获取模块，用于当所述第二图片未处于所述场景水平状态时，获取所述第二图片中的所述目标对象在竖直方向上的偏移角度；
相应的，所述旋转矫正模块，具体用于：
基于所述偏移角度，对所述第二图片进行旋转矫正，得到第一图片。
一种可选的实施方式中，所述装置还包括：
第一显示模块，用于当所述第一图片或所述处理后图片不符合矫正条件时，显示构图提示。
一种可选的实施方式中，所述第一显示模块，包括：
第一显示子模块，用于当所述第一图片中存在主体残缺时，显示构图提示；
或者，第二显示子模块，用于当所述处理后图片被放大后像素值低于预设像素值时，显示构图提示。
一种可选的实施方式中，所述第一图片为相机预览窗口中的当前预览图像；所述装置还包括：
第二显示模块，用于在所述相机预览窗口中显示所述处理后图片。
一种可选的实施方式中，所述第二显示模块，具体用于：
在所述相机预览窗口中，以画中画形式显示所述处理后图片。
本公开实施例提供的图片处理装置，首先对第一图片进行人脸检测，获得第一图片上各个人脸的位置信息，然后基于第一图片上各个人脸的位置信息，确定第一图片是否符合多人构图法则。当第一图片不符合多人构图法则，则基于第一图片上各个人脸的位置信息，对第一图片进行裁剪矫正，得到处理后图片。本公开实施例从图片整体效果角度对图片的构图进行矫正，提高了图片的质量。
除了上述方法和装置以外，本公开实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现本公开实施例所述的图片处理方法。
另外，本公开实施例还提供了一种图片处理设备，参见图5所示，可以包括：
处理器501、存储器502、输入装置503和输出装置504。图片处理设备中的处理器501的数量可以一个或多个，图5中以一个处理器为例。在本公开的一些实施例中，处理器501、存储器502、输入装置503和输出装置504可通过总线或其它方式连接，其中，图5中以通过总线连接为例。
存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行图片处理设备的各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。输入装置503可用于接收输入的数字或字符信息，以及产生与图片处理设备的用户设置以及功能控制有关的信号输入。
具体在本实施例中，处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现上述图片处理设备的各种功能。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

  1. 一种图片处理方法，其特征在于，所述方法包括：
    对第一图片进行人脸检测，获得所述第一图片上各个人脸的位置信息；基于所述第一图片上各个人脸的位置信息，确定所述第一图片是否符合多人构图法则；
    当所述第一图片不符合所述多人构图法则时，基于所述第一图片上各个人脸的位置信息，对所述第一图片进行裁剪矫正，得到处理后图片。
  2. 根据权利要求1所述的方法，其特征在于，所述对第一图片进行人脸检测之前，还包括：
    通过检测第二图片中的目标对象是否处于竖直状态，确定所述第二图片是否处于场景水平状态；
    当所述第二图片未处于所述场景水平状态时，则对所述第二图片进行旋转矫正，得到所述第一图片。
  3. 根据权利要求2所述的方法，其特征在于，所述目标对象包括多个子对象，所述通过检测第二图片中的目标对象是否处于竖直状态，确定所述第二图片是否处于场景水平状态，包括：
    通过检测第二图片中的各个子对象是否处于竖直状态，确定所述第二图片是否处于场景水平状态。
  4. 根据权利要求2所述的方法，其特征在于，所述目标对象包括人的身体部位和人脸部位；
    所述通过检测第二图片中的目标对象是否处于竖直状态，确定所述第二图片是否处于场景水平状态，包括：
    通过检测第二图片中同一个人的所述身体部位和所述人脸部位是否均处于竖直状态，确定所述第二图片是否处于场景水平状态。
  5. 根据权利要求2所述的方法，其特征在于，所述对所述待处理图片进行旋转矫正，得到第一图片之前，还包括：
    当所述第二图片未处于所述场景水平状态时，获取所述第二图片中的所述目标对象在竖直方向上的偏移角度；
    所述对所述第二图片进行旋转矫正，得到第一图片，包括：
    基于所述偏移角度，对所述第二图片进行旋转矫正，得到所述第一图片。
  6. 根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
    当所述第一图片或者所述处理后图片不符合矫正条件时，显示构图提示。
  7. 根据权利要求6任一项所述的方法，其特征在于，所述当所述第一图片或者所述处理后图片不符合矫正条件时，显示构图提示，包括：
    当所述第一图片中存在主体残缺时，显示构图提示；
    或者，当所述处理后图片被放大后像素值低于预设像素值时，显示构图提示。
  8. 根据权利要求1-5任一项所述的方法，其特征在于，所述第一图片为相机预览窗口中的当前预览图像；所述方法还包括：
    在所述相机预览窗口中显示所述处理后图片。
  9. 根据权利要求8所述的方法，其特征在于，所述在所述相机预览窗口中显示所述处理后图片，包括：
    在所述相机预览窗口中，以画中画形式显示所述处理后图片。
  10. 一种图片处理装置，其特征在于，所述装置包括：
    第一确定模块，用于对第一图片进行人脸检测，获得所述第一图片上各个人脸的位置信息；第二确定模块，用于基于所述第一图片上各个人脸的位置信息，确定所述第一图片是否符合多人构图法则；
    裁剪矫正模块，用于当所述第一图片不符合多人构图法则时，基于所述第一图片上各个人脸的位置信息，对所述第一图片进行裁剪矫正，得到处理后图片。
  11. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现如权利要求1-9任一项所述的方法。
  12. 一种设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-9任一项所述的方法。
PCT/CN2021/114880 2020-08-31 2021-08-27 一种图片处理方法、装置、设备及存储介质 WO2022042669A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21860503.8A EP4198813A4 (en) 2020-08-31 2021-08-27 IMAGE PROCESSING METHOD, DEVICE, DEVICE AND STORAGE MEDIA
JP2023513988A JP2023540272A (ja) 2020-08-31 2021-08-27 ピクチャ処理方法、装置、デバイス及び記憶媒体
US18/090,114 US11838622B2 (en) 2020-08-31 2022-12-28 Image processing method, apparatus, device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010900860.6A CN112036319B (zh) 2020-08-31 2020-08-31 一种图片处理方法、装置、设备及存储介质
CN202010900860.6 2020-08-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/090,114 Continuation US11838622B2 (en) 2020-08-31 2022-12-28 Image processing method, apparatus, device, and storage medium

Publications (1)

Publication Number Publication Date
WO2022042669A1 true WO2022042669A1 (zh) 2022-03-03

Family

ID=73587093

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/114880 WO2022042669A1 (zh) 2020-08-31 2021-08-27 一种图片处理方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US11838622B2 (zh)
EP (1) EP4198813A4 (zh)
JP (1) JP2023540272A (zh)
CN (1) CN112036319B (zh)
WO (1) WO2022042669A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036319B (zh) * 2020-08-31 2023-04-18 北京字节跳动网络技术有限公司 一种图片处理方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009998A (zh) * 2017-11-27 2018-05-08 深圳大学 一种人物图像的构图裁剪方法、装置、设备及存储介质
CN108460343A (zh) * 2018-02-06 2018-08-28 北京达佳互联信息技术有限公司 图像处理方法、系统及服务器
CN109657526A (zh) * 2017-10-12 2019-04-19 飞狐信息技术（天津）有限公司 一种基于人脸识别的图片智能裁剪方法和系统
CN110175558A (zh) * 2019-05-24 2019-08-27 北京达佳互联信息技术有限公司 一种人脸关键点的检测方法、装置、计算设备及存储介质
CN111524145A (zh) * 2020-04-13 2020-08-11 北京智慧章鱼科技有限公司 图片智能裁剪方法、系统、计算机设备及存储介质
CN112036319A (zh) * 2020-08-31 2020-12-04 北京字节跳动网络技术有限公司 一种图片处理方法、装置、设备及存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2199973A3 (en) * 1997-06-09 2010-09-08 Seiko Epson Corporation An image processing apparatus and method, and an image evaluation device and method
US7529390B2 (en) * 2005-10-03 2009-05-05 Microsoft Corporation Automatically cropping an image
JP2011139231A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置、画像処理方法、プログラム
US8957981B2 (en) * 2010-03-03 2015-02-17 Intellectual Ventures Fund 83 Llc Imaging device for capturing self-portrait images
CN102542255B (zh) * 2011-12-06 2013-07-10 Tcl集团股份有限公司 一种人脸图像校正的方法、装置及系统
KR101999137B1 (ko) * 2013-01-03 2019-07-11 삼성전자주식회사 카메라를 구비하는 장치의 이미지 처리장치 및 방법
JP2015097322A (ja) * 2013-11-15 2015-05-21 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
CN105279473B (zh) * 2014-07-02 2021-08-03 深圳Tcl新技术有限公司 人脸图像校正方法及装置和人脸识别方法及系统
WO2016009421A1 (en) * 2014-07-18 2016-01-21 Artincam Ltd. Automatic image composition
JP6430914B2 (ja) * 2014-12-22 2018-11-28 キヤノンイメージングシステムズ株式会社 画像処理装置および画像処理方法
CN105893981B (zh) * 2016-04-28 2018-06-01 湖南大学 一种人脸姿态矫正方法
EP3306527B1 (en) * 2016-10-05 2021-01-06 Canon Europa N.V. A method of cropping an image, an apparatus for cropping an image, a program and a storage medium
CN106875433A (zh) * 2017-03-09 2017-06-20 广东欧珀移动通信有限公司 裁剪构图的控制方法、控制装置及电子装置
CN107358207A (zh) * 2017-07-14 2017-11-17 重庆大学 一种矫正人脸图像的方法
CN107592454A (zh) * 2017-09-08 2018-01-16 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108289169A (zh) * 2018-01-09 2018-07-17 北京小米移动软件有限公司 拍摄方法、装置、电子设备及存储介质
US11462009B2 (en) * 2018-06-01 2022-10-04 Apple Inc. Dynamic image analysis and cropping
CN108830892B (zh) * 2018-06-13 2020-03-06 北京微播视界科技有限公司 人脸图像处理方法、装置、电子设备及计算机可读存储介质
CN110298376B (zh) * 2019-05-16 2022-07-01 西安电子科技大学 一种基于改进b-cnn的银行票据图像分类方法
CN111080667B (zh) * 2019-12-17 2023-04-25 杭州小影创新科技股份有限公司 一种快速人像照片的自动构图裁剪方法及系统
CN111277759B (zh) * 2020-02-27 2021-08-31 Oppo广东移动通信有限公司 构图提示方法、装置、存储介质及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657526A (zh) * 2017-10-12 2019-04-19 飞狐信息技术（天津）有限公司 一种基于人脸识别的图片智能裁剪方法和系统
CN108009998A (zh) * 2017-11-27 2018-05-08 深圳大学 一种人物图像的构图裁剪方法、装置、设备及存储介质
CN108460343A (zh) * 2018-02-06 2018-08-28 北京达佳互联信息技术有限公司 图像处理方法、系统及服务器
CN110175558A (zh) * 2019-05-24 2019-08-27 北京达佳互联信息技术有限公司 一种人脸关键点的检测方法、装置、计算设备及存储介质
CN111524145A (zh) * 2020-04-13 2020-08-11 北京智慧章鱼科技有限公司 图片智能裁剪方法、系统、计算机设备及存储介质
CN112036319A (zh) * 2020-08-31 2020-12-04 北京字节跳动网络技术有限公司 一种图片处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20230188834A1 (en) 2023-06-15
CN112036319B (zh) 2023-04-18
EP4198813A1 (en) 2023-06-21
EP4198813A4 (en) 2023-07-26
JP2023540272A (ja) 2023-09-22
US11838622B2 (en) 2023-12-05
CN112036319A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
JP4834725B2 (ja) 赤目補正において虹彩色を組み込む方法及び装置
WO2018214365A1 (zh) 图像校正方法、装置、设备、系统及摄像设备和显示设备
JP6961797B2 (ja) プレビュー写真をぼかすための方法および装置ならびにストレージ媒体
US10165201B2 (en) Image processing method and apparatus and terminal device to obtain a group photo including photographer
WO2020252910A1 (zh) 图像畸变修正方法、装置、电子设备及可读存储介质
WO2016197657A1 (zh) 一种拍照处理方法和装置
WO2012075817A1 (zh) 一种文本图像的切边方法
JP6971789B2 (ja) 情報処理装置、プログラム及び情報処理方法
US11283987B2 (en) Focus region display method and apparatus, and storage medium
WO2014067422A1 (zh) 一种采集图像数据的处理方法及装置
CN111415302B (zh) 图像处理方法、装置、存储介质及电子设备
WO2022042670A1 (zh) 基于眼部状态检测的图像处理方法、装置及存储介质
WO2016101524A1 (zh) 纠正被摄物体拍摄倾斜方法、装置及移动终端、存储介质
WO2022160748A1 (zh) 一种视频处理方法及其装置
WO2022042669A1 (zh) 一种图片处理方法、装置、设备及存储介质
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
US10965858B2 (en) Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium for detecting moving object in captured image
CN111885371A (zh) 图像遮挡检测方法、装置、电子设备和计算机可读介质
US20210281742A1 (en) Document detections from video images
KR20150011714A (ko) 영상 방향 판단 장치
WO2019205566A1 (zh) 一种显示图片的方法和设备
US20160224854A1 (en) Information processing apparatus, information processing method, and storage medium
US20230088309A1 (en) Device and method for capturing images or video
JP2016001823A (ja) 画像補正装置、画像補正方法、及び、プログラム
JP6668646B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21860503

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023513988

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021860503

Country of ref document: EP

Effective date: 20230313

NENP Non-entry into the national phase

Ref country code: DE