WO2017045258A1 - 拍照提示方法、装置、设备及非易失性计算机存储介质 - Google Patents

拍照提示方法、装置、设备及非易失性计算机存储介质 Download PDF

Info

Publication number
WO2017045258A1
WO2017045258A1 PCT/CN2015/094578 CN2015094578W WO2017045258A1 WO 2017045258 A1 WO2017045258 A1 WO 2017045258A1 CN 2015094578 W CN2015094578 W CN 2015094578W WO 2017045258 A1 WO2017045258 A1 WO 2017045258A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
information
user
image information
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2015/094578
Other languages
English (en)
French (fr)
Inventor
王福健
朱福国
丁二锐
龚龙
邓亚峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to US15/543,969 priority Critical patent/US10616475B2/en
Publication of WO2017045258A1 publication Critical patent/WO2017045258A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Definitions

  • the present invention relates to the field of image processing technologies, and in particular, to a photographing prompting method, apparatus, device, and nonvolatile computer storage medium.
  • the applications related to photographing are mainly camera applications and Mito applications.
  • the camera application displays a frame on the interface during the user's framing process to identify the user's face position.
  • the Meitu application is used to post-process the captured image to beautify the image.
  • the post-processing of the captured image can only be performed such as skin beautification, color beautification, etc., and the user's face posture cannot be changed. Therefore, how to be able to take photos of the user during the user's framing process is an urgent problem to be solved.
  • an embodiment of the present invention provides a photographing prompting method, device, device, and non-volatile computer storage medium, which can implement a face gesture to a user during a framing process.
  • the adjustment prompts thereby guiding the user's face gesture, and solving the problem that the camera cannot be photographed during the user's framing process in the prior art.
  • An aspect of the embodiments of the present invention provides a photographing prompting method, including:
  • the face pose information of the preset photograph template is compared with the face pose information of the user, and the user is prompted to perform the face pose adjustment according to the comparison result.
  • any of the possible implementations further provide an implementation manner of obtaining the facial gesture information of the user from the image information, including:
  • the face pose information of the user is obtained according to the positioning result of the key points of the face.
  • any possible implementation manner further provide an implementation manner of locating key points of the face according to the location of the face in the image information, including:
  • the facial organ region in the image information is detected, and the position information of the key points of the facial organ in the image information is obtained.
  • the face pose information includes a spatial attitude Euler angle of the user's face relative to the photographing device.
  • any possible implementation manner further provide an implementation manner of obtaining a face pose information of the user according to a positioning result of a key point of the face, include:
  • the face posture adjustment prompt information is output.
  • the difference data between the face pose information of the photographing template and the adjusted facial pose information is smaller than the difference threshold, the user is photographed.
  • An aspect of the present invention provides a photographing prompting apparatus, including:
  • An acquisition unit configured to acquire image information of the user during the framing process
  • An acquiring unit configured to acquire facial gesture information of the user from the image information
  • a comparison unit configured to compare the face pose information of the preset photo template with the face gesture information of the user
  • a prompting unit configured to prompt the user to perform a face gesture adjustment according to the comparison result.
  • the face pose information of the user is obtained according to the positioning result of the key points of the face.
  • the acquiring unit is configured to: when locating a key point of a face according to a face position in the image information, specifically:
  • the facial organ region in the image information is detected, and the position information of the key points of the facial organ in the image information is obtained.
  • the face pose information includes a spatial attitude Euler angle of the user's face relative to the photographing device.
  • the acquiring unit is configured to obtain, according to the positioning result of the key point of the face, the face posture information of the user, specifically Used for:
  • the comparison unit is specifically configured to: acquire facial gesture information of the photographing template and use the same The difference data of the face gesture information of the household; comparing the difference data with a preset difference threshold;
  • the prompting unit is configured to: generate the facial gesture adjustment prompt information if the difference data is greater than or equal to the difference threshold; and output the facial gesture adjustment prompt information.
  • the difference data between the face pose information of the photographing template and the adjusted facial pose information is smaller than the difference threshold, the user is photographed.
  • an apparatus comprising:
  • One or more processors are One or more processors;
  • One or more programs the one or more programs being stored in the memory, when executed by the one or more processors:
  • the face pose information of the preset photograph template is compared with the face pose information of the user, and the user is prompted to perform the face pose adjustment according to the comparison result.
  • a nonvolatile computer storage medium storing one or more programs when the one or more programs are executed by a device causes The device:
  • the comparison prompts the user to perform face gesture adjustment according to the comparison result.
  • the technical solution provided by the embodiment of the invention can realize the prompting of the user's face posture adjustment during the framing process, thereby realizing the guidance of the user's face posture during the framing process, and capable of timely shooting a better quality.
  • the photo obtains the user's preferred posture in time, thereby improving the photo acquisition efficiency, solving the problem that the camera cannot be photographed during the user's framing process in the prior art, making up for the gap of the prior art and improving the user experience.
  • FIG. 1 is a flow chart showing an example of a photographing prompting method provided by an embodiment of the present invention
  • FIGS. 2(a) to 2(d) are diagrams showing an example of key points of a facial organ according to an embodiment of the present invention.
  • FIG. 3 is a functional block diagram of a photographing prompting device according to an embodiment of the present invention.
  • the word “if” as used herein may be interpreted as “when” or “when” or “in response to determining” or “in response to detecting.”
  • the phrase “if determined” or “if detected (conditions or events stated)” may be interpreted as “when determined” or “in response to determination” or “when detected (stated condition or event) “Time” or “in response to a test (condition or event stated)”.
  • FIG. 1 is a schematic flowchart of a photographing prompting method according to an embodiment of the present invention. As shown in the figure, the method includes the following steps:
  • terminals involved in the embodiments of the present invention may include, but are not limited to, a personal computer (PC), a personal digital assistant (Personal Digital). Assistant, PDA), wireless handheld devices, tablet computers, mobile phones, MP3 players, MP4 players, etc.
  • PC personal computer
  • PDA Personal Digital assistant
  • wireless handheld devices tablet computers
  • mobile phones mobile phones
  • MP3 players MP4 players
  • the execution body of S101 to S103 may be a photo prompting device, and the device may be located in an application of a local terminal, or may be a plug-in or a software development kit (SDK) located in an application of the local terminal.
  • SDK software development kit
  • the functional unit is not particularly limited in this embodiment of the present invention.
  • the application may be an application (nativeApp) installed on the terminal, or may be a web application (webApp) of the browser on the terminal, which is not limited by the embodiment of the present invention.
  • the image information of the user may be collected in real time by using a camera during the framing process.
  • the method for obtaining the face gesture information of the user from the image information may include, but is not limited to:
  • face detection is performed on the image information, and a face position in the image information is determined. Then, based on the position of the face in the image information, the key points of the face organ are located. Finally, according to the positioning result of the key points of the facial organ, the face posture information of the user is obtained.
  • the number of faces in the image information and the face position of each face can be determined.
  • the face detector obtained by the pre-learning may be used to perform a multi-scale sliding window search on the collected image information to search for all faces existing in the image information.
  • the face detector can be implemented using the Adaboost algorithm.
  • a large number of cut face images and a large number of background images can be used as training samples. Normalize the training samples to a size of 20*20. Then the Adaboost algorithm is used to screen out the effective haar features from the training samples, and the effective haar features are used to form the face detector.
  • the face detector sets a sliding window in the image information, and for the image information in the sliding window, according to the haar feature of the image information, whether the image information includes a human face is recognized, so that all the faces including the face can be obtained. Sub-windows according to which all faces in the image information can be located.
  • the method for locating the key points of the face according to the location of the face in the image information may include, but is not limited to:
  • the models obtained by the pre-learning that can be returned to all the key points are obtained, including the first regression model and the second regression model.
  • the first regression model the face position in the image information is detected, and the face organ region in the image information is determined.
  • the second regression model the facial organ region in the image information is detected, and the position information of the key points of the facial organ in the image information is obtained.
  • first regression model second regression model, etc.
  • these regression models should not be limited to these terms. These terms are only used to distinguish regression models from each other.
  • the first regression model may also be referred to as a second regression model without departing from the scope of embodiments of the invention.
  • the second regression model may also be referred to as a first regression model.
  • the facial organ may include an eye, a lip, an eyebrow, a nose, and the like.
  • the key points of the face may include, but are not limited to, a facial organ Key points and key points of the face contour.
  • the first regression model can be used to detect the position of the face in the image information, and the position information of the key points of the face can be obtained.
  • the facial organ region in the image information is then determined based on the positional information of the key points of the face.
  • the facial organ region in the image information may be at least one, and therefore each facial organ region in the image information is separately detected by using a second regression model to obtain each facial organ. Location information for key points.
  • the location information of the key point refers to the coordinate of the key point in the image.
  • the face position in the image information is detected, and the position information of the two mouth corners in the face is obtained, and the lip region in the image information can be determined according to the position information of the two mouth angles.
  • the lip region is detected to obtain positional information of key points in the lip region.
  • the key points of the face detected by the first regression model have lower accuracy of the position information, and the number of detected key points is relatively small.
  • the first regression model may be used to detect the position of the face in the image information to obtain the position information of the key point of the face, and directly use the image information as the image information. Location information of key points in the facial organs.
  • first regression model and the second regression model can be implemented by using different key point detection models, or can also be implemented by using the same key point detection model. This embodiment of the present invention does not specifically limit this.
  • the key point detection model may include, but is not limited to, a Deep Convolution Neural Network (DCNN), a Supervised Descent Method (SDM), or an Active Shape Model (ASM).
  • DCNN Deep Convolution Neural Network
  • SDM Supervised Descent Method
  • ASM Active Shape Model
  • a method of detecting a face position in the image information by using ASM to obtain a key point of a face in the image information may include: a training process and a key point search process.
  • the training process consists of collecting a large number of training samples and then manually marking the key points of each face in the training sample.
  • the coordinates of the key points belonging to the same face are composed of feature vectors.
  • the eigenvectors composed of the coordinates of the key points of each face are aligned, and the shape of the aligned faces is subjected to Principal Components Analysis (PCA) operation to eliminate the influence of non-shape factors on the training samples.
  • PCA Principal Components Analysis
  • the ASM is established as a key point detection model in the embodiment of the present invention.
  • the key point search process includes: After obtaining the ASM after training the training samples, ASM can be used for ASM search. First, the ASM is used to search the target shape in the image information that needs to perform key point detection, so that the key points in the searched final shape are closest to the corresponding real key points, when the search iteration number reaches the specified threshold. End the search process.
  • FIG. 2(a) to FIG. 2(d) are exemplary diagrams of key points of a facial organ according to an embodiment of the present invention.
  • FIG. 2(a) by performing face detection on the image information, the face of the little girl in the image information can be identified.
  • the face position is detected by the first regression model, and several key points are located.
  • Figure 2(c) According to a number of key points that are located, a number of facial organ regions can be divided, such as eyebrows, eyes, lips, and nose, and then each facial organ region is separately detected using a second regression model, and each position is located.
  • Several key points of a facial organ As shown in Fig. 2(d), the key points of the facial organs and the key points of the facial contour are finally obtained.
  • the face pose information may include a spatial attitude Euler angle of the user's face relative to the photographing device.
  • the method for obtaining the face gesture information of the user according to the positioning result of the key points of the face may include, but is not limited to:
  • a Pose from Orthography and Scaling with Iterations (POSIT) algorithm may be utilized, and according to the location information of the key points on the facial organ and the standard key points.
  • Position information calculating a spatial attitude Euler angle of a key point on the facial organ relative to the standard key point, and using the spatial orientation of the user's face relative to the photographing device in the embodiment of the present invention
  • the pull angle is the face pose information of the user in the embodiment of the present invention.
  • the photographing device may be a camera that collects image information of the user; or the photographing device may also be a terminal where the camera is located, such as a mobile phone, a camera, or a tablet computer.
  • the face pose information of the preset photo template is compared with the face pose information of the user, and the method for prompting the user to perform the face pose adjustment according to the comparison result is illustrated.
  • the difference data of the face pose information of the photograph template and the face pose information of the user is acquired.
  • the difference data is then compared to a preset difference threshold.
  • the difference data is greater than or equal to the difference threshold, generating face gesture adjustment prompt information; and outputting the face pose adjustment prompt information.
  • the difference data between the face pose information of the photographing template and the adjusted facial pose information is smaller than the difference threshold, the user is photographed.
  • the photographing template may be a photographing template selected by the user in advance, or the photographing template may be automatically obtained according to the image information, for example, according to the number of faces in the image information, At least one of a background in the image information and the face pose information is searched in a template library to obtain a photograph template that matches the image information.
  • the manner of acquiring the photographing template in the embodiment of the present invention is not particularly limited.
  • the face pose information of the photographing template may include a spatial attitude Euler angle of the face in the photographing template relative to the photographing device.
  • a difference between a spatial attitude Euler angle of the user's face relative to the photographing device and a spatial attitude Euler angle of the face in the photographing template relative to the photographing device may be calculated, Take the difference data.
  • the difference data is greater than or equal to the difference threshold, it is considered that the difference between the face pose information of the photographing template and the face pose information of the user is relatively large, so the user needs to be performed.
  • the gesture of the face gesture adjustment is output to the user, so that the user can adjust the prompt information according to the gesture of the face, and adjust the posture of the face, thereby realizing the user in the process of user framing.
  • the camera posture is guided to improve the user's camera efficiency and bring a good user experience.
  • the photo template is considered
  • the difference between the face pose information and the face gesture information of the user is relatively small, so that the user does not need to adjust the face pose again, so the photograph can be directly taken to complete the photographing operation.
  • the face gesture adjustment prompt information may be voice information for prompting the user to perform face gesture adjustment; or may be display information for prompting the user to perform face gesture adjustment.
  • the voice information for prompting the user to perform face gesture adjustment may be “please raise the squat”; or, for example, “the face is twisted to the left again” and the like.
  • the display information for prompting the user to perform the face gesture adjustment may be to mark the face portion and the adjustment direction that the user needs to adjust on the interface.
  • Embodiments of the present invention further provide an apparatus embodiment for implementing the steps and methods in the foregoing method embodiments.
  • FIG. 3 is a functional block diagram of a photographing prompting device according to an embodiment of the present invention. As shown, the device includes:
  • the collecting unit 31 is configured to acquire image information of the user during the framing process
  • An obtaining unit 32 configured to acquire, from the image information, face orientation information of the user
  • the comparison unit 33 is configured to compare the face pose information of the preset photograph template with the face pose information of the user;
  • the prompting unit 34 is configured to prompt the user to perform face gesture adjustment according to the comparison result.
  • the obtaining unit 32 is specifically configured to:
  • the face pose information of the user is obtained according to the positioning result of the key points of the face.
  • the acquiring unit 32 is configured to: when locating a key point of the face according to the location of the face in the image information, specifically:
  • the facial organ region in the image information is detected, and the position information of the key points of the facial organ in the image information is obtained.
  • the face pose information includes a spatial attitude Euler angle of the user's face relative to the photographing device.
  • the obtaining unit 32 is configured to: when obtaining the face pose information of the user according to the positioning result of the key points of the face, specifically, the acquiring unit 32 is configured to:
  • the comparison unit 33 is configured to: obtain difference data of the face pose information of the photograph template and the face pose information of the user; and set the difference data and the preset Difference thresholds are compared;
  • the prompting unit 34 is configured to: generate the facial gesture adjustment prompt information if the difference data is greater than or equal to the difference threshold; and output the facial gesture adjustment prompt information.
  • the collecting unit 31 is further configured to:
  • the difference data between the face pose information of the photographing template and the adjusted facial pose information is smaller than the difference threshold, the user is photographed.
  • the image information of the user is acquired in the framing process; thereby, the face gesture information of the user is obtained from the image information; and further, the face pose information of the preset photo template is The face gesture information of the user is compared, and the user is prompted to perform face gesture adjustment according to the comparison result.
  • the technical solution provided by the embodiment of the invention can realize the prompting of the user's face posture adjustment during the framing process, thereby realizing the guidance of the user's face posture during the framing process, and capable of timely shooting a better quality.
  • the photo obtains the user's preferred posture in time, thereby improving the photo acquisition efficiency, solving the problem that the camera cannot be photographed during the user's framing process in the prior art, making up for the gap of the prior art and improving the user experience.
  • the disclosed system, apparatus, and method may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division.
  • multiple units or components may be combined. Or it can be integrated into another system, or some features can be ignored or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be in an electrical, mechanical or other form.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware or in the form of hardware plus software functional units.
  • the above-described integrated unit implemented in the form of a software functional unit can be stored in a computer readable storage medium.
  • the above software functional unit is stored in a storage medium and includes instructions for causing a computer device (which may be a personal computer, a server, or a network device, etc.) or a processor to perform the methods of the various embodiments of the present invention. Part of the steps.
  • the foregoing storage medium includes: a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk, or an optical disk, and the like, which can store program codes. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供了一种拍照提示方法、装置、设备及非易失性计算机存储介质。一方面，本发明实施例通过在取景过程中，获取用户的图像信息；从而，从所述图像信息中获取所述用户的人脸姿态信息；进而，将预设的拍照模板的人脸姿态信息与所述用户的人脸姿态信息进行比对，根据所述比对结果提示所述用户进行人脸姿态调整。因此，本发明实施例提供的技术方案可以实现在取景过程中，对用户的人脸姿态调整进行提示，从而实现对用户的人脸姿态进行指导，解决了现有技术中不能对用户取景过程中进行拍照指导的问题。

Description

拍照提示方法、装置、设备及非易失性计算机存储介质
本申请要求了申请日为2015年09月18日，申请号为201510599253.X发明名称为“一种拍照提示方法及装置”的中国专利申请的优先权。
技术领域
本发明涉及图像处理技术领域，尤其涉及一种拍照提示方法、装置、设备及非易失性计算机存储介质。
背景技术
随着终端的越来越普及，功能越来越强大，终端的拍照功能被用户广泛使用，越来越多的用户利用手机、平板电脑等进行拍照，十分方便和快捷。目前，与拍照相关的应用主要是相机类应用和美图类应用。
现有技术中，相机类应用是在用户取景过程中，在界面上显示一个框，用来标识用户的人脸位置。美图类应用是用来对拍摄出的图像进行后期处理，来美化图像。然而，对拍摄出的图像进行后期处理也只能是进行皮肤美化、颜色美化等处理，并不能改变用户的人脸姿态。因此，在用户取景过程中，如何能够对用户进行拍照指导是亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供了一种拍照提示方法、装置、设备及非易失性计算机存储介质，可以实现在取景过程中，对用户的人脸姿态 调整进行提示，从而实现对用户的人脸姿态进行指导，解决了现有技术中不能对用户取景过程中进行拍照指导的问题。
本发明实施例的一方面，提供一种拍照提示方法，包括：
在取景过程中，获取用户的图像信息；
从所述图像信息中获取所述用户的人脸姿态信息；
将预设的拍照模板的人脸姿态信息与所述用户的人脸姿态信息进行比对，根据所述比对结果提示所述用户进行人脸姿态调整。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，从所述图像信息中获取所述用户的人脸姿态信息，包括：
对所述图像信息进行人脸检测，确定所述图像信息中的人脸位置；
根据所述图像信息中的人脸位置，定位脸部的关键点；
根据所述脸部的关键点的定位结果，获得所述用户的人脸姿态信息。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，根据所述图像信息中的人脸位置，定位脸部的关键点，包括：
利用第一回归模型，对所述图像信息中的人脸位置进行检测，确定所述图像信息中脸部器官区域；
利用第二回归模型，对所述图像信息中脸部器官区域进行检测，获得所述图像信息中脸部器官的关键点的位置信息。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述人脸姿态信息包括所述用户的人脸相对于拍照设备的空间姿态欧拉角。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，根据所述脸部的关键点的定位结果，获得所述用户的人脸姿态信息，包 括：
获得预设的标准关键点的位置信息；
根据所述脸部的关键点的位置信息和所述标准关键点的位置信息，计算所述用户的人脸相对于拍照设备的空间姿态欧拉角。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述将预设的拍照模板的人脸姿态信息与所述用户的人脸姿态信息进行比对，根据所述比对结果提示所述用户进行人脸姿态调整，包括：
获取所述拍照模板的人脸姿态信息与所述用户的人脸姿态信息的差异数据；
将所述差异数据与预设的差异阈值进行比较；
若所述差异数据大于或者等于所述差异阈值，生成人脸姿态调整提示信息；
输出所述人脸姿态调整提示信息。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：
若所述拍照模板的人脸姿态信息与所述用调整后的人脸姿态信息的差异数据小于所述差异阈值，对所述用户进行拍照。
本发明实施例的一方面，提供一种拍照提示装置，包括：
采集单元，用于在取景过程中，获取用户的图像信息；
获取单元，用于从所述图像信息中获取所述用户的人脸姿态信息；
比对单元，用于将预设的拍照模板的人脸姿态信息与所述用户的人脸姿态信息进行比对；
提示单元，用于根据所述比对结果提示所述用户进行人脸姿态调整。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取单元，具体用于：
对所述图像信息进行人脸检测，确定所述图像信息中的人脸位置；
根据所述图像信息中的人脸位置，定位脸部的关键点；
根据所述脸部的关键点的定位结果，获得所述用户的人脸姿态信息。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取单元用于根据所述图像信息中的人脸位置，定位脸部的关键点时，具体用于：
利用第一回归模型，对所述图像信息中的人脸位置进行检测，确定所述图像信息中脸部器官区域；
利用第二回归模型，对所述图像信息中脸部器官区域进行检测，获得所述图像信息中脸部器官的关键点的位置信息。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述人脸姿态信息包括所述用户的人脸相对于拍照设备的空间姿态欧拉角。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取单元用于根据所述脸部的关键点的定位结果，获得所述用户的人脸姿态信息时，具体用于：
获得预设的标准关键点的位置信息；
根据所述脸部的关键点的位置信息和所述标准关键点的位置信息，计算所述用户的人脸相对于拍照设备的空间姿态欧拉角。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述比对单元，具体用于：获取所述拍照模板的人脸姿态信息与所述用 户的人脸姿态信息的差异数据；将所述差异数据与预设的差异阈值进行比较；
所述提示单元，具体用于：若所述差异数据大于或者等于所述差异阈值，生成人脸姿态调整提示信息；输出所述人脸姿态调整提示信息。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述采集单元，还用于：
若所述拍照模板的人脸姿态信息与所述用调整后的人脸姿态信息的差异数据小于所述差异阈值，对所述用户进行拍照。
本发明的另一方面，提供一种设备，包括：
一个或者多个处理器；
存储器；
一个或者多个程序，所述一个或者多个程序存储在所述存储器中，当被所述一个或者多个处理器执行时：
在取景过程中，获取用户的图像信息；
从所述图像信息中获取所述用户的人脸姿态信息；
将预设的拍照模板的人脸姿态信息与所述用户的人脸姿态信息进行比对，根据所述比对结果提示所述用户进行人脸姿态调整。
本发明的另一方面，提供一种非易失性计算机存储介质，所述非易失性计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备：
在取景过程中，获取用户的图像信息；
从所述图像信息中获取所述用户的人脸姿态信息；
将预设的拍照模板的人脸姿态信息与所述用户的人脸姿态信息进行 比对，根据所述比对结果提示所述用户进行人脸姿态调整。
由以上技术方案可以看出，本发明实施例具有以下有益效果：
本发明实施例提供的技术方案，可以实现在取景过程中，对用户的人脸姿态调整进行提示，从而实现在取景过程中，对用户的人脸姿态进行指导，能够及时拍摄到较好质量的照片，及时获取用户的较佳姿态，从而提高了照片获取效率，解决了现有技术中不能对用户取景过程中进行拍照指导的问题，弥补了现有技术的空白，提升了用户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例所提供的拍照提示方法的流程示例图；
图2(a)～图2(d)是本发明实施例所提供的脸部器官的关键点的示例图；
图3是本发明实施例所提供的拍照提示装置的功能方块图。
具体实施方式
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出 创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
本发明实施例给出一种拍照提示方法，请参考图1，其为本发明实施例所提供的拍照提示方法的流程示意图，如图所示，该方法包括以下步骤：
S101，在取景过程中，获取用户的图像信息。
S102，从所述图像信息中获取所述用户的人脸姿态信息。
S103，将预设的拍照模板的人脸姿态信息与所述用户的人脸姿态信息进行比对，根据所述比对结果提示所述用户进行人脸姿态调整。
需要说明的是，本发明实施例中所涉及的终端可以包括但不限于个人计算机(Personal Computer，PC)、个人数字助理(Personal Digital  Assistant，PDA)、无线手持设备、平板电脑(Tablet Computer)、手机、MP3播放器、MP4播放器等。
需要说明的是，S101～S103的执行主体可以为拍照提示装置，该装置可以位于本地终端的应用，或者还可以为位于本地终端的应用中的插件或软件开发工具包(Software Development Kit，SDK)等功能单元，本发明实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在终端上的应用程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本发明实施例对此不进行限定。
在一个具体的实现过程中，可以在取景过程中，利用摄像头实时采集所述用户的图像信息。
举例说明，本发明实施例中，从所述图像信息中获取所述用户的人脸姿态信息的方法可以包括但不限于：
首先，对所述图像信息进行人脸检测，确定所述图像信息中的人脸位置。然后，根据所述图像信息中的人脸位置，定位脸部器官的关键点。最后，根据所述脸部器官的关键点的定位结果，获得所述用户的人脸姿态信息。
在一个具体的实现过程中，通过对所述图像信息进行人脸检测，可以确定所述图像信息中人脸数目以及每个人脸的人脸位置。
在一个具体的实现过程中，可以利用预先学习获得的人脸检测器，对采集的所述图像信息进行多尺度滑动窗口搜索，以搜索到所述图像信息中存在的所有人脸。
例如，所述人脸检测器可以利用Adaboost算法实现。
例如，可以使用大量的切割好的人脸图像以及大量的背景图像作为训练样本。将训练样本归一化到20*20的大小。然后利用Adaboost算法从训练样本中筛选出有效的haar特征，用筛选出的有效的haar特征组成人脸检测器。
例如，所述人脸检测器在所述图像信息设置滑动窗口，对于滑动窗口内的图像信息，根据该图像信息的haar特征，识别该图像信息是否包含人脸，从而可以获得所有包含人脸的子窗口，根据这些子窗口可以定位出所述图像信息中的所有人脸。
举例说明，本发明实施例中，根据所述图像信息中的人脸位置，定位脸部的关键点的方法可以包括但不限于：
首先，获取预先学习所得到的能够回归全部关键点的模型，包括第一回归模型和第二回归模型。然后，利用第一回归模型，对所述图像信息中的人脸位置进行检测，确定所述图像信息中脸部器官区域。最后，利用第二回归模型，对所述图像信息中脸部器官区域进行检测，获得所述图像信息中脸部器官的关键点的位置信息。
应当理解，尽管在本发明实施例中可能采用术语第一回归模型、第二回归模型等来描述回归模型，但这些回归模型不应限于这些术语。这些术语仅用来将回归模型彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一回归模型也可以被称为第二回归模型，类似地，第二回归模型也可以被称为第一回归模型。
本发明实施例中，所述脸部器官可以包括眼睛、嘴唇、眉毛和鼻子等。
本发明实施例中，所述脸部的关键点可以包括但不限于：脸部器官 的关键点和脸部轮廓的关键点。
在一个具体的实现过程中，可以先利用第一回归模型，对图像信息中的人脸位置进行检测，可以获得脸部的关键点的位置信息。然后在根据脸部的关键点的位置信息，确定所述图像信息中脸部器官区域。
可以理解的是，所述图像信息中脸部器官区域可以是至少一个，因此利用第二回归模型，分别对所述图像信息中每个脸部器官区域进行检测，以获得每个脸部器官的关键点的位置信息。
本发明实施例中，所述关键点的位置信息指的是关键点在图像中的坐标。
例如，利用第一回归模型，对图像信息中的人脸位置进行检测，获得脸部中两个嘴角的位置信息，根据两个嘴角的位置信息可以确定所述图像信息中嘴唇区域。利用第二回归模型，对嘴唇区域进行检测，获得嘴唇区域的关键点的位置信息。
需要说明的是，利用第一回归模型所检测到的脸部的关键点，其位置信息准确度比较低，而且检测到的关键点的数目比较少。为了提高关键点位置信息的准确度以及数目，还需要进一步利用第二回归模型对脸部器官区域进行检测，获得的脸部器官区域的关键点的数目比较多，且获得的关键点的位置信息更加准确。
或者，也可以不使用第二回归模型，只利用第一回归模型，对所述图像信息中的人脸位置进行检测，以获得人脸的关键点的位置信息，将其直接作为所述图像信息中脸部器官的关键点的位置信息。
可以理解的是，所述第一回归模型和所述第二回归模型可以利用不同的关键点检测模型实现，或者也可以利用相同的关键点检测模型实现， 本发明实施例对此不进行特别限定。
例如，所述关键点检测模型可以包括但不限于：深度卷积神经网络(Deep Convolution Neural Network，DCNN)、监督下降方法(Supervised Descent Method，SDM)或者主动形状模型(Active Shape Model，ASM)。
例如，利用ASM对所述图像信息中的人脸位置进行检测，以获得所述图像信息中人脸的关键点的方法可以包括：训练过程和关键点搜索过程。
训练过程包括：可以采集大量的训练样本，然后手动标记训练样本中每个人脸的关键点。将属于同一人脸的关键点的坐标组成特征向量。对每个人脸的关键点的坐标所组成的特征向量进行对齐操作，并对对齐后的人脸的形状进行主成分分析(Principal Components Analysis，PCA)运算，以消除非形状因素对训练样本的影响，建立所述ASM，作为本发明实施例中的关键点检测模型。
关键点搜索过程包括：在对训练样本进行训练后得到ASM之后，就可以利用ASM进行ASM搜索。首先，利用该ASM在需要进行关键点检测的图像信息中进行目标形状的搜索，使搜索到的最终形状中的关键点与相对应的真正关键点最为相近，当搜索迭代次数达到指定的阈值时结束该搜索过程。
例如，请参考图2(a)～图2(d)，其为本发明实施例所提供的脸部器官的关键点的示例图。如图2(a)所示，通过对图像信息进行人脸检测，可以识别出图像信息中小女孩的人脸。如图2(b)所示，利用第一回归模型对人脸位置进行检测，定位了若干关键点。如图2(c)所示， 根据定位出的若干关键点，可以划分出若干脸部器官区域，如图中的眉毛、眼睛、嘴唇和鼻子，然后利用第二回归模型，对每个脸部器官区域进行分别检测，定位了每个脸部器官的若干关键点。如图2(d)所示，最终获得脸部器官的关键点以及脸部轮廓的关键点。
优选的，本发明实施例中，所述人脸姿态信息可以包括所述用户的人脸相对于拍照设备的空间姿态欧拉角。
举例说明，本发明实施例中，根据所述脸部的关键点的定位结果，获得所述用户的人脸姿态信息的方法可以包括但不限于：
首先，获得预设的标准关键点的位置信息。然后，根据所述脸部的关键点的位置信息和所述标准关键点的位置信息，计算所述用户的人脸相对于拍照设备的空间姿态欧拉角。
在一个具体的实现过程中，可以利用比例正交投影迭代变换算法(Pose from Orthography and Scaling with Iterations，POSIT)，并根据所述脸部器官上的关键点的位置信息与所述标准关键点的位置信息，计算所述脸部器官上的关键点相对于所述标准关键点的空间姿态欧拉角，并将其作为本发明实施例中所述用户的人脸相对于拍照设备的空间姿态欧拉角，即作为本发明实施例中所述用户的人脸姿态信息。
可以理解的是，所述拍照设备可以是采集用户的图像信息的摄像头；或者，所述拍照设备也可以是该摄像头所在终端，如手机、相机或者平板电脑等。
举例说明，本发明实施例中，将预设的拍照模板的人脸姿态信息与所述用户的人脸姿态信息进行比对，根据所述比对结果提示所述用户进行人脸姿态调整的方法可以包括但不限于：
首先，获取所述拍照模板的人脸姿态信息与所述用户的人脸姿态信息的差异数据。然后，将所述差异数据与预设的差异阈值进行比较。最后，若所述差异数据大于或者等于所述差异阈值，生成人脸姿态调整提示信息；以及，输出所述人脸姿态调整提示信息。若所述拍照模板的人脸姿态信息与所述用调整后的人脸姿态信息的差异数据小于所述差异阈值，对所述用户进行拍照。
在一个具体的实现过程中，所述拍照模板可以是用户预先选择的拍照模板，或者，所述拍照模板也可以根据所述图像信息自动获得，例如，可以根据图像信息中人脸数目、所述图像信息中的背景和所述人脸姿态信息中至少一个，在模板库中进行搜索，以获得与所述图像信息相匹配的拍照模板。本发明实施例中对拍照模板的获取方式不进行特别限定。
优选的，所述拍照模板的人脸姿态信息可以包括所述拍照模板中人脸相对于拍照设备的空间姿态欧拉角。
在一个具体的实现过程中，可以计算所述用户的人脸相对于拍照设备的空间姿态欧拉角与所述拍照模板中人脸相对于拍照设备的空间姿态欧拉角之间的差值，以作为所述差异数据。
可以理解的是，当所述差异数据大于或者等于所述差异阈值时，认为所述拍照模板的人脸姿态信息与所述用户的人脸姿态信息之间的差异比较大，因此需要对用户进行人脸姿态调整的提示，所以向用户输出所述人脸姿态调整提示信息，这样，用户就可以根据人脸姿态调整提示信息，进行自身人脸姿态的调整，实现了在用户取景过程中对用户的拍照姿态进行指导，提高用户的拍照效率，带来了良好的用户体验。
另外，当所述差异数据小于所述差异阈值时，认为所述拍照模板的 人脸姿态信息与所述用户的人脸姿态信息之间的差异比较小，因此不需要用户再对人脸姿态进行调整，所以可以直接进行拍照，完成本次拍照操作。
优选的，所述人脸姿态调整提示信息可以是用于提示用户进行人脸姿态调整的语音信息；或者，也可以是用于提示用户进行人脸姿态调整的显示信息。
例如，用于提示用户进行人脸姿态调整的语音信息可以是“请抬高下颚”；或者，又例如，是“脸再向左扭动一些”等。
或者，又例如，用于提示用户进行人脸姿态调整的显示信息可以是在界面标注出用户需要调整的人脸部位以及调整方向。
本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。
请参考图3，其为本发明实施例所提供的拍照提示装置的功能方块图。如图所示，该装置包括：
采集单元31，用于在取景过程中，获取用户的图像信息；
获取单元32，用于从所述图像信息中获取所述用户的人脸姿态信息；
比对单元33，用于将预设的拍照模板的人脸姿态信息与所述用户的人脸姿态信息进行比对；
提示单元34，用于根据所述比对结果提示所述用户进行人脸姿态调整。
在一个具体的实现过程中，所述获取单元32，具体用于：
对所述图像信息进行人脸检测，确定所述图像信息中的人脸位置；
根据所述图像信息中的人脸位置，定位脸部的关键点；
根据所述脸部的关键点的定位结果，获得所述用户的人脸姿态信息。
在一个具体的实现过程中，所述获取单元32用于根据所述图像信息中的人脸位置，定位脸部的关键点时，具体用于：
利用第一回归模型，对所述图像信息中的人脸位置进行检测，确定所述图像信息中脸部器官区域；
利用第二回归模型，对所述图像信息中脸部器官区域进行检测，获得所述图像信息中脸部器官的关键点的位置信息。
在一个具体的实现过程中，所述人脸姿态信息包括所述用户的人脸相对于拍照设备的空间姿态欧拉角。
在一个具体的实现过程中，所述获取单元32用于根据所述脸部的关键点的定位结果，获得所述用户的人脸姿态信息时，具体用于：
获得预设的标准关键点的位置信息；
根据所述脸部的关键点的位置信息和所述标准关键点的位置信息，计算所述用户的人脸相对于拍照设备的空间姿态欧拉角。
在一个具体的实现过程中，所述比对单元33，具体用于：获取所述拍照模板的人脸姿态信息与所述用户的人脸姿态信息的差异数据；将所述差异数据与预设的差异阈值进行比较；
所述提示单元34，具体用于：若所述差异数据大于或者等于所述差异阈值，生成人脸姿态调整提示信息；输出所述人脸姿态调整提示信息。
可选的，在本实施例的一个可能的实现方式中，所述采集单元31，还用于：
若所述拍照模板的人脸姿态信息与所述用调整后的人脸姿态信息的差异数据小于所述差异阈值，对所述用户进行拍照。
由于本实施例中的各单元能够执行图1所示的方法，本实施例未详细描述的部分，可参考对图1的相关说明。
本发明实施例的技术方案具有以下有益效果：
本发明实施例中，通过在取景过程中，获取用户的图像信息；从而，从所述图像信息中获取所述用户的人脸姿态信息；进而，将预设的拍照模板的人脸姿态信息与所述用户的人脸姿态信息进行比对，根据所述比对结果提示所述用户进行人脸姿态调整。
本发明实施例提供的技术方案，可以实现在取景过程中，对用户的人脸姿态调整进行提示，从而实现在取景过程中，对用户的人脸姿态进行指导，能够及时拍摄到较好质量的照片，及时获取用户的较佳姿态，从而提高了照片获取效率，解决了现有技术中不能对用户取景过程中进行拍照指导的问题，弥补了现有技术的空白，提升了用户体验。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (16)

  1. 一种拍照提示方法，其特征在于，所述方法包括：
    在取景过程中，获取用户的图像信息；
    从所述图像信息中获取所述用户的人脸姿态信息；
    将预设的拍照模板的人脸姿态信息与所述用户的人脸姿态信息进行比对，根据所述比对结果提示所述用户进行人脸姿态调整。
  2. 根据权利要求1所述的方法，其特征在于，从所述图像信息中获取所述用户的人脸姿态信息，包括：
    对所述图像信息进行人脸检测，确定所述图像信息中的人脸位置；
    根据所述图像信息中的人脸位置，定位脸部的关键点；
    根据所述脸部的关键点的定位结果，获得所述用户的人脸姿态信息。
  3. 根据权利要求2所述的方法，其特征在于，根据所述图像信息中的人脸位置，定位脸部的关键点，包括：
    利用第一回归模型，对所述图像信息中的人脸位置进行检测，确定所述图像信息中脸部器官区域；
    利用第二回归模型，对所述图像信息中脸部器官区域进行检测，获得所述图像信息中脸部器官的关键点的位置信息。
  4. 根据权利要求1～3任一权利要求所述的方法，其特征在于，所述人脸姿态信息包括所述用户的人脸相对于拍照设备的空间姿态欧拉角。
  5. 根据权利要求4所述的方法，其特征在于，根据所述脸部的关键点的定位结果，获得所述用户的人脸姿态信息，包括：
    获得预设的标准关键点的位置信息；
    根据所述脸部的关键点的位置信息和所述标准关键点的位置信息， 计算所述用户的人脸相对于拍照设备的空间姿态欧拉角。
  6. 根据权利要求1～5任一权利要求所述的方法，其特征在于，所述将预设的拍照模板的人脸姿态信息与所述用户的人脸姿态信息进行比对，根据所述比对结果提示所述用户进行人脸姿态调整，包括：
    获取所述拍照模板的人脸姿态信息与所述用户的人脸姿态信息的差异数据；
    将所述差异数据与预设的差异阈值进行比较；
    若所述差异数据大于或者等于所述差异阈值，生成人脸姿态调整提示信息；
    输出所述人脸姿态调整提示信息。
  7. 根据权利要求6所述的方法，其特征在于，所述方法还包括：
    若所述拍照模板的人脸姿态信息与所述用调整后的人脸姿态信息的差异数据小于所述差异阈值，对所述用户进行拍照。
  8. 一种拍照提示装置，其特征在于，所述装置包括：
    采集单元，用于在取景过程中，获取用户的图像信息；
    获取单元，用于从所述图像信息中获取所述用户的人脸姿态信息；
    比对单元，用于将预设的拍照模板的人脸姿态信息与所述用户的人脸姿态信息进行比对；
    提示单元，用于根据所述比对结果提示所述用户进行人脸姿态调整。
  9. 根据权利要求8所述的装置，其特征在于，所述获取单元，具体用于：
    对所述图像信息进行人脸检测，确定所述图像信息中的人脸位置；
    根据所述图像信息中的人脸位置，定位脸部的关键点；
    根据所述脸部的关键点的定位结果，获得所述用户的人脸姿态信息。
  10. 根据权利要求9所述的装置，其特征在于，所述获取单元用于根据所述图像信息中的人脸位置，定位脸部的关键点时，具体用于：
    利用第一回归模型，对所述图像信息中的人脸位置进行检测，确定所述图像信息中脸部器官区域；
    利用第二回归模型，对所述图像信息中脸部器官区域进行检测，获得所述图像信息中脸部器官的关键点的位置信息。
  11. 根据权利要求8～10任一权利要求所述的装置，其特征在于，所述人脸姿态信息包括所述用户的人脸相对于拍照设备的空间姿态欧拉角。
  12. 根据权利要求11所述的装置，其特征在于，所述获取单元用于根据所述脸部的关键点的定位结果，获得所述用户的人脸姿态信息时，具体用于：
    获得预设的标准关键点的位置信息；
    根据所述脸部的关键点的位置信息和所述标准关键点的位置信息，计算所述用户的人脸相对于拍照设备的空间姿态欧拉角。
  13. 根据权利要求8～12任一权利要求所述的装置，其特征在于，
    所述比对单元，具体用于：获取所述拍照模板的人脸姿态信息与所述用户的人脸姿态信息的差异数据；将所述差异数据与预设的差异阈值进行比较；
    所述提示单元，具体用于：若所述差异数据大于或者等于所述差异阈值，生成人脸姿态调整提示信息；输出所述人脸姿态调整提示信息。
  14. 根据权利要求13所述的装置，其特征在于，所述采集单元， 还用于：
    若所述拍照模板的人脸姿态信息与所述用调整后的人脸姿态信息的差异数据小于所述差异阈值，对所述用户进行拍照。
  15. 一种设备，包括：
    一个或者多个处理器；
    存储器；
    一个或者多个程序，所述一个或者多个程序存储在所述存储器中，当被所述一个或者多个处理器执行时：
    在取景过程中，获取用户的图像信息；
    从所述图像信息中获取所述用户的人脸姿态信息；
    将预设的拍照模板的人脸姿态信息与所述用户的人脸姿态信息进行比对，根据所述比对结果提示所述用户进行人脸姿态调整。
  16. 一种非易失性计算机存储介质，所述非易失性计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备：
    在取景过程中，获取用户的图像信息；
    从所述图像信息中获取所述用户的人脸姿态信息；
    将预设的拍照模板的人脸姿态信息与所述用户的人脸姿态信息进行比对，根据所述比对结果提示所述用户进行人脸姿态调整。
PCT/CN2015/094578 2015-09-18 2015-11-13 拍照提示方法、装置、设备及非易失性计算机存储介质 Ceased WO2017045258A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/543,969 US10616475B2 (en) 2015-09-18 2015-11-13 Photo-taking prompting method and apparatus, an apparatus and non-volatile computer storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510599253.XA CN105205462A (zh) 2015-09-18 2015-09-18 一种拍照提示方法及装置
CN201510599253.X 2015-09-18

Publications (1)

Publication Number Publication Date
WO2017045258A1 true WO2017045258A1 (zh) 2017-03-23

Family

ID=54953134

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/094578 Ceased WO2017045258A1 (zh) 2015-09-18 2015-11-13 拍照提示方法、装置、设备及非易失性计算机存储介质

Country Status (3)

Country Link
US (1) US10616475B2 (zh)
CN (1) CN105205462A (zh)
WO (1) WO2017045258A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640167A (zh) * 2020-06-08 2020-09-08 上海商汤智能科技有限公司 一种ar合影方法、装置、计算机设备及存储介质

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205462A (zh) 2015-09-18 2015-12-30 北京百度网讯科技有限公司 一种拍照提示方法及装置
CN106295533B (zh) * 2016-08-01 2019-07-02 厦门美图之家科技有限公司 一种自拍图像的优化方法、装置和拍摄终端
CN106503614B (zh) * 2016-09-14 2020-01-17 厦门黑镜科技有限公司 一种照片获取方法及装置
WO2018086262A1 (zh) * 2016-11-08 2018-05-17 华为技术有限公司 一种获取拍摄参考数据的方法、移动终端以及服务器
WO2018120662A1 (zh) * 2016-12-27 2018-07-05 华为技术有限公司 一种拍照方法，拍照装置和终端
CN107370942B (zh) * 2017-06-30 2020-01-14 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及终端
CN111316628A (zh) * 2017-11-08 2020-06-19 深圳传音通讯有限公司 一种基于智能终端的图像拍摄方法及图像拍摄系统
CN107995419B (zh) * 2017-11-24 2019-10-15 维沃移动通信有限公司 一种拍照建议方法、装置及移动终端
CN108055461B (zh) * 2017-12-21 2020-01-14 Oppo广东移动通信有限公司 自拍角度的推荐方法、装置、终端设备及存储介质
CN109963031B (zh) * 2017-12-25 2022-02-18 海能达通信股份有限公司 拍摄终端以及基于该拍摄终端的拍摄定位方法
US10574881B2 (en) * 2018-02-15 2020-02-25 Adobe Inc. Smart guide to capture digital images that align with a target image model
CN108737714A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 一种拍照方法及装置
CN108921815A (zh) * 2018-05-16 2018-11-30 Oppo广东移动通信有限公司 拍照交互方法、装置、存储介质及终端设备
CN108985148B (zh) * 2018-05-31 2022-05-03 成都通甲优博科技有限责任公司 一种手部关键点检测方法及装置
CN110769323B (zh) * 2018-07-27 2021-06-18 Tcl科技集团股份有限公司 一种视频通信方法、系统、装置和终端设备
CN109218615A (zh) * 2018-09-27 2019-01-15 百度在线网络技术（北京）有限公司 图像拍摄辅助方法、装置、终端和存储介质
CN109376684B (zh) 2018-11-13 2021-04-06 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质
CN109657583B (zh) 2018-12-10 2021-10-22 腾讯科技（深圳）有限公司 脸部关键点检测方法、装置、计算机设备和存储介质
CN109660719A (zh) * 2018-12-11 2019-04-19 维沃移动通信有限公司 一种信息提示方法及移动终端
CN111382610B (zh) * 2018-12-28 2023-10-13 杭州海康威视数字技术股份有限公司 一种事件检测方法、装置及电子设备
CN109905596A (zh) * 2019-02-13 2019-06-18 深圳市云之梦科技有限公司 拍照方法、装置、计算机设备和存储介质
CN109922261A (zh) * 2019-03-05 2019-06-21 维沃移动通信有限公司 拍摄方法及移动终端
CN109840515B (zh) * 2019-03-06 2022-01-25 百度在线网络技术（北京）有限公司 面部姿态调整方法、装置和终端
CN110113523A (zh) * 2019-03-15 2019-08-09 深圳壹账通智能科技有限公司 智能拍照方法、装置、计算机设备及存储介质
CN109922266B (zh) * 2019-03-29 2021-04-06 睿魔智能科技（深圳）有限公司 应用于视频拍摄的抓拍方法及系统、摄像机及存储介质
CN110619262B (zh) * 2019-04-17 2023-09-01 深圳爱莫科技有限公司 图像识别的方法及装置
CN110297929A (zh) * 2019-06-14 2019-10-01 北京达佳互联信息技术有限公司 图像匹配方法、装置、电子设备及存储介质
CN111310617B (zh) * 2020-02-03 2023-07-14 杭州飞步科技有限公司 分神驾驶检测方法、装置及存储介质
CN113810588B (zh) * 2020-06-11 2022-11-04 青岛海信移动通信技术股份有限公司 一种图像合成方法、终端及存储介质
CN112489036A (zh) * 2020-12-14 2021-03-12 Oppo（重庆）智能科技有限公司 图像评价方法、图像评价装置、存储介质与电子设备
CN115767256A (zh) * 2021-09-03 2023-03-07 北京字跳网络技术有限公司 拍摄方法、装置、电子设备和存储介质
CN114727017B (zh) * 2022-03-30 2024-11-26 努比亚技术有限公司 一种证件照拍摄方法、设备及计算机可读存储介质
CN115171149B (zh) * 2022-06-09 2023-12-05 广州紫为云科技有限公司 基于单目rgb图像回归的实时人体2d/3d骨骼关键点识别方法
CN119854620A (zh) * 2023-10-17 2025-04-18 北京字跳网络技术有限公司 图像拍摄方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369214A (zh) * 2012-03-30 2013-10-23 华晶科技股份有限公司 图像获取方法与图像获取装置
CN104182741A (zh) * 2014-09-15 2014-12-03 联想(北京)有限公司 一种图像采集提示方法、装置及电子设备
CN104506721A (zh) * 2014-12-15 2015-04-08 南京中科创达软件科技有限公司 一种手机照相机的自拍系统和使用方法
CN104754218A (zh) * 2015-03-10 2015-07-01 广东欧珀移动通信有限公司 一种智能拍照方法及终端
CN105205462A (zh) * 2015-09-18 2015-12-30 北京百度网讯科技有限公司 一种拍照提示方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030212552A1 (en) * 2002-05-09 2003-11-13 Liang Lu Hong Face recognition procedure useful for audiovisual speech recognition
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
JP2006260397A (ja) * 2005-03-18 2006-09-28 Konica Minolta Holdings Inc 開眼度推定装置
CN101661557B (zh) * 2009-09-22 2012-05-02 中国科学院上海应用物理研究所 一种基于智能卡的人脸识别系统及其方法
US20140185924A1 (en) * 2012-12-27 2014-07-03 Microsoft Corporation Face Alignment by Explicit Shape Regression
CN103916579B (zh) * 2012-12-30 2018-04-27 联想(北京)有限公司 一种图像摄取方法、装置和电子设备
KR101443021B1 (ko) * 2013-03-08 2014-09-22 주식회사 슈프리마 얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치
CN103716539A (zh) * 2013-12-16 2014-04-09 乐视致新电子科技（天津）有限公司 一种拍照方法和设备
US20160300100A1 (en) * 2014-11-10 2016-10-13 Intel Corporation Image capturing apparatus and method
US9990555B2 (en) * 2015-04-30 2018-06-05 Beijing Kuangshi Technology Co., Ltd. Video detection method, video detection system and computer program product

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369214A (zh) * 2012-03-30 2013-10-23 华晶科技股份有限公司 图像获取方法与图像获取装置
CN104182741A (zh) * 2014-09-15 2014-12-03 联想(北京)有限公司 一种图像采集提示方法、装置及电子设备
CN104506721A (zh) * 2014-12-15 2015-04-08 南京中科创达软件科技有限公司 一种手机照相机的自拍系统和使用方法
CN104754218A (zh) * 2015-03-10 2015-07-01 广东欧珀移动通信有限公司 一种智能拍照方法及终端
CN105205462A (zh) * 2015-09-18 2015-12-30 北京百度网讯科技有限公司 一种拍照提示方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640167A (zh) * 2020-06-08 2020-09-08 上海商汤智能科技有限公司 一种ar合影方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
US10616475B2 (en) 2020-04-07
CN105205462A (zh) 2015-12-30
US20180007259A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
US10616475B2 (en) Photo-taking prompting method and apparatus, an apparatus and non-volatile computer storage medium
US10990803B2 (en) Key point positioning method, terminal, and computer storage medium
CN103425964B (zh) 图像处理设备和图像处理方法
US9262671B2 (en) Systems, methods, and software for detecting an object in an image
CN111144266B (zh) 人脸表情的识别方法及装置
US9697415B2 (en) Recording medium, image processing method, and information terminal
CN108958610A (zh) 基于人脸的特效生成方法、装置和电子设备
CN104049760B (zh) 一种人机交互命令的获取方法及系统
WO2019011073A1 (zh) 人脸活体检测方法及相关产品
CN107944420B (zh) 人脸图像的光照处理方法和装置
CN111598038B (zh) 脸部特征点检测方法、装置、设备及存储介质
CN105631406B (zh) 图像识别处理方法和装置
CN111639522A (zh) 活体检测方法、装置、计算机设备和存储介质
CN109063678B (zh) 脸部图像识别的方法、装置及存储介质
CN104683692A (zh) 一种连拍方法及装置
CN104917959A (zh) 一种拍照方法及终端
CN107958223B (zh) 人脸识别方法及装置、移动设备、计算机可读存储介质
CN110633677B (zh) 人脸识别的方法及装置
CN107886070A (zh) 人脸图像的验证方法、装置及设备
CN108304708A (zh) 移动终端、人脸解锁方法及相关产品
CN110517033A (zh) 一种快速扫描支付方法及装置
CN110188630A (zh) 一种人脸识别方法和相机
CN108021905A (zh) 图片处理方法、装置、终端设备及存储介质
CN108875488A (zh) 对象跟踪方法、对象跟踪装置以及计算机可读存储介质
CN112330528B (zh) 虚拟试妆方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15903946

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15543969

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15903946

Country of ref document: EP

Kind code of ref document: A1