WO2021175069A1 - 拍照方法、装置、电子设备及存储介质 - Google Patents

拍照方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2021175069A1
WO2021175069A1 PCT/CN2021/074956 CN2021074956W WO2021175069A1 WO 2021175069 A1 WO2021175069 A1 WO 2021175069A1 CN 2021074956 W CN2021074956 W CN 2021074956W WO 2021175069 A1 WO2021175069 A1 WO 2021175069A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
composition
sub
model
key point
Prior art date
Application number
PCT/CN2021/074956
Other languages
English (en)
French (fr)
Inventor
罗彤
蒋燚
李亚乾
Original Assignee
Oppo广东移动通信有限公司
上海瑾盛通信科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo广东移动通信有限公司, 上海瑾盛通信科技有限公司 filed Critical Oppo广东移动通信有限公司
Publication of WO2021175069A1 publication Critical patent/WO2021175069A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters

Definitions

  • This application relates to the field of image processing technology, and in particular to a photographing method, device, electronic equipment, and storage medium.
  • an embodiment of the present application provides a photographing method, which includes:
  • an embodiment of the present application provides a photographing device, which includes:
  • the first acquisition module is configured to acquire a preview image of a shooting scene, perform a shooting subject detection on the preview image, and obtain a detection frame corresponding to the shooting subject;
  • a determining module configured to determine a target composition template corresponding to the shooting subject from a composition template library according to the normalized key points and the detection frame;
  • an embodiment of the present application provides an electronic device, including a memory and a processor, the memory stores a computer program, and the processor invokes the computer program stored in the memory to execute:
  • FIG. 1 is a schematic diagram of the first process of a photographing method provided by an embodiment of the present application.
  • Fig. 3 is a first structural schematic diagram of a key point identification model provided by an embodiment of the present application.
  • FIG. 4 is a schematic diagram of a first structure of a second recognition sub-model provided by an embodiment of the present application.
  • FIG. 10 is a schematic diagram of composition prompt information provided by an embodiment of the present application.
  • the human body detection model can be used to detect the human body in the preview image.
  • the human body detection model uses the YOLO model or the SSD (Single Shot MultiBox Detector) model and so on.
  • the human body detection model detects the human body, a rectangular detection frame is generated for the human body.
  • the preview image may include one or more photographed subjects, and the one or more photographed subjects have corresponding key points.
  • the human body image includes multiple key points, such as the head, chest, limbs, neck, and joints.
  • composition template library contains composition templates of a variety of composition types, such as facial close-ups, full-length portraits, and composition categories with different poses. There are corresponding candidate composition points in the composition template, which can be used to generate visible composition points on the preview image during the process of matching with the target key points of the subject.
  • each composition template includes at least one candidate composition point, and each composition template can be considered as a sample set.
  • the target composition template corresponding to the subject can be determined from the composition template library.
  • the coordinates of the normalized key point and the aspect ratio of the detection frame are both characteristics of the subject.
  • the human body detection model can be used to detect whether there is a human body in the preview image. If there is a human body, the human body will generate a corresponding rectangular detection frame.
  • the key point recognition model can detect single or multiple human bodies, such as the mobilenet v2 model.
  • the key points in the image content of the detection frame are identified through the key point recognition model.
  • the location feature (2), the connection feature (2), and the feature map into the third second sub-model, that is, input into the second sub-model (3), and get the output position of the second sub-model (3) Features (3) and connection features (3).
  • the remaining second sub-models except for the first second sub-model all the connection features and location features output by the previous second sub-model and the feature map output by the first sub-model are used as input.
  • the second sub-model outputs its corresponding connection feature and location feature. Until the last second sub-model outputs the target connection feature and the target location feature.
  • connection module includes multiple first convolutional layers and multiple second convolutional layers, multiple first convolutional layers are connected in sequence, multiple second convolutional layers are connected in sequence, and the last one is the first convolutional layer. Connect with the first second convolutional layer.
  • the position module includes multiple first convolutional layers and multiple second convolutional layers. Multiple first convolutional layers are connected in sequence, multiple second convolutional layers are connected in sequence, and the last first convolutional layer is connected to the first convolutional layer. A second convolutional layer connection.
  • connection modules and location modules can process the feature maps separately , Thus get the connection feature (1) and the location feature (1).
  • the third convolutional layer in the remaining second sub-models except the first second sub-model, can be replaced with the first convolutional layer, thereby reducing the amount of calculation and parameters, so that the second Sub-models process tasks faster.
  • P(u) is the position of interpolation between the two candidate key points
  • L c is the value of P(u) in the target connection feature
  • a key point association set can be generated, and the association set has a set of candidate key points for each individual. For example, there are candidate key points corresponding to the eyes, candidate key points corresponding to the nose, and so on on the candidate key points. In each individual photographed, both eyes and nose have corresponding candidate key points, and both wrist and elbow have corresponding key points. Multiple candidate key points can form an individual representing the subject. Multiple candidate keypoint sets form an association set. You can find an optimal association set in it, such as:
  • E c is the total confidence of all connected connectors, that is, the total confidence of individuals formed by connecting multiple connectors.
  • the Hungarian algorithm can be used to match to get the best association set.
  • the key point recognition model includes multiple hourglass structures. After multiple hourglass structures, the input detection frame image content is processed, and the output result of the last hourglass structure is input to the last residual module and pooling. In the layer, the output results of the last residual module and the pooling layer are input to the last convolutional layer, and the last convolutional layer outputs the position feature of the image content of the detection frame.
  • the first convolutional layer and the last convolutional layer may be convolutional layers with a 7*7 structure.
  • the number of hourglass structures depends on the computing performance of the electronic device. In the case of stronger computing performance, the more hourglass structures can be used. In some embodiments, the number of hourglass structures is up to eight.
  • FIG. 8 is a schematic structural diagram of an hourglass structure provided by an embodiment of the present application.
  • the structure of multiple hourglass structures can be the same.
  • Each hourglass includes four residual modules, four down-sampling modules, and four up-sampling modules.
  • the following screening methods can be used: first obtain the confidence of each set of target key points, and then use the human body posture corresponding to the set of target key points with high confidence as the reference data. Then obtain the confidence of each remaining set of target key points, if the obtained confidence is lower than the preset confidence threshold, then exclude this set of target key points and their corresponding human poses.
  • step 207 the finally retained target key points are normalized in step 207 to obtain the normalized key points corresponding to the subject. Please continue to refer to Figure 2.
  • P is a positive integer
  • x is the sample point in A
  • y is the sample point in B
  • n is the number of the sample point
  • i is the i-th sample point.
  • An arrow can be generated to point from the target key point to the composition point, prompting the user to adjust the shooting posture of the electronic device. It should be noted that the human body image includes multiple target key points, and FIG. 10 only illustrates one of them.
  • the user can adjust the shooting posture so that the composition point and the target key point match, so as to take a picture.
  • the third processing module 380 is configured to perform clustering processing on the candidate composition points to obtain a plurality of composition templates of different composition categories and the composition template library.
  • the display unit 420 may include a display panel.
  • the display panel may be configured in the form of a liquid crystal display (LCD, Liquid Crystal Display), an organic light emitting diode (OLED, Organic Light-Emitting Diode), etc.
  • the touch-sensitive surface may cover the display panel. When the touch-sensitive surface detects a touch operation on or near it, it is transmitted to the processor 470 to determine the type of the touch event, and then the processor 470 displays the display panel according to the type of the touch event. Corresponding visual output is provided on the panel.
  • the touch-sensitive surface and the display panel are used as two independent components to realize the input and input functions, but in some embodiments, the touch-sensitive surface and the display panel may be integrated to realize the input and output functions.
  • WiFi is a short-distance wireless transmission technology. Electronic devices can help users receive and send files, browse web pages, and WiFi positioning through the WiFi module 440. It provides users with wireless broadband Internet access.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开一种拍照方法、装置、电子设备及存储介质。方法包括：获取拍摄场景的预览图像并检测得到拍摄主体对应的检测框；调用关键点识别模型确定检测框中的图像内容拍摄主体的目标关键点；根据检测框对目标关键点归一化处理，得到拍摄主体的归一化关键点；根据归一化关键点及检测框确定出拍摄主体的目标构图模板。

Description

拍照方法、装置、电子设备及存储介质
本申请要求于2020年03月06日提交中国专利局、申请号202010153535.8、发明名称为“拍照方法、装置、电子设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像处理技术领域，具体涉及一种拍照方法、装置、电子设备及存储介质。
背景技术
随着智能设备的迅速发展，越来越多的人开始使用智能设备进行拍照，在拍摄时，被拍摄者只能根据摄影师的经验来指导摆出姿势，并选取合适的角度进行拍摄。但是在绝大多数拍摄者没有摄影经验，拍摄出的照片并不是很具有美感，被拍摄者在没有摄影经验的情况下，也不能摆出合适的拍摄姿势。
发明内容
本申请实施例提供一种拍照方法、装置、电子设备及存储介质。能够对拍摄主体提供构图建议并拍照。
第一方面，本申请实施例提供了一种拍照方法，该方法包括：
获取拍摄场景的预览图像，对所述预览图像进行拍摄主体检测，得到所述拍摄主体对应的检测框；
调用关键点识别模型对所述检测框中的图像内容进行关键点检测，得到所述拍摄主体的目标关键点；
根据所述检测框对所述目标关键点进行归一化处理，得到所述拍摄主体对应的归一化关键点；
根据所述归一化关键点以及所述检测框，从构图模板库中确定出所述拍摄主体对应的目标构图模板；
当所述目标关键点与所述目标构图模板对应的构图点不匹配时，输出用于指示调整电子设备拍摄姿态的提示信息。
第二方面，本申请实施例提供了一种拍照装置，该装置包括：
第一获取模块，用于获取拍摄场景的预览图像，对所述预览图像进行拍摄主体检测，得到对应所述拍摄主体的检测框；
调用模块，用于调用关键点识别模型对所述检测框中的图像内容进行关键点检测，得到所述拍摄主体的目标关键点；
第一处理模块，用于根据所述检测框对所述目标关键点进行归一化处理，得到对应所述拍摄主体的归一化关键点；
确定模块，用于根据所述归一化关键点以及所述检测框，从构图模板库中确定出所述拍摄主体对应的目标构图模板；
匹配模块，用于当所述目标关键点与所述目标构图模板对应的构图点不匹配时，输出用于指示调整电子设备拍摄姿态的提示信息。
第三方面，本申请实施例提供的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如本申请任一实施例提供的拍照方法。
第四方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行：
获取拍摄场景的预览图像，对所述预览图像进行拍摄主体检测，得到所述拍摄主体对应的检测框；
调用关键点识别模型对所述检测框中的图像内容进行关键点检测，得到所述拍摄主体的目标关键点；
根据所述检测框对所述目标关键点进行归一化处理，得到所述拍摄主体对应的归一化关键点；
根据所述归一化关键点以及所述检测框，从构图模板库中确定出所述拍摄主体对应的目标构图模板；
当所述目标关键点与所述目标构图模板对应的构图点不匹配时，输出用于指示调整电子设备拍摄姿态的提示信息。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。
图1是本申请实施例提供的拍照方法的第一流程示意图。
图2是本申请实施例提供的拍照方法的第二流程示意图。
图3是本申请实施例提供的关键点识别模型的第一结构示意图。
图4是本申请实施例提供的第二识别子模型的第一结构示意图。
图5是本申请实施例提供的第二识别子模型的第二结构示意图。
图6是本申请实施例提供的第二识别子模型的第三结构示意图。
图7是本申请实施例提供的关键点识别模型的第二结构示意图。
图8是本申请实施例提供的沙漏结构的结构示意图。
图9是本申请实施例提供的残差模块的结构示意图。
图10是本申请实施例提供的构图提示信息的示意图。
图11是本申请实施例提供的拍照装置的第一结构示意图。
图12是本申请实施例提供的拍照装置的第二结构示意图。
图13是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文不同模块、引擎及服务可看做为在该运算系统上的实施对象。
本申请实施例提供一种拍照方法，该拍照方法的执行主体可以是本申请实施例提供的拍照装置，或者集成了该拍照装置的电子设备。其中，该电子设备可以是智能手机、智能穿戴设备、平板电脑、掌上电脑(PDA，Personal Digital Assistant)等。以下分别进行详细说明。
请参阅图1，图1是本申请实施例提供的拍照方法的第一流程示意图。该拍照方法能够对拍摄主体提供构图建议并拍照。该拍照方法可以包括以下步骤：
101、获取拍摄场景的预览图像，对预览图像进行拍摄主体检测，得到拍摄主体对应的检测框。
可以理解的是，在拍照时，在电子设备的屏幕上会生成一个预览图像，以便拍摄者随时查看当前的画面信息。
在预览图像中存在拍摄主体时，可以对拍摄主体进行检测。需要说明的是，拍摄主体可以是人、动物、植物、人偶、公仔等多种可以拍摄的主体。电子设备可以识别其中一种拍摄主体，也可以识别多种拍摄主体。
在一些实施例中，在捕获预览图像的时候，可以对预览图像进行识别，判断是否有拍摄主体，若存在拍摄主体的情况下，则对拍摄主体生成一个检测框。检测框中包含拍摄主体，检测框的形状可以是矩形、圆形、椭圆形等规则形状。也可以是不规则的形状，比如是拍摄主体的描边形状。
以拍摄主体为人体为例，可以使用人体检测模型对预览图像中的人体进行检测。比如，人体检测模型使用YOLO模型或SSD(Single Shot MultiBox Detector)模型等等。在人体检测模型检测人体时，会对人体生成一个矩形的检测框。
102、调用关键点识别模型对检测框中的图像内容进行关键点检测，得到所述拍摄场景中拍摄主体的目标关键点。
在一些实施例中，预览图像中可以包括一个或多个拍摄主体，该一个或多个拍摄主体都有对应的关键点。以拍摄主体为人体为例，人体图像上包括多个关键点，比如头部、胸部、四肢、脖子、关节上都存在关键点。
在预览图像中，关键点识别模型识别出预览图像的关键点。但是并不是所有的关键点都是来自拍 摄主体上的，还可能是其他物体上的。比如，预览图像上的背景图像上的关键点，或者是拍摄时的路人的关键点等等。同理，在人像检测框内容中也可能存在无用的关键点。
因此需要对关键点识别模型在图像内容中识别出来的关键点进行筛选，从而获得拍摄主体的目标关键点。
在一些实施例中，还可以判断关键点是否在检测框内，若关键点在检测框内，则认为该关键点为拍摄主体的目标关键点。还可以先初步筛选出检测框内的关键点，然后再对检测框内的关键点进行详细筛选，得到拍摄主体的目标关键点。
103、根据检测框对所述目标关键点进行归一化处理，得到拍摄主体对应的归一化关键点。
可以理解的是，归一化是一种无量纲处理手段，使物理系统数值的绝对值变成某种相对值关系。简单来说，归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在-1至+1之间是统计的坐标分布。即该函数在(-∞,+∞)的积分为1。
在本申请实施例中，对目标关键点进行归一化处理，是为了方便后续和构图模板库中的数据进行对比，同时也有利于对目标关键点数据处理的过程。比如，每一个目标关键点在检测框的图像内容中都有一个二维坐标，即每一个目标关键点都包括横坐标和纵坐标。通过对目标关键点横坐标除以检测框的宽度得到处理关键点的横坐标，通过对目标关键点的纵坐标除以检测框的高度得到处理关键点的纵坐标，从而确定出处理关键点。同时也能够得到检测框的宽高之比。
104、根据归一化关键点以及检测框，从构图模板库中确定出拍摄主体对应的目标构图模板。
构图模板库中包含多种构图类型的构图模板，例如面部特写、全身像以及摆出不同姿势的构图类别等等。构图模板中都有对应的候选构图点，在与拍摄主体的目标关键点匹配的过程中，可以用于在预览图像上生成可见的构图点。
在一些实施例中，拍摄主体的目标关键点可以是多个，所以归一化关键点也有多个，归一化关键点可以生成一个归一化关键点集。而每一个构图模板中都包括至少一个候选构图点，则每一个构图模板可以认为是一个样本集。通过归一化关键点集和样本集之间进行对比，可以从构图模板库中确定出拍摄主体对应的目标构图模板。其中，在归一化关键点集和样本集对比的过程中，归一化关键点的坐标和检测框的宽高比都是拍摄主体的特征。
105、当目标关键点与目标构图模板对应的构图点不匹配时，输出用于指示调整电子设备拍摄姿态的提示信息。
在获取到目标构图模板之后，可以先获取目标构图模板中的目标候选构图点，然后根据预览图像的宽度和高度信息，根据预览图像的宽度和高度信息对目标候选构图点进行处理，得到预览图像上的构图点，也就是目标构图模板对应的构图点。
在一些实施例中，可以将构图点和目标关键点进行匹配。在构图点和目标关键点都为多个的情况下，可以认为目标关键点是一个集，构图点也是一个集，获取目标关键点和构图点之间的明式距离，当构图点和目标关键点之间的明式距离小于预设阈值的情况下，则认为构图点和目标关键点匹配成功。
若构图点和目标关键点之间的明式距离不小于预设阈值的情况下，则认为构图点和目标关键点不匹配，此时，可以在预览图像上生成用于指示调整电子设备拍摄姿态的提示信息。
用户可以对拍摄姿态进行调整，从而使得构图点和目标关键点匹配，从而进行拍照。
本申请实施例中，在拍照时通过获取拍摄场景的预览图像，对预览图像进行拍摄主体检测，得到拍摄主体对应的检测框；然后调用关键点识别模型对检测框中的图像内容进行关键点检测，得到拍摄主体的目标关键点；再根据检测框对目标关键点进行归一化处理，得到拍摄主体对应的归一化关键点；最后根据归一化关键点以及检测框，从构图模板库中确定出拍摄主体对应的目标构图模板；当目标关键点与目标构图模板对应的构图点不匹配时，输出用于指示调整电子设备拍摄姿态的提示信息。从而在拍照时提出构图建议。
请参阅图2，图2是本申请实施例提供的拍照方法的第二流程示意图。该拍照方法能够对拍摄主体提供构图建议并拍照。该拍照方法可以包括以下步骤：
201、获取拍摄场景的预览图像，对预览图像进行拍摄主体检测，得到拍摄主体对应的检测框。
在用户打开相机时，相机采集拍摄场景信息，电子设备的屏幕上会有实时的预览界面。可以通过人体检测模型检测预览图像中是否有人体，在有人体的情况下，人体会对应生成一个矩形检测框。
202、根据关键点识别模型识别出图像内容中的关键点。
可以理解的是，一个预览图像中可能存在多个人体，也可能存在一个人体。关键点识别模型可以对单个、多个人体进行检测，比如mobilenet v2模型。通过关键点识别模型识别出检测框图像内容中的关键点。
203、将检测框中的图像内容输入至第一子模型，得到预览图像的特征图。
本申请实施例中，关键点识别模型包括第一子模型和第二子模型。具体请参阅图3，图3是本申请实施例提供的关键点识别模型的结构示意图。其中，在获取到预览图像之后，可以直接将预览图像输入至第一子模型进行识别，获取预览图像的特征图(feature map)。
在一些实施例中，第一子模型可以为mobilenet v2模型，mobilenet v2比较轻量化，在处理图片时速度较快。在电子设备性能较强，算力较强时，第一子模型还可以采用精度更高的模型，例如VGG19模型，resnet50模型等，使用这些模型提取特征能够提高人体关键点的检测精度。
204、将特征图输入至第二子模型，得到预览图像的目标连接特征和目标位置特征。
由图3可知，第二子模型包括多个，多个第二子模型依次连接。第一子模型和第一个第二子模型连接，即第一子模型与图中的第二子模型(1)连接。
在多个第二子模型中，每个第二子模型都能输出对应的位置特征和连接特征。其中位置特征可以是一个三维矩阵，可以是一个height*width*keypoints的三维矩阵，其中height代表图片的高度，width代表图片的宽度，keypints表示关键点的数量，其中该图片为每个连接特征对应的图片。具体的位置特征可以是热图(heatmap)。
连接特征可以是一个三维矩阵，可以是一个height*width*limbs的三维矩阵。其中height代表图片的高度，width代表图片的宽度，limbs表示连接体的数量。其中连接体可以是相关联的两个关键点之间的连接区域，比如，左眼和右眼的连接可以为一个连接体，连接体为左眼和右眼之间的连接区域。每一个连接体对应一个height*width*2的三维矩阵，可以认为连接特征是一个双通道的热图，该双通道的热图中的每个位置包括两个值，例如x值和y值，组成向量(x，y)，该向量可以表示对应位置的连接体方向，当x值和y值都为零时，则说明该位置没有肢体。
在一些实施例中，第一个第二子模型的输入为第一子模型输出的特征图。第一个第二子模型对特征图进行处理，得到第一个第二子模型输出的位置特征和连接特征。
请一并参阅图4，图4是本申请实施例提供的第二子模型的第一结构示意图。其中第一个第二子模型对特征图处理后，输出第一个第二子模型输出的位置特征和连接特征。也就是第二子模型(1)对特征图进行处理得到位置特征(1)和连接特征(1)。
将位置特征(1)、连接特征(1)以及特征图输入到第二个第二子模型中，即输入至第二子模型(2)中，得到第二子模型(2)输出的位置特征(2)和连接特征(2)。
再将位置特征(2)、连接特征(2)以及特征图输入到第三个第二子模型中，即输入至第二子模型(3)中，得到第二子模型(3)输出的位置特征(3)和连接特征(3)。依此类推，除去第一个第二子模型的剩余第二子模型中，都是将上一个第二子模型输出的连接特征、位置特征以及第一子模型输出的特征图作为输入，每一个第二子模型输出与其对应的连接特征和位置特征。直至最后一个第二子模型输出目标连接特征和目标位置特征为止。
请一并参阅图5，图5是本申请实施例提供的第二子模型的第二结构示意图。具体的，图5展示的是第一个第二子模型的结构示意图。其中将第一子模型输出的特征图作为输入，输入至第一个第二子模型中。第二子模型包括连接模块和位置模块，连接模块和位置模块均为多个不同类型的卷积层组成的模块。
比如，在连接模块中包括多个第一卷积层和多个第二卷积层，多个第一卷积层依次连接，多个第二卷积层依次连接，最后一个第一卷积层与第一个第二卷积层连接。在位置模块中包括多个第一卷积层 和多个第二卷积层，多个第一卷积层依次连接，多个第二卷积层依次连接，最后一个第一卷积层与第一个第二卷积层连接。
在一些实施方式中，第一卷积层可以是3*3的卷积层，第二卷积层可以为1*1的卷积层。在连接模块中第一卷积层可以为三个，第二卷积层为两个，位置模块的结构可以与连接模块的结构相同。在实际的应用中，第一卷积层和第二卷积层的类型、数量都可以根据实际要求发生改变。
由图5可知，将第一子模型输出的特征图输入至第一个第二子模型中，由于第二子模型中存在连接模块和位置模块，连接模块和位置模块可以分别对特征图进行处理，从而得到连接特征(1)和位置特征(1)。
请继续参阅图6，图6是本申请实施例提供的第二子模型的第三结构示意图。具体的，图6所示的是出第一个第二子模型的剩余第二子模型的结构示意图。其中每个第二子模型都包括连接模块和位置模块，连接模块和位置模块中包括多个不同类型的卷积层。
比如，连接模块中包括多个第三卷积层和多个第二卷积层，多个第三卷积层依次连接，多个第二卷积依次连接，最后一个第三卷积层和第一个第二卷积层连接。位置模块中包括五个第三卷积层和两个第二卷积层，多个第三卷积层依次连接，多个第二卷积依次连接，最后一个第三卷积层和第一个第二卷积层连接。
在一些实施方式中，第三卷积层可以是7*7的卷积层，第二卷积层可以为1*1的卷积层。在连接模块中第三卷积层可以为五个，第二卷积层为两个，位置模块的结构可以与连接模块的结构相同。在实际的应用中，第一卷积层和第二卷积层的类型、数量都可以根据实际要求发生改变。
由图6可知，除第一个第二子模型的剩余第二子模型中，每一个第二子模型的输入为上一个第二子模型输出的连接特征、位置特征以及第一子模型输出的特征图，即连接特征(M-1)和位置特征(M-1)。每一个第二子模型可以输出与其对应的连接特征和位置特征，即连接特征(M)和位置特征(M)。需要说明的是，最后一个第二子模型输出的为目标位置特征和目标连接特征。
在一些实施例中，在除了第一个第二子模型之外的剩余第二子模型中，可以将第三卷积层替换为第一卷积层，从而减少计算量和参数，使得第二子模型处理任务更快。
205、根据目标位置特征确定关键点中的候选关键点。
在一些实施例中，可以选取目标位置特征中的最大值的位置为候选关键点，例如在热图(heatmap)中选取像素点数值最大的为候选关键点。在实际应用中，可以对热图进行最大池化，然后将池化前和池化后的热图对比，将池化前和池化后的热图中取值相等的位置作为候选关键点。
206、根据目标连接特征和候选关键点确定拍摄主体的目标关键点。
可以理解的是，在获取到候选关键点之后，能够根据目标连接特征中的连接体的方向来对候选关键点进行连接，以得到完整的个体。
在一些实施例中，可以每次获取一个连接体对应的目标连接特征，连接着个连接体两端的候选关键点。从而求出两个候选关键点来自同一个体的置信度，具体可以用以下置信度公式表示：
Figure PCTCN2021074956-appb-000001
其中
Figure PCTCN2021074956-appb-000002
可以为表示两个不同候选关键点，P(u)为两个候选关键点之间内插的位置，L c为在目标连接特征中P(u)处的值，P(u)的具体公式为：
Figure PCTCN2021074956-appb-000003
可以理解的是，在实际应用中，会在两个候选关键点之间取多个位置，比如在区间[0,1]上均匀间隔采样得到u，近似求积分。
在预览图像上只有一个拍摄主体时，则可以确定所有的候选关键点都是来自同一拍摄个体的，当所有的候选关键点连接时，就可以表示一个完整的拍摄主体。
在预览图像上有多个拍摄个体时，可以生成一个关键点关联集，关联集中有每一个个体的候选关键点集合。比如在候选关键点上有眼睛对应的候选关键点，鼻子对应的候选关键点等等。其中每个拍摄 个体中，眼睛和鼻子两者有对应的候选关键点，手腕和手肘两者有对应的关键点，多个候选关键点可以组成一个代表拍摄主体的个体。多个候选关键点集合形成一个关联集。可以在其中寻找到一个最佳的关联集，比如：
Figure PCTCN2021074956-appb-000004
关联集Z中，j 1,j 2表示关键点类别(眼睛、鼻子、手腕等)，m和n表示对应关键点类别内的关键点编号。利用上述置信度公式使得：
Figure PCTCN2021074956-appb-000005
E c为所有已连接的连接体的总置信度，即多个连接体连接形成的个体的总置信度。在匹配的过程中可以使用匈牙利算法来匹配，得到最佳的关联集。
需要说明的是，当
Figure PCTCN2021074956-appb-000006
为1的时候，表示候选关键点
Figure PCTCN2021074956-appb-000007
来自同一个体，也就是候选关键点
Figure PCTCN2021074956-appb-000008
为同一个拍摄主体上的关键点。
通过置信度来确定候选关键点之间的关联度，从而确定拍摄主体上的目标关键点。即置信度越高的时候，候选关键点之间的关联度越高，越有可能来自同一个个体。
207、根据检测框对目标关键点进行归一化处理，得到对应拍摄主体对应的归一化关键点。
在一些实施例中，每一个目标关键点在检测框的图像内容中都有一个二维坐标，即每一个目标关键点都包括横坐标和纵坐标。通过对目标关键点横坐标除以检测框的宽度得到处理关键点的横坐标，通过对目标关键点的纵坐标除以检测框的高度得到处理关键点的纵坐标，从而确定出处理关键点。同时也能够得到检测框的宽高之比。
需要说明的是，在预览图像中只存在单个人体时，可以不使用图3至图6所示的模型来进行关键点识别。可以使用其他模型直接对人体的目标关键点进行识别，例如hourglass模型。
具体请参阅图7，图7是本申请实施例提供的关键点识别模型的第二结构示意图。
其中该关键点识别模型包括卷积层、池化层、残差模块和沙漏结构。如图7所示，可以将检测框中的图像内容输入至该关键点识别模型中，首先经过卷积层对输入的图像内容进行处理。然后卷积层输出的结果通过残差模块和池化层处理。残差模块和池化层输出的结果输入至沙漏结构处理，沙漏结构处理的结果输入至下一个残差模块和池化层。下一个残差模块和池化层处理的结果输入至下一个沙漏结构中。
由图7可知，该关键点识别模型中包括多个沙漏结构，经过多个沙漏结构对输入的检测框图像内容进行处理，在最后一个沙漏结构输出的结果输入至最后一个残差模块和池化层中，最后一个残差模块和池化层输出的结果输入至最后一个卷积层中，最后一个卷积层输出检测框的图像内容的位置特征。
其中，第一个卷积层和最后一个卷积层可以是7*7结构的卷积层。沙漏结构的数量取决于电子设备的计算性能，在计算性能越强的情况下，沙漏结构可以采用的越多。在一些实施例中，沙漏结构的数量最高为8个。
请一并参阅图8，图8是本申请实施例提供的沙漏结构的结构示意图。在该关键点识别模型中，多个沙漏结构的构造可以是相同的。每个沙漏包括四个残差模块、四个下采样模块、四个上采样模块。
如图8所示，沙漏结构对输入的数据进行通过下采样模块下采样处理，然后再经过中间的卷积层进行运算，卷积层的数量和结构可以根据实际情况进行调整，图中8只是示意。然后对沙漏结构的中间卷积层输出的数据通过上采样进行上采样处理。其中每个下采样模块和每个上采样模块中包括多个卷积层和池化层。
请结合图9，图9是本申请实施例提供的残差模块的结构示意图。其中，残差模块可以由128个1*1卷积层、128个3*3卷积层和256个1*1卷积层依次连接形成的。考虑到下采样和上采样的过程中，对数据是有所损失的，每个下采样模块输出的第一处理特征图经过对应的残差模块进行处理，得到第二处理特征图，然后第二处理特征图和第一处理特征图相加作为残差模块最终输出的结果。
由图8可知，在上采样的过程中，在输入上采样模块之前，都需要将残差模块输出的结果与上一个 结构输出的结果相加，作为上采样模块输入的数据。比如，残差模块4输出的结果和上采样模块3输出的结果相加，作为上采样模块4输入的数据。
在经过图7所示的关键点识别模型识别出检测框的图像内容的位置特征之后，由于检测框不唯一，可能同一个人体生成了多个检测框，而该关键点识别模型会对每个人体检测框检测得到一套目标关键点，这套目标关键点可以包括人体姿态。因此同一个人可能会得到多套人体姿态信息，需要对这些人体姿态信息进行筛选，得到效果最佳的一组。
具体可以采用以下筛选方式：首先获取每一套目标关键点的置信度，然后将置信度高的那一套目标关键点对应的人体姿态作为参照数据。然后获取剩余的每一套目标关键点的置信度，如果获取的置信度低于预设置信度阈值，则排除这一套目标关键点及其对应的人体姿态。
具体的，每一套目标关键点和作为参照数据的目标关键点之间的距离，可以通过Parametric Pose NMS(参数化姿态非最大化抑制，Parametric Pose Non-Maximum-Suppression NMS)模块来处理，可以通过以下方式计算：可以计算作为参照数据的目标关键点和待测的目标关键点之间的距离。其中计算公式为：
d(P i,P j)＝K(P i,P j)+λH(P i,P j)
其中K(P i,P j)用于衡量关键点之间的相似度，H(P i,P j)用于衡量关键点之间的空间距离。λ是一个系数。d(P i,P j)为参照数据的模板关键点和待测的目标关键点之间的距离。
其中，
Figure PCTCN2021074956-appb-000009
若
Figure PCTCN2021074956-appb-000010
在
Figure PCTCN2021074956-appb-000011
附近一定区域内，则
Figure PCTCN2021074956-appb-000012
其中，
Figure PCTCN2021074956-appb-000013
表示第i个人体姿态的关键点n，
Figure PCTCN2021074956-appb-000014
表示
Figure PCTCN2021074956-appb-000015
的置信度，σ 1和σ 2分别为常量，具体根据实际情况而定。
当参照数据的目标关键点和待测的目标关键点之间的距离小于预设测量阈值的情况下，则认为这两套目标关键点相似度过高，可能来自同一个人，排除待测的目标关键点。最终选取保留下的目标关键点及其对应的人体姿态。
最终将最终保留的目标关键点在步骤207中进行归一化处理，得到对应拍摄主体对应的归一化关键点。请继续参阅图2。
208、获取多张样本图片，并根据关键点识别模型识别出多张样本图片中的样本关键点。
需要说明的是，在将归一化关键点和目标构图模板对应的构图点匹配之前，还需要生成一个构图模板库。步骤208、步骤209、步骤210，可以在步骤211之前的任一位置，图2中所示的步骤208、步骤209和步骤210插入的步骤位置是为了方便对于本方案的理解，不应成为对本申请的限制。
可以理解的是，可以获取大量的包含人体构图的样本图片，然后利用关键点识别模型来识别出样本图片中的样本关键点，具体的和上述识别拍摄主体的目标关键点类似，在此不作赘述。
209、对每个样本图片的样本关键点进行归一化处理，得到候选构图点。
具体的对样本关键点进行归一化的过程，和上述对目标关键点进行归一化的过程类似，在此不作赘述。在对每个样本图片的样本关键点进行归一化处理后，得到候选构图点。其中每个样本对应的都有一套候选构图点。在进行归一化的过程中，每个样本都有对用的检测框宽高比。每个样本可以作为一个构图模板。
210、对所述候选构图点进行聚类处理，得到多个不同构图类别的构图模板及构图模板库。
可以将每个构图模板对应的候选构图点和宽高比作为特征进行Q型聚类，即多个样本组合形成一个样本集。其中每个样本都包含多个候选构图点，每个候选构图点都包含其坐标位置。
可以使用明氏距离衡量样本之间的相似度，例如，样本A＝(x 1,x 2,…,x n)，样本B＝(y 1,y 2,…,y n)，则样本A和样本B之间的距离为：
Figure PCTCN2021074956-appb-000016
其中P为正整数，x为A中的样本点，y为B中的样本点，n为样本点的编号，i为第i个样本点。
具体的，可以使用AGENS层次聚类算法进行聚类，根据样本集中人体姿态的分布确定构图类别的数量，人体姿态比较多变时可设置较多的构图类别，人体姿态较少时设置较少的构图类别。最终得到多个不同构图类别的构图模板及构图模板库。
比如，在根据聚类算法对候选构图点进行聚类处理后，能够得到多个不同的类别，每个类别之间是不同的，可以根据类别的数量来确定出构图类别的数量。比如每种类别可以对应一种人体摆拍姿势，每一种人体摆拍姿势可以作为一种构图类别，在人体摆拍姿势比较多时可设置较多的构图类别，人体摆拍姿势较少时可以设置较少的构图类别。最终可以根据构图类别确定出多个构图模板，多个构图模板组合成构图模板库。
211、判断目标关键点与目标构图模板对应的构图点是否匹配。
在一些实施例中，可以根据构图模板对应的候选构图点获取构图类别对应的类别中心。每个构图类别中包括多个构图模板，每个构图模板对应多个候选构图点，每个构图点都包括对应的坐标位置。可以将多个构图模板中的眼部候选构图点坐标求平均值，得到一个眼部中心坐标，则这个眼部中心坐标可以代表该构图类别中所有构图模板的眼部候选构图点。同理，可以获取一个构图类别中多个构图模板的类别中心。
然后判断多个类别中心与归一化关键点集之间的明式距离，根据明是距离选取与归一化关键点集距离最近的类别中心为目标构图模板。
然后根据目标构图模板中候选构图点的坐标信息和预览图像的宽度和高度信息，确定出目标构图模板在预览图像上的构图点。目标构图模板对应的构图点会显示在预览图像上，来生成构图建议。
然后计算目标关键点与目标构图模板对应的构图点之间的明式距离，若目标关键点与目标构图模板对应的构图点的明式距离不小于预设阈值，则进入步骤212中。若目标关键点与目标构图模板对应的构图点的明式距离小于预设阈值，则进入步骤213中。
212、输出用于指示调整电子设备拍摄姿态的提示信息。
可以理解的是，在目标关键点与目标构图模板对应的构图点的明式距离不小于预设阈值时，则在屏幕上生成构图提示信息。如图10所示，图10时本申请实施例提供的构图提示信息的示意图。
其中可以生成一个箭头，由目标关键点指向构图点，提示用户调整电子设备的拍摄姿态。需要说明的是，人体图像上包括多个目标关键点，图10中仅仅是示意其中之一。
其中，提示信息还可以是文字、字符、图画等其他提醒内容。每一个人体部位的目标关键点和对应的构图点可以是同一种颜色，比如，眼部目标管家点为蓝色，则眼部目标关键点对应的眼部构图点也是蓝色。人体的目标关键点可以是常显示效果的点。构图点可以是间隔显示效果的点，如同呼吸灯效果。
213、对拍摄场景进行拍摄，得到拍摄图像。
目标关键点与目标构图模板对应的构图点的明式距离小于预设阈值，电子设备可以自动拍摄当前的拍摄场景，生成拍摄图像。
综上所述，本申请实施例中，在拍照时通过获取拍摄场景的预览图像，对预览图像进行拍摄主体检测，得到拍摄主体对应的检测框；然后调用关键点识别模型对检测框中的图像内容进行关键点检测，得到拍摄主体的目标关键点；再根据检测框对目标关键点进行归一化处理，得到拍摄主体对应的归一化关键点；最后根据归一化关键点以及检测框，从构图模板库中确定出拍摄主体对应的目标构图模板；当目标关键点与目标构图模板对应的构图点不匹配时，输出用于指示调整电子设备拍摄姿态的提示信息。从而在拍照时提出构图建议。
请参阅图11，图11是本申请实施例提供的拍照装置的第一结构示意图。其中该装置可以包括：第一获取模块310、调用模块320、第一处理模块330、确定模块340、匹配模块350。
第一获取模块310，用于获取拍摄场景的预览图像，对所述预览图像进行拍摄主体检测，得到对应所述拍摄主体的检测框。
在一些实施例中，在捕获预览图像的时候，可以对预览图像进行识别，判断是否有拍摄主体，若存在拍摄主体的情况下，则对拍摄主体生成一个检测框。检测框中包含拍摄主体，检测框的形状可以是矩形、圆形、椭圆形等规则形状。也可以是不规则的形状，比如是拍摄主体的描边形状。
以拍摄主体为人体为例，可以使用人体检测模型对预览图像中的人体进行检测。比如，人体检测模型使用YOLO模型或SSD(Single Shot MultiBox Detector)模型等等。在人体检测模型检测人体时，会对人体生成一个矩形的检测框。
调用模块320，用于调用关键点识别模型对所述检测框中的图像内容进行关键点检测，得到所述拍摄主体的目标关键点。
在一些实施例中，预览图像中可以包括一个或多个拍摄主体，该一个或多个拍摄主体都有对应的关键点。以拍摄主体为人体为例，人体图像上包括多个关键点，比如头部、胸部、四肢、脖子、关节上都存在关键点。
调用模块320可以调用关键点识别模型识别出预览图像的关键点。但是并不是所有的关键点都是来自拍摄主体上的，还可能是其他物体上的。比如，预览图像上的背景图像上的关键点，或者是拍摄时的路人的关键点等等。同理，在人像检测框内容中也可能存在无用的关键点。
因此需要对关键点识别模型识别出来的关键点进行筛选，从而获得拍摄主体的目标关键点。
第一处理模块330，用于根据所述检测框对所述目标关键点进行归一化处理，得到对应所述拍摄主体的归一化关键点。
在本申请实施例中，第一处理模块330对目标关键点进行归一化处理，是为了方便后续和构图模板库中的数据进行对比，同时也有利于对目标关键点数据处理的过程。比如，每一个目标关键点在检测框的图像内容中都有一个二维坐标，即每一个目标关键点都包括横坐标和纵坐标。通过对目标关键点横坐标除以检测框的宽度得到处理关键点的横坐标，通过对目标关键点的纵坐标除以检测框的高度得到处理关键点的纵坐标，从而确定出处理关键点。同时也能够得到检测框的宽高之比。
确定模块340，用于根据所述归一化关键点以及所述检测框，从构图模板库中确定出所述拍摄主体对应的目标构图模板。
在一些实施例中，拍摄主体的目标关键点可以是多个，所以归一化关键点也有多个，归一化关键点可以生成一个归一化关键点集。而每一个构图模板中都包括至少一个候选构图点，则每一个构图模板可以认为是一个样本集。确定模块340通过归一化关键点集和样本集之间进行对比，可以从构图模板库中确定出拍摄主体对应的目标构图模板。其中，在归一化关键点集和样本集对比的过程中，归一化关键点的坐标和检测框的宽高比都是拍摄主体的特征。
匹配模块350，用于当所述目标关键点与所述目标构图模板对应的构图点不匹配时，输出用于指示调整电子设备拍摄姿态的提示信息。
在获取到目标构图模板之后，可以先获取目标构图模板中的目标候选构图点，然后根据预览图像的宽度和高度信息，根据预览图像的宽度和高度信息对目标候选构图点进行处理，得到预览图像上的构图点，也就是目标构图模板对应的构图点。
在一些实施例中，匹配模块350可以将构图点和目标关键点进行匹配。在构图点和目标关键点都为多个的情况下，可以认为目标关键点是一个集，构图点也是一个集，获取目标关键点和构图点之间的明式距离，当构图点和目标关键点之间的明式距离小于预设阈值的情况下，则认为构图点和目标关键点匹配成功。
若构图点和目标关键点之间的明式距离不小于预设阈值的情况下，则认为构图点和目标关键点不匹配，此时，可以在预览图像上生成用于指示调整电子设备拍摄姿态的提示信息。
用户可以对拍摄姿态进行调整，从而使得构图点和目标关键点匹配，从而进行拍照。
请一并参阅图12，图12是本申请实施例提供的拍照装置的第二结构示意图，其中该拍照装置还包 括：第二获取模块360、第二处理模块370、第三处理模块380。
第二获取模块360，用于获取多张样本图片，并根据所述关键点识别模型识别出多张所述样本图片中的样本关键点。
可以理解的是，可以获取大量的包含人体构图的样本图片，然后利用关键点识别模型来识别出样本图片中的样本关键点，具体的和上述识别拍摄主体的目标关键点类似，在此不作赘述。
第二处理模块370，用于对每个所述样本图片的所述样本关键点进行归一化处理，得到候选构图点。
具体的对样本关键点进行归一化的过程，和上述对目标关键点进行归一化的过程类似，在此不作赘述。在对每个样本图片的样本关键点进行归一化处理后，得到候选构图点。其中每个样本对应的都有一套候选构图点。在进行归一化的过程中，每个样本都有对用的检测框宽高比。每个样本可以作为一个构图模板。
第三处理模块380，用于对所述候选构图点进行聚类处理，得到多个不同构图类别的构图模板及所述构图模板库。
第三处理模块380可以将每个构图模板对应的候选构图点和宽高比作为特征进行Q型聚类，即多个样本组合形成一个样本集。其中每个样本都包含多个候选构图点，每个候选构图点都包含其坐标位置。
具体的，第三处理模块380可以使用AGENS层次聚类算法进行聚类，根据样本集中人体姿态的分布确定构图类别的数量，人体姿态比较多变时可设置较多的构图类别，人体姿态较少时设置较少的构图类别。最终得到多个不同构图类别的构图模板及构图模板库。
综上所述，本申请实施例中，在拍照时通过获取拍摄场景的预览图像，对预览图像进行拍摄主体检测，得到拍摄主体对应的检测框；然后调用关键点识别模型对检测框中的图像内容进行关键点检测，得到拍摄主体的目标关键点；再根据检测框对目标关键点进行归一化处理，得到拍摄主体对应的归一化关键点；最后根据归一化关键点以及检测框，从构图模板库中确定出拍摄主体对应的目标构图模板；当目标关键点与目标构图模板对应的构图点不匹配时，输出用于指示调整电子设备拍摄姿态的提示信息。从而在拍照时提出构图建议。
相应的，本申请实施例还提供一种电子设备，如图13所示，图13是本身实施例提供的电子设备的结构示意图。该电子设备可以包括、包括有一个或一个以上计算机可读存储介质的输入单元410、显示单元420、电源430、WIFI模块440、传感器450、存储器460以及包括有一个或者一个以上处理核心的处理器470等部件。本领域技术人员可以理解，图13中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
输入单元410可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器470，并能接收处理器470发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元410还可以包括其他输入设备。
显示单元420可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器470以确定触摸事件的类型，随后处理器470根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图13中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
WiFi属于短距离无线传输技术，电子设备通过WiFi模块440可以帮助用户收发文件、浏览网页和WiFi定位等，它为用户提供了无线的宽带互联网访问。
电子设备还可包括至少一种传感器450，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器。运动传感器可包括重力加速度传感器、陀螺仪等传感器；电 子设备还可以包括气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
存储器460可用于存储软件程序以及模块，处理器470通过运行存储在存储器460的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器460可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器460可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器460还可以包括存储器控制器，以提供处理器470和输入单元410对存储器460的访问。
处理器470是电子设备的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器460内的软件程序和/或模块，以及调用存储在存储器460内的数据，执行电子设备的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器470可包括一个或多个处理核心；优选的，处理器470可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器470中。
电子设备还包括给各个部件供电的电源430(比如电池)，优选的，电源可以通过电源管理系统与处理器470逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源430还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，电子设备还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备中的处理器470会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器460中，并由处理器470来运行存储在存储器460中的应用程序，从而实现各种功能：
获取拍摄场景的预览图像，对所述预览图像进行拍摄主体检测，得到所述拍摄主体对应的检测框；
调用关键点识别模型对所述检测框中的图像内容进行关键点检测，得到所述拍摄主体的目标关键点；
根据所述检测框对所述目标关键点进行归一化处理，得到所述拍摄主体对应的归一化关键点；
根据所述归一化关键点以及所述检测框，从构图模板库中确定出所述拍摄主体对应的目标构图模板；
当所述目标关键点与所述目标构图模板对应的构图点不匹配时，输出用于指示调整电子设备拍摄姿态的提示信息。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种拍照方法中的步骤。例如，该指令可以执行如下步骤：
获取拍摄场景的预览图像，对所述预览图像进行拍摄主体检测，得到所述拍摄主体对应的检测框；
调用关键点识别模型对所述检测框中的图像内容进行关键点检测，得到所述拍摄主体的目标关键点；
根据所述检测框对所述目标关键点进行归一化处理，得到所述拍摄主体对应的归一化关键点；
根据所述归一化关键点以及所述检测框，从构图模板库中确定出所述拍摄主体对应的目标构图模板；
当所述目标关键点与所述目标构图模板对应的构图点不匹配时，输出用于指示调整电子设备拍摄姿态的提示信息。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种拍照方法中的步骤，因此，可以实现本申请实施例所提供的任一种拍照方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种拍照方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (20)

  1. 一种拍照方法，其中，所述方法包括：
    获取拍摄场景的预览图像，对所述预览图像进行拍摄主体检测，得到所述拍摄主体对应的检测框；
    调用关键点识别模型对所述检测框中的图像内容进行关键点检测，得到所述拍摄主体的目标关键点；
    根据所述检测框对所述目标关键点进行归一化处理，得到所述拍摄主体对应的归一化关键点；
    根据所述归一化关键点以及所述检测框，从构图模板库中确定出所述拍摄主体对应的目标构图模板；
    当所述目标关键点与所述目标构图模板对应的构图点不匹配时，输出用于指示调整电子设备拍摄姿态的提示信息。
  2. 根据权利要求1所述的拍照方法，其中，所述关键点识别模型包括：第一子模型和第二子模型；
    所述调用关键点识别模型对所述检测框中的图像内容进行关键点检测，包括：
    将所述检测框中的图像内容输入至所述第一子模型，得到所述预览图像的特征图；
    将所述特征图输入至所述第二子模型，得到所述图像内容的目标连接特征和目标位置特征；
    根据所述目标连接特征和所述目标位置特征对所述图像内容进行关键点检测，得到所述图像内容的关键点。
  3. 根据权利要求2所述的拍照方法，其中，所述关键点识别模型包括多个所述第二子模型，多个所述第二子模型依次连接，所述第一子模型与第一个所述第二子模型连接；
    所述将所述特征图输入至所述第二子模型，得到所述预览图像的目标连接特征和目标位置特征，包括：
    将所述特征图输入至第一个所述第二子模型中，得到第一个所述第二子模型输出的连接特征和位置特征；
    除第一个所述第二子模型的剩余所述第二子模型中，将所述特征图及上一个所述第二子模型输出的连接特征和位置特征输入至下一个所述第二子模型中，得到下一个所述第二子模型输出的连接特征和位置特征，直至获取到最后一个所述第二子模型输出的所述目标连接特征和所述目标位置特征为止。
  4. 根据权利要求3所述的拍照方法，其中，所述第二子模型包括：连接模块和位置模块；
    所述第一个第二子模型的连接模块包括多个第一卷积层和多个第二卷积层，多个所述第一卷积层依次连接，多个所述第二卷积层依次连接，最后一个所述第一卷积层与第一个所述第二卷积层连接，最后一层所述第二卷积层输出所述第一个第二子模型的连接特征；
    所述第一个第二子模型的位置模块包括多个第一卷积层和多个第二卷积层，多个所述第一卷积层依次连接，多个所述第二卷积层依次连接，最后一个所述第一卷积层与第一个所述第二卷积层连接，最后一层所述第二卷积层输出所述第一个第二子模型的位置特征。
  5. 根据权利要求3所述的拍照方法，其中，所述第二子模型包括：连接模块和位置模块；
    所述剩余第二子模型的连接模块包括多个第三卷积层和多个第二卷积层，所述多个第三卷积层依次连接，所述多个第二卷积层依次连接，最后一个所述第三卷积层与第一个所述第二卷积层依次连接，最后一个所述第二卷积层输出所述剩余第二子模型的连接特征；
    所述剩余第二子模型的位置模块包括多个第三卷积层和多个第二卷积层，所述多个第三卷积层依次连接，所述多个第二卷积层依次连接，最后一个所述第三卷积层与第一个所述第二卷积层依次连接，最后一个所述第二卷积层输出所述剩余第二子模型的位置特征。
  6. 根据权利要求2所述的拍照方法，其中，所述调用关键点识别模型对所述检测框中的图像内容进行关键点检测，得到所述拍摄主体的目标关键点，包括：
    根据所述目标位置特征确定所述关键点中的候选关键点；
    根据所述目标连接特征和所述候选关键点确定所述拍摄主体的所述目标关键点。
  7. 根据权利要求6所述的拍照方法，其中，所述根据所述目标位置特征确定所述关键点中的候选关键点，包括：
    确定所述目标位置特征中的最大值的位置；
    将所述最大值的位置作为所述候选关键点。
  8. 根据权利要求1-5任一项所述的拍照方法，其中，根据所述检测框对所述目标关键点进行归一化处理，得到所述拍摄主体对应的归一化关键点，包括：
    获取所述检测框的宽度和高度；
    根据所述宽度对所述目标关键点的横坐标进行归一化处理，并根据所述高度对所述目标关键点的纵坐标进行归一化处理，得到所述处理关键点。
  9. 根据权利要求1-5任一项所述的拍照方法，其中，在所述根据所述归一化关键点以及所述检测框，从构图模板库中确定出所述拍摄主体对应的目标构图模板之前，所述方法还包括：
    获取多张样本图片，并根据所述关键点识别模型识别出多张所述样本图片中的样本关键点；
    对每个所述样本图片的所述样本关键点进行归一化处理，得到候选构图点；
    对所述候选构图点进行聚类处理，得到多个不同构图类别的构图模板及所述构图模板库。
  10. 根据权利要求9所述的拍照方法，其中，在所述得到多个不同构图类别的构图模板及所述构图模板库之前，所述方法还包括：
    获取所述对候选构图点进行聚类处理得到的类别数量；
    根据所述类别数量确定出所述多个不同构图类别。
  11. 根据权利要求9所述的拍照方法，其中，所述根据所述归一化关键点以及所述检测框，从构图模板库中确定出所述拍摄主体对应的目标构图模板，包括：
    根据所述构图模板对应的候选构图点获取所述构图类别对应的类别中心；
    根据所述检测框及所述归一化关键点确定与所述处理关键点距离最近的所述类别中心；
    根据所述最近的类别中心确定所述目标构图模板。
  12. 根据权利要求11所述的拍照方法，其中，在所述根据所述归一化关键点以及所述检测框，从构图模板库中确定出所述拍摄主体对应的目标构图模板之后，所述方法还包括：
    获取所述目标构图模板的目标候选构图点；
    根据所述预览图像的宽度和高度以及所述目标候选构图点确定所述预览目标构图模板对应的构图点。
  13. 根据权利要求1-5任一项所述的拍照方法，其中，在所述当所述目标关键点与所述目标构图模板对应的构图点不匹配时，输出用于指示调整电子设备拍摄姿态的提示信息之前，所述方法还包括：
    判断所述目标关键点与所述目标构图模板对应的构图点是否匹配；
    所述判断所述目标关键点与所述目标构图模板对应的构图点是否匹配，包括：
    当所述目标关键点与所述目标构图模板对应的构图点不匹配时，输出用于指示调整电子设备拍摄姿态的提示信息；
    当所述目标关键点与所述构图点匹配时，对所述拍摄场景进行拍摄，得到拍摄图像。
  14. 一种拍照装置，其中，所述装置包括：
    第一获取模块，用于获取拍摄场景的预览图像，对所述预览图像进行拍摄主体检测，得到对应所述拍摄主体的检测框；
    调用模块，用于调用关键点识别模型对所述检测框中的图像内容进行关键点检测，得到所述拍摄主体的目标关键点；
    第一处理模块，用于根据所述检测框对所述目标关键点进行归一化处理，得到对应所述拍摄主体的归一化关键点；
    确定模块，用于根据所述归一化关键点以及所述检测框，从构图模板库中确定出所述拍摄主体对应的目标构图模板；
    匹配模块，用于当所述目标关键点与所述目标构图模板对应的构图点不匹配时，输出用于指示调整电子设备拍摄姿态的提示信息。
  15. 根据权利要求14所述的拍照装置，其中，所述装置还包括：
    第二获取模块，用于获取多张样本图片，并根据所述关键点识别模型识别出多张所述样本图片中的样本关键点；
    第二处理模块，用于对每个所述样本图片的所述样本关键点进行归一化处理，得到候选构图点；
    第三处理模块，用于对所述候选构图点进行聚类处理，得到多个不同构图类别的构图模板及所述构图模板库。
  16. 一种电子设备，其中，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行：
    获取拍摄场景的预览图像，对所述预览图像进行拍摄主体检测，得到所述拍摄主体对应的检测框；
    调用关键点识别模型对所述检测框中的图像内容进行关键点检测，得到所述拍摄主体的目标关键点；
    根据所述检测框对所述目标关键点进行归一化处理，得到所述拍摄主体对应的归一化关键点；
    根据所述归一化关键点以及所述检测框，从构图模板库中确定出所述拍摄主体对应的目标构图模板；
    当所述目标关键点与所述目标构图模板对应的构图点不匹配时，输出用于指示调整电子设备拍摄姿态的提示信息。
  17. 根据权利要求16所述的电子设备，其中，所述关键点识别模型包括第一子模型和第二子模型，所述处理器用于执行：
    将所述检测框中的图像内容输入至所述第一子模型，得到所述预览图像的特征图；
    将所述特征图输入至所述第二子模型，得到所述图像内容的目标连接特征和目标位置特征；
    根据所述目标连接特征和所述目标位置特征对所述图像内容进行关键点检测，得到所述图像内容的关键点。
  18. 根据权利要求17所述的电子设备，其中，所述关键点识别模型包括多个所述第二子模型，多个所述第二子模型依次连接，所述第一子模型与第一个所述第二子模型连接，所述处理器用于执行：
    将所述特征图输入至第一个所述第二子模型中，得到第一个所述第二子模型输出的连接特征和位置特征；
    除第一个所述第二子模型的剩余所述第二子模型中，将所述特征图及上一个所述第二子模型输出的连接特征和位置特征输入至下一个所述第二子模型中，得到下一个所述第二子模型输出的连接特征和位置特征，直至获取到最后一个所述第二子模型输出的所述目标连接特征和所述目标位置特征为止。
  19. 根据权利要求17所述的电子设备，其中，所述处理器用于执行：
    根据所述目标位置特征确定所述关键点中的候选关键点；
    根据所述目标连接特征和所述候选关键点确定所述拍摄主体的所述目标关键点。
  20. 一种存储介质，其中，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1-13任一项所述的拍照方法中的步骤。
PCT/CN2021/074956 2020-03-06 2021-02-03 拍照方法、装置、电子设备及存储介质 WO2021175069A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010153535.8 2020-03-06
CN202010153535.8A CN111327828B (zh) 2020-03-06 2020-03-06 拍照方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
WO2021175069A1 true WO2021175069A1 (zh) 2021-09-10

Family

ID=71173294

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/074956 WO2021175069A1 (zh) 2020-03-06 2021-02-03 拍照方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN111327828B (zh)
WO (1) WO2021175069A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117457193A (zh) * 2023-12-22 2024-01-26 之江实验室 一种基于人体关键点检测的体态健康监测方法及系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111327828B (zh) * 2020-03-06 2021-08-24 Oppo广东移动通信有限公司 拍照方法、装置、电子设备及存储介质
CN115835010A (zh) 2020-08-27 2023-03-21 荣耀终端有限公司 一种拍摄方法及终端
CN112364807B (zh) * 2020-11-24 2023-12-15 深圳市优必选科技股份有限公司 图像识别方法、装置、终端设备及计算机可读存储介质
CN112492201B (zh) * 2020-11-25 2022-10-14 维沃移动通信有限公司 拍照方法、装置及电子设备
EP3905123A3 (en) 2020-12-11 2022-01-05 Beijing Baidu Netcom Science And Technology Co. Ltd. Human body identification method and apparatus, electronic device, storage medium and program product
CN113055594A (zh) * 2021-03-11 2021-06-29 百度在线网络技术（北京）有限公司 图像的获取方法和装置
CN113421196B (zh) * 2021-06-08 2023-08-11 杭州逗酷软件科技有限公司 图像处理方法及相关装置
CN113489897B (zh) * 2021-06-28 2023-05-26 杭州逗酷软件科技有限公司 图像处理方法及相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130155293A1 (en) * 2011-12-16 2013-06-20 Samsung Electronics Co., Ltd. Image pickup apparatus, method of providing composition of image pickup and computer-readable recording medium
CN109194879A (zh) * 2018-11-19 2019-01-11 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及移动终端
CN109684911A (zh) * 2018-10-30 2019-04-26 百度在线网络技术（北京）有限公司 表情识别方法、装置、电子设备及存储介质
CN109788191A (zh) * 2018-12-21 2019-05-21 中国科学院自动化研究所南京人工智能芯片创新研究院 拍照方法、装置、计算机设备和存储介质
CN110113523A (zh) * 2019-03-15 2019-08-09 深圳壹账通智能科技有限公司 智能拍照方法、装置、计算机设备及存储介质
CN110659596A (zh) * 2019-09-11 2020-01-07 高新兴科技集团股份有限公司 案管场景下人脸关键点定位方法、计算机存储介质及设备
CN111327828A (zh) * 2020-03-06 2020-06-23 Oppo广东移动通信有限公司 拍照方法、装置、电子设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011211493A (ja) * 2010-03-30 2011-10-20 Sony Corp 撮像装置、表示方法及びプログラム
CN108513073A (zh) * 2018-04-13 2018-09-07 朱钢 一种具备摄影师构图意识的手机拍照机能的实现方法
CN110472462A (zh) * 2018-05-11 2019-11-19 北京三星通信技术研究有限公司 姿态估计方法、基于姿态估计的处理方法及电子设备
CN108769536A (zh) * 2018-07-06 2018-11-06 深圳市赛亿科技开发有限公司 照片拍摄的构图方法、构图装置及计算机可读存储介质
CN109660719A (zh) * 2018-12-11 2019-04-19 维沃移动通信有限公司 一种信息提示方法及移动终端
CN109948420A (zh) * 2019-01-04 2019-06-28 平安科技（深圳）有限公司 人脸比对方法、装置及终端设备
CN110570460B (zh) * 2019-09-06 2024-02-13 腾讯云计算（北京）有限责任公司 目标跟踪方法、装置、计算机设备及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130155293A1 (en) * 2011-12-16 2013-06-20 Samsung Electronics Co., Ltd. Image pickup apparatus, method of providing composition of image pickup and computer-readable recording medium
CN109684911A (zh) * 2018-10-30 2019-04-26 百度在线网络技术（北京）有限公司 表情识别方法、装置、电子设备及存储介质
CN109194879A (zh) * 2018-11-19 2019-01-11 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及移动终端
CN109788191A (zh) * 2018-12-21 2019-05-21 中国科学院自动化研究所南京人工智能芯片创新研究院 拍照方法、装置、计算机设备和存储介质
CN110113523A (zh) * 2019-03-15 2019-08-09 深圳壹账通智能科技有限公司 智能拍照方法、装置、计算机设备及存储介质
CN110659596A (zh) * 2019-09-11 2020-01-07 高新兴科技集团股份有限公司 案管场景下人脸关键点定位方法、计算机存储介质及设备
CN111327828A (zh) * 2020-03-06 2020-06-23 Oppo广东移动通信有限公司 拍照方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117457193A (zh) * 2023-12-22 2024-01-26 之江实验室 一种基于人体关键点检测的体态健康监测方法及系统
CN117457193B (zh) * 2023-12-22 2024-04-02 之江实验室 一种基于人体关键点检测的体态健康监测方法及系统

Also Published As

Publication number Publication date
CN111327828A (zh) 2020-06-23
CN111327828B (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
WO2021175069A1 (zh) 拍照方法、装置、电子设备及存储介质
US11151360B2 (en) Facial attribute recognition method, electronic device, and storage medium
WO2021179831A1 (zh) 拍照方法、装置、电子设备及存储介质
CN110647865B (zh) 人脸姿态的识别方法、装置、设备及存储介质
WO2020010979A1 (zh) 手部关键点的识别模型训练方法、识别方法及设备
US11205086B2 (en) Determining associations between objects and persons using machine learning models
WO2019128508A1 (zh) 图像处理方法、装置、存储介质及电子设备
WO2020048308A1 (zh) 多媒体资源分类方法、装置、计算机设备及存储介质
US20210174146A1 (en) Training set sufficiency for image analysis
WO2020078119A1 (zh) 模拟用户穿戴服装饰品的方法、装置和系统
JP2020522285A (ja) 全身測定値抽出のためのシステムおよび方法
WO2016177259A1 (zh) 一种相似图像识别方法及设备
US9443325B2 (en) Image processing apparatus, image processing method, and computer program
WO2021175071A1 (zh) 图像处理方法、装置、存储介质及电子设备
JP2016170542A (ja) 画像処理装置、画像処理方法及びプログラム
WO2021169754A1 (zh) 构图提示方法、装置、存储介质及电子设备
CN109189879A (zh) 电子书籍显示方法及装置
CN113569614A (zh) 虚拟形象生成方法、装置、设备及存储介质
WO2019056503A1 (zh) 门店监控评价方法、装置及存储介质
WO2021179830A1 (zh) 构图指导方法、装置及电子设备
WO2022042120A1 (zh) 目标图像提取方法、神经网络训练方法及装置
CN111709268B (zh) 一种深度图像中的基于人手结构指导的人手姿态估计方法和装置
TW202011284A (zh) 眼睛狀態檢測系統及眼睛狀態檢測系統的操作方法
US20220319231A1 (en) Facial synthesis for head turns in augmented reality content
CN116129526A (zh) 合拍控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21765336

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021765336

Country of ref document: EP

Effective date: 20220921

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21765336

Country of ref document: EP

Kind code of ref document: A1