WO2022262763A1 - 图像构图质量评估方法及装置 - Google Patents

图像构图质量评估方法及装置 Download PDF

Info

Publication number
WO2022262763A1
WO2022262763A1 PCT/CN2022/098907 CN2022098907W WO2022262763A1 WO 2022262763 A1 WO2022262763 A1 WO 2022262763A1 CN 2022098907 W CN2022098907 W CN 2022098907W WO 2022262763 A1 WO2022262763 A1 WO 2022262763A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
score
composition quality
specific
specific target
Prior art date
Application number
PCT/CN2022/098907
Other languages
English (en)
French (fr)
Inventor
龙良曲
符峥
Original Assignee
影石创新科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 影石创新科技股份有限公司 filed Critical 影石创新科技股份有限公司
Publication of WO2022262763A1 publication Critical patent/WO2022262763A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • the present application relates to the technical field of image processing, and in particular to an image composition quality evaluation method, device, electronic equipment, and computer-readable storage medium.
  • Image Aesthetic Quality Assessment is the use of computers to simulate human perception and understanding of beauty, and automatically evaluate the "beauty" of images, mainly for aesthetic factors such as composition, color, light and shadow, depth of field, virtual reality, etc. of photographed or painted images The aesthetic stimulation formed by the effect. With the improvement of cloud computing capabilities and the rise of artificial intelligence research, it is one of the hot spots in image processing technology to evaluate image quality from an aesthetic point of view through computers.
  • Traditional image quality evaluation is generally to automatically evaluate the degree of image distortion through computer simulation of the human visual system, mainly for image quality degradation in the process of image acquisition, compression, processing, transmission and display, usually including poor imaging conditions. Distortion, distortion caused by lossy compression, noise, distortion caused by channel attenuation during image transmission, etc.
  • the object of the present invention is to provide an image composition quality assessment method, device, electronic equipment and computer-readable storage medium, aiming at solving the defects existing in the existing image quality assessment methods.
  • an embodiment of the present invention provides a method for assessing image composition quality, the method comprising: 101: Obtaining the integrity score and position score in the image of at least one specific target; 102: Compositional quality of the image is assessed based on the completeness score and the position score of at least one specific object.
  • the integrity score in step 101 is obtained by inputting the image to be detected into a specific target integrity detection model.
  • the construction method of the above-mentioned specific target integrity detection model includes: 201: Acquiring multiple images containing specific targets and multiple images without specific targets; Marking and scoring; 203: Input the marked image into the pre-built convolutional neural network for training, and generate a trained specific target integrity detection model.
  • the step 202 includes: marking the image containing the complete specific target as the first category and setting the first score; marking the image containing the main part of the specific target as the second category And set the second score; mark the images containing other parts of the specific target as the third class and set the third score; mark the images that do not contain the specific target as the fourth class and set the fourth score.
  • the step 203 also includes scaling all images to the same specific size.
  • the position score is associated with the distance from the center position of the specific target to the center position of the image, that is, the position score can be obtained by calculating the distance from the center position of the specific target to the center position of the image.
  • the embodiment of the present invention also provides a video composition quality evaluation method, the method includes: 301: acquiring each video frame of the video to be evaluated; 302: composing each video frame according to the aforementioned image composition quality evaluation method Quality evaluation; 303: Evaluate the composition quality of the video according to the composition quality evaluation results of each video frame.
  • the embodiment of the present invention also provides an image composition quality evaluation device, the device includes: an acquisition module, used to acquire the completeness score in the image and the position score in the image of at least one specific target; the composition A quality assessment module for assessing the compositional quality of the image based on the completeness score and the position score of at least one specific object.
  • the present invention provides an electronic device, comprising: a memory storing a computer program; a processor configured to execute the computer program to implement the above method for evaluating image composition quality.
  • the present invention provides a computer-readable storage medium, where a computer program is stored on the computer-readable storage medium, and when the computer program is executed by a processor, the above is implemented to realize the above image composition quality evaluation method .
  • the present invention evaluates the integrity and location rationality of the specific target in the image, solves the traditional aesthetic evaluation of the underlying visual features, and does not fully consider the integrity and location of the object in the image Factors such as rationality help to filter images with poor composition quality in automatic clipping.
  • FIG. 1 is a flow chart of an image composition quality evaluation method in Embodiment 1 of the present invention.
  • FIG. 2 is a flow chart of building a specific target integrity detection model in Embodiment 1 of the present invention.
  • Fig. 3 is the sub-step flowchart of step 102 in embodiment 1 of the present invention
  • Fig. 4 is a flow chart of the image composition quality evaluation method in Embodiment 2 of the present invention.
  • Fig. 5 is a flow chart of a method for evaluating video composition quality in Embodiment 3 of the present invention.
  • Fig. 6 is a structural block diagram of an image composition quality evaluation device in Embodiment 4 of the present invention.
  • Fig. 7 is a structural block diagram of an electronic device in Embodiment 5 of the present invention.
  • this embodiment discloses a method for evaluating image composition quality, which includes the following steps.
  • the specific target in this embodiment refers to the target used to evaluate the quality of image composition, which can be a class of objects (such as birds, fish, etc.), or a separate individual (such as a certain person, a certain dog, etc.), so , if the image contains multiple objects or persons, if the specific targets are not the same, the completeness score and the position score will also be different.
  • a class of objects such as birds, fish, etc.
  • a separate individual such as a certain person, a certain dog, etc.
  • the user can select one or more specific targets on the relevant interface, or the image can be detected by a standard detection model One or more specific targets in .
  • the completeness score can be set for the image from four dimensions: the first score is set for the image containing the complete specific target, the second score is set for the image containing the main components of the specific target, and the other score is set for the image containing the specific target.
  • a third score is set for the images that form part, and a fourth score is set for the images that do not contain any part of the particular object, wherein the first to fourth scores are different.
  • the position score is related to the distance from the center position (such as the geometric center) of the specific target to the center position of the image.
  • the location score can be discrete, for example, set the first score for the center position of the specific target to the image center position less than the first distance, set the second score for the distance between the first distance and the second distance, and so on; position
  • the score can also be generated based on a statistical model.
  • a 2D Gaussian model is used to simulate the location score density of a specific target.
  • the expression of the 2D Gaussian model is as follows:
  • ⁇ is the center position of the picture or the coordinates of the position near the center of the picture
  • the decay rate of the position score can be adjusted by adjusting the covariance matrix ⁇ .
  • the completeness scoring process in this embodiment will be described below by taking the specific target as a person as an example.
  • the integrity score of the person in this embodiment is obtained by inputting the image to be detected into the integrity detection model of the person.
  • the construction method of the character integrity detection model in this embodiment is as follows.
  • multiple images that contain people and multiple images that do not contain people are obtained. It should be noted that the people in the images should meet the diversity to meet the robustness of the model. , clothing, location, multiple characters, etc. have enough images.
  • the pictures are divided into four categories according to the completeness of the characters in the images. Specifically, the images containing complete characters are marked as the first category and the first score is set; the images containing the main parts of the characters are marked as The second category and set the second score; mark the images containing other parts of the person as the third category and set the third score; mark the image that does not contain the person as the fourth category and set the fourth score, where each score can be The same may also be different. The details are shown in the table below.
  • the network parameters can be optimized by calculating the cross-entropy loss value between the output probability distribution of the deep neural network and the real category.
  • the image to be detected can be input into the model to obtain the probability distribution of the character integrity output by the character integrity detection model, and the category with the highest probability is selected and converted into a score.
  • the image to be detected is scaled to a size of 224 through a bilinear difference scaling algorithm, and then through a deep neural network, a category probability distribution vector R 4 representing the integrity of the human body in the image is obtained, directly using the deep neural network Output as the prediction probability vector of the picture, and select the index number with the highest probability as its category prediction result, and then obtain the character's integrity score S category .
  • location scores can be obtained by feeding images into a correlation model or computer.
  • step 102 includes the following two sub-steps in this embodiment.
  • the completeness score and position score of a person in the image are obtained through step 101, and then the composition quality score of the person is obtained by weighting and summing the completeness score and position score of the person.
  • S category-i is the integrity score of the i-th person
  • S position-i is the position score of the i-th person.
  • the image composition quality evaluation score S of multiple characters is:
  • the multiple specific objects may belong to different categories, for example, two specific objects are a person and a pet respectively.
  • this embodiment discloses another method for evaluating image composition quality.
  • the integrity score in the image and the position score in the image for a specific target are basically the same, the difference is that in this embodiment, in addition to obtaining the integrity score and In addition to the position score in the image, the frame ratio S proportion of the specific target in the image is also scored.
  • the screen ratio score is related to a specific goal, that is, the screen ratio score is different for different specific goals. For example, it is more appropriate for the proportion of the figure in the image to be 1/6 to 1/3, and the score of the proportion of the picture in this case is higher; another example, the proportion of the bird in the image is 1/24 to 1 /12 is more suitable, in this case the screen ratio score is higher.
  • the specific implementation method is: according to the category and area of the specific target detected by the detector, calculate the ratio or difference between the actual frame ratio and the ideal frame ratio of the specific target in the image to generate a frame ratio score .
  • this embodiment discloses a method for evaluating video composition quality, which includes the following steps.
  • Each video frame of a video captured by a shooting device is acquired, and the shooting device includes but is not limited to a camera, a smart phone, and the like.
  • composition quality of each video frame is evaluated according to the composition quality evaluation method in Embodiment 1 or Embodiment 2, and the composition quality score of each video frame is obtained.
  • step 302 the composition quality score of each video frame can be obtained, and then the composition quality of the video is evaluated according to the average score of the composition quality scores of each video frame.
  • this embodiment discloses an image composition quality assessment device, which includes: an acquisition module for acquiring the completeness score in the image and the position score in the image of at least one specific target; composition A quality assessment module for assessing the compositional quality of the image based on the completeness score and the position score of at least one specific object.
  • the completeness score and the position score can refer to the relevant description in Embodiment 1.
  • the obtaining module can also be used to obtain the frame ratio score of at least one specific object in the image
  • the composition quality evaluation module is used to obtain the completeness score, position score and frame ratio of at least one specific object Score to evaluate the compositional quality of an image.
  • this embodiment discloses an electronic device, including: a memory, the memory stores a computer program; a processor, the processor is used to execute the computer program to implement embodiment 1 or embodiment 2
  • the electronic device in this embodiment may specifically be a camera or a mobile phone.
  • a computer-readable storage medium is provided in this embodiment, and a computer program is stored on the computer-readable storage medium, and when the computer program is executed by a processor, the image composition quality in Embodiment 1 or Embodiment 2 can be realized Evaluation method, or realize the video composition quality evaluation method in embodiment 3.
  • the storage medium can be a computer-readable storage medium, for example, a ferroelectric memory (FRAM , Ferromagnetic Random Access Memory), Read Only Memory (ROM, Read Only Memory), Programmable Read Only Memory (PROM, Programmable Read Only Memory), Erasable Programmable Read Only Memory (EPROM, Erasable Programmable Read Only Memory), Electrically Erasable Programmable Read Only Memory (EEPROM, Electrically Erasable Programmable Read Only Memory), flash memory, magnetic surface memory, optical disc, or CD-ROM (Compact Disk-Read Only Memory) and other memories; it can also be Various devices including one or any combination of the above memories.
  • FRAM ferroelectric memory
  • ROM Read Only Memory
  • PROM Programmable Read Only Memory
  • EPROM Erasable Programmable Read Only Memory
  • EEPROM Electrically Erasable Programmable Read Only Memory
  • flash memory magnetic surface memory, optical disc, or CD-ROM (Compact Disk-Read Only Memory) and other memories; it can also be Various devices including one or any combination of the above

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种图像构图质量评估方法、基于图像构图质量评估方法的视频构图质量评估方法、装置、电子设备及计算机可读存储介质。方法包括：101：获取至少一个特定目标在图像中的完整度评分以及在图像中的位置评分；102：根据至少一个特定目标的完整度评分和位置评分来评估图像的构图质量。通过对图像中的特定目标的完整性和位置合理性进行评估，解决了传统的底层视觉特征进行美学评价，没有充分考虑图像中的物体的完整性和位置合理性等问题，有助于在自动剪辑中过滤构图质量较差的图像。

Description

图像构图质量评估方法及装置 技术领域
本申请涉及图像处理技术领域，具体涉及一种图像构图质量评估方法、装置、电子设备及计算机可读存储介质。
背景技术
图像美学质量评价(Image Aesthetic Quality Assessment)是利用计算机模拟人类对美的感知与理解，自动评价图像的“美感”，主要针对拍摄或绘画的图像在构图、颜色、光影、景深、虚实等美学因素方面的效果形成的美感刺激。随着云计算能力的提升和人工智能研究的兴起，通过计算机从美学角度对图像质量进行评估是图像处理技术的热点之一。
传统的图像质量评价一般是通过计算机模拟人类视觉系统自动评价图像的失真程度，主要是针对图像在采集、压缩、处理、传输及显示等过程中产生图像质量下降情况，通常包括成像条件差而引起的失真、有损压缩引起的失真、噪声、图像传输过程中受信道衰减影响引起的失真等。
技术问题
但我们在评估图像的时，不仅要考虑图像质量本身，还要考虑图像内容(即图像美学质量评价)，比如，图像的人物是否完整，位置是否居中、占画面的比例是否合适等。
因此，有必要提供一种图像构图质量评估方法。
技术解决方案
本发明的目的在于提供一种图像构图质量评估方法、装置、电子设备及计算机可读存储介质，旨在解决现有图像质量评估方法存在的缺陷。
第一方面，本发明的一实施例中提供了一种图像构图质量评估方法，该方法包括：101：获取至少一个特定目标的在图像中的完整度评分以及在图像中的位置评分；102：根据至少 一个特定目标的完整度评分和位置评分来评估图像的构图质量。
在本实施例的优化方案中，所述步骤101为：获取至少一个特定目标的在图像中的完整度评分、在图像中的位置评分以及在图像中的画面占比评分；所述步骤102为：根据至少一个特定目标的完整度评分、位置评分和画面占比评分来评估图像的构图质量。
在本实施例的一具体方案中，所述步骤101中的完整度评分是通过将待检测图像输入特定目标完整度检测模型后获得。
进一步地，上述特定目标完整度检测模型的构建方法包括：201：获取多张含有特定目标的图像和多张不含特定目标的图像；202：根据图像中的特定目标的完整度对每张图像进行标注并评分；203：将标注后的图像输入预先构建的卷积神经网络进行训练，生成训练好的特定目标完整度检测模型。
进一步地，在本实施例的具体方案中，所述步骤202包括：将包含完整特定目标的图像标记为第一类并设置第一分数；将包含特定目标的主要部位的图像标记为第二类并设置第二分数；将包含特定目标其他部位的图像标记为第三类并设置第三分数；将不包含特定目标的图像标记为第四类并设置第四分数。
进一步地，为方便特定目标的完整度检测模型设计，所述步骤203还包括将所有图像缩放至同一特定尺寸。
进一步地，在本实施例的一个具体方案中，位置评分与特定目标的中心位置到图像中心位置的距离相关联，即位置评分可以通过计算特定目标的中心位置到图像中心位置的距离得到。
第二方面，本发明实施例还提供了一种视频构图质量评估方法，该方法包括：301：获取待评估视频的各视频帧；302：对各视频帧按照前述的图像构图质量评估方法进行构图质量评估；303：根据各视频帧的构图质量评估结果来评估该视频的构图质量。
第三方面，本发明实施例还提供了一种图像构图质量评估装置，该装置包括：获取模块， 用于获取至少一个特定目标的在图像中的完整度评分以及在图像中的位置评分；构图质量评估模块，用于根据至少一个特定目标的完整度评分和位置评分来评估图像的构图质量。
第四方面，本发明提供了一种电子设备，包括：存储器，所述存储器存储有计算机程序；处理器，所述处理器用于执行所述计算机程序以实现上述的图像构图质量评估方法。
第五方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的以实现上述的图像构图质量评估方法。
有益效果
与现有技术相比，本发明通过对图像中的特定目标的完整性和位置合理性进行了评估，解决了传统的底层视觉特征进行美学评价，没有充分考虑图像中的物体的完整性和位置合理性等因素，有助于在自动剪辑中过滤构图质量较差的图像。
附图说明
图1是本发明实施例1中的图像构图质量评估方法的流程图。
图2是本发明实施例1中的特定目标完整度检测模型的构建流程图。
图3是本发明实施例1中的步骤102的子步骤流程图
图4是本发明实施例2中的图像构图质量评估方法的流程图。
图5是本发明实施例3中的视频构图质量评估方法的流程图。
图6是本发明实施例4中的图像构图质量评估装置的结构框图。
图7是本发明实施例5中的电子设备的结构框图。
本发明的实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例1
如图1所示，本实施例揭示了一种图像构图质量评估方法，包括以下步骤。
101：获取至少一个特定目标的在图像中的完整度评分以及在图像中的位置评分。
本实施例中的特定目标指用来评估图像构图质量的目标，可以是一类物体(如鸟类、鱼类等)，也可以是单独的个体(如某个人、某条狗等)，因此，如果图像中包含多个物体或人物时，若特定目标不相同，完整度评分以及位置评分也不相同。
本实施例中获取特定目标的方式也可以为多种，例如，在相机或手机上使用本方法时，可以由用户在相关界面选择一个或多个特定目标，或者通过标准的检测模型检测出图像中一个或多个特定目标。
本实施例中，完整度评分的可从四个维度对图像设置评分：包含完整的特定目标的图像设置第一分数，包含特定目标的主要构成部分的图像设置第二分数，包含特定目标的其他构成部分的图像设置第三分数，以及没有包含该特定目标任何部分的图像设置第四分数，其中，第一分数至第四分数各不相同。
本实施例中，位置评分与特定目标的中心位置(如几何中心)到图像的中心位置的距离相关，距离越大，评分越低，距离越小，评分越高。位置评分可以是离散型的，例如，特定目标的中心位置到图像中心位置小于第一距离的设置第一分数，在第一距离和第二距离之间的设置第二分数，以此类推；位置评分还可以是基于统计模型产生，例如，利用2D高斯模型来模拟特定目标的位置评分密度，2D高斯模型的表达式如下：
Figure PCTCN2022098907-appb-000001
其中，μ为图片的中心位置或图片的中心附近位置的坐标，通过调节协方差矩阵∑即可调节 位置得分的衰减速率。对于位置为(x1,y1,x2,y2)的矩形框的人体，其中x1,y1为矩形框的左上角坐标，x2,y2为人体框的右下角坐标，通过对人体所在的矩形框进行积分p(x)即可获得此人体框的位置得分S position。
下面以特定目标为人物为例，对本实施例中的完整度评分过程进行说明。本实施例中的人物的完整度评分是通过将待检测图像输入人物完整度检测模型后获得。如图2所示，本实施例中的人物完整度检测模型的构建方法如下。
201：获取多张含有特定目标的图像和多张不含特定目标的图像。
具体的，获取多张包含人物的图像以及多张不包含人物的图像，需要说明的是，图像中的人物应满足多样性以满足模型的鲁棒性，比如，图像中的人物在大小、肤色、穿戴、位置、多个人物等特征都有足够的图像。
202：根据图像中的特定目标的完整度对每张图像进行标注并评分。
本实施例中，根据图像中的人物的完整度将图片分为四类，具体地，将包含完整人物的图像标记为第一类并设置第一分数；将包含人物的主要部位的图像标记为第二类并设置第二分数；将包含人物的其他部位的图像标记为第三类并设置第三分数；将不包含人物的图像标记为第四类并设置第四分数，其中，各个分数可以相同也可以不同。具体如下表格所示。
类别 详细说明 分数
第一类 图像中有完整的人物肢体，画面中没有肢体缺失或者遮挡 10
第二类 图像中人物的头部和躯干完整，但是下肢不完整的样本 5
第三类 图像中的人物头部和躯干等部分遮挡或者缺失的样本 -10
第四类 图像中不包含人物 0
需要说明的是，上述表中的分数设定只是本实施例中的一个具体方案，在本方案中，有利于筛选出包含完整人物的图像，而过滤掉不包含人物图像及人物头部和躯干缺失的图像，以符合大众对人物构图的审美选择。
203：将标注后的图像输入预先构建的卷积神经网络进行训练，生成训练好的特定目标完整度检测模型。
在将标注后的图像输入预先构建的卷积神经网络训练之前，优选将所有图像都缩放至同一特定尺寸，以方便该人物的完整度检测模型的设计。具体地，利用深度卷积神经网络分析输入图像，将其缩放到224大小获得图像特征R 224*224，输出人体完整性分类的类别，利用梯度下降算法对网络模型参数进行训练，直到达到完成训练的条件，如达到预定的训练次数或训练的准确率或者损失值达到期望数，从而完成人物完整度检测模型的训练。在本实施例的训练过程中，可以通过计算深度神经网络的输出概率分布和真实类别之间的交叉熵损失值，对网络参数进行优化。
构建好人物完整度检测模型后，就可以将待检测的图像输入该模型，从而得到人物完整度检测模型输出的人物完整度的概率分布，并选择概率最大的类别，并将其转换为分数。具体的，将待检测图像通过双线性差值缩放算法，缩放到224大小，再经过深度神经网络后，得到一个表征图像中人体完整性的类别概率分布向量R 4，直接利用深度神经网络的输出作为该图片的预测概率向量，并选取概率最大的索引号作为其类别预测结果，然后得到人物的完整度评分S category。
同样地，位置评分也可以通过将图像输入相关模型或计算机得到。
102：根据至少一个特定目标的完整度评分和位置评分来评估图像的构图质量。
如图3所示，步骤102在本实施例中包括以下两个子步骤。
1021：对每个特定目标的完整度评分和位置评分进行加权求和得到该特定目标的构图质量评分。
通过步骤101得到图像中的某个人物的完整度评分及位置评分，然后通过对该人物的完整度评分及位置评分进行加权求和，进而得到该人物的构图质量得分。对于第i个人物的构图质量得分S i的计算公式为：S i＝α*S category-i+β*S position-i，其中，α、β为权重参数，α+β＝1，α、β可根据实际情况进行调整，S category-i为第i个人物的完整度评分，S position-i为第i个人物的位置评分。
1022：根据图像中的各特定目标的构图质量评分的平均分或加权得分来评估图像的构图质量。
当仅对一个人物进行构图质量评估时，仅计算该人物的图像构图质量得分即可；当对多个人物进行构图质量评估时，可通过计算多个人物的图像构图质量得分的平均分或加权得分作为评估依据。在本实施例的一个具体方案中，多个人物的图像构图质量评估得分S为：
Figure PCTCN2022098907-appb-000002
需要说明的是，当对多个特定目标进行构图质量评估时，多个特定目标可以属于不同类别，如两个特定目标分别为人物和宠物。
实施例2
如图2所示，本实施例揭示了另一种图像构图质量评估方法。
本实施例中对特定目标的在图像中的完整度评分和在图像中的位置评分基本相同，不同的地方在于：在本实施例中，除了获取特定目标在图像中的完整度评分及在图像中的位置评分外，还对特定目标在图像中的画面占比进行画面占比评分S proportion。需要说明的是，画面占比评分与特定目标相关，即特定目标不同，画面占比评分不同。例如，人物在图像中的画面占比在1/6到1/3较为合适，这种情况下的画面占比评分较高；又如，鸟类在图像中画面占比在1/24到1/12较为合适，这种情况下的画面占比评分较高。具体实现方式为：根据检测器检测出的特定目标的类别和面积，计算该特定目标在图像中的画面实际占比与理想的画面占比之间的比例或差值，来产生画面占比评分。
同样以特定目标为人物进行说明，对第i个人物的构图质量得分S i的计算公式为：S i＝α*S category-i+β*S position-i+γ*S proportion-i，其中，α、β、γ为权重参数，α+β+γ＝1，α、β、γ可根据实际情况进行调整，S category-i为第i个人物的完整度评分，S position-i为第i个人物的位置评分，S proportion-i为第i个人物的画面占比评分。
实施例3
如图3所示，本实施例揭示了一种视频构图质量评估方法，该方法包括以下步骤。
301：获取待评估视频的各视频帧。
获取拍摄装置拍摄的视频的各视频帧，拍摄装置包括但不限于相机、智能手机等。
302：对各视频帧按照图像构图质量评估方法进行构图质量评估。
将各视频帧按照实施例1或实施例2中的构图质量评估方法进行构图质量评估，得到各视频帧的构图质量得分。
303：根据各视频帧的构图质量评估结果来评估该视频的构图质量。
通过步骤302，可以得到各视频帧的构图质量评分，再根据各视频帧的构图质量评分的平均分来评估该视频的构图质量。
实施例4
如图4所示，本实施例揭示了一种图像构图质量评估装置，该装置包括：获取模块，用于获取至少一个特定目标的在图像中的完整度评分以及在图像中的位置评分；构图质量评估模块，用于根据至少一个特定目标的完整度评分和位置评分来评估图像的构图质量。其中，完整度评分和位置评分可参考实施例1中的相关描述。在本实施例的优化方案中，获取模块还可用于获取至少一个特定目标在图像中的画面占比评分，构图质量评估模块用于根据至少一个特定目标的完整度评分、位置评分和画面占比评分来评估图像的构图质量。
实施例5
如图5所示，本实施例揭示了一种电子设备，包括：存储器，所述存储器存储有计算机程序；处理器，所述处理器用于执行所述计算机程序以实现实施例1或实施例2中的图像构图质量评估方法，或者实现实施例3中的视频构图质量评估方法。本实施例中的电子设备具体可以为相机或手机。
实施例6
本实施例中提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机 程序，所述计算机程序被处理器执行时以实现实施例1或实施例2中的图像构图质量评估方法，或者实现实施例3中的视频构图质量评估方法。
本领域普通技术人员可以理解上述各个实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，存储介质可以是计算机可读存储介质，例如，铁电存储器(FRAM，Ferromagnetic Random Access Memory)、只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read Only Memory)、带电可擦可编程只读存储器(EEPROM，Electrically Erasable Programmable Read Only Memory)、闪存、磁表面存储器、光盘、或光盘只读存储器(CD-ROM，Compact Disk-Read Only Memory)等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (12)

  1. 一种图像构图质量评估方法，其特征在于，包括：
    101：获取至少一个特定目标的在图像中的完整度评分以及在图像中的位置评分；
    102：根据至少一个特定目标的完整度评分和位置评分来评估图像的构图质量。
  2. 根据权利要求1所述的图像构图质量评估方法，其特征在于，
    所述步骤101为：获取至少一个特定目标的在图像中的完整度评分、在图像中的位置评分以及在图像中的画面占比评分；
    所述步骤102为：根据至少一个特定目标的完整度评分、位置评分和画面占比评分来评估图像的构图质量。
  3. 根据权利要求1所述的图像构图质量评估方法，其特征在于，所述步骤101中的完整度评分是通过将待检测图像输入特定目标完整度检测模型后获得。
  4. 根据权利要求3所述的图像构图质量评估方法，其特征在于，所述特定目标完整度检测模型的构建方法如下：
    201：获取多张含有特定目标的图像和多张不含特定目标的图像；
    202：根据图像中的特定目标的完整度对每张图像进行标注并评分；
    203：将标注后的图像输入预先构建的卷积神经网络进行训练，生成训练好的特定目标完整度检测模型。
  5. 根据权利要求4所述的图像构图质量评估方法，其特征在于，所述步骤202包括：
    将包含完整特定目标的图像标记为第一类并设置第一分数；将包含特定目标的主要部位的图像标记为第二类并设置第二分数；将包含特定目标其他部位的图像标记为第三类并设置第三分数；将不包含特定目标的图像标记为第四类并设置第四分数。
  6. 根据权利要求4所述的图像构图质量评估方法，其特征在于，所述步骤203还包括：
    将所有图像缩放至同一特定尺寸。
  7. 根据权利要求1所述的图像构图质量评估方法，其特征在于，所述步骤101中的位置评分与特定目标的中心位置到图像中心位置的距离相关联。
  8. 根据权利要求1所述的图像构图质量评估方法，其特征在于，所述步骤102具体为：
    1021：对每个特定目标的完整度评分和位置评分进行加权求和得到该特定目标的构图质量评分；
    1022：根据图像中的各特定目标的构图质量评分的平均分或加权得分来评估图像的构图质量。
  9. 一种视频构图质量评估方法，其特征在于，包括：
    301：获取待评估视频的各视频帧；
    302：对各视频帧按照权利要求1至8任意一项所述的图像构图质量评估方法进行构图质量评估；
    303：根据各视频帧的构图质量评估结果来评估该视频的构图质量。
  10. 一种图像构图质量评估装置，其特征在于，包括：
    获取模块，用于获取至少一个特定目标的在图像中的完整度评分以及在图像中的位置评分；
    构图质量评估模块，用于根据至少一个特定目标的完整度评分和位置评分来评估图像的构图质量。
  11. 一种电子设备，其特征在于，包括：
    存储器，所述存储器存储有计算机程序；
    处理器，所述处理器用于执行所述计算机程序以实现权利要求1至8中任一项所述的图像构图质量评估方法，或实现权利要求9所述的视频构图质量评估方法。
  12. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的图像构图质量评 估方法，或实现权利要求9所述的视频构图质量评估方法。
PCT/CN2022/098907 2021-06-18 2022-06-15 图像构图质量评估方法及装置 WO2022262763A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110678761.2 2021-06-18
CN202110678761.2A CN113643229A (zh) 2021-06-18 2021-06-18 图像构图质量评估方法及装置

Publications (1)

Publication Number Publication Date
WO2022262763A1 true WO2022262763A1 (zh) 2022-12-22

Family

ID=78415999

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/098907 WO2022262763A1 (zh) 2021-06-18 2022-06-15 图像构图质量评估方法及装置

Country Status (2)

Country Link
CN (1) CN113643229A (zh)
WO (1) WO2022262763A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643229A (zh) * 2021-06-18 2021-11-12 影石创新科技股份有限公司 图像构图质量评估方法及装置
CN114598811A (zh) * 2022-01-18 2022-06-07 影石创新科技股份有限公司 全景视频的视角质量评估方法、电子设备及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986075A (zh) * 2018-06-13 2018-12-11 浙江大华技术股份有限公司 一种优选图像的判断方法及装置
CN110519509A (zh) * 2019-08-01 2019-11-29 幻想动力(上海)文化传播有限公司 构图评价方法、摄影方法、装置、电子设备、存储介质
CN110765913A (zh) * 2019-10-15 2020-02-07 浙江大华技术股份有限公司 基于多评价指标的人体目标优选方法、装置及存储介质
CN111199186A (zh) * 2019-12-03 2020-05-26 恒大智慧科技有限公司 图像质量评分模型训练方法、装置、设备及存储介质
US20210081712A1 (en) * 2019-09-16 2021-03-18 Assurant, Inc. System, method, apparatus, and computer program product for utilizing machine learning to process an image of a mobile device to determine a mobile device integrity status
CN112750104A (zh) * 2020-12-29 2021-05-04 广东鉴面智能科技有限公司 一种多相机监控船舶自动匹配最优相机的方法及装置
CN113643229A (zh) * 2021-06-18 2021-11-12 影石创新科技股份有限公司 图像构图质量评估方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986075A (zh) * 2018-06-13 2018-12-11 浙江大华技术股份有限公司 一种优选图像的判断方法及装置
CN110519509A (zh) * 2019-08-01 2019-11-29 幻想动力(上海)文化传播有限公司 构图评价方法、摄影方法、装置、电子设备、存储介质
US20210081712A1 (en) * 2019-09-16 2021-03-18 Assurant, Inc. System, method, apparatus, and computer program product for utilizing machine learning to process an image of a mobile device to determine a mobile device integrity status
CN110765913A (zh) * 2019-10-15 2020-02-07 浙江大华技术股份有限公司 基于多评价指标的人体目标优选方法、装置及存储介质
CN111199186A (zh) * 2019-12-03 2020-05-26 恒大智慧科技有限公司 图像质量评分模型训练方法、装置、设备及存储介质
CN112750104A (zh) * 2020-12-29 2021-05-04 广东鉴面智能科技有限公司 一种多相机监控船舶自动匹配最优相机的方法及装置
CN113643229A (zh) * 2021-06-18 2021-11-12 影石创新科技股份有限公司 图像构图质量评估方法及装置

Also Published As

Publication number Publication date
CN113643229A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
WO2022262763A1 (zh) 图像构图质量评估方法及装置
CN108234870B (zh) 图像处理方法、装置、终端及存储介质
CN106295522A (zh) 一种基于多角度人脸和环境信息的两级防欺骗检测方法
CN108470169A (zh) 人脸识别系统及方法
CN110490252B (zh) 一种基于深度学习的室内人数检测方法及系统
WO2021139494A1 (zh) 基于单目摄像头的动物体在线核赔方法、装置及存储介质
US20140143183A1 (en) Hierarchical model for human activity recognition
CN112418009B (zh) 一种图像质量检测方法、终端设备及存储介质
CN109858435A (zh) 一种基于脸部图像的小熊猫个体识别方法
CN109657554A (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN109376637A (zh) 基于视频监控图像处理的人数统计系统
US11194997B1 (en) Method and system for thermal infrared facial recognition
JP7292492B2 (ja) オブジェクト追跡方法及び装置、記憶媒体並びにコンピュータプログラム
CN112016527B (zh) 基于深度学习的大熊猫行为识别方法、系统、终端及介质
CN109635634A (zh) 一种基于随机线性插值的行人再识别数据增强方法
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN110766650A (zh) 生物检测预警方法、系统、装置、计算机设备和存储介质
CN108765014A (zh) 一种基于门禁系统的智能广告投放方法
CN110520865A (zh) 人脸识别的方法、装置和电子设备
CN110163567A (zh) 基于多任务级联卷积神经网络的课堂点名系统
CN110263654A (zh) 一种火焰检测方法、装置及嵌入式设备
US20210256656A1 (en) Automatic image cropping based on ensembles of regions of interest
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
WO2022116104A1 (zh) 图像处理方法、装置、设备及存储介质
CN111860091A (zh) 人脸图像评估方法和系统、服务器和计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22824239

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE