WO2019010640A1 - 图像美感评估方法及装置 - Google Patents

图像美感评估方法及装置 Download PDF

Info

Publication number
WO2019010640A1
WO2019010640A1 PCT/CN2017/092585 CN2017092585W WO2019010640A1 WO 2019010640 A1 WO2019010640 A1 WO 2019010640A1 CN 2017092585 W CN2017092585 W CN 2017092585W WO 2019010640 A1 WO2019010640 A1 WO 2019010640A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
aesthetic
parameter
auxiliary
parameters
Prior art date
Application number
PCT/CN2017/092585
Other languages
English (en)
French (fr)
Inventor
黄凯奇
杨沛沛
黄文振
Original Assignee
中国科学院自动化研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国科学院自动化研究所 filed Critical 中国科学院自动化研究所
Priority to PCT/CN2017/092585 priority Critical patent/WO2019010640A1/zh
Publication of WO2019010640A1 publication Critical patent/WO2019010640A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to the field of computer vision and image recognition technologies, and in particular, to an image aesthetic evaluation method and apparatus.
  • the image aesthetic evaluation methods mainly include the aesthetic qualitative evaluation method and the aesthetic quantitative evaluation method.
  • the aesthetic qualitative evaluation method refers to dividing the image quality into high-quality images and low-quality images with low accuracy.
  • the aesthetic quantitative evaluation method refers to the use of fine scores to evaluate the quality of the image, but this method requires photography and aesthetics to mark a large number of images for a long time, which is inefficient.
  • the present invention provides an image aesthetic evaluation method and apparatus.
  • the image aesthetic evaluation method of the present invention comprises:
  • the aesthetic level classification model f s (x) after the model training is as follows:
  • the w s and b s are model parameters of the aesthetic level classification model
  • the T is a transpose symbol
  • the aesthetic score regression model f t (x) after the model training is as follows:
  • w t and b t are model parameters of the aesthetic score regression model.
  • the calculation model auxiliary parameters include:
  • n s is a sample image number used for model training the aesthetic level classification model
  • Said Is an image feature of the i-th sample image, a label corresponding to the i-th sample image, wherein ⁇ is a balance factor between the square loss function and a regular term
  • n t is a sample image number used for model training the aesthetic score regression model; Is the square loss function, and Said Is an image feature of the i-th sample image,
  • the ⁇ is a positive real number less than a preset threshold, and the ⁇ is a balance factor between the square loss function and the regular term.
  • the preset constraint is as follows:
  • w is a model auxiliary parameter
  • the w s is a model parameter of an aesthetic class classification model
  • the w t is a model parameter of the aesthetic score regression model
  • the ⁇ s is a model auxiliary parameter w and a model parameter w s
  • the ⁇ t is an auxiliary parameter corresponding to the model auxiliary parameter w and the model parameter w t .
  • the model parameters of the aesthetic level classification model and the aesthetic score regression model after the model training are adjusted include:
  • w is a model auxiliary parameter
  • ⁇ ′ is a balance factor between the square loss function and a parallel constraint term
  • the ⁇ s is a model auxiliary parameter w An auxiliary parameter corresponding to the model parameter w s ;
  • the ⁇ ′ is a balance factor between a loss function and a parallel constraint term
  • the ⁇ t is an auxiliary parameter corresponding to the model auxiliary parameter w and the model parameter w t .
  • the image aesthetic evaluation apparatus of the present invention comprises:
  • the model training module is configured to perform model training on a preset aesthetic level classification model and a preset aesthetic score regression model
  • the model auxiliary parameter calculation module is configured to calculate the model auxiliary parameter according to the preset constraint condition, and the model parameter of the aesthetic level classification model and the aesthetic score regression model after the model training;
  • the model parameter adjustment module is configured to adjust the model parameters of the aesthetic level classification model and the aesthetic score regression model after the model training according to the model auxiliary parameter;
  • an iteration module configured to recalculate the model auxiliary parameter according to the adjusted model parameter until the model auxiliary parameter satisfies a preset iteration condition.
  • the aesthetic level classification model f s (x) after the model training is as follows:
  • the w s and b s are model parameters of the aesthetic level classification model
  • the T is a transpose symbol
  • the aesthetic score regression model f t (x) after the model training is as follows:
  • w t and b t are model parameters of the aesthetic score regression model.
  • the model auxiliary parameter calculation module includes a first model parameter calculation unit and a second model parameter calculation unit;
  • the first model parameter calculation unit is configured to calculate a model parameter of the aesthetic level classification model according to the method shown in the following formula:
  • n s is a sample image number used for model training the aesthetic level classification model
  • Said Is an image feature of the i-th sample image, a label corresponding to the i-th sample image, wherein ⁇ is a balance factor between the square loss function and a regular term
  • the second model parameter calculation unit is configured to calculate a model parameter of the aesthetic score regression model according to the method shown in the following formula:
  • n t is a sample image number used for model training the aesthetic score regression model; Is the square loss function, and Said Is an image feature of the i-th sample image,
  • the ⁇ is a positive real number less than a preset threshold, and the ⁇ is a balance factor between the square loss function and the regular term.
  • the model parameter adjustment module includes a first adjustment unit and a second adjustment unit;
  • the first adjusting unit is configured to adjust a model parameter of the aesthetic level classification model according to the method shown in the following formula:
  • w is a model auxiliary parameter
  • the ⁇ ′ is a balance factor between a loss function and a parallel constraint term
  • the ⁇ s is an auxiliary parameter corresponding to the model auxiliary parameter w and the model parameter w s ;
  • the second adjusting unit is configured to adjust a model parameter of the aesthetic score regression model according to the method shown in the following formula:
  • the ⁇ ′ is a balance factor between a loss function and a parallel constraint
  • the ⁇ t is an auxiliary parameter corresponding to the model auxiliary parameter w and the model parameter w t ;
  • the preset constraint is as follows:
  • w is a model auxiliary parameter
  • the w s is a model parameter of an aesthetic class classification model
  • the w t is a model parameter of the aesthetic score regression model
  • the ⁇ s is a model auxiliary parameter w and a model parameter w s
  • the ⁇ t is an auxiliary parameter corresponding to the model auxiliary parameter w and the model parameter w t .
  • the image aesthetic evaluation method can calculate the model auxiliary parameters according to the preset constraint conditions, the model classification model of the aesthetic level classification model and the aesthetic score regression model after the model training, and adjust the model training according to the model auxiliary parameter.
  • the aesthetic level classification model and the model parameters of the aesthetic score regression model, and the model auxiliary parameters are recalculated according to the adjusted model parameters until the model auxiliary parameters satisfy the preset iteration condition.
  • the method can realize the data migration between the aesthetic level classification model and the aesthetic score regression model, and adjust the model parameters of the aesthetic level classification model and the aesthetic score regression model with the model auxiliary parameters, and after many iteration calculations, the aesthetic score regression can be significantly improved.
  • the aesthetic score of the model is assessed for accuracy.
  • the image aesthetic evaluation device of the present invention mainly comprises a model auxiliary parameter calculation module, a model parameter adjustment module and an iterative module.
  • the model auxiliary parameter calculation module may be configured to calculate the model auxiliary parameter according to the preset constraint condition and the model level parameter of the aesthetic level classification model and the aesthetic score regression model after the model training;
  • the model parameter adjustment module may be configured to assist the model according to the model
  • the parameters adjust the model parameters of the aesthetic level classification model and the aesthetic score regression model after the model training;
  • the iterative module can be configured to recalculate the model auxiliary parameters according to the adjusted model parameters until the model auxiliary parameters satisfy the preset iteration condition.
  • the data migration between the aesthetic level classification model and the aesthetic score regression model can be realized, and the model parameters can be adjusted by the model auxiliary parameters to adjust the aesthetic level classification model and the aesthetic score regression model, and after multiple iteration calculations, the aesthetic score can be significantly improved.
  • the aesthetic score of the regression model is assessed for accuracy.
  • FIG. 1 is a flow chart of main steps of an image aesthetic evaluation method in an embodiment of the present invention.
  • FIG. 2 is a schematic diagram of an image to be tested in an embodiment of the present invention.
  • FIG. 3 is a schematic structural diagram of an image aesthetic evaluation apparatus according to an embodiment of the present invention.
  • the aesthetic evaluation method based on deep learning can be used to evaluate the aesthetics of the image.
  • the aesthetic quantitative evaluation method needs to label the training samples for deep learning for a long time, and the aesthetic qualitative evaluation method can quickly label the training samples for deep learning.
  • the aesthetic qualitative assessment method there is a connection between the aesthetic qualitative assessment method and the aesthetic quantitative assessment method: the image evaluated as high quality in the aesthetic qualitative evaluation method is compared with the image evaluated as low quality.
  • the aesthetic scores evaluated in the quantitative evaluation method are also larger than the latter.
  • the present invention provides an image aesthetic evaluation method, which relates an aesthetic level classification model and an aesthetic score regression model based on a parameter migration learning method, specifically: using an image marked with an aesthetic "high/low quality"
  • the database is used to train the aesthetic classification model, and then the parameter-based migration learning method is used to assist the aesthetic score regression model to train on a small number of images with aesthetic scores, thereby reducing the stress of training sample labeling during the model training of the aesthetic score regression model.
  • Figure 1 exemplarily shows the main steps of the image aesthetic evaluation method in the present embodiment.
  • the main steps of the image aesthetic evaluation method in this embodiment are as follows:
  • Step S101 Perform model training on the preset aesthetic level classification model and the preset aesthetic score regression model.
  • an image feature extraction method based on a deep neural network may be used to acquire image features of the sample image, and then the preset aesthetic level classification model and the preset aesthetic score regression model are performed according to the sample image and the acquired image features. Model training.
  • an image feature extraction method based on a deep convolutional neural network Alexnet may be used to acquire image features of the sample image.
  • the training sample database used for performing model training on the aesthetic level classification model in the embodiment includes n s sample images, and the image feature extraction method based on the depth neural network is used to acquire image features of each sample image.
  • the image feature of the sample image is marked as x s , as the image feature of the i-th sample image is
  • a label y s is added to each sample image, and if the label information of the i-th sample image is "high quality", the label corresponding to the sample "+1", if the mark information of the i-th sample image is "low quality", the label corresponding to the sample It is "-1".
  • the model-trained aesthetic classification model f s (x) shown in the following formula (1) can be obtained:
  • T is the transpose symbol
  • the training sample database used for model training of the aesthetic score regression model includes n t sample images, and the image feature extraction method based on the depth neural network is used to acquire image features of each sample image, and the sample image is obtained.
  • the image feature is marked as x t , as the image feature of the i-th sample image is
  • the aesthetic score of each sample image is used as the label y t of each sample image, for example, the image feature of the ith sample image is
  • the model-trained aesthetic score regression model f t (x) shown in the following formula (2) can be obtained:
  • Both w t and b t are model parameters of the aesthetic score regression model.
  • the image aesthetic evaluation method in this embodiment further includes step S102: according to preset constraint conditions, and the aesthetic level classification model f s (x) and the aesthetic score regression model f t (x) after the model training. Model parameters, calculation model auxiliary parameters.
  • the L2-SVM (L2-loss Support Vector Machine) model can be used to calculate the model parameters of the aesthetic level classification model.
  • the model parameters of the aesthetic level classification model can be calculated according to the method shown in the following formula (3):
  • ⁇ is the equilibrium factor between the squared loss function and the regular term.
  • the square loss function is as shown in the following formula (4):
  • the Newton method can be used to solve the above formula (3).
  • the L2-SVR (L2-loss Support Vector Regression) model can be used to calculate the model parameters of the aesthetic score regression model, and specifically, the model of the aesthetic score regression model can be calculated according to the method shown in the following formula (5). parameter:
  • ⁇ is the equilibrium factor between the squared loss function and the regular term.
  • the square loss function is as shown in the following formula (6):
  • the parameter ⁇ in equation (6) is a positive real number less than the preset threshold, which can characterize the sensitivity of the square loss function to the error.
  • the Newton method can be used to solve the above formula (5).
  • the constraint in the case of ignoring the aesthetic difference between the noise and the sample image marker, the aesthetic level classification model is consistent with the prediction result of the aesthetic score regression model, that is, the aesthetic image corresponding to the sample image classified as +1. fraction should be greater than aesthetics are classified as fractional sample image corresponding to -1, the constraint can be constructed in parallel relationship score model parameters w t regression model based on the model parameters w s aesthetic beauty and hierarchical classification model.
  • the parallel relationship between the model parameters w s and w t refers to the model parameter w s and w t satisfy the following constraint in parallel:
  • ⁇ is the preset constraint coefficient, A collection of real numbers.
  • the preset constraint in this embodiment is as shown in the following formula (8):
  • w is the model auxiliary parameter
  • ⁇ s is the auxiliary parameter corresponding to the model auxiliary parameter w and the model parameter w s
  • ⁇ t is the auxiliary parameter corresponding to the model auxiliary parameter w and the model parameter w t .
  • the above constraint condition only has the constraint ability on the directions of the model parameters w s and w t without affecting the modulus length of the two.
  • the analytical solution of the formula (8) in the present embodiment is as shown in the following formula (9):
  • the model auxiliary parameter w is actually the direction of the angle bisector of the model parameters w s and w t , and the direction of the model parameters w s and w t can be regarded as the direction in which the aesthetic evaluation rises, so the model
  • the auxiliary parameter w is a more generalized direction of increasing aesthetics.
  • the above constraint condition is only related to the angle between the model parameters w s and w t , and is independent of the modulus length of the two, so the above constraint condition is only provided for the direction of the model parameters w s and w t . Binding ability without affecting the modulus of both.
  • the image aesthetic evaluation method in this embodiment further includes step S103: adjusting the model parameters of the aesthetic level classification model and the aesthetic score regression model after the model training according to the model auxiliary parameters.
  • the model parameter w s of the aesthetic level classification model is adjusted by using the model auxiliary parameter, so that the direction of the model parameter w s is kept parallel with the direction of the model auxiliary parameter while minimizing the square loss function.
  • the model parameters of the aesthetic class classification model can be adjusted according to the method shown in the following formula (11):
  • ⁇ ′ is the balance factor between the square loss function and the parallel constraint
  • ⁇ s is the auxiliary parameter corresponding to the model auxiliary parameter w and the model parameter w s .
  • the Newton method can be used to solve the above formula (12).
  • the model parameter w t of the aesthetic score regression model is adjusted by using the model auxiliary parameter, so that the model parameter w t and the model auxiliary parameter are kept as balanced as possible while minimizing the square loss function.
  • the model parameters of the aesthetic score regression model can be adjusted according to the method shown in the following formula (14):
  • ⁇ ′ is the balance factor between the loss function and the parallel constraint
  • ⁇ t is the auxiliary parameter corresponding to the model auxiliary parameter w and the model parameter w t .
  • the Newton method can be used to solve the above formula (14).
  • the method further includes: recalculating the model auxiliary parameters according to the adjusted model parameters until the model The auxiliary parameters satisfy the preset iteration conditions.
  • the model parameters of the aesthetic level classification model and the aesthetic score regression model are adjusted according to the model auxiliary parameters, the accuracy of the model parameters can be improved, and the new model auxiliary parameters are calculated by using the model parameters with higher precision, and then the The new model-assisted parameters continue to adjust the model parameters of the aesthetic-level classification model and the aesthetic-score regression model, so that iteratively calculates until the model-assisted parameters satisfy the iterative conditions, and finally obtains accurate model parameters.
  • FIG. 2 exemplarily shows a schematic diagram of an image to be tested.
  • the aesthetic scores of the image 11 to the image 18 to be tested in this embodiment are as shown in Table 1 below:
  • the pre-migration aesthetic score regression model in this embodiment refers to an aesthetic regression model that does not use the image aesthetic evaluation method shown in FIG. 1 to perform data migration on the aesthetic score regression model
  • the post-migration aesthetic score regression model refers to adopting The aesthetic regression model for the data migration of the aesthetic score regression model is shown in Figure 1.
  • Table 1 can be used to determine the aesthetic score regression model compared with the pre-migration aesthetic score regression model.
  • the aesthetic score assessment model for the aesthetic score regression model using the image aesthetic evaluation method shown in Figure 1 is more accurate.
  • the embodiment of the present invention further provides an image aesthetic evaluation device based on the same technical concept as the method embodiment.
  • the image aesthetic evaluation device will be specifically described below with reference to the accompanying drawings.
  • Fig. 3 exemplarily shows the configuration of an image aesthetic evaluation apparatus in the present embodiment.
  • the image aesthetic evaluation apparatus in this embodiment may include a model training module 21, a model auxiliary parameter calculation module 22, a model parameter adjustment module 23, and an iteration module 24.
  • the model training module 21 can be configured to classify the preset aesthetic level. Model and pre-set aesthetic score regression models for model training.
  • the model auxiliary parameter calculation module 22 may be configured to calculate the model auxiliary parameters according to the preset constraint conditions, and the model parameters of the aesthetic level classification model and the aesthetic score regression model after the model training.
  • the model parameter adjustment module 23 can be configured to adjust the model parameters of the aesthetic level classification model and the aesthetic score regression model after the model training according to the model auxiliary parameters.
  • the iteration module 24 can be configured to recalculate the model assistance parameters based on the adjusted model parameters until the model assistance parameters meet the predetermined iteration conditions.
  • the aesthetic level classification model f s (x) after the model training is as shown in the formula (1)
  • the aesthetic score regression model f t (x) after the model training is as the formula (2). ) shown.
  • model auxiliary parameter calculation module 22 in this embodiment may include a first model parameter calculation unit and a second model parameter calculation unit.
  • the first model parameter calculation unit may be configured to calculate the model parameters of the aesthetic level classification model according to the method shown in the formula (3).
  • the second model parameter calculation unit may be configured to calculate the model parameters of the aesthetic score regression model according to the method shown in the formula (5).
  • model parameter adjustment module 23 in this embodiment may include a first adjustment unit and a second adjustment unit.
  • the first adjusting unit may be configured to adjust the model parameters of the aesthetic level classification model according to the method shown in the formula (11).
  • the second adjustment unit may be configured to adjust the model parameters of the aesthetic score regression model according to the method shown in formula (14).
  • the constraint condition adopted by the model auxiliary parameter calculation module 22 in this embodiment is the constraint condition shown in the formula (8).
  • the embodiment of the image aesthetic evaluation device described above may be used to perform the above-described image aesthetic evaluation method embodiment, and the technical principle, the solved technical problem, and the generated technical effect are similar, and those skilled in the art can clearly understand that the description is Convenient and concise, the specific working process and related description of the image aesthetic evaluation device described above can refer to the corresponding process in the foregoing image aesthetic evaluation method embodiment, and details are not described herein again.
  • the above-described image aesthetic evaluation apparatus further includes some other well-known structures, such as a processor, a controller, a memory, etc.
  • the memory includes, but is not limited to, a random access memory, a flash memory, a read only memory, and a programmable read only memory.
  • volatile memory non-volatile memory, serial memory, parallel memory or registers, etc.
  • processing The devices include, but are not limited to, CPLD/FPGA, DSP, ARM processor, MIPS processor, etc., in order to unnecessarily obscure the embodiments of the present disclosure, these well-known structures are not shown in FIG.
  • modules in the devices in the embodiments can be adaptively changed and placed in one or more devices different from the embodiment.
  • the modules or units or components of the embodiments may be combined into one module or unit or component, and further they may be divided into a plurality of sub-modules or sub-units or sub-components.
  • any combination of the features disclosed in the specification, including the accompanying claims, the abstract and the drawings, and any methods so disclosed, or All processes or units of the device are combined.
  • Each feature disclosed in this specification (including the accompanying claims, the abstract and the drawings) may be replaced by alternative features that provide the same, equivalent or similar purpose.
  • the various component embodiments of the present invention may be implemented in hardware, or in a software module running on one or more processors, or in a combination thereof.
  • a microprocessor or digital signal processor may be used in practice to implement some or all of the functionality of some or all of the servers, clients, in accordance with embodiments of the present invention.
  • the invention may also be implemented as a device or device program (e.g., a PC program and a PC program product) for performing some or all of the methods described herein.
  • a program implementing the present invention may be stored on a PC readable medium or may have the form of one or more signals. Such signals may be downloaded from an Internet website, provided on a carrier signal, or provided in any other form.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及计算机视觉与图像识别技术领域，具体提供一种图像美感评估方法及装置，旨在解决美感定量评估方法效率低的技术问题。为此目的，本发明提供的图像美感评估方法包括：依据预设的约束条件，以及模型训练后的美感等级分类模型和美感分数回归模型的模型参数，计算模型辅助参数；依据模型辅助参数，调整模型训练后的美感等级分类模型和美感分数回归模型的模型参数；依据调整后的模型参数重新计算所述模型辅助参数，直至模型辅助参数满足预设的迭代条件。同时，本发明提供的图像美感评估装置可以执行上述方法的各步骤。本发明的技术方案，可以显著提高美感定量评估方法的评估效率和准确性。

Description

图像美感评估方法及装置 技术领域
本发明涉及计算机视觉与图像识别技术领域，具体涉及一种图像美感评估方法及装置。
背景技术
随着数字图像的创作和获取越来越方便，数字图像的数量呈现爆炸式增长，每天网络上被分享的图像不计其数，而图像数量的剧增使得图像管理工作变得耗时而繁重。人们往往倾向于获取和保存高质量的图片。在图像检索、图像设计、艺术作品风格分析、人机交互等任务中，都离不开图像的美感评估问题。
目前，图像美感评估方法主要包括美感定性评估方法和美感定量评估方法。美感定性评估方法指的是根据图像质量划分为高质量图像和低质量图像，准确度较低。美感定量评估方法指的是使用精细的分数评估图像的质量，但是这种方法需要摄影、美学方面的技术人员对大量图像进行长时间标注，效率较低。
发明内容
为了解决现有技术中的上述问题，即为了解决美感定量评估方法效率低的技术问题，本发明提供了一种图像美感评估方法及装置。
在第一方面，本发明中图像美感评估方法包括：
对预设的美感等级分类模型和预设的美感分数回归模型进行模型训练；
依据预设的约束条件，以及所述模型训练后的美感等级分类模型和美感分数回归模型的模型参数，计算模型辅助参数；
依据所述模型辅助参数，调整所述模型训练后的美感等级分类模型和美感分数回归模型的模型参数；依据所述调整后的模型参数重新计算所述模型辅助参数，直至所述模型辅助参数满足预设的迭代条件。
进一步地，本发明提供的一个优选技术方案为：
所述模型训练后的美感等级分类模型fs(x)如下式所示：
fs(x)＝sgn(ws Tx+bs)
其中，所述ws和bs均为美感等级分类模型的模型参数，所述T为转置符号；所述sgn(t)为符号函数，若t＞0则sgn(t)＝+1，若t＜0则sgn(t)＝-1，t为符号函数的变量；
所述模型训练后的美感分数回归模型ft(x)如下式所示：
ft(x)＝wt Tx+bt
其中，所述wt和bt均为美感分数回归模型的模型参数。
进一步地，本发明提供的一个优选技术方案为：
所述计算模型辅助参数之前包括：
按照下式所示的方法计算美感等级分类模型的模型参数：
Figure PCTCN2017092585-appb-000001
其中，所述ns为对美感等级分类模型进行模型训练所采用的样本图像数量；所述
Figure PCTCN2017092585-appb-000002
为平方损失函数，且
Figure PCTCN2017092585-appb-000003
所述
Figure PCTCN2017092585-appb-000004
为第i张样本图像的图像特征，所述
Figure PCTCN2017092585-appb-000005
为第i张样本图像对应的标签，所述λ为所述平方损失函数与正则项之间的平衡因子；
按照下式所示的方法计算美感分数回归模型的模型参数：
Figure PCTCN2017092585-appb-000006
其中，所述nt为对美感分数回归模型进行模型训练所采用的样本图像数量；所述
Figure PCTCN2017092585-appb-000007
为平方损失函数，且
Figure PCTCN2017092585-appb-000008
所述
Figure PCTCN2017092585-appb-000009
为第i张样本图像的图像特征，所述
Figure PCTCN2017092585-appb-000010
为第i张样本图像对应的标签，所述ε为小于预设阈值的正实数，所述μ为所述平方损失函数与正则项之间的平衡因子。
进一步地，本发明提供的一个优选技术方案为：
所述预设的约束条件如下式所示：
Figure PCTCN2017092585-appb-000011
其中，所述w为模型辅助参数，所述ws为美感等级分类模型的模型参数，所述wt为美感分数回归模型的模型参数；所述γs为模型辅助参数w与模型参数ws对应的辅助参数，所述γt为模型辅助参数w与模型参数wt对应的辅助参数。
进一步地，本发明提供的一个优选技术方案为：
所述依据模型辅助参数，调整模型训练后的美感等级分类模型和美感分数回归模型的模型参数包括：
按照下式所示的方法调整美感等级分类模型的模型参数：
Figure PCTCN2017092585-appb-000012
其中，所述w为模型辅助参数，所述λ′为所述平方损失函数与平行约束项||w-τsws||2之间的平衡因子，所述τs为模型辅助参数w与模型参数ws对应的辅助参数；；
按照下式所示的方法调整美感分数回归模型的模型参数：
Figure PCTCN2017092585-appb-000013
其中，所述μ′为损失函数与平行约束项之间的平衡因子，所述τt为模型辅助参数w与模型参数wt对应的辅助参数。
在第二方面，本发明中图像美感评估装置包括：
模型训练模块，配置为对预设的美感等级分类模型和预设的美感分数回归模型进行模型训练；
模型辅助参数计算模块，配置为依据预设的约束条件，以及所述模型训练后的美感等级分类模型和美感分数回归模型的模型参数，计算模型辅助参数；
模型参数调整模块，配置为依据所述模型辅助参数，调整所述模型训练后的美感等级分类模型和美感分数回归模型的模型参数；
迭代模块，配置为依据所述调整后的模型参数重新计算所述模型辅助参数，直至所述模型辅助参数满足预设的迭代条件。
进一步地，本发明提供的一个优选技术方案为：
所述模型训练后的美感等级分类模型fs(x)如下式所示：
fs(x)＝sgn(ws Tx+bs)
其中，所述ws和bs均为美感等级分类模型的模型参数，所述T为转置符号；所述sgn(t)为符号函数，若t＞0则sgn(t)＝+1，若t＜0则sgn(t)＝-1，t为符号函数的变量；
所述模型训练后的美感分数回归模型ft(x)如下式所示：
ft(x)＝wt Tx+bt
其中，所述wt和bt均为美感分数回归模型的模型参数。
进一步地，本发明提供的一个优选技术方案为：
所述模型辅助参数计算模块包括第一模型参数计算单元和第二模型参数计算单元；
所述第一模型参数计算单元，配置为按照下式所示的方法计算美感等级分类模型的模型参数：
Figure PCTCN2017092585-appb-000014
其中，所述ns为对美感等级分类模型进行模型训练所采用的样本图像数量；所述
Figure PCTCN2017092585-appb-000015
为平方损失函数，且
Figure PCTCN2017092585-appb-000016
所述
Figure PCTCN2017092585-appb-000017
为第i张样本图像的图像特征，所述
Figure PCTCN2017092585-appb-000018
为第i张样本图像对应的标签，所述λ为所述平方损失函数与正则项之间的平衡因子；
所述第二模型参数计算单元，配置为按照下式所示的方法计算美感分数回归模型的模型参数：
Figure PCTCN2017092585-appb-000019
其中，所述nt为对美感分数回归模型进行模型训练所采用的样本图像数量；所述
Figure PCTCN2017092585-appb-000020
为平方损失函数，且
Figure PCTCN2017092585-appb-000021
所述
Figure PCTCN2017092585-appb-000022
为第i张样本图像的图像特征，所述
Figure PCTCN2017092585-appb-000023
为第i张样本图像对应的标签，所述ε为小于预设阈值的正实数，所述μ为所述平方损失函数与正则项之间的平衡因子。
进一步地，本发明提供的一个优选技术方案为：
所述模型参数调整模块包括第一调整单元和第二调整单元；
所述第一调整单元，配置为按照下式所示的方法调整美感等级分类模型的模型参数：
Figure PCTCN2017092585-appb-000024
其中，所述w为模型辅助参数，所述λ′为损失函数与平行约束项之间的平衡因子，所述τs为模型辅助参数w与模型参数ws对应的辅助参数；
所述第二调整单元，配置为按照下式所示的方法调整美感分数回归模型的模型参数：
Figure PCTCN2017092585-appb-000025
其中，所述μ′为损失函数与平行约束之间的平衡因子，所述τt为模型辅助参数w与模型参数wt对应的辅助参数；。
进一步地，本发明提供的一个优选技术方案为：
所述预设的约束条件如下式所示：
Figure PCTCN2017092585-appb-000026
其中，所述w为模型辅助参数，所述ws为美感等级分类模型的模型参数，所述wt为美感分数回归模型的模型参数；所述γs为模型辅助参数w与模型参数ws对应的辅助参数，所述γt为模型辅助参数w与模型参数wt对应的辅助参数。
进一步地，本发明提供的一个优选技术方案为：
进一步地，本发明提供的一个优选技术方案为：
与最接近的现有技术相比，上述技术方案至少具有以下有益效果：
1、本发明中图像美感评估方法，可以依据预设的约束条件，以及模型训练后的美感等级分类模型和美感分数回归模型的模型参数，计算模型辅助参数，并依据模型辅助参数调整模型训练后的美感等级分类模型和美感分数回归模型的模型参数，以及依据调整后的模型参数重新计算模型辅助参数，直至模型辅助参数满足预设的迭代条件。通过上 述方法可以实现美感等级分类模型与美感分数回归模型之间的数据迁移，以模型辅助参数调节美感等级分类模型和美感分数回归模型的模型参数，并经过多次迭代计算，可以显著提高美感分数回归模型的美感分数评估准确性。
2、本发明中图像美感评估装置，主要包括模型辅助参数计算模块、模型参数调整模块和迭代模块。其中，模型辅助参数计算模块可以配置为依据预设的约束条件，以及模型训练后的美感等级分类模型和美感分数回归模型的模型参数，计算模型辅助参数；模型参数调整模块可以配置为依据模型辅助参数，调整模型训练后的美感等级分类模型和美感分数回归模型的模型参数；迭代模块可以配置为依据调整后的模型参数重新计算模型辅助参数，直至模型辅助参数满足预设的迭代条件。通过上述结构可以实现美感等级分类模型与美感分数回归模型之间的数据迁移，以模型辅助参数调节美感等级分类模型和美感分数回归模型的模型参数，并经过多次迭代计算，可以显著提高美感分数回归模型的美感分数评估准确性。
附图说明
图1是本发明实施例中一种图像美感评估方法的主要步骤流程图；
图2是本发明实施例中待测图像示意图；
图3是本发明实施例中一种图像美感评估装置的结构示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
当前可以采用基于深度学习的美感评估方法对图像美感进行评估，但是美感定量评估方法需要对深度学习的训练样本进行长时间的标注，而美感定性评估方法可以对深度学习的训练样本进行快速标注。同时，美感定性评估方法与美感定量评估方法还存在下述联系：在美感定性评估方法中被评估为高质量的图像相较于被评估为低质量的图像， 其在定量评估方法中被评估的美感分数也大于后者。基于此，本发明提供了一种图像美感评估方法，该方法基于参数的迁移学习方法将美感等级分类模型和美感分数回归模型联系起来，具体是：使用标有美感“高/低质量”的图像数据库来训练美感等级分类模型，然后使用基于参数的迁移学习方法来辅助美感分数回归模型在标有美感分数的少量图像上进行训练，从而减轻美感分数回归模型进行模型训练时训练样本标注压力。
下面结合附图，对本发明实施例中一种图像美感评估方法进行说明。
参阅附图1，图1示例性示出了本实施例中图像美感评估方法的主要步骤。如图1所示，本实施例中图像美感评估方法的主要步骤为：
步骤S101：对预设的美感等级分类模型和预设的美感分数回归模型进行模型训练。
本实施例中可以采用基于深度神经网络的图像特征提取方法，获取样本图像的图像特征，然后依据样本图像及所获取的图像特征对预设的美感等级分类模型和预设的美感分数回归模型进行模型训练。在本实施例的一个优选技术方案中，可以采用基于深度卷积神经网络Alexnet的图像特征提取方法，获取样本图像的图像特征。
具体地，本实施例中设定对美感等级分类模型进行模型训练所采用的训练样本数据库包括ns张样本图像，采用前述基于深度神经网络的图像特征提取方法获取各样本图像的图像特征，将样本图像的图像特征标记为xs，如第i张样本图像的图像特征为
Figure PCTCN2017092585-appb-000027
同时对各样本图像添加标签ys，若第i张样本图像的标记信息为“高质量”则该样本对应的标签
Figure PCTCN2017092585-appb-000028
为“+1”，若第i张样本图像的标记信息为“低质量”则该样本对应的标签
Figure PCTCN2017092585-appb-000029
为“-1”。基于上述样本数据，可以得到下式(1)所示的经模型训练后的美感等级分类模型fs(x)：
fs(x)＝sgn(ws Tx+bs)     (1)
公式(1)中各参数含义为：
ws和bs均为美感等级分类模型的模型参数，T为转置符号；sgn(t)为符号函数，若t＞0则sgn(t)＝+1，若t＜0则sgn(t)＝-1，t为符号函数的变量。
本实施例中设定对美感分数回归模型进行模型训练所采用的训练样本数据库包括nt张样本图像，采用前述基于深度神经网络的图像特征提取方法获取各样本图像的图像特征，将样本图像的图像特征标记为xt，如第i张样本图像的图像特征为
Figure PCTCN2017092585-appb-000030
同时将各样本图像的美感评分作为各样本图像的标签yt，如第i张样本图像的图像特征为
Figure PCTCN2017092585-appb-000031
基于上述样本数据，可以得到下式(2)所示的经模型训练后的美感分数回归模型ft(x)：
ft(x)＝wt Tx+bt     (2)
公式(2)中各参数含义为：
wt和bt均为美感分数回归模型的模型参数。
继续参阅图1，本实施例中图像美感评估方法还包括步骤S102：依据预设的约束条件，以及模型训练后的美感等级分类模型fs(x)和美感分数回归模型ft(x)的模型参数，计算模型辅助参数。
本实施例中可以采用L2-SVM(L2-loss Support Vector Machine)模型计算美感等级分类模型的模型参数，具体地可以按照下式(3)所示的方法计算美感等级分类模型的模型参数：
Figure PCTCN2017092585-appb-000032
公式(3)中各参数含义为：
Figure PCTCN2017092585-appb-000033
为平方损失函数，λ为平方损失函数与正则项之间的平衡因子。其中，平方损失函数如下式(4)所示：
Figure PCTCN2017092585-appb-000034
本实施例中可以采用牛顿法求解上述公式(3)。
进一步地，本实施例中可以采用L2-SVR(L2-loss Support Vector Regression)模型计算美感分数回归模型的模型参数，具体地可以按照下式(5)所示的方法计算美感分数回归模型的模型参数：
Figure PCTCN2017092585-appb-000035
公式(5)中各参数含义为：
Figure PCTCN2017092585-appb-000036
为平方损失函数，μ为平方损失函数与正则项之间的平衡因子。其中，平方损失函数如下式(6)所示：
Figure PCTCN2017092585-appb-000037
公式(6)中参数ε为小于预设阈值的正实数，该参数可以表征平方损失函数对误差的敏感程度。
本实施例中可以采用牛顿法求解上述公式(5)。
进一步地，本实施例中在忽略噪声和样本图像标记人员审美差异的情况下，美感等级分类模型与美感分数回归模型的预测结果具有一致性，即被分类为+1的样本图像所对应的美感分数应当大于被分类为-1的样本图像所对应的美感分数，因此可以基于美感等级分类模型的模型参数ws与美感分数回归模型的模型参数wt的平行关系构建约束条件。其中，模型参数ws与wt之间的平行关系指的是模型参数ws与wt满足下述平行约束：
Figure PCTCN2017092585-appb-000038
公式(7)中各参数含义为：α为预设的约束系数，
Figure PCTCN2017092585-appb-000039
为实数集合。
具体地，本实施例中预设的约束条件如下式(8)所示：
Figure PCTCN2017092585-appb-000040
公式(8)中各参数含义为：
w为模型辅助参数，γs为模型辅助参数w与模型参数ws对应的辅助参数；γt为模型辅助参数w与模型参数wt对应的辅助参数。
本实施例中上述约束条件仅对模型参数ws与wt的方向具备约束能力，而不影响二者的模长。具体地，本实施例中公式(8)的解析解如下式(9)所示：
Figure PCTCN2017092585-appb-000041
通过公式(9)可以确定，模型辅助参数w实际为模型参数ws与wt的角平分线的方向，而模型参数ws与wt的方向可以看作示美感评价上升的方向，因此模型辅助参数w是一个更为范化的美感程度上升的方向。将公式(9)所示的各参数解带入公式(8)，可以得到其所求的最小值如下式(10)所示：
Figure PCTCN2017092585-appb-000042
公式(10)中参数
Figure PCTCN2017092585-appb-000043
通过公式(10)可以确定，上述约束条件仅与模型参数ws、wt的夹角有关，而与二者的模长无关，因此上述约束条件仅对模型参数ws与wt的方向具备约束能力，而不影响二者的模长。
继续参阅图1，本实施例中图像美感评估方法还包括步骤S103：依据模型辅助参数，调整模型训练后的美感等级分类模型和美感分数回归模型的模型参数。
本实施例中利用模型辅助参数调整美感等级分类模型的模型参数ws，使得在最小化平方损失函数的同时尽可能将模型参数ws的方向与模型辅助参数的方向保持平行。具体地，可以按照下式(11)所示的方法调整美感等级分类模型的模型参数：
Figure PCTCN2017092585-appb-000044
公式(11)中各参数含义为：
λ′为平方损失函数与平行约束之间的平衡因子，τs为模型辅助参数w与模型参数ws对应的辅助参数。
本实施例中公式(11)中参数τs的解析解如下式(12)所示：
Figure PCTCN2017092585-appb-000045
将上述参数τs的解析解带入公式(11)可以得到：
Figure PCTCN2017092585-appb-000046
本实施例中可以采用牛顿法求解上述公式(12)。
进一步地，本实施例中利用模型辅助参数调整美感分数回归模型的模型参数wt，使得在最小化平方损失函数的同时尽可能将模型参数wt与模型辅助参数保持平衡。具体地，本实施例中可以按照下式(14)所示的方法调整美感分数回归模型的模型参数：
Figure PCTCN2017092585-appb-000047
公式(14)中各参数含义为：
μ′为损失函数与平行约束之间的平衡因子，τt为模型辅助参数w与模型参数wt对应的辅助参数。
本实施例中公式(14)中参数τt的解析解如下式(15)所示：
Figure PCTCN2017092585-appb-000048
将上述参数τt的解析解带入公式(14)可以得到：
Figure PCTCN2017092585-appb-000049
本实施例中可以采用牛顿法求解上述公式(14)。
继续参阅图1，本实施例中步骤S103中在调整经模型训练后的美感等级分类模型和美感分数回归模型的模型参数之后，还包括：依据调整后的模型参数重新计算模型辅助参数，直至模型辅助参数满足预设的迭代条件。
本实施例中依据模型辅助参数调整美感等级分类模型和美感分数回归模型的模型参数，可以提高上述模型参数的精确度，采用具备更高精确度的模型参数计算新的模型辅助参数，再利用该新的模型辅助参数继续调整美感等级分类模型和美感分数回归模型的模型参数，如此迭代计算直至模型辅助参数满足迭代条件，最终得到准确的模型参数。
下面参阅图2，图2示例性示出了待测图像示意图。如图2所示，本实施例中待测图像11～待测图像18的美感评分如下表1所示：
表1
Figure PCTCN2017092585-appb-000050
具体地，本实施例中迁移前美感分数回归模型指的是未采用图1所示的图像美感评估方法对美感分数回归模型进行数据迁移的美感回归模型，迁移后美感分数回归模型指的是采用图1所示的图像美感评估方法对美感分数回归模型进行数据迁移的美感回归模型。
通过表1可以确定相较于迁移前美感分数回归模型，采用图1所示的图像美感评估方法对美感分数回归模型进行数据迁移的美感分数回归模型的评估结果更精确。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
基于与方法实施例相同的技术构思，本发明实施例还提供了一种图像美感评估装置。下面结合附图，对该图像美感评估装置进行具体说明。
参阅附图3，图3示例性示出了本实施例中图像美感评估装置的结构。如图3所示，本实施例中图像美感评估装置可以包括模型训练模块21、模型辅助参数计算模块22、模型参数调整模块23和迭代模块24。其中，模型训练模块21可以配置为对预设的美感等级分类模 型和预设的美感分数回归模型进行模型训练。模型辅助参数计算模块22可以配置为依据预设的约束条件，以及模型训练后的美感等级分类模型和美感分数回归模型的模型参数，计算模型辅助参数。模型参数调整模块23可以配置为依据模型辅助参数，调整模型训练后的美感等级分类模型和美感分数回归模型的模型参数。迭代模块24可以配置为依据调整后的模型参数重新计算模型辅助参数，直至模型辅助参数满足预设的迭代条件。
进一步地，本实施例中模型训练模块21中模型训练后的美感等级分类模型fs(x)如公式(1)所示，模型训练后的美感分数回归模型ft(x)如公式(2)所示。
进一步地，本实施例中模型辅助参数计算模块22可以包括第一模型参数计算单元和第二模型参数计算单元。其中，第一模型参数计算单元可以配置为按照公式(3)所示的方法计算美感等级分类模型的模型参数。第二模型参数计算单元可以配置为按照公式(5)所示的方法计算美感分数回归模型的模型参数。
进一步地，本实施例中模型参数调整模块23可以包括第一调整单元和第二调整单元。其中，第一调整单元可以配置为按照公式(11)所示的方法调整美感等级分类模型的模型参数。第二调整单元可以配置为按照公式(14)所示的方法调整美感分数回归模型的模型参数。
进一步地，本实施例中模型辅助参数计算模块22所采用的约束条件为公式(8)所示的约束条件。
上述图像美感评估装置实施例可以用于执行上述图像美感评估方法实施例，其技术原理、所解决的技术问题及产生的技术效果相似，所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的图像美感评估装置的具体工作过程及有关说明，可以参考前述图像美感评估方法实施例中的对应过程，在此不再赘述。
本领域技术人员可以理解，上述图像美感评估装置还包括一些其他公知结构，例如处理器、控制器、存储器等，其中，存储器包括但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理 器包括但不限于CPLD/FPGA、DSP、ARM处理器、MIPS处理器等，为了不必要地模糊本公开的实施例，这些公知的结构未在图3中示出。
应该理解，图3中的各个模块的数量仅仅是示意性的。根据实际需要，各模块可以具有任意的数量。
本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的服务器、客户端中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，PC程序和PC程序产品)。这样的实现本发明的程序可以存储在PC可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存 在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的PC来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

  1. 一种图像美感评估方法，其特征在于，所述方法包括：
    对预设的美感等级分类模型和预设的美感分数回归模型进行模型训练；
    依据预设的约束条件，以及所述模型训练后的美感等级分类模型和美感分数回归模型的模型参数，计算模型辅助参数；
    依据所述模型辅助参数，调整所述模型训练后的美感等级分类模型和美感分数回归模型的模型参数；依据所述调整后的模型参数重新计算所述模型辅助参数，直至所述模型辅助参数满足预设的迭代条件。
  2. 根据权利要求1所述的方法，其特征在于，
    所述模型训练后的美感等级分类模型fs(x)如下式所示：
    fs(x)＝sgn(ws Tx+bs)
    其中，所述ws和bs均为美感等级分类模型的模型参数，所述T为转置符号；所述sgn(t)为符号函数，若t＞0则sgn(t)＝+1，若t＜0则sgn(t)＝-1，t为符号函数的变量；
    所述模型训练后的美感分数回归模型ft(x)如下式所示：
    ft(x)＝wt Tx+bt
    其中，所述wt和bt均为美感分数回归模型的模型参数。
  3. 根据权利要求2所述的方法，其特征在于，所述计算模型辅助参数之前包括：
    按照下式所示的方法计算美感等级分类模型的模型参数：
    Figure PCTCN2017092585-appb-100001
    其中，所述ns为对美感等级分类模型进行模型训练所采用的样本图像数量；所述
    Figure PCTCN2017092585-appb-100002
    为平方损失函数，且
    Figure PCTCN2017092585-appb-100003
    所述
    Figure PCTCN2017092585-appb-100004
    为第i张样本图像的图像特征，所述
    Figure PCTCN2017092585-appb-100005
    为第i张样本图像对应的标签，所述λ为所述平方损失函数与正则项之间的平衡因子；
    按照下式所示的方法计算美感分数回归模型的模型参数：
    Figure PCTCN2017092585-appb-100006
    其中，所述nt为对美感分数回归模型进行模型训练所采用的样本图像数量；所述
    Figure PCTCN2017092585-appb-100007
    为平方损失函数，且
    Figure PCTCN2017092585-appb-100008
    所述
    Figure PCTCN2017092585-appb-100009
    为第i张样本图像的图像特征，所述
    Figure PCTCN2017092585-appb-100010
    为第i张样本图像对应的标签，所述ε为小于预设阈值的正实数，所述μ为所述平方损失函数与正则项之间的平衡因子。
  4. 根据权利要求1所述的方法，其特征在于，
    所述预设的约束条件如下式所示：
    Figure PCTCN2017092585-appb-100011
    其中，所述w为模型辅助参数，所述ws为美感等级分类模型的模型参数，所述wt为美感分数回归模型的模型参数；所述γs为模型辅助参数w与模型参数ws对应的辅助参数；所述γt为模型辅助参数w与模型参数wt对应的辅助参数。
  5. 根据权利要求3所述的方法，其特征在于，
    所述依据模型辅助参数，调整模型训练后的美感等级分类模型和美感分数回归模型的模型参数包括：
    按照下式所示的方法调整美感等级分类模型的模型参数：
    Figure PCTCN2017092585-appb-100012
    其中，所述w为模型辅助参数，所述λ′为所述平方损失函数与平行约束项||w-τsws||2之间的平衡因子，所述τs为模型辅助参数w与模型参数ws对应的辅助参数；
    按照下式所示的方法调整美感分数回归模型的模型参数：
    Figure PCTCN2017092585-appb-100013
    其中，所述μ′为损失函数与平行约束之间的平衡因子，所述τt为模型辅助参数w与模型参数wt对应的辅助参数。
  6. 一种图像美感评估装置，其特征在于，所述装置包括：
    模型训练模块，配置为对预设的美感等级分类模型和预设的美感分数回归模型进行模型训练；
    模型辅助参数计算模块，配置为依据预设的约束条件，以及所述模型训练后的美感等级分类模型和美感分数回归模型的模型参数，计算模型辅助参数；
    模型参数调整模块，配置为依据所述模型辅助参数，调整所述模型训练后的美感等级分类模型和美感分数回归模型的模型参数；
    迭代模块，配置为依据所述调整后的模型参数重新计算所述模型辅助参数，直至所述模型辅助参数满足预设的迭代条件。
  7. 根据权利要求6所述的装置，其特征在于，
    所述模型训练后的美感等级分类模型fs(x)如下式所示：
    fs(x)＝sgn(ws Tx+bs)
    其中，所述ws和bs均为美感等级分类模型的模型参数，所述T为转置符号；所述sgn(t)为符号函数，若t＞0则sgn(t)＝+1，若t＜0则sgn(t)＝-1，t为符号函数的变量；
    所述模型训练后的美感分数回归模型ft(x)如下式所示：
    ft(x)＝wt Tx+bt
    其中，所述wt和bt均为美感分数回归模型的模型参数。
  8. 根据权利要求7所述的装置，其特征在于，所述模型辅助参数计算模块包括第一模型参数计算单元和第二模型参数计算单元；
    所述第一模型参数计算单元，配置为按照下式所示的方法计算美感等级分类模型的模型参数：
    Figure PCTCN2017092585-appb-100014
    其中，所述ns为对美感等级分类模型进行模型训练所采用的样本图像数量；所述
    Figure PCTCN2017092585-appb-100015
    为平方损失函数，且
    Figure PCTCN2017092585-appb-100016
    所述
    Figure PCTCN2017092585-appb-100017
    为第i张样本图像的图像特征，所述
    Figure PCTCN2017092585-appb-100018
    为第i张样本图像对应的标签，所述λ为所述平方损失函数与正则项之间的平衡因子；
    所述第二模型参数计算单元，配置为按照下式所示的方法计算美感分数回归模型的模型参数：
    Figure PCTCN2017092585-appb-100019
    其中，所述nt为对美感分数回归模型进行模型训练所采用的样本图像数量；所述
    Figure PCTCN2017092585-appb-100020
    为平方损失函数，且
    Figure PCTCN2017092585-appb-100021
    所述
    Figure PCTCN2017092585-appb-100022
    为第i张样本图像的图像特征，所述
    Figure PCTCN2017092585-appb-100023
    为第i张样本图像对应的标签，所述ε为小于预设阈值的正实数，所述μ为所述平方损失函数与正则项之间的平衡因子。
  9. 根据权利要求8所述的装置，其特征在于，所述模型参数调整模块包括第一调整单元和第二调整单元；
    所述第一调整单元，配置为按照下式所示的方法调整美感等级分类模型的模型参数：
    Figure PCTCN2017092585-appb-100024
    其中，所述w为模型辅助参数，所述λ′为损失函数与平行约束之间的平衡因子，所述τs为模型辅助参数w与模型参数ws对应的辅助参数；
    所述第二调整单元，配置为按照下式所示的方法调整美感分数回归模型的模型参数：
    Figure PCTCN2017092585-appb-100025
    其中，所述μ′为损失函数与平行约束之间的平衡因子，所述τt为模型辅助参数w与模型参数wt对应的辅助参数。
  10. 根据权利要求6所述的装置，其特征在于，
    所述预设的约束条件如下式所示：
    Figure PCTCN2017092585-appb-100026
    其中，所述w为模型辅助参数，所述ws为美感等级分类模型的模型参数，所述wt为美感分数回归模型的模型参数；所述γs为模型辅助参数w与模型参数ws对应的辅助参数；所述γt为模型辅助参数w与模型参数wt对应的辅助参数。
PCT/CN2017/092585 2017-07-12 2017-07-12 图像美感评估方法及装置 WO2019010640A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/092585 WO2019010640A1 (zh) 2017-07-12 2017-07-12 图像美感评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/092585 WO2019010640A1 (zh) 2017-07-12 2017-07-12 图像美感评估方法及装置

Publications (1)

Publication Number Publication Date
WO2019010640A1 true WO2019010640A1 (zh) 2019-01-17

Family

ID=65001138

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/092585 WO2019010640A1 (zh) 2017-07-12 2017-07-12 图像美感评估方法及装置

Country Status (1)

Country Link
WO (1) WO2019010640A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494130A (zh) * 2021-12-24 2022-05-13 吉林建筑大学 一种基于最优模型评价准则的产品美学评价体系

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120076376A1 (en) * 2007-10-31 2012-03-29 Siemens Medical Solutions Usa, Inc. Controlling the Number of Iterations in Image Reconstruction
CN102509123A (zh) * 2011-12-01 2012-06-20 中国科学院自动化研究所 一种基于复杂网络的脑功能磁共振图像分类方法
CN103440510A (zh) * 2013-09-02 2013-12-11 大连理工大学 一种面部图像中特征点的定位方法
CN105488456A (zh) * 2015-11-23 2016-04-13 中国科学院自动化研究所 基于自适应阈值调整拒识子空间学习的人脸检测方法
CN106503106A (zh) * 2016-10-17 2017-03-15 北京工业大学 一种基于深度学习的图像哈希索引构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120076376A1 (en) * 2007-10-31 2012-03-29 Siemens Medical Solutions Usa, Inc. Controlling the Number of Iterations in Image Reconstruction
CN102509123A (zh) * 2011-12-01 2012-06-20 中国科学院自动化研究所 一种基于复杂网络的脑功能磁共振图像分类方法
CN103440510A (zh) * 2013-09-02 2013-12-11 大连理工大学 一种面部图像中特征点的定位方法
CN105488456A (zh) * 2015-11-23 2016-04-13 中国科学院自动化研究所 基于自适应阈值调整拒识子空间学习的人脸检测方法
CN106503106A (zh) * 2016-10-17 2017-03-15 北京工业大学 一种基于深度学习的图像哈希索引构建方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494130A (zh) * 2021-12-24 2022-05-13 吉林建筑大学 一种基于最优模型评价准则的产品美学评价体系

Similar Documents

Publication Publication Date Title
CN107481218B (zh) 图像美感评估方法及装置
CN110363210B (zh) 一种图像语义分割模型的训练方法和服务器
US10529317B2 (en) Neural network training apparatus and method, and speech recognition apparatus and method
WO2019174422A1 (zh) 实体关联关系的分析方法及相关装置
WO2018157805A1 (zh) 一种自动问答处理方法及自动问答系统
WO2016124103A1 (zh) 一种图片检测方法及设备
WO2017220032A1 (zh) 基于深度学习的车牌分类方法、系统、电子装置及存储介质
JP6167493B2 (ja) 情報を管理するための方法、コンピュータプログラム、記憶媒体及びシステム
WO2017097166A1 (zh) 识别领域命名实体的方法及装置
US10909970B2 (en) Utilizing a dynamic memory network to track digital dialog states and generate responses
JP2019532365A5 (zh)
Kropotov et al. Method for forecasting changes in time series parameters in digital information management systems
WO2018126325A1 (en) Learning document embeddings with convolutional neural network architectures
WO2018000309A1 (en) Importance-aware model pruning and re-training for efficient convolutional neural networks
US20110320391A1 (en) Method and Apparatus for Predicting Application Performance Across Machines with Different Hardware Configurations
CN108292257B (zh) 用于注解客户端-服务器事务的系统和方法
WO2015154679A1 (zh) 多搜索引擎搜索结果的排序方法及装置
TW202029070A (zh) 神經網路的訓練方法、基於神經網路的分類方法及其裝置
CN109829380B (zh) 一种狗脸特征点的检测方法、装置、系统及存储介质
CN107832288B (zh) 中文词语语义相似度的度量方法及装置
TW201843609A (zh) 用於以學習為基礎的群組標記之系統和方法
US9552375B2 (en) Geocoding of images based on search queries
Kim et al. Comparing intra-observer variation and external variations of a fully automated cephalometric analysis with a cascade convolutional neural net
WO2019010640A1 (zh) 图像美感评估方法及装置
WO2017107695A1 (zh) 对新闻进行排序的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17917868

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17917868

Country of ref document: EP

Kind code of ref document: A1