WO2019221293A1 - 画像生成装置、画像生成方法及び画像生成プログラム - Google Patents

画像生成装置、画像生成方法及び画像生成プログラム Download PDF

Info

Publication number
WO2019221293A1
WO2019221293A1 PCT/JP2019/019790 JP2019019790W WO2019221293A1 WO 2019221293 A1 WO2019221293 A1 WO 2019221293A1 JP 2019019790 W JP2019019790 W JP 2019019790W WO 2019221293 A1 WO2019221293 A1 WO 2019221293A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
evaluation value
items
parameters
image data
Prior art date
Application number
PCT/JP2019/019790
Other languages
English (en)
French (fr)
Inventor
山崎　俊彦
哲 小杉
Original Assignee
国立大学法人東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京大学 filed Critical 国立大学法人東京大学
Priority to JP2020519955A priority Critical patent/JPWO2019221293A1/ja
Publication of WO2019221293A1 publication Critical patent/WO2019221293A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an image generation apparatus, an image generation method, and an image generation program.
  • Non-Patent Document 1 discloses an evaluation model learned to calculate a degree of attractiveness of a person's face by using a person's face image as an input. By calculating the degree of attractiveness of the face using such an evaluation model, for example, it becomes possible to evaluate the degree of attractiveness when various makeups are applied to a human face.
  • Non-Patent Document 1 in an evaluation model using a neural network, even if an original image and a generated image are compared by multiplying a certain image (original image) with a specific image, In spite of the fact that the difference is almost unrecognizable, so-called hostile inputs (adversarial examples) can occur that the evaluation model outputs a wrong result with high confidence in the generated image.
  • an object of the present invention is to provide an image generation apparatus, an image generation method, and an image generation program that generate an image whose evaluation value by an evaluation model is improved while avoiding the occurrence of adversarial examples.
  • An image generation apparatus is configured to perform principal component analysis on each of one or more constituent elements constituting a plurality of sample patterns respectively included in one or more synthesis items to be synthesized with input image data.
  • a parameter expression unit that expresses one or a plurality of synthesis items by parameters
  • an image synthesis unit that synthesizes one or a plurality of synthesis items expressed by parameters to the input image data
  • image synthesis An evaluation value calculation unit that inputs a composite image synthesized by the unit into an evaluation model and calculates an evaluation value of the composite image.
  • the evaluation model is configured to store the input image data when the image data is input.
  • An evaluation value calculation unit which is a model learned to output an evaluation value, and one or more so that the evaluation value calculated by the evaluation value calculation unit is improved Updating one or more parameters among the parameters of the synthetic item includes a feedback section, and an image generating unit that generates a synthesized image synthesized on the basis of one or more parameters that have been updated by the feedback unit.
  • each component is represented by a parameter based on the principal component vector by performing principal component analysis on the components constituting the plurality of sample patterns included in each composite item.
  • the image generation apparatus may further include a range determination unit that determines a range that each parameter can take based on the variance of each of the one or more constituent elements in one or more composite items. .
  • the feedback unit may fix the parameters of some composite items selected by the user among one or a plurality of composite items, and update the parameters of the remaining composite items.
  • the image data may include a human face image
  • the evaluation value may include the attractiveness of the human face
  • the one or more composite items may include makeup that increases the attractiveness of the human face by applying it to the human face image.
  • the one or more constituent elements may include a mask indicating a region to which makeup is applied and a color corresponding to the mask, and the parameter expression unit may perform principal component analysis on each of the mask and the color.
  • the one or more combination items include a smooth image obtained by smoothing a region corresponding to the skin of the input image data, and the parameter expression unit combines the input image data and the smooth image.
  • the ratio may be used as a parameter of the composite item.
  • An image generation method is a method for controlling an image generation apparatus, in which the image generation apparatus includes a plurality of samples included in one or a plurality of combination items combined with input image data.
  • the image generation apparatus includes a plurality of samples included in one or a plurality of combination items combined with input image data.
  • each of one or a plurality of composite items is represented by a parameter
  • the input image data is represented by 1 or
  • a step of combining a plurality of composite items and a step of inputting the composite image into the evaluation model and calculating an evaluation value of the composite image.
  • the evaluation model is input when image data is input.
  • a model that is learned to output an evaluation value of the image data that has been processed, and one or more steps so that the calculated evaluation value is improved Comprising updating the one or more parameters among the parameters of the synthesis fields, and outputting the synthesized composite image based on one or more parameters are updated, the.
  • each component is represented by a parameter based on the principal component vector by performing principal component analysis on the components constituting the plurality of sample patterns included in each composite item.
  • An image generation program provides a computer for each of one or a plurality of constituent elements constituting a plurality of sample patterns respectively included in one or a plurality of synthesis items to be synthesized with input image data.
  • a parameter expression unit that expresses one or a plurality of synthesis items by parameters by performing principal component analysis; and an image synthesis unit that synthesizes one or a plurality of synthesis items expressed by parameters to input image data;
  • An evaluation value calculation unit that inputs a composite image synthesized by the image synthesis unit to an evaluation model and calculates an evaluation value of the composite image, and the evaluation model is input when image data is input
  • the evaluation value calculation unit which is a model learned to output the evaluation value of image data, and the evaluation value calculated by the evaluation value calculation unit are improved.
  • the feedback unit that updates one or more parameters among the parameters of one or more synthesis items, and the image generation that outputs the synthesized image synthesized based on the one or more parameters updated by the feedback unit Function as part.
  • each component is represented by a parameter based on the principal component vector by performing principal component analysis on the components constituting the plurality of sample patterns included in each composite item.
  • an image generation apparatus an image generation method, and an image generation program that generate an image in which an evaluation value based on an evaluation model is improved while avoiding occurrence of adversarial examples.
  • FIG. 1 is a diagram showing a network configuration of an image generation apparatus according to an embodiment of the present invention.
  • the image generation system 100 generates and outputs an image in which makeup is applied electronically to the face based on the input face image so that the attractiveness of the face image is optimized.
  • “optimization” indicates that the evaluation value such as the attractiveness by the evaluation model is at least locally in a state where the evaluation value is more preferable (higher in the present embodiment) or in the vicinity thereof.
  • make up electronically means to synthesize, edit, or correct a face image as if makeup was applied to improve the attractiveness of the face.
  • the image generation system 100 includes a database DB that stores a data set in which a plurality of image data and evaluation values of each image data are associated, and an evaluation model 20 that calculates an evaluation value of an input image.
  • a database DB that stores a data set in which a plurality of image data and evaluation values of each image data are associated
  • an evaluation model 20 that calculates an evaluation value of an input image.
  • the image data may be any image data that can be given an evaluation value in accordance with a certain evaluation criterion, such as food, landscape, product advertisement, and other arbitrary image data. Also good.
  • the image generation system 100 is connected to the communication network N and stores the image data acquired from the user terminal 30 in the database DB or inputs it to the image generation apparatus 10. Further, the image generation system 100 outputs the generated image data to the user terminal 30 via the communication network N. Further, the image generation system 100 may add or edit a data set stored in the database DB or learn the evaluation model 20 based on an instruction from the user terminal 30.
  • the communication network N is a wired or wireless communication network, and may be, for example, the Internet or a LAN (Local Area Network).
  • LAN Local Area Network
  • the evaluation model 20 is a model that outputs an evaluation value of the image when new image data is input.
  • the evaluation value of the image is a value indicating the attractiveness of the human face, but the evaluation target and criteria are not limited to these.
  • the evaluation model 20 may be a model using a neural network, for example, and specifically may include ResNet (Residual (Network), for example.
  • FIG. 2 is a diagram illustrating a physical configuration of the image generation apparatus 10 according to the present embodiment.
  • the image generation apparatus 10 includes a CPU (Central Processing Unit) 10a corresponding to a hardware processor, a RAM (Random Access Memory) 10b corresponding to a memory, a ROM (Read Only Memory) 10c corresponding to a memory, and a communication unit 10d. And an input unit 10e and a display unit 10f. These components are connected to each other via a bus so that data can be transmitted and received.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the CPU 10a is a control unit that performs control related to execution of a program stored in the RAM 10b or the ROM 10c, and calculates and processes data.
  • the CPU 10 a is an arithmetic device that executes a program (image generation program) for generating an image using the evaluation model 20.
  • the CPU 10a receives various input data from the input unit 10e and the communication unit 10d, and displays the calculation result of the input data on the display unit 10f or stores it in the RAM 10b or the ROM 10c.
  • the RAM 10b is a storage unit capable of rewriting data, and is composed of, for example, a semiconductor storage element.
  • the RAM 10b stores programs such as applications executed by the CPU 10a and data.
  • the ROM 10c is a storage unit that can only read data, and is composed of, for example, a semiconductor storage element.
  • the ROM 10c stores programs such as firmware and data, for example.
  • the communication unit 10d is a communication interface that connects the image generation apparatus 10 to the communication network N.
  • the input unit 10e receives data input from the user, and includes, for example, a keyboard, a mouse, and a touch panel.
  • the display unit 10f visually displays a calculation result by the CPU 10a, and is configured by, for example, an LCD (Liquid Crystal Display).
  • the image generation program may be provided by being stored in a computer-readable storage medium such as the RAM 10b or the ROM 10c, or may be provided via the communication network N connected by the communication unit 10d.
  • the CPU 10a executes an image generation program, thereby realizing various functions described with reference to the following diagram.
  • these physical structures are illustrations, Comprising: It does not necessarily need to be an independent structure.
  • the image generation apparatus 10 may include an LSI (Large-Scale Integration) in which the CPU 10a, the RAM 10b, and the ROM 10c are integrated.
  • the image generation apparatus 10 may include an arithmetic circuit such as a GPU (Graphics Processing Unit), an FPGA (Field-Programmable Gate Array), or an ASIC (Application Specific Integrated Circuit) instead of or in addition to the CPU 10a. Good.
  • an arithmetic circuit such as a GPU (Graphics Processing Unit), an FPGA (Field-Programmable Gate Array), or an ASIC (Application Specific Integrated Circuit) instead of or in addition to the CPU 10a. Good.
  • FIG. 3 is a diagram showing functional blocks of the image generation apparatus 10 according to the present embodiment.
  • the image generation apparatus 10 includes a learning unit 11, a parameter expression unit 12, a range determination unit 13, an image synthesis unit 14, an evaluation value calculation unit 15, a feedback unit 16, an image generation unit 17, and a sample pattern 18. And comprising.
  • a learning unit 11 a parameter expression unit 12
  • a range determination unit 13 a range determination unit 13
  • an image synthesis unit 14 an evaluation value calculation unit
  • a feedback unit 16 an image generation unit 17, and a sample pattern 18. And comprising.
  • the makeup applied to the face image is, for example, “eye shadow”, “eye lash”, “eye line”, “eye brow”, “foundation”, “blush”, “lip”, “contour”, “skin tone”, etc. It is represented by the addition of various makeup items. That is, each of these cosmetic items is a specific example of a composite item to be combined with the input face image. Of these cosmetic items, the application of each cosmetic item other than “skin beautify” is realized by adding or subtracting a color indicating makeup to a region corresponding to each makeup in the face image before the cosmetic application at a predetermined density.
  • each makeup item other than “skin beautify” is configured by a region to which makeup is applied, a makeup color to be added to or subtracted from the region, and a makeup intensity.
  • the decorative item i (i is "eye shadow”, “eye lash”, ordinal number indicating the ... etc.) various patterns m i contained is represented by the following equation (1).
  • f i represents a mask image indicating a region to which makeup is applied
  • c i represents a color corresponding to the mask
  • ⁇ i represents makeup darkness.
  • m is a MN ⁇ 3 matrix
  • f is a MN-dimensional column vector
  • c is 3 Dimensional column vector
  • ⁇ is a constant.
  • “skin beautification” is applied by adding a smooth image obtained by applying a smoothing filter to the skin area of the face image before applying makeup at a predetermined ratio to the face image before applying makeup. It is realized by doing. That is, the skin beautification image g skin after the “beautifying skin” is expressed by the following formula (2).
  • g before indicates an image before applying “skin beautification”
  • g smooth indicates a smooth image obtained by applying a smoothing filter to the skin area
  • ⁇ indicates a degree of application of the “skin beautification” effect.
  • g is an MN ⁇ 3 matrix
  • ⁇ is a constant.
  • the smoothing filter may be a bilateral filter, for example.
  • a plurality of patterns in which at least one of the region and the color is different from each other is generated and stored as a sample pattern 18 in the storage unit of the image generation apparatus 10.
  • a sample pattern 18 in the storage unit of the image generation apparatus 10.
  • the learning unit 11 uses a data set including a plurality of face image data and evaluation value data respectively associated with the plurality of face image data as learning data.
  • the evaluation model 20 is learned so as to output the evaluation value of the new face image data.
  • the face image data D1 and the evaluation value data D2 used for learning the evaluation model 20 may be stored as an initial data set in the database DB.
  • the face image data D1 includes face image data of a plurality of people having different degrees of attractiveness. It is assumed that face alignment and normalization are performed in advance between a plurality of face images.
  • the evaluation value data D2 may be, for example, an average value of the attractiveness of the face evaluated in five stages from 1 to 5 by a predetermined number of evaluators for each of the face images included in the face image data D1. .
  • the database DB stores a large number of combinations of certain face image data D1 and evaluation value data D2 indicating its attractiveness.
  • the parameter expression unit 12 expresses each makeup item with a parameter based on the sample pattern 18 stored in the storage unit. Specifically, for each makeup item, the parameter expression unit 12 performs principal component analysis on the image data of the sample pattern 18 for each mask and color, thereby representing each makeup item with a parameter based on the principal component vector. .
  • FIGS. 4A and 4B are diagrams showing images of image data distribution of a plurality of sample patterns in a certain makeup item.
  • M ⁇ N M and N are integers
  • each sample pattern is expressed as one point in the M ⁇ N dimensional space. Is indicated by
  • each of these image data is converted into a principal component vector (in FIG. 4B). Is expressed based on the first principal component vector and the second principal component vector.
  • the principal component vectors are assigned in descending order of data dispersion (that is, data explanatory power is high).
  • the mask and color of each makeup item other than “skin beautify” are expressed by the following formulas (4) and (5), respectively.
  • f i_mean, c i_mean represents the average masks and color among the plurality of sample patterns in each decorative item i, x ij, j-th main constituent of masks and color in each y ij cosmetic item i ( 1st principal component, 2nd principal component,...), And k ij and l ij represent coefficients of respective principal component vectors.
  • x is an MN-dimensional column vector
  • y is a three-dimensional column vector
  • k and l are constants.
  • each cosmetic item including “beautiful skin” is expressed by the four parameters ( ⁇ , ⁇ i , k ij , l ij ).
  • the range determination unit 13 determines a range that each parameter can take based on the dispersion of image data of a plurality of sample patterns. In other words, it is generally considered that the whiter the skin, the more attractive it will be, while the excessive whiteness will result in an unnatural face and the attractiveness will decrease. There is a predetermined range to feel that. Therefore, the range determination unit 13 limits the range that each parameter can take so that the makeup applied to the face image data is within a natural range. For example, ⁇ indicating the degree of application of the “beautiful skin” is limited to a range of [0, 1].
  • K ij, l ij to define the decorative items other than "beautiful skin” is the average of each of mu ij, when the standard deviation and ⁇ ij, [ ⁇ ij -m i ⁇ ij, ⁇ ij + m i ⁇ ij] Limit to the range. Thereby, each makeup falls within a predetermined range from the average. Further, ⁇ i indicating the darkness of makeup is limited to a predetermined range. Note that mi and ⁇ i may be adjusted by the user so as to be within a range where the user feels natural, for example.
  • the makeup range given by the image generation device 10 is shown in FIG. 4B from the broken line region shown in FIG. 4A. It is narrowed to the broken line area.
  • the range of the makeup items to be applied is limited to a range more suitable for the region where the pre-generated sample pattern 18 exists, it is possible to suppress the application of unnatural makeup.
  • the image composition unit 14 synthesizes each makeup item with new face image data input from the user terminal 30 to obtain a makeup-applied image.
  • the makeup-applying image is a specific example of the composite image.
  • Each makeup item to be synthesized is parameter-expressed by the parameter expression unit 12 as described above, and the range that the parameter can take is limited by the range determination unit 13.
  • the evaluation value calculation unit 15 inputs the makeup application image obtained by the image composition unit 14 to the evaluation model 20 learned by the learning unit 11, and calculates the attractiveness (that is, evaluation value data) of the makeup application image. To do.
  • the feedback unit 16 updates one or a plurality of parameters of each cosmetic item so that the evaluation value calculated by the evaluation value calculation unit 15 is optimized (in this embodiment, maximized).
  • the gradient of each parameter with respect to the change in the evaluation value is obtained using an error back propagation method or the like, and the parameter is changed in the gradient direction using the gradient descent method or the like.
  • the upper limit value or lower limit value may be used as the parameter value.
  • FIG. 5 is a diagram illustrating steps for optimizing an evaluation value by updating each parameter.
  • “skin beautifying” and “teak” are shown as examples, but since each cosmetic item other than “skin beautifying” and “teak” is the same as “teak”, Detailed description is omitted.
  • k cheekj , l cheekj ) and ⁇ i indicating the density of each makeup item other than “beautiful skin” is input to the evaluation model 20. Get an evaluation value. Then, the updating of these four parameters and the calculation of the evaluation value are repeated until the obtained evaluation value is optimized.
  • the feedback unit 16 may fix the parameters of some makeup items selected by the user among the makeup items and update the parameters of the remaining makeup items. For example, when the user owns a cheek, even if the cheek parameters of the makeup items in the image generation apparatus 10 are fixed according to the cheeks owned by the user and the parameters of other makeup items are updated. Good. Thereby, it is possible to generate a face image in which the evaluation value is optimized by other makeup items while including the cheeks owned by the user.
  • the image generation unit 17 generates a makeup-applying image synthesized based on the parameters when the evaluation value is optimized, and outputs it to the user terminal 30.
  • FIG. 6A is a flowchart of preprocessing executed by the image generation apparatus according to the present embodiment.
  • the pre-processing is processing performed prior to the image generation processing shown in FIG. 6B.
  • the parameter expression unit 12 expresses each cosmetic item with a parameter by performing principal component analysis on the image data of these sample patterns based on a plurality of sample patterns of each cosmetic item (S10).
  • the range determination unit 13 determines a range that each parameter can take based on the dispersion of the image data of these sample patterns (S11).
  • the preprocessing ends. It should be noted that the pre-processing only needs to be performed once prior to the image generation processing, and may not be repeated every time the image generation processing is performed.
  • FIG. 6B is a flowchart of image generation processing executed by the image generation apparatus according to the present embodiment. It is assumed that the above preprocessing has been completed before the start of the image generation processing.
  • the image synthesizing unit 14 synthesizes a new face image input from the user terminal 30 and each makeup item represented by parameters, and acquires a makeup-applying image (S20).
  • the evaluation value calculation unit 15 calculates the evaluation value of the obtained makeup-applied image using the evaluation model 20 (S21).
  • the feedback unit 16 updates one or more parameters (S24), and returns to step S20.
  • the image generation unit 17 generates a makeup-applying image and outputs it to the user terminal 30 (S23). Thus, the image generation process ends.
  • each component is expressed by a parameter based on the principal component vector by performing principal component analysis on the components constituting the plurality of sample patterns included in each makeup item.
  • the parameter is updated along the direction of the principal component vector (that is, the direction in which the data variance is large), compared to the method of applying the makeup item without performing the principal component analysis.
  • An image with an optimized evaluation value can be generated while avoiding adversarial ⁇ examples.
  • the range that can be taken by the parameter is limited by the range determination unit 13, thereby suppressing generation of an unnatural image as a human face image.
  • FIG. 7 shows the attractiveness of a face image (comparison image) to which makeup is actually applied by a person and a makeup-applied image (proposed image) to which makeup is electronically applied by the image generation device 10 for a certain person. It is the figure which showed the result of having conducted the five-stage subjective evaluation experiment regarding this. Specifically, the graph shown in the figure shows, in order from the left of the page, “Compared image is more attractive / Compared image is more attractive / Same / Proposed image is more attractive / Proposed image. The percentage of respondents who answered “is very attractive”.
  • the ratio that the proposed image is more attractive or attractive is higher than the ratio that the comparative image is more attractive or attractive. From this, according to this embodiment, it is suggested that makeup that is natural to a person and that has a higher attractiveness than makeup actually applied by the person can be applied electronically.
  • suitable makeup may vary depending on the situation, such as for work, for job hunting, or for private use.
  • the learning data set used for learning the evaluation model 20 by appropriately changing the learning data set used for learning the evaluation model 20, it is possible to calculate evaluation values based on various evaluation axes and generate various makeup-applying images.
  • the facial image data associated with the suitability degree as makeup for work as an evaluation value is used as a learning data set. Good.
  • the image generation apparatus 10 can generate a face image having high suitability as work makeup.
  • makeup has been described as an example of an element added to a person's face image.
  • an element assigned to a person's face image is not limited to makeup, and for example, a decorative item such as glasses or accessories. There may be.
  • an image in which the evaluation value of the image is improved can be generated based on other various images without being limited to the human face image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

adversarial examplesの発生を回避しつつ、評価モデルによる評価値が向上する画像を生成する。画像生成装置は、画像データに合成される１又は複数の合成項目にそれぞれ含まれる複数のサンプルパターンを構成する１又は複数の構成要素のそれぞれに主成分分析を施すことにより、１又は複数の合成項目をそれぞれパラメータにより表現するパラメータ表現部と、入力された画像データに１又は複数の合成項目を合成する画像合成部と、合成された合成画像を評価モデルに入力し、当該合成画像の評価値を算出する評価値算出部であって、評価モデルは、入力された画像データの評価値を出力するように学習されたモデルである、評価値算出部と、算出された評価値が向上するように１又は複数の合成項目のパラメータのうち１又は複数のパラメータを更新する帰還部と、更新された１又は複数のパラメータに基づいて合成された合成画像を生成する画像生成部と、を含む。

Description

画像生成装置、画像生成方法及び画像生成プログラム 関連出願の相互参照
　本出願は、２０１８年５月１８日に出願された日本特許出願番号２０１８－０９６５９１号に基づくもので、ここにその記載内容を援用する。
　本発明は、画像生成装置、画像生成方法及び画像生成プログラムに関する。
　近年、多層のニューラルネットワーク等のモデルを用いて、画像認識や音声認識、自然言語処理を行う研究が進展している。例えば、画像を入力として、その画像をある基準に則って評価した評価値を算出する評価モデルが知られている。この評価モデルは、例えば、予め評価値が定められた複数の学習用データセットを入力して、正しい評価値を再現するようにモデルのパラメータを更新していくことで学習される。
　このような画像認識の適用例として、例えば下記非特許文献１には、人の顔画像を入力として、その人の顔の魅力度を算出するように学習された評価モデルが開示されている。このような評価モデルによる顔の魅力度の算出により、例えば人の顔に様々な化粧を施したときの魅力度をそれぞれ評価することが可能となる。
S.Shen, R.Furuta, T.Yamasaki, and K.Aizawa. Fooling neural networks in face attractiveness evaluation: Adversarial examples with high attractiveness score but low subjective score. BigMM, pp.66-69, 2017.
　しかしながら、非特許文献１に示されるように、ニューラルネットワークによる評価モデルでは、ある画像（元画像）に特定の画像を掛け合わせることにより、元画像と生成された画像とを比較しても、人には違いがほぼ認識できないにもかかわらず、生成された画像に対して評価モデルが高い確信度を持って誤った結果を出力するという、いわゆる敵対的入力（adversarial examples）が発生し得る。例えば人の顔画像を入力として当該顔画像より魅力度が向上した顔画像を生成しようとする場合に、このようなadversarial examplesが発生すると、人が感じる魅力度と評価モデルから出力される魅力度が乖離し、評価モデルにとっては魅力度が向上していても、すなわち、評価モデルによる評価値が高くても、人が感じる魅力度が元画像とほぼ変わらない顔画像が出力されるおそれがある。
　そこで、本発明は、adversarial examplesの発生を回避しつつ、評価モデルによる評価値が向上する画像を生成する画像生成装置、画像生成方法及び画像生成プログラムを提供することを目的とする。
　本発明の一態様に係る画像生成装置は、入力された画像データに合成される１又は複数の合成項目にそれぞれ含まれる複数のサンプルパターンを構成する１又は複数の構成要素のそれぞれに主成分分析を施すことにより、１又は複数の合成項目をそれぞれパラメータにより表現するパラメータ表現部と、入力された画像データに、パラメータにより表現された１又は複数の合成項目を合成する画像合成部と、画像合成部により合成された合成画像を評価モデルに入力し、当該合成画像の評価値を算出する評価値算出部であって、評価モデルは、画像データが入力された場合に、入力された画像データの評価値を出力するように学習されたモデルである、評価値算出部と、評価値算出部により算出された評価値が向上するように、１又は複数の合成項目のパラメータのうち１又は複数のパラメータを更新する帰還部と、帰還部により更新された１又は複数のパラメータに基づいて合成された合成画像を生成する画像生成部と、を含む。
　この態様によれば、各合成項目に含まれる複数のサンプルパターンを構成する構成要素に主成分分析が施されることにより、各構成要素が主成分ベクトルに基づいたパラメータによって表現される。これにより、主成分ベクトルの方向に沿ってパラメータが更新されるため、adversarial examplesを回避しつつ、評価モデルによる評価値が向上する画像を生成することができる。
　上記態様において、画像生成装置は、１又は複数の合成項目において、１又は複数の構成要素のそれぞれの分散に基づいて、各パラメータが取り得る範囲を決定する範囲決定部をさらに備えていてもよい。
　この態様によれば、範囲決定部により各パラメータの取り得る範囲が制限されるため、画像として不自然な画像が生成されることが抑制される。
　上記態様において、帰還部は、１又は複数の合成項目のうちユーザにより選択された一部の合成項目のパラメータを固定し、残りの合成項目のパラメータを更新してもよい。
　この態様によれば、ユーザが選択した合成項目のパラメータを固定しつつ、他の合成項目のパラメータを更新することによって評価値が向上する画像を生成することができる。
　上記態様において、画像データは、人の顔画像を含み、評価値は、人の顔の魅力度を含んでいてもよい。
　この態様によれば、入力された画像に比べて人の顔の魅力度が向上する画像を出力することができる。
　上記態様において、１又は複数の合成項目は、人の顔画像に施すことにより人の顔の魅力度を高める化粧を含んでいてもよい。
　この態様によれば、入力された画像に電子的に付与される化粧により人の顔の魅力度が向上する画像を出力することができる。
　上記態様において、１又は複数の構成要素は、化粧を施す領域を示すマスク及び当該マスクに対応する色を含み、パラメータ表現部は、マスク及び色のそれぞれに主成分分析を施してもよい。
　この態様によれば、入力された顔画像に加減算される各化粧の領域や色の調整により、顔画像の評価値が向上する画像を出力することができる。
　上記態様において、１又は複数の合成項目は、入力された画像データの肌に相当する領域を平滑化させた平滑画像を含み、パラメータ表現部は、入力された画像データと平滑画像とを合成する際の割合を合成項目のパラメータとしてもよい。
　この態様によれば、入力された顔画像の肌領域の平滑化の度合の調整により、顔画像の評価値が向上する画像を出力することができる。
　本発明の一態様に係る画像生成方法は、画像生成装置を制御する方法であって、画像生成装置が、入力された画像データに合成される１又は複数の合成項目にそれぞれ含まれる複数のサンプルパターンを構成する１又は複数の構成要素のそれぞれに主成分分析を施すことにより、１又は複数の合成項目をそれぞれパラメータにより表現するステップと、入力された画像データに、パラメータにより表現された１又は複数の合成項目を合成するステップと、合成された合成画像を評価モデルに入力し、当該合成画像の評価値を算出するステップであって、評価モデルは、画像データが入力された場合に、入力された画像データの評価値を出力するように学習されたモデルである、ステップと、算出された評価値が向上するように、１又は複数の合成項目のパラメータのうち１又は複数のパラメータを更新するステップと、更新された１又は複数のパラメータに基づいて合成された合成画像を出力するステップと、を含む。
　この態様によれば、各合成項目に含まれる複数のサンプルパターンを構成する構成要素に主成分分析が施されることにより、各構成要素が主成分ベクトルに基づいたパラメータによって表現される。これにより、主成分ベクトルの方向に沿ってパラメータが更新されるため、adversarial examplesを回避しつつ、評価モデルによる評価値が向上する画像を生成することができる。
　本発明の一態様に係る画像生成プログラムは、コンピュータを、入力された画像データに合成される１又は複数の合成項目にそれぞれ含まれる複数のサンプルパターンを構成する１又は複数の構成要素のそれぞれに主成分分析を施すことにより、１又は複数の合成項目をそれぞれパラメータにより表現するパラメータ表現部と、入力された画像データに、パラメータにより表現された１又は複数の合成項目を合成する画像合成部と、画像合成部により合成された合成画像を評価モデルに入力し、当該合成画像の評価値を算出する評価値算出部であって、評価モデルは、画像データが入力された場合に、入力された画像データの評価値を出力するように学習されたモデルである、評価値算出部と、評価値算出部により算出された評価値が向上するように、１又は複数の合成項目のパラメータのうち１又は複数のパラメータを更新する帰還部と、帰還部により更新された１又は複数のパラメータに基づいて合成された合成画像を出力する画像生成部と、として機能させる。
　この態様によれば、各合成項目に含まれる複数のサンプルパターンを構成する構成要素に主成分分析が施されることにより、各構成要素が主成分ベクトルに基づいたパラメータによって表現される。これにより、主成分ベクトルの方向に沿ってパラメータが更新されるため、adversarial examplesを回避しつつ、評価モデルによる評価値が向上する画像を生成することができる。
　本発明によれば、adversarial examplesの発生を回避しつつ、評価モデルによる評価値が向上する画像を生成する画像生成装置、画像生成方法及び画像生成プログラムが提供される。
本発明の実施形態に係る画像生成装置のネットワーク構成を示す図である。 本実施形態に係る画像生成装置の物理構成を示す図である。 本実施形態に係る画像生成装置の機能ブロックを示す図である。 ある化粧項目における複数のサンプルパターンの画像データ分布のイメージを示す図である。 ある化粧項目における複数のサンプルパターンの画像データ分布のイメージを示す図である。 各パラメータを更新することにより評価値を最適化するステップを示す図である。 本実施形態に係る画像生成装置で実行される前処理のフローチャートである。 本実施形態に係る画像生成装置で実行される画像生成処理のフローチャートである。 人により化粧が付与された画像と、本実施形態に係る画像生成装置により化粧が付与された画像の魅力度に関する主観評価実験の結果を示した図である。
　添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
　図１は、本発明の実施形態に係る画像生成装置のネットワーク構成を示す図である。本実施形態において、画像生成システム１００は、入力された顔画像に基づいて、当該顔画像の魅力度が最適化されるように、顔に電子的に化粧を施した画像を生成して出力する。なお、本明細書において「最適化」とは、評価モデルによる魅力度等の評価値がより好ましい（本実施形態においてはより高い）状態又はその近傍に少なくとも局所的に至ることを示す。また、本明細書において「電子的に化粧を施す」とは、顔の魅力度を向上すべく、あたかも化粧が施されたかのように顔画像を合成、編集又は修正等することである。
　本実施形態において、画像生成システム１００は、複数の画像データと各画像データの評価値が対応付けられたデータセットが格納されたデータベースＤＢと、入力された画像の評価値を算出する評価モデル２０と、データベースＤＢに格納されたデータセットを用いて、各画像データに対応付けられた評価値に近い評価値が算出されるように評価モデル２０を学習させ、新たな画像データが入力された場合に、その画像データに基づいて評価値が最適化された画像データを生成する画像生成装置１０と、を備える。
　本実施形態において、画像データは、人の顔をカメラで撮影した画像を用いるものとする。もっとも、画像データは、ある評価基準に則って評価値が付与され得る画像データであればどのようなものであってもよく、例えば食べ物、風景、商品の広告、その他任意の画像データであってもよい。
　画像生成システム１００は、通信ネットワークＮに接続され、ユーザ端末３０から取得した画像データを、データベースＤＢに格納したり、画像生成装置１０に入力したりする。また、画像生成システム１００は、通信ネットワークＮを介して、生成された画像データをユーザ端末３０に出力する。また、画像生成システム１００は、ユーザ端末３０からの指示に基づいて、データベースＤＢに記憶されたデータセットの追加や編集を行ったり、評価モデル２０の学習を行ったりしてもよい。ここで、通信ネットワークＮは、有線又は無線の通信網であり、例えばインターネットやＬＡＮ（Local Area Network）であってよい。画像生成システム１００は、いわゆるクラウドコンピューティングの形で全部又は一部の構成要素がリモートコンピュータによって構成されてよいが、全部又は一部の構成要素がローカルコンピュータによって構成されてもよい。
　評価モデル２０は、新たな画像データが入力された場合に、当該画像の評価値を出力するモデルである。本実施形態において、画像の評価値は、人の顔の魅力度を示す値であるが、評価の対象及び基準はこれらに限られない。評価モデル２０は、例えばニューラルネットワークを用いたモデルであってよく、具体的には、例えばＲｅｓＮｅｔ（Residual Network）を含んでよい。
　図２は、本実施形態に係る画像生成装置１０の物理構成を示す図である。画像生成装置１０は、ハードウェアプロセッサに相当するＣＰＵ（Central Processing Unit）１０ａと、メモリに相当するＲＡＭ（Random Access Memory）１０ｂと、メモリに相当するＲＯＭ（Read Only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続される。
　ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、評価モデル２０を用いて画像を生成するプログラム（画像生成プログラム）を実行する演算装置である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々の入力データを受け取り、入力データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。
　ＲＡＭ１０ｂは、データの書き換えが可能な記憶部であり、例えば半導体記憶素子で構成される。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するアプリケーション等のプログラムやデータを記憶する。
　ＲＯＭ１０ｃは、データの読み出しのみが可能な記憶部であり、例えば半導体記憶素子で構成される。ＲＯＭ１０ｃは、例えばファームウェア等のプログラムやデータを記憶する。
　通信部１０ｄは、画像生成装置１０を通信ネットワークＮに接続する通信インタフェースである。
　入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボードやマウス、タッチパネルで構成される。
　表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えばＬＣＤ（Liquid Crystal Display）により構成される。
　画像生成プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークＮを介して提供されてもよい。画像生成装置１０では、ＣＰＵ１０ａが画像生成プログラムを実行することにより、次図を用いて説明する様々な機能が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、画像生成装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。また、画像生成装置１０は、ＣＰＵ１０ａに代えて、又はＣＰＵ１０ａに加えて、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等の演算回路を備えてもよい。
　図３は、本実施形態に係る画像生成装置１０の機能ブロックを示す図である。画像生成装置１０は、学習部１１と、パラメータ表現部１２と、範囲決定部１３と、画像合成部１４と、評価値算出部１５と、帰還部１６と、画像生成部１７と、サンプルパターン１８と、を備える。以下、画像生成装置１０の各機能について説明する前に、電子的な化粧の付与について説明する。
　顔画像に付与される化粧は、例えば「アイシャドウ」、「アイラッシュ」、「アイライン」、「アイブラウ」、「ファンデーション」、「チーク」、「リップ」、「コントア」、及び「美肌」等の様々な化粧項目の足し合わせにより表される。すなわち、これらの各化粧項目は、入力される顔画像に合成される合成項目の一具体例である。これらの各化粧項目のうち「美肌」以外の各化粧項目の付与は、化粧付与前の顔画像における各化粧に相当する領域に、化粧を示す色を所定の濃さで加減算することによって実現される。すなわち、「美肌」以外の各化粧項目は、化粧が付与される領域と、当該領域に加減算される化粧の色と、化粧の濃さによって構成される。言い換えると、各化粧項目ｉ（ｉは「アイシャドウ」、「アイラッシュ」、・・・等を示す序数）に含まれる様々なパターンｍｉは、以下の式（１）によって表される。ここで、ｆｉは化粧を施す領域を示すマスク画像を示し、ｃｉはマスクに対応する色を示し、βｉは化粧の濃さを示す。なお、パターンの画素数が例えばＭ×Ｎ（Ｍ，Ｎは整数）である場合、本実施形態において、ｍはＭＮ×３の行列であり、ｆはＭＮ次元の列ベクトルであり、ｃは３次元の列ベクトルであり、βは定数である。これらの領域及び色は、パターンｍｉを構成する構成要素の一具体例であるが、構成要素はこれらに限定されない。
Figure JPOXMLDOC01-appb-M000001
  
　他方、化粧項目のうち「美肌」の付与は、化粧付与前の顔画像の肌領域に平滑フィルタをかけて肌領域を平滑化した平滑画像を、化粧付与前の顔画像に所定の割合で加算することによって実現される。すなわち、「美肌」を施した後の美肌画像ｇｓｋｉｎは、下記式（２）によって表される。ここで、ｇｂｅｆｏｒｅは「美肌」を施す前の画像を示し、ｇｓｍｏｏｔｈは肌領域に平滑フィルタをかけた平滑画像を示し、αは「美肌」の効果のかけ具合を示す。なお、本実施形態において、ｇはＭＮ×３の行列であり、αは定数である。また、平滑フィルタは、例えばバイラテラルフィルタであってよい。
Figure JPOXMLDOC01-appb-M000002
  
　これらの各化粧項目を足し合わせることにより、以下の式（３）によって表される化粧付与画像ｇａｆｔｅｒが得られる。
Figure JPOXMLDOC01-appb-M000003
  
　ここで、本実施形態においては、「美肌」以外の各化粧項目について、領域及び色の少なくとも一方が互いに異なる複数のパターンが生成され、サンプルパターン１８として画像生成装置１０の記憶部に格納されている。例えば、「チーク」であれば、チークが付与される領域やチークの色が異なる、数個～数十個の「チーク」のサンプルパターンが格納されている。以上の前提を踏まえ、画像生成装置１０の各機能について説明する。
　学習部１１は、複数の顔画像データと、当該複数の顔画像データにそれぞれ対応付けられた評価値データとを含むデータセットを学習用データとして、新たな顔画像データが入力された場合に、当該新たな顔画像データの評価値を出力するように評価モデル２０を学習させる。評価モデル２０の学習に用いられる顔画像データＤ１及び評価値データＤ２は、データベースＤＢに初期データセットとして記憶されているものであってよい。
　本実施形態において、顔画像データＤ１は、魅力度が互いに異なる複数の人々の顔画像のデータを含む。なお、複数の顔画像間において、顔の位置合わせ及び正規化が予めなされているものとする。評価値データＤ２は、顔画像データＤ１に含まれる顔画像のそれぞれについて、例えば所定の数の評価者により１から５までの５段階で評価された顔の魅力度の平均値であってもよい。このように、データベースＤＢには、ある顔画像データＤ１とその魅力度を示す評価値データＤ２の組み合わせが多数格納されている。
　パラメータ表現部１２は、記憶部に格納された上述のサンプルパターン１８に基づいて、各化粧項目をパラメータにより表現する。具体的に、パラメータ表現部１２は、化粧項目ごとに、マスク及び色のそれぞれについてサンプルパターン１８の画像データに主成分分析を施すことにより、各化粧項目を主成分ベクトルに基づいたパラメータにより表現する。
　図４Ａ及び図４Ｂは、ある化粧項目における複数のサンプルパターンの画像データ分布のイメージを示す図である。なお、各サンプルパターンの画素数が例えばＭ×Ｎ（Ｍ，Ｎは整数）である場合、各サンプルパターンはＭ×Ｎ次元空間における１点として表現されるが、ここでは簡単のため２次元空間により示されている。
　図４Ａに示される複数（同図においては数十個）のサンプルパターンの各画像データについて主成分分析を施すことにより、これらの各画像データは、新たな軸である主成分ベクトル（図４Ｂにおいては、第１主成分ベクトル及び第２主成分ベクトル）に基づいて表現される。当該主成分ベクトルは、データの分散が大きい（すなわち、データの説明力が高い）順に割り当てられる。当該主成分分析により、「美肌」以外の各化粧項目のマスク及び色は、それぞれ下記式（４）及び式（５）により表される。ここで、ｆｉ＿ｍｅａｎ，ｃｉ＿ｍｅａｎはそれぞれ化粧項目ｉにおける複数のサンプルパターン間のマスク及び色の平均を示し、ｘｉｊ，ｙｉｊはそれぞれ化粧項目ｉにおけるマスク及び色を構成する第ｊ主成分（第１主成分、第２主成分、・・・）を示し、ｋｉｊ，ｌｉｊはそれぞれ各主成分ベクトルの係数を示す。なお、本実施形態において、ｘはＭＮ次元の列ベクトルであり、ｙは３次元の列ベクトルであり、ｋ及びｌは定数である。
Figure JPOXMLDOC01-appb-M000004
  
Figure JPOXMLDOC01-appb-M000005
  
　本実施形態では、当該主成分ベクトルの係数ｋｉｊ，ｌｉｊを、「美肌」以外の各化粧項目のパラメータとする。このように、上記式（３）～式（５）から、「美肌」を含む各化粧項目は４つのパラメータ（α，βｉ，ｋｉｊ，ｌｉｊ）により表現される。
　範囲決定部１３は、複数のサンプルパターンの画像データの分散に基づいて、各パラメータが取り得る範囲を決定する。すなわち、例えば肌の色はより白い方が魅力度が上がると一般的に考えられている一方、過度に白ければ不自然な顔となり、魅力度が下がるといったように、化粧には人が自然だと感じる所定の範囲がある。従って、範囲決定部１３は、顔画像データに付与される化粧が自然な範囲に収まるように、各パラメータが取り得る範囲に制限を設ける。例えば、「美肌」の効果のかけ具合を示すαは［０，１］の範囲に制限する。「美肌」以外の化粧項目を規定するｋｉｊ，ｌｉｊは、これらの各々の平均をμｉｊ、標準偏差をσｉｊとすると、［μｉｊ－ｍｉσｉｊ，μｉｊ＋ｍｉσｉｊ］の範囲に制限する。これにより、各化粧が平均から所定の範囲以内に収まる。また、化粧の濃さを示すβｉは、所定の範囲に制限する。なお、ｍｉ及びβｉは、例えばユーザが自然だと感じる範囲に収まるようにユーザにより調整されてもよい。
　このように、各化粧項目に主成分分析を施した後にパラメータの範囲を決定することにより、画像生成装置１０により付与される化粧の範囲が、図４Ａに示される破線領域から図４Ｂに示される破線領域に狭められる。言い換えると、付与される化粧項目の範囲が、予め生成されたサンプルパターン１８が存在する領域により適した範囲に制限されるため、不自然な化粧の付与を抑制することができる。
　画像合成部１４は、ユーザ端末３０から入力された新たな顔画像データに、各化粧項目を合成し、化粧付与画像を得る。なお、化粧付与画像は、合成画像の一具体例である。合成される各化粧項目は、上述のとおりパラメータ表現部１２によりパラメータ表現され、かつ範囲決定部１３によりパラメータの取り得る範囲が制限されている。
　評価値算出部１５は、学習部１１により学習された評価モデル２０に、画像合成部１４により得られた化粧付与画像を入力し、当該化粧付与画像の魅力度（すなわち、評価値データ）を算出する。
　帰還部１６は、評価値算出部１５により算出された評価値が最適化（本実施形態においては、最大化）されるように、各化粧項目の１又は複数のパラメータを更新する。具体的には、例えば、誤差逆伝搬法等を用いて評価値の変化に対する各パラメータの勾配を求め、勾配降下法等を用いてパラメータを当該勾配方向に変化させる。なお、パラメータを更新する際に、範囲決定部１３において定められた範囲の上限値又は下限値を超える場合は、当該上限値又は下限値をパラメータの値としてもよい。
　図５は、各パラメータを更新することにより評価値を最適化するステップを示す図である。なお、同図においては各化粧項目のうち「美肌」及び「チーク」が例として示されているが、「美肌」及び「チーク」以外の各化粧項目については「チーク」と同様であるため、詳細な説明を省略する。同図に示されるように、「美肌」の効果のかけ具合を示すパラメータαと、「美肌」以外の各化粧項目のマスク及び色の各係数を示すｋｉｊ，ｌｉｊ（例えば、「チーク」の場合ｋｃｈｅｅｋｊ，ｌｃｈｅｅｋｊ）と、「美肌」以外の各化粧項目の濃さを示すβｉ（例えば、「チーク」の場合βｃｈｅｅｋ）から得られた化粧付与画像を評価モデル２０に入力し、評価値を得る。そして、得られた評価値が最適化されるまで、これらの４つのパラメータの更新と評価値の算出が繰り返される。
　なお、パラメータの更新において、帰還部１６は、各化粧項目のうちユーザにより選択された一部の化粧項目のパラメータを固定し、残りの化粧項目のパラメータを更新してもよい。例えばユーザがあるチークを所有している場合には、画像生成装置１０における化粧項目のうちチークのパラメータを、ユーザが所有するチークに合わせて固定し、他の化粧項目のパラメータを更新してもよい。これにより、ユーザが所有するチークを含みつつ、他の化粧項目によって評価値が最適化された顔画像を生成することができる。
　画像生成部１７は、評価値が最適化された際のパラメータに基づいて合成された化粧付与画像を生成し、ユーザ端末３０に出力する。
　図６Ａは、本実施形態に係る画像生成装置で実行される前処理のフローチャートである。ここで、前処理とは、図６Ｂに示される画像生成処理に先立って行われる処理である。はじめに、パラメータ表現部１２は、各化粧項目の複数のサンプルパターンに基づいて、これらのサンプルパターンの画像データに主成分分析を施すことにより、各化粧項目をパラメータにより表現する（Ｓ１０）。続いて、範囲決定部１３は、これらのサンプルパターンの画像データの分散に基づいて、各パラメータがとり得る範囲を決定する（Ｓ１１）。以上により、前処理が終了する。なお、前処理は画像生成処理に先立って一度行われていればよく、画像生成処理のたびに繰り返されなくてもよい。
　図６Ｂは、本実施形態に係る画像生成装置で実行される画像生成処理のフローチャートである。なお、当該画像生成処理の開始前に、上述の前処理が終了しているものとする。まず、画像合成部１４は、ユーザ端末３０から入力された新たな顔画像と、パラメータ表現された各化粧項目とを合成し、化粧付与画像を取得する（Ｓ２０）。続いて、評価値算出部１５は、評価モデル２０を用いて、得られた化粧付与画像の評価値を算出する（Ｓ２１）。
　そして、評価値が最適化されていない場合（Ｓ２２：Ｎｏ）、帰還部１６は、１つ又は複数のパラメータを更新し（Ｓ２４）、ステップＳ２０に戻る。他方、評価値が最適化された場合（Ｓ２２：Ｙｅｓ）、画像生成部１７は化粧付与画像を生成し、ユーザ端末３０に出力する（Ｓ２３）。以上により、画像生成処理が終了する。
　上述のとおり、画像生成装置１０では、各化粧項目に含まれる複数のサンプルパターンを構成する構成要素に主成分分析が施されることにより、各構成要素が主成分ベクトルに基づいたパラメータによって表現される。これにより、画像生成装置１０では、主成分ベクトルの方向（すなわち、データの分散が大きい方向）に沿ってパラメータが更新されるため、主成分分析を施さずに化粧項目を付与する方法に比べてadversarial examplesを回避しつつ、評価値が最適化された画像を生成することができる。また、画像生成装置１０では、範囲決定部１３によりパラメータの取り得る範囲が制限されることにより、人の顔画像として不自然な画像が生成されることが抑制される。
　図７は、ある同一人物において、人により実際に化粧が付与された顔の画像（比較画像）と、画像生成装置１０により化粧が電子的に付与された化粧付与画像（提案画像）の魅力度に関し、５段階の主観評価実験を行った結果を示した図である。具体的に、同図に示されるグラフは、紙面の左から順に「比較画像の方がとても魅力的／比較画像の方が魅力的／同じくらい／提案画像の方が魅力的／提案画像の方がとても魅力的」と答えた割合（％）を示す。
　同図に示されるように、提案画像の方がとても魅力的又は魅力的であると答えた割合が、比較画像の方がとても魅力的又は魅力的と答えた割合より高いことが分かる。このことから、本実施形態によれば、人にとって自然であり、かつ人により実際に付与された化粧よりも魅力度が高い化粧を電子的に付与し得ることが示唆される。
　なお、例えば化粧においては、仕事用、就職活動用又はプライベート用等、状況に応じて適した化粧が異なることも考えられる。この点、本実施形態では、評価モデル２０の学習に用いる学習用データセットを適宜変更することにより、様々な評価軸による評価値を算出し、様々な化粧付与画像を生成することができる。具体的には、例えば仕事用の化粧として最適な化粧付与画像を生成したい場合は、仕事用の化粧としての適性度が評価値として対応付けられた顔画像データを学習用のデータセットとすればよい。これにより、画像生成装置１０は、仕事用の化粧としての適性度が高い顔画像を生成することができる。
　また、本実施形態においては、人の顔画像に付与される要素として化粧を例として説明したが、人の顔画像に付与される要素は化粧に限られず、例えばメガネやアクセサリー等の装飾品であってもよい。さらに、本発明を応用することにより、人の顔画像に限られず他の種々の画像に基づいて、当該画像の評価値を向上させた画像を生成することができる。
　以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

Claims (9)

  1. 　入力された画像データに合成される１又は複数の合成項目にそれぞれ含まれる複数のサンプルパターンを構成する１又は複数の構成要素のそれぞれに主成分分析を施すことにより、前記１又は複数の合成項目をそれぞれパラメータにより表現するパラメータ表現部と、
    　入力された画像データに、パラメータにより表現された前記１又は複数の合成項目を合成する画像合成部と、
    　前記画像合成部により合成された合成画像を評価モデルに入力し、当該合成画像の評価値を算出する評価値算出部であって、前記評価モデルは、画像データが入力された場合に、入力された画像データの評価値を出力するように学習されたモデルである、評価値算出部と、
    　前記評価値算出部により算出された評価値が向上するように、前記１又は複数の合成項目の前記パラメータのうち１又は複数のパラメータを更新する帰還部と、
    　前記帰還部により更新された１又は複数のパラメータに基づいて合成された合成画像を生成する画像生成部と、
    　を含む、画像生成装置。
  2. 　前記１又は複数の合成項目において、前記１又は複数の構成要素のそれぞれの分散に基づいて、各パラメータが取り得る範囲を決定する範囲決定部をさらに備える、
    　請求項１に記載の画像生成装置。
  3. 　前記帰還部は、前記１又は複数の合成項目のうちユーザにより選択された一部の合成項目のパラメータを固定し、残りの合成項目のパラメータを更新する、
    　請求項１又は２に記載の画像生成装置。
  4. 　前記画像データは、人の顔画像を含み、前記評価値は、人の顔の魅力度を含む、
    　請求項１から３のいずれか一項に記載の画像生成装置。
  5. 　前記１又は複数の合成項目は、前記人の顔画像に施すことにより人の顔の魅力度を高める化粧を含む、
    　請求項４に記載の画像生成装置。
  6. 　前記１又は複数の構成要素は、化粧を施す領域を示すマスク及び当該マスクに対応する色を含み、
    　前記パラメータ表現部は、前記マスク及び前記色のそれぞれに主成分分析を施す、
    　請求項５に記載の画像生成装置。
  7. 　前記１又は複数の合成項目は、入力された画像データの肌に相当する領域を平滑化させた平滑画像を含み、
    　前記パラメータ表現部は、入力された前記画像データと前記平滑画像とを合成する際の割合を前記合成項目のパラメータとする、
    　請求項４から６のいずれか一項に記載の画像生成装置。
  8. 　画像生成装置を制御する方法であって、前記画像生成装置が、
    　入力された画像データに合成される１又は複数の合成項目にそれぞれ含まれる複数のサンプルパターンを構成する１又は複数の構成要素のそれぞれに主成分分析を施すことにより、前記１又は複数の合成項目をそれぞれパラメータにより表現するステップと、
    　入力された画像データに、パラメータにより表現された前記１又は複数の合成項目を合成するステップと、
    　前記合成された合成画像を評価モデルに入力し、当該合成画像の評価値を算出するステップであって、前記評価モデルは、画像データが入力された場合に、入力された画像データの評価値を出力するように学習されたモデルである、ステップと、
    　前記算出された評価値が向上するように、前記１又は複数の合成項目の前記パラメータのうち１又は複数のパラメータを更新するステップと、
    　前記更新された１又は複数のパラメータに基づいて合成された合成画像を出力するステップと、
    　を含む、方法。
  9. 　コンピュータを、
    　入力された画像データに合成される１又は複数の合成項目にそれぞれ含まれる複数のサンプルパターンを構成する１又は複数の構成要素のそれぞれに主成分分析を施すことにより、前記１又は複数の合成項目をそれぞれパラメータにより表現するパラメータ表現部と、
    　入力された画像データに、パラメータにより表現された前記１又は複数の合成項目を合成する画像合成部と、
    　前記画像合成部により合成された合成画像を評価モデルに入力し、当該合成画像の評価値を算出する評価値算出部であって、前記評価モデルは、画像データが入力された場合に、入力された画像データの評価値を出力するように学習されたモデルである、評価値算出部と、
    　前記評価値算出部により算出された評価値が向上するように、前記１又は複数の合成項目の前記パラメータのうち１又は複数のパラメータを更新する帰還部と、
    　前記帰還部により更新された１又は複数のパラメータに基づいて合成された合成画像を出力する画像生成部と、
    　として機能させるプログラム。
PCT/JP2019/019790 2018-05-18 2019-05-17 画像生成装置、画像生成方法及び画像生成プログラム WO2019221293A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020519955A JPWO2019221293A1 (ja) 2018-05-18 2019-05-17 画像生成装置、画像生成方法及び画像生成プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018096591 2018-05-18
JP2018-096591 2018-05-18

Publications (1)

Publication Number Publication Date
WO2019221293A1 true WO2019221293A1 (ja) 2019-11-21

Family

ID=68540394

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/019790 WO2019221293A1 (ja) 2018-05-18 2019-05-17 画像生成装置、画像生成方法及び画像生成プログラム

Country Status (2)

Country Link
JP (1) JPWO2019221293A1 (ja)
WO (1) WO2019221293A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723506A (zh) * 2021-08-30 2021-11-30 南京星环智能科技有限公司 一种对抗样本的生成方法、设备及存储介质
JPWO2020170845A1 (ja) * 2019-02-22 2021-12-23 株式会社 資生堂 情報処理装置、及び、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007141107A (ja) * 2005-11-21 2007-06-07 Canon Inc 画像処理装置およびその方法
JP2008276405A (ja) * 2007-04-26 2008-11-13 Kao Corp 顔画像の合成方法及び合成装置
JP2010198382A (ja) * 2009-02-25 2010-09-09 Kao Corp シミュレーション装置、シミュレーション方法、及びコンピュータプログラム
JP2016081075A (ja) * 2014-10-09 2016-05-16 花王株式会社 印象改善方法及び印象改善支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007141107A (ja) * 2005-11-21 2007-06-07 Canon Inc 画像処理装置およびその方法
JP2008276405A (ja) * 2007-04-26 2008-11-13 Kao Corp 顔画像の合成方法及び合成装置
JP2010198382A (ja) * 2009-02-25 2010-09-09 Kao Corp シミュレーション装置、シミュレーション方法、及びコンピュータプログラム
JP2016081075A (ja) * 2014-10-09 2016-05-16 花王株式会社 印象改善方法及び印象改善支援装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020170845A1 (ja) * 2019-02-22 2021-12-23 株式会社 資生堂 情報処理装置、及び、プログラム
JP7487168B2 (ja) 2019-02-22 2024-05-20 株式会社 資生堂 情報処理装置、、プログラム、情報処理方法、及び、情報処理システム
CN113723506A (zh) * 2021-08-30 2021-11-30 南京星环智能科技有限公司 一种对抗样本的生成方法、设备及存储介质
CN113723506B (zh) * 2021-08-30 2022-08-05 南京星环智能科技有限公司 一种对抗样本的生成方法、设备及存储介质

Also Published As

Publication number Publication date
JPWO2019221293A1 (ja) 2021-05-27

Similar Documents

Publication Publication Date Title
CN110211196B (zh) 一种基于姿势引导的虚拟试穿方法及装置
KR100868390B1 (ko) 특징 변화 화상 작성 방법 및 장치, 특징 변화 부여 방법 및 장치, 특징 변화 화상 작성 프로그램 또는 특징 변화 부여 프로그램을 기록한 기록 매체
CN110097609B (zh) 一种基于样本域的精细化绣花纹理迁移方法
WO2019221293A1 (ja) 画像生成装置、画像生成方法及び画像生成プログラム
WO2005073909A1 (ja) 化粧シミュレーションプログラム、化粧シミュレーション装置、及び化粧シミュレーション方法
JPH1091809A (ja) 関数演算プロセッサ制御マシンの操作方法
JP4404650B2 (ja) 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム
JP2019204476A (ja) 画像生成装置、画像生成方法及びプログラム
EP4073682B1 (en) Generating videos, which include modified facial images
KR100900823B1 (ko) 캐릭터 애니메이션 시 피부의 주름 실시간 표현 방법 및장치
CN110853119A (zh) 一种鲁棒的基于参考图片的妆容迁移方法
JP2023524252A (ja) 生成的非線形人間形状モデル
Gibson et al. New methodology in facial composite construction: From theory to practice
CN113284229B (zh) 三维人脸模型生成方法、装置、设备及存储介质
Hiraoka et al. Generation of stripe-patchwork images by entropy and inverse filter
US9858654B2 (en) Image manipulation
CN112970046A (zh) 数字角色混合和生成系统和方法
JP7482551B2 (ja) 心的イメージ可視化方法、心的イメージ可視化装置及びプログラム
KR100595821B1 (ko) 로봇의 감성합성장치 및 방법
WO2021256135A1 (ja) 制御装置、方法及びプログラム
Parihar et al. Scene adaptive cosmetic makeup transfer
Gibson et al. Computer assisted age progression
Gogousis et al. Caricature generation utilizing the notion of anti-face
KR102652652B1 (ko) 아바타 생성 장치 및 방법
WO2021106553A1 (ja) 情報処理システム、情報処理方法、プログラムおよびユーザインタフェース

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19802531

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020519955

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19802531

Country of ref document: EP

Kind code of ref document: A1