JP7094342B2 - Image generation program, image generation device and image generation method - Google Patents

Image generation program, image generation device and image generation method Download PDF

Info

Publication number
JP7094342B2
JP7094342B2 JP2020177301A JP2020177301A JP7094342B2 JP 7094342 B2 JP7094342 B2 JP 7094342B2 JP 2020177301 A JP2020177301 A JP 2020177301A JP 2020177301 A JP2020177301 A JP 2020177301A JP 7094342 B2 JP7094342 B2 JP 7094342B2
Authority
JP
Japan
Prior art keywords
face image
advertising effect
advertisement
image generation
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020177301A
Other languages
Japanese (ja)
Other versions
JP2022068552A (en
Inventor
真崇 毛利
優 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CyberAgent Inc
Original Assignee
CyberAgent Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CyberAgent Inc filed Critical CyberAgent Inc
Priority to JP2020177301A priority Critical patent/JP7094342B2/en
Publication of JP2022068552A publication Critical patent/JP2022068552A/en
Application granted granted Critical
Publication of JP7094342B2 publication Critical patent/JP7094342B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、画像生成プログラム、画像生成装置及び画像生成方法に関する。 The present invention relates to an image generation program, an image generation device, and an image generation method.

従来からビジネス、公共活動等における広告の重要性が認識されており、広告を生成する技術が開発されている。このような技術の一例として、特許文献１に開示されているシステムが挙げられる。このシステムは、それぞれの予め設定されたデータソースサーバから各ユーザーの露出された広告の広告クリックデータにおける広告背景ピクチャの画風特徴を抽出する。次に、このシステムは、予め設定された画風特徴に基づき、且つ予め設定された第１分析ルールに従って各ユーザーの広告クリックデータを分析することにより、各ユーザーに対応する推薦対象広告ピクチャの画風特徴を取得する。そして、このシステムは、分析した各ユーザーに対応する画風特徴に基づいて推薦広告を生成することにより、前記推薦広告を対応するユーザーに推薦する。 The importance of advertising in business, public activities, etc. has been recognized for some time, and techniques for generating advertisements have been developed. An example of such a technique is the system disclosed in Patent Document 1. This system extracts the style features of the ad background picture in the ad click data of each user's exposed ad from each preset data source server. Next, this system analyzes the advertisement click data of each user based on the preset style feature and according to the preset first analysis rule, so that the style feature of the recommended target advertisement picture corresponding to each user is analyzed. To get. Then, this system recommends the recommended advertisement to the corresponding user by generating the recommended advertisement based on the style feature corresponding to each user analyzed.

特表２０１９－５２０６１７号公報Special Table 2019-520617 Gazette

しかしながら、上述したシステムは、予め設定されたデータソースサーバを使用しているため、高い広告効果が期待できるクリエイティブの素材を使用して推薦広告を生成し得ないことがある。特に、インターネット上で主流となっている運用型広告では、一つの商品、サービス等について複数の広告を順次使用し、高い広告効果を維持し続ける必要があるものの、上述したシステムは、運用型広告に適したクリエイティブの素材を使用して推薦広告を生成し得ないことがある。 However, since the above-mentioned system uses a preset data source server, it may not be possible to generate a recommended advertisement using creative materials that can be expected to have a high advertising effect. In particular, in operational advertising, which is the mainstream on the Internet, it is necessary to sequentially use multiple advertisements for one product, service, etc. and maintain high advertising effectiveness, but the above-mentioned system is an operational advertisement. It may not be possible to generate a recommendation ad using creative material suitable for.

また、クリエイティブの素材としてモデル等の人物の画像を使用する場合、人物を撮影する作業が必要になる。しかし、人物を撮影する作業は、広告主のイメージ、広告のターゲット等と整合する人物の選定、選定された人物が撮影、移動等に費やす時間の確保、撮影を実施する場所の確保等に関する様々な労力を必要とする。さらに、運用型広告で人物の画像を使用する場合、人物を撮影する作業に膨大な労力が必要となることが多い。 In addition, when using an image of a person such as a model as a creative material, it is necessary to take a picture of the person. However, the work of shooting a person is related to the selection of a person who matches the image of the advertiser, the target of the advertisement, etc., securing the time spent by the selected person for shooting, moving, etc., securing the place to shoot, etc. It requires a lot of effort. Furthermore, when a person's image is used in an operational advertisement, a huge amount of labor is often required to photograph the person.

本発明は、上述した事情に鑑みてなされたものであり、クリエイティブの素材となる人物の画像を生成する労力を削減しつつ、より高い広告効果が期待できる人物の画像を生成することができる画像生成プログラム、画像生成装置及び画像生成方法を提供しようとするものである。 The present invention has been made in view of the above-mentioned circumstances, and is an image capable of generating an image of a person who can be expected to have a higher advertising effect while reducing the labor of generating an image of the person who is the material of the creative. It is intended to provide a generation program, an image generation device, and an image generation method.

本発明の一態様は、人物の顔を描出しており、既に生成されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データに基づいて、広告に使用される顔画像を示す顔画像データを顔画像用学習済モデルを利用して生成する顔画像生成機能と、前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を広告効果推定用学習済モデルを利用して推定し、前記顔画像データにより示されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データを前記顔画像生成機能に提供する広告効果推定機能と、をコンピュータに実現させ、前記顔画像生成機能と、前記広告効果推定機能とを交互に実行し、前記顔画像生成機能は、前記広告効果推定機能が実行された後は、前記広告効果推定機能によって提供された前記広告効果指標データに基づいて前記顔画像データを生成する、画像生成プログラムである。 One aspect of the present invention depicts a person's face, and is a face showing a face image used for an advertisement based on an advertisement effect index data showing an advertisement effect index related to an advertisement effect of a face image that has already been generated. The face image generation function that generates image data using the trained model for face image and the trained model for estimating the advertising effect are used for the advertising effect index that shows the advertising effect of the face image shown by the face image data. The computer is realized with an advertising effect estimation function that provides the face image generation function with advertising effect index data indicating an advertising effect index relating to the advertising effect of the face image indicated by the face image data. The face image generation function and the advertisement effect estimation function are alternately executed , and the face image generation function is provided by the advertisement effect estimation function after the advertisement effect estimation function is executed. It is an image generation program that generates the face image data based on the index data .

本発明の一態様は、上記の画像生成プログラムであって、前記広告効果推定機能が配信済広告の配信実績を示す配信実績データを使用して学習した前記広告効果推定用学習済モデルを使用して前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を推定する。 One aspect of the present invention is the above-mentioned image generation program, and uses the learned model for estimating the advertising effect, which is learned by the advertising effect estimation function using the distribution record data indicating the delivery record of the delivered advertisement. The advertising effect index indicating the advertising effect of the face image shown by the face image data is estimated.

本発明の一態様は、上記の画像生成プログラムであって、前記広告効果推定機能がマルチモーダルモデルである前記広告効果推定用学習済モデルを利用して、前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を推定する。 One aspect of the present invention is the above-mentioned image generation program, and the face shown by the face image data is used by using the learned model for advertising effect estimation in which the advertisement effect estimation function is a multimodal model. Estimate the advertising effectiveness index that indicates the advertising effectiveness of the image.

本発明の一態様は、上記の画像生成プログラムであって、顔画像生成機能が広告効果指標データに加え、前記広告のターゲティング設計に基づいて、前記顔画像データを生成する。 One aspect of the present invention is the above-mentioned image generation program, in which the face image generation function generates the face image data based on the targeting design of the advertisement in addition to the advertisement effect index data.

本発明の一態様は、上記の画像生成プログラムであって、前記顔画像データにより示されている顔画像と組み合わせられる体を描出している体画像を示す体画像データを生成する体画像生成機能と、前記顔画像データにより示される顔画像と前記体画像データにより示される体画像とを組み合わせて前記広告に使用される画像を生成する画像組合せ機能とを更に備える。 One aspect of the present invention is the above-mentioned image generation program, which is a body image generation function for generating body image data showing a body image depicting a body to be combined with the face image shown by the face image data. Further, the image combination function for generating an image used for the advertisement by combining the face image indicated by the face image data and the body image indicated by the body image data is further provided.

本発明の一態様は、上記の画像生成プログラムであって、前記体画像生成機能が既に生成されている画像から前記顔画像データにより示されている顔画像と組み合わせられる体を描出している体画像を抽出することにより前記体画像データを生成する。 One aspect of the present invention is the above-mentioned image generation program, which depicts a body to be combined with a face image indicated by the face image data from an image for which the body image generation function has already been generated. The body image data is generated by extracting an image.

本発明の一態様は、上記の画像生成プログラムであって、前記体画像生成機能がコンピュータグラフィックスを使用して前記体画像データを生成する。 One aspect of the present invention is the image generation program, wherein the body image generation function uses computer graphics to generate the body image data.

本発明の一態様は、上記の画像生成プログラムであって、前記体画像生成機能が前記広告のターゲティング設計に基づいて、前記体画像データを生成する。 One aspect of the present invention is the image generation program, wherein the body image generation function generates the body image data based on the targeting design of the advertisement.

本発明の一態様は、人物の顔を描出しており、既に生成されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データに基づいて、広告に使用される顔画像を示す顔画像データを顔画像用学習済モデルを利用して生成する顔画像生成部と、前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を広告効果推定用学習済モデルを利用して推定し、前記顔画像データにより示されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データを前記顔画像生成部に提供する広告効果推定部と、を備え、前記顔画像生成部と、前記広告効果推定部とを交互に実行し、前記顔画像生成部は、前記広告効果推定部が処理を実行した後は、前記広告効果推定部によって提供された前記広告効果指標データに基づいて前記顔画像データを生成する、画像生成装置である。 One aspect of the present invention depicts a person's face, and is a face showing a face image used for an advertisement based on an advertisement effect index data showing an advertisement effect index related to an advertisement effect of a face image that has already been generated. The face image generation unit that generates image data using the trained model for face image and the trained model for estimating the advertising effect are used for the advertising effect index showing the advertising effect of the face image shown by the face image data. The face image is provided with an advertising effect estimation unit that provides the face image generation unit with advertising effect index data indicating an advertising effect index related to the advertising effect of the face image indicated by the face image data. The generation unit and the advertisement effect estimation unit are alternately executed , and the face image generation unit performs the processing by the advertisement effect estimation unit, and then the advertisement effect index data provided by the advertisement effect estimation unit. It is an image generation device that generates the face image data based on the above .

本発明の一態様は、人物の顔を描出しており、既に生成されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データに基づいて、広告に使用される顔画像を示す顔画像データを顔画像用学習済モデルを利用して生成する顔画像生成ステップと、前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を広告効果推定用学習済モデルを利用して推定し、前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を示す広告効果指標データを前記顔画像生成ステップに提供する広告効果推定ステップと、を含み、前記顔画像生成ステップと、前記広告効果推定ステップとが交互に実行される、前記顔画像生成ステップでは、前記広告効果推定ステップが実行された後は、前記広告効果推定ステップにおいて提供された前記広告効果指標データに基づいて前記顔画像データを生成する、画像生成方法である。
One aspect of the present invention depicts a person's face, and is a face showing a face image used for an advertisement based on an advertisement effect index data showing an advertisement effect index related to an advertisement effect of a face image that has already been generated. The face image generation step of generating image data using the trained model for face image and the trained model for estimating the advertising effect are used for the advertising effect index showing the advertising effect of the face image shown by the face image data. The face includes an advertising effect estimation step of providing the advertising effect index data indicating the advertising effect index indicating the advertising effect of the face image indicated by the face image data to the face image generation step. In the face image generation step in which the image generation step and the advertisement effect estimation step are alternately executed, after the advertisement effect estimation step is executed, the advertisement effect index provided in the advertisement effect estimation step is executed. This is an image generation method for generating the face image data based on the data .

本発明によれば、クリエイティブの素材となる人物の画像を生成する労力を削減しつつ、より高い広告効果が期待できる人物の画像を生成することができる。 According to the present invention, it is possible to generate an image of a person who can be expected to have a higher advertising effect while reducing the labor of generating an image of the person who is the material of the creative.

実施形態に係る画像生成システムのハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware composition of the image generation system which concerns on embodiment. 実施形態に係る画像生成システムのソフトウェア構成の一例を示す図である。It is a figure which shows an example of the software structure of the image generation system which concerns on embodiment. 実施形態に係る広告効果推定用学習済モデルを学習させるための教師データの一例を示す図である。It is a figure which shows an example of the teacher data for training the trained model for advertisement effect estimation which concerns on embodiment. 実施形態に係る画像生成プログラムが顔画像データを生成し、当該顔画像の広告効果に関する指標を推定する処理の一例を説明するための図である。It is a figure for demonstrating an example of the process which the image generation program which concerns on embodiment generates face image data, and estimates the index about the advertisement effect of the face image. 実施形態に係る画像生成システムが顔画像と体画像とを組み合わせる処理の一例を説明するための図である。It is a figure for demonstrating an example of the process which the image generation system which concerns on embodiment combines a face image and a body image. 実施形態に係る画像生成システムが顔画像と体画像とを組み合わせる処理の一例を説明するための図である。It is a figure for demonstrating an example of the process which the image generation system which concerns on embodiment combines a face image and a body image. 実施形態に係る画像生成装置にターゲティング設計を指定するデータが入力される際に、ディスプレイに表示されるユーザインターフェースの一例を示す図である。It is a figure which shows an example of the user interface which is displayed on the display when the data which specifies a targeting design is input to the image generation apparatus which concerns on embodiment. 実施形態に係る画像生成装置にターゲティング設計を指定するデータが入力される際に、ディスプレイに表示されるユーザインターフェースの一例を示す図である。It is a figure which shows an example of the user interface which is displayed on the display when the data which specifies a targeting design is input to the image generation apparatus which concerns on embodiment. 実施形態に係る配信済広告及び当該配信済広告の広告効果に関する広告効果指標の表示態様の一例を示す図である。It is a figure which shows an example of the display mode of the delivered advertisement which concerns on embodiment, and the advertisement effect index about the advertisement effect of the delivered advertisement. 図１０は、実施形態に係る画像処理プログラムにより生成された顔画像を含む広告及びこれらの広告の広告効果指標の表示態様の一例を示す図である。FIG. 10 is a diagram showing an example of an advertisement including a face image generated by an image processing program according to an embodiment and a display mode of an advertisement effectiveness index of these advertisements. 実施形態に係る画像生成プログラムが実行する処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process executed by the image generation program which concerns on embodiment.

［実施形態］
図１から図１０を参照しながら実施形態に係る画像生成プログラム、画像生成装置及び画像生成方法について説明する。 [Embodiment]
An image generation program, an image generation device, and an image generation method according to an embodiment will be described with reference to FIGS. 1 to 10.

まず、図１から図６を参照しながら実施形態に係る画像生成プログラム、画像生成装置及び画像生成方法の具体的な内容について説明する。 First, the specific contents of the image generation program, the image generation device, and the image generation method according to the embodiment will be described with reference to FIGS. 1 to 6.

図１は、実施形態に係る画像生成システムのハードウェア構成の一例を示す図である。図１に示すように、画像生成システム１は、画像生成装置１０と、機械学習装置２０と、機械学習装置３０とを備える。画像生成装置１０は、プロセッサ１１と、主記憶装置１２と、通信インターフェース１３と、補助記憶装置１４と、入出力装置１５と、バス１６とを備える。 FIG. 1 is a diagram showing an example of a hardware configuration of an image generation system according to an embodiment. As shown in FIG. 1, the image generation system 1 includes an image generation device 10, a machine learning device 20, and a machine learning device 30. The image generation device 10 includes a processor 11, a main storage device 12, a communication interface 13, an auxiliary storage device 14, an input / output device 15, and a bus 16.

プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）であり、後述する画像生成プログラム１００を読み出して実行し、画像生成プログラム１００が有する各機能を実現させる。また、プロセッサ１１は、画像生成プログラム１００以外のプログラムを読み出して実行し、画像生成プログラム１００が有する各機能を実現させる上で必要な機能を実現させてもよい。 The processor 11 is, for example, a CPU (Central Processing Unit), reads out and executes an image generation program 100 described later, and realizes each function of the image generation program 100. Further, the processor 11 may read and execute a program other than the image generation program 100 to realize the functions necessary for realizing each function of the image generation program 100.

主記憶装置１２は、例えば、ＲＡＭ（Random Access Memory）であり、プロセッサ１１により読み出されて実行される画像生成プログラム１００その他プログラムを予め記憶している。 The main storage device 12 is, for example, a RAM (Random Access Memory), and stores in advance an image generation program 100 and other programs that are read and executed by the processor 11.

通信インターフェース１３は、図１に示したネットワークＮＷを介して、機械学習装置２０、機械学習装置３０その他の機器と通信を実行するためのインターフェース回路である。また、ネットワークＮＷは、例えば、ＬＡＮ（Local Area Network）、イントラネットである。 The communication interface 13 is an interface circuit for executing communication with the machine learning device 20, the machine learning device 30, and other devices via the network NW shown in FIG. Further, the network NW is, for example, a LAN (Local Area Network) or an intranet.

補助記憶装置１４は、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）、フラッシュメモリ（Flash Memory）、ＲＯＭ（Read Only Memory）である。 The auxiliary storage device 14 is, for example, a hard disk drive (HDD: Hard Disk Drive), a solid state drive (SSD: Solid State Drive), a flash memory (Flash Memory), or a ROM (Read Only Memory).

入出力装置１５は、例えば、入出力ポート（Input/Output Port）である。入出力装置１５は、例えば、図１に示したキーボード８０１、マウス８０２、ディスプレイ９００が接続される。キーボード８０１及びマウス８０２は、例えば、画像生成装置１０を操作するために必要なデータを入力する作業に使用される。ディスプレイ９００は、例えば、画像生成装置１０のグラフィカルユーザインターフェース（ＧＵＩ：Graphical User Interface）、後述する顔画像、体画像、広告効果指標を表示する。 The input / output device 15 is, for example, an input / output port (Input / Output Port). The input / output device 15 is connected to, for example, the keyboard 801 shown in FIG. 1, the mouse 802, and the display 900. The keyboard 801 and the mouse 802 are used, for example, for inputting data necessary for operating the image generation device 10. The display 900 displays, for example, a graphical user interface (GUI) of the image generation device 10, a face image, a body image, and an advertising effect index described later.

バス１６は、プロセッサ１１、主記憶装置１２、通信インターフェース１３、補助記憶装置１４及び入出力装置１５を互いにデータの送受信が可能なように接続している。 The bus 16 connects the processor 11, the main storage device 12, the communication interface 13, the auxiliary storage device 14, and the input / output device 15 so that data can be transmitted and received to each other.

図２は、実施形態に係る画像生成システムのソフトウェア構成の一例を示す図である。画像生成装置１０は、プロセッサ１１を使用して画像生成プログラム１００を読み出して実行し、図２に示した顔画像生成機能１０１、広告効果推定機能１０２、体画像生成機能１０３及び画像組合せ機能１０４を実現させる。 FIG. 2 is a diagram showing an example of a software configuration of an image generation system according to an embodiment. The image generation device 10 reads and executes the image generation program 100 using the processor 11, and performs the face image generation function 101, the advertisement effect estimation function 102, the body image generation function 103, and the image combination function 104 shown in FIG. make it happen.

顔画像生成機能１０１は、人物の顔を描出しており、既に生成されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データに基づいて、広告に使用される顔画像を示す顔画像データを図２に示した顔画像用学習済モデル２０Ｍを利用して生成する。 The face image generation function 101 depicts the face of a person, and the face showing the face image used for the advertisement is based on the advertising effect index data showing the advertising effect index related to the advertising effect of the face image that has already been generated. The image data is generated by using the trained model 20M for the face image shown in FIG.

ここで言う人物の顔は、実在する人物の顔に似ている場合があるものの、実在しない仮想の人物の顔である。また、ここで言う既に生成されている顔画像は、顔画像生成機能１０１により生成された顔画像でもよいし、画像生成装置１０と異なる機器により生成され、画像生成装置１０に入力された顔画像でもよい。 The face of a person here may resemble the face of a real person, but is the face of a virtual person who does not exist. Further, the already generated face image referred to here may be a face image generated by the face image generation function 101, or a face image generated by a device different from the image generation device 10 and input to the image generation device 10. But it may be.

広告は、オンライン広告及びオフライン広告の少なくとも一方を含む。オンライン広告は、例えば、リターゲティング広告、ＳＮＳ（Social Networking Service）広告であり、運用型広告であってもよい。オフライン広告は、例えば、テレビ又はラジオで放送される広告、雑誌又は新聞に掲載される広告である。また、広告効果指標としては、例えば、インプレッション数、クリック数、コンバージョン数、コスト、ＣＴＲ（Click Through Rate）、ＣＶＲ（Conversion Rate）、ＣＴＶＲ、ＣＰＣ（Cost Per Click）、ＣＰＭ（Cost Per Mille）、ＣＰＡ（Cost Per Action）が挙げられる。 Advertising includes at least one of online advertising and offline advertising. The online advertisement is, for example, a retargeting advertisement, an SNS (Social Networking Service) advertisement, and may be an operational advertisement. Offline advertisements are, for example, advertisements broadcast on television or radio, advertisements published in magazines or newspapers. The advertising effectiveness index includes, for example, the number of impressions, the number of clicks, the number of conversions, the cost, CTR (Click Through Rate), CVR (Conversion Rate), CTVR, CPC (Cost Per Click), CPM (Cost Per Mille), and the like. CPA (Cost Per Action) can be mentioned.

顔画像用学習済モデル２０Ｍは、機械学習装置２０に実装されている機械学習モデルである。顔画像用学習済モデル２０Ｍは、広告効果推定機能１０２により生成された広告効果指標データを入力として受け付け、当該広告効果指標データに基づいて顔画像データを出力する。顔画像生成機能１０１は、広告効果指標データを取得して顔画像用学習済モデル２０Ｍに入力し、顔画像用学習済モデル２０Ｍから出力された顔画像データを取得する。 The trained model 20M for a face image is a machine learning model mounted on the machine learning device 20. The trained model 20M for a face image accepts the advertisement effect index data generated by the advertisement effect estimation function 102 as an input, and outputs the face image data based on the advertisement effect index data. The face image generation function 101 acquires advertising effect index data and inputs it to the trained model 20M for face image, and acquires the face image data output from the trained model 20M for face image.

また、顔画像生成機能１０１は、広告効果指標データに加え、広告のターゲティング設計に基づいて、顔画像データを生成してもよい。ターゲティング設計は、広告を配信するユーザを絞り込むための設計である。例えば、ターゲティング設計は、広告を掲載する広告媒体、広告の広告主、広告が対象としているユーザの年齢、性別、嗜好及び居住している地域の少なくとも一つ、広告を配信する期間、ユーザが閲覧しているウェブサイト等の観点から広告を配信するユーザを絞り込むものである。ターゲティング設計は、例えば、図１に示したキーボード８０１及びマウス８０２の少なくとも一方を使用して画像生成装置１０に入力される。 Further, the face image generation function 101 may generate face image data based on the targeting design of the advertisement in addition to the advertisement effect index data. The targeting design is designed to narrow down the users who deliver the advertisement. For example, a targeting design may be viewed by the user for the duration of the ad delivery, at least one of the ad media on which the ad is placed, the advertiser of the ad, the age, gender, preferences and territory of the user targeted by the ad. It narrows down the users who deliver advertisements from the viewpoint of the websites they are using. The targeting design is input to the image generator 10 using, for example, at least one of the keyboard 801 and the mouse 802 shown in FIG.

広告効果推定機能１０２は、顔画像データにより示されている顔画像の広告効果を示す広告効果指標を図２に示した広告効果推定用学習済モデル３０Ｍを利用して推定する。 The advertising effect estimation function 102 estimates an advertising effect index indicating the advertising effect of the face image shown by the face image data by using the trained model 30M for estimating the advertising effect shown in FIG.

広告効果推定用学習済モデル３０Ｍは、機械学習装置３０に実装されている機械学習モデルである。広告効果推定用学習済モデル３０Ｍは、顔画像生成機能１０１により生成された顔画像データを入力として受け付け、当該顔画像データに基づいて広告効果指標データを出力する。広告効果推定機能１０２は、顔画像データを取得して広告効果推定用学習済モデル３０Ｍに入力し、広告効果推定用学習済モデル３０Ｍから出力された広告効果指標データを取得する。そして、広告効果推定機能１０２は、広告効果指標データを顔画像生成機能１０１に提供する。 The trained model 30M for estimating the advertising effect is a machine learning model mounted on the machine learning device 30. The trained model 30M for estimating the advertising effect accepts the face image data generated by the face image generation function 101 as an input, and outputs the advertising effect index data based on the face image data. The advertising effect estimation function 102 acquires face image data and inputs it into the learning model 30M for estimating the advertising effect, and acquires the advertising effect index data output from the learned model 30M for estimating the advertising effect. Then, the advertisement effect estimation function 102 provides the advertisement effect index data to the face image generation function 101.

また、広告効果推定用学習済モデル３０Ｍは、マルチモーダルモデルであることが好ましい。マルチモーダルモデルである広告効果推定用学習済モデル３０Ｍとは、複数種類のデータに基づいて学習する機械学習モデルである。さらに、広告効果推定用学習済モデル３０Ｍは、配信済広告の配信実績を示す配信実績データを使用して学習していることが好ましい。 Further, the trained model 30M for estimating the advertising effect is preferably a multimodal model. The learned model 30M for estimating the advertising effect, which is a multimodal model, is a machine learning model that learns based on a plurality of types of data. Further, it is preferable that the trained model 30M for estimating the advertising effect is trained by using the delivery record data indicating the delivery record of the delivered advertisement.

図３は、実施形態に係る広告効果推定用学習済モデルを学習させるための教師データの一例を示す図である。マルチモーダルモデルである広告効果推定用学習済モデル３０Ｍは、例えば、図３に示した教師データを使用して学習する。図３に示した教師データは、クリエイティブの素材となる画像及びテキスト、ターゲティング設計の要素である広告対象者の年齢及び性別、広告対象者が有する予算、広告の配信期間及び広告が配信される地域各々を具体的に指定するデータを問題としている。また、図３に示した教師データは、これらの組み合わせ各々に対する配信実績を答えとしている。なお、図３に示した文字列「ＣＯＳＴ」は、上述したコストを意味している。また、クリエイティブは、静止画像、動画像、文字及び音声の少なくとも一つを含む制作物である。 FIG. 3 is a diagram showing an example of teacher data for training a trained model for estimating advertising effectiveness according to an embodiment. The trained model 30M for estimating the advertising effect, which is a multimodal model, is trained using, for example, the teacher data shown in FIG. The teacher data shown in FIG. 3 includes images and texts used as creative materials, the age and gender of the target audience, which are the elements of the targeting design, the budget of the target audience, the delivery period of the advertisement, and the region where the advertisement is delivered. The problem is the data that specifically specifies each. Further, the teacher data shown in FIG. 3 is the answer to the delivery record for each of these combinations. The character string "COST" shown in FIG. 3 means the above-mentioned cost. A creative is a product that includes at least one of a still image, a moving image, text, and sound.

画像生成プログラム１００は、図４に示すように、顔画像生成機能１０１と、広告効果推定機能１０２とを交互に使用することにより、より広告効果指標が高い顔画像を示す顔画像データを次々と生成していく。図４は、実施形態に係る画像生成プログラムが顔画像データを生成し、当該顔画像の広告効果に関する指標を推定する処理の一例を説明するための図である。 As shown in FIG. 4, the image generation program 100 alternately uses the face image generation function 101 and the advertising effect estimation function 102 to generate face image data showing a face image having a higher advertising effect index one after another. I will generate it. FIG. 4 is a diagram for explaining an example of a process in which an image generation program according to an embodiment generates face image data and estimates an index related to an advertising effect of the face image.

例えば、画像生成プログラム１００は、事前に生成されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データに基づいて顔画像データＦ－１を顔画像生成機能１０１により生成して広告効果推定機能１０２に提供する。そして、画像生成プログラム１００は、顔画像データＦ－１により示されている顔画像の広告効果を示す広告効果指標を示す広告効果指標データＣ－１を広告効果推定機能１０２により推定して顔画像生成機能１０１に提供する。 For example, the image generation program 100 generates face image data F-1 by the face image generation function 101 based on the advertisement effect index data indicating the advertisement effect index related to the advertisement effect of the face image generated in advance, and the advertisement effect. It is provided to the estimation function 102. Then, the image generation program 100 estimates the advertising effect index data C-1 indicating the advertising effect index indicating the advertising effect of the face image indicated by the face image data F-1 by the advertising effect estimation function 102, and the face image. It is provided to the generation function 101.

次に、画像生成プログラム１００は、広告効果指標データＣ－１に基づいて顔画像データＦ－２を顔画像生成機能１０１により生成して広告効果推定機能１０２に提供する。そして、画像生成プログラム１００は、顔画像データＦ－２により示されている顔画像の広告効果を示す広告効果指標を示す広告効果指標データＣ－２を広告効果推定機能１０２により推定して顔画像生成機能１０１に提供する。 Next, the image generation program 100 generates face image data F-2 by the face image generation function 101 based on the advertisement effect index data C-1, and provides it to the advertisement effect estimation function 102. Then, the image generation program 100 estimates the advertising effect index data C-2 indicating the advertising effect index indicating the advertising effect of the face image indicated by the face image data F-2 by the advertising effect estimation function 102, and the face image. It is provided to the generation function 101.

同様に、画像生成プログラム１００は、広告効果指標データＣ－（ｋ－１）（ｋ：３以上の整数）に基づいて顔画像データＦ－ｋを顔画像生成機能１０１により生成して広告効果推定機能１０２に提供する。そして、画像生成プログラム１００は、顔画像データＦ－ｋにより示されている顔画像の広告効果を示す広告効果指標を示す広告効果指標データＣ－ｋを広告効果推定機能１０２により推定して顔画像生成機能１０１に提供する。 Similarly, the image generation program 100 generates face image data F-k by the face image generation function 101 based on the advertisement effect index data C- (k-1) (k: an integer of 3 or more) to estimate the advertisement effect. Provided to function 102. Then, the image generation program 100 estimates the advertising effect index data Ck indicating the advertising effect index indicating the advertising effect of the face image indicated by the face image data Fk by the advertising effect estimation function 102, and the face image. It is provided to the generation function 101.

なお、画像生成プログラム１００は、広告効果指標データＣ－（ｋ－１）以外の広告効果指標データに基づいて顔画像データＦ－ｋを顔画像生成機能１０１により生成してもよい。例えば、画像生成プログラム１００は、広告効果指標データＣ－４ではなく、広告効果指標データＣ－１、広告効果指標データＣ－２及び広告効果指標データＣ－３の少なくとも一つに基づいて顔画像データＦ－５を顔画像生成機能１０１により生成してもよい。 The image generation program 100 may generate the face image data F-k by the face image generation function 101 based on the advertisement effect index data other than the advertisement effect index data C- (k-1). For example, the image generation program 100 is not based on the advertising effect index data C-4, but based on at least one of the advertising effect index data C-1, the advertising effect index data C-2, and the advertising effect index data C-3. Data F-5 may be generated by the face image generation function 101.

体画像生成機能１０３は、顔画像データにより示されている顔画像と組み合わせられる体を描出している体画像を示す体画像データを生成する。そして、画像組合せ機能１０４は、顔画像データにより示される顔画像と体画像データにより示される体画像とを組み合わせて広告に使用される画像を生成する。 The body image generation function 103 generates body image data showing a body image depicting a body to be combined with the face image shown by the face image data. Then, the image combination function 104 combines the face image indicated by the face image data and the body image indicated by the body image data to generate an image used for the advertisement.

図５は、実施形態に係る画像生成システムが顔画像と体画像とを組み合わせる処理の一例を説明するための図である。図５は、顔画像Ｆ１、画像Ｂ１及び画像Ｅ１を示している。顔画像Ｆ１は、顔画像生成機能１０１により生成された顔画像のうち広告効果指標が所定の閾値を超えている顔画像の一例である。画像Ｂ１は、例えば、画像生成装置１０と異なる機器により生成され、画像生成装置１０に入力された画像である。 FIG. 5 is a diagram for explaining an example of a process in which the image generation system according to the embodiment combines a face image and a body image. FIG. 5 shows a face image F1, an image B1 and an image E1. The face image F1 is an example of a face image in which the advertising effect index exceeds a predetermined threshold among the face images generated by the face image generation function 101. The image B1 is, for example, an image generated by a device different from the image generation device 10 and input to the image generation device 10.

例えば、体画像生成機能１０３は、既に生成されている画像Ｂ１から顔画像データにより示されている顔画像Ｆ１と組み合わせられる体を描出している体画像を抽出することにより体画像データを生成する。ここで言う体画像は、例えば、画像Ｂ１のうち画像Ｂ１に描出されている人物の顔以外の体を描出している領域をいう。そして、画像組合せ機能１０４は、顔画像Ｆ１と、画像Ｂ１から抽出された体画像とを組み合わせて広告に使用される画像Ｅ１を生成する。 For example, the body image generation function 103 generates body image data by extracting a body image depicting a body to be combined with the face image F1 indicated by the face image data from the already generated image B1. .. The body image referred to here refers to, for example, a region of the image B1 that depicts a body other than the face of the person depicted in the image B1. Then, the image combination function 104 combines the face image F1 and the body image extracted from the image B1 to generate the image E1 used for the advertisement.

図６は、実施形態に係る画像生成システムが顔画像と体画像とを組み合わせる処理の一例を説明するための図である。図６は、顔画像Ｆ２、画像Ｂ２及び画像Ｅ２を示している。顔画像Ｆ２は、顔画像生成機能１０１により生成された顔画像のうち広告効果指標が所定の閾値を超えている顔画像の一例である。 FIG. 6 is a diagram for explaining an example of a process in which the image generation system according to the embodiment combines a face image and a body image. FIG. 6 shows a face image F2, an image B2, and an image E2. The face image F2 is an example of a face image in which the advertising effect index exceeds a predetermined threshold value among the face images generated by the face image generation function 101.

例えば、体画像生成機能１０３は、コンピュータグラフィックスを使用して体画像データを生成する。図６に示した画像Ｂ２のうち画像Ｂ２に描出されている人物の顔以外の体を描出している領域は、当該体画像データにより示される体画像の一例である。そして、画像組合せ機能１０４は、顔画像Ｆ２と、画像Ｂ２から抽出された体画像とを組み合わせて広告に使用される画像Ｅ２を生成する。 For example, the body image generation function 103 generates body image data using computer graphics. In the image B2 shown in FIG. 6, the region in which the body other than the face of the person depicted in the image B2 is depicted is an example of the body image shown by the body image data. Then, the image combination function 104 combines the face image F2 and the body image extracted from the image B2 to generate the image E2 used for the advertisement.

また、体画像生成機能１０３は、広告のターゲティング設計に基づいて、体画像データを生成してもよい。 Further, the body image generation function 103 may generate body image data based on the targeting design of the advertisement.

次に、図７から図１０を参照しながら画像生成プログラム、画像生成装置又は画像生成方法が使用される場合にディスプレイ９００に表示されるグラフィカルユーザインターフェースについて説明する。 Next, a graphical user interface displayed on the display 900 when an image generation program, an image generation device, or an image generation method is used will be described with reference to FIGS. 7 to 10.

例えば、画像生成装置１０は、初めにターゲティング設計を指定するデータが入力される。図７及び図８は、実施形態に係る画像生成装置にターゲティング設計を指定するデータが入力される際に、ディスプレイに表示されるユーザインターフェースの一例を示す図である。図７に示したユーザインターフェースは、画像Ｍ２、タブＴ１、タブＴ２及びタブＴ３を含んでいる。図８に示したユーザインターフェースは、これらに加えて、画像Ｍ３１及び画像Ｍ３２を含んでいる。 For example, the image generator 10 is initially input with data specifying a targeting design. 7 and 8 are diagrams showing an example of a user interface displayed on a display when data for designating a targeting design is input to the image generator according to the embodiment. The user interface shown in FIG. 7 includes an image M2, a tab T1, a tab T2, and a tab T3. In addition to these, the user interface shown in FIG. 8 includes an image M31 and an image M32.

画像Ｍ２は、「広告媒体を選択してください」というメッセージをユーザに視認させ、タブＴ１、タブＴ２又はタブＴ３をユーザにクリックさせることにより、上述した広告媒体として「広告媒体Ｘ」、「広告媒体Ｙ」又は「広告媒体Ｚ」をユーザに選択するよう促すために表示される。また、ここで言う広告媒体は、例えば、ソーシャルネットワーキングサービス（ＳＮＳ：Social Networking Service）である。タブＴ１、タブＴ２及びタブＴ３は、それぞれ上述した条件として広告媒体Ｘ、広告媒体Ｙ又は広告媒体Ｚが選択される際にクリックされる。画像Ｍ３１は、上述した広告主として「株式会社〇〇」が選択される際にクリックされる。画像Ｍ３２は、上述した広告主として「株式会社××」が選択される際にクリックされる。 The image M2 makes the user visually recognize the message "Please select an advertising medium" and causes the user to click the tab T1, tab T2 or tab T3, so that the above-mentioned advertising media are "advertising medium X" and "advertising". It is displayed to prompt the user to select "medium Y" or "advertising medium Z". Further, the advertising medium referred to here is, for example, a social networking service (SNS). The tab T1, the tab T2, and the tab T3 are clicked when the advertising medium X, the advertising medium Y, or the advertising medium Z is selected as the above-mentioned conditions, respectively. The image M31 is clicked when "○○ Co., Ltd." is selected as the advertiser described above. The image M32 is clicked when "XX Co., Ltd." is selected as the advertiser described above.

ユーザによりタブＴ１、タブＴ２又はタブＴ３がクリックされることにより選択された「広告媒体Ｘ」、「広告媒体Ｙ」又は「広告媒体Ｚ」を示すデータは、ターゲティング設計を指定するデータとして画像生成装置１０に入力される。同様に、ユーザにより画像Ｍ３１又は画像Ｍ３２がクリックされることにより選択された「株式会社〇〇」又は「株式会社××」を示すデータは、ターゲティング設計を指定するデータとして画像生成装置１０に入力される。 The data indicating "advertising medium X", "advertising medium Y" or "advertising medium Z" selected by clicking tab T1, tab T2 or tab T3 by the user is image generation as data specifying the targeting design. It is input to the device 10. Similarly, the data indicating "○○ Co., Ltd." or "XX Co., Ltd." selected by clicking the image M31 or the image M32 by the user is input to the image generation device 10 as data specifying the targeting design. Will be done.

図９は、実施形態に係る配信済広告及び当該配信済広告の広告効果に関する広告効果指標の表示態様の一例を示す図である。図９に示したユーザインターフェースには、上述したタブＴ１、タブＴ２及びタブＴ３に加えて、画像Ｍ４及び表示領域Ｄが含まれている。 FIG. 9 is a diagram showing an example of a display mode of the distributed advertisement according to the embodiment and the advertising effect index relating to the advertising effect of the distributed advertisement. The user interface shown in FIG. 9 includes an image M4 and a display area D in addition to the tabs T1, tab T2, and tab T3 described above.

画像Ｍ４は、上述した画像Ｍ３１又は画像Ｍ３２がクリックされることにより選択された広告主を表示する画像である。例えば、図９に示した画像Ｍ４は、広告主として「株式会社○○」が選択されたことを表示している。表示領域Ｄには、配信済広告のターゲット設計を示す文字列、配信済広告のクリエイティブ、配信済広告の広告効果指標及び配信済広告の広告効果指標の順位が表示されている。例えば、図９に示した表示領域Ｄには、配信済広告のターゲット設計が２０歳から４９歳までの男女であることを表している文字列「男女_20-49_PO_Purchase」、広告Ｓ、配信済広告の広告効果指標を示す「SCORE0.8」及び広告効果指標の順位を示す「１位」が表示されている。 The image M4 is an image displaying the advertiser selected by clicking the image M31 or the image M32 described above. For example, the image M4 shown in FIG. 9 indicates that "○○ Co., Ltd." has been selected as an advertiser. In the display area D, a character string indicating the target design of the delivered advertisement, the creative of the delivered advertisement, the advertising effectiveness index of the delivered advertisement, and the ranking of the advertising effectiveness index of the delivered advertisement are displayed. For example, in the display area D shown in FIG. 9, the character string “male / female_20-49_PO_Purchase” indicating that the target design of the delivered advertisement is for men and women between the ages of 20 and 49, the advertisement S, and the delivered advertisement have been delivered. "SCORE 0.8" indicating the advertising effectiveness index of the advertisement and "1st place" indicating the ranking of the advertising effectiveness index are displayed.

図１０は、実施形態に係る画像処理プログラムにより生成された顔画像を含む広告及びこれらの広告の広告効果指標の表示態様の一例を示す図である。図１０に示すように、表示領域Ｄには、図９に示されている内容に加えて、広告Ｃ１、広告Ｃ２、広告Ｃ３、広告Ｃ４及び広告Ｃ５が表示されている。これら五つの広告は、いずれも顔画像生成機能１０１により図７及び図８を参照しながら説明した手順で入力されたターゲティング設計に基づいて生成された顔画像データにより示されている顔画像を含む広告である。また、同時に、これら五つの広告各々の右下には、広告効果指標の推定結果が表示されており、これら五つの広告各々の左下には、広告効果指標の推定結果の順位が表示されている。顔画像生成機能１０１により生成された顔画像データにより示される顔画像を含む広告は、例えば、図１０に示した表示態様で表示され、広告効果指標の推定結果が広告Ｓを超えている場合、実際に広告として配信される。 FIG. 10 is a diagram showing an example of an advertisement including a face image generated by an image processing program according to an embodiment and a display mode of an advertisement effectiveness index of these advertisements. As shown in FIG. 10, in addition to the contents shown in FIG. 9, advertisement C1, advertisement C2, advertisement C3, advertisement C4, and advertisement C5 are displayed in the display area D. Each of these five advertisements includes a face image indicated by face image data generated based on the targeting design input by the face image generation function 101 in the procedure described with reference to FIGS. 7 and 8. It's an advertisement. At the same time, the estimation result of the advertising effectiveness index is displayed in the lower right of each of these five advertisements, and the ranking of the estimation result of the advertising effectiveness index is displayed in the lower left of each of these five advertisements. .. An advertisement including a face image indicated by the face image data generated by the face image generation function 101 is displayed, for example, in the display mode shown in FIG. 10, and when the estimation result of the advertisement effect index exceeds the advertisement S, the advertisement is displayed. It is actually delivered as an advertisement.

次に、図１１を参照しながら実施形態に係る画像生成プログラム１００が実行する処理の一例を説明する。図１１は、実施形態に係る画像生成プログラムが実行する処理の一例を示すフローチャートである。画像生成プログラム１００は、図１１に示したステップＳ１０からステップＳ４０までの処理を複数回実行する。 Next, an example of the process executed by the image generation program 100 according to the embodiment will be described with reference to FIG. FIG. 11 is a flowchart showing an example of processing executed by the image generation program according to the embodiment. The image generation program 100 executes the processes from step S10 to step S40 shown in FIG. 11 a plurality of times.

ステップＳ１０において、顔画像生成機能１０１は、広告指標データに基づいて、広告に使用される顔画像を示す顔画像データを顔画像用学習済モデルを利用して生成する。 In step S10, the face image generation function 101 generates face image data indicating the face image used for the advertisement by using the trained model for the face image based on the advertisement index data.

ステップＳ２０において、顔画像生成機能１０１は、顔画像データを広告効果推定機能に提供する。 In step S20, the face image generation function 101 provides the face image data to the advertising effect estimation function.

ステップＳ３０において、広告効果推定機能１０２は、顔画像データにより示されている顔画像の広告効果を示す広告効果指標を広告効果推定用学習済モデルを利用して推定する。 In step S30, the advertising effect estimation function 102 estimates the advertising effect index indicating the advertising effect of the face image indicated by the face image data by using the trained model for estimating the advertising effect.

ステップＳ４０において、広告効果推定機能１０２は、顔画像データにより示されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データを顔画像生成機能に提供する。 In step S40, the advertising effect estimation function 102 provides the face image generation function with advertising effect index data indicating an advertising effect index related to the advertising effect of the face image indicated by the face image data.

なお、画像生成プログラム１００は、ステップＳ４０が完了し、次のステップＳ１０に進む前に、ステップＳ１０で生成された顔画像データにより示される顔画像に対して体画像生成機能１０３による処理及び画像組合せ機能１０４による処理を実行してもよい。 The image generation program 100 performs processing and image combination by the body image generation function 103 on the face image indicated by the face image data generated in step S10 before the step S40 is completed and the process proceeds to the next step S10. The process by the function 104 may be executed.

以上、実施形態に係る画像生成プログラム、画像生成装置及び画像生成方法について説明した。画像生成プログラム１００は、顔画像生成機能１０１と、広告効果推定機能１０２とを画像生成装置１０に実現させる。顔画像生成機能１０１は、人物の顔を描出しており、既に生成されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データに基づいて、広告に使用される顔画像を示す顔画像データを顔画像用学習済モデル２０Ｍを利用して生成する。広告効果推定機能１０２は、顔画像データにより示されている顔画像の広告効果を示す広告効果指標を広告効果推定用学習済モデル３０Ｍを利用して推定し、顔画像データにより示されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データを顔画像生成機能１０１に提供する。 The image generation program, the image generation device, and the image generation method according to the embodiment have been described above. The image generation program 100 realizes the face image generation function 101 and the advertisement effect estimation function 102 in the image generation device 10. The face image generation function 101 depicts the face of a person, and the face showing the face image used for the advertisement is based on the advertising effect index data showing the advertising effect index related to the advertising effect of the face image that has already been generated. Image data is generated using the trained model 20M for facial images. The advertising effect estimation function 102 estimates an advertising effect index indicating the advertising effect of the face image shown by the face image data using the trained model 30M for estimating the advertising effect, and the face shown by the face image data. The face image generation function 101 is provided with advertising effect index data indicating an advertising effect index related to the advertising effect of an image.

これにより、画像生成プログラム１００は、既に生成されている顔画像の広告効果に関する広告効果指標及び広告効果推定機能１０２により提供された広告効果指標データにより示される広告効果指標を超える可能性が高い顔画像を示す顔画像データを多数生成することができる。つまり、画像生成プログラム１００は、より高い広告効果が期待できるクリエイティブの素材となる人物の顔画像を多数生成することができる。また、画像生成プログラム１００は、仮想的で実在しない人物の顔画像を生成するため、実際に人物を撮影する作業を省略しつつ、クリエイティブの素材となる人物の顔画像を多数生成することができる。 As a result, the image generation program 100 has a high possibility of exceeding the advertising effect index related to the advertising effect of the already generated face image and the advertising effect index indicated by the advertising effect index data provided by the advertising effect estimation function 102. It is possible to generate a large number of face image data showing an image. That is, the image generation program 100 can generate a large number of facial images of a person as a creative material that can be expected to have a higher advertising effect. Further, since the image generation program 100 generates a face image of a virtual and non-existent person, it is possible to generate a large number of face images of a person as a creative material while omitting the work of actually shooting the person. ..

また、画像生成プログラム１００は、配信済広告の配信実績を示す配信実績データを使用して学習した広告効果推定用学習済モデル３０Ｍを使用して顔画像データにより示されている顔画像の広告効果を示す広告効果指標を推定する。これにより、画像生成プログラム１００は、実際に配信され、高い広告効果を示した広告の特徴を踏まえて、更に高い広告効果を期待できる顔画像を示す顔画像データを生成することができる。 Further, the image generation program 100 uses the trained model 30M for estimating the advertising effect learned by using the distribution record data indicating the distribution record of the delivered advertisement, and the advertising effect of the face image shown by the face image data. Estimate the advertising effectiveness index that indicates. As a result, the image generation program 100 can generate face image data showing a face image that can be expected to have a higher advertising effect, based on the characteristics of the advertisement that is actually delivered and has shown a high advertising effect.

また、画像生成プログラム１００は、マルチモーダルモデルである広告効果推定用学習済モデル３０Ｍを利用して、顔画像データにより示されている顔画像の広告効果を示す広告効果指標を推定する。これにより、画像生成プログラム１００は、様々な観点から顔画像の広告効果指標を推定することができる広告効果推定用学習済モデル３０Ｍを利用して、顔画像データにより示されている顔画像の広告効果を示す広告効果指標を更に正確に推定することができる。 Further, the image generation program 100 uses the learned model 30M for estimating the advertising effect, which is a multimodal model, to estimate the advertising effect index indicating the advertising effect of the face image shown by the face image data. As a result, the image generation program 100 uses the trained model 30M for estimating the advertising effect, which can estimate the advertising effect index of the face image from various viewpoints, to advertise the face image shown by the face image data. It is possible to more accurately estimate the advertising effectiveness index showing the effect.

また、画像生成プログラム１００は、広告効果指標データに加え、広告のターゲティング設計に基づいて、顔画像データを生成する。これにより、画像生成プログラム１００は、広告媒体、広告主等のニーズに応じたターゲティング設計ごとに、より高い広告効果が期待できるクリエイティブの素材となる人物の顔画像を多数生成することができる。 Further, the image generation program 100 generates face image data based on the targeting design of the advertisement in addition to the advertisement effect index data. As a result, the image generation program 100 can generate a large number of facial images of a person as a creative material that can be expected to have a higher advertising effect for each targeting design according to the needs of the advertising medium, the advertiser, and the like.

また、画像生成プログラム１００は、体画像生成機能１０３と、画像組合せ機能１０４とを画像生成装置１０に実現させる。体画像生成機能１０３は、顔画像データにより示されている顔画像と組み合わせられる体を描出している体画像を示す体画像データを生成する。画像組合せ機能１０４は、顔画像データにより示される顔画像と体画像データにより示される体画像とを組み合わせて広告に使用される画像を生成する。これにより、画像生成プログラム１００は、人物の顔だけではなく、体まで含んでいるクリエイティブの素材となる人物の画像を生成することができる。 Further, the image generation program 100 realizes the body image generation function 103 and the image combination function 104 in the image generation device 10. The body image generation function 103 generates body image data showing a body image depicting a body to be combined with the face image shown by the face image data. The image combination function 104 combines the face image indicated by the face image data and the body image indicated by the body image data to generate an image used for the advertisement. As a result, the image generation program 100 can generate an image of a person as a creative material including not only the face of the person but also the body.

また、画像生成プログラム１００は、広告のターゲティング設計に基づいて、体画像データを生成する。これにより、画像生成プログラム１００は、広告媒体、広告主等のニーズに応じたターゲティング設計ごとに、より高い広告効果が期待できるクリエイティブの素材となる人物の顔及び体を描出している画像を多数生成することができる。 Further, the image generation program 100 generates body image data based on the targeting design of the advertisement. As a result, the image generation program 100 has a large number of images depicting the face and body of a person, which is a creative material that can be expected to have a higher advertising effect, for each targeting design according to the needs of the advertising medium, the advertiser, and the like. Can be generated.

なお、上述した実施形態では、図２に示した顔画像生成機能１０１、広告効果推定機能１０２及び体画像生成機能１０３が画像生成プログラム１００を読み出して実行するプロセッサ１１により実現される場合を例に挙げて説明したが、これに限定されない。 In the above-described embodiment, the case where the face image generation function 101, the advertisement effect estimation function 102, and the body image generation function 103 shown in FIG. 2 are realized by the processor 11 that reads out and executes the image generation program 100 is taken as an example. I have mentioned and explained, but it is not limited to this.

図２に示した顔画像生成機能１０１、広告効果推定機能１０２及び体画像生成機能１０３の少なくとも一部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等の回路部（circuitry）を含むハードウェアにより実現されてもよい。或いは、図２に示した顔画像生成機能１０１、広告効果推定機能１０２及び体画像生成機能１０３の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。また、これらのハードウェアは、一つに統合されていてもよいし、複数に分かれていてもよい。 At least a part of the face image generation function 101, the advertisement effect estimation function 102, and the body image generation function 103 shown in FIG. 2 is an LSI (Large Scale Integration), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array). ), GPU (Graphics Processing Unit) and the like may be realized by hardware including a circuit unit (circuitry). Alternatively, at least a part of the face image generation function 101, the advertisement effect estimation function 102, and the body image generation function 103 shown in FIG. 2 may be realized by the cooperation of software and hardware. Further, these hardware may be integrated into one or may be divided into a plurality of pieces.

また、上述した実施形態では、画像生成装置１０と、機械学習装置２０と、機械学習装置３０とが互いに独立した装置である場合を例に挙げて説明したが、これに限定されない。これら三つの装置のうちの少なくとも二つの装置が一つの装置として実現されていてもよい。 Further, in the above-described embodiment, the case where the image generation device 10, the machine learning device 20, and the machine learning device 30 are independent devices has been described as an example, but the present invention is not limited to this. At least two of these three devices may be realized as one device.

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲内において種々の組み合わせ、変形、置換及び設計変更の少なくとも一つを加えることができる。 Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and various combinations, modifications, and substitutions are made without departing from the gist of the present invention. And at least one of the design changes can be made.

１…画像生成システム、１０…画像生成装置、１１…プロセッサ、１２…主記憶装置、１３…通信インターフェース、１４…補助記憶装置、１５…入出力装置、１００…画像生成プログラム、１０１…顔画像生成機能、１０２…広告効果推定機能、１０３…体画像生成機能、１０４…画像組合せ機能、２０，３０…機械学習装置、２０Ｍ…顔画像用学習済モデル、３０Ｍ…広告効果推定用学習済モデル、８０１…キーボード、８０２…マウス、９００…ディスプレイ 1 ... Image generation system, 10 ... Image generation device, 11 ... Processor, 12 ... Main storage device, 13 ... Communication interface, 14 ... Auxiliary storage device, 15 ... Input / output device, 100 ... Image generation program, 101 ... Face image generation Function, 102 ... Advertising effect estimation function, 103 ... Body image generation function, 104 ... Image combination function, 20, 30 ... Machine learning device, 20M ... Trained model for face image, 30M ... Learning model for advertising effect estimation, 801 ... keyboard, 802 ... mouse, 900 ... display

Claims (10)

人物の顔を描出しており、既に生成されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データに基づいて、広告に使用される顔画像を示す顔画像データを顔画像用学習済モデルを利用して生成する顔画像生成機能と、
前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を広告効果推定用学習済モデルを利用して推定し、前記顔画像データにより示されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データを前記顔画像生成機能に提供する広告効果推定機能と、
をコンピュータに実現させ、
前記顔画像生成機能と、前記広告効果推定機能とを交互に実行し、
前記顔画像生成機能は、前記広告効果推定機能が実行された後は、前記広告効果推定機能によって提供された前記広告効果指標データに基づいて前記顔画像データを生成する、
画像生成プログラム。 Learning for face image data showing the face image used for the advertisement based on the advertising effect index data that depicts the face of the person and shows the advertising effect index related to the advertising effect of the face image that has already been generated. The face image generation function generated using the completed model, and
An advertising effect index showing the advertising effect of the face image shown by the face image data is estimated by using a trained model for estimating the advertising effect, and an advertisement related to the advertising effect of the face image shown by the face image data is used. An advertising effect estimation function that provides the advertising effect index data indicating the effect index to the face image generation function, and
To the computer,
The face image generation function and the advertisement effect estimation function are alternately executed .
After the advertisement effect estimation function is executed, the face image generation function generates the face image data based on the advertisement effect index data provided by the advertisement effect estimation function.
Image generator. 前記広告効果推定機能は、配信済広告の配信実績を示す配信実績データを使用して学習した前記広告効果推定用学習済モデルを使用して前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を推定する、
請求項１に記載の画像生成プログラム。 The advertising effect estimation function is an advertising effect of a face image shown by the face image data using the trained model for estimating the advertising effect, which is learned by using the distribution record data indicating the distribution record of the delivered advertisement. Estimate the advertising effectiveness index that indicates
The image generation program according to claim 1. 前記広告効果推定機能は、マルチモーダルモデルである前記広告効果推定用学習済モデルを利用して、前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を推定する、
請求項１又は請求項２に記載の画像生成プログラム。 The advertising effect estimation function estimates an advertising effect index indicating the advertising effect of the face image shown by the face image data by using the learned model for estimating the advertising effect, which is a multimodal model.
The image generation program according to claim 1 or 2. 顔画像生成機能は、広告効果指標データに加え、前記広告のターゲティング設計に基づいて、前記顔画像データを生成する、
請求項１から請求項３のいずれか一つに記載の画像生成プログラム。 The face image generation function generates the face image data based on the targeting design of the advertisement in addition to the advertisement effect index data.
The image generation program according to any one of claims 1 to 3. 前記顔画像データにより示されている顔画像と組み合わせられる体を描出している体画像を示す体画像データを生成する体画像生成機能と、
前記顔画像データにより示される顔画像と前記体画像データにより示される体画像とを組み合わせて前記広告に使用される画像を生成する画像組合せ機能と、
を更に備える、
請求項１から請求項４のいずれか一つに記載の画像生成プログラム。 A body image generation function that generates body image data showing a body image depicting a body to be combined with the face image shown by the face image data, and a body image generation function.
An image combination function that combines a face image indicated by the face image data and a body image indicated by the body image data to generate an image used for the advertisement, and an image combination function.
Further prepare,
The image generation program according to any one of claims 1 to 4. 前記体画像生成機能は、既に生成されている画像から前記顔画像データにより示されている顔画像と組み合わせられる体を描出している体画像を抽出することにより前記体画像データを生成する、
請求項５に記載の画像生成プログラム。 The body image generation function generates the body image data by extracting a body image depicting a body to be combined with the face image indicated by the face image data from an already generated image.
The image generation program according to claim 5. 前記体画像生成機能は、コンピュータグラフィックスを使用して前記体画像データを生成する、
請求項５に記載の画像生成プログラム。 The body image generation function uses computer graphics to generate the body image data.
The image generation program according to claim 5. 前記体画像生成機能は、前記広告のターゲティング設計に基づいて、前記体画像データを生成する、
請求項５から請求項７のいずれか一つに記載の画像生成プログラム。 The body image generation function generates the body image data based on the targeting design of the advertisement.
The image generation program according to any one of claims 5 to 7. 人物の顔を描出しており、既に生成されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データに基づいて、広告に使用される顔画像を示す顔画像データを顔画像用学習済モデルを利用して生成する顔画像生成部と、
前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を広告効果推定用学習済モデルを利用して推定し、前記顔画像データにより示されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データを前記顔画像生成部に提供する広告効果推定部と、
を備え、
前記顔画像生成部と、前記広告効果推定部とを交互に実行し、
前記顔画像生成部は、前記広告効果推定部が処理を実行した後は、前記広告効果推定部によって提供された前記広告効果指標データに基づいて前記顔画像データを生成する、
画像生成装置。 Learning for face image data showing the face image used for the advertisement based on the advertising effect index data that depicts the face of the person and shows the advertising effect index related to the advertising effect of the face image that has already been generated. The face image generator generated using the completed model,
An advertising effect index showing the advertising effect of the face image shown by the face image data is estimated by using a trained model for estimating the advertising effect, and an advertisement related to the advertising effect of the face image shown by the face image data is used. An advertising effect estimation unit that provides the advertising effect index data indicating the effect index to the face image generation unit, and
Equipped with
The face image generation unit and the advertisement effect estimation unit are alternately executed .
The face image generation unit generates the face image data based on the advertisement effect index data provided by the advertisement effect estimation unit after the processing is executed by the advertisement effect estimation unit.
Image generator. 人物の顔を描出しており、既に生成されている顔画像の広告効果に関する広告効果指標を示す広告効果指標データに基づいて、広告に使用される顔画像を示す顔画像データを顔画像用学習済モデルを利用して生成する顔画像生成ステップと、
前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を広告効果推定用学習済モデルを利用して推定し、前記顔画像データにより示されている顔画像の広告効果を示す広告効果指標を示す広告効果指標データを前記顔画像生成ステップに提供する広告効果推定ステップと、
を含み、
前記顔画像生成ステップと、前記広告効果推定ステップとが交互に実行され、
前記顔画像生成ステップでは、前記広告効果推定ステップが実行された後は、前記広告効果推定ステップにおいて提供された前記広告効果指標データに基づいて前記顔画像データを生成する、
画像生成方法。 Learning for face image data showing the face image used for the advertisement based on the advertising effect index data that depicts the face of the person and shows the advertising effect index related to the advertising effect of the face image that has already been generated. The face image generation step to be generated using the completed model,
The advertising effect index showing the advertising effect of the face image shown by the face image data is estimated by using the trained model for estimating the advertising effect, and the advertising effect of the face image shown by the face image data is shown. An advertising effect estimation step that provides advertising effect index data indicating an advertising effect index to the face image generation step, and
Including
The face image generation step and the advertising effect estimation step are executed alternately .
In the face image generation step, after the advertisement effect estimation step is executed, the face image data is generated based on the advertisement effect index data provided in the advertisement effect estimation step.
Image generation method.
JP2020177301A 2020-10-22 2020-10-22 Image generation program, image generation device and image generation method Active JP7094342B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020177301A JP7094342B2 (en) 2020-10-22 2020-10-22 Image generation program, image generation device and image generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020177301A JP7094342B2 (en) 2020-10-22 2020-10-22 Image generation program, image generation device and image generation method

Publications (2)

Publication Number Publication Date
JP2022068552A JP2022068552A (en) 2022-05-10
JP7094342B2 true JP7094342B2 (en) 2022-07-01

Family

ID=81459946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020177301A Active JP7094342B2 (en) 2020-10-22 2020-10-22 Image generation program, image generation device and image generation method

Country Status (1)

Country Link
JP (1) JP7094342B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592596B1 (en) * 2023-07-12 2023-10-23 주식회사 패션에이드 System and method for generating human model automatically based on artificial intelligence
KR102652199B1 (en) * 2023-10-11 2024-03-29 주식회사 패션에이드 System and method for generating video content based on pose estimation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272530A (en) 2003-03-07 2004-09-30 Digital Fashion Ltd Virtual fitting display device and method, virtual fitting display program, and computer readable recoding medium with the same program recorded
JP2011118776A (en) 2009-12-04 2011-06-16 Sony Corp Data processing apparatus, data processing method, and program
JP2019091366A (en) 2017-11-17 2019-06-13 ヤフー株式会社 Advertisement distribution system, advertisement distribution method, and program
JP2020170338A (en) 2019-04-03 2020-10-15 株式会社これから Advertisement distribution assisting system, advertisement distribution assisting method and advertisement distribution assisting program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272530A (en) 2003-03-07 2004-09-30 Digital Fashion Ltd Virtual fitting display device and method, virtual fitting display program, and computer readable recoding medium with the same program recorded
JP2011118776A (en) 2009-12-04 2011-06-16 Sony Corp Data processing apparatus, data processing method, and program
JP2019091366A (en) 2017-11-17 2019-06-13 ヤフー株式会社 Advertisement distribution system, advertisement distribution method, and program
JP2020170338A (en) 2019-04-03 2020-10-15 株式会社これから Advertisement distribution assisting system, advertisement distribution assisting method and advertisement distribution assisting program

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
栗原 雅，高い効果が期待できるバナー広告をAIが自動生成[online]，2019年08月26日，URL<https://jbpress.ismedia.jp/articles/-/57394>，[検索日：2021年11月2日]
機械学習を用いた広告制作技術 Creative Research[online]，サイバーエージェント，2020年09月18日，URL<https://web.archive.org/web/20200918175806/https://www.cyberagent.co.jp/techinfo/ai/tech/detail/id=24951>，インターネットアーカイブ，[検索日：2021年11月2日]
石川 俊明，AIで顔や広告を自動生成 サイバーエージェントは学習データをどのように集めたか？[online]，2019年04月24日，URL1<https://atmarkit.itmedia.co.jp/ait/articles/1904/24/news007.html>URL2<https://atmarkit.itmedia.co.jp/ait/articles/1904/24/news007_2.html>，[検索日：2021年11月2日]
鈴木 雅大 外１名，深層生成モデルを用いた半教師ありマルチモーダル学習，情報処理学会 論文誌（ジャーナル） Ｖｏｌ．５９ Ｎｏ．１２ ，情報処理学会，2018年12月15日，pp.2261-2278

Also Published As

Publication number Publication date
JP2022068552A (en) 2022-05-10

Similar Documents

Publication Publication Date Title
Quesenberry Social media strategy: Marketing, advertising, and public relations in the consumer revolution
Quesenberry Social media strategy: Marketing and advertising in the consumer revolution
JP7094342B2 (en) Image generation program, image generation device and image generation method
Lu et al. StreamSketch: Exploring multi-modal interactions in creative live streams
Klostermann et al. Presentation of celebrities’ private life through visual social media
Geng et al. Comparison lift: Bandit-based experimentation system for online advertising
Sand et al. A big data aggregation, analysis and exploitation integrated platform for increasing social management intelligence
US10282357B1 (en) Dynamic resampling for ranking viewer experiences
JP2022070083A (en) Advertisement production assist program, advertisement production assist device and advertisement production assist method
Farseev Under the hood of social media advertising: how do we use AI responsibly for advertising targeting and creative evaluation
CN114842115A (en) Method for generating commodity main graph and electronic equipment
JP6945670B2 (en) Advertisement production support program, advertisement production support device and advertisement production support method
Krowinska et al. Digital Content Marketing: Creating Value in Practice
Burghate Digital Marketing and its Techniques for Online Businesses
JP7275216B2 (en) ADVERTISING PRODUCTION SUPPORT PROGRAM, ADVERTISING PRODUCTION SUPPORT DEVICE, AND ADVERTISING PRODUCTION SUPPORT METHOD
Rajaram et al. Influencer Videos: Unboxing the Mystique
Wang et al. Data-driven innovation technologies for smarter business from innovators’ market game to ichance creativity support system
Celik Virtual Influencers in Brand Management: A comparison between human and artificial Influencers
Albinali The Effect of Viral Marketing Using Social Media on Small and Medium Enterprise‘s Brand Awareness: Evidence From GCC Market
Dimitrakopoulos et al. A knowledge-based integrated framework for increasing social management intelligence
Paredes et al. Augmented Reality System as a 5.0 Marketing Strategy in Restaurants: A Case Study in Ambato Ecuador
Promsombut et al. Perspectives on AI artists in generating artwork in advertising industry
Gajendra et al. Communication in Second Life and e-business opportunities: a case analysis
Sharma et al. User Engagement and Perception on social media: An Analysis of AI-Generated vs Human-Generated Images in Digital Advertising Campaigns
Zhenyu et al. Optimizing Cultural Promotion Strategies in Video Gaming Through the Application of the Kano Model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220621

R150 Certificate of patent or registration of utility model

Ref document number: 7094342

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150