JP6501939B2 - Model generation device, information distribution device, model generation method, information distribution method, model generation program, information distribution program, estimation device and estimation method - Google Patents
Model generation device, information distribution device, model generation method, information distribution method, model generation program, information distribution program, estimation device and estimation method Download PDFInfo
- Publication number
- JP6501939B2 JP6501939B2 JP2018048633A JP2018048633A JP6501939B2 JP 6501939 B2 JP6501939 B2 JP 6501939B2 JP 2018048633 A JP2018048633 A JP 2018048633A JP 2018048633 A JP2018048633 A JP 2018048633A JP 6501939 B2 JP6501939 B2 JP 6501939B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- image
- attribute information
- feature amount
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009826 distribution Methods 0.000 title claims description 277
- 238000000034 method Methods 0.000 title claims description 100
- 238000004364 calculation method Methods 0.000 claims description 45
- 238000002716 delivery method Methods 0.000 claims 1
- 238000010187 selection method Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 47
- 238000012545 processing Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 22
- 238000013527 convolutional neural network Methods 0.000 description 21
- 238000003860 storage Methods 0.000 description 21
- 210000002569 neuron Anatomy 0.000 description 20
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 235000014510 cooky Nutrition 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
本発明は、モデル生成装置、情報配信装置、モデル生成方法、情報配信方法、モデル生成プログラム、情報配信プログラム、推定装置および推定方法に関する。 The present invention relates to a model generation device, an information distribution device, a model generation method, an information distribution method, a model generation program, an information distribution program, an estimation device, and an estimation method.
近年、インターネットを介した情報配信が盛んに行われている。このような情報配信の一例として、配信対象となる広告の類似度や、広告配信先となる利用者の情報等に基づいて、ＣＴＲ（Click Through Rate）等のクリック率を推定し、推定されたクリック率に応じて、配信対象となる広告を選択する技術が知られている。 In recent years, information distribution via the Internet has been actively performed. As an example of such information distribution, the click rate such as CTR (Click Through Rate) is estimated based on the similarity of the advertisement to be distributed, the information of the user who is the advertisement distribution destination, etc. There is known a technology for selecting an advertisement to be delivered according to a click rate.
例えば、配信対象となる広告の構成要素や広告同士の類似度に基づいて、ＣＴＲを予測し、予測したＣＴＲを用いて配信対象となる広告を選択する技術が知られている。また、広告を選択した利用者の属性に基づいて、仮想ＣＴＲを算出し、広告の配信先となる利用者の属性と算出した仮想ＣＴＲとに応じて、配信対象となる広告を選択する技術が知られている。 For example, there is known a technique of predicting a CTR based on a component of an advertisement to be distributed or a degree of similarity between advertisements, and selecting the advertisement to be a distribution target using the predicted CTR. In addition, there is a technology that calculates virtual CTR based on the attribute of the user who selected the advertisement, and selects the advertisement to be distributed according to the attribute of the user who is the distribution destination of the advertisement and the calculated virtual CTR. Are known.
しかしながら、上記の従来技術では、配信対象となる広告の構成や広告を選択した利用者を示すログや、広告の配信先となる利用者の属性が不明な場合には、クリック率の推定精度が悪化するという問題がある。 However, in the above-mentioned prior art, when the configuration of the advertisement to be delivered and the log indicating the user who selected the advertisement or the attribute of the user to whom the advertisement is delivered are unknown, the estimation accuracy of the click rate is There is a problem of getting worse.
本願は、上記に鑑みてなされたものであって、広告のログが無い場合や、広告の配信先となる利用者の属性が不明な場合にも、クリック率の推定精度の悪化を防ぐモデル生成装置、情報配信装置、モデル生成方法、情報配信方法、モデル生成プログラムおよび情報配信プログラムを提供することを目的とする。 The present application has been made in view of the above, and it is possible to generate a model that prevents the deterioration in the estimation accuracy of the click rate even when there is no advertisement log or the attribute of the user to whom the advertisement is delivered is unknown. Apparatus, information distribution apparatus, model generation method, information distribution method, model generation program, and information distribution program
本願に係るモデル生成装置は、利用者により選択された履歴を有する画像の特徴量を算出する算出部と、前記算出部が算出した特徴量と、前記利用者の属性を示す属性情報とに基づいて、画像の特徴量から当該画像を選択した利用者の属性情報を推定するモデルを生成する。 The model generation device according to the present application is based on a calculation unit that calculates a feature amount of an image having a history selected by the user, a feature amount calculated by the calculation unit, and attribute information indicating an attribute of the user. Then, a model is generated to estimate attribute information of the user who has selected the image from the feature amount of the image.
実施形態の一態様によれば、クリック率の推定精度の悪化を防ぐことができるという効果を奏する。 According to one aspect of the embodiment, it is possible to prevent the deterioration in the estimation accuracy of the click rate.
以下に、本願に係るモデル生成装置、情報配信装置、モデル生成方法、情報配信方法、モデル生成プログラム、情報配信プログラム、推定装置および推定方法を実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係るモデル生成装置、情報配信装置、モデル生成方法、情報配信方法、モデル生成プログラム、情報配信プログラム、推定装置および推定方法が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, a model generation apparatus, an information distribution apparatus, a model generation method, an information distribution method, a model generation program, an information distribution program, an estimation apparatus, and a form for implementing the estimation method according to the present application (hereinafter referred to as “embodiment” Will be described in detail with reference to the drawings. Note that the model generation device, the information distribution device, the model generation method, the information distribution method, the model generation program, the information distribution program, the estimation device, and the estimation method according to the present invention are not limited by this embodiment. Moreover, the same code | symbol is attached | subjected to the same site | part in the following each embodiment, and the overlapping description is abbreviate | omitted.
〔１．配信サーバの一例〕
まず、図１を用いて、実施形態においてモデル生成装置および情報配信装置の一例として動作する配信サーバの一例について説明する。図１は、実施形態に係る配信サーバの一例を示す図である。なお、以下の説明では、配信サーバ１０が、利用者の属性等を示す属性情報を推定するユーザー推定モデルを生成する生成処理と、生成処理で生成されたユーザー推定モデルを用いて、利用者の属性情報を推定し、推定された属性情報に基づいて広告を配信する配信処理とを実行する例について説明する。
[1. Example of distribution server]
First, an example of a distribution server that operates as an example of a model generation device and an information distribution device in the embodiment will be described using FIG. 1. FIG. 1 is a diagram illustrating an example of a distribution server according to the embodiment. In the following description, the
また、以下の説明では広告に係る画像である広告画像を用いて生成処理と配信処理とを実行する例について説明するが、かかる画像は、広告だけではなく、ボランティアの募集、公共広告、公共に対する通知、商品画像、商品説明、その他任意の情報に係る画像あってもよい。すなわち、以下で説明する画像とは、利用者に興味を抱かせ、かかる画像に含まれる情報またはかかる画像と関連する情報（例えば、画像が配置されたウェブページ上の情報やランディングページの情報）を広く知らせるものであれば、文字、図形、記号、音声、動画、ゲーム、その他任意のコンテンツを適用可能である。 Moreover, although the following description demonstrates the example which performs a production | generation process and a delivery process using the advertisement image which is an image which concerns on an advertisement, this image is not only an advertisement but recruitment of volunteers, a public advertisement, to the public There may be an image related to a notification, a product image, a product description, and any other information. That is, the image to be described below is the information contained in the image or the information related to the image (for example, the information on the web page on which the image is arranged and the information on the landing page) which makes the user interested If it is widely known, characters, figures, symbols, sounds, moving pictures, games, and any other contents can be applied.
配信サーバ１０は、利用者が使用する端末装置１００とデータ通信を行うウェブサーバ等の情報処理装置である。例えば、配信サーバ１０は、端末装置１００から広告の配信を要求する広告配信要求を受信すると、端末装置１００を使用する利用者の属性情報に基づいて、配信対象となる広告画像を選択し、選択した広告画像を端末装置１００へ送信する。ここで、利用者の属性情報とは、利用者の性別、年齢、住所、趣味、興味の対象、ウェブページや広告の閲覧履歴等、利用者のプロファイルや素性を示す種々の情報である。
The
端末装置１００は、スマートフォンやタブレット等のスマートデバイスであり、３Ｇ（Generation）やＬＴＥ（Long Term Evolution）等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。また、端末装置１００は、タッチパネルを指や専用ペンでタッチすることにより画像の選択等、各種操作を行う。
The
なお、端末装置１００は、デスクトップ型のＰＣ（Personal Computer）やノート型のＰＣ、ネットブック、サーバ装置などの情報処理装置であってもよい。かかる場合、端末装置１００は、マウスやキーボードなどの情報入力装置を介して各種操作を受け付けてもよい。
The
ここで、端末装置１００は、利用者の操作によりウェブページなどのウェブコンテンツを表示する場合は、ウェブコンテンツの配信を行うウェブサーバに対してウェブコンテンツの配信要求を送信する。かかる場合、端末装置１００は、ウェブコンテンツの配信を受け付けると、ウェブコンテンツ内に配置される広告の配信要求を配信サーバ１０に送信する。
Here, when the
かかる場合、配信サーバ１０は広告画像を端末装置１００に配信する。そして、端末装置１００は、配信サーバ１０から受け付けた広告画像をウェブページ内に配置して表示する。また、端末装置１００は、広告画像を利用者がタップしたり、カーソルを広告画像とあわせてクリックした場合等、広告画像を選択する操作が行われた場合は、広告画像と対応するランディングページの表示を行うとともに、かかる広告画像が選択された旨の通知を配信サーバ１０に送信する。
In such a case, the
また、配信サーバ１０は、広告画像が選択された旨の通知を受付けると、広告主に対する課金処理を実行する。すなわち、配信サーバ１０は、端末装置１００に対し、クリック課金型の広告配信を行う。
In addition, when receiving the notification that the advertisement image has been selected, the
〔２−１．配信サーバ１０が実行する処理〕
ここで、配信サーバ１０は、クリック課金型で広告を配信する場合、広告主が設定した入札額に基づいて、配信対象となる広告画像が選択される。具体的には、配信サーバ１０は、各広告画像について設定された入札額と、各広告画像がクリックされる確率であるクリック率とに基づいて、期待収益を算出し、算出した期待収益が最も高い広告画像を優先的に配信する。
[2-1. Process executed by distribution server 10]
Here, when delivering an advertisement in a pay-per-click type, the
ここで、クリック率とは、広告配信対象となる利用者の属性情報や、配信対象となる広告画像の内容に基づいて推定されるクリック率である。例えば、従来技術では、配信対象となる広告画像を抽象化した際の特徴と、配信先となる利用者の属性情報との対応関係に応じて、クリック率の値が推定される。より具体的な例を挙げると、従来技術では、配信対象となる広告画像がゲーム画面、車両、男性用の商品等、男性が選択しそうな画像であり、配信先となる利用者の性別が男性である場合は、配信対象となる広告画像のクリック率を増加させる。 Here, the click rate is a click rate estimated on the basis of the attribute information of the user who is the target of advertisement delivery and the content of the advertisement image which is the target of delivery. For example, in the prior art, the value of the click rate is estimated according to the correspondence between the feature when the advertisement image to be distributed is abstracted and the attribute information of the user as the distribution destination. As a more specific example, in the prior art, the advertisement image to be distributed is an image that men are likely to select, such as game screens, vehicles, and products for men, and the gender of the user as the distribution destination is male If so, the click rate of the advertisement image to be distributed is increased.
また、他の従来技術では、配信対象となる広告画像が他の広告画像と類似する場合は、かかる他の広告画像を選択した利用者の属性情報を取得し、取得した利用者の属性情報と、配信先となる利用者の属性情報との関係に応じて、クリック率の値が推定される。より具体的な例を挙げると、従来技術では、配信対象となる利用者が男性である場合は、多くの男性が選択した広告画像と類似する広告画像のクリック率を増加させる。 In another conventional technique, when an advertisement image to be distributed is similar to another advertisement image, the attribute information of the user who selected the other advertisement image is acquired, and the acquired attribute information of the user is acquired. The value of the click rate is estimated according to the relationship with the attribute information of the user who is the delivery destination. As a more specific example, in the prior art, when the user to be distributed is male, the click rate of the advertisement image similar to the advertisement image selected by many men is increased.
しかしながら、新規に登録された広告画像等には、広告画像を選択した利用者の属性情報や、広告画像の構成等、広告画像のログが存在しない場合がある。かかる場合、従来技術では、配信対象となる広告画像を選択しうる利用者を推定できないので、クリック率の推定精度が悪化する。また、十分な数のログが取得されていない場合にも、クリック率の推定精度は悪化する。 However, there are cases where there is no advertisement image log, such as the attribute information of the user who selected the advertisement image, the configuration of the advertisement image, etc., in the newly registered advertisement image or the like. In such a case, the prior art can not estimate users who can select an advertisement image to be distributed, so the estimation accuracy of the click rate deteriorates. In addition, even if a sufficient number of logs are not acquired, the estimation accuracy of the click rate deteriorates.
また、新規な利用者から広告配信要求を受信した場合や、Ｂ−クッキー等などが消去され、利用者を識別するためのＩＤ（Identifier）が不明になった場合等、利用者の属性情報が不明となる場合がある。かかる場合、従来技術では、配信対象となる広告画像の予測クリック率を算出することができない。 In addition, when the advertisement distribution request is received from a new user, or when the B-cookie etc. is deleted and the ID (Identifier) for identifying the user becomes unknown, the attribute information of the user is It may be unknown. In such a case, the prior art can not calculate the predicted click rate of the advertisement image to be distributed.
このように、従来技術では、画像のログが存在しない場合や、利用者の属性情報が不明となる場合等、いわゆるコールドスタート状態においては、クリック率を精度良く推定できないため、適切な期待収益を算出することができない。この結果、従来技術では、コールドスタート状態において、配信対象となる広告画像を適切に選択することができない。 As described above, in the conventional technology, when the image log does not exist or when the attribute information of the user becomes unknown, in the so-called cold start state, the click rate can not be accurately estimated. It can not be calculated. As a result, in the prior art, in the cold start state, it is not possible to properly select an advertisement image to be distributed.
そこで、配信サーバ１０は、画像から画像の特徴を示す特徴量を算出する学習器を用いて、利用者により選択された履歴を有する広告画像の特徴量を算出する。そして、配信サーバ１０は、算出した特徴量と、広告画像を選択した利用者の属性情報とに基づいて、画像の特徴量から利用者の属性情報を推定するユーザー推定モデルを生成する生成処理を実行する。
Therefore, the
例えば、配信サーバ１０は、学習器を用いて、利用者により選択された履歴を有する画像の特徴量を算出し、履歴中の利用者の属性を示す属性情報と、算出した特徴量とに基づいて、属性情報の推定対象となる利用者が選択した画像の特徴量から、属性情報の推定対象となる利用者の属性情報を推定するモデルを生成する。ここで、履歴中の利用者と、属性対象の推定対象となる利用者とは、同一の利用者であってもよく、異なる利用者であってもよい。
For example, the
また、配信サーバ１０は、属性情報が不明である利用者が広告画像を選択した場合は、学習器を用いて、かかる広告画像の特徴量を算出する。また、配信サーバ１０は、ユーザー推定モデルを用いて、算出した特徴量から利用者の属性情報を推定する。そして、配信サーバ１０は、推定した属性情報を用いて、広告画像を利用者が選択するクリック率を算出し、算出したクリック率に基づいて、配信対象となる広告画像を選択し、配信を行う配信処理を実行する。
Also, when the user whose attribute information is unknown selects the advertisement image, the
〔２−２．学習器〕
ここで、配信サーバ１０が広告画像の特徴量を算出する際に用いる学習器について説明する。学習器とは、例えば、入力されたデータに対する演算結果を出力する複数のノードを多層に接続した学習器であって、教師なし学習により抽象化された画像の特徴を学習する学習器である。より具体的には、学習器とは、複数のノードを有する層を多段に接続したニューラルネットワークであり、いわゆるディープラーニングの技術により実現されるＤＮＮ（Deep Neural Network）である。また、画像の特徴とは、画像に含まれる文字の有無、色、構成等、画像内に現れる具体的な特徴のみならず、撮像されている物体が何であるか、画像がどのような利用者に好かれるか、画像の雰囲気等、抽象化（メタ化）された画像の特徴をも含む概念である。
[2-2. Learner]
Here, a learning device used when the
かかるディープラーニングの技術を用いた場合、学習器は、例えば、以下の学習手法により生成される。例えば、学習器は、各ノードの間の接続係数が初期化され、様々な特徴を有する画像が入力される。そして、学習器の出力と、入力した画像との誤差が少なくなるように接続係数を補正するバックプロパゲーションが行われる。かかる処理を繰り替えすことで、学習器は、入力された画像をより良く再現できる出力、すなわち入力された画像の特徴を出力することができる。 When such deep learning technology is used, a learning device is generated by, for example, the following learning method. For example, in the learning device, connection coefficients between nodes are initialized, and images having various features are input. Then, back propagation is performed to correct the connection coefficient so that the error between the output of the learning device and the input image is reduced. By repeating such processing, the learning device can output an output that can better reproduce the input image, that is, a feature of the input image.
なお、学習器の学習手法については、上述した手法に限定されるものではなく、任意の公知技術が適用可能である。また、学習器の学習を行う際に用いられる画像は、配信対象となる広告画像が用いられてもよく、一般的な画像のデータセットを利用してもよい。また、学習器に対する画像の入力方法、学習器が出力するデータの形式、学習器に対して明示的に学習させる特徴の内容等は、任意の手法が適用できる。すなわち、配信サーバ１０は、画像から抽象化された特徴を示す特徴量を算出できるのであれば、任意の学習器を用いることができる。
In addition, about the learning method of a learning device, it is not limited to the method mentioned above, Arbitrary well-known techniques are applicable. Further, as an image used for learning of the learning device, an advertisement image to be distributed may be used, or a general image data set may be used. Further, any method can be applied to the image input method to the learning device, the format of the data output from the learning device, and the content of the feature to be explicitly learned to the learning device. That is, the
以下の説明では、配信サーバ１０は、入力画像の局所領域の畳み込みとプーリングとを繰り返す学習器、いわゆるＣＮＮ（Convolutional Neural Network）を用いて、広告画像の特徴量を算出するものとする。かかるＣＮＮは、画像から特徴を抽出して出力する機能に加え、画像内に含まれる文字や撮像対象等の位置的変異に対し、出力の不変性を有する。このため、配信サーバ１０は、広告画像の抽象化された特徴を精度良く算出することができる。
In the following description, the
〔２−３．生成処理〕
続いて、図１を用いて、配信サーバ１０が実行する生成処理について説明する。まず、配信サーバ１０は、配信処理に先がけて、ユーザー推定モデルを生成する生成処理を実行する（ステップＳ１０）。具体的には、配信サーバ１０は、属性情報が特定可能な利用者により選択された広告画像Ｃ１０〜Ｃ１３（以下、選択画像Ｃ１０〜Ｃ１３と記載する場合がある）を学習器に入力し（ステップＳ１１）、各選択画像Ｃ１０〜Ｃ１３の特徴量を算出する（ステップＳ１２）。そして、配信サーバ１０は、算出された特徴量と、各選択画像Ｃ１０〜Ｃ１３を選択した利用者Ｕ１０〜Ｕ１３の属性情報とを用いて、画像の特徴量からかかる画像を選択した利用者の属性情報を推定するユーザー推定モデルを生成する（ステップＳ１３）。
[2-3. Generation process]
Subsequently, a generation process performed by the
例えば、配信サーバ１０は、広告画像の配信ログや、配信先となる利用者の属性情報のログ等から、配信された広告画像と配信先である利用者の属性情報とを収集する。図１に示す例では、属性情報が「男性」の利用者Ｕ１０がＰＣの広告画像Ｃ１０を選択し、属性情報が「女性」の利用者Ｕ１１が靴の広告画像Ｃ１１を選択している。また、図１に示す例では、属性情報が「３０代」の利用者Ｕ１２がアクセサリーの広告画像Ｃ１２を選択し、属性情報が「１０代」の利用者Ｕ１３がゲーム機の広告画像Ｃ１３を選択している。
For example, the
ここで、同様の属性情報を有する利用者は、同様の特徴を有する広告画像を選択する可能性が高い。例えば、男性の利用者は、ゲーム機や男性用のファッションに係る広告画像を選択する傾向があり、女性の利用者は、アクセサリーや女性用のファッションに係る広告画像を選択する傾向がある。このため、利用者Ｕ１０以外の利用者であっても、利用者Ｕ１０と同様に、属性情報が「男性」である場合は、広告画像Ｃ１０や広告画像Ｃ１０と同様の特徴を有する他の広告画像を選択する可能性が高い。 Here, a user having similar attribute information is likely to select an advertisement image having similar features. For example, male users tend to select advertising images related to fashion for game machines and men, and female users tend to select advertising images related to accessories and fashion for women. Therefore, even if the user is a user other than the user U10, as in the case of the user U10, when the attribute information is "male", another advertisement image having the same feature as the advertisement image C10 or the advertisement image C10 There is a high possibility of choosing
そこで、配信サーバ１０は、広告画像Ｃ１０を学習器に入力することで、広告画像Ｃ１０の抽象化された特徴を示す特徴量Ａを算出する。より具体的には、配信サーバ１０は、広告画像Ｃ１０を学習器に入力した際の出力、すなわち広告画像Ｃ１０の抽象化された特徴を示す多次元量を広告画像Ｃ１０の特徴量Ａとして取得する。そして、配信サーバ１０は、ユーザー推定モデルとして、広告画像Ｃ１０の特徴量Ａとの差分が所定の閾値よりも小さい特徴量から、広告画像Ｃ１０を選択した利用者Ｕ１０と同じ属性情報「男性」を推定するユーザー推定モデルを生成する。
Therefore, the
同様に、配信サーバ１０は、ユーザー推定モデルとして、広告画像Ｃ１１の特徴量Ｂとの差分が所定の閾値よりも小さい特徴量から、広告画像Ｃ１１を選択した利用者Ｕ１１と同じ属性情報「女性」を推定するユーザー推定モデルを生成する。また、配信サーバ１０は、ユーザー推定モデルとして、広告画像Ｃ１２の特徴量Ｃとの差分が所定の閾値よりも小さい特徴量から、広告画像Ｃ１２を選択した利用者Ｕ１２と同じ属性情報「３０代」を推定するユーザー推定モデルを生成する。また、配信サーバ１０は、ユーザー推定モデルとして、広告画像Ｃ１３の特徴量Ｄとの差分が所定の閾値よりも小さい特徴量から、広告画像Ｃ１３を選択した利用者Ｕ１３と同じ属性情報「１０代」を推定するユーザー推定モデルを生成する。
Similarly, as the user estimation model, the
例えば、図１に示す例では、配信サーバ１０は、広告画像Ｃ１０の特徴量Ａと属性情報「男性」とを対応付け、広告画像Ｃ１１の特徴量Ｂと属性情報「女性」とを対応付け、広告画像Ｃ１２の特徴量Ｃと属性情報「３０代」とを対応付け、広告画像Ｃ１３の特徴量Ｄと属性情報「１０代」とを対応付けたユーザー推定モデル１７を生成する。
For example, in the example illustrated in FIG. 1, the
〔２−４．配信処理〕
続いて、図１を用いて、配信サーバ１０が実行する配信処理について説明する。まず、配信サーバ１０は、属性情報が不明な利用者Ｕ２０により、ログが無い広告画像Ｃ１４が選択された場合は（ステップＳ２０）、利用者Ｕ２０が選択した広告画像Ｃ１４を取得する（ステップＳ２１）。また、配信サーバ１０は、取得した広告画像Ｃ１４を学習器に入力し（ステップＳ２２）、かかる広告画像Ｃ１４の抽象化した特徴を示す特徴量Ｅを算出する（ステップＳ２３）。
[2-4. Delivery process]
Subsequently, the distribution process performed by the
そして、配信サーバ１０は、特徴量Ｅとユーザー推定モデル１７とを用いて、利用者Ｕ２０の属性情報を推定する（ステップＳ２４）。例えば、配信サーバ１０は、特徴量Ｂと特徴量Ｅの差分、および、特徴量Ｃと特徴量Ｅの差分が所定の閾値よりも大きく、特徴量Ａと特徴量Ｅの差分、および、特徴量Ｄと特徴量Ｅの差分が所定の閾値よりも小さい場合は、利用者Ｕ２０の属性情報として「男性」および「１０代」を推定する（ステップＳ２５）。
Then, the
また、配信サーバ１０は、特徴量Ｅから広告画像Ｃ１４の予測クリック率（ｐＣＴＲ：Predicted Click Through Rate）を算出する（ステップＳ２６）。例えば、配信サーバ１０は、予め定義された所定の線形関数ｆ（ｘ）に多次元量で表される特徴量「ｘ」を入力し、１／（１＋ｅｘｐ（−ｆ（ｘ）））の値をｐＣＴＲとして算出する。そして、配信サーバ１０は、推定した属性情報と、算出した予測クリック率とを用いて、配信対象となる広告画像のクリック率をそれぞれ推定する（ステップＳ２７）。
Further, the
その後、配信サーバ１０は、推定した各広告画像のクリック率と各広告画像の入札額とを用いて、期待収益を算出し、算出した期待収益の値が最も高い広告画像を、利用者Ｕ２０が使用する端末装置１００に配信する（ステップＳ２８）。
After that, the
このように、配信サーバ１０は、画像の特徴量を算出する学習器を用いて、利用者Ｕ１０〜Ｕ１３が選択した選択画像Ｃ１０〜Ｃ１３の特徴量を算出し、算出した特徴量と利用者Ｕ１０〜Ｕ１３の属性情報とに基づいて、広告画像Ｃ１４の特徴量から係る画像Ｃ１４を選択した利用者Ｕ２０の属性情報を推定するユーザー推定モデルを生成する。
Thus, the
また、配信サーバ１０は、ユーザー推定モデルを用いて、広告画像Ｃ１４を選択した利用者Ｕ２０の属性情報を推定し、推定した属性情報を用いて、利用者Ｕ２０が広告画像を選択する確率であるクリック率を算出する。そして、配信サーバ１０は、算出したクリック率に基づいて、配信対象となる広告画像を選択する。
Further, the
このため、配信サーバ１０は、コールドスタート状態においても、利用者の属性情報を推定することができるので、配信対象となる広告画像を適切に選択することができる。
Therefore, even in the cold start state, the
なお、図１に示すユーザー推定モデル１７は、あくまで一例であり、配信サーバ１０は、他にも任意の形式のモデルを生成することができる。例えば、配信サーバ１０は、多次元量である特徴量の各次元の値を独立した変数として入力すると、各属性情報がどれくらいの確かさで推定されるかを解として出力する関数をモデルとして生成してもよい。
The
以下、上記した選定処理を実現する配信サーバ１０の機能構成の一例について説明する。
Hereinafter, an example of a functional configuration of the
〔３．配信サーバの構成〕
次に、図２を用いて、実施形態に係る配信サーバ１０の構成について説明する。図２は、実施形態に係る配信サーバの構成例を示す図である。図２に示すように、配信サーバ１０は、ネットワークＮを介して、端末装置１００およびウェブサーバ２００と有線または無線により通信可能に接続される。なお、配信サーバ１０は、他にも複数台の端末装置１００や、複数台のウェブサーバ２００と接続されてもよい。
[3. Configuration of distribution server]
Next, the configuration of the
端末装置１００は、利用者による操作にしたがって、ウェブサーバ２００からウェブページを取得し、取得したウェブページを表示する。また、端末装置１００は、ウェブページに広告画像の取得命令が含まれる場合には、配信サーバ１０に広告画像の配信要求とともに利用者の属性情報を送信し、広告画像を取得する。そして、端末装置１００は、取得した広告画像を表示する。また、端末装置１００は、利用者が広告画像を選択した場合は、選択した広告画像を示す情報と、利用者の属性情報とを配信サーバ１０に送信する。
The
一方、配信サーバ１０は、図２に示すように、通信部１１、記憶部１２、制御部１３を有する。なお、配信サーバ１０の内部構成は、図２に示した構成に限られず、上述した選定処理を行う構成であれば他の構成であってもよい。
On the other hand, as shown in FIG. 2, the
通信部１１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１は、ネットワークＮと有線または無線で接続され、端末装置１００、との間で情報の送受信を行う。
The
記憶部１２は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２は、学習用画像データベース１４、接続係数記憶部１５、モデル生成用画像データベース１６、ユーザー推定モデル１７、広告データベース１８を記憶する。
The
制御部１３は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、配信サーバ１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
The
また、制御部１３は、配信サーバ１０内部の記憶装置に記憶されている学習プログラム、モデル生成プログラム、および配信プログラムがＲＡＭを作業領域として実行されることにより、学習部１９、生成部２０、配信部３０として動作する。ここで、生成部２０は、特徴量算出部２１、ユーザー情報取得部２２、モデル生成部２３を有する。また、配信部３０は、選択画像取得部３１、ユーザー情報推定部３２、クリック率算出部３３、広告選択部３４を有する。
In addition, the
〔４−１．学習用画像データベース〕
続いて、記憶部１２が記憶する情報の一例について説明する。学習用画像データベース１４は、学習器に抽象化された画像の特徴量を学習させる際に用いられる学習用の画像が登録される。例えば、学習用画像データベース１４には、ＤＮＮやＣＮＮの学習時に用いられる画像のデータセットが登録される。
[4-1. Image database for learning]
Subsequently, an example of information stored in the
〔４−２．接続係数記憶部〕
接続係数記憶部１５には、学習器が有する各ノード間の接続係数が登録される。例えば、図３は、実施形態に係る接続係数記憶部の一例を示す図である。図３に示すように、接続係数記憶部１５には、「ニューロンＩＤ」、「結合先ニューロンＩＤ」、「接続係数」といった項目を有する。「ニューロンＩＤ」は、ＤＮＮやＣＮＮに含まれるノードであるニューロンを識別するための識別情報を示す。「結合先ニューロンＩＤ」は、「ニューロンＩＤ」に対応するニューロンと結合するニューロンを識別するための識別情報を示す。「接続係数」は、ニューロン間の接続係数を示す。
[4-2. Connection coefficient storage unit]
The connection
例えば、ニューロンＩＤ「Ｎ１１」に対応するニューロンは、ニューロンＩＤ「Ｎ２１」に対応するニューロンと接続係数「ＷＡ」で接続されている。このため、ニューロンＩＤ「Ｎ２１」に対応するニューロンには、ニューロンＩＤ「Ｎ１１」の出力に接続係数「ＷＡ」を積算した値が入力として伝達される。 For example, the neuron corresponding to the neuron ID "N 11 " is connected to the neuron corresponding to the neuron ID "N 21 " by the connection coefficient "W A ". Therefore, to the neuron corresponding to the neuron ID “N 21 ”, a value obtained by integrating the connection coefficient “W A ” to the output of the neuron ID “N 11 ” is transmitted as an input.
〔４−３．モデル生成用画像データベース〕
図２に戻り、モデル生成用画像データベース１６には、ユーザー推定モデル１７を生成する際に用いられる画像が登録されている。例えば、図４は、実施形態に係るモデル生成用画像データベースの一例を示す図である。図４に示すように、モデル生成用画像データベース１６には、属性情報が取得可能な利用者により選択された広告画像と、かかる広告画像を選択した利用者の属性情報とが対応付けて登録される。
[4-3. Image database for model generation]
Returning to FIG. 2, an image used when generating the
例えば、図４に示す例では、モデル生成用画像データベース１６には、属性情報が「男性」、「１０代」である利用者が選択した広告画像Ｃ３０と、かかる利用者の属性情報「男性」、「１０代」とが対応付けて登録されている。同様に、モデル生成用画像データベース１６には、広告画像Ｃ３１と属性情報「男性」、「２０代」とが対応付けて登録されており、広告画像Ｃ３２と属性情報「女性」、「１０代」とが対応付けて登録されている。また、モデル生成用画像データベース１６には、広告画像Ｃ３３と属性情報「女性」、「２０代」とが対応付けて登録されており、広告画像Ｃ３４と属性情報「１０代」とが対応付けて登録されており、広告画像Ｃ３５と属性情報「２０代」とが対応付けて登録されている。
For example, in the example illustrated in FIG. 4, the model
〔４−４．ユーザー推定モデル〕
図２に戻り、ユーザー推定モデル１７は、属性情報が取得可能な利用者により選択された画像の特徴量と、かかる利用者の属性情報とから生成されたモデルであって、画像の特徴量からかかる画像を選択した利用者の属性情報を推定するモデルである。例えば、図５は、実施形態にかかるユーザー推定モデルの一例を示す図である。図５に示す例では、ユーザー推定モデル１７には、画像の特徴量と、係る特徴量と類似する特徴量の画像を選択した利用者について推定される属性情報とが対応付けて登録されている。
[4-4. User estimation model]
Returning to FIG. 2, the
例えば、図４に示す例では、ユーザー推定モデル１７には、特徴量Ｅと属性情報「男性」、「１０代」とが対応付けて登録されている。すなわち、ユーザー推定モデル１７は、特徴量Ｅと一致もしくは類似する特徴量の画像を選択した利用者の属性情報が「男性」、「１０代」である旨を示す。同様に、ユーザー推定モデル１７には、特徴量Ｆと属性情報「男性」、「２０代」、特徴量Ｇと属性情報「女性」、「１０代」、特徴量Ｈと「女性」、「２０代」、特徴量Ｉと属性情報「１０代」、特徴量Ｊと属性情報「２０代」が対応付けて登録されている。
For example, in the example illustrated in FIG. 4, the feature amount E, and attribute information “male” and “teners” are registered in the
〔４−５．広告データベース〕
図２に戻り、広告データベース１８には、配信対象となる広告画像が登録されている。例えば、図６は、実施形態に係る広告データベースの一例を示す図である。図６に示す例では、広告データベース１８には、「広告主ＩＤ」、「広告コンテンツ」、「入札価格」、「ＣＴＲ」、「属性情報」といった項目が対応付けて登録される。
[4-5. Advertising database]
Returning to FIG. 2, advertisement images to be distributed are registered in the
「広告主ＩＤ」は、広告主を識別するための識別情報を示す。「広告コンテンツ」は、広告主が入稿した広告コンテンツ、例えば広告画像を示す。図４では「広告コンテンツ」に「Ｃ１１」といった概念的な情報が格納される例を示したが、実際には、静止画像や動画像やテキストデータやＵＲＬ、又は、これらの格納場所を示すファイルパス名などが格納される。 "Advertiser ID" indicates identification information for identifying an advertiser. "Advertising content" indicates advertising content submitted by an advertiser, for example, an advertising image. Although FIG. 4 shows an example in which conceptual information such as "C11" is stored in "advertising content", actually, a still image, a moving image, text data, a URL, or a file indicating the storage location of these Path name etc. are stored.
「入札価格」は、広告主が広告コンテンツを入稿する際に指定する広告料金を示す。例えば、「入札価格」は、広告コンテンツがユーザーに１回クリックされた際に広告主から広告配信者（例えば、配信サーバ１０の管理者）に支払われる単価に該当する。また、例えば、「入札価格」は、広告コンテンツが表示された際に広告主から広告配信者に支払われる単価であってもよい。 "Bid price" indicates an advertisement charge designated by an advertiser when advertising content is submitted. For example, the “bid price” corresponds to the unit price paid by the advertiser to the ad distributor (for example, the manager of the distribution server 10) when the ad content is clicked once by the user. Also, for example, the “bid price” may be a unit price paid from the advertiser to the advertisement distributor when the advertisement content is displayed.
「ＣＴＲ」は、広告コンテンツがクリックされた回数を広告コンテンツの表示回数によって除算した値を示す。なお、端末装置１００に配信されたことがない広告コンテンツのＣＴＲには、予め決められている固定値や、全ての広告コンテンツにおけるＣＴＲの平均値や、同一の広告カテゴリ（例えば、車、旅行）に属する全ての広告コンテンツにおけるＣＴＲの平均値などが記憶される。また、「属性情報」とは、広告コンテンツの配信対象となる利用者の属性情報を示す。
“CTR” indicates a value obtained by dividing the number of times the advertisement content is clicked by the number of times the advertisement content is displayed. In addition, in CTR of the advertising content which has not been distributed to the
例えば、図４では、広告主ＩＤ「Ｂ１０」によって識別される広告主が、入札価格「１００」を指定するとともに、広告コンテンツ「Ｃ１１」を入稿した例を示している。また、図４では、広告コンテンツ「Ｃ１１」のＣＴＲが「０．０２」であり、配信対象となる利用者の属性情報が「男性」である例を示している。 For example, FIG. 4 illustrates an example in which the advertiser identified by the advertiser ID “B10” designates the bid price “100” and submits the advertisement content “C11”. Further, FIG. 4 shows an example in which the CTR of the advertising content “C11” is “0.02” and the attribute information of the user to be distributed is “male”.
なお、「ＣＴＲ」には、ＣＴＲの予測モデル等から予測される予測ＣＴＲが記憶されてもよい。このような予測ＣＴＲは、例えば、広告コンテンツの種別や、広告コンテンツが表示されるウェブページの種別等によって予測される。 The “CTR” may store a predicted CTR predicted from a CTR prediction model or the like. Such predicted CTR is predicted by, for example, the type of advertising content, the type of web page on which the advertising content is displayed, and the like.
〔４−６．制御部が実行する処理の一例〕
図３に戻り、制御部１３が有する学習部１９、生成部２０、配信部３０が実行する処理の内容について説明する。
[4-6. Example of processing executed by control unit]
Returning to FIG. 3, the contents of the processing performed by the learning unit 19, the
〔４−６−１．学習部が実行する処理の一例〕
学習部１９は、学習器の学習を行う。例えば、学習部１９は、ニューロンを多段に接続した学習器であって、教師なし学習により抽象化された画像の特徴を学習した学習器、すなわちＤＮＮの学習を行う。また、学習部１９は、学習器として、局所領域の畳み込みとプーリングとを繰り返すことで、画像の変異に対する出力の普遍性をさらに学習した学習器、すなわちＣＮＮの学習を行う。
4-6-1. Example of processing executed by learning unit]
The learning unit 19 performs learning of a learning device. For example, the learning unit 19 is a learning device in which neurons are connected in multiple stages, and performs learning of a learning device that has learned the features of an image abstracted by unsupervised learning, that is, DNN. In addition, the learning unit 19 performs learning of CNN, which is a learning device that further learns the universality of the output with respect to the mutation of the image, by repeating convolution and pooling of the local region as a learning device.
例えば、学習部１９は、ニューロン同士に所定の接続関係を設定した学習器を構築する。また、学習部１９は、学習用画像データベース１４に登録された学習用画像を用いて、学習器に抽象化された画像の特徴を学習させる。より具体的には、学習部１９は、バックプロパゲーション等の公知の手法を用いて、学習用画像から抽象化された特徴が精度良く抽出されるように接続係数を補正する。そして、学習部１９は、ニューロン同士の接続関係と、接続係数とを接続係数記憶部１５に登録する。
For example, the learning unit 19 constructs a learning device in which predetermined connection relationships are set between neurons. Further, the learning unit 19 causes the learning device to learn the features of the abstracted image, using the learning image registered in the
なお、学習部１９が実行する具体的な学習手法については、ＤＮＮやＣＮＮを学習する際に用いられる公知の学習手法が採用可能である。 As a specific learning method performed by the learning unit 19, a known learning method used when learning DNN or CNN can be adopted.
〔４−６−２．生成部が実行する処理の一例〕
生成部２０は、特徴量算出部２１、ユーザー情報取得部２２、モデル生成部２３が実行する処理により、生成処理を実行する。具体的には、特徴量算出部２１は、画像から特徴量を算出する学習器を用いて、属性情報を取得可能な利用者により選択された履歴を有する広告画像の特徴量を算出する。
4-6-2. Example of processing executed by generation unit]
The
例えば、特徴量算出部２１は、接続係数記憶部１５からニューロンＩＤと接続係数とを取得し、学習器を構成する。また、特徴量算出部２１は、モデル生成用画像データベース１６から、広告画像Ｃ３０を取得する。そして、特徴量算出部２１は、学習器に広告画像Ｃ３０を入力し、学習器の出力を特徴量Ｅとして取得する。
For example, the feature
ユーザー情報取得部２２は、特徴量を算出した広告画像を選択した利用者の属性情報を取得する。例えば、ユーザー情報取得部２２は、特徴量算出部２１が広告画像Ｃ３０の特徴量Ｅを算出した場合は、かかる広告画像Ｃ３０と対応付けられた属性情報「男性」、「１０代」をモデル生成用画像データベース１６から取得する。
The user
モデル生成部２３は、特徴量算出部２１が算出した特徴量と、ユーザー情報取得部２２が取得した属性情報とに基づいて、ユーザー推定モデルを生成する。例えば、モデル生成部２３は、特徴量算出部２１が算出した広告画像Ｃ３０の特徴量Ｅと、ユーザー情報取得部２２が取得した属性情報とを対応付けてユーザー推定モデル１７に登録する。
The
なお、モデル生成部２３は、より複雑な手法によりユーザー推定モデル１７を生成してもよい。例えば、モデル生成部２３は、特徴量算出部２１が特徴量Ｅと特徴量Ｉとを算出し、ユーザー情報取得部２２が属性情報「男性」、「１０代」および属性情報「１０代」を取得した場合、特徴量Ｅと特徴量Ｉとの差分を属性情報「男性」に対応する特徴量としてユーザー推定モデル１７に追加してもよい。すなわち、モデル生成部２３は、複数の特徴量を比較し、差分や共通部分に基づくユーザー推定モデル１７を生成してもよい。また、モデル生成部２３は、特徴量を変数として入力すると、属性情報に対応する値を出力する関数をモデルとして生成してもよい。
The
〔４−６−３．配信部が実行する処理の一例〕
配信部３０は、選択画像取得部３１、ユーザー情報推定部３２、クリック率算出部３３、広告選択部３４が実行する処理により、配信処理を実行する。具体的には、選択画像取得部３１は、属性情報が不明な利用者が選択した広告画像を取得する。
[4-6. Example of processing executed by distribution unit]
The
例えば、選択画像取得部３１は、利用者が選択した広告画像の通知を受信した場合は、かかる利用者の属性情報を特定できるか否かを判定する。具体的には、選択画像取得部３１は、Ｂクッキーが無い場合や、利用者のＩＤが無い場合等、利用者の属性情報を特定できない場合や、利用者の属性情報を管理する管理システム等に利用者の属性情報が登録されていない場合には、利用者の属性情報が不明であると判定する。
For example, when the notification of the advertisement image selected by the user is received, the selected
そして、選択画像取得部３１は、利用者の属性情報が不明であると判定した場合には、通知された広告画像を広告データベース１８から特定し、特定した広告画像をユーザー情報推定部３２に出力する。なお、選択画像取得部３１は、利用者の属性情報を特定できた場合は、通知された広告画像と特定した属性情報とを対応付けて、モデル生成用画像データベース１６に登録する。
Then, when it is determined that the attribute information of the user is unknown, the selected
ユーザー情報推定部３２は、ユーザー推定モデル１７を用いて、属性情報が不明である利用者が選択した広告画像から、かかる利用者の属性情報を推定する。例えば、ユーザー情報推定部３２は、接続係数記憶部１５に登録された情報を用いて、抽象化された画像の特徴を示す特徴量を算出する学習器を構築する。
The user
また、ユーザー情報推定部３２は、広告画像を選択画像取得部３１から受信すると、受信した広告画像を学習器に入力し、かかる広告画像の特徴量を算出する。そして、ユーザー情報推定部３２は、ユーザー推定モデル１７を用いて、算出した特徴量から属性情報を推定する。例えば、ユーザー情報推定部３２は、図５に示すユーザー推定モデル１７が登録されている際に、特徴量と特徴量Ｅとの差分が所定の閾値よりも小さい場合は、広告画像を選択した利用者の属性情報「男性」、「１０代」を推定する。そして、ユーザー情報推定部３２は、算出した特徴量と、推定した属性情報「男性」、「１０代」とをクリック率算出部３３に出力する。
Further, when the advertisement information is received from the selected
クリック率算出部３３は、ユーザー情報推定部３２が推定した属性情報を用いて、配信対象となる広告画像を利用者が選択するクリック率を算出する。例えば、クリック率算出部３３は、ユーザー情報推定部３２が算出した特徴量から、属性情報を推定した利用者により選択された広告画像を、かかる利用者が選択する確率である予測クリック率を算出する。そして、クリック率算出部３３は、算出した予測クリック率と、ユーザー情報推定部３２が推定した属性情報とをパラメータとする所定のモデルを用いて、広告データベース１８に登録された各広告画像を、属性情報を推定した利用者が選択するクリック率を算出する。
The click
例えば、クリック率算出部３３は、推定された属性情報が「男性」である場合は、属性情報「男性」が対応付けられた広告画像のクリック率を増加させ、属性情報「女性」が対応付けられた広告画像のクリック率を減少させる等の処理を実行する。なお、クリック率算出部３３が各広告画像のクリック率を算出する処理については、公知のクリック率算出モデルが適用可能である。
For example, when the estimated attribute information is “male”, the click
広告選択部３４は、クリック率算出部３３が算出したクリック率に基づいて、利用者に配信する広告画像を選択する。例えば、広告選択部３４は、クリック率算出部３３が算出したクリック率と、各広告画像の入札額との値を積算し、積算した値が最も高い広告画像を選択する。そして、広告選択部３４は、属性情報が推定された利用者が使用する端末装置１００から配信要求を受信した場合は、選択した広告画像を配信する。
The
なお、クリック率算出部３３は、属性情報が不明ではない利用者から配信要求を受信した場合は、かかる利用者の属性情報を用いてクリック率を算出する。そして、広告選択部３４は、クリック率算出部３３が算出したクリック率を用いて、広告画像を選択し、選択した広告画像の配信を行う。
In addition, when receiving a distribution request from a user whose attribute information is not unknown, the click
〔５．特徴量の算出について〕
ここで、上述した配信サーバ１０は、ＣＮＮを用いて広告画像の特徴量を算出することにより、抽象化された画像の特徴量を適切に算出することができる。例えば、図７は、ＣＮＮを用いた効果の一例を説明する図である。図７には、各種の手法により抽出された特徴量をモデルの素性として、広告画像ごとの実績クリック率にリッジ回帰させた平均絶対誤差（MAE: Mean Absolute Error）を、手法ごとにプロットした。
[5. About Calculation of Feature Amount]
Here, the
図７に示す例では、特徴量の抽出手法として、Ｇｉｓｔ、ＳＩＦＴ（Scale-Invariant Feature Transform）、Ｃ−ＳＩＦＴ（Colored-SIFT）、Ｏｐｐｏｎｅｎｔ ＳＩＦＴ、ＲＧＢ−ＳＩＦＴ（Red Green Blue-SIFT）、ＣＮＮを採用した。また、広告主ＩＤ、広告ＩＤ、広告画像ＩＤといったＩＤ素性を用いずに特徴を推定する抽出方法との比較対象として、ＩＤ素性のみを用いて特徴量を特定するＢａｓｅｌｉｎｅの結果をプロットした。 In the example shown in FIG. 7, Gist, Scale-Invariant Feature Transform (SIFT), C-SIFT (Colored-SIFT), Opponent SIFT, RGB-SIFT (Red Green Blue-SIFT), and CNN are used as feature extraction methods. Adopted. Moreover, the result of Baseline which specifies a feature-value using only ID feature was plotted as comparison object with extraction methods which do not use ID features, such as advertiser ID, advertisement ID, and advertisement image ID.
ここで、Ｇｉｓｔとは、画像のシーン情報を記述する際に用いられる大域画像特徴量であり、９６０の次元数を有する特徴量である。また、ＳＩＦＴ、Ｃ−ＳＩＦＴ、Ｏｐｐｏｎｅｎｔ ＳＩＦＴ、ＲＧＢ−ＳＩＦＴとは、局所特徴量を算出する手法である。図７に示す例では、ＳＩＦＴ、Ｃ−ＳＩＦＴ、Ｏｐｐｏｎｅｎｔ ＳＩＦＴ、ＲＧＢ−ＳＩＦＴにより算出された局所特徴量の分布を混合ガウス分布で表現した２０４８次元のＦｉｓｈｅｒ ｖｅｃｔｏｒを、Ｂａｇ−ｏｆ−Ｖｉｓｕａｌ−Ｗｏｒｄｓベースの帯域特徴量として採用した。 Here, Gist is a global image feature used to describe scene information of an image, and is a feature having a dimension number of 960. Moreover, SIFT, C-SIFT, Opponent SIFT, and RGB-SIFT are methods for calculating local feature quantities. In the example shown in FIG. 7, a 2048-dimensional Fisher vector representing the distribution of local feature quantities calculated by SIFT, C-SIFT, Opponent SIFT, and RGB-SIFT as a mixed Gaussian distribution is used as a Bag-of-Visual-Words base. Was adopted as a band feature of
また、図７に示す例では、ＣＮＮとして、ＣａｆｆｅのＩｍａｇｅｎｅｔプレインモデルを採用し、ＣＮＮの最終層が出力する４０９６次元の情報を特徴量とした。また、図７に示す例では、Ｂａｓｅｌｉｎｅとして、広告主ＩＤ、広告ＩＤ、広告画像ＩＤといったＩＤ素性から、Ｆｅａｔｕｒｅ ｈａｓｈｉｎｇを用いた２０ビットの特徴量を用いた。 Further, in the example illustrated in FIG. 7, Caffe's Imagenet plain model is adopted as CNN, and 4096-dimensional information output by the final layer of CNN is used as a feature amount. Further, in the example illustrated in FIG. 7, a 20-bit feature amount using feature hashing is used as an Baseline based on ID features such as an advertiser ID, an advertisement ID, and an advertisement image ID.
上述した各手法により得られた特徴量を比較すると、画像内の局所的な形状の情報ではなく、撮像対象を特徴量の一部として表現できるか否かが重要であるため、Ｂａｓｅｌｉｎｅを除くと、ＣＮＮにより抽出された特徴量の平均絶対誤差が最も低い値となる。しかしながら、コールドスタート状態においては、各種のＩＤ素性を得ることができないため、Ｂａｓｅｌｉｎｅを用いるのは困難である。このため、配信サーバ１０は、ＣＮＮを用いることで、コールドスタート状態においても画像の特徴量を適切に算出することができる。
When comparing the feature quantities obtained by the above-described methods, it is important whether or not the imaging target can be expressed as a part of the feature quantity, not the information on the local shape in the image, so excluding Baseline , And the average absolute error of the feature quantities extracted by CNN is the lowest value. However, in the cold start state, it is difficult to use Baseline since various ID features can not be obtained. Therefore, the
〔６．属性情報の推定について〕
また、上述した配信サーバ１０は、広告画像を選択した利用者の属性情報を推定し、推定した属性情報を用いることで、精度良くクリック率を算出することができる。例えば、図８は、属性情報を用いた効果の一例を説明する図である。図８には、クリックを「１」、インプレッションのみを「−１」としてロジスティック回帰させ、クリック率の算出手法ごとに、ＡＵＣ（area under the curve）と重複率との対応をプロットした。また、図８に示す例では、Ｂａｓｅｌｉｎｅを用いたクリック率の予測、Ｂａｓｅｌｉｎｅに属性情報を付加してクリック率を予測するＵｓｅｒ＿ａｄｄ、Ｕｓｅｒ＿ａｄｄにＣＮＮによる特徴量を付加してクリック率を予測するＣＮＮ＿ａｄｄを採用した。
[6. Regarding Estimation of Attribute Information]
Also, the
図８に示す例では、全体的に、属性情報を考慮してクリック率を予測するＵｓｅｒ＿ａｄｄの手法がＢａｓｅｌｉｎｅを用いた手法よりも予測性能が良い事が解る。このため、配信サーバ１０は、コールドスタート時において、利用者の属性情報を推定し、推定した属性情報を用いることで、精度良くクリック率を算出することができる。
In the example shown in FIG. 8, it is understood that the method of User_add that predicts the click rate in consideration of attribute information has better prediction performance than the method using Baseline. For this reason, the
〔７．配信サーバ１０の処理フロー〕
次に、図９、図１０を用いて、配信サーバ１０が実行する生成処理および配信処理の流れの一例について説明する。まず、図９を用いて、配信サーバ１０が実行する生成処理の一例を説明する。図９は、実施形態にかかる配信サーバが実行する生成処理の一例を示すフローチャートである。
[7. Processing flow of distribution server 10]
Next, an example of the flow of generation processing and distribution processing performed by the
図９に示すように、配信サーバ１０は、属性情報を取得できる利用者により選択された広告画像であるモデル生成用画像をＣＮＮに入力し、最終層の出力を特徴量として取得する（ステップＳ１０１）。続いて、配信サーバ１０は、モデル生成画像を選択した利用者の属性情報を取得する（ステップＳ１０２）。そして、配信サーバ１０は、特徴量と属性情報とに基づいて、画像の特徴量から属性情報を推定するユーザー推定モデルを生成し（ステップＳ１０３）、処理を終了する。
As shown in FIG. 9, the
なお、配信サーバ１０は、図９に示す生成処理を任意のタイミングで実行することができる。例えば、配信サーバ１０は、モデル生成用画像がモデル生成用画像データベース１６に登録される度に実行してもよく、所定の時間間隔あるいは利用者からの指示に従って実行してもよい。すなわち、配信サーバ１０は、利用者の属性情報を推定する処理に先駆けてモデルを生成するのであれば、任意のタイミングで生成処理を実行してもよい。
The
次に、図１０を用いて、配信サーバ１０が実行する配信処理の一例を説明する。図１０は、実施形態にかかる配信サーバが実行する配信処理の一例を示すフローチャートである。まず、配信サーバ１０は、利用者が選択した広告画像の情報を受信したか否かを判定する（ステップＳ２０１）。そして、配信サーバ１０は、利用者が選択した広告画像の情報を受信していない場合は（ステップＳ２０１：Ｎｏ）、再度ステップＳ２０１を実行する。
Next, an example of the delivery process performed by the
一方、配信サーバ１０は、利用者が選択した広告画像の情報を受信した場合は（ステップＳ２０１：Ｙｅｓ）、選択された広告画像をＣＮＮに入力し、特徴量を取得する（ステップＳ２０２）。そして、配信サーバ１０は、ユーザー推定モデル１７を用いて、取得した特徴量から属性情報を推定する（ステップＳ２０３）。また、配信サーバ１０は、特徴量を用いて、予測クリック率を算出し（ステップＳ２０４）、算出した予測クリック率と、推定された属性情報とを用いて、広告画像のクリック率を推定する（ステップＳ２０５）。また、配信サーバ１０は、推定したクリック率に基づいて、期待収益を算出し（ステップＳ２０６）、配信要求を受信した際に、期待収益が最大となる広告画像を配信し（ステップＳ２０７）、処理を終了する。
On the other hand, when the
なお、配信サーバ１０は、図１０に示す配信処理を広告画像の配信タイミングに先駆けて行ってもよい。例えば、配信サーバ１０は、広告画像を選択した利用者のログを取り、属性情報が不明な利用者から配信要求を受信した際に、ログから係る利用者が選択した広告画像を特定し、特定した広告画像の特徴量から係る利用者の属性情報を推定してもよい。
The
また、配信サーバ１０は、属性情報が不明であり、かつ、広告画像を選択したログが無い利用者から配信要求を受信した場合は、任意の手法で選択された広告画像を配信する。また、配信サーバ１０は、かかる広告画像が選択された場合は、かかる広告画像から利用者の属性情報を予め推定する。そして、配信サーバ１０は、かかる利用者から新たな配信要求を受信した際に、あらかじめ推定した属性情報を用いて広告画像を選択し、選択した広告画像を配信してもよい。
In addition, when the
〔８．変形例〕
上記した実施形態に係る配信サーバ１０は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、配信サーバ１０の他の実施形態について説明する。なお、以下に説明する配信サーバ１０が実行する処理のうち、生成処理に対応する処理は、生成部２０によって実行され、配信処理に対応する処理は、配信部３０によって実行されるものとする。
[8. Modified example]
The
〔８−１．推定される属性情報のバリエーション〕
例えば、配信サーバ１０は、利用者の属性情報を推定する際、ユーザー推定モデル１７に登録された特徴量と、選択された画像の特徴量との一致率を算出し、算出した一致率を考慮した属性情報の推定を行ってもよい。例えば、図１１は、実施形態に係る配信サーバが推定する属性情報の他の例を説明する図である。なお、図１１に示す例では、各画像Ｃ１０〜Ｃ１３の特徴量として、各次元の値が「０」または「１」である多次元量のベクトルを記載した。
[8-1. Variation of attribute information to be estimated]
For example, when estimating the attribute information of the user, the
まず、配信サーバ１０は、図１１中（Ａ）に示すように、学習器を用いて、利用者により選択された広告画像Ｃ１０〜Ｃ１３の特徴量を算出する。また、配信サーバ１０は、図１１中（Ｂ）に示すように、各広告画像Ｃ１０〜Ｃ１３を選択した利用者の属性情報を特定する。そして、配信サーバ１０は、図１１中（Ｃ）に示すように、各広告画像Ｃ１０の特徴量と属性情報とを対応付けたユーザー推定モデル１７を生成する。
First, as illustrated in (A) of FIG. 11, the
続いて、配信サーバ１０は、属性情報が取得できない利用者が選択した広告画像Ｃ１４を取得する。かかる場合、配信サーバ１０は、図１１中（Ｄ）に示すように、学習器を用いて、広告画像Ｃ１４の特徴量を算出する。また、配信サーバ１０は、算出された特徴量と、ユーザー推定モデル１７に登録された特徴量との類似度を算出し、算出した類似度を属性情報の確かさを示す値としてクリック率の推定を行う。具体的な例を挙げると、配信サーバ１０は、算出された特徴量と、ユーザー推定モデル１７に登録された特徴量とを次元ごとに比較し、値が一致する次元の数を、特徴量の次元数で除算した値を類似度とする。
Subsequently, the
例えば、配信サーバ１０は、図１１中（Ｅ）に示すように、広告画像Ｃ１０の特徴量と広告画像Ｃ１４の特徴量との類似度が「０．６」である場合は、広告画像Ｃ１０と対応する属性情報「男性」の確かさが「６０パーセント」であると推定する。同様に、配信サーバ１０は、広告画像Ｃ１１の特徴量と広告画像Ｃ１４の特徴量との類似度が「０．４」である場合は、広告画像Ｃ１１と対応する属性情報「女性」の確かさが「４０パーセント」であると推定する。
For example, as indicated by (E) in FIG. 11, if the similarity between the feature amount of the advertisement image C10 and the feature amount of the advertisement image C14 is "0.6", the
また、配信サーバ１０は、広告画像Ｃ１２の特徴量と広告画像Ｃ１４の特徴量との類似度が「０．１」である場合は、広告画像Ｃ１２と対応する属性情報「３０代」の確かさが「１０パーセント」であると推定する。同様に、配信サーバ１０は、広告画像Ｃ１３の特徴量と広告画像Ｃ１４の特徴量との類似度が「０．７」である場合は、広告画像Ｃ１３と対応する属性情報「１０代」の確かさが「７０パーセント」であると推定する。
In addition, when the similarity between the feature amount of the advertisement image C12 and the feature amount of the advertisement image C14 is “0.1”, the
かかる推定を行った場合、配信サーバ１０は、利用者がが「６０パーセント」の確率で「男性」であり、「４０パーセント」の確率で「女性」であるものとして、クリック率の算出を行う。例えば、配信サーバ１０は、クリック率を算出する際に用いられるモデルのパラメータのうち、推定された属性情報が「男性」である場合に考慮されるパラメータに「０．６」を積算し、推定された属性情報が「女性」である場合に考慮されるパラメータに「０．４」を積算する。
When such estimation is performed, the
このように、配信サーバ１０は、特徴量の一致率を考慮した属性情報を算出することで、利用者の属性をより詳細に推定することができるので、クリック率をより適切に算出することができる。例えば、配信サーバ１０は、７０パーセントの確率で男性向けの広告画像を選択し、３０パーセントの確率で女性向けの広告画像を選択するといった予測に基づいて、クリック率を算出することができる。
As described above, since the
〔８−２．配信サーバ１０が用いる学習用画像について〕
上述した例では、配信サーバ１０は、学習用画像データベース１４に登録された画像を用いて、抽象化された画像の特徴を学習器に学習させた。しかしながら、実施形態は、これに限定されるものではない。例えば、配信サーバ１０は、学習処理を行わず、外部のサーバ等によって任意の学習が行われた学習器を取得し、取得した学習器を用いて生成処理や配信処理を実行してもよい。また、配信サーバ１０は、生成処理と配信処理とで異なる学習器を用いてもよい。例えば、配信サーバ１０は、生成処理に最適化した学習器と配信処理に最適化した学習器とを利用してもよい。
[8-2. About the image for learning which
In the example described above, the
また、学習処理を行う場合は、学習器に学習させたい特徴がより現れた画像を入力することで、学習用画像の数や学習回数を削減でき、あるいは、精度良く特徴を学習させることができる。そこで、配信サーバ１０は、広告データベース１８に登録された広告画像を学習用画像として採用してもよい。
In addition, when performing the learning process, the number of learning images and the number of times of learning can be reduced by inputting an image in which the feature to be learned appears more in the learning device, or the feature can be learned accurately. . Therefore, the
また、配信サーバ１０は、所定の属性情報を有する利用者により選択された割合が所定の閾値よりも多い画像を学習用画像として採用し、学習器の学習を行ってもよい。例えば、配信サーバ１０は、属性情報が「男性」である利用者により選択された割合が閾値「８０パーセント」以上となる広告画像を学習用画像として採用してもよい。かかる処理を行うことで、配信サーバ１０は、学習器に特徴を精度良く学習させることができるので、属性情報の予測精度を向上させることができる。
In addition, the
また、配信サーバ１０は、様々な広告画像の特徴量を精度良く算出するため、特徴がそれぞれ異なる画像を学習用画像として採用してもよい。
Further, the
〔８−３．クリック率の算出〕
上述した例では、配信サーバ１０は、特徴量から予測クリック率と属性情報とを推定し、推定した予測クリック率と属性情報とを用いて、各広告画像のクリック率を算出した。しかしながら、実施形態はこれに限定されるものではない。例えば、配信サーバ１０は、予測クリック率の算出を行わず、特徴量から属性情報を推定し、推定した属性情報に基づいて、各広告画像のクリック率を算出してもよい。
[8-3. Calculation of click rate]
In the example described above, the
ここで、図８に示すように、コールドスタート状態においては、特徴量そのものを用いてクリック率を推定するよりも、属性情報を用いてクリック率を推定した方が、クリック率の推定精度を大幅に向上させることができる。このため、配信サーバ１０は、予測クリック率を用いずとも、属性情報に基づいてクリック率を推定することで、クリック率の予測精度の悪化を防ぎつつ、配信処理に伴う計算資源を削減することができる。
Here, as shown in FIG. 8, in the cold start state, estimating the click rate using attribute information rather than estimating the click rate using the feature amount itself significantly improves the estimation accuracy of the click rate. Can be improved. For this reason, the
また、配信サーバ１０は、利用者が選択した広告画像の実績クリック率と、かかる広告画像の特徴量とを用いて、かかる広告画像の予測クリック率を算出してもよい。また、配信サーバ１０は、各広告画像の実績クリック率と、推定された属性情報と、予測クリック率とに基づいて、各広告画像のクリック率を予測してもよい。
Further, the
〔８−４．属性情報の推定に用いられる広告画像について〕
例えば、利用者は、ウェブページ等に配置される広告以外の画像と比較して、広告画像をより能動的に選択すると予測される。このため、配信サーバ１０は、利用者が選択した広告画像の特徴量を用いてかかる利用者の属性情報を推定することで、かかる利用者の属性情報を精度良く推定した。しかしながら、実施形態は、これに限定されるものではない。例えば、配信サーバ１０は、利用者が選択した広告画像以外の画像の特徴量を用いて、利用者の属性情報を推定してもよい。また、配信サーバ１０は、利用者が選択した広告画像の特徴量と、かかる利用者が選択した広告画像以外の画像の特徴量とを用いて、属性情報を推定してもよい。かかる場合、配信サーバ１０は、広告画像の特徴量を優先する重みづけを行ってもよい。
[8-4. About advertisement image used for estimation of attribute information]
For example, the user is predicted to more actively select an advertisement image as compared to an image other than an advertisement placed on a web page or the like. Therefore, the
〔８−５．動画像を用いた属性情報の推定について〕
また、配信サーバ１０は、利用者が閲覧した動画像を用いて、かかる利用者の属性情報を推定してもよい。例えば、配信サーバ１０は、利用者が再生中の動画一時停止させた場合や、カーソルを再生中の動画に合わせた場合等、利用者が興味を持ったと予測されるフレームの画像を利用者が選択した画像として取得する。そして、配信サーバ１０は、取得した画像の特徴量から利用者の属性情報を推定してもよい。
[8-5. Estimation of Attribute Information Using Moving Image]
In addition, the
例えば、図１２は、実施形態にかかる配信サーバが動画像から選択された画像に基づいて属性情報を推定する処理の一例を示す図である。例えば、図１２に示す例では、端末装置１００は、動画像Ｃ２０の再生を行うとともに、動画像Ｃ２０の再生を制御する制御バーＴ１０を表示する。また、制御バーＴ１０には、広告が挿入されるタイミングＴ１１、Ｔ１２が表示されており、かかるタイミングＴ１１、Ｔ１２において、所定の広告動画が再生される。
For example, FIG. 12 is a diagram illustrating an example of a process in which the distribution server according to the embodiment estimates attribute information based on an image selected from a moving image. For example, in the example illustrated in FIG. 12, the
ここで、端末装置１００は、利用者の操作によりカーソルＣ２１が動画像Ｃ２０の再生を一時停止した場合は、一時停止時に表示されたフレームを選択された画像Ｃ２２として配信サーバ１０に送信する。かかる場合、配信サーバ１０は、図１２中（Ａ）に示すように、画像Ｃ２２の特徴量を算出し、算出した特徴量から利用者の属性情報を推定する。例えば、配信サーバ１０は、画像Ｃ２２の特徴量と予め生成したユーザー推定モデル１７とを用いて、図１２中（Ｂ）に示すように、利用者の属性情報「１０代」、「男性」を推定する。
Here, when the cursor C21 suspends the reproduction of the moving image C20 by the operation of the user, the
また、配信サーバ１０は、推定した属性情報に基づいて、タイミングＴ１１、Ｔ１２で挿入される広告の切り替えを行う。例えば、図１２中（Ｃ）に示す例では、タイミングＴ１１で挿入される広告として、２０代の女性に向けた広告Ａが選択され、タイミングＴ１２で挿入される広告として、３０代の女性に向けた広告Ｂが選択されていた。しかしながら、推定される利用者の属性情報は「１０代」、「男性」である。そこで、配信サーバ１０は、図１２中（Ｄ）に示すように、タイミングＴ１１、Ｔ１２で挿入される広告を推定された属性情報に基づいて切替える。
Further, the
例えば、配信サーバ１０は、図１２中（Ｅ）に示すように、タイミングＴ１１で挿入される広告として、１０代の男性に向けた広告Ｃを新たに選択し、タイミングＴ１２で挿入される広告として、１０代の男性に向けた広告Ｄを新たに選択する。この結果、配信サーバ１０は、利用者の属性情報が不明である場合にも、利用者が興味を有すると推定される広告を配信することができる。
For example, as illustrated in (E) of FIG. 12, the
なお、配信サーバ１０は、動画像のうち、利用者が選択した画像が含まれる位置を考慮して、利用者の属性情報を推定してもよい。また、配信サーバ１０は、利用者が複数の画像を選択した場合、各画像を選択した順序や、動画像において各画像が表示される時系列等を考慮して、利用者の属性情報を推定するユーザー推定モデル１７を生成してもよい。
The
〔８−６．複数の画像を用いた属性情報の推定について〕
上述した例では、配信サーバ１０は、利用者が選択した画像の特徴量からかかる利用者の属性情報を推定した。しかしながら、実施形態は、これに限定されるものではない。例えば、配信サーバ１０は、利用者が選択した複数の画像の特徴量から利用者の属性情報を推定してもよい。
[8-6. Regarding Estimation of Attribute Information Using Multiple Images]
In the example described above, the
具体例を説明すると、配信サーバ１０は、利用者が選択した複数の広告画像の特徴量をそれぞれ算出し、ユーザー推定モデル１７を用いて、算出した各特徴量から推定される利用者の属性情報をすべて特定する。そして、配信サーバ１０は、特定した属性情報のうち共通する属性情報を利用者の属性情報としてもよい。
Describing a specific example, the
また、配信サーバ１０は、利用者が選択した複数の画像の並びに基づいて、利用者の属性情報を推定してもよい。例えば、配信サーバ１０は、属性情報が取得可能な利用者が選択した複数の広告画像の特徴量と、各広告画像を選択した順序とに基づいて、選択された複数の画像と選択された順序とから利用者の属性情報を推定するユーザー推定モデル１７を生成する。そして、配信サーバ１０は、利用者が選択した広告画像の特徴量と、利用者が広告画像を選択した順序とから、ユーザー推定モデル１７を用いて、かかる利用者の属性情報を推定してもよい。例えば、配信サーバ１０は、属性情報が「男性」である利用者が選択画像Ｃ１０を選択し、その後、選択画像Ｃ１３を選択した場合、特徴量が選択画像Ｃ１０の特徴量と類似する広告画像を選択し、その後、特徴量が選択画像Ｃ１３の特徴量と類似する広告画像を選択した利用者の属性情報を「男性」であると推定してもよい。
In addition, the
〔８−７．推定方法の入替について〕
また、配信サーバ１０は、取得済みの属性情報が所定の閾値よりも少ない利用者の属性情報を推定してもよい。例えば、図１３は、推定方法の入替を説明する図である。図１３には、広告画像の選択があったセッションを抽出し、抽出したセッションにおいて選択を行ったのが男性であるか女性であるかを教師ラベルとし、ロジスティック回帰で広告画像から選択した利用者の性別を推定した際のＡＵＣと重複率との対応を、Ｂａｓｅｌｉｎｅを用いた推定手法とＣＮＮを用いた推定手法とについてプロットした。
[8-7. About exchange of estimation method]
Also, the
例えば、図１３に示すように、Ｂａｓｅｌｉｎｅを用いた推定手法では、利用者のログが多くなるにつれて精度が向上する。一方で、ＣＮＮを用いた推定手法では、利用者のログが少ない場合にＢａｓｅｌｉｎｅを用いた推定手法よりも精度良く推定を行える。 For example, as shown in FIG. 13, in the estimation method using Baseline, the accuracy improves as the number of user logs increases. On the other hand, the estimation method using CNN can perform estimation more accurately than the estimation method using Baseline when the user's log is small.
そこで、配信サーバ１０は、広告画像を選択した利用者について取得済みの属性情報が所定の閾値よりも少ない場合は、かかる利用者の属性情報を、かかる利用者が選択した広告画像の特徴量から推定し、広告画像を選択した利用者について取得済みの属性情報が所定の閾値よりも多い場合は、ＩＤ素性等、利用者が選択した画像の特徴量以外の情報を用いて、かかる利用者の属性情報を推定してもよい。このような処理を実行することで、配信サーバ１０は、コールドスタート状態以外の場合にも、利用者の属性情報を精度良く推定することができる。
Therefore, if the attribute information already acquired for the user who selected the advertisement image is less than the predetermined threshold, the
〔８−８．モデルについて〕
なお、配信サーバ１０は、生成処理の実行時に、上述した各種処理を実現するモデルを生成してよい。例えば、配信サーバ１０は、利用者が選択した複数の広告画像の特徴量に応じて、かかる利用者の属性情報を推定するユーザー推定モデル１７を生成してもよい。例えば、配信サーバ１０は、利用者が選択した複数の広告画像の特徴量をそれぞれ入力とし、かかる特徴量から推定される利用者の属性情報を出力とする関数形式のユーザー推定モデル１７を生成してもよい。
[8-8. About the model]
The
また、配信サーバ１０は、広告画像の特徴量から、属性情報と予測クリック率とを推定し、推定した属性情報と予測クリック率とを用いて、各広告画像が選択されるクリック率を算出するユーザー推定モデル１７を生成してもよい。また、配信サーバ１０は、広告画像を選択した利用者について取得済みの属性情報が所定の閾値よりも少ない場合は、かかる利用者の属性情報を、かかる利用者が選択した広告画像の特徴量から推定し、広告画像を選択した利用者について取得済みの属性情報が所定の閾値よりも多い場合は、ＩＤ素性等、利用者が選択した画像の特徴量以外の情報を用いて、かかる利用者の属性情報を推定するユーザー推定モデル１７を生成してもよい。すなわち、配信サーバ１０は、利用者が選択した広告画像の特徴量から、配信処理における任意の一部もしくは全てを実現するモデルを生成して良い。
Further, the
〔８−９．属性情報推定後の処理について〕
上述した配信サーバ１０は、推定した属性情報を用いて、広告画像の配信を行った。しかしながら、実施形態は、これに限定されるものではない。例えば、配信サーバ１０は、推定した属性情報を用いて、各種情報のリコメンドや、配信対象となるコンテンツの切り替え等を行ってもよい。また、配信サーバ１０は、ユーザー推定モデル１７を用いて推定された属性情報と、あらかじめ登録された利用者の属性情報とを比較することで、利用者の素性を推定してもよい。また、配信サーバ１０は、推定した利用者の素性に基づいて、消去されたＢクッキー等のコネクションを復活させてもよい。すなわち、配信サーバ１０は、ユーザー推定モデル１７を用いて推定された利用者の属性情報に基づいて、任意の処理を実現することができる。
[8-9. About processing after attribute information estimation]
The
〔８−１０．属性情報推定のタイミングについて〕
また、配信サーバ１０は、利用者の属性情報等のログが十分に溜まるまで、かかる利用者が選択した画像の特徴量から属性情報を随時推定してもよい。また、配信サーバ１０は、推定された属性情報の遍歴に基づいて、推定される属性情報を随時更新してもよい。また、配信サーバ１０は、かかる処理を実現するユーザー推定モデル１７を生成してもよい。
[8-10. About timing of attribute information estimation]
In addition, the
〔８−１１．動作主体について〕
上述した実施形態では、配信サーバ１０が学習処理、生成処理、配信処理を実行する例について記載した。しかしながら、実施形態は、これに限定されるものではない。例えば、配信サーバ１０が実行する処理は、学習処理を実行する学習装置と、生成処理を行うモデル生成装置と、モデル生成装置が生成したユーザー推定モデル１７を用いて利用者の属性情報を推定し、推定した属性情報を用いて広告画像を配信する配信装置とによって実現されてもよい。
[8-11. About the subject of action]
In the embodiment described above, an example in which the
〔８−１２．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[8-12. Other]
Further, among the processes described in the above embodiment, all or part of the process described as being automatically performed may be manually performed, or the process described as being manually performed. All or part of them can be performed automatically by known methods. In addition, information including processing procedures, specific names, various data and parameters shown in the above-mentioned documents and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each figure is not limited to the illustrated information.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Further, each component of each device illustrated is functionally conceptual, and does not necessarily have to be physically configured as illustrated. That is, the specific form of the distribution and integration of each device is not limited to the illustrated one, and all or a part thereof may be functionally or physically dispersed in any unit depending on various loads, usage conditions, etc. It can be integrated and configured.
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Moreover, it is possible to combine suitably each embodiment mentioned above in the range which does not contradict process content.
〔８−１３．プログラム〕
また、上記してきた実施形態に係る配信サーバ１０は、例えば図１４に示すような構成のコンピュータ１０００によって実現される。以下、配信サーバ１０を例に挙げて説明する。図１４は、配信サーバの機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、およびメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
[8-13. program〕
Also, the
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
The
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、係るプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを他の機器へ送信する。
The
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
The
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、係るプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
The
例えば、コンピュータ１０００が実施形態に係る配信サーバ１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３の機能を実現する。また、ＨＤＤ１４００には、記憶部１２内のデータ、すなわち学習用画像データベース１４、接続係数記憶部１５、モデル生成用画像データベース１６、ユーザー推定モデル１７、広告データベース１８が格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からこれらのプログラムを取得してもよい。
For example, when the
〔９．効果〕
上述したように、配信サーバ１０は、画像から特徴量を算出する学習器を用いて、利用者により選択された履歴を有する画像の特徴量を算出する。そして、配信サーバ１０は、算出した特徴量と、画像を選択した利用者の属性を示す属性情報とに基づいて、画像の特徴量からかかる画像を選択した利用者の属性情報を推定するユーザー推定モデル１７を生成する。
[9. effect〕
As described above, the
このため、配信サーバ１０は、利用者の属性情報を推定することができる。特に、配信サーバ１０は、コールドスタート状態等、広告の配信先となる利用者の属性情報が不明な場合にも、かかる利用者の属性情報を精度良く推定できるので、クリック率の推定精度を向上させ、配信対象となる広告を適切に選択できる。
Therefore, the
ここで、各利用者が選択した画像の特徴量を算出し、算出した特徴量を比較することで、利用者の属性情報を推定する手法も考えられるが、かかる処理を実行する場合は、大量のセッションログを参照する必要があるため、計算コストが増大する。しかしながら、配信サーバ１０は、ユーザー推定モデル１７を生成することで、属性情報を推定する利用者が選択した画像の特徴量を算出するだけでよいので、属性情報の推定に要する計算コストを削減することができる。
Here, there is also conceivable a method of estimating the attribute information of the user by calculating the feature amount of the image selected by each user and comparing the calculated feature amounts, but in the case of executing such processing, a large amount of The computational cost increases because it is necessary to refer to the session log of However, since the
また、配信サーバ１０は、学習器として、入力データに対する演算結果を出力する複数のノードを多層に接続した学習器であって、教師なし学習により抽象化された画像の特徴を学習した学習器を用いる。このため、配信サーバ１０は、利用者の属性情報を精度良く推定することができる。
In addition, the
また、配信サーバ１０は、学習器として、局所領域の畳み込みとプーリングを繰り返すことで、画像の変異に対する出力の普遍性をさらに学習した学習器、いわゆるＣＮＮを用いる。このため、配信サーバ１０は、画像における撮像対象の位置によらず、撮像対象の区別に応じた特徴量を算出できるので、利用者の属性情報をさらに精度良く推定することができる。
In addition, the
また、配信サーバ１０は、学習器として、所定の属性を有する利用者により選択された割合が、所定の閾値よりも多い画像を用いて、抽象化された画像の特徴を学習した学習器を用いる。この結果、配信サーバ１０は、抽象化された画像の特徴を精度良く抽出できる学習器を用いて、選択された画像の特徴量を算出するので、利用者の属性情報をさらに精度良く推定することができる。
In addition, the
また、配信サーバ１０は、ユーザー推定モデル１７として、画像を選択した利用者の属性情報を画像の特徴量から推定し、推定された属性情報を用いて、利用者が他の画像を選択するクリック率を算出するモデルを生成する。このため、配信サーバ１０は、コールドスタート状態においても、クリック率を精度良く推定することができる。
Also, the
また、配信サーバ１０は、ユーザー推定モデル１７として、画像を選択した利用者の属性情報と利用者が画像を選択する予測クリック率とを画像の特徴量から推定し、推定された属性情報と予測クリック率とを用いて、かかる利用者が他の画像を選択するクリック率を算出するモデルを生成する。このため、配信サーバ１０は、コールドスタート状態においても、クリック率をさらに精度良く推定することができる。
Further, the
また、配信サーバ１０は、ユーザー推定モデル１７として、動画像を選択した利用者の属性情報を、動画像に含まれる画像のうち、利用者が選択した際に表示されていた画像の特徴量から推定するモデルを生成する。このため、配信サーバ１０は、動画像を閲覧する利用者の属性情報を推定することができる。
In addition, the
また、配信サーバ１０は、ユーザー推定モデル１７として、利用者が選択した複数の画像の特徴量からかかる利用者の属性情報を推定するモデルを生成する。このため、配信サーバ１０は、利用者の属性情報をさらに精度良く推定することができる。
In addition, the
また、配信サーバ１０は、ユーザー推定モデル１７として、利用者が選択した複数の画像の特徴量と、利用者が各画像を選択した順序とから、かかる利用者の属性情報を推定するモデルを生成する。このため、配信サーバ１０は、利用者の属性情報をさらに精度良く推定することができる。
Further, the
また、配信サーバ１０は、ユーザー推定モデル１７として、広告画像の特徴量からかかる広告画像を選択した利用者の属性情報を推定するモデルを生成する。すなわち、配信サーバ１０は、利用者が能動的に選択した画像の特徴量からかかる利用者の属性情報を推定するので、利用者の属性情報をより精度良く推定することができる。
Further, the
また、配信サーバ１０は、ユーザー推定モデル１７として、取得済みの属性情報が所定の閾値よりも少ない利用者の属性情報を、かかる利用者が選択した画像の特徴量から推定するモデルを生成する。このため、配信サーバ１０は、コールドスタート状態以外の場合にも、利用者の属性情報を精度良く推定することができる。
Further, the
また、配信サーバ１０は、生成したユーザー推定モデル１７を用いて、利用者が選択した画像の特徴量から、かかる利用者の属性情報を推定し、推定した属性情報を用いて、配信対象となる画像のクリック率を算出し、算出したクリック率に基づいて、配信する画像を選択する。このため、配信サーバ１０は、コールドスタート状態においても、利用者が興味を有すると推定される画像を選択できるので、画像配信に対する報酬を増加させることができる。
In addition, the
また、配信サーバ１０は、画像を選択した利用者がかかる画像を選択する予測クリック率をかかる画像の特徴量を用いて推定し、推定された属性情報と予測クリック率とを用いて、かかる利用者が他の画像を選択するクリック率を算出する。このため、配信サーバ１０は、コールドスタート状態においても、利用者が興味を有すると推定される画像を選択できるので、画像配信に対する報酬を増加させることができる。
In addition, the
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 Although some of the embodiments of the present application have been described in detail based on the drawings, these are only examples, and various modifications can be made based on the knowledge of those skilled in the art, including the aspects described in the section of the disclosure of the invention. It is possible to implement the invention in other improved forms.
また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、生成部２０は、生成手段や生成回路に読み替えることができる。
Also, the "section (module, unit)" described above can be read as "means" or "circuit". For example, the
１０ 配信サーバ
１１ 通信部
１２ 記憶部
１３ 制御部
１４ 学習用画像データベース
１５ 接続係数記憶部
１６ モデル生成用画像データベース
１７ ユーザー推定モデル
１８ 広告データベース
１９ 学習部
２０ 生成部
２１ 特徴量算出部
２２ ユーザー情報取得部
２３ モデル生成部
３０ 配信部
３１ 選択画像取得部
３２ ユーザー情報推定部
３３ クリック率算出部
３４ 広告選択部
１００ 端末装置
２００ ウェブサーバ
DESCRIPTION OF
Claims (16)
前記算出部が算出した特徴量と、前記利用者の属性を示す属性情報とに基づいて、画像の特徴量から当該画像を選択した利用者の属性情報を推定するモデルを生成する生成部と
を有することを特徴とするモデル生成装置。 A calculation unit that calculates feature amounts of an image having a history selected by the user;
A generation unit configured to generate a model for estimating the attribute information of the user who has selected the image from the image feature amount based on the feature amount calculated by the calculation unit and the attribute information indicating the attribute of the user A model generation device characterized by having.
前記推定部が推定した属性情報を用いて、配信対象となる画像を前記利用者が選択する確率を算出する算出部と、
前記算出部が算出した確率に基づいて、前記利用者に配信する画像を選択する選択部と
を有することを特徴とする情報配信装置。 Use that selected the image from the feature amount of the image using the model created based on the feature amount calculated from the image having the history selected by the user and the attribute information indicating the attribute of the user A estimation unit that estimates attribute information of a person, and a calculation unit that calculates a probability that the user selects an image to be distributed using the attribute information estimated by the estimation unit;
An information distribution apparatus comprising: a selection unit that selects an image to be distributed to the user based on the probability calculated by the calculation unit.
利用者により選択された履歴を有する画像の特徴量を算出する算出工程と、
前記算出工程で算出した特徴量と、前記利用者の属性を示す属性情報とに基づいて、画像の特徴量から当該画像を選択した利用者の属性情報を推定するモデルを生成する生成工程と
を含むことを特徴とするモデル生成方法。 A method of model generation executed by a model generator, comprising
Calculating the feature amount of the image having the history selected by the user;
A generation step of generating a model for estimating the attribute information of the user who has selected the image from the feature amount of the image based on the feature amount calculated in the calculation step and the attribute information indicating the attribute of the user A model generation method characterized by including.
利用者により選択された履歴を有する画像から算出された特徴量と、当該利用者の属性を示す属性情報とに基づいて作成されたモデルを用いて、画像の特徴量から当該画像を選択した利用者の属性情報を推定する推定工程と、
前記推定工程で推定した属性情報を用いて、配信対象となる画像を前記利用者が選択する確率を算出する算出工程と、
前記算出工程で算出した確率に基づいて、前記利用者に配信する画像を選択する選択工程と
を含むことを特徴とする情報配信方法。 An information delivery method performed by an information delivery apparatus, comprising:
Use that selected the image from the feature amount of the image using the model created based on the feature amount calculated from the image having the history selected by the user and the attribute information indicating the attribute of the user Estimating the attribute information of the person,
A calculation step of calculating a probability that the user selects an image to be distributed using the attribute information estimated in the estimation step;
And D. a selection step of selecting an image to be distributed to the user based on the probability calculated in the calculation step.
利用者により選択された履歴を有する画像の特徴量を算出する算出手順と、
前記算出手順で算出した特徴量と、前記利用者の属性を示す属性情報とに基づいて、画像の特徴量から当該画像を選択した利用者の属性情報を推定するモデルを生成する生成手順と
を実行させることを特徴とするモデル生成プログラム。 On the computer
A calculation procedure for calculating a feature amount of an image having a history selected by the user;
A generation procedure for generating a model for estimating the attribute information of the user who has selected the image from the feature amount of the image based on the feature amount calculated in the calculation procedure and the attribute information indicating the attribute of the user A model generation program characterized by having it run.
利用者により選択された履歴を有する画像から算出された特徴量と、当該利用者の属性を示す属性情報とに基づいて作成されたモデルを用いて、画像の特徴量から当該画像を選択した利用者の属性情報を推定する推定手順と、
前記推定手順で推定した属性情報を用いて、配信対象となる画像を前記利用者が選択する確率を算出する算出手順と、
前記算出手順で算出した確率に基づいて、前記利用者に配信する画像を選択する選択手順と
を実行させることを特徴とする情報配信プログラム。 On the computer
Use that selected the image from the feature amount of the image using the model created based on the feature amount calculated from the image having the history selected by the user and the attribute information indicating the attribute of the user Estimation procedure for estimating the attribute information of
A calculation procedure for calculating the probability that the user selects an image to be distributed using the attribute information estimated in the estimation procedure;
An information delivery program comprising: executing a selection procedure of selecting an image to be delivered to the user based on the probability calculated in the calculation procedure.
利用者により選択された履歴を有する画像から算出された特徴量と、当該利用者の属性を示す属性情報とに基づいて作成されたモデルを用いて、前記取得部により取得された画像の特徴量から当該画像を選択した利用者の属性情報を推定する推定部と
を有することを特徴とする推定装置。 An acquisition unit for acquiring an image selected by the user;
A feature amount of the image acquired by the acquisition unit using a model created based on the feature amount calculated from the image having the history selected by the user and the attribute information indicating the attribute of the user And an estimation unit configured to estimate attribute information of a user who has selected the image.
利用者により選択された画像を取得する取得工程と、
利用者により選択された履歴を有する画像から算出された特徴量と、当該利用者の属性を示す属性情報とに基づいて作成されたモデルを用いて、前記取得工程により取得された画像の特徴量から当該画像を選択した利用者の属性情報を推定する推定工程と
を含むことを特徴とする推定方法。 An estimation method performed by the estimation device,
An acquisition step of acquiring an image selected by the user;
A feature amount of the image acquired by the acquisition step using a model created based on the feature amount calculated from the image having the history selected by the user and the attribute information indicating the attribute of the user And V. an estimation step of estimating attribute information of a user who has selected the image from the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018048633A JP6501939B2 (en) | 2018-03-15 | 2018-03-15 | Model generation device, information distribution device, model generation method, information distribution method, model generation program, information distribution program, estimation device and estimation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018048633A JP6501939B2 (en) | 2018-03-15 | 2018-03-15 | Model generation device, information distribution device, model generation method, information distribution method, model generation program, information distribution program, estimation device and estimation method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014257902A Division JP6309887B2 (en) | 2014-12-19 | 2014-12-19 | Model generation apparatus, information distribution apparatus, model generation method, information distribution method, model generation program, and information distribution program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019051997A Division JP6790159B2 (en) | 2019-03-19 | 2019-03-19 | Calculation device, calculation method and calculation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018133095A JP2018133095A (en) | 2018-08-23 |
| JP6501939B2 true JP6501939B2 (en) | 2019-04-17 |
Family
ID=63249732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018048633A Active JP6501939B2 (en) | 2018-03-15 | 2018-03-15 | Model generation device, information distribution device, model generation method, information distribution method, model generation program, information distribution program, estimation device and estimation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6501939B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6993947B2 (en) * | 2018-09-06 | 2022-01-14 | Kddi株式会社 | Programs, devices and methods that allow you to select the product to be presented, as well as the product generation program. |
| JP7018857B2 (en) * | 2018-09-18 | 2022-02-14 | ヤフー株式会社 | Information processing equipment, information processing methods, and information processing programs |
| JP6940464B2 (en) * | 2018-10-19 | 2021-09-29 | ヤフー株式会社 | Decision device, decision method and decision program |
| JP7229031B2 (en) * | 2019-01-31 | 2023-02-27 | トッパン・フォームズ株式会社 | NOTIFICATION METHOD SELECTION DEVICE, NOTIFICATION METHOD SELECTION METHOD, AND PROGRAM |
| CN111598638B (en) * | 2019-02-21 | 2023-11-07 | 北京沃东天骏信息技术有限公司 | Click rate determination method, device and equipment |
| JP7208529B2 (en) * | 2019-05-29 | 2023-01-19 | 富士通株式会社 | Optimization device and optimization method |
| CN110555719B (en) * | 2019-07-31 | 2023-09-29 | 华南理工大学 | Commodity click rate prediction method based on deep learning |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130346182A1 (en) * | 2012-06-20 | 2013-12-26 | Yahoo! Inc. | Multimedia features for click prediction of new advertisements |
-
2018
- 2018-03-15 JP JP2018048633A patent/JP6501939B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018133095A (en) | 2018-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6309887B2 (en) | Model generation apparatus, information distribution apparatus, model generation method, information distribution method, model generation program, and information distribution program | |
| JP6501939B2 (en) | Model generation device, information distribution device, model generation method, information distribution method, model generation program, information distribution program, estimation device and estimation method | |
| JP6790159B2 (en) | Calculation device, calculation method and calculation program | |
| CN111105819B (en) | Clipping template recommendation method and device, electronic equipment and storage medium | |
| JP6523498B1 (en) | Learning device, learning method and learning program | |
| US10949000B2 (en) | Sticker recommendation method and apparatus | |
| CN111178970B (en) | Advertisement putting method and device, electronic equipment and computer readable storage medium | |
| WO2017157149A1 (en) | Social network-based recommendation method and apparatus, server and storage medium | |
| JP2019527395A (en) | Optimizing dynamic creatives to deliver content effectively | |
| CN110209931B (en) | Media content pushing method and device, storage medium and electronic device | |
| JP6827305B2 (en) | Selection device, selection method and selection program | |
| JP6367743B2 (en) | Information processing apparatus, information processing program, and information processing method | |
| US20170186044A1 (en) | System and method for profiling a user based on visual content | |
| JP2017054214A (en) | Determination device, learning device, information distribution device, determination method, and determination program | |
| CN112989169B (en) | Target object identification method, information recommendation method, device, equipment and medium | |
| CN110933472B (en) | Method and device for realizing video recommendation | |
| US9818044B2 (en) | Content update suggestions | |
| US20150206222A1 (en) | Method to construct conditioning variables based on personal photos | |
| Yang et al. | A unified view of social and temporal modeling for B2B marketing campaign recommendation | |
| CN114742582A (en) | Advertisement putting method based on user terminal, server and storage medium | |
| JP2017201535A (en) | Determination device, learning device, determination method, and determination program | |
| JP6810184B2 (en) | Calculation device, calculation method and calculation program | |
| US10692127B1 (en) | Inferring user demographics from user behavior using Bayesian inference | |
| CN115730217A (en) | Model training method, material recalling method and device | |
| US11175807B1 (en) | Intelligent contextual video thumbnail display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190319 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6501939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |