JP5491556B2 - 広告配信装置、広告配信方法及びプログラム - Google Patents

広告配信装置、広告配信方法及びプログラム Download PDF

Info

Publication number
JP5491556B2
JP5491556B2 JP2012048183A JP2012048183A JP5491556B2 JP 5491556 B2 JP5491556 B2 JP 5491556B2 JP 2012048183 A JP2012048183 A JP 2012048183A JP 2012048183 A JP2012048183 A JP 2012048183A JP 5491556 B2 JP5491556 B2 JP 5491556B2
Authority
JP
Japan
Prior art keywords
advertisement
bias
action
display
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012048183A
Other languages
English (en)
Other versions
JP2013182595A (ja
Inventor
真吾 星野
崇 田代
正志 坪坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2012048183A priority Critical patent/JP5491556B2/ja
Publication of JP2013182595A publication Critical patent/JP2013182595A/ja
Application granted granted Critical
Publication of JP5491556B2 publication Critical patent/JP5491556B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、広告配信装置、広告配信方法及びプログラムに関する。
Ｗｅｂページなどへの広告配信（リスティング）が広く行われている。従来の広告配信では、多くの広告の中から、たとえばＣＴＲ（Click Through Rate）やＣＰＭ（Cost Per Mille）などによる広告評価の高いものを選択しており、広告評価の高いものほどＷｅｂページの上の方に表示されるようになっている。また、特許文献１では、経済的価値などに応じて広告をあまり目立たない位置からより目立つ位置へと昇格させることが記載されている。
特表２００７−５２４９１５号公報
近年コンテンツの内容やＷｅｂページのレイアウトが多様化しており、必ずしもＷｅｂページの上の方ほど目立つというわけではない。しかしながら、特許文献１では、Ｗｅｂページにおける目立つ位置は予め設定されていることが前提となっており、Ｗｅｂページ上のどの位置がどのくらい目立つのかを評価することはできない。
本発明は、このような背景を鑑みてなされたものであり、広告が表示される位置を評価することのできるバイアス推定装置、バイアス推定方法及びプログラムを提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、広告が表示される位置の評価値であるバイアスを推定する装置であって、広告が表示されうる位置および前記広告ごとに、当該広告の閲覧者が前記広告に応じた行動を起こした回数である行動回数を決定するための行動回数情報を取得する行動回数情報取得部と、前記広告の評価値である広告評価値を取得し、前記広告評価値に応じて、前記広告を複数のグループに分ける広告グループ生成部と、少なくとも１つの前記グループについて、前記位置ごとに、当該グループに所属する前記広告および当該位置に対応する前記行動回数情報に基づいて決定される前記行動回数の合計に応じて前記バイアスを推定するバイアス推定部と、を備えることとする。
また、本発明のバイアス推定装置は、前記広告および前記位置ごとに、前記位置における前記広告の表示回数を算出するための表示回数情報を取得する表示回数情報取得部をさらに備え、前記バイアス推定部は、前記位置ごとに、前記グループに所属する前記広告および前記位置に対応する前記行動回数情報に基づいて決定される前記行動回数の合計を、前記グループに所属する前記広告および前記位置に対応する前記表示回数情報に基づいて決定される前記表示回数の合計で割った行動率を算出し、前記行動率に応じて前記バイアスを推定するようにしてもよい。
また、本発明のバイアス推定装置では、前記バイアス推定部は、基準となる前記位置の前記行動率に対する、前記位置ごとの前記行動率の比を前記バイアスとして算出するようにしてもよい。
また、本発明の他の態様は、広告が表示される位置の評価値であるバイアスを推定する装置であって、広告が表示されうる位置および前記広告ごとに、当該広告の閲覧者が前記広告に応じた行動を起こした回数である行動回数を決定するための行動回数情報を取得する行動回数情報取得部と、前記広告および前記位置ごとに、前記位置における前記広告の表示回数を算出するための表示回数情報を取得する表示回数情報取得部と、前記広告に対応する前記行動回数情報に基づいて決定される前記行動回数の合計を、前記広告に対応する前記表示回数情報に基づいて決定される前記表示回数の合計で割って前記広告の評価値である広告評価値を算出する広告評価部と、前記位置および前記広告のそれぞれについて、前記広告および前記位置に対応する前記行動回数情報に基づいて決定される前記行動回数の合計を、前記広告および前記位置に対応する前記表示回数情報に基づいて決定される前記表示回数の合計で割った行動率を算出し、前記広告の前記広告評価値に前記位置の前記バイアスを乗じた値と、前記広告および前記位置についての前記行動率との差の大きさの合計が最小になるように、前記バイアスを推定するバイアス推定部と、を備えることとする。
また、本発明のバイアス推定装置では、前記バイアス推定部は、前記広告ｉについての前記広告評価値をｘｉ、前記位置ｋにおける前記広告ｉについての前記行動率をｙｋｉ、前記位置ｋについての前記バイアスをｒｋとし、
Figure 0005491556
として、
Figure 0005491556
をＬが最小となるように、ａ，ｂおよびｒｋを推計するようにしてもよい。
また、本発明のバイアス推定装置では、前記バイアス推定部は、すべての前記位置ｋについて、バイアスｒｋを１に初期化し、（ａ）式
Figure 0005491556
のＬが最小となるように、ａ，ｂを推計し、（ｂ）式
Figure 0005491556
により、ｋ≠１のすべてのｋについてｒｋを算出し、（ａ）および（ｂ）を複数回繰り返すことにより、前記バイアスｒｋを推定するようにしてもよい。
また、本発明の他の態様は、広告が表示される位置の評価値であるバイアスを推定する方法であって、コンピュータが、広告が表示されうる位置および前記広告ごとに、当該広告の閲覧者が前記広告に応じた行動を起こした回数である行動回数を決定するための行動回数情報を取得するステップと、前記広告の評価値である広告評価値を取得し、前記広告評価値に応じて、前記広告を複数のグループに分けるステップと、少なくとも１つの前記グループについて、前記位置ごとに、当該グループに所属する前記広告および当該位置に対応する前記行動回数情報に基づいて決定される前記行動回数の合計に応じて前記バイアスを推定するステップと、を実行することとする。
また、本発明の他の態様は、広告が表示される位置の評価値であるバイアスを推定する方法であって、コンピュータが、広告が表示されうる位置および前記広告ごとに、当該広告の閲覧者が前記広告に応じた行動を起こした回数である行動回数を決定するための行動回数情報を取得するステップと、前記広告および前記位置ごとに、前記位置における前記広告の表示回数を算出するための表示回数情報を取得するステップと、前記広告に対応する前記行動回数情報に基づいて決定される前記行動回数の合計を、前記広告に対応する前記表示回数情報に基づいて決定される前記表示回数の合計で割って前記広告の評価値である広告評価値を算出するステップと、前記位置および前記広告のそれぞれについて、前記広告および前記位置に対応する前記行動回数情報に基づいて決定される前記行動回数の合計を、前記広告および前記位置に対応する前記表示回数情報に基づいて決定される前記表示回数の合計で割った行動率を算出し、前記広告の前記広告評価値に前記位置の前記バイアスを乗じた値と、前記広告および前記位置についての前記行動率との差の大きさの合計が最小になるように、前記バイアスを推定するステップと、を実行することとする。
また、本発明の他の態様は、広告が表示される位置の評価値であるバイアスを推定するためのプログラムであって、コンピュータに、広告が表示されうる位置および前記広告ごとに、当該広告の閲覧者が前記広告に応じた行動を起こした回数である行動回数を決定するための行動回数情報を取得するステップと、前記広告の評価値である広告評価値を取得し、前記広告評価値に応じて、前記広告を複数のグループに分けるステップと、少なくとも１つの前記グループについて、前記位置ごとに、当該グループに所属する前記広告および当該位置に対応する前記行動回数情報に基づいて決定される前記行動回数の合計に応じて前記バイアスを推定するステップと、を実行させることとする。
また、本発明の他の態様は、広告が表示される位置の評価値であるバイアスを推定するためのプログラムであって、コンピュータに、広告が表示されうる位置および前記広告ごとに、当該広告の閲覧者が前記広告に応じた行動を起こした回数である行動回数を決定するための行動回数情報を取得するステップと、前記広告および前記位置ごとに、前記位置における前記広告の表示回数を算出するための表示回数情報を取得するステップと、前記広告に対応する前記行動回数情報に基づいて決定される前記行動回数の合計を、前記広告に対応する前記表示回数情報に基づいて決定される前記表示回数の合計で割って前記広告の評価値である広告評価値を算出するステップと、前記位置および前記広告のそれぞれについて、前記広告および前記位置に対応する前記行動回数情報に基づいて決定される前記行動回数の合計を、前記広告および前記位置に対応する前記表示回数情報に基づいて決定される前記表示回数の合計で割った行動率を算出し、前記広告の前記広告評価値に前記位置の前記バイアスを乗じた値と、前記広告および前記位置についての前記行動率との差の大きさの合計が最小になるように、前記バイアスを推定するステップと、を実行させることとする。
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
本発明によれば、広告が表示される位置を評価することができる。
本実施形態の広告システムにおいて表示されるＷｅｂページ１の一例を示す図である。 本実施形態の広告配信システムの構成例を示す図である。 Ｗｅｂサーバ２０のハードウェア構成例を示す図である。 Ｗｅｂサーバ２０のソフトウェア構成例を示す図である。 レイアウトデータベース２５２に記憶されるレイアウト情報の構成例を示す図である。 広告データベース２５２に記憶される広告情報の構成例を示す図である。 バイアスデータベース２５４に記憶されるバイアス情報の構成例を示す図である。 インプレッションログ記憶部２５５に記憶されるインプレッションログの構成例を示す図である。 クリックログ記憶部２５６に記憶されるクリックログの構成例を示す図である。 バイアスを推定する処理の流れを示す図である。 Ｗｅｂサーバ２０により行われる処理の流れを示す図である。 広告リスト５１の構成例を示す図である。 ステップＳ５０９における表示広告の選択およびポジションの割当を行う処理の流れを示す図である。 ポジションの割り当てを説明するための図である。 基準広告についてのクリック率の比をバイアスとして推定する処理の流れを示す図である。 クリック率によるグループごとのポジション別平均クリック率からバイアスを推定する処理の流れを示す図である。 クリック率およびポジションごとのバイアスを示すグラフ５４の一例を示す図である。 ＣＴＲモデルの推計処理の流れを説明する図である。 クリック率の算出処理の流れを示す図である。
＝＝（１）発明の概要＝＝
以下、本発明の一実施形態に係る広告配信システムについて説明する。本実施形態において広告とは、Ｗｅｂページにおいて、コンテンツの内容等に応じて表示される広告（リスティング広告と呼ばれる。）を想定する。図１は本実施形態の広告システムにおいて表示されるＷｅｂページ１の一例を示す図である。Ｗｅｂページ１には、各種の情報（コンテンツ）の表示枠とともに、複数の広告枠２〜４が設けられている。本実施形態の広告配信システムは、これらの広告枠２〜４に表示させるための広告を配信するものであり、Ｗｅｂページ１を表示させるための情報（以下、画面情報という。）に広告を入れて送信することを想定している。
本実施形態の広告配信システムは、広告による広告効果を高めようとするものである。広告効果を示す指標としては、クリック率（ＣＴＲ）、広告収益（ＣＴＲ×入札額）、ＣＰＭ（Cost Per Mille）、ｅＣＰＭ（effective Cost Per Mille；１０００ページビューあたりの収益額）などがあるが、本実施形態では、説明を簡単にするため、広告効果はページ全体でのクリック率（ＣＴＲ）で示されるものとする。そして、本実施形態の広告配信システムは、広告枠ごとにクリックのされやすさを表す値（以下、バイアスという。）を求め、バイアスの大きい広告枠に予測クリック率の高い広告を表示することにより、Ｗｅｂページ１全体としてのクリック率を高めるようにしている。
なお、以下の説明において、広告枠を示す情報を「ポジション」と表記する。本実施形態において、ポジションとは、画面情報において先頭から何番目の広告枠であるかを示す数字であるものとする。また、画面情報はＨＴＭＬにより記述され、広告枠は画面情報における広告を表示するためのテキスト（タグおよびその内容を含む。以下、広告タグという。）であるものとする。
＝＝（２）システムの全体構成＝＝
図２は、本実施形態の広告配信システムの構成例を示す図である。本実施形態の広告配信システムは、ユーザ端末１０と通信ネットワーク３０を介して通信可能に接続されるＷｅｂサーバ２０を含んで構成される。
通信ネットワーク３０は、例えば公衆電話回線網や専用通信回線網、携帯電話回線網、無線通信網、イーサネット（登録商標）などにより構築される、インターネットやＬＡＮ（Local Area Network）である。
Ｗｅｂサーバ２０は、画像や動画、テキストなどの各種のコンテンツをＨＴＴＰ（HyperText Transfer Protocol）に従って提供する、例えばワークステーションやパーソナルコンピュータなどのコンピュータである。ユーザ端末１０は、Ｗｅｂサーバ２０が提供する各種のＷｅｂページを閲覧するブラウザを動作させる、例えばパーソナルコンピュータやタブレットコンピュータ、携帯電話端末、スマートフォン、ＰＤＡ（Personal Digital Assistant）などのコンピュータである。
ユーザ端末１０はＨＴＴＰのリクエストをＷｅｂサーバ２０に送信し、リクエストに応じてＷｅｂサーバ２０から送信される、ＨＴＭＬ（HyperText Markup Language）により記述されるＷｅｂページを受信してディスプレイに表示する。
＝＝（３）Ｗｅｂサーバ２０のハードウェア構成＝＝
図３はＷｅｂサーバ２０のハードウェア構成例を示す図である。Ｗｅｂサーバ２０は、ＣＰＵ２０１、メモリ２０２、記憶装置２０３、通信インタフェース２０４、入力装置２０５、出力装置２０６を備える。記憶装置２０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース２０４は、通信ネットワーク３０に接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置２０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置２０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。
＝＝（４）Ｗｅｂサーバ２０のソフトウェア構成＝＝
図４はＷｅｂサーバ２０のソフトウェア構成例を示す図である。Ｗｅｂサーバ２０は、ＨＴＴＰ処理部２１１、広告引当部２１２、リスティング処理部２１３、ポジション決定部２１４、Ｗｅｂページ作成部２１５、ログ収集部２１６、バイアス推定部２１７、Ｗｅｂ情報データベース２５１、レイアウトデータベース２５２、広告データベース２５３、バイアスデータベース２５４、インプレッションログ記憶部２５５、クリックログ記憶部２５６を備えている。
なお、ＨＴＴＰ処理部２１１、広告引当部２１２、リスティング処理部２１３、ポジション決定部２１４、Ｗｅｂページ作成部２１５、バイアス推定部２１７の各機能部は、Ｗｅｂサーバ２０が備えるＣＰＵ２０１が記憶装置２０２に記憶されているプログラムを実行することにより実現され、レイアウトデータベース２５２、広告データベース２５３、バイアスデータベース２５４、インプレッションログ記憶部２５５、クリックログ記憶部２５６の各記憶部は、Ｗｅｂサーバ２０が備えるメモリ２０２及び記憶装置２０３が提供する記憶領域の一部として実現される。
＝＝（５）記憶部の説明＝＝
Ｗｅｂ情報データベース２５１は、Ｗｅｂページを作成するための情報（以下、Ｗｅｂ情報という。）を記憶する。Ｗｅｂ情報は、例えば、ＨＴＭＬで記述されたファイルや、ＣＧＩ（Common Gateway Interface）などの仕組みにより実行されるプログラムを格納したプログラムファイル、画像ファイルなどである。Ｗｅｂ情報データベース２５１は、例えば、Ｗｅｂサーバ２０で動作するオペレーティングシステムが提供するファイルシステムのディレクトリやフォルダにより実現することができる。
レイアウトデータベース２５２は、Ｗｅｂページにおける広告の配置に関する情報（以下、レイアウト情報という。）を記憶する。図５は、レイアウトデータベース２５２に記憶されるレイアウト情報の構成例を示す図である。レイアウト情報には、Ｗｅｂページを示すＵＲＬ（Uniform Resource Locator）のパターンに対応付けて、そのＷｅｂページのレイアウトを示す情報（レイアウトＩＤ）が含まれる。レイアウトＩＤが同じＷｅｂページでは同じ位置に広告枠が設けられる。
広告データベース２５３は、広告を表示するための情報（以下、広告情報という。）を記憶する。図６は、広告データベース２５２に記憶される広告情報の構成例を示す図である。広告情報には、広告の識別情報である広告ＩＤに対応付けて、広告のカテゴリ、広告に関する情報（ランディングページと呼ばれる。）のＵＲＬ、広告として表示するタイトル、入札額、クリック率（ＣＴＲ）などが含まれる。
本実施形態では、広告ＩＤおよび広告枠を示すポジションが指定された所定のＵＲＬ（ホスト名にＷｅｂサーバ２０が指定されるものとする。以下、リダイレクトＵＲＬという。）へのリンクを設定して、タイトルの文字列が広告として表示されるものとする。広告がクリックされると、広告ＩＤを含むリクエストがＷｅｂサーバ２０に送信され、後述するログ収集部２１６によりクリックされたことのログが収集され、ＨＴＴＰ処理部２１２により広告ＩＤに対応する広告情報のＵＲＬにリダイレクトされる（例えば、当該ＵＲＬをリダイレクト先として指定した応答が送信される。）。これにより、広告に応じたユーザの行動（クリック）を検知することができる。
入札額は、広告がクリックされた場合に広告主から支払われる単価であり、広告主により決定される。クリック率は、過去に広告がクリックされた数を、過去に広告が表示された回数（インプレッション数と呼ばれる。）で割った値（実クリック率）である。インプレッション数とクリック数は、後述するインプレッションログ記憶部２５５およびクリックログ記憶部２５６に管理される。なお、本実施形態では、広告情報に含まれる実クリック率をそのまま予測クリック率として用いるものとするが、実クリック率以外の要因を考慮して、実クリック率に基づいて予測クリック率を算出するようにしてもよい。
なお、広告として画像や動画などを表示し、あるいは音声を出力させるようにしてもよく、その場合には、例えば広告情報には、広告として表示する画像や動画のデータを示すＵＲＬを追加するようにすることができる。
バイアスデータベース２５４はバイアスに関する情報（以下、バイアス情報という。）を記憶する。図７はバイアスデータベース２５４に記憶されるバイアス情報の構成例を示す図である。バイアス情報は、レイアウトＩＤおよびポジションに対応付けて、当該レイアウトＩＤが示すレイアウトのＷｅｂページにおける、ポジションが示す広告枠についてのバイアスを含む。本実施形態では、ポジション「１」におけるクリック率を「１．０」として、ポジション「１」のクリック率に対する他のポジションのクリック率の比がバイアスとして登録される。なお、バイアスデータベース２５４に管理されるバイアス情報は、後述するバイアス推定部２１１により更新される。
インプレッションログ記憶部２５５は、広告が表示されたこと（インプレッションと呼ばれる。本発明の表示回数情報に該当する。）を示す情報（以下、インプレッションログという。）を記憶する。図８は、インプレッションログ記憶部２５５に記憶されるインプレッションログの構成例を示す図である。インプレッションログには、Ｗｅｂページ１に広告が表示された日時（配信日時）、Ｗｅｂページ１を示すＵＲＬ、広告が表示されたポジション、表示された広告を示す広告ＩＤが含まれる。
図１のＷｅｂページ１の例では、３つの広告が表示されているので、Ｗｅｂページ１が１度閲覧されると３つのインプレッションログが登録されることになる。
クリックログ記憶部２５６は、Ｗｅｂページ１に表示された広告がクリックされたことを示す情報（以下、クリックログという。本発明の行動回数情報に該当する。）を記憶する。図９は、クリックログ記憶部２５６に記憶されるクリックログの構成例を示す図である。クリックログには、クリックされた広告を示す広告ＩＤ、広告が表示されたＷｅｂページ１のＵＲＬ、広告が表示されたポジション、およびクリックされた日時（クリック日時）が含まれる。
＝＝（６）機能部の説明＝＝
ＨＴＴＰ処理部２１１は、ＨＴＴＰの処理を行う。ＨＴＴＰ処理部２１２は、ユーザ端末１０から送信されるＨＴＴＰのリクエストを受信し、リクエストに応じた応答処理を行う。
リクエストにリダイレクトＵＲＬが指定されていた場合、ＨＴＴＰ処理部２１２は、後述するログ収集部２１６を呼び出してクリックログを登録させた上で、リクエストに含まれている広告ＩＤに対応する広告情報を広告データベース２５３から読み出し、読み出した広告情報に含まれているＵＲＬをリダイレクト先として指定した応答をユーザ端末１０に応答する。
リクエストにリダイレクトＵＲＬ以外の、Ｗｅｂページを示すＵＲＬが指定された場合には、ＨＴＴＰ処理部２１１は、Ｗｅｂページ作成部２１２を呼び出してＷｅｂページを表示するための情報（以下、画面情報という。画面情報は例えばＨＴＭＬファイルである。）を作成させ、Ｗｅｂページ作成部２１２が作成した画像情報をユーザ端末１０に応答し、ログ収集部２１６を呼び出してインプレッションログを登録させる。
広告引当部２１２は、表示する広告の候補を選択する。広告選択部２１２は、広告データベース２５３から所定数（例えば１０個や５０個、１００個など、任意の数を指定することができる。）の広告情報を広告候補として読み出す。本実施形態では、説明を簡単にするために、広告引当部２１２は、広告情報に含まれるクリック率を予測クリック率として、予測クリック率の多い順に所定数の広告情報を広告候補として決定するものとするが、例えば、ユーザの属性に応じて広告候補を決定してもよいし、広告ごとにＣＴＲ、ＣＰＭ、ｅＣＰＭなどに応じて評価を行い、評価の高い順に所定数の広告情報を広告候補として決定してもよい。なお、広告引当部２１２が、数ある広告の中から所定数の広告を選択する処理については、一般的な広告の選択処理を用いることができる。
リスティング処理部２１３は、広告引当部２１２が決定した広告候補の中から、表示する広告（以下、表示広告という。）を決定する。本実施形態では、説明を簡単にするために、広告引当部２１２が決定した広告候補のうち、予測クリック率に入札額を乗じた値（期待収益値）が大きいものから順にｎ個（Ｗｅｂページのレイアウトに応じて所定の個数が決定されるものとする。）の広告情報を選択するものとする。なお、リスティング処理部２１３は、たとえば、Ｗｅｂページ１に広告とともに表示されるコンテンツの内容やアクセスしてきたユーザの属性などに広告の内容（広告のカテゴリや広告のタイトルに記載されている文字列、ランディングページに記載されている文字列など）にマッチする度合いに応じて広告を選択するようにしてもよいし、検索エンジンにおける検索結果を応答する場合には、広告の内容が検索キーワードにマッチする度合いに応じて広告を選択するようにしてもよい。また、リスティング処理部２１３による広告の決定処理には、他の一般的な検索連動広告（リスティング広告）やコンテンツマッチング広告に用いられている処理を採用してもよい。
ポジション決定部２１４は、リスティング処理部２１３が決定した表示広告をどの広告枠に表示させるかを決定する。ポジション決定部２１４は、予測クリック率の高い広告ほど、バイアスの大きい広告枠に表示されるように、表示広告にポジションを割り当てる。なお、ポジション決定部２１４は、たとえば、表示広告の予測クリック率にバイアスおよび入札額を乗じた値の合計値が最大となるように、表示広告にポジションを割り当てるようにしてもよい。
Ｗｅｂページ作成部２１５は、ＨＴＴＰ処理部２１１が受信したリクエストに応じて画面情報を作成する。Ｗｅｂページ作成部２１５は、リクエストに指定されるＵＲＬに対応するＷｅｂ情報をＷｅｂ情報データベース２５１から読み出し、読み出したＷｅｂ情報に基づいて画像情報を作成するとともに、リスティング処理部２１３により決定された表示広告が、ポジション決定部２１４が割り当てたポジションの示す広告枠に表示されるように、広告情報を画面情報に追加する。またＷｅｂページ作成部２１５は、表示広告がクリックされた場合にはリダイレクトＵＲＬにアクセスするように、例えばリンクタグを設定した文字列を画面情報に挿入する。なお、Ｗｅｂページ作成部２１６が、広告以外の各種のコンテンツを作成する処理については、一般的なＷｅｂサーバによる処理を用いるものとして、ここでは説明を省略する。
ログ収集部２１６は、インプレッションログ及びクリックログを登録する。
リクエストにリダイレクトＵＲＬが指定されていた場合、ログ収集部２１６は、リダイレクトＵＲＬに指定されている広告ＩＤおよびポジション、リクエストに含まれるリファラ（クリックされた広告が表示されていたＷｅｂページを示すＵＲＬ）、ならびに現在の日時を設定したクリックログを作成してクリックログ記憶部２５６に登録する。また、ログ収集部２１６は、当該広告ＩＤに対応する広告情報のクリック率を更新する。すなわち、ログ収集部２１６は、広告ＩＤに対応するクリックログの数とインプレッションログの数を、クリックログ記憶部２５６およびインプレッションログ記憶部２５５からそれぞれカウントし、クリックログの数をインプレッションログの数で割ったクリック率を算出し、これを広告ＩＤに対応する広告情報のクリック率に設定するように広告データベース２５３を更新する。なお、ログ収集部２１６は、クリックログを登録する際にクリック率を算出して広告情報を更新するものとするが、広告引当部２１２が広告候補を選択する際に、インプレッションログ記憶部２５５およびクリックログ記憶部２５６を参照して予測クリック率を算出するようにしてもよい。
リクエストにリダイレクトＵＲＬ以外のＵＲＬが指定されていた場合、ログ収集部２１６は、リスティング処理部２１３が決定した表示広告のそれぞれについて、現在日時、リクエストに指定されたＵＲＬ、ポジション決定部２１４が当該表示広告に割り当てたポジション、および広告を示す広告ＩＤを含むインプレッションログを作成してインプレッションログ記憶部２５５に登録する。
バイアス推定部２１７（本発明の広告評価部、広告グループ生成部およびバイアス推定部に該当する。）は、インプレッションログおよびクリックログに基づいてバイアスを推定する。上述したように、バイアスとは広告枠ごとのクリックされやすさであり、本実施形態では、「１」のポジションが示す広告枠（以下、基準広告枠という。）に広告が表示された場合のクリック率に対する、他の広告枠に広告が表示された場合のクリック率の比である。本実施形態では、基準広告枠のクリック率を「１」とした値である。
＝＝（７）バイアスの推定処理（ポジション別平均ＣＴＲ比）＝＝
図１０は、ポジションのバイアスを推定する処理の流れを示す図である。バイアス推定部２１７は、各レイアウトについて以下の処理を行う。
バイアス推定部２１７は、当該レイアウトのレイアウトＩＤに対応するパターンをレイアウトデータベース２５２から読み出し（Ｓ４０１）、ポジションｋを１に初期化する（Ｓ４０２）。
バイアス推定部２１７は、インプレッションログ記憶部２５５から、ＵＲＬが上記パターンにマッチし、かつ、ポジションがｋであるインプレッションログの数をカウントしてインプレッション数とし（Ｓ４０３）、クリックログ記憶部２５６から、ＵＲＬが上記パターンにマッチし、かつ、ポジションがｋであるクリックログの数をカウントしてクリック数とする（Ｓ４０４）。バイアス推定部２１７は、クリック数をインプレッション数で割った商を、ポジションｋについてのクリック率とする（Ｓ４０５）。
バイアス推定部２１７は、ポジションｋについてのクリック率をポジション１についてのクリック率で割ってバイアスとする（Ｓ４０６）。バイアス推定部２１７は、ポジションｋと、算出したバイアスとを対応付けてバイアスデータベース２５４に登録する（Ｓ４０７）。バイアス推定部２１７は、ｋをインクリメントし（Ｓ４０８）、ｋが当該レイアウトにおける広告枠の数ｎ（なお、ｎはレイアウトごとに所与のものとする。）を超えるまで（Ｓ４０９：ＮＯ）、ステップＳ４０３からの処理を繰り返す。
以上の処理を、各レイアウトについて行うことにより、各レイアウトについて、ポジションごとのバイアスがバイアスデータベース２５４に登録される。
＝＝（８）リクエスト処理＝＝
図１１は、Ｗｅｂサーバ２０により行われるリクエスト処理の流れを示す図である。
ＨＴＴＰ処理部２１１は、ユーザ端末１０からＨＴＴＰのリクエストを受信すると（Ｓ５０１）、リクエストにリダイレクトＵＲＬが指定されているか否かにより、広告がクリックされたか否かを判定する（Ｓ５０２）。
広告がクリックされたと判定した場合（Ｓ５０２：ＹＥＳ）、ログ収集部２１６は、リダイレクトＵＲＬに設定されている広告ＩＤに対応する広告情報を広告データベース２５２から読み出し、リクエストに設定されている広告ＩＤ、当該広告ＩＤが示す広告が表示されていたＷｅｂページを示すＵＲＬ、リクエストに設定されているポジション、および現在日時を含むクリックログを作成してクリックログ記憶部２５６に登録する（Ｓ５０３）。なお、広告が表示されていたＷｅｂページを示すＵＲＬは、たとえばリクエストに設定されているリファラを読み出すことにより取得することができる。また、たとえば、Ｗｅｂサーバ２０がユーザ端末１０ごとにセッションを確立し、セッション情報として前回表示したＷｅｂページ１のＵＲＬを記録しておき、セッション情報として記録されたＵＲＬを広告が表示されていたＵＲＬとして取得するようにしてもよいし、リダイレクトＵＲＬに、広告が表示されていたＷｅｂページのＵＲＬをエンコードして設定するようにしてもよい。
ログ収集部２１６は、クリックログ記憶部２５６から、リダイレクトＵＲＬに設定されている広告ＩＤに対応するクリックログの数をカウントし（Ｓ５０４）、インプレッションログ記憶部２５５から、当該広告ＩＤに対応するインプレッションログの数をカウントし（Ｓ５０５）、クリック数をインプレッション数で割ってクリック率を算出する（Ｓ５０６）。ログ収集部２１６は、広告データベース２５３において当該広告ＩＤに対応する広告情報のクリック率を、上記算出したクリック率に更新する（Ｓ５０７）。
ＨＴＴＰ処理部２１１は、広告情報のＵＲＬにリダイレクトするようにＨＴＴＰのレスポンスをユーザ端末１０に送信する（Ｓ５０８）。
一方、広告がクリックされていないと判断した場合には（Ｓ５０２：ＮＯ）、後述する図１３の処理により、表示広告が決定されて各表示広告にポジションが割り当てられる（Ｓ５０９）。なお、広告情報の決定およびポジションの割当処理の詳細については後述するが、この処理により作成される広告リスト５１の構成例を図１２に示す。広告リスト５１の各レコードには、表示広告を示す広告ＩＤ、表示広告のタイトル、および当該表示広告に割り当てられたポジションが含まれる。
Ｗｅｂページ作成部２１５は、リクエストに設定されているＵＲＬ（以下、ページＵＲＬという。）に応じて各種のコンテンツを表示するためのＨＴＭＬファイルなどの画面情報を作成する（Ｓ５１０）。なお、ステップＳ５１０における画面情報の作成処理は、一般的なＷｅｂサーバによる処理を採用することができる。
Ｗｅｂページ作成部２１５は、広告リスト５１の各レコードについて、レコードに含まれる広告ＩＤおよびポジションを引数に設定したリダイレクトＵＲＬを作成し（Ｓ５１１）、レコードに含まれるポジションに対応する広告枠に広告が表示されるように、レコードに含まれるタイトルを内容として含むリダイレクトＵＲＬへのリンクタグ（例えば、「<a href="http://www.foobar.com/ad?id=xxxx">タイトル</a>」という形式とすることができる。）を画面情報に挿入する（Ｓ５１２）。
ＨＴＴＰ処理部２１１は、作成された画面情報をリクエストへの応答としてユーザ端末１０に送信する（Ｓ５１３）。ログ収集部２１６は、広告リスト５１に含まれる各レコードについて、現在日時およびページＵＲＬならびに、レコードに含まれる広告ＩＤおよびポジションを含むインプレッションログを作成してインプレッションログ記憶部２５５に登録する（Ｓ５１４）。
＝＝（９）表示広告の決定とポジションの割当＝＝
図１３は、ステップＳ５０９における表示広告の選択およびポジションの割当を行う処理の流れを示す図である。
広告引当部２１２は、広告データベース２５３から所定数ｍ個の広告情報を抽出して候補リストとする（Ｓ５２１）。なお、広告データベース２５３からどのような広告情報を抽出するかは任意に設定可能である。例えば、ランダムにｍ個の広告情報を抽出するようにしてもよいし、予測クリック率の高いものから順にｍ個の広告を抽出するようにしてもよい。また、Ｗｅｂページに表示されるコンテンツにマッチする広告を抽出するようにしてもよいし、ユーザの属性にマッチする広告を抽出するようにしてもよい。
リスティング処理部２１３は、レイアウトデータベース２５２から、パターンがページＵＲＬにマッチするレイアウトＩＤを読み出し（Ｓ５２２）、読み出したレイアウトＩＤに対応するポジションおよびバイアスをバイアス推定部２１７から取得し（Ｓ５２３）、当該レイアウトにおける広告枠の数ｎを取得する（Ｓ５２４）。なお、ｎはレイアウトごとに所与のものとする。リスティング処理部２１３は、広告情報のクリック率を予測クリック率として、候補リスト中から予測クリック率の大きい順にｎ個の広告情報を抽出したものを候補リストとする（Ｓ５２５）。
ポジション決定部２１４は、予測クリック率の高い広告ほどバイアスが高くなるように、ポジションを割り当てる（Ｓ５２６）。たとえば図１４のように候補リスト５２として３つの広告が抽出されており、バイアスがリスト５３に示すようになっていた場合、最も予測クリック率の高い「Ａ０００１」に対しては、最もバイアスの高いポジション「３」が割り当てられ、２番目に予測クリック率の高い「Ａ０００３」には、２番目にバイアスの高いポジション「１」が割り当てられ、最後の「Ａ０００２」の広告には、３番目にバイアスの高いポジション「２」が割り当てられることになる。
リスティング処理部２１３は、候補リストに含まれている広告情報のそれぞれについて、広告情報に含まれている広告ＩＤおよびタイトルと、ポジション決定部２１４により割り当てられたポジションを対応付けて、広告リストに追加する（Ｓ５２７）。
以上のようにして表示広告の選択とポジションの割当が行われる。
＝＝（１０）効果例＝＝
以上説明したように、本実施形態の広告配信システムによれば、広告枠（ポジション）ごとにバイアスを推定することができる。Ｗｅｂページのレイアウトによっては、必ずしもページの上方ほどクリックされやすいとは限らないが、広告枠ごとのバイアスを把握することにより、Ｗｅｂページのクリックされやすい位置を容易に把握することができる。したがって、たとえばバイアスを考慮して広告の評価を補正することが可能となり、広告枠に表示される広告の評価をより正確に行うことができる。
また、本実施形態の広告配信システムでは、バイアスは、基準広告枠のクリック率を基準とした各広告枠のクリック率の比としているため、広告枠に応じた予測クリック率の補正を容易に計算することができる。たとえば、広告の予測クリック率に、当該広告が表示される広告枠のバイアスを乗じることにより、広告枠に応じた広告の予測クリック率の補正を容易に計算することができる。
また、本実施形態の広告配信システムによれば、バイアスの高い広告枠ほど予測クリック率の高い広告を割り当てているので、Ｗｅｂページ全体のクリック率を向上させることができる。したがって、広告主にとっては、広告効果を向上させることが可能となり、広告の掲載者（Ｗｅｂサーバ２０の運営者）にとっては、クリックにより広告料が発生する場合には広告による収益を向上させることが可能となる。
また、本実施形態の広告配信システムでは、レイアウトごとに広告枠のバイアスを推定し、バイアスの高い広告枠に予測クリック率の高い広告を表示させることができる。したがって、様々なレイアウトの複数のＷｅｂページを配信するＷｅｂサイト全体でのクリック率を向上させることができる。よって、Ｗｅｂサイト全体での広告効果を向上させるとともに、広告による収益を向上させることができる。
また、本実施形態の広告配信システムでは、広告枠（ポジション）ごとにクリック率の平均値を算出し、その平均クリック率に基づいてバイアスとして推定している。したがって、ポジションごとのクリック率を算出可能なログ（本実施形態ではクリックログとインプレッションログとしたが、これに限らず、たとえばポジションごとにクリック数とインプレッション数を対応付けるログであってもよい。）があればバイアスを容易に算出することができる。
＝＝（１１）変形例１：基準広告についてのポジション別平均ＣＴＲ比＝＝
上記図１０に示したバイアスの推定処理では、全ての広告についてのポジションごとのクリック率の比をバイアスとして算出するものとしたが、ある特定の広告についてのみポジションごとのクリック率の比を算出するようにしてもよい。
図１５は、基準となる広告（以下、基準広告という。）についてのクリック率の比をバイアスとして推定する処理の流れを示す図である。
バイアス推定部２１７は、まず基準広告を１つ決定し、基準広告の広告ＩＤを基準広告ＩＤとした後（Ｓ４２１）、図１０と同様に、各レイアウトについて、当該レイアウトのレイアウトＩＤに対応するパターンをレイアウトデータベース２５２から読み出し（Ｓ４０１）、ポジションｋを１に初期化する（Ｓ４０２）。
バイアス推定部２１７は、ステップＳ４０３に代えて、インプレッションログ記憶部２５５から、ＵＲＬがパターンにマッチし、ポジションがｋであり、広告ＩＤが基準広告ＩＤであるインプレッションログの数をカウントしてインプレッション数とする（Ｓ４２２）。また、バイアス推定部２１７は、ステップＳ４０４に代えて、クリックログ記憶部２５６から、ＵＲＬがパターンにマッチし、ポジションがｋであり、広告ＩＤが基準広告ＩＤであるクリックログの数をカウントしてクリック数とする（Ｓ４２３）。ステップＳ４０５〜Ｓ４０９については図１０と同様である。
以上のようにして、基準広告についてのクリック率が広告枠によってどれだけ変わるのかを、基準広告枠のクリック率を１とした比により算出し、これをバイアスとすることができる。この場合、同一の広告についてのログに基づいて、広告枠ごとのクリック率の比をバイアスとすることができる。広告によってクリック率はかなり異なることが知られているので、同じ広告を用いることにより、広告そのものによるクリック率への影響を排除し、広告枠がクリック率に及ぼす影響度を正しくバイアスとして評価することができる。
なお、基準広告としてバイアス測定用に１つの広告を新たに準備するようにしてもよいし、様々な広告枠に配信されている広告が存在している場合には、その広告を基準広告として設定してもよい。
バイアス測定用に基準広告を新たに準備する場合、広告引当部２１２およびリスティング処理部２１３は基準広告を常に広告候補および表示広告として決定するようにし、ポジション決定部２１４は、基準広告についてはランダムに広告枠を割り当て、その他の広告については、基準広告に割り当てた広告枠以外の広告枠をバイアスの大きい順に割り当てることができる。このように基準広告がランダムな広告枠に表示されるように、所定期間、広告を配信するようにすることができる。基準広告を用いることにより、同一の広告を用いて広告枠ごとのクリック率を測定することができるので、バイアスを正確に把握することができる。
様々な広告枠に配信されている広告を基準広告とする場合、新たに準備した基準広告をランダムに配信する場合に比べて、基準広告自身の広告効果が低下してしまうような可能性を低減することができる。
また、基準広告は複数設定するようにしてもよい。この場合、ステップＳ４２２およびＳ４２３において、ＵＲＬがパターンにマッチし、ポジションがｋであり、かつ広告ＩＤが、選択した複数の基準広告ＩＤのいずれかに一致するインプレッションログおよびクリックログの数をカウントするようにすればよい。
＝＝（１２）変形例２：グループごとのポジション別平均ＣＴＲ比の平均＝＝
上記変形例１では、基準広告についてのポジション別の平均クリック率の比をバイアスとしたが、クリック率に応じて広告をグループ分けし、グループごとに変形例１と同様にポジション別のバイアスを算出し、これをポジション別に平均することでバイアスを求めるようにしてもよい。図１６は、クリック率によるグループごとのポジション別平均クリック率からバイアスを推定する処理の流れを示す図である。
バイアス推定部２１７は、図１０と同様に、各レイアウトについて、当該レイアウトのレイアウトＩＤに対応するパターンをレイアウトデータベース２５２から読み出し（Ｓ４０１）、ポジションｋを１に初期化する（Ｓ４０２）。
バイアス推定部２１７は、広告データベース２５３におけるクリック率の最小値（０としてもよい。）をクリック率ｘとし（Ｓ４４１）、広告データベース２５３から、クリック率がｘ以上であり、かつ、クリック率がｘに所定のステップ値を加算した値未満である広告情報の広告ＩＤを読み出して基準広告ＩＤとする（Ｓ４４２）。なお、ステップ値は、例えば、０．０１％や０．１％など任意の値が設定されるものとしてもよいし、クリック率の最大値から最小値を引いた値を所定のグループ数で割った値としてもよい。
バイアス推定部２１７は、図１０のステップＳ４０３に代えて、インプレッションログ記憶部２５５から、ＵＲＬがパターンにマッチし、ポジションがｋであり、広告ＩＤが基準広告ＩＤに含まれるインプレッションログの数をカウントしてインプレッション数とする（Ｓ４４３）。また、バイアス推定部２１７は、ステップＳ４０４に代えて、クリックログ記憶部２５６から、ＵＲＬがパターンにマッチし、ポジションがｋであり、広告ＩＤが基準広告ＩＤに含まれるクリックログの数をカウントしてクリック数とする（Ｓ４４４）。
バイアス推定部２１７は、ステップ４０５に代えて、クリック数をインプレッション数で割った商を、ポジションｋおよびクリック率ｘごとのクリック率（ｋ，ｘ）とし（Ｓ４４５）、このクリック率（ｋ，ｘ）を、クリック率ｘに対応するポジション「１」のクリック率（１，ｘ）で割った値を、クリック率ｘに対応するバイアスＢ（ｘ）とする（Ｓ４４６）。
バイアス推定部２１７は、ｘにステップ値を加算し（Ｓ４４７）、ｘが、広告データベース２５３におけるクリック率の最大値（所与の最大値としてもよい。）を超えるまで（Ｓ４４８：ＮＯ）、ステップ４４２からの処理を繰り返す。
ｘが最大値を超えると（Ｓ４４８：ＹＥＳ）、バイアス推定部２１７は、クリック率ごとのバイアスＢ（ｘ）を平均して、ポジションｋに対応するバイアスとし（Ｓ４４９）、ステップＳ４０７〜Ｓ４０９は図１０と同じである。
図１７は、クリック率ｘおよびポジションｋごとのバイアスＢ（ｋ，ｘ）を示すグラフ５４の一例を示す図である。グラフ５４では、０．０１％ごとのクリック率ｘのそれぞれについて、ポジションｋ別のバイアスがプロットされている。各クリック率ｘについてのバイアスを、ポジションｋごとに平均したものがバイアスデータベース２５４に登録される。
以上のようにして、クリック率に応じて広告をグループ分けし、グループごとに変形例１と同様にポジション別のバイアスを算出し、これをポジション別に平均することでバイアスを推定することができる。クリック率の近い広告をグループに分けていることから、広告そのものによるクリック率の影響を懸念することなく、広告枠がクリック率に及ぼす影響度を正しくバイアスとして評価することができる。
また、基準広告を指定する場合に比べて、バイアスを決定する際に用いるログの数を増やすことができるので、バイアスの信頼度を向上することが可能となり、バイアス測定のために新たに広告を配信することなく、クリックログやインプレッションログに基づいてバイアスを推定することができる。
また、クリックログやインプレッションログに関する広告配信時において、上から順（ポジションの小さい順）に予測クリック率の高い広告が配信されていた場合には、ポジションが小さい程予測クリック率の高い広告が表示される可能性が高く、単純にポジションごとのクリック率を平均するだけでは、小さいポジションほどクリック率が高く評価されてしまうような偏りが存在することになるが、変形例２のように、クリック率の近い広告についてのみ、ポジションごとのクリック率を平均することにより、上記のような偏りを発生させないようにバイアスを推定することができる。したがって、バイアスの精度を向上させることができる。
＝＝（１３）変形例３：モデル推計＝＝
変形例２では、クリック率およびポジションごとのクリック率の比を、ポジションごとに平均してバイアスとして算出したが、これを回帰分析によりバイアスを算出するようにしてもよい。変形例３では、ポジションごとのクリック率についての統計モデル（以下、ＣＴＲモデルという。）を推計することによりバイアスを決定する。
まず、同一のクリック率の広告であれば、ポジションごとのクリック率も同じとなることを想定する。広告ｉのクリック率をｘｉ、ポジションｋにおける広告ｉのクリック率をｙｋｉとした場合に、基準広告枠を示すポジション「１」のクリック率ｙ１ｉは次式（１）により表される。
Figure 0005491556
ここで、関数ｆは
Figure 0005491556
である。
他のポジションｋのバイアスはポジション１のバイアスに対する比である。したがって、ポジションｋのバイアスをｒｋとして、ポジションｋのクリック率ｙｋｉを表すＣＴＲモデルは、次式（３）により表される。
Figure 0005491556
このＣＴＲモデルを実際のクリック率から推計する。なお、ポジション「１」のバイアスｒ１は１であるものとして推計を行う。
本実施形態ではＣＴＲモデルの推計に最小二乗法を用いる。最小化する目的関数は次式（４）になる。
Figure 0005491556
式（４）においてＬが最小となるａ，ｂおよびｒｋを求める。本実施形態では、式（４）についてｆおよびｒを交互に最適化していく。
まずｒを固定してｆを最適化する。式（４）は次のように変形できる。
Figure 0005491556
すなわち、広告ごとのクリック率ｘｉについて、重みをｒｋ ２とし、ポジションごとのクリック率ｙｋｉに１／ｒｋを乗じた上で、ｆを最適化することになる。
次にｆを固定してｒを最適化する。式（５）をｒｋについて微分して０とおくと次式（６）となる。
Figure 0005491556
式（５）についてのｆの最適化と式（６）の計算とを交互にくり返し行うことにより、最終的なバイアスｒｋを算出する。本実施形態では、１以外の全てのポジションｋについてバイアスｒｋの変化量が所定値以下となって収束するまで、式（５）についての最適化と式（６）の計算とを交互に行うものとするが、たとえば所定回数の算出処理を行ったところで計算処理を終了してもよい。
図１８は、ＣＴＲモデルの推計処理の流れを説明する図である。バイアス推定部２１７は、各レイアウトについて以下の処理を行う。
バイアス推定部２１７は、当該レイアウトのレイアウトＩＤに対応するパターンをレイアウトデータベース２５２から読み出し（Ｓ６０１）、図１９に示すクリック率の算出処理を行う（Ｓ６０２）。
バイアス推定部２１７は、すべての広告ｉについて、広告データベース２５３から広告情報に含まれるクリック率を読み出して、広告ｉについてのクリック率ｘｉとする（Ｓ６２１）。バイアス推定部２１７は、すべてのポジションｋについて、インプレッションログ記憶部２５５から、ＵＲＬが上記パターンにマッチし、ポジションがｋであり、広告ＩＤが広告ｉを示すインプレッションログの数をカウントして、ポジションｋおよび広告ｉに対応するインプレッション数Ｐｋｉとする（Ｓ６２２）。バイアス推定部２１７は、クリックログ記憶部２５６から、ＵＲＬが上記パターンにマッチし、ポジションがｋであり、広告ＩＤが広告ｉを示すクリックログの数をカウントして、ポジションｋおよび広告ｉに対応するクリック数Ｃｋｉとする（Ｓ６２３）。バイアス推定部２１７は、クリック数Ｃｋｉをインプレッション数Ｐｋｉで割った商を、ポジションｋおよび広告ｉについてのクリック率ｙｋｉとする（Ｓ６２４）。
図１８に戻り、バイアス推定部２１７は、すべてのポジションｋについてバイアスｒｋを１に初期化する（Ｓ６０３）。
バイアス推定部２１７は、式（５）に関してｆを最適化する（Ｓ６０４）。すなわち、バイアス推定部２１７は、各広告ｉのクリック率ｘｉについて、重みをｒｋ ２とし、ポジションｋごとのクリック率ｙｋｉに１／ｒｋを乗じた上で、Ｌが最小となるようにｆの係数ａ，ｂを推計することになる。なお、最適化処理は一般的な最小二乗法によるものである。また、バイアス推定部２１７は、たとえば、０．００１％や０．００５％などの所定のステップ値ごとにｘｉおよびｙｋｉを丸めた上で式（５）を最適化するものとする。
バイアス推定部２１７は、２以上の各ポジションｋについて、式（６）によりバイアスｒｋを算出する（Ｓ６０５）。すなわち、バイアス推定部２１７は、最適化した係数ａ，ｂを式（２）に設定したｆ（ｘｉ）に各広告ｉのクリック率ｘｉを与えた結果に、各広告ｉおよびポジションｋについてのクリック率ｙｋｉを乗じた値の合計を、上記ｆ（ｘｉ）に各広告ｉのクリック率ｘｉを与えたものの二乗の合計で割った商をバイアスｒｋとして算出する。
バイアス推定部２１７は、バイアスｒｋが収束するまで（Ｓ６０６：ＮＯ）、ステップＳ６０４〜Ｓ６０５の処理を繰り返す。たとえば、バイアス推定部２１７は、最初のステップＳ６０６の判断処理では収束していないと判断し、バイアスｒｋを前回値ｋとしてメモリ２０２に記憶しておき、２回目以降の判断処理では、各ポジションｋについて、今回ステップＳ６０５で計算したｒｋとメモリ２０２に記憶されている前回値ｋとの差を算出し、この差の大きさがすべてのポジションｋについて所定の閾値以内となったときに収束したと判定し、上記差の大きさのいずれかが閾値以内になければ、バイアスｒｋを前回値としてメモリ２０２に記憶して、収束していないと判断するようにする。なお、ステップＳ６０４およびＳ６０５の処理を所定回（たとえば５回や１０回など任意の数とすることができる。）計算したところで収束したものと判断してもよい。
バイアス推定部２１７は、バイアスｒｋが収束すると（Ｓ６０６：ＮＯ）、各ポジションｋについて、ポジションｋとバイアスｒｋとを対応付けてバイアスデータベース２５４に登録する（Ｓ６０７）。
以上のようにして、ＣＴＲモデルを推計することによりバイアスｒｋを推定することができる。変形例３では、ＣＴＲモデルを用いて近似式を計算しているので、ポジションによって、表示される広告のクリック率のバラツキに偏りがある場合でも、正確にバイアスを推定することができる。
たとえば、上から順にＣＴＲやＣＰＭ、ｅＣＰＭなどの高い広告を表示しているＷｅｂサーバ２０では、画面上方に位置する広告枠には常にクリック率の高い広告が表示され、画面下方に位置する広告枠には常にクリック率の低い広告が表示されていることがあり、このＷｅｂサーバ２０に蓄積された過去のインプレッションログやクリックログを分析するような場合には、高いクリック率の広告が画面下方に表示されたログがほとんど存在しないことも想定し得る。しかし、このようにログに偏りがある場合でも、ＣＴＲモデルを推計してバイアスを求めることにより、より正確なバイアスを推定することができる。
また、変形例３では、ｆ（ｘｉ）を式（１）のように線形式とした上で、式（５）および式（６）を繰り返し計算し、バイアスｒｋを収束させることによりバイアスｒｋを推定しているので、式（４）の目的関数を直接最適化する計算を行う場合に比べて、最適化処理の処理負荷を軽減することができる。
もっとも、バイアス推定部２１７は、式（４）を直接最適化するようにしてもよい。この場合、より正確なバイアスｒｋを推定することができる。
＝＝（１４）その他の変形例＝＝
また、本実施形態では、広告の配信にバイアスを利用する広告配信システムについて説明したが、バイアスは広告を評価する他のシステムにも容易に適用することができる。たとえば、広告の評価値（予測クリック率や広告収益、ＣＰＭ、ｅＣＰＭなど）を分析する際に、表示された広告枠のバイアスを広告の評価値に乗じることにより評価値を補正することができる。この場合、広告の評価をより精度良く行うことができる。また、コンテンツと広告のマッチングを行うマッチングエンジンの性能評価を行う際に、補正した広告の評価値を用いることにより、マッチングエンジンの評価をより正確に行うこともできる。
また、本実施形態では、広告配信システムは１台のＷｅｂサーバ２０から構成されるものとしたが、これに限らず、複数のコンピュータにより構成してもよい。たとえば、ＨＴＴＰ処理部２１１をＷｅｂサーバ２０により実現させ、広告引当部２１２〜バイアス推定部２１７の各機能部をアプリケーションサーバに実現させ、Ｗｅｂ情報データベース２５１〜クリックログ記憶部２５６の各記憶部をデータベースサーバにより実現させるような構成とすることもできる。
また、たとえば、バイアスの推定処理をＷｅｂサーバ２０とは異なるバイアス推定装置として独立させてもよい。バイアス推定装置は、バイアス推定部２１７と、Ｗｅｂサーバ２０の広告データベース２５３から広告情報を取得する広告情報取得部、インプレッションログ記憶部２５５からインプレッションログを取得するインプレッションログ取得部と、クリックログ記憶部２５６からクリックログを取得するクリックログ取得部とを備えるようにし、図１０、図１５、図１６または図１８に示す処理により、バイアスを推定するようにすることができる。この場合、ユーザは、広告枠ごとのバイアスを容易に把握することができるので、各種の解析にバイアスを利用することができる。たとえば、上述したように、広告の評価をより精度良く行う場合や、マッチングエンジンの評価を行う場合に、バイアスを用いることで評価精度を向上することができる。
また、たとえば、Ｗｅｂサーバ２０に対して表示広告を提供する広告配信サーバを別途設け、広告配信サーバが、広告引当部２１２、リスティング処理部２１３、ポジション決定部２１４、ログバイアス推定部２１７などを備えるようにしてもよい。
この場合、Ｗｅｂサーバ２０において、画面情報を作成するＷｅｂサーバ２０が広告の選択を行わず、広告配信サーバから配信を受けた広告を予測クリック率の高いものから順に上方の広告枠になるように並べるようにしている場合には、広告収益（予測クリック率×入札額）や予測クリック率に、割り当てたポジションのバイアスを乗じて補正を行い、補正した広告収益や予測クリック率を広告に付帯させるようにすることができる。これにより、Ｗｅｂサーバ２０において広告がバイアスを考慮した位置に正しく表示されるように画面情報が作成される。
また、広告とはＷｅｂページの一部に表示されるものとしたが、これに限らず、広告のみが表示される画面が表示されるようにしてもよいし、広告がコンテンツとは異なる別画面に表示されるようにしてもよい。
また、本実施形態では各広告の予測クリック率（ＣＴＲ）は、過去のクリック数をインプレッション数で割った値であるものとしたが、これに限らず、たとえば、広告引当部２１２やリスティング処理部２１３が、コンテキスト（閲覧しているユーザの属性や広告と共に配信するコンテンツの内容）に応じて、当該コンテキストに対応するクリック数をインプレッション数で割って予測クリック率を算出するようにしてもよい。また、各種の統計手法を用いてクリック率を予測し、その予測値を予測クリック率としてもよい。また、各種の統計手法を用いて、クリックログなどに基づいてクリック数を予測し、インプレッションログなどに基づいてインプレッション数を予測するようにしてもよい。また、広告ごとに各ポジションについて予測クリック率を算出し、これをポジションごとに平均して、ポジションごとの予測クリック率を算出してもよい。
また、本実施形態ではバイアスの高い広告ほど予測クリック率の高い広告が表示されるように割り当てていたが、バイアスの高い広告枠には、広告収益やＣＰＭ、ｅＣＰＭなどのその他の広告の評価値が高い広告を割り当てるようにしてもよい。この場合、Ｗｅｂページ全体としての広告収益を最大化することが可能である。
また、本実施形態では、予測クリック率を用いて広告の評価および広告枠の評価を行うものとしたが、予測クリック率に代えて予測クリック数を用いてもよい。
また、本実施形態では、クリックされたことをクリックログにより蓄積するものとしたが、これに限らず、たとえば、広告の閲覧者が電子メールで申し込みをした場合や、閲覧者がサービスの申し込みや商品の購入を行った場合などに、その旨をサービス提供者または商品販売者から受信することにより、閲覧者が広告の閲覧に応じて何らかの行動を起こしたことの履歴をクリックログに代えて蓄積するようにしてもよい。この場合、たとえば、広告にクーポンとして、広告ＩＤやポジションを含む番号を表示しておき、利用されたクーポンの情報をログとして蓄積しておくなど、閲覧者がどの広告枠でどの広告を閲覧したのかを特定できるようにしておくものとする。これにより、クリック以外にも閲覧者の各種の行動から広告および広告枠の評価を行うことが可能となる。
また、本実施形態では、インプレッションログは、広告が配信された時点で蓄積されるものとしたが、ユーザ端末１０の画面に実際に表示された時点に蓄積するようにしてもよい。この場合、たとえば、画面情報とともに、ユーザ端末１０において広告が表示された旨を通知するプログラム（以下、表示通知プログラムという。）をユーザ端末１０に送信し、ユーザ端末１０においてＷｅｂページ１が表示されるとともに表示通知プログラムが実行されるようにする。表示通知プログラムの実行により、ユーザ端末１０の画面上に広告が表示された場合に、画面に表示された広告の広告ＩＤおよび画面に表示された広告枠を示すポジションがＷｅｂサーバ２０に送信されるようにし、ログ収集部２１６は、広告ＩＤおよびポジションを受信したところでインプレッションログを作成して登録するようにする。これにより、全ての広告が一度に画面に表示されないような大きいＷｅｂページに出力された広告であっても、ユーザに確実に視認された数に基づいてクリック率を算出することができる。したがって、クリック率の信頼性を向上させることができる。
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
１ 画面
２ 広告
１０ ユーザ端末
２０ Ｗｅｂサーバ
３０ 通信ネットワーク
２１１ ＨＴＴＰ処理部
２１２ 広告引当部
２１３ リスティング処理部
２１４ ポジション決定部
２１５ Ｗｅｂページ作成部
２１６ ログ収集部
２１７ バイアス推定部
２５１ Ｗｅｂ情報データベース
２５２ レイアウトデータベース
２５３ 広告データベース
２５４ バイアスデータベース
２５５ インプレッションログ記憶部
２５６ クリックログ記憶部

Claims (10)

  1. 広告が表示される位置の評価値であるバイアスを推定する装置であって、
    広告が表示されうる位置および前記広告ごとに、当該広告の閲覧者が前記広告に応じた行動を起こした回数である行動回数を決定するための行動回数情報を取得する行動回数情報取得部と、
    前記広告の評価値である広告評価値を取得し、前記広告評価値に応じて、前記広告を複数のグループに分ける広告グループ生成部と、
    少なくとも１つの前記グループについて、前記位置ごとに、当該グループに所属する前記広告および当該位置に対応する前記行動回数情報に基づいて決定される前記行動回数の合計に応じて前記バイアスを推定するバイアス推定部と、
    を備えることを特徴とするバイアス推定装置。
  2. 請求項１に記載のバイアス推定装置であって、
    前記広告および前記位置ごとに、前記位置における前記広告の表示回数を算出するための表示回数情報を取得する表示回数情報取得部をさらに備え、
    前記バイアス推定部は、前記位置ごとに、前記グループに所属する前記広告および前記位置に対応する前記行動回数情報に基づいて決定される前記行動回数の合計を、前記グループに所属する前記広告および前記位置に対応する前記表示回数情報に基づいて決定される前記表示回数の合計で割った値である行動率に応じて前記バイアスを推定すること、
    を特徴とするバイアス推定装置。
  3. 請求項２に記載のバイアス推定装置であって、
    前記バイアス推定部は、基準となる前記位置の前記行動率に対する、前記位置ごとの前記行動率の比を前記バイアスとして算出すること、
    を特徴とするバイアス推定装置。
  4. 広告が表示される位置の評価値であるバイアスを推定する装置であって、
    広告が表示されうる位置および前記広告ごとに、当該広告の閲覧者が前記広告に応じた行動を起こした回数である行動回数を決定するための行動回数情報を取得する行動回数情報取得部と、
    前記広告および前記位置ごとに、前記位置における前記広告の表示回数を算出するための表示回数情報を取得する表示回数情報取得部と、
    前記広告に対応する前記行動回数情報に基づいて決定される前記行動回数の合計を、前記広告に対応する前記表示回数情報に基づいて決定される前記表示回数の合計で割って前記広告の評価値である広告評価値を算出する広告評価部と、
    前記位置および前記広告のそれぞれについて、前記広告および前記位置に対応する前記行動回数情報に基づいて決定される前記行動回数の合計を、前記広告および前記位置に対応する前記表示回数情報に基づいて決定される前記表示回数の合計で割った行動率を算出し、前記広告の前記広告評価値に前記位置の前記バイアスを乗じた値と、前記広告および前記位置についての前記行動率との差の大きさの合計が最小になるように、前記バイアスを推定するバイアス推定部と、
    を備えることを特徴とするバイアス推定装置。
  5. 請求項４に記載のバイアス推定装置であって、
    前記バイアス推定部は、前記広告ｉについての前記広告評価値をｘｉ、前記位置ｋにおける前記広告ｉについての前記行動率をｙｋｉ、前記位置ｋについての前記バイアスをｒｋとし、
    Figure 0005491556
    として、
    Figure 0005491556
    をＬが最小となるように、ａ，ｂおよびｒｋを推計すること、
    を特徴とするバイアス推定装置。
  6. 請求項５に記載のバイアス推定装置であって、
    前記バイアス推定部は、
    すべての前記位置ｋについて、バイアスｒｋを１に初期化し、
    （ａ）式
    Figure 0005491556

    のＬが最小となるように、ａ，ｂを推計し、
    （ｂ）式
    Figure 0005491556
    により、ｋ≠１のすべてのｋについてｒｋを算出し、
    （ａ）および（ｂ）を複数回繰り返すことにより、前記バイアスｒｋを推定すること、
    を特徴とするバイアス推定装置。
  7. 広告が表示される位置の評価値であるバイアスを推定する方法であって、
    コンピュータが、
    広告が表示されうる位置および前記広告ごとに、当該広告の閲覧者が前記広告に応じた行動を起こした回数である行動回数を決定するための行動回数情報を取得するステップと、
    前記広告の評価値である広告評価値を取得し、前記広告評価値に応じて、前記広告を複数のグループに分けるステップと、
    少なくとも１つの前記グループについて、前記位置ごとに、当該グループに所属する前記広告および当該位置に対応する前記行動回数情報に基づいて決定される前記行動回数の合計に応じて前記バイアスを推定するステップと、
    を実行することを特徴とするバイアス推定方法。
  8. 広告が表示される位置の評価値であるバイアスを推定する方法であって、
    コンピュータが、
    広告が表示されうる位置および前記広告ごとに、当該広告の閲覧者が前記広告に応じた行動を起こした回数である行動回数を決定するための行動回数情報を取得するステップと、
    前記広告および前記位置ごとに、前記位置における前記広告の表示回数を算出するための表示回数情報を取得するステップと、
    前記広告に対応する前記行動回数情報に基づいて決定される前記行動回数の合計を、前記広告に対応する前記表示回数情報に基づいて決定される前記表示回数の合計で割って前記広告の評価値である広告評価値を算出するステップと、
    前記位置および前記広告のそれぞれについて、前記広告および前記位置に対応する前記行動回数情報に基づいて決定される前記行動回数の合計を、前記広告および前記位置に対応する前記表示回数情報に基づいて決定される前記表示回数の合計で割った行動率を算出し、前記広告の前記広告評価値に前記位置の前記バイアスを乗じた値と、前記広告および前記位置についての前記行動率との差の大きさの合計が最小になるように、前記バイアスを推定するステップと、
    を実行することを特徴とするバイアス推定方法。
  9. 広告が表示される位置の評価値であるバイアスを推定するためのプログラムであって、
    コンピュータに、
    広告が表示されうる位置および前記広告ごとに、当該広告の閲覧者が前記広告に応じた行動を起こした回数である行動回数を決定するための行動回数情報を取得するステップと、
    前記広告の評価値である広告評価値を取得し、前記広告評価値に応じて、前記広告を複数のグループに分けるステップと、
    少なくとも１つの前記グループについて、前記位置ごとに、当該グループに所属する前記広告および当該位置に対応する前記行動回数情報に基づいて決定される前記行動回数の合計に応じて前記バイアスを推定するステップと、
    を実行させることを特徴とするバイアス推定方法。
  10. 広告が表示される位置の評価値であるバイアスを推定するためのプログラムであって、
    コンピュータに、
    広告が表示されうる位置および前記広告ごとに、当該広告の閲覧者が前記広告に応じた行動を起こした回数である行動回数を決定するための行動回数情報を取得するステップと、
    前記広告および前記位置ごとに、前記位置における前記広告の表示回数を算出するための表示回数情報を取得するステップと、
    前記広告に対応する前記行動回数情報に基づいて決定される前記行動回数の合計を、前記広告に対応する前記表示回数情報に基づいて決定される前記表示回数の合計で割って前記広告の評価値である広告評価値を算出するステップと、
    前記位置および前記広告のそれぞれについて、前記広告および前記位置に対応する前記行動回数情報に基づいて決定される前記行動回数の合計を、前記広告および前記位置に対応する前記表示回数情報に基づいて決定される前記表示回数の合計で割った行動率を算出し、前記広告の前記広告評価値に前記位置の前記バイアスを乗じた値と、前記広告および前記位置についての前記行動率との差の大きさの合計が最小になるように、前記バイアスを推定するステップと、
    を実行させることを特徴とするバイアス推定方法。
JP2012048183A 2012-03-05 2012-03-05 広告配信装置、広告配信方法及びプログラム Active JP5491556B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012048183A JP5491556B2 (ja) 2012-03-05 2012-03-05 広告配信装置、広告配信方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012048183A JP5491556B2 (ja) 2012-03-05 2012-03-05 広告配信装置、広告配信方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2013182595A JP2013182595A (ja) 2013-09-12
JP5491556B2 true JP5491556B2 (ja) 2014-05-14

Family

ID=49273170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012048183A Active JP5491556B2 (ja) 2012-03-05 2012-03-05 広告配信装置、広告配信方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5491556B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10325291B2 (en) 2013-10-10 2019-06-18 Facebook, Inc. Adjusting reserve prices for advertisements presented to social networking system users
JP5987012B2 (ja) * 2014-01-21 2016-09-06 ヤフー株式会社 情報提供装置、端末装置、情報提供方法、情報提供プログラムおよび情報取得プログラム
CN105678586B (zh) * 2016-01-12 2020-09-29 腾讯科技（深圳）有限公司 一种信息扶持方法和装置
JP6956564B2 (ja) * 2017-08-25 2021-11-02 ヤフー株式会社 情報処理装置、情報処理方法、およびプログラム
CN110020129B (zh) * 2017-10-27 2022-10-25 腾讯科技（深圳）有限公司 点击率校正方法、预估方法、装置、计算设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5139218B2 (ja) * 2008-09-22 2013-02-06 ヤフー株式会社 コンテンツ出力装置、コンテンツ出力プログラムおよびコンテンツ出力方法
WO2010084610A1 (ja) * 2009-01-23 2010-07-29 株式会社シリウステクノロジーズ 広告情報配信装置、広告情報配信方法及び広告情報配信プログラム
JP5324411B2 (ja) * 2009-12-15 2013-10-23 ヤフー株式会社 広告配信装置、方法及びプログラム

Also Published As

Publication number Publication date
JP2013182595A (ja) 2013-09-12

Similar Documents

Publication Publication Date Title
JP5491555B2 (ja) 広告配信装置、広告配信方法及びプログラム
US10296942B2 (en) Advertisement choosing device and advertisement choosing method
JP5139397B2 (ja) 広告配信装置及び方法
JP5485311B2 (ja) 広告評価装置、広告評価方法およびプログラム
US20140188593A1 (en) Selecting an advertisement for a traffic source
JP5938380B2 (ja) 広告活動支援装置、広告活動支援方法およびプログラム
JP5863334B2 (ja) オンライン広告課金システム、その方法及びコンピューター読み取り可能な記録媒体
JP5507607B2 (ja) コンテンツ提供装置、低ランク近似行列生成装置、コンテンツ提供方法、低ランク近似行列生成方法およびプログラム
JP5491556B2 (ja) 広告配信装置、広告配信方法及びプログラム
JP5507622B2 (ja) 広告課金額決定装置、広告課金額決定方法およびプログラム
US20130066709A1 (en) Method of and system for determining contextually relevant advertisements to be provided to a web page
JP5558539B2 (ja) 検索システム、検索方法およびプログラム
JP5674721B2 (ja) 広告登録装置、広告登録方法およびプログラム
JP5425941B2 (ja) 広告評価装置、広告評価方法およびプログラム
JP5475829B2 (ja) 情報処理装置、貢献度算出方法及び貢献度算出プログラム
JP2017004375A (ja) 算出装置、算出方法及び算出プログラム
JP5638647B2 (ja) 広告課金額適正化装置
JP5520913B2 (ja) 広告出力装置、広告出力方法及びプログラム
JP5373003B2 (ja) 広告処理装置及び方法
JP6956564B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5976897B2 (ja) 広告決定装置、広告決定方法およびプログラム
JP5856206B2 (ja) 広告配信装置、広告配信方法及びプログラム
JP6362577B2 (ja) 情報処理装置及び表示記事選択システム
JP5976965B2 (ja) 広告決定装置、広告決定方法およびプログラム
JP6429743B2 (ja) 広告決定装置、広告決定方法およびプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140227

R150 Certificate of patent or registration of utility model

Ref document number: 5491556

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250