JP7244449B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

従来、クリック率を予測する技術が知られている。例えば、機械学習モデルを用いて、クリック率を予測する技術が提案されている。また、近年、自然勾配ブースティングに関する技術が知られている。

Tony Duan，外６名，"NGBoost: Natural Gradient Boosting for Probabilistic Prediction"，［online］，２０１９年１０月，GitHub，［令和２年３月７日検索］，インターネット＜URL：https://github.com/stanfordmlgroup/ngboost＞

しかしながら、上記の従来技術では、配信対象となるコンテンツが選択される度合の予測に対する信頼性を向上させることができるとは限らない。例えば、上記の従来技術では、機械学習モデルを用いて、クリック率を予測するにすぎず、配信対象となるコンテンツが選択される度合の予測に対する信頼性を向上させることができるとは限らない。

本願は、上記に鑑みてなされたものであって、配信対象となるコンテンツが選択される度合の予測に対する信頼性を向上させることができる情報処理装置、情報処理方法及び情報処理プログラムを提案する。

本願に係る情報処理装置は、入力情報から実数値の分布を予測するモデルを用いて、配信対象となる配信コンテンツが選択される度合ごとに、確度を表す分布を特定する特定部と、前記特定部により生成された分布に基づく出力情報を出力する出力部と、を有することを特徴とする。

実施形態の一態様によれば、配信対象となるコンテンツが選択される度合の予測に対する信頼性を向上させることができるといった効果を奏する。

図１は、実施形態に係る情報処理方法の概要を示す説明図である。 図２は、実施形態に係る情報処理装置の構成例を示す図である。 図３は、実施形態に係る見出し情報記憶部の一例を示す図である。 図４は、実施形態に係る出力情報の一例を示す図である。 図５は、実施形態に係る出力情報の一例を示す図である。 図６は、実施形態に係る情報処理手順を示すフローチャートである。 図７は、プログラムを実行するコンピュータのハードウェア構成の一例を示す図である。

以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。

〔１．情報処理方法の概要〕
まず、図１を参照し、実施形態に係る情報処理装置が行う情報処理方法の概要について説明する。図１は、実施形態に係る情報処理方法の概要を示す説明図である。図１では、情報処理装置１００は、編集者等である利用者Ｕ１によって作成されたニュース等のコンテンツＣ１の見出しＡのクリック率（ＣＴＲ：Click Through Rate）の値ごとに、確度を表す分布を特定する。また、情報処理装置１００は、特定した確度を表す分布に基づく出力情報を出力する。

図１に示すように、情報処理システム１は、ログサーバ１０と利用者端末２０と情報処理装置１００とを含む。ログサーバ１０と利用者端末２０と情報処理装置１００とは、それぞれ所定のネットワークを介して有線または無線で互いに通信可能に接続される。なお、図１に示す情報処理システム１には、任意の数のログサーバ１０と、任意の数の利用者端末２０と、任意の数の情報処理装置１００とが含まれてもよい。

ログサーバ１０は、ニュース等のコンテンツを配信するサーバ装置である。ログサーバ１０は、配信されたニュース等のコンテンツの見出しと見出しのクリック率（ＣＴＲ：Click Through Rate）とを対応付けて記憶する。

利用者端末２０は、ニュース等のコンテンツの見出しを作成する利用者Ｕ１によって利用される情報処理装置である。例えば、利用者端末２０は、スマートフォンを含む携帯電話機や、タブレット端末や、デスクトップ型ＰＣ（Personal Computer）や、ノート型ＰＣや、ＰＤＡ（Personal Digital Assistant）等である。図１では、利用者端末２０がノート型ＰＣである例を示す。

利用者端末２０は、利用者Ｕ１の操作に従って、利用者Ｕ１によって作成されたニュース等のコンテンツＣ１の見出しＡを情報処理装置１００に送信する。また、利用者端末２０は、見出しＡのクリック率の値ごとに特定された確度を表す分布に基づく出力情報を受信する。利用者端末２０は、出力情報を受信すると、受信した出力情報を画面に表示する。

情報処理装置１００は、コンテンツの見出しのクリック率を予測するモデルであって、クリック率の値ごとに確度を出力するモデルを用いて、見出しＡのクリック率の値ごとに、確度を表す分布を特定する。また、情報処理装置１００は、特定した確度を表す分布に基づく出力情報を出力する。

ここで、従来、クリック率等のスコアを予測するモデルは、予測したスコアの値のみを出力していた。例えば、従来のスコア予測モデルは、コンテンツＣ１の見出しＡを入力情報としてモデルに入力した場合に、見出しＡのクリック率として予測される値である「０．３０」を出力情報として出力する。言い換えると、従来のモデルは、入力情報から予測されるスコアをピンポイントで出力するものであった。

一方、本願発明に係るモデルは、クリック率等のスコアごとに、確度を表す分布（以下、確率分布ともいう）を出力する。例えば、本願発明に係るモデルは、コンテンツＣ１の見出しＡを入力情報としてモデルに入力した場合に、見出しＡのクリック率が「０．２５」である確度は「３０％」、見出しＡのクリック率が「０．３０」である確度は「３２％」、…というように、見出しＡのクリック率の値ごとに、確度を表す分布を出力情報として出力する。言い換えると、本願発明に係るモデルは、入力情報から予測されるスコアの分布を出力する。なお、確度は最大値Ｘとなるように正規化しても良い。

これにより、情報処理装置１００は、見出し等のコンテンツを作成した利用者Ｕ１に対して、作成したコンテンツについて予測されるクリック率をその確度（信頼性）とともに出力することができる。例えば、情報処理装置１００は、見出しＡの確率分布の分散が小さい場合は、予測されるクリック率の平均値（mean）とともに、予測されるクリック率が平均値である確度が高い（つまり、平均値による予測の信頼性が高い）という情報を利用者Ｕ１に対して提供することができる。一方、情報処理装置１００は、見出しＡの確率分布の分散が大きい場合は、予測されるクリック率の平均値とともに、予測されるクリック率が平均値である確度が低い（つまり、平均値による予測の信頼性が低い）という情報を利用者Ｕ１に対して提供することができる。なお、情報処理装置１００は、見出しＡの確率分布そのものを利用者Ｕ１に対して提示しても良い。したがって、情報処理装置１００は、配信対象となるコンテンツが選択される度合の予測に対する信頼性を向上させることができる。

〔１－１．情報処理方法の一例〕
ログサーバ１０は、情報処理装置１００の要求に応じて、情報処理装置１００に対してコンテンツの見出しとコンテンツの見出しのクリック率とを含む情報を送信する。情報処理装置１００は、コンテンツの見出しとコンテンツの見出しのクリック率とを含む情報（以下、見出し情報ともいう）をログサーバ１０から取得する（ステップＳ１）。

情報処理装置１００は、見出し情報を取得すると、コンテンツの見出しとコンテンツの見出しのクリック率とに基づいて、コンテンツの見出しのクリック率を予測するモデルであって、クリック率の値ごとに確度を出力するモデルを学習する（ステップＳ２）。このようなモデルは、例えば、非特許文献１に記載の自然勾配ブースティングの技術等により実現可能である。

また、情報処理装置１００は、コンテンツＣ１の見出しＡを利用者端末２０から受け付ける（ステップＳ３）。続いて、情報処理装置１００は、見出しＡを受け付けると、コンテンツの見出しのクリック率を予測するモデルであって、クリック率の値ごとに確度を出力するモデルを用いて、見出しＡのクリック率ごとに、確度を表す分布を特定する（ステップＳ４）。

続いて、情報処理装置１００は、確度を表す分布を特定すると、特定した確度を表す分布に基づく出力情報を出力する。情報処理装置１００は、特定した確度を表す分布に基づく出力情報を利用者端末２０に対して配信する。例えば、情報処理装置１００は、特定した確度を表す分布を出力情報として利用者端末２０に対して配信する。

これにより、情報処理装置１００は、見出し等のコンテンツを作成した利用者Ｕ１に対して、作成したコンテンツについて予測されるクリック率をその確度（信頼性）とともに出力することができる。例えば、情報処理装置１００は、見出しＡの確率分布の分散が小さい場合は、予測されるクリック率の平均値（mean）とともに、予測されるクリック率が平均値である確度が高い（つまり、平均値による予測の信頼性が高い）という情報を利用者Ｕ１に対して提供することができる。一方、情報処理装置１００は、見出しＡの確率分布の分散が大きい場合は、予測されるクリック率の平均値とともに、予測されるクリック率が平均値である確度が低い（つまり、平均値による予測の信頼性が低い）という情報を利用者Ｕ１に対して提供することができる。なお、情報処理装置１００は、見出しＡの確率分布そのものを利用者Ｕ１に対して提示しても良い。したがって、情報処理装置１００は、配信対象となる見出し等のコンテンツが選択される度合（例えば、クリック率）の予測に対する信頼性を向上させることができる。

また、情報処理装置１００は、特定した確度を表す分布における確度が所定の閾値を満たす予測区間（例えば、確度が５０％以上となる予測区間）を出力情報として利用者端末２０に対して配信してもよい。また、情報処理装置１００は、特定した確度を表す分布における確度の積分値が５０％となる平均値を中心とした予測区間を出力情報として利用者端末２０に対して配信してもよい。これにより、情報処理装置１００は、予測区間が小さくなるように利用者が見出し等のコンテンツを作成することを支援することができる。

また、情報処理装置１００は、見出しＡに含まれる特徴量（例えば、単語やフレーズ）のうち、分散を大きくすることに寄与している特徴量を特定して、特定した特徴量を出力情報として利用者端末２０に対して配信してもよい。これにより、情報処理装置１００は、例えば、利用者が経験の浅い新人編集者等である場合であっても、分散を大きくすることに寄与している特徴量の使用を控えるよう促すことができる。また、情報処理装置１００は、利用者に対して分散を大きくすることに寄与している特徴量の使用を控えるよう促すことにより、予測区間が小さくなるように利用者が見出し等のコンテンツを作成することを支援することができる。

また、情報処理装置１００は、見出しＡに含まれる特徴量（例えば、単語やフレーズ等）のうち、分散を小さくすることに寄与している特徴量を特定して、特定した特徴量を出力情報として利用者端末２０に対して配信してもよい。これにより、情報処理装置１００は、例えば、利用者に対して分散を小さくすることに寄与している特徴量の使用を積極的に促すことができる。また、情報処理装置１００は、利用者に対して分散を小さくすることに寄与している特徴量の使用を積極的に促すことにより、より予測区間が小さくなるように利用者が見出し等のコンテンツを作成することを支援することができる。

また、情報処理装置１００は、特定した確度を表す分布における分散が所定の閾値未満である場合は、利用者Ｕ１が作成した見出しについて予測されるクリック率の平均値を出力情報として出力してもよい。つまり、情報処理装置１００は、特定した確度を表す分布における分散が所定の閾値以上である場合は、利用者Ｕ１が作成した見出しについて予測されるクリック率の平均値を出力情報として出力しない。これにより、情報処理装置１００は、予測されるクリック率が平均値である可能性が高い（つまり、平均値による予測の信頼性が高い）場合のみ、予測されるクリック率の平均値を利用者Ｕ１に対して出力することができる。したがって、情報処理装置１００は、配信対象となる見出し等のコンテンツのクリック率の予測に対する信頼性を向上させることができる。

〔１－２．変形例〕
上記では、情報処理装置１００による処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、情報処理装置１００が実行する処理のバリエーションについて説明する。

〔１－２－１．見出し２つのＣＴＲ予測〕
例えば、利用者Ｕ１は、コンテンツＣ１について２つの見出しＡおよび見出しＢを作成する。情報処理装置１００は、２つの見出しＡおよび見出しＢを利用者端末２０から受け付けて、どちらが良いかを信頼度付きで出力してもよい。例えば、情報処理装置１００は、利用者端末２０から受け付けた２つの見出しＡおよび見出しＢそれぞれのクリック率ごとに、確度を表す分布をそれぞれ特定する。続いて、情報処理装置１００は、それぞれについて特定した確度を表す分布を重ねて利用者端末２０の画面に表示する。

あるいは、情報処理装置１００は、見出しＡの分布と見出しＢ分布との差分分布のうち、クリック率が０以上の範囲の面積を特定し、特定した面積を見出しＡのクリック率が見出しＢのクリック率よりも大きくなる確率（信頼度）として特定してもよい。例えば、情報処理装置１００は、見出しＡのクリック率が見出しＢのクリック率よりも大きくなる確率が８０％であると特定した場合、利用者端末２０の画面に「見出しＡ＜見出しＢ（８０％）」と出力する。

また、情報処理装置１００は、信頼度（確率）だけではなく、平均値による予測の大きさの差も考慮して表示を変更してもよい。例えば、情報処理装置１００は、見出しＡについて予測されるクリック率の平均値が見出しＢについて予測されるクリック率の平均値よりも大きくなる確率が９９％であると特定した場合であっても、見出しＡについて予測されるクリック率の平均値と見出しＢについて予測されるクリック率の平均値との差分が所定の閾値を下回る場合は、見出しＡについて予測されるクリック率の平均値と見出しＢについて予測されるクリック率の平均値を同程度とみなして、利用者端末２０の画面にその旨を出力する。

〔１－２－２．見出し複数のＣＴＲ予測〕
〔１－２－２－１．システムが複数の見出しを作る場合〕
例えば、コンテンツの見出しを生成する生成モデルが、コンテンツＣ１について複数の見出しを生成する。情報処理装置１００は、生成モデルが生成した複数の見出しを取得する。続いて、情報処理装置１００は、複数の見出しそれぞれのクリック率ごとに、確度を表す分布をそれぞれ特定する。続いて、情報処理装置１００は、各見出しのクリック率ごとの確度を表す分布について、分布を考慮しながら、複数の見出しの組をランキングする。例えば、情報処理装置１００は、確度を表す分布における分散が大きい見出しについては、確度を表す分布における分散が小さい見出しよりも、組の中でのランクを下げる。

例えば、情報処理装置１００は、確度が８０％以上となる予測区間の幅に基づいて、複数の見出しの組をリランキングする。また、情報処理装置１００は、確度を表す分布が正規分布である場合には、クリック率の期待値から標準偏差に所定の定数を乗算した値を引いた数値「期待値- a*標準偏差」に基づいて、複数の見出しの組をリランキングしてもよい。

これにより、情報処理装置１００は、確度を表す分布がなだらかな見出し（上手くクリック率の予測ができない見出し）は、組の中でのランクを下げることができるため、配信対象となる見出しの組のリストのクリック率の予測に対する信頼性を向上させることができる。

〔１－２－２－２．複数編集者が複数の見出しを作る場合〕
例えば、複数の編集者がコンテンツＣ１についてそれぞれ見出しを作成する。情報処理装置１００は、複数の編集者それぞれによって作成された複数の見出しを取得する。続いて、情報処理装置１００は、複数の見出しそれぞれのクリック率ごとに、確度を表す分布をそれぞれ特定する。続いて、情報処理装置１００は、各見出しのクリック率ごとの確度を表す分布について、分布を考慮しながら、複数の見出しの組をランキングする。続いて、情報処理装置１００は、ランキング上位の見出しをメタ編集者の利用者端末２０に出力する。

これにより、情報処理装置１００は、複数の編集者によって作成された複数の見出しの中から、メタ編集者がより適切な見出しを選択することを支援することができる。また、情報処理装置１００は、複数の編集者によって作成された複数の見出しのランキングを可視化することで、ゲーム性を付与することができる。また、情報処理装置１００は、複数の編集者によって作成された複数の見出しのランキングを可視化することで、各編集者に対してよりよい見出しを作成する動機付けを与えることができる。

〔１－２－３．見出しリストのＣＴＲ予測〕
〔１－２－３－１．足し算〕
情報処理装置１００は、ニュース記事等のコンテンツの見出しのリストに表示される見出しの組を特定してもよい。また、情報処理装置１００は、見出しのリストにおける各見出しの表示順を特定してもよい。例えば、情報処理装置１００は、リストに含まれる複数の見出しそれぞれのクリック数（またはクリック率）ごとに、確度を表す分布をそれぞれ特定する。続いて、情報処理装置１００は、特定した各見出しのクリック数ごとの確度を表す分布（または各見出しのクリック率ごとの確度の分布）を足し合わせることで、リスト全体のクリック数ごとの確度を表す分布（またはリスト全体のクリック率ごとの確度の分布）を特定する。また、情報処理装置１００は、例えば、重要度でランキングされた上位Ｘ件の記事コンテンツについて、リスト全体のクリック数ごとの確度を表す分布が良くなるように、Ｘ件の記事コンテンツの中からＹ件の記事コンテンツを選択する。あるいは、情報処理装置１００は、リスト全体のクリック数ごとの確度を表す分布の良さを表す関数の最適化問題を解くことにより、リスト全体のクリック数ごとの確度を表す分布が良いリストを選択することができる。

これにより、情報処理装置１００は、ニュース記事等のコンテンツ配信サービスの上位に表示される見出しをリスト全体の確度を表す分布を用いて最適化することができる。

〔１－２－３－２．ブースト〕
一般的に、ニュース記事等のコンテンツの見出しのリストにおいて、内容の類似する見出しのクリック率は相互にブーストされる（ユーザが両方のコンテンツを閲覧するためクリック率が増加する）ことが知られている。そこで、情報処理装置１００は、見出しの内容の類似性を考慮した関数ｆ（Ａ，Ｂ）（Ａは見出しＡ、Ｂは見出しＢを示す）でブーストされた分布を出力する。例えば、情報処理装置１００は、過去の履歴から関数ｆ（Ａ，Ｂ）を学習する。あるいは、情報処理装置１００は、見出しＡの確度を表す分布と見出しＢの確度を表す分布との積を用いてブーストされた分布を出力してもよい。また、情報処理装置１００は、単純にブースト分を足し算してもよい。なお、見出し同士が離れている場合は相互にブーストされにくいと予想されるため、情報処理装置１００は、見出しが上下に並んでいる場合のみブーストを加味してもよい。

〔１－２－４．推薦や広告に適用する場合〕
情報処理装置１００は、強化学習のバンディットアルゴリズムのように、確度を表す分布がなだらかな（予測分散が大きい）見出し（商品・広告）を敢えて出力してもよい。これにより、情報処理装置１００は、作成された見出しのクリック率をテストすることができる。

〔１－２－５．分布表示方法〕
情報処理装置１００は、デモグラフィック属性ごとにモデルを生成してもよい。例えば、情報処理装置１００は、コンテンツの見出しとコンテンツの見出しのクリック率とを含む情報をデモグラフィック属性ごとにログサーバ１０から取得する。続いて、情報処理装置１００は、見出し情報を取得すると、コンテンツの見出しとコンテンツの見出しのクリック率とに基づいて、コンテンツの見出しのクリック率を予測するモデルであって、クリック率の値ごとに確度を出力するモデルをデモグラフィック属性ごとに学習する。

また、情報処理装置１００は、デモグラフィック属性ごとに確度を表す分布を特定する。例えば、情報処理装置１００は、ターゲットとなるデモグラフィック属性にチェックをしたり、重みを付けたりすることで、確度を表す分布を特定してもよい。また、情報処理装置１００は、デモグラフィック属性ごとに特定した確度を表す分布を表示する。これにより、情報処理装置１００は、ターゲットも加味した信頼度の高い見出し作成・選択を支援することができる。

また、情報処理装置１００は、ニュース記事等のコンテンツのカテゴリごとの平均デモグラフィック属性を用いて確度を表す分布を特定してもよい。また、情報処理装置１００は、特定した確度を表す分布を表示する。これにより、情報処理装置１００は、そのカテゴリに特化した（重み付き）分布を表示することができる。したがって、情報処理装置１００は、そのカテゴリに特化した信頼度の高い見出し作成・選択を支援することができる。

〔２．情報処理装置の構成例〕
次に、図２を用いて、実施形態に係る情報処理装置１００の構成について説明する。図２は、実施形態に係る情報処理装置１００の構成例を示す図である。図２に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示させるための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば、ログサーバ１０と利用者端末２０との間で情報の送受信を行う。

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、図３に示すように、見出し情報記憶部１２１を有する。

（見出し情報記憶部１２１）
見出し情報記憶部１２１は、見出しに関する各種の情報を記憶する。図３に、実施形態に係る見出し情報記憶部の一例を示す。図３に示す例では、見出し情報記憶部１２１は、「見出しＩＤ」、「見出し」、「ＣＴＲ」、「コンテンツＵＲＬ」といった項目を有する。

「見出しＩＤ」は、見出しを識別する識別情報を示す。「見出し」は、コンテンツの見出しを示す。「ＣＴＲ」は、コンテンツの見出しのクリック率を示す。図３では、ＣＴＲを「ＣＴＲ＃１」等の抽象的な文字で表すが、実際のＣＴＲは「０．３０」等の具体的な数字である。「コンテンツＵＲＬ」は、見出しの元となるコンテンツのＵＲＬを示す。

（制御部１３０）
図２の説明に戻って、制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

図２に示すように、制御部１３０は、取得部１３１と、学習部１３２と、受付部１３３と、特定部１３４と、出力部１３５を有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

（取得部１３１）
取得部１３１は、コンテンツの見出しとコンテンツの見出しのクリック率とを含む見出し情報をログサーバ１０から取得する。取得部１３１は、見出し情報を取得すると、取得した見出し情報を見出し情報記憶部１２１に格納する。

（学習部１３２）
学習部１３２は、自然勾配ブースティングの技術を用いて、配信対象となる配信コンテンツが選択される度合を予測するモデルであって、配信対象となる配信コンテンツが選択される度合ごとに、確度を表す分布を出力するモデルを学習する。学習部１３２は、自然勾配ブースティングの技術を用いて、配信対象となる配信コンテンツが選択される度合の分布を出力するモデルを学習する。例えば、学習部１３２は、自然勾配ブースティングの技術を用いて、コンテンツの見出しのクリック率を予測するモデルであって、クリック率の値ごとに、確度を表す分布を出力するモデルを学習する。学習部１３２は、自然勾配ブースティングの技術を用いて、コンテンツの見出しのクリック率の分布を出力するモデルを学習する。

より具体的には、学習部１３２は、取得部１３１が取得したコンテンツの見出しとコンテンツの見出しのクリック率とに基づいて、モデルを学習する。例えば、学習部１３２は、自然勾配ブースティングの技術を用いて、コンテンツの見出しを入力情報としてモデルに入力した場合に、見出しのクリック率の値ごとに、確度を表す分布を出力情報として出力するようモデルを学習する。

（受付部１３３）
受付部１３３は、コンテンツの見出しを利用者端末２０から受け付ける。受付部１３３は、複数のコンテンツの見出しを利用者端末２０から受け付けてもよい。

（特定部１３４）
特定部１３４は、入力情報から実数値の分布を予測するモデルを用いて、配信対象となる配信コンテンツが選択される度合ごとに、確度を表す分布を特定する。例えば、特定部１３４は、受付部１３３が受け付けたコンテンツの見出しのクリック率ごとに、確度を表す分布を特定する。特定部１３４は、受付部１３３が受け付けたコンテンツの見出しのクリック率の分布を特定する。

具体的には、特定部１３４は、学習部１３２が学習したモデルを用いて、配信対象となる配信コンテンツが選択される度合ごとに、確度を表す分布を特定する。より具体的には、特定部１３４は、配信対象となる配信コンテンツを入力情報として学習部１３２が学習したモデルに入力する。例えば、特定部１３４は、受付部１３３が受け付けたコンテンツの見出しを入力情報として学習部１３２が学習したモデルに入力する。続いて、特定部１３４は、学習部１３２が学習したモデルの出力情報として出力される確度を表す分布を特定する。

また、特定部１３４は、特定した確度を表す分布における確度が所定の閾値を満たす区間を特定する。例えば、特定部１３４は、特定した確度を表す分布に基づいて、特定した確度を表す分布における確度が所定の閾値を満たす予測区間（例えば、確度が５０％以上となる予測区間）を特定する。また、特定部１３４は、特定した確度を表す分布が複数のピークを有する多峰性分布である場合は、特定した確度を表す分布における確度が所定の閾値を満たす全ての区間（例えば、確度が５０％以上となる全ての区間）を特定してもよい。

また、特定部１３４は、配信コンテンツが選択される度合を特定する。例えば、特定部１３４は、受付部１３３が受け付けたコンテンツの見出しについて予測されるクリック率の平均値（mean）を特定する。例えば、特定部１３４は、特定した確度を表す分布における分散が所定の閾値未満であるか否かを判定する。続いて、特定部１３４は、特定した確度を表す分布における分散が所定の閾値未満であると判定した場合、受付部１３３が受け付けたコンテンツの見出しについて予測されるクリック率の平均値を特定する。一方、特定部１３４は、特定した確度を表す分布における分散が所定の閾値以上であると判定した場合、受付部１３３が受け付けたコンテンツの見出しについて予測されるクリック率の平均値を特定しない。なお、特定部１３４は、特定した確度を表す分布が複数のピークを有する多峰性分布である場合は、受付部１３３が受け付けたコンテンツの見出しについて予測されるクリック率の最頻値（mode）を特定してもよい。

また、特定部１３４は、配信コンテンツが選択される回数を特定する。例えば、特定部１３４は、受付部１３３が受け付けたコンテンツの見出しについて予測されるクリック数の平均値を特定する。例えば、特定部１３４は、特定した確度を表す分布における分散が所定の閾値未満であるか否かを判定する。続いて、特定部１３４は、特定した確度を表す分布における分散が所定の閾値未満であると判定した場合、受付部１３３が受け付けたコンテンツの見出しについて予測されるクリック率の平均値にコンテンツの見出しが表示される見込みの回数を乗じることにより、受付部１３３が受け付けたコンテンツの見出しについて予測されるクリック数の平均値を特定する。一方、特定部１３４は、特定した確度を表す分布における分散が所定の閾値以上であると判定した場合、受付部１３３が受け付けたコンテンツの見出しについて予測されるクリック数の平均値を特定しない。

また、特定部１３４は、特定した確度を表す分布における分散に対して正または負の寄与度を持つ特徴量を特定する。例えば、特定部１３４は、受付部１３３が受け付けたコンテンツの見出しのクリック率ごとに特定された確度を表す分布における分散に対して負の寄与度を持つ特徴量（例えば、単語やフレーズ）を特定する。例えば、特定部１３４は、形態素解析の技術を用いて、受付部１３３が受け付けたコンテンツの見出しを形態素に分解する。続いて、特定部１３４は、分解された形態素の各組合せについて、その組み合わせが選択される度合ごとに、確度を表す分布を特定する。続いて、特定部１３４は、特定した組合せごとの確度を表す分布における分散に基づいて、確度を表す分布における分散に対して負の寄与度を持つ特徴量として、分散を大きくすることに寄与している形態素（例えば、単語）を特定する。同様にして、特定部１３４は、受付部１３３が受け付けたコンテンツの見出しのクリック率ごとに特定された確度を表す分布における分散に対して正の寄与度を持つ特徴量を特定する。例えば、特定部１３４は、確度を表す分布における分散に対して正の寄与度を持つ特徴量として、分散を小さくすることに寄与している形態素を特定する。

また、特定部１３４は、複数の配信コンテンツがそれぞれ選択される度合ごとに、確度を表す分布をそれぞれ特定する。また、出力部１３５は、特定部１３４により特定された複数の分布を重ねて表示する。この点について図４を用いて、実施形態に係る出力情報の一例について説明する。図４は、実施形態に係る出力情報の一例を示す図である。

図４に示す例では、特定部１３４は、コンテンツＣ１の見出しｘ_１のクリック率ごとに、確度を表す分布ｐ_１（ｘ_１）を特定する。また、特定部１３４は、コンテンツＣ１の見出しｘ_２のクリック率ごとに、確度を表す分布ｐ_２（ｘ_２）を特定する。また、出力部１３５は、特定部１３４により特定された確度を表す分布ｐ_１（ｘ_１）と確度を表す分布ｐ_２（ｘ_２）とを重ねて表示する。図４では、確度を表す分布ｐ_１（ｘ_１）を実線で、確度を表す分布ｐ_２（ｘ_２）を点線で示す。

また、特定部１３４は、複数の配信コンテンツがそれぞれ選択される度合ごとに、確度を表す分布をそれぞれ特定する。また、出力部１３５は、特定部１３４により特定された複数の分布を重ねて表示する。また、出力部１３５は、複数の分布の重なり方に応じた出力情報を出力する。例えば、出力部１３５は、複数の分布が重なった部分の面積や割合に応じた出力情報を出力する。この点について図５を用いて、実施形態に係る出力情報の一例について説明する。図５は、実施形態に係る出力情報の一例を示す図である。

また、出力部１３５は、特定部１３４により特定された複数の分布に基づいて、複数の配信コンテンツのうちいずれの配信コンテンツが適切かを示す出力情報を出力する。例えば、図５に示す例では、出力部１３５は、特定部１３４により特定された確度を表す分布ｐ_１（ｘ_１）と確度を表す分布ｐ_２（ｘ_２）との差分分布を出力する。また、出力部１３５は、確度を表す分布ｐ_１（ｘ_１）と確度を表す分布ｐ_２（ｘ_２）とが重なった部分の面積に応じた出力情報を出力する。例えば、特定部１３４は、見出しｘ_１の確度を表す分布ｐ_１（ｘ_１）と見出しｘ_２の確度を表す分布ｐ_２（ｘ_２）との差分分布のうち、差分クリック率が０以上の範囲であるＦ（ｘ_１、ｘ_２）の面積（図５に示す斜線部分の面積）を特定する。続いて、特定部１３４は、Ｆ（ｘ_１、ｘ_２）の面積を見出しｘ_１のクリック率が見出しｘ_２のクリック率よりも大きくなる確率ｐ_１－２（ｘ_１、ｘ_２）として特定する。出力部１３５は、見出しｘ_１のクリック率が見出しｘ_２のクリック率よりも大きくなる確率がｐ_１－２（ｘ_１、ｘ_２）であると特定した場合、利用者端末２０の画面に「見出しｘ_１＜見出しｘ_２（ｐ_１－２（ｘ_１、ｘ_２））」と出力する。

また、特定部１３４は、特定された複数の分布に基づいて、同時に配信される複数のコンテンツの組を特定する。例えば、特定部１３４は、ニュース記事等のコンテンツの見出しのリストに表示される見出しの組を特定する。また、特定部１３４は、見出しのリストにおける各見出しの表示順を特定してもよい。例えば、特定部１３４は、複数の見出し候補それぞれのクリック数（またはクリック率）ごとに、確度の分布をそれぞれ特定する。続いて、特定部１３４は、複数の見出し候補の中から、いくつかの見出し候補を選択して、選択した見出し候補の確度の分布を足し合わせることで、選択した見出し候補の組全体のクリック数ごとの確度の分布（またはリスト全体のクリック率ごとの確度の分布）を特定する。続いて、特定部１３４は、組全体のクリック数ごとの確度の分布を組同士で比較した結果に基づいて、同時に配信される複数のコンテンツの組を特定する。出力部１３５は、特定部１３４により特定された組を示す出力情報を出力する。

また、特定部１３４は、過去に特定された分布に対応する配信コンテンツと類似する類似コンテンツの分布を、過去に特定された分布に基づいて補正する。例えば、特定部１３４は、過去に特定された分布に対応するコンテンツの見出しＡと類似するコンテンツの見出しＢについて特定した分布が、過去に特定された見出しＡの分布から大きくずれていた場合、コンテンツの見出しＢの分布が過去に特定された見出しＡの分布に近づくよう補正する。出力部１３５は、特定部１３４により補正された分布に基づく出力情報を出力する。

（出力部１３５）
出力部１３５は、特定部１３４により特定された分布に基づく出力情報を出力する。具体的には、出力部１３５は、特定部１３４により特定された分布、分布における確度が所定の閾値を満たす区間、配信コンテンツが選択される度合、配信コンテンツが選択される回数、または分布における分散に対して正または負の寄与度を持つ特徴量のうち少なくともいずれか１つである出力情報を出力する。例えば、出力部１３５は、特定部１３４により特定された分布に基づく出力情報を利用者端末２０に対して配信する。

例えば、出力部１３５は、特定部１３４により特定された確度を表す分布における確度が所定の閾値を満たす予測区間（例えば、確度が５０％以上となる予測区間）を出力情報として利用者端末２０に対して配信する。

また、出力部１３５は、配信コンテンツが選択される度合を出力情報として出力する。例えば、出力部１３５は、特定部１３４により特定された確度を表す分布における分散が所定の閾値未満である場合は、配信コンテンツが選択される度合を出力し、特定部１３４により特定された確度を表す分布における分散が所定の閾値以上である場合は、配信コンテンツが選択される度合を出力しない。例えば、出力部１３５は、特定部１３４により特定された確度を表す分布における分散が所定の閾値未満であると判定された場合、特定部１３４により特定されたコンテンツの見出しについて予測されるクリック率の平均値を出力する。一方、出力部１３５は、特定部１３４により特定された確度を表す分布における分散が所定の閾値以上であると判定された場合、特定部１３４により特定されたコンテンツの見出しについて予測されるクリック率の平均値を出力しない。

また、出力部１３５は、配信コンテンツが選択される回数を出力情報として出力する。
例えば、出力部１３５は、特定部１３４により特定された確度を表す分布における分散が所定の閾値未満である場合は、配信コンテンツが選択される回数を出力し、特定部１３４により特定された確度を表す分布における分散が所定の閾値以上である場合は、配信コンテンツが選択される回数を出力しない。例えば、出力部１３５は、特定部１３４により特定された確度を表す分布における分散が所定の閾値未満であると判定された場合、特定部１３４により特定されたコンテンツの見出しについて予測されるクリック数の平均値を出力する。一方、出力部１３５は、特定部１３４により特定された確度を表す分布における分散が所定の閾値以上であると判定された場合、特定部１３４により特定されたコンテンツの見出しについて予測されるクリック数の平均値を出力しない。

また、出力部１３５は、特定部１３４により特定された分布における分散に対して正または負の寄与度を持つ特徴量を出力情報として出力する。例えば、出力部１３５は、特定部１３４により特定された分布における分散に対して負の寄与度を持つ特徴量として、特定部１３４により分散を大きくすることに寄与している形態素（例えば、単語）として特定された形態素を出力する。あるいは、出力部１３５は、特定部１３４により特定された分布における分散に対して正の寄与度を持つ特徴量として、特定部１３４により分散を小さくすることに寄与している形態素として特定された形態素を出力する。

〔３．情報処理の手順〕
次に、図６を用いて、実施形態に係る情報処理の手順について説明する。図６は、実施形態に係る情報処理手順を示すフローチャートである。図６に示す例では、情報処理装置１００は、コンテンツの見出しとコンテンツの見出しのＣＴＲとを取得する（ステップＳ１０１）。続いて、情報処理装置１００は、自然勾配ブースティングの技術を用いて、コンテンツの見出しのＣＴＲを予測するモデルであって、ＣＴＲの値ごとに確度を出力するモデルを学習する（ステップＳ１０２）。続いて、情報処理装置１００は、利用者から見出しの入力を受け付ける（ステップＳ１０３）。続いて、情報処理装置１００は、ＣＴＲの確率分布を生成する（ステップＳ１０４）。続いて、情報処理装置１００は、確率分布に基づく出力情報を出力する（ステップＳ１０５）。

〔４．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、特定部１３４と出力部１３５を有する。特定部１３４は、入力情報から実数値の分布を予測するモデルを用いて、配信対象となる配信コンテンツが選択される度合ごとに、確度を表す分布を特定する。出力部１３５は、特定部１３４により特定された分布に基づく出力情報を出力する。

これにより、情報処理装置１００は、配信対象となるコンテンツが選択される度合をその確度（信頼性）とともに出力することができる。したがって、情報処理装置１００は、配信対象となるコンテンツが選択される度合の予測に対する信頼性を向上させることができる。

また、特定部１３４は、複数の配信コンテンツがそれぞれ選択される度合ごとに、確度を表す分布をそれぞれ特定する。また、出力部１３５は、特定部１３４により特定された複数の分布を重ねて表示する。また、出力部１３５は、複数の分布の重なり方に応じた出力情報を出力する。また、出力部１３５は、特定部１３４により特定された複数の分布に基づいて、複数の配信コンテンツのうちいずれの配信コンテンツが適切かを示す出力情報を出力する。

これにより、情報処理装置１００は、複数の配信コンテンツそれぞれが選択される度合をその確度（信頼性）とともに出力することができる。したがって、情報処理装置１００は、利用者に対して、複数の配信コンテンツの中からより適切な見出しを選択することを支援することができる。

また、特定部１３４は、特定された複数の分布に基づいて、同時に配信される複数のコンテンツの組を特定する。出力部１３５は、特定部１３４により特定された組を示す出力情報を出力する。

これにより、情報処理装置１００は、利用者に対して、複数の配信コンテンツの中からより適切な配信コンテンツの組を選択することを支援することができる。

また、特定部１３４は、過去に特定された分布に対応する配信コンテンツと類似する類似コンテンツの分布を、過去に特定された分布に基づいて補正する。出力部１３５は、特定部１３４により補正された分布に基づく出力情報を出力する。

これにより、情報処理装置１００は、配信対象となるコンテンツが選択される度合の予測に対する信頼性を向上させることができる。

また、出力部１３５は、特定部１３４により特定された分布、分布における確度が所定の閾値を満たす区間、配信コンテンツが選択される度合、配信コンテンツが選択される回数、または分布における分散を大きくすることに寄与している特徴量のうち少なくともいずれか１つである出力情報を出力する。

これにより、情報処理装置１００は、分布における確度が所定の閾値を満たす区間が小さくなるように利用者が見出し等のコンテンツを作成することを支援することができる。

〔５．ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置１００は、例えば図７に示すような構成のコンピュータ１０００によって実現される。図７は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

〔６．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、特定部は、特定手段や特定回路に読み替えることができる。

１ 情報処理システム
１０ ログサーバ
２０ 利用者端末
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 見出し情報記憶部
１３０ 制御部
１３１ 取得部
１３２ 学習部
１３３ 受付部
１３４ 特定部
１３５ 出力部

Claims (9)

1. 学習対象のコンテンツである学習コンテンツを入力情報としてモデルに入力した場合に、前記学習コンテンツを配信された利用者によって前記学習コンテンツが選択される度合を示す値ごとの確度を表す分布を出力情報として出力するよう学習された前記モデルを用いて、配信対象となる配信コンテンツから、前記配信コンテンツを配信された利用者によって前記配信コンテンツが選択される度合を示す値ごとの確度を表す分布である前記配信コンテンツの分布を特定する特定部と、
   前記特定部により特定された前記配信コンテンツの分布に基づく出力情報を出力する出力部と、
   を有し、
   前記特定部は、
   複数の前記配信コンテンツの分布をそれぞれ特定し、複数の前記配信コンテンツの組におけるランキングにおいて、前記配信コンテンツの分布における分散の値が分散閾値以下である前記配信コンテンツのランクよりも、前記配信コンテンツの分布における分散の値が前記分散閾値を超える前記配信コンテンツのランクを低くする、
   ことを特徴とする情報処理装置。
2. 前記出力部は、
   前記特定部により特定された複数の分布を重ねて表示する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記出力部は、
   前記複数の分布の重なり方に応じた前記出力情報を出力する、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記出力部は、
   前記特定部により特定された複数の分布に基づいて、前記複数の前記配信コンテンツのうちいずれの配信コンテンツが適切かを示す前記出力情報を出力する、
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記特定部は、
   特定された複数の分布に基づいて、同時に配信される複数のコンテンツの組を特定し、
   前記出力部は、
   前記特定部により特定された組を示す前記出力情報を出力する、
   ことを特徴とする請求項１に記載の情報処理装置。
6. 前記特定部は、
   前記モデルを用いて、過去に特定された分布に対応する配信コンテンツと類似する類似コンテンツから、前記類似コンテンツを配信された利用者によって前記類似コンテンツが選択される度合を示す値ごとの確度を表す前記類似コンテンツの分布を特定し、前記過去に特定された分布と前記類似コンテンツの分布との類似度に基づいて、前記類似度が類似閾値を上回るように前記類似コンテンツの分布を補正し、
   前記出力部は、
   前記特定部により補正された分布に基づく出力情報を出力する、
   ことを特徴とする請求項１に記載の情報処理装置。
7. 前記出力部は、
   前記特定部により特定された分布、前記分布における確度が確度閾値を満たす区間、前記配信コンテンツが選択される度合、前記配信コンテンツが選択される回数、または前記分布における分散を大きくすることに寄与している特徴量のうち少なくともいずれか１つである前記出力情報を出力する、
   ことを特徴とする請求項１に記載の情報処理装置。
8. コンピュータが実行する情報処理方法であって、
   学習対象のコンテンツである学習コンテンツを入力情報としてモデルに入力した場合に、前記学習コンテンツを配信された利用者によって前記学習コンテンツが選択される度合を示す値ごとの確度を表す分布を出力情報として出力するよう学習された前記モデルを用いて、配信対象となる配信コンテンツから、前記配信コンテンツを配信された利用者によって前記配信コンテンツが選択される度合を示す値ごとの確度を表す分布である前記配信コンテンツの分布を特定する特定工程と、
   前記特定工程により特定された前記配信コンテンツの分布に基づく出力情報を出力する出力工程と、
   を含み、
   前記特定工程は、
   複数の前記配信コンテンツの分布をそれぞれ特定し、複数の前記配信コンテンツの組におけるランキングにおいて、前記配信コンテンツの分布における分散の値が分散閾値以下である前記配信コンテンツのランクよりも、前記配信コンテンツの分布における分散の値が前記分散閾値を超える前記配信コンテンツのランクを低くする、
   ことを特徴とする情報処理方法。
9. 学習対象のコンテンツである学習コンテンツを入力情報としてモデルに入力した場合に、前記学習コンテンツを配信された利用者によって前記学習コンテンツが選択される度合を示す値ごとの確度を表す分布を出力情報として出力するよう学習された前記モデルを用いて、配信対象となる配信コンテンツから、前記配信コンテンツを配信された利用者によって前記配信コンテンツが選択される度合を示す値ごとの確度を表す分布である前記配信コンテンツの分布を特定する特定手順と、
   前記特定手順により特定された前記配信コンテンツの分布に基づく出力情報を出力する出力手順と、
   をコンピュータに実行させ、
   前記特定手順は、
   複数の前記配信コンテンツの分布をそれぞれ特定し、複数の前記配信コンテンツの組におけるランキングにおいて、前記配信コンテンツの分布における分散の値が分散閾値以下である前記配信コンテンツのランクよりも、前記配信コンテンツの分布における分散の値が前記分散閾値を超える前記配信コンテンツのランクを低くする、
   ことを特徴とする情報処理プログラム。

Images