JP7407779B2 - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

従来、インターネット上におけるユーザ行動の予測をする手法が知られている。例えば、特許文献１には、ユーザの行動を従来よりも高い精度で予測することを目的として、インターネット上のユーザの検索クエリの傾向を学習し、学習した検索クエリの傾向とその後のユーザの行動との関連性スコアを算出してモデルを生成し、このモデルを用いて他のユーザの行動を予測する技術が提案されている。

特開２０１６－１７７３７７号公報

しかしながら、上述した技術では、生成した情報を信頼してもよいかどうかの確証を得ることが難しい。たとえば、結果論として有効な成果を上げるモデルが含まれている可能性があり、仮にＡＢテストを行ったとしても、テストの内容に応じて適切ではないモデルが採用されてしまう場合もある。

本願は、上記に鑑みてなされたものであって、生成した情報の信頼性を確かめることができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。

本願に係る情報処理装置は、第１生成部と、第２生成部と、評価部とを備える。第１生成部は、所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと所定の行動との間の関係性を数値化した第１リスト情報を生成する。第２生成部は、第１リスト情報から検索クエリを削除、または第１リスト情報に対して検索クエリを追加した第２リスト情報を複数生成する。評価部は、第２リスト情報の精度を測定するテストの結果に基づいて、第１リスト情報の信頼性を評価する。

実施形態の態様の１つによれば、生成した情報の信頼性を確かめることができる。

図１は、実施形態に係る情報処理システムの一例を説明する図である。 図２は、実施形態に係る第２リスト情報の一例を示す図である。 図３は、実施形態に係る第２リスト情報の一例を示す図である。 図４は、実施形態に係る情報処理装置の構成例を示す図である。 図５は、実施形態に係る第１リスト情報の概要を示す図である。 図６は、実施形態に係る非採用クエリ情報の概要を示す図である。 図７は、実施形態に係るユーザ情報の概要を示す図である。 図８は、実施形態に係る情報処理装置による処理手順の一例を示すフローチャートである。 図９は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、以下に説明する実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、以下に説明する実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下に説明する実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

また、以下の説明において、端末装置１０をユーザと表記して説明する場合がある。すなわち、ユーザを端末装置１０と読み替えることができる。

［１．情報処理システム］
図１は、実施形態に係る情報処理システムの一例を説明する図である。図１に示すように、実施形態に係る情報処理システムＳＹＳは、端末装置１０、及び情報処理装置１００を有する。なお、情報処理システムＳＹＳは、図１に示す例に限られず、複数の端末装置１０や複数の情報処理装置１００を有していてもよい。

端末装置１０、及び情報処理装置１００は、それぞれ有線又は無線によりネットワークＮ（たとえば、図３参照）に接続される。ネットワークＮは、ＬＡＮ（Local Area Network）や、ＷＡＮ（Wide Area Network）や、電話網（携帯電話網、固定電話網等）や、地域ＩＰ（Internet Protocol）網や、インターネットなどの通信ネットワークである。ネットワークＮは、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。端末装置１０、及び情報処理装置１００は、ネットワークＮを通じて、相互に通信できる。

図１に示す端末装置１０は、検索クエリを用いた各種サービスを利用するユーザが使用する情報処理装置である。たとえば、端末装置１０は、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、ＰＤＡ（Personal Digital Assistant）などにより実現される。

また、端末装置１０は、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation：第５世代移動通信システム）などの無線通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Local Area Network）などの近距離無線通信を介してネットワークＮに接続できる。

また、端末装置１０は、各種サービスを利用するための情報を、ウェブブラウザやアプリケーションにより表示できる。なお、端末装置１０は、情報の表示処理を実現する制御情報を情報処理装置１００などから受け取った場合には、制御情報に従って表示処理を実現する。

また、端末装置１０のユーザは、各種サービスの利用を通じて、情報処理装置１００に対し、検索クエリの情報を提供する。たとえば、各種サービスのウェブページやアプリケーションに設けられている検索窓に各ユーザが入力した検索クエリの情報が情報処理装置１００に提供される。

図１に示す情報処理装置１００は、検索クエリを用いた各種サービスなどを提供する情報処理装置である。情報処理装置１００が提供する各種サービスには、各種アプリケーションに対応するＡＰＩ（Application Programming Interface）サービスや、各種オンラインサービスが含まれていてもよい。オンラインサービスとしては、インターネット接続や、検索サービスや、ＳＮＳ（Social Networking Service）や、電子商取引サービスや、電子決済サービスや、オンラインゲームや、オンラインバンキングサービスや、オンライントレーディングサービスや、宿泊予約サービスや、チケット予約サービスや、動画配信サービスや、音楽配信サービスや、ニュース配信サービスや、地図情報サービスや、ルート検索サービスや、経路案内サービスや、路線情報サービスや、運行情報サービスや、天気情報サービスなどのサービスが該当し得る。

また、情報処理装置１００は、各種サービスの提供を通じて収集した検索クエリの情報を用いて、実施形態に係る情報処理を実行する情報処理装置である。情報処理装置１００は、典型的にはサーバ装置であるが、メインフレームやワークステーションなどにより実現されてもよい。

情報処理装置１００がサーバ装置で実現される場合、単独のサーバにより実現されてもよいし、複数のサーバ装置及び複数のストレージ装置が協働して動作するクラウドシステムなどにより実現されてもよい。なお、情報処理装置１００は、端末装置１０に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）などのスクリプト言語やＣＳＳ（Cascading Style Sheets）などのスタイルシート言語により記述される。なお、情報処理装置１００から配信されるアプリケーションそのものを制御情報とみなしてもよい。

［２．情報処理］
以下、情報処理システムＳＹＳにおける情報処理の一例を説明する。なお、以下の説明において、実施形態に係る情報処理の対象は、各種サービスを利用するユーザである。また、以下の説明において、シードユーザＵの一群を「ユーザ群ＵＧ」と総称する。シードユーザＵは、「〇〇を買った」、「〇〇に行った」、「〇〇している」といった所定の行動を行ったユーザや、特定の属性（興味嗜好など）を有するユーザなど、特定のユーザコンテキストを有するユーザに該当する。

なお、以下に説明する情報処理は、情報処理の対象がシードユーザＵを含む複数のユーザである場合に限られず、商品や、街や、サービスなど、情報を収集可能な対象であれば、どのような対象に対しても適用できる。

まず、図１に示す例において、情報処理装置１００は、ユーザ群ＵＧを特定する。そして、情報処理装置１００は、ユーザ群ＵＧに含まれるシードユーザＵが入力した検索クエリの共通性に基づいて、シードユーザＵが入力した検索クエリと所定の行動との関係性を数値化した第１リスト情報を生成し、記憶する。

たとえば、情報処理装置１００は、「〇〇を買った」「〇〇に興味がある」という条件（タイトル）を満たすユーザをシードユーザＵとして収集し、シードユーザＵが入力した検索クエリの共通性に基づいたスコアを付与した第１リストを作成する。具体的には、「眼鏡をかけている」というシードユーザＵを収集し、検索クエリ：「眼鏡」に「７０点」、検索クエリ：「眼鏡ふき」に「５０点」、検索クエリ：「リンゴ」にスコア「－５０点」といったようなスコアを付与し、検索クエリとスコアとの組である第１リストを作成する。

上述したシードユーザＵの一群であるユーザ群ＵＧの特定は、任意の方法を用いて行うことができる。たとえば、情報処理装置１００は、各種の購買履歴や利用履歴、位置履歴などの各種の情報に基づいて、想定される行動を行ったユーザをシードユーザＵであると推定し、ユーザ群ＵＧを特定してもよい。具体的には、ある所定の店舗の名称を検索クエリとして入力し、その後、その所定の店舗を実際に訪問した訪問者（シードユーザＵ）を推定することによりユーザ群ＵＧを特定してもよい。また、別の例として、イベントの名称を検索クエリとして入力し、その後、そのイベントに実際に参加した参加者（シードユーザＵ）を推定することによりユーザ群ＵＧを特定してもよい。また、更に別の例として、ある商品の名称を検索クエリとして入力し、その後、その名称の商品を実際に購入した購入者（シードユーザＵ）を推定することによりユーザ群ＵＧを特定してもよい。また、情報処理装置１００は、実際に所定の店舗（たとえば、配信済みの広告と対応する店舗）を利用した利用者（シードユーザＵ）を推定することによりユーザ群ＵＧを特定してもよい。また、情報処理装置１００は、所定の広告やウェブページ、映画や音楽などのコンテンツを視聴した視聴者（シードユーザＵ）を推定することによりユーザ群ＵＧを特定してもよい。

また、情報処理装置１００は、第１リストにおける検索クエリのスコアは、以下のような機械学習により生成される行動モデルから求めることができる。たとえば、情報処理装置１００は、シードユーザＵが入力した検索クエリを正例とし、ランダムに選択したシードユーザＵ以外の他のユーザが入力した検索クエリを負例としたときに、正例を入力した際により高い値を出力し、負例を入力した際により低い値を出力するように学習モデルの学習を行う。このとき、学習には任意の手法が採用可能である。たとえば、モデルとしてニューラルネットワークが採用される場合は、バックプロパゲーションなどにより実現可能である。

また、情報処理装置１００は、シードユーザＵが共通して入力している検索クエリについては、より高い値の数値が出力されるようにモデルを学習してもよい。たとえば、正例となる検索クエリを入力したシードユーザＵの数が多ければ多い程、より高い値を出力するようにモデルを学習してもよい。また、負例となる検索クエリを入力した他のユーザの数が多い程、より小さい値（負の値）を出力するようにモデルを学習してもよい。そして、情報処理装置１００は、各検索クエリと、このような学習モデルに検索クエリを入力した際に出力したスコアとの組のリストを「第１リスト情報」として生成する。すなわち、情報処理装置１００は、所定の行動を行ったシードユーザＵが入力した各検索クエリと、検索クエリの各々に対応する上述のスコア（検索クエリと所定の行動との間の関係性を示すスコア）との組を「第１リスト情報」として生成する。なお、この第１リスト情報は、所定の行動ごとに生成された行動モデルを用いて、所定の行動ごとに生成される。

また、情報処理装置１００は、ユーザ群ＵＧが入力した検索クエリと、第１リスト情報とに基づいて、所定の行動とシードユーザＵを含む複数のユーザとの関係性を数値化し、数値化した関係性を示す値に基づいて、シードユーザＵを含む複数のユーザを順位付けしたユーザリストを生成できる。

たとえば、情報処理装置１００は、シードユーザＵを含む各ユーザの中から処理対象とするユーザの選定を行い、選定した各ユーザが入力した検索クエリと対応付けられたスコアを第１リスト情報から特定する。なお、情報処理装置１００は、処理対象とするユーザを無作為に選定してもよいし、所定の条件に基づいて選定してもよい。そして、情報処理装置１００は、特定したスコアの合計を用いて、所定の行動と、複数ユーザの中から選定した各ユーザとの間の関係性を示すユーザリストを導出する。たとえば、ユーザリストにおいて、所定の行動と関係性が高いユーザはスコアが高く、所定の行動と関係性が低いユーザはスコアが低くなる。

以下、情報処理装置１００によるユーザリストの生成について具体的に説明する。シードユーザＵを含む各ユーザが入力した複数の検索クエリひとつひとつについて、対応付けられたスコアを第１リスト情報から取得し、取得したスコアの合計値を算出する。このようにすれば、各ユーザが入力した複数の検索クエリと所定の行動との関係性を数値として表すことができるため、単一の検索クエリの数値化と比較してより信頼性の高い数値化を実現できる。

次に、情報処理装置１００は、各ユーザについてスコアの合計値を計算した後、スコアの高い順に各ユーザを順位付けするとともに、順位順に各ユーザが入力した検索クエリを対応付けたユーザリストを生成する。このユーザリストは、どのような検索クエリを入力したユーザが、所定の行動との関連性が強いかを示すリストとして機能する。このユーザリストは、検索クエリと所定の行動との関連性の分析や、ユーザの分析などに用いられる。なお、このユーザリストは、シードユーザＵを選定する際に設定される行動（たとえば、「〇〇を買った」、「〇〇に行った」、「〇〇している」など）といった所定の行動ごとに生成される。

上述したユーザリストを用いることにより、ユーザが興味を有する可能性が高い情報の提供を実現できると考えられる。たとえば、ある店舗を訪問したという行動と対応するユーザリストには、その行動と関連性が高いユーザのランキングが含まれる。そこで、たとえば、広告を配信する配信サーバは、ユーザリストを用いることにより、ランキングの順位が高いユーザに対し、その店舗に関する広告を提供することで、広告効果を向上させることができると考えられる。また、ある商品を購入したという行動と対応するユーザリストには、その行動と関連性が高いユーザのランキングが含まれる。そこで、たとえば、広告を配信する配信サーバは、ユーザリストを用いることにより、ランキングの順位が高いユーザに対し、その商品またはその商品と関連する商品に関する広告を提供することで、広告効果を向上させることができると考えられる。

一方、上述したユーザリストについて、ユーザの行動を正確に反映したリストであるかどうかの確証を得ることは難しい。すなわち、スコアに基づいてユーザを順位付けした際に、果たしてどの順位までのユーザが所定の行動との関係性を有するのかという点について、実際には定かではない。たとえば、スコアが高いほど、所定の行動を取る可能性が高いという推測が働くが、スコアがどの程度高ければ所定の行動と関連性が高いのかを見極めることは難しい。また、スコアの高さと、所定の行動との関係性の高さとの相関関係の検証も十分とは言い切れない。

そこで、実施形態に係る情報処理装置１００は、以下に説明する情報処理により、ユーザリストの元となる第１リスト情報の信頼性を確認するための情報処理方法を提案する。

まず、情報処理装置１００は、第１リスト情報から検索クエリを削除、または第１リスト情報に対して検索クエリを追加した第２リスト情報を複数生成する（ステップＳ１）。次に、情報処理装置１００は、生成した第２リスト情報の精度を測定するテストを実行する（ステップＳ２）。そして、情報処理装置１００は、第２リスト情報の精度を測定するテストの結果に基づいて、第１リスト情報の信頼性を評価する（ステップＳ３）。

以下、図２及び図３を用いて、第２リスト情報の一例を説明する。図２及び図３は、実施形態に係る第２リスト情報の一例を示す図である。

まず、図２に示すように、情報処理装置１００は、信頼性の評価対象となる第１リスト情報ＬＴ１－１と、非採用クエリ情報ＬＴ１－２とを取得する。なお、非採用クエリ情報ＬＴ１－２は、第１リスト情報ＬＴ１－１の生成過程で採用されなかった検索クエリの情報である。図２に示す例では、行動Ａに対応する第１リスト情報ＬＴ１－１と、非採用クエリ情報ＬＴ１－２とが取得されている。

次に、図２に示すように、情報処理装置１００は、第１リスト情報ＬＴ１－１に含まれる検索クエリの一部を削除することにより、複数の第２リスト情報ＬＴ２－１を生成する。なお、情報処理装置１００は、第２リスト情報ＬＴ２－１を生成する際、検索クエリを１つずつ削除してもよいし、任意の数の検索クエリを一度に削除してもよい。また、情報処理装置１００は、第２リスト情報ＬＴ２－１から削除する検索クエリの数に上限を設けてもよい。

また、図２に示すように、情報処理装置１００は、第１リスト情報ＬＴ１－１に対して、非採用クエリ情報ＬＴ１－２に含まれている検索クエリを追加することにより、複数の第２リスト情報ＬＴ２－２を生成する。なお、情報処理装置１００は、第２リスト情報ＬＴ２－２を生成する際、非採用クエリ情報ＬＴ１－２に含まれている検索クエリを１つずつ追加してもよいし、第１リスト情報ＬＴ１－１から２つ以上の検索クエリを一度に削除してもよい。また、情報処理装置１００は、第２リスト情報ＬＴ２－１から削除する検索クエリの数に上限を設けてもよい。なお、情報処理装置１００は、第１リスト情報ＬＴ１－１に対して、非採用クエリ情報ＬＴ１－２には含まれない任意の検索クエリを追加してもよい。

また、図３に示すように、情報処理装置１００は、第１リスト情報ＬＴ１－１に対して、第１リスト情報ＬＴ１－１に含まれる検索クエリの組合せを追加することにより、第２リスト情報ＬＴ２－３を生成することもできる。なお、図３に示す例では、第１リスト情報ＬＴ１－１に対して、１対１の検索クエリの組合せが追加される場合を示しているが、３つ以上の検索クエリの組合せを追加してもよい。また、情報処理装置１００は、検索クエリの組合せを１つずつ追加してもよいし、２つ以上の組合せを一度に追加してもよい。

また、図３に示すように、情報処理装置１００は、第１リスト情報ＬＴ１－１に対して、非採用クエリ情報ＬＴ１－２に含まれる検索クエリの中から選択した複数の検索クエリの組合せを追加することにより、第２リスト情報ＬＴ２－４を生成することもできる。なお、図３に示す例では、第１リスト情報ＬＴ１－１に対して、１対１の検索クエリの組合せが追加される場合を示しているが、３つ以上の検索クエリの組合せを追加してもよい。また、情報処理装置１００は、検索クエリの組合せを１つずつ追加してもよいし、２つ以上の組合せを一度に追加してもよい。

また、図３に示すように、情報処理装置１００は、第１リスト情報ＬＴ１－１に対して、第１リスト情報ＬＴ１－１に含まれる検索クエリと、非採用クエリ情報ＬＴ１－２に含まれる検索クエリの中から選択した検索クエリとの組合せを追加することにより、第２リスト情報ＬＴ２－５を生成することもできる。なお、図３に示す例では、第１リスト情報ＬＴ１－１に対して、１対１の検索クエリの組合せが追加される場合を示しているが、１対多や多対１、多対多の組合せを追加してもよい。また、情報処理装置１００は、検索クエリの組合せを１つずつ追加してもよいし、２つ以上の組合せを一度に追加してもよい。

以下、情報処理装置１００が実施する第２リスト情報の精度を測定するテスト方法の一例について説明する。

たとえば、情報処理装置１００は、複数の第２リスト情報について、一斉にＡＢテストを実行することにより、複数の第２リスト情報の精度をそれぞれ測定する。具体的には、情報処理装置１００は、生成した複数の第２リスト情報と同数のユーザグループを設定し、設定した各ユーザグループに対して、第２リスト情報を重複しないように個別に割り当てる。なお、各ユーザグループは、無作為に選択した予め定められる人数のユーザで構成される。

続いて、情報処理装置１００は、第２リスト情報を用いて、各ユーザグループのユーザリストをそれぞれ作成する。続いて、情報処理装置１００は、各ユーザリストにおいて上位に位置付けられている各ユーザ（たとえば、上位１００位までの各ユーザ）に対して、所定の行動に対応する広告の配信を行う。続いて、情報処理装置１００は、各ユーザリストに基づいて配信した広告の効果測定を行う。広告の効果を測定するための指標には、任意の指標を用いることができる。たとえば、この指標として、インプレッション数や、インプレッション単価や、リーチや、クリック数や、クリック率や、クリック単価や、コンバージョン数や、コンバージョン率や、セッション数や、コンバージョン単価などを採用できる。

そして、情報処理装置１００は、第１リスト情報に基づくユーザリストを用いて広告配信を行った場合の広告の効果と、各第２リスト情報に基づくユーザリストの各々を用いて広告配信を行った場合の広告の効果とを比較することにより、第２リスト情報の精度をそれぞれ測定する。

たとえば、情報処理装置１００は、複数の第２リスト情報の各々に基づく各広告のうち、第１リスト情報を用いた広告の効果を上回る効果が認められた広告の数が所定の閾値未満である場合、第１リスト情報の信頼性は高いと評価する。一方、情報処理装置１００は、複数の第２リスト情報の各々に基づく各広告のうち、第１リスト情報を用いた広告の効果を上回る効果が認められた広告の数が所定の閾値以上である場合、第１リスト情報の信頼性は低いと評価する。

また、情報処理装置１００は、以下に説明する方法により、第２リスト情報の精度を測定するためのテストを実施することもできる。たとえば、情報処理装置１００は、生成した複数の第２リスト情報のそれぞれに対応するユーザリストを生成する。次に、情報処理装置１００は、各ユーザリストの上位に位置付けられているユーザ（たとえば、上位１００位までの各ユーザ）が、実際に対応する所定の行動（たとえば、行動Ａ）を行った割合をリサーチする。

続いて、情報処理装置１００は、複数の第２リスト情報の各々に基づくユーザリストごとに、第１リスト情報に基づくユーザリストの上位に位置付けられているユーザが所定の行動を行った行動実行率と、第２リスト情報に基づくユーザリストの上位に位置付けられているユーザが所定の行動を行った行動実行率とを個別に比較する。そして、情報処理装置１００は、複数の第２リスト情報の各々に基づく各ユーザリストのうち、第１リスト情報に紐づく行動実行率を上回る行動実行率を記録したユーザリストの数が所定の閾値未満である場合、第１リスト情報の信頼性は高いと評価する。一方、情報処理装置１００は、複数の第２リスト情報の各々に基づく各ユーザリストのうち、第１リスト情報に紐づく行動実行率を上回る行動実行率を記録したユーザリストの数が所定の閾値以上である場合、第１リスト情報の信頼性は低いと評価する。

このように、実施形態に係る情報処理装置１００は、第１リスト情報の信頼性を評価できる。

［３．情報処理装置の構成］
図４を用いて、実施形態に係る情報処理装置１００の構成について説明する。図４は、実施形態に係る情報処理装置の構成例を示す図である。

図４に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを備える。なお、図４は、情報処理装置１００の構成例を示すものであり、図４に示す形態には限られず、図４に示す以外の他の機能部を備える形態であってもよい。

（通信部１１０）
通信部１１０は、例えば、ネットワークＮと有線または無線で接続され、ネットワークＮを介して、端末装置１０などの他の装置との間で情報の送受信を行う。通信部１１０は、例えば、ＮＩＣ（Network Interface Card）やアンテナなどによって実現される。ネットワークＮは、ＬＡＮ（Local Area Network）や、ＷＡＮ（Wide Area Network）や、電話網（携帯電話網や固定電話網など）や、地域ＩＰ（Internet Protocol）網や、インターネットなどの通信ネットワークである。ネットワークＮには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。

通信部１１０は、端末装置１０から、撮影画像などの情報を受信する。また、通信部１１０は、提案情報を端末装置１０に送信する。

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、または、ハードディスクや光ディスクなどの記憶装置によって実現される。記憶部１２０は、制御部１３０の各部により実行される情報処理を実現するためのプログラム及びデータを記憶する。

図４に示すように、記憶部１２０は、第１リスト情報記憶部１２１と、非採用クエリ情報記憶部１２２と、ユーザ情報記憶部１２３とを有する。

（第１リスト情報記憶部１２１）
第１リスト情報記憶部１２１には、第１リスト情報が任意の形式で記憶されている。第１リスト情報は、所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと所定の行動との間の関係性を数値化した情報である。図５は、実施形態に係る第１リスト情報の概要を示す図である。

図５に示すように、第１リスト情報は、第１リスト情報の作成時に予め設定される所定の行動ごとに設けられる。第１リスト情報は、「検索クエリ」の項目と、「スコア」の項目とを有する。第１リスト情報が有するこれらの項目は、相互に対応付けられている。

「検索クエリ」の項目には、所定の行動を行ったシードユーザにより入力された検索クエリの情報が記憶される。また、「スコア」の項目には、検索クエリと所定の行動との間の関係性を示すスコアの情報が記憶される。

（非採用クエリ情報記憶部１２２）
非採用クエリ情報記憶部１２２には、非採用クエリ情報が任意の形式で記憶されている。非採用クエリ情報は、第１リスト情報の生成過程で採用されなかった検索クエリに関する情報である。図６は、実施形態に係る非採用クエリ情報の概要を示す図である。

図６に示すように、非採用クエリ情報は、第１リスト情報の作成時に予め設定される所定の行動ごとに設けられる。また、図６に示すように、非採用クエリ情報は、「検索クエリ」の項目と、「スコア」の項目とを有する。第２リスト情報が有するこれらの項目は相互に対応付けられている。

「検索クエリ」の項目には、所定の行動を行ったシードユーザにより入力された検索クエリの情報が記憶される。また、「スコア」の項目には、検索クエリと所定の行動との間の関係性を示すスコアの情報が記憶される。

（ユーザ情報記憶部１２３）
ユーザ情報記憶部１２３には、各ユーザから提供される検索クエリなどのユーザ情報が任意の形式で記憶されている。図７は、実施形態に係るユーザ情報の概要を示す図である。

図７に示すように、ユーザ情報は、「ユーザＩＤ」の項目や、「検索履歴」の項目などを有する。

「ユーザＩＤ」の項目には、検索履歴の提供元であるユーザに付与されている識別情報が記憶される。「検索履歴」の項目には、各ユーザから提供される検索履歴が記憶される。検索履歴には、各ユーザが各種サービスを利用する際に使用した検索クエリの情報が含まれる。

（制御部１３０）
図４に示す制御部１３０は、情報処理装置１００を制御するコントローラ（controller）である。制御部１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）などによって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（例えば、情報処理プログラム）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路により実現されてもよい。

図４に示すように、制御部１３０は、第１生成部１３１と、第２生成部１３２と、評価部１３３とを有する。制御部１３０は、これらの各部により、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各部の接続関係は、図４に示した接続関係に限られず、他の接続関係であってもよい。

（第１生成部１３１）
第１生成部１３１は、所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと所定の行動との間の関係性を数値化した第１リスト情報を生成する。第１生成部１３１は、生成した第１リスト情報を第１リスト情報記憶部１２１に格納する。また、第１生成部１３１は、第１リスト情報の生成過程で採用されなかった検索クエリに関する非採用クエリ情報を非採用クエリ情報記憶部１２２に格納する。

（第２生成部１３２）
第２生成部１３２は、第１リスト情報から検索クエリを削除、または第１リスト情報に対して検索クエリを追加した第２リスト情報を複数生成する（たとえば、図２および図３参照）。

たとえば、第２生成部１３２は、第１リスト情報の生成過程で採用されなかった検索クエリ（非採用クエリ情報記憶部１２２に記憶されている非採用クエリ）の中から、第１リスト情報に追加する検索クエリを選択する。そして、第２生成部１３２は、選択した検索クエリを第１リスト情報に追加することにより、第２リスト情報を生成する。

また、第２生成部１３２は、第１リスト情報に含まれる複数の検索クエリの組合せを第１リストに追加することにより、第２リスト情報を生成する。

また、第２生成部１３２は、第１リスト情報の生成過程で採用されなかった検索クエリ（非採用クエリ情報記憶部１２２に記憶されている非採用クエリ）の中から選択した複数の検索クエリの組合せを第１リストに追加することにより、第２リスト情報を生成する。

また、第２生成部１３２は、第１リスト情報に含まれる検索クエリと、第１リスト情報の生成過程で採用されなかった検索クエリ（非採用クエリ情報記憶部１２２に記憶されている非採用クエリ）の中から選択した検索クエリとの組合せを第１リストに追加することにより、第２リスト情報を生成する。

（評価部１３３）
評価部１３３は、第２リスト情報の精度を測定するテストの結果に基づいて、第１リスト情報の信頼性を評価する。たとえば、評価部１３３は、第２生成部１３２により生成された複数の第２リスト情報について、一斉にＡＢテストを実行することにより、複数の第２リスト情報の精度をそれぞれ測定する。

具体的には、評価部１３３は、第２生成部１３２により生成された複数の第２リスト情報と同数のユーザグループを設定し、設定した各ユーザグループに対して、第２リスト情報を重複しないように個別に割り当てる。なお、各ユーザグループは、無作為に選択した予め定められる人数のユーザで構成される。

続いて、評価部１３３は、第２リスト情報を用いて、各ユーザグループのユーザリストをそれぞれ作成する。続いて、評価部１３３は、各ユーザリストにおいて上位に位置付けられている各ユーザ（たとえば、上位１００位までの各ユーザ）に対して、所定の行動に対応する広告の配信を行う。続いて、評価部１３３は、各ユーザリストに基づいて配信した広告の効果測定を行う。広告の効果を測定するための指標には、任意の指標を用いることができる。たとえば、この指標として、インプレッション数や、インプレッション単価や、リーチや、クリック数や、クリック率や、クリック単価や、コンバージョン数や、コンバージョン率や、セッション数や、コンバージョン単価などを採用できる。

そして、評価部１３３は、第１リスト情報に基づくユーザリストを用いて広告配信を行った場合の広告の効果と、各第２リスト情報に基づくユーザリストの各々を用いて広告配信を行った場合の広告の効果とを比較することにより、第２リスト情報の精度をそれぞれ測定する。

たとえば、評価部１３３は、複数の第２リスト情報の各々に基づく各広告のうち、第１リスト情報を用いた広告の効果を上回る効果が認められた広告の数が所定の閾値未満である場合、第１リスト情報の信頼性は高いと評価する。一方、情報処理装置１００は、複数の第２リスト情報の各々に基づく各広告のうち、第１リスト情報を用いた広告の効果を上回る効果が認められた広告の数が所定の閾値以上である場合、第１リスト情報の信頼性は低いと評価する。

また、評価部１３３は、以下に説明する方法により、第２リスト情報の精度を測定するためのテストを実施することもできる。たとえば、評価部１３３は、生成した複数の第２リスト情報のそれぞれに対応するユーザリストを生成する。次に、評価部１３３は、各ユーザリストの上位に位置付けられている各ユーザ（たとえば、上位１００位までの各ユーザ）が、実際に対応する所定の行動（たとえば、行動Ａ）を行った割合をリサーチする。

続いて、評価部１３３は、複数の第２リスト情報の各々に基づくユーザリストごとに、第１リスト情報に基づくユーザリストの上位に位置付けられているユーザが所定の行動を行った行動実行率と、第２リスト情報に基づくユーザリストの上位に位置付けられているユーザが所定の行動を行った行動実行率とを個別に比較する。そして、評価部１３３は、複数の第２リスト情報の各々に基づく各ユーザリストのうち、第１リスト情報に紐づく行動実行率を上回る行動実行率を記録したユーザリストの数が所定の閾値未満である場合、第１リスト情報の信頼性は高いと評価する。一方、情報処理装置１００は、複数の第２リスト情報の各々に基づく各ユーザリストのうち、第１リスト情報に紐づく行動実行率を上回る行動実行率を記録したユーザリストの数が所定の閾値以上である場合、第１リスト情報の信頼性は低いと評価する。

［４．処理手順］
以下、図８を用いて、実施形態に係る情報処理装置１００による処理手順について説明する。図８は、実施形態に係る情報処理装置による処理手順の一例を示すフローチャートである。図８に示す処理手順は、情報処理装置１００の制御部１３０により実行される。図８に示す処理手順は、情報処理装置１００の稼働中、繰り返し実行される。

図８に示すように、第２生成部１３２は、第１リスト情報から検索クエリを削除、または第１リスト情報に対して検索クエリを追加した第２リスト情報を複数生成する（ステップＳ１０１）。

続いて、評価部１３３は、ステップＳ１０１で生成された複数の第２リスト情報の精度を測定するためのテストを実施する（ステップＳ１０２）。

続いて、評価部１３３は、ステップＳ１０２で実施したテストの結果に基づいて、第１リスト情報の信頼性を評価し（ステップＳ１０３）、図８に示す処理手順を終了する。

［５．変形例］
上述した情報処理装置１００は、上述した実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。

（５－１．第１リスト情報について）
上述した実施形態において、情報処理装置１００は、複数の所定の行動それぞれについて第１リスト情報を生成する例を説明したが、この例には特に限定される必要はない。たとえば、情報処理装置１００は、ターゲットとするユーザの行動以外のコンテキスト（たとえば、デモグラフィック属性や興味嗜好など）に基づいて、第１リスト情報および第２リスト情報を作成してもよい。

（５－２．第２リスト情報について）
上述の実施形態において、情報処理装置１００は、第１リスト情報に検索クエリの組合せを追加して第２リスト情報を作成する際、相関性が高い検索クエリ同士を組み合わせてもよい。

［６．ハードウェア構成］
実施形態に係る情報処理装置１００は、たとえば、図９に示すような構成のコンピュータ１０００によって実現される。図９は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインターフェイスであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインターフェイスであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が情報処理装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラム（たとえば、情報処理プログラム）を実行することにより、制御部１３０と同様の機能を実現する。すなわち、演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラム（たとえば、情報処理プログラム）との協働により、実施形態に係る情報処理装置１００による処理を実現する。

［７．その他］
上述した実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

上述の実施形態において、情報処理装置１００による情報処理方法（たとえば、図８参照）を実現するために、情報処理装置１００が有する制御部１３０の各部（第１生成部１３１、第２生成部１３２、及び評価部１３３）に対応する処理機能は、情報処理装置１００に予めインストールされている情報処理プログラムに対するアドオンとして実現してもよいし、軽量なプログラミング言語などを用いて、専用の提供プログラムとして柔軟に記述することにより実現されてもよい。

また、情報処理装置１００は、ユーザ情報記憶部１２３に記憶するユーザ情報として、各ユーザが入力した検索クエリの検索履歴だけでなく、各ユーザの購買履歴、電子商店街で閲覧した取引対象の履歴、購入した取引対象の履歴である購買履歴、閲覧したニュース等のコンテンツの履歴である閲覧履歴、ＳＮＳ（Social Networking Service）に投稿したテキストや画像等の履歴である投稿履歴、位置履歴などを収集してもよい。また、情報処理装置１００は、たとえば、各ユーザが保有するスマートフォンを用いて店舗に設置されたＱＲコード（登録商標）を読み取り、読み取り結果を用いて実現する決済サービスの利用履歴や、各ユーザが保有するスマートフォンにＱＲコードを表示させ、かかるＱＲコードを店舗端末が読み込むことで行われる決済サービスの利用履歴（たとえば、購入日時や購入商品、購入額など）を収集してもよい。また、情報処理装置１００は、各ユーザが保有するクレジットカードの利用履歴や銀行口座の利用履歴などを収集してもよい。

また、情報処理装置１００は、収集した情報に基づいて推定された情報を各ユーザの情報としてもよい。たとえば、情報処理装置１００は、購買履歴から、毎月の食料品の平均的な購入総額が１０万円以上である場合、たとえば、世帯月収若しくは個人月収が３０万円以上であるといった収入や、３人家族であるといった家族構成、もしくは同居人構成などを推定し、各ユーザの情報としてもよい。また、情報処理装置１００は、たとえば、位置履歴や購入履歴から、各ユーザが所有する物品や、各ユーザの居住地や職場などを推定し、推定した情報を各ユーザの情報としてもよい。

また、情報処理装置１００は、たとえば、各種サービスを提供するサーバ装置から、サービスの利用履歴を各ユーザの情報として取得してもよい。また、情報処理装置１００は、このようなサービスを提供するサーバ装置もしくは単独のサーバ装置が、サービスの利用履歴から推定した各種情報を各ユーザの情報として収集してもよい。また、情報処理装置１００は、各ユーザが登録、又は各ユーザについて推定された各種のジオグラフィック属性や趣味嗜好といったサイコグラフィック属性を示す情報を各ユーザの情報として収集してもよい。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。たとえば、制御部１３０の第１生成部１３１と第２生成部１３２とは機能的に統合されていてもよい。

また、上述の実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［８．効果］
上述の実施形態に係る情報処理装置１００は、第１生成部１３１と、第２生成部１３２と、評価部１３３とを備える。第１生成部１３１は、所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと所定の行動との間の関係性を数値化した第１リスト情報を生成する。第２生成部１３２は、第１リスト情報から検索クエリを削除、または第１リスト情報に対して検索クエリを追加した第２リスト情報を複数生成する。評価部１３３は、第２リスト情報の精度を測定するテストの結果に基づいて、第１リスト情報の信頼性を評価する。

このようなことから、実施形態に係る情報処理装置１００は、第１リスト情報に人為的な変化を与えた第２リストの精度を確認することにより、第１リスト情報の信頼性を評価できる。

また、実施形態に係る情報処理装置１００において、第２生成部１３２は、第１リスト情報の生成過程で採用されなかった検索クエリの中から、第１リスト情報に追加する検索クエリを選択する。これにより、実施形態に係る情報処理装置１００は、第１リスト情報の生成過程を確認する機会を提供できる。

また、実施形態に係る情報処理装置１００において、第２生成部１３２は、第１リスト情報に含まれる複数の検索クエリの組合せを第１リストに追加する。

また、実施形態に係る情報処理装置１００において、第２生成部１３２は、第１リスト情報の生成過程で採用されなかった検索クエリの中から選択した複数の検索クエリの組合せを第１リストに追加する。

また、実施形態に係る情報処理装置１００において、第２生成部１３２は、第１リスト情報に含まれる検索クエリと、第１リスト情報の生成過程で採用されなかった検索クエリの中から選択した検索クエリとの組合せを第１リストに追加する。

これらにより、実施形態に係る情報処理装置１００は、第１リスト情報の精度をより高める可能性を模索できる。

以上、本願の実施形態をいくつかの図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

１０ 端末装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 第１リスト情報記憶部
１２２ 非採用クエリ情報記憶部
１２３ ユーザ情報記憶部
１３０ 制御部
１３１ 第１生成部
１３２ 第２生成部
１３３ 評価部

Claims (6)

1. 所定の行動を行った複数のシードユーザが入力した検索クエリと、当該検索クエリの共通性に基づいて当該検索クエリの各々に付与されるスコアとの組を、各シードユーザが入力した検索クエリと前記所定の行動との間の関係性を数値化した第１リスト情報として生成する第１生成部と、
   前記第１リスト情報から検索クエリを削除、または前記第１リスト情報に対して検索クエリを追加した第２リスト情報を複数生成する第２生成部と、
   前記第２リスト情報の精度を測定するテストの結果に基づいて、前記第１リスト情報の信頼性を評価する評価部と
   を備えることを特徴とする情報処理装置。
2. 前記第２生成部は、
   前記第１リスト情報に含まれる複数の検索クエリの組合せを前記第１リスト情報に追加する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第２生成部は、
   前記第１リスト情報の生成過程で採用されなかった検索クエリの中から選択した複数の検索クエリの組合せを前記第１リスト情報に追加する
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記第２生成部は、
   前記第１リスト情報に含まれる検索クエリと、前記第１リスト情報の生成過程で採用されなかった検索クエリの中から選択した検索クエリとの組合せを前記第１リスト情報に追加する
   ことを特徴とする請求項１～３のいずれか１つに記載の情報処理装置。
5. コンピュータが実行する情報処理方法であって、
   所定の行動を行った複数のシードユーザが入力した検索クエリと、当該検索クエリの共通性に基づいて当該検索クエリの各々に付与されるスコアとの組を、各シードユーザが入力した検索クエリと前記所定の行動との間の関係性を数値化した第１リスト情報として生成する第１生成工程と、
   前記第１リスト情報から検索クエリを削除、または前記第１リスト情報に対して検索クエリを追加した第２リスト情報を複数生成する第２生成工程と、
   前記第２リスト情報の精度を測定するテストの結果に基づいて、前記第１リスト情報の信頼性を評価する評価工程と
   を含むことを特徴とする情報処理方法。
6. コンピュータに、
   所定の行動を行った複数のシードユーザが入力した検索クエリと、当該検索クエリの共通性に基づいて当該検索クエリの各々に付与されるスコアとの組を、各シードユーザが入力した検索クエリと前記所定の行動との間の関係性を数値化した第１リスト情報として生成する第１生成手順と、
   前記第１リスト情報から検索クエリを削除、または前記第１リスト情報に対して検索クエリを追加した第２リスト情報を複数生成する第２生成手順と、
   前記第２リスト情報の精度を測定するテストの結果に基づいて、前記第１リスト情報の信頼性を評価する評価手順と
   を実行させることを特徴とする情報処理プログラム。

Images