JP7522148B2

JP7522148B2 - 情報処理装置、情報処理方法及び情報処理プログラム

Info

Publication number: JP7522148B2
Application number: JP2022028551A
Authority: JP
Inventors: 樹生豊田; 純齋藤; 広弥小松; 賢熊谷; 晃平菅原
Original assignee: Individual
Current assignee: Individual
Priority date: 2022-02-25
Filing date: 2022-02-25
Publication date: 2024-07-24
Anticipated expiration: 2042-02-25
Also published as: JP2023124656A

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

従来、クエリ（query）に対して関連するエンティティ（entity）を返す際、エンティティリンキング（entity linking）が用いられる。エンティティリンキングとは、テキストを入力として関連するエンティティを返却する手法の総称である。例えば、非特許文献１には、Wikipedia（登録商標）の第一文に含まれる単語をホワイトリストとして採用し、周辺語として用いることで、主要語・周辺語としてエンティティを特定する技術が開示されている。

ウェブ検索クエリに対する周辺語を考慮した教師なしエンティティリンキング＜URL:https://www.anlp.jp/proceedings/annual_meeting/2019/pdf_dir/F1-1.pdf＞

しかしながら、上記の従来技術では、ホワイトリスト外の単語が周辺語にきた場合に判定できない。ウェブ検索の技術では、知識ベース（ナレッジベース）には、任意の対象（人、商品、映画等）をエンティティとし、エンティティとエンティティ同士の関係性とが対応付けられて登録されている。そして、ユーザが検索クエリを入力した際に、対応する１つまたは複数のエンティティを特定し、特定したエンティティ候補を表示し、ユーザが候補を選択したら、エンティティに対応する検索結果を出す。

例えば、ユーザが検索クエリとして歌のタイトルに含まれる単語（タイトル自体も含む）を入れると、各歌手のリスト（それぞれエンティティがある）を表示し、歌手が選択されると、その歌手や、その歌手の当該歌に関する検索結果が表示される。このような処理において、検索クエリと対応するエンティティを検索するのがエンティティリンカーであるが、従来のエンティティリンカーでは、ぴったりと合う厳密な正例だけだと、検索クエリと対応するエンティティを適切に検索するのが難しい。

ウェブ検索においては、しばしば複数意図を持つエンティティクエリが発行される。例えば、メディア作品名のクエリでは、漫画・ドラマ・アニメ・映画などの複数の意図がある。人物名のクエリでは、アナウンサー・歌手・スポーツ選手などの複数の意図がある。このようなクエリに対して、それぞれの意図に対応した絞り込み検索をできるようすることは検索体験を向上させるうえで重要である。

本願は、上記に鑑みてなされたものであって、複数意図のエンティティクエリに対する絞り込み検索のためのクエリ（絞り込み検索用クエリ）を生成し、絞り込み検索用クエリを用いてエンティティリンカーを改善することを目的とする。

本願に係る情報処理装置は、検索ログに蓄積された元クエリと再検索クエリとの組を順位付けして、複数意図を持つエンティティクエリに対する意図の絞り込みのための再検索用の再検索クエリを生成する生成部と、元クエリと再検索クエリとの組のＣＲＲ（Cumulative Reciprocal Rank）の差を含めた複数の素性を用いてランダムフォレストによるＰＵ（Positive Unlabeled）学習を行う学習部とを備えることを特徴とする。

実施形態の一態様によれば、絞り込み検索用クエリを用いてエンティティリンカーを改善することができる。

図１は、実施形態に係る情報処理方法の概要を示す説明図である。図２は、実施形態に係る情報処理システムの構成例を示す図である。図３は、実施形態に係る端末装置の構成例を示す図である。図４は、実施形態に係るサーバ装置の構成例を示す図である。図５は、利用者情報データベースの一例を示す図である。図６は、履歴情報データベースの一例を示す図である。図７は、実施形態に係る処理手順を示すフローチャートである。図８は、ハードウェア構成の一例を示す図である。

以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態（以下、「実施形態」と記載する）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．情報処理方法の概要〕
まず、図１を参照し、実施形態に係る情報処理装置が行う情報処理方法の概要について説明する。図１は、実施形態に係る情報処理方法の概要を示す説明図である。なお、図１では、複数意図のエンティティクエリに対する絞り込み検索のためのクエリを生成する場合を例に挙げて説明する。

図１に示すように、情報処理システム１は、端末装置１０とサーバ装置１００とを含む。端末装置１０とサーバ装置１００とは、ネットワークＮを介して有線又は無線で互いに通信可能に接続される。本実施形態では、端末装置１０は、サーバ装置１００と連携する。

端末装置１０は、利用者Ｕ（ユーザ）により使用されるスマートフォンやタブレット端末等のスマートデバイスであり、４Ｇ（Generation）やＬＴＥ（Long Term Evolution）等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。また、端末装置１０は、液晶ディスプレイ等の画面であって、タッチパネルの機能を有する画面を有し、利用者Ｕから指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、コンテンツ等の表示データに対する各種の操作を受付ける。なお、画面のうち、コンテンツが表示されている領域上で行われた操作を、コンテンツに対する操作としてもよい。また、端末装置１０は、スマートデバイスのみならず、デスクトップＰＣ（Personal Computer）やノートＰＣ等の情報処理装置であってもよい。

サーバ装置１００は、検索サーバ（検索エンジン）として、各利用者Ｕの端末装置１０から入力された検索クエリに基づいてウェブ検索を実行する情報処理装置であり、コンピュータやクラウドシステム等により実現される。なお、実際には、サーバ装置１００は、外部の検索サーバ（検索エンジン）と連携する情報処理装置であってもよい。

また、サーバ装置１００は、各利用者Ｕの端末装置１０と連携し、各利用者Ｕの端末装置１０に対して、各種アプリケーション（以下、アプリ）等に対するＡＰＩ（Application Programming Interface）サービス等と、各種データを提供してもよい。

また、サーバ装置１００は、各利用者Ｕの端末装置１０に対して、オンラインで何らかのＷｅｂサービスを提供する情報処理装置であってもよい。例えば、サーバ装置１００は、Ｗｅｂサービスとして、インターネット接続、検索サービス、ＳＮＳ（Social Networking Service）、電子商取引（ＥＣ：Electronic Commerce）、電子決済、オンラインゲーム、オンラインバンキング、オンライントレーディング、宿泊・チケット予約、動画・音楽配信、ニュース、地図、ルート検索、経路案内、路線情報、運行情報、天気予報等のサービスを提供してもよい。実際には、サーバ装置１００は、上記のようなＷｅｂサービスを提供する各種サーバと連携し、Ｗｅｂサービスを仲介してもよいし、Ｗｅｂサービスの処理を担当してもよい。

なお、サーバ装置１００は、利用者Ｕに関する利用者情報を取得可能である。例えば、サーバ装置１００は、利用者Ｕの性別、年代、居住地域といった利用者Ｕの属性に関する情報を取得する。そして、サーバ装置１００は、利用者Ｕを示す識別情報（利用者ＩＤ等）とともに利用者Ｕの属性に関する情報を記憶して管理する。

また、サーバ装置１００は、利用者Ｕの端末装置１０から、あるいは利用者ＩＤ等に基づいて各種サーバ等から、利用者Ｕの行動を示す各種の履歴情報（ログデータ）を取得する。例えば、サーバ装置１００は、利用者Ｕの位置や日時の履歴である位置履歴を端末装置１０から取得する。また、サーバ装置１００は、利用者Ｕが入力した検索クエリの履歴である検索履歴を自身又は他の検索サーバ（検索エンジン）から取得する。また、サーバ装置１００は、利用者Ｕが閲覧したコンテンツの履歴である閲覧履歴をコンテンツサーバから取得する。また、サーバ装置１００は、利用者Ｕの商品購入や決済処理の履歴である購入履歴（決済履歴）を電子商取引サーバや決済処理サーバから取得する。また、サーバ装置１００は、利用者Ｕのマーケットプレイスへの出品の履歴である出品履歴や販売履歴を電子商取引サーバや決済処理サーバから取得してもよい。また、サーバ装置１００は、利用者Ｕの投稿の履歴である投稿履歴を口コミの投稿サービスを提供する投稿サーバやＳＮＳサーバから取得する。なお、上記の各種サーバ等は、サーバ装置１００自体であってもよい。すなわち、サーバ装置１００が上記の各種サーバ等として機能してもよい。

〔１－１．絞り込み検索のためのクエリ生成法の概要〕
本実施形態では、サーバ装置１００は、複数意図を持つエンティティクエリに対する絞り込み検索のためのクエリ（再検索クエリ）の生成を行う。このとき、サーバ装置１００は、複数の正例生成器とラベル未付与事例生成器を組み合わせることで訓練事例を自動生成する。また、サーバ装置１００は、元クエリと再検索クエリとの組のＣＲＲ（Cumulative Reciprocal Rank）の差を含めた複数の素性を用いてＲＦ（Random forest：ランダムフォレスト）によるＰＵ（Positive Unlabeled）学習を行う。

本実施形態では、複数意図のエンティティクエリに対して絞り込み検索を行えるようにするための再検索クエリの生成方法として、検索ログに蓄積された元クエリと再検索クエリとの組を順位付けして利用することを示す。また、複数のラベル生成器を用いた訓練事例の自動生成法を示し、ＲＦ（Random forest）によるＰＵ（Positive Unlabeled）学習を行えることを示す。

（リスト生成）
サーバ装置１００は、元クエリq_aに対して、再検索クエリq_bの順位付けされたリストを生成する。このとき、次のクエリの要件を全て満たす候補のみを選択する。
（１）q_a、q_bはいずれもエンティティクエリである
（２）q_aは複数のエンティティを指している
（３）q_bは特定のエンティティを指す意図の絞り込みのクエリである。

本実施形態に係る挑戦的課題として、「意図の絞り込みではない再検索の除外」と「知識外の再検索候補の順位付け」とについて以下に示す。

（意図の絞り込みではない再検索の除外）
力点の変化を判定できなければならない。例えば“アガサクリスティ”→“アガサクリスティねじれた家”の場合は付加された“ねじれた家”に力点が変化している。こういった組は除外するべきである。また、周辺語を含まない部分一致はクエリの表層だけでは判定が難しい。例えば“東京”→“東京タワー”の場合は意図を絞り込んでいるわけではないため除外するべきである。一方、同じ部分一致でも取り違える可能性の高い組は絞り込みのための再検索として残す必要がある。例えば“ディーゼル”→“ディーゼルエンジン”などが挙げられる。

（知識外の再検索候補の順位付け）
所与の知識ベースに格納されているエンティティが再検索先の候補として最もふさわしくなるとは限らない。例えば“RHP”というクエリでは“バイトルRHP”（ホームページ作成サービス）などが再検索クエリの候補として挙げられる。しかし、これと対応するエンティティはWikipedia（登録商標）などの知識ベースには格納されていない。

〔１－２．フレームワーク〕
図１に示すように、サーバ装置１００は、検索ログを二種類取得する（ステップＳ１）。一つ目は、学習時に参照する素性を抽出するための素性抽出用のログである。あらかじめ学習時に参照するための素性を保存しておく。二つ目は、順位付け対象となる元クエリと再検索クエリとの組を取得するためのログである。

続いて、サーバ装置１００は、検索ログから取得された順位付け対象のクエリの組に対し、複数のラベル生成器を用いて正例とラベル未付与の事例とに分割する（ステップＳ２）。

続いて、サーバ装置１００は、事例に対してＲＦによるＰＵ学習を行い、順位付けのための回帰器の学習およびそれを用いた予測確率の付与を行う（ステップＳ３）。

〔１－３．検索ログの取得〕
サーバ装置１００は、ウェブ検索のセッションログを取得する。このログから再検索クエリq_bの発行された時刻t(q_b)と元クエリq_aの発行された時刻t(q_a)の差が30秒以内のもののみを抽出する。セッションとは、ある特定のユーザが一定時間内に発行した一連のクエリとそれに伴うユーザ行動のことを指す。

〔１－４．正例生成器〕
本実施形態では、次の正例生成器のいずれか又は組合せを使用する。ただし、実際には、これらの例に限定されない。

（元クエリに対するエンティティリンカー）
元クエリを内製のエンティティリンカーの入力とし、エンティティIDを出力する。知識ベースからエンティティIDと紐づく正式名称を取得する。元クエリが正式名称に対する部分一致文字列になっている場合には元クエリと正式名称との組を正例とする。

（クエリの組に対するエンティティリンカー）
元クエリと再検索クエリとの組を内製のエンティティリンカーの入力とし、それぞれのエンティティIDを取得する。元クエリと再検索クエリでそれぞれ異なるエンティティIDを出力している組を残す。同一IDを指す再検索クエリが複数ある場合には生起確率の最も高い候補を選択する。最後に、次の条件をすべて満たす組を正例とする。
（１）人物エンティティ間、または、メディア作品間の遷移である
（２）元クエリに周辺語は含まれない（例えば、元クエリの主要語が空白で区切られている場合、空白の後の文字列は周辺語とはしない）
（３）遷移前後で主要語と周辺語の入れ替わりが起きていない

（クエリの組に対するＣＲＲの差）
元クエリと再検索クエリとの組に対するＣＲＲ（Cumulative Reciprocal Rank）の差ΔＣＲＲはクエリ自動補完の分野においてしばしば用いられる指標である。例えば、当該分野では、順位に対数を適用した重みづけ、セッション後半のクリック先を利用したスコア補正などいずれも派生的なΔＣＲＲの定義をしている。本実施形態ではΔＣＲＲを次のように表現する。

ここで、D_bは再検索クエリq_bによってクリックされうる文書の集合、r(q_b、d)は再検索クエリq_bに対する文書dの順位、r(q_a、d)は元クエリq_aに対する文書dの順位である。元クエリq_aでは上位に順位付けできなかった文書を再検索クエリq_bが上位にできればΔＣＲＲは正の値をとる。このとき、再検索クエリq_bはユーザにとって役に立ったとみなすことができる。

本実施形態では、r(q_b、d)およびr(q_a、d)の順位は所与のクエリに対するクリック先文書のCTR（Click Through Rate）の順位によって算出する。なお、滞在時間による足切りは行わない。CTRの算出に用いられた文書の延べ数が各10以上、かつ、再検索クエリ側の文書の延べ数が元クエリ側の延べ数の10%以上、かつ、ΔＣＲＲが0より大きく1.5以下の場合に元クエリと再検索クエリとの組を正例とする。ΔＣＲＲに対するしきい値の決定方法の詳細については後述する。

〔１－５．ラベル未付与事例生成器〕
本実施形態では、次のラベル未付与事例生成器のいずれか又は組合せを使用する。ただし、実際には、これらの例に限定されない。

（生成器１）
生成器１は、元クエリが曖昧さ回避ページと対応するエンティティの名称と一致する事例をラベル未付与とする。

（生成器２）
生成器２は、元クエリと再検索クエリとの組に対する正例の生成時に正例と判定されなかった事例のうち周辺語を含まずエンティティIDが異なるクエリの組をラベル未付与とする。

（生成器３）
生成器３は、ΔＣＲＲによる正例の生成時に正例と判定されなかった事例をラベル未付与とする。

ここで、すでに正例と判定されていた事例については、ラベル未付与とはせず正例とする。

〔１－６．ＰＵ学習〕
本実施形態では次のようにＰＵ学習を行う。まずラベル未付与の事例に対してラベルを付与する。
（１）正例およびラベル未付与の事例を訓練用とテスト用の２つに分割する。
（２）訓練用の正例およびラベル未付与の事例を入力とし、ラベル付与確率の回帰器を生成する。
（３）テスト用の正例に対してこの回帰器を適用し、ラベル付与確率g(x)の平均cを求める。
（４）テスト用のラベル未付与の事例に対して回帰器を適用し、w(x)=p(y=1|x、s=0)の重みによりラベリングを行う。ここでw(x)は定数である平均cへの依存を持つ。
（５）訓練用の事例とテスト用の事例を入れ替え、テスト用の正例およびラベル未付与の事例について、上記（２）～（４）のステップを行う。

全ての事例にラベルが付与されたら二分割交差検定を行い、各テスト用事例に対して付与された予測確率を順位付けに用いる。

（素性）
ＰＵ学習の際に用いる素性を表１に示す。

なお、素性Assist(q_a，q_b)は、元クエリq_aおよび再検索クエリq_bが連続して発行されたときの検索補助の状況を表現するベクトル（18*18の最大324次元）であるが、取得期間のログでの生起回数が合計10未満である場合は除外する。

以下，詳細が必要な素性について説明する。
（クエリの分散表現）
クエリログからトークン数が２以上のレコードを抽出し、トークンの生起回数に基づくShifted Positive PMIの行列Xを生成する。この行列にRandomized SVD（Singular Value Decomposition）を適用し、X=UΣV*を得る。ここで、U、Vは直交行列、Σは特異値の対角行列である。トークンの分散表現に、下記の式（２）で示す行列を用いる。

ここで、パラメータはα=1.0、negative-samplingの値k=5.0に設定する。クエリ発行時間間隔の制約を一旦解除してトークンの生起回数を計算した。制約下で生起しないトークンの分散表現は除外する。クエリの分散表現はトークンの分散表現の加算により生成する。クエリが１トークンで構成される場合は、クエリの分散表現はトークンの分散表現と等しくなる。

〔１－７．評価〕
〔１－７－１．データセット〕
各データセットの詳細を以下に示す。

（参照用素性）
所定の期間のセッションログを用いて素性を抽出した。

（内製のエンティティリンカー）
ある１日のモデル（モデルの訓練にはその日の内製知識ベースおよびその日以前の直近１年間の所定の検索サイトのクリックログを利用する）

（順位付け対象事例）
順位付け対象事例は、上記とは別の所定の期間に発行された元クエリと再検索クエリとの組である。上述した操作により順位付け対象事例に対して確率を付与した。正例は1,225,010事例、ラベル未付与事例は9,036,884事例であったが、ＰＵ学習前にランダムオーバーサンプリングにより両方の数を均等にした。このときの素性は前述の参照用素性を利用した。

（開発・評価事例）
順位付け対象事例のうち元クエリに対するエンティティリンカーの推定結果の一位が曖昧さ回避エンティティと対応し、かつ、元クエリあたりの再検索クエリの異なり数が50以上の事例のみを残した。まず元クエリ100事例を非復元抽出し、この元クエリを含む組を評価用とした。評価用として使用されなかった組からΔＣＲＲが[0.5,2.0]の範囲の0.25刻みで各10事例ずつ非復元抽出した。この計70事例を開発用事例とした。

〔１－７－２．比較手法〕
比較手法を以下に示す。

（ＲＦ）
ＲＦ（Random forest）によりＰＵ学習を行った。Sparkの機械学習ライブラリ（MLlib）であるSparkMLlib2.4.6を使用し、Randomized SVDにはCriteo/Spark-RSVDを使用した（URL:https://github.com/criteo/Spark-RSVD）。

（ＤＣＲＲ）
素性抽出用ログの期間に計算したＤＣＲＲ（デルタＣＲＲ：ΔＣＲＲ）の値を適用した。このとき、しきい値を1.5に設定した。

なお、評価事例に対するＤＣＲＲ以外の正例生成器の正例生成数はゼロであったため、比較手法から除外した。

〔１－７－３．評価方法〕
所定の日に所定の検索サイトに対してクエリを発行し、これらの事例に対して次の３段階のスコアを付与した。
スコア「1.0」：クエリの要件を満たし、かつ、検索結果１～２ページ目のいずれかの文書に対応している。
スコア「0.5」：クエリの要件を満たさないが、検索結果１ページ目の上位５件以内の文書と対応している。
スコア「0.0」：上記以外

〔１－７－４．正例生成器（ΔＣＲＲ）のしきい値の設定〕
開発事例に対して３段階のスコアを付与した。このとき、Ｆ値が最大となったしきい値1.5を設定した。なお、このときのＦ値は0.735であった。

〔１－７－５．評価結果〕
適合率、再現率、Ｆ値を計測した結果、適合率についてはＤＣＲＲがＲＦを12.4ポイント上回った。再現率およびＦ値については、ＲＦがＤＣＲＲをそれぞれ12.3ポイント、4.4ポイント上回った。このように、ＲＦ（Random forest）により学習を行い、単独のラベル生成器を用いた場合と比較してＦ値が4.4ポイント向上した。すなわち、本実施形態により、ＣＲＲの差を単独で用いる場合よりもＦ値が4.4ポイント向上する。

〔２．情報処理システムの構成例〕
次に、図２を用いて、実施形態に係るサーバ装置１００が含まれる情報処理システム１の構成について説明する。図２は、実施形態に係る情報処理システム１の構成例を示す図である。図２に示すように、実施形態に係る情報処理システム１は、端末装置１０とサーバ装置１００とを含む。これらの各種装置は、ネットワークＮを介して、有線又は無線により通信可能に接続される。ネットワークＮは、例えば、ＬＡＮ（Local Area Network）や、インターネット等のＷＡＮ（Wide Area Network）である。

また、図２に示す情報処理システム１に含まれる各装置の数は図示したものに限られない。例えば、図２では、図示の簡略化のため、端末装置１０を１台のみ示したが、これはあくまでも例示であって限定されるものではなく、２台以上であってもよい。

端末装置１０は、利用者Ｕによって使用される情報処理装置である。例えば、端末装置１０は、スマートフォンやタブレット端末等のスマートデバイス、フィーチャーフォン、ＰC（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、通信機能を備えたゲーム機やＡＶ機器、カーナビゲーションシステム、スマートウォッチやヘッドマウントディスプレイ等のウェアラブルデバイス（Wearable Device）、スマートグラス等である。

また、かかる端末装置１０は、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation：第５世代移動通信システム）等の無線通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Local Area Network）等の近距離無線通信を介してネットワークＮに接続し、サーバ装置１００と通信することができる。

サーバ装置１００は、例えばＰCやブレードサーバ（blade server）等のコンピュータ、あるいはメインフレーム又はワークステーション等である。なお、サーバ装置１００は、クラウドコンピューティングにより実現されてもよい。

〔３．端末装置の構成例〕
次に、図３を用いて、端末装置１０の構成について説明する。図３は、端末装置１０の構成例を示す図である。図３に示すように、端末装置１０は、通信部１１と、表示部１２と、入力部１３と、測位部１４と、センサ部２０と、制御部３０（コントローラ）と、記憶部４０とを備える。

（通信部１１）
通信部１１は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、サーバ装置１００との間で情報の送受信を行う。例えば、通信部１１は、ＮＩＣ（Network Interface Card）やアンテナ等によって実現される。

（表示部１２）
表示部１２は、位置情報等の各種情報を表示する表示デバイスである。例えば、表示部１２は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescent Display）である。また、表示部１２は、タッチパネル式のディスプレイであるが、これに限定されるものではない。

（入力部１３）
入力部１３は、利用者Ｕから各種操作を受け付ける入力デバイスである。例えば、入力部１３は、文字や数字等を入力するためのボタン等を有する。なお、入力部１３は、入出力ポート（I/O port）やＵＳＢ（Universal Serial Bus）ポート等であってもよい。また、表示部１２がタッチパネル式のディスプレイである場合、表示部１２の一部が入力部１３として機能する。また、入力部１３は、利用者Ｕから音声入力を受け付けるマイク等であってもよい。マイクはワイヤレスであってもよい。

（測位部１４）
測位部１４は、ＧＰＳ（Global Positioning System）の衛星から送出される信号（電波）を受信し、受信した信号に基づいて、自装置である端末装置１０の現在位置を示す位置情報（例えば、緯度及び経度）を取得する。すなわち、測位部１４は、端末装置１０の位置を測位する。なお、ＧＰＳは、ＧＮＳＳ（Global Navigation Satellite System）の一例に過ぎない。

また、測位部１４は、ＧＰＳ以外にも、種々の手法により位置を測位することができる。例えば、測位部１４は、位置補正等のための補助的な測位手段として、下記のように、端末装置１０の様々な通信機能を利用して位置を測位してもよい。

（Ｗｉ－Ｆｉ測位）
例えば、測位部１４は、端末装置１０のＷｉ－Ｆｉ（登録商標）通信機能や、各通信会社が備える通信網を利用して、端末装置１０の位置を測位する。具体的には、測位部１４は、Ｗｉ－Ｆｉ通信等を行い、付近の基地局やアクセスポイントとの距離を測位することにより、端末装置１０の位置を測位する。

（ビーコン測位）
また、測位部１４は、端末装置１０のＢｌｕｅｔｏｏｔｈ（登録商標）機能を利用して位置を測位してもよい。例えば、測位部１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）機能によって接続されるビーコン（beacon）発信機と接続することにより、端末装置１０の位置を測位する。

（地磁気測位）
また、測位部１４は、予め測定された構造物の地磁気のパターンと、端末装置１０が備える地磁気センサとに基づいて、端末装置１０の位置を測位する。

（ＲＦＩＤ測位）
また、例えば、端末装置１０が駅改札や店舗等で使用される非接触型ＩCカードと同等のＲＦＩＤ（Radio Frequency Identification）タグの機能を備えている場合、もしくはＲＦＩＤタグを読み取る機能を備えている場合、端末装置１０によって決済等が行われた情報とともに、使用された位置が記録される。測位部１４は、かかる情報を取得することで、端末装置１０の位置を測位してもよい。また、位置は、端末装置１０が備える光学式センサや、赤外線センサ等によって測位されてもよい。

測位部１４は、必要に応じて、上述した測位手段の一つ又は組合せを用いて、端末装置１０の位置を測位してもよい。

（センサ部２０）
センサ部２０は、端末装置１０に搭載又は接続される各種のセンサを含む。なお、接続は、有線接続、無線接続を問わない。例えば、センサ類は、ウェアラブルデバイスやワイヤレスデバイス等、端末装置１０以外の検知装置であってもよい。図３に示す例では、センサ部２０は、加速度センサ２１と、ジャイロセンサ２２と、気圧センサ２３と、気温センサ２４と、音センサ２５と、光センサ２６と、磁気センサ２７と、画像センサ（カメラ）２８とを備える。

なお、上記した各センサ２１～２８は、あくまでも例示であって限定されるものではない。すなわち、センサ部２０は、各センサ２１～２８のうちの一部を備える構成であってもよいし、各センサ２１～２８に加えてあるいは代えて、湿度センサ等その他のセンサを備えてもよい。

加速度センサ２１は、例えば、３軸加速度センサであり、端末装置１０の移動方向、速度、及び、加速度等の端末装置１０の物理的な動きを検知する。ジャイロセンサ２２は、端末装置１０の角速度等に基づいて３軸方向の傾き等の端末装置１０の物理的な動きを検知する。気圧センサ２３は、例えば端末装置１０の周囲の気圧を検知する。

端末装置１０は、上記した加速度センサ２１やジャイロセンサ２２、気圧センサ２３等を備えることから、これらの各センサ２１～２３等を利用した歩行者自律航法（ＰＤＲ：Pedestrian Dead-Reckoning）等の技術を用いて端末装置１０の位置を測位することが可能になる。これにより、ＧＰＳ等の測位システムでは取得することが困難な屋内での位置情報を取得することが可能になる。

例えば、加速度センサ２１を利用した歩数計により、歩数や歩くスピード、歩いた距離を算出することができる。また、ジャイロセンサ２２を利用して、利用者Ｕの進行方向や視線の方向、体の傾きを知ることができる。また、気圧センサ２３で検知した気圧から、利用者Ｕの端末装置１０が存在する高度やフロアの階数を知ることもできる。

気温センサ２４は、例えば端末装置１０の周囲の気温を検知する。音センサ２５は、例えば端末装置１０の周囲の音を検知する。光センサ２６は、端末装置１０の周囲の照度を検知する。磁気センサ２７は、例えば端末装置１０の周囲の地磁気を検知する。画像センサ２８は、端末装置１０の周囲の画像を撮像する。

上記した気圧センサ２３、気温センサ２４、音センサ２５、光センサ２６及び画像センサ２８は、それぞれ気圧、気温、音、照度を検知したり、周囲の画像を撮像したりすることで、端末装置１０の周囲の環境や状況等を検知することができる。また、端末装置１０の周囲の環境や状況等から、端末装置１０の位置情報の精度を向上させることが可能になる。

（制御部３０）
制御部３０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ、入出力ポート等を有するマイクロコンピュータや各種の回路を含む。また、制御部３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路等のハードウェアで構成されてもよい。制御部３０は、送信部３１と、受信部３２と、処理部３３とを備える。

（送信部３１）
送信部３１は、例えば入力部１３を用いて利用者Ｕにより入力された各種情報や、端末装置１０に搭載又は接続された各センサ２１～２８によって検知された各種情報、測位部１４によって測位された端末装置１０の位置情報等を、通信部１１を介してサーバ装置１００へ送信することができる。

（受信部３２）
受信部３２は、通信部１１を介して、サーバ装置１００から提供される各種情報や、サーバ装置１００からの各種情報の要求を受信することができる。

（処理部３３）
処理部３３は、表示部１２等を含め、端末装置１０全体を制御する。例えば、処理部３３は、送信部３１によって送信される各種情報や、受信部３２によって受信されたサーバ装置１００からの各種情報を表示部１２へ出力して表示させることができる。

（記憶部４０）
記憶部４０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置によって実現される。かかる記憶部４０には、各種プログラムや各種データ等が記憶される。

〔４．サーバ装置の構成例〕
次に、図４を用いて、実施形態に係るサーバ装置１００の構成について説明する。図４は、実施形態に係るサーバ装置１００の構成例を示す図である。図４に示すように、サーバ装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。

（通信部１１０）
通信部１１０は、例えば、ＮＩC（Network Interface Card）等によって実現される。また、通信部１１０は、ネットワークＮと有線又は無線で接続される。

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ＨＤＤ、ＳＳＤ、光ディスク等の記憶装置によって実現される。図４に示すように、記憶部１２０は、利用者情報データベース１２１と、履歴情報データベース１２２と、検索ログ情報データベース１２３とを有する。

（利用者情報データベース１２１）
利用者情報データベース１２１は、利用者Ｕに関する利用者情報を記憶する。例えば、利用者情報データベース１２１は、利用者Ｕの属性等の種々の情報を記憶する。図５は、利用者情報データベース１２１の一例を示す図である。図５に示した例では、利用者情報データベース１２１は、「利用者ＩＤ（Identifier）」、「年齢」、「性別」、「自宅」、「勤務地」、「興味」といった項目を有する。

「利用者ＩＤ」は、利用者Ｕを識別するための識別情報を示す。なお、「利用者ＩＤ」は、利用者Ｕの連絡先（電話番号、メールアドレス等）であってもよいし、利用者Ｕの端末装置１０を識別するための識別情報であってもよい。

また、「年齢」は、利用者ＩＤにより識別される利用者Ｕの年齢を示す。なお、「年齢」は、利用者Ｕの具体的な年齢（例えば３５歳など）を示す情報であってもよいし、利用者Ｕの年代（例えば３０代など）を示す情報であってもよい。あるいは、「年齢」は、利用者Ｕの生年月日を示す情報であってもよいし、利用者Ｕの世代（例えば８０年代生まれなど）を示す情報であってもよい。また、「性別」は、利用者ＩＤにより識別される利用者Ｕの性別を示す。

また、「自宅」は、利用者ＩＤにより識別される利用者Ｕの自宅の位置情報を示す。なお、図５に示す例では、「自宅」は、「ＬC１１」といった抽象的な符号を図示するが、緯度経度情報等であってもよい。また、例えば、「自宅」は、地域名や住所であってもよい。

また、「勤務地」は、利用者ＩＤにより識別される利用者Ｕの勤務地（学生の場合は学校）の位置情報を示す。なお、図５に示す例では、「勤務地」は、「ＬＣ１２」といった抽象的な符号を図示するが、緯度経度情報等であってもよい。また、例えば、「勤務地」は、地域名や住所であってもよい。

また、「興味」は、利用者ＩＤにより識別される利用者Ｕの興味を示す。すなわち、「興味」は、利用者ＩＤにより識別される利用者Ｕが関心の高い対象を示す。例えば、「興味」は、利用者Ｕが検索エンジンに入力して検索した検索クエリ（キーワード）等であってもよい。なお、図５に示す例では、「興味」は、各利用者Ｕに１つずつ図示するが、複数であってもよい。

例えば、図５に示す例において、利用者ＩＤ「Ｕ１」により識別される利用者Ｕの年齢は、「２０代」であり、性別は、「男性」であることを示す。また、例えば、利用者ＩＤ「Ｕ１」により識別される利用者Ｕは、自宅が「ＬＣ１１」であることを示す。また、例えば、利用者ＩＤ「Ｕ１」により識別される利用者Ｕは、勤務地が「ＬＣ１２」であることを示す。また、例えば、利用者ＩＤ「Ｕ１」により識別される利用者Ｕは、「スポーツ」に興味があることを示す。

ここで、図５に示す例では、「Ｕ１」、「ＬＣ１１」及び「ＬＣ１２」といった抽象的な値を用いて図示するが、「Ｕ１」、「ＬＣ１１」及び「ＬＣ１２」には、具体的な文字列や数値等の情報が記憶されるものとする。以下、他の情報に関する図においても、抽象的な値を図示する場合がある。

なお、利用者情報データベース１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、利用者情報データベース１２１は、利用者Ｕの端末装置１０に関する各種情報を記憶してもよい。また、利用者情報データベース１２１は、利用者Ｕのデモグラフィック（人口統計学的属性）、サイコグラフィック（心理学的属性）、ジオグラフィック（地理学的属性）、ベヘイビオラル（行動学的属性）等の属性に関する情報を記憶してもよい。例えば、利用者情報データベース１２１は、氏名、家族構成、出身地（地元）、職業、職位、収入、資格、居住形態（戸建、マンション等）、車の有無、通学・通勤時間、通学・通勤経路、定期券区間（駅、路線等）、利用頻度の高い駅（自宅・勤務地の最寄駅以外）、習い事（場所、時間帯等）、趣味、興味、ライフスタイル等の情報を記憶してもよい。

（履歴情報データベース１２２）
履歴情報データベース１２２は、利用者Ｕの行動を示す履歴情報（ログデータ）に関する各種情報を記憶する。図６は、履歴情報データベース１２２の一例を示す図である。図６に示した例では、履歴情報データベース１２２は、「利用者ＩＤ」、「位置履歴」、「検索履歴」、「閲覧履歴」、「購入履歴」、「投稿履歴」といった項目を有する。

「利用者ＩＤ」は、利用者Ｕを識別するための識別情報を示す。また、「位置履歴」は、利用者Ｕの位置や移動の履歴である位置履歴を示す。また、「検索履歴」は、利用者Ｕが入力した検索クエリの履歴である検索履歴を示す。また、「閲覧履歴」は、利用者Ｕが閲覧したコンテンツの履歴である閲覧履歴を示す。また、「購入履歴」は、利用者Ｕによる購入の履歴である購入履歴を示す。また、「投稿履歴」は、利用者Ｕによる投稿の履歴である投稿履歴を示す。なお、「投稿履歴」は、利用者Ｕの所有物に関する質問を含んでいてもよい。

例えば、図６に示す例において、利用者ＩＤ「Ｕ１」により識別される利用者Ｕは、「位置履歴＃１」の通りに移動し、「検索履歴＃１」の通りに検索し、「閲覧履歴＃１」の通りにコンテンツを閲覧し、「購入履歴＃１」の通りに所定の店舗等で所定の商品等を購入し、「投稿履歴」の通りに投稿したことを示す。

ここで、図６に示す例では、「Ｕ１」、「位置履歴＃１」、「検索履歴＃１」、「閲覧履歴＃１」、「購入履歴＃１」及び「投稿履歴＃１」といった抽象的な値を用いて図示するが、「Ｕ１」、「位置履歴＃１」、「検索履歴＃１」、「閲覧履歴＃１」、「購入履歴＃１」及び「投稿履歴＃１」には、具体的な文字列や数値等の情報が記憶されるものとする。

なお、履歴情報データベース１２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、履歴情報データベース１２２は、利用者Ｕの所定のサービスの利用履歴等を記憶してもよい。また、履歴情報データベース１２２は、利用者Ｕの実店舗の来店履歴又は施設の訪問履歴等を記憶してもよい。また、履歴情報データベース１２２は、利用者Ｕの端末装置１０を用いた決済（電子決済）での決済履歴等を記憶してもよい。

（検索ログ情報データベース１２３）
検索ログ情報データベース１２３は、二種類の検索ログを記憶する。一つ目は、学習時に参照する素性を抽出するための素性抽出用のログである。あらかじめ学習時に参照するための素性を保存しておく。二つ目は、順位付け対象となる元クエリと再検索クエリとの組を取得するためのログである。

すなわち、検索ログ情報データベース１２３は、ＰＵ学習の際に用いる素性に関する各種情報を記憶する。例えば、検索ログ情報データベース１２３は、表１に示したような素性を記憶する。なお、検索ログ情報データベース１２３は、表１に示した例に限らず、様々な素性を記憶してもよい。

また、検索ログ情報データベース１２３は、検索ログに蓄積された元クエリと再検索クエリとの組を記憶してもよい。例えば、検索ログ情報データベース１２３は、元クエリに対して、再検索クエリの順位付けされたリストを記憶してもよい。また、検索ログ情報データベース１２３は、元クエリと再検索クエリとの組と、その組に対するＣＲＲ（Cumulative Reciprocal Rank）の差ΔＣＲＲとを紐付けて記憶してもよい。

さらに、検索ログ情報データベース１２３は、生成器に関する各種情報を記憶してもよい。例えば、検索ログ情報データベース１２３は、複数の正例生成器とラベル未付与事例生成器を記憶してもよい。また、検索ログ情報データベース１２３は、順位付けのための回帰器や、ラベル付与確率の回帰器を記憶してもよい。

なお、実際には、検索ログ情報データベース１２３は、履歴情報データベース１２２の一部であってもよい。例えば、記憶部１２０は、履歴情報データベース１２２の検索履歴として検索ログを記憶してもよい。

（制御部１３０）
図４に戻り、説明を続ける。制御部１３０は、コントローラ（Controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等によって、サーバ装置１００の内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭ等の記憶領域を作業領域として実行されることにより実現される。図４に示す例では、制御部１３０は、取得部１３１と、生成部１３２と、学習部１３３と、提供部１３４とを有する。

（取得部１３１）
取得部１３１は、利用者Ｕにより入力された検索クエリを取得する。例えば、取得部１３１は、利用者Ｕが検索エンジン等に検索クエリを入力してキーワード検索を行った際に、通信部１１０を介して、当該検索クエリを取得する。すなわち、取得部１３１は、通信部１１０を介して、利用者Ｕにより検索エンジンやサイト又はアプリの検索窓に入力されたキーワードを取得する。

また、取得部１３１は、通信部１１０を介して、利用者Ｕに関する利用者情報を取得する。例えば、取得部１３１は、利用者Ｕの端末装置１０から、利用者Ｕを示す識別情報（利用者ＩＤ等）や、利用者Ｕの位置情報、利用者Ｕの属性情報等を取得する。また、取得部１３１は、利用者Ｕのユーザ登録時に、利用者Ｕを示す識別情報や、利用者Ｕの属性情報等を取得してもよい。そして、取得部１３１は、利用者情報を、記憶部１２０の利用者情報データベース１２１に登録する。

また、取得部１３１は、通信部１１０を介して、利用者Ｕの行動を示す各種の履歴情報（ログデータ）を取得する。例えば、取得部１３１は、利用者Ｕの端末装置１０から、あるいは利用者ＩＤ等に基づいて各種サーバ等から、利用者Ｕの行動を示す各種の履歴情報を取得する。そして、取得部１３１は、各種の履歴情報を、記憶部１２０の履歴情報データベース１２２に登録する。

さらに、取得部１３１は、検索ログを二種類取得する。検索ログの一つ目は、学習時に参照する素性を抽出するための素性抽出用のログである。検索ログの二つ目は、順位付け対象となる元クエリと再検索クエリとの組を取得するためのログである。

（生成部１３２）
生成部１３２は、複数意図を持つエンティティクエリに対する絞り込み検索のための再検索クエリを生成する。また、生成部１３２は、元クエリに対して、再検索クエリの順位付けされたリストを生成する。

生成部１３２は、検索ログから取得された順位付け対象のクエリの組に対し、複数のラベル生成器を用いて正例とラベル未付与の事例とに分割する。

生成部１３２は、複数の正例生成器とラベル未付与事例生成器を組み合わせることで訓練事例を自動生成する。

生成部１３２は、正例生成器の１つを用いて、元クエリをエンティティリンカーの入力とし、エンティティＩＤを出力し、知識ベースからエンティティＩＤと紐づく正式名称を取得し、元クエリが正式名称に対する部分一致文字列になっている場合には元クエリと正式名称との組を正例とする。

生成部１３２は、正例生成器の１つを用いて、元クエリと再検索クエリとの組をエンティティリンカーの入力とし、それぞれのエンティティＩＤを取得し、元クエリと再検索クエリでそれぞれ異なるエンティティＩＤを出力している組を残し、同一ＩＤを指す再検索クエリが複数ある場合には生起確率の最も高い候補を選択し、所定の条件を満たす組を正例とする。

生成部１３２は、所定の条件として、人物エンティティ間、または、メディア作品間の遷移であり、元クエリに周辺語は含まれず、遷移前後で主要語と周辺語の入れ替わりが起きていないという条件を満たす組を正例とする。

生成部１３２は、正例生成器の１つを用いて、元クエリと再検索クエリとの組に対するＣＲＲの差を算出し、ＣＲＲの差が０より大きく１．５以下の場合に元クエリと再検索クエリとの組を正例とする。

生成部１３２は、ラベル未付与事例生成器の１つを用いて、元クエリが曖昧さ回避ページと対応するエンティティの名称と一致する事例をラベル未付与とする。

生成部１３２は、ラベル未付与事例生成器の１つを用いて、元クエリと再検索クエリとの組に対する正例の生成時に正例と判定されなかった事例のうち周辺語を含まずエンティティＩＤが異なるクエリの組をラベル未付与とする。

生成部１３２は、ラベル未付与事例生成器の１つを用いて、元クエリと再検索クエリとの組に対するＣＲＲの差による正例の生成時に正例と判定されなかった事例をラベル未付与とする。

生成部１３２は、すでに正例と判定されていた事例については、ラベル未付与とはせず正例とする。

（学習部１３３）
学習部１３３は、元クエリと再検索クエリとの組のＣＲＲ（Cumulative Reciprocal Rank）の差を含めた複数の素性を用いてＲＦ（Random forest：ランダムフォレスト）によるＰＵ（Positive Unlabeled）学習を行う。

学習部１３３は、ラベル未付与の事例に対してラベルを付与する。このとき、学習部１３３は、正例およびラベル未付与の事例を訓練用とテスト用の２つに分割する。

まず、学習部１３３は、訓練用の正例およびラベル未付与の事例を入力とし、ラベル付与確率の回帰器を生成し、テスト用の正例に対して該回帰器を適用し、ラベル付与確率の平均を求め、テスト用のラベル未付与の事例に対して該回帰器を適用し、定数である該平均への依存を持つ重みによりラベリングを行う。

次に、学習部１３３は、訓練用の事例とテスト用の事例を入れ替えて、同様に、テスト用の正例およびラベル未付与の事例を入力とし、ラベル付与確率の回帰器を生成し、訓練用の正例に対して該回帰器を適用し、ラベル付与確率の平均を求め、訓練用のラベル未付与の事例に対して該回帰器を適用し、定数である該平均への依存を持つ重みによりラベリングを行う。

そして、学習部１３３は、全ての事例にラベルが付与されたら二分割交差検定を行い、各テスト用事例に対して付与された予測確率を順位付けに用いる。

（提供部１３４）
提供部１３４は、通信部１１０を介して、検索クエリを入力した利用者Ｕの端末装置１０に、最尤なエンティティに対応する検索結果を提供する。

〔５．処理手順〕
次に、図７を用いて実施形態に係るサーバ装置１００による処理手順について説明する。図７は、実施形態に係る処理手順を示すフローチャートである。なお、以下に示す処理手順は、サーバ装置１００の制御部１３０によって繰り返し実行される。

図７に示すように、サーバ装置１００の取得部１３１は、検索ログを二種類取得する（ステップＳ１０１）。検索ログの一つ目は、学習時に参照する素性を抽出するための素性抽出用のログである。検索ログの二つ目は、順位付け対象となる元クエリと再検索クエリとの組を取得するためのログである。

続いて、サーバ装置１００の生成部１３２は、複数意図を持つエンティティクエリに対する絞り込み検索のための再検索クエリを生成する（ステップＳ１０２）。

続いて、サーバ装置１００の生成部１３２は、検索ログから取得された順位付け対象のクエリの組に対し、複数のラベル生成器を用いて正例とラベル未付与の事例とに分割する（ステップＳ１０３）。このとき、生成部１３２は、複数の正例生成器とラベル未付与事例生成器を組み合わせることで訓練事例を自動生成する。

まず、サーバ装置１００の生成部１３２は、正例生成器を用いて、所定の元クエリと正式名称との組を正例とする（ステップＳ１０３－１）。

例えば、図示は省略するが、生成部１３２は、正例生成器の１つを用いて、元クエリをエンティティリンカーの入力とし、エンティティＩＤを出力し、知識ベースからエンティティＩＤと紐づく正式名称を取得し、元クエリが正式名称に対する部分一致文字列になっている場合には元クエリと正式名称との組を正例とする（ステップＳ１０３－１Ａ）。

また、生成部１３２は、正例生成器の１つを用いて、元クエリと再検索クエリとの組をエンティティリンカーの入力とし、それぞれのエンティティＩＤを取得し、元クエリと再検索クエリでそれぞれ異なるエンティティＩＤを出力している組を残し、同一ＩＤを指す再検索クエリが複数ある場合には生起確率の最も高い候補を選択し、所定の条件を満たす組を正例とする（ステップＳ１０３－１Ｂ）。

例えば、生成部１３２は、所定の条件として、人物エンティティ間、または、メディア作品間の遷移であり、元クエリに周辺語は含まれず、遷移前後で主要語と周辺語の入れ替わりが起きていないという条件を満たす組を正例とする。

また、生成部１３２は、正例生成器の１つを用いて、元クエリと再検索クエリとの組に対するＣＲＲの差を算出し、ＣＲＲの差が０より大きく１．５以下の場合に元クエリと再検索クエリとの組を正例とする（ステップＳ１０３－１Ｃ）。

次に、サーバ装置１００の生成部１３２は、ラベル未付与事例生成器を用いて、所定の事例をラベル未付与とする（ステップＳ１０３－２）。

例えば、図示は省略するが、生成部１３２は、ラベル未付与事例生成器の１つを用いて、元クエリが曖昧さ回避ページと対応するエンティティの名称と一致する事例をラベル未付与とする（ステップＳ１０３－２Ａ）。

また、生成部１３２は、ラベル未付与事例生成器の１つを用いて、元クエリと再検索クエリとの組に対する正例の生成時に正例と判定されなかった事例のうち周辺語を含まずエンティティＩＤが異なるクエリの組をラベル未付与とする（ステップＳ１０３－２Ｂ）。

また、生成部１３２は、ラベル未付与事例生成器の１つを用いて、元クエリと再検索クエリとの組に対するＣＲＲの差による正例の生成時に正例と判定されなかった事例をラベル未付与とする（ステップＳ１０３－２Ｃ）。

なお、サーバ装置１００の生成部１３２は、すでに正例と判定されていた事例については、ラベル未付与とはせず正例とする。

続いて、サーバ装置１００の学習部１３３は、ＲＦ（Random forest：ランダムフォレスト）によるＰＵ（Positive Unlabeled）学習を行う（ステップＳ１０４）。

まず、学習部１３３は、ラベル未付与の事例に対してラベルを付与するため、正例およびラベル未付与の事例を訓練用とテスト用の２つに分割する（ステップＳ１０４－１）。

そして、学習部１３３は、訓練用の正例およびラベル未付与の事例を入力とし、ラベル付与確率の回帰器を生成し、テスト用の正例に対して該回帰器を適用し、ラベル付与確率の平均を求め、テスト用のラベル未付与の事例に対して該回帰器を適用し、定数である該平均への依存を持つ重みによりラベリングを行う（ステップＳ１０４－２）。

続いて、学習部１３３は、訓練用の事例とテスト用の事例を入れ替えて、同様に、テスト用の正例およびラベル未付与の事例を入力とし、ラベル付与確率の回帰器を生成し、訓練用の正例に対して該回帰器を適用し、ラベル付与確率の平均を求め、訓練用のラベル未付与の事例に対して該回帰器を適用し、定数である該平均への依存を持つ重みによりラベリングを行う（ステップＳ１０４－３）。

そして、サーバ装置１００の学習部１３３は、全ての事例にラベルが付与されたら二分割交差検定を行い、各テスト用事例に対して付与された予測確率を順位付けに用いる（ステップＳ１０４－４）。

続いて、サーバ装置１００の生成部１３２は、元クエリに対して、再検索クエリの順位付けされたリストを生成する（ステップＳ１０５）。

〔６．変形例〕
上述した端末装置１０及びサーバ装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。

上記の実施形態において、サーバ装置１００が実行している処理の一部又は全部は、実際には、端末装置１０が実行してもよい。例えば、スタンドアローン（Stand-alone）で（端末装置１０単体で）処理が完結してもよい。この場合、端末装置１０に、上記の実施形態におけるサーバ装置１００の機能が備わっているものとする。また、上記の実施形態では、端末装置１０はサーバ装置１００と連携しているため、利用者Ｕから見れば、サーバ装置１００の処理も端末装置１０が実行しているように見える。すなわち、他の観点では、端末装置１０は、サーバ装置１００を備えているともいえる。

また、上記の実施形態において、サーバ装置１００は、クエリの単語系列の候補エンティティによりラティス構造を構築し、最尤なエンティティ系列を求めてもよい。また、サーバ装置１００は、最尤なエンティティ系列を求める際に、クエリを入力した利用者Ｕの属性情報や履歴情報等を考慮するようにしてもよい。例えば、サーバ装置１００は、クエリを入力した利用者Ｕの属性情報や履歴情報等に応じて、単語系列に対するエンティティの生起確率や、経路のスコア等に重み付けを行ってもよい。

〔７．効果〕
上述してきたように、本願に係る情報処理装置（サーバ装置１００）は、複数意図を持つエンティティクエリに対する絞り込み検索のための再検索クエリを生成する生成部１３２と、元クエリと再検索クエリとの組のＣＲＲ（Cumulative Reciprocal Rank）の差を含めた複数の素性を用いてランダムフォレストによるＰＵ（Positive Unlabeled）学習を行う学習部１３３とを備える。

生成部１３２は、元クエリに対して、再検索クエリの順位付けされたリストを生成する。

本願に係る情報処理装置は、検索ログを二種類取得する取得部１３１をさらに備える。検索ログの一つ目は、学習時に参照する素性を抽出するための素性抽出用のログである。検索ログの二つ目は、順位付け対象となる元クエリと再検索クエリとの組を取得するためのログである。

学習部１３３は、ラベル未付与の事例に対してラベルを付与する。

学習部１３３は、正例およびラベル未付与の事例を訓練用とテスト用の２つに分割し、訓練用の正例およびラベル未付与の事例を入力とし、ラベル付与確率の回帰器を生成し、テスト用の正例に対して該回帰器を適用し、ラベル付与確率の平均を求め、テスト用のラベル未付与の事例に対して該回帰器を適用し、定数である該平均への依存を持つ重みによりラベリングを行い、訓練用の事例とテスト用の事例を入れ替えて、テスト用の正例およびラベル未付与の事例を入力とし、ラベル付与確率の回帰器を生成し、訓練用の正例に対して該回帰器を適用し、ラベル付与確率の平均を求め、訓練用のラベル未付与の事例に対して該回帰器を適用し、定数である該平均への依存を持つ重みによりラベリングを行い、全ての事例にラベルが付与されたら二分割交差検定を行い、各テスト用事例に対して付与された予測確率を順位付けに用いる。

上述した各処理のいずれかもしくは組合せにより、本願に係る情報処理装置は、絞り込み検索用クエリを用いてエンティティリンカーを改善することができる。

〔８．ハードウェア構成〕
また、上述した実施形態に係る端末装置１０やサーバ装置１００は、例えば図８に示すような構成のコンピュータ１０００によって実現される。以下、サーバ装置１００を例に挙げて説明する。図８は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力Ｉ／Ｆ（Interface）１０６０、入力Ｉ／Ｆ１０７０、ネットワークＩ／Ｆ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。演算装置１０３０は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等により実現される。

一次記憶装置１０４０は、ＲＡＭ（Random Access Memory）等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等により実現される。二次記憶装置１０５０は、内蔵ストレージであってもよいし、外付けストレージであってもよい。また、二次記憶装置１０５０は、ＵＳＢ（Universal Serial Bus）メモリやＳＤ（Secure Digital）メモリカード等の取り外し可能な記憶媒体であってもよい。また、二次記憶装置１０５０は、クラウドストレージ（オンラインストレージ）やＮＡＳ（Network Attached Storage）、ファイルサーバ等であってもよい。

出力Ｉ／Ｆ１０６０は、ディスプレイ、プロジェクタ、及びプリンタ等といった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインターフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力Ｉ／Ｆ１０７０は、マウス、キーボード、キーパッド、ボタン、及びスキャナ等といった各種の入力装置１０２０から情報を受信するためのインターフェースであり、例えば、ＵＳＢ等により実現される。

また、出力Ｉ／Ｆ１０６０及び入力Ｉ／Ｆ１０７０はそれぞれ出力装置１０１０及び入力装置１０２０と無線で接続してもよい。すなわち、出力装置１０１０及び入力装置１０２０は、ワイヤレス機器であってもよい。

また、出力装置１０１０及び入力装置１０２０は、タッチパネルのように一体化していてもよい。この場合、出力Ｉ／Ｆ１０６０及び入力Ｉ／Ｆ１０７０も、入出力Ｉ／Ｆとして一体化していてもよい。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等から情報を読み出す装置であってもよい。

ネットワークＩ／Ｆ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力Ｉ／Ｆ１０６０や入力Ｉ／Ｆ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００がサーバ装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、コンピュータ１０００の演算装置１０３０は、ネットワークＩ／Ｆ１０８０を介して他の機器から取得したプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行してもよい。また、コンピュータ１０００の演算装置１０３０は、ネットワークＩ／Ｆ１０８０を介して他の機器と連携し、プログラムの機能やデータ等を他の機器の他のプログラムから呼び出して利用してもよい。

〔９．その他〕
以上、本願の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

例えば、上述したサーバ装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティング等で呼び出して実現するなど、構成は柔軟に変更できる。

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

１情報処理システム
１０端末装置
１００サーバ装置
１１０通信部
１２０記憶部
１２１利用者情報データベース
１２２履歴情報データベース
１２３検索ログ情報データベース
１３０制御部
１３１取得部
１３２生成部
１３３学習部
１３４提供部

Claims

検索ログに蓄積された元クエリと再検索クエリとの組を順位付けして、複数意図を持つエンティティクエリに対する意図の絞り込みのための再検索用の再検索クエリを生成する生成部と、
元クエリと再検索クエリとの組のＣＲＲの差を含めた複数の素性を用いてランダムフォレストによるＰＵ学習を行う学習部と
を備えることを特徴とする情報処理装置。
前記生成部は、元クエリに対して、再検索クエリの順位付けされたリストを生成する
ことを特徴とする請求項１に記載の情報処理装置。
検索ログを二種類取得する取得部と
をさらに備え、
前記検索ログの一つ目は、学習時に参照する素性を抽出するための素性抽出用のログであり、
前記検索ログの二つ目は、順位付け対象となる元クエリと再検索クエリとの組を取得するためのログである
ことを特徴とする請求項１又は２に記載の情報処理装置。
前記生成部は、前記検索ログから取得された順位付け対象のクエリの組に対し、複数のラベル生成器を用いて正例とラベル未付与の事例とに分割する
をさらに備えることを特徴とする請求項３に記載の情報処理装置。
前記生成部は、複数の正例生成器と複数のラベル未付与事例生成器とを組み合わせることで訓練事例を自動生成する
ことを特徴とする請求項４に記載の情報処理装置。
前記生成部は、正例生成器の１つを用いて、元クエリをエンティティリンカーの入力とし、エンティティＩＤを出力し、知識ベースからエンティティＩＤと紐づく正式名称を取得し、元クエリが正式名称に対する部分一致文字列になっている場合には元クエリと正式名称との組を正例とする
ことを特徴とする請求項４又は５に記載の情報処理装置。
前記生成部は、正例生成器の１つを用いて、元クエリと再検索クエリとの組をエンティティリンカーの入力とし、それぞれのエンティティＩＤを取得し、元クエリと再検索クエリでそれぞれ異なるエンティティＩＤを出力している組を残し、同一ＩＤを指す再検索クエリが複数ある場合には生起確率の最も高い候補を選択し、所定の条件を満たす組を正例とする
ことを特徴とする請求項４～６のうちいずれか１つに記載の情報処理装置。
前記生成部は、前記所定の条件として、人物エンティティ間、または、メディア作品間の遷移であり、元クエリに周辺語は含まれず、遷移前後で主要語と周辺語の入れ替わりが起きていないという条件を満たす組を正例とする
ことを特徴とする請求項７に記載の情報処理装置。
前記生成部は、正例生成器の１つを用いて、元クエリと再検索クエリとの組に対するＣＲＲの差を算出し、前記ＣＲＲの差が０より大きく１．５以下の場合に元クエリと再検索クエリとの組を正例とする
ことを特徴とする請求項４～８のうちいずれか１つに記載の情報処理装置。
前記生成部は、ラベル未付与事例生成器の１つを用いて、元クエリが曖昧さ回避ページと対応するエンティティの名称と一致する事例をラベル未付与とする
ことを特徴とする請求項４～９のうちいずれか１つに記載の情報処理装置。
前記生成部は、ラベル未付与事例生成器の１つを用いて、元クエリと再検索クエリとの組に対する正例の生成時に正例と判定されなかった事例のうち周辺語を含まずエンティティＩＤが異なるクエリの組をラベル未付与とする
ことを特徴とする請求項４～１０のうちいずれか１つに記載の情報処理装置。
前記生成部は、ラベル未付与事例生成器の１つを用いて、元クエリと再検索クエリとの組に対するＣＲＲの差による正例の生成時に正例と判定されなかった事例をラベル未付与とする
ことを特徴とする請求項４～１１のうちいずれか１つに記載の情報処理装置。
前記生成部は、すでに正例と判定されていた事例については、ラベル未付与とはせず正例とする
ことを特徴とする請求項４～１２のうちいずれか１つに記載の情報処理装置。
前記学習部は、ラベル未付与の事例に対してラベルを付与する
ことを特徴とする請求項４～１３のうちいずれか１つに記載の情報処理装置。
前記学習部は、
正例およびラベル未付与の事例を訓練用とテスト用の２つに分割し、
訓練用の正例およびラベル未付与の事例を入力とし、ラベル付与確率の回帰器を生成し、テスト用の正例に対して該回帰器を適用し、ラベル付与確率の平均を求め、テスト用のラベル未付与の事例に対して該回帰器を適用し、定数である該平均への依存を持つ重みによりラベリングを行い、
訓練用の事例とテスト用の事例を入れ替えて、
テスト用の正例およびラベル未付与の事例を入力とし、ラベル付与確率の回帰器を生成し、訓練用の正例に対して該回帰器を適用し、ラベル付与確率の平均を求め、訓練用のラベル未付与の事例に対して該回帰器を適用し、定数である該平均への依存を持つ重みによりラベリングを行い、
全ての事例にラベルが付与されたら二分割交差検定を行い、各テスト用事例に対して付与された予測確率を順位付けに用いる
ことを特徴とする請求項１４に記載の情報処理装置。
情報処理装置が実行する情報処理方法であって、
検索ログに蓄積された元クエリと再検索クエリとの組を順位付けして、複数意図を持つエンティティクエリに対する意図の絞り込みのための再検索用の再検索クエリを生成する生成工程と、
元クエリと再検索クエリとの組のＣＲＲの差を含めた複数の素性を用いてランダムフォレストによるＰＵ学習を行う学習工程と
を含むことを特徴とする情報処理方法。
検索ログに蓄積された元クエリと再検索クエリとの組を順位付けして、複数意図を持つエンティティクエリに対する意図の絞り込みのための再検索用の再検索クエリを生成する生成手順と、
元クエリと再検索クエリとの組のＣＲＲの差を含めた複数の素性を用いてランダムフォレストによるＰＵ学習を行う学習手順と
をコンピュータに実行させるための情報処理プログラム。