JP7177013B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

近年、インターネットの飛躍的な普及に伴い、例えば、インターネット上の種々の情報を用いた分析に関する技術が提供されている。例えば、ユーザが入力した検索クエリに基づいて、所定の事業者が提供する対象に対するニーズに関する情報を抽出する技術が提案されている。

特開２０１９－３２７７６号公報

しかしながら、上記の従来技術では、有用な情報を得ることができるとは限らない。例えば、上記の従来技術では、所定の事業者が提供する対象に対するニーズに関する情報を抽出しているに過ぎないので、所定の事業者が提供する対象に対する潜在的なニーズに関する情報を抽出できるとは言えない。

本願は、上記に鑑みてなされたものであって、有用な情報を提供することができる情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

本願に係る情報処理装置は、分類対象を示す複数の対象情報と、前記複数の対象情報をクラスタに分類する際のクラスタ数である指定クラスタ数とを受け付ける受付部と、前記複数の対象情報を前記指定クラスタ数のクラスタに分類することにより生成したクラスタに関する指定クラスタ情報を生成する生成部と、前記生成部によって生成された指定クラスタ情報を出力する出力部と、を有することを特徴とする。

実施形態の一態様によれば、有用な情報を得ることができるといった効果を奏する。

図１は、実施形態に係る情報処理の一例を示す図である。 図２は、実施形態に係る情報処理システムの構成例を示す図である。 図３は、実施形態に係る情報処理装置の構成例を示す図である。 図４は、実施形態に係るクエリ情報記憶部の一例を示す図である。 図５は、実施形態に係るベクトル情報記憶部の一例を示す図である。 図６は、実施形態に係るクラスタ情報記憶部の一例を示す図である。 図７は、実施形態に係るモデル情報記憶部の一例を示す図である。 図８は、実施形態に係る端末装置の構成例を示す図である。 図９は、実施形態に係る情報処理手順を示すフローチャートである。 図１０は、実施形態に係る第１モデルの生成処理の一例を示す図である。 図１１は、実施形態に係る第１モデルの生成処理の一例を示す図である。 図１２は、実施形態に係る生成装置の構成例を示す図である。 図１３は、実施形態に係るクエリ情報記憶部の一例を示す図である。 図１４は、実施形態に係るベクトル情報記憶部の一例を示す図である。 図１５は、実施形態に係るモデル情報記憶部の一例を示す図である。 図１６は、実施形態に係る第１モデルの一例を示す図である。 図１７は、実施形態に係る第１モデルの生成処理手順を示すフローチャートである。 図１８は、プログラムを実行するコンピュータのハードウェア構成の一例を示す図である。

以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。

〔１．情報処理の一例〕
まず、図１を用いて、実施形態に係る情報処理の一例について説明する。図１は、実施形態に係る情報処理の一例を示す図である。実施形態に係る情報処理は、図１に示す情報処理装置１００によって行われる。図１に示す情報処理装置１００は、クライアント（企業等）に対して、クエリの分析サービスを提供するサーバ装置である。ここで、「クエリ」とは、データベースに対する問い合わせや要求を行うためにユーザによって用いられる語句（文字情報）を指す。例えば、「クエリ」には、ユーザによって検索に用いられる語句である検索クエリが含まれる。なお、本願発明における「クエリ」には、ユーザによってどのように用いられたかとは関係のない単なるキーワードやフレーズといった語句が含まれてもよいものとする。

図１の説明に先立って、図２を用いて、実施形態に係る情報処理システムの構成について説明する。図２は、実施形態に係る情報処理システムの構成例を示す図である。図２に示すように、情報処理システム１には、端末装置１０と、検索サーバ２０と、生成装置５０と、情報処理装置１００とが含まれる。端末装置１０と、検索サーバ２０と、生成装置５０と、情報処理装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。なお、図２に示す情報処理システム１には、任意の数の端末装置１０と任意の数の検索サーバ２０と任意の数の生成装置５０と任意の数の情報処理装置１００とが含まれてもよい。

端末装置１０は、クライアント（企業等）の担当者である利用者によって使用される情報処理装置である。端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。図１に示す例では、端末装置１０はノート型ＰＣである。なお、以下では、端末装置１０を利用者と同一視する場合がある。すなわち、以下では、利用者を端末装置１０と読み替えることもできる。

端末装置１０は、クライアント（企業等）の担当者である利用者Ｕ１１の操作に従って、分類対象を示す複数のクエリと、複数のクエリをクラスタに分類する際のクラスタ数である指定クラスタ数とを情報処理装置１００に送信する。また、端末装置１０は、複数のクエリを指定クラスタ数のクラスタに分類することにより生成したクラスタに関する指定クラスタ情報を情報処理装置１００から受信する。端末装置１０は、受信した指定クラスタ情報を端末装置１０の画面に表示する。図１に示す例では、端末装置１０は、受信した指定クラスタ情報を表示する部分コンテンツＣ１２を端末装置１０の画面に表示する。

検索サーバ２０は、検索サービスを提供するサーバ装置である。例えば、検索サーバ２０が提供する検索サービスは、あらゆる情報を検索可能な総合検索サービスである。検索サーバ２０は、利用者によって入力された検索クエリに関する情報を記憶する。具体的には、検索サーバ２０は、利用者の検索履歴に関する情報を記憶する。また、検索サーバ２０は、生成装置５０の要求に応じて、利用者によって入力された検索クエリに関する情報を生成装置５０に送信する。

生成装置５０は、第１モデルＭ１を生成するサーバ装置である。生成装置５０は、後述する処理を実行することにより、第１モデルＭ１を生成する。第１モデルＭ１は、文字情報を入力すると、文字情報（例えば、検索クエリ）の分散表現を出力するモデルである。なお、分散表現は、ベクトルでもよい。ここで、第１モデルＭ１から出力される文字情報の分散表現には、その文字情報が検索クエリとして入力された際の利用者の検索意図を示す特徴情報が含まれている。また、第１モデルＭ１から出力される所定の文字情報の分散表現と他の文字情報の分散表現が類似することは、所定の文字情報が検索クエリとして入力された際の利用者の検索意図と他の文字情報が検索クエリとして入力された際の利用者の検索意図とが類似することを意味する。なお、生成装置５０による第１モデルの生成処理の詳細については後述する。

情報処理装置１００は、企業等であるクライアントに対して、クライアントが市場分析を所望する分析対象を示すキーワード（文字情報）に関する一般利用者の検索動向を分析するクエリの分析サービスを提供するサーバ装置である。図１に示す例では、情報処理装置１００は、分類対象を示す複数のクエリと、複数のクエリをクラスタに分類する際のクラスタ数である指定クラスタ数とを受け付ける。また、情報処理装置１００は、複数のクエリを指定クラスタ数のクラスタに分類することにより生成したクラスタに関する指定クラスタ情報を生成する。そして、情報処理装置１００は、生成した指定クラスタ情報を出力する。

一般的に、クエリの分析サービスでは、企業等であるクライアントから、クライアントが市場分析を所望する分析対象を示すキーワード（文字情報）を受け付ける。そして、クエリの分析サービスは、膨大なクエリのデータベースの中から、指定されたキーワードと類似するクエリに関する情報を抽出し、抽出したクエリに関する情報をクライアントに対して提供する。例えば、クエリの分析サービスは、指定されたキーワードとクエリとの類似性を数値によって把握するため、クエリに対応する文字列やクライアントによって指定されたキーワードを分散表現に変換する。そして、クエリの分析サービスは、指定されたキーワードを変換した分散表現とクエリに対応する文字列を変換した分散表現との類似度を算出することで、指定されたキーワードと類似するクエリに関する情報を抽出する。

ここで、クエリの分析サービスが保有するデータベースには、膨大な数のクエリが存在するため、クエリに対応する文字列を変換した分散表現の数も膨大な数になる。また、一般的に、文字列を変換した分散表現は、高次元のベクトル（例えば、何百次元や何千次元のベクトル）であることが一般的である。すなわち、クエリの分析サービスを提供する装置が指定されたキーワードと類似するクエリの分析結果に関する情報を単に抽出して提供するだけでは、分析結果に関する情報の提供を受けたクライアントが有用な情報を得ることは難しい。例えば、クライアントに対して提供される情報が、多数の高次元の分散表現を分散表現空間にマッピングした状態で提供された場合や、分散表現間の類似度を示す膨大な数のデータを羅列した状態で提供された場合には、情報量が多く、クライアントが分析結果を一見して把握することは難しい。そのため、提供された情報からクライアントが有用な情報を得ることは難しい。

そこで、本願発明に係る情報処理装置１００は、分類対象を示す複数の対象情報と、複数の対象情報をクラスタに分類する際のクラスタ数である指定クラスタ数とを受け付ける。また、情報処理装置１００は、複数の対象情報を指定クラスタ数のクラスタに分類することにより生成したクラスタに関する指定クラスタ情報を生成する。そして、情報処理装置１００は、生成した指定クラスタ情報を出力する。本願発明に係る情報処理装置１００は、例えば、分類対象を示す１００個の対象情報と、指定クラスタ数「５」とを受け付けたとする。この場合、本願発明に係る情報処理装置１００は、分類対象を示す１００個の対象情報を、類似する特徴を持つ対象情報の５つのクラスタに分けることができる。すなわち、本願発明に係る情報処理装置１００は、１００個の対象情報から、１００個の対象情報の特徴の要約とも言える５つのクラスタ情報を抽出可能とする。そして、本願発明に係る情報処理装置１００は、１００個の対象情報の特徴を５つのクラスタ情報に要約して提供可能とする。このように、本願発明に係る情報処理装置１００は、分類対象を示す多数の対象情報の特徴を少ない情報量の要約にまとめて提供可能とする。したがって、本願発明に係る情報処理装置１００は、有用な情報を得ることができる。

ここから、図１を用いて、情報処理の流れについて説明する。図１では、情報処理装置１００は、端末装置１０の要求に応じて、コンテンツＣ１の部分コンテンツＣ１１を端末装置１０に送信する。具体的には、情報処理装置１００は、クラスタ数を入力可能な入力フィールドＦ１１と、複数のクエリを入力可能な入力フィールドＦ１２と、入力フィールドに入力された情報を情報処理装置１００に送信する送信ボタンＢ１１とを含む部分コンテンツＣ１１を端末装置１０に送信する。

端末装置１０は、コンテンツＣ１の部分コンテンツＣ１１を情報処理装置１００から受信する。端末装置１０は、部分コンテンツＣ１１を受信すると、受信した部分コンテンツＣ１１を端末装置１０の画面に表示する。

端末装置１０の利用者Ｕ１１は、端末装置１０の画面に表示された部分コンテンツＣ１１に含まれる入力フィールドＦ１１にクラスタ数を入力する操作を行う。図１に示す例では、利用者Ｕ１１は、クラスタ数「３」（クラスタ数ＣＮ）を入力フィールドＦ１１に入力する操作を行う。

また、端末装置１０の利用者Ｕ１１は、端末装置１０の画面に表示された部分コンテンツＣ１１に含まれる入力フィールドＦ１２に複数のクエリを入力する操作を行う。図１に示す例では、利用者Ｕ１１は、１２個のクエリＱ１-１～Ｑ１-１２を入力フィールドＦ１２に入力する操作を行う。具体的には、利用者Ｕ１１は、区切り文字で区切られた各文字列をそれぞれ一つのクエリとして入力フィールドＦ１２に入力する操作を行う。例えば、自動車メーカー＃１の担当者である利用者Ｕ１１は、自社（自動車メーカー＃１）の商品である６種類の自動車の名称を示す６つのクエリ「車種Ｔ１１」(クエリＱ１-１)、クエリ「車種Ｔ１２」(クエリＱ１-２)、クエリ「車種Ｔ１３」(クエリＱ１-３)、クエリ「車種Ｔ１４」(クエリＱ１-４)、クエリ「車種Ｔ１５」(クエリＱ１-５)、クエリ「車種Ｔ１６」(クエリＱ１-６)を入力フィールドＦ１２に入力する操作を行う。また、利用者Ｕ１１は、競合他社である自動車メーカー＃２の商品である６種類の自動車の名称を示す６つのクエリ「車種Ｔ２１」(クエリＱ１-７)、クエリ「車種Ｔ２２」(クエリＱ１-８)、クエリ「車種Ｔ２３」(クエリＱ１-９)、クエリ「車種Ｔ２４」(クエリＱ１-１０)、クエリ「車種Ｔ２５」(クエリＱ１-１１)、クエリ「車種Ｔ２６」(クエリＱ１-１２)を入力フィールドＦ１２に入力する操作を行う。

続いて、端末装置１０の利用者Ｕ１１は、端末装置１０の画面に表示された部分コンテンツＣ１１に含まれる送信ボタンＢ１１を選択する操作を行う。端末装置１０は、利用者Ｕ１１の操作に従って送信ボタンＢ１１が選択されると、入力フィールドＦ１１に入力されたクラスタ数「３」と、入力フィールドＦ１２に入力された１２個のクエリＱ１-１～Ｑ１-１２を情報処理装置１００に送信する。

情報処理装置１００は、クラスタ数「３」と１２個のクエリＱ１-１～Ｑ１-１２を利用者Ｕ１１から受け付ける。具体的には、情報処理装置１００は、クラスタ数「３」と１２個のクエリＱ１-１～Ｑ１-１２を端末装置１０から受信する。

情報処理装置１００は、クラスタ数「３」と１２個のクエリＱ１-１～Ｑ１-１２を受け付けると、第１モデルＭ１を用いて生成されたクエリＱ１-１～Ｑ１-１２の分散表現ＱＶ１-１～ＱＶ１-１２（図５参照）を取得する。続いて、情報処理装置１００は、分散表現ＱＶ１-１～ＱＶ１-１２を取得すると、取得した分散表現ＱＶ１-１～ＱＶ１-１２をｋ－ｍｅａｎｓ法を用いてクラスタ数「３」のクラスタに分類する。なお、情報処理装置１００は、取得した分散表現ＱＶ１-１～ＱＶ１-１２をクラスタ数「３」のクラスタに分類可能であれば、ｋ－ｍｅａｎｓ法に限らず、どのようなクラスタリング手法を用いてもよい。

また、情報処理装置１００は、クエリＱ１-１～Ｑ１-１２に対応する分散表現ＱＶ１-１～ＱＶ１-１２をクラスタ数「３」のクラスタに分類することによって、各分散表現に対応する各クエリをクラスタ数「３」のクラスタに分類する。このように、情報処理装置１００は、各分散表現に対応する各クエリをクラスタ数「３」のクラスタに分類することにより、各クエリが分類されるクラスタに関するクラスタ情報を生成する。

例えば、情報処理装置１００は、分散表現ＱＶ１-１と分散表現ＱＶ１-２と分散表現ＱＶ１-３と分散表現ＱＶ１-７と分散表現ＱＶ１-８を一つのクラスタ（クラスタＣＬ１）に分類する。情報処理装置１００は、分散表現ＱＶ１-１をクラスタＣＬ１に分類したので、分散表現ＱＶ１-１に対応するクエリＱ１-１をクラスタＣＬ１に分類する。また、情報処理装置１００は、分散表現ＱＶ１-２をクラスタＣＬ１に分類したので、分散表現ＱＶ１-２に対応するクエリＱ１-２をクラスタＣＬ１に分類する。同様に、情報処理装置１００は、分散表現ＱＶ１-３と分散表現ＱＶ１-７と分散表現ＱＶ１-８をクラスタＣＬ１に分類したので、分散表現ＱＶ１-３に対応するクエリＱ１-３と分散表現ＱＶ１-７に対応するクエリＱ１-７と分散表現ＱＶ１-８に対応するクエリＱ１-８をクラスタＣＬ１に分類する。このようにして、情報処理装置１００は、クエリＱ１-１とクエリＱ１-２とクエリＱ１-３とクエリＱ１-７とクエリＱ１-８が分類されるクラスタＣＬ１に関するクラスタ情報を生成する。

ここで、第１モデルＭ１を用いて生成された文字情報の分散表現には、その文字情報が検索クエリとして入力された際の利用者の検索意図を示す特徴情報が含まれている。例えば、クエリＱ１-１の分散表現ＱＶ１-１には、クエリＱ１-１に対応する文字情報「車種Ｔ１１」が検索クエリとして入力された際の利用者の検索意図を示す特徴情報が含まれている。また、クエリＱ１-２の分散表現ＱＶ１-２には、クエリＱ１-２に対応する文字情報「車種Ｔ１２」が検索クエリとして入力された際の利用者の検索意図を示す特徴情報が含まれている。

また、第１モデルＭ１から出力される所定の文字情報の分散表現と他の文字情報の分散表現が類似することは、所定の文字情報が検索クエリとして入力された際の利用者の検索意図と他の文字情報が検索クエリとして入力された際の利用者の検索意図とが類似することを意味する。例えば、文字情報「車種Ｔ１１」の分散表現ＱＶ１-１と文字情報「車種Ｔ１２」の分散表現ＱＶ１-２とが類似することは、文字情報「車種Ｔ１１」が検索クエリとして入力された際の利用者の検索意図と文字情報「車種Ｔ１２」が検索クエリとして入力された際の利用者の検索意図とが類似することを意味する。

また、一般的に、ｋ－ｍｅａｎｓ法等のクラスタリング法を用いて同一のクラスタに分類されるデータ同士は、類似する特徴を有する。例えば、ｋ－ｍｅａｎｓ法を用いて同一のクラスタに分類されるベクトル同士は、類似する特徴を有する。したがって、本願発明において、例えば、ｋ－ｍｅａｎｓ法を用いて分散表現ＱＶ１-１と分散表現ＱＶ１-２とが一つのクラスタ（クラスタＣＬ１）に分類されることは、分散表現ＱＶ１-１に対応する文字情報「車種Ｔ１１」が検索クエリとして入力された際の利用者の検索意図と、分散表現ＱＶ１-２に対応する文字情報「車種Ｔ１２」が検索クエリとして入力された際の利用者の検索意図とが類似することを意味する。このように、本願発明において、同一のクラスタに分類される分散表現に対応する文字情報（例えば、クエリ）同士は、検索クエリとして入力された際の利用者の検索意図が類似する。例えば、同一のクラスタＣＬ１に分類されたクエリＱ１-１とクエリＱ１-２とクエリＱ１-３とクエリＱ１-７とクエリＱ１-８は、検索クエリとして入力された際の利用者の検索意図が互いに類似する。すなわち、情報処理装置１００、複数のクエリを、各クエリが検索クエリとして入力された際の利用者の検索意図に応じた指定クラスタ数のクラスタに分類することができる。

なお、同じ複数のクエリであっても、検索意図に応じたクラスタリングと、通常のクラスタリングとでは、分類されるクラスタが異なる場合がある。例えば、「車種Ｔ１１」と「車種Ｔ１４」がスポーツカーであり、「車種Ｔ１２」と「車種Ｔ１５」がファミリーワゴン車であり、「車種Ｔ１３」と「車種Ｔ１６」が軽自動車であるとする。この場合、通常のクラスタリングであれば、スポーツカーである「車種Ｔ１１」と「車種Ｔ１４」、ファミリーワゴン車である「車種Ｔ１２」と「車種Ｔ１５」、軽自動車である「車種Ｔ１３」と「車種Ｔ１６」は、それぞれ車種が同一であるので、同一のクラスタに分類されることがある。しかしながら、本願発明におけるように、検索意図に応じたクラスタリングでは、必ずしも車種が同一であるから、同一のクラスタに分類されるとは限らず、また、異なる車種であっても同一のクラスタに分類される場合がある。例えば、スポーツカーである「車種Ｔ１１」とファミリーワゴン車である「車種Ｔ１２」と軽自動車である「車種Ｔ１３」とが検索クエリとして入力された際の利用者の検索意図が互いに類似する場合には、異なる車種同士であっても同一のクラスタＣＬ１に分類される。また、スポーツカーである「車種Ｔ１４」とファミリーワゴン車である「車種Ｔ１５」と軽自動車である「車種Ｔ１６」とが検索クエリとして入力された際の利用者の検索意図が互いに類似する場合には、異なる車種同士であっても同一のクラスタＣＬ２に分類される。このように、情報処理装置１００は、検索意図に応じたクラスタリングを可能とするため、検索意図に応じたクラスタリングに基づく新たな知見を得ることができる。

また、情報処理装置１００は、分散表現ＱＶ１-４と分散表現ＱＶ１-５と分散表現ＱＶ１-６と分散表現ＱＶ１-９と分散表現ＱＶ１-１０をクラスタＣＬ１とは異なる一つのクラスタ（クラスタＣＬ２）に分類する。情報処理装置１００は、分散表現ＱＶ１-４をクラスタＣＬ２に分類したので、分散表現ＱＶ１-４に対応するクエリＱ１-４をクラスタＣＬ２に分類する。また、情報処理装置１００は、分散表現ＱＶ１-５をクラスタＣＬ２に分類したので、分散表現ＱＶ１-５に対応するクエリＱ１-５をクラスタＣＬ２に分類する。同様に、情報処理装置１００は、分散表現ＱＶ１-６と分散表現ＱＶ１-９と分散表現ＱＶ１-１０をクラスタＣＬ２に分類したので、分散表現ＱＶ１-６に対応するクエリＱ１-６と分散表現ＱＶ１-９に対応するクエリＱ１-９と分散表現ＱＶ１-１０に対応するクエリＱ１-１０をクラスタＣＬ２に分類する。このようにして、情報処理装置１００は、クエリＱ１-４とクエリＱ１-５とクエリＱ１-６とクエリＱ１-９とクエリＱ１-１０が分類されるクラスタＣＬ２に関するクラスタ情報を生成する。また、同一のクラスタＣＬ２に分類されたクエリＱ１-４とクエリＱ１-５とクエリＱ１-６とクエリＱ１-９とクエリＱ１-１０は、検索クエリとして入力された際の利用者の検索意図が互いに類似する。

また、情報処理装置１００は、分散表現ＱＶ１-１１と分散表現ＱＶ１-１２をクラスタＣＬ１およびクラスタＣＬ２とは異なる一つのクラスタ（クラスタＣＬ３）に分類する。情報処理装置１００は、分散表現ＱＶ１-１１をクラスタＣＬ３に分類したので、分散表現ＱＶ１-１１に対応するクエリＱ１-１１をクラスタＣＬ３に分類する。また、情報処理装置１００は、分散表現ＱＶ１-１２をクラスタＣＬ３に分類したので、分散表現ＱＶ１-１２に対応するクエリＱ１-１２をクラスタＣＬ３に分類する。このようにして、情報処理装置１００は、クエリＱ１-１１とクエリＱ１-１２が分類されるクラスタＣＬ３に関するクラスタ情報を生成する。また、同一のクラスタＣＬ３に分類されたクエリＱ１-１１とクエリＱ１-１２は、検索クエリとして入力された際の利用者の検索意図が互いに類似する。

ここで、情報処理装置１００によるクラスタリング結果の解釈についての一例を説明する。例えば、クラスタＣＬ１には、自動車メーカー＃１の商品名を示すクエリ（「車種Ｔ１１」、「車種Ｔ１２」、「車種Ｔ１３」）と、自動車メーカー＃２の商品名を示すクエリ（「車種Ｔ２１」、「車種Ｔ２２」）の両方が含まれている。また、クラスタＣＬ２にも、自動車メーカー＃１の商品名を示すクエリ（「車種Ｔ１４」、「車種Ｔ１５」、「車種Ｔ１６」）と、自動車メーカー＃２の商品名を示すクエリ（「車種Ｔ２３」、「車種Ｔ２４」）の両方が含まれている。一方、クラスタＣＬ３には、自動車メーカー＃１の商品名を示すクエリは含まれておらず、自動車メーカー＃２の商品名を示すクエリ（「車種Ｔ２５」、「車種Ｔ２６」）のみが含まれている。これらの結果から、自動車メーカー＃１の商品には、クラスタＣＬ３に対応する検索意図で検索された商品に該当する商品が存在しないことがわかる。これにより、例えば、自動車メーカー＃１は、クラスタＣＬ３に対応する検索意図で検索される商品に関して、自動車メーカー＃２と比べて市場における弱みがあるという分析結果を得ることができる。また、分析結果を得た自動車メーカー＃１は、分析結果を、クラスタＣＬ３に対応する検索意図で検索される商品開発を進める等のマーケティング方針に役立てることができる。このように、情報処理装置１００は、クライアントに対して、利用者の検索意図を反映した市場分析に関する情報を提供可能とする。例えば、情報処理装置１００は、利用者の検索意図を反映した市場における自社（他社）の弱みや強みに関する知見を提供可能とする。

続いて、情報処理装置１００は、３つのクラスタＣＬ１～ＣＬ３に関するクラスタ情報を生成すると、生成した３つのクラスタＣＬ１～ＣＬ３に関するクラスタ情報を端末装置１０に送信する。端末装置１０は、３つのクラスタＣＬ１～ＣＬ３に関するクラスタ情報を取得すると、コンテンツＣ１の部分コンテンツＣ１２に含まれる表示領域Ｆ２１～Ｆ２３のそれぞれにクラスタＣＬ１～ＣＬ３に関するクラスタ情報が表示されるように画面の表示を制御する。

例えば、情報処理装置１００は、クラスタＣＬ１に関するクラスタ情報が表示される表示領域Ｆ２１の上方にクラスタＣＬ１の名称「クラスタ１」が表示されるように画面の表示を制御する。また、情報処理装置１００は、クラスタＣＬ２に関するクラスタ情報が表示される表示領域Ｆ２２の上方にクラスタＣＬ２の名称「クラスタ２」が表示されるように画面の表示を制御する。また、情報処理装置１００は、クラスタＣＬ３に関するクラスタ情報が表示される表示領域Ｆ２３の上方にクラスタＣＬ３の名称「クラスタ３」が表示されるように画面の表示を制御する。

上述したように、情報処理装置１００は、分類対象を示す複数の対象情報と、複数の対象情報をクラスタに分類する際のクラスタ数である指定クラスタ数とを受け付ける。また、情報処理装置１００は、複数の対象情報を指定クラスタ数のクラスタに分類することにより生成したクラスタに関する指定クラスタ情報を生成する。そして、情報処理装置１００は、生成した指定クラスタ情報を出力する。これにより、情報処理装置１００は、分類対象を示す多数の対象情報から、多数の対象情報の特徴の要約とも言える指定クラスタ数のクラスタ情報を抽出可能とする。そして、情報処理装置１００は、多数の対象情報の特徴を指定クラスタ数のクラスタ情報に要約して提供可能とする。このように、情報処理装置１００は、分類対象を示す多数の対象情報の特徴を少ない情報量の要約にまとめて提供可能とする。したがって、情報処理装置１００は、有用な情報を得ることができる。

〔２．情報処理装置の構成〕
次に、図３を用いて、実施形態に係る情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置１００の構成例を示す図である。図３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示させるための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば、端末装置１０と検索サーバ２０と生成装置５０との間で情報の送受信を行う。

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、図３に示すように、クエリ情報記憶部１２１とベクトル情報記憶部１２２とクラスタ情報記憶部１２３とモデル情報記憶部１２４を有する。

（クエリ情報記憶部１２１）
クエリ情報記憶部１２１は、ユーザから受け付けたクエリに関する各種の情報を記憶する。図４に、実施形態に係るクエリ情報記憶部の一例を示す。図４に示す例では、クエリ情報記憶部１２１は、「ユーザＩＤ」、「日時」、「指定クラスタ数」、「クエリ」、「クエリＩＤ」といった項目を有する。

「ユーザＩＤ」は、ユーザを識別するための識別情報を示す。「日時」は、ユーザからクエリを受け付けた日時を示す。「指定クラスタ数」は、ユーザから受け付けた複数のクエリをクラスタに分類する際のクラスタ数としてユーザから指定されたクラスタ数を示す。「クエリ」は、ユーザから受け付けたクエリを示す。具体的には、「クエリＩＤ」は、ユーザから受け付けたクエリを識別するための識別情報を示す。

図４の１レコード目に示す例では、クエリＩＤ「Ｑ１-１」で識別されるクエリ（クエリＱ１-１）は、図１に示すクエリ「車種Ｔ１１」に対応する。また、指定クラスタ数「３」は、ユーザから受け付けた１２個のクエリＱ１-１～Ｑ１-１２をクラスタに分類する際のクラスタ数としてユーザから指定されたクラスタ数が「３」であることを示す。

（ベクトル情報記憶部１２２）
ベクトル情報記憶部１２２は、クエリの分散表現であるベクトルに関する各種の情報を記憶する。図５に、実施形態に係るベクトル情報記憶部の一例を示す。図５に示す例では、ベクトル情報記憶部１２２は、「ベクトルＩＤ」、「クエリＩＤ」、「ベクトル情報」といった項目を有する。

「ベクトルＩＤ」は、クエリの分散表現であるベクトルを識別するための識別情報を示す。「クエリＩＤ」は、ベクトルに対応するクエリを識別するための識別情報を示す。「ベクトル情報」は、クエリの分散表現であるＮ次元（例えば、１２８次元）のベクトルを示す。

図５の１レコード目に示す例では、ベクトルＩＤ「ＱＶ１-１」で識別されるベクトル（ベクトルＱＶ１-１）は、図１に示したクエリＱ１-１分散表現であるベクトルＱＶ１-１に対応する。また、クエリＩＤ「Ｑ１-１」で識別されるクエリ（クエリＱ１-１）は、ベクトルＱＶ１-１に対応するクエリがクエリＱ１-１であることを示す。また、ベクトル情報「ＱＶＤＴ１-１」は、クエリＱ１-１の分散表現であるＮ次元のベクトルを示す。

（クラスタ情報記憶部１２３）
クラスタ情報記憶部１２３は、クラスタに関する各種の情報を記憶する。図６に、実施形態に係るクラスタ情報記憶部の一例を示す。図６に示す例では、クラスタ情報記憶部１２３は、ユーザから受け付けた複数のクエリをユーザから受け付けた指定クラスタ数に分類することにより生成されるクラスタ情報毎にデータが格納される複数のデータテーブルから成る。また、各データテーブルは、「クラスタＩＤ」、「クラスタ名」、「クエリＩＤ」といった項目を有する。

「クラスタＩＤ」は、クラスタを識別するための識別情報を示す。「クラスタ名」は、クラスタの名称を示す。「クエリＩＤ」は、クエリを識別するための識別情報を示す。

図６の１レコード目に示す例では、クラスタＩＤ「ＣＬ１」で識別されるクラスタ(クラスタＣＬ１)は、図１に示すクラスタＣＬ１に対応する。また、クラスタ名「クラスタ１」は、クラスタＣＬ１の名称がクラスタ１であることを示す。また、クラスタＣＬ１には、クエリＩＤ「Ｑ１-１」で識別されるクエリ（クエリＱ１-１）とクエリＩＤ「Ｑ１-２」で識別されるクエリ（クエリＱ１-２）とクエリＩＤ「Ｑ１-３」で識別されるクエリ（クエリＱ１-３）とクエリＩＤ「Ｑ１-７」で識別されるクエリ（クエリＱ１-７）とクエリＩＤ「Ｑ１-８」で識別されるクエリ（クエリＱ１-８）が分類されることを示す。

（モデル情報記憶部１２４）
モデル情報記憶部１２４は、生成装置５０によって生成された学習モデルに関する各種の情報を記憶する。図７に、実施形態に係るモデル情報記憶部の一例を示す。図７に示す例では、モデル情報記憶部１２４は、「モデルＩＤ」、「モデルデータ」といった項目を有する。

「モデルＩＤ」は、生成装置５０によって生成された学習モデルを識別するための識別情報を示す。「モデルデータ」は、生成装置５０によって生成された学習モデルのモデルデータを示す。例えば、「モデルデータ」には、クエリを分散表現に変換するためのデータが格納される。

図７の１レコード目に示す例では、モデルＩＤ「Ｍ１」で識別される学習モデルは、図１に示した第１モデルＭ１に対応する。また、モデルデータ「ＭＤＴ１」は、生成装置５０によって生成された第１モデルＭ１のモデルデータ（モデルデータＭＤＴ１）を示す。

モデルデータＭＤＴ１は、クエリが入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力されたクエリに応じて、入力層に入力されたクエリの分散表現を出力層から出力するよう、生成装置５０を機能させてもよい。

ここで、モデルデータＭＤＴ１が「y=a1*x1+a2*x2+・・・+ai*xi」で示す回帰モデルで実現されるとする。この場合、モデルデータＭＤＴ１が含む第１要素は、x1やx2等といった入力データ（xi）に対応する。また、第１要素の重みは、xiに対応する係数aiに対応する。ここで、回帰モデルは、入力層と出力層とを有する単純パーセプトロンと見做すことができる。各モデルを単純パーセプトロンと見做した場合、第１要素は、入力層が有するいずれかのノードに対応し、第２要素は、出力層が有するノードと見做すことができる。

また、モデルデータＭＤＴ１がＤＮＮ（Deep Neural Network）等、１つまたは複数の中間層を有するニューラルネットワークで実現されるとする。この場合、モデルデータＭＤＴ１が含む第１要素は、入力層または中間層が有するいずれかのノードに対応する。また、第２要素は、第１要素と対応するノードから値が伝達されるノードである次段のノードに対応する。また、第１要素の重みは、第１要素と対応するノードから第２要素と対応するノードに伝達される値に対して考慮される重みである接続係数に対応する。

生成装置５０は、上述した回帰モデルやニューラルネットワーク等、任意の構造を有するモデルを用いて、分散表現の算出を行う。具体的には、モデルデータＭＤＴ１は、クエリが入力された場合に、分散表現を出力するように係数が設定される。生成装置５０は、このようなモデルデータＭＤＴ１を用いて、分散表現を算出する。

なお、上記例では、モデルデータＭＤＴ１が、クエリが入力された場合に、クエリの分散表現を出力するモデル（以下、モデルＸ１という。）である例を示した。しかし、実施形態に係るモデルデータＭＤＴ１は、モデルＸ１にデータの入出力を繰り返すことで得られる結果に基づいて生成されるモデルであってもよい。例えば、モデルデータＭＤＴ１は、クエリを入力とした際に、モデルＸ１が出力した分散表現を入力して学習されたモデル（以下、モデルＹ１という。）であってもよい。または、モデルデータＭＤＴ１は、クエリを入力とし、モデルＹ１の出力値を出力とするよう学習されたモデルであってもよい。

また、生成装置５０がＧＡＮ（Generative Adversarial Networks）を用いた推定処理を行う場合、モデルデータＭＤＴ１は、ＧＡＮの一部を構成するモデルであってもよい。

（制御部１３０）
図３の説明に戻って、制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

図３に示すように、制御部１３０は、受付部１３１と、取得部１３２と、生成部１３３と、出力部１３４とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

（受付部１３１）
受付部１３１は、端末装置１０からコンテンツＣ１の配信要求を受け付ける。受付部１３１は、端末装置１０からコンテンツＣ１の部分コンテンツＣ１１の配信要求を受け付ける。具体的には、受付部１３１は、クラスタ数を入力可能な入力フィールドＦ１１と、複数のクエリを入力可能な入力フィールドＦ１２と、入力フィールドに入力された情報を情報処理装置１００に送信する送信ボタンＢ１１とを含む部分コンテンツＣ１１の配信要求を受け付ける。

続いて、受付部１３１は、コンテンツＣ１の配信要求を受け付けると、端末装置１０にコンテンツＣ１を配信する。受付部１３１は、コンテンツＣ１の部分コンテンツＣ１１の配信要求を受け付けると、端末装置１０にコンテンツＣ１の部分コンテンツＣ１１を配信する。具体的には、受付部１３１は、クラスタ数を入力可能な入力フィールドＦ１１と、複数のクエリを入力可能な入力フィールドＦ１２と、入力フィールドに入力された情報を情報処理装置１００に送信する送信ボタンＢ１１とを含む部分コンテンツＣ１１を端末装置１０に配信する。

また、受付部１３１は、分類対象を示す複数の対象情報と、複数の対象情報をクラスタに分類する際のクラスタ数である指定クラスタ数とを受け付ける。具体的には、受付部１３１は、分類対象を示す複数のクエリと、複数のクエリをクラスタに分類する際のクラスタ数である指定クラスタ数とを端末装置１０から受信する。続いて、受付部１３１は、複数のクエリと指定クラスタ数とを受信すると、受信した複数のクエリと指定クラスタ数とを対応付けてクエリ情報記憶部１２１に格納する。

（取得部１３２）
取得部１３２は、各種情報を取得する。取得部１３２は、外部の情報処理装置から各種情報を取得する。取得部１３２は、生成装置５０等の他の情報処理装置から各種情報を取得する。

また、取得部１３２は、記憶部１２０から各種情報を取得する。取得部１３２は、クエリ情報記憶部１２１やベクトル情報記憶部１２２やクラスタ情報記憶部１２３やモデル情報記憶部１２４から各種情報を取得する。

具体的には、取得部１３２は、モデルを取得する。より具体的には、取得部１３２は、受付部１３１によって分類対象を示す複数のクエリと、複数のクエリをクラスタに分類する際のクラスタ数である指定クラスタ数とが受け付けられると、生成装置５０から第１モデルＭ１を取得する。取得部１３２は、生成装置５０から第１モデルＭ１のモデルデータＭＤＴ１を取得する。続いて、取得部１３２は、第１モデルＭ１（モデルデータＭＤＴ１）を取得すると、取得した第１モデルＭ１（モデルデータＭＤＴ１）をモデル情報記憶部１２４に格納する。

（生成部１３３）
生成部１３３は、種々の情報を生成する。生成部１３３は、クエリの分散表現を生成する。具体的には、生成部１３３は、受付部１３１によって受け付けられた複数のクエリの分散表現を生成する。

また、生成部１３３は、同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、複数の検索クエリが有する特徴を学習した学習モデルを用いて、複数の対象情報に含まれるそれぞれの対象情報である文字情報に対応する分散表現を生成する。具体的には、生成部１３３は、同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、複数の検索クエリが有する特徴を学習した第１モデルＭ１を用いて、受付部１３１によって受け付けられた複数のクエリの分散表現を生成する。

また、生成部１３３は、入力情報として所定の検索クエリが入力された際に、出力情報として所定の検索クエリの分散表現を出力する学習モデルを用いて、分散表現を生成する。具体的には、生成部１３３は、入力情報として所定の検索クエリが入力された際に、出力情報として所定の検索クエリの分散表現を出力する第１モデルＭ１を用いて、受付部１３１によって受け付けられた複数のクエリの分散表現を生成する。

また、生成部１３３は、所定の時間内に続けて入力された一対の検索クエリの分散表現が類似するように学習することで、複数の検索クエリが有する特徴を学習した学習モデルを用いて、分散表現を生成する。具体的には、生成部１３３は、所定の時間内に続けて入力された一対の検索クエリの分散表現が類似するように学習することで、複数の検索クエリが有する特徴を学習した第１モデルＭ１を用いて、受付部１３１によって受け付けられた複数のクエリの分散表現を生成する。

また、生成部１３３は、同一のユーザによって所定の時間内に入力された複数の検索クエリとして、所定の区切り文字で区切られた文字列を含む複数の検索クエリが類似する特徴を有するものとして学習することで、複数の検索クエリが有する特徴を学習した学習モデルを用いて、分散表現を生成する。具体的には、生成部１３３は、同一のユーザによって所定の時間内に入力された複数の検索クエリとして、所定の区切り文字で区切られた文字列を含む複数の検索クエリが類似する特徴を有するものとして学習することで、複数の検索クエリが有する特徴を学習した第１モデルＭ１を用いて、受付部１３１によって受け付けられた複数のクエリの分散表現を生成する。

また、生成部１３３は、ランダムに抽出された複数の検索クエリが相違する特徴を有するものとして学習することで、複数の検索クエリが有する特徴を学習した学習モデルを用いて、分散表現を生成する。具体的には、生成部１３３は、ランダムに抽出された複数の検索クエリが相違する特徴を有するものとして学習することで、複数の検索クエリが有する特徴を学習した第１モデルＭ１を用いて、受付部１３１によって受け付けられた複数のクエリの分散表現を生成する。

また、生成部１３３は、ランダムに抽出された一対の検索クエリの分散表現が相違するように学習することで、複数の検索クエリが有する特徴を学習した学習モデルを用いて、分散表現を生成する。具体的には、生成部１３３は、ランダムに抽出された一対の検索クエリの分散表現が相違するように学習することで、複数の検索クエリが有する特徴を学習した第１モデルＭ１を用いて、受付部１３１によって受け付けられた複数のクエリの分散表現を生成する。

より具体的には、生成部１３３は、受付部１３１によって分類対象を示す複数のクエリと、複数のクエリをクラスタに分類する際のクラスタ数である指定クラスタ数とが受け付けられると、モデル情報記憶部１２４を参照して、第１モデルＭ１を取得する。また、生成部１３３は、受付部１３１によって分類対象を示す複数のクエリと、複数のクエリをクラスタに分類する際のクラスタ数である指定クラスタ数とが受け付けられると、クエリ情報記憶部１２１を参照して、受付部１３１によって受け付けられた複数のクエリを取得する。図１に示す例では、生成部１３３は、受付部１３１によって受け付けられたクエリＱ１-１～Ｑ１-１２を取得する。

続いて、生成部１３３は、複数のクエリを取得すると、複数のクエリの中から一のクエリを取得する。図１に示す例では、生成部１３３は、クエリＱ１-１～Ｑ１-１２を取得すると、クエリＱ１-１～Ｑ１-１２の中から一のクエリＱ１-１を取得する。続いて、生成部１３３は、第１モデルＭ１の入力情報として、取得した一のクエリを第１モデルＭ１に入力する。図１に示す例では、生成部１３３は、第１モデルＭ１の入力情報として、取得した一のクエリＱ１-１を第１モデルＭ１に入力する。また、生成部１３３は、第１モデルＭ１の出力情報として、第１モデルＭ１に入力されたクエリの分散表現を第１モデルＭ１から出力する。図１に示す例では、生成部１３３は、第１モデルＭ１の出力情報として、第１モデルＭ１に入力されたクエリＱ１-１の分散表現ＱＶ１-１を第１モデルＭ１から出力する。このようにして、生成部１３３は、クエリの分散表現を生成する。同様に、生成部１３３は、取得したクエリの全てについて、各クエリの分散表現を生成する。図１に示す例では、生成部１３３は、取得したクエリＱ１-１～Ｑ１-１２について、各クエリＱ１-１～Ｑ１-１２の分散表現ＱＶ１-１～ＱＶ１-１２を生成する。続いて、生成部１３３は、各クエリの分散表現を生成すると、生成した各クエリの分散表現を各クエリと対応付けてベクトル情報記憶部１２２に格納する。

また、生成部１３３は、クラスタを生成する。具体的には、生成部１３３は、複数の対象情報を指定クラスタ数のクラスタに分類することにより生成したクラスタを生成する。例えば、生成部１３３は、受付部１３１によって受け付けられた複数のクエリを指定クラスタ数のクラスタに分類することにより生成したクラスタを生成する。

また、生成部１３３は、複数の対象情報に含まれる一の対象情報が検索クエリとして入力された際の検索意図と、複数の対象情報に含まれる他の対象情報が検索クエリとして入力された際の検索意図との類似性に基づいて、複数の対象情報を指定クラスタ数のクラスタに分類する。具体的には、生成部１３３は、複数の対象情報に含まれる一の対象情報である文字情報に対応する分散表現と、複数の対象情報に含まれる他の対象情報である文字情報に対応する分散表現との類似度に基づいて、複数の対象情報を指定クラスタ数のクラスタに分類する。より具体的には、生成部１３３は、第１モデルＭ１を用いて生成された一のクエリの分散表現と、第１モデルＭ１を用いて生成された他のクエリの分散表現との類似度に基づいて、受付部１３１によって受け付けられた複数のクエリを指定クラスタ数のクラスタに分類する。

また、生成部１３３は、クラスタに関するクラスタ情報を生成する。具体的には、生成部１３３は、複数の対象情報を指定クラスタ数のクラスタに分類することにより、各対象情報が分類されるクラスタに関するクラスタ情報を生成する。例えば、生成部１３３は、受付部１３１によって受け付けられた複数のクエリを指定クラスタ数のクラスタに分類することにより、各クエリが分類されるクラスタに関する指定クラスタ情報を生成する。

また、生成部１３３は、複数の対象情報に含まれる一の対象情報が検索クエリとして入力された際の検索意図と、複数の対象情報に含まれる他の対象情報が検索クエリとして入力された際の検索意図との類似性に基づいて、指定クラスタ情報を生成する。具体的には、生成部１３３は、複数の対象情報に含まれる一の対象情報である文字情報に対応する分散表現と、複数の対象情報に含まれる他の対象情報である文字情報に対応する分散表現との類似度に基づいて、指定クラスタ情報を生成する。より具体的には、生成部１３３は、第１モデルＭ１を用いて生成された一のクエリの分散表現と、第１モデルＭ１を用いて生成された他のクエリの分散表現との類似度に基づいて、受付部１３１によって受け付けられた複数のクエリを指定クラスタ数のクラスタに分類することにより生成したクラスタに関する指定クラスタ情報を生成する。

図１に示す例では、生成部１３３は、受付部１３１によってクラスタ数「３」と１２個のクエリＱ１-１～Ｑ１-１２が受け付けられると、第１モデルＭ１を用いて生成されたクエリＱ１-１～Ｑ１-１２の分散表現ＱＶ１-１～ＱＶ１-１２を取得する。具体的には、生成部１３３は、クエリ情報記憶部１２１とベクトル情報記憶部１２２を参照して、第１モデルＭ１を用いて生成されたクエリＱ１-１～Ｑ１-１２の分散表現ＱＶ１-１～ＱＶ１-１２を取得する。

続いて、生成部１３３は、分散表現ＱＶ１-１～ＱＶ１-１２を取得すると、取得した分散表現ＱＶ１-１～ＱＶ１-１２をｋ－ｍｅａｎｓ法を用いてクラスタ数「３」のクラスタに分類する。なお、生成部１３３は、取得した分散表現ＱＶ１-１～ＱＶ１-１２をクラスタ数「３」のクラスタに分類可能であれば、ｋ－ｍｅａｎｓ法に限らず、どのようなクラスタリング手法を用いてもよい。

また、生成部１３３は、クエリＱ１-１～Ｑ１-１２に対応する分散表現ＱＶ１-１～ＱＶ１-１２をクラスタ数「３」のクラスタに分類することによって、各分散表現に対応する各クエリをクラスタ数「３」のクラスタに分類する。このように、生成部１３３は、各分散表現に対応する各クエリをクラスタ数「３」のクラスタに分類することにより、各クエリが分類されるクラスタに関するクラスタ情報を生成する。

例えば、生成部１３３は、分散表現ＱＶ１-１と分散表現ＱＶ１-２と分散表現ＱＶ１-３と分散表現ＱＶ１-７と分散表現ＱＶ１-８を一つのクラスタ（クラスタＣＬ１）に分類する。生成部１３３は、分散表現ＱＶ１-１をクラスタＣＬ１に分類したので、分散表現ＱＶ１-１に対応するクエリＱ１-１をクラスタＣＬ１に分類する。また、生成部１３３は、分散表現ＱＶ１-２をクラスタＣＬ１に分類したので、分散表現ＱＶ１-２に対応するクエリＱ１-２をクラスタＣＬ１に分類する。同様に、生成部１３３は、分散表現ＱＶ１-３と分散表現ＱＶ１-７と分散表現ＱＶ１-８をクラスタＣＬ１に分類したので、分散表現ＱＶ１-３に対応するクエリＱ１-３と分散表現ＱＶ１-７に対応するクエリＱ１-７と分散表現ＱＶ１-８に対応するクエリＱ１-８をクラスタＣＬ１に分類する。このようにして、生成部１３３は、クエリＱ１-１とクエリＱ１-２とクエリＱ１-３とクエリＱ１-７とクエリＱ１-８が分類されるクラスタＣＬ１に関するクラスタ情報を生成する。

また、生成部１３３は、分散表現ＱＶ１-４と分散表現ＱＶ１-５と分散表現ＱＶ１-６と分散表現ＱＶ１-９と分散表現ＱＶ１-１０をクラスタＣＬ１とは異なる一つのクラスタ（クラスタＣＬ２）に分類する。生成部１３３は、分散表現ＱＶ１-４をクラスタＣＬ２に分類したので、分散表現ＱＶ１-４に対応するクエリＱ１-４をクラスタＣＬ２に分類する。また、生成部１３３は、分散表現ＱＶ１-５をクラスタＣＬ２に分類したので、分散表現ＱＶ１-５に対応するクエリＱ１-５をクラスタＣＬ２に分類する。同様に、生成部１３３は、分散表現ＱＶ１-６と分散表現ＱＶ１-９と分散表現ＱＶ１-１０をクラスタＣＬ２に分類したので、分散表現ＱＶ１-６に対応するクエリＱ１-６と分散表現ＱＶ１-９に対応するクエリＱ１-９と分散表現ＱＶ１-１０に対応するクエリＱ１-１０をクラスタＣＬ２に分類する。このようにして、生成部１３３は、クエリＱ１-４とクエリＱ１-５とクエリＱ１-６とクエリＱ１-９とクエリＱ１-１０が分類されるクラスタＣＬ２に関するクラスタ情報を生成する。

また、生成部１３３は、分散表現ＱＶ１-１１と分散表現ＱＶ１-１２をクラスタＣＬ１およびクラスタＣＬ２とは異なる一つのクラスタ（クラスタＣＬ３）に分類する。生成部１３３は、分散表現ＱＶ１-１１をクラスタＣＬ３に分類したので、分散表現ＱＶ１-１１に対応するクエリＱ１-１１をクラスタＣＬ３に分類する。また、生成部１３３は、分散表現ＱＶ１-１２をクラスタＣＬ３に分類したので、分散表現ＱＶ１-１２に対応するクエリＱ１-１２をクラスタＣＬ３に分類する。このようにして、生成部１３３は、クエリＱ１-１１とクエリＱ１-１２が分類されるクラスタＣＬ３に関するクラスタ情報を生成する。

また、生成部１３３は、指定クラスタ情報として、クラスタごとに、クラスタに分類される対象情報を視認可能な情報を生成する。例えば、生成部１３３は、指定クラスタ情報として、クラスタごとに、クラスタに分類される対象情報を視認可能なコンテンツを生成する。

図１に示す例では、生成部１３３は、クラスタＣＬ１に関するクラスタ情報が表示される表示領域Ｆ２１の上方にクラスタＣＬ１の名称「クラスタ１」が表示される部分コンテンツＣ１２を生成してもよい。また、生成部１３３は、クラスタＣＬ２に関するクラスタ情報が表示される表示領域Ｆ２２の上方にクラスタＣＬ２の名称「クラスタ２」が表示されるが表示される部分コンテンツＣ１２を生成してもよい。また、生成部１３３は、クラスタＣＬ３に関するクラスタ情報が表示される表示領域Ｆ２３の上方にクラスタＣＬ３の名称「クラスタ３」が表示されるが表示される部分コンテンツＣ１２を生成してもよい。

（出力部１３４）
出力部１３４は、生成部１３３によって生成された指定クラスタ情報を出力する。具体的には、出力部１３４は、生成部１３３によって生成された指定クラスタ情報を端末装置１０に送信する。

〔３．端末装置の構成〕
次に、図８を用いて、実施形態に係る端末装置１０の構成について説明する。図８は、実施形態に係る端末装置１０の構成例を示す図である。図８に示すように、端末装置１０は、通信部１１と、入力部１２と、表示部１３と、記憶部１４と、制御部１５とを有する。

（通信部１１）
通信部１１は、例えば、ＮＩＣ等によって実現される。そして、通信部１１は、ネットワークＮと有線または無線で接続され、情報処理装置１００との間で情報の送受信を行う。

（入力部１２、表示部１３）
入力部１２は、利用者から各種操作を受け付ける入力装置である。入力部１２は、表示部１３を介して各種情報が入力される。例えば、入力部１２は、キーボードやマウスや操作キー等によって実現される。表示部１３は、各種情報を表示するための表示装置であり、すなわち、画面である。例えば、表示部１３は、液晶ディスプレイ等によって実現される。表示部１３は、記憶部１４に記憶された情報を表示する。表示部１３は、受信部１５１によって受信された情報を表示する。表示部１３は、表示制御部１５２による制御に応じて、各種情報を表示する。なお、端末装置１０にタッチパネルが採用される場合には、入力部１２と表示部１３とは一体化される。また、以下の説明では、表示部１３を画面と記載する場合がある。

図１の例では、表示部１３は、受信部１５１によって受信されたコンテンツＣ１を表示する。表示部１３は、受信部１５１によって受信されたコンテンツＣ１の部分コンテンツＣ１１を表示する。具体的には、表示部１３は、複数の第１クエリを入力可能な入力フィールドＦ１１と、複数の第２クエリを入力可能な入力フィールドＦ１２と、入力フィールドに入力されたクエリを情報処理装置１００に送信する送信ボタンＢ１１とを含む部分コンテンツＣ１１を表示する。

また、表示部１３は、受信部１５１によって受信されたコンテンツＣ１の部分コンテンツＣ１２を表示する。表示部１３は、受信部１５１によって受信された棒グラフＧ２１～Ｇ２３に関する情報を表示する。具体的には、表示部１３は、受信部１５１によって受信されたコンテンツＣ１の部分コンテンツＣ１２に含まれる表示領域Ｆ２１～Ｆ２３のそれぞれに棒グラフＧ２１～Ｇ２３に関する情報を表示する。

（記憶部１４）
記憶部１４は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４は、情報の表示に用いる各種情報を記憶する。記憶部１４は、受信部１５１によって受信された情報を記憶する。図１に示す例では、記憶部１４は、受信部１５１によって受信されたコンテンツＣ１を記憶する。また、記憶部１４は、受信部１５１によって受信されたコンテンツＣ１の部分コンテンツＣ１１を記憶する。また、記憶部１４は、受信部１５１によって受信されたコンテンツＣ１の部分コンテンツＣ１２を記憶する。また、記憶部１４は、受信部１５１によって受信された棒グラフＧ２１～Ｇ２３に関する情報を記憶する。

（制御部１５）
制御部１５は、ＣＰＵやＭＰＵ等によって、端末装置１０内部の記憶装置に記憶されている各種プログラム（例えば、コンテンツＣ１等を画面に表示させる表示制御プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。例えば、この各種プログラムは、ウェブブラウザと呼ばれるアプリケーションプログラムに該当する。また、制御部１５は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

図８に示すように、制御部１５は、受信部１５１と、表示制御部１５２と、受付部１５３と、送信部１５４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図８に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

（受信部１５１）
受信部１５１は、各種情報を受信する。受信部１５１は、外部の情報処理装置から各種情報を受信する。受信部１５１は、情報処理装置１００等の他の情報処理装置から各種情報を受信する。図１の例では、受信部１５１は、情報処理装置１００からコンテンツＣ１を受信する。また、受信部１５１は、情報処理装置１００からコンテンツＣ１の部分コンテンツＣ１１を受信する。また、受信部１５１は、情報処理装置１００からコンテンツＣ１の部分コンテンツＣ１２を受信する。また、受信部１５１は、情報処理装置１００からクラスタＣＬ１～ＣＬ３に関するクラスタ情報を受信する。

（表示制御部１５２）
表示制御部１５２は、各種表示を制御する。表示制御部１５２は、表示部１３の表示を制御する。表示制御部１５２は、受信部１５１による受信に応じて、表示部１３の表示を制御する。表示制御部１５２は、受信部１５１により受信された情報に基づいて、表示部１３の表示を制御する。表示制御部１５２は、受付部１５３により受け付けられた情報に基づいて、表示部１３の表示を制御する。表示制御部１５２は、受付部１５３による受付けに応じて、表示部１３の表示を制御する。表示制御部１５２は、表示部１３にコンテンツが表示されるように表示部１３の表示を制御する。

図１の例では、表示制御部１５２は、コンテンツＣ１が表示されるように表示部１３の表示を制御する。また、表示制御部１５２は、コンテンツＣ１の部分コンテンツＣ１１が表示されるように表示部１３の表示を制御する。また、表示制御部１５２は、コンテンツＣ１の部分コンテンツＣ１２が表示されるように表示部１３の表示を制御する。また、表示制御部１５２は、コンテンツＣ１の部分コンテンツＣ１２に含まれる表示領域Ｆ２１～Ｆ２３のそれぞれにクラスタＣＬ１～ＣＬ３に関するクラスタ情報が表示されるように表示部１３の表示を制御する。

（受付部１５３）
受付部１５３は、各種情報を受け付ける。例えば、受付部１５３は、入力部１２を介してユーザによる入力を受け付ける。受付部１５３は、ユーザによる操作を受け付ける。受付部１５３は、表示部１３により表示された情報に対するユーザの操作を受け付ける。受付部１５３は、ユーザによる文字入力を受け付ける。受付部１５３は、ユーザによるクラスタ数の入力を受け付ける。受付部１５３は、コンテンツＣ１の部分コンテンツＣ１１に含まれる入力フィールドＦ１１への文字入力により、クラスタ数の入力を受け付ける。受付部１５３は、ユーザにより入力フィールドＦ１１に入力された数字をクラスタ数として受け付ける。

また、受付部１５３は、ユーザによる複数のクエリの入力を受け付ける。受付部１５３は、コンテンツＣ１の部分コンテンツＣ１１に含まれる入力フィールドＦ１２への文字入力により、クエリの入力を受け付ける。受付部１５３は、ユーザにより入力フィールドＦ１２に入力された文字列をクエリとして受け付ける。また、受付部１５３は、区切り文字で区切られた各文字列を各クエリとして受け付ける。

また、受付部１５３は、ユーザによる送信ボタンＢ１１の選択操作を受け付ける。受付部１５３は、入力部１２によって受け付けられた送信ボタンＢ１１の選択操作を受け付ける。

図１の例では、受付部１５３は、クラスタ数である数字「３」の入力を受け付ける。受付部１５３は、コンテンツＣ１の部分コンテンツＣ１１に含まれる入力フィールドＦ１１への文字入力により、クラスタ数「３」の入力を受け付ける。

また、受付部１５３は、区切り文字で区切られた１２個の文字列である１２個のクエリＱ１-１～Ｑ１-１２の入力を受け付ける。受付部１５３は、コンテンツＣ１の部分コンテンツＣ１１に含まれる入力フィールドＦ１２への文字入力により、１２個のクエリＱ１-１～Ｑ１-１２の入力を受け付ける。受付部１５３は、利用者Ｕ１１により入力フィールドＦ１２に入力された１２個の文字列である１２個の文字列「車種Ｔ１１」～文字列「車種Ｔ２６」の入力を受け付ける。

また、受付部１５３は、利用者Ｕ１１による送信ボタンＢ１１の選択操作を受け付ける。受付部１５３は、入力部１２によって受け付けられた送信ボタンＢ１１の選択操作を受け付ける。受付部１５３は、表示部１３を介して受け付けられた送信ボタンＢ１１の選択操作を受け付ける。

（送信部１５４）
送信部１５４は、外部の情報処理装置へ各種情報を送信する。例えば、送信部１５４は、情報処理装置１００等の他の情報処理装置へ各種情報を送信する。送信部１５４は、記憶部１４に記憶された情報を送信する。また、送信部１５４は、情報処理装置１００等の他の情報処理装置からの情報に基づいて、各種情報を送信する。送信部１５４は、記憶部１４に記憶された情報に基づいて、各種情報を送信する。送信部１５４は、受付部１５３によって受け付けられた情報を送信する。

送信部１５４は、受付部１５３によって受け付けられたクラスタ数と複数のクエリを情報処理装置１００に送信する。具体的には、送信部１５４は、受付部１５３によって送信ボタンＢ１１の選択操作が受け付けられると、受付部１５３によって受け付けられたクラスタ数と複数のクエリを情報処理装置１００に送信する。

図１の例では、送信部１５４は、受付部１５３によって送信ボタンＢ１１の選択操作が受け付けられると、受付部１５３によって受け付けられたクラスタ数「３」を情報処理装置１００に送信する。送信部１５４は、受付部１５３によって受け付けられた数字であるクラスタ数「３」を情報処理装置１００に送信する。

また、送信部１５４は、受付部１５３によって送信ボタンＢ１１の選択操作が受け付けられると、受付部１５３によって受け付けられた１２個のクエリＱ１-１～Ｑ１-１２を情報処理装置１００に送信する。送信部１５４は、受付部１５３によって受け付けられた１２個の文字列である１２個のクエリＱ２-１～Ｑ２-３を情報処理装置１００に送信する。

〔４．情報処理のフロー〕
次に、図９を用いて、実施形態に係る情報処理の手順について説明する。図９は、実施形態に係る情報処理手順を示すフローチャートである。図９に示す例では、情報処理装置１００は、複数のクエリと指定クラスタ数とを端末装置１０から受け付けたか否かを判定する（ステップＳ１０１）。情報処理装置１００は、複数のクエリと指定クラスタ数とを受け付けなかった場合（ステップＳ１０１；Ｎｏ）、複数のクエリと指定クラスタ数とを受け付けるまで待機する。

続いて、情報処理装置１００は、複数のクエリと指定クラスタ数とを受け付けた場合（ステップＳ１０１；Ｙｅｓ）、複数のクエリを指定クラスタ数に分類することにより生成したクラスタに関するクラスタ情報を生成する（ステップＳ１０２）。

続いて、情報処理装置１００は、クラスタ情報を生成すると、生成したクラスタ情報を端末装置１０に出力する（ステップＳ１０３）。

〔５．変形例〕
上述した実施形態に係る情報処理システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム１の他の実施形態について説明する。なお、実施形態と同一部分には、同一符号を付して説明を省略する。

〔５－１．指定クラスタ数よりも少ないクラスタ数のクラスタ情報〕
情報処理装置１００は、数の対象情報を指定クラスタ数よりも少ない数のクラスタに分類することにより生成したクラスタに関するクラスタ情報を生成する。また、情報処理装置１００は、生成したクラスタ情報を指定クラスタ情報と比較可能に出力する。

具体的には、生成部１３３は、複数の対象情報を指定クラスタ数よりも少ない数のクラスタに分類することにより生成したクラスタに関するクラスタ情報を生成する。続いて、出力部１３４は、生成部１３３によって生成されたクラスタ情報を指定クラスタ情報と比較可能に出力する。具体的には、生成部１３３は、指定クラスタ情報とクラスタ情報とを対比可能に上下に並べて表示する部分コンテンツＣ１２を生成する。例えば、生成部１３３は、図１に示すような指定クラスタ数「３」の３つのクラスタＣＬ１～クラスタＣＬ３に関する指定クラスタ情報を生成する。また、生成部１３３は、指定クラスタ数「３」より少ないクラスタ数「２」の２つのクラスタＣＬ１（Ｑ１-１、Ｑ１-２、Ｑ１-３、Ｑ１-７、Ｑ１-８、Ｑ１-１１）とクラスタＣＬ２（Ｑ１-４、Ｑ１-５、Ｑ１-６、Ｑ１-９、Ｑ１-１０、Ｑ１-１２）に関するクラスタ情報を生成する。続いて、生成部１３３は、指定クラスタ情報とクラスタ情報とを対比可能に上下に並べて表示する部分コンテンツＣ１２を生成する。続いて、出力部１３４は、生成部によって生成された部分コンテンツＣ１２を出力する。

また、生成部１３３は、指定クラスタ情報とクラスタ情報との相違点（差分）に相当するクエリの文字色を変えた情報を生成してもよい。例えば、生成部１３３は、指定クラスタ数「３」の場合にクラスタＣＬ３に分類されていた（Ｑ１-１１、Ｑ１-１２）の文字色を他のクエリとは異なる色（例えば、赤色）に着色した情報を生成する。続いて、生成部１３３は、指定クラスタ情報とクラスタ情報とを対比可能に上下に並べて表示する部分コンテンツＣ１２を生成する。続いて、出力部１３４は、生成部１３３によって生成された部分コンテンツＣ１２を出力する。

〔６．第１モデルの生成処理〕
次に、図１０を用いて、第１モデルの生成処理の流れについて説明する。図１０は、実施形態に係る第１モデルの生成処理の一例を示す図である。図１０に示す例では、生成装置５０は、同一の利用者Ｕ１によって所定の時間内に連続して入力された「六本木 パスタ」という検索クエリＱ１１と「六本木 イタリアン」という検索クエリＱ１２とから成る一対の検索クエリを抽出する（ステップＳ１１）。

続いて、生成装置５０は、抽出した検索クエリＱ１１を第１モデルＭ１に入力して、検索クエリＱ１１の分散表現であるベクトルＢＱＶ１１を出力する。ここで、ベクトルＢＱＶ１１は、第１モデルＭ１の出力層から出力されたばかりの検索クエリＱ１１の分散表現であって、第１モデルＭ１にフィードバックをかける前（学習前）の分散表現を示す。また、生成装置５０は、抽出した検索クエリＱ１２を第１モデルＭ１に入力して、検索クエリＱ１２の分散表現であるベクトルＢＱＶ１２を出力する。ここで、ベクトルＢＱＶ１２は、第１モデルＭ１の出力層から出力されたばかりの検索クエリＱ１２の分散表現であって、第１モデルＭ１にフィードバックをかける前（学習前）の分散表現を示す。このようにして、生成装置５０は、検索クエリＱ１１の分散表現であるベクトルＢＱＶ１１と、検索クエリＱ１２の分散表現であるベクトルＢＱＶ１２とを出力する（ステップＳ１２）。

続いて、生成装置５０は、同一の利用者Ｕ１によって所定の時間内に連続して入力された検索クエリＱ１１（「六本木 パスタ」）と検索クエリＱ１２（「六本木 イタリアン」）とから成る一対の検索クエリは、所定の検索意図（例えば、「ある場所で飲食店を探す」という検索意図）で入力された検索クエリであると推定されるため、相互に類似する特徴を有するものとして、検索クエリＱ１１の分散表現（ベクトルＱＶ１１）と、検索クエリＱ１１と対となる検索クエリＱ１２の分散表現（ベクトルＱＶ１２）とが、分散表現空間上で類似するように第１モデルＭ１を学習させる。例えば、第１モデルＭ１にフィードバックをかける前（学習前）の検索クエリＱ１１の分散表現であるベクトルＢＱＶ１１と検索クエリＱ１２の分散表現であるベクトルＢＱＶ１２とのなす角度の大きさをΘとする。また、第１モデルＭ１にフィードバックをかけた後（学習後）の検索クエリＱ１１の分散表現であるベクトルＱＶ１１と検索クエリＱ１２の分散表現であるベクトルＱＶ１２とのなす角度の大きさをΦとする。この時、生成装置５０は、ΘよりもΦが小さくなるように、第１モデルＭ１を学習させる。例えば、生成装置５０は、ベクトルＢＱＶ１１とベクトルＢＱＶ１２のコサイン類似度の値を算出する。また、生成装置５０は、ベクトルＱＶ１１とベクトルＱＶ１２のコサイン類似度の値を算出する。続いて、生成装置５０は、ベクトルＢＱＶ１１とベクトルＢＱＶ１２のコサイン類似度の値よりも、ベクトルＱＶ１１とベクトルＱＶ１２のコサイン類似度の値が大きくなるように（値が１に近づくように）第１モデルＭ１を学習させる。このように、生成装置５０は、一対の検索クエリに対応する一対の分散表現である２つのベクトルが分散表現空間上で類似するように第１モデルＭ１を学習させることで、検索クエリから分散表現を出力する第１モデルＭ１を生成する（ステップＳ１３）。なお、生成装置５０は、コサイン類似度に限らず、ベクトル間の距離尺度として適用可能な指標であれば、どのような指標に基づいて分散表現の間の類似度を算出してもよい。また、生成装置５０は、ベクトル間の距離尺度として適用可能な指標であれば、どのような指標に基づいて第１モデルＭ１を学習させてもよい。例えば、生成装置５０は、分散表現同士のユークリッド距離や双曲空間等の非ユークリッド空間中での距離、マンハッタン距離、マハラノビス距離等といった所定の距離関数の値を算出する。続いて、生成装置５０は、分散表現同士の所定の距離関数の値（すなわち、分散表現空間における距離）が小さくなるように第１モデルＭ１を学習させてもよい。

次に、図１１を用いて、第１モデルの生成処理の流れについてより詳しく説明する。なお、図１１の説明では、図９の説明と重複する部分は、適宜省略する。図１１は、実施形態に係る第１モデルの生成処理を示す図である。図１１に示す例では、生成装置５０が生成した第１モデルＭ１によって出力された分散表現が分散表現空間にマッピングされる様子が示されている。生成装置５０は、所定の検索クエリの分散表現と所定の検索クエリと対となる他の検索クエリの分散表現とが分散表現空間上で近くにマッピングされるように第１モデルＭ１のトレーニングを行う。

図１１の上段に示す例では、生成装置５０は、同一の利用者Ｕ１によって所定の時間内に連続して入力された４個の検索クエリである検索クエリＱ１１（「六本木 パスタ」）、検索クエリＱ１２（「六本木 イタリアン」）、検索クエリＱ１３（「赤坂 パスタ」）、検索クエリＱ１４（「麻布 パスタ」）を抽出する。生成装置５０は、同一の利用者Ｕ１によって各検索クエリが入力された時間の間隔が所定の時間内である４個の検索クエリを抽出する。生成装置５０は、同一の利用者Ｕ１によって後述する各検索クエリのペアが入力された時間の間隔が所定の時間内である複数の検索クエリを抽出する。生成装置５０は、検索クエリが入力された順番に並べると、検索クエリＱ１１、検索クエリＱ１２、検索クエリＱ１３、検索クエリＱ１４の順番で入力された４個の検索クエリを抽出する。生成装置５０は、４個の検索クエリを抽出すると、時系列的に隣り合う２つの検索クエリを一対の検索クエリとして、３対の検索クエリのペアである（検索クエリＱ１１、検索クエリＱ１２）、（検索クエリＱ１２、検索クエリＱ１３）、（検索クエリＱ１３、検索クエリＱ１４）を抽出する（ステップＳ２１－１）。なお、生成装置５０は、同一の利用者Ｕ１によって全ての検索クエリが所定の時間内に入力された複数の検索クエリを抽出してもよい。そして、生成装置５０は、時系列的に隣り合うか否かに関わらず、抽出した複数の検索クエリの中から２つの検索クエリを選択して、選択した２つの検索クエリを一対の検索クエリとして抽出してもよい。

続いて、生成装置５０は、抽出した検索クエリＱ１ｋ（ｋ＝１、２、３、４）を第１モデルＭ１に入力して、検索クエリＱ１ｋ（ｋ＝１、２、３、４）の分散表現であるベクトルＢＱＶ１ｋ（ｋ＝１、２、３、４）を出力する。ここで、ベクトルＢＱＶ１ｋ（ｋ＝１、２、３、４）は、第１モデルＭ１の出力層から出力されたばかりの検索クエリＱ１ｋ（ｋ＝１、２、３、４）の分散表現であって、第１モデルＭ１にフィードバックをかける前（学習前）の分散表現を示す（ステップＳ２２－１）。

続いて、生成装置５０は、同一の利用者Ｕ１によって所定の時間内に連続して入力された一対の検索クエリは、所定の検索意図（例えば、「ある場所（東京都港区付近）で飲食店を探す」という検索意図）で入力された検索クエリであると推定されるため、相互に類似する特徴を有するものとして、検索クエリＱ１１の分散表現（ベクトルＱＶ１１）と、検索クエリＱ１１と対となる検索クエリＱ１２の分散表現（ベクトルＱＶ１２）とが、分散表現空間上で類似するように第１モデルＭ１を学習させる。また、生成装置５０は、検索クエリＱ１２の分散表現（ベクトルＱＶ１２）と、検索クエリＱ１２と対となる検索クエリＱ１３の分散表現（ベクトルＱＶ１３）とが、分散表現空間上で類似するように第１モデルＭ１を学習させる。また、生成装置５０は、検索クエリＱ１３の分散表現（ベクトルＱＶ１３）と、検索クエリＱ１３と対となる検索クエリＱ１４の分散表現（ベクトルＱＶ１４）とが、分散表現空間上で類似するように第１モデルＭ１を学習させる。このように、生成装置５０は、一対の検索クエリに対応する一対の分散表現である２つのベクトルが分散表現空間上で類似するように第１モデルＭ１を学習させることで、検索クエリから分散表現を出力する第１モデルＭ１を生成する（ステップＳ２３－１）。

図１１の上段に示す情報処理の結果として、検索クエリＱ１ｋ（ｋ＝１、２、３、４）の分散表現であるベクトルＱＶ１ｋ（ｋ＝１、２、３、４）が分散表現空間の近い位置にクラスタＣＬ１１としてマッピングされる様子が示されている。例えば、検索クエリＱ１ｋ（ｋ＝１、２、３、４）は、利用者Ｕ１によって「ある場所（東京都港区付近）で飲食店を探す」という検索意図の下で検索された検索クエリの集合であると推定される。すなわち、検索クエリＱ１ｋ（ｋ＝１、２、３、４）は、「ある場所（東京都港区付近）で飲食店を探す」という検索意図の下で検索された検索クエリであるという点で、相互に類似する特徴を有する検索クエリであると推定される。ここで、生成装置５０は、「ある場所（東京都港区付近）で飲食店を探す」という検索意図で入力された所定の検索クエリが第１モデルに入力されると、クラスタＣＬ１１の位置にマッピングされるような分散表現を出力することができる。これにより、例えば、生成装置５０は、クラスタＣＬ１１の位置にマッピングされる分散表現に対応する検索クエリを抽出することにより、「ある場所（東京都港区付近）で飲食店を探す」という検索意図に応じた検索クエリを抽出することができる。したがって、生成装置５０は、検索クエリの意味を適切に解釈可能とすることができる。

図１１の下段に示す例では、生成装置５０は、同一の利用者Ｕ２によって所定の時間内に連続して入力された３個の検索クエリである検索クエリＱ２１（「冷蔵庫 ４００Ｌ」）、検索クエリＱ２２（「冷蔵庫 中型」）、検索クエリＱ２３（「冷蔵庫 中型 おすすめ」）を抽出する。生成装置５０は、検索クエリが入力された順番に並べると、検索クエリＱ２１、検索クエリＱ２２、検索クエリＱ２３の順番で入力された３個の検索クエリを抽出する。生成装置５０は、３個の検索クエリを抽出すると、時系列的に隣り合う２つの検索クエリを一対の検索クエリとして、２対の検索クエリのペアである（検索クエリＱ２１、検索クエリＱ２２）、（検索クエリＱ２２、検索クエリＱ２３）を抽出する（ステップＳ２１－２）。

続いて、生成装置５０は、抽出した検索クエリＱ２ｍ（ｍ＝１、２、３）を第１モデルＭ１に入力して、検索クエリＱ２ｍ（ｍ＝１、２、３）の分散表現であるベクトルＢＱＶ２ｍ（ｍ＝１、２、３）を出力する。ここで、ベクトルＢＱＶ２ｍ（ｍ＝１、２、３）は、第１モデルＭ１の出力層から出力されたばかりの検索クエリＱ２ｍ（ｍ＝１、２、３）の分散表現であって、第１モデルＭ１にフィードバックをかける前（学習前）の分散表現を示す（ステップＳ２２－２）。

続いて、生成装置５０は、同一の利用者Ｕ２によって所定の時間内に連続して入力された一対の検索クエリは、所定の検索意図（例えば、「中型の冷蔵庫を調べる」という検索意図）で入力された検索クエリであると推定されるため、相互に類似する特徴を有するものとして、検索クエリＱ２１の分散表現（ベクトルＱＶ２１）と、検索クエリＱ２１と対となる検索クエリＱ２２の分散表現（ベクトルＱＶ２２）とが、分散表現空間上で類似するように第１モデルＭ１を学習させる。また、生成装置５０は、検索クエリＱ２２の分散表現（ベクトルＱＶ２２）と、検索クエリＱ２２と対となる検索クエリＱ２３の分散表現（ベクトルＱＶ２３）とが、分散表現空間上で類似するように第１モデルＭ１を学習させる。このように、生成装置５０は、一対の検索クエリに対応する一対の分散表現である２つのベクトルが分散表現空間上で類似するように第１モデルＭ１を学習させることで、検索クエリから分散表現を出力する第１モデルＭ１を生成する（ステップＳ２３－２）。

図１１の下段に示す情報処理の結果として、検索クエリＱ２ｍ（ｍ＝１、２、３）の分散表現であるベクトルＱＶ２ｍ（ｍ＝１、２、３）が分散表現空間の近い位置にクラスタＣＬ２１としてマッピングされる様子が示されている。例えば、検索クエリＱ２ｍ（ｍ＝１、２、３）は、利用者Ｕ２によって「中型の冷蔵庫を調べる」という検索意図の下で検索された検索クエリの集合であると推定される。すなわち、Ｑ２ｍ（ｍ＝１、２、３）は、「中型の冷蔵庫を調べる」という検索意図の下で検索された検索クエリであるという点で、相互に類似する特徴を有する検索クエリであると推定される。ここで、生成装置５０は、「中型の冷蔵庫を調べる」という検索意図で入力された所定の検索クエリが第１モデルに入力されると、クラスタＣＬ２１の位置にマッピングされるような分散表現を出力することができる。これにより、例えば、生成装置５０は、クラスタＣＬ２１の位置にマッピングされる分散表現に対応する検索クエリを抽出することにより、「中型の冷蔵庫を調べる」という検索意図に応じた検索クエリを抽出することができる。したがって、生成装置５０は、検索クエリの意味を適切に解釈可能とすることができる。

また、本願発明に係る生成装置５０は、ランダムに抽出された複数の検索クエリは、異なる検索意図の下で検索された検索クエリであるという点で、相互に相違する特徴を有する検索クエリであるとみなして第１モデルＭ１を学習させる。具体的には、生成装置５０は、所定の検索クエリの分散表現と、所定の検索クエリとは無関係にランダムに抽出された検索クエリの分散表現とが分散表現空間上で遠くにマッピングされるように第１モデルＭ１のトレーニングを行う。図１１に示す例では、生成装置５０は、検索クエリＱ１１とは無関係にランダムに検索クエリを抽出したところ、検索クエリＱ２１が抽出されたとする。この場合、生成装置５０は、検索クエリＱ１１の分散表現（ベクトルＱＶ１１）と、検索クエリＱ１１とは無関係にランダムに抽出された検索クエリＱ２１の分散表現（ベクトルＱＶ２１）とが分散表現空間上で遠くにマッピングされるように第１モデルＭ１のトレーニングを行う。その結果として、「ある場所（東京都港区付近）で飲食店を探す」という検索意図の下で検索された検索クエリＱ１ｋ（ｋ＝１、２、３、４）の分散表現であるベクトルＱＶ１ｋ（ｋ＝１、２、３、４）を含むクラスタＣＬ１１と、「中型の冷蔵庫を調べる」という検索意図の下で検索された検索クエリＱ２ｍ（ｍ＝１、２、３）の分散表現であるベクトルＱＶ２ｍ（ｍ＝１、２、３）を含むクラスタＣＬ２１とは、分散表現空間上で遠くにマッピングされる。すなわち、本願発明に係る生成装置５０は、ランダムに抽出された複数の検索クエリの分散表現が相違するように第１モデルＭ１を学習させることにより、検索意図が異なる検索クエリの分散表現を分散表現空間上で遠い位置に出力可能とする。

なお、生成装置５０が生成した第１モデルＭ１によって出力された分散表現が分散表現空間にマッピングされた結果として、上述したクラスタＣＬ１１とクラスタＣＬ２１の他にも、同一のユーザによって所定の時間内に入力された複数の検索クエリの分散表現の集合であるクラスタＣＬ１２やクラスタＣＬ２２が生成される。

上述したように、生成装置５０は、ユーザによって入力された検索クエリを取得する。また、生成装置５０は、取得した検索クエリのうち、同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして学習することで、所定の検索クエリから所定の検索クエリの特徴情報を予測する第１モデルを生成する。すなわち、本願発明に係る生成装置５０は、所定の時間内に連続して入力された複数の検索クエリは、所定の検索意図の下で検索された検索クエリであるという点で、相互に類似する特徴を有する検索クエリであるとみなして第１モデルを学習させる。具体的には、生成装置５０は、同一のユーザによって所定の時間内に入力された複数の検索クエリの分散表現が類似するように第１モデルを学習させることで、所定の検索クエリから所定の検索クエリの特徴情報を含む分散表現を出力する第１モデルを生成する。すなわち、本願発明に係る生成装置５０は、所定の時間内に連続して入力された複数の検索クエリの分散表現が類似するように第１モデルＭ１を学習させることにより、所定の検索意図の下で検索された検索クエリの分散表現を分散表現空間上で近い位置に出力可能とする。これにより、生成装置５０は、検索クエリを入力したユーザのコンテクストに応じて検索クエリの意味（検索意図）を出力（解釈）することを可能にする。したがって、生成装置５０は、検索クエリの意味を適切に解釈可能とすることができる。

また、生成装置５０は、所定の検索クエリの特徴情報を含む分散表現の近傍にマッピングされる分散表現に対応する検索クエリを抽出することにより、所定の検索クエリが検索された検索意図に応じた検索クエリを抽出することができる。すなわち、生成装置５０は、検索クエリを入力したユーザの検索意図やコンテクストを考慮して、ユーザの検索動向を分析することを可能にする。したがって、生成装置５０は、ユーザの検索動向の分析精度を高めることができる。また、生成装置５０が生成した第１モデルＭ１を検索システムの一部として機能させることもできる。あるいは、生成装置５０は、第１モデルＭ１によって予測された検索クエリの特徴情報を利用する他のシステム（例えば、検索エンジン）への入力情報として、第１モデルＭ１が出力した検索クエリの分散表現を提供することもできる。これにより、検索システムは、第１モデルＭ１によって予測された検索クエリの特徴情報に基づいて、検索結果として出力されるコンテンツを選択可能になる。すなわち、検索システムは、検索クエリを入力したユーザの検索意図やコンテクストを考慮して、検索結果として出力されるコンテンツを選択可能になる。さらに、検索システムは、第１モデルＭ１によって予測された検索クエリの特徴情報に基づいて、検索結果として出力されるコンテンツに含まれる文字情報の分散表現と検索クエリの分散表現との類似度を算出可能になる。そして、検索システムは、算出した類似度に基づいて、検索結果として出力されるコンテンツの表示順を決定可能になる。すなわち、検索システムは、検索クエリを入力したユーザの検索意図やコンテクストを考慮して、検索結果として出力されるコンテンツの表示順を決定可能になる。したがって、生成装置５０は、検索サービスにおけるユーザビリティを向上させることができる。

〔７．生成装置の構成〕
次に、図１２を用いて、実施形態に係る生成装置５０の構成について説明する。図１２は、実施形態に係る生成装置５０の構成例を示す図である。図１２に示すように、生成装置５０は、通信部５１と、記憶部５３と、制御部５２とを有する。なお、生成装置５０は、生成装置５０の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（通信部５１）
通信部５１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部５１は、ネットワークと有線または無線で接続され、例えば、端末装置１０と、検索サーバ２０との間で情報の送受信を行う。

（記憶部５３）
記憶部５３は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部５３は、図１２に示すように、クエリ情報記憶部５３１と、ベクトル情報記憶部５３２と、モデル情報記憶部５３３とを有する。

（クエリ情報記憶部５３１）
クエリ情報記憶部５３１は、ユーザによって入力された検索クエリに関する各種の情報を記憶する。図１３に、実施形態に係るクエリ情報記憶部の一例を示す。図１３に示す例では、クエリ情報記憶部５３１は、「ユーザＩＤ」、「日時」、「検索クエリ」、「検索クエリＩＤ」といった項目を有する。

「ユーザＩＤ」は、検索クエリを入力したユーザを識別するための識別情報を示す。「日時」は、検索サーバがユーザから検索クエリを受け付けた日時を示す。「検索クエリ」は、ユーザによって入力された検索クエリを示す。「検索クエリＩＤ」は、ユーザによって入力された検索クエリを識別するための識別情報を示す。

図１３の１レコード目に示す例では、検索クエリＩＤ「Ｑ１１」で識別される検索クエリ（検索クエリＱ１１）は、図１０に示した検索クエリＱ１１に対応する。また、ユーザＩＤ「Ｕ１」は、検索クエリＱ１１を入力したユーザがユーザＩＤ「Ｕ１」で識別されるユーザ（利用者Ｕ１）であることを示す。また、日時「２０１８／９／１ ＰＭ１７：００」は、検索サーバが利用者Ｕ１から検索クエリＱ１１を受け付けた日時が２０１８年９月１日の午後１７：００であることを示す。また、検索クエリ「六本木 パスタ」は、利用者Ｕ１によって入力された検索クエリＱ１１を示す。具体的には、検索クエリ「六本木 パスタ」は、地名を示す「六本木」と食品の種類を示す「パスタ」の文字とが区切り文字であるスペースで区切られた文字情報であることを示す。

（ベクトル情報記憶部５３２）
ベクトル情報記憶部５３２は、検索クエリの分散表現であるベクトルに関する各種の情報を記憶する。図１４に、実施形態に係るベクトル情報記憶部の一例を示す。図１４に示す例では、ベクトル情報記憶部５３２は、「ベクトルＩＤ」、「検索クエリＩＤ」、「ベクトル情報」といった項目を有する。

「ベクトルＩＤ」は、検索クエリの分散表現であるベクトルを識別するための識別情報を示す。「検索クエリＩＤ」は、ベクトルに対応する検索クエリを識別するための識別情報を示す。「ベクトル情報」は、検索クエリの分散表現であるＮ次元のベクトルを示す。検索クエリの分散表現であるベクトルは、例えば、１２８次元のベクトルである。

図１４の１レコード目に示す例では、ベクトルＩＤ「ＱＶ１１」で識別されるベクトル（ベクトルＱＶ１１）は、図１０に示した検索クエリＱ１１の分散表現であるベクトルＱＶ１１に対応する。また、検索クエリＩＤ「Ｑ１１」で識別される検索クエリ（検索クエリＱ１１）は、ベクトルＱＶ１１に対応する検索クエリが検索クエリＱ１１であることを示す。また、ベクトル情報「ＱＶＤＴ１１」は、検索クエリＱ１１の分散表現であるＮ次元のベクトルを示す。

（モデル情報記憶部５３３）
モデル情報記憶部５３３は、生成装置５０によって生成された学習モデルに関する各種の情報を記憶する。図１５に、実施形態に係るモデル情報記憶部の一例を示す。図１５に示す例では、モデル情報記憶部５３３は、「モデルＩＤ」、「モデルデータ」といった項目を有する。

「モデルＩＤ」は、生成装置５０によって生成された学習モデルを識別するための識別情報を示す。「モデルデータ」は、生成装置５０によって生成された学習モデルのモデルデータを示す。例えば、「モデルデータ」には、検索クエリを分散表現に変換するためのデータが格納される。

図１５の１レコード目に示す例では、モデルＩＤ「Ｍ１」で識別される学習モデルは、図１に示した第１モデルＭ１に対応する。また、モデルデータ「ＭＤＴ１」は、生成装置５０によって生成された第１モデルＭ１のモデルデータ（モデルデータＭＤＴ１）を示す。

モデルデータＭＤＴ１は、検索クエリが入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された検索クエリに応じて、入力層に入力された検索クエリの分散表現を出力層から出力するよう、生成装置５０を機能させてもよい。

ここで、モデルデータＭＤＴ１が「y=a1*x1+a2*x2+・・・+ai*xi」で示す回帰モデルで実現されるとする。この場合、モデルデータＭＤＴ１が含む第１要素は、x1やx2等といった入力データ（xi）に対応する。また、第１要素の重みは、xiに対応する係数aiに対応する。ここで、回帰モデルは、入力層と出力層とを有する単純パーセプトロンと見做すことができる。各モデルを単純パーセプトロンと見做した場合、第１要素は、入力層が有するいずれかのノードに対応し、第２要素は、出力層が有するノードと見做すことができる。

また、モデルデータＭＤＴ１がＤＮＮ（Deep Neural Network）等、１つまたは複数の中間層を有するニューラルネットワークで実現されるとする。この場合、モデルデータＭＤＴ１が含む第１要素は、入力層または中間層が有するいずれかのノードに対応する。また、第２要素は、第１要素と対応するノードから値が伝達されるノードである次段のノードに対応する。また、第１要素の重みは、第１要素と対応するノードから第２要素と対応するノードに伝達される値に対して考慮される重みである接続係数に対応する。

生成装置５０は、上述した回帰モデルやニューラルネットワーク等、任意の構造を有するモデルを用いて、分散表現の算出を行う。具体的には、モデルデータＭＤＴ１は、検索クエリが入力された場合に、分散表現を出力するように係数が設定される。生成装置５０は、このようなモデルデータＭＤＴ１を用いて、分散表現を算出する。

なお、上記例では、モデルデータＭＤＴ１が、検索クエリが入力された場合に、検索クエリの分散表現を出力するモデル（以下、モデルＸ１という。）である例を示した。しかし、実施形態に係るモデルデータＭＤＴ１は、モデルＸ１にデータの入出力を繰り返すことで得られる結果に基づいて生成されるモデルであってもよい。例えば、モデルデータＭＤＴ１は、検索クエリを入力とした際に、モデルＸ１が出力した分散表現を入力して学習されたモデル（以下、モデルＹ１という。）であってもよい。または、モデルデータＭＤＴ１は、検索クエリを入力とし、モデルＹ１の出力値を出力とするよう学習されたモデルであってもよい。

また、生成装置５０がＧＡＮ（Generative Adversarial Networks）を用いた推定処理を行う場合、モデルデータＭＤＴ１は、ＧＡＮの一部を構成するモデルであってもよい。

（制御部５２）
図１２の説明に戻って、制御部５２は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、生成装置５０内部の記憶装置に記憶されている各種プログラム（生成プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部５２は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

また、制御部５２は、モデル情報記憶部５３３に記憶されている第１モデルＭ１（モデルデータＭＤＴ１）に従った情報処理により、入力層に入力された検索クエリに対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、分散表現を出力層から出力するよう、コンピュータを機能させる。

また、制御部５２は、モデル情報記憶部５３３に記憶されている第２モデルＭ２（モデルデータＭＤＴ２）に従った情報処理により、入力層に入力された検索クエリに対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、検索クエリが各カテゴリに属する確率を出力層から出力するよう、コンピュータを機能させる。

図１２に示すように、制御部５２は、取得部５２１と、抽出部５２２と、生成部５２３を有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部５２の内部構成は、図１２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

（取得部５２１）
取得部５２１は、種々の情報を取得する。具体的には、取得部５２１は、ユーザによって入力された検索クエリを検索サーバ２０から取得する。取得部５２１は、ユーザによって入力された検索クエリを取得すると、取得した検索クエリをクエリ情報記憶部５３１に格納する。

また、取得部５２１は、検索クエリの分散表現であるベクトルに関するベクトル情報を取得する。取得部５２１は、ベクトル情報を取得すると、取得したベクトル情報をベクトル情報記憶部５３２に格納する。

また、取得部５２１は、第１モデルに関する情報を取得する。具体的には、取得部５２１は、取得部５２１は、生成部５２３によって生成された第１モデルに関する情報を取得する。取得部５２１は、第１モデルに関する情報を取得すると、取得した第１モデルに関する情報をモデル情報記憶部５３３に格納する。

（抽出部５２２）
抽出部５２２は、種々の情報を抽出する。具体的には、抽出部５２２は、取得部５２１によって取得された検索クエリのうち、同一のユーザによって所定の時間内に入力された複数の検索クエリを抽出する。例えば、抽出部５２２は、同一のユーザによって各検索クエリが入力された時間の間隔が所定の時間内である複数の検索クエリを抽出する。続いて、抽出部５２２は、同一のユーザによって所定の時間内に入力された複数の検索クエリのうち、同一のユーザによって所定の時間内に連続して入力された一対の検索クエリを抽出する。例えば、抽出部５２２は、同一のユーザによって各検索クエリのペアが入力された時間の間隔が所定の時間内である複数の検索クエリを抽出する。例えば、抽出部５２２は、取得部５２１によって取得された検索クエリのうち、同一の利用者Ｕ１によって所定の時間内に連続して入力された４個の検索クエリである検索クエリＱ１１（「六本木 パスタ」）、検索クエリＱ１２（「六本木 イタリアン」）、検索クエリＱ１３（「赤坂 パスタ」）、検索クエリＱ１４（「麻布 パスタ」）を抽出する。抽出部５２２は、検索クエリが入力された順番に並べると、検索クエリＱ１１、検索クエリＱ１２、検索クエリＱ１３、検索クエリＱ１４の順番で入力された４個の検索クエリを抽出する。続いて、抽出部５２２は、４個の検索クエリを抽出すると、時系列的に隣り合う２つの検索クエリを一対の検索クエリとして、３対の検索クエリのペアである（検索クエリＱ１１、検索クエリＱ１２）、（検索クエリＱ１２、検索クエリＱ１３）、（検索クエリＱ１３、検索クエリＱ１４）を抽出する。なお、抽出部５２２は、同一のユーザによって全ての検索クエリが所定の時間内に入力された複数の検索クエリを抽出してもよい。そして、抽出部５２２は、時系列的に隣り合うか否かに関わらず、抽出した複数の検索クエリの中から２つの検索クエリを選択して、選択した２つの検索クエリを一対の検索クエリとして抽出してもよい。

また、抽出部５２２は、取得部５２１によって取得された検索クエリのうち、所定の検索クエリと所定の検索クエリに無関係な他の検索クエリとを抽出する。例えば、抽出部５２２は、取得部５２１によって取得された検索クエリの中から、所定の検索クエリを抽出する。続いて、抽出部５２２は、取得部５２１によって取得された検索クエリの中から、所定の検索クエリとは無関係にランダムに他の検索クエリを抽出する。

（生成部５２３）
生成部５２３は、種々の情報を生成する。具体的には、生成部５２３は、取得部５２１によって取得された検索クエリのうち、同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして学習することで、所定の検索クエリから所定の検索クエリの特徴情報を予測する学習モデルを生成する。具体的には、生成部５２３は、同一のユーザによって所定の時間内に入力された複数の検索クエリの分散表現が類似するように学習モデルを学習させることで、所定の検索クエリから所定の検索クエリの特徴情報を予測する学習モデルを生成する。例えば、生成部５２３は、所定の時間内に続けて入力された一対の検索クエリの分散表現が類似するように学習することで、学習モデルを生成する。例えば、生成部５２３は、一対の検索クエリの学習前の分散表現の類似度の値を算出する。また、生成部５２３は、一対の検索クエリの学習後の分散表現の類似度の値を算出する。続いて、生成部５２３は、学習前の分散表現の類似度の値よりも、学習後の分散表現の類似度の値が大きくなるように学習モデルを学習させる。このように、生成部５２３は、一対の検索クエリに対応する一対の分散表現である２つのベクトルが分散表現空間上で類似するように学習モデルを学習させることで、検索クエリから分散表現を出力する学習モデルを生成する。より具体的には、生成部５２３は、ＲＮＮの一種であるＬＳＴＭを分散表現生成に用いたＤＳＳＭの技術を用いて、検索クエリから分散表現を出力する学習モデルを生成する。例えば、生成部５２３は、学習モデルの正解データとして、同一のユーザによって所定の時間内に入力された一対の検索クエリが類似する特徴を有するものとして、所定の検索クエリの分散表現と、所定の検索クエリと対となる他の検索クエリの分散表現とが、分散表現空間上で近くに存在するように学習する。また、生成部５２３は、第１モデルを生成すると、第１モデルを識別する識別情報と対応付けて、生成した第１モデル（モデルデータＭＤＴ１）をモデル情報記憶部５３３に格納する。

〔８．第１モデルの一例〕
次に、図１６を用いて生成装置５０が生成する第１モデルの一例について説明する。図１６は、実施形態に係る第１モデルの一例を示す図である。図１６に示す例では、生成装置５０が生成する第１モデルＭ１は、３層のＬＳＴＭ ＲＮＮで構成されている。図１６に示す例では、抽出部５２２は、同一の利用者Ｕ１によって所定の時間内に連続して入力された「六本木 パスタ」という検索クエリＱ１１と「六本木 イタリアン」という検索クエリＱ１２とから成る一対の検索クエリを抽出する。生成部５２３は、抽出部５２２によって抽出されたた検索クエリＱ１１を第１モデルＭ１の入力層に入力する（ステップＳ４１）。

続いて、生成部５２３は、第１モデルＭ１の出力層から検索クエリＱ１１の分散表現である２５６次元のベクトルＢＱＶ１１を出力する。また、生成部５２３は、抽出部５２２によって抽出された検索クエリＱ１２を第１モデルＭ１の入力層に入力する。続いて、生成部５２３は、第１モデルＭ１の出力層から検索クエリＱ１２の分散表現である２５６次元のベクトルＢＱＶ１２を出力する（ステップＳ４２）。

続いて、生成部５２３は、連続して入力された２つの検索クエリの分散表現が類似するように学習することで、検索クエリから分散表現を出力する第１モデルＭ１を生成する（ステップＳ４３）。例えば、第１モデルＭ１にフィードバックをかける前（学習前）の検索クエリＱ１１の分散表現であるベクトルＢＱＶ１１と検索クエリＱ１２の分散表現であるベクトルＢＱＶ１２とのなす角度の大きさをΘとする。また、第１モデルＭ１にフィードバックをかけた後（学習後）の検索クエリＱ１１の分散表現であるベクトルＱＶ１１と検索クエリＱ１２の分散表現であるベクトルＱＶ１２とのなす角度の大きさをΦとする。この時、生成部５２３は、ΘよりもΦが小さくなるように、第１モデルＭ１を学習させる。例えば、生成部５２３は、ベクトルＢＱＶ１１とベクトルＢＱＶ１２のコサイン類似度の値を算出する。また、生成部５２３は、ベクトルＱＶ１１とベクトルＱＶ１２のコサイン類似度の値を算出する。続いて、生成部５２３は、ベクトルＢＱＶ１１とベクトルＢＱＶ１２のコサイン類似度の値よりも、ベクトルＱＶ１１とベクトルＱＶ１２のコサイン類似度の値が大きくなるように（値が１に近づくように）学習モデルＭ１を学習させる。このように、生成部５２３は、一対の検索クエリに対応する一対の分散表現である２つのベクトルが分散表現空間上で類似するように第１モデルＭ１を学習させることで、検索クエリから分散表現を出力する第１モデルＭ１を生成する。なお、生成部５２３は、コサイン類似度に限らず、ベクトル間の距離尺度として適用可能な指標であれば、どのような指標に基づいて分散表現の間の類似度を算出してもよい。また、生成部５２３は、ベクトル間の距離尺度として適用可能な指標であれば、どのような指標に基づいて学習モデルＭ１を学習させてもよい。例えば、生成部５２３は、分散表現同士のユークリッド距離や双曲空間等の非ユークリッド空間中での距離、マンハッタン距離、マハラノビス距離等といった所定の距離関数の値を算出する。続いて、生成部５２３は、分散表現同士の所定の距離関数の値（すなわち、分散表現空間における距離）が小さくなるように学習モデルＭ１を学習させてもよい。

また、生成部５２３は、同一のユーザによって所定の時間内に入力された複数の検索クエリとして、所定の区切り文字で区切られた文字情報を含む複数の検索クエリが類似する特徴を有するものとして学習することで、第１モデルを生成する。例えば、生成部５２３は、地名を示す「六本木」と食品の種類を示す「パスタ」の文字とが区切り文字であるスペースで区切られた検索クエリ「六本木 パスタ」と、地名を示す「六本木」と料理の種類を示す「イタリアン」の文字とが区切り文字であるスペースで区切られた検索クエリ「六本木 イタリアン」とが類似する特徴を有するものとして学習することで、第１モデルを生成する。

また、生成部５２３は、取得部５２１によって取得された検索クエリのうち、ランダムに抽出された複数の検索クエリが相違する特徴を有するものとして学習することで、第１モデルを生成する。具体的には、生成部５２３は、取得部５２１によって取得された検索クエリのうち、ランダムに抽出された一対の検索クエリの分散表現が相違するように学習することで、第１モデルを生成する。例えば、生成部５２３は、抽出部５２２によって抽出された所定の検索クエリの分散表現と、所定の検索クエリとは無関係にランダムに抽出された検索クエリの分散表現とが分散表現空間上で遠くにマッピングされるように第１モデルＭ１のトレーニングを行う。

〔９．第１モデルの生成処理のフロー〕
次に、図１７を用いて、実施形態に係る第１モデルの生成処理の手順について説明する。図１７は、実施形態に係る第１モデルの生成処理手順を示すフローチャートである。

図１７に示す例では、生成装置５０は、ユーザによって入力された検索クエリを取得する（ステップＳ１００１）。

続いて、生成装置５０は、同一のユーザによって所定の時間内に入力された複数の検索クエリを抽出する（ステップＳ１００２）。

続いて、生成装置５０は、抽出した複数の検索クエリが類似する特徴を有するものとして学習することで、所定の検索クエリから所定の検索クエリの特徴情報を予測する第１モデルを生成する（ステップＳ１００３）。

〔１０．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、受付部１３１と生成部１３３と出力部１３４を有する。受付部１３１は、分類対象を示す複数の対象情報と、複数の対象情報をクラスタに分類する際のクラスタ数である指定クラスタ数とを受け付ける。生成部１３３は、複数の対象情報を指定クラスタ数のクラスタに分類することにより生成したクラスタに関する指定クラスタ情報を生成する。出力部１３４は、生成部１３３によって生成された指定クラスタ情報を出力する。

これにより、情報処理装置１００は、分類対象を示す多数の対象情報から、多数の対象情報の特徴の要約とも言える指定クラスタ数のクラスタ情報を抽出可能とする。そして、情報処理装置１００は、多数の対象情報の特徴を指定クラスタ数のクラスタ情報に要約して提供可能とする。このように、情報処理装置１００は、分類対象を示す多数の対象情報の特徴を少ない情報量の要約にまとめて提供可能とする。したがって、情報処理装置１００は、有用な情報を得ることができる。

また、生成部１３３は、複数の対象情報に含まれる一の対象情報が検索クエリとして入力された際の検索意図と、複数の対象情報に含まれる他の対象情報が検索クエリとして入力された際の検索意図との類似性に基づいて、指定クラスタ情報を生成する。

これにより、情報処理装置１００は、対象情報が検索クエリとして入力された際の検索意図の類似度に基づいて分類された指定クラスタ数のクラスタに関する指定クラスタ情報を提供可能とする。

また、生成部１３３は、複数の対象情報に含まれる一の対象情報である文字情報に対応する分散表現と、複数の対象情報に含まれる他の対象情報である文字情報に対応する分散表現との類似度に基づいて、指定クラスタ情報を生成する。

これにより、情報処理装置１００は、クエリ同士の検索意図の類似性に基づくクラスタの分類結果を数値によって客観的に把握できる状態で提供可能とする。

また、生成部１３３は、指定クラスタ情報として、クラスタごとに、クラスタに分類される対象情報を視認可能な情報を生成する。

これにより、情報処理装置１００は、多数の高次元の分散表現同士の類似度に関する分析結果を一見して把握しやすい状態で提供可能にする。

また、生成部１３３は、複数の対象情報を指定クラスタ数よりも少ない数のクラスタに分類することにより生成したクラスタに関するクラスタ情報を生成する。出力部１３４は、生成部１３３によって生成されたクラスタ情報を指定クラスタ情報と比較可能に出力する。

これにより、情報処理装置１００は、複数の対象情報を指定クラスタ数よりも少ない数のクラスタに分類することにより生成したクラスタに関するクラスタ情報と指定クラスタ情報とを比較できる状態で提供可能とする。

また、生成部１３３は、複数の対象情報に含まれる一の対象情報が検索クエリとして入力された際の検索意図と、複数の対象情報に含まれる他の対象情報が検索クエリとして入力された際の検索意図との類似性に基づいて、複数の対象情報を指定クラスタ数のクラスタに分類する。

これにより、情報処理装置１００は、対象情報が検索クエリとして入力された際の検索意図の類似度に基づいて指定クラスタ数のクラスタを生成することができる。

また、生成部１３３は、複数の対象情報に含まれる一の対象情報である文字情報に対応する分散表現と、複数の対象情報に含まれる他の対象情報である文字情報に対応する分散表現との類似度に基づいて、複数の対象情報を指定クラスタ数のクラスタに分類する。

これにより、情報処理装置１００は、クエリ同士の検索意図の類似性に基づくクラスタの分類結果を数値によって客観的に把握できる状態で提供可能とする。

また、生成部１３３は、同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、複数の検索クエリが有する特徴を学習した学習モデルを用いて、複数の対象情報に含まれるそれぞれの対象情報である文字情報に対応する分散表現を生成する。

これにより、情報処理装置１００は、対象情報である文字情報が検索クエリとし手入力された検索意図を反映した分散表現を生成可能とする。

また、生成部１３３は、入力情報として所定の検索クエリが入力された際に、出力情報として所定の検索クエリの分散表現を出力する学習モデルを用いて、分散表現を生成する。

これにより、情報処理装置１００は、対象情報である文字情報が検索クエリとし手入力された検索意図を反映した分散表現を生成可能とする。

また、生成部１３３は、所定の時間内に続けて入力された一対の検索クエリの分散表現が類似するように学習することで、複数の検索クエリが有する特徴を学習した学習モデルを用いて、分散表現を生成する。

これにより、情報処理装置１００は、対象情報である文字情報が検索クエリとし手入力された検索意図を反映した分散表現を生成可能とする。

また、生成部１３３は、同一のユーザによって所定の時間内に入力された複数の検索クエリとして、所定の区切り文字で区切られた文字列を含む複数の検索クエリが類似する特徴を有するものとして学習することで、複数の検索クエリが有する特徴を学習した学習モデルを用いて、分散表現を生成する。

これにより、情報処理装置１００は、対象情報である文字情報が検索クエリとし手入力された検索意図を反映した分散表現を生成可能とする。

また、生成部１３３は、ランダムに抽出された複数の検索クエリが相違する特徴を有するものとして学習することで、複数の検索クエリが有する特徴を学習した学習モデルを用いて、分散表現を生成する。

これにより、情報処理装置１００は、対象情報である文字情報が検索クエリとし手入力された検索意図を反映した分散表現を生成可能とする。

また、生成部１３３は、ランダムに抽出された一対の検索クエリの分散表現が相違するように学習することで、複数の検索クエリが有する特徴を学習した学習モデルを用いて、分散表現を生成する。

これにより、情報処理装置１００は、対象情報である文字情報が検索クエリとし手入力された検索意図を反映した分散表現を生成可能とする。

〔１１．ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置１００または生成装置５０または端末装置１０は、例えば図１８に示すような構成のコンピュータ１０００によって実現される。図１８は、情報処理装置１００または生成装置５０または端末装置１０の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が情報処理装置１００または生成装置５０または端末装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０または制御部５２または制御部１５の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

〔１２．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、生成部は、生成手段や生成回路に読み替えることができる。

１ 情報処理システム
１０ 端末装置
２０ 検索サーバ
５０ 生成装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ クエリ情報記憶部
１２２ ベクトル情報記憶部
１２３ クラスタ情報記憶部
１２４ モデル情報記憶部
１３０ 制御部
１３１ 受付部
１３２ 取得部
１３３ 生成部
１３４ 出力部

Claims (14)

1. クラスタ数を入力可能な第１入力フィールドと、複数の対象情報を入力可能な第２入力フィールドと、前記第１入力フィールドおよび前記第２入力フィールドに入力された情報を情報処理装置に送信する送信ボタンとを含む第１部分コンテンツを利用者の端末装置に配信し、所定の事業者が取り扱う商品又はサービス及び前記所定の事業者と競合する競合事業者が取り扱う商品又はサービスである分類対象を示す複数の対象情報であって、前記第２入力フィールドに入力された複数の対象情報と、前記複数の対象情報をクラスタに分類する際のクラスタ数である指定クラスタ数であって、前記第１入力フィールドに入力された指定クラスタ数を前記所定の事業者の担当者から受け付ける受付部と、
   前記複数の対象情報に含まれる一の対象情報が検索クエリとして入力された際の検索意図と、当該複数の対象情報に含まれる他の対象情報が検索クエリとして入力された際の検索意図との類似性に基づいて、前記複数の対象情報を前記指定クラスタ数のクラスタに分類することにより生成したクラスタに関する指定クラスタ情報を生成する生成部と、
   前記生成部によって生成された指定クラスタ情報を各クラスタに対応する複数の表示領域それぞれに表示する出力部と、
   を備えることを特徴とする情報処理装置。
2. 前記生成部は、
   前記複数の対象情報に含まれる一の対象情報である文字情報に対応する分散表現と、当該複数の対象情報に含まれる他の対象情報である文字情報に対応する分散表現との類似度に基づいて、前記指定クラスタ情報を生成する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記生成部は、
   前記指定クラスタ情報として、クラスタごとに、当該クラスタに分類される対象情報を視認可能な情報を生成する
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記生成部は、
   前記複数の対象情報を前記指定クラスタ数よりも少ない数のクラスタに分類することにより生成したクラスタに関するクラスタ情報を生成し、
   前記出力部は、
   前記生成部によって生成されたクラスタ情報を前記指定クラスタ情報と比較可能に出力する
   ことを特徴とする請求項１～３のいずれか一つに記載の情報処理装置。
5. 前記生成部は、
   前記複数の対象情報に含まれる一の対象情報が検索クエリとして入力された際の検索意図と、当該複数の対象情報に含まれる他の対象情報が検索クエリとして入力された際の検索意図との類似性に基づいて、前記複数の対象情報を前記指定クラスタ数のクラスタに分類する
   ことを特徴とする請求項１～４のいずれか一つに記載の情報処理装置。
6. 前記生成部は、
   前記複数の対象情報に含まれる一の対象情報である文字情報に対応する分散表現と、当該複数の対象情報に含まれる他の対象情報である文字情報に対応する分散表現との類似度に基づいて、前記複数の対象情報を前記指定クラスタ数のクラスタに分類する
   ことを特徴とする請求項１～５のいずれか一つに記載の情報処理装置。
7. 前記生成部は、
   同一のユーザによって所定の時間内に入力された複数の検索クエリが類似する特徴を有するものとして、前記複数の検索クエリが有する特徴を学習した学習モデルを用いて、前記複数の対象情報に含まれるそれぞれの対象情報である文字情報に対応する分散表現を生成する
   ことを特徴とする請求項１～６のいずれか一つに記載の情報処理装置。
8. 前記生成部は、
   入力情報として所定の検索クエリが入力された際に、出力情報として前記所定の検索クエリの分散表現を出力する学習モデルを用いて、前記分散表現を生成する
   ことを特徴とする請求項７に記載の情報処理装置。
9. 前記生成部は、
   前記所定の時間内に続けて入力された一対の検索クエリの分散表現が類似するように学習することで、前記複数の検索クエリが有する特徴を学習した学習モデルを用いて、前記分散表現を生成する
   ことを特徴とする請求項７または８に記載の情報処理装置。
10. 前記生成部は、
    同一のユーザによって所定の時間内に入力された複数の検索クエリとして、所定の区切り文字で区切られた文字列を含む複数の検索クエリが類似する特徴を有するものとして学習することで、前記複数の検索クエリが有する特徴を学習した学習モデルを用いて、前記分散表現を生成する
    ことを特徴とする請求項７～９のいずれか一つに記載の情報処理装置。
11. 前記生成部は、
    ランダムに抽出された複数の検索クエリが相違する特徴を有するものとして学習することで、前記複数の検索クエリが有する特徴を学習した学習モデルを用いて、前記分散表現を生成する
    ことを特徴とする請求項７～１０のいずれか一つに記載の情報処理装置。
12. 前記生成部は、
    ランダムに抽出された一対の検索クエリの分散表現が相違するように学習することで、前記複数の検索クエリが有する特徴を学習した学習モデルを用いて、前記分散表現を生成する
    ことを特徴とする請求項７～１１のいずれか一つに記載の情報処理装置。
13. コンピュータが実行する情報処理方法であって、
    クラスタ数を入力可能な第１入力フィールドと、複数の対象情報を入力可能な第２入力フィールドと、前記第１入力フィールドおよび前記第２入力フィールドに入力された情報を情報処理装置に送信する送信ボタンとを含む第１部分コンテンツを利用者の端末装置に配信し、所定の事業者が取り扱う商品又はサービス及び前記所定の事業者と競合する競合事業者が取り扱う商品又はサービスである分類対象を示す複数の対象情報であって、前記第２入力フィールドに入力された複数の対象情報と、前記複数の対象情報をクラスタに分類する際のクラスタ数である指定クラスタ数であって、前記第１入力フィールドに入力された指定クラスタ数を前記所定の事業者の担当者から受け付ける受付工程と、
    前記複数の対象情報に含まれる一の対象情報が検索クエリとして入力された際の検索意図と、当該複数の対象情報に含まれる他の対象情報が検索クエリとして入力された際の検索意図との類似性に基づいて、前記複数の対象情報を前記指定クラスタ数のクラスタに分類することにより生成したクラスタに関する指定クラスタ情報を生成する生成工程と、
    前記生成工程によって生成された指定クラスタ情報を各クラスタに対応する複数の表示領域それぞれに表示する出力工程と、
    を含むことを特徴とする情報処理方法。
14. クラスタ数を入力可能な第１入力フィールドと、複数の対象情報を入力可能な第２入力フィールドと、前記第１入力フィールドおよび前記第２入力フィールドに入力された情報を情報処理装置に送信する送信ボタンとを含む第１部分コンテンツを利用者の端末装置に配信し、所定の事業者が取り扱う商品又はサービス及び前記所定の事業者と競合する競合事業者が取り扱う商品又はサービスである分類対象を示す複数の対象情報であって、前記第２入力フィールドに入力された複数の対象情報と、前記複数の対象情報をクラスタに分類する際のクラスタ数である指定クラスタ数であって、前記第１入力フィールドに入力された指定クラスタ数を前記所定の事業者の担当者から受け付ける受付手順と、
    前記複数の対象情報に含まれる一の対象情報が検索クエリとして入力された際の検索意図と、当該複数の対象情報に含まれる他の対象情報が検索クエリとして入力された際の検索意図との類似性に基づいて、前記複数の対象情報を前記指定クラスタ数のクラスタに分類することにより生成したクラスタに関する指定クラスタ情報を生成する生成手順と、
    前記生成手順によって生成された指定クラスタ情報を各クラスタに対応する複数の表示領域それぞれに表示する出力手順と、
    をコンピュータに実行させることを特徴とする情報処理プログラム。

Images