JP6890764B2 - 教師データ生成システム、教師データ生成方法、及びプログラム - Google Patents

Description

本発明は、教師データ生成システム、教師データ生成方法、及びプログラムに関する。

従来、ウェブサイトにおけるユーザの行動履歴等を解析する技術が知られている。例えば、特許文献１には、ウェブサイトにおけるユーザの画面遷移に基づいて、会員登録画面等のコンバージョン画面に効率的に到達できる優良画面遷移経路を特定し、コンバージョン画面への到達を阻害する画面やコンバージョンを低下させる画面等を検出するシステムが記載されている。

特開２０１１−０２２７９９号公報

上記のような技術では、教師データを学習させた学習モデルを利用して、ユーザの行動履歴等を解析することが検討されている。例えば、特許文献１のシステムにおいて、学習モデルを利用して優良画面遷移経路を特定する場合、学習モデルを学習させるために、ユーザの画面遷移が優良画面遷移経路であったか否かを示すラベルを付与して教師データを生成する必要がある。

しかしながら、コンバージョン画面に到達する画面遷移パターンは多数存在するので、ラベルの付与ルールを用意して自動的に教師データを生成しようとしても、画面遷移パターンを網羅するような付与ルールを用意することは困難である。一方、人手でラベルを付与して教師データを生成しようとすると、非常に手間がかかり効率的ではない。

本発明は上記課題に鑑みてなされたものであって、その目的は、教師データの生成を効率化することが可能な教師データ生成システム、教師データ生成方法、及びプログラムを提供することである。

上記課題を解決するために、本発明に係る教師データ生成システムは、複数の分類対象の各々をクラスタリングするクラスタリング手段と、解析者に、クラスタに属する一部の前記分類対象の内容を提示する提示手段と、前記クラスタに、前記解析者により指定されたラベルを付与する付与手段と、前記ラベルに基づいて、学習モデルに学習させる教師データを生成する生成手段と、を含むことを特徴とする。

本発明に係る教師データ生成方法は、複数の分類対象の各々をクラスタリングするクラスタリングステップと、解析者に、クラスタに属する一部の前記分類対象の内容を提示する提示ステップと、前記クラスタに、前記解析者により指定されたラベルを付与する付与ステップと、前記ラベルに基づいて、学習モデルに学習させる教師データを生成する生成ステップと、を含むことを特徴とする。

本発明に係るプログラムは、複数の分類対象の各々をクラスタリングするクラスタリング手段、解析者に、クラスタに属する一部の前記分類対象の内容を提示する提示手段、前記クラスタに、前記解析者により指定されたラベルを付与する付与手段、前記ラベルに基づいて、学習モデルに学習させる教師データを生成する生成手段、としてコンピュータを機能させる。

また、本発明の一態様では、前記提示手段は、複数の前記クラスタのうち、前記解析者により指定されたクラスタに属する一部の前記分類対象の内容を提示し、前記付与手段は、前記解析者により指定されたクラスタに、前記ラベルを付与する、ことを特徴とする。

また、本発明の一態様では、前記提示手段は、前記複数の分類対象のうち、前記解析者により指定された分類対象の内容を提示し、前記付与手段は、前記解析者により指定された分類対象が属するクラスタに、前記ラベルを付与する、ことを特徴とする。

また、本発明の一態様では、前記付与手段は、前記解析者により、一のクラスタと他のクラスタとの各々に同じ前記ラベルが指定された場合には、前記一のクラスタと前記他のクラスタとの各々に前記同じラベルを付与する、ことを特徴とする。

また、本発明の一態様では、前記教師データ生成システムは、各分類対象に、前記ラベルとは異なる第２のラベルを付与する第２付与手段を更に含み、前記提示手段は、前記解析者により指定された前記第２のラベルに基づいてクラスタを選択し、当該選択したクラスタに属する一部の前記分類対象の内容を提示する、ことを特徴とする。

また、本発明の一態様では、前記教師データ生成システムは、各分類対象に、前記ラベルとは異なる第２のラベルを付与する第２付与手段を更に含み、前記提示手段は、前記解析者に、前記一部の分類対象に付与された前記第２のラベルを更に提示する、ことを特徴とする。

また、本発明の一態様では、前記教師データ生成システムは、前記解析者の操作に基づいて、前記一部の分類対象に付与された前記第２のラベルを変更する変更手段、を更に含むことを特徴とする。

また、本発明の一態様では、前記第２付与手段は、所定の条件に基づいて、各分類対象に前記第２のラベルを付与し、前記教師データ生成システムは、各分類対象に付与された前記第２のラベルに基づいて、第２の学習モデルに学習させる第２の教師データを生成する第２生成手段を更に含む、ことを特徴とする。

また、本発明の一態様では、前記分類対象は、過去に行われたユーザの行動履歴であり、前記ラベルは、特定の行動が行われたか否かを示すラベルである、ことを特徴とする。

また、本発明の一態様では、前記行動履歴は、前記ユーザによる画面遷移と、前記ユーザによる入力の履歴と、の少なくとも一方を含み、前記特定の行動は、所定の画面に到達することなく、画面遷移及び入力の少なくとも一方が繰り返されることである、ことを特徴とする。

本発明によれば、教師データの生成を効率化することができる。

教師データ生成システムの全体構成を示す図である。 サーバが提供するウェブサイトの構成例を示す図である。 クラスタリングの一例を示す図である。 ラベル付与画面の一例を示す図である。 解析者がクラスタを選択した場合のラベル付与画面の一例を示す図である。 行動履歴の内容がラベル付与画面に表示される様子を示す図である。 クラスタにストラグルラベルが付与された場合のラベル付与画面の一例を示す図である。 教師データ生成システムで実現される機能の一例を示す機能ブロック図である。 行動履歴データのデータ格納例を示す図である。 ドメインナレッジデータのデータ格納例を示す図である。 教師データセットのデータ格納例を示す図である。 教師データ生成システムで実行される処理の一例を示すフロー図である。 教師データ生成システムで実行される処理の一例を示すフロー図である。 変形例の機能ブロック図である。

［１．教師データ生成システムの全体構成］
以下、本発明に関わる教師データ生成システムの実施形態の例を説明する。図１は、教師データ生成システムの全体構成を示す図である。図１に示すように、教師データ生成システムＳは、サーバ１０、ユーザ端末２０、及び解析者端末３０を含み、これらはインターネット等のネットワークＮに接続される。なお、図１では、サーバ１０、ユーザ端末２０、及び解析者端末３０を１台ずつ示しているが、これらは複数台あってもよい。

サーバ１０は、サーバコンピュータであり、例えば、制御部１１、記憶部１２、及び通信部１３を含む。制御部１１は、少なくとも１つのプロセッサを含む。制御部１１は、記憶部１２に記憶されたプログラムやデータに従って処理を実行する。記憶部１２は、主記憶部及び補助記憶部を含む。例えば、主記憶部はＲＡＭなどの揮発性メモリであり、補助記憶部は、ハードディスクやフラッシュメモリなどの不揮発性メモリである。通信部１３は、有線通信又は無線通信用の通信インタフェースを含み、例えば、ネットワークＮを介してデータ通信を行う。

ユーザ端末２０は、ユーザが操作するコンピュータであり、例えば、パーソナルコンピュータ、携帯情報端末（タブレット型コンピュータを含む）、又は携帯電話機（スマートフォンを含む）等である。ユーザは、サーバ１０が提供するサービスの利用者であり、例えば、ウェブサイトの閲覧者である。ユーザは、エンドユーザということもできる。

ユーザ端末２０は、制御部２１、記憶部２２、通信部２３、操作部２４、及び表示部２５を含む。制御部２１、記憶部２２、及び通信部２３のハードウェア構成は、それぞれ制御部１１、記憶部１２、及び通信部１３と同様であってよい。操作部２４は、ユーザが操作を行うための入力デバイスであり、例えば、タッチパネルやマウス等のポインティングデバイスやキーボード等である。操作部２４は、ユーザの操作内容を制御部２１に伝達する。表示部２５は、例えば、液晶表示部又は有機ＥＬ表示部等である。

解析者端末３０は、解析者が操作するコンピュータであり、例えば、パーソナルコンピュータ、携帯情報端末、又は携帯電話機等である。解析者は、ユーザの行動等の解析を担当する担当者であり、例えば、サービスの提供会社におけるデータサイエンティストである。

解析者端末３０は、制御部３１、記憶部３２、通信部３３、操作部３４、及び表示部３５を含む。制御部３１、記憶部３２、通信部３３、操作部３４、及び表示部３５のハードウェア構成は、それぞれ制御部１１、記憶部１２、通信部１３、操作部２４、及び表示部２５と同様であってよい。

なお、記憶部１２，２２，３２に記憶されるものとして説明するプログラム及びデータは、ネットワークを介してこれらに供給されるようにしてもよい。また、サーバ１０、ユーザ端末２０、及び解析者端末３０のハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、サーバ１０、ユーザ端末２０、及び解析者端末３０の各々は、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）や外部機器と直接的に接続するための入出力部（例えば、ＵＳＢ端子）を含んでもよい。この場合、情報記憶媒体に記憶されたプログラムやデータが読取部又は入出力部を介して、サーバ１０、ユーザ端末２０、及び解析者端末３０の各々に供給されるようにしてもよい。

［２．教師データ生成システムの概要］
まず、教師データ生成システムＳの概要を説明する。教師データ生成システムＳは、複数の分類対象の各々にラベルを付与し、学習モデルに学習させる教師データを生成する。

分類対象とは、分類の対象となるデータ（情報）である。別の言い方をすれば、分類対象は、ラベルが付与されるデータである。分類対象は、解析者によってラベルが付与されて教師データの一部となることもあるし、学習モデルに入力されてラベルが付与されることもある。分類対象は、任意の形式のデータであってよく、例えば、ユーザの行動履歴、カメラで撮影された画像、ニュース記事や論説などの文章、音楽や動画などのコンテンツ、又はウェブサイトなどのデータであってもよい。

ラベルとは、分類を一意に識別する識別子である。ラベルは、属性、種類、カテゴリ、又はクラスと呼ばれることもある。本実施形態では、ラベルは、後述するクラスタとは異なる。ラベルは、ラベル名を示す文字列で表現されてもよいし、ラベルを一意に識別するＩＤで表現されてもよい。ラベルは、所定の分類に属するか否かを示す２値的な情報であってもよいし、複数の分類のうちの何れに属するかを示す情報であってもよい。

学習モデルとは、機械学習を利用したモデルである。学習モデルは、ＡＩ（Artificial Intelligence）、分類器、又は分類学習器と呼ばれることもある。学習モデルは、任意の処理を実行可能であり、例えば、人間の行動解析、画像認識、文字認識、音声認識、又は自然界の現象の認識を行う。機械学習自体は、公知の種々の手法を利用可能であり、例えば、ニューラルネットワーク、強化学習、又は深層学習といった手法を利用可能である。機械学習は、教師有り学習が用いられてもよいし、半教師有り学習が用いられてもよい。

教師データとは、学習モデルに学習させるデータである。教師データは、学習データ又は訓練データと呼ばれることもある。例えば、教師データは、学習モデルに対する入力（設問）と、学習モデルの出力（回答）と、のペアである。例えば、教師データは、学習モデルに入力される入力データ（未知の分類対象）と同じ形式のデータ（ラベル付与済みの分類対象）と、当該データに付与されたラベルと、がペアになったデータである。

なお、機械学習では、複数の教師データを利用して学習が行われるので、本実施形態では、複数の教師データの集まりを教師データセットと記載し、教師データセットに含まれる個々のデータを教師データと記載する。即ち、教師データと記載した箇所は、上記説明したペアを意味し、教師データセットは、ペアの集まりを意味する。

本実施形態では、サーバ１０が提供するウェブサイトにおけるユーザの行動を解析する場面を例に挙げて、教師データ生成システムＳの処理を説明する。このため、本実施形態では、ユーザの行動履歴が分類対象に相当する。例えば、行動履歴には、ウェブサイトにおけるユーザの画面遷移と、画面におけるユーザの入力と、が含まれる。

図２は、サーバ１０が提供するウェブサイトの構成例を示す図である。本実施形態では、ウェブサイトの一例として、ゴルフ場の予約を受け付けるウェブサイトを説明する。図２に示すように、例えば、トップページＡ、検索フォームページＢ、検索結果ページＣ、コース詳細ページＤ、予約ステップ１ページＥ、予約ステップ２ページＦ、及び予約完了ページＧの順番に画面遷移すると、ゴルフ場の予約が完了する。

トップページＡは、ゴルフ場の予約サービスの入り口となる最上位のページである。ウェブサイトがツリー構造（階層構造）を有していたとすると、トップページＡは、根ノードに相当する。検索フォームページＢは、ゴルフ場の検索条件（クエリ）を入力するためのページである。検索フォームページＢには、ゴルフ場のエリア、プレイ開始日時、又はプレイ人数といった検索条件を入力するための入力フォームが表示される。

検索結果ページＣは、検索条件にヒットしたゴルフ場の一覧が表示されるページである。コース詳細ページＤは、ゴルフ場におけるコースの詳細を示すページである。例えば、検索結果ページＣの中から選択されたゴルフ場のコース詳細ページＤが表示される。図２の例では、コース詳細ページＤを１つだけ示しているが、サーバ１０が予約を受付可能なコースの数だけコース詳細ページＤが存在する。このため、ユーザは、表示させたコース詳細ページＤのゴルフ場が気に入らなければ、検索結果ページＣに戻り、他のゴルフ場のコース詳細ページＤを表示させることができる。

予約ステップ１ページＥ及び予約ステップ２ページＦの各々は、ゴルフ場の予約に必要な情報を入力するためのページである。例えば、予約ステップ１ページＥは、プレイ開始時間及びプレイ人数等を入力するための入力フォームが表示される。また例えば、予約ステップ２ページＦは、予約者の氏名、住所、電話番号、メールアドレス、及び他のプレイヤの氏名等を入力するための入力フォームが表示される。

本実施形態では、予約ステップ１ページＥにおける全ての入力フォームを入力しなければ、予約ステップ２ページＦには進めないようになっている。例えば、予約ステップ１ページＥで未入力の情報があると、予約ステップ２ページＦに進むためのボタンが選択されたとしても、予約ステップ２ページＦに進むことはできない。この場合、予約ステップ１ページＥが再び表示され、未入力の情報がある旨を示すエラーメッセージが所定の位置に表示される。

予約完了ページＧは、ゴルフ場の予約が完了したことを示すページである。本実施形態では、予約ステップ２ページＦの全ての入力フォームを入力しなければ、予約完了ページＧには進めないようになっている。このため、予約ステップ１ページＦと同様、予約ステップ２ページＦで未入力の情報があると、予約完了ページＧに進むことができず、エラーメッセージが表示される。

なお、ユーザは、必ずしも上記の順番で画面遷移する必要はなく、任意の順番で画面遷移することができる。例えば、ユーザがコース詳細ページＤのリンクをブックマークしている場合には、トップページＡ、検索フォームページＢ、及び検索結果ページＣが表示されることなく、最初からコース詳細ページＤが表示されるようにしてもよい。また例えば、ユーザは、検索結果ページＣとコース詳細ページＤの間を行き来して所望のゴルフ場を見つけることもできるし、予約完了ページＧからトップページＡに戻ることもできる。

本実施形態では、サーバ１０は、過去にアクセスした多数のユーザの行動履歴を収集して蓄積している。図２の例では、ユーザＵ１の行動履歴は、トップページＡ、検索フォームページＢ、検索結果ページＣ、検索フォームページＢ、検索結果ページＣ、コース詳細ページＤ、予約ステップ１ページＥ、予約ステップ２ページＦ、予約完了ページＧ、トップページＡの順で画面遷移したことを示している。ユーザＵ１は、検索フォームページＢと検索結果ページＣの間を行き来したが、予約完了ページＧまでたどり着いているので、ゴルフ場の予約を終えている。本実施形態では、予約完了ページＧが表示されると、ゴルフ場の予約サービスの目的が達成されるので、予約完了ページＧが表示されたことは、いわゆるコンバージョンされたことを意味する。

また、ユーザＵ２は、コース詳細ページＤ、予約ステップ１ページＥ、予約ステップ２ページＦ、予約ステップ２ページＦ、予約ステップ１ページＥ、予約ステップ２ページＦ、予約完了ページＧの順で画面遷移している。予約ステップ２ページＦが２回連続しているのは、予約ステップ２ページＦで未入力の情報があり、予約完了ページＧに進めなかったからである。また、予約ステップ２ページＦから予約ステップ１ページＥに戻っているのは、ユーザＵ２が予約ステップ１ページＥの入力内容を確認して修正したからである。ユーザＵ２についても、多少の支障はあったものの予約完了ページＧまでたどり着いているので、コンバージョンされたことになる。

ユーザＵ３は、トップページＡ、検索フォームページＢ、検索結果ページＣ、コース詳細ページＤ、予約ステップ１ページＥ、予約ステップ２ページＦ、予約ステップ２ページＦ、予約ステップ２ページＦの順で画面遷移している。予約ステップ２ページＦが３回連続しているのは、予約ステップ２ページＦで未入力の情報があり、予約完了ページＧに進めなかったからである。

例えば、ユーザＵ３は、予約ステップ２ページＦのレイアウトの問題により、エラーメッセージに気付くことができず、途中で入力するのが嫌になってしまいウェブサイトから離脱したものとする。このため、ユーザＵ３は、ゴルフ場を予約する意思があったものの、予約完了ページＧまでたどり着くことができなかったと推測される。以降、この状態（予約ステップ１ページＥ又は予約ステップ２ページＦまでは表示させたが、予約完了ページＧにたどり着かなった状態）を「放棄」という。

ユーザＵ４は、トップページＡ、検索フォームページＢ、検索結果ページＣ、コース詳細ページＤ、検索フォームページＢ、検索結果ページＣ、検索結果ページＣの順で画面遷移している。ユーザＵ４は、コース詳細ページＤまでは表示させたものの、予約ステップ１ページＥは表示させなかったので、ゴルフ場を予約する意思が無く、単にウェブサイトを閲覧していただけと推測される。以降、この状態（トップページＡ、検索フォームページＢ、検索結果ページＣ、及びコース詳細ページＤの少なくとも１つは表示させたものの予約ステップ１ページＥまでたどり着かなった状態）を「意志無し」という。

本実施形態では、上記のように、複数のページを行き来したり、同じページを何度も表示させたりする行動を、ストラグル行動という。ストラグル行動は、コンバージョンしたもののすんなりとはコンバージョンできなかった行動、又は、コンバージョンの意志があったもののコンバージョンできなかった行動である。別の言い方をすれば、ストラグル行動は、コンバージョンのための支障が発生したことを示す行動である。ストラグル行動は、ユーザの迷いが表れた行動ということもできる。

図２の例であれば、予約完了ページＧにたどり着くまでに、複数の画面を行き来することなく、かつ、同じ画面を何度も表示させなかった場合には、最短の経路でコンバージョンしたことになる。ストラグル行動は、コンバージョンに至るまでに最短の経路とはならなかった行動ということができる。ストラグル行動が発生すると、コンバージョンに至るまでに無駄な行動が発生したことになる。

例えば、予約ステップ１ページＥ又は予約ステップ２ページＦにおけるエラーメッセージが分かりにくい場所（例えば、スクロールしなければ表示されない場所）に表示されると、ユーザＵ３のように、未入力の情報があることに気付かずにストラグル行動が発生し、途中で嫌になって離脱してしまう。このため、本実施形態では、ウェブサイトのレイアウトの問題を検出するために、各ユーザの行動履歴を学習モデルによって解析してストラグル行動を検出するようにしている。

なお、ストラグル行動は、任意の目的で検出されてよく、レイアウトの問題を検出する目的に限られない。例えば、コンバージョンにたどり着くための最短の経路を特定するために、ストラグル行動が検出されてもよい。また例えば、ストラグル行動が検出されたユーザの手助けをするために、オペレータがチャットで話しかけるようにしてもよいし、ストラグル行動に応じたガイドメッセージを表示させるようにしてもよい。他にも例えば、同じ内容のウェブサイトに複数のレイアウトを用意しておき、ストラグル行動が検出されたユーザに、別のレイアウトのウェブサイトが提示されるようにしてもよい。

教師データ生成システムＳは、ストラグル行動を検出する学習モデルの教師データを生成する。教師データは、過去にアクセスを受け付けたユーザの行動履歴と、ストラグル行動であるか否かを示すラベル（以降、ストラグルラベルという。）と、のペアとなる。この点、ストラグル行動の検出ルールを予め用意しておき、検出ルールを利用してストラグルラベルを自動的に付与し、教師データを生成することが考えられる。

しかしながら、ウェブサイトの構造が複雑になるほど、ストラグル行動に該当する行動パターンは増加する。このため、全ての行動パターンを網羅する検出ルールを用意するのは現実的ではなく、行動パターンを利用して教師データを自動生成するのは非常に困難である。一方、サーバ１０に蓄積された全ての行動履歴に人手でストラグルラベルを付与し、教師データを生成しようとしても、非常に手間がかかり効率的ではない。

そこで、教師データ生成システムＳは、効率良く教師データを生成するために、下記の４つの手順を実行する。
（手順１）似た内容の行動履歴が同じクラスタに属するように、行動履歴をクラスタリングする。
（手順２）解析者に、クラスタに属する一部の行動履歴の内容を提示してストラグルラベルを指定させる。
（手順３）クラスタに、解析者が指定したストラグルラベルを付与する。
（手順４）クラスタのストラグルラベルに基づいて教師データを生成する。

図３は、クラスタリングの一例を示す図である。図３に示すように、教師データ生成システムＳは、手順１において、サーバ１０に蓄積された行動履歴を特徴量化し、クラスタリングを行う。図３の例では、各行動履歴の特徴量を点で示しており、クラスタＣ１〜Ｃ１０の１０個のクラスタが存在する。なお、クラスタの数は、上限値が定められていてもよいし、特に上限値が定められていなくてもよい。

例えば、特徴量を多次元ベクトルで表現したとすると、ベクトル空間上の距離が近いことは、行動履歴の内容が似ていることを意味する。このため、互いに距離が近い行動履歴が同じクラスタに属するように、クラスタリングが実行される。手順１におけるクラスタリングが行われると、手順２に移り、ストラグルラベルを付与するためのラベル付与画面が解析者端末３０に表示される。

図４は、ラベル付与画面の一例を示す図である。図４に示すように、ラベル付与画面Ｈには、クラスタＣ１〜Ｃ１０の各々の名前、ストラグルラベルを付与するためのボタンＢ１〜Ｂ３、及びストラグルラベルの付与を終了するためのボタンＢ４が表示される。本実施形態では、ストラグルラベルとして、ストラグル行動であることを示す「Ｓ」、ストラグル行動ではないことを示す「ＮＳ」、及び解析対象外であることを示す「ＮＡ」の３種類が用意されているものとする。

解析者は、各クラスタに対応するボタンＢ１〜Ｂ３の何れかを選択し、ストラグルラベルを付与することになる。クラスタにストラグルラベルが付与されると、ラベル付与画面Ｈには、その情報が表示される。図４の例では、どのクラスタにもストラグルラベルが付与されておらず、全てのクラスタが「未分類」となっている。例えば、解析者がクラスタＣ１を選択すると、クラスタＣ１に属する行動履歴の一覧が表示される。

図５は、解析者がクラスタＣ１を選択した場合のラベル付与画面Ｈの一例を示す図である。図５に示すように、解析者が選択したクラスタＣ１に属する行動履歴を示す行動履歴画像Ｉ１〜Ｉ１５が表示される。なお、図５では、クラスタＣ１に属する１５個の行動履歴を示しているが、ラベル付与画面Ｈには、クラスタＣ１に属する全ての行動履歴の一覧が表示されるものとする。図５の例では、行動履歴画像Ｉ１〜Ｉ１５の各々は、４つのアイコンを含み、一番左のアイコンは、クラスタＣ１に属する行動履歴に連番で付与された番号を示している。

左から２番目のアイコンは、コンバージョンされたか否かを示すラベル（以降、コンバージョンラベルという。）を示している。本実施形態では、コンバージョンされたことを示す「Ｃ」、放棄されたことを示す「Ａ」、又は意志無しであることを示す「Ｎ」の３種類のコンバージョンラベルが用意されている。図２の例であれば、ユーザＵ１，Ｕ２は「Ｃ」となり、ユーザＵ３は「Ａ」となり、ユーザＵ４は「Ｎ」となる。

なお、コンバージョンラベルが異なっていたとしても、セッションが切断されるまでの行動が全体的に似ていれば、特徴量の距離は短くなる。このため、コンバージョンラベルが互いに異なる行動履歴が同じクラスタに属することもある。コンバージョンラベルは、解析者によって付与されてもよいが、本実施形態では、コンバージョンラベルを自動的に付与するためのドメインナレッジが用意されている。ドメインナレッジの詳細は後述する。

左から３番目のアイコンは、ユーザ端末２０の種類を示す情報である。本実施形態では、サーバ１０が提供するウェブサイトは、デスクトップ用のレイアウト、スマートフォン用のレイアウト、及びタブレット用のレイアウトが存在し、ユーザ端末２０は、デスクトップ、スマートフォン、又はタブレットの何れかに分類される。一番右のアイコンは、行動履歴の内容を確認するためのアイコンである。解析者は、行動履歴画像Ｉ１〜Ｉ１５の中から、任意のアイコンを選択して行動履歴の内容を確認する。

図６は、行動履歴の内容がラベル付与画面Ｈに表示される様子を示す図である。図６に示すように、クラスタＣ１に属する任意の行動履歴が選択されると、当該選択された行動履歴の内容がラベル付与画面Ｈに表示される。例えば、ラベル付与画面Ｈには、セッションが確立されてから切断されるまでの間における画面遷移とユーザの入力内容が時系列的に表示される。

解析者は、行動履歴の内容を確認し、ストラグル行動に該当するか否かを判定する。解析者は、表示中の行動履歴だけでは判断できない場合、図５のラベル付与画面Ｈに戻り、他の行動履歴を選択するようにしてもよい。解析者がボタンＢ１〜Ｂ３の何れかを選択すると、クラスタＣ１にストラグルラベルが付与される。例えば、図６の状態で解析者がボタンＢ１を選択すると、クラスタＣ１に「Ｓ」のストラグルラベルが付与される。

図７は、クラスタＣ１にストラグルラベルが付与された場合のラベル付与画面の一例を示す図である。図７に示すように、クラスタＣ１には「Ｓ」のストラグルラベルが付与されたので、クラスタＣ１の横に「Ｓ」の名前が表示される。クラスタＣ１に属する全ての行動履歴は、ストラグル行動に分類されたことになる。

以降同様にして、解析者は、クラスタＣ２〜Ｃ１０についても、一部の行動履歴の内容を確認してストラグルラベルを付与し、手順３が繰り返される。解析者が全てのクラスタにストラグルラベルを付与し、ボタンＢ４を選択すると、手順４が実行され、教師データ生成システムＳは、各クラスタに属する行動履歴とストラグルラベルのペアを教師データとして生成する。教師データは、任意のタイミングで学習モデルに学習される。学習済みの学習モデルは、新たなユーザのアクセスを受け付けるたびに、当該ユーザの行動がストラグル行動であるか否かを分類するために使用される。

以上のように、教師データ生成システムＳは、サーバ１０に蓄積された行動履歴をクラスタリングし、クラスタに属する一部の行動履歴の内容をラベル付与画面Ｈに表示する。教師データ生成システムＳは、各クラスタに、解析者が指定したストラグルラベルを付与し、教師データを生成することによって、教師データの生成を効率化するようにしている。以降、教師データ生成システムＳの詳細を説明する。

［３．本実施形態において実現される機能］
図８は、教師データ生成システムＳで実現される機能の一例を示す機能ブロック図である。図８に示すように、本実施形態では、データ記憶部１００、コンバージョンラベル付与部１０１、クラスタリング部１０２、提示部１０３、ストラグルラベル付与部１０４、生成部１０５、学習部１０６、及び処理実行部１０７が、サーバ１０で実現される場合を説明する。

［３−１．データ記憶部］
データ記憶部１００は、記憶部１２を主として実現される。データ記憶部１００は、本実施形態で説明する処理を実行するために必要なデータを記憶する。例えば、データ記憶部１００は、行動履歴データＤ１、ドメインナレッジデータＤ２、及び教師データセットＤＳを記憶する。

図９は、行動履歴データＤ１のデータ格納例を示す図である。図９に示すように、行動履歴データＤ１は、複数のユーザの各々の行動履歴を示すデータである。行動履歴データＤ１には、過去の全ての期間における行動履歴が格納されていてもよいし、一部の期間における行動履歴が格納されていてもよい。また、行動履歴データＤ１には、全てのユーザの行動履歴が格納されていてもよいし、一部のユーザの行動履歴だけが格納されていてもよい。また、行動履歴データＤ１には他の情報が格納されていてもよく、例えば、ユーザ端末２０の種類を示す情報が格納されていてもよい。

例えば、行動履歴データＤ１には、行動履歴を一意に識別する行動履歴ＩＤ、行動履歴の内容、行動履歴の特徴量、行動履歴が属するクラスタに関する情報（例えば、クラスタを一意に識別するクラスタＩＤとクラスタ内における番号）、ストラグルラベル付与部１０４により付与されたストラグルラベル、及びコンバージョンラベル付与部１０１により付与されたコンバージョンラベルが格納される。なお、クラスタリングが実行される前は、クラスタに関する情報は格納されず、ラベルが付与される前は、ストラグルラベルとコンバージョンラベルは格納されない。

例えば、行動履歴には、ユーザの行動が時系列的に示されている。行動とは、ユーザの挙動であり、ユーザ端末２０が実行した処理のログということもできる。図９の例では、行動履歴として、ユーザを一意に識別するユーザＩＤ、行動履歴の内容、及び行動が行われた時間が格納される。例えば、行動履歴は、ユーザによる画面遷移と、ユーザによる入力の履歴と、の少なくとも一方を含む。本実施形態では、これらの両方が行動履歴に含まれている場合を説明するが、何れか一方のみが行動履歴に含まれていてもよい。

画面遷移は、ユーザ端末２０に表示された画面の時系列的な変化である。画面遷移は、閲覧履歴ということもできる。画面遷移は、ユーザ端末２０に表示された画面の履歴ということもできる。本実施形態では、ＵＲＬによって画面が識別される場合を説明するが、画面ＩＤ等の任意の情報によって画面が識別されてよい。

ユーザによる入力は、各画面に対するユーザの入力である。ユーザによる入力は、操作部２４からの操作履歴ということもできる。例えば、入力は、入力フォームに対する入力、ラジオボタン等のボタンに対する入力、画面に表示されたリンクの選択、ドラムロールＵＩに対する入力、又は画面におけるスクロール等である。

例えば、サーバ１０は、ユーザのアクセスを受け付けると、行動履歴データＤ１に新たなレコードを生成し、ユーザＩＤとともに行動履歴の内容及び現在の時間を格納する。本実施形態では、サーバ１０は、ユーザ端末２０とのセッションが確立されてから切断されるまでの一連の行動を時系列的に記録し、行動履歴として格納する。例えば、サーバ１０は、ユーザ端末２０に表示させる画面が変わるたびに、画面のＵＲＬを記録する。また例えば、サーバ１０は、ユーザ端末２０から入力フォームに対する入力等の操作を受信するたびに、ユーザの操作内容を記録する。

図１０は、ドメインナレッジデータＤ２のデータ格納例を示す図である。図１０に示すように、ドメインナレッジデータＤ２には、サーバ１０が提供するサービスに関する種々の情報が格納される。例えば、ドメインナレッジデータＤ２には、複数のページの各々の属性が格納される。

属性は、ページの種類であり、本実施形態では、コンバージョンラベルを付与するために利用される。例えば、属性は、ページの階層を示す情報であり、トップページＡ、検索フォームページＢ、検索結果ページＣ、及びコース詳細ページＤといった上位の階層のページには、「予約意志無し」の属性が付与される。また例えば、予約ステップ１ページＥ及び予約ステップ２ページＦといった中間的な階層のページには、「予約意志有り」の属性が付与される。また例えば、予約完了ページＧのように下位の階層のページには、「コンバージョン」の属性が付与される。

本実施形態では、「予約意志無し」の属性のページだけが表示された場合には、「Ｎ」のコンバージョンラベルが付与される。「予約意志有り」の属性のページが表示されたが、「コンバージョン」の属性のページが表示されなかった場合には、「Ａ」のコンバージョンラベルが付与される。「コンバージョン」の属性のページが表示された場合には、「Ｃ」のコンバージョンラベルが付与される。

図１１は、教師データセットＤＳのデータ格納例を示す図である。図１１に示すように、教師データセットＤＳには、学習モデルに学習させる入力と出力のペアである教師データが多数格納されている。例えば、個々の教師データには、行動履歴の特徴量と、行動履歴に付与されたストラグルラベルと、のペアが格納される。教師データセットＤＳは、後述する生成部１０５により生成される。

なお、データ記憶部１００に記憶されるデータは、上記の例に限られない。例えば、データ記憶部１００は、学習モデルのプログラムやパラメータを記憶する。データ記憶部１００は、学習前の学習モデルを記憶してもよいし、学習後の学習モデルを記憶してもよい。また例えば、データ記憶部１００は、ユーザの基本情報が格納されたユーザデータベースを記憶してもよい。ユーザデータベースには、ユーザＩＤに関連付けてユーザの名前や住所等の個人情報が登録される。ユーザがサービスに対して利用登録をすると、ユーザデータベースに新たなレコードが作成され、利用登録を済ませたユーザの情報が格納される。

［３−２．コンバージョンラベル付与部］
コンバージョンラベル付与部１０１は、制御部１１を主として実現される。コンバージョンラベル付与部１０１は、各行動履歴に、ストラグルラベルとは異なるコンバージョンラベルを付与する。

ストラグルラベルは、クラスタに付与されるラベルであり、第１のラベルということができる。一方、コンバージョンラベルは、第２のラベルである。このため、本実施形態でストラグルラベルと記載した箇所は、クラスタに付与されるラベル又は第１のラベルと読み替えることができ、コンバージョンラベルと記載した箇所は、第２のラベルと読み替えることができる。

コンバージョンラベルは、ストラグルラベルとは異なる観点の分類を示すラベルである。コンバージョンラベルは、ストラグルラベルとは全く関係のないラベルであってもよいが、本実施形態では、コンバージョンラベルとストラグルラベルとは、互いに関連している。例えば、コンバージョンラベルは、ユーザの最終的な行動（コンバージョン）の分類を示すのに対し、ストラグルラベルは、ユーザの中間的な行動（ストラグル行動）の分類を示す。

ストラグルラベルは、クラスタに付与されるラベルであるのに対し、コンバージョンラベルは、クラスタとは関係なく、個々の行動履歴に付与されるラベルである。別の言い方をすれば、ストラグルラベルは、クラスタに属する一部の行動履歴の内容をもとに、解析者により付与されるラベルであるのに対し、コンバージョンラベルは、個々の行動履歴の内容に応じて自動的に付与されるラベルである。同じクラスタに属する行動履歴については、互いに同じストラグルラベルとなるが、コンバージョンラベルについては、同じクラスタに属する行動履歴であったとしても、互いに異なることがある。

行動履歴にコンバージョンラベルを付与するとは、行動履歴にコンバージョンラベルを関連付けることである。本実施形態では、行動履歴データＤ１にコンバージョンラベルが格納されるので、行動履歴と同じレコードに、コンバージョンラベルを識別する情報を格納することが、コンバージョンラベルを付与することに相当する。

コンバージョンラベル付与部１０１は、行動履歴の内容に基づいて、コンバージョンラベルを付与する。例えば、コンバージョンラベルの付与ルールが定められており、コンバージョンラベル付与部１０１は、行動履歴の内容と、付与ルールと、に基づいて、コンバージョンラベルを付与する。

付与ルールは、データ記憶部１００に記憶されているものとする。付与ルールは、任意の形式のデータであってよく、例えば、プログラムコードの一部として定義されていてもよいし、数式形式又はテーブル形式で定義されていてもよい。また、付与ルールは、任意のルールを設定可能であり、例えば、ユーザ端末２０に表示された画面であってもよいし、ユーザが所定の入力をすることであってもよい。コンバージョンラベル付与部１０１は、全ての行動履歴にコンバージョンラベルを付与してもよいし、一部の行動履歴にコンバージョンラベルを付与してもよい。

本実施形態では、「Ｃ」（コンバージョン）、「Ａ」（放棄）、「Ｎ」（意志無し）の３種類のコンバージョンラベルが用意されており、各行動履歴には、何れかのコンバージョンラベルが付与される。例えば、予約完了ページＧにたどり着いた場合には、「Ｃ」のコンバージョンラベルが付与される。また例えば、予約ステップ１ページＥ又は予約ステップ２ページＦにたどり着いたが、予約完了ページＧにたどり着かなかった場合には、「Ａ」のコンバージョンラベルが付与される。また例えば、予約ステップ１ページＥにたどり着かなかった場合には、「Ｎ」のコンバージョンラベルが付与される。本実施形態では、このような３つの条件を含む付与ルールが用意されており、コンバージョンラベル付与部１０１は、行動履歴が満たす条件に関連付けられたコンバージョンラベルを付与する。

なお、コンバージョンラベルの付与方法は、付与ルールに基づく方法に限られない。例えば、後述する変形例（３）のように、コンバージョンラベルを付与する第２の学習モデルを用意しておき、コンバージョンラベル付与部１０１は、第２の学習モデルを利用してコンバージョンラベルを付与してもよい。また例えば、コンバージョンラベルは、ストラグルラベルと同様、解析者に手動で指定させてもよく、この場合には、コンバージョンラベル付与部１０１は、各行動履歴に、解析者により指定されたコンバージョンラベルを付与する。

［３−３．クラスタリング部］
クラスタリング部１０２は、制御部１１を主として実現される。クラスタリング部１０２は、複数の行動履歴の各々をクラスタリングする。クラスタリング自体は、公知のクラスタリング手法を利用可能であり、本実施形態では、最短距離法を例に挙げて説明する。クラスタリング手法は、最短距離法に限られず、ウォード法、最長距離法、群平均法、又は重心法といった他の階層的クラスタリング手法が利用されてもよいし、Ｋ−Ｍｅａｎｓ法、ＤＢＳＣＡＮ、又はＭｅａｎ−ｓｈｉｆｔといった非階層的クラスタリング手法が利用されてもよい。

例えば、クラスタリング部１０２は、各行動履歴の特徴量を計算し、クラスタリングを実行する。特徴量は、任意の計算式で計算可能であり、例えば、所定の計算式によって特徴を数値化することによって計算される。クラスタリング部１０２は、各行動履歴の特徴量の距離を計算し、互いに近い行動履歴同士が同じクラスタに属するように、クラスタリングを実行する。なお、外れ値（ノイズ）が存在することがあるので、どのクラスタにも属しない行動履歴が存在してもよい。このような行動履歴には、ストラグルフラグが付与されないので、教師データとしては利用されない。

［３−４．提示部］
提示部１０３は、制御部１１を主として実現される。提示部１０３は、解析者に、クラスタに属する一部の行動履歴の内容を提示する。

クラスタに属する一部の行動履歴とは、クラスタに属する行動履歴の合計数よりも少ない行動履歴である。例えば、クラスタに属する行動履歴がｎ（ｎ：２以上の整数）個であったとすると、一部の行動履歴とは、ｎ−１個以下の任意の数の行動履歴である。提示部１０３は、１つの行動履歴の内容だけを提示してもよいし、ｎ−１個の行動履歴の内容を提示してもよい。なお、解析者が、あるクラスタについては全ての行動履歴の内容を確認することを要求した場合には、提示部１０３は、当該クラスタについては全ての行動履歴の内容を提示してもよい。

提示部１０３は、解析者が知覚可能な方法で提示をすればよく、画像を利用した視覚的な提示をしてもよいし、音声を利用した聴覚的な提示をしてもよい。また、提示部１０３は、全てのクラスタについて行動履歴の内容を提示してもよいし、一部のクラスタについてだけ行動履歴の内容を提示してもよい。例えば、解析者が選択しなかったクラスタについては、提示部１０３は、行動履歴の内容を提示しなくてもよい。

本実施形態では、提示部１０３は、複数のクラスタのうち、解析者により指定されたクラスタに属する一部の行動履歴の内容を提示する。提示部１０３は、解析者により指定されなかったクラスタについては、行動履歴の内容を提示しない。例えば、提示部１０３は、ラベル付与画面Ｈにおいて、複数のクラスタを選択可能に提示する。提示部１０３は、解析者により選択されたクラスタに属する一部の行動履歴の内容を提示する。なお、解析者は、クラスタを１つだけ指定してもよいし、複数のクラスタを指定してもよい。また、解析者は、全てのクラスタを指定してもよいし、一部のクラスタだけを指定してもよい。

本実施形態では、提示部１０３は、複数の行動履歴のうち、解析者により指定された行動履歴の内容を提示する。提示部１０３は、解析者により指定されなかった行動履歴については、その内容を提示しない。例えば、提示部１０３は、ラベル付与画面Ｈにおいて、あるクラスタに属する複数の行動履歴を選択可能に提示する。提示部１０３は、解析者により選択された行動履歴の内容を提示する。なお、解析者は、行動履歴を１つだけ指定してもよいし、複数の行動履歴を指定してもよい。また、解析者は、原則として、一部の行動履歴だけを指定するものとするが、クラスタに属する行動履歴が少なかった場合には、全ての行動履歴を指定してその内容を確認してもよい。

本実施形態では、提示部１０３は、解析者に、一部の行動履歴に付与されたコンバージョンラベルを更に提示する。提示部１０３は、ラベル付与画面Ｈにおいて、行動履歴に付与されたコンバージョンラベルを提示する。例えば、図５に示すように、提示部１０３は、「Ｃ」、「Ｎ」、「Ａ」の文字を示すアイコンによって、コンバージョンラベルを提示する。なお、提示部１０３は、解析者が行動履歴の内容を選択する前にコンバージョンラベルを提示してもよいし、行動履歴の内容を選択した後にコンバージョンラベルを提示してもよい。解析者は、行動履歴の内容だけでなく、コンバージョンラベルの内容も参考にして、ストラグルラベルを指定する。

［３−５．ストラグルラベル付与部］
ストラグルラベル付与部１０４は、制御部１１を主として実現される。ストラグルラベル付与部１０４は、クラスタに、解析者により指定されたストラグルラベルを付与する。

クラスタにストラグルラベルを付与するとは、クラスタにストラグルラベルを関連付けることである。本実施形態では、行動履歴データＤ１にストラグルラベルが格納されるので、クラスタに属する各行動履歴と同じレコードに、ストラグルラベルを格納することが、ストラグルラベルを付与することに相当する。本実施形態では、「Ｓ」（ストラグル行動である）、「ＮＳ」（ストラグル行動ではない）、又は「ＮＡ」（解析対象外）の何れかのストラグルラベルが付与される。

本実施形態では、分類対象の一例として、過去に行われたユーザの行動履歴を説明するので、クラスタに付与されるラベルは、特定の行動が行われたか否かを示すラベルとなる。本実施形態では、特定の行動は、所定の画面に到達することなく、画面遷移及び入力の少なくとも一方が繰り返されるストラグル行動を例に挙げる。なお、特定の行動は、ストラグル行動に限られず、学習モデルで検出したい行動であればよく、例えば、規約違反となる不正な行動であってもよいし、逆に模範となる優良な行動であってもよい。他にも例えば、コンバージョンの画面にたどり着く最も効率的な行動が特定の行動に相当してもよい。

ストラグルラベル付与部１０４は、提示部１０３により提示された一部の行動履歴と、当該一部の行動履歴と同じクラスタに属する他の行動履歴と、の各々にストラグルラベルを付与する。当該他の行動履歴は、提示部１０３により提示されなかった行動履歴である。本実施形態では、ストラグルラベル付与部１０４が、クラスタに属する全ての行動履歴にストラグルラベルを付与する場合を説明するが、クラスタの中には、ストラグルラベルが付与されない行動履歴が存在してもよい。例えば、クラスタの重心から遠い行動履歴については、ストラグルラベルが付与されなくてもよい。また、本実施形態では、ストラグルラベル付与部１０４が全てのクラスタにストラグルラベルを付与する場合を説明するが、ストラグルラベルが付与されないクラスタが存在してもよい。例えば、行動履歴の数が少ないクラスタについては、ストラグルラベルが付与されなくてもよい。更に、解析者が指定しなかったクラスタについては、「ＮＡ」（解析対象外）が自動的に付与されてもよい。

本実施形態では、ストラグルラベル付与部１０４は、解析者により指定されたクラスタに、ストラグルラベルを付与する。ストラグルラベル付与部１０４は、解析者により指定されなかったクラスタについては、ストラグルラベルは付与しない。例えば、ラベル付与画面Ｈにおいて、複数のクラスタが選択可能に提示され、ストラグルラベル付与部１０４は、解析者により選択されたクラスタにストラグルラベルを付与する。

本実施形態では、ストラグルラベル付与部１０４は、解析者により指定された行動履歴が属するクラスタに、ストラグルラベルを付与する。ストラグルラベル付与部１０４は、解析者によりどの行動履歴も指定されなかったクラスタについては、ストラグルラベルは付与しない。例えば、ラベル付与画面Ｈにおいて、クラスタに属する行動履歴が選択可能に提示され、ストラグルラベル付与部１０４は、解析者により選択された行動履歴が属するクラスタにストラグルラベルを付与する。

なお、ストラグルラベルは、クラスタに付与されるものであるが、クラスタそのものを識別するクラスタＩＤとは異なる。複数のクラスタに対し、同じクラスタＩＤが付与されることはないが、複数のクラスタに対し、同じストラグルラベルが付与されることはある。ストラグルラベル付与部１０４は、解析者により、一のクラスタと他のクラスタとの各々に同じストラグルラベルが指定された場合には、一のクラスタと他のクラスタとの各々に同じストラグルラベルを付与する。この場合、一のクラスタと他のクラスタとの距離に関係なく、同じストラグルラベルが付与されることになる。

［３−６．生成部］
生成部１０５は、制御部１１を主として実現される。生成部１０５は、ストラグルラベル付与部１０４により付与されたストラグルラベルに基づいて、学習モデルに学習させる教師データを生成する。生成部１０５は、ストラグルラベルが付与されたクラスタに属する行動履歴ごとに、当該行動履歴の特徴量と、当該ストラグルラベルと、のペアを教師データとして生成する。生成部１０５は、ストラグルラベルが付与された全てのクラスタについて教師データを生成し、教師データセットＤＳとしてデータ記憶部１００に記録する。

なお、本実施形態では、生成部１０５が、ストラグルラベルが付与されたクラスタ内の全ての行動履歴について、教師データを生成する場合を説明するが、一部の行動履歴については教師データが生成されなくてもよい。例えば、クラスタに属する行動履歴の数が多い場合には、生成部１０５は、一定数の行動履歴についてだけ教師データを生成してもよい。また例えば、クラスタによって行動履歴の数にばらつきがある場合には、生成部１０５は、クラスタ間で教師データの数の差が大きくなりすぎないように調整してもよい。

［３−７．学習部］
学習部１０６は、制御部１１を主として実現される。学習部１０６は、教師データセットＤＳに基づいて、学習モデルの学習処理を実行する。学習処理自体は、機械学習で利用されている公知の手法を利用可能であり、例えば、ニューラルネットワークで利用されている学習処理を利用可能である。学習処理のプログラムは、データ記憶部１００に記憶されているものとする。学習部１０６は、教師データセットＤＳに格納された教師データの入力と出力の関係が得られるように、学習モデルのパラメータを調整する。教師データセットＤＳが学習済みの学習モデルは、データ記憶部１００に記憶され、ユーザの行動解析に利用される。

［３−８．処理実行部］
処理実行部１０７は、制御部１１を主として実現される。処理実行部１０７は、学習部１０６により学習済みの学習モデルに基づいて、所定の処理を実行する。所定の処理は、学習モデルの用途に応じた任意の処理であればよく、本実施形態では、ユーザの行動解析である。処理実行部１０７は、ユーザによるアクセスを受け付けた場合に、当該ユーザの行動履歴を取得してその特徴量を学習モデルに入力する。なお、特徴量は、学習モデルによって計算されてもよい。学習モデルは、特徴量に対応するストラグルラベルを出力し、処理実行部１０７は、ユーザの行動履歴に当該出力されたストラグルラベルを付与する。例えば、処理実行部１０７は、ストラグル行動である「Ｓ」に分類された行動履歴を解析者端末３０に表示させ、解析者は、レイアウトに問題のあるページを特定する。

［４．本実施形態において実行される処理］
図１２及び図１３は、教師データ生成システムＳで実行される処理の一例を示すフロー図である。図１２及び図１３に示す処理は、制御部１１，３１がそれぞれ記憶部１２，３２に記憶されたプログラムに基づいて動作することによって実行される。

なお、図１２及び図１３に示す処理は、任意のタイミングで実行可能であり、例えば、所定の日時が訪れた場合に実行されてもよいし、解析者により処理の開始が指示された場合に実行されてもよい。また、図１２及び図１３に示す処理が実行されるにあたり、サーバ１０にアクセスしたユーザの行動履歴が行動履歴データＤ１に蓄積されているものとする。

図１２に示すように、サーバ１０は、行動履歴データＤ１に基づいて、複数の行動履歴の各々をクラスタリングする（Ｓ１００）。Ｓ１００においては、サーバ１０は、行動履歴データＤ１に格納された各行動履歴の特徴量を計算する。サーバ１０は、各行動履歴の特徴量に基づいて、各行動履歴の距離を計算する。サーバ１０は、互いに距離の近い行動履歴同士が同じクラスタに属するように、クラスタリングを実行する。サーバ１０は、各行動履歴に、属するクラスタのクラスタＩＤを付与する。なお、どのクラスタにも属しない外れ値の行動履歴については、クラスタＩＤは付与されない。

サーバ１０は、ドメインナレッジデータＤ２に基づいて、各行動履歴にコンバージョンラベルを付与する（Ｓ１０１）。Ｓ１０１においては、サーバ１０は、予約ステップ１ページＥにたどり着かなかった行動履歴については、「Ｎ」（意志無し）のコンバージョンラベルを付与する。サーバ１０は、予約ステップ１ページＥ又は予約ステップ２ページＦにたどり着いたが、予約完了ページＧにたどり着かなかった行動履歴については、「Ａ」（放棄）のコンバージョンラベルを付与する。サーバ１０は、予約完了ページＧにたどり着いた行動履歴については、「Ｃ」（コンバージョン）のコンバージョンラベルを付与する。サーバ１０は、各行動履歴のコンバージョンラベルを行動履歴データＤ１に格納する。

サーバ１０は、行動履歴データＤ１に基づいて、ラベル付与画面Ｈの表示データを生成し、解析者端末３０に送信する（Ｓ１０２）。表示データは、任意のデータ形式であってよく、例えば、ラベル付与画面Ｈをブラウザ上で表示させる場合には、ＨＴＭＬデータ等である。Ｓ１０２においては、サーバ１０は、行動履歴データＤ１に基づいて、クラスタリングによって作成されたクラスタを特定し、図４に示すラベル付与画面Ｈの表示データを生成する。ラベル付与画面Ｈは、各クラスタが選択可能となっている。なお、表示データには、図４及び図５のラベル付与画面Ｈを表示させるために必要な情報が含まれており、例えば、クラスタの名前、各クラスタに属する行動履歴の行動履歴ＩＤ、及び行動履歴画像Ｉの画像データが含まれているものとする。

解析者端末３０は、表示データを受信し、ラベル付与画面Ｈを表示部３５に表示させる（Ｓ１０３）。この時点では、どのクラスタにもストラグルラベルは付与されず、図４に示すように、各クラスタは「未分類」となる。

解析者端末３０は、操作部３４の検出信号に基づいて、解析者の操作を特定する（Ｓ１０４）。Ｓ１０４においては、ラベル付与画面Ｈに表示されたクラスタを選択するためのクラスタ選択操作、又は、ボタンＢ４を選択して教師データの生成を指示するための生成指示操作の何れかが行われるものとする。

クラスタ選択操作が行われた場合（Ｓ１０４；クラスタ選択操作）、解析者端末３０は、解析者が選択したクラスタに属する行動履歴の一覧をラベル付与画面Ｈに表示させる（Ｓ１０５）。Ｓ１０５においては、図５に示すラベル付与画面Ｈのように、行動履歴画像Ｉの一覧が表示される。

解析者端末３０は、操作部３４の検出信号に基づいて、解析者の操作を特定する（Ｓ１０６）。Ｓ１０６においては、一覧の中から行動履歴を選択する行動履歴選択操作、又は、ボタンＢ１〜Ｂ３の何れかを選択してストラグルラベルを付与する付与操作の何れかが行われるものとする。

行動履歴選択操作が行われた場合（Ｓ１０６；行動履歴選択操作）、解析者端末３０は、サーバ１０に対し、解析者が選択した行動履歴の内容を要求する（Ｓ１０７）。Ｓ１０７における要求には、解析者が選択した行動履歴の行動履歴ＩＤが含まれているものとする。

サーバ１０は、要求を受信すると、行動履歴データＤ１に基づいて、解析者が選択した行動履歴の内容を解析者端末３０に送信する（Ｓ１０８）。Ｓ１０８においては、サーバ１０は、要求に含まれる行動履歴ＩＤが格納されたレコードを参照し、当該レコードの行動履歴の内容を送信する。

解析者端末３０は、行動履歴の内容を受信すると、ラベル付与画面Ｈに表示させ（Ｓ１０９）、Ｓ１０６の処理に戻る。Ｓ１０９においては、図６に示すラベル付与画面Ｈが表示される。解析者が他の行動履歴を選択した場合には、Ｓ１０７の処理が再び実行され、当該他の行動履歴の内容がラベル付与画面Ｈに表示される。

一方、Ｓ１０６において、ボタンＢ１〜Ｂ３の何れかが選択されて付与操作が行われた場合（Ｓ１０６；付与操作）、解析者端末３０は、解析者が選択したクラスタに、解析者が指定したストラグルラベルを関連付けて（Ｓ１１０）、Ｓ１０４の処理に戻る。なお、Ｓ１１０の時点で、サーバ１０における行動履歴データＤ１にストラグルラベルが格納されてもよいが、本実施形態では、ボタンＢ４が選択された後に、行動履歴データＤ１にストラグルラベルが格納されるものとする。

一方、Ｓ１０４において、ボタンＢ４が選択されて生成指示操作が行われた場合（Ｓ１０４；生成指示操作）、図１３に移り、解析者端末３０は、各クラスタのストラグルラベルをサーバ１０に送信する（Ｓ１１１）。例えば、Ｓ１１０において各クラスタに関連付けられたストラグルラベルは、解析者端末３０の記憶部３２に記録されており、Ｓ１１１においては、これらの関連付けのデータセットが送信される。

サーバ１０は、ストラグルラベルを受信すると、各クラスタに、解析者が指定したストラグルラベルを付与する（Ｓ１１２）。Ｓ１１２においては、サーバ１０は、各クラスタに属する全ての行動履歴に、解析者が指定したストラグルラベルが関連付けられるように、行動履歴データＤ１を更新する。

サーバ１０は、行動履歴データＤ１に基づいて、教師データセットＤＳを生成する（Ｓ１１３）。Ｓ１１３においては、サーバ１０は、ストラグルラベルが付与された行動履歴ごとに、当該行動履歴の特徴量と、当該ストラグルラベルと、のペアである教師データを生成する。サーバ１０は、ストラグルラベルが付与された各行動履歴の教師データを教師データセットＤＳに格納する。

サーバ１０は、教師データセットＤＳに基づいて、学習モデルの学習処理を実行し（Ｓ１１４）、本処理は終了する。Ｓ１１４においては、サーバ１０は、教師データセットＤＳに格納された各教師データの入力と出力の関係が得られるように、学習モデルのパラメータを調整する。以降、学習済みの学習モデルがサーバ１０に記憶され、サーバ１０にアクセスしたユーザの行動が解析される。

以上説明した教師データ生成システムＳによれば、解析者に一部の行動履歴の内容を提示してストラグルラベルを指定させ、クラスタに付与されたストラグルラベルに基づいて、教師データを生成することによって、解析者は、個々の行動履歴に対してストラグルラベルを指定するのではなく、クラスタに対してストラグルラベルを指定すればよいので、解析者の手間を軽減し、教師データの生成を効率化することができる。例えば、あるクラスタに１０００個の行動履歴が属していたとしても、解析者は、その中の数個の内容を確認し、これら１０００個に対して一度にストラグルラベルを付与することができる。また、同じクラスタに属する行動履歴の内容は互いに似ているので、ストラグルラベルが互いに異なる行動履歴が混在している蓋然性は低い。もし仮に、同じクラスタの中にストラグルラベルが異なる行動履歴が混在したとしても、その数は少なく、学習処理において例外として扱われて、学習モデルの精度に与える影響は小さい。このため、学習モデルの精度を担保することができる。

また、複数のクラスタのうち、解析者により指定されたクラスタに属する一部の行動履歴の内容が提示され、解析者により指定されたクラスタにストラグルラベルが付与されることによって、ストラグルラベルの付与を効率化することができる。例えば、解析者は、確認したいクラスタから順番に選択してストラグルラベルを付与することができ、ストラグルラベルの指定作業を効率化することができる。また例えば、クラスタ内の行動履歴が少ないものについては、ストラグルラベルを付与しなくても、教師データの精度にはさほど影響が出ないので、解析者は、特にストラグルラベルを指定しないクラスタを選択しないようにすることもできる。

また、複数の行動履歴のうち、解析者により指定された行動履歴の内容が提示され、解析者により指定されたクラスタにストラグルラベルを付与することによって、ストラグルラベルの付与を効率化することができる。例えば、解析者に、内容を確認したい行動履歴を自分で選択させることによって、ストラグルラベルの精度を高めることができる。

また、解析者により、一のクラスタと他のクラスタとの各々に同じストラグルラベルが指定された場合には、これらに同じストラグルラベルを付与することによって、教師データの数を増やし、学習モデルの精度を向上させることができる。

また、一部の行動履歴に、ストラグルラベルとは異なるコンバージョンラベルを付与し、各クラスタに属する行動履歴のコンバージョンラベルを提示表示させることによって、解析者はコンバージョンラベルを参考にしてストラグルラベルを指定することができ、ストラグルラベルの指定作業を効率化することができる。

また、実施形態で説明したように、行動履歴が分類対象に相当する場合には、行動履歴から教師データを生成する処理を効率化することができる。

また、実施形態で説明したように、所定の画面に到達することなく、画面遷移及び入力の少なくとも一方が繰り返されることが特定の行動に相当する場合には、このような行動のパターンが多数存在したとしても、教師データの生成を効率化することができる。

［５．変形例］
なお、本発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。

図１４は、変形例の機能ブロック図である。図１４に示すように、変形例では、変更部１０８、第２生成部１０９、及び第２学習部１１０が実現される。なお、変形例では、説明の都合上、実施形態で説明した教師データセットＤＳを第１教師データセットＤＳ１と記載し、生成部１０５を第１生成部１０５と記載し、学習部１０６を第１学習部１０６と記載する。

（１）例えば、実施形態では、ラベル付与画面Ｈの中から解析者に任意のクラスタを選択させる場合を説明したが、解析者にコンバージョンラベルを指定させ、当該コンバージョンラベルの行動履歴が多いクラスタが、ラベル付与画面Ｈに表示されるようにしてもよい。

本変形例では、サーバ１０は、行動履歴データＤ１に基づいて、各クラスタに属する行動履歴のコンバージョンラベルを集計し、データ記憶部１００に集計結果を記録する。例えば、サーバ１０は、クラスタごとに、各コンバージョンラベルが付与された行動履歴の数又は割合を計算し、データ記憶部１００に記録する。

提示部１０３は、解析者により指定されたコンバージョンラベルに基づいてクラスタを選択し、当該選択したクラスタに属する一部の行動履歴の内容を提示する。解析者は、ラベル付与画面Ｈにおいてコンバージョンラベルを指定してもよいし、他の画面においてコンバージョンラベルを指定してもよい。

例えば、提示部１０３は、解析者により指定されたコンバージョンラベルの数又は割合が最も高いクラスタを選択する。また例えば、提示部１０３は、解析者により指定されたコンバージョンラベルの数又は割合が多い順に所定番目までのクラスタを選択する。また例えば、提示部１０３は、解析者により指定されたコンバージョンラベルの数又は割合が閾値以上のクラスタを選択する。提示部１０３は、選択したクラスタに属する行動履歴の行動履歴画像Ｉを表示させる。行動履歴画像Ｉが表示された後の処理は、実施形態と同様であり、解析者が選択した行動履歴の内容が提示され、クラスタにストラグルラベルが付与される。

変形例（１）によれば、解析者により指定されたコンバージョンラベルに基づいてクラスタを選択し、当該選択したクラスタに属する一部の行動履歴の内容を提示することによって、ストラグルラベルの指定作業を効率化することができる。

（２）また例えば、行動履歴に付与されたコンバージョンラベルは、解析者によって変更可能であってもよい。例えば、図５に示すラベル付与画面Ｈの状態で、ある行動履歴の行動履歴画像Ｉの左から２番目のアイコン（「Ｃ」、「Ａ」、「Ｎ」の何れかの文字を示すアイコン）をクリックすると、当該行動履歴のコンバージョンラベルが変更されるようにしてもよい。

変形例（２）の教師データ生成システムＳは、変更部１０８を含む。変更部１０８は、制御部１１を主として実現される。変更部１０８は、解析者の操作に基づいて、一部の行動履歴に付与されたコンバージョンラベルを変更する。コンバージョンラベルを変更するための操作は、任意の操作であってよく、本変形例では、ラベル付与画面Ｈに対する操作である場合を説明するが、他の画面に対する操作であってもよい。即ち、コンバージョンラベルを変更するためのユーザインタフェースは、ラベル付与画面Ｈに限られず、任意のユーザインタフェースを利用可能である。変更部１０８は、行動履歴データＤ１を更新し、行動履歴に付与されたコンバージョンラベルを、解析者により指定されたコンバージョンラベルに変更する。

変形例（２）によれば、解析者の操作に基づいて、一部の行動履歴に付与されたコンバージョンラベルを変更することによって、誤って付与されたコンバージョンラベルを修正することができる。

（３）また例えば、実施形態では、ドメインナレッジデータＤ２に基づいて行動履歴にコンバージョンラベルが付与される場合を説明したが、コンバージョンラベルを自動的に付与する第２の学習モデルを用意しておいてもよい。この場合、教師データ生成システムＳは、ドメインナレッジデータＤ２の内容をもとに、第２の学習モデルに学習させる第２の教師データセットＤＳ２を生成してもよい。

本変形例のコンバージョンラベル付与部１０１は、実施形態で説明したように、所定の条件に基づいて、各行動履歴にコンバージョンラベルを付与する。所定の条件は、付与ルールに含まれる条件であり、実施形態で説明したように、任意の条件を設定可能である。

本変形例の教師データ生成システムＳは、第２生成部１０９及び第２学習部１１０を含む。これらは制御部１１を主として実現される。第２生成部１０９は、各行動履歴に付与されたコンバージョンラベルに基づいて、第２の学習モデルに学習させる第２の教師データを生成する。第２の学習モデルは、実施形態で説明した学習モデルとは異なる学習モデルである。第２の学習モデルは、行動履歴に対してコンバージョンラベルを付与するための学習モデルである。

第２の教師データは、行動履歴の内容と、コンバージョンラベルと、のペアである。第２生成部１０９は、コンバージョンラベルが付与されたクラスタに属する行動履歴ごとに、当該行動履歴の特徴量と、当該コンバージョンラベルと、のペアを教師データとして生成する。第２生成部１０９は、コンバージョンラベルが付与された全ての行動履歴について教師データを生成し、第２教師データセットＤＳ２としてデータ記憶部１００に記録する。

第２学習部１１０は、第２教師データセットＤＳ２に基づいて、第２の学習モデルの学習処理を実行する。第１の学習モデルと同様、学習処理自体は、機械学習で利用されている公知の手法を利用可能であり、例えば、ニューラルネットワークで利用されている学習処理を利用可能である。第２学習部１１０は、第２教師データセットＤＳ２に格納された教師データの入力と出力の関係が得られるように、第２の学習モデルのパラメータを調整する。学習済みの第２の学習モデルは、データ記憶部１００に記憶され、コンバージョンラベル付与部１０１により利用される。

変形例（３）によれば、行動履歴に付与されたコンバージョンラベルに基づいて、第２の学習モデルに学習させる第２の教師データを生成することにより、第２の教師データの生成を効率化することができる。また、第２学習モデルにドメインナレッジデータＤ２の内容を学習させることにより、サーバ１０がドメインナレッジデータＤ２を記憶しなくても、コンバージョンラベルを付与することができる。

（４）また例えば、上記変形例を組み合わせてもよい。

また例えば、正解となる入力と出力のペアを教師データと呼び、ペアの集まりを教師データセットと呼んだが、ペアの集まりが教師データに相当してもよい。即ち、教師データは、入力と出力のペア、又は、ペアの集まりを示すデータであればよい。また例えば、行動履歴は、画面遷移と入力に限られず、任意の行動の履歴を示してよい。例えば、行動履歴は、ユーザによる商品の購入履歴、又は、ユーザによるサービスの申し込み履歴であってもよい。なお、サービスとしては、ゴルフ場の予約に限られない。例えば、サービスは、旅行予約サービス、保険サービス、又は金融サービスといった任意のサービスであってよい。

また例えば、ラベル付与画面Ｈにおいて解析者がクラスタを選択する場合を説明したが、自動的にクラスタが選択され、当該クラスタに属する一部の行動履歴を解析者に指定させてもよい。また例えば、解析者が内容を確認したい行動履歴を選択する場合を説明したが、解析者に提示されるクラスタの内容が自動的に選択されるようにしてもよい。また例えば、コンバージョンラベルも行動履歴の特徴量の１つとして利用されてもよい。また例えば、行動履歴にはコンバージョンラベルが付与されなくてもよい。

また例えば、分類対象がユーザの行動履歴である場合を説明したが、分類対象は、先述したような任意のデータであってよい。例えば、分類対象が画像である場合には、クラスタに付与されるラベルは、犬や猫などの被写体の種類を示す。教師データ生成システムＳは、画像の特徴量をクラスタリングし、解析者にクラスタの一部の画像を提示する。教師データ生成システムＳは、解析者により指定されたラベルを、クラスタに属する各画像に付与し、物体検出を行う学習モデルの教師データを生成する。

また例えば、分類対象が文章又はコンテンツである場合には、クラスタに付与されるラベルは、文章又はコンテンツの種類を示す。教師データ生成システムＳは、文章又はコンテンツの特徴量をクラスタリングし、解析者にクラスタの一部の文章又はコンテンツを提示する。教師データ生成システムＳは、解析者により指定されたラベルを、クラスタに属する各文章又は各コンテンツに付与し、文章又はコンテンツの分類を行う学習モデルの教師データを生成する。

また例えば、各機能がサーバ１０で実現される場合を説明したが、複数のコンピュータによって機能が分担されてもよい。例えば、サーバ１０、ユーザ端末２０、及び解析者端末３０の各々で機能が分担されてもよいし、複数のサーバコンピュータで機能が分担されてもよい。この場合、ネットワークを介して処理結果が送受信されることで、機能が分担されるようにすればよい。また例えば、データ記憶部１００に記憶されるものとして説明したデータは、サーバ１０以外のコンピュータに記憶されていてもよい。また例えば、学習部１０６（変形例では第１学習部１０６）と第２学習部１１０が外部のシステムによって実現され、教師データ生成システムＳ内で学習処理が実行されないようにしてもよい。

Ｓ 教師データ生成システム、１０ サーバ、１１，２１，３１ 制御部、１２，２２，３２ 記憶部、１３，２３，３３ 通信部、２０ ユーザ端末、２４，３４ 操作部、２５，３５ 表示部、３０ 解析者端末、Ａ トップページ、Ｂ 検索フォームページ、Ｃ 検索結果ページ、Ｄ コース詳細ページ、Ｅ 予約ステップ１ページ、Ｆ 予約ステップ２ページ、Ｇ 予約完了ページ、Ｈ ラベル付与画面、Ｄ１ 行動履歴データ、Ｄ２ ドメインナレッジデータ、ＤＳ 教師データセット、ＤＳ１ 第１教師データセット、ＤＳ２ 第２教師データセット、１００ データ記憶部、１０１ コンバージョンラベル付与部、１０２ クラスタリング部、１０３ 提示部、１０４ ストラグルラベル付与部、１０５ 生成部（第１生成部）、１０６ 学習部（第１学習部）、１０７ 処理実行部、１０８ 変更部、１０９ 第２生成部、１１０ 第２学習部。

Claims (10)

1. 複数の分類対象の各々の内容に基づいて、各分類対象に、第１のラベルとは異なる第２のラベルを関連付ける第２ラベル関連付け手段と、
   各分類対象の特徴量を計算し、前記複数の分類対象をクラスタリングするクラスタリング手段と、
   複数のクラスタのうち、解析者により指定された前記第２のラベルが関連付けられた前記分類対象の数又は割合に基づいてクラスタを選択し、当該選択したクラスタに属する一部の前記分類対象の内容を示す画像を表示手段に表示させる表示制御手段と、
   前記選択されたクラスタに、前記解析者により指定された前記第１のラベルを関連付ける第１ラベル関連付け手段と、
   前記選択されたクラスタに属する前記分類対象と、前記指定された第１のラベルと、のペアを、学習モデルに学習させる教師データとして生成する生成手段と、
   を含むことを特徴とする教師データ生成システム。
2. 前記分類対象は、ユーザの画面遷移であり、
   前記第１のラベルは、所定の画面に到達することなく、画面遷移及び入力の少なくとも一方が繰り返されたか否かを示すストラグルラベルであり、
   前記第２のラベルは、前記所定の画面に到達したか否かを示すコンバージョンラベルである、
   ことを特徴とする請求項１に記載の教師データ生成システム。
3. 前記表示制御手段は、前記複数のクラスタのうち、前記解析者により指定されたクラスタに属する一部の前記分類対象の内容を示す画像を前記表示手段に表示させ、
   前記第１ラベル関連付け手段は、前記解析者により指定されたクラスタに、前記第１のラベルを関連付ける、
   ことを特徴とする請求項１又は２に記載の教師データ生成システム。
4. 前記表示制御手段は、前記複数の分類対象のうち、前記解析者により指定された分類対象の内容を示す画像を前記表示手段に表示させ、
   前記第１ラベル関連付け手段は、前記解析者により指定された分類対象が属するクラスタに、前記第１のラベルを付与する、
   ことを特徴とする請求項１〜３の何れかに記載の教師データ生成システム。
5. 前記第１ラベル関連付け手段は、前記解析者により、一のクラスタと他のクラスタとの各々に同じ前記第１のラベルが指定された場合には、前記一のクラスタと前記他のクラスタとの各々に前記同じ第１のラベルを関連付ける、
   ことを特徴とする請求項１〜４の何れかに記載の教師データ生成システム。
6. 前記表示制御手段は、前記一部の分類対象に付与された前記第２のラベルを示す画像を更に表示させる、
   ことを特徴とする請求項１〜５の何れかに記載の教師データ生成システム。
7. 前記教師データ生成システムは、前記解析者の操作に基づいて、前記一部の分類対象に関連付けられた前記第２のラベルを変更する変更手段、
   を更に含むことを特徴とする請求項６に記載の教師データ生成システム。
8. 前記教師データ生成システムは、各分類対象と、当該分類対象に関連付けられた前記第２のラベルと、のペアを、第２の学習モデルに学習させる第２の教師データとして生成する第２生成手段を更に含む、
   ことを特徴とする請求項１〜７の何れかに記載の教師データ生成システム。
9. コンピュータが、
   複数の分類対象の各々の内容に基づいて、各分類対象に、第１のラベルとは異なる第２のラベルを関連付ける第２ラベル関連付けステップと、
   各分類対象の特徴量を計算し、前記複数の分類対象をクラスタリングするクラスタリングステップと、
   複数のクラスタのうち、解析者により指定された前記第２のラベルが関連付けられた前記分類対象の数又は割合に基づいてクラスタを選択し、当該選択したクラスタに属する一部の前記分類対象の内容を示す画像を表示手段に表示させる表示制御ステップと、
   前記選択されたクラスタに、前記解析者により指定された前記第１のラベルを関連付ける第１ラベル関連付けステップと、
   前記選択されたクラスタに属する前記分類対象と、前記指定された第１のラベルと、のペアを、学習モデルに学習させる教師データとして生成する生成ステップと、
   を実行することを特徴とする教師データ生成方法。
10. 複数の分類対象の各々の内容に基づいて、各分類対象に、第１のラベルとは異なる第２のラベルを関連付ける第２ラベル関連付け手段、
    各分類対象の特徴量を計算し、前記複数の分類対象をクラスタリングするクラスタリング手段、
    複数のクラスタのうち、解析者により指定された前記第２のラベルが関連付けられた前記分類対象の数又は割合に基づいてクラスタを選択し、当該選択したクラスタに属する一部の前記分類対象の内容を示す画像を表示手段に表示させる表示制御手段、
    前記選択されたクラスタに、前記解析者により指定された前記第１のラベルを関連付ける第１ラベル関連付け手段、
    前記選択されたクラスタに属する前記分類対象と、前記指定された第１のラベルと、のペアを、学習モデルに学習させる教師データとして生成する生成手段、
    としてコンピュータを機能させるためのプログラム。

Images