JP2024031110A - プログラム、方法、およびシステム - Google Patents

Abstract

【課題】効率的に機械学習モデルの識別性能を向上することができるシステムを提供する。
【解決手段】本開示のプログラムは、プロセッサに、ユーザ端末からユーザが入力した質問文と、記憶部に記憶された質問パターンと、に基づいて、記憶部に記憶され、回答パターンが紐づけられた複数のカテゴリそれぞれについて、質問文から推定される当該質問文との関連の度合いを示す第１尤度を算出するステップと、算出された第１尤度、およびユーザの行動ログに基づいて、質問文が該当するカテゴリを選定するステップと、選定されたカテゴリに紐づけられた回答パターンを、ユーザ端末に表示させるステップと、を実行させる。
【選択図】図８

Description

本開示は、テキスト入力インタフェースによる応答システムとしての処理を実行させるプログラム、方法、およびシステムに関する。

従来、テキスト入力による問い合わせに対して自動で応答する自動応答システムが知られている。
例えば、特許文献１には、カテゴリ毎に複数用意された質問パターンを学習データとして機械学習された機械学習モデルを備えた自動応答システムが開示されている。
この自動応答システムでは、ユーザから入力された質問文が、機械学習モデルにより特定のカテゴリに分類され、分類されたカテゴリに対して紐づけられた回答パターンが、回答文としてユーザに対して出力される。

特許第６４４２８０７号公報

特許文献１に記載のシステムでは、長期間の運用により、例えば、分類対象となるカテゴリ数が増加することがあり、機械学習モデルが行う分類処理が高度となることで、継続して高い識別性能を維持することが難しかった。

そこで本開示では、効率的に機械学習モデルの識別性能を向上することができるシステムを提供することを目的とする。

本開示の一態様におけるプログラムは、プロセッサに、ユーザ端末からユーザが入力した質問文と、記憶部に記憶された質問パターンと、に基づいて、記憶部に記憶され、回答パターンが紐づけられた複数のカテゴリそれぞれについて、質問文から推定される当該質問文との関連の度合いを示す第１尤度を算出するステップと、算出された第１尤度、およびユーザの行動ログに基づいて、質問文が該当するカテゴリを選定するステップと、選定されたカテゴリに紐づけられた回答パターンを、ユーザ端末に表示させるステップと、を実行させる。

本開示によれば、効率的に機械学習モデルの識別性能を向上することができる。

本発明の自動応答システムの概要を説明する図である。 自動応答システムを構成する端末装置の機能的な構成を示す図である。 自動応答システムを構成する質問回答サーバの機能的な構成を示す図である。 記憶部が記憶するユーザデータベースの具体例を示す図である。 記憶部が記憶する質問回答データベースの具体例を示す図である。 記憶部が記憶する操作ログデータベースの具体例を示す図である。 記憶部が記憶する学習用データデータベースの具体例を示す図である。 自動応答システムによる処理のフローの全体を説明する図である。 質問回答サーバによるカテゴリ選定の処理のフローを説明する図である。 質問回答サーバによる学習用データの選定の処理のフローを説明する図である。 変形例に係る自動応答システムの質問回答サーバの機能的な構成を示す図である。

以下、本開示の実施形態に係る自動応答システム１について図面を参照しながら説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。また、実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。

＜１．概要＞
図１は、本発明の自動応答システム１の概要を説明する図である。
図１に示すように、本実施形態に係る自動応答システム１は、質問パターンおよび回答パターンが記憶されたデータベースを用いて、対話形式のテキスト入力インタフェースによる応答システムとしての処理を実行するシステムである。

特に自動応答システム１では、ユーザからの質問文に加えて、ユーザの行動ログを用いてユーザからの質問文に対して回答すべき内容（カテゴリおよび回答パターン）を選定する。ユーザの行動ログとは、具体的にはユーザの操作ログを指す。
例えば、類似する質問文による質問でも、質問の直前にユーザが行った操作（滞在しているサイト）の違いにより、ユーザが求めている回答が異なることが想定される。このため、自動応答システム１では、ユーザの操作ログを入力情報として利用することで、自動応答システム１の識別性能を向上することを目的としている。
以下の説明では、まず自動応答システム１の構成について説明した後に、自動応答システム１を用いた回答処理について詳述する。

＜２．全体構成＞
本実施形態に係る自動応答システム１の全体構成について説明する。
図１に示すように、自動応答システム１は、複数の質問者（図１では、質問者が使用するユーザ端末１０Ａ、１０Ｂ、以下総称して「ユーザ端末１０」という）と、質問回答サーバ２０と、を含む。複数のユーザ端末１０と質問回答サーバ２０とは、ネットワーク８０を介して相互に通信可能に接続されている。ネットワーク８０は、有線又は無線ネットワークにより構成される。

ユーザ端末１０は、質問者である各ユーザが操作する装置である。この他、ユーザ端末１０は、例えば移動体通信システムに対応したタブレットや、スマートフォン等の携帯端末により実現される、ユーザ端末１０は、据え置き型のＰＣ（Personal Computer）、ラップトップＰＣなどであってもよい。

ユーザ端末１０は、ネットワーク８０を介して質問回答サーバ２０と通信可能に接続される。ユーザ端末１０は、５Ｇ、ＬＴＥ（Long Term Evolution）などの通信規格に対応した無線基地局８１、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１などの無線ＬＡＮ（Local Area Network）規格に対応した無線ＬＡＮルータ８２等の通信機器と通信することにより、ネットワーク８０に接続される。
図１に示すように、ユーザ端末１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、記憶部１６と、プロセッサ１９とを備える。

通信ＩＦ１２は、ユーザ端末１０が外部の装置と通信するため、信号を入出力するためのインタフェースである。
入力装置１３は、ユーザからの入力操作を受け付けるための装置（例えば、キーボードや、タッチパネル、タッチパッド、マウス等のポインティングデバイス等）である。

出力装置１４は、ユーザに対し情報を提示するための装置（ディスプレイ、スピーカ等）である。
メモリ１５は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。

記憶部１６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。
プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。

質問回答サーバ２０は、質問者からの質問に対して、後述する質問回答データベース２０２２を参照して、回答を行う装置である。
質問回答サーバ２０は、ネットワーク８０に接続されたコンピュータである。質問回答サーバ２０は、通信ＩＦ２２と、入力装置２３と、出力装置２４と、プロセッサ２５と、メモリ２６と、ストレージ２７とを備える。

通信ＩＦ２２は、質問回答サーバ２０が外部の装置と通信するため、信号を入出力するためのインタフェースである。
入力装置２３は、管理者からの入力操作を受け付けるための装置（例えば、キーボードや、タッチパネル、タッチパッド、マウス等のポインティングデバイス等）である。
出力装置２４は、管理者に対し情報を提示するための装置（ディスプレイ、スピーカ等）である。

プロセッサ２５は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。
メモリ２６は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。
ストレージ２７は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。

＜３．ユーザ端末１０の構成＞
図２は、自動応答システム１を構成するユーザ端末１０の機能的な構成を示すブロック図である。ユーザ端末１０としては、例えば、ユーザサポートにおいて、不明な点の問合せを行おうとする一般ユーザが扱う端末が想定される。

図２に示すように、ユーザ端末１０は、複数のアンテナ（アンテナ１１１、アンテナ１１２）と、各アンテナに対応する無線通信部（第１無線通信部１２１、第２無線通信部１２２）と、入力受付部１３０（キーボード１３１およびディスプレイ１３２を含む）と、音声処理部１４０と、マイク１４１と、スピーカ１４２と、カメラ１５０と、記憶部１６０と、制御部１７０とを含む。

ユーザ端末１０は、図２では特に図示していない機能および構成（例えば、電力を保持するためのバッテリー、バッテリーから各回路への電力の供給を制御する電力供給回路など）も有している。図２に示すように、ユーザ端末１０に含まれる各ブロックは、バス等により電気的に接続される。

アンテナ１１１は、ユーザ端末１０が発する信号を電波として放射する。また、アンテナ１１１は、空間から電波を受信して受信信号を第１無線通信部１２１へ与える。

アンテナ１１２は、ユーザ端末１０が発する信号を電波として放射する。また、アンテナ１１２は、空間から電波を受信して受信信号を第２無線通信部１２２へ与える。

第１無線通信部１２１は、ユーザ端末１０が他の無線機器と通信するため、アンテナ１１１を介して信号を送受信するための変復調処理などを行う。第２無線通信部１２２は、ユーザ端末１０が他の無線機器と通信するため、アンテナ１１２を介して信号を送受信するための変復調処理などを行う。第１無線通信部１２１と第２無線通信部１２２とは、チューナー、ＲＳＳＩ（Received Signal Strength Indicator）算出回路、ＣＲＣ（Cyclic Redundancy Check）算出回路、高周波回路などを含む通信モジュールである。第１無線通信部１２１と第２無線通信部１２２とは、ユーザ端末１０が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部１７０へ与える。

入力受付部１３０は、ユーザの入力操作を受け付けるための機構を有する。具体的には、入力受付部１３０は、キーボード１３１と、ディスプレイ１３２とを含む。なお、入力受付部１３０は、例えば静電容量方式のタッチパネルを用いることによって、タッチパネルに対するユーザの接触位置を検出する、タッチスクリーンとして構成してもよい。

キーボード１３１は、ユーザ端末１０のユーザの入力操作を受け付ける。キーボード１３１は、文字入力を行う装置であり、入力された文字情報を入力信号として制御部１７０へ出力する。

ディスプレイ１３２は、制御部１７０の制御に応じて、画像、動画、テキストなどのデータを表示する。すなわち、ディスプレイ１３２は、ユーザに対して情報を出力する出力部としても機能する。ディスプレイ１３２は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイによって実現される。

音声処理部１４０は、音声信号の変復調を行う。音声処理部１４０は、マイク１４１から与えられる信号を変調して、変調後の信号を制御部１７０へ与える。また、音声処理部１４０は、音声信号をスピーカ１４２へ与える。
音声処理部１４０は、例えば音声処理用のプロセッサによって実現される。マイク１４１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１４０へ与える。スピーカ１４２は、音声処理部１４０から与えられる音声信号を音声に変換して当該音声をユーザ端末１０の外部へ出力する。

カメラ１５０は、受光素子により光を受光して、撮影画像として出力するためのデバイスである。カメラ１５０は、例えば、カメラ１５０から撮影対象までの距離を検出できる深度カメラである。

記憶部１６０は、例えばフラッシュメモリ等により構成され、ユーザ端末１０が使用するデータおよびプログラムを記憶する。ある局面において、記憶部１６０は、ユーザ情報１６１を記憶する。

ユーザ情報１６１は、ユーザ端末１０を使用して自動応答システム１を利用するユーザの情報である。ユーザ情報１６１としては、ユーザを識別する情報（ユーザＩＤ）、ユーザの名称、ユーザが所属している事業者の情報、ユーザが使用するメッセージアプリのアカウント情報、ユーザのメールアドレス等の連絡先に関する情報等が含まれる。

制御部１７０は、記憶部１６０に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、ユーザ端末１０の動作を制御する。制御部１７０は、例えば予めユーザ端末１０にインストールされているアプリケーションプログラムである。制御部１７０は、プログラムに従って動作することにより、操作受付部１７１と、送受信部１７２と、データ処理部１７３と、表示処理部１７４としての機能を発揮する。

操作受付部１７１は、キーボード１３１等の入力装置に対するユーザの入力操作を受け付ける処理を行う。

送受信部１７２は、ユーザ端末１０が、質問回答サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。

データ処理部１７３は、ユーザ端末１０が入力を受け付けたデータに対し、プログラムに従って演算を行い、演算結果をメモリ等に出力する処理を行う。

表示処理部１７４は、ユーザに対し情報を提示する処理を行う。表示処理部１７４は、表示画像をディスプレイ１３２に表示させる処理、音声をスピーカ１４２に出力させる処理、振動をカメラ１５０に発生させる処理等を行う。

＜４．質問回答サーバ２０の機能的な構成＞
図３は、自動応答システム１を構成する質問回答サーバ２０の機能的な構成を示す図である。質問回答サーバ２０は、例えば、ユーザサポートにおいて、問合せ対応を行うサポート管理者が扱う端末が想定される。図３に示すように、質問回答サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。

通信部２０１は、質問回答サーバ２０が外部の装置と通信するための処理を行う。

記憶部２０２は、質問回答サーバ２０が使用するデータおよびプログラムを記憶する。記憶部２０２は、例えば以下のデータを記憶している。
・ユーザデータベース２０２１（ユーザＤＢ２０２１）
・質問回答データベース２０２２（質問回答ＤＢ２０２２）
・操作ログデータベース２０２３（操作ログＤＢ２０２３）
・学習用データデータベース２０２４（学習用データＤＢ２０２４）
・質問分類モデル２０２５
・行動分類モデル２０２６

＜４－１．データベースの構造＞
各データベースについて詳述する。なお、質問分類モデル２０２５および行動分類モデル２０２６の詳細については後述する。

＜４－１―１．ユーザＤＢ２０２１＞
ユーザＤＢ２０２１は、ユーザに関する情報を記憶するデータベースである。図４は、記憶部２０２が記憶するユーザＤＢ２０２１の具体例を示す図である。
図４に示すように、ユーザＤＢ２０２１は、項目「ユーザＩＤ」と、項目「氏名」と、項目「個人情報」と、項目「会員情報」と、項目「端末情報」と、を備えている。ユーザＤＢ２０２１は、例えば、ユーザの会員登録の際に、新たなレコードが記録される。

項目「ユーザＩＤ」には、個々のユーザを特定可能なユーザの識別情報が格納される。

項目「氏名」は、ユーザＩＤに対応するユーザの氏名の情報が格納される。

項目「個人情報」には、ユーザＩＤに対応するユーザの個人に関する属性情報が格納される。個人に関する属性情報としては、例えば、性別、年齢、居住地、国籍、職業、家族構成、出身地、母国語などを含む。

項目「会員情報」には、ユーザＩＤに対応するユーザの自動応答システム１を利用する会員としての属性情報が格納される。会員としての属性情報としては、例えば、会員種別、利用履歴、契約内容などを含む。

項目「端末情報」には、ユーザＩＤに対応するユーザが使用するユーザ端末１０に関する属性情報が格納される。端末としての属性情報としては、タブレット、スマートフォンを識別する端末識別情報などが含まれる。
なお、図４に示すユーザＤＢ２０２１の構造はあくまで例示であり、その他の項目を管理してもよい。また、記憶部２０２は、ユーザＤＢ２０２１を記憶していなくてもよい。

＜４－１―２．質問回答ＤＢ２０２２＞
図３に示す質問回答ＤＢ２０２２は、質問パターンと回答パターンとを対応付けて記憶するデータベースである。図５は、記憶部２０２が記憶する質問回答ＤＢ２０２２の具体例を示す図である。
図５に示すように、質問回答ＤＢ２０２２には、ある１つのカテゴリに対して、タイトルと１つの回答パターンが対応づけられ、１つのカテゴリに対して想定される１又は複数の質問パターンが記憶されている。すなわち、カテゴリに対して回答パターンおよび質問パターンが紐づけられている。質問回答ＤＢ２０２２は、例えば、自動応答システム１の運用開始前に予め記憶部２０２に記憶されている。

質問回答ＤＢ２０２２は、項目「カテゴリ」と、項目「回答パターン」と、項目「質問パターン」と、を備えている。
項目「カテゴリ」には、質問のカテゴリを示すタイトルが格納される。カテゴリのタイトルとは、例えば、質問の内容を端的に示す情報である。

また、１つの回答パターンに対する質問パターンは１つである必要はない。例えば、ＥＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｍｍｅｒｃｅ）サイトで購入を行う場合に、ユーザが住所を変更する方法を知りたい場合には、「住所を変更したい。」「住所を間違えて入力しました。」などの様々な聞き方が考えられることから、一つのカテゴリ（タイトル：住所の変更方法）に対して、質問パターンを複数登録しておくことが有益である。
なお、質問回答ＤＢ２０２２は、カテゴリのタイトルを階層的に管理した構造を備えてもよい。

＜４－１―３．操作ログＤＢ２０２３＞
図３に示す操作ログＤＢ２０２３は、ユーザの操作ログを記憶するデータベースである。図６は、記憶部２０２が記憶する操作ログＤＢ２０２３の具体例を示す図である。
図６に示すように、操作ログＤＢ２０２３は、項目「操作ログＩＤ」と、項目「ユーザＩＤ」と、項目「操作情報」と、項目「操作対象」と、項目「操作日時」と、を備えている。操作ログＤＢ２０２３は、ユーザからの操作を受け付けるたびに、新たなレコードとして記録される。

項目「操作ログＩＤ」には、質問回答サーバ２０が取得したユーザの操作ログを識別するための識別情報が格納される。

項目「ユーザＩＤ」には、操作ログＩＤに対応する操作を行ったユーザのユーザＩＤが格納される。

項目「操作情報」には、操作ログＩＤに対応する操作情報が格納される。操作情報は、時系列情報であり、例えば、ログインをした操作、ページ遷移の操作、ページ滞在の操作、クリックによる商品選択の操作等が記述されている。

項目「操作対象」には、操作ログＩＤに対応する操作を行ったサイトのＵＲＬが格納される。

項目「操作日時」には、操作ログＩＤに対応する操作の日時が格納される。
なお、図６に示す操作ログＤＢ２０２３の構造はあくまで例示であり、その他の項目を管理してもよい。

＜４－１―４．学習用データＤＢ２０２４＞
図３に示す学習用データＤＢ２０２４は、ユーザの行動特性を学習するための学習用データを記憶するデータベースである。図７は、記憶部２０２が記憶する学習用データＤＢ２０２４の具体例を示す図である。
図７に示すように、学習用データＤＢ２０２４は、項目「データＩＤ」、項目「操作ログＩＤ」と、項目「回答カテゴリ」と、項目「評価スコア」と、を備えている。

項目「データＩＤ」には、学習用データとしての識別情報が格納される。

項目「操作ログＩＤ」には、データＩＤに対応する学習用データとして、過去のユーザからの問い合わせに関する一連の操作ログが格納される。問い合わせに関する一連の操作ログとは、自動応答システム１への質問文の入力およびその所定時間前に行った操作ログが含まれる。

項目「回答カテゴリ」には、データＩＤに対応する問い合わせに関する一連の操作ログにおいて、自動応答システム１から回答された回答文が該当するカテゴリに関する情報が格納される。

項目「評価スコア」には、データＩＤに対応する質問に関する一連の操作ログにおいて、自動応答システム１から回答された回答文に対して、ユーザがその後に入力したアンケート結果のスコアに関する情報が格納される。
なお、図７に示す学習用データＤＢ２０２４の構造はあくまで例示であり、その他の項目を管理してもよい。

＜４－２．制御部の機能＞
図３に示す制御部２０３は、質問回答サーバ２０のプロセッサ２９が、プログラムに従って処理を行うことにより、各種の機能モジュールとしての機能を発揮する。
各種の機能モジュールとしては、送受信制御モジュール２０３１、質問文取得モジュール２０３２、第１尤度算出モジュール２０３３、第２尤度算出モジュール２０３４、カテゴリ選定モジュール２０３５、回答出力モジュール２０３６、アンケート取得モジュール２０３７、および学習用データ選定モジュール２０３８を含む。

送受信制御モジュール２０３１は、質問回答サーバ２０が外部の装置から通信プロトコルに従って信号を送受信する処理を制御する。

また、質問文取得モジュール２０３２は、ユーザがユーザ端末１０に入力した質問に関するテキストデータを取得する。自然文のテキスト形式での質問を可能とすることにより、ユーザは人に問合せているのと同じような感覚で簡単に問合せを行うことが可能となる。

第１尤度算出モジュール２０３３は、質問に関するテキストデータから、質問回答ＤＢ２０２２に記憶された複数のカテゴリそれぞれについて、第１尤度を算出する。第１尤度とは、質問文から推定される当該質問文との関連の度合いを示す指標である。言い換えれば、第１尤度とは、質問文から推定される、当該質問文が、あるカテゴリに該当する尤もらしさを示す指標である。
第１尤度算出モジュール２０３３は、質問分類モデル２０２５に対して、質問文を入力することで、複数のカテゴリそれぞれの第１尤度を算出する。

質問分類モデル２０２５は、学習用データに基づき、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることにより得られる。本実施形態において、質問分類モデル２０２５は、例えば、質問文の入力に対して、カテゴリ毎の第１尤度を出力するように学習されている。このとき、学習用データは、複数の質問パターンを入力データとし、複数の質問パターンそれぞれが該当するカテゴリを正解出力データとする。

質問分類モデル２０２５は、例えば、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数、及びパラメータの組合せにより定義される。質問分類モデル２０２５は、上記の要請を満たす如何なるパラメータ付き合成関数であってもよいが、多層のネットワークモデル（以下、多層化ネットワークと呼ぶ）であるとする。多層化ネットワークを用いる質問分類モデル２０２５は、質問を入力する入力層と、第１尤度を出力する出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層あるいは隠れ層とを有する。質問分類モデル２０２５は、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定される。

本実施形態に係る多層化ネットワークとしては、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（Deep Neural Network：ＤＮＮ）が用いられ得る。ＤＮＮとしては、例えば、時系列情報等を対象とする再帰型ニューラルネットワーク（Recurrent Neural Network：ＲＮＮ）を用いてもよい。また、自然言語を対象とする自己注意機構付きネットワークを用いてもよい。

第１尤度の算出において、質問分類モデル２０２５は、質問文を、質問回答ＤＢ２０２２に記憶された質問パターンと比較し、その類似度に基づいて、第１尤度を算出する。
類似度の算出では、例えば、自然言語処理により計算することが可能である。具体的には、質問パターンと質問文からキーワードをそれぞれ抽出しておき、キーワードの一致度をキーワード毎の重みなども用いて類似度とすることが考えられる。他にも、質問パターンと質問文をそれぞれベクトル化し、コサイン類似度を用いて類似度を算出することも可能である。このように、類似度を用いて質問文がどの質問パターン群に類似するか算出することで、質問回答ＤＢ２０２２に記憶されている質問パターンと同一でなくとも、回答パターンを選択することが可能となる。

第２尤度算出モジュール２０３４は、行動ログ（操作ログ）に基づいて、質問回答ＤＢ２０２２に記憶された複数のカテゴリそれぞれについて、第２尤度を算出する。第２尤度とは、行動ログから推定される当該操作ログと、カテゴリと、の関連の度合を示す指標である。言い換えれば、第２尤度とは、ユーザの行動ログから推定される、当該行動ログをとるユーザからの質問が、あるカテゴリに該当する尤もらしさを示す指標である。

第２尤度算出モジュール２０３４は、行動分類モデル２０２６に対して、行動ログを入力することで、複数のカテゴリそれぞれの第２尤度を算出する。行動ログとしては、操作ログＤＢ２０２３に格納される各項目の少なくともいずれかの情報を用いることができる。例えば、質問文を入力した時点、又はその直前に開いているウェブサイトのページの情報を、行動ログとして用いることができる。質問文を入力した時点、又はその直前に開いているウェブサイトのページの情報は、操作ログＤＢ２０２３における項目「操作対象」から取得することができる。

行動分類モデル２０２６は、学習用データに基づき、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることにより得られる。本実施形態において、行動分類モデル２０２６は、例えば、行動ログの入力に対して、カテゴリ毎の第２尤度を出力するように学習されている。このとき、学習用データは、複数のユーザの行動ログを入力データとし、行動ログそれぞれに対応するカテゴリを正解出力データとする。行動ログに対応するカテゴリとは、当該行動ログにおいて行われた質問に対して適切な回答とされるカテゴリを指す。

行動分類モデル２０２６は、例えば、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数、及びパラメータの組合せにより定義される。行動分類モデル２０２６は、上記の要請を満たす如何なるパラメータ付き合成関数であってもよいが、多層のネットワークモデル（以下、多層化ネットワークと呼ぶ）であるとする。多層化ネットワークを用いる行動分類モデル２０２６は、操作ログを入力する入力層と、第２尤度を出力する出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層あるいは隠れ層とを有する。行動分類モデル２０２６は、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定される。

本実施形態に係る多層化ネットワークとしては、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（Deep Neural Network：ＤＮＮ）が用いられ得る。ＤＮＮとしては、例えば、時系列情報等を対象とする再帰型ニューラルネットワーク（Recurrent Neural Network：ＲＮＮ）を用いてもよい。また、自然言語を対象とする自己注意機構付きネットワークを用いてもよい。

学習用データＤＢ２０２４に記憶された操作ログを用いて行動分類モデル２０２６を作成することができる。この場合には、第２尤度の算出において、行動分類モデル２０２６は、入力されたユーザの行動ログ（操作ログ）を、学習用データＤＢ２０２４に記憶された操作ログと比較し、その類似度に基づいて、第２尤度を算出する。

また、第２尤度の算出では、行動分類モデル２０２６を、前述した第２尤度を出力する機械学習モデルとする手法の他に、行動分類モデル２０２６が、過去の回答結果の実績から、統計的に第２尤度を算出する手法を採用してもよい。
具体的には、例えば行動ログとして、質問文を入力した時点、又はその直前に開いているウェブサイトのページの情報を用いる場合には、行動分類モデル２０２６は、当該ページを開いているユーザが過去に行った質問について、その後に回答されたそれぞれのカテゴリに関する確立分布を算出し、当該ウェブサイトのページに対応するカテゴリごとの第２尤度とすることができる。

また、行動分類モデル２０２６は、学習用データＤＢ２０２４に蓄積された学習用データを統計的に処理することで、第２尤度を算出する手法を採用してもよい。
この場合には、例えば行動ログとして、質問文を入力した時点、又はその直前に開いているウェブサイトのページの情報を用いる場合において、当該ページを開いているユーザが過去に行った質問のうち、回答後のアンケートで肯定的な評価を得られた割合について、回答されたそれぞれのカテゴリを変数とする確立分布を算出し、当該ウェブサイトのページに対応するカテゴリごとの第２尤度としてもよい。

カテゴリ選定モジュール２０３５は、第１尤度、およびユーザの行動ログに基づいて、質問文が該当するカテゴリを選定する。すなわち、質問回答サーバ２０は、質問文とは異なる性質の情報であるユーザの行動ログを用いて、回答するべきカテゴリを選定する。

カテゴリ選定モジュール２０３５は、カテゴリを選定する際に、質問分類モデル２０２５に対して変更を加えることなく、質問分類モデル２０２５から算出された第１尤度および行動ログに基づいて、カテゴリを選定する。すなわち、カテゴリ選定モジュール２０３５は、質問文から推定される回答するべきカテゴリに関する評価と、ユーザの行動ログから推定される回答するべきカテゴリに関する評価と、を個別に行ったうえで、それぞれの評価結果を統合して、質問文に対して回答するべきカテゴリを最終的に選定する。この判断手法によれば、従来から採用されていた質問文から回答するべきカテゴリを推定する質問分類モデル２０２５を変更することなく、踏襲することができる。

カテゴリ選定モジュール２０３５は、第１尤度および第２尤度に基づいて、質問文が該当するカテゴリを選定する。具体的には、カテゴリ選定モジュール２０３５は、第１尤度に対して第２尤度を乗じて評価指標を算出し、算出した評価指標に基づいて、カテゴリを選定する。なお、カテゴリ選定モジュール２０３５は、第１尤度の値と第２尤度の値とを乗じて得た値に対して、予め設定された任意の正規化を行って評価指標の値としてもよい。
カテゴリ選定モジュール２０３５は、評価指標の上位ｎ件のカテゴリを選択してもよい。

回答出力モジュール２０３６は、選定されたカテゴリに紐づけられた回答パターンを、ユーザ端末１０に対して出力する。回答出力モジュール２０３６は、質問回答ＤＢ２０２２を参照して、カテゴリ選定モジュール２０３５が選定したカテゴリと紐づけられている回答パターンを特定し、回答パターンのテキストデータを、質問文に対する回答として、ユーザ端末１０に対して出力する。
回答出力モジュール２０３６は、評価指標の上位ｎ件の回答文を、カテゴリとともにユーザ端末１０に出力し、ユーザに最も適切な回答を選択させてもよい。

また、回答出力モジュール２０３６は、選定されたカテゴリの評価指標が、予め設定した閾値を超えない場合には、質問文の表現が不明確であると推定し、回答パターンの表示を行わないとともに、「質問文を変更してください」など、別の質問を促すような表示を行うことも可能である。これにより、ユーザは、質問文を訂正する機会が得られるとともに、意図した質問に対する回答とは異なる回答パターンが表示されることを避け、不要な混乱を招かずに済むことが可能となる。

アンケート取得モジュール２０３７は、ユーザ端末１０に対してアンケートを出力する。アンケートは、ユーザに対して出力した回答の妥当性の評価に関する内容となっている。アンケートには、例えば以下の質問が設定されている。
・ユーザが抱える課題が解決したどうか
・回答したカテゴリおよび回答が妥当であったかどうか
アンケートへの回答形式は、Ｙｅｓ／Ｎｏといった択一的な回答形式であってもよいし、５段階評価のような定量的な回答形式であってもよい。

学習用データ選定モジュール２０３８は、行動分類モデル２０２６が機械学習をするための学習用データを選定する。学習用データ選定モジュール２０３８は、過去のユーザからの質問文の入力に関する一連の行動ログと、当該質問文に対して選定されたカテゴリについてのユーザからの評価結果を用いて、一連の行動ログに対応する回答カテゴリを学習用データとして選別する。
すなわち、学習用データ選定モジュール２０３８は、ユーザから高評価を得た回答が紐づけられたカテゴリと、その時の質問に至った一連の行動ログと、を学習用データとして選別して、学習用データＤＢ２０２４に記憶させる。

＜５．処理の流れ＞
次に、自動応答システム１の処理について説明する。自動応答システム１は、対話形式のテキスト入力インタフェースによる応答システムとしての処理を実行する。すなわち、自動応答システム１は、対話形式のテキスト入力インタフェースを用いて、ユーザサポートの問い合わせ画面におけるチャットボットとしての役割を担う。

対話形式のテキスト入力インタフェースによる応答システムとしては、例えばＥＣサイトの問い合わせ画面の右下等にポップアップ表示されるチャットボットが挙げられる。
対話形式のテキスト入力インタフェースによる応答システムでは、まず、システム設定の準備として、対話形式のテキスト入力インタフェースによる応答システムとして使用する会話カードの登録を行う。会話カードには、ユーザに対して質問のテキスト入力を促すための案内文が含まれる。これにより、問い合わせ画面にアクセスしたユーザに対して、メッセージによる案内を行う準備が整った状態となる。

図８は、自動応答システム１による処理のフローの全体を説明する図である。
図８に示すように、自動応答システム１の処理では、まず、ユーザがユーザ端末１０のキーボード１３１から、質問内容をテキスト入力する（ステップＳ１０１）。ユーザ端末１０の制御部１７０は、入力されたテキスト情報をデータ処理部１７３の処理に従って、送受信部１７２を介して質問回答サーバ２０に送信する。

ステップＳ１０１の後に、質問回答サーバ２０は、質問文を取得する（ステップＳ２０１）。
具体的には、質問回答サーバ２０の質問文取得モジュール２０３２が、ユーザ端末１０から送信された質問に関するテキスト情報を取得する。

ステップＳ２０１の後に、質問回答サーバ２０は、それぞれのカテゴリにおける第１尤度を算出する（ステップＳ２０２）。
具体的には、質問回答サーバ２０の第１尤度算出モジュール２０３３は、質問に関するテキスト情報を質問分類モデル２０２５に入力することで、質問回答ＤＢ２０２２に記憶された複数のカテゴリについて、それぞれにおける第１尤度を算出する。

ステップＳ２０２の後に、質問回答サーバ２０は、カテゴリを選定する（ステップＳ２０３）。図９は、質問回答サーバ２０によるカテゴリ選定の処理のフローを説明する図である。
図９に示すように、カテゴリ選定の処理では、質問回答サーバ２０は、それぞれのカテゴリにおける第２尤度を算出する（ステップＳ２０３１）。
具体的には、質問回答サーバ２０の第２尤度算出モジュール２０３４は、行動分類モデル２０２６に対してユーザの行動ログを入力することで、第２尤度を算出する。

ステップＳ２０３１の後に、質問回答サーバ２０は、第１尤度と第２尤度とを用いて評価指標を算出する（ステップＳ２０３２）。
具体的には、質問回答サーバ２０のカテゴリ選定モジュール２０３５は、第１尤度の値と第２尤度の値とを乗じることで、それぞれのカテゴリにおける評価指標を算出する。ここで、カテゴリ選定モジュール２０３５は、第１尤度の値と第２尤度の値とを乗じて得た値に対して、予め設定された任意の正規化を行って評価指標の値としてもよい。
なお、評価指標の計算方法としては、この例に限られない。例えば、第１尤度および第２尤度の少なくとも一方に重みづけを行ったうえで、加算又は乗算により評価指標を算出してもよい。また、第１尤度と第２尤度とを変数とする評価指標を算出する関数を予め設定してもよい。

ステップＳ２０３２の後に、質問回答サーバ２０は、算出された評価指標に基づき、カテゴリを選定する（ステップＳ２０３３）。
具体的には、質問回答サーバ２０のカテゴリ選定モジュール２０３５は、質問回答ＤＢ２０２２に設定された複数のカテゴリのうち、評価指標が最も高い評価となるカテゴリを選択する。この際、カテゴリ選定モジュール２０３５は、評価指標の上位ｎ件のカテゴリを選択してもよい。
これにより、図８に示すカテゴリの選定の処理（ステップＳ２０３）が終了する。

図８に示すように、ステップＳ２０３の後に、質問回答サーバ２０は、回答を出力する（ステップＳ２０４）。
具体的には、質問回答サーバ２０の回答出力モジュール２０３６は、質問回答ＤＢ２０２２を参照し、カテゴリ選定モジュール２０３５により選定されたカテゴリに紐づけられた回答パターンを特定し、テキストデータとしてユーザ端末１０に回答する。

ステップＳ２０４の後に、ユーザ端末１０は、受信した回答を表示する（ステップＳ１０２）。
具体的には、ユーザ端末１０の制御部１７０は、回答に関するテキスト情報を、ディスプレイ１３２に出力する。これにより、ユーザに対して、入力した質問への質問回答サーバ２０からの回答が提示される。

ステップＳ１０２の後に、質問回答サーバ２０は、アンケートを出力する（ステップＳ２０５）。
具体的には、質問回答サーバ２０のアンケート取得モジュール２０３７は、回答の妥当性に関する評価の入力を受け付けるアンケートをユーザ端末１０に対して送信する。

ステップＳ２０５の後に、ユーザ端末１０は、受信したアンケートを表示する（ステップＳ１０３）。
具体的には、ユーザ端末１０の制御部１７０は、回答の妥当性に関するアンケートを、ディスプレイ１３２に出力する。これにより、ユーザに対して、回答の妥当性に関するアンケートが提示される。

ステップＳ１０３の後に、ユーザ端末１０は、アンケートへの回答を受け付ける（ステップＳ１０４）。
具体的には、ユーザ端末１０の制御部１７０は、アンケートへのユーザからの回答の入力を受け付け、データ処理部１７３の処理に従って、送受信部１７２を介して質問回答サーバ２０に送信する。

ステップＳ１０４の後に、質問回答サーバ２０は、アンケートへの回答を取得する（ステップＳ２０６）。
具体的には、質問回答サーバ２０の送受信制御モジュール２０３１は、ユーザ端末１０から送信されたアンケートへの回答に関する情報を取得する。
以上により、対話形式のテキスト入力インタフェースによる自動応答の処理が終了する。

次に、質問回答サーバ２０による学習用データの選定の処理について説明する。図１０は、質問回答サーバ２０による学習用データの選定の処理のフローを説明する図である。
質問回答サーバ２０における学習用データ選定モジュール２０３８は、管理からの操作を受け付け、行動分類モデル２０２６に学習される学習用データの選定を行う。管理者は、行動分類モデル２０２６の識別性能（第２尤度の妥当性）を維持、向上するために、行動分類モデル２０２６に再学習させるデータを準備する。

具体的には、行動分類モデル２０２６に再学習させるための学習用データを選定するために、管理者は、蓄積された操作ログおよび回答に対する評価結果から、学習用データの選定に関する指示を質問回答サーバ２０に入力する。
なお、質問回答サーバ２０により選定された行動分類モデル２０２６への学習用データは、再学習への利用に限定されず、その後に新たに生成される行動分類モデル２０２６の機械学習に用いてもよい。

図１０に示すように、学習用データの選定の処理では、質問回答サーバ２０が、質問に関連する行動ログを抽出する（ステップＳ２１１）。
具体的には、質問回答サーバ２０の学習用データ選定モジュール２０３８は、操作ログＤＢ２０２３を参照して、蓄積された操作ログのうち、自動応答システム１を用いて質問をした操作に関する操作ログ、および直前の操作に関する操作ログを抽出する。

ここで、直前の操作ログとは、操作日時を基準とし、質問に関する操作が行われた時点から、所定時間前の範囲で行われた操作に関する操作ログを指す。なお、この説明において、自動応答システム１を用いて質問をした操作に関する操作ログ、および直前の操作に関する操作ログをまとめて、質問文の入力に関する一連の操作ログという。

例えば、自動応答システム１を用いてログインに関する問い合わせ（パスワードの再発行）を行ったユーザは、その直前にログインを試みてエラーがでるという操作を行っていることが想定される。このため、質問の内容と、質問の直前の操作には、一定の関連性がある場合がある。そこで、学習用データ選定モジュール２０３８は、質問文の入力に関する操作ログ、およびその直前の操作に関する操作ログを、質問文の入力に関する一連の操作ログとして抽出する。

ステップＳ２１１の後に、質問回答サーバ２０は、抽出した一連の操作ログに対する回答へのアンケート結果を抽出する（ステップＳ２１２）。
具体的には、質問回答サーバ２０の学習用データ選定モジュール２０３８は、以下の情報を抽出する。
・抽出した操作による質問において入力された質問文
・当該質問文に対して、質問回答サーバ２０が選定したカテゴリおよび出力した回答文
・質問回答サーバ２０からの回答に対するユーザからのアンケート結果

ステップＳ２１２の後に、質問回答サーバ２０は、肯定的な評価を受けた回答に関する操作ログを特定する（ステップＳ２１３）。
具体的には、質問回答サーバ２０の学習用データ選定モジュール２０３８は、抽出したアンケート結果を参照して、以下の情報を特定する。
・ユーザから肯定的な評価を受けた回答について、当該回答を得るために入力された質問に関する操作ログ
・肯定的な評価を受けた回答の内容（回答文およびカテゴリ）

これにより、学習用データ選定モジュール２０３８は、質問をする直前になんらかの操作が行われた質問において、ユーザが求めている回答を得られた質問を特定し、当該質問の直前に行われた操作に関する操作ログを特定することができる。言い換えれば、学習用データ選定モジュール２０３８は、質問文の入力に関する一連の操作ログと関連性が高い回答内容（カテゴリ、回答文）を特定することができる。

ステップＳ２１３の後に、質問回答サーバ２０は、特定した操作ログと、対応するカテゴリと、を選定する（ステップＳ２１４）。
具体的には、質問回答サーバ２０の学習用データ選定モジュール２０３８は、特定した操作ログと、当該操作ログに係る質問に対して選定されたカテゴリと、を学習用データとして選定する。学習用データ選定モジュール２０３８は、選定した操作ログに関する操作ログＩＤを、学習用データＤＢ２０２４における項目「操作ログＩＤ」に記録し、選定したカテゴリを学習用データＤＢ２０２４における項目「回答カテゴリ」に記録する。この際、データＩＤが新たに割り振られ、学習用データＤＢ２０２４における新たなレコードが記録される。

学習用データ選定モジュール２０３８は、当該操作ログに係る質問への回答についてのアンケート結果の値を、評価スコアとして抽出し、学習用データＤＢ２０２４に記録してもよい。評価スコアを参照することで、学習用データに含まれる操作ログと、操作ログに対して回答するべきカテゴリと、の関連の度合いを把握することができ、優先して学習するべき学習用データを選別することができる。
以上により、質問回答サーバ２０による学習用データの選定の処理が終了する。

＜６．小括＞
以上説明したように、自動応答システム１では、質問回答サーバ２０が、質問文から算出された第１尤度、およびユーザの行動ログに基づいて、質問文が該当するカテゴリを選定する。すなわち、自動応答システム１では、従来のように質問文と予め設定された質問パターンとの比較だけではなく、ユーザの行動ログを考慮して、質問文に対して回答するべきカテゴリを選定する。このため、質問文の内容に加えて、ユーザの行動傾向を考慮してカテゴリを選定することができ、効率的に機械学習モデルの識別性能を向上することができる。

また、自動応答システム１では、質問回答サーバ２０が、質問分類モデル２０２５に対して、質問文を入力することで、複数のカテゴリそれぞれについて第１尤度を算出する。そして、質問分類モデル２０２５は、複数の質問パターンを入力データとし、複数の質問パターンそれぞれに対応する回答パターンが紐づけられた複数のカテゴリを正解出力データとする学習用データを用いた機械学習により作成されている。このため、第１尤度の算出を高い精度を行うことができる。

また、自動応答システム１では、質問回答サーバ２０が、質問分類モデル２０２５に対して変更を加えることなく、質問分類モデル２０２５から算出された第１尤度、および行動ログに基づいて、カテゴリを選定する。このため、既存の質問分類モデル２０２５を使用する応答システムに対する機能拡張により、自動応答システム１の機能を実現可能となり、自動応答システム１の導入を円滑に行うことができる。

また、自動応答システム１では、質問分類モデル２０２５は、質問文と質問パターンとの類似度に基づいて、第１尤度の算出を行う。このため、類似度の値を用いて、定量的に第１尤度を算出することができる。

また、自動応答システム１では、質問回答サーバ２０が、複数のカテゴリそれぞれについて、第２尤度を算出し、第１尤度および第２尤度に基づいて、質問文が該当するカテゴリを選定する。このため、第１尤度とは独立した行動ログから評価される第２尤度を用いることで、多面的な評価により、質問が該当する適切なカテゴリを選定することができる。

また、自動応答システム１では、質問回答サーバ２０が、行動分類モデル２０２６に対して、行動ログを入力することで、複数のカテゴリそれぞれについて、第２尤度を算出する。
そして、行動分類モデル２０２６は、複数のユーザの行動ログを入力データとし、複数のユーザの行動ログそれぞれに対応する回答パターンが紐づけられた複数のカテゴリを正解出力データとする学習用データを用いた機械学習により作成されている。このため、第２尤度の算出を高い精度を行うことができる。

また、自動応答システム１では、質問回答サーバ２０が、過去のユーザからの質問文の入力に関する一連の行動ログと、当該質問文への回答についてのユーザからの評価結果を用いて、一連の行動ログに対応する回答カテゴリを学習用データとして選別する。
このため、ユーザによる自動応答システム１の利用により蓄積された操作ログおよびアンケート結果を用いて、行動分類モデル２０２６を再学習することができ、行動分類モデル２０２６の識別性能を効率的に向上することができる。

また、自動応答システム１では、質問回答サーバ２０が、第１尤度に対して第２尤度を乗じて得た評価指標に基づいて、カテゴリを選定する。このため、評価指標を定量的に算出することができる。

＜７．変形例＞
自動応答システム１としての処理は、他の処理を行ってもよい。
例えば、カテゴリ選定モジュール２０３５は、カテゴリを選定する処理において、第１尤度、およびユーザの行動ログに加えて、ユーザの属性に基づいて、カテゴリを選定してもよい。このような変形例に係る自動応答システム１の構成および処理について詳述する。図１１は、変形例に係る自動応答システム１の質問回答サーバ２０Ｂの機能的な構成を示す図である。

図１１に示すように、質問回答サーバ２０Ｂの制御部２０３は、第３尤度算出モジュール２０３９をさらに備えている。また、質問回答サーバ２０Ｂの記憶部２０２は、属性分類モデル２０２７をさらに備えている。

第３尤度算出モジュール２０３９は、質問を行ったユーザの属性から、質問回答ＤＢ２０２２に記憶された複数のカテゴリそれぞれについて、第３尤度を算出する。第３尤度とは、質問を行ったユーザの属性から推定される、当該ユーザが行った質問と、質問が該当するカテゴリとの関連の度合を示す指標である。言い換えれば、第３尤度とは、ユーザの属性から推定される、当該ユーザによる質問が、あるカテゴリに該当する尤もらしさを示す指標である。

第３尤度算出モジュール２０３９は、属性分類モデル２０２７に対して、質問したユーザのユーザ属性を入力することで、複数のカテゴリそれぞれの第３尤度を算出する。ユーザ属性としては、ユーザＤＢ２０２１に格納される個人情報、会員情報、および端末情報の少なくともいずれかの情報を用いることができる。

属性分類モデル２０２７は、学習用データに基づき、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることにより得られる。本実施形態において、属性分類モデル２０２７は、例えば、ユーザ属性の入力に対して、カテゴリ毎の第３尤度を出力するように学習されている。このとき、学習用データは、複数のユーザ属性を入力データとし、それぞれのユーザ属性のユーザが行った質問が該当するカテゴリを正解出力データとする。

属性分類モデル２０２７は、例えば、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数、及びパラメータの組合せにより定義される。属性分類モデル２０２７は、上記の要請を満たす如何なるパラメータ付き合成関数であってもよいが、多層のネットワークモデル（以下、多層化ネットワークと呼ぶ）であるとする。多層化ネットワークを用いる属性分類モデル２０２７は、ユーザ属性を入力する入力層と、第３尤度を出力する出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層あるいは隠れ層とを有する。属性分類モデル２０２７は、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定される。

本実施形態に係る多層化ネットワークとしては、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（Deep Neural Network：ＤＮＮ）が用いられ得る。ＤＮＮとしては、例えば、時系列情報等を対象とする再帰型ニューラルネットワーク（Recurrent Neural Network：ＲＮＮ）を用いてもよい。また、自然言語を対象とする自己注意機構付きネットワークを用いてもよい。

第３尤度の算出では、属性分類モデル２０２７は、過去の回答結果の実績から、統計的に第３尤度を算出することができる。
具体的には、属性分類モデル２０２７は、過去に質問を行ったユーザのユーザ属性と、回答されたそれぞれのカテゴリに関する確立分布を算出し、当該ユーザ属性に対応するカテゴリごとの第３尤度とすることができる。
また、属性分類モデル２０２７は、ユーザが過去に行った質問のうち、回答後のアンケートで肯定的な評価を得られた割合について、回答されたそれぞれのカテゴリを変数とする確立分布を算出し、当該ユーザ属性に対応するカテゴリごとの第３尤度としてもよい。

第３尤度算出モジュール２０３９は、少なくとも図９に示すステップＳ２０３２の前に、第３尤度を算出する。そして、カテゴリ選定モジュール２０３５は、図９に示すステップＳ２０３２において、第１尤度および第２尤度に加えて、第３尤度を用いてカテゴリの評価指標を算出する。カテゴリ選定モジュール２０３５は、図９に示すステップＳ２０３３において、第３尤度も用いた評価指標に基づき、カテゴリを選定する。

変形例に係る質問回答サーバ２０では、学習用データ選定モジュール２０３８は、行動分類モデル２０２６に対して学習させる学習用データを選定する処理に加えて、属性分類モデル２０２７に対して学習させる学習用データを選定する処理を行ってもよい。
この場合には、学習用データ選定モジュール２０３８は、過去に質問を行ったユーザのユーザ属性と、ユーザ属性に対応する回答カテゴリのうち、評価が高かった組み合わせを、学習用データとして選別してもよい。

また、前述した変形例では、質問回答サーバ２０が、第２尤度を算出する第２尤度算出モジュール２０３４、および第３尤度を算出する第３尤度算出モジュール２０３９を備え、それぞれのモジュールが、個別に第２尤度および第３尤度を算出する処理を説明したが、このような態様に限られない。
すなわち、質問回答サーバ２０は、行動ログとユーザ属性の両方を用いて、質問が、あるカテゴリに該当する尤もらしさを示す第４尤度を算出し、第１尤度と第４尤度に基づいて、回答するべきカテゴリを選定してもよい。
この場合には、第４尤度を算出する分類モデル（行動・属性分類モデル）として、行動ログおよびユーザ属性の入力に対して、第４尤度を出力する機械学習モデルを採用することができる。行動・属性分類モデルは、行動ログおよびユーザ属性を入力データとし、当該行動ログおよびユーザ属性に該当する質問への適切な回答カテゴリを盛夏期学習データとした機械学習により作成される。

＜８．その他の変形例＞
その他の変形例として、質問回答ＤＢ２０２２は、コンピュータにプログラムを実装するサーバにより実現されてもよい。質問回答サーバ２０を構成する各部は、複数のコンピュータに分散して実現されていても構わない。

また、質問回答サーバ２０は、質問文に基づいたカテゴリの選定に加えて、ユーザの行動ログに基づいたカテゴリの選定をすることなく、ユーザの属性に基づいたカテゴリの選定を行ってもよい。すなわち、質問回答サーバ２０は、第２尤度を算出することなく、第１尤度および第３尤度を用いて、カテゴリを選定するための評価指標を算出してもよい。

また、質問回答サーバ２０は、第２尤度を算出することなく、第１尤度、およびユーザの行動ログに基づいて、質問文が該当するカテゴリを選定してもよい。
また、質問回答サーバ２０は、第３尤度を算出することなく、第１尤度、およびユーザのユーザ属性に基づいて、質問文が該当するカテゴリを選定してもよい。

以上、本開示の実施形態について説明したが、設計上の都合やその他の要因によって必要となる様々な修正や組み合わせは、請求項に記載されている発明や発明の実施形態に記載されている具体例に対応する発明の範囲に含まれるものとする。

＜９．付記＞
本発明の内容を以下に付記する。

（付記１）
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、
ユーザ端末からユーザが入力した質問文と、記憶部に記憶された質問パターンと、に基づいて、記憶部に記憶され、回答パターンが紐づけられた複数のカテゴリそれぞれについて、質問文から推定される当該質問文との関連の度合いを示す第１尤度を算出するステップ（ステップＳ２０２）と、
算出された第１尤度、およびユーザの行動ログに基づいて、質問文が該当するカテゴリを選定するステップ（ステップＳ２０３）と、
選定されたカテゴリに紐づけられた回答パターンを、ユーザ端末に対して出力するステップ（ステップＳ２０５）と、を実行させる、プログラム。

（付記２）
第１尤度を算出するステップ（ステップＳ２０３）では、
複数の質問パターンを入力データとし、複数の質問パターンそれぞれが該当するカテゴリを正解出力データとする学習用データを用いた機械学習により作成された質問分類モデル２０２５に対して、質問文を入力することで、複数のカテゴリそれぞれについて、第１尤度を算出する、付記１に記載のプログラム。

（付記３）
カテゴリを選定するステップ（ステップＳ２０３）では、
質問分類モデル２０２５に対して変更を加えることなく、質問分類モデル２０２５から算出された第１尤度および行動ログに基づいて、カテゴリを選定する、付記２に記載のプログラム。

（付記４）
カテゴリを選定するステップ（ステップＳ２０３）では、プロセッサに、
行動ログに基づいて、記憶部に記憶された複数のカテゴリそれぞれについて、行動ログから推定される行動ログとの関連の度合いを示す第２尤度を算出するステップ（ステップＳ２０３１）と、
第１尤度および第２尤度に基づいて、質問文が該当するカテゴリを選定するステップ（ステップＳ２０３３）と、を実行させる、付記１から３のいずれかに記載のプログラム。

（付記５）
第２尤度を算出するステップ（ステップＳ２０３１）では、
複数のユーザの行動ログを入力データとし、行動ログそれぞれの後に行われた質問に対して適切な回答とされるカテゴリを正解出力データとする学習用データを用いた機械学習により作成された行動分類モデル２０２６に対して、行動ログを入力することで、複数のカテゴリそれぞれについて、第２尤度を算出する、付記４に記載のプログラム。

（付記６）
プロセッサに、
過去のユーザからの質問文の入力に関する一連の行動ログと、当該質問文に対して選定されたカテゴリについてのユーザからの評価結果を用いて、一連の行動ログに対応して回答されたカテゴリを、行動分類モデル２０２６への学習用データとして選別するステップ（ステップＳ２１４）を実行させる、付記５に記載のプログラム。

（付記７）
第１尤度および第２尤度に基づいて、カテゴリを選定するステップ（ステップＳ２０３）では、
第１尤度に対して第２尤度を乗じて得た評価指標に基づいて、カテゴリを選定する、付記４から６のいずれか１項に記載のプログラム。

（付記８）
カテゴリを選定するステップ（ステップＳ２０３）では、
算出された第１尤度、およびユーザの行動ログに加えて、ユーザの属性に基づいて、カテゴリを選定する、付記１から７のいずれかに記載のプログラム。

（付記９）
プロセッサと、メモリとを備えるコンピュータが実行するための方法であって、方法は、プロセッサが、
ユーザ端末からユーザが入力した質問文と、記憶部に記憶された質問パターンと、に基づいて、記憶部に記憶され、回答パターンが紐づけられた複数のカテゴリそれぞれについて、質問文から推定される当該質問文との関連の度合いを示す第１尤度を算出するステップ（ステップＳ２０２）と、
算出された第１尤度、およびユーザの行動ログに基づいて、質問文が該当するカテゴリを選定するステップ（ステップＳ２０３）と、
選定されたカテゴリに紐づけられた回答パターンを、ユーザ端末に対して出力するステップ（ステップＳ２０５）と、を実行する、方法。

（付記１０）
プロセッサと、メモリとを備えるコンピュータにより実現されるシステムであって、システムは、プロセッサが、
ユーザ端末からユーザが入力した質問文と、記憶部に記憶された質問パターンと、に基づいて、記憶部に記憶され、回答パターンが紐づけられた複数のカテゴリそれぞれについて、質問文から推定される当該質問文との関連の度合いを示す第１尤度を算出する手段と、
算出された第１尤度、およびユーザの行動ログに基づいて、質問文が該当するカテゴリを選定する手段と、
選定されたカテゴリに紐づけられた回答パターンを、ユーザ端末に対して出力する手段と、を備える、システム。

１ 自動応答システム
１０ ユーザ端末
２０、２０Ｂ 質問回答サーバ
２０２ 記憶部
２０２１ ユーザデータベース
２０２２ 質問回答データベース
２０２３ 操作ログデータベース
２０２４ 学習用データデータベース
２０２５ 質問分類モデル
２０２６ 行動分類モデル
２０２７ 属性分類モデル
２０３ 制御部
２０３１ 送受信制御モジュール
２０３２ 質問文取得モジュール
２０３３ 第１尤度算出モジュール
２０３４ 第２尤度算出モジュール
２０３５ カテゴリ選定モジュール
２０３６ 回答出力モジュール
２０３７ アンケート取得モジュール
２０３８ 学習用データ選定モジュール
２０３９ 第３尤度算出モジュール

Claims (10)

1. プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
   ユーザ端末からユーザが入力した質問文と、記憶部に記憶された質問パターンと、に基づいて、前記記憶部に記憶され、回答パターンが紐づけられた複数のカテゴリそれぞれについて、前記質問文から推定される当該質問文との関連の度合いを示す第１尤度を算出するステップと、
   算出された前記第１尤度、および前記ユーザの行動ログに基づいて、前記質問文が該当する前記カテゴリを選定するステップと、
   選定された前記カテゴリに紐づけられた前記回答パターンを、前記ユーザ端末に対して出力するステップと、を実行させる、プログラム。
2. 前記第１尤度を算出するステップでは、
   複数の前記質問パターンを入力データとし、複数の前記質問パターンそれぞれが該当する前記カテゴリを正解出力データとする学習用データを用いた機械学習により作成された質問分類モデルに対して、前記質問文を入力することで、複数の前記カテゴリそれぞれについて、前記第１尤度を算出する、請求項１に記載のプログラム。
3. 前記カテゴリを選定するステップでは、
   前記質問分類モデルに対して変更を加えることなく、前記質問分類モデルから算出された前記第１尤度および前記行動ログに基づいて、前記カテゴリを選定する、請求項２に記載のプログラム。
4. 前記カテゴリを選定するステップでは、前記プロセッサに、
   前記行動ログに基づいて、前記記憶部に記憶された複数の前記カテゴリそれぞれについて、前記行動ログから推定される前記行動ログとの関連の度合いを示す第２尤度を算出するステップと、
   前記第１尤度および前記第２尤度に基づいて、前記質問文が該当する前記カテゴリを選定するステップと、を実行させる、請求項１に記載のプログラム。
5. 前記第２尤度を算出するステップでは、
   複数のユーザの行動ログを入力データとし、前記行動ログそれぞれの後に行われた質問に対して適切な回答とされる前記カテゴリを正解出力データとする学習用データを用いた機械学習により作成された行動分類モデルに対して、前記行動ログを入力することで、複数の前記カテゴリそれぞれについて、前記第２尤度を算出する、請求項４に記載のプログラム。
6. 前記プロセッサに、
   過去のユーザからの前記質問文の入力に関する一連の行動ログと、当該質問文に対して選定された前記カテゴリについての前記ユーザからの評価結果を用いて、前記一連の行動ログに対応して回答された前記カテゴリを、前記行動分類モデルへの前記学習用データとして選別するステップを実行させる、請求項５に記載のプログラム。
7. 前記第１尤度および前記第２尤度に基づいて、前記カテゴリを選定するステップでは、
   前記第１尤度に対して前記第２尤度を乗じて得た評価指標に基づいて、前記カテゴリを選定する、請求項４から６のいずれか１項に記載のプログラム。
8. 前記カテゴリを選定するステップでは、
   算出された前記第１尤度、および前記ユーザの行動ログに加えて、前記ユーザの属性に基づいて、前記カテゴリを選定する、請求項１に記載のプログラム。
9. プロセッサと、メモリとを備えるコンピュータが実行するための方法であって、前記方法は、前記プロセッサが、
   ユーザ端末からユーザが入力した質問文と、記憶部に記憶された質問パターンと、に基づいて、前記記憶部に記憶され、回答パターンが紐づけられた複数のカテゴリそれぞれについて、前記質問文から推定される当該質問文との関連の度合いを示す第１尤度を算出するステップと、
   算出された前記第１尤度、および前記ユーザの行動ログに基づいて、前記質問文が該当する前記カテゴリを選定するステップと、
   選定された前記カテゴリに紐づけられた前記回答パターンを、前記ユーザ端末に対して出力するステップと、を実行する、方法。
10. プロセッサと、メモリとを備えるコンピュータにより実現されるシステムであって、前記システムは、前記プロセッサが、
    ユーザ端末からユーザが入力した質問文と、記憶部に記憶された質問パターンと、に基づいて、前記記憶部に記憶され、回答パターンが紐づけられた複数のカテゴリそれぞれについて、前記質問文から推定される当該質問文との関連の度合いを示す第１尤度を算出する手段と、
    算出された前記第１尤度、および前記ユーザの行動ログに基づいて、前記質問文が該当する前記カテゴリを選定する手段と、
    選定された前記カテゴリに紐づけられた前記回答パターンを、前記ユーザ端末に対して出力する手段と、を備える、システム。