JP7242105B1 - プログラム、方法、およびシステム - Google Patents

Abstract

【課題】仮に対応する会話のパターンが準備されていない場合でも、円滑に適切な回答を行うことができる自動応答システムを提供する。【解決手段】本発明のプログラムは、コンピュータのプロセッサに、ユーザから質問文の入力を受け付けるステップと、予めデータベースに登録された複数の回答候補のうち、入力された質問文に対する回答として適切な回答文を学習済みモデルに出力させ、出力された回答文をユーザに対して提示するステップと、ユーザから、回答文に対する評価の入力を受け付けるステップと、回答文に対して、ユーザから否定的な評価が入力された場合に、質問文を管理担当者に対して提示するステップと、管理担当者から、質問文への再回答の入力を受け付けるステップと、新たな回答候補として、再回答の内容をデータベースに登録するステップと、を実行させる。【選択図】図２０

Description

本発明は、プログラム、方法、およびシステムに関する。

近年、ユーザからの問い合わせに対して自動応答により回答を行う自動応答システム（チャットボット）が広く利用されている。
例えば特許文献１に記載のシステムでは、会話のパターンを用いた機械学習により、入力された質問文に対して適切な回答文を生成する処理が行われている。

特開２０１９－０２０９９５号公報

しかしながら、このような自動応答システムでは、会話のパターンを用いた機械学習により質問への回答を行うため、会話のパターンが準備されていない特定の問い合わせに対しては、適切な学習ができておらず回答ができないことがある。

本発明は、仮に対応する会話のパターンが準備されていない場合でも、円滑に適切な回答を行うことができる自動応答システムを提供する。

本発明の一態様は、自動応答によりユーザからの質問に回答するコンピュータに用いられるプログラムであって、コンピュータのプロセッサに、ユーザから質問文の入力を受け付けるステップと、予めデータベースに登録された複数の回答候補のうち、入力された質問文に対する回答として適切な回答文を学習済みモデルに出力させ、出力された回答文をユーザに対して提示するステップと、ユーザから、回答文に対する評価の入力を受け付けるステップと、回答文に対して、ユーザから否定的な評価が入力された場合に、質問文を管理担当者に対して提示するステップと、管理担当者から、質問文への再回答の入力を受け付けるステップと、新たな回答候補として、再回答の内容をデータベースに登録するステップと、を実行させる。

本実施形態に係る自動応答システムの全体構成を示すブロック図である。 本実施形態に係る従業員端末の構成を示すブロック図である。 本実施形態に係る管理者端末の構成を示すブロック図である。 本実施形態に係るサーバの構成を示すブロック図である。 本実施形態に係る自動応答システムにおける使用手順の前半を示す図である。 本実施形態に係る自動応答システムにおける使用手順の後半を示す図である。 本実施形態に係る従業員データベースのデータ構造の一例を示す図である。 本実施形態に係る会話パターンデータベースのデータ構造の概要を示す第１の図である。 本実施形態に係る会話パターンデータベースのデータ構造の概要を示す第２の図である。 本実施形態に係る会話パターンデータベースの第１の編集画面を示す図である。 本実施形態に係る会話パターンデータベースの第２の編集画面を示す図である。 自動応答システムによる処理のうち、図５における手順Ｐ０１からＰ０７における処理の詳細を説明する図である。 自動応答システムによる処理のうち、図５における手順Ｐ０８からＰ１０における処理の詳細を説明する図である。 自動応答システムによる処理のうち、図６における手順Ｐ１１からＰ１９における処理の詳細を説明する図である。 自動応答システムによる処理のうち、図６における手順Ｐ２０からＰ２１における処理の詳細を説明する図である。 自動応答システムにおける画面例のうち、図１２に示す第１画面例Ｐ１０を示す図である。 自動応答システムにおける画面例のうち、図１３に示す第２画面例Ｐ１１を示す図である。 自動応答システムにおける画面例のうち、図１５に示す第３画面例Ｐ１２を示す図である。 自動応答システムにおける画面例のうち、図１５に示す第４画面例Ｐ１３を示す図である。 自動応答システムにおける画面例のうち、図１５に示す第５画面例Ｐ１４を示す図である。

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

（１）自動応答システム１の構成
自動応答システム１（以下、単にシステム１という）の構成について説明する。図１は、本実施形態に係るシステム１の全体構成を示すブロック図である。システム１は、例えば企業内で使用される社内システムの一部を構成する。システム１は、従業員（ユーザ）が例えば人事部門や総務部門といった管理部門に対して、社内のルールについての問い合わせを行う際に用いられるシステムである。自動応答システム１は、テキスト入力により行われた質問に対して、適切な回答を自動応答により出力するチャットボットである。

図１に示すように、システム１は、複数の従業員端末１０と、複数の管理者端末２０と、サーバ３０と、会話パターンＤＢ（データベース）４０と、により構成される。
従業員端末１０、管理者端末２０、サーバ３０、および会話パターンＤＢ４０は、ネットワーク（例えば、インターネット又はイントラネット）５０を介して接続される。

従業員端末１０および管理者端末２０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。
従業員端末１０とは、システム１が運用される会社の従業員が使用する端末である。この説明において、従業員とは、雇用形態を問わずシステム１が運用される会社の業務に従事する者を指す。なお、この発明における従業員端末１０には、従業員には含まれない役員が使用する端末を含んでもよい。

管理者端末２０とは、システム１の管理者が使用する端末である。管理者とは、システム１が運用される会社において、システム１の保守及び運用についての責任を負う主管部門に属する従業員を指す。主管部門としては、例えば総務、人事、経理、財務といった、各部門からの問い合わせが多い管理部門が該当する。なお、主管部門としては管理部門に限られず、例えば、営業部門からの問い合わせが頻繁にある営業支援部門、又は営業支援部門からの問い合わせが頻繁にある製造部門等をシステム１の主管部門としてもよい。

ここで、従業員端末１０のうちの一部が管理者端末２０に該当することになるが、当該端末の操作の目的により、従業員端末１０か管理者端末２０かを区別する。
すなわち、主管部門に属する従業員が、システム１を用いて社内のルールについて確認する場合には、当該従業員が使用する端末は、この説明における従業員端末１０に該当する。一方、当該従業員が、自身の職務として、後述するシステム１の保守に関する操作を行う場合には、当該従業員が使用する端末は、この説明における従業員端末１０に該当する。

サーバ３０は、複数の従業員端末１０から取得した情報、および複数の管理者端末２０から入力された情報に基づいた演算処理を実行し、後述する各種の情報を出力する。サーバ３０は、１以上の物理コンピュータによって構成され得る。
サーバ３０は、従業員端末１０から送信されたリクエストに応じたレスポンスを従業員端末１０に提供する。
サーバ３０は、管理者端末２０から送信されたリクエストに応じたレスポンスを管理者端末２０に提供する。

（１－１）従業員端末１０の構成
従業員端末１０の構成について説明する。図２は、本実施形態の従業員端末１０の構成を示すブロック図である。
図２に示すように、従業員端末１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。

記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーションのプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）

プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、従業員端末１０の機能を実現するコンピュータである。プロセッサ１２は、例えば、以下の少なくとも１つである。
・ＣＰＵ（Central Processing Unit）
・ＧＰＵ（Graphic Processing Unit）
・ＡＳＩＣ（Application Specific Integrated Circuit）
・ＦＰＧＡ（Field Programmable Array）

入出力インタフェース１３は、従業員端末１０に接続される入力デバイスから情報（例えば、ユーザの指示）を取得し、かつ、従業員端末１０に接続される出力デバイスに情報を出力させるように構成される。
入力デバイスは、例えば、物理ボタン、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ１５、スピーカ、ランプ、又は、それらの組合せである。

通信インタフェース１４は、従業員端末１０と外部装置（例えば、管理者端末２０、サーバ３０、会話パターンＤＢ４０、またはそれらの組み合わせ）との間の通信を制御するように構成される。
ディスプレイ１５は、画像（静止画、または動画）を表示するように構成される。ディスプレイ１５は、例えば、液晶ディスプレイ、または有機ＥＬディスプレイである。

（１－２）管理者端末２０の構成
管理者端末２０の構成について説明する。図４は、本実施形態の管理者端末２０の構成を示すブロック図である。

図４に示すように、管理者端末２０は、記憶装置２１と、プロセッサ２２と、入出力インタフェース２３と、通信インタフェース２４、ディスプレイ２５と、を備える。

記憶装置２１は、プログラム及びデータを記憶するように構成される。記憶装置２１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージの組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ）のプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果

プロセッサ２２は、記憶装置２１に記憶されたプログラムを起動することによって、管理者端末２０の機能を実現するコンピュータである。プロセッサ２２は、例えば、以下の少なくとも１つである。
・ＣＰＵ
・ＧＰＵ
・ＡＳＩＣ
・ＦＰＧＡ

入出力インタフェース２３は、管理者端末２０に接続される入力デバイスから情報（例えば、ユーザの指示）を取得し、かつ、管理者端末２０に接続される出力デバイスに情報を出力させるように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ２５、スピーカ、又は、それらの組合せである。

通信インタフェース２４は、管理者端末２０と外部装置（例えばサーバ３０、会話パターンＤＢ４０、またはそれらの組み合わせ）との間の通信を制御するように構成される。
ディスプレイ２５は、画像（静止画、または動画）を表示するように構成される。ディスプレイ２５は、例えば、液晶ディスプレイ、または有機ＥＬディスプレイである。

（１－３）サーバ３０の構成
サーバ３０の構成について説明する。図３は、本実施形態のサーバ３０の構成を示すブロック図である。

図３に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。

記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージの組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム（例えば、自動応答モデル）

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース（例えば、従業員データベース）
・情報処理の実行結果

プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するコンピュータである。プロセッサ３２は、例えば、以下の少なくとも１つである。
・ＣＰＵ
・ＧＰＵ
・ＡＳＩＣ
・ＦＰＧＡ

入出力インタフェース３３は、サーバ３０に接続される入力デバイスから情報（例えば、ユーザの指示）を取得し、かつ、サーバ３０に接続される出力デバイスに情報を出力させるように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。

通信インタフェース３４は、サーバ３０と外部装置（例えば、従業員端末１０、管理者端末２０、会話パターンＤＢ４０、またはそれらの組み合わせ）との間の通信を制御するように構成される。

次に、サーバ３０の記憶装置３１が記憶する自動応答モデルについて説明する。
自動応答モデルは、チャットボットとしての自動応答機能を実現するための学習済みモデルである。自動応答モデルは、例えば、サーバ３０が自動応答サービスを提供するにあたり、予め記憶装置３１に記憶されている。自動応答モデルは、後述する処理に基づき、随時、再学習される。自動応答モデルは、例えば、会話パターンＤＢ４０に記憶された会話パターンを学習用データとして学習している。

自動応答モデルは、学習用データに基づき、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることにより得られる。本実施形態において、自動応答モデルは、例えば、入力される質問文に対し、所定の回答文を、当該回答文が属する質問区分（ＱＡ項目）とともに出力するように学習されている。このとき、学習用データは、例えば、会話の種類に応じた複数の質問パターンを入力データとし、この質問パターンに対する回答パターン、およびその区分を正解出力データとする。
より具体的には、自動応答モデルは、入力された質問文に対してテキストマイニング処理を行い、質問文の特徴量に対して類似度が高い特徴量を有する質問パターンを選定する。そして、当該質問パターンが紐づけられた質問区分（ＱＡ項目）に対応する回答パターンを選定する。この際、自動応答モデルは、類似度の高さに応じたレコメンドスコアを選定された質問区分（ＱＡ項目）に対して付与し、レコメンドスコアが高い複数の質問区分（ＱＡ項目）と回答パターンをレコメンドする。

本実施形態に係る機械学習モデルは、例えば、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数、及びパラメータの組合せにより定義される。本実施形態に係る機械学習モデルは、上記の要請を満たす如何なるパラメータ付き合成関数であってもよいが、多層のネットワークモデル（以下、多層化ネットワークと呼ぶ）であるとする。多層化ネットワークを用いる自動応答モデルは、質問を入力する入力層と、質問に対する回答を出力する出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層あるいは隠れ層とを有する。自動応答モデルは、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定される。

本実施形態に係る多層化ネットワークとしては、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（Deep Neural Network：ＤＮＮ）が用いられ得る。ＤＮＮとしては、例えば、時系列情報等を対象とする再帰型ニューラルネットワーク（Recurrent Neural Network：ＲＮＮ）を用いてもよい。また、自然言語を対象とする自己注意機構付きネットワークを用いてもよい。

記憶装置３１は、自動応答モデルを用いてユーザからの質問に回答するための対話プログラムを記憶している。対話プログラムは、例えば、記憶装置３１に予め記憶されていてもよい。また、例えば、非一過性の記憶媒体に記憶されて配布され、非一過性の記憶媒体から読み出されて記憶装置３１にインストールされてもよい。

（１－４）会話パターンＤＢ４０の構成
図１に示す会話パターンＤＢ４０は、自動応答モデルの学習用データとなる会話パターンを記憶するデータベースである。会話パターンとは、質問文の候補である質問パターンと、回答文の候補である回答パターンと、を含む。
会話パターンＤＢ４０は、質問の内容に応じて分類される質問の区分であるＱＡ項目に対して、回答パターンを紐づけて記憶している。また、会話パターンＤＢ４０は、１つのＱＡ項目（すなわち１つの回答パターン）に対して、複数の回答パターンを紐づけて記憶している。会話パターンＤＢ４０の構造の詳細については後述する。

（２）実施形態の概要
本実施形態の概要について、図５および図６を用いて説明する。図５は、システム１における使用手順の前半を示す図である。図６は、システム１における使用手順の後半を示す図である。システム１は、一般的なチャットボットとは異なり、適切な回答が出力できなかった場合に、保守を促す情報を管理者に通知する機能を有している。この点について詳述する。

図５に示すように、システム１の手順の前半を以下に列挙する
・手順Ｐ０１：ユーザが質問文を入力する。
・手順Ｐ０２：ユーザに対して回答を出力する。
・手順Ｐ０３：ユーザが、システム１から出力された回答に対して評価を入力する。
・手順Ｐ０４：ユーザからの評価が肯定的な場合、処理を終了する。
・手順Ｐ０５：ユーザからの評価が否定的な場合、その理由を確認する。

ここで、ユーザからの評価が否定的な理由には、主に以下の２つが挙げられる。システム１では、否定的な評価の内容を管理者に通知する。
・理由１：回答文に含まれる回答内容に過不足がある場合（手順Ｐ０７）
・理由２：回答文に含まれる回答内容のＱＡ項目が不適切である場合（手順Ｐ０６）

理由１は、システム１が、ユーザからの質問に対して適切な質問区分（ＱＡ項目）をレコメンドしているが、回答の内容が更新されていない、又は余計な情報を含むなどの理由により、不備が生じていると考えられる場合である。この場合には、該当するＱＡ項目に対して紐づけられた回答パターンについて、管理者が情報を更新して修正することが必要となる。

このため、理由１の不備を解消する処理は、以下の手順で行われる。
・手順Ｐ０８：管理者に対して回答パターンの情報更新を推奨する。
・手順Ｐ０９：管理者が回答パターンの情報を更新する。
・手順Ｐ１０：更新された情報に基づいて、質問をしたユーザに新たに回答がされる。
これにより、理由１により回答内容に不備がある場合に、適切な情報をユーザに対して回答することができる。

一方、手順Ｐ０６における理由２は、システム１が、ユーザからの質問に対して適切な質問区分（ＱＡ項目）をレコメンドできておらず、質問に対して関連性の低い情報を回答していることにより、不備が生じていると場合である。この場合には、回答パターンに対して紐づけられた質問パターンを修正する必要性、又はそもそも当該質問に対応するＱＡ項目が設定されていないが懸念される。

このため、理由２の不備を解消する処理は、図６に示すように、以下の処理で行われる。
・手順Ｐ１１：他の回答候補を出力する。
この際、前回出力したＱＡ項目を除外して、他の複数の回答候補について、例えば、ＱＡ項目の名称を並べた複数の選択肢を出力し、ユーザに適切と思われる回答候補を選択させる。また、適切と思われる選択肢がない場合を想定し、その旨を記載した選択肢（「該当なし」）も併せて出力する。

まず、いずれかのＱＡ項目をユーザが選択した場合を説明する。
・手順Ｐ１２：ユーザが選択したＱＡ項目について、回答パターンを表示する。
・手順Ｐ１３：新たな回答に対して、評価を入力する。

ここで、肯定的な評価が入力された場合（手順Ｐ１４）には、以下の処理を行う。
・手順Ｐ１５：質問文を新たな質問パターンとして追加する。
すなわち、回答パターンに対して紐づけられた質問パターンが不十分であったと判断し、当該質問を、新たな質問パターンとして回答パターンに対して紐づけて会話パターンＤＢ４０に登録する。その後、自動応答モデルが再学習をすることで、同様の質問が今後入力された場合に、今回再回答した内容を出力できるように更新する。

一方、手順Ｐ１３において、否定的な評価が入力された場合（手順Ｐ１６）には、その理由を確認する。
この場合にも、ユーザからの評価が否定的な理由は、以下のいずれかになる。
・理由１：回答文に含まれる回答内容に過不足がある場合（手順Ｐ１８）
・理由２：回答文に含まれる回答内容のＱＡ項目が不適切である場合（手順Ｐ１７）

ここで、理由１の場合には、適切なＱＡ項目のレコメンドはできたものとして、回答内容を更新する必要があると判断し、前述した図５における手順Ｐ０８からＰ１０の処理を行う。これにより、理由１により回答内容に不備がある場合に、適切な情報をユーザに対して回答することができる。

一方、理由２の場合には、適切なＱＡ項目のレコメンドが前回同様にできていないものとして、手順Ｐ１１の処理を再度繰り返す。すなわち、過去２回において出力したＱＡ項目を除外して、他の複数の回答候補について、再度ユーザに対して選択肢を出力する。

次に、手順Ｐ１０において新たに出力された他の回答候補について、適切な選択肢がない場合（手順Ｐ１９）を説明する。
・手順Ｐ２０：エスカレーション処理を行う。
・手順Ｐ２１：管理者からの回答内容をユーザに対して通知する。
ここで、エスカレーション処理とは、そもそもユーザからの質問に対応する適切なＱＡ項目が設定されていないと判断し、管理者からのテキスト入力による回答を行う処理である。またエスカレーション処理では、当該回答を新たに管理者の判断により、新たな会話パターンとして登録することもできる。

例えば、当該質問が今後も他の従業員から頻繁に来る可能性があれば、テキスト入力した回答を回答パターンとし、当該質問を質問パターンとして、新たに設定したＱＡ項目に対して紐づけて会話パターンＤＢ４０に記憶させることができる。
一方、当該質問がユーザの個人的な事情に関する質問である場合には、一般化した回答は導きにくいため、新たな会話パターンの登録は不要と判断することもできる。

そして、このようにテキスト入力された回答がユーザに対して通知されることで、適切なＱＡ項目が設定されていないような質問についても、適切に回答を行うことができる。
また、その後に自動応答モデルが再学習をすることで、新たに登録された質問パターンと類似する質問が別途問い合わせされた場合に、新たな回答パターンとして設定された回答文が出力される。

（３）データベース
本実施形態に係るシステム１が使用するデータベースについて説明する。

（３－１）従業員ＤＢ
本実施形態に係る従業員ＤＢ（データベース）について説明する。図７は、本実施形態に係る従業員ＤＢのデータ構造の一例を示す図である。従業員ＤＢはサーバ３０の記憶装置３１に記憶されている。

従業員ＤＢには、従業員情報が格納される。従業員情報は、企業に属する従業員に関する情報である。なお、従業員ＤＢには、使用者である役員に関する情報を含んでもよく、システム１により問い合わせを行う全てのユーザの情報を含みえる。

図７に示すように、従業員ＤＢは、「従業員ＩＤ」フィールドと、「氏名」フィールドと、「所属部署」フィールドと、「役職」フィールドと、「連絡先」フィールドと、「個人情報」フィールドと、を含む。各フィールドは、互いに関連付けられている。

「従業員ＩＤ」フィールドには、従業員のＩＤが格納される。従業員ＩＤは、従業員を識別するための符号であり、従業員ごとに設定されている。

「氏名」フィールドには、従業員ＩＤに対応する従業員の氏名が格納される。

「所属部署」フィールドには、従業員ＩＤに対応する従業員の現在の所属部署に関する情報が格納される。例えば、「所属部署」フィールドには、営業部、開発部、法務部、総務部、製造部等の部署名が格納される。

「役職」フィールドには、従業員ＩＤに対応する従業員の現在の役職に関する情報が格納される。「役職」フィールドには、チームリーダ、課長、部長等の部署における役職に限られず、プロジェクトマネージャー等のような業務案件における役割に関する情報を格納してもよい。また、役職にかえて、あるいは役職とは別に、従業員の職位に関する情報を格納してもよい。

「個人情報」フィールドには、従業員ＩＤに対応する従業員の個人情報が格納される。従業員の個人情報は、例えば以下の情報を含む。
・年齢、性別、生年月日等の出生に関する情報
・国籍、出身地、居住地等の従業員と関連の深い地理的な情報
・学歴、職歴（現職における過去の役職、業務内容を含む）等の経歴に関する情報
・配偶者および子供の有無等の家族に関する情報
なお、これらの各情報は、項目毎に従業員ＤＢにカラムが設けられてもよい。

また、従業員ＤＢには、これらの属性に限定されず、従業員の属性に関するあらゆる情報を格納することができる。

（３－２）会話パターンＤＢ
会話パターンＤＢ４０について説明する。図８は、本実施形態に係る会話パターンＤＢ４０のデータ構造の概要を示す第１の図である。図９は、本実施形態に係る会話パターンＤＢ４０のデータ構造の概要を示す第２の図である。

図８に示すように、会話パターンＤＢ４０は、質問の内容に応じて分類されたＱＡ項目と呼ばれる質問の区分により、会話パターンを記憶する領域が区画されている。会話パターンは、質問パターンおよび回答パターンにより構成される。質問パターンは、ユーザからの質問を想定して設定された質問文を示すテキストデータである。回答パターンは、質問パターンに相当する質問への回答として設定された回答候補となる回答文を示すテキストデータを含む回答情報である。回答パターンには回答内容が記載されたＰＤＦなどの文書データ、所内のシステム又は役所などが管理するサイトのアドレス情報、および画像データが含まれてもよい。

通常、一つの回答パターンに対して複数の質問パターンが設定されている。すなわち、同じ回答を求めている場合であっても、ユーザ毎に質問の仕方が異なることが想定される。このため、幅広い質問の仕方に対して適切にＱＡ項目をレコメンドできるように、一つの回答パターンに対して複数の質問パターンが設定されている。

図９に示すように、会話パターンＤＢ４０は階層構造をなしている。各ＱＡ項目は、関連性の高いもの同士が、小カテゴリと呼ばれる中区分に分類されている。
更に、関連性の高い複数の小カテゴリをまとめて、大カテゴリと呼ばれる大区分が分類されている。このように階層だててＱＡ項目を管理することで、会話パターンの編集を円滑に行うことができる。

図示の例では、大カテゴリとして以下の大区分が設定されている。
・勤怠管理…日々の業務の勤怠の記録の修正、休暇の申請方法等に関する内容
・労務手続…従業員の住所、氏名、家族構成の変更等に関する内容
・経費関連…各種の経費の精算方法の確認等に関する内容
・人事関連…社内公募、異動希望等に関する内容
・総務関連…オフィスの設備の利用方法、又は設備の修繕の依頼等に関する内容
・その他…上記のいずれにも該当しない内容
なお、この大区分はあくまで一例であって、任意に変更、追加することができる。

そして、図示の例では、勤怠管理の大カテゴリに少なくとも以下の小カテゴリが、中区分として設定されている。
・出張費関連…出張に伴い発生する費用の清算等に関する内容
・福利厚生関連…例えば日々の交通費を含む福利厚生に関する内容
なお、この中区分はあくまで一例であって、任意に変更、追加することができる。

そして、図示の例では、出張費関連の小カテゴリに少なくとも以下のＱＡ項目が、質問区分として設定されている。
・旅費申請に関して…出張に伴う交通費の清算方法に関する内容
・交通手段の予約方法に関して…出張に伴う交通チケットの予約方法に関する内容
・宿泊施設の費用の条件に関して…出張先での宿泊施設の条件（費用）に関する内容
なお、このＱＡ項目はあくまで一例であって、任意に変更、追加することができる。

そして、これらの階層構造を有する各区分は、任意に編集することができる。図１０は、会話パターンＤＢ４０の第１の編集画面を示す図である。図１１は、会話パターンＤＢ４０の第２の編集画面を示す図である。
図１０に示すように、ＱＡ項目を編集する際には、管理者は、管理者端末２０に表示されたＱＡ項目の設定画面において、左側に表示された大カテゴリから、編集するＱＡ項目が含まれる大区分を選択する。更に、右側の画面において、編集するＱＡ項目が含まれる小カテゴリを選択し、編集対象となるＱＡ項目（図示の例では、「交通費の申請に関して」）を選択する（符号Ｇ）。これにより、図１１に画面表示が遷移する。

次に、管理者は、図１１において、表示されたＱＡ項目に対する回答パターンの編集を行う。具体的には、図１１の上図に示すように、回答文としてのテキスト情報、および回答内容を含まれる各種のファイルデータの入力を行う。
また、管理者は、この画面において質問パターンの追加を行うことができる。管理者は、該当するＱＡ項目についてユーザがどのような質問をする可能性があるか、という観点で、質問の仕方を広げて設定する。最後に、入力された内容を保存ボタンＨをクリックすることで保存する。これにより、新たなＱＡ項目が設定される。このようにして会話パターンＤＢには、各種の内容の質問に対する回答パターンが登録されている。

（４）情報処理
次に、本実施形態の情報処理について説明する。
図１２は、システム１による処理のうち、図５における手順Ｐ０１からＰ０７における処理の詳細を説明する図である。

（４－１）手順Ｐ０１からＰ０７
図１２に示すように、まず、従業員端末１０は、ユーザからの質問文の入力を受け付ける（ステップＳ１０１）。
具体的には、従業員であるユーザが、日々の業務において、管理部門に確認が必要な不明点（困りごと）が生じた場合に、従業員端末１０を操作してシステム１のチャット機能を起動させ、質問文を会話形式でチャット欄に入力する。従業員端末１０のプロセッサ１２は、通信インタフェース１４を介して入力されたテキスト情報を、サーバ３０に出力する。

ステップＳ１０１の後に、サーバ３０は、ユーザから入力された質問文を取得する（ステップＳ３０１）。
具体的には、サーバ３０のプロセッサ３２は、通信インタフェース３４を介して、従業員端末１０から出力された質問文であるテキスト情報を取得する。

ステップＳ３０１の後に、サーバ３０は、質問文に対する最適な回答文を選択する（ステップＳ３０２）。
具体的には、サーバ３０のプロセッサ３２は、自動応答モデルに質問文を入力することで、予めデータベースに登録された複数の回答候補のうち、自動応答モデルから出力された回答候補であって、レコメンドスコア最も高いＱＡ項目および回答パターンを選択する。

ステップＳ３０２の後に、サーバ３０は、選択した回答文を出力する（ステップＳ３０３）。
具体的には、プロセッサ３２は、ステップＳ３０１において選択した回答パターンを、通信インタフェース３４を介して、従業員端末１０に出力する。

ステップＳ３０３の後に、従業員端末１０は、サーバ３０から出力された回答文を表示する（ステップＳ１０２）。
具体的には、従業員端末１０のプロセッサ１２は、サーバ３０から出力された回答文を通信インタフェース１４を介して取得し、ディスプレイ１５に表示する。これにより、質問を行ったユーザに対して、質問への回答が提示される。

ステップＳ１０２の後に、従業員端末１０は、回答文に対するユーザからの評価の入力を受け付ける（ステップＳ１０３）。
具体的には、従業員端末１０のプロセッサ１２は、回答文の表示の後に、当該回答文が適切かどうかのアンケートをユーザに対して表示する。この際、アンケートでは、少なくとも以下の内容をユーザに対して確認する。
・回答文が適切であるかどうか
・回答文が不適切である場合に、その理由

また、回答文が不適切である場合におけるその理由については、以下の選択肢を提示してユーザに選択をさせる。
・回答文に含まれる回答内容に過不足がある為
・回答文に含まれる回答内容の質問区分（ＱＡ項目）が不適切である為
なお、回答文が不適切である場合におけるその理由については、選択肢を提示することなく、ユーザからのテキスト入力によるアンケートを行ってもよい。プロセッサ１２は、通信インタフェース１４を介して入力された評価結果を、サーバ３０に出力する。この時の従業員端末１０のディスプレイ１５に表示される第１画面例Ｐ１０については後述する。

ステップＳ１０３の後に、サーバ３０は、ユーザから入力された評価結果を取得する（ステップＳ３０４）。
具体的には、サーバ３０のプロセッサ３２は、ユーザが入力した回答の内容を、通信インタフェース１４を介して取得する。

ステップＳ３０４において、肯定的な評価がユーザから入力された場合（ステップＳ３０５におけるＹｅｓ）、サーバ３０は、処理を終了する。ユーザの質問への回答が適切であり、それによりユーザの抱える困りごとが解消したもの判断できるためである。

一方、ステップＳ３０４において、否定的な評価がユーザから入力された場合（ステップＳ３０５におけるＮｏ）、サーバ３０は、その否定的な評価の理由により、処理を分岐する。

具体的には、回答文に含まれる回答内容の質問区分（ＱＡ項目）が不適切であるとユーザが入力した場合（ステップＳ３０６におけるＸ）には、サーバ３０は、結合子Ｂ以降の処理を行う。
一方、回答文に含まれる回答内容に過不足があるとユーザが入力した場合（ステップＳ３０６におけるＹ）には、サーバ３０は、結合子Ｃ以降の処理を行う。ここではまず、結合子Ｃ以降の処理について説明する。図１３は、結合子Ｃ以降の処理として、システム１による処理のうち、図５における手順Ｐ０８からＰ１０における処理の詳細を説明する図である。

（４－２）手順Ｐ０８からＰ１０
ステップＳ３０６の後に、サーバ３０は、管理者端末２０に対して、情報更新の推奨の通知を行う（ステップＳ３１１）。
具体的には、サーバ３０のプロセッサ３２は、レコメンドしたＱＡ項目に紐づけられた回答パターンについて、管理者に情報更新を推奨する旨の通知を、通信インタフェース２４を介して管理者端末２０に向けて出力する。この通知には、例えば、以下の情報が含まれる。
・情報更新が必要なＱＡ項目のタイトル
・当該ＱＡ項目に関連するお問合せ件数
・回答文に対して不備を指摘したユーザに関する情報
すなわち、ユーザから、回答文に含まれる回答内容に過不足があるという指摘がある以上、その不備を解消するために、当該回答文の情報を更新する必要があると考えられるためである。

ステップＳ３１１の後に、管理者端末２０は、情報更新の推奨の通知を、ディスプレイ２５に表示する（ステップＳ２１１）。
具体的には、管理者端末２０のプロセッサ２２は、サーバ３０から出力された情報更新の推奨の通知を通信インタフェース２４を介して受領し、その内容をディスプレイ２５に表示することで、管理者に提示する。これにより、管理者が、更新が必要なＱＡ項目の内容を把握することができる。この時の管理者端末２０のディスプレイ２５に表示される第２画面例Ｐ１１については後述する。

ステップＳ２１１の後に、管理者は、回答内容の情報を更新する（ステップＳ２１２）。
具体的には、管理者は、管理者端末２０を操作して、情報更新が必要なＱＡ項目の回答文について、その内容を編集し更新を行う。この際、前述したＱＡ項目の編集画面（図１０、図１１参照）において、ＱＡ項目の編集を行うことができる。管理者端末２０のプロセッサ２２は、通信インタフェース２４を介して、更新した旨、およびその内容をサーバ３０へ出力する。

ステップＳ２１２の後に、サーバ３０は、更新された情報を取得する（ステップＳ３１２）。
具体的には、サーバ３０のプロセッサ３２は、管理者端末２０から出力された情報を通信インタフェース３４を介して受領する。

ステップＳ３１２の後に、サーバ３０は、更新された情報を出力する（ステップＳ３１３）。
具体的には、プロセッサ３２は、更新された回答文に関する情報を、回答文に対して不備を指摘したユーザに対して、通信インタフェース３４を介して出力する。この際、回答文を新たに通知するうえで、管理者により、回答文に含まれる情報が更新されている旨を通知する。

ステップＳ３１３の後に、従業員端末１０は、出力された情報を表示する（ステップＳ１１１）。
具体的には、従業員端末１０のプロセッサ１２は、通信インタフェース１４を介してサーバ３０から出力された情報を取得し、回答の内容をディスプレイ１５に表示する。ユーザは、ディスプレイ１５に表示された回答の内容を確認することで、当初の質問に対して、情報が更新された適切な回答文を確認することができる。
以上により、図１２における結合子Ｃ以降（図５に示す手順Ｐ０８からＰ１０）が終了する。次に、図１２における結合子Ｂ以降の処理について説明する。

（４－３）手順Ｐ１１からＰ１９
図１４は、システム１による処理のうち、図６における手順Ｐ１１からＰ１９における処理の詳細を説明する図である。
図１４に示すように、ステップＳ３０６の後に、サーバ３０は、他の回答候補をユーザに対して提示する（ステップＳ３２１）。すなわち、前工程において、回答文に含まれる回答内容のＱＡ項目が不適切であるとユーザが評価しているので、そもそも、質問文からレコメンドしたＱＡ項目が妥当ではなかったとみなすことができる。このため、サーバ３０は、既にユーザに対して提示した回答文の次に回答すべき候補として、自動応答モデルが出力した他の複数の回答文を、新たに出力する。

具体的には、プロセッサ３２は、図１３のステップＳ３０２において自動応答モデルからレコメンドされた複数のＱＡ項目のうち、レコメンドスコアが２番以降となる複数のＱＡ項目を選択し、従業員端末１０に向けて出力する。この際、選択したＱＡ項目と、当該ＱＡ項目に紐づけられた回答パターンの情報と、を出力する。

ステップＳ３２１の後に、従業員端末１０は、サーバ３０から出力された他の回答候補を表示する（ステップＳ１２１）。
具体的には、従業員端末１０のプロセッサ１２は、サーバ３０から出力された複数の回答候補（例えばレコメンドスコアが２番から４番の３つのＱＡ項目の名称）をディスプレイ１５に表示する。この際、プロセッサ１２は、ユーザに、確認すべき回答文と対応しそうなＱＡ項目を選択の入力を受け付ける。プロセッサ１２は、適切なＱＡ項目の選択肢がない場合に備えて、「選択肢なし」という選択肢を併せて表示する。

ステップＳ１２１の後に、従業員端末１０は。他の回答候補からのユーザによる選択を受け付ける（ステップＳ１２２）。
具体的には、従業員端末１０のプロセッサ１２は、ディスプレイ１５に表示した複数のＱＡ項目の選択肢、および「選択肢無し」を示す選択肢のうちのいずれかを、ユーザが選択する操作の入力を受け付ける。プロセッサ１２は、選択された情報を、サーバ３０に出力する。

ステップＳ１２２において、適切なＱＡ項目の選択肢がない場合、すなわち、「選択肢無し」の選択肢がユーザにより選択された場合（ステップＳ１２３のＮｏ）には、管理者にその後の対応を委ねるエスカレーション処理として、結合子Ｄ以降の処理を実行する。このエスカレーション処理については図１５を用いて後述する。

ステップＳ１２２において、いずれかのＱＡ項目の選択肢がユーザにより選ばれた場合（ステップＳ１２３のＹｅｓ）には、従業員端末１０は、選択された回答候補の内容を表示する（ステップＳ１２４）。
具体的には、従業員端末１０のプロセッサ１２は、ユーザにより選択されたＱＡ項目に紐づけて記憶された回答パターンを回答文としてディスプレイ１５に表示する。これにより、ユーザに対して新たな回答文が提示される。

ステップＳ１２４の後に、従業員端末１０は、回答文に対する評価の入力を受け付ける（ステップＳ１２５）。
具体的には、従業員端末１０のプロセッサ１２は、ユーザに対して新たに提示した回答文が適切かどうかのアンケートをユーザに対して表示する。このアンケートは、図１２のステップＳ１０３において表示したアンケートと同じである。具体的には、このアンケートでは、少なくとも以下の内容をユーザに対して確認する。
・回答文が適切であるかどうか
・回答文が不適切である場合に、その理由

また、そして、前回同様に、回答文が不適切である場合におけるその理由については、以下の選択肢を提示してユーザに選択をさせる。
・回答文に含まれる回答内容に過不足がある為
・回答文に含まれる回答内容の質問区分（ＱＡ項目）が不適切である為

ステップＳ１２５の後に、サーバ３０は、ユーザから入力された評価結果を取得する（ステップＳ３２２）。
具体的には、サーバ３０のプロセッサ３２は、ユーザが入力した回答の内容を、通信インタフェース１４を介して取得する。

ステップＳ３２２において、肯定的な評価がユーザから入力された場合（ステップＳ３２３におけるＹｅｓ）、サーバ３０は、ユーザからの質問文を、適切な回答であった再回答に対応する新たな質問パターンとして、会話パターンＤＢ４０に登録する。この場合には、ユーザからの質問に対して本来回答するべきであった再回答の回答パターンに対して、適切な質問パターンが紐づけられていなかったものと考えられる。このため、当該質問文を新たな質問パターンとして再回答に係る回答パターンに紐づけて会話パターンＤＢ４０に記憶させる。その後、自動応答モデルが新たな会話パターンを再学習することで、同様の質問に対して、適切な回答を以後行うことができる。
その後、サーバ３０は処理を終了する。

一方、ステップＳ３２２において、否定的な評価がユーザから入力された場合（ステップＳ３２３におけるＮｏ）、サーバ３０は、その否定的な評価の理由により、処理を分岐する。

具体的には、回答文に含まれる回答内容の質問区分（ＱＡ項目）が不適切であるとユーザが入力した場合（ステップＳ３２５におけるＸ）には、サーバ３０は、結合子Ｂ以降の処理として、ステップＳ３２１の処理を再度実行する。すなわち、サーバ３０は、推薦された順番に従って、未だ提示していない他のＱＡ項目を回答候補として出力する。それ以降の処理は、同様に実行される。

一方、回答文に含まれる回答内容に過不足があるとユーザが入力した場合（ステップＳ３２５におけるＹ）には、サーバ３０は、結合子Ｃ以降の処理として、図１３に示すステップＳ３１１以降の処理を再度実行する。すなわち、サーバ３０は、ＱＡ項目に紐づけられた回答パターンの情報の更新を推奨する旨の通知を、管理者端末２０に向けて出力する。
以上により、図６に示す手順Ｐ１１からＰ１９の処理が終了する。

（４－４）手順Ｐ２０からＰ２１
次に、結合子Ｄ以降の処理として、エスカレーション処理を含む図６における手順Ｐ２０からＰ２１における処理を説明する。
図１５は、システム１による処理のうち、図６における手順Ｐ２０からＰ２１における処理の詳細を説明する図である。

図１５に示すように、サーバ３０は、質問文を管理者端末２０に出力する（ステップＳ３３１）。
具体的には、サーバ３０のプロセッサ３２は、新たに複数の回答文の候補を提示した場合であっても適切なＱＡ項目がレコメンドされていないとユーザが判断した場合に、その質問文を管理者端末２０に出力する。エスカレーション処理を管理者に促すためである。エスカレーション処理とは、管理者が直接質問文を確認して回答をテキスト入力することによる、ユーザからの質問への個別の対応を指す。

ステップＳ３３１の後に、管理者端末２０は、質問文を表示する（ステップＳ２３１）。
具体的には、管理者端末２０は、サーバ３０から出力された質問文をディスプレイ２５に表示する。これにより、管理者に対して当該質問文が提示される。この時の管理者端末２０のディスプレイ２５に表示される第３画面例Ｐ１２については後述する。

ステップＳ２３１の後に、管理者端末２０は、再回答についての回答入力を受け付ける（ステップＳ２３２）
具体的には、管理者は、提示された質問文を確認し、その回答を管理者端末２０の入出力インタフェース３３を操作して入力する。この時の管理者端末２０のディスプレイ２５に表示される第４画面例Ｐ１３については後述する。

ステップＳ２３２の後に、管理者端末２０は、新たに会話パターンＤＢ４０に追加するかどうかの選択を受け付ける（ステップＳ２３３）
具体的には、管理者端末２０のプロセッサ１２は、ディスプレイ２５に対して、管理者が入力した内容について、新たに会話パターンとして登録するかどうかの選択肢を表示する。管理者は、新たに会話パターンとして登録する場合には、登録する旨の指示に併せて、回答文が紐づけられる新たなＱＡ項目の区分を入力する。具体的には、再回答の回答文が新たに登録されるＱＡ項目の区分の名称を管理者が入力する。また、管理者は、質問文について、新たな質問パターンとして登録するうえでの必要な編集を行うこともできる。
この時の管理者端末２０のディスプレイ２５に表示される第５画面例Ｐ１４については後述する。

ステップＳ２３３の後に、管理者端末２０は、入力された情報をサーバ３０に出力する（ステップＳ２３４）
具体的には、管理者端末２０のプロセッサ２２は、管理者により入力された情報として、例えば以下の情報を、サーバ３０に出力する。
・管理者により入力された新たな回答文の情報
・管理者により入力された、当該回答文を新たに会話パターンＤＢ４０に登録するかどうかに関する情報
・管理者により入力された、当該回答文を新たに会話パターンＤＢ４０に登録する場合において、当該会話文が紐づけられる新たなＱＡ項目の名称に関する情報
・質問文に対する編集により、作成された新たな質問パターンを示すテキストデータ

ステップＳ２３４の後に、サーバ３０は、入力された情報を取得する（ステップＳ３３２）。
具体的には、サーバ３０のプロセッサ３２は、管理者端末２０から出力された、新たな回答に関する情報を取得する。

ステップＳ３３２の後に、サーバ３０は、再回答の登録を行う（ステップＳ３３３）
具体的には、サーバ３０のプロセッサ３２は、再回答の回答文を回答パターンとし、ユーザからの質問文（又は質問文から編集されたテキストデータ）を質問パターンとして、ユーザから入力された名称を有する新たなＱＡ項目に紐づける。そして、再回答の回答文およびユーザからの質問文を、会話パターンＤＢ４０に登録する。これにより、新たなＱＡ項目に対して、回答パターンおよび質問パターンが新たに登録される。その後、自動応答モデルが新たな会話パターンを再学習することで、同様の質問に対して、自動応答モデルにより当該新たなＱＡ項目がレコメンドされ、管理者から再回答された回答内容が、回答文として質問者の従業員端末１０に対して自動で出力される。

ステップＳ３３３の後に、サーバ３０は、再回答の情報を従業員端末１０に出力する（ステップＳ３３４）。
具体的には、サーバ３０のプロセッサ３２は、再回答の情報をユーザに提示するために、従業員端末１０に出力する。この際、ユーザの連絡先に対して管理者から再回答があった旨を連絡してもよい。

ステップＳ３３４の後に、従業員端末１０は、再回答を表示する（ステップＳ１３１）。
具体的には、従業員端末１０のプロセッサ１２は、ディスプレイ１５に再回答を表示することで、ユーザに対して再回答の内容を提示する。これにより、ユーザは再回答を確認することで、自身がおこなった質問に対する適切な回答を得ることができ、困りごとを解消することができる。
以上により、エスカレーション処理を含む図６における手順Ｐ２０からＰ２１における処理が終了する。

（５）画面例
次に、システム１の画面例について図１６から図２０を参照して説明する。

（５－１）第１画面例Ｐ１０
図１６は、システム１における画面例のうち、図１２に示す第１画面例Ｐ１０を示す図である。
図１６に示すように、この画面では、自身が問い合わせを行った質問に対する回答を提示されたユーザに対して、その確認後に、回答の内容に関するアンケートが表示されている。まず、上部に示すアンケートＡ１において、以下の選択肢が表示されている。
・解決したことを示す選択肢（肯定的な評価）
・解決しなかったことを示す選択肢（否定的な評価）
ここで、回答により困りごとが解決した場合には、回答内容が適切であったという肯定的な評価と捉えることができる（図１２のステップＳ３０５のＹｅｓ）。
一方、回答により困りごとが解決しなかった場合には、回答内容が不適切であったという否定的な評価と捉えることができる（図１２のステップＳ３０５のＮｏ）。

次に、下部に示すアンケートＡ２において、以下の選択肢が表示されている。
・回答のレコメンドが間違っている
・回答の内容が不適切
ここで、「回答のレコメンドが間違っている」がユーザにより選択された場合は、回答文に含まれる回答内容のＱＡ項目が不適切である場合に相当する（図１２のステップＳ３０６のＸ）。
一方、「回答の内容が不適切」がユーザにより選択された場合は、回答文に含まれる回答内容に過不足がある場合に相当する（図１２のステップＳ３０６のＹ）。
このように、アンケートを従業員端末１０に表示することにより、ユーザからの評価を確認することができる。

（５－２）第１画面例Ｐ１１
図１７は、システム１における画面例のうち、図１３に示す第２画面例Ｐ１１を示す図である。
図１７に示すように、第２画面例Ｐ１１には、回答文に含まれる情報の更新を推奨するＱＡ項目のリストＬ１として、複数のカテゴリとＱＡ項目が表示されている。図示の例では、大カテゴリとＱＡ項目のタイトルが表示されている。
リストＬ１には、お問合せ件数が表示されている。お問合せ件数とは、当該ＱＡ項目について所定の期間に質問が来た件数を示す数字である。リストＬ１は、例えばお問合せ件数の多いＱＡ項目が上位に来るように表示されてもよい。
リストＬ１における編集ボタンＢ１を管理者がクリックすることで、図１１に示すＱＡ項目の編集画面が表示され、回答内容を編集することで更新することができる。

（５－３）第１画面例Ｐ１２
図１８は、システム１における画面例のうち、図１５に示す第３画面例Ｐ１２を示す図である。
図１８に示すように、第３画面例Ｐ１３には、エスカレーション処理として、管理者による回答を促す質問のリストＬ２として、複数のカテゴリとＱＡ項目が表示されている。図示の例では、エスカレーション処理が必要と判断された質問文が表示されている。
リストＬ１における回答ボタンＢ２を管理者がクリックすることで、図１９に示す第４画面例Ｐ１３が表示され、回答内容を入力することができる。

（５－４）第１画面例Ｐ１３
図１９は、システム１における画面例のうち、図１５に示す第４画面例Ｐ１３を示す図である。
図１９に示すように、第４画面例Ｐ１３では、管理者からの回答内容を確認する画面が表示されている。管理者は、エスカレーション処理の対象となる質問を確認して、適切な回答を回答欄に入力する。この際、画像データ、動画データ、文書データなどを添付してもよい。
管理者は、適切な回答を入力した後に、下端に表示された「問い合わせに回答」ボタンＢ３をクリックする。これにより、図２０に示す第５画面例Ｐ１４が表示される。

（５－５）第１画面例Ｐ１４
図２０は、システム１における画面例のうち、図１５に示す第５画面例Ｐ１４を示す図である。
図２０に示すように、第５画面例Ｐ１４には、管理者から、再回答の内容を新たな回答候補として登録するか否かを選択させるチェックボックスＢ４が表示されている。
また、第５画面例Ｐ１４には再回答の内容が属する質問区分の指定の入力欄Ｂ５が表示されている。入力欄Ｂ５には、登録先のカテゴリとして、大カテゴリおよび中カテゴリが選択できる選択欄Ｂ６と、新たなＱＡ項目の名称を入力する入力欄Ｂ７と、が表示されている。そして、必要な入力を済ませたユーザが送信ボタンＢ８をクリックすることで、入力された情報がサーバ３０に出力される。
また、図示を省略しているが、ユーザから入力された質問文に対して、質問パターンとして適切な表現に修正する作業を行ってもよい。この質問文への修正は任意であり、必要に応じて行うことができる。

（６）小括
以上説明したように、本実施形態に係るシステム１では、自動応答による回答文に対してユーザから否定的な評価がされた後に、エスカレーション処理として、質問文を管理者に対して出力し、管理担当者から、質問文への再回答の入力を受け付ける。そして、システム１では、新たな回答候補として、再回答の内容を会話パターンＤＢ４０に登録する。このため、対応する会話パターンが準備されていない場合でも、円滑に適切な回答を行うことができる。また、未だ回答文が準備されていない新たな問い合わせ事項について、担当者からの回答内容を、その後に自動応答により回答できる状態とすることができる。

ところで、従来の一般的な消費者向けのチャットボットでは、個別具体的な特定の問い合わせの件数の割合が少ないことと、様々な場面に適用できる汎用性を求めるあまり、特定の問い合わせに対する回答を学習させる動機が少なかった。システム１は特に労務に特化しているので、特定の問い合わせに対する回答を学習させることに充分がメリットがあると考えられる。

また、システム１では、再回答の内容を登録するステップに先立って、管理担当者から、再回答の内容を新たな回答候補として登録するか否かの選択の入力を受け付ける。このため、回答に個人情報が含まれる場合など、会話パターンとして一般化するべきではない回答については、新たな登録を行わないという選択肢を管理者に与えることができ、管理者による保守の利便性を向上することができる。

また、システム１は、管理者から再回答の内容が属する質問区分の指定の入力を受け付ける。これにより、新たな会話パターンをその内容に応じて適切なカテゴリに登録することができる。

また、システム１は、再回答の内容を登録するステップにおいて、管理者から選択された質問区分に対して、再回答の内容を登録する。このため、階層構造を備えたカテゴリにより分類される会話パターンＤＢの管理を円滑に行うことができる。

また、システム１は、再回答の内容を登録するステップでは、選択された質問区分に対して、質問文を登録する。これにより、質問のカテゴリに対して、回答文と質問文を対応付けて管理することができる。

また、システム１は、管理担当者に対して、ユーザが入力した否定的な評価の内容を提示する。これにより、ユーザに対して行った結果を、管理者に正確に伝えることができる。
否定的な評価において問題視されている観点を把握することができ、否定的な評価の内容を管理担当者が把握できることで、その後に適切な対応をすることができる。

また、システム１は、回答内容の質問区分（ＱＡ項目）が不適切であることを指摘する否定的な評価が入力されたことに応答して、ユーザに対して、自動応答モデルが回答文の次に回答すべき候補として出力した複数の回答文を新たに提示する。これにより、自動応答モデルが次候補となる回答文をユーザに複数提示して、適切な回答を提示することができる。

また、システム１は、新たに提示した複数の回答文のいずれにも適切な回答が含まれない旨の評価がユーザから入力されたことに応答して、質問文を管理担当者に出力する。これにより、管理者に対して適切にエスカレーション処理を促すことができる。

（７）変形例
記憶装置３１は、サーバ３０の外部に存在し、ネットワークＮＷを介して、サーバ３０と接続されてもよい。
会話パターンＤＢ４０に記憶される会話パターンの情報は、サーバ３０の記憶装置３１に記憶されてもよい。

上記の情報処理の各ステップは、従業員端末１０、サーバ３０、及び管理者端末２０の何れでも実行可能である。
上記説明では、各処理において各ステップを特定の順序で実行する例を示したが、各ステップの実行順序は、依存関係がない限りは説明した例に制限されない。すなわち、処理に矛盾が生じない範囲において、任意に変更することができる。

上述した会話パターンが格納されるカテゴリの内容は、任意に変更可能である。すなわち、管理者の設定により、大カテゴリ、小カテゴリ、ＱＡ項目を任意に設定することができる。

システム１は、その他の機能を有していてもよい。例えば、システム１は、エスカレーション処理の対象となる質問に対して、再回答をさせるべき担当者を自動で選定してもよい。この機能において、サーバ３０のプロセッサ３２は、自動応答モデルがレコメンドしたＱＡ項目の内容に応じて、関連性の高い部門を設定する。そして従業員ＤＢを参照して、当該部門において、問い合わせ事項の窓口として設定された回答担当者を選定する。サーバ３０は、エスカレーション処理における再回答の担当者として、選定した回答担当者の連絡先に対して、再回答を依頼する通知を送る。回答担当者は、再回答した内容を管理者に対して送信する。管理者は、回答担当者から回答された内容を確認し、新たにＱＡ項目として追加するかどうかの選択を行う図１５におけるステップＳ２３３以降の処理を行う。
この機能により、問い合わせ事項が仮に専門性の高い内容を含んでいても、適切な部門の担当者を回答担当者として選定することで、円滑にユーザからの問い合わせに対して回答することができる。

また、管理者による再回答を新たなＱＡ項目に登録する場合には、当該ＱＡ項目が属する大カテゴリおよび小カテゴリについては、既存のカテゴリに限られない。すなわち、新たなＱＡ項目の登録において、新たな大カテゴリ又は中カテゴリを作成して、その中に格納される新たなＱＡ項目として登録してもよい。例えば、再回答の内容が紐づけられるＱＡ項目だけが所属する再回答専用の大カテゴリ又は中カテゴリを、既存の大カテゴリおよび中カテゴリとは別に設けてもよい。

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
また、上記の実施形態及び変形例は、その一部を省略可能である。例えば、質問者であるユーザから回答に対する否定的な評価の入力を受け付けた際に、その理由を確認することなく、エスカレーション処理を行ってもよい。

（７）付記
本発明の内容を以下に付記する。

（付記１）
自動応答によりユーザからの質問に回答するコンピュータに用いられるプログラムであって、
コンピュータのプロセッサに、
ユーザから質問文の入力を受け付けるステップ（ステップＳ１０１）と、
予めデータベースに登録された複数の回答候補のうち、入力された質問文に対する回答として適切な回答文を学習済みモデルに出力させ、出力された回答文をユーザに対して提示するステップ（ステップＳ１０２）と、
ユーザから、回答文に対する評価の入力を受け付けるステップ（ステップＳ１０３）と、
回答文に対して、ユーザから否定的な評価が入力された場合に、質問文を管理担当者に対して提示するステップ（ステップＳ２３１）と、
管理担当者から、質問文への再回答の入力を受け付けるステップ（ステップＳ２３２）と、
新たな回答候補として、再回答の内容をデータベースに登録するステップ（ステップＳ３３３）と、を実行させるプログラム。

（付記２）
プロセッサに、更に、
再回答の内容をデータベースに登録するステップ（ステップＳ３３３）に先立って、
管理担当者から、再回答の内容を新たな回答候補として登録するか否かの選択の入力を受け付けるステップ（ステップＳ２３３）を実行させる、付記１に記載のプログラム。

（付記３）
選択の入力を受け付けるステップ（ステップＳ２３３）では、
再回答の内容が属する質問区分の指定の入力を受け付ける、付記１又は２に記載のプログラム。

（付記４）
再回答の内容をデータベースに登録するステップ（ステップＳ３３３）では、
選択された質問区分と紐づけて再回答の内容を登録する、付記１から３のいずれかに記載のプログラム。

（付記５）
再回答の内容をデータベースに登録するステップ（ステップＳ３３３）では、
選択された質問区分と紐づけて、質問文を必要に応じて編集した後に登録する、付記１から４のいずれかに記載のプログラム。

（付記６）
回答文に対する評価には、
回答文に含まれる回答内容に過不足があることを指摘する否定的な評価と、
回答文に含まれる回答内容の質問区分が不適切であることを指摘する否定的な評価と、を含む、付記１から５のいずれかに記載のプログラム。

（付記７）
質問文を管理担当者に対して提示するステップ（ステップＳ２３１）では、
管理担当者に対して、ユーザが入力した否定的な評価の内容を提示する、付記６に記載のプログラム。

（付記８）
回答文に対する評価の入力を受け付けるステップ（ステップＳ１０３）において、回答内容の質問区分が不適切であることを指摘する否定的な評価が入力されたことに応答して、ユーザに対して、学習済みモデルが回答文の次に回答すべき候補として出力した複数の回答文を新たに提示する、付記７に記載のプログラム。

（付記９）
新たに提示した複数の回答文のいずれにも適切な回答が含まれない旨の評価がユーザから入力されたことに応答して、質問文を管理担当者に対して提示するステップ（ステップＳ２３１）を実行させる、付記８に記載のプログラム。

（付記１０）
新たに提示した複数の回答文に適切な回答が含まれる旨の評価がユーザから入力されたことに応答して、質問文を適切な回答に対応する新たな質問パターンとしてデータベースに登録するステップ（ステップＳ３２４）を実行させる、付記８に記載のプログラム。

（付記１１）
自動応答によりユーザからの質問に回答するコンピュータに用いられる方法であって、
コンピュータのプロセッサが、
ユーザから質問文の入力を受け付けるステップ（ステップＳ１０１）と、
予めデータベースに登録された複数の回答候補のうち、入力された質問文に対する回答として適切な回答文を学習済みモデルに出力させ、出力された回答文をユーザに対して提示するステップ（ステップＳ１０２）と、
ユーザから、回答文に対する評価の入力を受け付けるステップ（ステップＳ１０３）と、
回答文に対して、ユーザから否定的な評価が入力された場合に、質問文を管理担当者に対して提示するステップ（ステップＳ２３１）と、
管理担当者から、質問文への再回答の入力を受け付けるステップ（ステップＳ２３２）と、
新たな回答候補として、再回答の内容をデータベースに登録するステップ（ステップＳ３３３）と、を実行する方法。

（付記１２）
自動応答によりユーザからの質問に回答するコンピュータを有する自動応答システムであって、
コンピュータのプロセッサは、
ユーザから質問文の入力を受け付ける手段と、
予めデータベースに登録された複数の回答候補のうち、入力された質問文に対する回答として適切な回答文を学習済みモデルに出力させ、出力された回答文をユーザに対して提示する手段と、
ユーザから、回答文に対する評価の入力を受け付ける手段と、
回答文に対して、ユーザから否定的な評価が入力された場合に、質問文を管理担当者に対して提示する手段と、
管理担当者から、質問文への再回答の入力を受け付ける手段と、
新たな回答候補として、再回答の内容をデータベースに登録する手段と、を備えるシステム。

１ ：情報処理システム
１０ ：端末
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
２０ ：管理者端末
２１ ：記憶装置
２２ ：プロセッサ
２３ ：入出力インタフェース
２４ ：通信インタフェース
３０ ：サーバ
３１ ：記憶装置
３２ ：プロセッサ
３３ ：入出力インタフェース
３４ ：通信インタフェース

Claims (11)

1. 自動応答によりユーザからの質問に回答するコンピュータに用いられるプログラムであって、
   前記コンピュータのプロセッサに、
   ユーザから質問文の入力を受け付けるステップと、
   予めデータベースに登録された複数の回答候補のうち、入力された前記質問文に対する回答として適切な回答文を学習済みモデルに出力させ、出力された前記回答文をユーザに対して提示するステップと、
   ユーザから、前記回答文に対する評価の入力を受け付けるステップと、
   前記回答文に対して、ユーザから否定的な評価が入力された場合に、前記質問文を管理担当者に対して提示するステップと、
   前記管理担当者から、前記質問文への再回答の入力を受け付けるステップと、
   新たな回答候補として、前記再回答の内容を前記データベースに登録するステップと、を実行させ、
   前記回答文に対する評価には、
   前記回答文に含まれる回答内容に過不足があることを指摘する否定的な評価と、
   前記回答文に含まれる回答内容の質問区分が不適切であることを指摘する否定的な評価と、が含まれる、プログラム。
2. 前記プロセッサに、更に、
   前記再回答の内容を前記データベースに登録するステップに先立って、
   前記管理担当者から、前記再回答の内容を新たな回答候補として登録するか否かの選択の入力を受け付けるステップを実行させる、請求項１に記載のプログラム。
3. 前記選択の入力を受け付けるステップでは、
   前記再回答の内容が属する質問区分の指定の入力を受け付ける、請求項２に記載のプログラム。
4. 前記再回答の内容を前記データベースに登録するステップでは、
   選択された前記質問区分と紐づけて前記再回答の内容を登録する、請求項３に記載のプログラム。
5. 前記再回答の内容を前記データベースに登録するステップでは、
   選択された前記質問区分と紐づけて、前記質問文を必要に応じて編集した後に登録する、請求項４に記載のプログラム。
6. 前記質問文を管理担当者に対して提示するステップでは、
   前記管理担当者に対して、ユーザが入力した否定的な評価の内容を提示する、請求項１に記載のプログラム。
7. 前記回答文に対する評価の入力を受け付けるステップにおいて、前記回答内容の質問区分が不適切であることを指摘する否定的な評価が入力されたことに応答して、ユーザに対して、学習済みモデルが前記回答文の次に回答すべき候補として出力した複数の回答文を新たに提示する、請求項１に記載のプログラム。
8. 新たに提示した複数の回答文のいずれにも適切な回答が含まれない旨の評価がユーザから入力されたことに応答して、前記質問文を前記管理担当者に対して提示するステップを実行させる、請求項７に記載のプログラム。
9. 新たに提示した複数の回答文に適切な回答が含まれる旨の評価がユーザから入力されたことに応答して、前記質問文を前記適切な回答に対応する新たな質問パターンとして前記データベースに登録するステップを実行させる、請求項７に記載のプログラム。
10. 自動応答によりユーザからの質問に回答するコンピュータに用いられる方法であって、
    前記コンピュータのプロセッサが、
    ユーザから質問文の入力を受け付けるステップと、
    予めデータベースに登録された複数の回答候補のうち、入力された前記質問文に対する回答として適切な回答文を学習済みモデルに出力させ、出力された前記回答文をユーザに対して提示するステップと、
    ユーザから、前記回答文に対する評価の入力を受け付けるステップと、
    前記回答文に対して、ユーザから否定的な評価が入力された場合に、前記質問文を管理担当者に対して提示するステップと、
    前記管理担当者から、前記質問文への再回答の入力を受け付けるステップと、
    新たな回答候補として、前記再回答の内容を前記データベースに登録するステップと、を実行し、
    前記回答文に対する評価には、
    前記回答文に含まれる回答内容に過不足があることを指摘する否定的な評価と、
    前記回答文に含まれる回答内容の質問区分が不適切であることを指摘する否定的な評価と、が含まれる、方法。
11. 自動応答によりユーザからの質問に回答するコンピュータを有する自動応答システムであって、
    前記コンピュータのプロセッサは、
    ユーザから質問文の入力を受け付ける手段と、
    予めデータベースに登録された複数の回答候補のうち、入力された前記質問文に対する回答として適切な回答文を学習済みモデルに出力させ、出力された前記回答文をユーザに対して提示する手段と、
    ユーザから、前記回答文に対する評価の入力を受け付ける手段と、
    前記回答文に対して、ユーザから否定的な評価が入力された場合に、前記質問文を管理担当者に対して提示する手段と、
    前記管理担当者から、前記質問文への再回答の入力を受け付ける手段と、
    新たな回答候補として、前記再回答の内容を前記データベースに登録する手段と、を備え、
    前記回答文に対する評価には、
    前記回答文に含まれる回答内容に過不足があることを指摘する否定的な評価と、
    前記回答文に含まれる回答内容の質問区分が不適切であることを指摘する否定的な評価と、が含まれる、システム。

Images