JP7486863B1 - プログラム、方法、情報処理装置、システム - Google Patents

Abstract

【課題】質問に対して適した回答（返答）を出力するプログラム、方法、情報処理装置、システムを提供する。【解決手段】プログラムは、ユーザ端末から受け付けた質問文を、質問文の入力に応じて回答文を出力可能な質問回答システムに対して入力する質問入力ステップと、質問文に応じた１または複数の回答文と、当該１または複数の回答文のそれぞれに関連付けられた関連度と、を取得する回答取得ステップと、１または複数の回答文に関連付けられた関連度が、所定の条件を満たす場合に所定の条件を満たす１または複数の回答文をユーザ端末へ送信する回答送信ステップと、１または複数の回答文に関連付けられた関連度が、所定の条件を満たさない場合に、質問受付ステップにおいて受け付けた質問文を入力データとして大規模言語モデルへ入力することにより出力される返答文をユーザ端末へ送信する返答送信ステップと、を実行する。【選択図】図７

Description

本開示は、プログラム、方法、情報処理装置、システムに関する。

ユーザからのオンラインでの質問等の問い合わせに対して、質問に応じた回答内容を出力するシステム（チャットボットシステム）が知られている。
特許文献１には、ユーザからの問合せに対してチャットボットが自動的に対応しつつ、有人対応に引き継ぐ際に、回答者にシームレスに引き継ぐことを可能とする技術が開示されている。

特開２０２２－１８９２３７号公報

質問文に対して適した回答を出力できていないという課題がある。
そこで、本開示は、上記課題を解決すべくなされたものであって、その目的は、質問に対して適した回答（返答）を出力する技術を提供することである。

プロセッサと、記憶部とを備えるコンピュータに実行させるためのプログラムであって、プロセッサが、ユーザ端末から質問文を受け付ける質問受付ステップと、質問受付ステップにおいて受け付けた質問文を、質問文の入力に応じて回答文を出力可能な質問回答システムに対して入力する質問入力ステップと、質問入力ステップにおいて入力した質問文に応じた１または複数の回答文と、当該１または複数の回答文のそれぞれに関連付けられた関連度と、を取得する回答取得ステップと、回答取得ステップにおいて取得した１または複数の回答文に関連付けられた関連度が、所定の条件を満たす場合に所定の条件を満たす１または複数の回答文をユーザ端末へ送信する回答送信ステップと、回答取得ステップにおいて取得した１または複数の回答文に関連付けられた関連度が、所定の条件を満たさない場合に、質問受付ステップにおいて受け付けた質問文を入力データとして大規模言語モデルへ入力することにより出力される返答文をユーザ端末へ送信する返答送信ステップと、を実行するプログラム。

本開示によれば、質問に対して適した回答（返答）を出力できる。

システム１の機能構成を示すブロック図である。 サーバ１０の機能構成を示すブロック図である。 ユーザ端末２０の機能構成を示すブロック図である。 管理者端末３０の機能構成を示すブロック図である。 ユーザテーブル１０１２のデータ構造を示す図である。 質問回答テーブル１０１３のデータ構造を示す図である。 質問処理の動作を示すフローチャートである。 管理処理の動作を示すフローチャートである。 質問処理の動作を示す画面例である。 管理処理の動作を示す画面例である。 コンピュータ９０の基本的なハードウェア構成を示すブロック図である。

以下、本開示の実施形態について図面を参照して説明する。実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。なお、以下の実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。また、各図は模式図であり、必ずしも厳密に図示されたものではない。

＜システム１の構成＞
本開示におけるシステム１は、ユーザから入力を受け付けた質問文に対して好適な回答文を出力する情報処理サービス（ＦＡＱサービス）を提供する情報処理システムである。例えば、銀行等においては口座開設、国内外送金、ローンの申し込み、ＡＴＭ、キャッシュカードの利用方法、モバイルバンキングの利用方法などに関するユーザからの質問文を受け付け、当該質問文にかかるユーザの疑問や問題を解決するための回答文をユーザに対して提供する情報処理サービスを提供する。
本開示にかかる情報処理サービスの適用は、銀行に限られず、鉄道、航空機、タクシー等の公共交通機関、ホテル、民宿等の宿泊施設、その他、ソフトウェアサービス、病院等、任意の事業体に対して適用することが可能である。
システム１は、ネットワークＮを介して接続された、サーバ１０、ユーザ端末２０、管理者端末３０、生成ＡＩ５０、質問回答システム６０の情報処理装置を備える。
図１は、システム１の機能構成を示すブロック図である。
図２は、サーバ１０の機能構成を示すブロック図である。
図３は、ユーザ端末２０の機能構成を示すブロック図である。
図４は、管理者端末３０の機能構成を示すブロック図である。

各情報処理装置は演算装置と記憶装置とを備えたコンピュータにより構成されている。コンピュータの基本ハードウェア構成および、当該ハードウェア構成により実現されるコンピュータの基本機能構成は後述する。サーバ１０、ユーザ端末２０、管理者端末３０、生成ＡＩ５０、質問回答システム６０のそれぞれについて、後述するコンピュータの基本ハードウェア構成およびコンピュータの基本機能構成と重複する説明は省略する。

＜サーバ１０の構成＞
サーバ１０は、後述する生成ＡＩ５０、質問回答システム６０などと通信することにより、ユーザから入力を受け付けた質問文に対して好適な回答文を出力する情報処理サービス（ＦＡＱサービス）を提供する情報処理装置である。
サーバ１０は、記憶部１０１、制御部１０４を備える。

＜サーバ１０の記憶部１０１の構成＞
サーバ１０の記憶部１０１は、アプリケーションプログラム１０１１、ユーザテーブル１０１２、質問回答テーブル１０１３を備える。

アプリケーションプログラム１０１１は、サーバ１０の制御部１０４を各機能ユニットとして機能させるためのプログラムである。
アプリケーションプログラム１０１１は、ウェブブラウザアプリケーションなどのアプリケーションを含む。

ユーザテーブル１０１２は、サービスを利用する会員ユーザ（以下、ユーザ）の情報を記憶し管理するテーブルである。ユーザは、サービスの利用登録を行うことで、当該ユーザの情報がユーザテーブル１０１２の新しいレコードに記憶される。これにより、ユーザは本開示にかかるサービスを利用できるようになる。
ユーザテーブル１０１２は、ユーザＩＤを主キーとして、ユーザＩＤ、ユーザ名のカラムを有するテーブルである。
図５は、ユーザテーブル１０１２のデータ構造を示す図である。

ユーザＩＤは、ユーザを識別するためのユーザ識別情報を記憶する項目である。ユーザ識別情報は、ユーザごとにユニークな値が設定されている項目である。
ユーザ名は、ユーザの氏名を記憶する項目である。ユーザ名は、氏名ではなく、ニックネームなど任意の文字列を設定しても良い。

質問回答テーブル１０１３は、質問に関する情報（質問情報）を記憶し管理するためのテーブルである。
質問回答テーブル１０１３は、質問ＩＤを主キーとして、質問ＩＤ、親質問ＩＤ、ユーザＩＤ、質問文、回答データ、返答文、日時のカラムを有するテーブルである。
図６は、質問回答テーブル１０１３のデータ構造を示す図である。

質問ＩＤは、質問を識別するための質問識別情報を記憶する項目である。質問識別情報は、質問情報ごとにユニークな値が設定されている項目である。
親質問ＩＤは、親質問を識別するための親質問識別情報を記憶する項目である。
ユーザＩＤは、ユーザを識別するためのユーザ識別情報を記憶する項目である。
質問文は、質問文にかかる文字列情報（テキスト情報）を記憶する項目である。
回答データは、質問回答システム６０から出力される出力文（回答文）にかかる文字列情報（テキスト情報）を記憶する項目である。回答データは、１または複数の回答文と、当該１または複数の回答文のそれぞれに関連付けられた質問文との関連度を示す指標を関連付けて記憶することができる。
返答文は、生成ＡＩ５０から出力される出力文（返答文）にかかる文字列情報（テキスト情報）を記憶する項目である。
日時は、質問回答テーブル１０１３に新たにレコードが記憶されたり更新された際の記憶日時を記憶する項目である。

＜サーバ１０の制御部１０４の構成＞
サーバ１０の制御部１０４は、ユーザ登録制御部１０４１を備える。制御部１０４は、記憶部１０１に記憶されたアプリケーションプログラム１０１１を実行することにより、各機能ユニットが実現される。

ユーザ登録制御部１０４１は、本開示に係るサービスの利用を希望するユーザの情報をユーザテーブル１０１２に記憶する処理を行う。
ユーザテーブル１０１２に記憶される情報は、ユーザが任意の情報処理端末からサービス提供者が運営するウェブページなどを開き、所定の入力フォームに情報を入力しサーバ１０へ送信する。ユーザ登録制御部１０４１は、受信した情報をユーザテーブル１０１２の新しいレコードに記憶し、ユーザ登録が完了する。これにより、ユーザテーブル１０１２に記憶されたユーザはサービスを利用することができるようになる。
ユーザ登録制御部１０４１によるユーザ情報のユーザテーブル１０１２への登録に先立ち、サービス提供者は所定の審査を行いユーザによるサービス利用可否を制限しても良い。
ユーザＩＤは、ユーザを識別できる任意の文字列または数字で良く、ユーザが希望する任意の文字列または数字、もしくはユーザ登録制御部１０４１が自動的に任意の文字列または数字を設定しても良い。

＜ユーザ端末２０の構成＞
ユーザ端末２０は、サービスを利用するユーザが操作する情報処理装置である。ユーザ端末２０は、例えば、スマートフォン、タブレット等の携帯端末でもよいし、据え置き型のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ラップトップＰＣであってもよい。また、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）、腕時計型端末等のウェアラブル端末であってもよい。
ユーザ端末２０は、記憶部２０１、制御部２０４、入力装置２０６、出力装置２０８を備える。

＜ユーザ端末２０の記憶部２０１の構成＞
ユーザ端末２０の記憶部２０１は、ユーザＩＤ２０１１、アプリケーションプログラム２０１２を備える。

ユーザＩＤ２０１１はユーザのアカウントＩＤである。ユーザは、ユーザ端末２０からユーザＩＤ２０１１を、サーバ１０へ送信する。サーバ１０は、ユーザＩＤ２０１１に基づきユーザを識別し、本開示にかかるサービスをユーザに対して提供する。なお、ユーザＩＤ２０１１には、ユーザ端末２０を利用しているユーザを識別するにあたりサーバ１０から一時的に付与されるセッションＩＤなどの情報を含む。

アプリケーションプログラム２０１２は、記憶部２０１に予め記憶されていても良いし、通信ＩＦを介してサービス提供者が運営するウェブサーバ等からダウンロードする構成としても良い。
アプリケーションプログラム２０１２は、ウェブブラウザアプリケーションなどのアプリケーションを含む。
アプリケーションプログラム２０１２は、ユーザ端末２０に記憶されているウェブブラウザアプリケーション上で実行されるＪａｖａＳｃｒｉｐｔ（登録商標）などのインタープリター型プログラミング言語を含む。

＜ユーザ端末２０の制御部２０４の構成＞
ユーザ端末２０の制御部２０４は、入力制御部２０４１、出力制御部２０４２を備える。制御部２０４は、記憶部２０１に記憶されたアプリケーションプログラム２０１２を実行することにより、各機能ユニットが実現される。

＜ユーザ端末２０の入力装置２０６の構成＞
ユーザ端末２０の入力装置２０６は、カメラ２０６１、マイク２０６２、位置情報センサ２０６３、モーションセンサ２０６４、タッチデバイス２０６５を備える。

＜ユーザ端末２０の出力装置２０８の構成＞
ユーザ端末２０の出力装置２０８は、ディスプレイ２０８１、スピーカ２０８２を備える。

＜管理者端末３０の構成＞
管理者端末３０は、サービスを利用するユーザが操作する情報処理装置である。管理者は、質問回答システム６０に記憶されている質問回答情報を編集する権限を有するユーザである。管理者端末３０は、例えば、スマートフォン、タブレット等の携帯端末でもよいし、据え置き型のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ラップトップＰＣであってもよい。また、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）、腕時計型端末等のウェアラブル端末であってもよい。
管理者端末３０は、記憶部３０１、制御部３０４、入力装置３０６、出力装置３０８を備える。

＜管理者端末３０の記憶部３０１の構成＞
管理者端末３０の記憶部３０１は、管理者ＩＤ３０１１、アプリケーションプログラム３０１２を備える。

管理者ＩＤ３０１１は管理者のアカウントＩＤである。管理者は、管理者端末３０から管理者ＩＤ３０１１を、サーバ１０へ送信する。サーバ１０は、管理者ＩＤ３０１１に基づき管理者を識別し、本開示にかかるサービスを管理者に対して提供する。なお、管理者ＩＤ３０１１には、管理者端末３０を利用している管理者を識別するにあたりサーバ１０から一時的に付与されるセッションＩＤなどの情報を含む。

アプリケーションプログラム３０１２は、記憶部２０１に予め記憶されていても良いし、通信ＩＦを介してサービス提供者が運営するウェブサーバ等からダウンロードする構成としても良い。
アプリケーションプログラム３０１２は、ウェブブラウザアプリケーションなどのアプリケーションを含む。
アプリケーションプログラム３０１２は、ユーザ端末２０に記憶されているウェブブラウザアプリケーション上で実行されるＪａｖａＳｃｒｉｐｔ（登録商標）などのインタープリター型プログラミング言語を含む。

＜管理者端末３０の制御部３０４の構成＞
管理者端末３０の制御部３０４は、入力制御部３０４１、出力制御部３０４２を備える。制御部３０４は、記憶部３０１に記憶されたアプリケーションプログラム３０１２を実行することにより、各機能ユニットが実現される。

＜管理者端末３０の入力装置３０６の構成＞
管理者端末３０の入力装置３０６は、カメラ３０６１、マイク３０６２、位置情報センサ３０６３、モーションセンサ３０６４、タッチデバイス３０６５を備える。

＜管理者端末３０の出力装置３０８の構成＞
管理者端末３０の出力装置３０８は、ディスプレイ３０８１、スピーカ３０８２を備える。

＜生成ＡＩ５０の構成＞
生成ＡＩ５０とは、自然言語処理（ＮＬＰ）の分野で使用される大規模な人工知能モデルを指す。これらのモデルは、大量のテキストデータ（ウェブページ、書籍、記事等）を学習することで、人間が使用する言語のパターンを理解し、自然言語生成（ＮＬＧ）タスクを効果的に行うことができる。
生成ＡＩ５０は、特定の問いへの応答生成、文章の自動生成、テキストの要約、翻訳、感情分析など、多くのＮＬＰタスクで使用される。また、教育、エンターテイメント、カスタマーサービス、製品開発など、様々な用途に活用できる。生成ＡＩ５０には、以下のようなものが存在する。本開示においては、主に出力情報としてテキスト情報を出力する大規模言語モデルを生成ＡＩ５０の一種として説明する。
・ＯｐｅｎＡＩ ＣｈａｔＧＰＴ
・Ｇｏｏｇｌｅ Ｂａｒｄ
・Ｓｔａｂｌｅ Ｄｉｆｆｕｓｉｏｎ
・ｍｉｄｊｏｕｒｎｅｙ
なお、生成ＡＩ５０は、サーバ１０の一部の機能として実現する構成としても構わない。

＜質問回答システム６０の構成＞
質問回答システム６０は、質問文にかかる文字列の入力に応じて、回答文にかかる文字列を出力する情報処理システムである。例えば、質問回答システム６０は、ＦＡＱシステムを含む。
具体的に、質問回答システム６０は、ユーザからのよくある質問とその回答のペア（質問回答情報）を記憶する情報処理システムである。質問回答システム６０は、入力文字列の入力を受け付けると、当該文字列に基づき質問回答情報に含まれる質問または回答の少なくともいずれかを全文検索等により検索し、検索結果にかかる質問回答情報を入力文字列との関連度（スコア）と関連付けて出力することができる。
質問回答システム６０へ、検索キーワード、質問文などの文字列を入力することにより、当該文字列と関連する質問回答情報の出力を取得することができる。質問回答システム６０は、１つである必要はなく、例えば、銀行Ａにおける質問回答情報が記憶された質問回答システムＡ、銀行Ｂ、銀行Ｃ、宿泊施設Ａ、宿泊施設Ｂ等の質問にかかるサービスを提供する事業者ごとに複数の質問回答システム６０を用意する構成としても良い。
質問回答システム６０は、全文検索ＡＩ、全文検索システム、ＡＩチャットボット（分類モデル）等の情報処理装置を含む。
なお、質問回答システム６０は、サーバ１０の一部の機能として実現する構成としても構わない。

＜システム１の動作＞
以下、システム１の各処理について説明する。
図７は、質問処理の動作を示すフローチャートである。
図８は、管理処理の動作を示すフローチャートである。
図９は、質問処理の動作を示す画面例である。
図１０は、管理処理の動作を示す画面例である。

＜質問処理＞
質問処理は、ユーザから受け付けた質問文に応じた検索キーワードに基づく質問回答システム６０からの出力文、または、生成ＡＩ５０からの出力文をユーザに提示する処理である。

＜質問処理の概要＞
質問処理は、ユーザから質問文の入力を受け付け、入力した質問文を質問回答システム６０へ入力し、質問回答システム６０から出力された回答文と関連度に応じて、関連度が所定の条件を満たす場合は回答文をユーザへ提示し、関連度が所定の条件を満たさない場合は質問文および回答文を入力データとして生成ＡＩへ入力し、生成ＡＩ５０から出力された返答文をユーザへ提示する一連の処理である。

＜質問処理の詳細＞
以下に、質問処理の詳細を説明する。
ユーザは、ユーザ端末２０の入力装置２０６を操作し、ブラウザアプリケーション等を実行し、質問処理を実行するためのウェブページ（質問ページ）のＵＲＬ等を入力することにより質問ページＤ１を開く。ユーザ端末２０の制御部２０４は、質問ページを開くためのユーザＩＤ２０１１を含むリクエストをサーバ１０へ送信する。

サーバ１０は、リクエストを受信すると質問ページを生成しユーザ端末２０へ送信する。ユーザ端末２０の制御部２０４は、質問ページをユーザ端末２０のディスプレイ２０８１に表示し、提示する。
図９は、質問処理における質問画面の画面例である。ユーザ端末２０のディスプレイ２０８１には、質問ページＤ１が表示される。質問ページＤ１は、入力欄Ｄ１１、出力文Ｄ１２（回答文または返答文）、質問文Ｄ１３、送信ボタンＤ１４、を含む。

ステップＳ１０１において、サーバ１０の制御部１０４は、ユーザ端末から質問文を受け付ける質問受付ステップを実行する。
ユーザは、ユーザ端末２０の入力装置２０６を操作することにより、入力欄Ｄ１１に質問文を入力する。ユーザ端末２０の制御部２０４は、入力欄Ｄ１１に入力された質問文を、サーバ１０へ送信する。例えば、ユーザは、ユーザ端末２０の入力装置２０６を操作することにより、送信ボタンＤ１４を押下することにより入力欄Ｄ１１に入力された質問文を、サーバ１０へ送信することができる。サーバ１０へ送信されるリクエストは、ユーザＩＤ２０１１を含む。
サーバ１０の制御部１０４は、質問文、ユーザＩＤ２０１１を受信し、受け付ける。サーバ１０の制御部１０４は、受け付けた質問文、ユーザＩＤ２０１１をそれぞれ、質問回答テーブル１０１３の新たなレコードの質問文、ユーザＩＤの項目に記憶する。
ユーザ端末２０の制御部２０４は、入力欄Ｄ１１に入力された質問文を、質問ページＤ１の質問文Ｄ１３に表示し、ユーザに提示する。

ステップＳ１０２において、サーバ１０の制御部１０４は、質問受付ステップにおいて受け付けた質問文を、質問文の入力に応じて回答文を出力可能な質問回答システムに対して入力する質問入力ステップを実行する。
具体的に、サーバ１０の制御部１０４は、ステップＳ１０１において受け付けた質問文を質問回答システム６０へ送信する。質問回答システム６０は、質問文を受信し、入力を受け付ける。

ステップＳ１０３において、サーバ１０の制御部１０４は、質問入力ステップにおいて入力した質問文に応じた１または複数の回答文と、１または複数の回答文のそれぞれに関連付けられた関連度と、を取得する回答取得ステップを実行する。
具体的に、サーバ１０の制御部１０４は、ステップＳ１０２における質問文の入力に応じて質問回答システム６０から出力される１または複数の回答文と、当該１または複数の回答文のそれぞれに関連付けられた関連度を取得する。
なお、関連度は入力された質問文に対する回答文の関連性を示す数値指標である。関連度は、質問文と回答文とに基づき、ＴＦ－ＩＤＦ（Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ－Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）スコア、コサイン類似度、ユークリッド距離、Ｊａｃｃａｒｄ係数、その他、任意の機械学習モデル、深層学習モデル、人工知能モデル等に基づき、算定することができる。
本開示においては、質問回答システム６０は、質問文の入力に応じて、当該質問文に関連する回答文を、当該質問文との関連度とを関連付けた態様で出力可能なシステムである。特に、質問回答システム６０は、関連度が高い順番に１または複数の回答文と、当該１または複数の回答文のそれぞれに関連付けられた関連度と、を出力するシステムとする。

ステップＳ１０３において、サーバ１０の制御部１０４は、回答取得ステップにおいて取得した１または複数の回答文を質問文と関連付けて記憶する回答記憶ステップを実行する。
具体的に、サーバ１０の制御部１０４は、質問回答テーブル１０１３のステップＳ１０１において作成したレコードの回答データの項目に、１または複数の回答文と、当該１または複数の回答データの項目にそれぞれに関連付けられた関連度と、を記憶する。

回答記憶ステップは、回答取得ステップにおいて取得した１または複数の回答文のうち、関連度が低い順番に所定個数の回答文を記憶するステップを実行する。
具体的に、サーバ１０の制御部１０４は、質問回答システム６０から出力されたすべての１または複数の回答文を記憶する必要はなく、関連度が低いまたは高い順番に所定個数の回答文と、当該回答文に関連付けられた関連度と、を質問回答テーブル１０１３の回答データの項目に記憶しても良い。また、サーバ１０の制御部１０４は、関連度が所定値以下または所定値以上の回答文と、当該回答文に関連付けられた関連度と、を質問回答テーブル１０１３の回答データの項目に記憶しても良い。

回答記憶ステップは、回答取得ステップにおいて取得した１または複数の回答文に関連付けられた関連度が、所定の条件を満たさない場合に、１または複数の回答文を記憶するステップを実行する。
具体的に、サーバ１０の制御部１０４は、質問回答システム６０から出力された１または複数の回答文のうち、少なくとも一部または全部の回答文が所定の条件を満たす場合、または、満たさない場合に、１または複数の回答文と、当該１または複数の回答文のそれぞれに関連付けられた関連度と、を質問回答テーブル１０１３の回答データの項目に記憶しても良い。
同様に、サーバ１０の制御部１０４は、質問回答システム６０から出力された１または複数の回答文のうち、少なくとも一部または全部の回答文が所定の条件を満たさない場合、または、満たす場合に、１または複数の回答文と、当該１または複数の回答文のそれぞれに関連付けられた関連度と、を質問回答テーブル１０１３の回答データの項目に記憶しない構成としても良い。

例えば、サーバ１０の制御部１０４は、質問回答システム６０から出力された１または複数の関連度の最大値、最小値、平均（平均値、中央値、最頻値）などの統計値が、所定値以上または所定値以下である場合に、所定の条件を満たすと判定しても良い。
サーバ１０の制御部１０４は、質問回答システム６０から出力された１または複数の関連度の最大値、最小値、平均（平均値、中央値、最頻値）などの統計値が、所定値以下または所定値以上である場合に、所定の条件を満たしていないと判定しても良い。

また、サーバ１０の制御部１０４は、１または複数の回答文のうち、関連度が所定の条件を満たす一部または全部の回答文を質問回答テーブル１０１３の回答データの項目に記憶し、関連度が所定の条件を満たさない一部または全部の回答文を質問回答テーブル１０１３の回答データの項目に記憶しない構成としても良い。
サーバ１０の制御部１０４は、１または複数の回答文のうち、関連度が所定値以上または以下の一部または全部の回答文を質問回答テーブル１０１３の回答データの項目に記憶し、関連度が所定値以上または以下の一部または全部の回答文を質問回答テーブル１０１３の回答データの項目に記憶しない構成としても良い。
同様に、サーバ１０の制御部１０４は、１または複数の回答文のうち、関連度が所定の条件を満たさない一部または全部の回答文を質問回答テーブル１０１３の回答データの項目に記憶し、関連度が所定の条件を満たす一部または全部の回答文を質問回答テーブル１０１３の回答データの項目に記憶しない構成としても良い。
サーバ１０の制御部１０４は、１または複数の回答文のうち、関連度が所定値以下または以上の一部または全部の回答文を質問回答テーブル１０１３の回答データの項目に記憶し、関連度が所定値以上または以下の一部または全部の回答文を質問回答テーブル１０１３の回答データの項目に記憶しない構成としても良い。

回答取得ステップにおいて取得した１または複数の回答文に関連付けられた関連度が、所定の条件を満たさない場合に、質問受付ステップにおいて受け付けた質問文を記憶する質問記憶ステップを実行する。
具体的に、サーバ１０の制御部１０４は、質問回答システム６０から出力された１または複数の回答文のうち、少なくとも一部または全部の回答文が所定の条件を満たす場合、または、満たさない場合に、ステップＳ１０１において受け付けた質問文を、質問回答テーブル１０１３の質問文の項目に記憶しても良い。
同様に、サーバ１０の制御部１０４は、質問回答システム６０から出力された１または複数の回答文のうち、少なくとも一部または全部の回答文が所定の条件を満たさない場合、または、満たす場合に、ステップＳ１０１において受け付けた質問文を、質問回答テーブル１０１３の質問文の項目に記憶しない構成としても良い。

ステップＳ１０３において、サーバ１０の制御部１０４は、質問回答システム６０から出力された１または複数の回答文と、当該回答文に関連付けられた関連度と、に基づき、質問回答システム６０からの出力内容が所定の条件を満たしているか否かを判定する。
具体的に、サーバ１０の制御部１０４は、質問回答システム６０から出力された１または複数の関連度の最大値、最小値、平均（平均値、中央値、最頻値）などの統計値が、所定値以下または所定値以上である場合に、所定の条件を満たすと判定する。
例えば、サーバ１０の制御部１０４は、質問回答システム６０から出力された１または複数の関連度の最大値が所定値以上である場合に、所定の条件を満たすと判定する。また、質問回答システム６０から出力された１の回答文の関連度が所定値以上である場合に、所定の条件を満たすと判定しても良い。
同様に、サーバ１０の制御部１０４は、質問回答システム６０から出力された１または複数の関連度の最大値が所定値未満である場合に、所定の条件を満たさないと判定する。また、質問回答システム６０から出力された１の回答文の関連度が所定値未満である場合に、所定の条件を満たさないと判定しても良い。
サーバ１０の制御部１０４は、所定の条件を満たすと判定した場合は、ステップＳ１０４へ進む。一方、サーバ１０の制御部１０４は、所定の条件を満たしていないと判定した場合は、ステップＳ１０５へ進む。

ステップＳ１０４において、サーバ１０の制御部１０４は、回答取得ステップにおいて取得した１または複数の回答文に関連付けられた関連度が、所定の条件を満たす場合に所定の条件を満たす１または複数の回答文をユーザ端末へ送信する回答送信ステップを実行する。
具体的に、サーバ１０の制御部１０４は、質問回答システム６０から出力された１または複数の回答文のうち、少なくとも一部または全部の回答文が所定の条件を満たす場合に、１または複数の回答文をユーザ端末２０へ送信する。

また、サーバ１０の制御部１０４は、１または複数の回答文のうち、関連度が所定の条件を満たす一部または全部の回答文をユーザ端末２０へ送信し、関連度が所定の条件を満たさない一部または全部の回答文をユーザ端末２０へ送信しない構成としても良い。
サーバ１０の制御部１０４は、１または複数の回答文のうち、関連度が所定値以上または以下の一部または全部の回答文をユーザ端末２０へ送信し、関連度が所定値以上または以下の一部または全部の回答文をユーザ端末２０へ送信しない構成としても良い。
サーバ１０の制御部１０４は、１または複数の回答文のうち、関連度が最も大きい、または、最も小さい１の回答文をユーザ端末２０へ送信し、それ以外の回答文をユーザ端末２０へ送信しない構成としても良い。

ユーザ端末２０の制御部２０４は、受信した１または複数の回答文をユーザ端末２０のディスプレイ２０８１に出力文Ｄ１２として提示する。なお、ユーザ端末２０の制御部２０４は、複数の回答文をユーザ端末２０のディスプレイ２０８１に一覧して提示しても良い。また、選択可能な態様で提示しても構わない。

ステップＳ１０５において、サーバ１０の制御部１０４は、回答取得ステップにおいて取得した１または複数の回答文に関連付けられた関連度が、所定の条件を満たさない場合に、質問受付ステップにおいて受け付けた質問文を入力データとして大規模言語モデルへ入力する。
具体的に、サーバ１０の制御部１０４は、質問回答システム６０から出力された１または複数の回答文のうち、少なくとも一部または全部の回答文が所定の条件を満たさない場合に、ステップＳ１０１において受け付けた質問文を生成ＡＩ５０へ送信する。生成ＡＩ５０は、質問文を受信し、入力を受け付ける。
サーバ１０の制御部１０４は、大規模言語モデルである生成ＡＩ５０に対する入力文（プロンプト）として、以下のプロンプトテンプレートの〔質問文〕の箇所を、ステップＳ１０１において受け付けた質問文を挿入したプロンプトを生成し、生成ＡＩ５０へ送信する。
〔プロンプトテンプレート〕
あなたはとても親切で有能なＡＩアシスタントです。
ＦＡＱサイトに常駐し、ユーザのＦＡＱ検索に対する回答を行います。
回答する際には、以下の参照回答文を参考に回答を行います。
＃ユーザの質問
〔質問文〕
＃参照回答文
〔回答文１〕〔関連度１〕
〔回答文２〕〔関連度２〕
〔回答文３〕〔関連度３〕

返答送信ステップは、回答取得ステップにおいて取得した１または複数の回答文のうち少なくとも一部を、入力データとして大規模言語モデルへ入力するステップを含む。
具体的に、サーバ１０の制御部１０４は、ステップＳ１０３において質問回答システム６０から取得した回答文、関連度を生成ＡＩ５０に対する入力データに含めても良い。
例えば、サーバ１０の制御部１０４は、大規模言語モデルである生成ＡＩ５０に対する入力文（プロンプト）として、プロンプトテンプレートの〔回答文１〕〔回答文２〕〔回答文３〕・・・、〔関連度１〕〔関連度２〕〔関連度３〕・・・の箇所に、１または複数の回答文、関連度を挿入したプロンプトを生成し、生成ＡＩ５０へ送信する。なお、生成ＡＩ５０に対する入力データには、関連度を含めなくても良い。

返答送信ステップは、回答取得ステップにおいて取得した１または複数の回答文のうち関連度が高い順番に所定個数の回答文を、入力データとして大規模言語モデルへ入力するステップを含む。
具体的に、サーバ１０の制御部１０４は、質問回答システム６０から出力されたすべての１または複数の回答文をプロンプトに含める必要はなく、関連度が低いまたは高い順番に所定個数の回答文と、当該回答文に関連付けられた関連度と、をプロンプトに含めても良い。また、サーバ１０の制御部１０４は、関連度が所定値以下または所定値以上の回答文と、当該回答文に関連付けられた関連度と、をプロンプトに含めても良い。

ステップＳ１０６において、サーバ１０の制御部１０４は、回答取得ステップにおいて取得した１または複数の回答文に関連付けられた関連度が、所定の条件を満たさない場合に、質問受付ステップにおいて受け付けた質問文を入力データとして大規模言語モデルへ入力することにより出力される返答文をユーザ端末へ送信する返答送信ステップを実行する。
具体的に、サーバ１０の制御部１０４は、ステップＳ１０５における質問文の入力に応じて生成ＡＩ５０から出力される返答文を取得する。
なお、生成ＡＩ５０は、１または複数の返答文と、１または複数の返答文のそれぞれに関連付けられた関連度と、を取得しても構わない。
サーバ１０の制御部１０４は、取得した返答文をユーザ端末２０へ送信する。

ユーザ端末２０の制御部２０４は、受信した１または複数の返答文をユーザ端末２０のディスプレイ２０８１に出力文Ｄ１２として提示する。

ユーザは、ユーザ端末２０のディスプレイ２０８１を確認することにより、ステップＳ１０１において入力した質問文に対する、質問回答システム６０からの回答文または生成ＡＩ５０からの返答文を、出力文Ｄ１２として確認することができる。

本開示においては入力された一つの質問文に対して、一つの回答文または返答文を出力する構成としてが、一つの質問文に対して、複数の回答文または返答文を出力する構成としても良い。

ユーザは、情報処理システムから出力された回答文または返答文に対して、さらに追加で質問文を入力可能とするチャットボットシステムとして構成しても良い。この場合、情報処理システムに入力される質問文は、追加で質問文（追加質問文）を入力した際に、既に質問回答テーブル１０１３に記憶された質問文、回答文、返答文の少なくともいずれか１つを追加質問文に組み合わせて（結合して）質問処理を実行しても良い。
この場合、ユーザは、回答文、返答文の確認と、追加質問とを繰り返すことにより、より正確な回答文または返答文を得ることができる。また、この場合、ステップＳ１０４にかかる回答文提示が行われたタイミングで質問処理を終了するものとしても良い。
質問回答システム６０から適切な関連度が高い回答文が得られたことを判定して、質問処理を終了する構成としても良い。

＜管理処理＞
管理処理は、質問処理においてユーザから受け付けた質問文、質問回答システム６０からの回答文に基づき、質問回答システム６０に記憶されている質問回答情報（データ）を改良する処理である。

＜管理処理の概要＞
管理処理は、質問処理においてユーザから受け付けた質問文、質問回答システム６０から出力された回答文を一覧提示し、ユーザから質問文の選択を受け付け、選択された当該質問文に関連付ける回答文の選択を受け付け、質問文と回答文とを関連付けて記憶する一連の処理である。

＜管理処理の詳細＞
以下に、管理処理の詳細を説明する。

ステップＳ３０１において、管理者にかかるユーザは、管理者端末３０の入力装置３０６を操作し、ブラウザアプリケーション等を実行し、管理処理を実行するためのウェブページ（管理ページ）のＵＲＬ等を入力することにより管理ページＤ３を開く。管理者端末３０の制御部３０４は、管理ページを開くための管理者ＩＤ３０１１を含むリクエストをサーバ１０へ送信する。なお、管理者は、質問回答システムを管理する権限を有するユーザである。具体的に、管理者は、質問回答システム６０に記憶されている質問回答情報の内容を編集、削除等の処理を実行することができる。

サーバ１０は、リクエストを受信すると管理ページを生成し管理者端末３０へ送信する。管理者端末３０の制御部３０４は、管理ページを管理者端末３０のディスプレイ３０８１に表示し、提示する。

具体的に、サーバ１０の制御部１０４は、回答記憶ステップにおいて記憶した１または複数の回答データ（回答文を含む）と、１または複数の質問文とを関連付けて管理者が閲覧可能な前記質問回答システムに記憶されている質問とその回答のペアに関する質問回答情報を編集可能な管理画面に提示する回答提示ステップを実行する。
具体的に、サーバ１０の制御部１０４は、質問回答テーブル１０１３を参照して、１または複数の質問文、１または複数の回答データを取得する。
サーバ１０の制御部１０４は、回答データに含まれる１または複数の回答文に関連付けられた関連度を参照して、関連度が低い順番に所定個数の回答文、または、関連度が高い順番に所定個数の回答文を取得または提示し、それ以外の回答文を取得または提示しない構成としても良い。
サーバ１０の制御部１０４は、回答データに含まれる１または複数の回答文に関連付けられた関連度を参照して、関連度が所定値以下の回答文、または、関連度が所定値以上の回答文を取得または提示し、それ以外の回答文を取得または提示しない構成としても良い。
サーバ１０の制御部１０４は、回答データに含まれる１または複数の回答文に関連付けられた関連度を参照して、関連度が所定値以下の回答文に対応する質問文、または、関連度が所定値以上の回答文に対応する質問を取得または提示し、それ以外の質問文を取得または提示しない構成としても良い。
本開示における、管理処理においては質問回答システム６０の回答内容を改良するためのものであるから、関連度が所定値以下の回答文、関連度が所定値以下の回答文に対応する質問文を取得または提示する構成とすることが好適である。
サーバ１０の制御部１０４は、質問回答テーブル１０１３から取得した質問文、回答文を管理者端末３０へ送信する。

図１０は、管理処理における管理画面の画面例である。管理者端末３０のディスプレイ３０８１には、管理ページＤ３が表示される。管理ページＤ３は、質問文Ｄ３１１、Ｄ３１２、Ｄ３１３・・・、回答文Ｄ３２１、Ｄ３２２、Ｄ３２３・・・、質問回答システム６０に記憶されている回答文Ｄ３３１、Ｄ３３２、Ｄ３３３・・・の一覧、を含む。
管理者端末３０の制御部３０４は、質問回答テーブル１０１３から取得した質問文、回答文に基づき、質問文Ｄ３１１、Ｄ３１１、Ｄ３１２・・・、回答文Ｄ３２１、Ｄ３２２、Ｄ３２３・・・、複数の回答文のそれぞれの関連度を示すチェックボックスＤ３３１１、Ｄ３３２１、Ｄ３３３１・・・、を生成し、描画する。
これにより、管理者は、ユーザから受け付けた質問文に基づき質問回答システムから関連度が十分に高い回答文が得られなかった場合の、質問回答システムから出力された回答文を関連度とともに確認することができる。管理者は、ユーザから受け付けた質問文に基づき質問回答システムから関連度が十分に高い回答文が得られなかった場合の、質問文を確認することができる。

なお、管理ページＤ３において、質問文Ｄ３１１、Ｄ３１２、Ｄ３１３・・・、回答文Ｄ３２１、Ｄ３２２、Ｄ３２３・・・、はそれぞれ、質問処理においてユーザにより入力された所定の質問文と、当該質問文に対して質問回答システム６０から出力された回答文とを、関連付けて提示しても良い。
具体的に、質問文Ｄ３１１、Ｄ３１２、Ｄ３１３・・・に対して、質問回答システム６０から出力された回答文を回答文Ｄ３２１、Ｄ３２２、Ｄ３２３・・・としても良い。

ステップＳ３０２において、管理者端末３０の制御部３０４は、管理者から、質問提示ステップにおいて提示した１または複数の質問文の選択を受け付ける質問選択ステップを実行する。
具体的に、管理者は、管理者端末３０の入力装置３０６を操作することにより、管理ページＤ３に含まれる質問文Ｄ３１１、Ｄ３１２、Ｄ３１３・・・のうち、所定の１または複数の質問文Ｄ３１１、Ｄ３１２、Ｄ３１３を選択する。管理者端末３０の制御部３０４は、選択した１または複数の質問文の選択を受け付ける。
管理者端末３０の制御部３０４は、選択した質問文の質問ＩＤをサーバ１０へ送信する。

ステップＳ３０３において、サーバ１０の制御部１０４は、質問回答システム６０から質問回答システム６０に予め記憶されている質問文、回答文に関する質問回答情報を取得する。
サーバ１０の制御部１０４は、質問回答システム６０に記憶されている質問回答情報のうち、ステップＳ３０２において選択された質問文に関連する質問回答情報のみを管理者端末３０へ送信しても良い。
具体的に、サーバ１０の制御部１０４は、ステップＳ３０２において受信した質問ＩＤに基づき、質問回答テーブル１０１３の質問ＩＤの項目を検索し、質問文を取得する。サーバ１０の制御部１０４は、取得した質問文に基づき、質問文に関連する質問回答情報を取得するためのリクエストを質問回答システム６０へ送信する。サーバ１０の制御部１０４は、質問回答システム６０から出力された質問文に関連する質問回答情報を取得する。
サーバ１０の制御部１０４は、質問回答システム６０から取得した質問回答情報を管理者端末３０へ送信する。

ステップＳ３０４において、サーバ１０の制御部１０４は、質問選択ステップにおいて受け付けた質問文に応じた所定の回答文の入力を受け付ける回答入力ステップを実行する。
サーバ１０の制御部１０４は、質問回答システムに記憶した１または複数の回答文を管理者に提示する回答一覧ステップを実行する。
管理者端末３０の制御部３０４は、質問回答システム６０から取得した質問回答情報に基づき、回答文Ｄ３３１、Ｄ３３２、Ｄ３３３・・・を生成し、管理者端末３０のディスプレイ３０８１に一覧して提示する。

回答入力ステップは、回答一覧ステップにおいて提示した１または複数の回答文のうち、管理者から選択を受け付けた所定の回答文の入力を受け付けるステップを実行する。
具体的に、管理者は、管理者端末３０の入力装置３０６を操作することにより、回答文Ｄ３３１、Ｄ３３２、Ｄ３３３・・・のうち、所定の１または複数の回答文Ｄ３３１、Ｄ３３２、Ｄ３３３・・・を選択する。例えば、チェックボックスＤ３３１１、Ｄ３３２１、Ｄ３３３１を選択する。管理者端末３０の制御部３０４は、選択された１または複数の回答文の選択を受け付ける。なお、管理者は、管理者端末３０の入力装置３０６を操作することにより、回答文Ｄ３２１、Ｄ３２２、Ｄ３２３・・・を選択できる構成としても構わない。
管理者端末３０の制御部３０４は、選択された回答文Ｄ３３１、Ｄ３３２、Ｄ３３３・・・の質問回答情報を特定するための質問回答識別情報をサーバ１０へ送信する。

ステップＳ３０５において、サーバ１０の制御部１０４は、質問回答システムにおいて、質問選択ステップにおいて選択した質問文に対する回答文として、回答入力ステップにおいて入力した回答文を記憶する関連付けステップを実行する。
具体的に、サーバ１０の制御部１０４は、ステップＳ３０２において選択された質問文の質問ＩＤに基づき、質問回答テーブル１０１３の質問ＩＤの項目を検索し、質問文を取得する。サーバ１０の制御部１０４は、取得した質問文と、ステップＳ３０４において選択された質問回答識別情報と、を関連付けるためのリクエストを質問回答システム６０へ送信する。
質問回答システム６０は、新たな質問回答のペアである質問回答情報として、ステップＳ３０２おいて選択された質問文と、ステップＳ３０４において選択された質問回答情報とを関連付けて記憶する。
これにより、質問回答システムから関連度が十分に高い回答文が得られなかった場合の質問文に、質問回答システムに記憶された回答文を関連付けて記憶することができる。ユーザが、同様の質問を新たに行った場合には、質問回答システムから適切な回答を行わせることができる。

また、サーバ１０の制御部１０４は、管理者からの選択に応じて質問文Ｄ３１１、Ｄ３１２、Ｄ３１３・・・と、回答文Ｄ３２１、Ｄ３２２、Ｄ３２３とを関連付けて質問回答システム６０に質問回答情報として記憶しても良い。これにより、質問処理において関連度が低いと判断された回答文に対して、同様の質問を新たに行った場合には、関連度が高い回答文として回答を行わせることができる。

＜管理処理（変形例）＞
管理処理において、質問文と回答文とを管理者に対して提示し、当該質問文および回答文に基づき、質問回答システム６０に記憶されている質問回答情報の追加、修正、編集等が実行される例を一例として開示したがこれに限られない。
例えば、質問文と返答文とを管理者に対して提示し、当該質問文および返答文に基づき、質問回答システム６０に記憶されている質問回答情報の追加、修正、編集等が実行される構成としても良い。

サーバ１０の制御部１０４は、管理者から、大規模言語モデルへ入力することにより出力される返答文を、管理者が閲覧可能な質問回答システムに記憶されている質問とその回答のペアに関する質問回答情報を編集可能な管理画面に提示する、返答提示ステップを実行する。
具体的に、管理ページＤ３において、回答文Ｄ３２１、Ｄ３２２、Ｄ３２３・・・の替わりに質問回答テーブル１０１３に記憶されている１または複数の返答文を管理者に対して提示する構成としても良い。管理ページＤ３において、質問文Ｄ３１１、Ｄ３１２、Ｄ３１３・・・、１または複数の返答文、はそれぞれ、質問処理においてユーザにより入力された所定の質問文と、当該質問文に対して質問回答システム６０から出力された１または複数の返答文とを、関連付けて提示しても良い。

サーバ１０の制御部１０４は、管理者から、大規模言語モデルへ入力することにより出力される返答文の選択を受け付ける返答選択ステップを実行する。サーバ１０の制御部１０４は、管理者から、返答提示ステップにおいて提示した返答文の選択を受け付ける返答選択ステップを実行する。
具体的に、管理者は、管理者端末３０の入力装置３０６を操作することにより、管理ページＤ３に含まれる１または複数の返答文を選択する。管理者端末３０の制御部３０４は、選択された返答文をサーバ１０へ送信する。
なお、管理者は、管理者端末３０の入力装置３０６を操作することにより、管理ページＤ３に表示されている返答文を加筆、修正できる構成としても良い。これにより、生成ＡＩ５０により出力された返答文の内容に誤りが含まれていたり、不十分な点が含まれている場合にも、管理者は適切な内容に修正することができる。また、この場合に、加筆、修正された返答文も、管理者により選択された返答文に含まれる。

サーバ１０の制御部１０４は、管理者から、第二質問文の入力を受け付け、当該第二質問文を返答選択ステップにおいて選択を受け付けた返答文に関連付けて質問回答システムに記憶する関連付けステップを実行する。関連付けステップは、質問選択ステップにおいて選択された第二質問文を返答選択ステップにおいて選択を受け付けた返答文に関連付けて質問回答システムに記憶するステップである。
具体的に、管理者は、管理者端末３０の入力装置３０６を操作することにより、管理ページＤ３に含まれる質問文Ｄ３１１、Ｄ３１２、Ｄ３１３・・・のうち、所定の１または複数の質問文Ｄ３１１、Ｄ３１２、Ｄ３１３を選択する。管理者端末３０の制御部３０４は、選択した１または複数の質問文の選択を受け付ける。
管理者端末３０の制御部３０４は、選択した質問文の質問ＩＤをサーバ１０へ送信する。
なお、管理者は、管理者端末３０の入力装置３０６を操作することにより、不図示の入力欄等に文字列等を入力することにより、新たな質問文を入力する構成としても構わない。この場合、管理者端末３０の制御部３０４は、入力された新たな質問文をサーバ１０へ送信する。
サーバ１０の制御部１０４は、受信した質問文の質問ＩＤに基づき、質問回答テーブル１０１３の質問ＩＤの項目を検索し、質問文を取得する。また、受信した新たな質問文を管理者端末３０から取得する。

サーバ１０の制御部１０４は、取得した質問文と、返答選択ステップにおいて選択された返答文と、を関連付けるためのリクエストを質問回答システム６０へ送信する。
質問回答システム６０は、新たな質問回答のペアである質問回答情報として、取得した質問文と、返答文とを関連付けて記憶する。これにより、生成ＡＩ５０により出力された返答文を、質問回答システムにおける新たな回答文として記憶することができる。ユーザが、同様の質問を新たに行った場合には、質問回答システムから適切な回答を行わせることができる。これにより、生成ＡＩ５０に対するリクエストの送信回数を節約することができる。

＜コンピュータの基本ハードウェア構成＞
図１１は、コンピュータ９０の基本的なハードウェア構成を示すブロック図である。コンピュータ９０は、プロセッサ９０１、主記憶装置９０２、補助記憶装置９０３、通信ＩＦ９９１（インタフェース、Interface）を少なくとも備える。これらは通信バス９２１により相互に電気的に接続される。

プロセッサ９０１とは、プログラムに記述された命令セットを実行するためのハードウェアである。プロセッサ９０１は、演算装置、レジスタ、周辺回路等から構成される。

主記憶装置９０２とは、プログラム、及びプログラム等で処理されるデータ等を一時的に記憶するためのものである。例えば、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。

補助記憶装置９０３とは、データ及びプログラムを保存するための記憶装置である。例えば、フラッシュメモリ、ＨＤＤ（Hard Disc Drive）、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等である。

通信ＩＦ９９１とは、有線又は無線の通信規格を用いて、他のコンピュータとネットワークを介して通信するための信号を入出力するためのインタフェースである。
ネットワークは、インターネット、ＬＡＮ、無線基地局等によって構築される各種移動通信システム等で構成される。例えば、ネットワークには、３Ｇ、４Ｇ、５Ｇ移動通信システム、ＬＴＥ（Long Term Evolution）、所定のアクセスポイントによってインターネットに接続可能な無線ネットワーク（例えばWi-Fi（登録商標））等が含まれる。無線で接続する場合、通信プロトコルとして例えば、Ｚ－Ｗａｖｅ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が含まれる。有線で接続する場合は、ネットワークには、ＵＳＢ（Universal Serial Bus）ケーブル等により直接接続するものも含む。

なお、各ハードウェア構成の全部または一部を複数のコンピュータ９０に分散して設け、ネットワークを介して相互に接続することによりコンピュータ９０を仮想的に実現することができる。このように、コンピュータ９０は、単一の筐体、ケースに収納されたコンピュータ９０だけでなく、仮想化されたコンピュータシステムも含む概念である。

＜コンピュータ９０の基本機能構成＞
コンピュータ９０の基本ハードウェア構成（図１１）により実現されるコンピュータの機能構成を説明する。コンピュータは、制御部、記憶部、通信部の機能ユニットを少なくとも備える。

なお、コンピュータ９０が備える機能ユニットは、それぞれの機能ユニットの全部または一部を、ネットワークで相互に接続された複数のコンピュータ９０に分散して設けても実現することができる。コンピュータ９０は、単一のコンピュータ９０だけでなく、仮想化されたコンピュータシステムも含む概念である。

制御部は、プロセッサ９０１が補助記憶装置９０３に記憶された各種プログラムを読み出して主記憶装置９０２に展開し、当該プログラムに従って処理を実行することにより実現される。制御部は、プログラムの種類に応じて様々な情報処理を行う機能ユニットを実現することができる。これにより、コンピュータは情報処理を行う情報処理装置として実現される。

記憶部は、主記憶装置９０２、補助記憶装置９０３により実現される。記憶部は、データ、各種プログラム、各種データベースを記憶する。また、プロセッサ９０１は、プログラムに従って記憶部に対応する記憶領域を主記憶装置９０２または補助記憶装置９０３に確保することができる。また、制御部は、各種プログラムに従ってプロセッサ９０１に、記憶部に記憶されたデータの追加、更新、削除処理を実行させることができる。

データベースは、リレーショナルデータベースを指し、行と列によって構造的に規定された表形式のテーブル、マスタと呼ばれるデータ集合を、互いに関連づけて管理するためのものである。データベースでは、表をテーブル、マスタ、表の列をカラム、表の行をレコードと呼ぶ。リレーショナルデータベースでは、テーブル、マスタ同士の関係を設定し、関連づけることができる。
通常、各テーブル、各マスタにはレコードを一意に特定するための主キーとなるカラムが設定されるが、カラムへの主キーの設定は必須ではない。制御部は、各種プログラムに従ってプロセッサ９０１に、記憶部に記憶された特定のテーブル、マスタにレコードを追加、削除、更新を実行させることができる。
また、記憶部に、データ、各種プログラム、各種データベースを記憶させることにより、本開示にかかる情報処理装置、情報処理システムが製造されたものとして捉えることができる。

なお、本開示におけるデータベース、マスタは、情報が構造的に規定された任意のデータ構造体（リスト、辞書、連想配列、オブジェクトなど）を含み得る。データ構造体には、データと、任意のプログラミング言語により記述された関数、クラス、メソッドなどを組み合わせることにより、データ構造体と見なし得るデータも含むものとする。

通信部は、通信ＩＦ９９１により実現される。通信部は、ネットワークを介して他のコンピュータ９０と通信を行う機能を実現する。通信部は、他のコンピュータ９０から送信された情報を受信し、制御部へ入力することができる。制御部は、各種プログラムに従ってプロセッサ９０１に、受信した情報に対する情報処理を実行させることができる。また、通信部は、制御部から出力された情報を他のコンピュータ９０へ送信することができる。

＜付記＞
以上の各実施形態で説明した事項を以下に付記する。

（付記１）
プロセッサと、記憶部とを備えるコンピュータに実行させるためのプログラムであって、プロセッサが、ユーザ端末から質問文を受け付ける質問受付ステップ（Ｓ１０１）と、質問受付ステップにおいて受け付けた質問文を、質問文の入力に応じて回答文を出力可能な質問回答システムに対して入力する質問入力ステップ（Ｓ１０２）と、質問入力ステップにおいて入力した質問文に応じた１または複数の回答文と、当該１または複数の回答文のそれぞれに関連付けられた関連度と、を取得する回答取得ステップ（Ｓ１０３）と、回答取得ステップにおいて取得した１または複数の回答文に関連付けられた関連度が、所定の条件を満たす場合に所定の条件を満たす１または複数の回答文をユーザ端末へ送信する回答送信ステップ（Ｓ１０４）と、回答取得ステップにおいて取得した１または複数の回答文に関連付けられた関連度が、所定の条件を満たさない場合に、質問受付ステップにおいて受け付けた質問文を入力データとして大規模言語モデルへ入力することにより出力される返答文をユーザ端末へ送信する返答送信ステップ（Ｓ１０６）と、を実行するプログラム。
これにより、ユーザから受け付けた質問文に基づき質問回答システムから関連度が十分に高い回答文が得られた場合には当該回答文をユーザに対して出力し、質問回答システムから関連度が十分に高い回答文が得られなかった場合には大規模言語モデルからの返答文をユーザに対して出力できる。質問に対してより適した回答（返答）を出力できる。

（付記２）
質問回答システムは、大規模言語モデルとは異なるシステムである、付記１記載のプログラム。
これにより、ユーザから受け付けた質問文に基づき質問回答システムから関連度が十分に高い回答文が得られた場合には当該回答文をユーザに対して出力し、質問回答システムから関連度が十分に高い回答文が得られなかった場合には大規模言語モデルからの返答文をユーザに対して出力できる。

（付記３）
返答送信ステップ（Ｓ１０６）は、回答取得ステップにおいて取得した１または複数の回答文のうち少なくとも一部を、入力データとして大規模言語モデルへ入力するステップを含む、付記１記載のプログラム。
これにより、ユーザから受け付けた質問文に基づき質問回答システムから関連度が十分に高い回答文が得られなかった場合においても、得られた回答文を参照情報として含めて大規模言語モデルへ質問することにより、大規模言語モデルから得られたより適切な返答文をユーザに対して出力できる。

（付記４）
返答送信ステップ（Ｓ１０６）は、回答取得ステップにおいて取得した１または複数の回答文のうち関連度が高い順番に所定個数の回答文を、入力データとして大規模言語モデルへ入力するステップを含む、付記１記載のプログラム。
これにより、ユーザから受け付けた質問文に基づき質問回答システムから関連度が十分に高い回答文が得られなかった場合においても、得られた回答文をのうちより関連度が高い回答文を参照情報として含めて大規模言語モデルへ質問することにより、大規模言語モデルから得られたより適切な返答文をユーザに対して出力できる。

（付記５）
プロセッサが、回答取得ステップにおいて取得した１または複数の回答文を質問文と関連付けて記憶する回答記憶ステップ（Ｓ１０３）と、回答記憶ステップにおいて記憶した１または複数の回答文を、管理者が閲覧可能な質問回答システムに記憶されている質問とその回答のペアに関する質問回答情報を編集可能な管理画面に提示する、回答提示ステップ（Ｓ３０１）と、を実行し、管理者は、質問回答システムを管理する権限を有するユーザである、付記１から４のいずれか記載のプログラム。
これにより、管理者は、ユーザから受け付けた質問文に応じて質問回答システムから出力された回答文を確認することができる。管理者は、回答文の内容を参考に、質問回答システムを改良することができる。

（付記６）
回答提示ステップ（Ｓ３０１）は、回答取得ステップにおいて取得した１または複数の回答文のうち、関連度が低い順番に所定個数の回答文を提示するステップである、付記５記載のプログラム。
これにより、管理者は、ユーザから受け付けた質問文に応じて質問回答システムから出力された関連度が低い回答文を確認することができる。

（付記７）
回答提示ステップ（Ｓ３０１）は、回答取得ステップにおいて取得した１または複数の回答文に関連付けられた関連度が、所定の条件を満たさない場合に、１または複数の回答文を提示するステップである、付記５記載のプログラム。
これにより、管理者は、ユーザから受け付けた質問文に基づき質問回答システムから関連度が十分に高い回答文が得られなかった場合の、質問回答システムから出力された回答文を確認することができる。

（付記８）
プロセッサが、回答取得ステップにおいて取得した１または複数の回答文に関連付けられた関連度が、所定の条件を満たさない場合に、質問受付ステップにおいて受け付けた質問文を記憶する質問記憶ステップ（Ｓ１０３）と、質問記憶ステップにおいて記憶した１または複数の質問文を管理者に提示する質問提示ステップ（Ｓ３０１）と、を実行する、付記１から４のいずれか記載のプログラム。
これにより、管理者は、ユーザから受け付けた質問文に基づき質問回答システムから関連度が十分に高い回答文が得られなかった場合の、質問文を確認することができる。

（付記９）
プロセッサが、管理者から、質問提示ステップにおいて提示した１または複数の質問文の選択を受け付ける質問選択ステップ（Ｓ３０２）と、質問選択ステップにおいて受け付けた質問文に応じた所定の回答文の入力を受け付ける回答入力ステップと（Ｓ３０４）、質問回答システムにおいて、質問選択ステップにおいて選択した質問文に対する回答文として、回答入力ステップにおいて入力した回答文を記憶する関連付けステップ（Ｓ３０５）と、を実行する、付記８記載のプログラム。
質問回答システムから関連度が十分に高い回答文が得られなかった場合の質問文に回答文を関連付けて記憶することができる。ユーザが、同様の質問を新たに行った場合には、質問回答システムから適切な回答を行わせることができる。

（付記１０）
プロセッサが、質問回答システムに記憶した１または複数の回答文を管理者に提示する回答一覧ステップ（Ｓ３０１）と、を実行し、回答入力ステップ（Ｓ３０４）は、回答一覧ステップにおいて提示した１または複数の回答文のうち、管理者から選択を受け付けた所定の回答文の入力を受け付けるステップである、付記９記載のプログラム。
質問回答システムから関連度が十分に高い回答文が得られなかった場合の質問文に、質問回答システムに記憶された回答文を関連付けて記憶することができる。ユーザが、同様の質問を新たに行った場合には、質問回答システムから適切な回答を行わせることができる。

（付記１１）
プロセッサが、管理者から、大規模言語モデルへ入力することにより出力される返答文を、管理者が閲覧可能な質問回答システムに記憶されている質問とその回答のペアに関する質問回答情報を編集可能な管理画面に提示する、返答提示ステップと、を実行し、管理者は、質問回答システムを管理する権限を有するユーザである、付記１から４のいずれか記載のプログラム。
これにより、ユーザから受け付けた質問文に基づき質問回答システムから関連度が十分に高い回答文が得られた場合には当該回答文をユーザに対して出力し、質問回答システムから関連度が十分に高い回答文が得られなかった場合には大規模言語モデルからの返答文をユーザに対して出力できる。

（付記１２）
プロセッサが、管理者から、返答提示ステップにおいて提示した返答文の選択を受け付ける返答選択ステップと、管理者から、第二質問文の入力を受け付け、当該第二質問文を返答選択ステップにおいて選択を受け付けた返答文に関連付けて質問回答システムに記憶する関連付けステップと、を実行する、付記１１記載のプログラム。
これにより、ユーザから受け付けた質問文に基づき質問回答システムから関連度が十分に高い回答文が得られた場合には当該回答文をユーザに対して出力し、質問回答システムから関連度が十分に高い回答文が得られなかった場合には大規模言語モデルからの返答文をユーザに対して出力できる。

（付記１３）
プロセッサが、質問受付ステップにおいて受け付けた１または複数の質問文を管理者に提示する質問提示ステップ（Ｓ３０１）と、管理者から、質問提示ステップにおいて提示した１または複数の第二質問文の選択を受け付ける質問選択ステップ（Ｓ３０２）と、を実行し、関連付けステップは、質問選択ステップにおいて選択された第二質問文を返答選択ステップにおいて選択を受け付けた返答文に関連付けて質問回答システムに記憶するステップである、付記１２記載のプログラム。
これにより、ユーザから受け付けた質問文に基づき質問回答システムから関連度が十分に高い回答文が得られた場合には当該回答文をユーザに対して出力し、質問回答システムから関連度が十分に高い回答文が得られなかった場合には大規模言語モデルからの返答文をユーザに対して出力できる。

１ システム、１０ サーバ、１０１ 記憶部、１０４ 制御部、１０６ 入力装置、１０８ 出力装置、２０ ユーザ端末、２０１ 記憶部、２０４ 制御部、２０６ 入力装置、２０８ 出力装置、３０ 管理者端末、３０１ 記憶部、３０４ 制御部、３０６ 入力装置、３０８ 出力装置、５０ 生成ＡＩ、５０１ 記憶部、５０４ 制御部、５０６ 入力装置、５０８ 出力装置、６０ 質問回答システム、６０１ 記憶部、６０４ 制御部、６０６ 入力装置、６０８ 出力装置

Claims (16)

1. プロセッサと、記憶部とを備えるコンピュータに実行させるためのプログラムであって、
   前記プロセッサが、
   ユーザ端末から質問文を受け付ける質問受付ステップと、
   前記質問受付ステップにおいて受け付けた前記質問文を、質問文の入力に応じて回答文を出力可能な質問回答システムに対して入力する質問入力ステップと、
   前記質問入力ステップにおいて入力した前記質問文に応じた１または複数の回答文と、当該１または複数の回答文のそれぞれに関連付けられた関連度と、を取得する回答取得ステップと、
   前記回答取得ステップにおいて取得した前記１または複数の回答文に関連付けられた関連度が、所定の条件を満たす場合に前記所定の条件を満たす前記１または複数の回答文を前記ユーザ端末へ送信する回答送信ステップと、
   前記回答取得ステップにおいて取得した前記１または複数の回答文に関連付けられた関連度が、所定の条件を満たさない場合に、前記質問受付ステップにおいて受け付けた前記質問文を入力データとして大規模言語モデルへ入力することにより出力される返答文を前記ユーザ端末へ送信する返答送信ステップと、
   を実行するプログラム。
2. 前記質問回答システムは、前記大規模言語モデルとは異なるシステムである、
   請求項１記載のプログラム。
3. 前記返答送信ステップは、前記回答取得ステップにおいて取得した前記１または複数の回答文のうち少なくとも一部を、前記入力データとして前記大規模言語モデルへ入力するステップを含む、
   請求項１記載のプログラム。
4. 前記返答送信ステップは、前記回答取得ステップにおいて取得した前記１または複数の回答文のうち前記関連度が高い順番に所定個数の前記回答文を、前記入力データとして前記大規模言語モデルへ入力するステップを含む、
   請求項１記載のプログラム。
5. 前記プロセッサが、
   前記回答取得ステップにおいて取得した前記１または複数の回答文を前記質問文と関連付けて記憶する回答記憶ステップと、
   前記回答記憶ステップにおいて記憶した前記１または複数の回答文を、管理者が閲覧可能な前記質問回答システムに記憶されている質問とその回答のペアに関する質問回答情報を編集可能な管理画面に提示する、回答提示ステップと、
   を実行し、
   前記管理者は、前記質問回答システムを管理する権限を有するユーザである、
   請求項１記載のプログラム。
6. 前記回答提示ステップは、前記回答取得ステップにおいて取得した前記１または複数の回答文のうち、前記関連度が低い順番に所定個数の前記回答文を提示するステップである、
   請求項５記載のプログラム。
7. 前記回答提示ステップは、前記回答取得ステップにおいて取得した前記１または複数の回答文に関連付けられた関連度が、所定の条件を満たさない場合に、前記１または複数の回答文を提示するステップである、
   請求項５記載のプログラム。
8. 前記プロセッサが、
   前記回答取得ステップにおいて取得した前記１または複数の回答文に関連付けられた関連度が、所定の条件を満たさない場合に、前記質問受付ステップにおいて受け付けた前記質問文を記憶する質問記憶ステップと、
   前記質問記憶ステップにおいて記憶した１または複数の質問文を管理者に提示する質問提示ステップと、
   を実行する、
   請求項１記載のプログラム。
9. 前記プロセッサが、
   前記管理者から、前記質問提示ステップにおいて提示した前記１または複数の質問文の選択を受け付ける質問選択ステップと、
   前記質問選択ステップにおいて受け付けた前記質問文に応じた所定の回答文の入力を受け付ける回答入力ステップと、
   前記質問回答システムにおいて、前記質問選択ステップにおいて選択した質問文に対する回答文として、前記回答入力ステップにおいて入力した前記回答文を記憶する関連付けステップと、
   を実行する、
   請求項８記載のプログラム。
10. 前記プロセッサが、
    前記質問回答システムに記憶した１または複数の回答文を前記管理者に提示する回答一覧ステップと、
    を実行し、
    前記回答入力ステップは、前記回答一覧ステップにおいて提示した前記１または複数の回答文のうち、前記管理者から選択を受け付けた前記所定の回答文の入力を受け付けるステップである、
    請求項９記載のプログラム。
11. 前記プロセッサが、
    前記大規模言語モデルが出力した前記返答文を、管理者が閲覧可能な前記質問回答システムに記憶されている質問とその回答のペアに関する質問回答情報を編集可能な管理画面に提示する、返答提示ステップと、
    を実行し、
    前記管理者は、前記質問回答システムを管理する権限を有するユーザである、
    請求項１記載のプログラム。
12. 前記プロセッサが、
    前記管理者から、前記返答提示ステップにおいて提示した前記返答文の選択を受け付ける返答選択ステップと、
    前記管理者から、第二質問文の入力を受け付け、当該第二質問文を前記返答選択ステップにおいて選択を受け付けた前記返答文に関連付けて前記質問回答システムに記憶する関連付けステップと、
    を実行する、
    請求項１１記載のプログラム。
13. 前記プロセッサが、
    前記質問受付ステップにおいて受け付けた１または複数の質問文を管理者に提示する質問提示ステップと、
    前記管理者から、前記質問提示ステップにおいて提示した前記１または複数の第二質問文の選択を受け付ける質問選択ステップと、
    を実行し、
    前記関連付けステップは、前記質問選択ステップにおいて選択された前記第二質問文を前記返答選択ステップにおいて選択を受け付けた前記返答文に関連付けて前記質問回答システムに記憶するステップである、
    請求項１２記載のプログラム。
14. プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記プロセッサが、請求項１から請求項１３のいずれかに係る発明において実行される全てのステップを実行する方法。
15. プロセッサと、メモリとを備える情報処理装置であって、前記プロセッサが、請求項１から請求項１３のいずれかに係る発明において実行される全てのステップを実行する情報処理装置。
16. 請求項１から請求項１３のいずれかに係る発明において実行される全てのステップを実行するプロセッサを含む手段を備える情報処理システム。