JP7828131B2 - プログラム、方法、情報処理装置、システム - Google Patents

Description

本開示は、プログラム、方法、情報処理装置、システムに関する。

近年、インターネットを中心として情報発信が盛んに行われているが、発信された情報には真偽が不明な情報が含まれている場合もある。仮に誤った情報が社会に拡散された場合、その情報に基づいた誤った判断や行動が広がり、社会の混乱を招く可能性がある。

特許文献１には、投稿データ取得部１１１は、ＳＮＳサーバ１０３に対して、評価対象の鉄道路線に関わるＳＮＳ投稿データをリクエストし、ＳＮＳ投稿データを受信し、高信頼情報取得部１１２は、高信頼情報配信サーバ１０４に対して、評価対象の鉄道路線の遅延に関する高信頼情報をリクエストし、高信頼情報を受信し、正確性評価部１２３は、高信頼情報の集計結果との比較を通じて投稿が言及する遅延の有無の正誤を判定し、正確性の指標を定める投稿評価装置が記載されている。

特開２０２２－１２２２９７号公報

特許文献１に記載の技術は、所定の情報発信と他の情報源から抽出された情報との比較を行うことができる分野が、特定の分野に限られるため、不特定の分野における情報発信に対して、他の情報源から抽出された情報との比較を行うことはできない。

本開示は、不特定の分野における情報発信について、他の情報源から抽出された情報との比較を行うことである。

コンピュータを動作させるためのプログラムであって、プログラムは、コンピュータのプロセッサに、文章の指定を受け付けるステップと、指定された文章である指定文章と類似する記載を含む少なくとも１つのソース文章を、人工知能システムが利用可能な情報源から抽出し、ソース文章に関する情報を出力する指示と、抽出されたソース文章と指定された指定文章とを比較する指示と、を含むプロンプトを生成するステップと、プロンプトを、人工知能システムが提供する大規模言語モデルに入力することで大規模言語モデルから得られる回答に基づいて、ソース文章に関する情報と、指定文章とソース文章との比較結果とをユーザに提示するステップと、を実行させるプログラム。

本開示によれば、不特定の分野における情報発信について、他の情報源から抽出された情報との比較を行うことができる。

システム１の機能構成を示すブロック図である。 端末装置１０の機能構成を示すブロック図である。 サーバ２０の機能構成を示すブロック図である。 ユーザテーブル２０２１のデータ構造を示す図である。 情報源テーブル２０２２のデータ構造を示す図である。 プロンプト情報テーブル２０２３のデータ構造を示す図である。 応答情報テーブル２０２４のデータ構造を示す図である。 本実施形態の文章比較処理のフローチャートである。 指定文章の受付画面Ｄ１の例を示す模式図である。 第１の結果画面Ｄ２の例を示す模式図である。 第２の結果画面Ｄ３の例を示す模式図である。 文章比較処理の変形例のフローチャートである。 抽出結果画面Ｄ４の例を示す模式図である。 比較結果画面Ｄ５の例を示す模式図である。 コンピュータ９０の基本的なハードウェア構成を示すブロック図である。

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

＜１ システム全体の構成図＞
図１は、システム１の全体構成の例を示すブロック図である。図１に示すシステム１は、例えば、端末装置１０、サーバ２０、人工知能システム４０を含む。端末装置１０、サーバ２０、人工知能システム４０は、例えば、ネットワーク８０を介して通信接続する。

図１において、システム１に含まれる端末装置１０の数は、１台に限定されない。システム１に含まれる端末装置１０は、２台以上であってもよい。

図１において、システム１がサーバ２０を１台含む例を示しているが、システム１に含まれるサーバ２０の数は、１台に限定されない。サーバ２０は、有する機能に応じ、複数のサーバから構成されていてもよい。また、サーバ２０は、例えば、複数の装置の集合体を１つのサーバとしてもよい。１つ又は複数のハードウェアに対して本実施形態に係るサーバ２０を実現することに要する複数の機能の配分の仕方は、各ハードウェアの処理能力及び／又はサーバ２０に求められる仕様等に鑑みて適宜決定することができる。

図１に示す端末装置１０は、例えば、移動体通信システムに対応したスマートフォン、タブレット等の携帯端末等により実現される。この他に、端末装置１０は、例えば、据え置き型のＰＣ（Personal Computer）、ラップトップＰＣにより実現されてもよい。また、端末装置１０は、例えば、ＨＭＤ（Head Mount Display）等のウェアラブル端末により実現されてもよい。

端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、ストレージ１６と、プロセッサ１９とを備える。入力装置１３は、ユーザからの入力操作を受け付けるための装置（例えば、タッチパネル、タッチパッド等）である。出力装置１４は、ユーザに対して情報を提示するための装置（ディスプレイ、スピーカー等）である。

サーバ２０は、例えば、ネットワーク８０に接続された情報処理装置により実現される。図１に示すように、サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対して情報を提示するための出力装置のインタフェースとして機能する。

人工知能システム４０は、例えば、ネットワーク８０に接続された１または複数の情報処理装置により実現される。なお、人工知能システム４０は、サーバ２０の一部として構成されていてもよい。

各情報処理装置は演算装置と記憶装置とを備えたコンピュータにより構成されている。コンピュータの基本ハードウェア構成及び、当該ハードウェア構成により実現されるコンピュータの基本機能構成は後述する。端末装置１０、サーバ２０、人工知能システム４０のそれぞれについて、後述するコンピュータの基本ハードウェア構成及びコンピュータの基本機能構成と重複する説明は省略する。

＜端末装置の構成＞
図２は、図１に示す端末装置１０の構成例を表すブロック図である。図２に示すように、端末装置１０は、通信部１２０と、入力装置１３と、出力装置１４と、音声処理部１７と、マイク１７１と、スピーカー１７２と、記憶部１８０と、制御部１９０とを備える。端末装置１０に含まれる各ブロックは、例えば、バス等により電気的に接続される。

通信部１２０は、端末装置１０が他の装置と通信するための変復調処理等の処理を行う。通信部１２０は、制御部１９０で生成された信号に送信処理を施し、外部（例えば、サーバ２０）へ送信する。通信部１２０は、外部から受信した信号に受信処理を施し、制御部１９０へ出力する。

入力装置１３は、端末装置１０を操作するユーザが指示、又は情報を入力するための装置である。入力装置１３は、例えば、操作面へ触れることで指示が入力されるタッチ・センシティブ・デバイス１３１等により実現される。端末装置１０がＰＣ等である場合には、入力装置１３は、リーダー、キーボード、マウス等により実現されてもよい。入力装置１３は、ユーザから入力される指示を電気信号へ変換し、電気信号を制御部１９０へ出力する。なお、入力装置１３には、例えば、外部の入力機器から入力される電気信号を受け付ける受信ポートが含まれてもよい。

出力装置１４は、端末装置１０を操作するユーザへ情報を提示するための装置である。出力装置１４は、例えば、ディスプレイ１４１等により実現される。ディスプレイ１４１は、制御部１９０の制御に応じたデータを表示する。ディスプレイ１４１は、例えば、ＬＣＤ（Liquid Crystal Display）、又は有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される。

音声処理部１７は、例えば、音声信号のデジタル－アナログ変換処理を行う。音声処理部１７は、マイク１７１から与えられる信号をデジタル信号に変換して、変換後の信号を制御部１９０へ与える。また、音声処理部１７は、音声信号をスピーカー１７２へ与える。音声処理部１７は、例えば音声処理用のプロセッサによって実現される。マイク１７１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１７へ与える。スピーカー１７２は、音声処理部１７から与えられる音声信号を音声に変換して当該音声を端末装置１０の外部へ出力する。

記憶部１８０は、例えば、メモリ１５、及びストレージ１６等により実現され、端末装置１０が使用するデータ、及びプログラムを記憶する。記憶部１８０は、例えば、ユーザ情報１８１を記憶する。

ユーザ情報１８１は、操作するユーザに関する情報を記憶する。ユーザに関する情報は、例えば、ユーザＩＤ、氏名、年齢、住所、生年月日、サービスへの登録年月日等の情報を含む。

制御部１９０は、プロセッサ１９が記憶部１８０に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部１９０は、端末装置１０の動作を制御する。制御部１９０は、プログラムに従って動作することにより、操作受付部１９１、送受信部１９２、提示制御部１９３としての機能を発揮する。

操作受付部１９１は、入力装置１３から入力される指示、又は情報を受け付けるための処理を行う。例えば、操作受付部１９１は、タッチ・センシティブ・デバイス１３１等から入力される指示、又は情報を受け付ける。

また、操作受付部１９１は、マイク１７１から入力される音声情報を受け付ける。具体的には、例えば、操作受付部１９１は、マイク１７１から入力され、音声処理部１７でデジタルデータに変換された音声データを受信する。

送受信部１９２は、端末装置１０が、サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。具体的には、例えば、送受信部１９２は、ユーザから入力された指示をサーバ２０へ送信する。送受信部１９２は、サーバ２０から提供される情報を受信する。

提示制御部１９３は、ユーザに対してサーバ２０から提供される情報等の情報を提示するため、出力装置１４等を制御する。

＜サーバの機能的な構成＞
図３は、サーバ２０の機能的な構成の例を示す図である。図３に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。

通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。

記憶部２０２は、例えば、ユーザテーブル２０２１、情報源テーブル２０２２、プロンプト情報テーブル２０２３、応答情報テーブル２０２４、プロンプトテンプレート２０２８等を有する。

ユーザテーブル２０２１は、本開示のサービスに登録するユーザの情報を記憶するテーブルである。

情報源テーブル２０２２は、ネットワーク８０を介して取得可能な情報の情報源（例えば、論文・雑誌記事データベース、電子ジャーナル、ニュースメディア、公的機関等、ネットワーク８０を介して情報を発信するあらゆる情報源を含む）に関する情報を記憶するテーブルである。

プロンプト情報テーブル２０２３は、プロンプトに関する情報であるプロンプト情報を記憶するテーブルである。具体的には、例えば、プロンプト情報は、後述するプロンプトテンプレート２０２８の各フィールドに埋め込む入力データである。

応答情報テーブル２０２４は、人工知能システム４０の大規模言語モデルがプロンプトの入力に対して出力する応答に関する情報である応答情報を記憶するテーブルである。

プロンプトテンプレート２０２８は、指定された入力データを埋め込むためのフィールドを有する、プロンプトのテンプレートデータである。すなわち、プロンプトテンプレート２０２８へ所定の入力データを入力することで、大規模言語モデルへ入力するプロンプトが生成される。プロンプトテンプレート２０２８は、例えばテキストデータである。プロンプトテンプレート２０２８は、例えば、それぞれの指示を示す文章である指示２０２８ａ、指示２０２８ｂ、指示２０２８ｃ、指示２０２８ｄ、指示２０２８ｅの少なくともいずれかの組み合わせである。なお、本開示において、プロンプトの作成に指示２０２８ａ～指示２０２８ｅに含まれる文章が用いられる場合、指示２０２８ａ～指示２０２８ｅに含まれる各文章の全部が組み合わされることは必須ではなく、指示２０２８ａ～指示２０２８ｅの文章をそれぞれ構成する一部または複数の部分が組み合わされていてもよい。以下の例では、入力データを埋め込むためのフィールドを、波括弧で囲まれた部分で示している。

指示２０２８ａは、第１例として、指定文章と類似する記載を含む少なくとも１つのソース文章を、人工知能システムが利用可能な情報源から抽出し、ソース文章に関する情報を出力する指示を含む。

（指示２０２８ａの第１例）
指定した#指定文章と類似する記載を含むソース文章を、あなたが利用可能な情報源から少なくとも１つ抽出して、#ソース文章に関する情報 の項目にしたがって情報を出力してください。
#指定文章
{指定文章}

#ソース文章に関する情報
・抽出元のタイトル
・ソース文章へのアクセス先（URL）
・抽出元となった情報源の名称、信頼度
・ソース文章が公開された日付
・ソース文章の本文

指示２０２８ａは、第２例として、指定文章と類似する記載を含む少なくとも１つのソース文章を、予め指定された情報源から抽出し、ソース文章に関する情報を出力する指示を含む。

（指示２０２８ａの第２例）
指定した#指定文章と類似する記載を含むソース文章を、指定した#情報源のいずれかから少なくとも１つ抽出して、#ソース文章に関する情報 の項目にしたがって情報を出力してください。

#指定文章
{指定文章}

#情報源
(情報源１)
・情報源名：{情報源名}
・情報源URL：{アクセス先}
・信頼度：{信頼度}
(情報源２)
・情報源名：....

#ソース文章に関する情報
・抽出元のタイトル
・ソース文章へのアクセス先（URL）
・抽出元となった情報源の名称、信頼度
・ソース文章が公開された日付
・ソース文章の本文

指示２０２８ａは、第３例として、指定されたウェブページを特定するための情報（ＵＲＬ等のウェブページの識別情報）から、当該ウェブページに記載された文章を、指定文章として取得する指示を含む。この場合、ウェブページは、例えば、ソーシャル・ネットワーキング・サービス（ＳＮＳ）における個別の投稿に対して割り当てられたウェブページなど、テキストデータや、文字を含む画像データ等を含むウェブページである。また、ウェブページに記載された文章とは、例えば、当該ウェブページにアクセスすることによって端末に表示される文章である。これにより、例えば、人工知能システム４０は、ウェブページを特定するための情報にアクセスすることで、当該ウェブページの文章を指定文章として取得する。

（指示２０２８ａの第３例）
指定した#SNS投稿に投稿されている投稿を指定文章として、当該指定文章と類似する記載を含むソース文章を、指定した#情報源のいずれかから少なくとも１つ抽出して、#ソース文章に関する情報 の項目にしたがって情報を出力してください。

#SNS投稿
{SNS投稿URL}

#情報源
(情報源１)
・情報源名：{情報源名}
・情報源URL：{アクセス先}
・信頼度：{信頼度}
(情報源２)
・情報源名：....

#ソース文章に関する情報
・抽出元のタイトル
・ソース文章へのアクセス先（URL）
・抽出元となった情報源の名称、信頼度
・ソース文章が公開された日付
・ソース文章の本文

指示２０２８ｂは、例えば、抽出されたソース文章と指定文章とを比較する指示を含む。また、例えば、指示２０２８ｂは、以下の指示を含む。
・ソース文章と指定文章との一致の度合いを示す一致度を出力する指示
・一致度を決定した根拠を出力する指示
・指定文章とソース文章との一致部分に関する情報および相違部分に関する情報の少なくともいずれかを出力する指示

（指示２０２８ｂの例）
抽出したソース文章と指定文章とを比較し、#比較結果に関する情報 の項目にしたがって情報を出力してください。
#比較結果に関する情報
・指定文章とソース文章との一致部分
・指定文章とソース文章との相違部分
・指定文章とソース文章との一致度
・一致度を決定した根拠

また、指示２０２８ｂは、上記の例に加え、少なくとも１つの特定の観点を重視して、ソース文章と指定文章とを比較する指示を含んでもよい。特定の観点とは、例えば、情報源テーブル２０２２の項目「観点」の各項目に関する観点の少なくともいずれかであってもよいし、情報源テーブル２０２２の項目「観点」の各項目に関する観点とは異なる観点であってもよい。指示２０２８ｂにおける観点の項目は、例えば、本開示のサービスの提供者によって予め定められる。

（指示２０２８ｂの追加例）
ソース文章と指定文章とを比較する際は、以下の#観点を重視してください。
#観点
・観点１：出典の明確性
・観点２：情報の透明性

指示２０２８ｃは、比較結果と、ソース文章の情報源の信頼度と、に基づいて、指定文章の信憑性の度合いを示す信憑度を出力する指示を含む。例えば、指示２０２８ｃは、指示２０２８ｂにおいて指示される一致度と、指示２０２８ａにおいて提示される信頼度と、に基づいて任意の計算を行うことにより、信憑度を出力する指示を含む。なお、信憑度は、下記計算式等を用いた任意の手法により、サーバ２０より算出されてもよい。

（指示２０２８ｃの例）
信憑度を#計算式により決定してください。複数のソース文章を指定文章と比較していた場合は、[情報源の信頼度]は、指定文章と比較した各ソース文章の情報源の信頼度の平均としてください。
#計算式
[信憑度] = [一致度]*[情報源の信頼度]/100

指示２０２８ｄは、ソース文章が複数抽出される場合、ソース文章の抽出元である情報源の信頼度に基づいて複数のソース文章から少なくとも１つのソース文章を選択し、指定文章と比較する指示を含む。例えば、指示２０２８ｄは、ソース文章が複数抽出された場合、以下に例示する条件でソース文章を選択し、指定文章と比較する指示を含む。
・情報源の信頼度が高い順に、所定の数のソース文章を選択する
・情報源の信頼度が所定の値以上のソース文章をすべて選択する

（指示２０２８ｄの例）
ソース文章を複数抽出できる場合は、情報源の信頼度が高い順に３件のソース文章を選択し、それぞれについて指定文章と比較してください。

指示２０２８ｅは、第１例として、少なくとも１つの特定の観点に基づいて、ソース文章の情報源の信頼度を決定する指示を含む。特定の観点とは、例えば、情報源テーブル２０２２の項目「観点」の各項目に関する観点の少なくともいずれかであってもよいし、情報源テーブル２０２２の項目「観点」の各項目に関する観点とは異なる観点であってもよい。なお、プロンプトテンプレート２０２８に指示２０２８ｅが含まれる場合は、情報源の信頼度は、大規模言語モデルから出力される。そのため、この場合、プロンプトテンプレート２０２８は、指示２０２８ａの第２例に示されるような各情報源の信頼度に関する情報を含まなくてもよい。指示２０２８eにおける観点の項目は、例えば、本開示のサービスの提供者によって予め定められる。

（指示２０２８ｅの第１例）
ソース文章を抽出したら、当該ソース文章の情報源の信頼度を、以下の#観点についてそれぞれ０～１００の数値でスコア化し、それぞれの観点のスコアを平均することで、信頼度を特定してください。
#観点
・観点１：出典の明確性
・観点２：情報の透明性
・観点３：政治的バイアス
・観点４：取材形態の適切性
・・・

また、指示２０２８ｅは、第２例として、少なくとも１つの特定の観点に基づいて、ソース文章の信頼度を決定する指示を含む。例えば、指示２０２８ｅは、ソース文章自体の記載を特定の観点から解析することで、ソース文章の信頼度を決定する指示を含んでもよい。

（指示２０２８ｅの第２例）
ソース文章を抽出したら、当該ソース文章の記載を以下の#観点について解析することで、当該ソース文章の信頼度を決定してください。ソース文章を#観点ごとにそれぞれ０～１００の数値でスコア化し、それぞれの観点のスコアを平均することで、ソース文章の信頼度を特定してください。
#観点
・観点１：出典の明確性
・観点２：情報の透明性
・観点３：政治的バイアス
・観点４：取材形態の適切性
・・・

また、大規模言語モデルからの回答データは、ＪＳＯＮ文字列等の、項目ごとに構造化されたフォーマットであることが好ましい。これにより、入力されたプロンプトに対して大規模言語モデルから出力される回答データから取り出すべき各項目のテキストデータを、容易に取り出すことが可能になる。そのため、プロンプトテンプレート２０２８は、項目ごとに構造化して回答する指示を含むことが好ましい。これにより、項目ごとに構造化されたフォーマットで、大規模言語モデルからの回答データを得ることができる。

制御部２０３は、プロセッサ２９が記憶部２０２に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部２０３は、プログラムに従って動作することにより、受信制御モジュール２０３１、送信制御モジュール２０３２、プロンプト生成モジュール２０３３、データ解析モジュール２０３４、提示モジュール２０３５としての機能を発揮する。

受信制御モジュール２０３１は、サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。具体的には、例えば、受信制御モジュール２０３１は、端末装置１０から送信される信号および人工知能システム４０から送信される信号を受信する。

送信制御モジュール２０３２は、サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。具体的には、例えば、送信制御モジュール２０３２は、端末装置１０のディスプレイ１４１に表示する、後述する各種ＵＩに関する情報を端末装置１０へ送信する。また、例えば、送信制御モジュール２０３２は、プロンプトを含むリクエストを人工知能システム４０へ送信する。

プロンプト生成モジュール２０３３は、人工知能システム４０の大規模言語モデルに入力するプロンプトを生成する。具体的には、ユーザから受け付けた情報をプロンプトテンプレート２０２８の所定のフィールドに入力することで、プロンプトを生成する。例えば、プロンプト生成モジュール２０３３は、プロンプトテンプレート２０２８における各項目のフィールドに、情報源テーブル２０２２およびプロンプト情報テーブル２０２３の各項目から取得した情報を入力することで、プロンプトを生成する。

例えば、プロンプト生成モジュール２０３３は、プロンプトテンプレート２０２８の各フィールドに以下の情報を入力することで、プロンプトを生成する。
・{指定文章}：プロンプト情報テーブル２０２３の項目「指定文章」に含まれる情報
・{情報源名}：情報源テーブル２０２２の項目「情報源名」に含まれる情報
・{アクセス先}：情報源テーブル２０２２の項目「アクセス先」に含まれる情報
・{信頼度}：情報源テーブル２０２２の項目「信頼度」に含まれる情報
・{SNS投稿URL}：ユーザから受け付けた、指定されたウェブページを特定するための情報（ＵＲＬ等のウェブページの識別情報）

データ解析モジュール２０３４は、大規模言語モデルから出力された回答データを解析し、必要な情報を取り出す処理を制御する。具体的には、データ解析モジュール２０３４は、回答データから、ソース文章に関する情報と、指定文章とソース文章との比較結果に関する情報とを取り出す。

例えば、上述のように、ＪＳＯＮ等の形式で構造化された状態で回答データを受け付けることで、回答データの解析が容易になる。データ解析モジュール２０３４は、構造化された回答データを各項目に分割し、後述する結果ＵＩを生成するための各データに対応する情報を、回答データからそれぞれ取得する。なお、回答データが構造化されていない場合でも、データ解析モジュール２０３４は、任意の自然言語処理技術等を用いることで、回答データから任意の項目のテキストデータを取り出すことが可能である。

また、データ解析モジュール２０３４は、大規模言語モデルから複数のソース文章が出力されている場合（回答データに複数のソース文章に関する情報が含まれる場合）、所定の基準に基づいて、複数のソース文章から所定の数のソース文章を選択し、選択したソース文章に関する情報および当該ソース文章と指定文章との比較結果に関する情報を、回答データから取り出してもよい。

所定の基準とは、例えば、ソース文章の情報源の信頼度の値に関する基準、および、ソース文章と指定文章との一致度の値に関する基準の少なくともいずれかを含んでもよい。複数の基準を組み合わせる場合、どちらか一方の基準を優先して適用してもよい。

例えば、ソース文章の情報源の信頼度の値に関する基準に基づく場合、データ解析モジュール２０３４は、例えば以下のとおりソース文章を選択する。
・情報源の信頼度が高い順に、所定の数のソース文章を選択する
・情報源の信頼度が所定の値以上のソース文章をすべて選択する

例えば、ソース文章と指定文章との一致度の値に関する基準に基づく場合、データ解析モジュール２０３４は、例えば以下のとおりソース文章を選択する。
・指定文章との一致度が高い順に、所定の数のソース文章を選択する
・指定文章との一致度が所定の値以上のソース文章をすべて選択する

また、データ解析モジュール２０３４は、大規模言語モデルから複数のソース文章が出力されている場合、ソース文章ごとの回答データを、所定の基準に基づく順序に並び替え、並び替えた順序で、ソース文章に関する情報と、指定文章とソース文章との比較結果を、後述する結果ＵＩに表示させてもよい。所定の基準は、ソース文章の情報源の信頼度の値に関する基準、および、ソース文章と指定文章との一致度の値に関する基準の少なくともいずれかを含んでもよい。複数の基準を組み合わせる場合、どちらか一方の基準を優先して適用してもよい。

例えば、ソース文章の情報源の信頼度の値に関する基準に基づく場合、データ解析モジュール２０３４は、例えば以下のとおり回答データを並べ替える。
・情報源の信頼度が高い順に、ソース文章ごとの回答データを並べ替える

例えば、ソース文章と指定文章との一致度の値に関する基準に基づく場合、データ解析モジュール２０３４は、例えば以下のとおり回答データを並べ替える。
・指定文章との一致度が高い順に、ソース文章ごとの回答データを並べ替える

提示モジュール２０３５は、各種ＵＩをユーザに提示する。例えば、提示モジュール２０３５は、後述する各種ＵＩ等を、ユーザに提示する。

＜人工知能システム４０の機能的な構成＞
人工知能システム４０は、少なくとも１つの情報処理装置を含む、入力を受け付けたリクエストに対してレスポンスを出力するシステムである。

人工知能システム４０は、例えば、自然言語処理を行う大規模言語モデルシステム（ＬＬＭシステム）である。例えば、サーバ２０等が人工知能システム４０の大規模言語モデルへプロンプトを送信すると、人工知能システム４０は、プロンプトに対する応答として、文章データを含むデータをサーバ２０等へ送信する。また、人工知能システム４０は、画像（静止画、動画を含む）データや音声データを生成する生成ＡＩシステムであってもよい。例えば、サーバ２０等が人工知能システム４０のモデルへプロンプトを送信すると、人工知能システム４０は、プロンプトに対する応答として、画像データや音声データを含むデータをサーバ２０等へ送信する。なお、人工知能システム４０は、テキスト、画像、音声、動画等の複数の種類のデータを一括して処理可能なシステムであってもよい。人工知能システム４０は、例えば、ＣｈａｔＧＰＴ、Ｐｅｒｐｌｅｘｉｔｙ、Ｃｏｐｉｌｏｔ、Ｇｅｍｉｎｉ、Ｍｉｄｊｏｕｒｎｅｙ、Ｓｔａｂｌｅ Ｄｉｆｆｕｓｉｏｎ、Ｓｏｒａ等を含む。なお、人工知能システム４０は、サーバ２０の運営者が提供する人工知能システムであってもよい。

なお、本実施形態では、人工知能システム４０として大規模言語モデルを扱うシステムを例に挙げて説明する、本実施形態では、人工知能システム４０へのリクエストには、大規模言語モデルに入力するためのプロンプトのテキストデータが含まれ、人工知能システム４０からのレスポンスには、大規模言語モデルから出力される回答データが含まれる。

＜２ データ構造＞
図４～図７は、サーバ２０が記憶する情報のデータ構造の例を示す図である。なお、図４～図７は一例であり、記載されていないデータを除外するものではない。

図４は、ユーザテーブル２０２１のデータ構造を示す図である。ユーザテーブル２０２１は、ユーザＩＤを主キーとして、ユーザ名、等のカラムを有するテーブルである。

項目「ユーザＩＤ」は、ユーザを識別するユーザＩＤを記憶する項目である。

項目「ユーザ名」は、ユーザの名称を記憶する項目である。ユーザ名は、ユーザの氏名、ニックネームなど、任意の文字列を設定してもよい。

図５は、情報源テーブル２０２２のデータ構造を示す図である。情報源テーブル２０２２は、情報源ＩＤを主キーとして、情報源名、アクセス先、観点、信頼度、等のカラムを有するテーブルである。

項目「情報源ＩＤ」は、情報源を識別する情報源ＩＤを記憶する項目である。

項目「情報源名」は、情報源の名称を記憶する項目である。情報源名は、例えば、公的機関やニュースメディア等の情報発信者の名称、ウェブサイトの名称、ジャーナルや雑誌の名称、出版物の名称等、任意の文字列情報が含まれる。

項目「アクセス先」は、情報源にアクセスするためのリンク先を記憶する項目である。例えば、項目「アクセス先」には、情報源のウェブサイトにアクセスするためのＵＲＬを示す文字列が記憶される。

項目「観点」は、情報源に対する所定の観点からの評価に関する情報を記憶する項目である。図５に示すように、情報源テーブル２０２２は、項目「観点」に関する項目として、「観点１」、「観点２」、・・・のように、情報源に対する少なくとも１つの観点からの評価に関する情報を記憶する。具体的には、項目「観点」には、情報源に対する所定の観点からの評価の度合いを示す数値が記憶される。例えば、それぞれの観点について評価が高いほど、項目「観点」に記憶される数値は大きくなる。

また、項目「観点」に評価が記憶される所定の観点は、具体的には、情報源の信頼度を判断するための観点を含む。例えば、所定の観点は、下記の観点を含む。すなわち、図５の「観点１」、「観点２」、・・・は、例えば「出典の明確性」、「情報の透明性」、・・・と読み替えることができる。
・明確性に関する観点：出典の明確性、情報の透明性、等
・正確性に関する観点：情報の正確性、情報の一貫性、情報の発信日時および更新頻度、等
・客観性に関する観点：情報の客観性、公平性（政治的バイアス等）、等
・専門性に関する観点：情報源が有する専門知識、筆者の取材・執筆スキル、情報源の歴史、権威、実績、等

項目「信頼度」は、情報源の信頼度に関する情報を記憶する項目である。具体的には、項目「信頼度」には、情報源の信頼度が数値として記憶される。例えば、信頼度が高いほど、項目「信頼度」に記憶される数値は大きくなる。信頼度は、信頼度の数値に応じて、「高」「中」「低」等にランク分けされていてもよい。

信頼度は、情報源に対する各観点の評価に基づいて定められてもよい。例えば、項目「観点」の各項目に記憶される数値に基づいて、項目「信頼度」に記憶される数値が決定されてもよい。例えば、項目「観点」の各項目の数値に対して任意の計算（合計、平均等）を行うことで、項目「信頼度」の数値が決定されてもよい。

また、信頼度は、項目「観点」に記憶される数値によらず、本開示のサービスの提供者等により、情報源ごとに予め定められていてもよい。この場合、情報源テーブル２０２２には項目「観点」が設けられていなくてもよい。

図６は、プロンプト情報テーブル２０２３のデータ構造を示す図である。プロンプト情報テーブル２０２３は、プロンプト情報ＩＤを主キーとして、ユーザＩＤ、指定文章、等のカラムを有するテーブルである。

項目「プロンプト情報ＩＤ」は、プロンプト情報を識別するプロンプト情報ＩＤを記憶する項目である。プロンプト情報は、プロンプトを生成するためにプロンプトテンプレートに組み合わせる情報である。

項目「ユーザＩＤ」は、プロンプト情報を送信したユーザのユーザＩＤを記憶する項目である。

項目「指定文章」は、ユーザから指定された文章である指定文章に関する情報を記憶する項目である。例えば、項目「指定文章」は、端末装置１０を介してユーザから入力された文章のテキストデータ、または、ユーザから入力された、指定文章を特定するための情報（例えば、指定文章に係るＳＮＳ投稿の識別情報や、指定文章が記載されたウェブページの識別情報等）に基づいてサーバ２０が取得した文章のテキストデータが記憶される。

項目「情報源ＩＤ」は、プロンプトにおいて、ソース文章を抽出する際に指定される情報源の情報源ＩＤを記憶する項目である。項目「情報源ＩＤ」には、１または複数の情報源ＩＤが記憶されてもよい。

図７は、応答情報テーブル２０２４のデータ構造を示す図である。応答情報テーブル２０２４は、応答情報ＩＤを主キーとして、プロンプト情報ＩＤ、応答情報、等のカラムを有するテーブルである。

項目「応答情報ＩＤ」は、プロンプトに対する応答として人工知能システム４０から送信される応答情報を識別する応答情報ＩＤを記憶する項目である。

項目「プロンプト情報ＩＤ」は、応答情報と対応するプロンプトの生成に用いられたプロンプト情報のプロンプト情報ＩＤを記憶する項目である。具体的には、項目「プロンプト情報ＩＤ」には、応答情報ＩＤで識別される応答情報を受け取るために、サーバ２０が人工知能システム４０へ送信したプロンプトの生成に用いられたプロンプト情報のプロンプト情報ＩＤが記憶される。例えば、サーバ２０が、プロンプト情報ＩＤ：Ｐ００１のプロンプト情報を用いて生成したプロンプトを人工知能システム４０へ送信し、人工知能システム４０から応答情報ＩＤ：ＲＰ００１の応答情報が出力された場合、応答情報ＩＤがＲＰ００１のレコードには、プロンプト情報ＩＤとしてＰ００１が記憶される。

項目「応答情報」は、人工知能システム４０から出力された応答情報を記憶する項目である。具体的には、項目「応答情報」には、受け付けたリクエストに対して人工知能システム４０が出力したレスポンスに関するデータが記憶される。例えば、項目「応答情報」には、人工知能システム４０の種類に応じた形式のデータ（テキストデータ、画像データ、音声データ等）が記憶される。

＜３ 動作＞
本実施形態の文章比較処理について説明する。文章比較処理は、ユーザから指定された指定文章に基づいて生成した、指定文章と類似するソース文章を抽出する指示と、指定文章とソース文章とを比較する指示とを含むプロンプトを含むリクエストを人工知能システム４０へ送信し、人工知能システム４０から取得した応答情報に基づいた、指定文章とソース文章との比較結果をユーザに提示する処理である。図８は、本実施形態の文章比較処理のフローチャートである。

まず、端末装置１０は、ソース文章の抽出および指定文章とソース文章との比較を実行させるためのアプリケーションを実行する。なお、ソース文章の抽出および指定文章とソース文章との比較は、ウェブブラウザを介して実行されてもよい。例えば、ユーザは、端末装置１０を操作ししてアプリケーションを選択し、端末装置１０に実行させる。端末装置１０がアプリケーションを実行すると、制御部１９０は、ユーザを認証するためのログイン画面をディスプレイ１４１に表示させる。

ユーザは、ログイン画面において、例えば、ユーザＩＤ及びパスワードを入力する。なお、ログイン画面においてユーザが入力する情報は、ユーザＩＤ及びパスワードに限定されず、ユーザは、生体情報等を入力することでログインしてもよい。

ステップＳ１１において、サーバ２０は、端末装置１０からのアクセスを受け付け、ユーザＩＤおよびパスワードを受け付けることでユーザを認証する。

サーバ２０は、指定文章の受付ＵＩを、端末装置１０を介してユーザに提示する。具体的には、例えば、サーバ２０は、情報源テーブル２０２２に記憶される情報源に関する情報に基づいて指定文章の受付ＵＩを生成し、指定文章の受付画面を、端末装置１０のディスプレイ１４１に表示させる。

図９は、指定文章の受付画面Ｄ１の例を示す模式図である。指定文章の受付画面Ｄ１は、操作オブジェクトＤ１１、操作オブジェクトＤ１２、操作オブジェクトＤ１３、表示オブジェクトＤ１４、操作オブジェクトＤ１５を含む。

操作オブジェクトＤ１１は、文章の指定を入力するための操作を受け付ける。操作オブジェクトＤ１１は、例えば、ユーザからのテキストデータの入力を受け付けることで、ユーザからの指定文章の入力を受け付ける。

操作オブジェクトＤ１３は、ソース文章の検索対象とする情報源の指定を入力するための操作を受け付ける。操作オブジェクトＤ１３は、例えば、ユーザからの操作を受け付けると、情報源テーブル２０２２に記憶されていた情報源名の一覧を選択可能に指定文章の受付画面Ｄ１に表示する。端末装置１０は、情報源名を示す各オブジェクトの選択をユーザから受け付けることで、ソース文章の検索対象とする情報源の指定を受け付ける。情報源名を示す各オブジェクトは、情報源の信頼度の数値に関する所定の基準に基づいて、「信頼度高」「信頼度中」「信頼度低」のように信頼度の数値に応じたグループに分けられていてもよく、グループごとに一括して選択可能であってもよい。

なお、操作オブジェクトＤ１３は設けられていなくてもよく、その場合は、ソース文章の抽出元として、本開示のサービスの提供者等により予め定められた少なくとも１つの情報源が指定される。例えば、情報源テーブル２０２２において信頼度「高」とされた情報源が抽出元として指定されてもよい。

表示オブジェクトＤ１４は、指定された情報源を表示する。表示オブジェクトＤ１４は、例えば、操作オブジェクトＤ１３がユーザからの操作を受け付けることにより端末装置１０が指定を受け付けた情報源の一覧を表示する。

操作オブジェクトＤ１５は、ユーザからの、指定文章に対するソース文章の抽出および指定文章とソース文章との比較を行う旨の指示の入力操作を受け付ける。操作オブジェクトＤ１５がユーザからの入力操作を受け付けると、端末装置１０は、操作オブジェクトＤ１１および操作オブジェクトＤ１３への入力操作により取得した情報とともに、プロンプトの生成および人工知能システム４０へのプロンプトの送信を行う旨の指示を、サーバ２０へ送信する。

ステップＳ１２において、サーバ２０は、文章の指定および情報源の指定と、プロンプトの生成および人工知能システム４０へのリクエストの送信を行う旨の指示とを受け付ける。具体的には、サーバ２０は、ステップＳ１１において提示した指定文章の受付ＵＩがユーザから受け付けた操作に基づく、指定文章に関する情報および指定された情報源に関する情報を、端末装置１０から受け付ける。指定文章に関する情報および指定された情報源に関する情報は、本実施形態におけるプロンプト情報の一例である。

サーバ２０は、端末装置１０から受け付けたプロンプト情報を、プロンプト情報テーブル２０２３に記憶する。具体的には、例えば、プロンプト情報テーブル２０２３の新しいレコードの各項目に、以下の情報を記憶する。
・プロンプト情報ＩＤ：新しく採番したプロンプト情報ＩＤ
・ユーザＩＤ：ステップＳ１１で受け付けたユーザＩＤ
・指定文章：受け付けた指定文章のテキストデータ
・情報源ＩＤ：指定を受け付けた情報源の情報源ＩＤ

サーバ２０は、プロンプト情報テーブル２０２３に記憶した情報源ＩＤに基づいて情報源テーブル２０２２を検索し、該当するレコードの項目「情報源名」、「アクセス先」、「信頼度」の情報を取得する。

ステップＳ１３において、サーバ２０は、指定を受け付けた前記文章と類似する記載を含む少なくとも１つのソース文章を、人工知能システムが利用可能な情報源から抽出する指示と、抽出された前記ソース文章と指定された前記文章とを比較する指示と、を含むプロンプトを生成する。具体的には、サーバ２０は、記憶部２０２に記憶されるプロンプトテンプレート２０２８を呼び出し、プロンプト情報テーブル２０２３に記憶したプロンプト情報を、プロンプトテンプレート２０２８において対応する各フィールドに入力することで、人工知能システム４０へ送信するためのプロンプトを生成する。

例えば、プロンプト生成モジュール２０３３は、プロンプトテンプレート２０２８の各フィールドに対して以下の情報を入力することで、プロンプトを生成する。
・{指定文章}：ステップＳ１２においてプロンプト情報テーブル２０２３の項目「指定文章」に記憶した情報
・{情報源名}：ステップＳ１２において情報源テーブル２０２２の項目「情報源名」から取得した情報
・{アクセス先}：ステップＳ１２において情報源テーブル２０２２の項目「アクセス先」から取得した情報
・{信頼度}：ステップＳ１２において情報源テーブル２０２２の項目「信頼度」から取得した情報

ステップＳ１４において、サーバ２０は、生成したプロンプトを、人工知能システム４０が提供する大規模言語モデルに入力する。具体的には、例えば、サーバ２０は、ステップＳ１３において生成したプロンプトのテキストデータおよび必要なパラメータ（例えば、トークン数の指定等）を含むリクエストを、人工知能システム４０のＡＰＩエンドポイントへ送信する。

人工知能システム４０は、サーバ２０からのリクエストを受け付けると、ＡＰＩエンドポイントを介して、リクエストに対するレスポンスである応答情報をサーバ２０へ送信する。

ステップＳ１５において、サーバ２０は、人工知能システム４０から送信された応答情報を受け付ける。応答情報は、サーバ２０が送信したリクエストに含まれるプロンプトに対する、大規模言語モデルからのテキストデータ（回答データ）を含む。サーバ２０は、記憶部２０２に応答情報を記憶する。具体的には、例えば、応答情報テーブル２０２４の新しいレコードにおいて、項目「プロンプト情報ＩＤ」にはステップＳ１２において採番したプロンプト情報ＩＤを、項目「応答情報」には人工知能システム４０から受け付けた応答情報を、それぞれ記憶する。

ステップＳ１６において、サーバ２０は、取得した応答情報から、必要なデータを取り出す。具体的には、例えば、サーバ２０は、回答データから、抽出されたソース文章に関する情報、および、指定文章とソース文章との比較結果に関する情報を、それぞれ取り出すソース文章に関する情報は、例えば以下に関する情報である。
・ソース文章の抽出元のタイトル（ソース文章が掲載されたウェブページや記事のタイトル）
・ソース文章の抽出元である情報源
・情報源の信頼度
・ソース文章の抽出元（ウェブページのアクセス先等）
・ソース文章の公開時刻（日付、時間等）
・ソース文章の本文
指定文章とソース文章との比較結果に関する情報は、例えば以下に関する情報である。
・指定文章とソース文章との一致部分
・指定文章とソース文章との相違部分
・指定文章とソース文章との一致度
・一致度を決定した根拠
・比較結果に関するコメント

回答データにおいて複数のソース文章が抽出されている場合、サーバ２０は、データ解析モジュール２０３４により、所定の基準に基づいて、複数のソース文章から所定の数のソース文章を選択し、選択したソース文章に関する情報および当該ソース文章と指定文章との比較結果に関する情報を、回答データから取り出してもよい。または、ソース文章ごとの回答データを、所定の基準に基づく順序に並び替えてもよい。

サーバ２０は、回答データから取り出した各項目の情報に基づいて、ソース文章に関する情報と、指定文章とソース文章との比較結果に関する情報とをユーザに提示するための結果ＵＩを生成する。具体的には、例えば、サーバ２０は、回答データから取り出した各項目の情報を、各項目に対応して結果ＵＩに設けられたフィールドにそれぞれ入力することにより、回答データに応じた結果ＵＩを生成する。

ステップＳ１７において、サーバ２０は、ソース文章に関する情報と、指定文章とソース文章との比較結果とをユーザに提示する。具体的には、サーバ２０は、ステップＳ１６において生成した結果ＵＩを、端末装置１０を介してユーザに提示する。例えば、サーバ２０は、端末装置１０のディスプレイ１４１に、結果画面を表示させる。

図１０は、第１の結果画面Ｄ２の例を示す模式図である。図１０に示すように、第１の結果画面Ｄ２は、表示オブジェクトＤ２１、表示オブジェクトＤ２２を、抽出されたソース文章ごとに表示する。

表示オブジェクトＤ２１は、ソース文章に関する情報を表示する。表示オブジェクトＤ２１は、具体的には、例えば、以下の情報を表示する。
・ソース文章の抽出元のタイトル（ソース文章が掲載されたウェブページや記事のタイトル）
・ソース文章の抽出元である情報源
・情報源の信頼度
・ソース文章の抽出元（ウェブページのアクセス先等）
・ソース文章の公開時刻（日付、時間等）
・ソース文章の本文

表示オブジェクトＤ２２は、指定文章とソース文章との比較結果に関する情報を表示する。表示オブジェクトＤ２２は、具体的には、例えば、以下に関する情報を表示する。
・指定文章とソース文章との一致部分
・指定文章とソース文章との相違部分
・指定文章とソース文章との一致度
・一致度を決定した根拠
・比較結果に関するコメント

なお、ステップＳ１６において、データ解析モジュール２０３４により、複数のソース文章のうち、所定の数のソース文章に係る情報が回答データから取り出されている場合、第１の結果画面Ｄ２は、データ解析モジュール２０３４により選択されたソース文章に係る情報だけを、表示オブジェクトＤ２１および表示オブジェクトＤ２２により表示する。一方で、データ解析モジュール２０３４に選択されなかったソース文章に係る情報は表示しない。

また、ステップＳ１６において、データ解析モジュール２０３４により、回答データに含まれるソース文章の情報が所定の順序に並び替えられている場合、第１の結果画面Ｄ２は、各ソース文章に係る表示オブジェクトＤ２１および表示オブジェクトＤ２２を、当該順序にしたがって表示する。

図１１は、第２の結果画面Ｄ３の例を示す模式図である。図１１に示すように、第２の結果画面Ｄ３は、表示オブジェクトＤ３１、操作オブジェクトＤ３３１～Ｄ３３３を含む。

表示オブジェクトＤ３１は、指定文章の信憑度に関する情報を表示する。具体的には、例えば、表示オブジェクトＤ３１は、以下の情報を表示する。
・信憑度の数値
・指定文章の信憑性に関するコメント。例えば、信憑度を決定した根拠や、指定文章と所定のソース文章との比較結果に関するコメント等。

操作オブジェクトＤ３３１～Ｄ３３３は、ユーザに提示された情報に対する質問の指定を入力するための操作を受け付ける。例えば、操作オブジェクトＤ３３１～Ｄ３３３がユーザからの入力操作を受け付けると、端末装置１０は、操作を受け付けたオブジェクトに表示された文字列に関する質問事項を大規模言語モデルに入力する要求を、サーバ２０へ送信する。サーバ２０は、端末装置１０から受け付けた質問事項を含むプロンプトを生成し、人工知能システム４０の大規模言語モデルに入力する。サーバ２０は、人工知能システム４０からの応答を取得すると、応答に含まれる回答データを取り出し、端末装置１０を介してユーザに提示する。

図１１の例では、操作オブジェクトＤ３３１は、指定文章の内容、例えば、指定文章に含まれる特定の記載に関する質問を表示する。例えば、操作オブジェクトＤ３３１への入力操作により、サーバ２０は、当該記載の詳細を、ソース文章の記載に基づいて解説する指示を含むプロンプトを生成し、大規模言語モデルに入力することで、ユーザの質問に対する回答を大規模言語モデルから取得する。

図１１の例では、操作オブジェクトＤ３３２は、指定文章の補足情報に関する質問を表示する。例えば、操作オブジェクトＤ３３２への入力操作により、サーバ２０は、指定文章に対する補足情報、例えば、指定文章には記載されていないがソース文章には記載されている情報を提示する指示を含むプロンプトを生成し、大規模言語モデルに入力することで、ユーザの質問に対する回答を大規模言語モデルから取得する。

図１１の例では、操作オブジェクトＤ３３３は、ソース文章の内容に関する質問を表示する。例えば、操作オブジェクトＤ３３３への入力操作により、サーバ２０は、ソース文章の解説、要約、説明等を行う指示を含むプロンプトを生成し、大規模言語モデルに入力することで、ユーザの質問に対する回答を大規模言語モデルから取得する。

その他、サーバ２０は、第１の結果画面Ｄ２および第２の結果画面Ｄ３に、ユーザに提示されたソース文章に関する情報および指定文章とソース文章との比較結果に関する情報に対する評価（フィードバック）を入力するためのオブジェクトを表示してもよい。例えば、表示オブジェクトＤ２１、表示オブジェクトＤ２２、および表示オブジェクトＤ３１の少なくともいずれかの近傍に、各オブジェクトに表示された情報に対するユーザの評価を受け付けるためのオブジェクトが表示されてもよい。オブジェクトは、「良い」「悪い」等のユーザの評価を選択式で受け付けるものであってもよい。端末装置１０は、当該オブジェクトへの操作を受け付けることにより、ユーザからの各情報への評価に関する情報を受け付け、サーバ２０へ送信する。サーバ２０は、ユーザからの評価に関する情報を受け付け、記憶部２０２に記憶する。サーバ２０は、ユーザに提示した情報に係る回答データと、ユーザからの評価に関する情報とを人工知能システム４０へ送信する。これにより、回答データに対するユーザの評価を、大規模言語モデルの学習に利用したり、人工知能システム４０の運営者による人工知能システム４０の改善に用いたりすることができる。

＜変形例＞
上記の文章比較処理の各ステップは、端末装置１０およびサーバ２０のいずれでも実行可能である。上記説明では、各ステップを特定の順序で実行する例を示したが、各ステップの実行順序は、依存関係がない限りは説明した例に制限されない。

上記実施形態では、サーバ２０は、指定文章の受付画面Ｄ１をユーザに提示することで、指定文章等の情報をユーザから受け付け、第１の結果画面Ｄ２、第２の結果画面Ｄ３をユーザに提示することで、ソース文章に関する情報および指定文章とソース文章との比較結果に関する情報を提示していた。しかしながら、サーバ２０は、指定文章が掲載されたウェブページが端末装置１０のディスプレイ１４１に表示された状態で、文章比較処理の各ステップを実行してもよい。

例えば、端末装置１０は、予め、文章比較処理のためのアプリケーションを実行させておく。端末装置１０は、ユーザからの操作により、ウェブブラウザ等を起動して、指定文章が掲載されたウェブページにアクセスし、ディスプレイ１４１に指定文章を表示させる。

そして、例えば、ユーザが、端末装置１０を操作して、ウェブブラウザアプリによりディスプレイ１４１に表示された文章を範囲選択すると、端末装置１０は、指定文章が指定されたものとして、範囲選択された箇所のテキストデータを、サーバ２０へ送信してもよい。サーバ２０は、端末装置１０から送信された指定文章のテキストデータに基づいて、文章比較処理のステップＳ１２以降の処理を実行してもよい。この場合、ユーザに提示されるソース文章に関する情報および指定文章とソース文章との比較結果に関する情報とは、指定文章を表示させていたウェブブラウザアプリ等の画面に対してポップアップ表示またはオーバーレイ表示する等により、ユーザに提示されてもよい。これにより、ユーザは、指定文章のソース文章との比較を手軽に行うことができるようになる。

また、上記実施形態では、サーバ２０のデータ解析モジュール２０３４が各種処理を行っていた。しかしながら、データ解析モジュール２０３４が行う処理は、人工知能システム４０により実行されてもよい。具体的には、プロンプト生成モジュール２０３３は、データ解析モジュール２０３４が行う処理に関する指示をプロンプトとして生成し、サーバ２０が人工知能システム４０の大規模言語モデルに入力することで、データ解析モジュール２０３４が行う処理結果と同様の結果を、大規模言語モデルから受け付けてもよい。これにより、サーバ２０が行う処理を削減することができる。

人工知能システム４０に実行させることができるデータ解析モジュール２０３４の処理を以下に例示する。
・複数のソース文章から所定の数のソース文章を選択し、選択したソース文章に関する情報および当該ソース文章と指定文章との比較結果に関する情報を、回答データから取り出す処理。複数のソース文章から選択された所定の数のソース文章に関する情報のみを大規模言語モデルから出力させることで、トークン数を削減することができる。
・ソース文章ごとの回答データを、所定の基準に基づく順序に並び替える処理

また、上記実施形態では、プロンプトにおいて、指示２０２８ａの第１例のように情報源が指定されておらず、その場合は、人工知能システム４０が利用可能な情報源から、ソース文章が抽出されていた。または、指示２０２８ａの第２例のように、ソース文章を抽出する情報源が指定されていた。しかしながら、人工知能システム４０によるソース文章の抽出元となる情報源は、事前学習されていてもよい。例えば、サーバ２０は、所定のタイミング（例えば、定期間隔）で、情報源テーブル２０２２に記憶される情報を人工知能システム４０の大規模言語モデルに入力することで、情報源テーブル２０２２に記憶されている情報源に関する情報を学習させてもよい。そして、プロンプト生成モジュール２０３３は、事前学習された情報源からソース文章を抽出する指示を含むプロンプトを生成してもよい。

また、上記実施形態では、１つの指定文章について、ソース文章の抽出およびソース文章との比較を行っていた。しかしながら、複数の指定文章の指定をユーザから受け付け、複数の指定文章について、ソース文章の抽出およびソース文章との比較を行ってもよい。

また、上記実施形態では、操作オブジェクトＤ１１への、ユーザからのテキストデータの入力を受け付けることで、ユーザからの指定文章の入力を受け付けていた。しかしながら、サーバ２０は、指定文章のテキストデータに代えて、ユーザからウェブページの識別情報を受け付けてもよい。そして、サーバ２０は、当該識別情報に基づいて、当該ウェブページから、指定文章を取得してもよい。例えば、サーバ２０は、任意の手法により、受け付けた識別情報で識別されるウェブページに掲載された文章を、指定文章として外部サーバから取得してもよい。任意の手法とは、例えば、当該ウェブページの提供者が公開するＡＰＩを介したウェブページ本文の取得、任意のｗｅｂスクレイピング技術によるウェブページ本文の取得等である。

また、上記実施形態では、ユーザから文章の指定を受け付け、ユーザから指定された指定文章について、信憑度の決定を行っていた。しかしながら、所定の文章投稿サービス（ＳＮＳ等）における、文章の投稿者の指定を受け付け、指定された投稿者（指定投稿者）が投稿した複数の文章について、信憑度の決定を行ってもよい。

例えば、ユーザは、端末装置１０に表示された受付画面において、投稿者を特定するための識別情報を入力する。投稿者を特定するための情報とは、文章投稿サービスにおける投稿者のアカウントを特定するための情報（例えば、投稿者のユーザＩＤ、投稿者の個人ページ等のＵＲＬ等）である。端末装置１０は、受け付けた識別情報をサーバ２０へ送信する。

サーバ２０は、受け付けた識別情報に基づいて、文章投稿サービスにおいて投稿者が投稿した少なくとも１つの文章を取得する。例えば、サーバ２０は、文章投稿サービスにおいて提供されるＡＰＩエンドポイントへ投稿者のＩＤを送信することで、投稿者が文章投稿サービスにおいて投稿した１または複数の文章を、ＡＰＩを介して取得する。

サーバ２０は、取得した少なくとも１つの文章を指定文章として、文章比較処理のステップＳ１３以降の処理を実行することで、取得した文章の信憑度を取得する。この際、例えば、プロンプト生成モジュール２０３３は、「#指定文章 は、すべて、同じ投稿者Ａが投稿した文章です。#指定文章 の信憑度を出力した後に、信憑度や#指定文章等を総合考慮して、投稿者の信憑度を決定してください」等の指示をプロンプトに含め、大規模言語モデルに入力することで、大規模言語モデルから投稿者の信憑度を得ることができる。

サーバ２０は、取得した投稿者の信憑度を、端末装置１０を介してユーザに提示する。

また、上記実施形態では、情報源の信頼度は、例えば情報源テーブル２０２２の項目「信頼度」の情報により定められ、この値は、項目「観点」の数値を変更しない限り、一定であった。しかしながら、信頼度の値は、適宜増減してもよい。具体的には、本開示のサービスの提供者やユーザが重視する観点に基づいて、項目「観点」の値を重み付けし、重み付けした項目「観点」の値に基づいて、信頼度の値を定めてもよい。

また、上記実施形態では、指示２０２８ｂおよび指示２０２８ｅにおいて、予め観点が定められていた。しかしながら、観点は、ユーザによる入力にしたがって適宜定められてもよい。例えば、指定文章の受付画面Ｄ１において、ユーザが重視する観点の入力操作を受け付けるための操作オブジェクトがあってよい。操作オブジェクトは、例えば、情報源テーブル２０２２の項目「観点」の項目名をそれぞれ表示する。ユーザが、指定文章の受付画面Ｄ１に表示された各観点から重視したい観点を選択すると、端末装置１０は、受け付けた観点の項目に関する情報をサーバ２０へ送信する。サーバ２０は、受け付けた観点の項目名により、プロンプトテンプレート２０２８の指示２０２８ｂおよび指示２０２８ｅを更新することで、ユーザが重視する観点でのプロンプトが生成される。

また、上記実施形態では、サーバ２０は、ステップＳ１３において、指定を受け付けた前記文章と類似する記載を含む少なくとも１つのソース文章を、人工知能システムが利用可能な情報源から抽出する指示（第１の指示）と、抽出されたソース文章と指定された文章とを比較する指示（第２の指示）と、を含むプロンプトを生成していた。サーバ２０は、第１の指示と第２の指示とを含むプロンプトを大規模言語モデルに入力し、応答を取得していた。また、サーバ２０は、大規模言語モデルからの応答に基づいて、抽出されたソース文章に関する情報と、指定文章とソース文章との比較結果とを、併せてユーザに提示していた。

しかしながら、サーバ２０は、第１の指示を含む第１のプロンプトを生成し、大規模言語モデルへ入力してもよい。そして、大規模言語モデルからの回答データに基づいて、ソース文章に関する情報をユーザに提示してもよい。そして、ユーザから、指定文章と比較するソース文章の指定をユーザから受け付けてもよい。そして、ユーザから指定されたソース文章と指定文章を比較する第２の指示を含む第２のプロンプトを生成し、大規模言語モデルに入力してもよい。そして、大規模言語モデルからの回答データに基づいて、ユーザから指定されたソース文章と、指定文章との比較結果に関する情報を、ユーザに提示してもよい。

本変形例の処理の具体例について、以下に説明する。図１２は、本変形例の処理の例を示すフローチャートである。

ステップＳ２１及びステップＳ２２は、文章比較処理のステップＳ１１およびステップＳ１２と同様である。

ステップＳ２３において、サーバ２０は、第１の指示を含むプロンプトを生成する。具体的には、例えば、ステップＳ２２においてプロンプト情報テーブル２０２３に記憶したプロンプト情報を、指示２０２８ａを含むプロンプトテンプレートに埋め込むことで、第１のプロンプトを生成する。

ステップＳ２４において、サーバ２０は、生成した第１のプロンプトを、人工知能システム４０が提供する大規模言語モデルに入力する。具体的には、例えば、サーバ２０は、生成した第１のプロンプトのテキストデータおよび必要なパラメータ（例えば、トークン数の指定等）を含むリクエストを、人工知能システム４０のＡＰＩエンドポイントへ送信する。

人工知能システム４０は、サーバ２０からのリクエストを受け付けると、ＡＰＩエンドポイントを介して、大規模言語モデルからの回答データを含む応答情報をサーバ２０へ送信する。

ステップＳ２５において、サーバ２０は、人工知能システム４０から送信された応答情報を受け付ける。

ステップＳ２６において、サーバ２０は、応答情報に含まれる大規模言語モデルの回答データから、ソース文章に関する情報を取り出す。具体的には、例えば、以下に関する情報を取り出す。
・ソース文章の抽出元のタイトル（ソース文章が掲載されたウェブページや記事のタイトル）
・ソース文章の抽出元である情報源
・情報源の信頼度
・ソース文章の抽出元（ウェブページのアクセス先等）
・ソース文章の公開時刻（日付、時間等）
・ソース文章の本文

サーバ２０は、応答情報から取り出した情報に基づいて、ソース文章に関する情報をユーザに提示するための抽出結果ＵＩを生成する。具体的には、例えば、サーバ２０は、取り出した各項目の情報を、各項目に対応して抽出結果ＵＩに設けられたフィールドにそれぞれ入力することにより、抽出結果ＵＩを生成する。

ステップＳ２７において、サーバ２０は、抽出されたソース文章に関する情報をユーザに提示する。具体的には、サーバ２０は、生成した抽出結果ＵＩを、端末装置１０を介してユーザに提示する。例えば、サーバ２０は、端末装置１０のディスプレイ１４１に、抽出結果画面を表示させる。

図１３は、抽出結果画面Ｄ４の例を示す模式図である。図１２に示すように、抽出結果画面Ｄ４は、操作オブジェクトＤ４１１、操作オブジェクトＤ４１２、操作オブジェクトＤ４２、表示オブジェクトＤ４３を含む。

操作オブジェクトＤ４１１、操作オブジェクトＤ４１２は、表示オブジェクトＤ４３が表示するソース文章に関する情報を、特定の条件に基づいて絞り込む要求を入力するための操作を受け付ける。

例えば、操作オブジェクトＤ４１１がユーザからの入力操作を受け付けると、予め定められた信頼度の値の項目一覧（９０、８０、７０，・・・等）、または信頼度の程度を示す項目一覧（高、中、低、・・・等）を示すオブジェクトが抽出結果画面Ｄ４に表示される。例えば、当該オブジェクトが所定の値の項目の指定を受け付けると、表示オブジェクトＤ４３が表示する情報が、指定された信頼度の値または程度以上である信頼度を有する情報源から抽出された情報に絞り込まれる。一例として、信頼度「９０」の項目が指定された場合、表示オブジェクトＤ４３が表示するソース文章に関する情報は、信頼度「９０」以上の情報源から抽出された情報に絞り込まれる。

また、例えば、操作オブジェクトＤ４１２がユーザからの入力操作を受け付けると、日付の範囲を指定するためのオブジェクトが抽出結果画面Ｄ４に表示される。例えば、当該オブエクトが所定の日付範囲の入力を受け付けると、表示オブジェクトＤ４３が表示する情報は、当該所定の日付範囲に公開された情報に絞り込まれる。

操作オブジェクトＤ４２は、表示オブジェクトＤ４３が表示するソース文章に関する情報を、特定の条件に基づいて並べ替える（ソートする）要求を入力するための操作を受け付ける。例えば、操作オブジェクトＤ４２がユーザからの入力操作を受け付けると、信頼度順、日付順等の、並べ替えに関する特定の条件を指定するためのプルダウンオブジェクトが抽出結果画面Ｄ４に表示される。例えば、当該オブジェクトが条件の指定を受け付けると、表示オブジェクトＤ４３は、指定を受け付けた条件に応じて並べ替えられる。一例として、「信頼度順」の条件が指定された場合、表示オブジェクトＤ４３は、抽出元の情報源の信頼度が大きい順に並べ替えられる。

表示オブジェクトＤ４３は、ソース文章に関する情報を表示するオブジェクトである。なお、表示オブジェクトＤ４３は、指定文章との比較対象の候補として抽出された、各ソース文章に関する情報を表示するオブジェクトということもできる。具体的には、例えば、表示オブジェクトＤ４３は、抽出されたソース文章について、以下に関する情報を表示する。なお、抽出結果画面Ｄ４は、抽出された各ソース文章についてそれぞれ独立した表示オブジェクトＤ４３を有する。
・ソース文章の抽出元のタイトル（ソース文章が掲載されたウェブページや記事のタイトル）
・ソース文章の抽出元である情報源
・情報源の信頼度
・ソース文章の公開時刻（日付、時間等）
・ソース文章の本文

また、各表示オブジェクトＤ４３は、操作オブジェクトＤ４３１、操作オブジェクトＤ４３２を含む。操作オブジェクトＤ４３１、操作オブジェクトＤ４３２は、関連付けられている表示オブジェクトＤ４３に関するソース文章に係る操作を受け付ける。

操作オブジェクトＤ４３１は、ソース文章を閲覧する要求を入力するための操作を受け付ける。例えば、操作オブジェクトＤ４３１には、ソース文章の抽出元の識別情報（例えば、ＵＲＬのリンク）が埋め込まれている。操作オブジェクトＤ４３１がユーザからの入力操作を受け付けると、端末装置１０は埋め込まれたリンク先から抽出元にアクセスし、ソース文章の本文等を含む情報をユーザに提示する。

操作オブジェクトＤ４３２は、ソース文章と指定文章とを比較する要求を入力するための操作を受け付ける。例えば、操作オブジェクトＤ４３２がユーザからの入力操作を受け付けると、端末装置１０は、操作オブジェクトＤ４３２に係るソース文章に関する情報を、当該ソース文章と指定文章とを比較する要求とともに、サーバ２０へ送信する。

なお、抽出結果画面Ｄ４において、端末装置１０は、複数のソース文章について、指定文章と比較する要求を受け付けてもよい。一例として、各ソース文章に関する各操作オブジェクトＤ４３２を、同時に複数選択可能であってもよい。

ステップＳ２８において、サーバ２０は、操作オブジェクトＤ４３２への操作を受け付けることによって端末装置１０が送信した要求とソース文章に関する情報とを受け付ける。

ステップＳ２９において、サーバ２０は、情報を受け付けたソース文章と、指定文章とを比較する第２の指示を含む第２のプロンプトを生成する。具体的には、例えば、サーバ２０は、ステップＳ２２において受け付けた指定文章と、ステップＳ２８において受け付けたソース文章とを比較する指示を含むプロンプトを生成する。

（第２のプロンプトの例）
#ソース文章に関する情報 を参考にしつつ、#ソース文章 と、#指定文章 とを比較し、#比較結果に関する情報 の項目にしたがって情報を出力してください。
#ソース文章に関する情報
｛ソース文章に関する情報}
#ソース文章
{ソース文章}
#指定文章
{指定文章}
#比較結果に関する情報
・指定文章とソース文章との一致部分
・指定文章とソース文章との相違部分
・指定文章とソース文章との一致度
・一致度を決定した根拠

なお、上記の第２のプロンプトの例において、｛ソース文章に関する情報}には、ステップＳ２８において受け付けたソース文章に関する情報が挿入される。また、{ソース文章}には、ステップＳ２８において受け付けたソース文章本文が挿入される。また、{指定文章}には、ステップＳ２２において受け付けた指定文章が挿入される。また、第２のプロンプトは、指示２０２８ｂ～２０２８ｅに含まれる文章が適宜含まれていてもよい。例えば、第２のプロンプトは、比較結果と、端末装置１０から受け付けたソース文章の情報源との信頼度とに基づいて、ステップＳ２２において受け付けた指定文章の信憑度を出力する指示を含んでもよい。

ステップＳ２１０において、サーバ２０は、生成した第２のプロンプトを、人工知能システム４０が提供する大規模言語モデルに入力する。

人工知能システム４０は、サーバ２０からのリクエストを受け付けると、ＡＰＩエンドポイントを介して、大規模言語モデルからの回答データを含む応答情報をサーバ２０へ送信する。

ステップＳ２１１において、サーバ２０は、人工知能システム４０から送信された応答情報を受け付ける。

ステップＳ２１２において、サーバ２０は、応答情報に含まれる大規模言語モデルの回答データから、ソース文章と指定文章との比較結果に関する情報を取り出す。

サーバ２０は、指定文章とソース文章との比較結果に関する情報をユーザに提示するための比較結果ＵＩを生成する。具体的には、例えば、サーバ２０は、回答データから取り出した比較結果に関する情報を、比較結果の各項目に対応して比較結果ＵＩに設けられたフィールドにそれぞれ入力することにより、回答データに応じた比較結果ＵＩを生成する。

ステップＳ２１３において、サーバ２０は、ステップＳ２２において受け付けた指定文章と、ステップＳ２８において情報を受け付けたソース文章との比較結果に関する情報をユーザに提示する。具体的には、サーバ２０は、生成した比較結果ＵＩを、端末装置１０を介してユーザに提示する。例えば、サーバ２０は、端末装置１０のディスプレイ１４１に、比較結果画面を表示させる。

図１４は、比較結果画面Ｄ５の例を示す模式図である。図１４に示すように、比較結果画面Ｄ５は、表示オブジェクトＤ５１、表示オブジェクトＤ５２、表示オブジェクトＤ５３を含む。

表示オブジェクトＤ５１は、ステップＳ２８においてサーバ２０が情報を受け付けたソース文章に関する情報を表示する。表示オブジェクトＤ５１は、例えば、ステップＳ２８においてサーバ２０が情報を受け付けたソース文章に関して、第１の結果画面Ｄ２の表示オブジェクトＤ２１が表示する情報と同様の情報を表示する。

表示オブジェクトＤ５２は、サーバ２０がステップＳ２２において受け付けた指定文章とステップＳ２８において情報を受け付けたソース文章との比較結果に関する情報を表示する。具体的には、例えば、表示オブジェクトＤ５２は、サーバ２０がステップＳ２２において受け付けた指定文章とステップＳ２８において情報を受け付けたソース文章との比較結果に関して、第１の結果画面Ｄ２の表示オブジェクトＤ２２が表示する情報と同様の情報を表示する。

表示オブジェクトＤ５３は、サーバ２０がステップＳ２２において受け付けた指定文章の信憑度に関する情報を表示する。具体的には、例えば、表示オブジェクトＤ５３は、サーバ２０がステップＳ２２において受け付けた指定文章に関して、第２の結果画面Ｄ３の表示オブジェクトＤ３１が表示する情報と同様の情報を表示する。

以上により、本変形例の処理が終了する。本変形例によれば、サーバ２０は、ステップＳ２７において、指定文章と比較するための候補として抽出されたソース文章の一覧をユーザに提示する。そして、サーバ２０は、ステップＳ２８において、指定文章との比較対象とするソース文章の指定を受け付ける。そして、ステップＳ２１３において、サーバ２０は、指定されたソース文章と、指定文章との比較結果を、ユーザに提示する。これにより、指定文章との比較対象となるソース文章をユーザ自身で選択することが可能となるため、ユーザの意向にしたがって、指定文章とソース文章の比較を行うことができる。したがって、ユーザが、指定文章の信憑性の検討をより適切に行うことができるようになる。

＜小括＞
以上説明したように、サーバ２０は、文章の指定を受け付ける。サーバ２０は、指定された文章である指定文章と類似する記載を含む少なくとも１つのソース文章を、人工知能システム４０が利用可能な情報源から抽出し、ソース文章に関する情報を出力する指示と、抽出されたソース文章と指定された指定文章とを比較する指示と、を含むプロンプトを生成する。サーバ２０は、プロンプトを、人工知能システムが提供する大規模言語モデルに入力することで大規模言語モデルから得られる回答に基づいて、ソース文章に関する情報と、指定文章とソース文章との比較結果とをユーザに提示する。これにより、不特定の分野における情報発信について、他の情報源から抽出された情報との比較を行うことができる。

また、プロンプトは、ソース文章を、予め定められた少なくとも１つの情報源から抽出する指示を含む。これにより、人工知能システム４０に、特定の情報源から、ソース文章を抽出させることができる。例えば、ユーザが指定した情報源から、ソース文章を抽出させることができる。

また、情報源には、情報源の信頼の度合いを示す信頼度が定められる。プロンプトは、比較結果と、ソース文章の情報源の信頼度と、に基づいて、指定文章の信憑性の度合いを示す信憑度を出力する指示を含む。そして、サーバ２０は、信憑度をユーザに提示する。これにより、ユーザは、指定文章の信憑性を把握することができる。

また、指示は、少なくとも１つの特定の観点に基づいて、ソース文章の情報源の信頼度を決定する指示を含む。これにより、大規模言語モデルに、情報源の信頼度を決定させることができる。したがって、ユーザや本開示のサービスの運営者等が信頼度を定める負担を軽減することができる。また、ユーザや本開示のサービスの運営者等の主観を排除しつつ、客観的に信頼度を決定することができる。

また、プロンプトは、ソース文章と指定文章との一致の度合いを示す一致度を出力することに関する指示を含む。サーバ２０は、一致度をユーザに提示する。これにより、ユーザは、ソース文章と指定文章との比較結果をより適切に理解することができる。

また、プロンプトは、一致度を決定した根拠を出力することに関する指示を含む。サーバ２０は、根拠をユーザに提示する。これにより、ユーザは、ソース文章と指定文章との比較結果をより適切に理解することができる。

また、プロンプトは、指定文章とソース文章との一致部分に関する情報および相違部分に関する情報の少なくともいずれかを出力することに関する指示を含む。サーバ２０は、指定文章とソース文章との、一致部分に関する情報および相違部分に関する情報の少なくともいずれかをユーザに提示する。これにより、ユーザは、ソース文章と指定文章との比較結果をより適切に理解することができる。

また、サーバ２０は、大規模言語モデルから複数のソース文章が出力される場合、所定の基準に基づいて、複数のソース文章のうち、所定の数のソース文章をユーザに提示する。これにより、ユーザに表示されるソース文章に関する情報が簡潔になり、ソース文章に関する情報の視認性が向上する。

また、大規模言語モデルから複数のソース文章が出力される場合、提示するステップにおいて、複数のソース文章について、所定の基準に基づく順序でソース文章に関する情報と比較結果とをユーザに提示する。これにより、ユーザに表示されるソース文章に関する情報と比較結果とに関する情報が整理され、ソース文章に関する情報と比較結果とに関する情報の視認性が向上する。

また、情報源には、情報源の信頼の度合いを示す信頼度が定められていり。所定の基準は、各ソース文章の情報源の信頼度に関する基準である。これにより、情報源の信頼度にしたがって、ソース文章に関する情報と比較結果とに関する情報の絞り込みや並べ替えが可能になる。

また、プロンプトは、ソース文章と指定文章との一致度を出力することに関する指示を含む。所定の基準は、各ソース文章と指定文章との一致度に関する基準である。これにより、一致度にしたがって、ソース文章に関する情報と比較結果とに関する情報の絞り込みや並べ替えが可能になる。

また、情報源には、情報源の信頼の度合いを示す信頼度が定められている。プロンプトは、ソース文章が複数抽出される場合、ソース文章の抽出元である情報源の信頼度に基づいて、複数のソース文章から少なくとも１つのソース文章を選択し、指定文章と比較することに関する指示を含む。これにより、所定の情報源の信頼度のソース文章だけに絞り込んで、指定文章との比較が可能となる。例えば、ユーザは、信用度が高い情報源から抽出されたソース文章に絞り込んで、指定文章と比較させることが可能になるため、指定文章の信憑性の有無の判断がしやすくなる。また、比較対象となるソース文章の数が絞り込まれるため、大規模言語モデルの利用に際して消費されるトークン数を減少することができる。

また、指定文章は、ソーシャル・ネットワーキング・サービスにおける投稿に含まれる文章である。これにより、ユーザは、ソーシャル・ネットワーキング・サービスにおける投稿と、他の情報源から抽出された情報との比較を行うことができる。

＜４ コンピュータの基本ハードウェア構成＞
図１５は、コンピュータ９０の基本的なハードウェア構成を示すブロック図である。コンピュータ９０は、プロセッサ９４、主記憶装置９５、補助記憶装置９６、通信ＩＦ９９（インタフェース、Interface）を少なくとも備える。これらはバスにより相互に電気的に接続される。

プロセッサ９４とは、プログラムに記述された命令セットを実行するためのハードウェアである。プロセッサ９４は、演算装置、レジスタ、周辺回路等から構成される。

主記憶装置９５とは、プログラム、及びプログラム等で処理されるデータ等を一時的に記憶するためのものである。例えば、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。

補助記憶装置９６とは、データ及びプログラムを保存するための記憶装置である。例えば、フラッシュメモリ、ＨＤＤ（Hard Disc Drive）、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等である。

通信ＩＦ９９とは、有線又は無線の通信規格を用いて、他のコンピュータとネットワークを介して通信するための信号を入出力するためのインタフェースである。

ネットワークは、インターネット、ＬＡＮ、無線基地局等によって構築される各種移動通信システム等で構成される。例えば、ネットワークには、３Ｇ、４Ｇ、５Ｇ移動通信システム、ＬＴＥ（Long Term Evolution）、所定のアクセスポイントによってインターネットに接続可能な無線ネットワーク（例えば、Ｗｉ－Ｆｉ（登録商標））等が含まれる。無線で接続する場合、通信プロトコルとして例えば、Ｚ－Ｗａｖｅ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が含まれる。有線で接続する場合は、ネットワークには、ＵＳＢ（Universal Serial Bus）ケーブル等により直接接続するものも含む。

なお、各ハードウェア構成の全部または一部を複数のコンピュータ９０に分散して設け、ネットワークを介して相互に接続することによりコンピュータ９０を仮想的に実現することができる。このように、コンピュータ９０は、単一の筐体、ケースに収納されたコンピュータ９０だけでなく、仮想化されたコンピュータシステムも含む概念である。

＜コンピュータ９０の基本機能構成＞
図１４に示すコンピュータ９０の基本ハードウェア構成により実現されるコンピュータの機能構成を説明する。コンピュータは、制御部、記憶部、通信部の機能ユニットを少なくとも備える。

なお、コンピュータ９０が備える機能ユニットは、それぞれの機能ユニットの全部または一部を、ネットワークで相互に接続された複数のコンピュータ９０に分散して設けても実現することができる。コンピュータ９０は、単一のコンピュータ９０だけでなく、仮想化されたコンピュータシステムも含む概念である。

制御部は、プロセッサ９４が補助記憶装置９６に記憶された各種プログラムを読み出して主記憶装置９５に展開し、当該プログラムに従って処理を実行することにより実現される。制御部は、プログラムの種類に応じて様々な情報処理を行う機能ユニットを実現することができる。これにより、コンピュータは情報処理を行う情報処理装置として実現される。

記憶部は、主記憶装置９５、補助記憶装置９６により実現される。記憶部は、データ、各種プログラム、各種データベースを記憶する。また、プロセッサ９４は、プログラムに従って記憶部に対応する記憶領域を主記憶装置９５または補助記憶装置９６に確保することができる。また、制御部は、各種プログラムに従ってプロセッサ９４に、記憶部に記憶されたデータの追加、更新、削除処理を実行させることができる。

データベースは、リレーショナルデータベースを指し、行と列によって構造的に規定された表形式のテーブルと呼ばれるデータ集合を、互いに関連づけて管理するためのものである。データベースでは、表をテーブル、表の列をカラム、表の行をレコードと呼ぶ。リレーショナルデータベースでは、テーブル同士の関係を設定し、関連づけることができる。

通常、各テーブルにはレコードを一意に特定するためのキーとなるカラムが設定されるが、カラムへのキーの設定は必須ではない。制御部は、各種プログラムに従ってプロセッサ９４に、記憶部に記憶された特定のテーブルにレコードを追加、削除、更新を実行させることができる。

通信部は、通信ＩＦ９９により実現される。通信部は、ネットワークを介して他のコンピュータ９０と通信を行う機能を実現する。通信部は、他のコンピュータ９０から送信された情報を受信し、制御部へ入力することができる。制御部は、各種プログラムに従ってプロセッサ９４に、受信した情報に対する情報処理を実行させることができる。また、通信部は、制御部から出力された情報を他のコンピュータ９０へ送信することができる。

本明細書中に記載されている構成要素により実現される機能は、当該記載された機能を実現するようにプログラムされた、汎用プロセッサ、特定用途プロセッサ、集積回路、ASICs (Application Specific Integrated Circuits)、CPU (a Central Processing Unit)、従来型の回路、および／又はそれらの組合せを含む、circuitry又はprocessing circuitryにおいて実装されてもよい。プロセッサは、トランジスタやその他の回路を含み、 circuitry又はprocessing circuitryとみなされる。プロセッサは、メモリに格納されたプログラムを実行する、programmed processorであってもよい。
本明細書において、circuitry、ユニット、手段は、記載された機能を実現するようにプログラムされたハードウェア、又は実行するハードウェアである。当該ハードウェアは、本明細書に開示されているあらゆるハードウェア、又は、当該記載された機能を実現するようにプログラムされた、又は、実行するものとして知られているあらゆるハードウェアであってもよい。
当該ハードウェアがcircuitryのタイプであるとみなされるプロセッサである場合、当該circuitry、手段、又はユニットは、ハードウェアと、当該ハードウェア及び又はプロセッサを構成する為に用いられるソフトウェアの組合せである。

以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

＜付記＞
以上の各実施形態で説明した事項を以下に付記する。
（付記１）
コンピュータを動作させるためのプログラムであって、プログラムは、コンピュータのプロセッサに、文章の指定を受け付けるステップと、指定された文章である指定文章と類似する記載を含む少なくとも１つのソース文章を、人工知能システムが利用可能な情報源から抽出し、ソース文章に関する情報を出力する指示と、抽出されたソース文章と指定された指定文章とを比較する指示と、を含むプロンプトを生成するステップと、プロンプトを、人工知能システムが提供する大規模言語モデルに入力することで大規模言語モデルから得られる回答に基づいて、ソース文章に関する情報と、指定文章とソース文章との比較結果とをユーザに提示するステップと、を実行させるプログラム。
（付記２）
プロンプトは、ソース文章を、予め定められた少なくとも１つの情報源から抽出する指示を含む、付記１に記載のプログラム。
（付記３）
情報源には、情報源の信頼の度合いを示す信頼度が定められ、プロンプトは、比較結果と、ソース文章の情報源の信頼度と、に基づいて、指定文章の信憑性の度合いを示す信憑度を出力する指示を含み、提示するステップにおいて、信憑度をユーザに提示する、付記１または付記２に記載のプログラム。
（付記４）
指示は、少なくとも１つの特定の観点に基づいて、ソース文章の情報源の信頼度を決定する指示を含む、付記３に記載のプログラム。
（付記５）
プロンプトは、ソース文章と指定文章との一致の度合いを示す一致度を出力することに関する指示を含み、提示するステップにおいて、一致度をユーザに提示する、付記１から付記４のいずれかに記載のプログラム。
（付記６）
プロンプトは、一致度を決定した根拠を出力することに関する指示を含み、提示するステップにおいて、根拠をユーザに提示する、付記５に記載のプログラム。
（付記７）
プロンプトは、指定文章とソース文章との一致部分に関する情報および相違部分に関する情報の少なくともいずれかを出力することに関する指示を含み、提示するステップにおいて、指定文章とソース文章との、一致部分に関する情報および相違部分に関する情報の少なくともいずれかをユーザに提示する、付記１から付記６のいずれかに記載のプログラム。
（付記８）
大規模言語モデルから複数のソース文章が出力される場合、提示するステップにおいて、所定の基準に基づいて、複数のソース文章のうち、所定の数のソース文章をユーザに提示する、付記１から付記７のいずれかに記載のプログラム。
（付記９）
大規模言語モデルから複数のソース文章が出力される場合、提示するステップにおいて、複数のソース文章について、所定の基準に基づく順序でソース文章に関する情報と比較結果とをユーザに提示する、付記１から付記８のいずれかに記載のプログラム。
（付記１０）
情報源には、情報源の信頼の度合いを示す信頼度が定められており、所定の基準は、各ソース文章の情報源の信頼度に関する基準である、付記８または付記９に記載のプログラム。
（付記１１）
プロンプトは、ソース文章と指定文章との一致度を出力することに関する指示を含み、所定の基準は、各ソース文章と指定文章との一致度に関する基準である、付記８から付記１０のいずれかに記載のプログラム。
（付記１２）
情報源には、情報源の信頼の度合いを示す信頼度が定められており、プロンプトは、ソース文章が複数抽出される場合、ソース文章の抽出元である情報源の信頼度に基づいて、複数のソース文章から少なくとも１つのソース文章を選択し、指定文章と比較することに関する指示を含む、付記１から付記１１のいずれかに記載のプログラム。
（付記１３）
指定文章は、ソーシャル・ネットワーキング・サービスにおける投稿に含まれる文章である、付記１から付記１２のいずれかに記載のプログラム。
（付記１４）
プロセッサと、メモリとを備えるコンピュータに実行される方法であって、方法は、プロセッサが、文章の指定を受け付けるステップと、指定された文章である指定文章と類似する記載を含む少なくとも１つのソース文章を、人工知能システムが利用可能な情報源から抽出し、ソース文章に関する情報を出力する指示と、抽出されたソース文章と指定された指定文章とを比較する指示と、を含むプロンプトを生成するステップと、プロンプトを、人工知能システムが提供する大規模言語モデルに入力することで大規模言語モデルから得られる回答に基づいて、ソース文章に関する情報と、指定文章とソース文章との比較結果とをユーザに提示するステップと、を実行する方法。
（付記１５）
制御部と、記憶部とを備える情報処理装置であって、制御部が、文章の指定を受け付けるステップと、指定された文章である指定文章と類似する記載を含む少なくとも１つのソース文章を、人工知能システムが利用可能な情報源から抽出し、ソース文章に関する情報を出力する指示と、抽出されたソース文章と指定された指定文章とを比較する指示と、を含むプロンプトを生成するステップと、プロンプトを、人工知能システムが提供する大規模言語モデルに入力することで大規模言語モデルから得られる回答に基づいて、ソース文章に関する情報と、指定文章とソース文章との比較結果とをユーザに提示するステップと、を実行する情報処理装置。
（付記１６）
制御部と記憶部とを備える情報処理装置を少なくとも１つ含むシステムであって、文章の指定を受け付けるステップと、指定された文章である指定文章と類似する記載を含む少なくとも１つのソース文章を、人工知能システムが利用可能な情報源から抽出し、ソース文章に関する情報を出力する指示と、抽出されたソース文章と指定された指定文章とを比較する指示と、を含むプロンプトを生成するステップと、プロンプトを、人工知能システムが提供する大規模言語モデルに入力することで大規模言語モデルから得られる回答に基づいて、ソース文章に関する情報と、指定文章とソース文章との比較結果とをユーザに提示するステップと、を実行するシステム。

１…システム
１０…端末装置
１２…通信ＩＦ
１２０…通信部
１３…入力装置
１３１…ボタン
１４…出力装置
１４１…ディスプレイ
１５…メモリ
１５０…位置情報センサ
１６…ストレージ
１６０…カメラ
１７…音声処理部
１７１…マイク
１７２…スピーカー
１８０…記憶部
１９…プロセッサ
１９０…制御部
２０…サーバ

Claims (16)

1. コンピュータを動作させるためのプログラムであって、前記プログラムは、前記コンピュータのプロセッサに、
   文章の指定を受け付けるステップと、
   指定された文章である指定文章と類似する記載を含む少なくとも１つのソース文章を、人工知能システムが利用可能な情報源から抽出し、前記ソース文章に関する情報を出力する指示と、抽出された前記ソース文章と指定された前記指定文章とを比較することにより前記指定文章の信憑性に関する情報を出力する指示と、を含むプロンプトを生成するステップと、
   前記プロンプトを、前記人工知能システムが提供する大規模言語モデルに入力することで前記大規模言語モデルから得られる回答に基づいて、前記ソース文章に関する情報と、前記指定文章と前記ソース文章との比較結果と、前記指定文章の信憑性に関する情報とをユーザに提示するステップと、を実行させるプログラム。
2. 前記プロンプトは、前記ソース文章を、予め定められた少なくとも１つの情報源から抽出する指示を含む、請求項１に記載のプログラム。
3. 前記情報源には、前記情報源の信頼の度合いを示す信頼度が定められ、
   前記プロンプトは、前記比較結果と、前記ソース文章の前記情報源の前記信頼度と、に基づいて、前記指定文章の信憑性の度合いを示す信憑度を出力する指示を含み、
   前記提示するステップにおいて、前記信憑度を前記ユーザに提示する、請求項１に記載のプログラム。
4. 前記指示は、少なくとも１つの特定の観点に基づいて、前記ソース文章の前記情報源の前記信頼度を決定する指示を含む、請求項３に記載のプログラム。
5. 前記プロンプトは、前記ソース文章と前記指定文章との一致の度合いを示す一致度を出力することに関する指示を含み、
   前記提示するステップにおいて、前記一致度を前記ユーザに提示する、請求項１に記載のプログラム。
6. 前記プロンプトは、前記一致度を決定した根拠を出力することに関する指示を含み、
   前記提示するステップにおいて、前記根拠を前記ユーザに提示する、請求項５に記載のプログラム。
7. 前記プロンプトは、前記指定文章と前記ソース文章との一致部分に関する情報および相違部分に関する情報の少なくともいずれかを出力することに関する指示を含み、
   前記提示するステップにおいて、前記指定文章と前記ソース文章との、前記一致部分に関する情報および前記相違部分に関する情報の少なくともいずれかを前記ユーザに提示する、請求項１に記載のプログラム。
8. 前記大規模言語モデルから複数のソース文章が出力される場合、前記提示するステップにおいて、所定の基準に基づいて、前記複数のソース文章のうち、所定の数の前記ソース文章を前記ユーザに提示する、請求項１に記載のプログラム。
9. 前記大規模言語モデルから複数のソース文章が出力される場合、前記提示するステップにおいて、前記複数のソース文章について、所定の基準に基づく順序で前記ソース文章に関する情報と前記比較結果とを前記ユーザに提示する、請求項１に記載のプログラム。
10. 前記情報源には、前記情報源の信頼の度合いを示す信頼度が定められており、
    前記所定の基準は、各ソース文章の前記情報源の前記信頼度に関する基準である、請求項８または請求項９に記載のプログラム。
11. 前記プロンプトは、前記ソース文章と前記指定文章との一致度を出力することに関する指示を含み、
    前記所定の基準は、各ソース文章と前記指定文章との前記一致度に関する基準である、請求項８または請求項９に記載のプログラム。
12. 前記情報源には、前記情報源の信頼の度合いを示す信頼度が定められており、
    前記プロンプトは、前記ソース文章が複数抽出される場合、前記ソース文章の抽出元である情報源の前記信頼度に基づいて、複数の前記ソース文章から少なくとも１つの前記ソース文章を選択し、前記指定文章と比較することに関する指示を含む、請求項１に記載のプログラム。
13. 前記指定文章は、ソーシャル・ネットワーキング・サービスにおける投稿に含まれる文章である、請求項１に記載のプログラム。
14. プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記方法は、前記プロセッサが、
    文章の指定を受け付けるステップと、
    指定された文章である指定文章と類似する記載を含む少なくとも１つのソース文章を、人工知能システムが利用可能な情報源から抽出し、前記ソース文章に関する情報を出力する指示と、抽出された前記ソース文章と指定された前記指定文章とを比較することにより前記指定文章の信憑性に関する情報を出力する指示と、を含むプロンプトを生成するステップと、
    前記プロンプトを、前記人工知能システムが提供する大規模言語モデルに入力することで前記大規模言語モデルから得られる回答に基づいて、前記ソース文章に関する情報と、前記指定文章と前記ソース文章との比較結果と、前記指定文章の信憑性に関する情報とをユーザに提示するステップと、を実行する方法。
15. 制御部と、記憶部とを備える情報処理装置であって、前記制御部が、
    文章の指定を受け付けるステップと、
    指定された文章である指定文章と類似する記載を含む少なくとも１つのソース文章を、人工知能システムが利用可能な情報源から抽出し、前記ソース文章に関する情報を出力する指示と、抽出された前記ソース文章と指定された前記指定文章とを比較することにより前記指定文章の信憑性に関する情報を出力する指示と、を含むプロンプトを生成するステップと、
    前記プロンプトを、前記人工知能システムが提供する大規模言語モデルに入力することで前記大規模言語モデルから得られる回答に基づいて、前記ソース文章に関する情報と、前記指定文章と前記ソース文章との比較結果と、前記指定文章の信憑性に関する情報とをユーザに提示するステップと、を実行する情報処理装置。
16. 制御部と記憶部とを備える情報処理装置を少なくとも１つ含むシステムであって、
    文章の指定を受け付けるステップと、
    指定された文章である指定文章と類似する記載を含む少なくとも１つのソース文章を、人工知能システムが利用可能な情報源から抽出し、前記ソース文章に関する情報を出力する指示と、抽出された前記ソース文章と指定された前記指定文章とを比較することにより前記指定文章の信憑性に関する情報を出力する指示と、を含むプロンプトを生成するステップと、
    前記プロンプトを、前記人工知能システムが提供する大規模言語モデルに入力することで前記大規模言語モデルから得られる回答に基づいて、前記ソース文章に関する情報と、前記指定文章と前記ソース文章との比較結果と、前記指定文章の信憑性に関する情報とをユーザに提示するステップと、を実行するシステム。