(I)第1の実施形態
以下に開示する構成、処理手順、またはその他の要素は、本発明の実施形態を説明するために提供されるものであり、本発明を限定するものではない。図面に基づく説明は理解を助けることを目的としており、要素の形状、配置、機能等については、必要に応じて省略や簡略化がなされている場合がある。本発明は、開示された一または複数の実施形態に限定されるものではなく、当業者が本明細書全体から理解し得る範囲において、機能的または構造的に等価な手段、あるいは技術的に同様の目的を達成する他の手段によっても実現可能である。特に断りがない限り、本明細書における各構成要素は「少なくとも1つ」を含むものと解釈する。また、単数形で記載された語は複数形を包含し、複数形で記載された語は単数形を包含する。さらに、本明細書において用いられる用語は、文脈上明確な限りにおいて、特定の意味に限定されるものではなく、当業者により適切に解釈されるべきである。例えば、「を含む」という表現は、列挙された事項に限定されないことを意味するものとして解釈される。
本実施形態に係る情報処理システムは、ユーザ(利用者)が入力する問合せデータに含まれる理由、意図、背景または目的(以下、「理由等」と記す)に関する表現を扱う検索処理を実行する。本情報処理システムは、問合せデータに含まれる客観情報の抽出に適した従来の検索処理とは異なり、問合せデータに含まれる理由等に関する表現に着目する検索処理を実行する。
従来の検索処理は、「何を」および「どこで」等の客観情報の抽出に適する一方で、「なぜ」という理由等に関する問いに対して曖昧な回答または一般概括的な回答を返す傾向を有する。本情報処理システムは、理由等に関する表現を理由文として取得し、理由文をベクトル化して検索に用いることにより、ユーザの動機または価値観に沿う回答データの生成に資する情報の抽出精度を高める。
本情報処理システムは、理由文をベクトル化する処理により、単語または文章の意味を多次元の意味空間における数値として表現する。本情報処理システムは、意味空間における配置に基づいて、曖昧さまたは多義性を含む表現を取り扱い、文脈の近さを定量化する。本情報処理システムは、文脈の近さに基づく検索処理により、従来のキーワード一致またはルールベース処理では見落とされやすい意図近傍の情報を抽出し、回答データの根拠として用いる。
本情報処理システムにおいて取得される問合せ理由文は、問合せデータに理由、意図、背景または目的を表す表現が明示的に含まれている場合に限られず、当該問合せデータが理由等の提示を要求する問いであると解釈される場合には、問合せデータに含まれる語句の一部を抽出することなく、当該問合せデータの意味内容に基づいて、理由、意図、背景または目的を表す表現を生成したテキストとして取得されてもよい。例えば、「なぜ太陽光発電を導入すべきか」といった問いは、理由表現そのものを含まないが、導入の理由または目的の提示を求める問いであると解釈されるため、本情報処理システムは、当該問合せデータの意味に基づいて導入理由または導入目的に関する表現を問合せ理由文として生成し、これを後段の検索処理に用いる。
本情報処理システムは、対話空間における表現の衝突を緩和する用途に適用されてもよい。本情報処理システムは、投稿文またはコメント文等の対象テキストから理由等を表す表現を理由文として抽出し、理由文を理由ベクトルとして表現する。本情報処理システムは、理由ベクトルに基づいて意図の近い表現を検索し、攻撃的表現または断定的表現を抑制した中立的表現を含む提示文を生成し、提示文を回答データとして出力する。
本情報処理システムは、具体例として「なぜ太陽光発電を導入すべきか」を含む問合せデータを受信してもよい。一般的な検索処理または一般的な対話型言語処理は、再生可能エネルギーである旨または環境負荷が低い旨等の表層的説明を含み、理由等に関する説明が混在しやすい。本情報処理システムは、理由等に関する表現に特化した検索処理を実行し、温室効果ガス排出削減およびエネルギー自立の実現等の目的、ならびにエネルギー安全保障および脱炭素社会への移行等の背景に沿う説明を回答データとして生成する。
本情報処理システムの適用先は、研究支援、政策立案支援、経営判断支援、医療支援、または教育支援を含んでもよい。本情報処理システムは、文書群から主張の理由または根拠を抽出する処理、政策の必要性または整合性を評価する処理、意思決定の狙いまたは撤退理由を抽出する処理、相談発言から動機を抽出する処理、または学習動機もしくは迷いの理由を抽出する処理において、理由文のベクトル化と類似度に基づく検索処理を用いる。
情報処理システム100は、会議の議事内容を含む文書から、意思決定の狙い、意思決定の背景、意思決定の理由または撤退の理由を表す表現を理由文として取得してもよい。情報処理システム100は、理由文を理由ベクトルへ変換し、理由コーパスに含まれる理由ベクトル群との類似度に基づく検索処理を実行してもよい。情報処理システム100は、検索処理により得られた類似する理由文を根拠情報として提示し、意思決定の説明に用いる判断材料として提示してもよい。情報処理システム100は、判断材料の提示として、議事内容に含まれる結論に対し、理由文が支持する狙いまたは背景を説明する文章を生成してもよい。情報処理システム100は、文章の生成として、図面9および図面10に示される応答生成処理を用い、理由文および根拠情報に基づく応答テキストを生成してもよい。
情報処理システム100は、法令案または政策案に関する文書から、政策の必要性、政策の目的、代替案との比較理由、課題の背景または実施の根拠を表す表現を理由文として取得してもよい。情報処理システム100は、理由文を理由ベクトルへ変換し、理由コーパスに含まれる理由ベクトル群との類似度に基づく検索処理を実行してもよい。情報処理システム100は、検索処理により得られた類似する理由文を根拠情報として提示し、必要性の説明に用いる判断材料として提示してもよい。情報処理システム100は、判断材料の提示として、法令案または政策案に含まれる主張に対し、必要性の説明を補強する根拠情報を抽出し、根拠情報に基づく説明文章を生成してもよい。情報処理システム100は、説明文章の生成として、図面9および図面10に示される応答生成処理を用い、理由文および根拠情報に基づく応答テキストを生成してもよい。
情報処理システム100は、学術文献を含む文書から、主張を支持する根拠、実験結果に基づく理由、先行研究との関係に基づく理由または結論を導く推論の根拠を表す表現を理由文として取得してもよい。情報処理システム100は、理由文を理由ベクトルへ変換し、理由コーパスに含まれる理由ベクトル群との類似度に基づく検索処理を実行してもよい。情報処理システム100は、検索処理により得られた類似する理由文を根拠情報として提示し、根拠の抽出結果として提示してもよい。情報処理システム100は、根拠の抽出結果の提示として、主張と根拠情報との対応関係を示す説明文章を生成してもよい。情報処理システム100は、説明文章の生成として、図面9および図面10に示される応答生成処理を用い、理由文および根拠情報に基づく応答テキストを生成してもよい。
情報処理システム100は、理由文の取得、理由ベクトルの生成および類似度に基づく検索処理により、文書群に含まれる理由等を表す表現に基づく判断を補助する情報を提示してもよい。情報処理システム100は、判断を補助する情報の提示により、応答生成の用途に加え、意思決定の狙いの説明、政策の必要性の説明および主張の根拠の抽出の用途に利用可能にしてもよい。
本情報処理システムは、検索方式またはデータ形式に応じた特性を考慮して構成されてもよい。本情報処理システムは、ツリー構造またはラベル構造が階層化と分類に適する一方で複数カテゴリに跨る意味の重なりを扱いにくい点、記号論理が推論と明示的判断に適する一方でルール設計と保守が困難になりやすい点、テキスト文が表現力に優れる一方で検索と分類が困難になりやすい点を考慮し、意味の近さに基づく検索を可能にするベクトル形式を採用する。本情報処理システムは、キーワード検索が文脈および意図を扱いにくい点、ルールベース検索が柔軟性に欠けやすい点、意味ベクトル検索が意図類似性の抽出に適する点、ラベルマッチングが複数軸の曖昧な意図に弱い点を考慮し、理由文に基づく意味ベクトル検索を実行する。
以下、図面を用いて詳細に説明する。なお、本明細書では、図面中に示される構成要素に対し、同一または機能的に類似する要素には、共通の参照符号を付す。本明細書における参照符号の運用は、図示された特定の実施形態に限定されるものではなく、少なくとも1つの構成要素を含む種々の変形例にも適用可能である。
図1は、情報処理システム100の一例を示す図である。
情報処理システム100では、ネットワーク101を介して、情報処理基盤110と、管理端末120と、クライアント端末130とが通信可能に接続されている。
情報処理基盤110は、情報処理基盤110において実行される各種の情報処理を担う計算機システムである。情報処理基盤110は、例えばサーバ装置、仮想計算機、クラウド環境上の計算機資源等により構成される。情報処理基盤110は、図2に示す各部を備えることにより、理由コーパスの構築処理および問合せ処理を実行し、クライアント端末130から受け付けた問合せデータに対する回答データを生成して出力する。
管理端末120は、情報処理基盤110に対する管理操作を行う端末装置である。管理端末120は、例えば管理者が操作するパーソナルコンピュータ、タブレット端末、携帯端末等により構成される。管理端末120は、例えば理由コーパスを構築するための構築用データの登録、理由コーパスの更新指示、情報処理基盤110の稼働状態の確認等を行う。
クライアント端末130は、情報処理基盤110に対して問合せデータを送信し、情報処理基盤110から出力された回答データを受信して表示する端末装置である。クライアント端末130は、例えばユーザが操作するパーソナルコンピュータ、タブレット端末、携帯端末等により構成される。クライアント端末130は、例えばユーザから入力された自然言語の質問文を問合せデータとして情報処理基盤110へ送信し、情報処理基盤110から受信した回答データを画面上に表示する。
ネットワーク101は、情報処理基盤110と、管理端末120と、クライアント端末130とを接続する通信網である。ネットワーク101は、例えばインターネット、ローカルエリアネットワーク、移動体通信網等を含む。情報処理基盤110は、ネットワーク101を介して、管理端末120およびクライアント端末130と通信する。
情報処理システム100において、情報処理基盤110は、管理端末120から構築用データを受信し、構築用データに含まれるテキストから理由等を表す表現を含む内容を理由文として取得し、理由文を埋め込みモデルにより多次元の埋め込みベクトルに変換して理由ベクトルを得る。情報処理基盤110は、理由文と理由ベクトルとを関連付けた理由データを生成し、理由データを記憶して理由コーパスを構築する。
情報処理システム100において、情報処理基盤110は、クライアント端末130から問合せデータを受信し、問合せデータから理由等を表す表現を含む内容を問合せ理由文として取得し、問合せ理由文を埋め込みモデルにより多次元の埋め込みベクトルに変換して問合せベクトルを得る。情報処理基盤110は、問合せベクトルと理由コーパスに含まれる理由ベクトルとの類似度を算出し、算出した類似度に基づいて理由コーパスから所定数の理由データを検索する。情報処理基盤110は、検索された理由データに関連付けられた理由文に基づいて、問合せデータに対する回答データを生成し、回答データをクライアント端末130へ送信する。
例えばクライアント端末130のユーザが「なぜ太陽光発電を導入すべきか」と入力した場合、クライアント端末130は、当該質問文を問合せデータとして情報処理基盤110へ送信する。情報処理基盤110は、問合せデータから問合せ理由文を取得し、問合せ理由文を問合せベクトルに変換する。情報処理基盤110は、問合せベクトルと理由コーパスに含まれる理由ベクトルとの類似度を算出し、類似度が高い理由データを検索する。情報処理基盤110は、検索された理由データに関連付けられた理由文に基づいて、例えば「太陽光発電は、家庭や施設で電気を自給でき、長期的な電気料金の削減につながる。太陽光発電は、二酸化炭素排出を抑制して環境負荷の低減に寄与し、カーボンニュートラルに向けた取組にも適合する。太陽光発電は、燃料供給リスクの低減および災害時の非常用電源としての活用が可能であるため、導入が推奨される。」といった回答データを生成する。クライアント端末130は、情報処理基盤110から受信した回答データを表示する。
図2は、情報処理基盤110の一例を示す図である。
情報処理基盤110は、プロセッサ210、記憶装置220、およびインタフェース装置230を含んで構成される。プロセッサ210は、データの演算処理および制御処理を実行する装置である。記憶装置220は、プログラム、データ等を格納するための装置である。プログラムは、プロセッサにより読み出されて実行される。インタフェース装置230は、ネットワークまたは他装置と情報を送受信する装置、ユーザと装置との間で情報の入出力を行う装置等である。情報処理基盤110の機能(取得部221、理由ベクトル化部222、蓄積部223、問合せベクトル化部224、検索部225、出力部226など)は、ソフトウェア、ハードウェア、またはその組合せにより実現される。情報処理基盤110の機能は、例えば、汎用的なコンピュータにおけるソフトウェア実行、専用の回路によるハードウェア実装、クラウド、仮想マシン等を活用した分散処理により実現される。情報処理基盤110の機能の一部または全部は、単一または複数の装置により分担されていてもよい。
取得部221は、入力されるデータの種別に応じて動作モードを切り替えて理由等を表す表現を含む内容を取得する。取得部221は、構築用データが入力される構築モードでは、構築用データから、理由等を表す表現を含む内容を理由文として取得する。取得部221は、例えば構築用データを含むプロンプトを生成し、当該プロンプトを大規模言語モデルに入力し、大規模言語モデルから出力された、理由等を表す表現を含むテキストを理由文として取得する。取得部221は、問合せデータが入力される問合せモードでは、問合せデータから、理由等を表す表現を含む内容を問合せ理由文として取得する。取得部221は、例えば問合せデータを含むプロンプトを生成し、当該プロンプトを大規模言語モデルに入力し、大規模言語モデルから出力された、理由等を表す表現を含むテキストを問合せ理由文として取得する。付言するならば、取得部221は、第1の取得部および第2の取得部として表記してもよい。
理由ベクトル化部222は、取得部221(構築モード)により取得された理由文を、埋め込みモデルにより多次元の埋め込みベクトルに変換して理由ベクトルを得る。理由ベクトル化部222は、例えば理由文を埋め込みモデルに入力し、理由文の意味を反映した多次元の数値列として理由ベクトルを得る。理由ベクトル化部222は、例えば検索時の類似度算出に適した形式にするために、理由ベクトルを正規化してもよい。
蓄積部223は、取得部221(構築モード)により取得された理由文と、理由ベクトル化部222により得られた理由ベクトルとを関連付けた理由データを生成し、理由データを記憶して理由コーパスを構築する。蓄積部223は、例えば理由データに識別子および分類情報を付与し、理由文および理由ベクトルを含む形式で理由コーパスとして記憶する。
問合せベクトル化部224は、取得部221(問合せモード)により取得された問合せ理由文を、埋め込みモデルにより多次元の埋め込みベクトルに変換して問合せベクトルを得る。問合せベクトル化部224は、例えば問合せ理由文を埋め込みモデルに入力し、問合せ理由文の意味を反映した多次元の数値列として問合せベクトルを得る。問合せベクトル化部224は、例えば検索時の類似度算出に適した形式にするために、問合せベクトルを正規化してもよい。
検索部225は、問合せベクトル化部224により得られた問合せベクトルと、理由コーパスに含まれる理由ベクトルとの類似度を算出し、算出した類似度に基づいて、理由コーパスから所定数の理由データを検索する。検索部225は、例えば問合せベクトルと理由ベクトルとの間のコサイン類似度を算出し、類似度が高い順に理由データを取得する。
出力部226は、検索部225により検索された理由データに関連付けられた理由文に基づいて、問合せデータに対する回答データを生成し、回答データを出力する。出力部226は、例えば問合せデータおよび理由文を入力として大規模言語モデルに与え、理由文に含まれる理由等に関する記述を含む回答データを生成してもよい。
図3は、情報処理基盤110が取り扱う理由文データを構成するデータ項目を示すデータ項目表300の一例を示す図である。
情報処理基盤110は、構築用データから取得された理由文を用いて理由コーパスを構築し、問合せデータに対する回答データを生成する。情報処理基盤110は、理由コーパス構築処理において取り扱う各理由文データについて、少なくとも識別子、分類情報(カテゴリ)、および理由文(Whyテキスト)を対応付けて管理する。
情報処理基盤110は、識別子を理由文データを一意に識別する情報として用いる。情報処理基盤110は、識別子を、理由ベクトルと理由文とを対応付けるキーとしても用いる。例えば情報処理基盤110は、理由文に対応する理由ベクトルを記憶装置220に格納する場合に、識別子を付与して理由ベクトルを格納する。情報処理基盤110は、問合せデータに基づく検索処理において、識別子を用いて理由ベクトルから理由文を参照する。
情報処理基盤110は、分類情報(カテゴリ)を理由文データの分類に用いる情報として用いる。情報処理基盤110は、分類情報を、理由文データを検索または管理する際の補助情報として用いる。例えば情報処理基盤110は、理由文の内容に基づいて分類情報を自動生成する。例えば情報処理基盤110は、構築用データに含まれるテーマ情報、文書種別、ユーザが指定したタグ情報に基づいて分類情報を生成する。情報処理基盤110は、分類情報を用いて理由文データを分野別に整理し、検索対象の絞込みに利用できる。
情報処理基盤110は、理由文(Whyテキスト)を、取得部221により取得された理由等を表す表現を含むテキストとして用いる。情報処理基盤110は、理由文を、回答文の生成における根拠情報として用いる。例えば情報処理基盤110は、「なぜ太陽光発電を導入すべきか」という問合せデータに対して、理由コーパスに含まれる理由文のうち、電気料金の削減、二酸化炭素排出量の削減、災害時の電源確保に関する記述を含む理由文を参照し、問合せデータに対する回答データを生成する。
図4は、情報処理基盤110が理由コーパスにおいて管理する理由データを構成するデータ項目を示すデータ項目表400の一例を示す図である。
情報処理基盤110は、図3に示すデータ項目表300に従って、識別子および分類情報(カテゴリ)および理由文(Whyテキスト)を含む理由文データを生成し、理由文データを理由コーパスの構築処理における中間データとして取り扱う。情報処理基盤110は、理由コーパスの構築処理において、理由文データに含まれる理由文に対応する理由ベクトルを生成し、理由文データに理由ベクトルを追加したデータを理由データとして生成する。
情報処理基盤110は、理由文から生成される多次元数値列を理由ベクトルとして用いる。情報処理基盤110は、識別子および分類情報(カテゴリ)および理由文(Whyテキスト)および理由ベクトルを対応付けた1件分のデータを理由データとして用いる。情報処理基盤110は、理由データを理由コーパスの構成要素として記憶装置220に格納し、検索処理において理由ベクトルを類似度算出に利用し、識別子に基づいて理由文を参照できる。
情報処理基盤110は、理由データについて、少なくとも識別子、分類情報(カテゴリ)、理由文(Whyテキスト)、および理由ベクトルを対応付けて管理する。情報処理基盤110は、図4に示すデータ項目表400に従って、理由データを記憶装置220に格納し、検索処理に供する。
情報処理基盤110は、識別子を理由データを一意に識別する情報として用いる。情報処理基盤110は、識別子を理由文および理由ベクトルを対応付けるキーとして用いる。例えば情報処理基盤110は、理由文に対して埋め込みモデルにより理由ベクトルを生成した後、識別子を付与して理由ベクトルを理由データに含めて記憶装置220に格納する。情報処理基盤110は、検索処理において識別子を参照し、理由ベクトルに対応する理由文を取得できる。
情報処理基盤110は、分類情報(カテゴリ)を理由データの分類に用いる情報として用いる。情報処理基盤110は、分類情報を検索対象の絞込みおよび管理の補助に利用できる。例えば情報処理基盤110は、理由文の内容に基づいて分類情報を自動生成し、分類情報を付与して理由データを記憶装置220に格納する。
情報処理基盤110は、理由文(Whyテキスト)を理由データに含めて格納することにより、検索結果に対応する理由文を参照できる。情報処理基盤110は、理由文(Whyテキスト)を理由データに含めて格納しない構成を採用する場合、識別子により記憶装置220とは異なる記憶領域に格納された理由文を参照できる。
情報処理基盤110は、理由ベクトルを理由文(Whyテキスト)を埋め込みモデルに入力して得られる多次元数値列として用いる。情報処理基盤110は、理由ベクトルを問合せデータから得られる問合せベクトルとの類似度算出に用いる。情報処理基盤110は、検索処理の実行時に、理由ベクトルのL2ノルムを算出し、問合せベクトルのL2ノルムを算出し、算出した内積を算出したL2ノルムの積で除算することによりコサイン類似度を算出できる。情報処理基盤110は、算出したコサイン類似度に基づいて理由コーパスから所定数の理由データを検索結果として取得できる。
図5は、情報処理基盤110が実行する処理の全体手順を示すフローチャートの一例を示す図である。
ステップS501では、情報処理基盤110は、処理モードを選択する。情報処理基盤110は、処理モードとして理由コーパス構築を選択した場合、ステップS502の理由コーパス構築処理へ遷移する。情報処理基盤110は、処理モードとして問合せを選択した場合、ステップS503の問合せ処理へ遷移する。
ステップS502では、情報処理基盤110は、理由コーパス構築処理を実行する。例えば情報処理基盤110は、構築用データとして提案書または仕様書の記述を受信した場合、理由コーパス構築処理では、記述に含まれる理由等を表す表現を含むテキストを理由文として取得し、理由文に基づいて理由ベクトルを生成して理由コーパスとして格納する。なお、理由コーパス構築処理の詳細については、図6を用いて後述する。
ステップS503では、情報処理基盤110は、問合せ処理を実行する。情報処理基盤110は、問合せデータから問合せ理由文を取得し、問合せ理由文に対応する問合せベクトルを取得し、理由コーパスに含まれる理由ベクトルとの類似度に基づいて理由データを検索し、検索結果に基づいて回答データを生成する。なお、問合せ処理の詳細については、図7を用いて後述する。
情報処理基盤110は、ステップS502またはステップS503の処理を終了した後に処理を終了する。
図6は、情報処理システム100における理由コーパス構築処理のフローチャートの一例を示す図である。
ステップS601では、情報処理基盤110は、理由コーパスの構築に用いる構築用データを受信する。情報処理基盤110は、構築用データを管理端末120から受信し得る。情報処理基盤110は、構築用データとして、例えば、説明文、提案文、仕様文、議事内容、または類似の文章データを受信する。
ステップS602では、情報処理基盤110は、構築用データに基づいて理由文を取得する。情報処理基盤110は、理由文として、理由等を表す表現を含むテキストを取得する。例えば情報処理基盤110は、構築用データに「太陽光発電の導入により電気料金を削減できる」および「二酸化炭素排出量を削減できる」および「災害時に電源を確保できる」が含まれる場合、情報処理基盤110は、上記表現を含むテキストを理由文として取得できる。
より具体的には、情報処理基盤110は、構築用データを含むプロンプトを生成する。情報処理基盤110は、プロンプトに、構築用データに含まれる文章を挿入し、理由等を表す表現を抽出する指示を含める。情報処理基盤110は、例えば次の指示内容を含むプロンプトを生成できる。情報処理基盤110は、「文章から理由等を表す表現を抽出する」旨を指示し、「キー「why」を有するJSON形式で抽出結果を出力する」旨を指示する。例えば、情報処理基盤110は、「次の文章から理由等を表す表現を抽出し、JSONで返しなさい。形式は { “why” : “抽出した理由テキスト” } としなさい。文章:<構築用データの文章>」という指示文を生成する。
情報処理基盤110は、理由等を表す表現の抽出に入力するテキストを生成する目的で、構築用データから理由等を表す表現以外の要素を除外する前処理ロジックを実行してもよい。情報処理基盤110は、前処理ロジックとして、構築用データに含まれる記載を文単位に分割し、分割した各文を、説明対象の内容を示すWhatに対応する文、手順を示すHowに対応する文、時期を示すWhenに対応する文、場所を示すWhereに対応する文、理由等を表す表現に対応する文のいずれかに分類してもよい。情報処理基盤110は、分類として、時刻表現または日付表現を含む文をWhenに対応する文として判定してもよい。情報処理基盤110は、分類として、手順を表す命令表現または列挙表現を含む文をHowに対応する文として判定してもよい。情報処理基盤110は、分類として、場所を表す地名表現または位置表現を含む文をWhereに対応する文として判定してもよい。情報処理基盤110は、分類として、対象物の属性または状態を説明する表現を含む文をWhatに対応する文として判定してもよい。情報処理基盤110は、前処理ロジックとして、Whatに対応する文、Howに対応する文、Whenに対応する文およびWhereに対応する文を抽出対象から除外し、理由等を表す表現に対応する文を抽出対象として残してもよい。情報処理基盤110は、前処理ロジックとして、除外後に残された文を連結し、理由等を表す表現の抽出処理に入力する抽出用テキストを生成してもよい。
情報処理基盤110は、プロンプトを外部の大規模言語モデルに入力し、外部の大規模言語モデルから出力されたテキストを受信する。情報処理基盤110は、外部の大規模言語モデルへの入力において、通信インタフェースを介して、プロンプトを含む要求を送信する。外部の大規模言語モデルとしては、運用者により選択された言語処理モデル(例えば、大規模言語モデル、質問応答モデル、情報抽出モデル)を用いてもよい。情報処理基盤110は、当該大規模言語モデルを指定する識別子を要求に含めて送信してもよい。情報処理基盤110は、外部の大規模言語モデルから受信した応答テキストがJSON形式を含む場合、キー「why」に対応する文字列を抽出し、抽出した文字列を理由文として取得する。情報処理基盤110は、外部の大規模言語モデルから受信した応答テキストがJSON形式として解析できない場合、所定のエラーテキストを理由文として扱う構成を採用できる。
情報処理基盤110は、外部の大規模言語モデルから受信した応答テキストに、理由等を表す表現以外の要素が含まれる場合、理由等を表す表現以外の要素を除外する後処理を実行してもよい。情報処理基盤110は、後処理として、応答テキストがJSON形式を含む場合にキー「why」に対応する文字列を抽出し、キー「why」以外に対応する文字列を理由文として扱わない構成を採用してもよい。
情報処理基盤110は、取得した理由文に対して、識別子を付与し、理由文データとして後段の格納処理に供給する。情報処理基盤110は、識別子を、理由文と理由ベクトルとを対応付けるためのキーとして利用する。
ステップS603では、情報処理基盤110は、ステップS602で取得された理由文を、図3に示すデータ項目表300に従う理由文データとして格納する。情報処理基盤110は、理由文を記憶装置220へ格納する。情報処理基盤110は、理由文に識別子を付与し、識別子により理由文を管理する。情報処理基盤110は、理由文に分類情報(カテゴリ)を付与し、分類情報により理由文を整理する。
ステップS604では、情報処理基盤110は、理由文に対応する理由ベクトルを取得する。情報処理基盤110は、理由文を入力テキストとして埋め込みモデルに入力し、埋め込みモデルから出力される埋め込みベクトルを理由ベクトルとして取得する。情報処理基盤110は、理由ベクトルを多次元の数値列として取得する。
例えば情報処理基盤110は、理由ベクトルの取得に先立ち、通信の認証に用いる秘密情報を環境変数から読み出す。情報処理基盤110は、理由文を含む要求を埋め込み生成装置へ送信し、埋め込み生成装置から受信した応答に含まれる数値列を理由ベクトルとして取得する。
情報処理基盤110は、上記要求に、埋め込みモデルを指定するモデル識別子を含める。情報処理基盤110は、モデル識別子として、入力テキストの意味に基づく高次元の埋め込みベクトルを出力するテキスト埋め込みモデルを指定する。情報処理基盤110は、テキスト埋め込みモデルとして、語彙間の意味関係を反映した埋め込みベクトルを出力する大規模なテキスト埋め込みモデルを用いてもよい。
情報処理基盤110は、埋め込み生成装置へ送信する要求に含めるモデル識別子として、運用者により選択された一のテキスト埋め込みモデルを表す識別子を指定してもよい。情報処理基盤110は、モデル識別子の一例として、embedding-3-largeを指定してもよい。情報処理基盤110は、運用者により選択されたテキスト埋め込みモデルとして、入力テキストの意味に基づく高次元の埋め込みベクトルを出力する大規模なテキスト埋め込みモデルを採用してもよい。情報処理基盤110は、運用者が選択したテキスト埋め込みモデルを運用期間中に固定する場合、情報処理基盤110は、モデル識別子として同一の識別子を継続して指定してもよい。
ステップS605では、情報処理基盤110は、理由ベクトルを記憶装置220へ格納する。例えば情報処理基盤110は、ステップS604で取得された理由ベクトルを、図4に示すデータ項目表400に従う理由データとして格納する。より具体的には、情報処理基盤110は、識別子および分類情報(カテゴリ)および理由文(Whyテキスト)と理由ベクトルとを対応付けて理由データを生成し、理由データを記憶装置220へ格納する。
記憶装置220は、理由データ群を、ファイル形式の記憶領域に格納してもよい。記憶装置220は、ファイル形式としてJSON形式を採用し、識別子、分類情報、理由文および理由ベクトルを対応付けた理由データ群を、JSON形式のデータとして格納してもよい。記憶装置220は、理由ベクトル群を、ファイル形式の記憶領域に蓄積し、類似度に基づく検索処理の参照先として保持してもよい。記憶装置220は、理由ベクトル群を、運用期間中に参照可能な形で静的に蓄積してもよい。
本実施形態では、理由コーパスの構築において、理由文の取得結果を理由ベクトルの生成に用いる中間データとして取り扱ってもよい。情報処理基盤110は、中間データを格納しない構成を採用する場合、理由文の取得処理と理由ベクトルの取得処理とを連続して実行し、図4に示すデータ項目表400に従う理由データとして記憶装置220に格納し、理由文の取得結果のデータ項目を示す図3を省略してもよい。
情報処理基盤110は、管理端末120から構築用データを追加で受信するたびに、理由コーパスを更新してもよい。情報処理基盤110は、更新として、追加で受信した構築用データに対してステップS602からステップS605までの処理を実行し、生成された理由データを記憶装置220に格納された理由データ群へ追加して格納する構成を採用してもよい。情報処理基盤110は、追加で受信した構築用データに由来する理由文から生成された理由ベクトルを、記憶装置220に格納された理由ベクトル群へ追加して格納してもよい。
図7は、情報処理システム100における問合せ処理のフローチャートの一例を示す図である。
ステップS701では、情報処理基盤110は、クライアント端末130から問合せデータを受信する。問合せデータは、ユーザが入力した質問文を含む。例えばクライアント端末130のユーザが「なぜ太陽光発電を導入すべきか」と入力した場合、情報処理基盤110は、上記質問文を含む問合せデータを受信する。
ステップS702では、情報処理基盤110は、問合せデータに基づいて問合せ理由文を取得する。情報処理基盤110は、取得部221により問合せ理由文を取得する。情報処理基盤110は、問合せ理由文として、理由等を表す表現を含むテキストを取得する。例えば情報処理基盤110は、問合せデータに「なぜ太陽光発電を導入すべきか」が含まれる場合、情報処理基盤110は、「導入すべき理由」または「導入目的」または「導入背景」に関する記述を含むテキストを問合せ理由文として取得する。
情報処理基盤110は、問合せ理由文の取得において、問合せデータを含むプロンプトを生成し、プロンプトを大規模言語モデルに入力してもよい。情報処理基盤110は、大規模言語モデルから出力されたテキストのうち、理由等を表す表現を含むテキストを問合せ理由文として取得してもよい。
より具体的には、情報処理基盤110は、問合せデータに含まれる文章をプロンプトに挿入し、理由等を表す表現を抽出する指示をプロンプトに含める。情報処理基盤110は、抽出結果を所定の構造化形式で出力する指示をプロンプトに含めてもよい。情報処理基盤110は、構造化形式として、キー「why」を有するJSON形式を指定してもよい。
例えば情報処理基盤110は、「次の文章から理由等を表す表現を抽出し、キー「why」を有するJSON形式で抽出結果を出力する」旨を指示する指示文を生成し、指示文に問合せデータに含まれる文章を連結したプロンプトを生成する。情報処理基盤110は、大規模言語モデルから出力されたJSON形式のテキストからキー「why」に対応する文字列を取得し、取得した文字列を問合せ理由文として採用する。
なお、問合せ理由文は、問合せデータに理由、意図、背景または目的を表す表現が明示的に含まれる場合に限られず、問合せデータの意味内容に基づいて大規模言語モデルが生成した、理由、意図、背景または目的を表す表現を含む別テキストとして取得されてもよい。例えば、問合せデータが「なぜ太陽光発電を導入すべきか」を含む場合、大規模言語モデルは「導入すべき理由」、「導入目的」または「導入背景」といった趣旨を表すテキストを生成し、生成されたテキストを問合せ理由文として採用してもよい。
ステップS703では、情報処理基盤110は、検索処理を実行する。情報処理基盤110は、ステップS702で取得された問合せ理由文に基づいて問合せベクトルを取得し、問合せベクトルと理由コーパスに含まれる理由ベクトルとの類似度を算出する。情報処理基盤110は、類似度に基づいて理由コーパスから所定数の理由データを選定する。なお、検索処理の詳細については、図8を用いて後述する。
ステップS704では、情報処理基盤110は、理由データを取得する。情報処理基盤110は、ステップS703の検索処理により選定された識別子に基づいて、記憶装置220から理由データを取得する。情報処理基盤110は、理由データに含まれる理由文(Whyテキスト)を参照し、理由文を理由文データとして取得する。情報処理基盤110は、理由データに含まれる分類情報(カテゴリ)を参照し、理由文データに分類情報を対応付けて取得してもよい。
ステップS705では、情報処理基盤110は、問合せデータおよびステップS704までに取得された理由データに基づいて回答データを生成し、生成された回答データを取得する。情報処理基盤110は、回答データとして提示文を生成する場合、提示文に含まれる表現を中立的表現へ変換する処理を含めてもよい。情報処理基盤110は、中立的表現へ変換する処理において、感情的表現、攻撃的表現、または断定的表現を抑制し、理由等を表す表現を優先して提示文を構成する。
情報処理基盤110は、中立的表現へ変換する処理において、問合せデータに含まれる語句および理由データに含まれる理由文を入力として、言い換え候補を生成する処理を実行してもよい。情報処理基盤110は、言い換え候補を生成する処理として、自然言語生成モデルに対して、抑制対象となる表現種別および出力文体を指定した指示文を与える処理を採用してもよい。情報処理基盤110は、指示文に、攻撃的表現の削減、断定表現の緩和、相手方の意図推定の断定回避、および理由の明確化の要件を含める。
情報処理基盤110は、中立的表現へ変換する処理において、理由データに含まれる理由文を、提示文の根拠情報として引用または要約する。情報処理基盤110は、提示文において、理由文の内容を目的、背景、および制約条件の各観点に再構成し、問合せデータの主張部分と理由部分とを分離して記述する。情報処理基盤110は、提示文において、断定的表現を避けるため、推奨の根拠となる条件および想定範囲を付加して記述する。
例えば情報処理基盤110は、問合せデータが対人コミュニケーションに関する対象テキストを含み、対象テキストが攻撃的表現を含む場合、対象テキストの主張部分を保持しつつ、対象テキストの理由等に相当する部分を抽出し、抽出結果を理由データとして参照する。情報処理基盤110は、対象テキストの理由等を提示文に反映させ、対象テキストに含まれる攻撃的表現を抑制した表現へ変換した提示文を生成し、生成した提示文を回答データとして取得する。
例えば情報処理基盤110は、対象テキストが「対応が遅すぎるから、運用が破綻している」という断定的表現を含む場合、対象テキストに含まれる理由に相当する要素として「応答時間の遅延」および「期待する運用水準との差異」を抽出し、抽出結果に整合する表現として「応答時間の遅延が継続しており、ユーザが期待する運用水準と差異が生じている点について確認したい」という提示文を生成する。情報処理基盤110は、提示文において、断定を回避し、確認事項および改善要望を中心に記述する。
ステップS706では、情報処理基盤110は、回答データを出力する。情報処理基盤110は、回答データをクライアント端末130へ送信する。クライアント端末130は、情報処理基盤110から受信した回答データを表示する。
図8は、検索処理のフローチャートの一例を示す図である。情報処理基盤110は、図7に示す問合せ処理における検索処理(ステップS703)として、図8に示す処理を実行する。
ステップS801では、情報処理基盤110は、問合せベクトルを取得する。情報処理基盤110は、問合せ理由文を入力テキストとして埋め込みモデルに入力し、埋め込みモデルから出力される埋め込みベクトルを問合せベクトルとして取得する。情報処理基盤110は、問合せベクトルを多次元の数値列として取得する。
例えば情報処理基盤110は、問合せベクトルの取得に先立ち、通信の認証に用いる秘密情報を環境変数から読み出す。情報処理基盤110は、問合せ理由文を含む要求を埋め込み生成装置へ送信し、埋め込み生成装置から受信した応答に含まれる数値列を問合せベクトルとして取得する。
情報処理基盤110は、上記要求に、埋め込みモデルを指定するモデル識別子を含める。情報処理基盤110は、モデル識別子として、入力テキストの意味に基づく高次元の埋め込みベクトルを出力するテキスト埋め込みモデルを指定する。情報処理基盤110は、テキスト埋め込みモデルとして、語彙間の意味関係を反映した埋め込みベクトルを出力する大規模なテキスト埋め込みモデルを用いてもよい。なお、理由ベクトルおよび問合せベクトルを、同一の埋め込みモデルにより生成する構成を採用することが好ましい。情報処理基盤110は、同一の埋め込みモデルを用いることにより、例えば、理由ベクトルと問合せベクトルとを同一のベクトル空間上に配置し、類似度算出の精度を向上できる。
ステップS802では、情報処理基盤110は、理由ベクトル群を取得する。情報処理基盤110は、理由コーパスを記憶する記憶装置220から、理由ベクトル群を読み出す。情報処理基盤110は、理由ベクトル群として、図4に示すデータ項目表400に従って管理される理由データに含まれる理由ベクトルを複数取得する。情報処理基盤110は、理由ベクトル群を、問合せベクトルとの類似度算出の対象として取得する。
ステップS803では、情報処理基盤110は、ステップS801で取得された問合せベクトルについてL2ノルムを算出する。情報処理基盤110は、問合せベクトルの各要素の値を二乗し、二乗値の合計を算出する。情報処理基盤110は、二乗値の合計の平方根を算出し、算出結果を問合せベクトルのL2ノルムとして設定する。情報処理基盤110は、算出したL2ノルムを、後段の正規化処理および類似度算出処理に用いる。
ステップS804では、情報処理基盤110は、理由ベクトル群に含まれる各理由ベクトルについてL2ノルムを算出する。情報処理基盤110は、情報処理基盤110が比較対象として取り出した理由ベクトルごとに、理由ベクトルの各要素の値を二乗し、二乗値の合計を算出し、二乗値の合計の平方根を算出することにより、理由ベクトルのL2ノルムを算出する。情報処理基盤110は、算出したL2ノルムを、後段の正規化処理および類似度算出処理に用いる。
ステップS805では、情報処理基盤110は、問合せベクトルと理由ベクトルとのコサイン類似度を算出する。情報処理基盤110は、理由コーパスに含まれる理由ベクトル群から理由ベクトルを1つ選択し、選択した理由ベクトルと問合せベクトルとの内積を算出する。情報処理基盤110は、内積の算出において、問合せベクトルの各要素と理由ベクトルの各要素との積を次元数分だけ加算し、加算結果を内積として算出する。情報処理基盤110は、算出した内積を、ステップS803で算出した問合せベクトルのL2ノルムと、ステップS804で算出した理由ベクトルのL2ノルムとの積で除算することにより、問合せベクトルと理由ベクトルとのコサイン類似度を算出する。情報処理基盤110は、理由ベクトル群に含まれる各理由ベクトルについて上記算出を繰り返し、理由ベクトルごとにコサイン類似度を算出する。
ステップS806では、情報処理基盤110は、類似度に基づく順位付けを実行する。情報処理基盤110は、ステップS805で理由ベクトルごとに算出されたコサイン類似度を、識別子に対応付けて記憶する。情報処理基盤110は、理由ベクトル群に含まれる各理由ベクトルについて算出されたコサイン類似度が揃った後に、識別子とコサイン類似度とを含む検索結果候補を、コサイン類似度が高い順に並べ替える。情報処理基盤110は、並べ替え結果に基づいて、上位の検索結果候補を選定する。情報処理基盤110は、上位の検索結果候補として、所定数(1つまたは複数)の識別子を取得する。
なお、本実施形態では、情報処理システム100は、理由コーパスの構築処理において生成される理由ベクトルを、記憶装置220へ格納する前に正規化してもよい。情報処理システム100は、理由ベクトル化部222により得られた理由ベクトルについてL2ノルムを算出し、理由ベクトルの各要素をL2ノルムで除算することにより、理由ベクトルを単位ベクトルとして正規化した正規化済み理由ベクトルを生成してもよい。情報処理システム100は、蓄積部223により、正規化済み理由ベクトルを理由コーパスの構成要素として記憶装置220へ格納してもよい。情報処理システム100は、検索処理において問合せベクトルを正規化し、正規化済み理由ベクトルとの内積を算出することにより、コサイン類似度と同等の尺度に基づく類似度算出および順位付けを実行してもよい。情報処理システム100は、理由コーパスに正規化済み理由ベクトルを格納することにより、検索処理の実行時に理由ベクトル群の正規化処理を省略し、演算量を削減し、処理手順を単純化できる。
図9は、情報処理基盤110が理由コーパスを構築する際に取り扱うデータの具体例を示す図である。図9に示す例では、情報処理基盤110は、構築用データとして入力された対象テキスト901から理由文を抽出し、抽出した理由文を含む理由文データ902を生成し、理由文データ902に基づいて理由ベクトルを含む理由データ903を生成する。
情報処理基盤110は、対象テキスト901として、構築用データに含まれる文章を受信する。情報処理基盤110は、対象テキスト901として、例えば再生可能エネルギー技術の一例である太陽光発電に関する説明文を受信する。情報処理基盤110は、対象テキスト901に、導入の理由、導入の目的、または導入の背景を表す説明が含まれる場合、後段の理由文の取得処理において、対象テキスト901に含まれる理由表現を抽出対象として取り扱う。
情報処理基盤110は、対象テキスト901に基づいて理由文データ902を生成する。情報処理基盤110は、理由文データ902として、少なくとも識別子、分類情報(カテゴリ)、および理由文(Whyテキスト)を含むデータを生成する。情報処理基盤110は、識別子として、理由文データ902を一意に識別する文字列を付与する。情報処理基盤110は、分類情報(カテゴリ)として、理由文データ902の分類に用いる情報を付与する。図9に示す例では、情報処理基盤110は、分類情報(カテゴリ)として、自動生成された分類情報を示す文字列を付与している。
情報処理基盤110は、理由文(Whyテキスト)として、対象テキスト901に含まれる理由等を表す表現を含むテキストを取得する。情報処理基盤110は、理由文(Whyテキスト)として、例えば電気料金の削減、二酸化炭素排出量の削減、燃料供給リスクへの対応、自然災害時の非常用電源としての利用等の観点を含む説明文を取得する。情報処理基盤110は、理由文(Whyテキスト)を、例えばキー「why」を有するJSON形式のデータとして出力し、理由文データ902に格納する。
情報処理基盤110は、理由文データ902に基づいて理由データ903を生成する。情報処理基盤110は、理由データ903として、少なくとも分類情報(カテゴリ)、識別子、理由ベクトル、および理由文(Whyテキスト)を含むデータを生成する。情報処理基盤110は、理由データ903を、理由コーパスにおいて検索に用いるベクトル情報として記憶装置220に格納する。情報処理基盤110は、理由データ903における理由文(Whyテキスト)を、例えばキー「why_text」を有するJSON形式のデータとして格納してもよい。
情報処理基盤110は、理由ベクトルとして、理由文(Whyテキスト)を入力テキストとして埋め込みモデルに入力し、埋め込みモデルから出力される埋め込みベクトルを取得することにより生成される多次元数値列を用いる。図9に示す例では、情報処理基盤110は、理由ベクトルを、複数の実数値からなる配列として理由データ903に格納している。情報処理基盤110は、理由ベクトルを、検索処理の実行時に正規化し、問合せベクトルとのコサイン類似度の算出に用いる。
情報処理基盤110は、理由データ903に含まれる識別子を用いて、理由ベクトルと理由文(Whyテキスト)とを対応付けて管理する。情報処理基盤110は、検索処理において、理由ベクトルに基づく類似度算出により上位の識別子を選定し、選定された識別子に対応する理由文(Whyテキスト)を参照することにより、問合せデータに対する回答データの生成に用いる理由データを取得する。
図10は、情報処理基盤110が問合せデータに対する検索処理および回答データの生成処理を実行する際に取り扱うデータの具体例を示す図である。図10に示す例では、情報処理基盤110は、問合せ文1001を受信し、検索処理の結果として、識別子、分類情報(カテゴリ)、理由ベクトル、および理由文(Whyテキスト)を含む理由データ1002を取得し、理由データ1002に含まれる理由文(Whyテキスト)を理由文1003として取得し、理由文1003に基づいて回答データ1004を生成する。
情報処理基盤110は、問合せ文1001として、ユーザから入力された問合せデータに含まれる対象テキストを受信する。図10に示す例では、情報処理基盤110は、問合せ文1001として、太陽光発電の導入理由を問う文を受信する。
情報処理基盤110は、問合せ文1001に基づいて検索処理を実行する。情報処理基盤110は、問合せ文1001から問合せ理由文を取得し、問合せ理由文を入力テキストとして埋め込みモデルに入力し、埋め込みモデルから出力される埋め込みベクトルを問合せベクトルとして取得する。情報処理基盤110は、問合せベクトルと理由コーパスに含まれる理由ベクトルとの類似度を算出し、類似度が高い識別子を選定する。情報処理基盤110は、選定された識別子に対応するレコードを理由データ1002として取得する。
情報処理基盤110は、理由データ1002を、図4に示すデータ項目表400に従うデータ構造として取り扱う。情報処理基盤110は、理由データ1002について、分類情報(カテゴリ)を示す項目、識別子を示す項目、理由ベクトルを示す項目、および理由文(Whyテキスト)を示す項目を含める。情報処理基盤110は、理由文(Whyテキスト)を外部表現としてJSON形式により表す場合、理由文(Whyテキスト)に対応する値を格納するキーとして、キー「why_text」を用いてもよい。図10に示す例では、理由データ1002は、キー「category」、キー「id」、キー「vector」、およびキー「why_text」を有するJSON形式で表されている。
情報処理基盤110は、理由データ1002に含まれる理由文(Whyテキスト)を参照し、理由文(Whyテキスト)を理由文1003として取得する。図10に示す例では、理由文1003は、太陽光発電の導入理由として、電気料金の削減、二酸化炭素排出量の抑制、燃料供給リスクへの対応、自然災害および停電時の電源確保等の観点を含む説明文を含む。
情報処理基盤110は、問合せ文1001および理由文1003に基づいて回答データ1004を生成する。情報処理基盤110は、回答データ1004の生成において、自然言語処理モデルに対して、問合せ文1001および理由文1003を入力として与え、理由文1003に整合する説明文を出力として取得する処理を採用してもよい。図10に示す例では、情報処理基盤110は、太陽光発電の導入が、温室効果ガス排出量の抑制およびエネルギーの安定確保に関連し得る旨を含む説明文を回答データ1004として生成している。
本実施形態によれば、問合せデータに含まれる語句が構築用データに含まれる語句と一致しない場合であっても、意味的な近さに基づいて理由文を検索し、問合せデータに対して理由、意図、背景または目的に関する根拠を備えた回答データを出力できる。
(II)付記
情報処理システムは、演算処理を実行する計算機資源と、記憶資源と、通信資源とを含む構成概念を表す用語である。情報処理システムは、単一の計算機装置により構成される形態を含み、複数の計算機装置により分散して構成される形態を含み、仮想化された計算機環境により構成される形態を含む。情報処理システムは、サーバ装置と端末装置とを含む形態で構成され得る。
構築用データは、理由、意図、背景または目的を表す表現を含み得るテキストを、理由コーパスの生成のために入力するデータ概念を表す用語である。構築用データは、文書、議事記録、説明文、提案文、仕様文、投稿文、またはコメント文に相当するテキストを含み得る。情報処理システムは、構築用データを、端末装置から受信し得て、記憶装置から読み出し得て、外部の記憶領域から取得し得る。
問合せデータは、ユーザが入力する質問文または依頼文を含むテキストを、検索処理および回答生成処理のために入力するデータ概念を表す用語である。問合せデータは、自然言語の文を含み得て、複数文からなるテキストを含み得て、対象テキストを付随情報として含み得る。情報処理システムは、問合せデータを、端末装置から受信し得て、アプリケーションプログラムから受け取り得て、通信網を介して受信し得る。
回答データは、問合せデータに対応して出力される情報のデータ概念を表す用語である。回答データは、説明文、要約文、推奨文、確認事項、または提示文を含み得て、複数の文からなるテキストを含み得て、根拠となる理由文を引用または要約した表現を含み得る。情報処理システムは、回答データを、端末装置へ送信し得て、記憶装置へ格納し得て、画面表示のための形式に変換し得る。
理由文は、構築用データに含まれるテキストのうち、理由、意図、背景または目的を表す表現を含む部分として取得されるテキストを表す用語である。理由文は、構築用データに含まれる理由表現を含む一部を抽出したテキストを含み得て、構築用データを要約して理由表現を含む形態に変換したテキストを含み得て、構築用データから導出された目的表現または背景表現を含むテキストを含み得る。情報処理システムは、理由文を、構築用データの語句と異なる語句で表現された形態で生成し得る。理由文は、構築用データに理由表現が明示的に含まれていない場合であっても、構築用データの意味内容に基づいて大規模言語モデルにより生成された、理由、意図、背景または目的を表す表現を含むテキストとして取得され得る。
問合せ理由文は、問合せデータに含まれるテキストのうち、理由、意図、背景または目的を表す表現を含む部分として抽出されるテキストを表す用語である。問合せ理由文は、問合せデータに含まれる理由表現を含む一部を抽出したテキストを含み得て、問合せデータを要約して理由表現を含む形態に変換したテキストを含み得て、問合せデータから導出された目的表現または背景表現を含むテキストを含み得る。情報処理システムは、問合せ理由文を、問合せデータの語句と異なる語句で表現された形態で生成し得る。問合せ理由文は、問合せデータに理由表現が明示的に含まれていない場合であっても、問合せデータの意味内容に基づいて大規模言語モデルにより生成された理由、意図、背景または目的を表す表現を含むテキストとして取得され得る。
取得部は、入力データから所定の情報を得る処理機能の概念を表す用語である。第1の取得部は、構築用データから理由文を得る処理機能の概念を表す用語である。第2の取得部は、問合せデータから問合せ理由文を得る処理機能の概念を表す用語である。情報処理システムは、第1の取得部および第2の取得部を、規則に基づく抽出処理により実現し得て、統計的な言語処理に基づく抽出処理により実現し得て、大規模言語モデルに基づく抽出処理により実現し得る。
プロンプトは、言語処理モデルに入力される指示文および入力テキストの組合せを表す用語である。大規模言語モデルは、入力されたテキストに基づいてテキストを出力する言語処理モデルの概念を表す用語である。情報処理システムは、プロンプトに構築用データを挿入し得て、プロンプトに問合せデータを挿入し得て、プロンプトに抽出対象として理由、意図、背景または目的を表す表現を含める指示を含め得る。情報処理システムは、大規模言語モデルから出力されたテキストを解析し、理由文または問合せ理由文として採用し得る。
埋め込みモデルは、入力テキストの意味を反映した多次元の数値列を出力するモデルの概念を表す用語である。多次元の埋め込みベクトルは、埋め込みモデルにより生成される多次元の数値列の概念を表す用語である。理由ベクトルは、理由文を埋め込みモデルにより多次元の埋め込みベクトルに変換して得られるベクトルを表す用語である。問合せベクトルは、問合せ理由文を埋め込みモデルにより多次元の埋め込みベクトルに変換して得られるベクトルを表す用語である。情報処理システムは、埋め込みモデルとして、ニューラルネットワークに基づくテキスト表現モデルを用い得て、語彙間の意味関係を反映した分散表現を出力するモデルを用い得る。
理由データは、理由文と理由ベクトルとを関連付けたデータ構造の概念を表す用語である。理由コーパスは、複数の理由データを検索対象として保持するデータ集合の概念を表す用語である。識別子は、理由データを一意に識別するための情報の概念を表す用語である。分類情報は、理由データを分類するための情報の概念を表す用語である。情報処理システムは、識別子として文字列または数値列を付与し得て、分類情報として分野名、話題名、またはタグに相当する文字列を付与し得る。情報処理システムは、分類情報を、規則により付与し得て、統計的分類処理により付与し得て、言語処理モデルにより生成し得る。
検索部は、問合せベクトルと理由ベクトルとの関係に基づいて理由コーパスから理由データを選定する処理機能の概念を表す用語である。類似度は、問合せベクトルと理由ベクトルとの近さを表す尺度の概念を表す用語である。幾何学的な近さは、多次元空間におけるベクトル間の距離、角度、または内積に基づく近さを含む概念を表す用語である。情報処理システムは、類似度として、コサイン類似度を用い得て、ユークリッド距離に基づく尺度を用い得て、内積に基づく尺度を用い得て、正規化後の内積に基づく尺度を用い得る。所定数は、検索結果として取得される理由データの件数を表す概念を表す用語である。情報処理システムは、所定数を固定値として設定し得て、問合せデータの長さに応じて可変に設定し得て、分類情報に応じて可変に設定し得る。
コサイン類似度は、問合せベクトルと理由ベクトルとの角度の近さを表す尺度の概念を表す用語である。内積は、ベクトルの各要素の積の総和を算出する演算の概念を表す用語である。L2ノルムは、ベクトルの各要素の二乗和の平方根として算出される大きさの概念を表す用語である。情報処理システムは、問合せベクトルのL2ノルムと理由ベクトルのL2ノルムとを用いて正規化を実行し得て、正規化後の内積を用いてコサイン類似度を算出し得る。情報処理システムは、数値演算誤差を低減するために、浮動小数点演算に基づく演算を用い得て、固定小数点演算に基づく演算を用い得る。
出力部は、検索結果として得られた理由データに基づいて回答データを生成し、回答データを外部へ出力する処理機能の概念を表す用語である。情報処理システムは、回答データの生成において、問合せデータと理由文とを入力として言語生成モデルに与え、理由、意図、背景または目的に関する記述を含むテキストを出力として得る方式を採用し得る。情報処理システムは、回答データの生成において、理由文を引用する方式を採用し得て、理由文を要約する方式を採用し得て、複数の理由文を統合する方式を採用し得る。
対象テキストは、問合せデータに含まれ得る、ユーザが扱う文章、投稿文、またはコメント文に相当するテキストを表す用語である。提示文は、対象テキストの表現を変換した結果として生成され得るテキストを表す用語である。感情的表現は、強い感情を喚起する語句を含む表現の概念を表す用語である。攻撃的表現は、相手を非難し得る語句を含む表現の概念を表す用語である。断定的表現は、推定や条件を示さず結論を確定させる語句を含む表現の概念を表す用語である。中立的表現は、感情的表現、攻撃的表現、または断定的表現の強度が緩和された表現の概念を表す用語である。情報処理システムは、提示文の生成において、理由文に含まれる理由、意図、背景または目的に関する記述を根拠として組み込み得て、推奨の条件または想定範囲を付加し得て、確認事項の形式で表現し得る。
本明細書に記載される構成要素の識別表記(例えば、「第1」「第2」といった接頭語、符号)は、便宜上の識別手段であり、構成要素の数、順序、機能、配置等を限定するものではない。同一の識別表記が異なる実施形態で異なる構成要素を指す場合があり、また、一の構成要素が他の構成要素の機能を兼ねることもあり得る。したがって、本明細書に記載された構成要素の識別表記は、構成要素の技術的範囲、機能的範囲、または権利範囲を限定するためのものではなく、各構成要素は、その実施形態の文脈に応じて柔軟に解釈されるべきである。
本明細書において「インタフェース装置」とは、1つ以上のインタフェースデバイスを含み得る構成要素を意味する。かかるインタフェースデバイスは、I/O(Input / Output)インタフェースデバイス、通信インタフェースデバイス、またはこれらの組合せを含んでもよく、これらに限定されるものではない。例えば、I/Oインタフェースデバイスは、ユーザインタフェースとして機能し得る構成であってもよく、少なくとも1つの入力デバイス(例えば、キーボード、ポインティングデバイス)および/または出力デバイス(例えば、ディスプレイ)を含んでもよい。これらのI/Oインタフェースデバイスは、遠隔の演算装置との接続に対応する通信機能を備え得る構成であってもよく、そのような場合、当該I/Oインタフェースデバイスは、通信インタフェースデバイスとしても動作可能である。また、通信インタフェースデバイスとしては、同種の通信手段(例えば、複数のNIC(Network Interface Card))を含んでもよく、または異なる種類の通信手段(例えば、NICとHBA(Host Bus Adapter))を組み合わせてもよい。これにより、異種システムとの接続性を確保する柔軟な構成が可能となる。このように構成されるインタフェース装置は、特定のハードウェア構成に限定されることなく、将来的な技術進化や実施形態の多様化にも対応し得るものである。
本明細書において「記憶装置」とは、少なくとも1つの記憶デバイスを含み得る構成要素を意味する。かかる記憶装置は、使用目的やシステム構成に応じて、例えば、動作中のデータを一時的に保持する「メモリ」と、電源断後もデータを保持する「永続記憶装置」とに分類されることがある。メモリは、プロセッサがアクセス可能な一時的な記憶媒体として機能し得るものであり、揮発性、非揮発性、またはそれらの組合せのメモリデバイスを含んでもよい。具体的には、DRAM(Dynamic Random Access Memory)、SRAM(Static RAM)等の揮発性メモリや、MRAM(Magnetoresistive RAM)、ReRAM(Resistive RAM)等の不揮発性メモリが挙げられるが、これらに限定されるものではない。永続記憶装置は、長期的なデータ保存を目的とする構成要素であり、不揮発性の記憶媒体を用いたデバイスを含む。具体的には、HDD(Hard Disk Drive)、SSD(Solid State Drive)、NVMe(Non-Volatile Memory Express)ドライブ等が含まれてもよい。また、相変化メモリ等の次世代ストレージ技術も、記憶装置の構成例として含まれ得る。このように構成される記憶装置は、記憶媒体の種類やアーキテクチャに制限されることなく、将来的な技術進化や実施形態の多様化にも対応し得るものである。
本明細書において「プロセッサ」とは、少なくとも1つの処理機能を実行可能な演算装置または回路を含み得る構成要素を意味する。かかるプロセッサには、用途に応じて、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のマイクロプロセッサデバイスが含まれてもよく、また、FPGA(Field-Programmable Gate Array)、CPLD(Complex Programmable Logic Device)、ASIC(Application Specific Integrated Circuit)等の専用回路による実装が含まれてもよい。プロセッサは、シングルコア、マルチコア、またはプロセッサコア単体で構成される場合もある。プロセッサは、コンピュータプログラムによって処理機能を実現する構成であってもよく、また、ハードウェア回路によって直接実装される構成であってもよく、さらには、それらの組合せによるハイブリッドな構成であっても差し支えない。プログラムにより処理が実行される場合には、プロセッサが、記憶装置やインタフェース装置等の他の構成要素と連携して処理を行うことが含まれる。また、本明細書においては、特定の機能を「部」として記載することがあるが、当該機能は、プロセッサにより実行されるプログラム、回路による実装、またはその組合せによって実現され得るものである。したがって、当該機能はプロセッサの少なくとも一部として構成されるものとみなすことができる。プログラムは、外部のプログラムソースから供給されてもよい。プログラムソースとしては、ネットワーク接続されたプログラム配布用サーバや、コンピュータが読み取り可能な非一時的記憶媒体等が例として挙げられるが、これらに限定されるものではない。このように構成されるプロセッサは、特定のハードウェア構成や実装形態に限定されることなく、将来的な技術進化や実施形態の多様化にも対応し得るものである。
本明細書において「システム」とは、少なくとも1つの計算機リソースを含み得る構成要素を意味する。かかるシステムは、1つ以上の物理的な計算機(専用ハードウェア、オンプレミスサーバ等)によって構成されてもよく、または仮想化された計算リソース(クラウド基盤、仮想マシン、コンテナ等)により構成されてもよい。システムには、クラウドコンピューティングシステム、クラスタ構成、サーバレス環境等が含まれてもよいが、これらに限定されるものではない。システムは、単一の装置内に構成される場合であってもよく、または、複数の計算機リソースがネットワークを介して連携する構成であってもよい。各構成要素は、論理的に統合されたものであっても、物理的に分離されたものであってもよい。また、かかるシステムには、プロセッサ、記憶装置、インタフェース装置等の構成要素が含まれていてもよく、これらの構成要素は、物理的な装置として実装されていても、仮想的な構成として実現されていてもよい。このように構成されるシステムは、特定のハードウェア構成、実装形態、配置形態等に限定されることなく、将来的な技術進化や実施形態の多様化にも対応し得るものである。
上述した実施形態は、例えば、下記の特徴を有する。
(1)
ユーザの問合せデータに対する回答データ(例えば、出力部226が生成してクライアント端末130へ送信する回答データ)を出力する情報処理システム(例えば、情報処理システム100)であって、構築用データ(例えば、管理端末120から情報処理基盤110へ送信される構築用データ)から、理由、意図、背景または目的を表す表現を含む内容を理由文(例えば、取得部221が構築用データから抽出、生成などして取得する理由文)として取得する第1の取得部(例えば、取得部221、情報処理基盤110)と、上記第1の取得部により取得された理由文を、埋め込みモデル(例えば、理由文を入力として多次元の数値列を出力する埋め込みモデル)により多次元の埋め込みベクトル(例えば、埋め込みモデルから出力される多次元の数値列)に変換して理由ベクトル(例えば、理由ベクトル化部222が取得する理由文に対応する埋め込みベクトル)を得る理由ベクトル化部(例えば、理由ベクトル化部222、情報処理基盤110)と、上記第1の取得部により取得された理由文と、上記理由ベクトル化部により上記理由文が変換された理由ベクトルとを関連付けた理由データ(例えば、識別子および分類情報と対応付けられた理由文および理由ベクトルを含む理由データ)を生成し、生成した理由データを記憶して理由コーパス(例えば、記憶装置220に格納される複数の理由データの集合)を構築する蓄積部(例えば、蓄積部223、情報処理基盤110)と、ユーザの問合せデータ(例えば、クライアント端末130から情報処理基盤110へ送信される問合せデータ)から、理由、意図、背景または目的を表す表現を含む内容を問合せ理由文(例えば、取得部221が問合せデータから抽出、生成などして取得する問合せ理由文)として取得する第2の取得部(例えば、取得部221、情報処理基盤110)と、上記第2の取得部により取得された問合せ理由文を、上記埋め込みモデルにより多次元の埋め込みベクトルに変換して問合せベクトル(例えば、問合せベクトル化部224が取得する問合せ理由文に対応する埋め込みベクトル)を得る問合せベクトル化部(例えば、問合せベクトル化部224、情報処理基盤110)と、上記問合せベクトル化部により変換された問合せベクトルと上記理由コーパスに含まれる理由ベクトルとの類似度(例えば、問合せベクトルと理由ベクトルとのコサイン類似度)を算出し、算出した類似度に基づいて、上記理由コーパスから所定数(例えば、上位の検索結果として取得される件数)の理由データを検索する検索部(例えば、検索部225、情報処理基盤110)と、上記検索部により検索された理由データに関連付けられた理由文に基づいて、上記問合せデータに対する回答データを出力する出力部(例えば、出力部226、情報処理基盤110)と、を備える。
上記構成によれば、例えば、問合せデータに含まれる語句が構築用データに含まれる語句と一致しない場合であっても、理由、意図、背景または目的に関する意味的な近さに基づいて根拠情報を抽出し、ユーザの動機または価値観に沿う回答データを生成する処理の精度を向上できる。
(2)
上記第1の取得部は、上記構築用データ(例えば、管理端末120から情報処理基盤110へ送信される構築用データ)を含むプロンプト(例えば、構築用データに含まれる文章を挿入し、理由、意図、背景または目的を表す表現を抽出する指示を含む指示文)を生成し、上記プロンプトを大規模言語モデル(例えば、入力されたテキストに基づいてテキストを出力する言語処理モデル)に入力し、上記大規模言語モデルから、理由、意図、背景または目的を表す表現を含むテキストを理由文(例えば、キー「why」に対応する文字列として取得される理由文)として取得し、上記第2の取得部は、上記問合せデータ(例えば、クライアント端末130から情報処理基盤110へ送信される問合せデータ)を含むプロンプト(例えば、問合せデータに含まれる文章を挿入し、理由、意図、背景または目的を表す表現を抽出する指示を含む指示文)を生成し、上記プロンプトを大規模言語モデルに入力し、上記大規模言語モデルから、理由、意図、背景または目的を表す表現を含むテキストを問合せ理由文(例えば、キー「why」に対応する文字列として取得される問合せ理由文)として取得する。
上記構成では、問合せデータを含むプロンプトを生成して大規模言語モデルに入力し、大規模言語モデルから理由、意図、背景または目的を表す表現を含むテキストを問合せ理由文として取得するため、例えば、構築用データおよび問合せデータに含まれる理由、意図、背景または目的の表現が多様である場合であっても、文脈に応じた抽出処理により理由文および問合せ理由文を安定して取得でき、理由等に関する検索処理の入力情報の品質を向上できる。
(3)
上記検索部は、上記問合せベクトル化部により変換された問合せベクトル(例えば、問合せ理由文を埋め込みモデルにより多次元の埋め込みベクトルに変換して得られる問合せベクトル)と、上記理由コーパス(例えば、記憶装置220に格納される理由コーパス)に含まれる複数の理由ベクトル(例えば、理由文を埋め込みモデルにより多次元の埋め込みベクトルに変換して得られる理由ベクトル)との幾何学的な近さ(例えば、多次元空間におけるベクトル間の距離、角度、または内積に基づく近さ)に基づいて類似度(例えば、問合せベクトルと理由ベクトルとの近さを表す尺度)を算出し、算出した類似度の高い順に理由データ(例えば、理由文と理由ベクトルとを関連付けた理由データ)を取得する。
上記構成では、例えば、情報処理システムは、問合せベクトルと理由コーパスに含まれる複数の理由ベクトルとの幾何学的な近さに基づいて類似度を算出し、算出した類似度の高い順に理由データを取得する。上記構成によれば、例えば、問合せデータに含まれる語句が構築用データに含まれる語句と一致しない場合であっても、意味空間における近さに基づいて意図の近い理由文を検索でき、問合せデータに対する回答データの根拠となる理由文の取得精度を向上できる。
(4)
上記検索部は、上記問合せベクトル(例えば、問合せ理由文を埋め込みモデルにより多次元の埋め込みベクトルに変換して得られる問合せベクトル)と上記理由コーパス(例えば、記憶装置220に格納される理由コーパス)に含まれる理由ベクトル(例えば、理由文を埋め込みモデルにより多次元の埋め込みベクトルに変換して得られる理由ベクトル)との内積(例えば、問合せベクトルの各要素と理由ベクトルの各要素との積を次元数分だけ加算することにより算出される内積)を算出し、上記問合せベクトルのL2ノルム(例えば、問合せベクトルの各要素の二乗和の平方根として算出される大きさ)および上記理由ベクトルのL2ノルム(例えば、理由ベクトルの各要素の二乗和の平方根として算出される大きさ)を算出し、算出した内積を算出したL2ノルムの積で除算することによりコサイン類似度(例えば、問合せベクトルと理由ベクトルとの角度の近さを表す尺度)を算出し、算出したコサイン類似度に基づいて上記理由コーパスから所定数(例えば、上位の検索結果として取得される件数)の理由データ(例えば、理由文と理由ベクトルとを関連付けた理由データ)を検索する。
上記構成では、情報処理システムは、問合せベクトルと理由ベクトルとの内積を算出し、問合せベクトルのL2ノルムおよび理由ベクトルのL2ノルムを算出し、算出した内積を算出したL2ノルムの積で除算することによりコサイン類似度を算出する。上記構成によれば、例えば、ベクトルの大きさの差異に起因する類似度のばらつきを抑制し、理由ベクトルの方向が近い理由文を優先して検索でき、問合せデータに対する回答データの根拠となる理由データの選定精度を向上できる。
(5)
上記出力部は、上記検索部により取得された理由データ(例えば、理由文と理由ベクトルとを関連付けた理由データ)に関連付けられた理由文(例えば、理由データに含まれる理由文(Whyテキスト))と、上記問合せデータ(例えば、クライアント端末130から受信される問合せデータ)とに基づいて、上記理由文に含まれる理由、意図、背景または目的に関する記述(例えば、電気料金の削減、二酸化炭素排出量の削減、燃料供給リスクへの対応、自然災害時の電源確保に関する記述)を含む回答データ(例えば、問合せデータおよび理由文を入力として言語処理モデルに与えることにより生成される回答データ)を生成し、生成した回答データを出力する。
上記構成では、理由文に含まれる理由、意図、背景または目的に関する記述を含む回答データを生成して出力するため、例えば、客観情報の提示に偏りやすい検索結果の提示に比べて、ユーザが求める動機付けまたは価値判断に整合する説明を含む回答データを提示でき、問合せデータに対する応答の適合性を向上できる。
(6)
上記出力部は、上記検索部により取得された複数の理由データ(例えば、理由コーパスから所定数として検索される複数の理由データ)に基づいて、上記問合せデータ(例えば、クライアント端末130から受信される問合せデータ)に関する対象テキスト(例えば、問合せデータに含まれ得る投稿文またはコメント文に相当する対象テキスト)の表現を、感情的表現(例えば、強い感情を喚起する語句を含む表現)、攻撃的表現(例えば、相手を非難し得る語句を含む表現)、または断定的表現(例えば、推定や条件を示さず結論を確定させる語句を含む表現)を抑制した中立的表現(例えば、感情的表現、攻撃的表現、または断定的表現の強度が緩和された表現)に変換した提示文(例えば、対象テキストの主張部分を保持しつつ攻撃的表現を抑制した表現へ変換して生成される提示文)を生成し、生成した提示文を上記回答データ(例えば、クライアント端末130へ送信される回答データ)として出力する。
上記構成では、情報処理システムは、検索部により取得された複数の理由データに基づいて提示文を生成する。上記構成によれば、例えば、単一の理由文に依存した場合に比べて、問合せデータに関する対象テキストの背景、目的または意図を複数観点から反映した提示文を生成でき、提示文の内容の網羅性および納得性を向上できる。
上記構成では、情報処理システムは、対象テキストの表現を感情的表現、攻撃的表現、または断定的表現を抑制した中立的表現に変換した提示文を生成する。上記構成によれば、例えば、対話空間における表現の衝突を緩和しやすくし、ユーザが意図する論点を保持しつつ円滑なコミュニケーションを支援できる。