JP7846917B2 - オントロジー併用大規模言語モデルサーバー - Google Patents

Description

本発明は、語彙の意味を系統的に整理、記録したオントロジー記録を併用することで、大規模言語モデルの入出力、大規模言語モデル内部の語彙トークンに対して意味を付与したオントロジー併用大規模言語モデルに関する。

近年人工知能（ＡＩ：Artificial Intelligence）の進歩が著しく、とりわけ神経回路を模したニューラルネットを多層化し、大量のデータを学習させた深層学習（Deep Learning）により、自然言語での問い合わせ、回答を可能とした大規模言語モデル（ＬＬＭ：Large Language Models）が注目されている。
この出願に関連する先行技術文献としては次のものがある。

特表2023-523644号公報 特開2023-73095号公報 特許第5484317号公報 特許第7313757号公報 特許第6868860号公報 特許第6928332号公報 特許第6913308号公報 特許第6814482号公報 特許第6792751号公報 特許第7441391号公報 ＵＳ 2022/0405484 Ａ1 ＵＳ 2016/0026441 Ａ１ 特開2005-157690号公報 特開2002-342146号公報

大規模言語モデルでは、ある語彙を表すのに、使用する語彙の種類数と同じ次元数のゼロからなる長大なベクトルに、当該語彙に対応する位置に一個だけ１を立てるワンホットベクトル(one hot vector)を用いている。
大量の文献の語彙を全てこの形式のベクトルに置換え、深層学習を用いて各語彙ベクトル間の連関を求めておき、問い合わせ文(プロンプト)に対して、問い合わせ文及びすでに生成された途中までの回答文の次に来る確率の高い語彙を、一語彙ずつ生成、追加して回答文を作成する。
このように、従来の大規模言語モデルでは、言語モデル内、問い合わせ文、回答文で用いられるいずれの語彙も、人間が理解する語彙本来の意味は一切捨象されている。

語彙が本来の意味から切り離されていることにより以下の問題が生じている。
（１）回答文の語彙が、当該語彙の多彩な属性が捨象されているため、実感をもったリアルなイメージがわきにくい（記号接地問題）。
（２）回答文で示された語彙は、単に以前の語彙列の次の語彙として確率が最も高いというに過ぎず、人間が理解する意味的に最適であるとの保証がない。次に確率の高い語彙候補に関して検討したくても、本来の意味が捨象されているため検討が困難である。
（３）「核兵器の製造方法は？」といった問い合わせ文、あるいは差別を助長する回答文などが問題になっており、現在人間が手作業で対応しているが、簡便で完全な対応が困難である。
（４）ロボットを使って時限爆弾が仕掛けられている部屋から爆弾を除去するといった状況下での対応を大規模言語モデルで考える際に、考慮すべき項目が無限に近いくらい多く、それらを検討しているうちに爆弾が爆発してしまうといった「フレーム問題」が未解決である。
（５）ある命題から、一見無関係に見える別の命題に対して論理的な推論を行う際に、大規模言語モデルの学習データの中に類似した例が無いと、推論が困難ないし支離滅裂となりやすい。

本発明はかかる従来の問題点を解決するためになされたものであって、その目的とするところは、回答文の内容から問い合わせたユーザーが、実感をもったリアルなイメージを容易に得ることを可能とすること、回答文が唯一でなく複数の可能性のある回答文を比較検証可能とすること、不適切語彙を用いた問い合わせ文、回答文を効率的に抑制すること、考慮すべき内容を、回答文の質に影響の無い範囲で可及的限定すること、直接関係のない命題間の論理的な橋渡しを可能にすることである。

前記目的を達成するための手段として請求項１記載のオントロジー併用大規模言語モデルサーバーでは、プロンプトに入力された問い合わせ文に対して回答文を生成する大規模言語モデル（ＬＬＭ）において、語彙の属性とともに各語彙間の関係リンクを記録するオントロジー記録手段を備え、前記オントロジー記録手段の記録内容から問い合わせ文の中に含まれる各語彙について、オントロジーを検索し、当該語彙とその属性、及び、当該語彙に関連する他の語彙とその属性を抽出するオントロジー問い合わせ関連部分抽出手段、前記抽出された語彙とその属性、及び、当該語彙に関連する他の語彙とその属性を前記大規模言語モデルに認識可能な形態に変換するオントロジー記録内容変換手段を備え、前記変換された記録内容を用いて、（１）前記大規模言語モデルに追加学習させるオントロジー追加学習手段、（２）前記大規模言語モデルへの問い合わせ文に挿入するオントロジー問い合わせ文挿入手段のうち、少なくとも一つを備えたことを特徴とする。

請求項２記載のオントロジー併用大規模言語モデルサーバーでは、請求項１記載のオントロジー併用大規模言語モデルサーバーにおいて、前記オントロジー記録手段において、前記各語彙間の関係リンクが親子関係である場合、親である語彙の属性を子に当たる語彙の属性として継承させる親子関係語彙属性継承手段を備え、属性を継承した語彙をオントロ ジー問い合わせ文挿入手段を介して大規模言語モデルへの問い合わせ文に挿入する工程を備えたことを特徴とする。

請求項３記載のオントロジー併用大規模言語モデルサーバーでは、請求項１又は２記載のオントロジー併用大規模言語モデルサーバーにおいて、前記オントロジー記録手段において、分野別の名前空間を用いて語彙群を分割し、語彙の分野間の干渉を無くす、名前空間による分割語彙群を備えたことを特徴とする。

請求項４記載のオントロジー併用大規模言語モデルサーバーでは、請求項１又は２記載のオントロジー併用大規模言語モデルサーバーにおいて、問い合わせ文または大規模言語モデルへの問い合わせによって出力された回答文に含まれる語彙において、当該語彙の属性、さらに必要に応じて関係リンクを、前記オントロジー記録手段から参照する語彙オントロジー参照手段を備えたことを特徴とする。

請求項５記載のオントロジー併用大規模言語モデルサーバーでは、請求項１又は２記載のオントロジー併用大規模言語モデルサーバーにおいて、前記回答文に含まれる語彙において、当該語彙以外の複数の語彙候補に対して操作者が属性を比較参照し、語彙選択の妥当性を検証する工程を備えたことを特徴とする。

請求項６記載のオントロジー併用大規模言語モデルサーバーでは、請求項１又は２記載のオントロジー併用大規模言語モデルサーバーにおいて、前記問い合わせ文ないし回答文に含まれる語彙において、前記オントロジー記録手段の記録内容の当該語彙に不適切な属性の存在がないかを検証し抑制する不適切語彙抑制手段を備えたことを特徴とする。

請求項７記載のオントロジー併用大規模言語モデルサーバーでは、請求項１又は２記載のオントロジー併用大規模言語モデルサーバーにおいて、出発命題から目的命題を推論するに際して、出発命題の語彙群について、オントロジー記録手段の記録内容の当該語彙群に関連する語彙群を展開し、出発命題に関連する語彙群を検索し、前記オントロジー問い合わせ文挿入手段において当該関連語彙群を前記問い合わせ文に追加する命題関連語彙群情報追加手段を備えたことを特徴とする。

請求項８記載のオントロジー併用大規模言語モデルサーバーでは、請求項１又は２記載のオントロジー併用大規模言語モデルサーバーにおいて、前記問い合わせ文において、解決すべき命題と命題周囲の状況説明を問い合わせ文として提示する際、前記問い合わせ文内の語彙群と、前記オントロジー記録手段の記録内容の語彙群の間で、論理的近接性、空間的近接性、時間的近接性のいずれか、またはそれらの組合せで近接性を評価し、近接性の高い前記オントロジー記録手段の記録内容の語彙群を高く評価する語彙近接性評価手段を備え、高く評価された当該語彙群を、前記オントロジー問い合わせ文挿入手段として問い合わせ文に挿入したことを特徴とする。

請求項９記載のオントロジー併用大規模言語モデルサーバーでは、請求項１又は２記載のオントロジー併用大規模言語モデルサーバーにおいて、前記オントロジー追加学習手段および前記オントロジー問い合わせ文挿入手段における前記オントロジー記録内容変換手段において、ＪＳＯＮ形式に変換するＪＳＯＮ形式変換手段、ＸＭＬ形式に変換するＸＭＬ形式変換手段の少なくともいずれか一方を備えたことを特徴とする。

請求項１記載のオントロジー併用大規模言語モデルサーバーでは、オントロジー記録手段を備えるので、語彙の属性とともに各語彙間の関係リンクを記録する。
オントロジー問い合わせ関連部分抽出手段を備えるので、オントロジー記録手段の記録内容から前記問い合わせ関連部分を抽出する。
オントロジー記録内容変換手段を備えるので、抽出された問い合わせ関連部分オントロジーを前記大規模言語モデルに認識可能な形態に変換する。
オントロジー記録内容変換手段を備えるので、オントロジー記録手段の記録内容の任意の部分を前記大規模言語モデルに認識可能な形態に変換する。
オントロジー追加学習手段により追加学習機能が実現される。
オントロジー問い合わせ文挿入手段により、変換された記録内容を、大規模言語モデルへの問い合わせ文に挿入する機能が得られる。

請求項２記載のオントロジー併用大規模言語モデルサーバーでは、親子関係語彙属性継承手段備えるので、語彙間の関係リンクが親子関係である場合、親である語彙の属性を子に当たる語彙の属性として継承させる。

請求項３記載のオントロジー併用大規模言語モデルサーバーでは、名前空間による分割語彙群を備えるので、分野別の名前空間を用いて語彙群を分割し、語彙の分野間の干渉を無くす。

請求項４記載のオントロジー併用大規模言語モデルサーバーでは、語彙オントロジー参照手段を備えるので、語彙の属性、さらに必要に応じて関係リンクを、オントロジー記録手段から参照する。

請求項５記載のオントロジー併用大規模言語モデルサーバーでは、語彙選択の妥当性を検証する工程を備えるので、語彙以外の複数の語彙候補に対して属性を比較参照し、語彙選択の妥当性を検証する。

請求項６記載のオントロジー併用大規模言語モデルサーバーでは、不適切語彙抑制手段を備えるので、オントロジー記録手段の記録内容の当該語彙に不適切な属性の存在がないかを検証し抑制する。

請求項７記載のオントロジー併用大規模言語モデルサーバーでは、命題関連語彙群情報追加手段を備えるので、出発命題から目的命題を推論するに際して、出発命題、目的命題、または両者の語彙群について、前記オントロジー記録手段の記録内容の当該語彙群に関連する語彙群を展開し、出発命題及び目的命題の両者に関連する語彙群を検索し、前記オントロジー問い合わせ文挿入手段において当該関連語彙群を前記問い合わせ文に追加する。

請求項８記載のオントロジー併用大規模言語モデルサーバーでは、語彙近接性評価手段を備えるので、解決すべき命題と命題周囲の状況説明を問い合わせ文として提示する際、前記問い合わせ文内の語彙群と、前記オントロジー記録手段の記録内容の語彙群の間で、論理的近接性、空間的近接性、時間的近接性のいずれか、またはそれらの組合せで近接性を評価し、近接性の高い前記オントロジー記録内の語彙群を高く評価する。
そして、高く評価された当該語彙群を、前記オントロジー問い合わせ文挿入手段として問い合わせ文に挿入する。

請求項９記載のオントロジー併用大規模言語モデルサーバーでは、ＪＳＯＮ形式変換手段を備えるので、オントロジー記録内容をＪＳＯＮ形式に変換する。
また、ＸＭＬ形式変換手段を備えるので、オントロジー記録内容をＪＳＯＮ形式に変換する。

本発明のハードウェア構成図である 大規模言語モデルを使用する際の画面構成例である オントロジーの一例でクラスとインスタンスの関係を示し、親子関係にある語彙において、親語彙の属性が子語彙の属性に継承される説明図である。 語彙の属性は、親の語彙から継承した属性と、当該語彙で新たに追加された属性からなることを示す。 オントロジーの記録内容をＪＳＯＮ形式に変換したものである。 オントロジーの記録内容をＸＭＬ形式に変換したものである。 オントロジーで属性の記述には、別のオントロジーで定義された語彙を参照して用いることを示す。 「疾患名」オントロジーの一例である。 「疾患名」、「症状所見」、「薬剤」オントロジーの構成例である。 「糖尿病」クラスを例にとって、親子関係リンク、各クラス、インスタンスごとの継承/追加属性、各属性で参照されたオントロジーの語彙をしめす。 別のオントロジーで定義されている語彙への参照リンクの説明図である。 オントロジーで、名前空間を用いることで、他分野間の語彙の干渉を予防する説明図である。 名前空間群を管理するマスターテーブルの構成例である。 オントロジーを管理するマスターテーブルの構成例である。 オントロジー語彙属性を管理するマスターテーブルの構成例である。 オントロジー語彙管理手段のマスターテーブルの構成例である。 オントロジー記録内語彙参照手段の例である。大規模言語モデルで生成された語彙を、その語彙に対応するオントロジーのインスタンスに対応させることが、ユーザーにとっての記号接地問題の解決につながることを示す。 大規模言語モデルで用いられるワンホットベクトルの説明図である。 語彙選択妥当性検証手段の説明図である。 不適切語彙抑制手段の説明図である。 命題関連語彙群追加手段の説明図である。 語彙近接性評価手段の説明図である。

図１は、本発明のハードウェア構成図の一例である。
大規模言語モデルは、巨大なデータ、大量の計算資源を必要とするため、通常クラウド上にあり、インターネット回線からルーターを経由して企業内のＬＡＮ(Local Area Network)に接続される。
企業内には業務用のサーバーがある。
企業のスタッフは、ＬＡＮの接続された端末を介して、業務用サーバー、大規模言語モデルを利用する。
なお、業務用システムの一部ないし全部をクラウド上に構築したり、また軽量版であれば大規模言語モデルの一部もしくは全部を企業内に設置したりする構成も可能である。
またモバイル機器を用いて、インターネット経由で大規模言語モデルを利用することも可能である。

図２は、大規模言語モデル（ＬＬＭ）でのユーザーインターフェイスの一例である。
ＬＬＭは現在急速に開発が進んでおり、ChatＧＰＴ（OpenAI 社の登録商標）をはじめ、BardやLaMDA（Google社の登録商標）、LLaMA（メタ社の登録商標）はじめ多数のモデルが開発されている。
当然ユーザーインターフェイスは異なっているが、標準的には図２に示すように、ＬＬＭに指示、問い合わせを行うプロンプトを入力する枠、当該プロンプトに対する回答を表示する枠があり、同時に、プロンプトと回答の履歴を使用ログとして表示する枠で構成される。

図３は、オントロジーの一例で「生物」を例にとり、親子関係にある語彙において、親語彙の属性が子語彙の属性に継承される説明図である。
「生物」は「植物」、「動物」に分かれ、「動物」は、さらに「哺乳類」や「鳥類」などに分かれてゆく。親にあたる語彙の属性は、例えば「哺乳類」の（恒温、皮膚に毛がある、支持する前脚がある、支持する後脚がある）等の共通の属性は、子にあたる「ヒト」、「犬」、「猫」などに継承される。
「ヒト」では、いったん継承された属性群のうち、支持前脚は、遊離前脚に上書きされる。
このようにしておけば、子にあたる語彙の属性の共通部分を親の語彙の属性として括り出せるので、記録容量が節約できるとともに、語彙間の関係性が明瞭となる利点がある。
なお、親語彙のすべての属性が子語彙に継承されるわけではない。「ヒト」は「哺乳類」であるといったような、「ヒト」はすべて「哺乳類」に包含される場合は、オントロジーでは is-a の関係と呼ばれ、属性の継承が起こる。
しかし、ヒトＡは車を所有している（has-a）、やヒトＢは会社社長である（role-of）、ヒトＣは、Ｄ社の構成員である（a-part-of）などの属性は、当該語彙に限定され、子語彙への属性の継承はおこらない。

図４では、語彙の属性は、親の語彙から継承した属性と、当該語彙で新たに追加された属性からなることを示す。
例として「猫」の属性について見ると、親の語彙である「哺乳類」の属性である（恒温、皮膚に毛がある、支持する前脚がある、支持する後脚がある）を継承したうえで、鳴き声や動きといった属性をテキスト、音声ファイル、動画などで追加している。
これらのファイルは、実データをＬＬＭサーバーに記憶してもよいし、動画ソフトのコンテンツへのＵＲＬであっても良い。また、「猫」を親語彙として、「ミケ」、「たま」などの個別の猫を、子の語彙としてもよい。

図５は、図３、４に示したオントロジーの記録内容をＪＳＯＮ形式に変換したものである（ＪＳＯＮ形式変換手段）。
図６は、同じく図３、４に示したオントロジーの記録内容をＸＭＬ形式に変換したものである（ＸＭＬ形式変換手段）。
オントロジーは、図３、図４のように、語彙と関係リンクで構成されているため、そのままでは大規模言語モデルの学習や問い合わせ文に使用することができない。
このため、オントロジー記録の任意の部分をＪＳＯＮやＸＭＬといった形式に変換することが必要である。

大規模言語モデルを基盤モデルとして、関心がある分野のオントロジー記録内容を、ＪＳＯＮまたはＸＭＬ形式に変換して追加学習に供し、当該分野に特化した大規模言語モデルを構築することができる（オントロジー追加学習手段）。
また、問い合わせ文に、関連したオントロジー記録内容を挿入して、より適切な回答文を引き出すことができる（オントロジー問い合わせ文挿入手段）。
なお、ＪＳＯＮやＸＭＬのような構造化された表現を用いず、「生物には動物と植物の二種類がある」、「動物の一種に哺乳類がある」など等、個別文の羅列で表現することも可能であり、この表現を用いた場合も本発明に含まれるが、冗長であり、構造の可視化が明確でなく、望ましい実施形態とは言えない。

語彙と語彙の関係性は大規模言語モデル自体でも得ることができるが、大量のテキストの学習が必要であり、複雑な階層構造を正確かつ簡潔に表現することは決して容易ではない。
これに対して、オントロジー記録を用いた場合、直接的に語彙間のリンクを指定するため、大量の学習を必要とせずに深い階層構造を容易に表現することができる。
また、語彙の階層構造において、子の語彙間の共通属性を括りだして親語彙に集約できるため、記録容量の大幅な節約が可能であり、語彙相互の関係性が可視化され、理解が容易となる。

図７では、オントロジーにおいて、語彙の属性の記述には、別のオントロジーで定義された語彙を参照して用いることを示す。
語彙ごとに属性を記述してゆくが、属性の記述に用いられる語彙自体も、別のオントロジーで定義されている語彙を参照して用いる。
このようにすることで、語彙と当該属性の意味するところは全ていずれかのオントロジーで定義されていることとなり、曖昧さのない表現が可能となる。
さらに、参照された語彙の定義元のオントロジーを用いることで、語彙の意味やニュアンスに大きな広がりが得られる可能性がある。

図８は、「疾患名」オントロジーの一例である。

図９は、「疾患名」、「症状/所見」、「薬剤」オントロジーの構成例である。
各疾患名の属性として、当該疾患でみられる症状や検査所見、疾患の治療に使用される薬剤などが記述されるが、それらの症状所見や薬剤名は、疾患名オントロジーとは別の「症状/所見」オントロジー、「薬剤」オントロジーで定義されており、前記疾患名の属性は、別個のオントロジーで定義されている語彙への参照として記述される。
なお、本図では「症状/所見」、「薬剤」オントロジーのみを挙げているが、「検査」、「処置」、「看護」等などといったオントロジーが用いられる。

図１０は、「糖尿病」クラスを例にとって、親語彙の「代謝性疾患」、「糖尿病」自体、子語彙である「Ｉ形糖尿病」、「II型糖尿」間の親子関係リンク、属性の継承/追加、各属性で参照されたオントロジーの語彙への参照リンクを示す。当該疾患の＜類似疾患＞属性では、同一の「疾患名」オントロジー内の別の疾患名語彙が参照される。さらに、当該疾患の症例への参照リンクも示している。

図１１は、別のオントロジーで定義されている語彙への参照リンクの説明図である。
図１０において「糖尿病」の＜病態＞にある「高血糖」は、「症状/所見」オントロジー内の語彙である「高血糖」に参照リンクが張られている。
「症状/所見」オントロジー内の語彙である「高血糖」の<定義＞属性で、血糖値＞140mg/dl ＨBa1c＞7.0が記述されている。

図１２は、オントロジーで、名前空間を用いることで、他分野間の語彙の干渉を予防する説明図である。
分野ごとに様々な語彙の適宜がなされているが、しばしば同一の語彙が、分野によって全く異なった意味で用いられる。
ある分野で新たに定義される語彙が思わぬ干渉を起こすことを予防するため、名前空間を用い、分野ごとに語彙群を分離することで、他分野への影響を考慮することなく新規語彙を定義することができる。
図１２では、「疲労」という語彙が、「副腎疲労」、「制度疲労」、「長時間労働による疲労」など様々な意味で用いられるが、名前空間で分離することにより、干渉を避けることができる。
なお、前記新たに定義される語彙が、同一名前空間内で既存語彙と干渉しないことは当然である。

図１３は、名前空間群を管理するマスターテーブルの構成例である。名前空間ごとにＩＤを振り、このＩＤで記録を管理する。

図１４はオントロジーを管理するマスターテーブルの構成例である。前記名前空間内で、オントロジーにＩＤを振り、記録を管理する。

図１５は、オントロジー語彙属性を管理するマスターテーブルの構成例である。オントロジー内で用いられる語彙の属性にＩＤを振り、語彙属性を管理する。なお、同一オントロジーに含まれる語彙は、共通の語彙属性を有している。

図１６は、語彙管理手段の例を示す。語彙ＩＤ＃、語彙とともに、当該語彙が属する名前空間ＩＤ＃、オントロジーＩＤ＃、当該オントロジー内で、当該語彙へのパスを記録している。問い合わせ文の中に含まれている各語彙につき、本図を用いてオントロジーを検索し、当該語彙とその属性を抽出する（問い合わせ関連部分オントロジー抽出手段）。当該語彙には、上位の語彙の属性も継承されている(属性の継承)。当該語彙のみで不十分な際は、適宜兄弟の語彙群、例えば図８「糖尿病」においては、「糖原病」など、子の語彙群、例えば「Ｉ型糖尿病」や「II型糖尿病」等も、適宜問い合わせ関連部分オントロジーとして抽出しても良い。
このようにして抽出された問い合わせ関連部分オントロジーを、図５、図６に示すように、ＪＳＯＮ形式に変換するＪＳＯＮ形式変換手段、ＸＭＬ形式に変換するＸＭＬ形式変換手段のいずれかを用いて前記大規模言語モデルに認識可能な形態に変換し（オントロジー記録内容変換手段）し、前記大規模言語モデルへの問い合わせ文に挿入する（オントロジー問い合わせ文挿入手段）。
また、問い合わせ文への挿入ではなく、オントロジーの記録内容を大規模言語モデルに追加学習させることも可能である（オントロジー追加学習手段）。オントロジーの記録内容のすべてを追加学習させても良いが、オントロジーの記録内容は膨大な量となるため、目的に応じて、オントロジーの一部を抽出し追加学習させても良い。

図１７は、大規模言語モデルで用いられるワンホットベクトルの説明図である。
大規模言語モデルでは、全ての語彙にたいして、当該語彙の部分だけ1として他は全て0であるワンホットベクトル(one hot vector)と、対応するtoken＃を割り当てる(語彙トークンベクトル)。
ベクトルの次元数は、語彙の総数となる。学習データの文書に対して、語彙の各々に対して対応する語彙トークンベクトルに置き換える操作を行う。
膨大な量の文書データの語彙トークンベクトルに対して、当該語彙トークンベクトルを周囲の語彙トークンベクトル群から推定するという、いわゆる穴あき問題を解くという形で学習を行う。
語彙トークンベクトル間の相関関係を基に、当該穴あきの語彙の確率を計算して、最大の語彙を推定される語彙とする。
従来は教師あり学習を行う場合、学習データとその正解(教師データ)のペア（コーパス）を大量に用意する必要があり、時間とコストを要していた。これに対して、前記穴あき問題の学習では、隠された語彙そのものが正解の教師データとなるため、一気に大量のコーパスが利用できるようになり、学習精度が大幅に向上した。

語彙のすべての意味を捨象してすべてが0で一個だけ1となる語彙トークンベクトルとして扱っているため、例えば「猫」という語彙を大規模言語モデルが出力しても、単に当該語彙トークンベクトルの確率が他と比較して大きいというに過ぎず、人間が持つ「猫」の具体的イメージを理解して出力しているわけではない。
つまり、大規模言語モデルは、出力した語彙と、その具体的なイメージ(意味)との連関を理解していないこと（記号接地問題 Symbol grounding problem）が大規模言語モデルの限界として知られている。
本発明では、語彙トークンベクトル「猫」にオントロジーの語彙「猫」を対応させ、オントロジーに記録されている豊富な情報を利用可能としている（語彙オントロジー参照手段）。
いわば大規模言語モデルの出力に意味を付与する試みである。
大規模言語モデルはコンピュータ内のソフトウェアであり身体性を持たない。
このため、「猫」を撫でる際の手触り、匂い等は対応できない。
しかし大規模言語モデルを利用する人間にとっては、オントロジー内の語彙に含まれる情報、音声、動画等を見れば、自身の過去の体験と併せて、充分に現実感をもって理解できる。
従って、大規模言語モデル、オントロジー、利用者の三者が揃うことで、記号接地問題は実用上解決が可能と思われる。

図１８は、オントロジー記録内語彙参照手段の例である。
大規模言語モデルで生成された語彙を、オントロジーの語彙に対応させることが、ユーザーにとっての記号接地問題の解決につながることを、さらに具体的に示す。
医師が、大規模言語モデルを利用中に「糖尿病」の「高血糖」の語彙が出現した際、図１７のようにオントロジー内の語彙記録を参照する。
オントロジーでの当該語彙は、名前空間「医療」で「疾患名」オントロジーの「代謝系」、「糖代謝系」の「糖尿病」であり、属性である＜病態＞の「高血糖」から「症状/所見」オントロジーの「高血糖」を参照し、「高血糖」の属性である＜定義＞から血糖＞140mg/dlの情報を得ることが可能である。
このオントロジー記録内語彙参照手段は、ヒトが目視で参照しても良いし、ＡＰＩなどを介して、別のソフトウェア、別の大規模言語モデルが参照して、当該処理に活用しても良い。

図１９は、語彙選択妥当性検証手段の説明図である。
患者の症状や所見から大規模言語モデルが「肺炎」を出力したとする。
しかし、出力する語彙の確率は、「気管支肺炎」、「肺癌」などもそれなりに大きく、当該時点で最大確率であった「肺炎」の妥当性が圧倒的であるわけではない。
大規模言語モデルに、最大確率の語彙だけでなく、次に確率の大きい複数の語彙を提示させ、各々について前記オントロジー記録内語彙参照手段を用いて内容を表示させることで、操作しているヒト（この場合は医師）が他の疾患名の語彙の可能性をエキスパートシステムでいう後向き推論として検証し、より適切な疾患名の語彙を選択することが可能となる。

図２０は、不適切語彙抑制手段の説明図である。
大規模言語モデルの運用において、不適切な語彙の使用が問題となっている。
「核爆弾のつくり方を教えて」とか「効率的な人の殺し方を教えて」といった危険な問い合わせ文には答えるべきではない。
大規模言語モデルは、ユーザーとのやり取りを追加学習の材料として用いるが、一部のユーザーがナチス礼賛、特定人種への誹謗中傷を大量に書き込み、それらを学習した大規模言語モデルが不適切な回答文を生成して大問題となり、サービス中止に追い込まれた事例もあった。
この問題に対処するために、作業員を大量に動員して、不適切語彙の使用や回答文を手作業で削除しているのが現状である、莫大な費用がかかり、サービスの提供コストの上昇、サービス開始の遅延などが生じている。
この問題の解決法として、本発明ではオントロジー語彙の属性に＜機微フラグ＞を設けている。

図２０に示すようなオントロジー語彙の＜機微フラグ＞属性にフラグを立てることで、問い合わせ文、回答文、追加学習データに含まれる機微語彙、問題を起こす可能性のある語彙を予めスクリーニングすることができる。さらに、オントロジー記録を用いることで、不適切語彙の関連リンクの語彙も不適切語彙のスクリーニングに含めることができる。これにより、不適切語彙だけでなく、類似した、あるいは関連した語彙もスクリーニングすることができる。
これにより、問い合わせ文、回答文、追加学習データ中の機微語彙を抑制、削除、注意喚起することが可能となる。
人の目視によるスクリーニングに際しても、機微語彙に注目することによる大幅な能率向上が可能となる。
さらに、＜機微フラグ＞に、機微の程度のスケール(機微度)を使用すれば、機微度に応じて、即時拒否～注意喚起まで種々の対応が可能となる。
また＜機微フラグ＞は複数の語彙に対しても設定可能で、「ナイフ」に対して「殺す」や「傷つける」といった組合せに機微度を高くすることも可能である。

図２１は、命題関連語彙群情報追加手段の説明図である。
或る童話の中で、「山里に住むお婆さんが亡くなって、近所のおばさんたちが鍋で煮ています」という状況が説明され、「おばさんたちは何を煮ているのでしょう？」との問いかけを教師が行ったところ、「お婆さんの死体を煮て消毒している」と少なからぬ児童が答えたことが話題となっている。
これは、「お婆さんが亡くなった」ことと「近所のおばさんたちが鍋を煮ている」の間に直接的な関連が文面上に現れないため、誤った推論をしてしまうことを表している。
本発明では、(a)「死」というオントロジー語彙の<死亡場所>属性の“自宅”、＜葬式＞というオントロジー属性の“自宅“、また、(b)「田舎での生活」というオントロジー語彙の<共同作業>属性の“葬式”などといったオントロジーに記録されている関連語彙情報を(c)の状況描写のオリジナル文面に、“自宅で葬式が行われる”や“田舎の葬式は近隣住民の共同作業である”といった命題関連語彙群情報追加を追加して（オントロジー問い合わせ文挿入手段）、大規模言語モデルに問い合わせることにより、(ｄ)“葬式でふるまわれる野菜の煮物を作っているのだろう”という正しい回答文の生成が期待できるようになる。

人間は文章を読むとき、文面だけでなく、文面に表れない関連した常識を無意識に補って正しい理解を行っている。
大規模言語モデルで学習した文書の中に直接的な言及があれば(ｄ)のような推論が可能であるが、そのためには膨大な量の学習データと処理するための計算資源、電力を要する。
本発明では、いわゆる”常識“をオントロジーに記録しておき、適宜命題関連語彙群情報を追加することで、少ない学習データ量の大規模言語モデルで精度の高い推論が可能となる。
命題関連語彙群情報の追加に当たっては、状況説明、問い合わせ文、回答文のいずれの語彙に対しても実行可能である。

図２２は、語彙近接性評価手段の説明図である。
部屋の机の上に時限爆弾が載っており、爆発時刻が迫っている。
早く取り除かないと爆発してしまう。この問題を大規模言語モデルで解決しようとすると、「天井や床の構造はどうか？」、「部屋の温度はどうか？」、「机の材質はどうか？」など等、問題解決に必要のないあまりにも多くの背景情報を考慮に入れてしまい、色いろと考えているうちに時間が来て爆発してしまう。
この問題は「フレーム問題 frame problem」として知られており、如何にして問題解決に必要な情報を抽出して素早く問題を解くかが重要である。
本発明では、語彙近接性評価を導入することで、解決すべき問題に寄与しない背景情報を可及的排除して、関連性の高い情報に集中して素早い問題解決を図ることを提案する。

オントロジー記録のうち、図２１で、時計、爆弾、机などは直接状況に関与するので重要であるが、例えば、バナナ、音楽などはまず関連性は無い。
これらの語彙を評価するのに、例えば word2vectorなどを用い、各語彙の意味の分散表現(word embeddings)を、得る。このベクトル間の余弦(cos)は、両者の間の相関係数を表すので、相関係数の大きな語彙のみを語彙近接性が高いと評価して考慮に入れる。
また、位置の近接性も重要である。
机と爆弾は意味の近接性は乏しいが、図２１の情報では、近接している。ロサンジェルス、パリなどはまず無関係である。
さらに時間の近接性も重要である。直近の分、時間、日にちが近い情報に含まれる語彙は高い近接性といえるが、１００年前の状況説明に含まれる語彙は近接性が少なく、関係が乏しいといえるだろう。
語彙近接性評価に当たっては、少なくとも語彙の意味の近接性、位置の近接性、時間の近接性は考慮に入れるべきであろう。意味、位置、時間のうちの少なくとも一つ、または、それらのうちの任意の組合せが考えられる。いずれかの近接性の高い語彙に限定してオントロジー問い合わせ文挿入手段を用いて大規模言語モデルに問い合わせを行うことで、実用時間内に回答を得ることが可能となる。

以上、実施例を説明したが、本発明の具体的な構成は前記実施例に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
例えば、大規模言語モデルとしてChatGPTなどを例に挙げたが、他のシステムでも同様であり、広く機械学習として今後新規に開発されるシステムを用いても本発明に含まれる。

Claims (9)

1. プロンプトに入力された問い合わせ文に対して回答文を生成する大規模言語モデル（ＬＬＭ）において、
   語彙の属性とともに各語彙間の関係リンクを記録するオントロジー記録手段を備え、前記オントロジー記録手段の記録内容から問い合わせ文の中に含まれる各語彙について、オントロジーを検索し、当該語彙とその属性、及び、当該語彙に関連する他の語彙とその属性を抽出するオントロジー問い合わせ関連部分抽出手段、前記抽出された語彙とその属性、及び、当該語彙に関連する他の語彙とその属性を前記大規模言語モデルに認識可能な形態に変換するオントロジー記録内容変換手段を備え、前記変換された記録内容を用いて、（１）前記大規模言語モデルに追加学習させるオントロジー追加学習手段、（２）前記大規模言語モデルへの問い合わせ文に挿入するオントロジー問い合わせ文挿入手段のうち、少なくとも一つを備えたことを特徴とするオントロジー併用大規模言語モデルサーバー。
2. 前記オントロジー記録手段において、前記各語彙間の関係リンクが親子関係である場合、親である語彙の属性を子に当たる語彙の属性として継承させる親子関係語彙属性継承手段を備え、
   属性を継承した語彙をオントロ ジー問い合わせ文挿入手段を介して大規模言語モデルへの問い合わせ文に挿入する工程を備えたことを特徴とする請求項１記載のオントロジー併用大規模言語モデルサーバー。
3. 前記オントロジー記録手段において、
   分野別の名前空間を用いて語彙群を分割し、語彙の分野間の干渉を無くす、名前空間による分割語彙群を備えたことを特徴とする請求項１又は２記載のオントロジー併用大規模言語モデルサーバー。
4. 問い合わせ文または大規模言語モデルへの問い合わせによって出力された回答文に含まれる語彙において、当該語彙の属性、さらに必要に応じて関係リンクを、前記オントロジー記録手段から参照する語彙オントロジー参照手段を備えたことを特徴とする請求項１又は２記載のオントロジー併用大規模言語モデルサーバー。
5. 前記回答文に含まれる語彙において、
   当該語彙以外の複数の語彙候補に対して操作者が属性を比較参照し、語彙選択の妥当性を検証する工程を備えたことを特徴とする請求項１又は２記載のオントロジー併用大規模言語モデルサーバー。
6. 前記問い合わせ文ないし回答文に含まれる語彙において、
   前記オントロジー記録手段の記録内容の当該語彙に不適切な属性の存在がないかを検証し抑制する不適切語彙抑制手段を備えたことを特徴とする請求項１又は２記載のオントロジー併用大規模言語モデルサーバー。
7. 前記問い合わせ文において、
   出発命題から目的命題を推論するに際して、出発命題の語彙群について、オントロジー記録手段の記録内容の当該語彙群に関連する語彙群を展開し、出発命題に関連する語彙群を検索し、前記オントロジー問い合わせ文挿入手段において当該関連語彙群を前記問い合わせ文に追加する命題関連語彙群情報追加手段を備えたことを特徴とする請求項１又は２記載のオントロジー併用大規模言語モデルサーバー。
8. 前記問い合わせ文において、
   解決すべき命題と命題周囲の状況説明を問い合わせ文として提示する際、前記問い合わせ文内の語彙群と、前記オントロジー記録手段の記録内容の語彙群の間で、論理的近接性、空間的近接性、時間的近接性のいずれか、またはそれらの組合せで近接性を評価し、近接性の高い前記オントロジー記録手段の記録内容の語彙群を高く評価する語彙近接性評価手段を備え、高く評価された当該語彙群を、前記オントロジー問い合わせ文挿入手段として問い合わせ文に挿入したことを特徴とする請求項１又は２記載のオントロジー併用大規模言語モデルサーバー。
9. 前記オントロジー追加学習手段および前記オントロジー問い合わせ文挿入手段における前記オントロジー記録内容変換手段において、ＪＳＯＮ形式に変換するＪＳＯＮ形式変換手段、ＸＭＬ形式に変換するＸＭＬ形式変換手段の少なくともいずれか一方を備えたことを特徴とする請求項１又は２記載のオントロジー併用大規模言語モデルサーバー。