JP7805397B2 - 学習データセット生成システム、学習データセット生成方法及びプログラム - Google Patents

Description

本発明は、学習データセット生成システム、学習データセット生成方法及びプログラムに関する。

ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅｓ）の普及に伴い、近年、判定対象のテキストを入力として受け付け、該判定対象のテキストが有害な内容を示すものであるか否かを判定する機械学習モデル（以下、「判定モデル」という。）の開発が進められている。

また、上記のような判定モデルの学習に用いられ、有害な内容を示す有害テキストを含む学習データセットを生成する技術が種々検討されている（例えば非特許文献１参照）。

Thomas Hartvigsen, Saadia Gabriel, Hamid Palangi, Maarten Sap, Dipankar Ray, and Ece Kamar. 2022. ToxiGen: A large-scale machine-generated dataset for adversarial and implicit hate speech detection. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 3309-3326, Dublin, Ireland. Association for Computational Linguistics.

上記従来技術よりも効率的に、かつ精度よく学習データセットを生成できる技術が望まれている。従来技術による学習データセットの生成は、人手による作業を含んでいる。そのため、効率及び精度の面において改善の余地がある。

本発明は上記課題に鑑みてなされたものであって、その目的の一つは、判定モデルの学習に用いられる学習データセットを効率的に、かつ精度よく生成できる学習データセット生成システム、学習データセット生成方法及びプログラムを提供することにある。

本発明の一実施形態に係る学習データセット生成システムは、判定対象のテキストを入力として受け付け、該判定対象のテキストが有害な内容を示すものであるか否かを判定する判定モデルの学習に用いられ、有害な内容を示す有害テキストを含む学習データセットを生成する学習データセット生成システムであって、少なくとも１つの言語モデルを含むテキスト生成手段と、有害な内容を示すテキストを生成するよう指示する有害テキスト生成プロンプトを前記テキスト生成手段に入力し、該テキスト生成手段から出力される推定有害テキストを取得する推定有害テキスト取得手段と、前記推定有害テキストが有害な内容を示すものであるか否かを検証するよう指示する有害検証プロンプトを前記テキスト生成手段に入力し、該テキスト生成手段から出力される有害検証結果を取得する有害検証手段と、前記有害検証結果に基づいて、該推定有害テキストを前記学習データセットに追加するか否かを判定し、前記推定有害テキストを前記学習データセットに追加すると判定した場合に、該推定有害テキストを前記有害テキストとして前記学習データセットに追加する追加判定手段と、を有する。

本発明によれば、判定モデルの学習に用いられる学習データセットを効率的に、かつ精度よく生成できる。

本発明の実施形態に係る学習データセット生成システムのハードウェア構成の一例を示す図である。 有害テキスト生成処理の一例を示すフロー図である。 推定有害テキストを取得する処理を説明する図である。 推定有害テキストについての検証処理を説明する図である。 無害テキスト生成処理の一例を示すフロー図である。 推定無害テキストを取得する処理を説明する図である。 推定無害テキストについての検証処理を説明する図である。 非明示無害テキスト生成処理の一例を示すフロー図である。 推定非明示無害テキストを取得する処理を説明する図である。 推定非明示無害テキストについての検証処理を説明する図である。 非明示有害テキスト生成処理の一例を示すフロー図である。 推定非明示有害テキストを取得する処理を説明する図である。 テキスト種別を推定する処理を説明する図である。 テキスト種別推定結果を説明する図である。 本発明の実施形態に係る学習データセット生成システムで実現される機能の一例を示す機能ブロック図である。

以下、本発明の一実施形態について、図面を参照しながら説明する。

［１．学習データセット生成システムのハードウェア構成］
図１は、本発明の実施形態に係る学習データセット生成システム１のハードウェア構成の一例を示す図である。本実施形態に係る学習データセット生成システム１は、パーソナルコンピュータ等のコンピュータである。図１に示すように、学習データセット生成システム１は、テキスト生成サーバ１０（テキスト生成手段）及びユーザ端末１２を含む。テキスト生成サーバ１０及びユーザ端末１２は、インターネットやＬＡＮ等のネットワークＮにより相互に接続される。

なお、本実施形態では、学習データセット生成システム１が、互いに異なるコンピュータであるテキスト生成サーバ１０及びユーザ端末１２により構成される場合を例示するが、学習データセット生成システム１は単一のコンピュータにより構成されてもよい。また、テキスト生成サーバ１０及びユーザ端末１２はそれぞれ複数のコンピュータによって構成されてもよい。テキスト生成サーバ１０又はユーザ端末１２は、複数のコンピュータによって構成される場合、クラウドシステムによって実装されてもよい。

テキスト生成サーバ１０は、制御部１０ａ、記憶部１０ｂ及び通信部１０ｃを含むサーバコンピュータである。例えば記憶部１０ｂに記憶されるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。記憶部１０ｂは、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブ等である。記憶部１０ｂには、制御部１０ａによって実行されるプログラム等が記憶される。通信部１０ｃは、ネットワークボードや無線ＬＡＮモジュール等の通信インタフェースである。

ユーザ端末１２は、制御部１２ａ、記憶部１２ｂ、通信部１２ｃ、操作部１２ｄ及び表示部１２ｅを含むパーソナルコンピュータである。制御部１２ａ、記憶部１２ｂ及び通信部１２ｃの物理的構成は、それぞれ制御部１０ａ、記憶部１０ｂ及び通信部１０ｃの物理的構成と同様であってよい。操作部１２ｄは、キーボードやマウス、タッチパネル等の入力デバイスである。表示部１２ｅは、液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイである。

［２．学習データセット生成システムで実行される処理］
以下では、図２～図１４を用いて、本実施形態に係る学習データセット生成システム１で実行される処理について説明する。

本実施形態に係る学習データセット生成システム１が生成する学習データセット（以下、単に「学習データセット」ということがある。）は、有害な内容を明示的に示す有害テキスト、有害な内容を非明示的に示す非明示有害テキスト、無害な内容を明示的に示す無害テキスト及び無害な内容を非明示的に示す非明示無害テキストの４種類のテキストデータそれぞれを１以上含むデータセットである。したがって、以下の説明では、有害テキストを生成する有害テキスト生成処理、無害テキストを生成する無害テキスト生成処理、非明示無害テキストを生成する非明示無害テキスト生成処理、及び非明示有害テキストを生成する非明示有害テキスト生成処理のそれぞれに分けて説明する。

［２－１．有害テキスト生成処理］
図２は、有害テキスト生成処理の一例を示すフロー図である。図３は、推定有害テキストＥＴ１を取得する処理を説明する図である。図４は、推定有害テキストＥＴ１についての検証処理を説明する図である。

（１）推定有害テキストの取得
まず、図３に示すように、学習データセット生成システム１は、有害テキスト生成プロンプトＧＰ１を言語モデルＬＭに入力し、言語モデルＬＭから出力される推定有害テキストＥＴ１を取得する。

具体的には、図２に示すように、ユーザ端末１２が、有害テキスト生成プロンプトＧＰ１をテキスト生成サーバ１０に送信する（Ｓ２００）。有害テキスト生成プロンプトＧＰ１を受信したテキスト生成サーバ１０は、有害テキスト生成プロンプトＧＰ１を言語モデルＬＭに入力し、言語モデルＬＭから出力される推定有害テキストＥＴ１を取得する（Ｓ２０２）。そして、テキスト生成サーバ１０は、言語モデルＬＭから出力された推定有害テキストＥＴ１をユーザ端末１２に送信する（Ｓ２０４）。

言語モデルＬＭは、大量のテキストデータを用いた学習により生成された、自然言語処理を行う機械学習モデルである。言語モデルＬＭは、プロンプトを入力として受け付け、該プロンプトが示す内容に応じた応答文を出力するように学習された機械学習モデルである。プロンプトは、例えば、言語モデルＬＭの出力内容を指示する指示文や、言語モデルＬＭの出力内容を制限するための条件を示す条件文等を含むテキストデータである。

なお、一部の言語モデルには、有害なテキストの生成を制限する機構（Ｍｏｄｅｒｅｔｉｏｎ Ｍｅｃｈａｎｉｓｍ）が備わっているが、本実施形態では、かかる機構を備えていない言語モデルＬＭを用いるものとする。具体的には、本実施形態では、言語モデルＬＭがＭｉｓｔｒａｌ－７Ｂ（Ｍｉｓｔｒａｌ ＡＩ社）である場合を例示する。ただし、言語モデルＬＭは、この例に限定されず、Ｍｉｓｔｒａｌ－７Ｂよりも多数のパラメータを有する、いわゆる大規模言語モデルであってもよい。あるいは、言語モデルＬＭは、Ｍｉｓｔｒａｌ－７Ｂよりも少数のパラメータを有する言語モデルであってもよい。また、本実施形態では、言語モデルＬＭが、いわゆるチャットボット形式のものである場合を例示するが、言語モデルＬＭはチャットボット形式のものでなくてもよい。

有害テキスト生成プロンプトＧＰ１は、有害な内容を示すテキストを生成するよう指示するプロンプトである。具体的には、有害テキスト生成プロンプトＧＰ１は、生成対象となるテキストが示す有害な内容を指定するための有害内容指定語句ＧＰ１ａと、有害内容指定語句ＧＰ１ａにより指定される有害な内容を示すテキストを生成するよう指示するための指示語句ＧＰ１ｂと、を含む。

有害な内容は、例えば、ヘイトスピーチ、ハラスメント、自傷的な内容、わいせつな内容、暴力的な内容、又は残虐的な内容であってよい。すなわち、有害テキスト生成プロンプトＧＰ１は、例えば、ヘイトスピーチ、ハラスメント、自傷的な内容、わいせつな内容、暴力的な内容、又は残虐的な内容を示すテキストを生成するよう指示するプロンプトであってよい。本実施形態では、有害な内容がヘイトスピーチである場合を例示する。ヘイトスピーチは、人種、性別、民族、宗教、出身国、性的指向、障害の有無、カースト、経済的・社会的出自等に基づく所定のコミュニティに属する個人又は集団を攻撃、脅迫、侮辱又は差別等する発言又は言動のことをいう。図３に本実施形態の有害テキスト生成プロンプトＧＰ１を示すが、文面はこの例に限られない。

より具体的には、本実施形態の有害テキスト生成プロンプトＧＰ１は、有害な内容を明示的に示すテキストを生成するよう指示するプロンプトである。有害テキスト生成プロンプトＧＰ１は、テキストの示す内容を明示化させるための明示語句ＧＰ１ｃを含む。明示語句ＧＰ１ｃは、例えば、「明示的に」、「明らかに」、「明白に」、「明瞭に」、「はっきりと」、「直接的に」等の語句である。なお、有害テキスト生成プロンプトＧＰ１は、明示語句ＧＰ１ｃを含まなくてもよい。すなわち、有害テキスト生成プロンプトＧＰ１は、単に（明示的か否かを指定せず）有害な内容を示すテキストを生成するよう指示するプロンプトであってもよい。

（２）推定有害テキストについての検証
次に、図４に示すように、学習データセット生成システム１は、有害検証プロンプトＶＰ１を言語モデルＬＭに入力し、言語モデルＬＭから出力される有害検証結果ＶＲ１を取得する。

具体的には、図２に示すように、ユーザ端末１２が、有害検証プロンプトＶＰ１をテキスト生成サーバ１０に送信する（Ｓ２０６）。有害検証プロンプトＶＰ１を受信したテキスト生成サーバ１０は、有害検証プロンプトＶＰ１を言語モデルＬＭに入力し、言語モデルＬＭから出力される有害検証結果ＶＲ１を取得する（Ｓ２０８）。そして、テキスト生成サーバ１０は、言語モデルＬＭから出力された有害検証結果ＶＲ１をユーザ端末１２に送信する（Ｓ２１０）。

有害検証プロンプトＶＰ１は、推定有害テキストＥＴ１が有害な内容を示すものであるか否かを検証するよう指示するプロンプトである。具体的には、有害検証プロンプトＶＰ１は、推定有害テキストＥＴ１が有害な内容を明示的に示すものであるか否かを検証するよう指示するプロンプトである。より具体的には、有害検証プロンプトＶＰ１は、有害な内容を指定するための有害内容指定語句ＶＰ１ａと、推定有害テキストＥＴ１が有害内容指定語句ＶＰ１ａにより指定される有害な内容を明示的に示すものであるか否かを検証するよう指示するための指示語句ＶＰ１ｂと、を含む。なお、有害テキスト生成プロンプトＧＰ１が明示語句ＧＰ１ｃを含まない場合、有害検証プロンプトＶＰ１は、単に（明示的か否かを指定せず）推定有害テキストＥＴ１が有害な内容を示すものであるか否かを検証するプロンプトであってよい。

なお、有害検証プロンプトＶＰ１は、クローズドクエスチョン形式の質問文であることが好ましい。これにより、言語モデルＬＭから出力される有害検証結果ＶＲ１が、図４に示すように、肯定語句（はい、Ｙｅｓ等）又は否定語句（いいえ、Ｎｏ等）のいずれか（又はこれらに相当する語句）を含むテキストとなる可能性が高くなり、後述するステップＳ２１２の処理に便宜となる。なお、有害検証プロンプトＶＰ１は、肯定語句又は否定語句のいずれかで答えるように指示するための語句を更に含んでもよい。

また、本実施形態では、言語モデルＬＭが動作するテキスト生成サーバ１０の記憶部に、ユーザ端末１２とテキスト生成サーバ１０との間でのセッション情報が記憶される。Ｓ２２において、検証の対象となる推定有害テキストＥＴ１を改めて言語モデルＬＭに入力する必要はない。ただし、Ｓ２２において、推定有害テキストＥＴ１を改めて言語モデルＬＭに入力するようにしてもよい。このことは、後述する無害テキスト生成処理及び非明示無害テキスト生成処理にも当てはまる。

（３）学習データセットへの追加判定
最後に、学習データセット生成システム１は、有害検証結果ＶＲ１に基づいて、推定有害テキストＥＴ１を学習データセットに追加するか否かを判定し、推定有害テキストＥＴ１を学習データセットに追加すると判定した場合に、推定有害テキストＥＴ１を有害テキストとして学習データセットに追加する。

具体的には、図２に示すように、ユーザ端末１２は、有害検証結果ＶＲ１を参照し、推定有害テキストＥＴ１が有害な内容を明示的に示すものであるか否かを判定する（Ｓ２１２）。ユーザ端末１２は、推定有害テキストＥＴ１が有害な内容を明示的に示すものであると判定した場合（Ｓ２１２；Ｙ）、推定有害テキストＥＴ１を有害テキストとして記憶部１２ｂに格納し（Ｓ２１４）、本処理を終了する。ユーザ端末１２は、推定有害テキストＥＴ１が有害な内容を明示的に示すものでないと判定した場合（Ｓ２１２；Ｎ）、そのまま本処理を終了する。Ｓ２１２では、ユーザ端末１２は、推定有害テキストＥＴ１が有害な内容を明示的に示すものでないと判定した場合に、推定有害テキストＥＴ１を削除してもよい。

Ｓ２１２では具体的には、ユーザ端末１２は、有害検証結果ＶＲ１を構文解析し、有害検証結果ＶＲ１が肯定語句又は否定語句のうちいずれを含むかを判定する。Ｓ２１２において、ユーザ端末１２は、有害検証結果ＶＲ１が肯定語句を含むと判定した場合には、推定有害テキストＥＴ１が有害な内容を明示的に示すものであると判定する。Ｓ２１２において、ユーザ端末１２は、有害検証結果ＶＲ１が否定語句を含むと判定した場合には、推定有害テキストＥＴ１が有害な内容を明示的に示すものでないと判定する。

以上に説明した本実施形態に係る有害テキスト生成処理によれば、人手を介さず有害テキストを生成できるので、学習データセットを効率的に、かつ精度よく得ることができる。

［２－２．無害テキスト生成処理］
図５は、無害テキスト生成処理の一例を示すフロー図である。図６は、推定無害テキストＥＴ２を取得する処理を説明する図である。図７は、推定無害テキストＥＴ２についての検証処理を説明する図である。

（１）推定無害テキストの取得
まず、図６に示すように、学習データセット生成システム１は、無害テキスト生成プロンプトＧＰ２を言語モデルＬＭに入力し、言語モデルＬＭから出力される推定無害テキストＥＴ２を取得する。

具体的には、図５に示すように、ユーザ端末１２が、無害テキスト生成プロンプトＧＰ２をテキスト生成サーバ１０に送信する（Ｓ５００）。無害テキスト生成プロンプトＧＰ２を受信したテキスト生成サーバ１０は、無害テキスト生成プロンプトＧＰ２を言語モデルＬＭに入力し、言語モデルＬＭから出力される推定無害テキストＥＴ２を取得する（Ｓ５０２）。そして、テキスト生成サーバ１０は、言語モデルＬＭから出力された推定無害テキストＥＴ２をユーザ端末１２に送信する（Ｓ５０４）。

無害テキスト生成プロンプトＧＰ２は、無害な内容を示すテキストを生成するよう指示するプロンプトである。具体的には、無害テキスト生成プロンプトＧＰ２は、生成対象となるテキストが示す無害な内容を指定するための無害内容指定語句ＧＰ２ａと、無害内容指定語句ＧＰ２ａにより指定される無害な内容を示すテキストを生成するよう指示するための指示語句ＧＰ２ｂと、を含む。無害内容指定語句ＧＰ２ａは、例えば、「無害な」、「安全な」、「危険でない」、「健全な」等の語句である。

より具体的には、本実施形態の無害テキスト生成プロンプトＧＰ２は、無害な内容を明示的に示すテキストを生成するよう指示するプロンプトである。有害な内容がヘイトスピーチである本実施形態では、無害な内容を明示的に示すテキストとは、例えば、所定のコミュニティについて言及しないテキストをいう。所定のコミュニティについて言及するテキストは、たとえ攻撃、脅迫、侮辱又は差別等する発言又は言動を含んでいなかったとしても、判定モデルにより、有害な内容を示すものであると誤判定される可能性が高い。このように、所定のコミュニティについて言及するテキストは、無害な内容を非明示的に示すテキストであると言える。これを踏まえ、本実施形態では、無害テキスト生成プロンプトＧＰ２は、所定のコミュニティについて言及しないように指示するための非言及語句ＧＰ２ｃを含む。

（２）推定無害テキストについての検証
次に、図７に示すように、学習データセット生成システム１は、無害検証プロンプトＶＰ２を言語モデルＬＭに入力し、言語モデルＬＭから出力される無害検証結果ＶＲ２を取得する。

具体的には、図５に示すように、ユーザ端末１２が、無害検証プロンプトＶＰ２をテキスト生成サーバ１０に送信する（Ｓ５０６）。無害検証プロンプトＶＰ２を受信したテキスト生成サーバ１０は、無害検証プロンプトＶＰ２を言語モデルＬＭに入力し、言語モデルＬＭから出力される無害検証結果ＶＲ２を取得する（Ｓ５０８）。そして、テキスト生成サーバ１０は、言語モデルＬＭから出力された無害検証結果ＶＲ２をユーザ端末１２に送信する（Ｓ５１０）。

無害検証プロンプトＶＰ２は、推定無害テキストＥＴ２が無害な内容を示すものであるか否かを検証するよう指示するプロンプトである。具体的には、無害検証プロンプトＶＰ２は、推定無害テキストＥＴ２が無害な内容を明示的に示すものであるか否かを検証するよう指示するプロンプトである。より具体的には、無害検証プロンプトＶＰ２は、無害な内容を指定するための無害内容指定語句ＶＰ２ａと、推定無害テキストＥＴ２が無害内容指定語句ＶＰ２ａにより指定される無害な内容を明示的に示すものであるか否かを検証するよう指示するための指示語句ＶＰ２ｂと、を含む。

なお、無害検証プロンプトＶＰ２は、有害検証プロンプトＶＰ１同様、クローズドクエスチョン形式の質問文であることが好ましい。無害検証プロンプトＶＰ２は、肯定語句又は否定語句のいずれかで答えるように指示するための語句を更に含んでもよい。

（３）学習データセットへの追加判定
最後に、学習データセット生成システム１は、無害検証結果ＶＲ２に基づいて、推定無害テキストＥＴ２を学習データセットに追加するか否かを判定し、推定無害テキストＥＴ２を学習データセットに追加すると判定した場合に、推定無害テキストＥＴ２を無害テキストとして学習データセットに追加する。

具体的には、図５に示すように、ユーザ端末１２は、無害検証結果ＶＲ２を参照し、推定無害テキストＥＴ２が無害な内容を明示的に示すものであるか否かを判定する（Ｓ５１２）。ユーザ端末１２は、推定無害テキストＥＴ２が無害な内容を明示的に示すものであると判定した場合（Ｓ５１２；Ｙ）、推定無害テキストＥＴ２を無害テキストとして記憶部１２ｂに格納し（Ｓ２１４）、本処理を終了する。ユーザ端末１２は、推定無害テキストＥＴ２が無害な内容を明示的に示すものでないと判定した場合（Ｓ５１２；Ｎ）、そのまま本処理を終了する。Ｓ５１２では、ユーザ端末１２は、推定無害テキストＥＴ２が無害な内容を明示的に示すものでないと判定した場合に、推定無害テキストＥＴ２を削除してもよい。

Ｓ５１２では具体的には、ユーザ端末１２は、無害検証結果ＶＲ２を構文解析し、無害検証結果ＶＲ２が肯定語句又は否定語句のうちいずれを含むかを判定する。Ｓ５１２において、ユーザ端末１２は、無害検証結果ＶＲ２が肯定語句を含むと判定した場合には、推定無害テキストＥＴ２が無害な内容を明示的に示すものであると判定する。Ｓ５１２において、ユーザ端末１２は、無害検証結果ＶＲ２が否定語句を含むと判定した場合には、推定無害テキストＥＴ２が無害な内容を明示的に示すものでないと判定する。

以上に説明した本実施形態に係る無害テキスト生成処理によれば、人手を介さず無害テキストを生成できるので、学習データセットを効率的に、かつ精度よく得ることができる。

［２－３．非明示無害テキスト生成処理］
図８は、非明示無害テキスト生成処理の一例を示すフロー図である。図９は、推定非明示無害テキストＥＴ３を取得する処理を説明する図である。図１０は、推定非明示無害テキストＥＴ３についての検証処理を説明する図である。

（１）推定非明示無害テキストの取得
まず、図９に示すように、学習データセット生成システム１は、非明示無害テキスト生成プロンプトＧＰ３を言語モデルＬＭに入力し、言語モデルＬＭから出力される推定非明示無害テキストＥＴ３を取得する。

具体的には、図８に示すように、ユーザ端末１２が、非明示無害テキスト生成プロンプトＧＰ３をテキスト生成サーバ１０に送信する（Ｓ８００）。非明示無害テキスト生成プロンプトＧＰ３を受信したテキスト生成サーバ１０は、非明示無害テキスト生成プロンプトＧＰ３を言語モデルＬＭに入力し、言語モデルＬＭから出力される推定非明示無害テキストＥＴ３を取得する（Ｓ８０２）。そして、テキスト生成サーバ１０は、言語モデルＬＭから出力された推定非明示無害テキストＥＴ３をユーザ端末１２に送信する（Ｓ８０４）。

非明示無害テキスト生成プロンプトＧＰ３は、無害な内容を非明示的に示すテキストを生成するよう指示するプロンプトである。有害な内容がヘイトスピーチである本実施形態では、非明示無害テキスト生成プロンプトＧＰ３は、具体的には、所定のコミュニティについて言及するように指示するための言及語句ＧＰ３ａと、無害な内容を示すテキストを生成するよう指示するための指示語句ＧＰ３ｂと、を含む。これにより、非明示無害テキストとして、所定のコミュニティについて言及しながら、攻撃、脅迫、侮辱又は差別等する発言又は言動を含まないテキストを生成できる。

（２）推定非明示無害テキストについての検証
次に、図１０に示すように、学習データセット生成システム１は、非明示無害検証プロンプトＶＰ３を言語モデルＬＭに入力し、言語モデルＬＭから出力される非明示無害検証結果ＶＲ３を取得する。

具体的には、図８に示すように、ユーザ端末１２が、非明示無害検証プロンプトＶＰ３をテキスト生成サーバ１０に送信する（Ｓ８０６）。非明示無害検証プロンプトＶＰ３を受信したテキスト生成サーバ１０は、非明示無害検証プロンプトＶＰ３を言語モデルＬＭに入力し、言語モデルＬＭから出力される非明示無害検証結果ＶＲ３を取得する（Ｓ８０８）。そして、テキスト生成サーバ１０は、言語モデルＬＭから出力された非明示無害検証結果ＶＲ３をユーザ端末１２に送信する（Ｓ８１０）。

非明示無害検証プロンプトＶＰ３は、推定非明示無害テキストＥＴ３が無害な内容を非明示的に示すものであるか否かを検証するよう指示するプロンプトである。具体的には、非明示無害検証プロンプトＶＰ３は、推定非明示無害テキストＥＴ３が無害な内容を非明示的に示すものであるか否かを検証するよう指示するプロンプトである。より具体的には、非明示無害検証プロンプトＶＰ３は、無害な内容を指定するための無害内容指定語句ＶＰ３ａと、推定非明示無害テキストＥＴ３が無害内容指定語句ＶＰ３ａにより指定される無害な内容を非明示的に示すものであるか否かを検証するよう指示するための指示語句ＶＰ３ｂと、を含む。

なお、非明示無害検証プロンプトＶＰ３は、有害検証プロンプトＶＰ１同様、クローズドクエスチョン形式の質問文であることが好ましい。非明示無害検証プロンプトＶＰ３は、肯定語句又は否定語句のいずれかで答えるように指示するための語句を更に含んでもよい。

（３）学習データセットへの追加判定
最後に、学習データセット生成システム１は、非明示無害検証結果ＶＲ３に基づいて、推定非明示無害テキストＥＴ３を学習データセットに追加するか否かを判定し、推定非明示無害テキストＥＴ３を学習データセットに追加すると判定した場合に、推定非明示無害テキストＥＴ３を非明示無害テキストとして学習データセットに追加する。

具体的には、図８に示すように、ユーザ端末１２は、非明示無害検証結果ＶＲ３を参照し、推定非明示無害テキストＥＴ３が無害な内容を非明示的に示すものであるか否かを判定する（Ｓ８１２）。ユーザ端末１２は、推定非明示無害テキストＥＴ３が無害な内容を非明示的に示すものであると判定した場合（Ｓ８１２；Ｙ）、推定非明示無害テキストＥＴ３を無害テキストとして記憶部１２ｂに格納し（Ｓ２１４）、本処理を終了する。ユーザ端末１２は、推定非明示無害テキストＥＴ３が無害な内容を非明示的に示すものでないと判定した場合（Ｓ８１２；Ｎ）、そのまま本処理を終了する。Ｓ８１２では、ユーザ端末１２は、推定非明示無害テキストＥＴ３が無害な内容を非明示的に示すものでないと判定した場合に、推定非明示無害テキストＥＴ３を削除してもよい。

Ｓ８１２では具体的には、ユーザ端末１２は、非明示無害検証結果ＶＲ３を構文解析し、非明示無害検証結果ＶＲ３が肯定語句又は否定語句のうちいずれを含むかを判定する。Ｓ８１２において、ユーザ端末１２は、非明示無害検証結果ＶＲ３が肯定語句を含むと判定した場合には、推定非明示無害テキストＥＴ３が無害な内容を非明示的に示すものであると判定する。Ｓ８１２において、ユーザ端末１２は、非明示無害検証結果ＶＲ３が否定語句を含むと判定した場合には、推定非明示無害テキストＥＴ３が無害な内容を非明示的に示すものでないと判定する。

以上に説明した本実施形態に係る非明示無害テキスト生成処理によれば、人手を介さず非明示無害テキストを生成できるので、学習データセットを効率的に、かつ精度よく得ることができる。

［２－４．非明示有害テキスト生成処理］
図１１は、非明示有害テキスト生成処理の一例を示すフロー図である。図１２は、推定非明示有害テキストＥＴ４を取得する処理を説明する図である。図１３は、テキスト種別を推定する処理を説明する図である。図１４は、テキスト種別推定結果を説明する図である。

本願の発明者は、当初、非明示有害テキストを生成する方法として、前述の有害テキスト生成処理、無害テキスト生成処理及び非明示無害テキスト生成処理と同様に、言語モデルＬＭを用いて得られた推定非明示有害テキストＥＴ４（図１２参照）に対して、言語モデルＬＭを用いた検証を行う、という方法を検討していた。

しかしながら、本願の発明者の検討によると、上記方法により得られる非明示有害テキストの質には改善の余地があることが判明した。具体的には、本願の発明者は、上記方法により非明示有害テキストを複数生成し、得られたこれらのテキストについて、実際に有害な内容を非明示的に示すものであるか否かの検証作業を人手により行った。その結果、上記方法により得られたテキストの中には、有害な内容を明示的に示すテキストや、無害な内容を示すテキストが多く含まれていた。これは、言語モデルＬＭを用いた検証では、言語モデルＬＭから出力された推定非明示有害テキストＥＴ４について、有害な内容を非明示的に示すものであるか否かを正確に検証するのが難しいことが一因であると考えられる、

そこで、本実施形態では、言語モデルＬＭによる検証とは異なる方法によって、推定非明示有害テキストＥＴ４について、有害な内容を非明示的に示すものであるか否かを検証することとした。以下、本実施形態に係る非明示有害テキスト生成処理の詳細について説明する。

（１）推定非明示有害テキストの取得
まず、図１２に示すように、学習データセット生成システム１は、非明示有害テキスト生成プロンプトＧＰ４を言語モデルＬＭに入力し、言語モデルＬＭから出力される推定非明示有害テキストＥＴ４を取得する。

具体的には、図１１に示すように、ユーザ端末１２が、非明示有害テキスト生成プロンプトＧＰ４をテキスト生成サーバ１０に送信する（Ｓ１１００）。非明示有害テキスト生成プロンプトＧＰ４を受信したテキスト生成サーバ１０は、非明示有害テキスト生成プロンプトＧＰ４を言語モデルＬＭに入力し、言語モデルＬＭから出力される推定非明示有害テキストＥＴ４を取得する（Ｓ１１０２）。そして、テキスト生成サーバ１０は、言語モデルＬＭから出力された推定非明示有害テキストＥＴ４をユーザ端末１２に送信し（Ｓ１１０４）、処理を終了する。

非明示有害テキスト生成プロンプトＧＰ４は、有害な内容を非明示的に示すテキストを生成するよう指示するプロンプトである。具体的には、非明示有害テキスト生成プロンプトＧＰ４は、生成対象となるテキストが示す有害な内容を指定するための有害内容指定語句ＧＰ４ａと、テキストの示す内容を非明示化させるための非明示語句ＧＰ４ｂと、有害内容指定語句ＧＰ４ａ及び非明示語句ＧＰ４ｂにより指定される有害な内容を非明示的に示すテキストを生成するよう指示するための指示語句ＧＰ４ｃと、を含む。非明示語句ＧＰ４ｂは、例えば、「一見無害に見える」、「無害な印象を与える」等、生成対象となるテキストに無害な印象を含ませるための語句と、「～だが」、「しかし」といった逆接を意味する語句と、を含んでよい。あるいは、非明示語句ＧＰ４ｂは、「非明示的に」、「曖昧に」、「不明瞭に」、「不明確に」、「間接的に」等の語句であってもよい。

（２）テキスト種別推定結果の取得
次に、図１２及び図１３に示すように、ユーザ端末１２（学習データセット生成システム１）は、テキスト種別推定モデルＭに対して、推定非明示有害テキストＥＴ４を入力し、テキスト種別推定モデルＭから出力されるテキスト種別推定結果ＴＴを取得する（Ｓ１１０６）。

テキスト種別推定モデルＭは、推定対象のテキストを入力として受け付け、推定範囲ＥＲに属する一の値を、該推定対象のテキストについてのテキスト種別推定結果ＴＴとして出力する（図１４参照）。推定範囲ＥＲは、第１の値である０から第２の値である１までの数値範囲である。なお、本明細書において、「値Ｘから値Ｙまでの数値範囲」（Ｘ，Ｙは任意の値）とは、値Ｘ及び値Ｙ自体も含めた、値Ｘと値Ｙとの間の数値範囲である。ＸがＹより大きい場合、「値Ｘから値Ｙまでの数値範囲」は、Ｘが上限値、Ｙが下限値（すなわちＹ以上Ｘ以下）の数値範囲である。ＸがＹより小さい場合、「値Ｘから値Ｙまでの数値範囲」は、Ｘが下限値、Ｙが上限値（すなわちＸ以上Ｙ以下）の数値範囲である。

テキスト種別推定モデルＭから出力された値が０であるということは、推定対象のテキストが無害な内容を示すものであることを示す。すなわち、第１の値は、推定対象のテキストが無害な内容を示すものであることを示す値である。他方、テキスト種別推定モデルＭから出力された値が１であるということは、推定対象のテキストが有害な内容を明示的に示すものであることを示す。すなわち、第２の値は、推定対象のテキストが有害な内容を明示的に示すものであることを示す値である。

テキスト種別推定モデルＭは、有害な内容を明示的に示す学習明示有害テキストと、値１と、が関連付けられた明示有害学習データに基づき学習されたものである。また、テキスト種別推定モデルＭは、無害な内容を示す学習無害テキストと、値０と、が関連付けられた無害学習データに基づき学習されたものである。言い換えれば、テキスト種別推定モデルＭは、学習明示有害テキストを正例として、学習無害テキストを負例として学習されたものである。なお、テキスト種別推定モデルＭの学習においては、学習無害テキストを正例として（学習無害テキストに値１を関連付け）、学習明示有害テキストを負例とし（学習明示有害テキストに値０を関連付け）てもよい。

（３）学習データセットへの追加判定
最後に、図１１及び図１４に示すように、ユーザ端末１２（学習データセット生成システム１）は、テキスト種別推定結果ＴＴの値が推定範囲ＥＲ内の所定の不確実範囲ＵＣＲに属するか否かを判定し（Ｓ１１０８）、テキスト種別推定結果ＴＴの値が不確実範囲ＵＣＲに属すると判定した場合に（Ｓ１１０８；Ｙ）、推定非明示有害テキストＥＴ４を非明示有害テキストとして学習データセットに追加し（Ｓ１１１０）、処理を終了する。ユーザ端末１２は、テキスト種別推定結果ＴＴの値が不確実範囲ＵＣＲに属しないと判定した場合には（Ｓ１１０８；Ｎ）、処理をそのまま終了する。Ｓ１１０８では、ユーザ端末１２は、テキスト種別推定結果ＴＴの値が不確実範囲ＵＣＲに属しないと判定した場合に、推定非明示有害テキストＥＴ４を削除してもよい。

不確実範囲ＵＣＲは、０より大きい値（第３の値）から１より小さい値（第４の値）までの数値範囲である。第３の値及び第４の値は推定範囲ＥＲの中央値（本実施形態では０．５）に近いほど好ましい。不確実範囲ＵＣＲは、本実施形態では一例として０．４以上０．６以下の数値範囲であるものとする。勿論これらの値は一例であり、不確実範囲ＵＣＲの上限値（第４の値）及び下限値（第３の値）はそれぞれ０より大きく１未満の任意の値であってよい。

図１４に示すようにテキスト種別推定結果ＴＴの値が不確実範囲ＵＣＲに属する場合、推定非明示有害テキストＥＴ４が、有害な内容を明示的に示すもの及び無害な内容を示すもののいずれにも該当しない、すなわち有害な内容を非明示的に示すものに該当する蓋然性が高い。したがって、本実施形態に係る非明示有害テキスト生成処理では、テキスト種別推定結果ＴＴの値が不確実範囲ＵＣＲに属すると判定された場合に、推定非明示有害テキストＥＴ４を非明示有害テキストとして学習データセットに追加するようにした。これにより、推定非明示有害テキストＥＴ４について、有害な内容を非明示的に示すものであるか否かを精度よく検証することができる。また、本実施形態に係る非明示有害テキスト生成処理によれば、人手を介さず非明示有害テキストを生成できるので、学習データセットを効率的に、かつ精度よく得ることができる。

［３．学習データセット生成システムで実現される機能］
図１５は、本発明の実施形態に係る学習データセット生成システム１で実現される機能の一例を示す機能ブロック図である。

[３－１．テキスト生成サーバ]
図１５に示すように、テキスト生成サーバ１０は、機能的には、言語モデルＬＭを含む。言語モデルＬＭの詳細は前述のとおりであるので、説明を省略する。

[３－２．ユーザ端末]
図２に示すように、ユーザ端末１２は、機能的には、有害テキスト生成部１２０、無害テキスト生成部１２１、非明示無害テキスト生成部１２２、非明示有害テキスト生成部１２３、テキスト種別推定モデルＭ、追加判定部１２４、学習データセット記憶部１２５を含む。

有害テキスト生成部１２０は、推定有害テキスト取得部１２００及び有害検証部１２０２を含む。推定有害テキスト取得部１２００は、有害テキスト生成プロンプトＧＰ１を言語モデルＬＭに入力し、言語モデルＬＭから出力される推定有害テキストＥＴ１を取得する（図２及び図３参照）。有害検証部１２０２は、有害検証プロンプトＶＰ１を言語モデルＬＭに入力し、言語モデルＬＭから出力される有害検証結果ＶＲ１を取得する（図２及び図４参照）。

無害テキスト生成部１２１は、推定無害テキスト取得部１２１０及び無害検証部１２１２を含む。推定無害テキスト取得部１２１０は、非明示無害テキスト生成プロンプトＧＰ３を言語モデルＬＭに入力し、言語モデルＬＭから出力される推定非明示無害テキストＥＴ３を取得する（図５及び図６参照）。無害検証部１２１２は、無害検証プロンプトＶＰ２を言語モデルＬＭに入力し、言語モデルＬＭから出力される非明示無害検証結果ＶＲ３を取得する。

非明示無害テキスト生成部１２２は、推定非明示無害テキスト取得部１２２０及び非明示無害検証部１２２２を含む。推定非明示無害テキスト取得部１２２０は、非明示無害テキスト生成プロンプトＧＰ３を言語モデルＬＭに入力し、言語モデルＬＭから出力される推定非明示無害テキストＥＴ３を取得する（図８及び図９参照）。非明示無害検証部１２２２は、非明示無害検証プロンプトＶＰ３を言語モデルＬＭに入力し、言語モデルＬＭから出力される非明示無害検証結果ＶＲ３を取得する（図８及び図１０参照）。

非明示有害テキスト生成部１２３は、推定非明示有害テキスト取得部１２３０及び推定結果取得部１２３２を含む推定非明示有害テキスト取得部１２３０は、非明示有害テキスト生成プロンプトＧＰ４を言語モデルＬＭに入力し、言語モデルＬＭから出力される推定非明示有害テキストＥＴ４を取得する（図１１及び図１２参照）。推定結果取得部１２３２は、テキスト種別推定モデルＭに対して、推定非明示有害テキストＥＴ４を入力し、テキスト種別推定モデルＭから出力されるテキスト種別推定結果ＴＴを取得する（図１１及び図１３参照）。

追加判定部１２４は、有害検証結果ＶＲ１に基づいて、推定有害テキストＥＴ１を学習データセットに追加するか否かを判定し、推定有害テキストＥＴ１を学習データセットに追加すると判定した場合に、推定有害テキストＥＴ１を有害テキストとして学習データセットに追加する（図２参照）。

また、追加判定部１２４は、無害検証結果ＶＲ２に基づいて、推定無害テキストＥＴ２を学習データセットに追加するか否かを判定し、推定無害テキストＥＴ２を学習データセットに追加すると判定した場合に、推定無害テキストＥＴ２を無害テキストとして学習データセットに追加する（図５参照）。

また、追加判定部１２４は、非明示無害検証結果ＶＲ３に基づいて、推定非明示無害テキストＥＴ３を学習データセットに追加するか否かを判定し、推定非明示無害テキストＥＴ３を学習データセットに追加すると判定した場合に、推定非明示無害テキストＥＴ３を非明示無害テキストとして学習データセットに追加する（図８参照）。

また、追加判定部１２４は、テキスト種別推定結果ＴＴの値が推定範囲ＥＲ内の所定の不確実範囲ＵＣＲに属するか否かを判定し、テキスト種別推定結果ＴＴの値が不確実範囲ＵＣＲに属すると判定した場合に、推定非明示有害テキストＥＴ４を非明示有害テキストとして学習データセットに追加する（図１１及び図１４参照）。

図１５に示すように、追加判定部１２４は、有害テキスト、無害テキスト、非明示無害テキスト及び非明示有害テキストを学習データセット記憶部１２５に格納する。なお、追加判定部１２４は、外部の装置又は情報記憶媒体にこれら各種テキストを格納してもよい。

［５．変形例］
なお、本開示は、以上に説明した実施の形態に限定されるものではない。本開示の趣旨を逸脱しない範囲で、適宜変更可能である。

例えば、本実施形態では、非明示有害テキスト生成処理において、言語モデルＬＭを用いた検証を行わず、その代わりにテキスト種別推定モデルＭを用いた検証を行うようにしたが、言語モデルＬＭを用いた検証及びテキスト種別推定モデルＭを用いた検証の両方を行うようにしてもよい。

また、本実施形態では、推定有害テキストＥＴ１、推定無害テキストＥＴ２、推定非明示無害テキストＥＴ３及び推定非明示有害テキストＥＴ４の生成並びに生成されたこれらテキストについての検証のいずれにおいても同一の言語モデルＬＭが用いられたが、それぞれ異なる言語モデルが用いられるようにしてもよい。例えば、推定有害テキストＥＴ１の取得に用いる言語モデルと推定有害テキストＥＴ１についての検証に用いる言語モデルとが異なっていてもよい。すなわち、テキスト生成サーバ１０は、複数の言語モデルを含んでもよい。

また、本実施形態では、無害テキスト生成処理、非明示無害テキスト生成処理及び非明示有害テキスト生成処理を行う場合を説明したが、これらのうち少なくともいずれか一つを行わないようにしてもよい。例えば、判定モデルの学習において負例学習を行わない場合、無害テキスト及び非明示無害テキストを用意する必要はない。

また、本実施形態のテキスト種別推定モデルＭは、有害な内容を明示的に示す学習明示有害テキスト及び第２の値（１）が関連付けられた明示有害学習データ、並びに、無害な内容を示す学習無害テキスト及び第１の値（０）が関連付けられた無害学習データに基づき学習されたものであるが、テキスト種別推定モデルはこれと異なる態様で学習されたものであってもよい。例えば、有害な内容を非明示的に示す学習非明示有害テキストと、正解を示す値（例えば１）と、が関連付けられたデータに基づいて学習されたモデルをテキスト種別推定モデルとして用いてもよい。この場合、例えば、テキスト種別推定モデルから出力されるテキスト種別推定結果の値が所定の閾値（例えば０．８）以上であるか否かを判定し、該値が該閾値以上であると判定された場合に、推定非明示有害テキストを非明示有害テキストとして学習データセットに追加してよい。

また、本実施形態のテキスト種別推定モデルＭは、学習明示有害テキストを正例として、学習無害テキストを負例として学習されたものであったが、負例学習を行わず正例学習のみを行ったテキスト種別推定モデルを用いてもよい。すなわち、学習明示有害テキストのみに基づいて学習されたテキスト種別推定モデルを用いてもよい。本変形例では、テキスト種別推定モデルから出力されるテキスト種別推定結果が第１の値に近い値である場合にも、推定非明示有害テキストＥＴ４が有害な内容を非明示的に示すものに該当する可能性がある。よって、本変形例では、不確実範囲ＵＣＲは、所定の上限値以下の数値範囲であって、推定範囲ＥＲの下限値（本実施形態では０）を下限値とする数値範囲であってもよい。例えば、不確実範囲ＵＣＲを、０以上０．６以下の数値範囲としてもよい。

［６．付記］
（１）
判定対象のテキストを入力として受け付け、該判定対象のテキストが有害な内容を示すものであるか否かを判定する判定モデルの学習に用いられ、有害な内容を示す有害テキストを含む学習データセットを生成する学習データセット生成システムであって、
少なくとも１つの言語モデルを含むテキスト生成手段と、
有害な内容を示すテキストを生成するよう指示する有害テキスト生成プロンプトを前記テキスト生成手段に入力し、該テキスト生成手段から出力される推定有害テキストを取得する推定有害テキスト取得手段と、
前記推定有害テキストが有害な内容を示すものであるか否かを検証するよう指示する有害検証プロンプトを前記テキスト生成手段に入力し、該テキスト生成手段から出力される有害検証結果を取得する有害検証手段と、
前記有害検証結果に基づいて、該推定有害テキストを前記学習データセットに追加するか否かを判定し、前記推定有害テキストを前記学習データセットに追加すると判定した場合に、該推定有害テキストを前記有害テキストとして前記学習データセットに追加する追加判定手段と、
を有する、学習データセット生成システム。
（２）
前記有害テキスト生成プロンプトは、有害な内容を明示的に示すテキストを生成するよう指示するプロンプトであり、
前記有害検証プロンプトは、前記推定有害テキストが有害な内容を明示的に示すものであるか否かを検証するよう指示するプロンプトである、
（１）に記載の学習データセット生成システム。
（３）
前記学習データセットは、有害な内容を非明示的に示す非明示有害テキストを更に含み、
前記学習データセット生成システムは、
有害な内容を非明示的に示すテキストを生成するよう指示する非明示有害テキスト生成プロンプトを前記テキスト生成手段に入力し、該テキスト生成手段から出力される推定非明示有害テキストを取得する推定非明示有害テキスト取得手段、
を更に有する、
（２）に記載の学習データセット生成システム。
（４）
推定対象のテキストを入力として受け付け、該推定対象のテキストが有害な内容を明示的に示すものでないことを示す第１の値から該推定対象のテキストが有害な内容を明示的に示すものであることを示す第２の値までの推定範囲に属する一の値を、該推定対象のテキストについてのテキスト種別推定結果として出力するテキスト種別推定モデルに対して、前記推定非明示有害テキストを入力し、該テキスト種別推定モデルから出力される前記テキスト種別推定結果を取得する推定結果取得手段、
を更に有し、
前記追加判定手段は更に、前記テキスト種別推定結果の値が前記推定範囲内の所定の不確実範囲に属するか否かを判定し、該テキスト種別推定結果の値が前記不確実範囲に属すると判定した場合に、該推定非明示有害テキストを前記非明示有害テキストとして前記学習データセットに追加する、
（３）に記載の学習データセット生成システム。
（５）
前記テキスト種別推定モデルは、有害な内容を明示的に示す学習明示有害テキストと、前記第２の値と、が関連付けられた明示有害学習データと、に基づき学習されたものである、
（４）に記載の学習データセット生成システム。
（６）
前記第１の値は、前記推定対象のテキストが無害な内容を示すものであることを示す値であり、
前記テキスト種別推定モデルは、無害な内容を示す学習無害テキストと、前記第１の値と、が関連付けられた無害学習データと、に更に基づき学習されたものである、
（４）又は（５）に記載の学習データセット生成システム。
（７）
前記学習データセットは、無害な内容を示す無害テキストを更に含み、
無害な内容を示すテキストを生成するよう指示する無害テキスト生成プロンプトを前記テキスト生成手段に入力し、該テキスト生成手段から出力される推定無害テキストを取得する推定無害テキスト取得手段と、
前記推定無害テキストの示す内容が無害な内容を示すものであるか否かを検証するよう指示する無害検証プロンプトを前記テキスト生成手段に入力し、該テキスト生成手段から出力される無害検証結果を取得する無害検証手段と、
を更に有し、
前記追加判定手段は更に、前記無害検証結果に基づいて、該推定無害テキストを前記学習データセットに追加するか否かを判定し、前記推定無害テキストを前記学習データセットに追加すると判定した場合に、該推定無害テキストを前記無害テキストとして前記学習データセットに追加する、
（１）～（６）のいずれかに記載の学習データセット生成システム。

１ 学習データセット生成システム、Ｎ ネットワーク、１０ テキスト生成サーバ、１２ ユーザ端末、１０ａ，１２ａ 制御部、１０ｂ，１２ｂ 記憶部、１０ｃ，１２ｃ 通信部、１２ｄ 操作部、１２ｅ 表示部、１２０ 有害テキスト生成部、１２１ 無害テキスト生成部、１２２ 非明示無害テキスト生成部、１２３ 非明示有害テキスト生成部、１２４ 追加判定部、１２５ 学習データセット記憶部、１２００ 推定有害テキスト取得部、１２０２ 有害検証部、１２１０ 推定無害テキスト取得部、１２１２ 無害検証部、１２２０ 推定非明示無害テキスト取得部、１２２２ 非明示無害検証部、１２３０ 推定非明示有害テキスト取得部、１２３２ 推定結果取得部、ＬＭ 言語モデル、ＥＴ１ 推定有害テキスト、ＥＴ２ 推定無害テキスト、ＥＴ３ 推定非明示無害テキスト、ＥＴ４ 推定非明示有害テキスト、ＧＰ１ 有害テキスト生成プロンプト、ＧＰ１ａ 有害内容指定語句、ＧＰ１ｂ，ＧＰ２ｂ，ＧＰ３ｂ，ＧＰ４ｃ 指示語句、ＧＰ１ｃ 明示語句、ＧＰ２ 無害テキスト生成プロンプト、ＧＰ２ａ 無害内容指定語句、ＧＰ２ｃ 非言及語句、ＧＰ３ 非明示無害テキスト生成プロンプト、ＧＰ３ａ 言及語句、ＧＰ４ 非明示有害テキスト生成プロンプト、ＧＰ４ａ 有害内容指定語句、ＧＰ４ｂ 非明示語句、ＶＰ１ 有害検証プロンプト、ＶＰ１ａ 有害内容指定語句、ＶＰ１ｂ，ＶＰ２ｂ，ＶＰ３ｂ 指示語句、ＶＰ２ 無害検証プロンプト、ＶＰ２ａ 無害内容指定語句、ＶＰ３ 非明示無害検証プロンプト、ＶＰ３ａ 無害内容指定語句、ＶＲ１ 有害検証結果、ＶＲ２ 無害検証結果、ＶＲ３ 非明示無害検証結果、Ｍ テキスト種別推定モデル、ＴＴ テキスト種別推定結果、ＥＲ 推定範囲、ＵＣＲ 不確実範囲。

Claims (7)

1. 判定対象のテキストを入力として受け付け、該判定対象のテキストが有害な内容を示すものであるか否かを判定する判定モデルの学習に用いられ、有害な内容を非明示的に示す非明示有害テキストを含む学習データセットを生成する学習データセット生成システムであって、
   少なくとも１つの言語モデルを含むテキスト生成手段と、
   有害な内容を非明示的に示すテキストを生成するよう指示する非明示有害テキスト生成プロンプトを前記テキスト生成手段に入力し、該テキスト生成手段から出力される推定非明示有害テキストを取得する推定非明示有害テキスト取得手段と、
   推定対象のテキストを入力として受け付け、該推定対象のテキストが有害な内容を明示的に示すものでないことを示す第１の値から該推定対象のテキストが有害な内容を明示的に示すものであることを示す第２の値までの推定範囲に属する一の値を、該推定対象のテキストについてのテキスト種別推定結果として出力するテキスト種別推定モデルに対して、前記推定非明示有害テキストを入力し、該テキスト種別推定モデルから出力される前記テキスト種別推定結果を取得する推定結果取得手段と、
   前記テキスト種別推定結果の値が前記推定範囲内の所定の不確実範囲に属するか否かを判定し、該テキスト種別推定結果の値が前記不確実範囲に属すると判定した場合に、該推定非明示有害テキストを前記非明示有害テキストとして前記学習データセットに追加する追加判定手段と、
   を有する、学習データセット生成システム。
2. 前記テキスト種別推定モデルは、有害な内容を明示的に示す学習明示有害テキストと、前記第２の値と、が関連付けられた明示有害学習データに基づき学習されたものである、
   請求項１に記載の学習データセット生成システム。
3. 前記第１の値は、前記推定対象のテキストが無害な内容を示すものであることを示す値であり、
   前記テキスト種別推定モデルは、無害な内容を示す学習無害テキストと、前記第１の値と、が関連付けられた無害学習データに更に基づき学習されたものである、
   請求項１又は２に記載の学習データセット生成システム。
4. 前記学習データセットは、無害な内容を示す無害テキストを更に含み、
   無害な内容を示すテキストを生成するよう指示する無害テキスト生成プロンプトを前記テキスト生成手段に入力し、該テキスト生成手段から出力される推定無害テキストを取得する推定無害テキスト取得手段と、
   前記推定無害テキストの示す内容が無害な内容を示すものであるか否かを検証するよう指示する無害検証プロンプトを前記テキスト生成手段に入力し、該テキスト生成手段から出力される無害検証結果を取得する無害検証手段と、
   を更に有し、
   前記追加判定手段は更に、前記無害検証結果に基づいて、該推定無害テキストを前記学習データセットに追加するか否かを判定し、前記推定無害テキストを前記学習データセットに追加すると判定した場合に、該推定無害テキストを前記無害テキストとして前記学習データセットに追加する、
   請求項１又は２に記載の学習データセット生成システム。
5. 前記学習データセットは、有害な内容を明示的に示す明示有害テキストを更に含み、
   有害な内容を明示的に示すテキストを生成するよう指示する明示有害テキスト生成プロンプトを前記テキスト生成手段に入力し、該テキスト生成手段から出力される推定明示有害テキストを取得する推定明示有害テキスト取得手段と、
   前記推定明示有害テキストが有害な内容を明示的に示すものであるか否かを検証するよう指示する明示有害検証プロンプトを前記テキスト生成手段に入力し、該テキスト生成手段から出力される明示有害検証結果を取得する明示有害検証手段と、
   を更に有し、
   前記追加判定手段は更に、前記明示有害検証結果に基づいて、該推定明示有害テキストを前記学習データセットに追加するか否かを判定し、前記推定明示有害テキストを前記学習データセットに追加すると判定した場合に、該推定明示有害テキストを前記明示有害テキストとして前記学習データセットに追加する、
   請求項１又は２に記載の学習データセット生成システム。
6. 判定対象のテキストを入力として受け付け、該判定対象のテキストが有害な内容を示すものであるか否かを判定する判定モデルの学習に用いられ、有害な内容を非明示的に示す非明示有害テキストを含む学習データセットを生成する学習データセット生成システムが実行する学習データセット生成方法であって、
   有害な内容を非明示的に示すテキストを生成するよう指示する非明示有害テキスト生成プロンプトを少なくとも１つの言語モデルを含むテキスト生成手段に入力し、該テキスト生成手段から出力される推定非明示有害テキストを取得する推定非明示有害テキスト取得ステップと、
   推定対象のテキストを入力として受け付け、該推定対象のテキストが有害な内容を明示的に示すものでないことを示す第１の値から該推定対象のテキストが有害な内容を明示的に示すものであることを示す第２の値までの推定範囲に属する一の値を、該推定対象のテキストについてのテキスト種別推定結果として出力するテキスト種別推定モデルに対して、前記推定非明示有害テキストを入力し、該テキスト種別推定モデルから出力される前記テキスト種別推定結果を取得する推定結果取得ステップと、
   前記テキスト種別推定結果の値が前記推定範囲内の所定の不確実範囲に属するか否かを判定し、該テキスト種別推定結果の値が前記不確実範囲に属すると判定した場合に、該推定非明示有害テキストを前記非明示有害テキストとして前記学習データセットに追加する追加判定ステップと、
   を有する、学習データセット生成方法。
7. 判定対象のテキストを入力として受け付け、該判定対象のテキストが有害な内容を示すものであるか否かを判定する判定モデルの学習に用いられ、有害な内容を非明示的に示す非明示有害テキストを含む学習データセットを生成するようにコンピュータを機能させるためのプログラムであって、
   少なくとも１つの言語モデルを含むテキスト生成手段、
   有害な内容を非明示的に示すテキストを生成するよう指示する非明示有害テキスト生成プロンプトを前記テキスト生成手段に入力し、該テキスト生成手段から出力される推定非明示有害テキストを取得する推定非明示有害テキスト取得手段、
   推定対象のテキストを入力として受け付け、該推定対象のテキストが有害な内容を明示的に示すものでないことを示す第１の値から該推定対象のテキストが有害な内容を明示的に示すものであることを示す第２の値までの推定範囲に属する一の値を、該推定対象のテキストについてのテキスト種別推定結果として出力するテキスト種別推定モデルに対して、前記推定非明示有害テキストを入力し、該テキスト種別推定モデルから出力される前記テキスト種別推定結果を取得する推定結果取得手段、
   前記テキスト種別推定結果の値が前記推定範囲内の所定の不確実範囲に属するか否かを判定し、該テキスト種別推定結果の値が前記不確実範囲に属すると判定した場合に、該推定非明示有害テキストを前記非明示有害テキストとして前記学習データセットに追加する追加判定手段、
   として前記コンピュータを機能させるためのプログラム。