JP7828993B2 - 情報処理方法および情報処理プログラム - Google Patents

Description

本発明は、情報処理方法および情報処理プログラムに関する。

ＳＮＳ（Social Networking Service）やインターネット上の掲示板などに投稿された利用者の投稿文章（コメント等）の中には、個人を誹謗、中傷するコメント等の不適切な文章が含まれる場合がある。また、このような不適切な投稿文章の投稿を減少させるための技術が知られている。例えば、対象情報と対象情報が不適切コメントであるか否かを示す情報とを含む教師データを用いて訓練したニューラルネットワークにユーザから受信したコメントを入力し、コメントが不適切なコメントであるか否かを判定する技術が知られている。

特開２０２２－１２２４９１号公報

しかしながら、上記の従来技術では、不適切なコメントであるか否かの学習をニューラルネットワークにあらかじめさせるに過ぎないため、投稿文章が投稿されるサービスの特性に応じて、投稿文章が不適切な文章であるか否かについての柔軟な判定を可能にすることができるとは限らない。

そこで、本開示では、投稿文章が投稿されるサービスの特性に応じて、投稿文章が不適切な文章であるか否かについての柔軟な判定を可能にすることを目的とする。

本発明に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、投稿利用者によって投稿された投稿文章を受け付ける受付工程と、前記投稿文章が不適切な文章であるか否かを判定するよう指示する判定プロンプトおよび前記投稿文章を生成モデルに入力して、前記投稿文章が不適切な文章であるか否かを示す判定情報を前記生成モデルに生成させる生成工程と、を含む。

本発明に係る情報処理プログラムは、投稿利用者によって投稿された投稿文章を受け付ける受付手順と、前記投稿文章が不適切な文章であるか否かを判定するよう指示する判定プロンプトおよび前記投稿文章を生成モデルに入力して、前記投稿文章が不適切な文章であるか否かを示す判定情報を前記生成モデルに生成させる生成手順と、をコンピュータに実行させる。

本発明によれば、投稿文章が投稿されるサービスの特性に応じて、投稿文章が不適切な文章であるか否かについての柔軟な判定を可能にすることができる。

図１は、実施形態に係る情報処理システムの構成例を示す図である。 図２は、実施形態に係る情報処理装置の構成例を示す図である。 図３は、実施形態に係る利用者情報記憶部に記憶される利用者情報テーブルの一例を示す図である。 図４は、実施形態に係る投稿情報記憶部に記憶される投稿情報テーブルの一例を示す図である。 図５は、実施形態に係る判定プロンプトの一例を示す図である。 図６は、実施形態に係る投稿先コンテンツの一例を示す図である。 図７は、実施形態に係る投稿先コンテンツの一例を示す図である。 図８は、実施形態に係る情報処理装置による情報処理の手順を示すフローチャートである。 図９は、実施形態に係る情報処理装置による情報処理の手順を示すフローチャートである。 図１０は、第１の変形例に係る緩和プロンプトの一例を示す図である。 図１１は、第１の変形例に係る投稿先コンテンツの一例を示す図である。 図１２は、第１の変形例に係る情報処理装置による情報処理の手順を示すフローチャートである。 図１３は、第１の変形例に係る情報処理装置による情報処理の手順を示すフローチャートである。 図１４は、第２の変形例に係る確認コンテンツの一例を示す図である。 図１５は、第２の変形例に係る情報処理装置による情報処理の手順を示すフローチャートである。 図１６は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る情報処理方法および情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理方法および情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

（実施形態）
〔１．はじめに〕
近年、ＳＮＳやインターネット上の掲示板、チャット、問い合わせフォームなどを介して、不特定多数の利用者によるコメント等の投稿文章の投稿が可能なサービスが数多く存在する。これらの投稿の中には、サービスの利用者および関係者に対する不適切な内容の投稿が発生することがある。具体的には、不適切な内容の投稿とは、無意味な荒らし、誹謗中傷、批判的な発言、企業ブランドの低下につながる投稿などである。また、このような不適切な内容の投稿により、不利益を被る人物が現れたり、対象となるサービスのブランドの低下が起こったり、対象となるサービスの品質に悪影響を及ぼす可能性がある。そこで、このような不適切な投稿文章の投稿を減少させるための技術が望まれている。

例えば、対象情報と対象情報が不適切コメントであるか否かを示す情報とを含む教師データを用いて訓練したニューラルネットワーク（機械学習モデルの一例）にユーザから受信したコメントを入力し、コメントが不適切なコメントであるか否かを判定する技術が知られている。しかしながら、このような技術は、不適切な投稿文章であるか否かの学習をあらかじめ機械学習モデルにさせるための教師データを大量に用意する必要があるため、大変な労力がかかる。また、このような技術は、不適切なコメントであるか否かの学習をニューラルネットワークにあらかじめさせるに過ぎないため、投稿文章が投稿されるサービスの特性に応じて、投稿文章が不適切な文章であるか否かについての柔軟な判定を可能にすることができるとは限らない。

これに対し、実施形態に係る情報処理装置１００は、投稿利用者によって投稿された投稿文章が不適切な文章であるか否かを判定するよう指示する判定プロンプトおよび投稿文章を生成モデルに入力して、投稿文章が不適切な文章であるか否かを示す判定情報を生成モデルに生成させる。これにより、情報処理装置１００は、投稿文章が投稿されるサービスの特性に応じた柔軟な内容の判定プロンプトに基づいて、投稿文章が不適切な文章であるか否かの判定を生成モデルにさせることができる。したがって、情報処理装置１００は、投稿文章が投稿されるサービスの特性に応じて、投稿文章が不適切な文章であるか否かについての柔軟な判定を可能にすることができる。

〔２．情報処理システムの構成〕
図１は、実施形態に係る情報処理システムの構成例を示す図である。図１に示すように、情報処理システム１は、端末装置１０と、情報処理装置１００とを含む。端末装置１０および情報処理装置１００は、ネットワークＮを介して有線または無線により相互に通信可能に接続される。ネットワークＮは、例えば、インターネットなどのＷＡＮ（Wide Area Network）である。なお、図１に示した情報処理システム１には、複数台の端末装置１０および複数台の情報処理装置１００が含まれていてもよい。

端末装置１０は、利用者によって利用される情報処理装置である。端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。また、端末装置１０は、情報処理装置１００などから受信した情報を、ウェブブラウザやアプリケーションにより表示する。

情報処理装置１００は、実施形態に係る情報処理を行う情報処理装置である。情報処理装置１００は、サーバ装置やクラウドシステム等により実現される。例えば、情報処理装置１００は、実施形態に係る情報処理プログラムで実現される情報処理方法に従って、実施形態に係る情報処理を行ってよい。また、情報処理装置１００は、投稿文章の投稿先となるコンテンツ（以下、「投稿先コンテンツ」と記載する場合がある。）を端末装置１０に配信する。

〔３．情報処理装置の構成〕
図２は、実施形態に係る情報処理装置１００の構成例を示す図である。情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。

（通信部１１０）
通信部１１０は、ＮＩＣ（Network Interface Card）やアンテナ等によって実現される。通信部１１０は、各種ネットワークと有線または無線で接続され、例えば、端末装置１０との間で情報の送受信を行う。

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。具体的には、記憶部１２０は、各種プログラムを記憶する。例えば、記憶部１２０は、実施形態に係る情報処理プログラムを記憶する。また、記憶部１２０は、各種データを記憶する。また、記憶部１２０は、利用者情報記憶部１２１と、投稿情報記憶部１２２とを有する。

(利用者情報記憶部１２１)
利用者情報記憶部１２１は、利用者に関する情報を記憶する。図３は、実施形態に係る利用者情報記憶部１２１に記憶される利用者情報テーブルの一例を示す図である。図３に示す例では、利用者情報記憶部１２１に記憶される利用者情報テーブルは、「利用者ＩＤ」、「端末ＩＤ」といった項目の情報を含む。

「利用者ＩＤ」は、利用者を識別する識別情報である。「端末ＩＤ」は、利用者ＩＤによって識別される利用者の端末装置１０を識別する識別情報である。

(投稿情報記憶部１２２)
投稿情報記憶部１２２は、各コンテンツに対して投稿された各種の情報を記憶する。図４は、実施形態に係る投稿情報記憶部１２２に記憶される投稿情報テーブルの一例を示す図である。図４に示す例では、投稿情報記憶部１２２に記憶される投稿情報テーブルは、「投稿ＩＤ」、「端末ＩＤ」、「投稿先コンテンツＩＤ」、「投稿文章」、「判定情報」といった項目の情報を含む。

「投稿ＩＤ」は、投稿文章を識別する識別情報である。「端末ＩＤ」は、投稿文章の送信元となる端末装置１０を識別する識別情報である。言い換えると、「端末ＩＤ」は、投稿文章を投稿した利用者（以下、「投稿利用者」と記載する場合がある。）の端末装置１０を識別する識別情報である。「投稿先コンテンツＩＤ」は、投稿ＩＤによって識別される投稿文章の投稿先となるコンテンツを識別する識別情報である。「投稿文章」は、利用者によって投稿された文章である。「判定情報」は、投稿文章が不適切な文章であるか否かを示す情報である。

（制御部１３０）
制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（例えば、実施形態に係る情報処理プログラム）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

制御部１３０は、受付部１３１と、生成部１３２と、配信部１３３を機能部として有し、以下に説明する情報処理の作用を実現または実行してよい。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、各機能部は、制御部１３０の機能を示したものであり、必ずしも物理的に区別されるものでなくともよい。

（受付部１３１）
受付部１３１は、各種情報を受け付ける。具体的には、受付部１３１は、投稿利用者によって投稿された投稿文章を受け付ける。例えば、受付部１３１は、投稿利用者の端末装置１０から投稿文章を受信することにより、投稿利用者の端末装置１０から投稿文章を受け付ける。受付部１３１は、投稿文章を受け付けた場合、投稿文章を識別する識別情報と、投稿利用者の端末装置１０を識別する識別情報と、投稿文章が投稿された投稿先のコンテンツ（以下、「投稿先コンテンツ」と記載する場合がある。）を識別する識別情報と、投稿文章とを対応付けて投稿情報記憶部１２２に格納する。

（生成部１３２）
生成部１３２は、各種情報を生成する。例えば、生成部１３２は、生成モデルに各種情報を生成させることにより、各種情報を生成する。ここで、生成モデルは、入力された情報に応じた情報を生成して出力する機械学習モデルである。具体的には、生成モデルは、大規模言語モデル（LLM：Large Language Model）である。例えば、生成モデルは、ＧＰＴ（Generative Pre-trained Transformer）モデルである。

例えば、生成部１３２は、投稿文章があらかじめ定められた所定の条件を満たす文章であるか否かを判定するよう指示する指示文である判定プロンプトを生成モデルに入力して、投稿文章があらかじめ定められた所定の条件を満たす文章であるか否かを示す判定情報を生成モデルに生成させる。例えば、生成部１３２は、受付部１３１が投稿文章を受け付けた場合、受付部１３１が受け付けた投稿文章および判定プロンプトを生成モデルに入力して、受付部１３１が受け付けた投稿文章があらかじめ定められた所定の条件を満たす文章であるか否かを示す判定情報を生成モデルに生成させる。判定情報は、投稿文章があらかじめ定められた所定の条件を満たすことを示す文章、または、投稿文章があらかじめ定められた所定の条件を満たさないことを示す文章を含むここで、所定の条件とは、例えば、不適切な文章であると判定されるための条件である。例えば、所定の条件とは、誹謗中傷、無意味な荒らし、批判的な発言、または、企業等のブランド低下につながる内容を含むことであってよい。また、判定プロンプトは、所定の条件を示す文章を含む。例えば、判定プロンプトは、不適切な文章であると判定されるための条件を示す文章を含む。

また、判定プロンプトは、投稿文章が投稿されるサービスの特性に応じた柔軟な内容の文章であってよい。例えば、判定プロンプトは、投稿文章が投稿されるサービスが、比較的自由な投稿内容を許容するサービスである場合には、不適切な文章であると判定されるための条件が緩やかな文章を含んでもよい。また、判定プロンプトは、投稿文章が投稿されるサービスが、比較的自由な投稿内容を許容するサービスである場合には、不適切な文章であるか否かの判定を厳しくし過ぎないよう指示する文章を含んでもよい。また、判定プロンプトは、投稿文章が投稿されるサービスが、投稿内容の信頼性を重んじるようなサービスである場合には、不適切な文章であると判定されるための条件が厳しい文章を含んでもよい。また、判定プロンプトは、投稿文章が投稿されるサービスが、投稿内容の信頼性を重んじるようなサービスである場合には、不適切な文章であるか否かの判定を厳しくするよう指示する文章を含んでもよい。

例えば、不用品の販売や引き取りなどに関する無料広告を掲載できる掲示板サービスが知られている。このような掲示板サービスにおける不適切な投稿文章の一例として、利用者の個人の連絡先、電話番号またはＳＮＳのＩＤなどを含む文章がある。このような掲示板サービスでは、不適切な文章であるか否かを柔軟に判定する必要がある。例えば、従来のルールベースによる判定では、投稿利用者が個人の連絡先、電話番号またはＩＤなどの加工する（例えば、表示形式の加工等）ことにより、不適切な文章であるという判定を回避される可能性があった。これは、不適切な投稿文章であるか否かの学習をあらかじめさせた機械学習モデルを用いて判定する場合であっても同様に起こる可能性がある。これに対し、実施形態に係る情報処理装置１００は、「個人の連絡先やＳＮＳのＩＤなどは不適切な投稿となります。それに該当しそうな英数字などがある場合は不適切な投稿です。投稿ユーザはＩＤや連絡先を分割やエスケープ文字を挿入してフィルターを回避してくる可能性もあるので、そこに対しても気を付けてください。」という指示文を含む判定プロンプトを生成モデルに入力して、判定情報を生成モデルに生成させてよい。これにより、情報処理装置１００は、従来のルールベースまたは学習済みの機械学習モデルによる判定を回避する不適切な投稿文章に対しても、不適切な文章であるか否かについての柔軟な判定を可能にすることができる。

図５は、実施形態に係る判定プロンプトの一例を示す図である。生成部１３２は、受付部１３１が受け付けた投稿文章および図５に示す判定プロンプトＰ１を生成モデルに入力して、受付部１３１が受け付けた投稿文章が不適切な文章であるか否かを示す判定情報を生成モデルに生成させる。例えば、生成部１３２は、判定情報として、投稿文章が不適切な文章であることを示す文章、または、投稿文章が不適切な文章でないことを示す文章を生成モデルに生成させる。判定プロンプトＰ１は、不適切な文章であると判定されるための条件とともに、投稿されたコメント（投稿文章の一例）が不適切かどうかの判定を行うよう指示する指示文である。例えば、判定プロンプトＰ１は、不適切な文章であると判定されるための条件として、不適切なコメント（不適切な文章の一例）とは、誹謗中傷、無意味な荒らし、批判的な発言、または、企業等のブランド低下につながる発言であることを示す文章を含む。また、判定プロンプトＰ１は、投稿文章が不適切な文章であるか否かの判定結果を出力する際の出力フォームを指定する文章を含む。例えば、判定プロンプトＰ１は、投稿文章が不適切な文章であると判定した場合は「｛“is inappropriate”: true｝」という判定情報を出力し、投稿文章が不適切な文章ではないと判定した場合は「｛“is inappropriate”: false｝」という判定情報を出力するよう指示する文章を含む。また、生成部１３２は、投稿文章が不適切な文章であると判定した場合は、投稿文章が不適切な文章であることを示す文章として、「｛“is inappropriate”: true｝」という判定情報を生成する。また、生成部１３２は、投稿文章が不適切な文章ではないと判定した場合は、投稿文章が不適切な文章ではないことを示す文章として、「｛“is inappropriate”: false｝」という判定情報を生成する。また、生成部１３２は、生成モデルが判定情報を生成した場合、生成された判定情報に対応する投稿文章と、判定情報とを対応付けて投稿情報記憶部１２２に格納する。

（配信部１３３）
配信部１３３は、利用者の端末装置１０に各種コンテンツを配信する。例えば、配信部１３３は、投稿文章の投稿先のコンテンツである投稿先コンテンツを閲覧利用者の端末装置に配信する。例えば、受付部１３１は、閲覧利用者の端末装置１０から投稿先コンテンツの配信要求を受け付ける。配信部１３３は、受付部１３１により受け付けられた配信要求に応じて、投稿文章が不適切な文章である場合には投稿文章を非表示にする投稿先コンテンツを配信し、投稿文章が不適切な文章でない場合には投稿文章を表示する投稿先コンテンツを配信する。

図６は、実施形態に係る投稿先コンテンツの一例を示す図である。図６の左側は、投稿利用者の端末装置１０の画面に表示される投稿情報の投稿フォームの一例を示す。図６の左側では、投稿利用者が「○○についてトップページに案内載せた方が分かりやすいと思いますがいかがでしょうか？」という投稿文章ＰＴ１を投稿フォームに入力し、投稿ボタンＢ１を押下する。投稿利用者の端末装置１０は、投稿ボタンＢ１の押下操作に応じて、投稿文章ＰＴ１を情報処理装置１００に送信する。情報処理装置１００の受付部１３１は、投稿利用者によって投稿された投稿文章ＰＴ１を受け付ける。また、生成部１３２は、受付部１３１が受け付けた投稿文章ＰＴ１および判定プロンプトＰ１を生成モデルに入力して、投稿文章ＰＴ１が不適切な文章であるか否かを示す判定情報を生成モデルに生成させる。生成モデルは、投稿文章ＰＴ１が不適切な文章ではないと判定し、投稿文章ＰＴ１が不適切な文章ではないことを示す判定情報Ｊ１（例えば、「｛“is inappropriate”: false｝」という文章）を出力する。また、生成部１３２は、投稿文章ＰＴ１と判定情報Ｊ１とを対応付けて投稿情報記憶部１２２に格納する。

また、図６の右側は、閲覧利用者の端末装置１０の画面に表示される投稿先コンテンツの一例を示す。受付部１３１は、閲覧利用者の端末装置１０から投稿文章ＰＴ１の投稿先のコンテンツである投稿先コンテンツの配信要求を受け付ける。配信部１３３は、受付部１３１により受け付けられた配信要求に応じて、投稿情報記憶部１２２を参照して、投稿文章ＰＴ１と対応付けられた判定情報Ｊ１を取得する。また、配信部１３３は、判定情報Ｊ１に基づいて、投稿文章ＰＴ１が不適切な文章ではないと判定する。また、配信部１３３は、投稿文章ＰＴ１が不適切な文章ではないと判定した場合、投稿文章ＰＴ１を表示する投稿先コンテンツＣ１を生成する。また、配信部１３３は、投稿先コンテンツＣ１を生成した場合、投稿先コンテンツＣ１を閲覧利用者の端末装置１０に配信する。

図７は、実施形態に係る投稿先コンテンツの一例を示す図である。図７の左側では、投稿利用者が「運営が全然ダメ、このサイトを閉鎖したほうがいい」という投稿文章ＰＴ２を投稿フォームに入力し、投稿ボタンを押下する。投稿利用者の端末装置１０は、投稿ボタンの押下操作に応じて、投稿文章ＰＴ２を情報処理装置１００に送信する。情報処理装置１００の受付部１３１は、投稿文章ＰＴ２を受け付ける。また、生成部１３２は、受付部１３１が受け付けた投稿文章ＰＴ２および判定プロンプトＰ１を生成モデルに入力して、投稿文章ＰＴ２が不適切な文章であるか否かを示す判定情報を生成モデルに生成させる。生成モデルは、投稿文章ＰＴ２が不適切な文章であると判定し、投稿文章ＰＴ２が不適切な文章であることを示す判定情報Ｊ２（例えば、「｛“is inappropriate”: true｝」という文章）を出力する。また、生成部１３２は、投稿文章ＰＴ２と判定情報Ｊ２とを対応付けて投稿情報記憶部１２２に格納する。

また、図７の右側は、閲覧利用者の端末装置１０の画面に表示される投稿先コンテンツの一例を示す。受付部１３１は、閲覧利用者の端末装置１０から投稿文章ＰＴ２の投稿先のコンテンツである投稿先コンテンツの配信要求を受け付ける。配信部１３３は、受付部１３１により受け付けられた配信要求に応じて、投稿情報記憶部１２２を参照して、投稿文章ＰＴ２と対応付けられた判定情報Ｊ２を取得する。また、配信部１３３は、判定情報Ｊ２に基づいて、投稿文章ＰＴ２が不適切な文章であると判定する。配信部１３３は、投稿文章ＰＴ２が不適切な文章であると判定した場合、投稿文章ＰＴ２を非表示にする投稿先コンテンツＣ２を生成する。例えば、配信部１３３は、「この意見は不適切な表現が含まれるため非表示となりました」という文章ＮＰ２を含む投稿先コンテンツＣ２を生成する。また、配信部１３３は、ボタンを押下することにより投稿文章ＰＴ２の非表示を解除して投稿文章ＰＴ２を表示するボタンＢ２を含む投稿先コンテンツＣ２を生成する。また、配信部１３３は、投稿先コンテンツＣ２を生成した場合、投稿先コンテンツＣ２を閲覧利用者の端末装置１０に配信する。

〔４．情報処理の手順〕
図８は、実施形態に係る情報処理装置による情報処理の手順を示すフローチャートである。図８では、受付部１３１は、投稿利用者によって投稿された投稿文章を受け付ける（ステップＳ１０１）。また、生成部１３２は、受付部１３１が投稿文章を受け付けた場合、投稿文章が不適切な文章であるか否かを判定するよう指示する判定プロンプトおよび投稿文章を生成モデルに入力して、投稿文章が不適切な文章であるか否かを示す判定情報を生成モデルに生成させる（ステップＳ１０２）。また、生成部１３２は、判定情報を生成した場合、投稿文章と判定情報とを対応付けた情報を投稿情報記憶部１２２に記憶する（ステップＳ１０３）。

図９は、実施形態に係る情報処理装置による情報処理の手順を示すフローチャートである。図９では、受付部１３１は、閲覧利用者の端末装置から投稿先コンテンツの配信要求を受け付ける（ステップＳ２０１）。また、配信部１３３は、受付部１３１が投稿先コンテンツの配信要求を受け付けた場合、投稿情報記憶部１２２を参照して、投稿文章と判定情報とを対応付けた情報を取得する（ステップＳ２０２）。また、配信部１３３は、投稿文章と判定情報とを対応付けた情報に基づいて、投稿文章が不適切な文章であるか否かを判定する（ステップＳ２０３）。配信部１３３は、投稿文章が不適切な文章であると判定した場合（ステップＳ２０３；Ｙｅｓ）、投稿文章を非表示にする投稿先コンテンツを閲覧利用者の端末装置に配信する（ステップＳ２０４）。一方、配信部１３３は、投稿文章が不適切な文章でないと判定した場合（ステップＳ２０３；Ｎｏ）、投稿文章を表示にする投稿先コンテンツを閲覧利用者の端末装置に配信する（ステップＳ２０５）。

〔５．変形例〕
上述した実施形態に係る処理は、上記実施形態以外にも種々の異なる形態にて実施されてよい。

〔５－１．第１の変形例〕
上述した実施形態では、生成部１３２が、受付部１３１が受け付けた投稿文章および図５に示す判定プロンプトＰ１を生成モデルに入力して、受付部１３１が受け付けた投稿文章が不適切な文章であるか否かを示す判定情報を生成モデルに生成させる場合について説明した。第１の変形例では、生成部１３２が、投稿文章が不適切な文章である場合には、投稿文章を言い換えた緩和文章を生成するよう指示する緩和プロンプトおよび投稿文章を生成モデルに入力して、緩和文章を生成モデルに生成させる場合について説明する。

生成部１３２は、投稿文章が不適切な文章である場合には、投稿文章を言い換えた緩和文章を生成するよう指示する緩和プロンプトおよび投稿文章を生成モデルに入力して、緩和文章を生成モデルに生成させる。緩和プロンプトは、判定プロンプトに含まれる文章に加えて、投稿文章を言い換えた緩和文章を生成するよう指示する指示文をさらに含む。緩和プロンプトは、投稿文章が不適切な文章である場合には、投稿文章を緩和的な表現の文章に変換した緩和文章を生成するよう指示する指示文を含む。緩和プロンプトは、緩和文章を生成する際の方向性を示す文章を含む。例えば、緩和プロンプトは、投稿文章に含まれる不適切な内容については遠回しでマイルドな表現に言い換えるよう指示する指示文を含む。また、緩和プロンプトは、投稿文章に含まれる不適切な表現については柔らかい表現に言い換えるよう指示する指示文を含む。不適切な表現は、例えば、攻撃的な口調である。

図１０は、第１の変形例に係る緩和プロンプトの一例を示す図である。生成部１３２は、受付部１３１が受け付けた投稿文章および図１０に示す緩和プロンプトＰ２を生成モデルに入力して、受付部１３１が受け付けた投稿文章が不適切な文章であるか否かを示す判定情報を生成モデルに生成させる。また、生成部１３２は、受付部１３１が受け付けた投稿文章および図１０に示す緩和プロンプトＰ２を生成モデルに入力して、受付部１３１が受け付けた投稿文章が不適切な文章である場合には、緩和文章を生成モデルに生成させる。例えば、緩和プロンプトＰ２は、投稿文章が不適切な文章であると判定した場合は「｛“is inappropriate”: true, “converted_post“: “変換されました“｝」という判定情報を出力するよう指示する文章を含む。また、緩和プロンプトＰ２は、「converted_postには変換後の投稿コメントを記載してください。」と指示する文章を含む。また、生成部１３２は、投稿文章が不適切な文章であると判定した場合は、投稿文章が不適切な文章であることを示す「｛“is inappropriate”: true｝」という判定情報とともに、緩和文章を生成する。また、生成部１３２は、生成モデルが判定情報および緩和文章を生成した場合、生成された判定情報に対応する投稿文章と、判定情報と、緩和文章とを対応付けて投稿情報記憶部１２２に格納する。

また、受付部１３１は、閲覧利用者の端末装置から投稿先コンテンツの配信要求を受け付ける。配信部１３３は、受付部１３１により受け付けられた配信要求に応じて、投稿文章が不適切な文章である場合には緩和文章を表示する投稿先コンテンツを配信し、投稿文章が不適切な文章でない場合には投稿文章を表示する投稿先コンテンツを配信する。

図１１は、第１の変形例に係る投稿先コンテンツの一例を示す図である。図１１の左側では、投稿利用者が「運営が全然ダメ、このサイトを閉鎖したほうがいい」という投稿文章ＰＴ３を投稿フォームに入力し、投稿ボタンを押下する。投稿利用者の端末装置１０は、投稿ボタンの押下操作に応じて、投稿文章ＰＴ３を情報処理装置１００に送信する。情報処理装置１００の受付部１３１は、投稿文章ＰＴ３を受け付ける。また、生成部１３２は、受付部１３１が受け付けた投稿文章ＰＴ３および緩和プロンプトＰ２を生成モデルに入力して、投稿文章ＰＴ３が不適切な文章であるか否かを示す判定情報を生成モデルに生成させる。また、生成部１３２は、投稿文章ＰＴ３が不適切な文章である場合、緩和文章を生成モデルに生成させる。図１１では、生成モデルは、投稿文章ＰＴ３が不適切な文章であると判定し、投稿文章ＰＴ３が不適切な文章であることを示す判定情報Ｊ３（例えば、「｛“is inappropriate”: true｝」という文章）および「運営には改善の余地があるかもしれません。フィードバックによりよくなるかもしれません。」という緩和文章ＭＰ３を生成する。また、生成部１３２は、投稿文章ＰＴ３と判定情報Ｊ３と緩和文章ＭＰ３とを対応付けて投稿情報記憶部１２２に格納する。

また、図１１の右側は、閲覧利用者の端末装置１０の画面に表示される投稿先コンテンツの一例を示す。受付部１３１は、閲覧利用者の端末装置１０から投稿文章ＰＴ３の投稿先のコンテンツである投稿先コンテンツの配信要求を受け付ける。配信部１３３は、受付部１３１により受け付けられた配信要求に応じて、投稿情報記憶部１２２を参照して、投稿文章ＰＴ３と対応付けられた判定情報Ｊ３を取得する。また、配信部１３３は、判定情報Ｊ３に基づいて、投稿文章ＰＴ３が不適切な文章であると判定する。配信部１３３は、投稿文章ＰＴ３が不適切な文章であると判定した場合、投稿情報記憶部１２２を参照して、投稿文章ＰＴ３と対応付けられた緩和文章ＭＰ３を取得する。また、配信部１３３は、緩和文章ＭＰ３を取得した場合、緩和文章ＭＰ３を表示する投稿先コンテンツＣ３を生成する。例えば、配信部１３３は、「この投稿は表現緩和されました」という文章Ｔ３を含む投稿先コンテンツＣ３を生成する。また、配信部１３３は、ボタンを押下することにより元の投稿文章ＰＴ３を表示するボタンＢ３を含む投稿先コンテンツＣ３を生成する。また、配信部１３３は、投稿先コンテンツＣ３を生成した場合、投稿先コンテンツＣ３を閲覧利用者の端末装置１０に配信する。なお、配信部１３３は、図６と同様にして、投稿文章が不適切な文章でない場合には投稿文章を表示する投稿先コンテンツを配信する。

図１２は、第１の変形例に係る情報処理装置による情報処理の手順を示すフローチャートである。図１２では、受付部１３１は、投稿利用者によって投稿された投稿文章を受け付ける（ステップＳ３０１）。また、生成部１３２は、受付部１３１が投稿文章を受け付けた場合、投稿文章が不適切な文章である場合には、投稿文章を言い換えた緩和文章を生成するよう指示する緩和プロンプトおよび投稿文章を生成モデルに入力して、判定情報および緩和文章を生成モデルに生成させる（ステップＳ３０２）。また、生成部１３２は、判定情報および緩和文章を生成した場合、投稿文章と判定情報と緩和文章とを対応付けた情報を投稿情報記憶部１２２に記憶する（ステップＳ３０３）。

図１３は、第１の変形例に係る情報処理装置による情報処理の手順を示すフローチャートである。図１３では、受付部１３１は、閲覧利用者の端末装置から投稿先コンテンツの配信要求を受け付ける（ステップＳ４０１）。また、配信部１３３は、受付部１３１が投稿先コンテンツの配信要求を受け付けた場合、投稿情報記憶部１２２を参照して、投稿文章と判定情報とを対応付けた情報を取得する（ステップＳ４０２）。また、配信部１３３は、投稿文章と判定情報とを対応付けた情報に基づいて、投稿文章が不適切な文章であるか否かを判定する（ステップＳ４０３）。配信部１３３は、投稿文章が不適切な文章であると判定した場合（ステップＳ４０３；Ｙｅｓ）、緩和文章を表示する投稿先コンテンツを閲覧利用者の端末装置に配信する（ステップＳ４０４）。一方、配信部１３３は、投稿文章が不適切な文章でないと判定した場合（ステップＳ４０３；Ｎｏ）、投稿文章を表示にする投稿先コンテンツを閲覧利用者の端末装置に配信する（ステップＳ４０５）。

〔５－２．第２の変形例〕
上述した第１の変形例では、配信部１３３が、受付部１３１により受け付けられた配信要求に応じて、投稿文章が不適切な文章である場合には緩和文章を表示する投稿先コンテンツを配信し、投稿文章が不適切な文章でない場合には投稿文章を表示する投稿先コンテンツを配信する場合について説明した。第２の変形例では、配信部１３３が、投稿文章または緩和文章のいずれかを選択可能に表示する確認コンテンツを投稿利用者の端末装置に配信する場合について説明する。具体的には、配信部１３３は、投稿文章または緩和文章のいずれかを選択可能に表示する確認コンテンツを投稿利用者の端末装置に配信する。受付部１３１は、投稿文章または緩和文章に対する選択操作に関する選択情報を受け付ける。

図１４は、第２の変形例に係る確認コンテンツの一例を示す図である。図１４の左側では、投稿利用者が「運営が全然ダメ、このサイトを閉鎖したほうがいい」という投稿文章ＰＴ４を投稿フォームに入力し、投稿ボタンを押下する。投稿利用者の端末装置１０は、投稿ボタンの押下操作に応じて、投稿文章ＰＴ４を情報処理装置１００に送信する。情報処理装置１００の受付部１３１は、投稿文章ＰＴ４を受け付ける。また、生成部１３２は、受付部１３１が受け付けた投稿文章ＰＴ４および緩和プロンプトＰ２を生成モデルに入力して、投稿文章ＰＴ４が不適切な文章であるか否かを示す判定情報を生成モデルに生成させる。また、生成部１３２は、投稿文章ＰＴ４が不適切な文章である場合、緩和文章を生成モデルに生成させる。図１４では、生成モデルは、投稿文章ＰＴ４が不適切な文章であると判定し、投稿文章ＰＴ４が不適切な文章であることを示す判定情報Ｊ４（例えば、「｛“is inappropriate”: true｝」という文章）および「運営には改善の余地があるかもしれません。フィードバックによりよくなるかもしれません。」という緩和文章ＭＰ４を生成する。

また、図１４の右側では、配信部１３３は、投稿文章ＰＴ４または緩和文章ＭＰ４のいずれかを選択可能に表示する確認コンテンツＣ４を生成する。配信部１３３は、投稿文章ＰＴ４または緩和文章ＭＰ４のいずれかを投稿利用者選択させるための確認コンテンツＣ４を生成する。例えば、配信部１３３は、「不適切な表現が含まれた文章の可能性があります。ＡＩにより表現を緩和した文章を作成しました。表現を緩和した文章か元の文章を選んで投稿してください。」という文章Ｔ４を含む確認コンテンツＣ４を生成する。また、配信部１３３は、ボタンを押下することにより投稿利用者により選択された文章を投稿するボタンＢ４を含む確認コンテンツＣ４を生成する。受付部１３１は、ボタンＢ４の押下に応じて、投稿文章ＰＴ４または緩和文章ＭＰ４に対する選択操作に関する選択情報を受け付ける。配信部１３３は、受付部１３１が受け付けた選択情報に基づいて、緩和文章ＭＰ４が選択されたと判定した場合、緩和文章ＭＰ４と判定情報Ｊ４とを対応付けた情報を投稿情報記憶部１２２に記憶する。一方、配信部１３３は、受付部１３１が受け付けた選択情報に基づいて、投稿文章ＰＴ４が選択されたと判定した場合、投稿文章ＰＴ４と判定情報Ｊ４とを対応付けた情報を投稿情報記憶部１２２に記憶する。

図１５は、第２の変形例に係る情報処理装置による情報処理の手順を示すフローチャートである。図１５では、受付部１３１は、投稿利用者によって投稿された投稿文章を受け付ける（ステップＳ５０１）。また、生成部１３２は、受付部１３１が投稿文章を受け付けた場合、投稿文章が不適切な文章である場合には、投稿文章を言い換えた緩和文章を生成するよう指示する緩和プロンプトおよび投稿文章を生成モデルに入力して、判定情報および緩和文章を生成モデルに生成させる（ステップＳ５０２）。また、配信部１３３は、判定情報に基づいて、投稿文章が不適切な文章であるか否かを判定する（ステップＳ５０３）。配信部１３３は、投稿文章が不適切な文章であると判定した場合（ステップＳ５０３；Ｙｅｓ）、投稿文章または緩和文章のいずれかを選択可能に表示する確認コンテンツを投稿利用者の端末装置に配信する（ステップＳ５０４）。

また、受付部１３１は、投稿文章または緩和文章に対する選択操作に関する選択情報を受け付ける。配信部１３３は、受付部１３１が受け付けた選択情報に基づいて、緩和文章が選択されたか否かを判定する（ステップＳ５０５）。配信部１３３は、緩和文章が選択されたと判定した場合（ステップＳ５０５；Ｙｅｓ）、緩和文章と判定情報とを対応付けた情報を投稿情報記憶部１２２に記憶する（ステップＳ５０６）。一方、配信部１３３は、緩和文章が選択されていないと判定した場合（ステップＳ５０５；Ｎｏ）、投稿文章と判定情報とを対応付けた情報を投稿情報記憶部１２２に記憶する（ステップＳ５０７）。また、配信部１３３は、投稿文章が不適切な文章でないと判定した場合（ステップＳ５０３；Ｎｏ）、投稿文章と判定情報とを対応付けた情報を投稿情報記憶部１２２に記憶する（ステップＳ５０７）。

〔６．効果〕
上述したように、実施形態に係る情報処理装置１００は、受付部１３１と生成部１３２を有する。受付部１３１は、投稿利用者によって投稿された投稿文章を受け付ける。生成部１３２は、投稿文章が不適切な文章であるか否かを判定するよう指示する判定プロンプトおよび投稿文章を生成モデルに入力して、投稿文章が不適切な文章であるか否かを示す判定情報を生成モデルに生成させる。

これにより、情報処理装置１００は、投稿文章が投稿されるサービスの特性に応じた柔軟な内容の判定プロンプトに基づいて、投稿文章が不適切な文章であるか否かの判定を生成モデルにさせることができる。したがって、情報処理装置１００は、投稿文章が投稿されるサービスの特性に応じて、投稿文章が不適切な文章であるか否かについての柔軟な判定を可能にすることができる。

また、情報処理装置１００は、投稿文章の投稿先のコンテンツである投稿先コンテンツを閲覧利用者の端末装置に配信する配信部１３３をさらに有する。受付部１３１は、閲覧利用者の端末装置から投稿先コンテンツの配信要求を受け付ける。配信部１３３は、受付部１３１により受け付けられた配信要求に応じて、投稿文章が不適切な文章である場合には投稿文章を非表示にする投稿先コンテンツを配信し、投稿文章が不適切な文章でない場合には投稿文章を表示する投稿先コンテンツを配信する。

これにより、情報処理装置１００は、投稿文章が不適切な文章である場合には投稿文章を非表示にすることができるので、不適切な投稿文章が投稿されることにより、特定の人物や事業者などが不利益を被ることを防ぐことができる。

また、生成部１３２は、投稿文章が不適切な文章である場合には、投稿文章を言い換えた緩和文章を生成するよう指示する緩和プロンプトおよび投稿文章を生成モデルに入力して、緩和文章を生成モデルに生成させる。

これにより、情報処理装置１００は、投稿文章が不適切な文章である場合には投稿文章を言い換えた緩和文章を生成することができるので、例えば、不適切な投稿文章の代わりに緩和文章を表示することができる。また、情報処理装置１００は、不適切な投稿文章の代わりに緩和文章を表示することができるので、不適切な投稿文章が投稿されることにより、特定の人物や事業者などが不利益を被ることを防ぐことができる。

また、情報処理装置１００は、投稿文章の投稿先のコンテンツである投稿先コンテンツを閲覧利用者の端末装置に配信する配信部１３３をさらに有する。受付部１３１は、閲覧利用者の端末装置から投稿先コンテンツの配信要求を受け付ける。配信部１３３は、受付部１３１により受け付けられた配信要求に応じて、投稿文章が不適切な文章である場合には緩和文章を表示する投稿先コンテンツを配信し、投稿文章が不適切な文章でない場合には投稿文章を表示する投稿先コンテンツを配信する。

これにより、情報処理装置１００は、投稿文章が不適切な文章である場合には緩和文章を表示することができるので、不適切な投稿文章が投稿されることにより、特定の人物や事業者などが不利益を被ることを防ぐことができる。

また、情報処理装置１００は、投稿文章または緩和文章のいずれかを選択可能に表示する確認コンテンツを投稿利用者の端末装置に配信する配信部１３３をさらに有する。受付部１３１は、投稿文章または緩和文章に対する選択操作に関する選択情報を受け付ける。

これにより、情報処理装置１００は、投稿文章が不適切な文章である場合には、投稿利用者に対して投稿文章または緩和文章を選択させることができるので、例えば、投稿利用者が緩和文章を選択した場合には、不適切な投稿文章が投稿されるのを防ぐことができる。

〔７．ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置１００は、例えば図１６に示すような構成のコンピュータ１０００によって実現される。図１６は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

〔８．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 利用者情報記憶部
１２２ 投稿情報記憶部
１３０ 制御部
１３１ 受付部
１３２ 生成部
１３３ 配信部

Claims (6)

1. 情報処理装置が実行する情報処理方法であって、
   投稿利用者によって投稿された投稿文章を受け付ける受付工程と、
   前記投稿文章が不適切な文章であるか否かを判定するよう指示する判定プロンプトであって、前記投稿文章が投稿されるサービスの特性に応じて、前記投稿文章が不適切な文章であるか否かの判断基準を変更するよう指示する前記判定プロンプトおよび前記投稿文章を生成モデルに入力して、前記投稿文章が不適切な文章であるか否かを示す判定情報を前記生成モデルに生成させる生成工程と、
   を含む情報処理方法。
2. 前記投稿文章の投稿先のコンテンツである投稿先コンテンツを閲覧利用者の端末装置に配信する配信工程をさらに含み、
   前記受付工程は、
   前記閲覧利用者の端末装置から前記投稿先コンテンツの配信要求を受け付け、
   前記配信工程は、
   前記受付工程により受け付けられた配信要求に応じて、前記投稿文章が不適切な文章である場合には前記投稿文章を非表示にする前記投稿先コンテンツを配信し、前記投稿文章が不適切な文章でない場合には前記投稿文章を表示する前記投稿先コンテンツを配信する、
   請求項１に記載の情報処理方法。
3. 前記生成工程は、
   前記投稿文章が不適切な文章である場合には、前記投稿文章を言い換えた緩和文章を生成するよう指示する緩和プロンプトおよび前記投稿文章を前記生成モデルに入力して、前記緩和文章を前記生成モデルに生成させる、
   請求項１に記載の情報処理方法。
4. 前記投稿文章の投稿先のコンテンツである投稿先コンテンツを閲覧利用者の端末装置に配信する配信工程をさらに含み、
   前記受付工程は、
   前記閲覧利用者の端末装置から前記投稿先コンテンツの配信要求を受け付け、
   前記配信工程は、
   前記受付工程により受け付けられた配信要求に応じて、前記投稿文章が不適切な文章である場合には前記緩和文章を表示する前記投稿先コンテンツを配信し、前記投稿文章が不適切な文章でない場合には前記投稿文章を表示する前記投稿先コンテンツを配信する、
   請求項３に記載の情報処理方法。
5. 前記投稿文章または前記緩和文章のいずれかを選択可能に表示する確認コンテンツを前記投稿利用者の端末装置に配信する配信工程をさらに含み、
   前記受付工程は、
   前記投稿文章または前記緩和文章に対する選択操作に関する選択情報を受け付ける、
   請求項３に記載の情報処理方法。
6. 投稿利用者によって投稿された投稿文章を受け付ける受付手順と、
   前記投稿文章が不適切な文章であるか否かを判定するよう指示する判定プロンプトであって、前記投稿文章が投稿されるサービスの特性に応じて、前記投稿文章が不適切な文章であるか否かの判断基準を変更するよう指示する前記判定プロンプトおよび前記投稿文章を生成モデルに入力して、前記投稿文章が不適切な文章であるか否かを示す判定情報を前記生成モデルに生成させる生成手順と、
   をコンピュータに実行させる情報処理プログラム。