JP7416665B2 - 対話システム、及び対話システムの制御方法 - Google Patents

対話システム、及び対話システムの制御方法 Download PDF

Info

Publication number
JP7416665B2
JP7416665B2 JP2020102121A JP2020102121A JP7416665B2 JP 7416665 B2 JP7416665 B2 JP 7416665B2 JP 2020102121 A JP2020102121 A JP 2020102121A JP 2020102121 A JP2020102121 A JP 2020102121A JP 7416665 B2 JP7416665 B2 JP 7416665B2
Authority
JP
Japan
Prior art keywords
input sentence
similarity
dialogue system
terms
calculation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020102121A
Other languages
English (en)
Other versions
JP2021196798A (ja
Inventor
利昇 三好
健三 黒土
力 光井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020102121A priority Critical patent/JP7416665B2/ja
Publication of JP2021196798A publication Critical patent/JP2021196798A/ja
Application granted granted Critical
Publication of JP7416665B2 publication Critical patent/JP7416665B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、対話システム、及び対話システムの制御方法に関する。
特許文献1には、ユーザとの間の効率的な対話を可能とすることを目的として構成された対話システムについて記載されている。対話システムは、自然言語理解部により所定フォーマットに変換されたユーザ発話を取得し、所定フォーマットのユーザ発話に基づいて、現在の対話状態を更新し、第1ポリシモデルを使用し、更新した対話状態に基づき現在のサブドメインを決定し、現在のサブドメインに関連づけられた第2ポリシモデルを使用して、対話状態に基づき行動を決定する。また、対話システムは、データベースからサンプリングされた対話において、対話状態の複雑性を低減する。
特開2019-191517号公報
近年、問い合わせや相談の自動対応、対話型検索、対話型の機器操作等、ユーザからの音声やテキスト等の入力に対して自動で応答する情報処理システム(以下、「対話システム」と称する。)の開発が進んでいる。対話システムによれば、ユーザに対し、例えば、常時かつ即時の問い合わせ対応、簡便な情報検索、機器操作案内等のサービスを提供することができる。
対話システムには、例えば、ユーザの多様な入力表現に対して、表現の同義性を吸収しつつ区別を要する表現については区別して精度よく適切な応答を返すことが求められる。特許文献1に記載の対話システムは、複合対話ドメインにおいて対話システムとユーザとの間の効率的な対話の実現を図るものであるが、上記のような観点から対話システムの品質を向上する仕組みについては開示されていない。
本発明は、こうした背景に鑑みてなされたものであり、ユーザの多様な入力表現に対して精度よく適切な応答を返すことが可能な、対話システム、及び対話システムの制御方法を提供することを目的としている。
上記目的を達成するための本発明の一つは、情報処理装置を用いて構成される対話システムであって、入力文に対して応答文を出力する対話処理部と、前記入力文を想定した文である想定入力文と前記応答文とを対応付けた質問応答データ、同義語辞書、対話のトピックに応じて互いに区別されるべき用語である区別用語のリストである区別用語リスト、及び入力文と想定入力文との類似度を求める類似度算出モデルを記憶する記憶部と、前記類似度算出モデルを生成する類似度算出モデル生成部と、を備え、前記類似度算出モデル生成部は、前記同義語辞書に記録されている同義語同士は類似度が高く、前記区別用語リストの区別用語同士は類似度が低くなるように類似度を算出する類似度算出モデルを生成し、前記対話処理部は、前記入力文と前記想定入力文との類似度を、前記類似度算出モデルを用いて求め、求めた前記類似度に基づき前記想定入力文を選択し、選択した当該想定入力文に対応する応答文を出力する。
その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。
本発明によれば、ユーザの多様な入力表現に対して精度よく適切な応答を返すことができる。
対話システムの概略的な構成を示す図である。 対話システムを構成する情報処理装置のハードウェア構成例を示す図である。 対話システムの基本動作の概略を示す図である。 質問応答データの起源となるFAQのWebページを示す図である。 FAQに基づき生成される質問応答データの概略を示す図である。 質問応答データの起源となるマニュアルを示す図である。 マニュアルに基づき生成される質問応答データの概略を示す図である。 質問応答データの起源となる仕様書を示す図である。 仕様書に基づき生成されるシナリオ表形式の質問応答データの概略を示す図である。 シナリオ表形式の質問応答データに基づく対話手順を説明する図である。 同義語辞書の一例である。 区別用語リストの一例である。 主要用語リストの一例である。 ユーザ端末に表示される画面の一例である。 ユーザ端末に表示される画面の一例である。 ユーザ端末に表示される画面の一例である。 ユーザ端末に表示される画面の一例である。
以下、図面を参照しつつ本発明の実施形態について説明する。尚、以下の記載及び図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略及び簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。とくに限定しない限り、各構成要素は単数でも複数でも構わない。
以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。また、同一あるいは同様な機能を有する要素が複数ある場合に同一の符号に異なる添字を付して説明することがある。但し、複数の要素を区別する必要がない場合は添字を省略して説明することがある。
以下の説明において、「データ」という表現にて各種のデータを説明することがあるが、各種のデータは、テーブルやリスト等の他のデータ構造で表現されていてもよい。また、識別情報について説明する際に、「識別子」、「ID」等の表現を用いるが、これらについてはお互いに置換することが可能である。また、以下の説明において、符号の前に付した「s」の文字は処理ステップの意味である。
図1に、一実施形態として例示する情報処理システムである対話システム1の概略的な構成を示している。同図に示すように、対話システム1は、対話装置10と、対話装置10と通信ネットワーク30を介して通信可能に接続するユーザ端末40とを含む。
対話装置10は、ユーザからの問い合わせ文等のユーザから受け付けたテキスト形式の文(以下、「入力文」と称する。)に対する応答文を生成してユーザ端末40に送信する。対話装置10とユーザとの間の対話は、例えば、Webページを介したチャット形式で行われる。
図2は、対話装置10の主な機能を説明するシステムフロー図である。同図に示すように、対話装置10は、対話コンテンツ管理部5、類似度算出モデル生成部6、及び対話処理部7の各機能を備える。対話コンテンツ管理部5は、質問応答生成部51、区別用語リスト生成部52、及び主要用語リスト生成部53の各機能を含む。対話処理部7は、質問応答生成部71、及び入力補助部72の各機能を含む。対話装置10は、図示しない記憶部を備える。記憶部は、テキストデータ21、対話コンテンツ22(質問応答データ221、同義語辞書222、区別用語リスト223)、類似度算出モデル23、及び主要用語リスト24を記憶する。
対話コンテンツ管理部5の質問応答生成部51は、テキストデータ21に基づき質問応答データ221を生成する。テキストデータ21は、例えば、業務マニュアル、業務報告書、仕様書、Webページ等から取得される、テキスト形式のデータである。尚、質問応答データ221は、ユーザが手動で作成(入力)してもよい。
質問応答データ221は、質問文と応答文との対応や対話の流れ等に関する情報を含む。具体的には、質問応答データ221は、ユーザからの質問と当該質問に対する応答との組合せ、対話装置10側からユーザヘの質問に対してユーザが何らかの応答文を返したときに、その応答文と次にユーザに送出する質問文との組合せ等を集約したデータである。
対話処理部7は、ユーザ端末40を介してテキストデータを送受信することによりユーザと対話処理を行う。対話処理部7の質問応答生成部71は、ユーザ端末40から入力文を受信すると、受信した入力文に対応する応答文を質問応答データ221から検索する。検索に際し、質問応答生成部71は、同義語辞書222、区別用語リスト223、及び類似度算出モデル23を用いる。
同義語辞書222は、同義語を対応付けた情報を含む。同義語辞書222は、既存の同義語辞書でもよいし、例えば、対話装置10がユーザとの間で行った対話に際して取得した情報(質問文、応答文等)を分析することにより自動生成したものでもよい。
区別用語リスト223は、話題(以下、「トピック」と称する。)毎に区別を要する用
語の組合せ(以下、「区別用語」と称する。)のリストを含む。区別用語リスト223は、例えば、対話コンテンツ管理部5の区別用語リスト生成部52が、質問応答データ221、同義語辞書222、テキストデータ21等を用いて生成する。また、区別用語リスト223は、ユーザが手動で作成(入力)してもよい。
尚、対話処理部7による上記の検索において区別用語リスト223を用いるのは、ユーザの多様な入力表現に対して精度よく適切な応答を返すためである。表記が類似する単語同士であっても、対話のトピックによっては表現を区別しなければならないことがあるが、同義語辞書222は、同義表現を統一して扱うためのものであり、同義語辞書222のみに基づき質問応答生成部71が検索を行うと、対話のトピックに応じた区別を要する表現を扱えなくなることがある。本実施形態の対話装置10は、区別用語リスト223を併用することで、ユーザの多様な入力表現に対して表現の同義性を吸収しつつ区別を要する表現については区別して精度よく適切な応答を返す。
類似度算出モデル23は、入力文と、質問応答データ221における想定入力文との類
似度を求める関数や機械学習モデルである。類似度算出モデル23は、類似度算出モデル生成部6によって生成される。対話処理部7は、ユーザとの対話に際し、類似度算出モデル23を用いることで、入力文に一致する入力文(以下、「想定入力文」と称する。)が質問応答データ221に定義されていない場合でも、入力文が質問応答データ221におけるいずれの入力文に対応するのかを特定する。
対話コンテンツ管理部5の主要用語リスト生成部53は、対話装置10の対話処理部7が、ユーザが適切な入力文を入力できるように補助する機能である入力補助部72によって参照される主要用語リスト24を生成する。尚、主要用語リスト24は、例えば、ユーザが手動で作成(入力)してもよい。
図3に、対話装置10やユーザ端末40を構成する情報処理装置100のハードウェア構成の一例を示す。同図に示すように、情報処理装置100は、プロセッサ101、主記憶装置102、通信装置103、入力装置104、出力装置105、及び補助記憶装置106を備える。
プロセッサ101は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、AI(Artificial Intelligence)チップ、FPGA(Field Programmable Gate Array)、SoC(System on Chip)、ASIC(Application Specific Integrated Circuit)等を用いて構成される。
主記憶装置102は、プログラムやデータを記憶する装置であり、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ(NVRAM(Non Volatile RAM))等である。
通信装置103は、通信ネットワークや通信ケーブル等を介してユーザ端末等の他の情報処理装置との間で通信を行う装置であり、無線又は有線の通信モジュール(無線通信モジュール、通信ネットワークアダプタ、USBモジュール等)である。
入力装置104と出力装置105は、対話装置10のユーザインタフェースを構成する。入力装置104は、外部からのユーザ入力やデータ入力を受け付けるユーザインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、音声入力装置(例えば、マイクロフォン)等である。出力装置105は、各種情報をユーザに向けて出力するユーザインタフェースであり、各種情報を表示する表示装置(液晶ディスプレイ、有機ELパネル等)、各種情報を音声によって出力する音声出力装置(例えば、スピーカ)、紙媒体に印刷するプリンタ等である。
補助記憶装置106は、プログラムやデータを格納する装置であり、例えば、SSD(Solid State Drive)、ハードディスクドライブ、光学式記憶媒体(CD(Compact Disc
)、DVD(Digital Versatile Disc)等)、ICカード、SDカード等である。補助記憶装置106には、対話装置10の機能を実現するためのプログラム及びデータが格納されている。補助記憶装置106は、記録媒体の読取装置や通信装置103を介してプログラムやデータの書き込み/読み出しが可能である。補助記憶装置106に格納(記憶)されているプログラムやデータは、主記憶装置102に随時読み出される。プロセッサ101が、主記憶装置102に格納されているプログラムを読み出して実行することにより、対話装置10が備える各機能が実現される。
対話装置10の機能の全部又は一部を、他の演算装置(例えば、FPGA(Field Programable Gate Array)やASIC(Application Specific Integrated Circuit)等のハ
ードウェアによって実現してもよい。
情報処理装置100は、例えば、パーソナルコンピュータ(デスクトップ型又はノートブック型)、スマートフォン、タブレット、汎用機等である。情報処理装置100の全部又は一部は、例えば、クラウドシステムにより提供されるクラウドサーバのように仮想的な情報処理資源を用いて実現されるものであってもよい。
続いて、対話コンテンツ管理部5の質問応答生成部51が質問応答データ221を生成する機能について具体的に説明する。
図4A、図4Bは、質問応答生成部51が、FAQ(Frequently Asked Question)が
掲載されたWebページから取得されるテキストデータに基づき質問応答データ221を生成する場合を例示している。
図4Aは、質問応答データ221の生成元となるテキストデータ21の一例であり、FAQが掲載されたWebページの例である。同図に示すように、例示するWebページには、FAQにおける個々の質問文301と応答文302とが、「サービスAの申込方法」、「住所の変更方法」等のタイトルで分類されて記載されている。
図4Bは、図4Aに示すテキストデータ21に基づき生成される質問応答データ221の例である。同図に示すように、例示する質問応答データ221は、質問文と応答文とのペアからなるテキスト(以下、「QA対データ」と称する。)である。対話コンテンツ管理部5は、Webページから質問文と当該質問文に対応する応答文との組合せを抽出し、抽出した組合せに基づきQA対データを生成する。本例の場合、FAQの質問が想定入力文となる。
図5A、図5Bは、質問応答生成部51が、一定の構造に従って記載されている業務マニュアル等のマニュアルからなるテキストデータ21から質問応答データ221を生成する場合を例示している。対話コンテンツ管理部5は、マニュアルからなるテキストデータ21における章節や文体の構造の特徴に基づき、QA対データと、そのQA対データを集約した質問応答データ221を生成する。
図5Aは、質問応答データ221の生成元となるテキストデータ21の一例であり、マニュアルの一部から抽出されたデータである。例示するマニュアルには、第5章の表題として「サービスAについて」が記載され、第5章の第1節(5.1節)に「サービスAの申込方法」について記載されている。本例の場合、対話コンテンツ管理部5は、第5章の表題「サービスA」と、5.1節の表題「申込方法」とを「の」で結合した「サービスAの申込方法は?」という質問を生成するとともに、5.1節に記載されている内容をその質問に対する応答として抽出する。また、例示するマニュアルには「6.基本情報の変更」という章があり、基本情報の種類ごとに「6.1 住所」等の項目がある。対話コンテンツ管理部5は、「6.基本情報の変更」における「基本情報」の記載箇所を節の表題(例えば、「住所」)に変更することにより「住所の変更方法は?」との質問を生成するとともに、6.1節に記載されている内容を、その質問に対する応答として抽出する。
図5Bは、図5Aに示すテキストデータ21から生成される質問応答データ221の例である。同図に示すように、対話コンテンツ管理部5は、「サービスAの申込方法は?」を質問文とし、「店舗またはWebサイトからお手続き頂けます。」を応答文としたQA対データを生成する。また、対話コンテンツ管理部は、「住所の変更方法は?」という質問文と、「Webサイトからお手続き頂けます。」という応答文とをペアにしたQA対データを生成する。
図6A、図6Bは、対話装置10が、ユーザとの対話を通じてユーザの希望に叶う商品を特定する情報(型番、製品名等)を提示するサービスを提供す場合における、テキストデータ21と質問応答データ221の例である。対話装置10は、例えば、ユーザがある商品を購入しようとする際、ユーザの希望に沿った商品をユーザとの対話を通じて提示する。図6A及び図6Bには、ユーザがある商品としてBTO(Build To Order)方式のパーソナルコンピュータ(以下、「PC」と称する。)を購入しようとする場合を例示している。質問応答生成部51は、商品であるPCの構成部品の仕様が記載された仕様表のテキストデータ21に基づき質問応答データ221を生成する。
図6Aは、テキストデータ21の一例であり、商品であるPCの構成部品の仕様が記載された仕様表である。同図に示すように、仕様表には、各商品について、商品名、価格、記憶装置、ポート等を対応付けた情報を含む。
図6Bは、図6Aに示した仕様表のテキストデータ21に基づき質問応答生成部51が生成する質問応答データ221の例である。同図に示すように、例示する質問応答データ221は、エントリ(レコード)の識別子(ID)に、ユーザに対して行う質問と、当該質問に対して想定されるユーザの応答部(想定入力文)と、ユーザに対して次に行う質問とを対応付けた情報を含む。
図6Bに示した質問応答データ221は、対話装置10の対話処理部7が行った質問に対するユーザからの応答文(想定入力文)に応じて次の質問を決定するための情報を含む。即ち質問応答データ221は、対話処理部7がユーザとの間で対話処理を進めていくためのシナリオを表形式でまとめた情報(以下、「シナリオ表」と称する。)である。
図6Cは、対話処理部7がユーザとの間で行う対話(チャット)の手順を説明する図である。対話処理部7は、まずユーザ端末40に、図6Bに示したシナリオ表の最初の質問Q1(例えば、「記憶装置はどれにしますか?」)を送出する。ユーザが質問Q1に対して応答文(例えば、「HDD」、「ハードディスク装置」等。ここでは一例として想定入力文A1や当該A1に近い応答文であるものとする。)を返送すると、対話処理部7は、シナリオ表を検索し、質問Q1と想定入力文A1とに対応付けされている次の質問Q2を取得する。質問Q2が、例えば、「USB」の属性について「USBポートの規格は何にしますか?」との質問であれば、対話処理部7は、質問Q2をユーザ端末40に向けて送出し、質問Q2に対するユーザの応答に応じて次の質問をシナリオ表から取得し、取得した質問をユーザ端末40に送出する。以上のようにして対話処理部7は最終的に一つの商品を特定し、その商品名をユーザ端末40に送出する。
図7に同義語辞書222の一例を示す。同図に示すように、同義語辞書222は、同義語や類義語等、意味が近い表現を関連付けた情報を含む。
図8に、区別用語リスト223の一例を示す。例示する区別用語リスト223は、トピック「保険業」についての区別用語リスト223の一例である。区別用語リスト223は、表記が類似していても対話のトピックに応じて区別すべき用語を互いに独立した区別用語とし、その区別用語を一覧にしたものである。例えば、「保険料」と「保険金」は表記が類似し関連語であるが、「保険業」においては両者は明確に区別する必要がある。例示する区別用語リスト223では、「保険料」と「保険金」が個別の区別用語として(異なるエントリ(レコード)のデータとして)登録されている。例示する区別用語リスト223では、区別用語に同義語が存在する場合、そのうちの一の同義語を代表語とし、他の同義語は代表語に対応付けて(同じエントリ(レコード)のデータとして)登録される。
区別用語リスト223は様々な態様を取り得る。例えば、トピックが「商品やサービス
に関する問い合わせ」等である場合、例えば、「プランA」と「プランB」のように商品名やサービス名の表現が類似していることがあり、この場合、区別用語リスト223に「プランA」と「プランB」が夫々区別用語として登録される。また、例えば、トピックが図5Aに示した仕様表の内容に関するものである場合、例えば、「USB2.0」と「USB3.0」が区別用語として登録される。
区別用語リスト223は、例えば、対話コンテンツ管理部5の区別用語リスト生成部52が、質問応答データ221やテキストデータ21から区別用語を抽出し、抽出した区別用語を集約することにより生成される。
図2とともに区別用語リスト生成部52が区別用語リスト223を生成する処理について説明する。
区別用語リスト生成部52は、例えば、質問応答データ221が、図4Bや図5Bに例示した質問文と応答文の対の形式である場合、区別用語リスト生成部52は、例えば、質問文に含まれているある名詞、複合名詞を抽出する。区別を要する用語は、例えば、保険の申し込みに関する問い合わせであれば「プランA」と「プランB」、「保険料」と「保険金」のように、名詞または複合名詞であることが多く、区別して理解する必要がある。尚、区別用語は、名詞や複合名詞に限らず、他の品詞であってもよい。区別用語語の品詞は、例えば、対話のトピック等に応じて設定することができる。
また、区別用語リスト生成部52は、例えば、形態素解析や構文解析等を行うことによりテキストデータ21から区別用語を抽出する。区別用語リスト生成部52は、例えば、抽出した区別用語を代表語とし、各代表語に同義語辞書222に基づく同義語を対応付けする。例えば、区別用語として抽出した「保険金」、「保険料」、「パスポート」のうち、「保険料」には「掛け金」、「パスポート」には「旅券」が夫々同義表現として同義語辞書222に登録されている場合、区別用語リスト生成部52は、「保険金」と「保険料」とを個別の区別用語として区別用語リスト223の別の欄に登録し、「保険料」については「掛け金」と同義語であるとして、」、また「パスポート」については「旅券」と同義語であるとして、夫々、区別用語リスト223の同じ欄に登録する。
尚、仕様表のようなテキストデータ21から区別用語を抽出する場合、仕様表の表内の属性値の用語同士は区別される必要があるため、区別用語リスト生成部52は、これらの用語を区別用語として抽出する。また、シナリオ表のような形式の質問応答データ221から区別用語を抽出する場合、区別用語リスト生成部52は、質問文、応答文(想定入力文)、次の質問の中から、名詞や複合名詞等を区別用語として抽出する。
尚、区別用語リスト生成部52が、ユーザから区別用語リスト223の内容の編集を受け付けるようにしてもよい。また、区別用語リスト223は、人が質問応答データ221やテキストデータ21を参照しつつ作成してもよい。
ところで、質問応答データ221のみから区別用語を抽出した場合、用語の数が多くなり、区別する必要のない用語(ノイズ)が抽出されてしまう可能性がある。そこで例えば、質問応答データ221から抽出された区別用語のうち、テキストデータ21の所定の箇所に記載されていない用語をフィルタリング(除外)し、所定の箇所に記載されているもののみを区別用語として抽出するようにしてもよい。例えば、図4Aのテキストデータ21における所定の箇所は「サービスAの申込方法」、「住所の変更方法」のようにカテゴリの表題が記載されている箇所である。また例えば、図5Aのテキストデータ21における所定の箇所は「サービスA」、「申込方法」、「解約方法」のような章節の見出しが記載されている箇所である。尚、カテゴリや章節の見出しは、区別する必要がある商品や問
い合わせ内容ごとに分類されたものであるので、例えば、カテゴリや章節の見出しに現れる用語を区別用語の代表語として抽出してもよい。
類似度算出モデル23は、類似度算出モデル生成部6が、同義語辞書222と、区別用語リスト223とに基づき生成する。類似度算出モデル23は、例えば、入力文をXとし、想定入力文をYとして関数f(X,Y)と表わすことができる。類似度としては、例えば、XとYの編集距離や、Xを翻訳文、Yを正解文(参照文)とみなしたときのXとYのBLEU値等を採用することができる。また類似度として、例えば、編集距離やBLUE値以外の類似度を用いてもよい。
尚、類似度算出モデル23は、同義語辞書222に基づき、表記(表層表現)が異なる語でも同一の語として扱う。そのため、同義語は同義語辞書222や区別用語リスト223を用いて予め一つの用語に統一しておくことが好ましい(「値段」、「料金」、「代金」等の用語を全て「価格」という用語に統一する等)。
図2を参照しつつ、類似度算出モデル生成部6が類似度算出モデル23を生成する処理について説明する。類似度算出モデル生成部6は、同義語辞書222において同じ欄に登録されている用語同士の類似度が大きくなり、また、区別用語リスト223に登録されている区別用語同士の類似度が小さくなるような類似度算出モデル23を生成する。以下では、類似度算出モデル23の例(第1モデルf1(X,Y)と、第2モデルf2(X,Y))について説明する。
第1モデルf1(X,Y)による算出方法では、まず入力文Xと想定入力文Yを形態素解析や構文解析により、単語やフレーズ等の用語ごとに分解し、分解した用語の集合を夫々、S1={x1、x2、…、xn}、S2={y1、y2、…、ym}とし、S1とS2の類似度を算出する。尚、助詞等の特定の品詞や特定の用語をストップワードとして定義しておき、それらを集合S1、S2から除外しておくようにしてもよい。
S1とS2の類似度は、例えば、Jaccard係数や、Dice係数等の方法によって集合間の類似度として算出することができる。また、単語xi、yjの間の類似度s(xi、yj)をxiとyjの表記の近さ(編集距離の負数等)で定義し、WMD(Word Mover‘s Distance)等で集合S1と集合S2の類似度を算出することもできる。また、集合S1と集合S2の単語重複度等に基づく方法を用いることもできる。XとYのレーベンシュタイン距離等の編集距離を用いる方法もある。S1とS2の類似度は、更に他の算出方法により算出してもよい。このように、第1モデルf1(X,Y)では、XとYの表記に基づき類似度を算出する。尚、距離については、負数をとる等して類似度に変換する。
第1モデルf1(X,Y)に基づく算出方法では、表記に基づき類似度を算出することから、類似度算出の過程が明確であり説明性が高い。そのため、対話装置10による応答精度を改善するために、対話装置10が、例えば、何故そのような返答をするのか、対話装置10の管理者やユーザが知りたい場合に、類似度の算出過程を追跡することができる。また、第1モデルf1(X,Y)に基づく類似度の算出方法は、表記に基づくものであるため、表記が類似している場合は正しく想定入力文を推定できるという利点がある。
尚、第1モデルf1(X,Y)に基づく算出方法は、単語の意味ではなく、表記で近さを算出するため、類似した表現であっても異なる単語として扱われる場合がある。例えば、「利用する」と「使う」は、共通する文字がないため、類似度が小さくなる。
そこで、第2モデルf2(X,Y)による類似度の算出方法では、単語w1とw2の単語間類似度s(w1、w2)を用いる。単語間類似度s(w1、w2)は、個々の単語同
士の類似度であり、その算出方法としては、例えば、w1とw2の分散表現のコサイン類似度を用いる方法がある。また、w1とw2の単語概念間距離を用いる方法もある。
単語間類似度s(w1、w2)を用いる算出方法では、例えば、WordNet上の2つの単語間のパスの長さ等を用いることができる。これらの単語間類似度を用いて、単語集合S1、S2の間の距離を例えば、WMDを使って算出する。第2モデルf2(X,Y)は、表記ではなく、単語の分散表現の類似度や概念距離を用いるため、表記が異なっていても、意味が類似した単語同士の類似度は高くなる。しかし単語間類似度s(w1、w2)が表記に基づく算出方法ではないため、説明性が低くなる場合がある。
尚、第2モデルf2(X,Y)による類似度の算出方法では、単語間類似度s(w1、w2)を、表記ではなく、分散表現の類似度や概念距離を用いて算出していたが、同義語辞書222と区別用語リスト223とを用いて、類似度の値を補正することとしてもよい。以下に、類似度が0~1の間の実数をとるように正規化されている場合に類似度の値を補正する方法の一例を示す。
まず同義語辞書222に同義表現として記載されている用語w1、w2は、予め定めた0以上1以下の大きい値をc1として、s(w1、w2)=c1とおく。尚、w1とw2は同じ用語とみなして、c1=1としてもよい。また、区別用語リスト223に記載されている二つの区別用語(w1、w2)は予め定めた0以上1以下の小さい値をc2として、s(w1、w2)=c2とおく。例えば、c2=0としてもよい。このように補正することで、区別用語リスト223に記載されている用語同士の類似度は小さくなる。
尚、特にWordNetの概念間類似度を用いる場合には、複数の想定質問文Yに対して、第2モデルf2(X,Y)による類似度が同じ値になる場合がある。このような場合、f1とf2とを合成した類似度算出モデルf(X,Y)を、
f(X,Y)=C×f1(X,Y)+f2(X,Y)
としてもよい。合成係数Cは、例えば、C=0.1とする。また、f1(X,Y)が十分大きいときには、表記がかなり類似しており、f1(X,Y)の値が信頼できる。そのため、予め閾値Hを定めて置き、以下の式のように、f1がHより大きい場合には、f1の値を類似度として採用してもよい。
f(X,Y)=f1(X,Y) f1(X、Y)>Hの場合
・・・式1
f(X,Y)=C×f1(X,Y)+f2(X,Y) f1(X,Y)≦Hの場合
・・・式2
このような算出方法により、表記が類似しているときにはf1が採用され、結果に対する説明性が高くなるとともに、f1の値が低く、表記が類似していない場合であっても、単語間の意味が類似している場合には、f2を主として、f2とf1の合成類似度を用いることで、高い類似度を得ることができる。
対話処理部7は、以上のようにして生成された類似度算出モデル23を用いて入力文と想定入力文との類似度を算出し、最も近い想定入力文を取得する。例えば、図6Bに示したシナリオ表に基づくユーザとの対話において、対話装置10が「記憶装置はどれにしますか?」という質問をしたときに、入力文が「Hard Disk Drive」であった場合、「記憶
装置」の属性における値(HDD、SSD)の中で、どの値に最も近いかを算出する。
以上により、表記が類似している場合には説明性が高い類似度を、また、表記が異なる場合でも意味が類似している場合には高い類似度を得ることができる。また、区別する必要がある用語については類似度を低く算出することができる。これにより応答精度を向上
させることができる。対話装置10は、以上のような類似度算出モデル23を用いることで、入力文と最も類似度が高い想定入力文を特定し、適切な応答文を返すおことができる。
ところで、入力文の表現は多様であるため、入力文に対話装置10が適切な応答文を返送するための情報が欠落している場合や、区別用語として区別して入力すべき語と他の語が混在していることがあり、これらは対話装置10の応答精度を低下させる要因となる。図2に示した対話処理部7の入力補助部72は、適切な入力文を入力できるようにユーザを補助して対話装置10の応答精度の向上を図る。
入力補助部72は、ユーザが入力文を入力する過程で、想定入力文で使用されている用語を表示する。対話装置10は、想定入力文に含まれる用語を主要用語リスト24として管理する。
図2に示すように、対話装置10の主要用語リスト生成部53は、質問応答データ221に基づき主要用語リスト24を生成する。対話処理部7は、ユーザ端末40を介して行われるユーザとの対話処理に際し、質問応答生成部71が想定入力文を推定するとともに、入力補助部72が、主要用語リスト24から、推定した想定入力文に対応する主要語をユーザ端末40に提示する。
図9に主要用語リスト24の一例を示す。主要用語リスト24は、例えば、主要用語リスト生成部53が、形態素解析によって質問応答データ221の各想定入力文に含まれる特定の品詞(名詞、動詞等)を主要用語として抽出することにより生成する。例示する主要用語リスト24は、図4A及び図5Aに示した質問応答データ221に基づき生成されたものである。
図10A~図10Dに、ユーザが入力文を入力する過程で入力補助部72が表示する画面の例を示す。
例えば、図10Aに示すように、ユーザ端末40に表示されたユーザ入力欄41にユーザが「申込はどこでできますか?」と入力した場合、対話処理部7は、入力文Xに対し、各想定質問文Yに対する類似度f(X,Y)を算出し、類似度が高い上位p件(pは予め定めておく。例えばp=10とする。)を選定する。
ここでは、もっとも高い類似度の値をM(M=maxf(X、Y))としたとき、二つの想定入力文「サービスA」と「サービスB」を含む想定質問文Yが選定されたものとする。このとき、主要用語リスト24において、選定された想定入力文Yに含まれる主要用語w(この場合には、「サービスA」、「サービスB」、「申込」のいずれか)を入力文Xに加えてX’としたときに、M’=maxf(X’、Y)の値がMよりも予め定めた一定の値K以上大きい場合、即ち、M’-M>Kとなる場合、wを不足情報補完候補42として選定する。つまり入力文Xと想定入力文Yとの類似度が高くなるように、入力文Xに不足情報補完候補42として選定した主要用語wを加える。
図10Aは、「サービスA」と「サービスB」が不足情報補完候補42として選定された場合である。対話処理部7は、選定した不足情報補完候補42である「サービスA」と「サービスB」を、ユーザ端末40にて選択可能に表示する。図10Aにおいて、ユーザが、例えば、「サービスA」を選択すると、図10Bに示すように、入力補助部72は、選択された「サービスA」の語によって補完された「サービスAの申込みはどこでできますか?」という入力文X’を表示する。
尚、例えば、ユーザ自身が用語を知らない、用語を混同している、等の理由で誤った用語を入力する場合がある。例えば、図10Cに示すように、入力文Xが「サービスAの申込みはどこでできますか?」という文である場合、ユーザが「サービスA」を「サービスB」や「サービスC」と混同している場合がある。この場合、対話処理部7は、入力文Xにおける「サービスA」の表示位置に別の候補43として「サービスB」、「サービスC」を、ユーザ端末40に選択可能に表示する。これによりユーザに用語を混同している可能性があることを認知させることができ、入力文Xの誤入力を低減させることができる。この仕組みは、例えば、ユーザが「サービスA」の申込がどこでできるか質問しており、更に「サービスA」が主要用語リスト24にあることから、「サービスA」をw1とし、主要用語リスト24にある用語をw2として、単語間類似度s(w1、w2)を算出し、w1と類似している用語w2を提示すべき用語として選定することにより実現できる。尚、用語w2は、用語w1との類似度が高い順に所定件数選定してもよいし、予め定めた一定の閾値以上の類似度をもつ用語w2を選定してもよい。ユーザは、必要であれば、提示された用語w2から一つを選択し、用語w1を用語w2に置き換えることによって、入力を修正することができる。
ユーザが入力文を入力する際、対話装置10の類似度算出に有効な用語と、そうでない用語とをユーザが知ることができれば、ユーザは効率よく入力文を入力することができる。例えば、入力文の単語集合をS1とし、次に、参照単語集合をS3とする。参照単語集合S3は、全ての想定入力文に掲載されている単語の集合でもよいし、区別用語リスト223に掲載されている用語の集合でもよい。対話装置10は、S1の要素の単語w1について、g=max{s(w1、w2)}を算出する。尚、当該式における「max」は、S3中の全ての単語w2に対してとる。このとき、図10Dに示すように、入力文Xの入力欄(以下、ユーザ入力欄41と称する)において、gの値が予め定めた閾値以上となる用語w1と他の用語とを識別可能に表示させてもよい。同図の例では、用語w1が強調表示(ハイライト表示)されている(図中、矩形点線枠44)。また、閾値以上となる用語w1については、gの値に応じ、濃度を変えたグラデーション表示で示してもよい。このように、用語w1と他の用語とを識別可能にすることで、対話装置10が応答をする上で重視している用語がユーザにも分かり、対話装置10が精度よく応答するための入力をユーザに促すことができる。
尚、上記の単語間類似度s(w1、w2)は、上述した各種単語間類似度(分散表現のコサイン類似度、単語概念間距離等)の一つ、または複数を合成したものを用いればよい。また、単語間類似度s(w1、w2)は、例えば、類似度算出モデルf(X,Y)の合成計数Cに対応する重み付けに用いてもよい。単語同士の類似度s(w1、w2)の代わりに類似度f(X,Y)を用いてもよい。
以上、本発明の実施形態につき説明したが、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。また例えば、上記した実施形態は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また各実施形態の構成の一部について、他の構成に追加、削除、置換することが可能である。
また、上記の各構成、機能部、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、SSD(Solid State Drive)等の記録装置、
ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、以上に説明した各情報処理装置の各種機能部、各種処理部、各種データベースの配置形態は一例に過ぎない。各種機能部、各種処理部、各種データベースの配置形態は、これらの装置が備えるハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。
また、前述した各種のデータを格納するデータベースの構成(スキーマ(Schema)等)は、リソースの効率的な利用、処理効率向上、アクセス効率向上、検索効率向上等の観点から柔軟に変更し得る。
1 対話システム、5 対話コンテンツ管理部、51 質問応答生成部、52 区別用語リスト生成部、53 主要用語リスト生成部、6 類似度算出モデル生成部、7 対話処理部、21 テキストデータ、22 対話コンテンツ、221 質問応答データ、222
同義語辞書、223 区別用語リスト、23 類似度算出モデル、24 主要用語リスト、30 通信ネットワーク、40 ユーザ端末、41 ユーザ入力欄

Claims (16)

  1. 情報処理装置を用いて構成される対話システムであって、
    入力文に対して応答文を出力する対話処理部と、
    前記入力文を想定した文である想定入力文と前記応答文とを対応付けた質問応答データ、同義語辞書、対話のトピックに応じて互いに区別されるべき用語である区別用語のリストである区別用語リスト、及び入力文と想定入力文との類似度を求める類似度算出モデルを記憶する記憶部と、
    前記類似度算出モデルを生成する類似度算出モデル生成部と、
    を備え、
    前記類似度算出モデル生成部は、前記同義語辞書に記録されている同義語同士は類似度が高く、前記区別用語リストの区別用語同士は類似度が低くなるように類似度を算出する類似度算出モデルを生成し、
    前記対話処理部は、前記入力文と前記想定入力文との類似度を、前記類似度算出モデルを用いて求め、求めた前記類似度に基づき前記想定入力文を選択し、選択した当該想定入力文に対応する応答文を出力する、
    対話システム。
  2. 請求項1に記載の対話システムであって、
    前記質問応答データを、章節構造を有する文書からなるテキストデータに基づき生成するとともに、前記区別用語を、当該テキストデータにおける章節の見出し、または章節の分類を示す表記から抽出する対話コンテンツ管理部を更に備える、
    対話システム。
  3. 請求項1に記載の対話システムであって、
    前記類似度算出モデル生成部は、前記入力文と前記想定入力文の夫々に含まれる用語の集合同士の類似度に基づく第1の類似度算出モデルと、前記入力文と前記想定入力文の夫々に含まれる単語同士の類似度に基づく第2の類似度算出モデルとを生成し、前記第1の類似度算出モデルと前記第2の類似度算出モデルとを合成した関数を前記類似度算出モデルとして生成する、
    対話システム。
  4. 請求項3に記載の対話システムであって、
    前記対話処理部は、前記第1の類似度算出モデルで算出した前記入力文と前記想定入力文との類似度が所定の閾値以上である場合に、当該第1の類似度算出モデルを前記類似度算出モデルとして採用する、
    対話システム。
  5. 請求項1に記載の対話システムであって、
    前記対話処理部は、前記入力文に含まれる用語を、前記同義語辞書または前記区別用語リストを用いて前記想定入力文に含まれる用語に統一した上で前記類似度を算出する、
    対話システム。
  6. 請求項1に記載の対話システムであって、
    前記記憶部は、前記想定入力文の夫々に含まれる用語を主要用語として抽出した主要用語リストを記憶し、
    前記対話処理部は、入力した前記入力文に類似する前記想定入力文についての前記主要用語を、ユーザが選択可能な状態で出力するとともに、前記入力文を当該ユーザによって選択された前記主要用語で補完する、
    対話システム。
  7. 請求項1に記載の対話システムであって、
    前記記憶部は、前記想定入力文の夫々に含まれる用語を主要用語として抽出した主要用語リストを記憶し、
    前記対話処理部は、入力した前記入力文に類似する前記想定入力文についての前記主要用語を、当該入力文に含まれる一部の用語と置換可能な状態で出力するとともに、前記一部の用語を置換する旨のユーザの指示を受け付けると前記入力文の一部を指示された前記主要用語に置換する、
    対話システム。
  8. 請求項1に記載の対話システムであって、
    前記記憶部は、前記想定入力文の夫々に含まれる用語を主要用語として抽出した主要用語リストを記憶し、
    前記対話処理部は、前記入力文に含まれる単語において、前記想定入力文に含まれる単語との類似度が所定の閾値以上である単語を前記入力文で識別可能に表示する、
    対話システム。
  9. 情報処理装置を用いて構成される対話システムの制御方法であって、
    対話システムが、
    入力文に対して応答文を出力するステップ、
    前記入力文を想定した文である想定入力文と前記応答文とを対応付けた質問応答データ、同義語辞書、対話のトピックに応じて互いに区別されるべき用語である区別用語のリストである区別用語リスト、及び入力文と想定入力文との類似度を求める類似度算出モデルを記憶するステップ、
    前記類似度算出モデルを生成するステップ、
    前記同義語辞書に記録されている同義語同士は類似度が高く、前記区別用語リストの区別用語同士は類似度が低くなるように類似度を算出する類似度算出モデルを生成するステップ、及び、
    前記入力文と前記想定入力文との類似度を、前記類似度算出モデルを用いて求め、求めた前記類似度に基づき前記想定入力文を選択し、選択した当該想定入力文に対応する応答文を出力するステップ、
    を実行する、対話システムの制御方法。
  10. 請求項9に記載の対話システムの制御方法であって、
    前記対話システムが、前記質問応答データを、章節構造を有する文書からなるテキストデータに基づき生成するとともに、前記区別用語を、当該テキストデータにおける章節の見出し、または章節の分類を示す表記から抽出するステップ、
    を更に実行する、対話システムの制御方法。
  11. 請求項9に記載の対話システムの制御方法であって、
    前記対話システムが、前記入力文と前記想定入力文の夫々に含まれる用語の集合同士の類似度に基づく第1の類似度算出モデルと、前記入力文と前記想定入力文の夫々に含まれる単語同士の類似度に基づく第2の類似度算出モデルとを生成し、前記第1の類似度算出モデルと前記第2の類似度算出モデルとを合成した関数を前記類似度算出モデルとして生成するステップ、
    を更に実行する、対話システムの制御方法。
  12. 請求項11に記載の対話システムの制御方法であって、
    前記対話システムが、前記第1の類似度算出モデルで算出した前記入力文と前記想定入
    力文との類似度が所定の閾値以上である場合に、当該第1の類似度算出モデルを前記類似度算出モデルとして採用するステップ、
    を更に実行する、対話システムの制御方法。
  13. 請求項9に記載の対話システムの制御方法であって、
    前記対話システムが、前記入力文に含まれる用語を、前記同義語辞書または前記区別用語リストを用いて前記想定入力文に含まれる用語に統一した上で前記類似度を算出するステップ、
    を更に実行する、対話システムの制御方法。
  14. 請求項9に記載の対話システムの制御方法であって、
    前記対話システムが、
    前記想定入力文の夫々に含まれる用語を主要用語として抽出した主要用語リストを記憶するステップ、及び、
    入力した前記入力文に類似する前記想定入力文についての前記主要用語を、ユーザが選択可能な状態で出力するとともに、前記入力文を当該ユーザによって選択された前記主要用語で補完するステップ、
    を更に実行する、対話システムの制御方法。
  15. 請求項9に記載の対話システムの制御方法であって、
    前記対話システムが、
    前記想定入力文の夫々に含まれる用語を主要用語として抽出した主要用語リストを記憶するステップ、及び、
    入力した前記入力文に類似する前記想定入力文についての前記主要用語を、当該入力文に含まれる一部の用語と置換可能な状態で出力するとともに、前記一部の用語を置換する旨のユーザの指示を受け付けると前記入力文の一部を指示された前記主要用語に置換するステップ、
    を更に実行する、対話システムの制御方法。
  16. 請求項9に記載の対話システムの制御方法であって、
    前記対話システムが、前記想定入力文の夫々に含まれる用語を主要用語として抽出した主要用語リストを記憶するステップ、及び、
    前記入力文に含まれる単語において、前記想定入力文に含まれる単語との類似度が所定の閾値以上である単語を前記入力文で識別可能に表示するステップ、
    を更に実行する、対話システムの制御方法。
JP2020102121A 2020-06-12 2020-06-12 対話システム、及び対話システムの制御方法 Active JP7416665B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020102121A JP7416665B2 (ja) 2020-06-12 2020-06-12 対話システム、及び対話システムの制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020102121A JP7416665B2 (ja) 2020-06-12 2020-06-12 対話システム、及び対話システムの制御方法

Publications (2)

Publication Number Publication Date
JP2021196798A JP2021196798A (ja) 2021-12-27
JP7416665B2 true JP7416665B2 (ja) 2024-01-17

Family

ID=79195510

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020102121A Active JP7416665B2 (ja) 2020-06-12 2020-06-12 対話システム、及び対話システムの制御方法

Country Status (1)

Country Link
JP (1) JP7416665B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024004320A1 (ja) * 2022-06-30 2024-01-04 有限会社Bond 教育装置、教育方法及び記録媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244262A (ja) 2005-03-04 2006-09-14 Nec Corp 質問回答検索システム、方法およびプログラム
JP2009536401A (ja) 2006-05-05 2009-10-08 ハリス コーポレイション 文書データベースにおける文書の領域識別のための方法
JP2015038710A (ja) 2013-08-19 2015-02-26 株式会社東芝 方法、電子機器およびプログラム
JP2017505937A (ja) 2013-12-02 2017-02-23 ラクテン ユーエスエー インコーポレイテッド オブジェクトネットワークをモデル化するシステム及び方法
JP2020507155A (ja) 2017-01-22 2020-03-05 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited 単語ベクトル処理方法および装置
JP2020071801A (ja) 2018-11-02 2020-05-07 株式会社ユニバーサルエンターテインメント 情報提供システム、情報提供方法、及び、知識データのデータ構造
WO2020100553A1 (ja) 2018-11-13 2020-05-22 株式会社日立製作所 質問応答データ生成装置および質問応答データ生成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244262A (ja) 2005-03-04 2006-09-14 Nec Corp 質問回答検索システム、方法およびプログラム
JP2009536401A (ja) 2006-05-05 2009-10-08 ハリス コーポレイション 文書データベースにおける文書の領域識別のための方法
JP2015038710A (ja) 2013-08-19 2015-02-26 株式会社東芝 方法、電子機器およびプログラム
JP2017505937A (ja) 2013-12-02 2017-02-23 ラクテン ユーエスエー インコーポレイテッド オブジェクトネットワークをモデル化するシステム及び方法
JP2020507155A (ja) 2017-01-22 2020-03-05 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited 単語ベクトル処理方法および装置
JP2020071801A (ja) 2018-11-02 2020-05-07 株式会社ユニバーサルエンターテインメント 情報提供システム、情報提供方法、及び、知識データのデータ構造
WO2020100553A1 (ja) 2018-11-13 2020-05-22 株式会社日立製作所 質問応答データ生成装置および質問応答データ生成方法

Also Published As

Publication number Publication date
JP2021196798A (ja) 2021-12-27

Similar Documents

Publication Publication Date Title
US11397762B2 (en) Automatically generating natural language responses to users' questions
Najmi et al. CAPRA: a comprehensive approach to product ranking using customer reviews
US20230394242A1 (en) Automated translation of subject matter specific documents
Toba et al. Discovering high quality answers in community question answering archives using a hierarchy of classifiers
US9910886B2 (en) Visual representation of question quality
US9864741B2 (en) Automated collective term and phrase index
KR100969447B1 (ko) 자연 언어 커맨드에 따른 표 렌더링
US9053423B2 (en) Assisted update of knowledge base for problem solving
US9817821B2 (en) Translation and dictionary selection by context
US20050149499A1 (en) Systems and methods for improving search quality
US20170103439A1 (en) Searching Evidence to Recommend Organizations
TW201314476A (zh) 基於本體之自動自助式使用者支援
WO2013088287A1 (en) Generation of natural language processing model for information domain
JP4904496B2 (ja) 文書類似性導出装置及びそれを用いた回答支援システム
CN112417090A (zh) 利用未提交的用户输入数据来提高任务性能
JP6622236B2 (ja) 発想支援装置及び発想支援方法
Delaere Do translations walk the line?: visually exploring translated and non-translated texts in search of norm conformity
WO2010061733A1 (ja) 誤訳の検出を支援する装置及び方法
JP2020113129A (ja) 文書評価装置、文書評価方法及びプログラム
JP7416665B2 (ja) 対話システム、及び対話システムの制御方法
US10339826B1 (en) Systems and methods for determining the effectiveness of source material usage
US10120858B2 (en) Query analyzer
B. Shelke et al. Marathi SentiWordNet: A lexical resource for sentiment analysis of Marathi
Moorkens Consistency in Translation Memory Corpora: A mixed methods case study
JP7364512B2 (ja) ラベル付与モデル生成装置、及びラベル付与モデル生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240104

R150 Certificate of patent or registration of utility model

Ref document number: 7416665

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150