JP6853752B2 - 対話シナリオコーパスの作成支援システム - Google Patents

対話シナリオコーパスの作成支援システム Download PDF

Info

Publication number
JP6853752B2
JP6853752B2 JP2017157641A JP2017157641A JP6853752B2 JP 6853752 B2 JP6853752 B2 JP 6853752B2 JP 2017157641 A JP2017157641 A JP 2017157641A JP 2017157641 A JP2017157641 A JP 2017157641A JP 6853752 B2 JP6853752 B2 JP 6853752B2
Authority
JP
Japan
Prior art keywords
scenario
utterance
input
unfinished
worker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017157641A
Other languages
English (en)
Other versions
JP2019036171A (ja
Inventor
池田 和史
和史 池田
啓一郎 帆足
啓一郎 帆足
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2017157641A priority Critical patent/JP6853752B2/ja
Publication of JP2019036171A publication Critical patent/JP2019036171A/ja
Application granted granted Critical
Publication of JP6853752B2 publication Critical patent/JP6853752B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)

Description

本発明は、対話シナリオコーパスの作成支援システムに係り、特に、発話の登録数が不足する未完成シナリオを発話入力作業を担うワーカへ提示し、次の発話者の立場で発話を入力させて更新登録することを繰り返して対話シナリオを完成させる対話シナリオコーパスの作成支援システムに関する。
対話エージェントシステムに高度な対話を実現させるためには、想定される対話のやり取り(対話シナリオ)を記述した大規模な文章データ(対話シナリオコーパス)の作成が必要となる。対話シナリオコーパスは、既に存在するチャットやSNS上のデータから作成する方法や、人手で入力することで作成する方法などがあるが、一般的に人手によって作成した方が用途に合った高品質なものとなることが多い。
特許文献1には、チャットのような複数ユーザによるテキストコミュニケーションにおける入力文章を対象に自然言語処理を行い、文章間の関係情報を取得、蓄積することで対話コーパスを生成する方法が開示されている。
非特許文献1には、クラウドソーシングを利用してテキスト対話を行う2名の作業者を募集し、チャット形式での対話入力と、入力した文章に対してその役割などを付与するアノテーション作業を支援するシステムが開示されている。
非特許文献2は、TwitterのようなSNS上で行われているコミュニケーションをコーパスとして収集することで、ユーザの発話と類似度が高いSNS上の投稿を発見し、当該投稿に対する返答を対話エージェントの返答とすることで対話システムを実現する方法が開示されている。ユーザ発話に類似する投稿が存在しない場合、非特許文献2では、クラウドソーシング上のワーカに返答の作成を依頼する。
特開2008 -299754号公報
「オープンプラットフォームとクラウドソーシングを活用した対話コーパス構築方法」塚原裕史,内海慶,言語処理学会年次大会(2015年3月) 「リアルタイムクラウドソーシングとTwitter大規模コーパスを利用した対話シテム」別所史浩,原田達也,國吉康夫,情報処理学会研究報告(2012年5月)
特許文献1や非特許文献2では、チャットやSNSなどテキストによるコミュニケーションデータが既に存在することを前提に、それらの関係性を取得してコーパスとするが、既存のコミュニケーションデータは多様なユーザが自身の立場で情報を発信しているため、そのままでは活用が難しい。例えば、男性の投稿と女性の投稿とが混ざっており、これらが混合されたコーパスは対話エージェントの性格を破たんさせる。対話エージェンの品質向上には、性格などを考慮したコーパスを人手で作成することが求められる。
非特許文献1では、クラウドソーシングを利用して複数のワーカを収集し、2名のワーカペアにチャットを行わせる方法が提案されている。この方法では、2名のワーカを同時刻に集合させてチャットを行う必要があるために時間的拘束が大きくなる。また、相手が文章を入力している間、他方のワーカは待ち状態となるので無駄な時間が多く、効率が悪くなる。さらに、複数のワーカペアで会話の内容が重複し、無駄になるという課題もある。
本発明の目的は、上記の技術課題を解決し、同一のシナリオを複数人で作成可能とすることにより、作業者を拘束する必要がなくなり、作業効率を向上させることが可能な対話シナリオコーパスの作成支援システムを提供することにある。
上記の目的を達成するために、本発明は、対話する各発話者の立場での発話入力を繰り返して対話シナリオを完成させる対話シナリオコーパスの作成支援システムにおいて、以下の構成を具備した点に特徴がある。
(1) 発話の登録数が不足する未完成シナリオを記憶するデータベースと、発話の入力作業を担うワーカへ発話入力を依頼する未完成シナリオを選択する手段と、選択した未完成シナリオをワーカへ提示する手段と、提示した未完成シナリオに対して入力された発話を前記データベースに登録する手段とを具備し、前記未完成シナリオの選択、提示および入力された発話の登録を繰り返すようにした。
(2) 各発話者の属性情報を記憶する手段と、各ワーカの属性情報を取得する手段とを具備し、選択する手段は、発話者の属性情報がワーカと類似する未完成シナリオを優先的に選択するようにした。
(3) 前記選択する手段は、当該ワーカによる発話入力の履歴がある未完成シナリオを優先的に選択するようにした。
(4) 未完成シナリオの話題を判別する手段と、未完成シナリオの話題とワーカの識別情報との関連性を計算する手段とを具備し、選択する手段は、ワーカの識別情報との関連性がより高い話題の未完成シナリオを優先的に選択するようにした。
(5) 前記提示する手段は、発話者の属性情報をワーカに提示する手段をさらに具備した。
(6) 不適切な発話を含む未完成シナリオをワーカに報告させる手段を更に具備し、報告数が基準値を超えた未完成シナリオを削除するようにした。
(7) 入力された各発話に含まれる語句をクラスタリングし、発話数が所定数に達したか否かに基づいて対話シナリオが完成したか否かを判断する際の当該所定数をクラスタ数に応じて可変とした。
(8) 前記データベースを、一つのルート発話から少なくとも一つのノード発話を中継してリーフ発話に至る複数の対話シナリオで構成される木構造とした。
(9) 階層ごとに発話内容が類似するノードを集約する手段を具備した。
(10) 入力発話に含まれる語句の当該入力発話と同一階層における出現頻度が所定値を超えていると当該語句を含む発話入力を禁止する手段を具備した。
(11) 前記提示する手段は、n番目までの発話とn+2番目以降の発話とが登録された未完成シナリオをワーカへ提示し、n+1番目の発話の穴埋め的な入力を依頼するようにした。
本発明によれば、以下のような効果が達成される。
(1) 複数のワーカが独立して複数のシナリオを並列的に作成することが可能になるので、効率的なシナリオ構築が可能となり、かつ多様な話題を含むシナリオを簡単に構築できるようになる。
(2) 各発話者の発話を交互に入力することを繰り返すので、構造化されたシナリオを構築することが可能となり、対話システムにおける会話の品質を高められるようになる。
(3) 複数のワーカが、発話入力を依頼された未完成シナリオに応じて一方側の発話者及び他方側の発話者のいずれとしても発話入力することができ、一つの発話入力を終えると次の未完成シナリオが提示されるので、対話相手の発話入力を待つことなく、かつ時間的な拘束を受けることもないので効率的なシナリオ作成が可能になる。
(4) 未完成シナリオと共に発話者の仮想的な属性情報をワーカに提示するので、同一発話者の発話を異なるワーカが入力する場合、あるいは異なる発話者の発話を同じワーカが入力する場合でも発話内容の一貫性を維持できるようになる。
(5) 内容が類似する発話を一つに統合するので、多様な発話を残しつつ、分岐数の爆発的な増加を抑えられるようになる。
(6) シナリオの完成条件を、入力された各発話に含まれる語句をクラスタリングした際のクラスタ数に応じて可変としたので、話題の豊富なシナリオについては階層数の多いシナリオを構築できる一方、話題に乏しいシナリオについては階層数を少なくできる。したがって、無駄の少ない効率的なシナリオ構築が可能となる。
(7) 不適切な発話を含むシナリオを各ワーカへ報告させ、報告数の多いシナリオをデータベースから削除するようにしたので、不適切なシナリオの作成が継続されてしまう無駄が排除され、シナリオの品質を維持できるようになる。
(8) n番目までの発話とn+2番目以降の発話とが登録された未完成シナリオをワーカへ提示し、n+1番目の穴埋め的な発話入力を依頼するようにしたので、既存の木構造を拡張することができ、一貫性のある複数のシナリオを簡単に追加できるようになる。
本発明を適用した対話シナリオコーパスの作成支援システムの第1実施形態のブロック図である。 対話シナリオを木構造化した例を示した図である。 複数のワーカW1,W2が各発話者の発話を交互に入力してシナリオを完成させる手順を示したシーケンスフローである。 各ワーカによる発話の入力例(その1)を示した図である。 各ワーカによる発話の入力例(その2)を示した図である。 各ワーカによる発話の入力例(その3)を示した図である。 本発明の第2実施形態に係る対話シナリオコーパス作成支援システムの機能ブロック図である。 発話者P2の仮想的な属性情報の提示例を示した図である。 本発明の第3実施形態に係る対話シナリオコーパス作成支援システムの機能ブロック図である。 第3実施形態における発話入力画面の一例を示した図である。 本発明の第4実施形態に係る対話シナリオコーパス作成支援システムの機能ブロック図である。 発話の入力内容が重複する例を示した図である。 本発明の第5実施形態に係る対話シナリオコーパス作成支援システムの機能ブロック図である。 入力禁止語が設定される例を示した図である。 本発明の第6実施形態に係る対話シナリオコーパス作成支援システムの機能ブロック図(その1)である。 本発明の第6実施形態に係る対話シナリオコーパス作成支援システムの機能ブロック図(その2)である。 本発明の第7実施形態に係る対話シナリオコーパス作成支援システムの機能ブロック図である。 発話を穴埋め的に入力することで木構造が拡張される様子を示した図である。
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明を適用した対話シナリオコーパスの作成支援システムの構成を示したブロック図であり、シナリオ作成支援装置1、シナリオデータベース(DB)2および作業者端末3をネットワークで相互に接続して構成される。本発明の作成支援システムは、対話する各発話者の立場での発話入力を繰り返して対話シナリオを完成させる。
シナリオDB2には、発話の登録数が不足する未完成のシナリオが多数登録されている。図2は、本実施形態におけるシナリオの構成例を示した図であり、ルートに相当する第1発話から、ノードに相当する複数の発話への分岐を繰り返し、リーフに相当する複数の最終発話に至る複数の対話シナリオが木構造で登録され、各ノードに発話が登録される。
シナリオ作成支援装置1において、ワーカ割当部101は、例えばクラウドソーシングにより発話の入力作業を担うワーカWiの参加登録を受け付け、参加登録した各ワーカWiにシナリオ作成タスクを割り当てる。各ワーカWiには、特定の発話者に関する発話入力タスクを割り当てても良いし、発話者を特定せずに発話入力タスクを割り当てても良い。
シナリオ選択部102は、発話の入力を依頼する未完成のシナリオをワーカWiごとに選択する。本実施形態では、シナリオ選択部102が属性評価部102aおよび発話評価部102bを含む。前記属性評価部102aは、予め登録されている発話者P1,P2の仮想的な属性情報と各ワーカWiの属性情報とを比較し、発話者の属性がワーカWiと類似する未完成シナリオを優先的に選択する。
前記発話評価部102bは、未完成シナリオの話題と各ワーカWiの属性情報とを比較し、ワーカWiの属性情報と関連性のより高い話題の未完成シナリオを優先的に選択する。未完成シナリオの話題は、話題が既知の文書を機械学習の学習データとして識別器に学習させ、現在のシナリオを話題判別対象とすることで推定できる。
あるいは、ワーカWiが過去に発話入力した履歴のある未完成シナリオを優先的に選択するようにしても良い。例えば、ワーカWiが過去に発話入力した回数が多い未完成シナリオほど優先度を高くすれば、ワーカは一貫して対話に取り組めるため、対話の矛盾や破たんを軽減できるようになる。
シナリオ提示部103は、各ワーカWiの作業者端末3に前記選択した未完成シナリオを提示して発話の入力を依頼する。シナリオ登録部104は、ワーカが作業者端末3から入力した発話をシナリオDB2上の対応する未完成シナリオの対応するノードに追加登録する。
本実施形態では、第n発話まで登録された未完成シナリオをシナリオ選択部102がシナリオDB2から選択し、シナリオ提示部103が各ワーカWiへ提示することで当該未完成シナリオへの第n+1発話の入力を依頼する。各ワーカWiは作業者端末3を操作して未完成シナリオに第n+1発話を入力する。シナリオ登録部104は、入力された第n+1発話を未完成シナリオの対応ノードに追加登録する。このような未完成シナリオの選択、各ワーカWiへの提示、各ワーカWiによる発話入力および発話登録は、最終発話の入力が完了して対話シナリオが完成するまで繰り返される。
図3は、複数のワーカWiが各発話者P1,P2の発話を交互に入力してシナリオを完成させる手順を示したシーケンスフローであり、図4は、各ワーカWiによる発話の入力例を示した図である。ここでは、2人のワーカW1,W2に発話の入力を依頼する場合を例にして説明する。
時刻t1では、例えばクラウドソーシングによりシナリオ作成のワーカを募集し、応募者の属性情報としてプロフィールなどが支援装置1に登録される。時刻t2では、シナリオ作成支援装置1のシナリオ選択部102が、ワーカW1,W2へ作成依頼する未完成シナリオをシナリオDB2からそれぞれ選択、抽出する。時刻t3では、シナリオ提示部103が、テーマと第1発話のみが登録された未完成シナリオを各ワーカW1,W2へそれぞれ提示して発話の入力を依頼する。
本実施形態では、「休日の過ごし方」、「飲食」といったテーマごとに2人の発話者P1,P2の仮想的な対話が交互に繰り返される対話シナリオの作成支援を想定しており、未完成シナリオの初期状態は、テーマと当該テーマに対する一方側発話者P1の第1発話のみが登録されている。本実施形態では、初めは図4(a)に示したように、テーマ「休日の過ごし方」と当該テーマに対する発話者P1の第1発話「休日は何をしていますか?」のみが登録された未完成シナリオがワーカW1,W2にそれぞれ提示され、各作業者端末3のディスプレイに表示される。
時刻t4,t5では、ワーカW1,W2が前記提示された未完成シナリオの直前発話に対する次発話を、他方側発話者P2の立場でそれぞれ入力する。ここでは、未完成シナリオが発話者P1の第1発話まで登録されているので、図4(b)に示したように、各ワーカW1,W2は発話者P2の立場で発話入力欄31にキー入力または音声入力等の適宜の手段により第2発話を入力する。
本実施形態は、「サークルでテニスをやります。」と入力した例を示している。発話の入力後、時刻t6,t7において、ワーカW1,W2が送信ボタン32をクリックすると、図4(c)に示したように、各ワーカW1,W2の入力した第2発話がシナリオ支援装置1へ通知され、各未完成シナリオの第2発話としてシナリオDB2に登録される。
時刻t8では、ワーカW1へ依頼する未完成シナリオおよびワーカW2へ依頼する未完成シナリオがシナリオDB2から改めて選択、抽出される。時刻t9では、各ワーカW1,W2へ前記抽出された未完成シナリオが提示されてシナリオ作成が依頼される。
時刻t10,t11では、ワーカW1,W2が前記提示された未完成シナリオに次発話をそれぞれ入力する。ここでは、図5(a)に示したように、各未完成シナリオが発話者P2による第2発話まで登録されているので、図5(b)に示したように、各ワーカW1,W2は発話者P1の立場で第3発話「何年くらいつづけていますか?」を入力する。時刻t12,t13では、図5(c)に示したように、ワーカW1,W2の入力した前記第3発話がシナリオDB2に登録される。
時刻t14では、ワーカW1へ依頼する未完成シナリオおよびワーカW2へ依頼する未完成シナリオがシナリオDB2から改めて選択、抽出される。時刻t15では、各ワーカW1,W2へ前記抽出された未完成シナリオが提示されてシナリオ作成が依頼される。
時刻t16,t17では、ワーカW1,W2が前記提示された未完成シナリオに次発話をそれぞれ入力する。ここでは、図6(a)に示したように、各未完成シナリオが発話者P1による第3発話まで登録されているので、図6(b)に示したように、各ワーカW1,W2は発話者P2の立場で第4発話「大学からなので10年です。」を入力する。時刻t18,t19では、図6(c)に示したように、ワーカW1,W2の入力した前記第4発話がシナリオDB2に登録される。以下同様に、ワーカW1,W2は、提示された未完成シナリオに第n発話まで登録されていれば、第n+1発話を入力することを繰り返す。
本実施形態によれば、各ワーカWは発話入力を依頼された未完成シナリオに応じて一方側和発話者P1及び他方側発話者P2のいずれとしても発話入力することができ、一つの発話入力を終えると次の未完成シナリオが提示されるので、相手の発話入力を待つことなく、かつ時間的な拘束を受けることなく、効率的なシナリオ作成が可能になる。
図7は、本発明の第2実施形態に係る対話シナリオコーパス作成支援システムの構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。本実施形態は、シナリオ提示部103が、各発話者の仮想的な属性情報としてペルソナを記憶するペルソナ記憶部103a、および未完成シナリオをワーカWiへ提示する際に発話者のペルソナも併せて提示するペルソナ提示部103bを具備した点に特徴がある。
シナリオ提示部103は、未完成シナリオをワーカWiに提示して発話の入力を依頼する際、図8に示したように、発話者の仮想的なペルソナを併せてワーカWiに提示し、ワーカWiが当該ペルソナを考慮した発話を入力できるようにした点に特徴がある。本実施形態では、発話者P1,P2の仮想的なペルソナが予め登録されており、名前、ニックネーム、年齢、性別、生年月日等が提示される。
本実施形態によれば、未完成シナリオと共に発話者の仮想的なペルソナを提示するので、同一発話者の発話を異なるワーカWiが入力する場合、あるいは異なる発話者の発話を同じワーカWiが入力する場合でも発話内容の一貫性を維持できるようになる。
図9は、本発明の第3実施形態に係る対話シナリオコーパス作成支援システムの構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表している。本実施形態では、シナリオ提示部103が、不適切な発話を含む未完成シナリオをワーカWiに報告させる不適切報告要求部103cを具備し、シナリオ登録部104が、不適切の報告数が基準値を超えた未完成シナリオをシナリオDB2から削除するシナリオ削除部104aを具備した点に特徴がある。
未完成シナリオをワーカWiへ提示して発話の入力を依頼する際に、不適切報告要求部103cは、図10に示したように、発話入力欄31および送信ボタン32に加えて、既登録の発話に不適切な表現、内容が含まれていることをシステム側へ報告させるための不適切報告ボタン33を表示させる。
図示の例では、前回発話の「初めましてこんにちは。」が、それまでの発話の経緯から不自然であるため、ワーカWiは発話入力することなく不適切報告ボタン33をクリックすることで、提示された未完成シナリオに不適切な発話が含まれていることをシナリオ作成支援装置1へ通知する。シナリオ登録部104では、前記シナリオ削除部104aが不適切報告数を未完成シナリオごとに計数し、所定数を超える不適切報告のあった未完成シナリオをシナリオDB2から削除する。
本実施形態によれば、不適切な発話を含む未完成シナリオを排除できるので、不適切なシナリオの作成が継続されてしまう無駄が排除され、シナリオの品質を高く維持できるようになる。
図11は、本発明の第4実施形態に係る対話シナリオコーパス作成支援システムの構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表している。本実施形態は、テーマが同一の複数の未完成シナリオを対象に、同一階層ごとに発話内容に基づくクラスタリングを実行し、同一クラスタに分類された発話を一の代表発話に置き換えることでシナリオを集約するシナリオ集約部105を具備した点に特徴がある。
対話シナリオが木構造であると、子ノードの数だけシナリオが分岐するため、対話が進むにつれてシナリオパターンが爆発的に増加する。例えば、一つの発話に対して10個の発話を入力させて木構造を構築すると、10段目は10億通りとなり、膨大な入力が必要となってしまう。シナリオ集約部105は、内容が類似する発話をk-means又はX-meansなどのクラスタリング手法を用いてグルーピングし、k-means手法であればクラスタの中心に近い発話、X-meansであれが最適発話のみに対して発話を継続する。
図12の例であれば、「ビールが好きです。」、「夏はビールをよく飲みます。」、「地ビールが好きで、旅行の楽しみの一つです。」が同一クラスタに分類され、「ビールが好きです。」が代表発話に選定されている。したがって、「ビールが好きです。」と同一クラスタに属する発話は全て「ビールが好きです。」のノードに集約される。本実施形態によれば、多様な発話を残しつつ、分岐数の爆発的な増加を抑えられるようになる。
図13は、本発明の第5実施形態に係る対話シナリオコーパス作成支援システムの構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表している。本実施形態では、シナリオ登録部104が入力禁止語処理部104bを具備した点に特徴がある。
入力禁止語処理部104bは、タイトルが同一の未完成シナリオを対象に発話内での語句の出現頻度を計算し、所定の頻度を超えて出現する頻出語を入力禁止語に設定する。そして、入力された発話に入力禁止語が含まれていると、ワーカWiに対して入力禁止語が含まれる旨を通知して他の発話入力を促すようにしている。
図14に示した例では、直前発話「好きなお酒は何ですか」に対して、他のワーカWiが既に「ビールが好きです。」「発明はビールをよく飲みます。」、「地ビールが好きで、旅行の楽しみの一つです。」「家で少しボビールを飲みます」など、ビール関連の話題を多数登録しているので「ビール」が入力禁止語に設定されている。
これにより、「ビール」を含む発話が入力されると、入力禁止語処理部104bは送信ボタン32をグレーアウトさせると共に「ビール」が入力禁止語である旨のメッセージおよび「入力禁止語が含まれている」旨のメッセージを提示して他の発話入力を促す。本実施形態によれば、多様な発話を残しつつ、分岐数の爆発的な増加を抑えられるようになる。
図15,16は、本発明の第6実施形態に係る対話シナリオコーパス作成支援システムの構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表している。本実施形態では、発話の登録数が所定数に達した対話シナリオを完成と評価するにあたり、発話に含まれる語句の出現頻度や発話入力に要する時間に基づいて前記所定値を動的に変更する完成条件設定部106を具備した点に特徴がある。
図15の例では、前記完成条件設定部106がクラスタリング部106aを含み、未完成シナリオごとに各発話に含まれる語句を抽出してクラスタリングを実施する。そして、クラスタ数が多い場合は更に話題が拡がる可能性が高いと判断して所定数を大きな値に設定する一方、クラスタ数が少ない場合は類似の語句の出現頻度が高く、更に話題が拡がる可能性は低いと判断して所定数を小さな値に設定する。
図16の例では、前記完成条件設定部106が入力時間計時部106bを含み、例えばワーカWiに入力禁止語を提示した以降の発話入力に要する時間を測定する。そして、短時間で発話が入力される場合は話題が豊富と判断して所定数を大きな値に設定する一方、発話の入力が短時間で行われなくなると話題が欠乏したと判断して所定数を小さな値に設定する。
本実施形態によれば、話題の豊富なシナリオについては階層数の多いシナリオを構築できる一方、話題に乏しいシナリオについては階層数を少なくできるので、話題に応じて効率的なシナリオ構築が可能にはり、発話入力の効率化が可能になる。
図17は、本発明の第7実施形態に係る対話シナリオコーパス作成支援システムの構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表している。本実施形態では、シナリオ作成支援装置1がシナリオ拡張部107を具備した点に特徴がある。
上記の各実施形態では、ワーカWiに対して未完成シナリオを提示して発話の入力を依頼する際に、それまでの発話履歴を提示し、直前発話との関連で次の発話の入力を依頼していた。これに対して、本実施形態ではシナリオ拡張部107がn番目までの発話とn+2番目以降の発話とが登録された未完成シナリオをワーカWiへ提示し、n+1番目の穴埋め的な発話入力を依頼するようにしている。
図18(a)に示した入力例では、第1発話として「休日は何をしていますか」が登録され、第3発話として「何年位続けていますか」、第4発話として「大学からなので10年近くです。」がそれぞれ登録されている未完成シナリオがワーカへ提示されている。この場合、第2発話として「ゴルフです。」「草野球です。」「ドライブです。」などの発話入力が可能である。本実施形態によれば、一つの発話を穴埋め的に入力させることで、図18(b)に示したように既存の木構造を拡張することができ、一貫性のある複数のシナリオを簡単に追加できるようになる。
なお、上記の各実施形態では対話シナリオが木構造である場合を例にして説明したが、本発明はこれのみに限定されるものではなく、各対話シナリオが相互に独立していても良い。
1…シナリオ作成支援装置,2…シナリオデータベース,3…作業者端末,31…発話入力欄,32…送信ボタン,33…不適切報告ボタン,101…ワーカ割当部,102…シナリオ選択部,102a…属性評価部,102b…発話評価部,103…シナリオ提示部,103a…ペルソナ記憶部,103b…ペルソナ提示部,103c…不適切報告要求部,104…シナリオ登録部,104a…シナリオ削除部,104b…入力禁止語処理部,105…シナリオ集約部,106…完成条件設定部,106a…クラスタリング部,106b…入力時間計時部,107…シナリオ拡張部

Claims (11)

  1. 対話する各発話者の立場での発話入力を繰り返して対話シナリオを完成させる対話シナリオコーパスの作成支援システムにおいて、
    発話の登録数が不足する未完成シナリオを記憶するデータベースと、
    各発話者の属性情報を記憶する手段と、
    各ワーカの属性情報を取得する手段と、
    発話の入力作業を担うワーカへ発話入力を依頼する未完成シナリオを選択する手段と、
    前記選択した未完成シナリオをワーカへ提示する手段と、
    前記提示した未完成シナリオに対して入力された発話を前記データベースに登録する手段とを具備し、
    前記選択する手段は、発話者の属性情報がワーカと類似する未完成シナリオを優先的に選択し、
    前記未完成シナリオの選択、提示および入力された発話の登録を繰り返し、
    前記提示する手段は、一のワーカにより発話が入力された未完成シナリオの次の提示先として当該一のワーカ以外を許容することを特徴とする対話シナリオコーパスの作成支援システム。
  2. 対話する各発話者の立場での発話入力を繰り返して対話シナリオを完成させる対話シナリオコーパスの作成支援システムにおいて、
    発話の登録数が不足する未完成シナリオを記憶するデータベースと、
    各発話者の属性情報を記憶する手段と、
    各ワーカの属性情報を取得する手段と、
    発話の入力作業を担うワーカへ発話入力を依頼する未完成シナリオを選択する手段と、
    前記選択した未完成シナリオをワーカへ提示する手段と、
    前記提示した未完成シナリオに対して入力された発話を前記データベースに登録する手段とを具備し、
    前記選択する手段は、発話者の属性情報がワーカと類似する未完成シナリオを優先的に選択し、
    前記未完成シナリオの選択、提示および入力された発話の登録を繰り返すことを特徴とする対話シナリオコーパスの作成支援システム。
  3. 前記選択する手段は、当該ワーカによる発話入力の履歴がある未完成シナリオを優先的に選択することを特徴とする請求項1または2に記載の対話シナリオコーパスの作成支援システム。
  4. 未完成シナリオの話題を判別する手段と、
    未完成シナリオの話題とワーカの識別情報との関連性を計算する手段とを具備し、
    前記選択する手段は、ワーカの識別情報との関連性がより高い話題の未完成シナリオを優先的に選択することを特徴とする請求項1ないしのいずれかに記載の対話シナリオコーパスの作成支援システム。
  5. 前記提示する手段は、発話者の属性情報をワーカに提示する手段をさらに具備したことを特徴とする請求項1ないしのいずれかに記載の対話シナリオコーパスの作成支援システム。
  6. 不適切な発話を含む未完成シナリオをワーカに報告させる手段を更に具備し、
    報告数が基準値を超えた未完成シナリオを削除することを特徴とすることを特徴とする請求項1ないしのいずれかに記載の対話シナリオコーパスの作成支援システム。
  7. 入力された各発話に含まれる語句をクラスタリングし、発話数が所定数に達したか否かに基づいて対話シナリオが完成したか否かを判断する際の当該所定数をクラスタ数に応じて可変としたことを特徴とする請求項1ないしのいずれかに記載の対話シナリオコーパスの作成支援システム。
  8. 前記データベースが、一つのルート発話から少なくとも一つのノード発話を中継してリーフ発話に至る複数の対話シナリオで構成される木構造であることを特徴とする請求項1ないしのいずれかに記載の対話シナリオコーパスの作成支援システム。
  9. 階層ごとに発話内容が類似するノードを集約する手段を更に具備したことを特徴とする請求項に記載の対話シナリオコーパスの作成支援システム。
  10. 入力発話に含まれる語句の当該入力発話と同一階層における出現頻度が所定値を超えていると当該語句を含む発話入力を禁止する手段を具備したことを特徴とする請求項に記載の対話シナリオコーパスの作成支援システム。
  11. 前記提示する手段は、n番目までの発話とn+2番目以降の発話とが登録された未完成シナリオをワーカへ提示し、n+1番目の発話入力を依頼することを特徴とする請求項に記載の対話シナリオコーパスの作成支援システム。
JP2017157641A 2017-08-17 2017-08-17 対話シナリオコーパスの作成支援システム Active JP6853752B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017157641A JP6853752B2 (ja) 2017-08-17 2017-08-17 対話シナリオコーパスの作成支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017157641A JP6853752B2 (ja) 2017-08-17 2017-08-17 対話シナリオコーパスの作成支援システム

Publications (2)

Publication Number Publication Date
JP2019036171A JP2019036171A (ja) 2019-03-07
JP6853752B2 true JP6853752B2 (ja) 2021-03-31

Family

ID=65655706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017157641A Active JP6853752B2 (ja) 2017-08-17 2017-08-17 対話シナリオコーパスの作成支援システム

Country Status (1)

Country Link
JP (1) JP6853752B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102155873B1 (ko) * 2019-09-27 2020-09-14 주식회사 크라우드웍스 다양한 자연어 대화 데이터셋 수집을 위한 크라우드소싱 프로젝트 수행 방법 및 장치
WO2021064947A1 (ja) * 2019-10-03 2021-04-08 日本電信電話株式会社 対話方法、対話システム、対話装置、およびプログラム
US20220351727A1 (en) * 2019-10-03 2022-11-03 Nippon Telegraph And Telephone Corporation Conversaton method, conversation system, conversation apparatus, and program
KR102155854B1 (ko) * 2019-12-09 2020-09-15 주식회사 크라우드웍스 다양한 문장 수집을 위한 키워드 관리 방법 및 장치
JPWO2023002694A1 (ja) * 2021-07-20 2023-01-26

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4017492B2 (ja) * 2002-10-04 2007-12-05 大阪瓦斯株式会社 電子掲示板管理システム、電子掲示板管理プログラム、および該プログラムを記録した記録媒体
JP2009061547A (ja) * 2007-09-06 2009-03-26 Olympus Corp ロボット制御システム、ロボット、プログラム及び情報記憶媒体
DE112014005354T5 (de) * 2013-11-25 2016-08-04 Mitsubishi Electric Corporation Dialog-management-system und dialog-management-verfahren
JP6235757B2 (ja) * 2015-03-19 2017-11-22 株式会社東芝 対話データ収集システム、対話データ収集方法、対話データ収集プログラム、対話データ収集支援装置、対話データ収集支援方法および対話データ収集支援プログラム

Also Published As

Publication number Publication date
JP2019036171A (ja) 2019-03-07

Similar Documents

Publication Publication Date Title
JP6853752B2 (ja) 対話シナリオコーパスの作成支援システム
Aalberg et al. Introduction: Comprehending populist political communication
US10079013B2 (en) Sharing intents to provide virtual assistance in a multi-person dialog
US10096316B2 (en) Sharing intents to provide virtual assistance in a multi-person dialog
WO2018036555A1 (zh) 会话处理方法及装置
CN106020488A (zh) 一种面向对话系统的人机交互方法及装置
Van Haute et al. Regionalist parties in Belgium (VU, RW, FDF): Victims of their own success?
Wolfe 21st century cities in Canada: The geography of innovation
CN105068661A (zh) 基于人工智能的人机交互方法和系统
CN105704013A (zh) 基于上下文的话题更新数据处理方法及装置
WO2018169000A1 (ja) 対話システム及びそのためのコンピュータプログラム
CN109948151A (zh) 构建语音助手的方法
Ines Paludi et al. Making sense of the Latin American “other”: Executive women in Argentina
CN114896498A (zh) 课程推荐方法、系统、终端及存储介质
Lemay-Hébert The semantics of statebuilding and nationbuilding: Looking beyond neo-Weberian approaches
Carlson et al. “The People's Debate”: The CNN/YouTube debates and the demotic voice in political journalism
Lengel et al. Mutable selves and digital reflexivities: Social media for social change in the Middle East and North Africa
JP6821542B2 (ja) 複数種の対話を続けて実施可能な対話制御装置、プログラム及び方法
Huang Sect‐to‐Church Movement in Globalization: Transforming Pentecostalism and Coastal Intermediaries in Contemporary China
Mather Reflections on the reach of law (and society) post 9/11: an American superhero?
Andretta Power and arguments in global justice movement settings
Holt et al. The Economist Watcher: Economic Contributions of David Colander
Szabla 10 The Moral Economy of Chronotopic Identities: A Case Study in a Polish Community in Antwerp
Liliia Highly skilled Russian migrants in London: the case of IT professionals
CN117633196B (zh) 问答模型构建方法及项目问答方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200325

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200930

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210312

R150 Certificate of patent or registration of utility model

Ref document number: 6853752

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150