JP6235757B2 - 対話データ収集システム、対話データ収集方法、対話データ収集プログラム、対話データ収集支援装置、対話データ収集支援方法および対話データ収集支援プログラム - Google Patents

Description

実施形態は、対話データの収集に関する。

近年、統計モデルを用いた対話システムが注目されている。統計モデルを作成するためには、大量の学習用の対話データ（例えば、ユーザの発話文、対話システムの応答情報など）が必要となる。

従来、対話データは、作業地に招集された作業者（被験者）と対話システムとの間で行われる対話作業を通じて収集される。作業者は、課題を与えられ、当該課題の達成を目指して対話システムに適切な発話文を入力することを求められる。このような手法では、作業者の招集コストがかさむこと、対話データの収集に長時間を要することなどが問題となる。故に、対話データを効率的に収集することが望まれる。

インターネットなどのネットワークを介して不特定多数の人に業務を委託する枠組みとして、クラウドソーシングが知られている。クラウドソーシングを利用すれば、作業者が物理的に移動することは不要となり、かつ、大勢の作業者が同時に作業することができるので、対話データを低コストかつ短期間で収集することが可能である。しかしながら、クラウドソーシングでは、作業者は作業監督者のいない状況で作業を遂行する。すなわち、作業者は、課題が達成したことを対話システムの応答情報などに基づいて自ら判断して、当該課題に関する対話作業を終了することを求められる。

故に、作業者が課題が達成したと誤解して対話作業を終了したり、悪意ある作業者が課題とは無関係なおざなりな発話文を対話システムに入力しただけで作業を終了して報酬を詐取しようとしたりするかもしれない。作業者がこのような対話作業を行っていると高品質な対話データを収集することは困難となる。さらに、課題が既に達成しているにも関わらず作業者が課題が未達成であると誤解して対話作業を継続するおそれもある。この場合には、作業効率の低下も問題となる。

特開２０１４−６７０９８公報 特開２００３−２２８４４９公報

実施形態は、高品質な対話データを効率的に収集することを目的とする。

実施形態によれば、対話データ収集システムは、課題提示部と、取得部と、応答情報提示部と、達成判定部と、通知部と、収集部とを含む。課題提示部は、作業者に課題を提示する。取得部は、作業者から発話文を取得して対話管理装置に与える。応答情報提示部は、対話管理装置が発話文に基づいて対話状態を進行させることにより生成した応答情報を受け取り、当該応答情報を作業者に提示する。達成判定部は、応答情報を課題に対して予め定められた１つ以上の達成条件と比較し、当該達成条件が満足したか否かに基づいて当該課題の達成または未達成を判定する。通知部は、課題の達成を作業者に通知する。収集部は、発話文および応答情報を含む対話データを収集する。

実施形態によれば、対話データ収集支援装置は、課題提示部と、取得部と、応答情報提示部と、通知部とを含む。課題提示部は、作業者に課題を提示する。取得部は、作業者から発話文を取得して対話管理装置に与える。応答情報提示部は、対話管理装置が発話文に基づいて対話状態を進行させることにより生成した応答情報を受け取り、当該応答情報を作業者に提示する。通知部は、課題の達成を作業者に通知する。

第１の実施形態に係る対話データ収集システムを例示するブロック図。 図１の対話データ収集システムの動作を例示するフローチャート。 比較例に係る対話データ収集システムの動作例を示す図。 図１の対話データ収集システムの動作例を示す図。 図１の対話データ収集システムの動作例を示す図。 第２の実施形態に係る対話データ収集システムを例示するブロック図。 第３の実施形態に係る対話データ収集支援装置を例示するブロック図。

以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。

（第１の実施形態）
図１に例示されるように、第１の実施形態に係る対話データ収集システムは、対話データ収集装置１００と、対話管理装置２００と、外部アプリケーションサーバ３００とを含む。

図１の対話データ収集システムは、対話管理装置２００を中心とする対話システムの学習または評価のために、クラウドソーシングを利用して作業者に当該対話システムとの対話作業を遂行させて対話データを収集する。なお、対話データの詳細は後述される。

ここで、対話システムとは、ユーザの発話文に応じて対話状態を自動的に進行させて最終的に当該ユーザのニーズに合致したサービスを提供するための情報処理システムである。対話システムは、対話管理装置２００およびその周辺装置（例えば、ユーザインターフェース、外部アプリケーションサーバ３００など）を含むことができる。例えば、対話システムは、ユーザが必要とする天気の情報を検索して提供する天気検索システム、ユーザが必要とする金融商品の情報を検索して提供し、購入の申し込みを受理する金融商品販売システム、ユーザが必要とする施設の情報を検索して提供する施設検索システムなどに相当してもよい。

対話データ収集装置１００は、作業者と対話管理装置２００との間のインターフェースとして機能する。具体的には、対話データ収集装置１００は、作業者に課題を提示し、発話文を当該作業者から取得し、対話管理装置２００から受け取った応答情報を作業者に提示し、当該応答情報によって当該課題が達成されたか否かを判定し、当該課題が達成されていればその旨を当該作業者に通知する。他方、対話データ収集装置１００は、作業者から取得した発話文を対話管理装置２００に与え、当該対話管理装置２００によって当該発話文に基づいて生成された応答情報を当該対話管理装置２００から受け取る。さらに、対話データ収集装置１００は、少なくとも上記発話文および応答情報を含む対話データを収集して蓄積する。対話データには、課題が達成されたか否かの判定結果、作業者からフィードバックされる対話システムの評価結果などが含まれていてもよい。

対話管理装置２００は、対話データ収集装置１００から受け取った発話文に応じて対話を進行させて応答情報を生成し、当該応答情報を当該対話データ収集装置１００に返す。一般的には、対話管理装置２００は、意図解釈モジュール、対話制御モジュールおよび応答生成モジュールに機能分割することができる。

意図解釈モジュールは、言語処理を行うことで上記発話文の意図（発話者の意図）を解釈する。対話制御モジュールは意図解釈結果に基づいて対話システムの振る舞いを制御する。対話制御モジュールは、具体的には、対話状態を遷移させたり、対話管理装置２００にネットワーク接続された外部アプリケーションサーバ３００によって提供される外部アプリケーションを実行したりする。外部アプリケーションは、例えば、天気の検索アプリケーションなどであってもよい。応答生成モジュールは、対話制御モジュールによって制御された対話システムの振る舞いにふさわしい応答情報を生成する。応答生成モジュールは、例えば、現行の対話状態に適した応答文、外部アプリケーションの実行結果などを示す応答情報を生成する。外部アプリケーションの実行結果を示す応答情報は、実行結果（例えば、天気の検索結果）を直接的に示す情報であってもよいし、実行結果を間接的に示す情報（例えば、実行結果を表示するＷｅｂページにアクセスするためのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ））であってもよい。

なお、図１の例では、対話管理装置２００は、対話データ収集装置１００とは独立した装置であって、当該対話データ収集装置にネットワーク接続されている。しかしながら、対話管理装置２００は、対話データ収集装置１００に組み込まれていてもよい。

対話データ収集装置１００は、発話文取得部１０１と、応答情報提示部１０２と、課題提示部１０３と、課題達成判定部１０４と、課題達成通知部１０５と、データ収集部１０６とを含む。対話データ収集装置１００は、作業者によって操作されるクライアント端末に相当してもよいし、当該クライアント端末にネットワーク接続されたクラウドソーシングサーバに相当してもよい。或いは、図１には示されていないが、対話データ収集装置１００に含まれる要素が、クライアント端末とクラウドソーシングサーバとに分散して組み込まれてもよい。

発話文取得部１０１は、作業者の発話文をテキストベースで取得する。発話文取得部１０１は、作業者からのテキスト入力を受理するための入力デバイス（例えば、キーボード、マウス、ソフトウェアキー）を含んでいてもよいし、作業者からの音声入力を受理するためのマイクロホンと当該マイクロホンによって受理された音声を音声認識するための自動音声認識（ＡＳＲ）モジュールとの組み合わせを含んでいてもよい。或いは、発話文取得部１０１は、テキストデータ形式の発話文をクライアント端末からネットワーク経由で受信する受信機を含んでいてもよい。なお、作業者は、後述されるように課題を与えられており、当該課題の達成を目指して発話文取得部１０１に適切な発話文を入力することを求められる。

発話文取得部１０１は、取得した発話文を対話管理装置２００に与える。対話管理装置２００が対話データ収集装置１００に組み込まれている場合には、発話文取得部１０１は例えばバス経由で発話文を対話管理装置２００に与えることができる。他方、図１に示されるように対話管理装置２００が対話データ収集装置１００に組み込まれていない場合には、発話文取得部１０１は発話文をネットワーク経由で対話管理装置２００へと送信するための送信機を含んでいてもよい。

応答情報提示部１０２は、対話管理装置２００から応答情報を受け取る。対話管理装置２００が対話データ収集装置１００に組み込まれている場合には、応答情報提示部１０２は例えばバス経由で応答情報を対話管理装置２００から受け取ることができる。他方、図１に示されるように対話管理装置２００が対話データ収集装置１００に組み込まれていない場合には、応答情報提示部１０２は応答情報をネットワーク経由で対話管理装置２００から受信するための受信機を含んでいてもよい。

応答情報提示部１０２は、応答情報を作業者に提示する。応答情報提示部１０２は、応答情報をそのまま提示してもよいし、加工してから提示してもよい。応答情報提示部１０２は、応答情報を画面出力するための表示デバイスを含んでいてもよいし、テキスト形式の応答情報を音声合成するための音声合成（ＴＴＳ：Ｔｅｘｔ−ｔｏ−Ｓｐｅｅｃｈ）モジュールと当該音声合成モジュールによって生成された音声形式の応答情報を出力するスピーカとの組み合わせを含んでいてもよい。或いは、応答情報提示部１０２は、応答情報をクライアント端末へとネットワーク経由で送信する送信機を含んでいてもよい。

さらに、応答情報提示部１０２は、作業者に提示した応答情報を課題達成判定部１０４に通知する。すなわち、応答情報提示部１０２は、係る応答情報を直接的または間接的に示す情報を課題達成判定部１０４に与える。なお、応答情報は、応答情報提示部１０２ではなく対話管理装置２００から課題達成判定部１０４へと通知されてもよい。

なお、作業者は、応答情報提示部１０２によって提示された応答情報を考慮して、さらなる発話文を対話データ収集装置１００に与えることができる。このように、作業者の発話文および対話システムの応答情報が交互にやり取りされて対話は進行する。

課題提示部１０３は、作業者が対話システムと適切に対話することで達成可能な複数の課題を列挙した課題リストから１つの課題を抽出する。課題提示部１０３は、抽出した課題を作業者に提示する。

具体的には、課題提示部１０３は、対話システムが天気検索システムに相当する場合には「以下の場所の天気を検索してください。場所：東京」などの課題を提示し、対話システムが金融商品販売システムに相当する場合には「以下の条件に合う金融商品を探し、その商品の購入申し込みをしてください。条件：収益が望める、元本保証がある」などの課題を提示し、対話システムが施設検索システムに相当する場合には「イタリアンのレストランを検索してください。」などの課題を提示する。

課題の抽出順序は、何らかの規則によって予め定められてもよいし、ランダムであってもよい。また、課題リストを記憶する課題リスト記憶部は、対話データ収集装置１００に組み込まれていてもよいし、クラウドソーシングサーバに組み込まれていてもよい。

課題提示部１０３は、課題を画面出力するための表示デバイスを含んでいてもよいし、テキスト形式の課題を音声合成するための音声合成モジュールと当該音声合成モジュールによって生成された音声形式の課題を出力するスピーカとの組み合わせを含んでいてもよい。或いは、課題提示部１０３は、課題をクライアント端末へとネットワーク経由で送信する送信機を含んでいてもよい。

さらに、課題提示部１０３は、作業者に提示した課題を課題達成判定部１０４に通知する。すなわち、課題提示部１０３は、係る課題を示す情報（例えば、課題を記述したテキストまたは課題に対応付けられたインデックス（課題ＩＤ））を課題達成判定部１０４に与える。

課題達成判定部１０４は、応答情報提示部１０２（若しくは対話管理装置２００）から作業者に提示される応答情報を通知され、課題達成判定部１０４から作業者に提示された課題を通知される。課題達成判定部１０４は、応答情報を課題に対して予め定められた１以上の達成条件と比較し、当該達成条件が満足したか否かに基づいて当該課題の達成または未達成を判定する。

例えば、達成条件は、課題に対して予め定められた正解応答文を含むことができる。この場合に、課題達成判定部１０４は、応答情報に含まれる応答文を上記正解応答文と比較し、両者が（部分）一致若しくは類似する場合に課題の達成を判定してもよい。課題達成判定部１０４は、例えば応答文と正解応答文との間の類似度を計算し、当該類似度が閾値より高いか否かによって両者が類似しているか否かを判定してもよい。

なお、１つの達成条件を満足することのできる応答文が複数パターン存在する場合には、当該１つの達成条件として複数の正解応答文が定められてもよい。例えば、課題が「イタリアンのレストランを検索してください」である場合に、「イタリアン」をキーとしたレストラン検索結果を提示する応答文と、「イタリアン」および「レストラン」をキーとしたレストラン検索結果を提示する応答文とのいずれかが提示されれば、課題達成判定部１０４は上記課題の達成を判定できる。

応答情報が応答文に対応付けられたインデックス（応答ＩＤ）を含むならば、達成条件も同様の体系で規定された正解インデックスを含んでもよい。この場合に、課題達成判定部１０４は、応答情報に含まれるインデックスを上記正解インデックスと比較し、両者の一致する場合に課題の達成を判定してもよい。なお、正解応答文の場合と同様に、１つの達成条件として複数パターンの正解インデックスが定められてもよい。

達成条件は、課題に対して予め定められた１以上の正解キーワードを包含する正解キーワードセットを含むことができる。この場合に、課題達成判定部１０４は、応答情報に含まれる応答文から抽出された１以上のキーワードを上記正解キーワードと比較し、両者が一致若しくは類似する場合に課題の達成を判定してもよい。課題達成判定部１０４は、応答文から例えば名詞、動詞などを抽出することでキーワードを得ることができる。なお、正解応答文および正解インデックスの場合と同様に、１つの達成条件として複数パターンの正解キーワードセットが定められてもよい。

或いは、達成条件は、前述の正解応答文（若しくは正解インデックス）と正解キーワードセットとの組み合わせであってもよい。例えば、課題が「以下の場所の天気を検索してください。場所：東京」である場合に、「システムが天気を検索します」という正解応答文ならびに「東京」を包含する正解キーワードセットの組み合わせを達成条件として定めることができる。係る達成条件によれば、キーワード部分のみが異なる多数の正解応答文を、当該多数の正解応答文の共通部分に相当する１つの正解応答文および多数の正解キーワードセットの組み合わせによって代用することが可能となる。故に、後述される対応テーブルの作成コストを抑制することができる。

なお、課題と当該課題に対応する達成条件は、例えばテーブル形式で管理されてもよい。この対応テーブルは、前述の課題リストに相当してもよいし、課題リストとは独立して（例えば課題達成判定部１０４の内部に）設けられてもよい。課題達成判定部１０４は、この対応テーブルを参照することで、通知された課題に対応する達成条件を導出することができる。なお、この対応テーブルにおいて、課題は、テキスト形式で表現されていてもよいし、インデックス形式で表現されていてもよい。

１つの課題に対して複数の達成条件が定められてもよい。例えば、課題が「商品○○を検索してその詳細を確認してから、その購入手続を行う」といった複数の手順を要求する場合には、手順毎に対応する達成条件を定めることができる。係る手法によれば、単純な正解応答文などの組み合わせにより多様な課題の達成条件を設計することができる。なお、複数の達成条件を定める代わりに、作業者が一連の手順を実行したか否かを、最後の手順の遂行時に提示されるべき応答文（若しくは応答インデックス）に基づいて判定することも可能である。

複数の達成条件が定められている場合には、課題達成判定部１０４は、応答情報を通知される度に当該応答情報を未だ満足していない達成条件の各々と比較する。課題達成判定部１０４は、比較後に未だ満足していない達成条件が残存していれば、次の応答情報を待ち受ける。他方、課題達成判定部１０４は、全ての達成条件が満足すれば課題の達成を判定する。

複数の達成条件には、達成順序が設定されてもよい。この場合に、課題達成判定部１０４は、応答情報を通知される度に当該応答情報を未だ満足していない達成条件のうち対応する達成順序が最小である１つ以上の達成条件の各々と比較する。課題達成判定部１０４は、比較後に未だ満足していない達成条件が残存していれば、次の応答情報を待ち受ける。他方、課題達成判定部１０４は、全ての達成条件が満足すれば課題の達成を判定する。

課題達成判定部１０４は、課題の達成を判定した場合には課題達成通知部１０５にその旨を通知する。例えば、課題達成判定部１０４は、課題の達成を判定したことを示す情報を課題達成通知部１０５に与える。なお、課題達成判定部１０４は、対話データ収集装置１００とは別体の対話管理装置２００に内蔵されていてもよい。この場合に、課題達成判定部１０４は、課題の達成を判定したことを示す情報を課題達成通知部１０５へとネットワーク経由で送信する送信機を含むことができる。

課題達成通知部１０５は、課題達成判定部１０４が課題の達成を判定したことを検知すると、その旨を作業者に通知する。なお、通知方法は、明示的であってもよいし、暗黙的であってもよい。

具体的には、課題達成通知部１０５は、課題が達成された旨の文章または画像を画面出力してもよいし、その旨の音声をスピーカから出力してもよいし、画面内の特定のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部品を非アクティブ状態からアクティブ状態へと（若しくはその逆に）切り替えてもよいし、次の課題を提示するために画面遷移を行ってもよいし、特定の効果音をスピーカから出力してもよい。

データ収集部１０６は、対話作業においてやり取りされた発話文および応答情報を含む対話データを収集して蓄積する。データ収集部１０６は、発話文を、発話文取得部１０１から収集してもよいし、対話管理装置２００から収集してもよい。データ収集部１０６は、応答情報を、応答情報提示部１０２から収集してもよいし、対話管理装置２００から収集してもよい。

なお、データ収集部１０６によって収集される対話データには、課題達成判定部１０４における判定結果がさらに含まれていてもよいし、作業者からフィードバックされる対話システムの評価結果がさらに含まれていてもよい。データ収集部１０６によって収集された対話データは、例えばクラウドソーシングサーバに組み込まれた対話作業ＤＢ（Ｄａｔａ Ｂａｓｅ）によって一括管理されてもよい。

図２は、１つの課題が達成されるまでの対話データ収集装置１００の動作を例示する。作業者が複数の課題に挑戦する場合には、対話データ収集装置１００は図２に例示される動作を繰り返すことになる。

課題提示部１０３は、前述の課題リストに列挙された複数の課題のうち１つを抽出する（ステップＳ２０１）。次に、課題提示部１０３は、ステップＳ２０１で抽出された課題を作業者に提示する（ステップＳ２０２）。

作業者はステップＳ２０２において提示された課題にふさわしい発話文を入力することになる。なお、ステップＳ２０２の終了後に、応答情報提示部１０２は、例えば「ご用件をお知らせ下さい」などの対話の開始を知らせる初期応答情報を提示し、作業者に入力を促してもよい。初期応答情報は、課題提示部１０３から課題の提示を通知された応答情報提示部１０２によって提示されてもよいし、課題提示部１０３から課題の提示を通知された対話管理装置２００によって生成され応答情報提示部１０２によって提示されてもよい。対話管理装置２００が初期応答情報を生成する手法によれば、課題を提示する度に対話状態を初期状態へとリセットすることができる。

ステップＳ２０３において、発話文取得部１０１は作業者から与えられた発話文を取得する。対話管理装置２００は、ステップＳ２０３で取得された発話文に基づいて対話処理を実行し、応答情報を生成する（ステップＳ２０４）。

応答情報提示部１０２は、ステップＳ２０４で生成された応答情報を作業者に提示する（ステップＳ２０５）。課題達成判定部１０４は、ステップＳ２０５で提示された応答情報をステップＳ２０２で提示された課題に対して予め定められた１つ以上の達成条件と比較し、当該課題が達成されているか否かを判定する（ステップＳ２０６）。課題の達成が判定されれば処理はステップＳ２０７へと進み、そうでなければ作業者が追加の発話文を入力するのを待って処理はステップＳ２０３へと戻る。

ステップＳ２０７において、課題達成通知部１０５は、ステップＳ２０２で提示された課題が達成されたことを作業者に明示的または暗黙的に通知する。ステップＳ２０７により現行の対話が終了可能となる。そして、作業者は、次の課題に挑戦したり、対話システムの評価を入力したり、対話作業を終了したりすることができる。

ステップＳ２０８では、データ収集部１０６は、現行の対話に関する対話データを収集する。この対話データは、ステップＳ２０３で取得された発話文およびステップＳ２０４で生成された（若しくはステップＳ２０５で提示された）応答情報を少なくとも含む。この対話データは、課題の達成または未達成の判定結果をさらに含んでいてもよいし、対話システムの評価結果とのうち少なくとも一方をさらに含んでいてもよい。

なお、ステップＳ２０８の処理は、図２のようにステップＳ２０７の後にまとめて行われてもよいし、対話データに含まれる各情報要素が収集可能となった後の任意の時点で散発的に行われてもよい。例えば、発話文はステップＳ２０３以後であれば収集可能であるし、応答情報はステップＳ２０４以後であれば収集可能であるし、課題の達成または未達成の判定結果はステップＳ２０６以後であれば収集可能である。

以下、比較例を用いて第１の実施形態に係る対話データ収集システムの長所が説明される。図３は、比較例に係る対話データ収集システムの動作を例示する。他方、図４Ａ及び図４Ｂは、第１の実施形態に係る対話データ収集システムの動作を例示する。

概括すれば、比較例に係る対話データ収集システムは、課題達成判定部１０４および課題達成通知部１０５に相当する機能部を備えていない点で図１の対話データ収集システムとは大きく相違する。故に、この対話データ収集システムは、課題が達成されたか否かにかかわらず作業者が次の課題に挑戦できるように設計されている。他方、本実施形態に係る対話データ収集システムは、課題が達成されたと判定されるまで作業者が次の課題に挑戦できないように設計されている。

図３、図４Ａおよび図４Ｂの例では、作業者の発話文は、クライアント端末からクラウドソーシングサーバへ、クラウドソーシングサーバから対話管理装置２００へと与えられる。反対に、対話システムの応答情報は、対話管理装置２００からクラウドソーシングサーバへ、クラウドソーシングサーバからクライアント端末へと与えられる。また、課題リスト記憶部および対話作業ＤＢはクラウドソーシングサーバに組み込まれる。

図３、図４Ａおよび図４Ｂの例では、共通のユーザインターフェースが用いられている。このユーザインターフェースは、不特定多数の作業者がクライアント端末を用いて同時並行的に閲覧可能なＷｅｂページを用いて実現されている。

このユーザインターフェースは、課題の表示領域、作業者の発話文および対話システムの応答情報の表示領域、入力中の発話文を表示するテキストボックスと当該テキストボックスに格納されている発話文を対話管理装置２００へと送信するためのボタン、作業者が対話システムの満足度を入力するためのラジオボタン、次の課題に挑戦するための「次の課題に進む」ボタン、現行の課題をスキップするための「スキップ」ボタン、ならびに、対話作業を終了するための「作業を終了する」ボタンを含む。

図３の例では、「以下の条件に合う金融商品を探し、その商品の購入申し込みをしてください。条件：収益が望める、元本保証がある」との課題が提示され、作業者は「利益が出る金融商品を見せて。」という発話文を対話データ収集システムに入力している。この発話文に基づいて、対話管理装置２００は「条件にあう金融商品を以下に表示します。「外貨預金」、「投資信託」、「公共債」」との応答情報を生成し、対話データ収集システムは当該応答情報を作業者に提示する。

作業者は、この応答情報に対して「投資信託を始めたい。」という発話文を対話データ収集システムに入力する。この発話文に基づいて、対話管理装置２００は「分かりました。投資信託担当に繋ぎますので少々お待ちください。」との応答情報を生成し、対話データ収集システムは当該応答情報を作業者に提示する。

作業者が購入を申し込んだ投資信託は元本保証のない金融商品であるから、これまでに提示された応答情報によって現行の課題は達成されていない。しかしながら、前述のように、対話データ収集システムは課題が達成されたか否かを判定できないので、作業者自身が課題の達成または未達成を判断しなければならない。仮に、作業者が判断を誤って「次の課題に進む」のボタンを選択すれば、現行の課題について適切な対話データが収集されていないにも関わらず対話データ収集システムは次の課題を提示することになる。さらに、図３には例示されていないものの、比較例に係る対話データ収集システムによれば、悪意ある作業者が課題とは無関係なおざなりな発話文をシステムに入力しただけで対話作業を終了したとしても、係る事態を検知することができない。

他方、図４Ａの例では、作業者および対話管理装置２００は図３と全く同じやり取りをしているものの、課題達成判定部１０４が課題の達成を判定していないので、「次の課題に進む」ボタンおよび満足度入力用のラジオボタンは非アクティブ状態のままである。故に、作業者は課題が未達成であることを認知できる。

作業者は、先に購入を申し込んだ投資信託が元本保証のない金融商品であることに気づくと、図４Ｂに例示されるように、「元本保証があるものだけにして。」という発話文を対話データ収集システムに入力する。この発話文に基づいて、対話管理装置２００は「条件にあう金融商品を以下に表示します。「外貨預金」、「公共債」」との応答情報を生成し、対話データ収集システムは当該応答情報を作業者に提示する。

作業者は、この応答情報に対して「外貨預金を始めたい。」という発話文を対話データ収集システムに入力する。この発話文に基づいて、対話管理装置２００は「分かりました。外貨預金担当に繋ぎますので少々お待ちください。」という応答情報を生成し、対話データ収集システムは当該応答情報を作業者に提示する。

課題達成判定部１０４は、これまでに提示された応答情報によって課題が達成したと判定する。課題達成通知部１０５は、この判定結果に応じて、「次の課題に進む」ボタンおよび満足度入力用のラジオボタンをアクティブ状態に切り替える。故に、作業者は課題が達成したことを認知できる。

故に、図４Ａおよび図４Ｂの動作例によれば、作業者が未達成の課題に関する対話を誤って終了させること、悪意ある作業者がおざなりな対話を行うこと、作業者が課題の達成に気づかないまま必要以上に対話を継続することなどを防止することができる。即ち、不特定多数の作業者からの高品質な対話データを収集することが可能である。

以上説明したように、第１の実施形態に係る対話データ収集システムは、当該システムから提示された応答情報によって課題が達成されたか否かを自動判定し、課題が達成された場合にはその旨を作業者に提示する。従って、この対話データ収集システムによれば、作業監督者が不在であっても、高品質な対話データを効率的に収集することができる。

なお、課題達成通知部１０５は、課題の未達成が判定された場合に、未だ満足していない達成条件を作業者に通知してもよい。未だ満足していない達成条件は、例えば課題達成判定部１０４によって特定されてよい。係る情報が通知されることで、作業者は適切な発話文を判断しやすくなる。具体的には、図４Ａの例において、課題達成通知部１０５は、例えば「元本保証がある商品が選択されていません」という文章を画面出力してもよい。

未だ満足していない達成条件は、種々のタイミングで作業者に通知されてよい。
例えば、課題に対して前述の正解応答文または正解インデックスとは別に特定の応答文またはインデックスが定められている場合に、対話管理装置２００からの応答情報が当該特定の応答文またはインデックスに合致するならば、課題達成通知部１０５は未だ満足していない達成条件を作業者に通知してもよい。

複数の達成条件が定められている場合に、一部の達成条件（例えば、正解応答文または正解インデックスに相当）が満足しているにも関わらず残余の達成条件（例えば、正解キーワードセットに相当）が未だ満足していなければ、課題達成通知部１０５は当該残余の達成条件を作業者に通知してもよい。

達成順序の設定された複数の達成条件が定められている場合に、提示された応答情報が現在満足すべき（すなわち、未だ満足していない達成条件のうち対応する達成条件が最小である）第１の達成条件ではなく将来満足すべき（すなわち、未だ満足していない達成条件のうち対応する達成順序が最小でない）第２の達成条件を満足するならば、課題達成通知部１０５は当該第１の達成条件を作業者に通知してもよい。

作業者が現行の課題が未達成であるにも関わらず次の課題への挑戦または満足度の入力を試みた場合に、課題達成通知部１０５は未だ満足していない達成条件を当該作業者に通知してもよい。

（第２の実施形態）
第１の実施形態に係る対話データ収集システムは、課題の達成または未達成を自動判定できるものの、対話システムの性能が低い場合や作業者の発話文が不適切である場合には課題の達成が不可能であったり達成までに膨大な時間を費やしたりするおそれがある。クラウドソーシングを利用して不特定多数の作業者に対話作業を委託する都合上、各課題は概ね均一な時間で達成できることが好ましい。

図５に例示されるように、第２の実施形態に係る対話データ収集システムは、対話データ収集装置５００と、対話管理装置２００と、外部アプリケーションサーバ３００とを含む。対話データ収集装置５００は、課題打ち切り判定部５０７を含んでいる点で図１の対話データ収集装置１００とは異なる。

課題打ち切り判定部５０７は、現行の課題を打ち切るか否かを判定する。課題打ち切り判定部５０７が課題の打ち切りを判定する場合に、課題達成通知部１０５は現行の課題が打ち切られる旨を作業者に通知する。

なお、課題打ち切り判定部５０７に相当する機能部は、対話管理装置２００に組み込まれてもよい。係る対話管理装置２００は、課題の打ち切りを判定した場合に、課題の打ち切りを示す応答情報、応答インデックス、若しくは、他の特別な情報を対話データ収集装置５００に与えてもよい。課題達成通知部１０５は、対話管理装置２００から受け取った情報に基づいて、課題の打ち切りを判定することができる。

具体的には、課題打ち切り判定部５０７は、例えば、発話文取得部１０１が発話文を取得した回数、発話文取得部１０１が同一の発話文を再取得した回数、対話管理装置２００が対話状態を同一の状態に再遷移させた回数、現行の課題が提示されてからの経過時間などの大きさに基づいて、課題を打ち切るか否かを判定してもよい。例えば、これらのパラメータが閾値以上であれば、課題打ち切り判定部５０７は課題の打ち切りを判定してもよい。或いは、課題打ち切り判定部５０７は、例えば、発話文取得部１０１が「もういい」、「終了」などの課題の打ち切りを要望する発話文を取得した場合に、課題の打ち切りを判定してもよい。

データ収集部１０６は、課題が打ち切られたか否かを示す情報を対話データとして収集および蓄積してもよい。係る情報を用いれば、対話データを必要に応じてフィルタリング（対応するデータの除外または抽出）することができる。さらに、データ収集部１０６は、課題が打ち切られた原因（作業者の要望による打ち切りか、対話データ収集システムの判定による打ち切りか）を示す情報を対話データとして収集および蓄積してもよい。

（第３の実施形態）
対話データ収集装置１００がクラウドソーシングサーバに組み込まれる場合には、作業者は例えば図６に示される対話データ収集支援装置６００（クライアント端末に相当）を操作して対話システムとの対話を行うことができる。

図６の対話データ収集支援装置６００は、発話文取得部６０１と、応答情報提示部６０２と、課題提示部６０３と、課題達成通知部６０４とを含む。

発話文取得部６０１は、作業者の発話文をテキストベースで取得する。発話文取得部６０１は、作業者からのテキスト入力を受理するための入力デバイスを含んでいてもよいし、作業者からの音声入力を受理するためのマイクロホンと当該マイクロホンによって受理された音声を音声認識するための自動音声認識モジュールとの組み合わせを含んでいてもよい。

発話文取得部６０１は、取得した発話文を対話データ収集装置１００（より具体的には、発話文取得部１０１）に与える。発話文取得部６０１は発話文をネットワーク経由で対話データ収集装置１００へと送信するための送信機を含んでいてもよい。

応答情報提示部６０２は、対話データ収集装置１００（より具体的には、応答情報提示部１０２）から応答情報を受け取る。応答情報提示部６０２は、応答情報をネットワーク経由で対話データ収集装置１００から受信するための受信機を含んでいてもよい。

応答情報提示部６０２は、応答情報を作業者に提示する。応答情報提示部６０２は、応答情報をそのまま提示してもよいし、加工してから提示してもよい。応答情報提示部６０２は、応答情報を画面出力するための表示デバイスを含んでいてもよいし、テキスト形式の応答情報を音声合成するための音声合成モジュールと当該音声合成モジュールによって生成された音声形式の応答情報を出力するスピーカとの組み合わせを含んでいてもよい。

課題提示部６０３は、対話データ収集装置１００（より具体的には、課題提示部１０３）から課題を受け取る。課題提示部６０３は、課題をネットワーク経由で対話データ収集装置１００から受信するための受信機を含んでいてもよい。

課題提示部６０３は、受け取った課題を作業者に提示する。課題提示部６０３は、課題を画面出力するための表示デバイスを含んでいてもよいし、テキスト形式の課題を音声合成するための音声合成モジュールと当該音声合成モジュールによって生成された音声形式の課題を出力するスピーカとの組み合わせを含んでいてもよい。

課題達成通知部６０４は、対話データ収集装置１００（より具体的には、課題達成判定部１０４）から課題の達成を通知されると、その旨を作業者に通知する。なお、通知方法は、明示的であってもよいし、暗黙的であってもよい。

具体的には、課題達成通知部６０４は、課題が達成された旨の文章または画像を画面出力してもよいし、その旨の音声をスピーカから出力してもよいし、画面内の特定のＧＵＩ部品を非アクティブ状態からアクティブ状態へと（若しくはその逆に）切り替えてもよいし、次の課題を提示するために画面遷移を行ってもよいし、特定の効果音をスピーカから出力してもよい。

以上説明したように、第３の実施形態に係る対話データ収集システムは、対話データ収集装置をクライアント端末ではなくクラウドソーシングサーバに組み込むことで課題達成判定部を共有する。従って、この対話データ収集システムによれば、クライアント端末を簡略化することができる。

上記各実施形態の処理の少なくとも一部は、汎用のコンピュータを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００，５００・・・対話データ収集装置
１０１，６０１・・・発話文取得部
１０２，６０２・・・応答情報提示部
１０３，６０３・・・課題提示部
１０４，６０４・・・課題達成判定部
１０５・・・課題達成通知部
１０６・・・データ収集部
５０７・・・課題打ち切り判定部
２００・・・対話管理装置
３００・・・外部アプリケーションサーバ
６００・・・対話データ収集支援装置

Claims (12)

1. 作業者に与えられる課題を、当該課題を達成するための対話の開始前に提示する課題提示部と、
   前記作業者から発話文を取得して対話管理装置に与える取得部と、
   前記対話管理装置が前記発話文に基づいて対話状態を進行させることにより生成した応答情報を受け取り、当該応答情報を前記作業者に提示する応答情報提示部と、
   前記応答情報を前記課題に対して予め定められた１つ以上の達成条件と比較し、当該達成条件が満足したか否かに基づいて当該課題の達成または未達成を判定する達成判定部と、
   前記課題の達成を前記作業者に通知する通知部と、
   前記発話文および前記応答情報を含む対話データを収集する収集部と
   を具備する、対話データ収集システム。
2. 前記対話データは、前記課題の達成または未達成の判定結果をさらに含む、請求項１記載の対話データ収集システム。
3. 前記対話データは、前記作業者からフィードバックされた評価結果をさらに含む、請求項１記載の対話データ収集システム。
4. 前記課題提示部、前記取得部、前記応答情報提示部および前記通知部は、前記作業者によって操作されるクライアント端末に組み込まれ、
   前記課題提示部は、前記クライアント端末にネットワーク接続されたサーバによって管理される課題リストから前記課題を抽出し、
   前記通知部は、前記課題の達成が判定された場合に次の課題に挑戦可能であることを前記作業者に通知する、
   請求項１記載の対話データ収集システム。
5. 前記収集部が前記クライアント端末に組み込まれ、
   前記収集部は、前記サーバに組み込まれる対話作業データベースに前記対話データを格納する、
   請求項４記載の対話データ収集システム。
6. 前記達成判定部は、前記達成条件の総数が２以上である場合には、前記対話管理装置から前記応答情報を受け取る度に当該応答情報を未だ満足していない達成条件と比較し、全ての達成条件が満足すれば前記課題の達成を判定する、請求項１記載の対話データ収集システム。
7. 前記達成判定部は、前記達成条件の総数が２以上であって達成順序が設定されている場合には、前記対話管理装置から前記応答情報を受け取る度に当該応答情報を未だ満足していない達成条件のうち対応する達成順序が最小である１つ以上の達成条件と比較し、全ての達成条件が満足すれば前記課題の達成を判定する、請求項１記載の対話データ収集システム。
8. 前記達成判定部は、未だ満足していない達成条件を特定し、
   前記通知部は、前記未だ満足していない達成条件を前記作業者に通知する、
   請求項１記載の対話データ収集システム。
9. 発話文の取得回数、同一の発話文の再取得回数、対話状態が同一の状態に再遷移した回数および前記課題が提示されてからの経過時間のうち少なくとも１つの大きさに基づいて前記課題を打ち切るか否かを判定する打ち切り判定部をさらに具備し、
   前記通知部は、前記課題の打ち切りを前記作業者に通知する、
   請求項１記載の対話データ収集システム。
10. 前記課題の打ち切りを要望する発話文が取得された場合に、前記課題の打ち切りを判定する打ち切り判定部をさらに具備し、
    前記通知部は、前記課題の打ち切りを前記作業者に通知する、
    請求項１記載の対話データ収集システム。
11. 作業者に与えられる課題を、当該課題を達成するための対話の開始前に提示することと、
    前記作業者から発話文を取得して対話管理装置に与えることと、
    前記対話管理装置が前記発話文に基づいて対話状態を進行させることにより生成した応答情報を受け取り、当該応答情報を前記作業者に提示することと、
    前記応答情報を前記課題に対して予め定められた１つ以上の達成条件と比較し、当該達成条件が満足したか否かに基づいて当該課題の達成または未達成を判定することと、
    前記課題の達成を前記作業者に通知することと、
    前記発話文および前記応答情報を含む対話データを収集することと
    を具備する、対話データ収集方法。
12. コンピュータを、
    作業者に与えられる課題を、当該課題を達成するための対話の開始前に提示する手段、
    前記作業者から発話文を取得して対話管理装置に与える手段、
    前記対話管理装置が前記発話文に基づいて対話状態を進行させることにより生成した応答情報を受け取り、当該応答情報を前記作業者に提示する手段、
    前記応答情報を前記課題に対して予め定められた１つ以上の達成条件と比較し、当該達成条件が満足したか否かに基づいて当該課題の達成または未達成を判定する手段、
    前記課題の達成を前記作業者に通知する手段、
    前記発話文および前記応答情報を含む対話データを収集する手段
    として機能させるための対話データ収集プログラム。

Images