JP6433765B2

JP6433765B2 - 音声対話システムおよび音声対話方法

Info

Publication number: JP6433765B2
Application number: JP2014233815A
Authority: JP
Inventors: 秀治倉本
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2014-11-18
Filing date: 2014-11-18
Publication date: 2018-12-05
Anticipated expiration: 2034-11-18
Also published as: JP2016099381A

Description

本発明は、音声対話システムに関し、特に、特定のドメインにおける話題について人と音声で対話する音声対話システムに関する。

近年、スマートフォンやタブレット端末などの携帯情報端末（ＰＤＡ）やカーナビゲーションといった各種システムに音声認識機能が搭載されている。音声認識機能を搭載したシステムでは、ユーザーは、システムに対して音声で指示を出し、システムはその音声による指示を理解して所期の動作をする。システムがさらに音声合成機能を有する場合には、ユーザーはシステムと音声で対話することができる。

従来、音声対話システムとして、コミュニケーションギャップをリアルタイムに解決し、持続的かつ自然なコミュニケーションを行うものや（例えば、特許文献１を参照）、話者側からの聞き返しおよび確認に係る音声を認識し、これに基づいた回答や処理を実行することが可能なもの（例えば、特許文献２を参照）などがある。また、ユーザーの音声に対して適切な応答文を生成する対話システムとして、認識対象となっているキーワードに対して、それらを応答文中に含める場合に使用する言い換え語と、応答文の種類を表す応答タイプと、言い換え語と応答タイプが選択される条件とを記録し、言い換え語と応答タイプが選択される条件に基づいて、認識されたキーワードに対する言い換え語と応答文テンプレートを決定し、決定された応答文テンプレートに言い換え語を挿入することにより応答文を生成するものがある（例えば、特許文献３を参照）。

特開２０１２−１８１６９７号公報特開２０１０−１９７８５８号公報特開２００８−３９９２８号公報

近年、テレビジョン装置などのＡＶシステムにも音声認識機能が搭載されつつある。しかし、現在のＡＶシステムは、「Volume up」や「Turn off」などのような命令の発話を理解して所期の動作をするコマンドベースの音声認識システムに過ぎない。このため、ユーザーがコンテンツを視聴しながらそのコンテンツについて知りたいことがあっても、システムと音声対話によって必要な情報を得ることはできない。また、ユーザーが知りたい情報は、５Ｗ１Ｈで回答できるような単純な情報に限らず、コンテンツに関する意見や感想といった複雑な情報であることもある。

上記問題に鑑み、本発明は、特定のドメインにおける話題について人と音声で対話することができる音声対話システムを提供することを目的とする。

本発明の一局面に従った音声対話システムは、特定のドメインにおける話題について人と音声で対話する音声対話システムであって、発話者の発話を音声認識して発話文を生成する音声認識部と、前記発話文を解析して、前記発話者が前記ドメインにおけるどのような情報を知りたがっているかを理解する意図理解部と、前記発話者が知りたがっている情報の内容に応じて、前記ドメインにおけるさまざまな情報を保持する第１の情報源および前記ドメインにおける他人の感想を保持する第２の情報源のいずれかを検索して、目的の情報を取得する対話管理部と、前記目的の情報を用いて前記発話者の発話に対する応答文を生成する応答文生成部と、前記応答文を音声合成して音声信号を生成する音声合成部とを備えているシステムである。

また、本発明の別の局面に従った音声対話方法は、特定のドメインにおける話題について人と音声で対話する方法であって、音声認識部が、発話者の発話を音声認識して発話文を生成し、意図理解部が、前記発話文を解析して、前記発話者が前記ドメインにおけるどのような情報を知りたがっているかを理解し、対話管理部が、前記発話者が知りたがっている情報の内容に応じて、前記ドメインにおけるさまざまな情報を保持する第１の情報源および前記ドメインにおける他人の感想を保持する第２の情報源のいずれかを検索して、目的の情報を取得し、応答文生成部が、前記目的の情報を用いて前記発話者の発話に対する応答文を生成し、音声合成部が、前記応答文を音声合成して音声信号を生成する方法である。

これらシステムまたは方法によると、ユーザー（発話者）が音声対話システムに対して何か発話すると、ユーザーが特定のドメインにおけるどのような情報を発話者が知りたがっているかが理解され、当該知りたがっている情報の内容に応じて、ドメインにおけるさまざまな情報を保持する第１の情報源およびドメインにおける他人の感想を保持する第２の情報源のいずれかを検索して目的の情報が取得され、その情報を用いた応答文が音声としてユーザーに返される。これにより、ユーザーは、システムとの対話を通じて、５Ｗ１Ｈで回答できるような単純な情報のみならず、意見などの複雑な情報を取得することができる。

前記第１の情報源が、インターネット上のウェブサイトであってもよい。

これによると、インターネット上のウェブサイトの情報は頻繁に追加・更新されるため、インターネット上のウェブサイトを第１の情報源として使用することで音声対話システムは常に最新の情報を取得することができる。

上記の音声対話システムは、前記第２の情報源としての感想データベースを備えていてもよく、前記対話管理部は、インターネット上のウェブサイトから定期的または不定期にユーザーレビューを取得し、当該ユーザーレビューから評価表現を含む文を抽出して前記感想データベースに登録するものであってもよい。

これによると、インターネット上のウェブサイトに公開されているユーザーレビューがそのままではなく、感想として有用な評価表現を含む文が抽出されて感想データベースに登録される。また、インターネット上のウェブサイトに新たに投稿されたユーザーレビューを定期的または不定期に感想データベースに取り込んで感想データベースを更新することができる。

本発明によれば、特定のドメインにおける話題について人と音声で対話することができる音声対話システムが実現される。これにより、ユーザーが欲する有用な情報を、対話という簡単なインターラクションによりユーザーに提供することができる。

本発明の一実施形態に係る音声対話システムのブロック図音声対話システムの動作を示すフローチャート音声対話システムの実施例であるテレビジョン装置の外観図

以下、図面を参照しながら本発明を実施するための形態について説明する。図１は、本発明の一実施形態に係る音声対話システムのブロック図である。本実施形態に係る音声対話システム１０は、音声認識部１１と、意図理解部１２と、対話管理部１３と、応答文生成部１４と、音声合成部１５とを備え、特定のドメインにおける話題について発話者と音声で対話するものである。ドメインとは、音声対話システム１０が扱う対話内容・分野・ジャンルなどのことをいい、例えば、映画、音楽、料理、天気といった特定の話題領域のことである。例えば、ドメインが映画の場合、発話者は、映画について音声対話システム１０と対話することができる。

なお、以下の説明ではドメインが映画の場合について説明するが本発明が対象とするドメインは映画に限定されない。また、音声対話システム１０が対応可能なドメインは一つとは限らず、音声対話システム１０は複数のドメインに対応することができる。

音声認識部１１は、発話者の発話を音声認識して発話文を生成する。発話者の発話は、図示しないマイクロフォンから音声信号として音声認識部１１に入力される。音声認識部１１の音声認識機能として既知の技術を利用することができる。生成される発話文は、「監督は誰？」、「いつ劇場公開されたの？」、「誰が出演しているの？」、「この映画の感想を聞かせて」などとさまざまである。

意図理解部１２は、音声認識部１１が生成した発話文を解析して、発話者がドメインにおけるどのような情報を知りたがっているか、すなわち発話者の意図を理解する。ここで、発話文は、例えば、「監督は誰？」などのように目的が曖昧なケースが多い。また、例えば、出演者を尋ねる発話文として「誰が出演しているの？」以外に、「出演者は誰？」、「誰が出ているの？」などのようにさまざまな表現が使われる。意図理解部１２は、意図理解モデル１２１および問題解決知識１２２を参照して、そのような目的が曖昧な発話文やさまざまな表現の発話文に込められた発話者の意図を正しく理解することができる。

意図理解モデル１２１は、意図ごとにさまざまな言い方を集めた発話文例集である。意図理解モデル１２１には、発話文の単語や表現パターンがどのような意図を示す傾向があるのかがデータベース化されている。意図理解部１２は、意図理解モデル１２１を参照することで、発話文でさまざまな表現が使われていても表面的な言葉遣いに左右されずに発話者の意図を正しく理解することできる。

問題解決知識１２２には、さまざまな発話表現（問題）とその解決策との対応関係が保存されている。発話者が知りたがっている情報の内容に応じて問題は二つのタイプに分類することができる。一つは、監督名、公開日、出演者などを問い合わせる簡単な問題である。もう一つは、映画の感想を問い合わせる複雑な問題である。簡単な問題に対応する解決策は「ウェブサイトを検索する」である。一方、複雑な問題に対応する解決策は「感想データベースを検索する」である。このように、意図理解部１２は、問題解決知識１２２を参照することで、問題とその解決策を特定することができる。

対話管理部１３は、意図理解部１２から意図理解結果を受け、発話者が知りたがっている情報の内容に応じて二つの情報源のうちいずれか一方の情報源を検索して目的の情報を取得する。情報源の一つは、インターネット上のウェブサイトである。当該ウェブサイトとして、例えば、ＤＢｐｅｄｉａ（http://ja.dbpedia.org/）を利用することができる。ＤＢｐｅｄｉａは、Ｗｉｋｉｐｅｄｉａ（http://ja.wikipedia.org/）の情報を構造化したデータセットであり、ＲＤＦ（Resource Description Framework）クエリ言語のＳＰＡＲＱＬで所望の情報を検索することができる。もう一つの情報源は、感想データベース１３１である。感想データベース１３１にはドメインにおける他人のさまざまな感想が保存されている。本実施形態の場合、感想データベース１３１にはさまざまな映画に関する他人の感想が保存されている。

対話管理部１３は、対話シナリオ１３２に従ってシステム行動を決定する。対話シナリオ１３２には、さまざまな意図が入力されたときにそれぞれどのようなやりとりをすべきかといった対話の流れが記述されている。例えば、発話意図が「監督の名前を知りたい」であり、解決策が「ウェブサイトを検索する」である場合、対話管理部１３は、システム行動としてインターネット上のウェブサイトを検索して監督名を取得する。一方、発話意図が「映画の感想が聞きたい」であり、解決策が「感想データベースを検索する」である場合、対話管理部１３は、システム行動として感想データベース１３１を検索して発話者に提供すべき適当な感想を取得する。

対話管理部１３は、インターネット上のウェブサイトからユーザーレビューを収集して感想データベース１３１に登録することができる。当該ウェブサイトとして、例えば、Ｙａｈｏｏ！映画（http://movies.yahoo.co.jp/）を利用することができる。このウェブサイトには、さまざまな映画について多くの人から寄せられたレビューが公開されている。

例えば、対話管理部１３は、次のようにしてウェブサイトからユーザーレビューを収集して感想データベース１３１に格納することができる。まず、対話管理部１３は、Ｙａｈｏｏ！映画サイトから各映画のユーザーレビューを取得する。ユーザーレビューは映画ごとに複数存在する。そして、対話管理部１３は、形態素解析エンジンを使用してユーザーレビューの各文を形態素解析し、さらに不要な文字を除去し、意見抽出ツールを用いて評価表現を含む意見文のみを抽出する。当該意見抽出ツールとして、独立行政法人情報通信研究機構が提供する意見（評価表現）抽出ツール（http://alaginrc.nict.go.jp/opinion/）を利用することができる。当該ツールを使用してユーザーレビューごとに評価表現のデータを抽出する。評価表現とは、「○○は良い」、「○○はつまらない」といった、肯定的または否定的意見や評判、提言を表す表現をいう。こうして抽出されたデータ集合が感想となる。すなわち、本明細書でいう感想とは、評価表現を含む文の集合である。

さらに、対話管理部１３は、抽出した感想から特徴量を抽出する。具体的には、各感想について形容詞と名詞の利用傾向として形容詞ＴＦ（Term Frequency）および名詞ＴＦを計算する。さらに、対話管理部１３は、名詞についてはＴＦ−ＩＤＦ（Term Frequency - Inverse Document Frequency）を計算する。そして、対話管理部１３は、抽出した感想とともに、これら形容詞ＴＦ、名詞ＴＦ、名詞ＴＦ−ＩＤＦを感想データベース１３１に登録する。形容詞ＴＦ、名詞ＴＦ、名詞ＴＦ−ＩＤＦは、感想データベース１３１から適当な感想を検索するときの指標となる。

なお、ウェブサイト上のユーザーレビューは頻繁に追加され、また、映画も次々に新しいものが公開されるため、対話管理部１３は、感想データベース１３１を定期的または不定期に更新することが望ましい。例えば、感想データベース１３１を毎日決まった時刻に更新してもよいし、ユーザーから指示を受ける都度更新してもよい。

応答文生成部１４は、対話管理部１３のシステム行動結果を発話者に伝えるための応答文を生成する。具体的には、応答文生成部１４は、対話管理部１３が各種情報源から取得した目的の情報を用いて発話者の発話に対する応答文を生成する。例えば、発話者の発話が「いつ劇場公開されたの？」であり、対話管理部１３が目的の情報として「２０１４年１月２０日」を取得した場合、応答文生成部１４は、例えば、「この映画は２０１４年１月２０日に劇場公開されました」といった応答文を生成する。

音声合成部１５は、応答文生成部１４が生成した応答文を音声合成して音声信号を生成する。当該音声信号は図示しないスピーカーに出力され、音となって発話者に伝えられる。音声合成部１５の音声合成機能として既知の技術を利用することができる。

次に、音声対話システム１０の処理フローについて説明する。図２は、音声対話システム１０の動作を示すフローチャートである。

まず、音声認識部１１が、発話者の発話を音声認識して発話文を生成する（Ｓ１）。そして、意図理解部１２が、生成された発話文を解析して発話者の意図を理解する（Ｓ２）。

発話者の意図が５Ｗ１Ｈの質問であり、発話者が知りたがっている情報が単純な情報である場合（Ｓ３でＹＥＳ）、対話管理部１３は、インターネット上のウェブサイト（例えば、Ｙａｈｏｏ！映画）を検索して目的の情報を取得する。一方、発話者が知りたがっている情報が感想といった複雑な情報である場合（Ｓ３でＮＯ）、対話管理部１３は、感想データベース１３１を検索して適当な感想を取得する（Ｓ５）。

対話管理部１３が目的の情報を取得したら、応答文生成部１４が、対話管理部１３が取得した目的の情報を用いて発話者の発話に対する応答文を生成する（Ｓ６）。そして、音声合成部１５が、生成された応答文を音声合成して音声信号を生成し、スピーカーから音声を出力する（Ｓ７）。

以上のように、本実施形態によれば、特定のドメインにおける話題について人と音声で対話することができる。これにより、ユーザーが欲する有用な情報を、対話という簡単なインターラクションによりユーザーに提供することができ、ユーザーの利便性を向上させることができる。

なお、意図理解モデル１２１、問題解決知識１２２、感想データベース１３１、対話シナリオ１３２は、音声対話システム１０内の記憶装置（図略）に配置されていてもよいし、外部の記憶装置（図略）に配置されていてもよい。また、これらは、同一の記憶装置に配置されていてもよいし、複数の異なる記憶装置に分散配置されていてもよい。また、音声認識部１１、意図理解部１２、対話管理部１３、応答文生成部１３、音声合成部１５は、同一のサーバー装置に実装されていてもよいし、複数のサーバー装置に機能分散されていてもよい。分散配置された知識や機能はネットワークを通じて互いに通信することができる。

≪実施例≫
次に、音声対話システム１０の実施例について説明する。図３は、音声対話システム１０の実施例であるテレビジョン装置の外観を示す。本実施形態に係る音声対話システム１０は、例えば、表示パネル１０１と、マイクロフォン１０２と、スピーカー１０３とを備えたテレビジョン装置１００に搭載することができる。

テレビジョン装置１００は、図示しないテレビチューナーを備えており、地上デジタル放送１０４、ＢＳ（Broadcasting Satellite）／ＣＳ（Communication Satellite）デジタル放送１０５を受信することができる。地上デジタル放送１０４およびＢＳ／ＣＳデジタル放送１０５は、図示しないアンテナ端子を通じてテレビジョン装置１００に入力される。

また、テレビジョン装置１００は、有線または無線でインターネット１０６に接続可能である。テレビジョン装置１００は、インターネット１０６上のコンテンツサーバー１０７からＶＯＤ（Video On Demand）などのコンテンツを受信することができる。また、テレビジョン装置１００は、ＤＶＤ（Digital Versatile Disc）／ＢＤ（Blu-ray Disc）などのレコーダー１０８に接続可能である。テレビジョン装置１００は、レコーダー１０８に搭載されたハードディスク装置（図略）や、ＤＶＤやＢＤなどの光ディスクに記録されたコンテンツを再生することができる。テレビジョン装置１００がレコーダー機能を有することもある。

テレビジョン装置１００が受信したコンテンツは表示パネル１０１に表示され、ユーザー２００（発話者）はそれを視聴しながらテレビジョン装置１００に当該コンテンツに関するさまざまな問いかけをすることができる。テレビジョン装置１００は、ユーザー２００が発した声をマイクロフォン１０２で集音してユーザー２００の発話内容を理解し、ユーザー２００の問いかけに対して適当な回答を生成してスピーカー１０３からその回答を音声で出力する。このように、ユーザー２００は、テレビジョン装置１００と音声で対話することができる。

以上、本発明の実施形態について説明したが、本発明は上記の実施形態の構成に限られず種々の変形が可能である。例えば、本実施形態に係る音声対話システム１０は、テレビジョン装置１００以外にも、例えば、コンテンツ再生機能を有するスマートフォンやＰＣに搭載することもできる。

また、上記実施形態により示した構成は、本発明の一実施形態に過ぎず、本発明を当該構成に限定する趣旨ではない。

１０音声対話システム
１２音声認識部
１３意図理解部
１４対話管理部
１５応答文生成部
１６音声合成部
１３１感想データベース
２００ユーザー(発話者)

Claims

特定のドメインにおける話題について人と音声で対話する音声対話システムであって、
発話者の発話を音声認識して発話文を生成する音声認識部と、
前記発話文を解析して、前記発話者が前記ドメインにおけるどのような情報を知りたがっているかを理解する意図理解部と、
前記発話者が知りたがっている情報の内容に応じて、前記ドメインにおけるさまざまな情報を保持する第１の情報源および前記ドメインにおける他人の感想を保持する第２の情報源のいずれかを検索して、目的の情報を取得する対話管理部と、
前記目的の情報を用いて前記発話者の発話に対する応答文を生成する応答文生成部と、
前記応答文を音声合成して音声信号を生成する音声合成部とを備えている
ことを特徴とする音声対話システム。
前記第１の情報源が、インターネット上のウェブサイトである
ことを特徴とする請求項１に記載の音声対話システム。
前記第２の情報源としての感想データベースを備え、
前記対話管理部は、インターネット上のウェブサイトから定期的または不定期にユーザーレビューを取得し、当該ユーザーレビューから評価表現を含む文を抽出して前記感想データベースに登録する
ことを特徴とする請求項１または請求項２に記載の音声対話システム。
特定のドメインにおける話題について人と音声で対話する方法であって、
音声認識部が、発話者の発話を音声認識して発話文を生成し、
意図理解部が、前記発話文を解析して、前記発話者が前記ドメインにおけるどのような情報を知りたがっているかを理解し、
対話管理部が、前記発話者が知りたがっている情報の内容に応じて、前記ドメインにおけるさまざまな情報を保持する第１の情報源および前記ドメインにおける他人の感想を保持する第２の情報源のいずれかを検索して、目的の情報を取得し、
応答文生成部が、前記目的の情報を用いて前記発話者の発話に対する応答文を生成し、
音声合成部が、前記応答文を音声合成して音声信号を生成する
ことを特徴とする音声対話方法。
前記第１の情報源が、インターネット上のウェブサイトである
ことを特徴とする請求項４に記載の音声対話方法。
前記第２の情報源が、感想データベースであり、
前記対話管理部が、インターネット上のウェブサイトから定期的または不定期にユーザーレビューを取得し、当該ユーザーレビューから評価表現を含む文を抽出して前記感想データベースに登録する
ことを特徴とする請求項４または請求項５に記載の音声対話方法。