JP6450138B2 - 情報処理装置及び発話内容出力方法 - Google Patents

Description

本発明は、情報処理装置及び発話内容出力方法に関する。

従来から、ユーザの自然言語による発話に対して、コンピュータが自然言語による応答をすることができる対話型装置がある。例えば、特許文献１には、ユーザが発した音声からキーワードを抽出し、そのキーワードに対応する健康状態（例えば、「普通」、「良好」、「怒り」、及び「喜び」等の感情に関する情報）を特定し、特定した健康状態に応じた行動パターンの提案の応答をしている。

再公表２００４−２７５２７号公報

上記のように、上記特許文献１には、感情に応じた行動パターンの提案に関する応答をしているが、感情のみに基づいて行動提案の応答をすることになる。よって、必ずしもユーザ個々に適切な応答ができないという問題点があった。例えば、ユーザの趣味や経験に即した応答ができないという問題点があった。

本発明は、上記を鑑みてなされたものであり、ユーザの感情状態に基づくだけでなく、よりユーザにとって適切な発話内容（応答内容）を出力し得る、発話装置及び発話方法を提供することを目的とする。

本発明に係る情報処理装置は、ユーザの発話内容に基づいてユーザの感情を特定する感情特定手段と、ユーザの嗜好情報を取得する嗜好情報取得手段と、感情特定手段により特定された感情に基づいて、ユーザの発話内容の応答種別を決定する応答種別決定手段と、応答種別決定手段により決定された応答種別と、嗜好情報取得手段により取得された嗜好情報とに基づいた発話内容を生成する発話生成手段と、発話生成手段によって生成された発話内容を出力する発話出力手段と、感情特定手段により特定された感情と、応答種別決定手段により決定された応答種別とを履歴情報として記憶する履歴記憶手段と、を備え、
応答種別決定手段は、感情に加えて、履歴情報から過去の感情特性の変化に基づいて応答種別を決定する。

本発明に係る発話内容方法は、情報処理装置で実行される発話内容出力方法であって、ユーザの発話内容に基づいてユーザの感情を特定する感情特定ステップと、ユーザの嗜好情報を取得する嗜好情報取得ステップと、感情特定ステップにより特定された感情に基づいて、ユーザの発話内容の応答種別を決定する応答種別決定ステップと、応答種別決定ステップにより決定された応答種別と、嗜好情報取得ステップにより取得された嗜好情報とに基づいた発話内容を生成する発話生成ステップと、発話生成ステップによって生成された発話内容を出力する発話出力ステップと、感情特定ステップにより特定された感情と、応答種別決定ステップにより決定された応答種別とを履歴情報として記憶する履歴記憶ステップと、を備え、応答種別決定ステップは、感情に加えて、履歴情報から過去の感情特性の変化に基づいて応答種別を決定する。

この発明によれば、ユーザの嗜好情報に基づいて発話内容を生成するので、ユーザの感情状態に基づくだけでなく、よりユーザにとって適切な発話内容を出力することができる。また、履歴情報を用いて感情の特定の変化に基づいて応答種別を決定するので、画一的に感情に基づいて発話内容を決定する場合と比較して、よりユーザにとって適切な発話内容を出力することができる。

本発明に係るまた別の情報処理装置は、ユーザの発話内容に基づいてユーザの感情を特定する感情特定手段と、ユーザの嗜好情報を取得する嗜好情報取得手段と、感情特定手段により特定された感情に基づいて、ユーザの発話内容の応答種別を決定する応答種別決定手段と、応答種別決定手段により決定された応答種別と、嗜好情報取得手段により取得された嗜好情報とに基づいた発話内容を生成する発話生成手段と、発話生成手段によって生成された発話内容を出力する発話出力手段と、発話内容のテンプレート情報を記憶するテンプレート記憶手段と、を備え、嗜好情報には、具体的事物情報及び当該具体的事物情報の上位概念情報をさらに含み、発話生成手段は、テンプレート記憶手段により記憶されているテンプレートで定められている種別に応じて嗜好情報の具体的事物情報又は当該具体的事物情報の上位概念情報を当てはめた内容を発話内容として生成する。

本発明に係るまた別の発話内容出力方法は、情報処理装置で実行される発話内容出力方法であって、ユーザの発話内容に基づいてユーザの感情を特定する感情特定ステップと、ユーザの嗜好情報を取得する嗜好情報取得ステップと、感情特定ステップにより特定された感情に基づいて、ユーザの発話内容の応答種別を決定する応答種別決定ステップと、応答種別決定ステップにより決定された応答種別と、嗜好情報取得ステップにより取得された嗜好情報とに基づいた発話内容を生成する発話生成ステップと、発話生成ステップによって生成された発話内容を出力する発話出力ステップと、発話内容のテンプレート情報を記憶するテンプレート記憶ステップと、を備え、嗜好情報には、具体的事物情報及び当該具体的事物情報の上位概念情報をさらに含み、発話生成ステップは、テンプレート記憶ステップにより記憶されているテンプレートで定められている種別に応じて嗜好情報の具体的事物情報又は当該具体的事物情報の上位概念情報を当てはめた内容を発話内容として生成する。

この発明によれば、嗜好情報を発話内容に含めるので、よりユーザ嗜好に沿った発話内容を出力するので、ユーザにとって適切な発話内容を出力することができる。また、テンプレートに嗜好情報の具体的事物情報又は、当該具体的事物情報の上位概念化した情報の何れかを当てはめた内容を発話内容として生成するので、嗜好情報の深さの異なる情報を選択的に提供することができるので、ユーザにとって適切な発話内容を出力することができる。

上記情報処理装置では、具体的事物の上位概念情報間において優先度が定められ、発話生成手段は、上位概念情報間における優先度の高い上位概念情報の内容を当てはめた内容を発話内容として生成してもよい。この場合、情報処理装置は、上位概念間の順位に基づいて、発話内容を出力するので、よりユーザ嗜好に沿った発話内容を出力することができる。

上記情報処理装置では、感情特定手段は、ユーザの発話内容から話題を抽出し、発話生成手段は、感情特定手段により抽出された話題をさらに基づいて発話内容を生成してもよい。この場合、情報処理装置は、ユーザの発話内容から特定される感情だけでなく、ユーザの話題も抽出して、その話題に基づいて発話内容を生成するので、よりユーザの状態に即した発話内容を出力することができる。

本発明によれば、ユーザの感情状態に基づくだけでなく、よりユーザにとって適切な発話内容を出力することができる。

本実施形態に係る通信端末装置１の機能構成を示すブロック図である。 発話感情ＤＢ３が記憶する情報の一例を示す図である。 応答種別ＤＢ５が記憶する情報の一例を示す図である。 応答履歴ＤＢ６が記憶する情報の一例を示す図である。 発話ＤＢ８が記憶する情報の一例を示す図である。 パーソナルＤＢ１０が記憶する情報の一例を示す図である。 通信端末装置１のハードウェア構成を示すブロック図である。 通信端末装置１の処理を示すフローチャートである。 テンプレート生成処理を示すフローチャートである。

以下、図面を参照しながら、本実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

図１は、本実施形態に係る通信端末装置１（情報処理装置）の機能構成を示すブロック図である。通信端末装置１は、ユーザの発話内容を特定し、その発話内容に基づいた発話（ユーザの発話に対する応答）を出力する装置である。

通信端末装置１は、例えば、スマートフォンやタブレット等の端末装置である。ただし、通信端末装置１は、ユーザの発話内容を特定し、それに応じて発話出力できる装置であればよく、これらの装置に限られない。

上述のように通信端末装置１は、ユーザの発話内容を特定し、それに応じた発話内容を出力する。このような機能を実現するために、通信端末装置１は、発話解析部２（感情特定手段）と、発話感情ＤＢ３と、応答種別決定部４（応答種別決定手段）と、応答種別ＤＢ５と、応答履歴ＤＢ６（履歴記憶手段）と、発話生成部７（嗜好情報取得手段、発話生成手段）と、発話ＤＢ８（テンプレート記憶手段）と、トピック推定部９と、パーソナルＤＢ１０と、パーソナライズ情報入力部１１と、発話出力部１２（発話出力手段）とを備える。

発話解析部２は、ユーザの発話を受け付ける手段（例えば、マイク等）により受け付けられたユーザの発話の内容に基づいてユーザの感情を特定する部分である。発話解析部２は、ユーザの発話内容を通信端末装置１が備えるマイク等により、音声波形に変換し、変換した音声波形に基づいてユーザの発話内容を、公知技術により特定する。

発話解析部２は、ユーザの発話内容を、公知技術により単語単位で特定する。例えば、「勉強疲れた」とユーザが発話した場合、発話解析部２は、「勉強」「疲れた」と単語単位で特定する。

そして、発話解析部２は、発話内容から特定した単語に基づいてユーザの感情を特定する。具体的には、発話解析部２は、特定した単語と、発話感情ＤＢ３の情報とを比較して特定した単語から感情を特定する。

ここで、発話感情ＤＢ３が保持する情報を図２に示す。図２に示すように、各感情に対応する情報である「発話」と、感情を示す「感情」と、当該感情がポジティブであるか、ネガティブであるかを示す情報（感情特性）である「ＰＮ」とを有する。

例えば、「ウキウキ」、「わーい」、「嬉しい」という単語は、感情が「喜」であり、「ＰＮ」がポジティブであることを示す。これは、ユーザが喜んでいる場合に、「ウキウキ」、「わーい」、「嬉しい」と発話しているケースが多いため、これらの単語と「喜」とを対応付けている。また、喜んでいる時は、一般にポジティブな状態であるので、感情が「喜」にポジティブが対応付けられている。このように、図３の発話感情ＤＢ３は、発話と、感情と、感情の特性（ポジティブ・ネガティブ）とを関連付けて記憶しているので、発話解析部２が、当該発話感情ＤＢ３を参照することにより、ユーザの発話内容に基づいて、ユーザの感情を特定することができる。

例えば、発話解析部２は、発話感情ＤＢ３を参照し、特定した単語が「わーい」であれば、感情が「喜」であり、ポジティブであると特定する。

このように、発話解析部２は、ユーザの発話内容を受け付けて、その発話内容からユーザの感情を特定する。また、発話解析部２は、特定した感情に基づいて、ユーザがポジティブかネガティブかを特定する。

そして、発話解析部２は、特定した単語及び感情（ポジティブかネガティブかを含む）を応答種別決定部４へ通知する。なお、発話解析部２は、感情だけでなく、ユーザが発話した内容の話題を特定するようにしてもよい。例えば、図示しない話題を特定するための話題特定用の単語を予め通信端末装置１で記憶しておき、発話解析部２は、ユーザが発話した内容と話題特定用の単語とを比較して、話題を特定する。例えば、話題特定用の単語に「テニス」と記憶しておき、ユーザの発話内容が「テニス疲れた」である場合、発話解析部２は、発話内容の「テニス」と話題特定用の単語の「テニス」が合致するので、話題がテニスであると判断する。また、話題特定用の単語に当該単語の上位概念化した単語を対応付けておいてもよい。例えば、話題特定用の単語「テニス」に、当該単語の上位概念化した「スポーツ」を対応付けておいてもよい。この場合、発話解析部２は、話題を「テニス」ではなく、「スポーツ」と判断するようにしてもよい。

なお、発話解析部２は、上記のように、予め記憶している単語とその単語に対応する感情に基づいて、感情を特定したが、公知技術の機械学習によって特定するようにしてもよい。また、発話解析部２は、話題を特定する際も機械学習により特定するようにしてもよい。例えば、発話解析部２は、大量のコーパスに対して話題らしい部分をマークして、その部分がどのような条件のもとに出現しているかを学習する。具体的には、発話解析部２は、「は」の前に出現する「名詞」は話題らしさが＋１％といった情報が羅列されたモデルを作成し、それを用いて話題を抽出する。

応答種別決定部４は、発話解析部２により特定された感情と、ユーザの嗜好情報とに基づいて応答種別を決定する部分である。ここで、ユーザの嗜好情報とは、ユーザに特化した情報であり、趣味や特技等の情報が含まれる。また、当該趣味や特技の具体的な情報を上位概念化した情報も嗜好情報として含まれる。応答種別とは、通信端末装置１が応答する内容のカテゴリを意味し、例えば、賞賛、提案等が含まれる。

まず、応答種別決定部４は、発話解析部２によって特定された感情（ポジティブかネガティブかを含む）を取得し、取得した感情に対応する応答種別を応答種別ＤＢ５が記憶する情報を用いて特定する。なお、発話解析部２によって、ユーザが発話した話題が特定された場合、当該話題も取得する。

ここで、応答種別ＤＢ５の例を図３に示す。図３に示すように、応答種別ＤＢ５は、「感情」と、「ＰＮ」と、ユーザに対する応答種別を示す「応答種別」を有する。例えば、感情が喜に対応する、応答種別は、賞賛、興味、共感、羨望であることを示す（なお、この応答種別には、予め優先度が設けられており、図３の左側が最も優先度が高いものとする）。すなわち、感情が喜びである場合、賞賛、興味、共感、羨望の何れかに関する応答をすることを示す。応答種別決定部４は、応答種別ＤＢ５の情報を用いて、発話解析部２から取得した感情が「喜」である場合、応答種別を「賞賛」、「興味」、「共感」、「羨望」の何れかとする。

なお、ここで、「賞賛」は、褒め称える応答をすることを示し、「興味」は、ユーザの発話内容に対して興味を示すような応答をすることを示し、「共感」は、ユーザの発話内容に共感するような応答をすることを示し、「羨望」は、ユーザの発話内容に基づいて羨ましがるような応答をすることを示す。また、感情が「怒」に対応する応答種別に含まれる「提案」は、ユーザに何かを提案することを示す応答をすることを示す。

また、応答種別決定部４は、応答履歴ＤＢ６に過去の履歴（通信端末装置１からの応答の履歴）を記憶している場合、当該過去の履歴をさらに基づいて応答種別を決定する。ここで応答履歴ＤＢ６が記憶している情報を図４に示す。

図４に示すように、応答履歴ＤＢ６は、感情と、応答履歴と、日時とを有する。また、応答履歴ＤＢ６は、日時順に記憶しているものとする。例えば、日時「××年××月××日」に、ユーザの発話内容から特定された感情が「喜」である場合に、応答履歴として、賞賛の応答をしたことを示す。応答種別決定部４は、応答履歴ＤＢ６に情報を記憶している場合、直近の応答履歴に対応する感情が、ポジティブであるかネガティブであるかに基づいて応答種別の候補を絞る。例えば、応答履歴に対応する感情がポジティブの感情（例えば、喜）である場合、直前の応答履歴に対応する応答種別の優先度を上げる。図４の例の場合、応答履歴の「賞賛」の感情が「喜」であり、ポジティブの感情なので、今回特性した感情に対応する応答種別に「賞賛」が含まれる場合、「賞賛」の優先度を上げる。

また、今回発話解析部２によって特定された感情がネガティブの感情であり、直前の応答履歴に対応する感情もネガティブの感情である場合、直前の応答履歴の応答種別を候補から外すようにしてもよい（今回だけ応答種別の候補から外すようにしてもよいし、応答種別ＤＢ５の応答種別の順位を入れ替えてもよい）。すなわち、応答種別決定部４は、直前の応答種別に対応する感情と、今回発話解析部２から取得した感情とが同じである場合、直近の応答履歴とは、異なる応答種別を選択するようにしてもよい。

上述のように、直近の応答履歴のみに基づいて決定するようにしてもよいし、応答種別決定部４は、複数の応答履歴に基づいて決定するようにしてもよい。

例えば、応答種別決定部４は、直近の応答履歴及びその前の応答履歴のそれぞれの感情の変化に基づいて応答種別の優先度を決定するようにしてもよい。例えば、発話解析部２によって特定された感情の特性が、ネガティブからポジティブに変化した場合は、直前の応答履歴の応答種別と同一である、応答種別ＤＢ５の応答種別の優先順位を上げるようにしたり、ポジティブからネガティブに変化した場合は、直前の応答履歴の応答種別と同一である、応答種別ＤＢ５の応答種別の優先順位を下げるようにしたりする。

例えば、最初の会話で「怒」と特定し、これに基づいて提案を行い、次のユーザの会話が「喜」と特定した場合、ユーザの感情特性がネガティブからポジティブに移行しているため、感情が「怒」である場合に提案することは適切であったことになる。そこで、応答種別決定部４では、ユーザの感情が「怒」である場合に、「提案」の優先順位を変更する。このように、応答種別決定部４は、応答履歴を参照して、感情の特性を考慮して応答種別を決定するので、感情の変化に即して適切な応答種別を決定することができる。

応答種別決定部４は、上述のように、感情特定部３から取得した感情や、応答履歴に基づいて定めた優先度により、応答種別を推定する。そして、応答種別決定部４は、決定した応答種別を発話生成部７へ通知する。また、発話解析部２によって、話題を取得した場合、当該話題を発話生成部７へ通知する。

発話生成部７は、応答種別決定部４によって決定された応答種別と、嗜好情報とに基づいた発話内容を生成する部分である。具体的には、応答種別決定部４から感情等に基づいて決定された応答種別を取得し、パーソナルＤＢ１０から嗜好情報を取得し、この２つの情報に基づいて、発話内容を生成する。

ここで、パーソナルＤＢ１０に格納されている情報の一例を図５に示す。図５に示すように、パーソナルＤＢ１０では、カテゴリと、エンティティと、トピックとが関連づいた情報を有する。このように、カテゴリと、エンティティとを関連付けておくことにより、「ユーザのＡは、Ｂである」ということを示す。まず、カテゴリとは“ユーザのＡはＢ”のＡにあたり、例えば所有物や趣味がある。すなわち、カテゴリは、ユーザの嗜好情報の種類を示す。カテゴリは、予め決められた分類を用いるため、限られた種類の単語が入る。

エンティティとは、「ユーザのＡはＢ」のＢにあたり、すべての物事の名前（具体的事物情報）が入る可能性がある。トピックとは、「ユーザのＡはＢ」を登録するに至ったユーザの入力（発話）またはエンティティそのものに対して付与されるものである。トピックとは、例えば、エンティティの上位概念情報である。

上記のパーソナルＤＢ１０が記憶する情報は、パーソナライズ情報入力部１１によって、入力された情報をエンティティ又はトピックとして記憶する。パーソナライズ情報入力部１１は、ユーザ操作等に応じて入力された情報を記憶する。

なお、トピックについては、トピック推定部９によって自動で付与するようにしてもよい。トピック推定手法については後述する。図５において、カテゴリ「趣味」エンティティ「△△△の冒険」（ゲーム名）、トピック「ゲーム」というのは、すなわち「ユーザの趣味は△△△の冒険である。△△△の冒険はゲームである」ということを示している。エンティティとトピックはどちらかが空でも良い。両方が空の場合は、ユーザはそのカテゴリについては自己開示していないとみなす。すなわち図５の例においては、ユーザは自身の所有物については情報を開示していないとみなす。

発話生成部７は、発話ＤＢ８が記憶しているテンプレートの内、応答種別決定部４によって決定された応答種別に対応するテンプレートに、エンティティ又はトピックを反映させたものを発話内容とする。

図６に、発話ＤＢ８に格納されている発話テンプレートの一例を示す。発話テンプレートは、エンティティ名やトピック名で置換する箇所を含んでも良い。なお、置換箇所を含むテンプレートは、ユーザ情報として置換可能なエンティティまたはトピックが登録されている場合に限る。

図６に示すように、テンプレートのＩＤと、テンプレートに対応するカテゴリと、対象トピックと、テンプレートとを対応付けて記憶している。例えば、ＩＤが「２」のテンプレートは、「[entity]行ってみたら？」であり、このテンプレートの対象となるトピックが「旅行、行事」であり、カテゴリが「趣味」、応答種別が「提案」であることを示している。対象トピックは、予め定められているものであり、当該対象トピックが複数設定されている場合、トピックの優先度を定めるようにしてもよい。すなわち、トピック間において優先度を定めるようにしてもよい。図６の例における対象トピックの内、左側の方が優先度が高いものとする。

発話生成部７は、このテンプレートと、図５のユーザ情報（嗜好情報）とを組み合わせて発話を生成する。まず、発話生成部７は、パーソナルＤＢ１０が記憶しているユーザ情報から、エンティティまたはトピックのいずれか、または両方が登録されているカテゴリと、カテゴリに登録されているトピックを抽出する。

この抽出した結果のリストを「カテゴリとトピックのリスト(a)」と呼ぶ。例えばパーソナルＤＢ１０に格納されているユーザ情報が図５の状態の場合、カテゴリとトピックのリスト（a）は、「趣味,ゲーム|習慣,|経験,スポーツ|特技,スポーツ|能力,スポーツ|願望,旅行」となる。

ここで「|」はカテゴリの区切りを表し、「,」はカテゴリとトピックを区切るものとする。カテゴリ「所有物」にはエンティティもトピックも登録されていなかったため、リストには含まれていない。カテゴリ「趣味」にはエンティティとトピック両方に情報が記載されていたため、「趣味,ゲーム」としてリストに含まれる。カテゴリ「習慣」にはエンティティのみ情報が存在しているため、カテゴリの「習慣」のみリストに含まれる。このように、発話生成部７は、各カテゴリについて、エンティティ又はトピックが入力されているものをリスト化することにより、テンプレートへユーザ情報を入力可能なカテゴリを特定する。

発話生成部７は、上記のリスト(a)から、発話可能なカテゴリとトピックの組であるリスト(b)を取得する。取得できる組は下記の通りである。
カテゴリ=趣味
カテゴリ=習慣
カテゴリ=経験
カテゴリ=特技
カテゴリ=能力
カテゴリ=願望
カテゴリ=趣味 and トピック=ゲーム
カテゴリ=経験 and トピック=スポーツ
カテゴリ=能力 and トピック=スポーツ
カテゴリ=特技 and トピック=スポーツ
カテゴリ=願望 and トピック=旅行

なお、カテゴリのみ指定されているものは、テンプレートの対象トピックについて制限がないものであることを示す。このように、発話生成部７は、リスト（ｂ）を生成することにより、このリスト（ｂ）を用いてテンプレートに置換可能な（すなわち、発話可能な）テンプレートを特定する。

次に、発話生成部７は、発話ＤＢ８から、リスト(b)に含まれるカテゴリとトピックの組であり、かつ応答種別決定部４によって決定された応答種別と一致する発話テンプレートを取得する。

ここでは応答種別決定部４によって決定された応答種別が「提案」だった場合を例に説明する。まず、発話ＤＢ８が記憶している発話テンプレートにおいて、応答種別が「提案」のものに限定する。

すなわち、ここではＩＤナンバー２〜６が該当する。次にそれぞれのカテゴリにおける対象トピックを確認し、発話可能かを判定する。ＩＤナンバー２の発話はカテゴリが「趣味」で、対象トピックが「旅行」または「行事」である。ここで、リスト(b)より、カテゴリ「趣味」のトピックは「ゲーム」であることから、発話生成部７は、ＩＤナンバー２のテンプレートは発話不可と判断する。

同様に、ＩＤナンバー３の発話はカテゴリが「趣味」で対象トピックが「スポーツ」または「ゲーム」である。ここで、リスト(b)には、カテゴリ「趣味」とトピック「ゲーム」の組み合わせが含まれているため、発話生成部７は、ＩＤナンバー３は発話可能と判断する。同様にして、発話生成部７は、ＩＤナンバー４および５は発話不可と判断できる。ＩＤナンバー６と７は、カテゴリ「習慣」または「願望」に対して、対象トピックは空となっている。ここで対象トピックが空とは、対象トピックは何でもよい、すなわち制限はないことを示す。

リスト (b)には、カテゴリ「習慣」には対象トピックはなく、カテゴリ「願望」にはトピック「旅行」が登録されているが、ＩＤナンバー６と７はトピックによらず発話可能であるため、発話生成部７は、どちらも発話可能と判断する。

以上から、発話生成部７は、この例では図６においてＩＤナンバー３、６、７が発話可能と判断し、これら３つの発話テンプレートを、候補テンプレート(c)とする。そして、発話生成部７は、候補テンプレート(c)の数分繰り返す。繰り返しの処理として、発話生成部７は、まずテンプレート内に置換指定があるかどうかをチェックし、置換指定がない場合は、発話テンプレート(c)に含まれる次のテンプレートへ移る。発話生成部７は、置換指定がある場合は、置換が可能かどうかをチェックする。

図６において、[topic]はトピックへの置換、[entity]はエンティティへの置換を意味している。すなわちここではＩＤナンバー３、６、７すべてが置換必要と判断される。置換指定がある場合は、次に置換が可能かをチェックする。

図６において、ＩＤナンバー３および７はエンティティでの置き換えが必要であり、ＩＤナンバー６はトピックへの置き換えが必要である。すなわち、例えばＩＤナンバー３はカテゴリ「趣味」トピック「ゲーム」で発話が可能と判断されたが、エンティティ名も必須ということである。

ここで、図５のユーザ情報を参照すると、カテゴリ「趣味」トピック「ゲーム」に「△△△の冒険」というエンティティ名が登録されている。したがって、ＩＤナンバー３は置換可能、すなわち発話可能と判断される。同様に、ＩＤナンバー６はトピック名による置き換えが指定されている。ここでユーザ情報のカテゴリ「習慣」にはトピックは登録されていない。したがって、ＩＤナンバー６は発話不可と判断される。ＩＤナンバー７はエンティティによる置き換えが指定されている。

ここでユーザ情報のカテゴリ「願望」にはトピック「イギリス」が登録されている。したがって、ＩＤナンバー７は発話可能と判断される。発話生成部７の処理の最後に、発話テンプレート内の置換を行う。図５ではそれぞれ１つのエンティティしか保持していないため、ＩＤナンバー３の[entity]部を「△△△の冒険」に置換し、ＩＤナンバー７の[entity]を「イギリス」に置換する。したがって、発話生成部７により、「△△△の冒険やってみたら？」および「なぜイギリスに興味があるの？」という２つのシステム発話候補が生成される。もし、発話生成部７は、ひとつのテンプレートに対して複数の置換可能なエンティティがある場合はランダムにひとつ選択し置換する。また、最終的に残ったテンプレートが複数ある場合は、複数つなげたものを発話内容とするようにしてもよいし、予め定めたトピック間の優先度や、発話解析部２により取得した話題に基づいていずれか１つに絞るようにしてもよい(話題に基づいて絞る例は後述する)。

このように、発話生成部７は、入力済みのユーザ情報を置換可能であり、応答種別決定部４により決定された応答種別に対応するテンプレートの内容を出力対象の発話内容とする。そして、発話生成部７は、エンティティ又はトピックを置換した後のテンプレートを発話内容として、発話出力部１２へ通知する。

また、発話解析部２が発話から話題を抽出している場合は、発話生成部７は、抽出した話題を利用し候補を絞り込むこともできる。これは「テニスで疲れた」といったユーザの発話に対して、趣味がテニスだというユーザ情報を用いて「テニスでリフレッシュしてはいかがですか？」というような発話（図６のテンプレートの場合「テニスやってみたら？」）をすることを防ぐ効果がある。これは特にユーザの感情状態がネガティブである場合に効果が高い。すなわち、ユーザの感情状態がネガティブな場合、発話生成部７は、ユーザ発話の話題と等しいエンティティ又はトピックを置換候補としないようにすればよい。

具体的には、ユーザが「テニス疲れた」と発話した場合には、テニス（トピックは、スポーツ）が話題であり、「疲れた」から感情の特性がネガティブである。ここで、発話生成部７が、図６に示した対象トピックの内、ＩＤナンバー３のテンプレートを発話候補とする場合を検討する。話題を考慮しないと対象トピック間の優先度は、スポーツの方が上である。しかし、話題がスポーツで、感情の特性がネガティブであるので、発話生成部７は、トピックとして、話題と合致するスポーツを除外して、「△△△の冒険やってみたら」というゲームに関する発話内容を発話候補とする。

また、発話生成部７は、発話解析部２により特定された感情がポジティブな感情であれば、話題と等しいエンティティ又はトピックを置換したテンプレートの内容を発話内容とするようにしてもよい。

トピック推定部９は、文や単語にトピックを付与する部分である。トピックの付与は、予め準備した辞書か機械学習により実現可能である。トピック推定部９は、トピックを予め定めており、それらのいずれかに単語や文を分類する。また、トピック推定部９は、分類できない場合、トピックは無いとみなしてよい。トピック推定部９は、単語の場合は辞書を利用し、文の場合は機械学習により実現するとよく、辞書の場合は、大量の単語を集め、予め定めたトピックに分類しておく。トピック推定部９は、入力された単語がいずれかに出現している場合は、そのトピックを与える。

また、トピック推定部９は、入力された単語がどこにも出現していない場合は、トピックは無いとみなす。機械学習の場合も同様に、トピック推定部９は、予め必要なトピックを定める。その後、大量の文を集め、それらをユーザ入力内容に基づいて、トピック推定部９がトピックに分類するようにしてもよい。分類できないものは、トピック無しとして分類してもよい。このデータを正解データと呼ぶ。その後、トピック推定部９は、この正解データをサポートベクターマシン（SVM）などの機械学習の手法を適応し、分類モデルを作成する。分類モデルとは簡単にいうと、“ある単語が出現した場合、トピックAである確率は+1％、トピックBである確率は-1％”といったトピックらしさを記述しているファイルのことである。ここでは簡単のために単語の表層に関して説明したが、トピック推定部９は、実際には単語の表層のunigram（単語単体）、bigram（単語２つ続き）、品詞など、様々な要素を学習し、最も精度が良いモデルを作成している。トピック推定部９は、入力に対してこれらのトピックらしさをすべて確認し、総合的に最もトピックらしいと判断されたトピックを、入力に対するトピックと決定する。その際、トピックらしさがある閾値以下だった場合、トピック推定部９は、トピックは無いと判断してもよい。

発話出力部１２は、発話生成部７によって、生成された発話内容を出力する部分である。出力する方法としては、音声出力したり、画面へ表示出力したり、外部の装置へ送信したりする。

通信端末装置１のハードウェア構成を示すブロック図である。図７に示されるように、１又は複数のＣＰＵ１０１と、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３と、入力装置１０４と、出力装置１０５と、ネットワークカード等のデータ送受信デバイスである通信モジュール１０６と、ハードディスクドライブ及び半導体メモリ等の補助記憶装置１０７を含むコンピュータシステムとして構成されている。これらの構成要素がプログラム等により動作することにより、上述の通信端末装置１の機能が発揮される。

続いて、図８及び図９に示すフローチャートを用いて、通信端末装置１の処理を説明する。

通信端末装置１が備えているマイクなどにより、ユーザからの発話内容を受け付け（ステップＳ１）、発話解析部２は、当該発話内容を解析し、発話内容に含まれる単語と、発話感情ＤＢ３の情報とを比較することにより、感情を特定する（ステップＳ２ 感情特定ステップ）。

そして、応答種別決定部４は、応答種別ＤＢ５の情報を参照して、発話解析部２によって特定された感情に対応する応答種別を決定する（ステップＳ３ 応答種別決定ステップ）。

続いて、発話生成部７は、応答種別決定部４によって決定された応答種別に対応するテンプレートに対して、ユーザ情報を置換したテンプレートを生成する（ステップＳ４ 発話生成ステップ）。

そして、発話生成部７は、発話ＤＢ８内の発話テンプレートを抽出し、発話テンプレートの内、最も適切な発話内容を特定することにより、発話生成する（ステップＳ５ 発話生成ステップ）。

そして、発話出力部１２は、発話生成部７が生成した発話内容を出力して、処理を終了する（ステップＳ６ 発話出力ステップ）。

続いて、図９のフローチャートを用いて、上記ステップＳ４における、テンプレートデータの中から応答種別と、ユーザ情報とに基づいて出力候補となるテンプレートを決定する処理の詳細な手順を説明する。まず、発話生成部７は、パーソナルＤＢ１０からユーザ情報が登録されているカテゴリとトピックのリスト（リスト（ａ））を取得する（ステップＳ１１）。

そして、発話生成部７は、カテゴリとトピックのリストから発話可能なカテゴリとトピックの組のリスト（リスト（ｂ））を取得する（ステップＳ１２）。そして、発話生成部７は、発話ＤＢ８から応答種別決定部４によって決定された応答種別と一致し、且つカテゴリとトピックの組に含まれるカテゴリとトピックの組である発話テンプレートを取得する（ステップＳ１３）。

そして、発話生成部７は、ステップＳ１３で取得した発話テンプレートの１つを抽出し（ステップＳ１４）、当該発話テンプレート内に置換指定がある場合（ステップＳ１５；ＹＥＳ）、置換可能でなければ（ステップＳ１６；ＮＯ）、該当テンプレートを発話候補から除去して（ステップＳ１７）、ステップＳ１９へ移動する。なお、ステップＳ１５において、発話テンプレート内に置換指定が無い場合（ステップＳ１５；ＮＯ）、ステップＳ１９へ移動する。

ステップＳ１６で、置換可能であれば（ステップＳ１６；ＹＥＳ）、発話生成部７は、発話テンプレートを置換して（ステップＳ１８）、ステップＳ１９へ移動する。

ステップＳ１９では、未抽出のテンプレートがあるか否かを判断し、未抽出のテンプレートがあれば（ステップＳ１９；ＮＯ）、ステップＳ１４へ移動し、未抽出のテンプレートがなければ（ステップＳ１９；ＹＥＳ）、処理を終了する。

上述の実施形態では、通信端末装置１に適用する場合について述べたが、サーバ装置等他の種々の情報処理装置に適用するようにしてもよい。

以上述べた通信端末装置１では、発話解析部２がユーザの発話内容に基づいてユーザの感情を特定し、応答種別決定部４が、当該感情に基づいてユーザの発話内容の応答種別を決定する。また、発話生成部７は、パーソナルＤＢ１０からユーザの嗜好情報（例えば、トピック情報、エンティティ情報）を取得し、応答種別に即したテンプレートを発話ＤＢ８から取得し、当該テンプレートにユーザの嗜好情報を当てはめた内容を発話内容として出力する。この場合、通信端末装置１は、ユーザの嗜好情報に基づいて発話内容を生成するので、ユーザの感情状態に基づくだけでなく、よりユーザにとって適切な発話内容を出力することができる。

また、通信端末装置１は、発話解析部２が過去に特定した感情と、当該感情に基づいて応答種別決定部４が決定した応答種別とを履歴情報として応答履歴ＤＢ６に記憶しており、応答種別決定部４は、履歴情報から過去の感情特性の変化に基づいて応答種別を決定する。この場合、通信端末装置１は、履歴情報を用いて感情の特定の変化に基づいて応答種別を決定するので、画一的に感情に基づいて発話内容を決定する場合と比較して、よりユーザにとって適切な発話内容を出力することができる。

また、通信端末装置１は、発話ＤＢ８において、発話内容のテンプレート情報を記憶する。発話生成部７は、当該テンプレート情報にエンティティ情報又はトピック情報を当てはめた内容を発話内容として生成する。この場合、通信端末装置１は、嗜好情報（エンティティ情報及びトピック情報）を発話内容に含めるので、よりユーザ嗜好に沿った発話内容を出力するので、ユーザにとって適切な発話内容を出力することができる。

また、通信端末装置１では、パーソナルＤＢ１０が記憶する情報として、エンティティ情報及びトピック情報を含む。発話生成部７は、発話ＤＢ８が記憶しているテンプレートで定められている種別に応じてエンティティ又はトピック情報を当てはめた内容を発話内容として生成する。この場合、通信端末装置１は、テンプレートにエンティティ情報又はトピック情報の何れかを当てはめた内容を発話内容として生成するので、嗜好情報の深さの異なる情報を選択的に提供することができ、ユーザにとって適切な発話内容を出力することができる。

また、通信端末装置１では、トピック情報間において優先度を定める。発話生成部７は、トピック情報間における優先度の高いトピック情報の内容を当てはめた内容を発話内容として生成する。この場合、通信端末装置１は、トピック間の順位に基づいて、発話内容を出力するので、よりユーザ嗜好に沿った発話内容を出力することができる。

また、通信端末装置１では、発話解析部２は、ユーザの発話内容から話題を抽出し、発話生成部７は、発話解析部２により抽出された話題をさらに基づいて発話内容を生成する。この場合、通信端末装置１は、ユーザの発話内容から特定される感情だけでなく、ユーザの話題も抽出して、その話題に基づいて発話内容を生成するので、よりユーザの状態に即した発話内容を出力することができる。

１…通信端末装置、２…発話解析部、３…発話感情ＤＢ、４…応答種別決定部、５…応答種別ＤＢ、６…応答履歴ＤＢ、７…発話生成部、８…発話ＤＢ、９…トピック推定部、１０…パーソナルＤＢ、１１…パーソナル情報入力部、１２…発話出力部、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…入力装置、１０５…出力装置部、１０６…通信モジュール、１０７…補助記憶装置。

Claims (7)

1. ユーザの発話内容に基づいてユーザの感情を特定する感情特定手段と、
   前記ユーザの嗜好情報を取得する嗜好情報取得手段と、
   前記感情特定手段により特定された感情に基づいて、前記ユーザの発話内容の応答種別を決定する応答種別決定手段と、
   前記応答種別決定手段により決定された応答種別と、前記嗜好情報取得手段により取得された嗜好情報とに基づいた発話内容を生成する発話生成手段と、
   前記発話生成手段によって生成された発話内容を出力する発話出力手段と、
   前記感情特定手段により特定された感情と、前記応答種別決定手段により決定された応答種別とを履歴情報として記憶する履歴記憶手段と、を備え、
   前記応答種別決定手段は、前記感情に加えて、前記履歴情報から過去の感情特性の変化に基づいて応答種別を決定する、情報処理装置。
2. ユーザの発話内容に基づいてユーザの感情を特定する感情特定手段と、
   前記ユーザの嗜好情報を取得する嗜好情報取得手段と、
   前記感情特定手段により特定された感情に基づいて、前記ユーザの発話内容の応答種別を決定する応答種別決定手段と、
   前記応答種別決定手段により決定された応答種別と、前記嗜好情報取得手段により取得された嗜好情報とに基づいた発話内容を生成する発話生成手段と、
   前記発話生成手段によって生成された発話内容を出力する発話出力手段と、
   発話内容のテンプレート情報を記憶するテンプレート記憶手段と、を備え、
   前記嗜好情報には、具体的事物情報及び当該具体的事物情報の上位概念情報をさらに含み、
   前記発話生成手段は、前記テンプレート記憶手段により記憶されているテンプレートで定められている種別に応じて嗜好情報の具体的事物情報又は当該具体的事物情報の上位概念情報を当てはめた内容を発話内容として生成する、情報処理装置。
3. 前記具体的事物の上位概念情報間において優先度が定められ、
   前記発話生成手段は、上位概念情報間における優先度の高い上位概念情報の内容を当てはめた内容を発話内容として生成する、請求項２に記載の情報処理装置。
4. 前記感情特定手段は、ユーザの発話内容から話題を抽出し、
   前記発話生成手段は、前記感情特定手段により抽出された話題をさらに基づいて発話内容を生成する、請求項３に記載の情報処理装置。
5. 前記発話生成手段は、前記テンプレート記憶手段により記憶されているテンプレートの内、複数のテンプレートを組み合わせた内容を発話内容として生成する、請求項２に記載の情報処理装置。
6. 情報処理装置で実行される発話内容出力方法であって、
   ユーザの発話内容に基づいてユーザの感情を特定する感情特定ステップと、
   前記ユーザの嗜好情報を取得する嗜好情報取得ステップと、
   前記感情特定ステップにより特定された感情に基づいて、前記ユーザの発話内容の応答種別を決定する応答種別決定ステップと、
   前記応答種別決定ステップにより決定された応答種別と、前記嗜好情報取得ステップにより取得された嗜好情報とに基づいた発話内容を生成する発話生成ステップと、
   前記発話生成ステップによって生成された発話内容を出力する発話出力ステップと、
   前記感情特定ステップにより特定された感情と、前記応答種別決定ステップにより決定された応答種別とを履歴情報として記憶する履歴記憶ステップと、を備え、
   前記応答種別決定ステップは、前記感情に加えて、前記履歴情報から過去の感情特性の変化に基づいて応答種別を決定する、発話内容出力方法。
7. 情報処理装置で実行される発話内容出力方法であって、
   ユーザの発話内容に基づいてユーザの感情を特定する感情特定ステップと、
   前記ユーザの嗜好情報を取得する嗜好情報取得ステップと、
   前記感情特定ステップにより特定された感情に基づいて、前記ユーザの発話内容の応答種別を決定する応答種別決定ステップと、
   前記応答種別決定ステップにより決定された応答種別と、前記嗜好情報取得ステップにより取得された嗜好情報とに基づいた発話内容を生成する発話生成ステップと、
   前記発話生成ステップによって生成された発話内容を出力する発話出力ステップと、
   発話内容のテンプレート情報を記憶するテンプレート記憶ステップと、を備え、
   前記嗜好情報には、具体的事物情報及び当該具体的事物情報の上位概念情報をさらに含み、
   前記発話生成ステップは、前記テンプレート記憶ステップにより記憶されているテンプレートで定められている種別に応じて嗜好情報の具体的事物情報又は当該具体的事物情報の上位概念情報を当てはめた内容を発話内容として生成する、発話内容出力方法。

Images