JP5381211B2

JP5381211B2 - 音声対話装置及びプログラム

Info

Publication number: JP5381211B2
Application number: JP2009070464A
Authority: JP
Inventors: 貴克吉村; 和也下岡; 裕一朗中島; 宇唯山口; 生聖渡部
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2009-03-23
Filing date: 2009-03-23
Publication date: 2014-01-08
Anticipated expiration: 2029-03-23
Also published as: JP2010224152A

Description

本発明は、音声対話装置及びプログラムに関する。

従来、ユーザと円滑に音声対話を行う音声対話装置が提案されている（例えば特許文献１参照）。特許文献１の音声対話装置は、発話を解析して、述語及びそれに対応する格要素を抽出し、抽出された述語又は格要素を確認するための応答を生成する。また、上記音声対話装置は、抽出された述語に共起する格要素が不足する場合には、不足する格要素を他の述語に共起する格要素の中から補完する。これにより、多くの発話を予め用意しておくことなく、ユーザと円滑に対話を行うことができる。

特開２００７−２０６８８８号公報

ところで、人と人のコミュニケーションでは、質問に対して名詞だけで答える場合がある。しかし、特許文献１の音声対話装置は、ユーザが名詞だけを発話した場合、格要素である名詞を確認するための応答のみを生成するので、ユーザとの対話が円滑に進まない問題がある。

本発明は、上述した課題を解決するために提案されたものであり、ユーザが名詞だけを発話した場合又は名詞しか認識されない場合でも円滑に対話を行うことができる音声対話装置及びプログラムを提供することを目的とする。

本発明に係る音声対話装置は、入力された音声を認識して認識候補を生成する音声認識手段と、名詞と当該名詞を格要素とする１つ以上の述語との対応関係を定義した辞書データを記憶する辞書記憶手段と、前記音声認識手段により生成された音声の認識候補が名詞のみである場合に、前記辞書記憶手段に記憶された辞書データに基づいて、前記認識候補である名詞に対応する述語を補完する述語補完手段と、前記音声認識手段により生成された認識候補である名詞と、前記述語補完手段により補完された述語と、名詞及び述語を用いた応答テンプレートと、に基づいて応答を生成し、又は、前記述語補完手段により補完された述語と、述語を用いた応答テンプレートと、に基づいて応答を生成する応答生成手段と、前記応答生成手段により生成された応答を記憶する応答記憶手段と、を備えた音声対話装置であって、前記述語補完手段は、前記辞書記憶手段に記憶された辞書データに基づいて、前記応答記憶手段に記憶されている過去に生成された応答に含まれる述語と、前記認識候補である名詞を格要素とする述語とを照合し、一致した述語を、前記認識候補である名詞に対応する述語として補完する音声対話装置である。

本発明に係る音声対話プログラムは、コンピュータを、入力された音声を認識して認識候補を生成する音声認識手段と、名詞と当該名詞を格要素とする１つ以上の述語との対応関係を定義した辞書データを記憶する辞書記憶手段を用いて、前記音声認識手段により認識された音声の認識候補が名詞のみである場合に、前記辞書記憶手段に記憶された辞書データに基づいて、前記認識された名詞に対応する述語を補完する述語補完手段と、前記音声認識手段により生成された認識候補である名詞と、前記述語補完手段により補完された述語と、名詞及び述語を用いた応答テンプレートと、に基づいて応答を生成し、又は、前記述語補完手段により補完された述語と、述語を用いた応答テンプレートと、に基づいて応答を生成する応答生成手段と、して機能させるための音声対話プログラムであって、前記応答生成手段により生成された応答を記憶する応答記憶手段を用いて、前記述語補完手段により前記辞書記憶手段に記憶された辞書データに基づいて、前記応答記憶手段に記憶されている過去に生成された応答に含まれる述語と、前記認識候補である名詞を格要素とする述語とを照合し、一致した述語を、前記認識候補である名詞に対応する述語として補完させるための音声対話プログラム。

上記発明によれば、認識された音声の認識候補が名詞のみである場合に、辞書データに基づいて音声認識された名詞に対応する述語を補完し、補完された述語を用いて応答を生成するので、ユーザが名詞のみを発話した場合、又はユーザの発話から名詞しか認識できない場合でも、ユーザとの対話を円滑に行うことができる。

本発明に係る音声対話装置及びプログラムは、ユーザが名詞のみを発話した場合、又はユーザの発話から名詞しか認識できない場合でも、ユーザとの対話を円滑に行うことができる。

本発明の実施形態に係る音声対話装置の構成を示すブロック図である。辞書データの構成を示す図である。音声対話ルーチンを示すフローチャートである。

以下、本発明の好ましい実施形態について図面を参照しながら詳細に説明する。

図１は、本発明の実施形態に係る音声対話装置の構成を示すブロック図である。音声対話装置は、音声を認識する音声認識部１と、音声認識部１で認識された履歴を記憶する認識履歴格納部２と、音声認識部１の認識結果に基づいて意味を解析して述語を補完する意味解析部３と、応答を生成する応答生成部４と、意味解析部３の解析結果及び応答生成部４の応答生成結果を記憶する応答履歴格納部５と、を備えている。

音声認識部１は、ユーザが発話した際に入力される音声の認識処理を行い、複数の認識候補及びその信頼度を算出する。そして、音声認識部１は、認識結果として信頼度が所定の閾値より高い認識候補（単語）を出力する。

なお、信頼度の算出方法は、特に限定されるものではなく、例えば、「２パス探索アルゴリズムにおける高速な単語事後確率に基づく信頼度算出法」李ら、２００３年１２月１９日、社団法人情報処理学会研究報告、に記載された技術を用いることができる。

また、音声認識部１で算出された認識候補及びその信頼度は、認識履歴格納部２に格納され、必要に応じて応答生成部４の応答生成の際に使用される。

意味解析部３は、音声認識部１から出力された音声認識結果に基づいて、入力された音声の意味を解析する。具体的には、意味解析部３は、音声認識部１の音声認識結果から述語及びその格要素となる名詞を抽出し、抽出した述語及び名詞を応答生成部４へ供給する。

また、意味解析部３は、音声認識部１の音声認識結果から名詞のみが抽出されて述語が抽出されない場合は、辞書データを参照して、認識履歴格納部２及び応答履歴格納部５の中から、辞書データの名詞に対応する述語を補完する。ここで、意味解析部３は、次のように構成された辞書データを予め記憶している。

図２は、意味解析部３に記憶されている辞書データの構成を示す図であるである。この辞書データは、名詞とその名詞が格要素となりうる述語との対応関係を定義するものである。

例えば、名詞である「博多ラーメン」は、「食べる」、「作る」、「売る」の３つの述語の格要素となりうる。そこで、辞書データでは、「博多ラーメン」に対して、３つの述語、「（を）食べる」、「（を）作る」、「（を）売る」が対応付けられている。「会社」に対しては、２つの述語、「（に）行く」、「（で）働く」が対応付けられている。同様に、テレビ、携帯、デパート等にも、複数の述語が対応付けられている。なお、名詞に対応付けられる述語は、図２に示すものに限定されるものではない。また、名詞に対応付けられる述語の個数は、１つでもよいし、４つ以上でもよい。

そして、意味解析部３は、名詞に対応する述語を抽出する場合、次の（ａ）〜（ｄ）の順に、辞書データで定義された名詞に対応する述語があるか探索する。ここでは、（ａ）が最も優先度が高く、（ｄ）が最も優先度が低くなっている。
（ａ）過去のシステム発話（応答履歴格納部５に格納されている応答）の述語
（ｂ）過去のユーザ発話の述語（認識履歴格納部２に格納されている認識候補）であって信頼度が所定の閾値より高いもの
（ｃ）過去のユーザ発話の述語であって既に抽出されている名詞が格要素となり得るもの
（ｄ）過去のユーザ発話の名詞（認識履歴格納部２に格納されている認識候補）、又は過去のシステム発話の名詞と親密度が高い述語

なお、意味解析部３は、述語に対応する名詞が複数存在する場合は、信頼度の最も高い名詞を抽出してもよいし、信頼度が所定の閾値よりも高い１つ以上の名詞を抽出してもよい。なお、意味解析部３で抽出された名詞及び述語は、応答履歴格納部５に格納される。

応答生成部４は、複数の応答テンプレートを記憶しており、意味解析部３で抽出された名詞及び述語を応答テンプレートに当てはめることで、１つ又は複数の応答を生成する。

応答生成部４は、例えば、ｓ１）発話された格要素を確認すること（格要素の確認）、ｓ２）省略された格要素を質問すること（省略格要素の質問）、ｓ３）述語が行われた理由、時、場所を質問すること（述語の質問）、ｓ４）述語同士の関係を確認すること（述語同士の関係確認）、の４種類の発話候補を生成できる。

なお、ｓ１）〜ｓ４）の発話候補の各応答テンプレートは例えば次のようなものがあるが、これに限定されるものではない。

ｓ１）：「（名詞）が（述語）？」、「（名詞）を（述語）？」
ｓ２）：「何に（述語）？」、「誰が（述語）？」
ｓ３）：「どうして（述語）？」、「いつ（述語）？」、「どこで（述語）？」
ｓ４）：「（述語１）だから（述語２）？」

テンプレートの述語、述語１、述語２は、過去形が好ましいが、文法上の誤りがないように適宜修正されてもよい。

応答生成部４は、応答テンプレートに基づいて発話候補（応答）を生成し、生成した発話候補の音声合成を行って、音声再生を行う。なお、応答生成部４は、複数の発話候補を生成した場合は、１つの発話候補をランダムに選択し、選択した発話候補の音声合成を行って、音声再生を行う。なお、応答生成部４で生成された応答は、応答履歴格納部５に格納される。

以上のように構成された音声対話装置は、次の音声対話ルーチンを実行することにより、ユーザとの対話を行う。

図３は、応答生成ルーチンを示すフローチャートである。

音声認識部１は、ユーザの音声が入力されるまで待機し（ステップＳ１）、音声が入力されたら、入力された音声に対して認識処理を行い、複数の認識候補及びそれらの信頼度を算出する（ステップＳ２）。そして、音声認識部１は、各々の認識候補のうち信頼できる認識候補（単語）を抽出する。すなわち、音声認識部１は、各々の認識候補の信頼度が所定の閾値より高いかを判定し、その閾値より信頼度が高い単語（名詞、動詞、形容詞等）を抽出する（ステップＳ３）。

意味解析部３は、音声認識部１の音声認識処理の結果、名詞のみが抽出されているかを判定する（ステップＳ４）。意味解析部３は、名詞のみが抽出されている場合、意味解析を行って、図２の辞書データに従って、認識履歴格納部２、応答履歴格納部５の中から、既に抽出されている名詞に対応する述語を抽出して補完する（ステップＳ５）。

ここで、意味解析部３は、次の対話例１〜４では、それぞれ以下のようにして述語を抽出する。

（対話例１）
本装置：「何を食べたの？」
ユーザ：「博多ラーメン」

この場合、音声認識部１は「博多ラーメン」のみを認識し、意味解析部３は「博多ラーメン」に対応する述語を補完する必要がある。ここで、「博多ラーメン」というユーザ発話の以前に、「何を食べたの？」というシステム発話があり、これは応答履歴格納部５に既に格納されている。そこで、意味解析部３は、図２の「博多ラーメン」に対応する述語が応答履歴格納部５に格納されているので、名詞「博多ラーメン」に対して、述語「食べた」を補完する。これにより、ユーザの発話は「博多ラーメンを食べた」と推定される。

（対話例２）
本装置：「どこに行ったの？」
ユーザ：「博多に行って、食べ歩いた。」（述語“行く”、“食べる”は高信頼度）
本装置：「いいね。」
ユーザ：「博多ラーメン（旨かったよ。）」（括弧の中は音声認識部１で認識されず）

音声認識部１は「博多ラーメン」のみを認識し、「旨かったよ」を認識していない。この場合、意味解析部３は「博多ラーメン」に対応する述語を補完する必要がある。ここで、過去のユーザ発話の認識候補のうち、信頼度が閾値より高いものとして“行く”、“食べる”があり、これらは認識履歴格納部２に既に格納されている。そこで、意味解析部３は、認識履歴格納部２に格納されているユーザ発話の“行く”又は“食べる”の中から、図２の「博多ラーメン」に対応する述語“食べる”を補完する。これにより、ユーザの発話は「博多ラーメンを食べた」と推定される。

（対話例３）
本装置：「どこに行ったの？」
ユーザ：「博多に行って、屋台を巡った。」（述語“行く”、“食べる”は低信頼度）
本装置：「いいね。」
ユーザ：「博多ラーメン（旨かったよ。）」（括弧の中は認識せず）

音声認識部１は「博多ラーメン」のみを認識し、「旨かったよ」を認識していない。この場合、意味解析部３は「博多ラーメン」に対応する述語を補完する必要がある。ここで、過去のユーザ発話の認識候補のうち、信頼度が閾値より低いものとして“行く”、“食べる”があり、これらは音声認識部１の認識候補（単語）とならなかったが、認識履歴格納部２に既に格納されている。

そこで、意味解析部３は、認識履歴格納部２に格納されているユーザ発話の信頼度の低い述語“行く”又は“食べる”と、図２の「博多ラーメン」が格要素となりうる述語（“食べる”、“作る”、“売る”）とを照合し、一致する述語“食べる”を補完する。これにより、ユーザの発話は「博多ラーメンを食べた」と推定される。

（対話例４）
本装置：「どこに行ったの？」
ユーザ：「博多に行って、屋台を巡った。」（名詞“屋台”が認識）
本装置：「いいね。」
ユーザ：「博多ラーメン（旨かったよ。）」（括弧の中は認識せず）

音声認識部１は「博多ラーメン」のみを認識し、「旨かったよ」を認識していない。この場合、意味解析部３は「博多ラーメン」に対応する述語を補完する必要がある。ここで、過去のユーザ発話の認識候補のうち、名詞“屋台”を格要素としてとりうる述語“食べる”、“行く”、“商う”の中から、名詞“博多ラーメン”が格要素となりうる述語“食べる”を補完する。これにより、ユーザの発話は「博多ラーメンを食べた」と推定される。なお、ある名詞（例えば“屋台”）が格要素となり得る述語候補を選択する方法としては、大量のテキストデータ（例えばウェブページのテキストデータ）から“屋台”に続く述語を検索して抽出すればよい。

以上のようにして、ユーザ発話が「博多ラーメンを食べた」と推定され、ステップＳ５へ進む。

一方で、意味解析部３は、ステップＳ４において、名詞及び述語が共に抽出されている、又は述語のみが抽出されている場合は、ステップＳ５の処理を行わず、ステップＳ６へ進む。

応答生成部４は、抽出された名詞及び述語を上述した応答テンプレートｓ１）〜ｓ４）のいずれかに当てはめることで、応答を生成する（ステップＳ５）。なお、応答生成部４は、複数の応答が生成可能な場合は、いずれか１つの応答をランダムに選択すればよい。また、応答生成部４は、ステップＳ４において「述語」のみが抽出されている場合は、ｓ２）〜ｓ４）のいずれかの応答テンプレートを用いて応答を生成すればよい。

そして、応答生成部４は、生成した応答に基づいて音声合成処理を行い（ステップＳ６）、音声を再生して（ステップＳ７）、再びステップＳ１に戻る。

以上のように、本発明の実施形態に係る音声対話装置は、ユーザの音声に名詞しか含まれていなかった場合、又は、ユーザの音声から名詞しか認識されなかった場合であっても、過去の本装置又はユーザの発話の中から、その名詞に対応する述語を補完することで、ユーザの発話の意味を推定できる。そして、上記音声対話装置は、その推定した意味に基づいて応答を生成するので、ユーザとの対話を円滑に行うことができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。例えば、図１に示す音声対話装置は、コンピュータに、図３に示す音声対話ルーチンを実行するプログラムをインストールすることにより実現してもよい。

１音声認識部
２認識履歴格納部
３意味解析部
４応答生成部
５応答履歴格納部

Claims

入力された音声を認識して認識候補を生成する音声認識手段と、
名詞と当該名詞を格要素とする１つ以上の述語との対応関係を定義した辞書データを記憶する辞書記憶手段と、
前記音声認識手段により生成された音声の認識候補が名詞のみである場合に、前記辞書記憶手段に記憶された辞書データに基づいて、前記認識候補である名詞に対応する述語を補完する述語補完手段と、
前記音声認識手段により生成された認識候補である名詞と、前記述語補完手段により補完された述語と、名詞及び述語を用いた応答テンプレートと、に基づいて応答を生成し、又は、前記述語補完手段により補完された述語と、述語を用いた応答テンプレートと、に基づいて応答を生成する応答生成手段と、
前記応答生成手段により生成された応答を記憶する応答記憶手段と、
を備えた音声対話装置であって、
前記述語補完手段は、前記辞書記憶手段に記憶された辞書データに基づいて、前記応答記憶手段に記憶されている過去に生成された応答に含まれる述語と、前記認識候補である名詞を格要素とする述語とを照合し、一致した述語を、前記認識候補である名詞に対応する述語として補完する
音声対話装置。
前記音声認識手段により生成された音声の認識候補を記憶する音声認識記憶手段を更に備え、
前記音声認識手段は、音声の認識候補の信頼度を更に生成し、
前記音声認識記憶手段は、認識候補の信頼度を更に記憶し、
前記述語補完手段は、前記辞書記憶手段に記憶された辞書データに基づいて、前記音声認識記憶手段に記憶されている過去に生成された認識候補のうち信頼度が所定値より高い認識候補である述語と、前記認識候補である名詞を格要素とする述語とを照合し、一致した述語を、前記認識候補である名詞に対応する述語として補完する
請求項１記載の音声対話装置。
前記述語補完手段は、前記音声認識記憶手段に記憶されている過去に生成された前記認識候補のうち信頼度が所定値より高い認識候補である述語の中から前記認識候補である名詞に対応する述語を補完できない場合、前記辞書記憶手段に記憶された辞書データに基づいて、前記音声認識記憶手段に記憶されている過去に生成された前記認識候補のうち信頼度が所定値より低い認識候補である述語と、前記認識候補である名詞を格要素とする述語とを照合し、一致した述語を前記認識候補である名詞に対応する述語として補完する
請求項２に記載の音声対話装置。
前記述語補完手段は、前記音声認識記憶手段に記憶されている認識候補が名詞の場合、前記辞書記憶手段に記憶されている辞書データに基づいて、前記音声認識記憶手段に記憶されている過去に生成された認識候補である名詞を格要素としてとりうる述語と、前記認識された認識候補である名詞を格要素としてとりうる述語とを照合し、一致した述語を、前記認識候補である名詞に対応する述語として補完する
請求項２または請求項３に記載の音声対話装置。
コンピュータを、
入力された音声を認識して認識候補を生成する音声認識手段と、
名詞と当該名詞を格要素とする１つ以上の述語との対応関係を定義した辞書データを記憶する辞書記憶手段を用いて、前記音声認識手段により認識された音声の認識候補が名詞のみである場合に、前記辞書記憶手段に記憶された辞書データに基づいて、前記認識された名詞に対応する述語を補完する述語補完手段と、
前記音声認識手段により生成された認識候補である名詞と、前記述語補完手段により補完された述語と、名詞及び述語を用いた応答テンプレートと、に基づいて応答を生成し、又は、前記述語補完手段により補完された述語と、述語を用いた応答テンプレートと、に基づいて応答を生成する応答生成手段と、
して機能させるための音声対話プログラムであって、
前記応答生成手段により生成された応答を記憶する応答記憶手段を用いて、前記述語補完手段により前記辞書記憶手段に記憶された辞書データに基づいて、前記応答記憶手段に記憶されている過去に生成された応答に含まれる述語と、前記認識候補である名詞を格要素とする述語とを照合し、一致した述語を、前記認識候補である名詞に対応する述語として補完させるための音声対話プログラム。