JP6526496B2 - 音声制御装置 - Google Patents

Description

本発明は、音声出力部と音声入力部を備えた対話装置等の音声制御装置に関するものである。

従来、情報端末機器や、カーナビ、対話ロボット等の対話を行う対話装置では、対話装置が発話した合成音声とユーザが発話した外部音声が重畳されることがある。このため、対話装置は、ユーザの発話内容を誤認識しないように、マイクに入力される外部音声から対話装置の合成音声を演算により差し引く「エコーキャンセル」処理を行って、外部音声だけを取得する場合がある。しかし、エコーキャンセル処理の回路を実装するとコストの増加を招くため、低価格の対話装置には採用が難しかった。

一方、ユーザの発話内容の誤認識を避けるため、対話装置の発話中はマイクの機能を停止することで、単に合成音声の入力自体を遮断する場合もある。しかし、ユーザが発話する都度、マイクのスイッチを入れなければならず、手を使わずに操作できる音声入力の利便性を阻害することになる。また、マイクのスイッチを入れるタイミングが少しでも遅れると、ユーザの即座の発話に対して、発話内容の最初の部分を取りこぼすことがある。

そこで、特許文献１の音声認識装置は、発話内容の音声認識の頭切れを防止するため、図５に示すように、対話装置の台詞（ＳＰ）が終了する少し手前（Ｘ−Ｄ）から、外部音声（ＲＣ）の認識を開始するように制御している。特許文献１の音声認識装置によれば、対話装置の台詞が終了する前に外部音声の認識が開始されるため、音声認識の頭切れが防止され、テンポのよい会話を実現することができる。

特開２００７−１５５９８６号公報

しかしながら、ユーザが聴感上で対話装置の台詞が終了した感じるタイミングが台詞の内容により異なるため、実際にはユーザが対話装置の台詞に対して様々なタイミングで応答している。このため、特許文献１の音声認識装置では、対話装置の台詞に対して音声認識の開始が早過ぎたり遅過ぎたりする場合があり、対話装置の台詞によって外部音声を正確に認識できない問題があった。

本発明は上記の課題に鑑みてなされたものであり、その目的は、対話装置の台詞に応じて適切なタイミングで外部音声を認識することができ、対話装置の認識率を向上できる音声制御装置を提供することである。

本発明は、合成音声を出力する音声出力部と外部音声を入力する音声入力部を備えた対話装置の音声制御装置であって、合成音声の音声信号を解析して合成音声の出力終了時刻を求める音声信号解析部と、出力終了時刻から所定時間前までの音声信号を所定閾値と比較して合成音声の発話終了時刻を判定する発話終了判定部と、合成音声を出力中に発話終了時刻から音声入力部を有効化させる制御部とを備えることを特徴とする。

また、本発明の音声制御装置において、音声信号は、合成音声を生成するための音声データであることを特徴とする。

また、本発明の音声制御装置において、制御部は、発話終了時刻から出力終了時刻の間に、音声入力部の入力感度を低感度から通常感度に上げることを特徴とする。

また、本発明の音声制御装置において、制御部は、発話終了時刻から出力終了時刻の間に、音声出力部の出力をフェードアウトさせることを特徴とする。

本発明によれば、対話装置の台詞に応じて適切なタイミングで外部音声を認識することができ、対話装置の認識率を向上できる音声制御装置を提供することができる。

本発明の音声制御装置の概略構成図である。 対話装置が発話する音声信号の波形を示す図である。 各種の発話内容に対応した音声信号を比較した図である。 音声制御装置の制御方法を示すフロー図である。 従来の音声認識装置の制御方法を示す模式図である。

（実施形態１）
本実施形態では、本発明の音声制御装置を音声出力機能および音声入力機能を有する対話装置に搭載した構成について説明する。図１は、本発明の実施形態に係る音声制御装置１０と対話装置１００の概略構成図である。

対話装置１００は、音声制御装置１０、発話司令部２０、音声出力部３０、音声入力部４０、音声認識部５０を搭載している。

発話司令部２０は、対話装置１００が発話する内容を決定する。音声信号生成部２１は、発話司令部２０によって指示された発話内容となるように、データベースやストレージなどから録音された音声データを読み込んだり、音声合成技術を用いて動的に音声データを生成する。

音声信号出力部２２は、音声信号生成部２１が生成した音声データをアナログ信号などに変換して音声出力部３０に出力する。音声出力部３０は、音声信号出力部２２が出力したアナログ信号を物理現象としての音波に変換するスピーカ等である。

音声制御装置１０は、音声信号解析部１１、発話終了判定部１２、制御部１３を有する。

音声信号解析部１１は、音声信号生成部２１より音声信号を取得し、合成音声が音声出力部３０から出力される音声出力時間を算出する。これは、音声信号の周波数とデータ長（サイズ）等から計算することができる。例えば、音声信号の周波数が16KHzで16,000個のデータ長であれば合成音声の出力時間は１秒であり、出力開始から１秒後に出力終了することが判る。

発話終了判定部１２は、音声信号解析部１１で算出した合成音声の出力終了時刻から所定時間前までの音声信号を用いて、対話装置の発話の内容に応じてユーザが聴感上で感じる発話終了時刻を判定する。

制御部１３は、発話終了判定部１２で判定した発話終了時刻を用いて音声出力部３０や音声入力部４０を制御する。

音声入力部４０は、ユーザの発話等の外部音声を入力するためのマイク等で構成されている。マイクから入力された外部音声は音声認識部５０で音声認識され、ユーザの応答が発話司令部２０に送られる。

図２は、対話装置１００が発話する音声信号の一例である。図２に示すように、音声出力部３０から合成音声が出力開始されてから出力終了するまでを音声出力時間とすると、ユーザが感じる聴感上の発話時間は、対話装置１００の音声出力時間よりも短くなり、ユーザは合成音声の出力終了よりも早く発話終了したと感じている。

この発話終了時刻は、音声信号の強度を所定の閾値と比較して判定することができる。例えば、音声信号生成部２１から取得した音声データから、予め設定したデータ長を末尾から取り出し、その区間内の音声データで最初に予め設定した閾値を下回る音声データの時刻を聴感上の発話終了時刻と判定している。

図３は、対話装置１００が発話する各種の発話内容に対して音声データの信号波形を比較した図であり、ユーザが感じる聴感上の発話終了時刻が発話内容により異なることを示している。

図３に示すように、例えば、「こんにちは」という発話内容の場合、ユーザが感じる発話終了時刻は音声データの出力終了時刻よりも10msec直前の時刻となる。同様に、「いただきます」という発話内容の場合、発話終了時刻は100msec直前の時刻となる。また、「ありがとう」では発話終了時刻が40msec直前の時刻であり、「ありがとうございます」になると発話終了時刻が150msec直前の時刻となる。

上記のように、対話装置１００の発話内容によって、ユーザが感じる発話終了時刻が異なるため、従来のように対話装置１００の発話出力終了の一定時間前に音声認識を開始する方法では、音声認識がユーザの実際に応答するタイミングと合わず、対話装置との対話おいてユーザに不自然さを感じさせてしまうことになる。

そこで、本発明の音声制御装置１０は、対話装置の発話に対してユーザが感じる発話終了時刻を発話終了判定部１２で判定し、発話終了時刻に対応して制御部１３で音声入力部４０を制御することにより、ユーザが実際に応答するタイミングで音声認識できるようにしている。

図４は、本発明の音声制御装置１０による音声入力部４０の制御方法について説明するためのフロー図である。

対話装置１００が発話処理を開始（Ｓ１０）すると、最初に発話司令部２０が対話装置１００の音声入力部４０を無効化し（Ｓ２０）、対話装置１００が自身の発話を拾って音声認識することがないようにする。

続いて、発話司令部２０は、対話装置１００が発話する内容を決定し、音声信号生成部２１に音声信号を生成することを指示する。

音声信号生成部２１は、発話司令部２０によって指示された発話内容となるように、データベースやストレージなどから録音された音声データを読み込んだり、あるいは音声合成技術を用いて動的に音声データを生成する。

本発明の音声制御装置１０は、音声信号生成部２１から音声信号を取得し（Ｓ３０）、音声信号を音声信号解析部１１に送る。音声信号解析部１１は、音声信号から音声データ等を解析して出力終了時刻を算出する。

発話終了判定部１２は、音声データのうち予め設定したデータ長を末尾から取り出し、その区間内の音声データで最初に予め設定した閾値を下回るデータのある位置をユーザが感じる聴感上の発話終了時刻と判定する（Ｓ４０）。

対話装置１００では、音声データを音声信号出力部２２でアナログ信号に変換し、音声出力部３０から合成音声が発話される（Ｓ５０）。

音声制御装置１０は、対話装置１００が発話を開始し、発話終了時刻になると（Ｓ６０）、制御部１３で音声入力部４０を有効化し（Ｓ７０）、対話装置１００が音声認識を行えるようにする。

本発明の音声制御装置１０によれば、実際の発話が終了する少しの時間前、望ましくは0.1〜0.5秒程度前に音声入力部４０が有効化されるため、ユーザの即答に対して音声認識の開始が遅れ、最初の発言部分が欠落することが防止される。

また、本発明の音声制御装置１０によれば、ユーザが対話装置の発話が終了したと感じるタイミングで音声入力が有効となるため、ユーザが対話装置に対して自然な感覚で応答することができる。

なお、対話装置１００の発話の最後の部分の音声がわずかに音声入力部４０から入力されるが、音声の信号強度が十分小さくなっていることと、入力されるのがほんのわずかな時間となるため、ユーザの音声認識への影響を軽減させることができる。

（実施形態２）
実施形態１に示した音声制御装置では、発話終了時刻に直ちに音声入力部４０を有効化するものであったが、実施例２の音声制御装置は、発話終了時刻から出力終了時刻の間に、対話装置１００の音声入力部４０の感度を徐々に変更することを特徴としている。

実施例２の音声制御装置は、制御部１３によって音声入力部４０を発話終了時刻にまず低感度で有効化し、0.1〜1.0秒間程度の時間をかけて音声入力部４０を徐々に所定の感度に上げていくように制御している。

実施例２の音声制御装置によれば、対話装置１００の発話の最後の部分では音声入力部４０が低感度になっているため、音声入力部４０から音声がわずかに入力されてしまう現象が軽減され、音声認識に及ぼす影響を更に軽減することができる。

（実施形態３）
実施形態１に示した音声制御装置では、合成音声を生成するための音声データを用いて発話終了時刻を判定するものであったが、実施形態３の音声制御装置は、音声出力部３０から実際に発話される合成音声を音声入力部４０に入力し、その音声入力信号の値に基づいてユーザが感じる聴感上の発話終了時刻を判定することを特徴としている。

実施形態３の音声制御装置は、実施形態１と同様に出力終了時刻を算出した後、そこから0.1〜0.5さかのぼった時刻から音声入力部４０を有効化し、音声出力部３０から実際に発話される合成音声の信号強度を監視し、あらかじめ設定した閾値を下回ればその時点を持って発話終了時刻と判定する。

実施形態３の音声制御装置は、合成音声の入力信号から求めた発話終了時刻に対応して、音声認識部５０の無効化・有効化を制御する。

実施例３の音声制御装置によれば、実際に発話される合成音声の信号強度から発話終了時刻を判定しているため、回路の遅延により実際の音声の出力されるタイミングのずれや、その場の音の反響により聴感上のずれが生じる場合にも正しく聴感上の発話終了を判定することができる。

（実施形態４）
実施形態４の音声制御装置は、音声出力部３０が出力する合成音声を発話終了時刻からフェードアウトさせることを特徴としている。

実施形態４の音声制御装置によれば、発話終了時刻の以降、対話装置１００の合成音声がノイズとして入力されることが低減され、ユーザの応答が明確になるため、音声認識部５０の音声認識率を向上することができる。

本発明によれば、音声認識機能と、音声により応答する機能を有する機器で、自身の音声信号がマイクに入力されることを回避できない低コストの製品において利用が可能である。自身のマイクを自身の発話に応じて適宜有効化、無効化を行う機器においては有効化するタイミングがユーザの感覚にマッチした適切なタイミングにできることから認識率の向上に寄与する。

１０ 音声制御装置
１１ 音声信号解析部
１２ 発話終了判定部
１３ 制御部
２０ 発話司令部
２１ 音声信号生成部
２２ 音声信号出力部
３０ 音声出力部
４０ 音声入力部
５０ 音声認識部
１００ 対話装置

Claims (4)

1. 合成音声を出力する音声出力部と外部音声を入力する音声入力部を備えた対話装置の音声制御装置であって、
   前記合成音声の音声信号を解析して前記合成音声の出力終了時刻を求める音声信号解析部と、
   前記出力終了時刻から所定時間前までの前記音声信号を所定閾値と比較して前記合成音声の発話終了時刻を判定する発話終了判定部と、
   前記合成音声を出力中に前記発話終了時刻から前記音声入力部を有効化させる制御部と
   を備えることを特徴とする音声制御装置。
2. 前記音声信号は、前記合成音声を生成するための音声データであることを特徴とする請求項１に記載の音声制御装置。
3. 前記制御部は、前記発話終了時刻から前記出力終了時刻の間に、前記音声入力部の入力感度を低感度から通常感度に上げることを特徴とする請求項１に記載の音声制御装置。
4. 前記制御部は、前記発話終了時刻から前記出力終了時刻の間に、前記音声出力部の出力をフェードアウトさせることを特徴とする請求項１に記載の音声制御装置。

Images