JP5322208B2

JP5322208B2 - 音声認識装置及びその方法

Info

Publication number: JP5322208B2
Application number: JP2008170047A
Authority: JP
Inventors: 武秀屋野; 皇天田; 和範井本; 幸一山本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-06-30
Filing date: 2008-06-30
Publication date: 2013-10-23
Anticipated expiration: 2028-06-30
Also published as: US20090326944A1; US8364484B2; JP2010008854A

Description

本発明は、音声認識装置に係わり、特にユーザに音声入力を促す報知音を出力する音声認識装置及びその方法に関する。

音声認識処理を用いてユーザの音声入力によって機器を操作する音声認識装置においては、ユーザに音声入力が可能な状態であることや、ユーザに音声入力を促すことを目的として報知音を出力するものがあった（特許文献１参照）。
特許第３６５４０４５号公報

しかしながら、従来の音声認識装置では、報知音を出力する前にユーザが音声入力を開始していても、発声途中で報知音が出力されてしまう。

このようにユーザが発声している途中に報知音が出力されると、ユーザは報知音に戸惑い、発声が淀んでしまったり、発声を中断してしまったりする場合がある。

その結果として、音声認識処理に適さない音声入力がなされ、誤認識してしまい、それにより誤動作が生じるためにユーザの満足度を下げてしまう。または、発声中の報知音が音声信号と混在させると音声認識に影響を与え、誤認識の原因となる。

すなわち、従来の音声認識装置では、報知音を出力する前にユーザが音声入力を開始していても、発声途中で報知音が出力されることにより、誤動作が生じるためにユーザの満足度を下げてしまうという問題点があった。

そこで本発明は、上記従来技術の問題点を解決するためになされたものであって、ユーザの発声を妨げない報知音の発生が可能な音声認識装置及びその方法を提供することを目的とする。

本発明は、ユーザの音声を入力する入力部と、入力された前記音声を音声入力待機状態開始後に抽出する音声抽出部と、抽出した前記音声を認識する音声認識部と、前記音声入力待機状態開始時から予め設定した出力設定時間後に、前記ユーザに対し前記音声の入力を促す報知音を出力する出力部と、前記音声入力待機状態の開始時からの経過時間を計時する計時部と、（１）前記出力設定時間までに前記音声の入力がないときは、前記音声の入力を促すために、前記報知音を出力するように前記出力部を制御し、（２）前記出力設定時間前に前記音声の入力があったときは、前記音声入力の妨げにならないようにするために、前記報知音の出力の停止、前記報知音の音量を基準音量より低下、前記報知音の周波数を基準周波数から変更、または、前記報知音の出力時間長を基準出力時間長より短くするように前記出力部を制御する制御部と、を有し、前記制御部は、今回の音声認識における前記音声入力の入力時の前記経過時間Ｔｓに基づいて次回の音声認識における前記報知音の出力の有無、音量、周波数、または、出力時間長のパラメータを決定して記憶部に記憶させ、前記次回の音声認識における前記報知音の前記パラメータを前記記憶部から呼び出して、前記呼び出したパラメータに基づいて前記報知音を前記出力部で出力するように制御する、音声認識装置である。
また、本発明は、ユーザの音声を入力する入力部と、入力された前記音声を音声入力待機状態開始後に抽出する音声抽出部と、抽出した前記音声を認識する音声認識部と、前記音声入力待機状態開始時から予め設定した出力設定時間後に、前記ユーザに対し前記音声の入力を促す報知音を出力する出力部と、前記音声入力待機状態の開始時からの経過時間を計時する計時部と、（１）前記出力設定時間までに前記音声の入力がないときは、前記音声の入力を促すために、前記報知音を出力するように前記出力部を制御し、（２）前記出力設定時間前に前記音声の入力があったときは、前記音声入力の妨げにならないようにするために、前記報知音の出力の停止、前記報知音の音量を基準音量より低下、前記報知音の周波数を基準周波数から変更、または、前記報知音の出力時間長を基準出力時間長より短くするように前記出力部を制御する制御部と、を有し、前記制御部は、今回の音声認識における前記検出時の前記経過時間が短いほど、次回の音声認識における前記出力設定時間を短くする、音声認識装置である。

本発明によれば、音声入力を検出するタイミングに基づき報知音を抑制することにより、ユーザの発声を妨げない動作が可能となる。

以下、本発明の一実施形態の音声認識装置について図面に基づいて説明する。

（第１の実施形態）
本発明の第１の実施形態に係わる音声認識装置について図１と図２に基づいて説明する。

図１は、本実施形態に係わる音声認識装置を示すブロック図である。

この音声認識装置は、マイクから入力される入力信号からユーザの音声を抽出する音声抽出部１０１と、ユーザの音声を認識し音声認識結果を出力する音声認識部１０２と、音声認識結果に応じて音声認識装置を制御する制御部１０３と、報知音を出力する時刻を通知する計時部１０４と、制御部１０３からの出力をユーザに提示するスピーカなどの出力部１０５とを備えている。

なお、音声認識装置の各部１０１、１０２、１０３、１０４の機能は、コンピュータに伝達または格納されたプログラムによって実現してもよい。

音声抽出部１０１は、制御部１０３から音声入力待機状態開始の通知をうけて、すなわち、待機開始信号が入力して音声入力待機状態を開始する。音声抽出の処理方法は既存の方法が利用できる。音声入力待機状態中にユーザからの音声入力の開始を検出した時には、制御部１０３に音声入力開始のイベントを通知する。また、ユーザの音声入力開始から音声入力終了までの期間の音声信号を音声認識部１０２に出力する。なお、音声入力待機状態は制御部１０３からの通知が無くとも開始しても良い。制御部１０３が抽出処理開始の通知をしていない状況での音声入力開始のイベントが通知された時は、制御部１０３はそのイベントが無効であると判断する。

音声認識部１０２は、音声抽出部１０１から出力される音声入力信号を音声認識処理し、音声認識結果を制御部１０３に出力する。音声認識の処理方法は既存の方法が利用できる。

制御部１０３は、音声抽出部１０１に音声入力待機状態開始を示す待機開始信号を出力すると共に計時部１０４に経過時間Ｔｓの計時を依頼する。計時部１０４から音声入力待機状態開始からの経過時間Ｔｓが出力設定時間Ｔ１を経過したことを通知されると、ユーザに入力を促す報知音を出力部１０５から出力する。但し、経過時間Ｔｓが出力設定時間Ｔ１を経過する前に音声抽出部１０１から音声入力開始イベントが通知されると、出力設定時間Ｔ１を経過しても報知音を出力しないように動作する。

制御部１０３が音声抽出部１０１に音声入力待機状態開始を通知するタイミングは、例えばユーザが音声入力開始を通知するボタンが押された時や、ユーザに対して出力している応答が終了する時、等が挙げられる。または、これらのタイミングから所定の時間移動したタイミングでも良い。

計時部１０４は、制御部１０３から音声入力待機状態開始を始めたことを示す待機開始信号を受けると経過時間Ｔｓの計時を開始し、この経過時間Ｔｓが出力設定時間Ｔ１を経過した時に、制御部１０３に出力設定時間Ｔ１が経過したことを通知する。

出力部１０５は、制御部１０３から報知音出力の通知を受けると報知音を出力する。

次に、図１及び図２を用いて、本実施形態に係わる音声認識装置の動作について説明する。なお、図２は、音声認識装置の動作を示すフローチャートである。

まず、制御部１０３は、音声入力待機状態の開始を示す待機開始信号を音声抽出部１０１に出力すると共に、計時部１０４に経過時間Ｔｓの計時の開始を依頼する（ステップＳ１０１）。

音声抽出部１０１がユーザの音声を検出すれば（ステップＳ１０２のＹｅｓ）、音声抽出部１０１は制御部１０３に音声入力開始イベントを通知し、音声認識部１０２は音声認識処理を開始する（ステップＳ１０５）。この場合に報知音は出力されない。

音声抽出部１０１がユーザの音声を検出しない状態で（ステップＳ１０２のＮｏ）、計時部１０４から制御部１０３に対し、経過時間Ｔｓが出力設定時間Ｔ１を経過したことを通知されると（ステップＳ１０３のＹｅｓ）、制御部１０３は出力部１０５を利用して報知音を出力する（ステップＳ１０４）。

その後に音声抽出部１０１がユーザからの音声を検出すれば（ステップＳ１０２のＹｅｓ）、音声認識部１０２は音声認識処理を行う（ステップＳ１０５）。

このように本実施形態では、ユーザの音声入力開始が検出され、音声認識処理を開始すると報知音を出力しないように制御することで、ユーザの音声入力中に報知音を出力せず、ユーザの音声入力を妨げない。

（変更例）
（１）変更例１
本実施形態においては、音声抽出部１０１が音声入力待機状態を開始した後に報知音を出力することよって、音声抽出部１０１がこの報知音が音声入力開始と誤って判定する可能性がある。この誤動作を防止するために次のような動作の変更例も考えられる。

音声抽出部１０１が、音声抽出部１０１に入力された信号をフーリエ変換等で周波数分析し、入力信号が報知音と類似するものであれば音声入力開始と判断しないようにする。

この判断処理のときには、音声抽出部１０１は、出力部１０５から出力する報知音のパラメータを参照する。

また、報知音を出力する時刻の情報を制御部１０３から音声抽出部１０１が取得すれば、より厳密に入力された信号が報知音であることを認識することが可能となる。

（２）変更例２
報知音の出力が長く続く場合、報知音の出力中にユーザの音声入力を検出することもある。このような場合には、報知音の出力を中断しても良い。

（３）変更例３
本実施形態ではユーザに対して入力を促す方法として報知音のみを採用しているが、報知音に加えて、その他の報知信号を利用してもよい。

例えば、光やディスプレイ等で視覚的に入力を促したり、機器の振動等によって触覚的に入力を促したりする方法を報知信号として利用する。

これらの報知信号を利用する場合でも、出力設定時間Ｔ１の前に音声入力を検出すると報知信号の出力を取りやめれば、ユーザの音声入力を妨げない。

（第２の実施形態）
次に、本発明の第２の実施形態の音声認識装置について図３及び図４に基づいて説明する。第２の実施形態では、ユーザの音声入力タイミングに基づいて、報知音を修正する。

本実施形態の音声認識装置の構成図を図３に示す。なお、図３において第１の実施形態と共通のものには図１と同じ参照符号を記載している。本実施形態では報知音修正部２０６が追加されたことと、それに伴い制御部１０３と計時部１０４の動作が異なる。以下、音声認識装置について説明する。

制御部１０３は、音声入力待機状態開始から出力設定時間Ｔ１が経過するまでに音声抽出部１０１から音声入力開始が通知されると、計時部１０４から音声入力待機状態開始から音声入力の開始までの経過時間Ｔｓを取得し、経過時間Ｔｓに基づく報知音の修正を報知音修正部２０６に依頼する。また、制御部１０３は、音声抽出部１０１から音声入力開始イベントが通知された後に計時部１０４より音声入力待機状態開始から出力設定時間Ｔ１が経過したことが通知されると、報知音修正部２０６によって修正された報知音を出力する。

計時部１０４は、音声入力待機状態開始から音声入力開始イベントまでの経過時間Ｔｓを計時し、制御部１０３に出力する。また、音声入力待機状態開始からの出力設定時間Ｔ１が音声入力待機状態開始から経過したことを制御部１０３に出力する。

報知音修正部２０６は、音声入力待機状態開始から音声入力開始イベントまでの経過時間Ｔｓに基づいて報知音を修正する。報知音修正部２０６は、経過時間Ｔｓが短くなるに従い、ユーザの発声を妨げないように報知音のパラメータを大きく修正する。経過時間Ｔｓが出力設定時間Ｔ１より大きくなった場合は既に報知音が出力された後なのでパラメータの修正を行わない。

報知音のパラメータとして音量、出力時間長、周波数がある。修正するパラメータはこれらの中から一つを選択しても、複数を同時に修正しても良い。

以下、報知音修正部２０６における修正方法について述べる。

第１の修正方法について説明する。

ユーザが音声入力待機状態開始直後に音声入力を開始するようであれば、音声入力を促す報知音の必要性は小さい。

したがって、報知音修正部２０６は経過時間Ｔｓが小さくなるに従い、報知音の音量を小さくするようにパラメータを修正する。音量は振幅値や対数パワーなどで指定することができ、例えば次の（１）式で音量Ｖｏｌｕｍｅを制御する。

Ｖｏｌｕｍｅ＝Ｖ＊Ｔｓ／Ｔ１・・・（１）

但し、Ｖは基準音量を表す正の定数である。

第２の修正方法について説明する。

したがって、報知音修正部２０６は経過時間Ｔｓが小さくなるに従い、報知音の出力時間長を短くするようにパラメータを修正する。例えば次の（２）式で出力時間長Ｄｕｒａｔｉｏｎを制御する。

Ｄｕｒａｔｉｏｎ＝Ｄ＊Ｔｓ／Ｔ１・・・（２）

但し、Ｄは基準出力時間長を表す正の定数である。

第３の修正方法について説明する。

したがって、報知音修正部２０６は経過時間Ｔｓが小さくなるに従い、報知音の周波数を非可聴域に近づけるように修正する。この処理における近づけるシフト量Ｓｈｉｆｔは例えば次の（３）式で制御する。

Ｓｈｉｆｔ＝Ｓ＊ｃ＊（Ｔ１−Ｔｓ）（但し、Ｔ１＞Ｔｓである）
＝０（但し、Ｔ１＜＝Ｔｓである）

・・・（３）

但し、Ｓは基準周波数からの移動量を表す正の定数、ｃは修正の度合いを示す正の定数である。

以上の（１）〜（３）式のパラメータは、経過時間Ｔｓの大きさに対して単調に変化するものであれば良く、例えば経過時間Ｔｓがある閾値よりも小さくなったときに大きく変化するステップ関数のようなものを用いても良い。

次に、図３及び図４を用いて、本実施形態に係わる音声認識装置の動作について説明する。なお、図４は、音声認識装置の動作を示すフローチャートである。なお、図４においても第１の実施形態と共有できるステップにおいては図２と同じステップ番号を記載している。

そして、音声抽出部１０１が、ユーザの音声を検出しない状態で（ステップＳ１０２のＮｏ）、計時部１０４から制御部１０３に対し、経過時間Ｔｓが出力設定時間Ｔ１を経過したことを通知されると（ステップＳ１０３のＹｅｓ）、制御部１０３は出力部１０５を利用して報知音を出力する（ステップＳ１０４）。

一方、音声抽出部１０１が、ユーザの音声を検出すれば（ステップＳ１０２のＹｅｓ）、音声抽出部１０１は制御部１０３に音声入力開始イベントを通知する。

次に、制御部１０３は、計時部１０４から経過時間Ｔｓを取得し（ステップＳ２１１）、報知音修正部２０６は制御部１０３から得た経過時間Ｔｓに基づいて報知音の修正を行う（ステップＳ２０６）。この修正方法は上記の通りである。

次に、音声認識部１０２は音声抽出部１０１から入力される音声信号に対して音声認識処理を開始する（ステップＳ２０７）。

次に、音声認識部１０２は、音声認識処理を開始後に、音声抽出開始からの出力設定時間Ｔ１が経過した場合（ステップＳ２０８のＹｅｓ）にも、制御部１０３は出力部１０５を介してユーザに対して報知音を出力する（ステップＳ２０９）。ここで出力される報知音は、報知音制御部２０６によって修正された報知音であるので、ユーザの入力を妨げにくい。

最後に、音声認識部１０２による音声認識処理が終了すると（ステップＳ２１０のＹｅｓ）、制御部１０３は音声認識結果を得る（Ｅｎｄ）。

このように本実施形態では、ユーザの音声入力開始が検出されると、音声入力開始のタイミングに基づき報知音を修正する。報知音は音声入力開始の検出が早ければユーザの音声入力を妨げないように修正される。

（変更例）
（１）変更例１
報知音の一形態として、発話ボタンを押してから「入力して下さい」といった文章を出力するものもある。このような形態において、報知音の出力時間長を短くすることを目的として文章を「どうぞ」や「はい」といった短いものに変更してもよい。

（２）変更例２
本実施形態ではユーザに対して入力を促す方法として報知音を採用しているが、報知音に加えてその他の報知信号を採用してもよい。

例えば、光やディスプレイ等で視覚的に入力を促したり、機器の振動等によって触覚的に入力を促したりする方法も考えられる。これらの方法であっても報知信号のパラメータを次のように修正すれば良い。

視覚的なフィードバックについては、経過時間Ｔｓの短さに応じて出力の強度を弱めたり、表示時間を縮めたり、不可視領域の周波数へと修正を加えていくことでユーザの発声を妨げないように報知信号を抑制することが可能となる。

特に、出力の強度を弱める方法としては、出力する光の強さを弱めたり、光の方向をユーザとは違う方向に変更したりすることや、ディスプレイを利用する場合は表示領域を小さくしたり、背景色に近い色合いを選択したりすることで、ユーザの音声入力を妨げない報知信号を出力することが可能となる。

触覚的なフィードバックについては、経過時間Ｔｓの短さに応じて振動の強さを弱めたり、振動時間を縮めたり、振動の周波数を小さくしたりすることで、ユーザの発声を妨げないように報知信号を抑制することが可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態の音声認識装置について図５と図６に基づいて説明する。第３の実施形態ではユーザの音声入力タイミングに基づいて、次回の入力時に報知音を出力するかどうかを決定する。

本実施形態の音声認識装置の構成図を図５に示す。なお、図５において第１の実施形態と共通のものには図１と同じ参照符号を記載している。

本実施形態では第１の実施形態に対して報知音パラメータ記憶部３０７が追加されたことと、それに伴い制御部１０３の動作が修正されている。

以下、音声認識装置について詳細に説明する。

制御部１０３は、今回の音声入力待機状態開始からの出力設定時間Ｔ１までに、音声抽出部１０１から音声入力開始イベントが通知されると、次回の報知音出力を行わないと決定し、そうでなければ次回の報知音出力を行うと決定する。次回に報知音を出力するかどうかのフラグ情報は報知音パラメータ記憶部３０７に記憶させる。制御部１０３は、経過時間Ｔｓが出力設定時間Ｔ１を経過したときに、報知音パラメータ記憶部３０７にあるフラグ情報を参照して報知音を出力するかどうかを決定する。

報知音パラメータ記憶部３０７は、報知音を出力するか否かを表すフラグ情報を記憶する。

なお、制御部１０３は、音声入力待機状態開始後から音声入力を検出するまでの経過時間Ｔｓに基づいて報知音の出力を決定しても良い。この場合は経過時間Ｔｓが所定の時間より小さければ次回の報知音を出力しないと決定する。

また、制御部１０３は、音声抽出開始から音声入力を検出するまでの経過時間Ｔｓの履歴に基づいて報知音の出力を決定しても良い。

報知音の決定方法には、以下のような方法がある。

第１の決定方法について説明する。

最初から今回までの音声認識の全入力における経過時間Ｔｓを参照して決定する。例えば、今回までの全入力において経過時間Ｔｓが出力設定時間Ｔ１より小さかった回数が、経過時間Ｔｓが出力設定時間Ｔ１より大きかった回数より多ければ次回の報知音を出力しないと決定する。

また、最初から今回までの全入力における経過時間Ｔｓの平均値が所定の時間より小さければ次回の報知音を出力しないと決定する。

この第１の決定方法では、これまでの音声入力開始タイミングの傾向を重視した報知音の出力決定が可能となる。

また、これらの履歴をユーザ毎に記憶しておいてもよく、この場合はユーザの傾向に応じた出力決定が可能となる。

第２の決定方法について説明する。

今回の音声認識から所定回数ｎだけ遡った入力における経過時間Ｔｓを参照して決定する。例えば、今回の音声認識から所定回数ｎだけ遡った入力において経過時間Ｔｓが出力設定時間Ｔ１より小さかった回数ａが、経過時間Ｔｓが出力設定時間Ｔ１より大きかった回数ｂより多ければ次回の報知音を出力しないと決定する。

また、今回の音声認識から所定回数ｎだけ遡った入力における経過時間Ｔｓの平均値が所定の時間より小さければ次回の報知音を出力しないと決定する。

この第２の決定方法では、ユーザの音声入力開始タイミングの変動を考慮した報知音の出力決定ができる。

これらの履歴をユーザ毎に記憶しておいてもよく、この場合はユーザの傾向に応じた出力決定が可能となる。

次に、図５及び図６を用いて、本実施形態に係わる音声認識装置の動作について説明する。なお、図６は、音声認識装置の動作を示すフローチャートである。なお、図６においても第１の実施形態、第２の実施形態と共有できるステップにおいては図２、図４と同じステップ番号を記載している。

まず、制御部１０３は、今回の音声認識における音声入力待機状態の開始を示す待機開始信号を音声抽出部１０１に出力すると共に、計時部１０４に経過時間Ｔｓの計時の開始を依頼する（ステップＳ１０１）。

そして、音声抽出部１０１がユーザの音声を検出しない状態（ステップＳ１０２のＮｏ）で、計時部１０４から制御部１０３に対し、経過時間Ｔｓが出力設定時間Ｔ１を経過したことを通知されると（ステップＳ１０３のＹｅｓ）、制御部１０３は、前回までの情報で決定された報知音パラメータ記憶部３０７の情報を参照して報知音の出力の有無を決定し（ステップＳ３１２）、報知音を出力するとした場合（ステップＳ３１２のＹｅｓ）は出力部１０５を利用して報知音を出力する（ステップＳ１０４）。

一方、音声抽出部１０１がユーザの音声を検出すれば（ステップＳ１０２のＹｅｓ）、音声抽出部１０１は制御部１０３に音声入力開始イベントを通知する。

次に、制御部１０３は、計時部１０４から経過時間Ｔｓを取得する（ステップＳ２１１）。

次に、音声認識部１０２は、音声抽出部１０１から入力される音声信号に対して音声認識処理を開始する（ステップＳ２０７）。

次に、音声認識部１０２が今回の音声認識処理を開始後に、音声入力待機状態開始後からの経過時間Ｔｓが出力設定時間Ｔ１を経過した場合（ステップＳ２０８のＹｅｓ）にも、制御部１０３は、前回までの情報で決定された報知音パラメータ記憶部３０７の情報を参照して報知音の出力の有無を決定し（ステップＳ３１３）、報知音を出力するとした場合（ステップＳ３１３のＹｅｓ）は出力部１０５を介してユーザに対して報知音を出力する（ステップＳ２０９）。

最後に、音声認識部１０２による音声認識処理が終了すると（ステップＳ２１０のＹｅｓ）、制御部１０３はステップＳ２１１で取得していた経過時間Ｔｓを元に次回の報知音出力を行うかどうかの上記方法で判定を行い、判定結果を報知音パラメータ記憶部３０７に記憶させる（ステップＳ３１４）。この判定結果が次回の音声認識におけるステップＳ３１２とＳ３１３で利用される。

このように本実施形態では、ユーザの音声入力開始が検出されると、音声入力開始のタイミングに基づき次回の報知音を出力するかどうかを上記方法に基づいて決定する。音声入力開始のタイミングが早い傾向にあるユーザ、または、音声入力開始のタイミングが報知音出力と同時刻となりやすい傾向にあるユーザに対して音声入力を妨げないように報知音を制御することが可能となる。

（変更例）
（１）変更例１
制御部１０３においては、次回の報知音出力の決定を音声認識処理開始前に行っても、音声認識処理終了後に行っても良い。

音声認識処理終了後に報知音出力を決定する場合は、有効な音声認識結果（音声認識のスコアが一定値より高い結果）が得られたときのみ次回の報知音出力を決定することも可能である。

音声抽出部１０１が誤って音声入力を検出した場合、有効な音声認識結果ではなくなる可能性が高まる。有効な音声認識結果を得たときに限り報知音の抑制を行うことによって、音声抽出部１０１の誤動作の影響を軽減できる。

（２）変更例２
制御部１０３においては、報知音を出力していない状態で音声入力待機状態開始から所定の時間Ｔ２（Ｔ２＞Ｔ１）が経過したときにユーザに入力を促すための報知音を出力すると決定しても良い。

また、ユーザに報知音の出力を初期状態に戻させるような操作を許可しても良い。

なお、本実施形態ではユーザに対して入力を促す方法として報知音を採用しているが、報知音に加えてその他の報知信号を利用してもよい。

（第４の実施形態）
次に、本発明の第４の実施形態の音声認識装置について図７と図８に基づいて説明する。第４の実施形態ではユーザの音声入力タイミングに基づいて、次回の入力時に出力する報知音を修正する。

本実施形態の音声認識装置の構成図を図７に示す。なお、図７において第２、第３の実施形態と共通のものには図３、図５と同じ参照符号を記載をしている。

本実施形態では、第３の実施形態に対して報知音修正部２０６が追加されたことと、それに伴い制御部１０３と、計時部１０４の動作が修正されている。

以下、音声認識装置の詳細に説明する。

制御部１０３は、音声抽出部１０１から音声入力の開始が通知されると、計時部１０４から音声入力待機状態開始から音声入力の開始までの経過時間Ｔｓを取得し、経過時間Ｔｓに基づく報知音の修正を報知音修正部２０６に依頼する。報知音修正部２０６によって修正された報知音のパラメータは報知音パラメータ記憶部３０７に記憶させる。修正された報知音は次回以降の入力の際に出力される。また、制御部１０３は、計時部１０４より音声入力待機状態開始から出力設定時間Ｔ１が経過したことが通知されると、報知音パラメータ記憶部３０７に記憶されているパラメータの報知音を出力する。

報知音パラメータ記憶部３０７は、制御部１０３が出力すると決定した報知音のパラメータを記憶する。

報知音修正部２０６は、音声入力待機状態開始から音声入力開始イベントまでの経過時間Ｔｓに基づいて報知音を修正する。報知音修正部２０６は、経過時間Ｔｓが短くなるに従い、ユーザの発声を妨げないように報知音のパラメータを大きく修正する。報知音のパラメータとして、報知音を出力するまでの出力設定時間Ｔ１、音量、出力時間長、周波数がある。修正するパラメータはこれらの中から一つを選択しても、複数を同時に修正しても良い。報知音のパラメータ修正方法については後述する。

本実施形態では報知音を出力するまでの出力設定時間Ｔ１も修正される可能性がある。そのために報知音パラメータ記憶部３０７は修正された出力設定時間Ｔ１も記憶する。制御部１０３は報知音パラメータ記憶部３０７に記憶されている出力設定時間Ｔ１を参照し、計時部１０４に計時を依頼する。計時部１０４は修正された出力設定時間Ｔ１が経過したことを制御部１０３に通知する。

次に、報知音パラメータ修正部２０６におけるパラメータ修正方法について述べる。

第１の修正方法について説明する。

ユーザが報知音出力前に音声入力を開始するようであれば、次回以降は音声入力を促す報知音を出力するタイミングを早めれば、ユーザの発声前に報知音を出力することができ、ユーザの発声を妨げないようにすることができる。

したがって報知音修正部２０６は経過時間Ｔｓが小さくなるに従い、報知音を出力するタイミングを前にシフトするように出力設定時間Ｔ１を小さくする。例えば次の（４）式で出力設定時間Ｔ１を制御する。

Ｔ１＝Ｔｓ−ｔ・・・（４）

但し、ｔは正の定数である。

第２の修正方法について説明する。

ユーザが音声入力待機状態開始直後に音声入力を開始するようであれば、音声入力を促す報知音の必要性は小さい。したがって報知音修正部２０６は経過時間Ｔｓが小さくなるに従い、報知音の音量を小さくするようにパラメータを修正する。音量は振幅値や対数パワーなどで指定することができ、例えば次の（５）式で音量Ｖｏｌｕｍｅを制御する。

Ｖｏｌｕｍｅ＝Ｖ＊Ｔｓ／Ｔ１・・・（５）

但し、Ｖは基準音量を表す正の定数である。

第３の修正方法について説明する。

ユーザが音声入力待機状態開始直後に音声入力を開始するようであれば、音声入力を促す報知音の必要性は小さい。したがって報知音修正部２０６は経過時間Ｔｓが小さくなるに従い、報知音の出力時間長を短くするようにパラメータを修正する。例えば次の（６）式で出力時間長Ｄｕｒａｔｉｏｎを制御する。

Ｄｕｒａｔｉｏｎ＝Ｄ＊Ｔｓ／Ｔ１・・・（６）

但し、Ｄは基準出力時間長を表す正の定数である。

第４の修正方法について説明する。

ユーザが音声入力待機状態開始直後に音声入力を開始するようであれば、音声入力を促す報知音の必要性は小さい。したがって報知音修正部２０６は経過時間Ｔｓが小さくなるに従い、報知音の周波数を非可聴域に近づけるように修正する。この処理における近づけるシフト量Ｓｈｉｆｔは、例えば次の（７）式で制御する。

Ｓｈｉｈｔ＝Ｓ＊ｃ＊（Ｔ１−Ｔｓ）（但し、Ｔ１＞Ｔｓである）
＝０（但し、Ｔ１＜＝Ｔｓである）

・・・（７）

但し、Ｓは基準周波数からの移動量を表す正の定数、ｃは修正の度合いを示す正の定数である。

以上の（４）〜（７）式のパラメータは、経過時間Ｔｓの大きさに対して単調に変化するものであれば良く、例えば経過時間Ｔｓがある閾値よりも小さくなったときに大きく変化するステップ関数のようなものを用いても良い。

報知音修正部２０６においては、音声抽出開始から音声入力を検出するまでの経過時間Ｔｓの履歴に基づいて報知音の修正内容を決定しても良い。以下のような決定方法が考えられる。

現在までの全入力における経過時間Ｔｓを参照して報知音のパラメータを決定する。

例えば、全入力における経過時間Ｔｓの平均値を報知音のパラメータを修正する際の経過時間Ｔｓとして採用する。この決定方法では、これまでの音声入力開始タイミングの傾向を重視した報知音の出力決定が可能となる。これらの履歴をユーザ毎に記憶しておいてもよく、この場合はユーザの傾向に応じた出力決定が可能となる。

また、履歴に基づく修正方法としては、現在から所定回数遡った入力における経過時間Ｔｓを参照して報知音のパラメータを決定する。

例えば、現在から所定回数遡った入力における経過時間Ｔｓの平均値を報知音のパラメータを修正する際の経過時間Ｔｓとして採用する。この決定方法では、ユーザの音声入力開始タイミングの変動を考慮した報知音の出力決定ができる。これらの履歴をユーザ毎に記憶しておいてもよく、この場合はユーザの傾向に応じた出力決定が可能となる。

次に、図７及び図８を用いて、本実施形態に係わる音声認識装置の動作について説明する。なお、図８は、音声認識装置の動作を示すフローチャートである。なお、図８においても第３の実施形態と共有できるステップにおいては図６と同じステップ番号を記載している。

まず、制御部１０３は、今回の音声入力待機状態の開始を音声抽出部１０１に通知すると共に、計時部１０４に経過時間Ｔｓの計時の開始を依頼する（ステップＳ１０１）。

次に、音声抽出部１０１がユーザの音声を検出しない状態で（ステップＳ１０２のＮｏ）、計時部１０４から制御部１０３に対し、経過時間Ｔｓが出力設定時間Ｔ１を経過したことを通知されると（ステップＳ１０３のＹｅｓ）、制御部１０３は、前回までの情報で決定された報知音パラメータ記憶部３０７の情報から報知音のパラメータを取得し、出力部１０５を利用して取得したパラメータの報知音を出力する（ステップＳ１０４）。

次に、音声認識部１０２は音声抽出部１０１から入力される音声信号に対して今回の音声認識処理を開始する（ステップＳ２０７）。

次に、音声認識部１０２が今回の音声認識処理を開始後に、音声入力待機状態開始からの経過時間Ｔｓが出力設定時間Ｔ１を経過した場合（ステップＳ２０８のＹｅｓ）にも、制御部１０３は出力部１０５を介してユーザに対して報知音を出力する（ステップＳ２０９）。ここで出力される報知音も、前回までの情報で決定された報知音パラメータ記憶部３０７に記憶されているパラメータの報知音である。

最後に、音声認識部１０２による音声認識処理が終了すると（ステップＳ２１０のＹｅｓ）、制御部１０３は次回の報知音のパラメータを上記方法で修正し、新たなパラメータを報知音パラメータ記憶部３０７に記憶させる（ステップＳ４１２）。この記憶したパラメータが次回の音声認識におけるステップＳ１０４とＳ２０６のパラメータに利用される。

このように本実施形態では、ユーザの音声入力開始が検出されると、音声入力開始のタイミングに基づき次回以降の報知音を修正する。報知音は音声入力開始の検出が早ければユーザの音声入力を妨げないように修正される。音声入力開始のタイミングが早い傾向にあるユーザ、或いは音声入力開始のタイミングが報知音出力と同時刻となりやすい傾向にあるユーザに対して音声入力を妨げないように報知音を抑制することが可能となる。

（変更例）
（１）変更例１
制御部１０３においては、次回の報知音出力の決定を音声認識処理開始前に行っても、音声認識処理終了後に行っても良い。音声認識処理終了後に報知音出力を決定する場合は、有効な音声認識結果（音声認識のスコアが一定値より高い結果）が得られたときのみ次回の報知音出力を決定することも可能である。

音声抽出部１０１が誤って音声入力を検出した場合、有効な音声認識結果ではなくなる可能性が高まる。有効な音声認識結果を得たときに限り報知音の制御を行うことによって、音声抽出部１０１の誤動作の影響を軽減できる。

（２）変更例２
制御部１０３においては、音声入力待機状態開始から所定の時間Ｔ２（Ｔ２＞Ｔ１）が経過したときにユーザに入力を促すための報知音を出力すると決定しても良い。この場合の報知音のパラメータは初期のものを採用する。また、ユーザに報知音のパラメータを初期状態に戻させるような操作を許可しても良い。

（３）変更例３
報知音の一形態として、発話ボタンを押してから「入力して下さい」といった文章を出力するものもある。

このような形態において、報知音の出力時間長を短くすることを目的として文章を「どうぞ」や「はい」といった短いものに変更することもできる。

（４）変更例４
本実施形態ではユーザに対して入力を促す方法として報知音を採用しているが、報知音に加えてその他の光や触覚に関する報知信号を利用してもよい。

（第５の実施形態）
次に、本発明の第５の実施形態の音声認識装置について説明する。第５の実施形態では報知音だけでなく、別の手段を用いた報知信号も利用する方法について述べる。

本実施形態の構成図は図２である。本発明では第２の実施形態に対して出力部１０５と、報知音修正部２０６の動作が修正されている。以下詳細に説明する。

本実施形態における出力部１０５は、ユーザに対して音声入力を促す手段として音だけではなく、別の手段も備えている。例えば、光（ライト）やディスプレイを利用した視覚的な信号による報知信号や、振動することによって触覚的な信号による報知信号を備える。

報知音修正部２０６は、音声抽出部１０１の音声入力待機状態開始からユーザの音声入力開始までの経過時間Ｔｓに基づき、２回目以降に出力する報知信号の種類を変更する。例えば、音声入出力を行う装置では、ユーザの注意は主に音情報に向けられると考えられる。ユーザの音声入力中に報知音を出力するよりも、視覚的、触覚的な報知信号を採用した方が音声入力の妨げにならない報知信号を出力できる。したがって、報知音修正部２０６は、経過時間Ｔｓが小さくなれば報知音出力から視覚的、触覚的な報知信号を出力すると変更する。

制御部１０３は選択された種類の報知信号を出力するように出力部１０５に通知する。

なお、報知音修正部２０６においては、様々なパラメータの聴覚的、視覚的、触覚的な報知信号をユーザの音声入力の妨げにならないように順序付け、経過時間Ｔｓの短さに応じて音声入力を妨げないパラメータの報知信号を選択してもよい。

本実施形態であっても、２回目以降の報知信号を変更することによって、ユーザの発声を妨げない動作が可能となる。

（変更例）
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態の音声認識装置の構成を示すブロック図である。同じく音声認識装置のフローチャートである。第２の実施形態の音声認識装置の構成を示すブロック図である。同じく音声認識装置のフローチャートである。第３の実施形態の音声認識装置の構成を示すブロック図である。同じく音声認識装置のフローチャートである。第４の実施形態の音声認識装置の構成を示すブロック図である。同じく音声認識装置のフローチャートである。

符号の説明

１０１音声抽出部
１０２音声認識部
１０３制御部
１０４計時部
１０５出力部

Claims

ユーザの音声を入力する入力部と、
入力された前記音声を音声入力待機状態開始後に抽出する音声抽出部と、
抽出した前記音声を認識する音声認識部と、
前記音声入力待機状態開始時から予め設定した出力設定時間後に、前記ユーザに対し前記音声の入力を促す報知音を出力する出力部と、
前記音声入力待機状態の開始時からの経過時間を計時する計時部と、
（１）前記出力設定時間までに前記音声の入力がないときは、前記音声の入力を促すために、前記報知音を出力するように前記出力部を制御し、（２）前記出力設定時間前に前記音声の入力があったときは、前記音声入力の妨げにならないようにするために、前記報知音の出力の停止、前記報知音の音量を基準音量より低下、前記報知音の周波数を基準周波数から変更、または、前記報知音の出力時間長を基準出力時間長より短くするように前記出力部を制御する制御部と、
を有し、
前記制御部は、今回の音声認識における前記音声入力の入力時の前記経過時間Ｔｓに基づいて次回の音声認識における前記報知音の出力の有無、音量、周波数、または、出力時間長のパラメータを決定して記憶部に記憶させ、前記次回の音声認識における前記報知音の前記パラメータを前記記憶部から呼び出して、前記呼び出したパラメータに基づいて前記報知音を前記出力部で出力するように制御する、
音声認識装置。
ユーザの音声を入力する入力部と、
入力された前記音声を音声入力待機状態開始後に抽出する音声抽出部と、
抽出した前記音声を認識する音声認識部と、
前記音声入力待機状態開始時から予め設定した出力設定時間後に、前記ユーザに対し前記音声の入力を促す報知音を出力する出力部と、
前記音声入力待機状態の開始時からの経過時間を計時する計時部と、
（１）前記出力設定時間までに前記音声の入力がないときは、前記音声の入力を促すために、前記報知音を出力するように前記出力部を制御し、（２）前記出力設定時間前に前記音声の入力があったときは、前記音声入力の妨げにならないようにするために、前記報知音の出力の停止、前記報知音の音量を基準音量より低下、前記報知音の周波数を基準周波数から変更、または、前記報知音の出力時間長を基準出力時間長より短くするように前記出力部を制御する制御部と、
を有し、
前記制御部は、今回の音声認識における前記検出時の前記経過時間が短いほど、次回の音声認識における前記出力設定時間を短くする、
音声認識装置。
前記制御部は、前記音声の検出時における前記経過時間が、前記出力設定時間後のときは、前記報知音の音量を前記基準音量で出力、前記報知音を前記基準周波数で出力、または、前記報知音を前記基準出力時間長で出力するように前記出力部を制御する
ことを特徴とする請求項１又は２記載の音声認識装置。
前記制御部は、前記報知音の周波数を、可聴帯域にある前記基準周波数から非可聴帯域に近づける
ことを特徴とする請求項１又は２記載の音声認識装置。
前記出力部は、前記ユーザに対し、視覚、または、触覚によって前記音声入力を促す報知部を更に有し、前記制御部は、前記報知音の出力に加えて前記報知部も動作させる
ことを特徴とする請求項１又は２記載の音声認識装置。
前記制御部は、前記音声抽出部が前記音声入力待機状態の開始を行うための待機開始信号を前記音声抽出部へ出力する
ことを特徴とする請求項１又は２記載の音声認識装置。
ユーザの音声を入力する入力ステップと、
入力された前記音声を音声入力待機状態開始後に抽出する音声抽出ステップと、
抽出した前記音声を認識する音声認識ステップと、
前記音声入力待機状態開始時から予め設定した出力設定時間後に、前記ユーザに対し前記音声の入力を促す報知音を出力部によって出力する出力ステップと、
前記音声入力待機状態の開始時からの経過時間を計時する計時ステップと、
（１）前記出力設定時間までに前記音声の入力がないときは、前記音声の入力を促すために、前記報知音を出力するように前記出力部を制御し、（２）前記出力設定時間前に前記音声の入力があったときは、前記音声入力の妨げにならないようにするために、前記報知音の出力の停止、前記報知音の音量を基準音量より低下、前記報知音の周波数を基準周波数から変更、または、前記報知音の出力時間長を基準出力時間長より短くするように前記出力部を制御する制御ステップと、
を有し、
前記制御ステップにおいて、今回の音声認識における前記音声入力の入力時の前記経過時間Ｔｓに基づいて次回の音声認識における前記報知音の出力の有無、音量、周波数、または、出力時間長のパラメータを決定して記憶部に記憶させ、前記次回の音声認識における前記報知音の前記パラメータを前記記憶部から呼び出して、前記呼び出したパラメータに基づいて前記報知音を前記出力部で出力するように制御する、
音声認識方法。
ユーザの音声を入力する入力ステップと、
入力された前記音声を音声入力待機状態開始後に抽出する音声抽出ステップと、
抽出した前記音声を認識する音声認識ステップと、
前記音声入力待機状態開始時から予め設定した出力設定時間後に、前記ユーザに対し前記音声の入力を促す報知音を出力部によって出力する出力ステップと、
前記音声入力待機状態の開始時からの経過時間を計時する計時ステップと、
（１）前記出力設定時間までに前記音声の入力がないときは、前記音声の入力を促すために、前記報知音を出力するように前記出力部を制御し、（２）前記出力設定時間前に前記音声の入力があったときは、前記音声入力の妨げにならないようにするために、前記報知音の出力の停止、前記報知音の音量を基準音量より低下、前記報知音の周波数を基準周波数から変更、または、前記報知音の出力時間長を基準出力時間長より短くするように前記出力部を制御する制御ステップと、
を有し、
前記制御ステップにおいて、今回の音声認識における前記検出時の前記経過時間が短いほど、次回の音声認識における前記出力設定時間を短くする、
音声認識方法。
ユーザの音声を入力する入力機能と、
入力された前記音声を音声入力待機状態開始後に抽出する音声抽出機能と、
前記抽出した前記音声を認識する音声認識機能と、
前記音声入力待機状態開始時から予め設定した出力設定時間後に、前記ユーザに対し前記音声の入力を促す報知音を出力部によって出力する出力機能と、
前記音声入力待機状態の開始時からの経過時間を計時する計時機能と、
（１）前記出力設定時間までに前記音声の入力がないときは、前記音声の入力を促すために、前記報知音を出力するように前記出力部を制御し、（２）前記出力設定時間前に前記音声の入力があったときは、前記音声入力の妨げにならないようにするために、前記報知音の出力の停止、前記報知音の音量を基準音量より低下、前記報知音の周波数を基準周波数から変更、または、前記報知音の出力時間長を基準出力時間長より短くするように前記出力部を制御する制御機能と、
をコンピュータに実現させ、
前記制御機能は、今回の音声認識における前記音声入力の入力時の前記経過時間Ｔｓに基づいて次回の音声認識における前記報知音の出力の有無、音量、周波数、または、出力時間長のパラメータを決定して記憶部に記憶させ、前記次回の音声認識における前記報知音の前記パラメータを前記記憶部から呼び出して、前記呼び出したパラメータに基づいて前記報知音を前記出力部で出力するように制御する、
音声認識プログラム。
ユーザの音声を入力する入力機能と、
入力された前記音声を音声入力待機状態開始後に抽出する音声抽出機能と、
前記抽出した前記音声を認識する音声認識機能と、
前記音声入力待機状態開始時から予め設定した出力設定時間後に、前記ユーザに対し前記音声の入力を促す報知音を出力部によって出力する出力機能と、
前記音声入力待機状態の開始時からの経過時間を計時する計時機能と、
（１）前記出力設定時間までに前記音声の入力がないときは、前記音声の入力を促すために、前記報知音を出力するように前記出力部を制御し、（２）前記出力設定時間前に前記音声の入力があったときは、前記音声入力の妨げにならないようにするために、前記報知音の出力の停止、前記報知音の音量を基準音量より低下、前記報知音の周波数を基準周波数から変更、または、前記報知音の出力時間長を基準出力時間長より短くするように前記出力部を制御する制御機能と、
をコンピュータに実現させ、
前記制御機能は、今回の音声認識における前記検出時の前記経過時間が短いほど、次回の音声認識における前記出力設定時間を短くする、
音声認識プログラム。