JP3774580B2

JP3774580B2 - 音声入力装置

Info

Publication number: JP3774580B2
Application number: JP33845498A
Authority: JP
Inventors: 真吾木内; 望斉藤; 孝一中田
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 1998-11-12
Filing date: 1998-11-12
Publication date: 2006-05-17
Anticipated expiration: 2018-11-12
Also published as: US6847723B1; JP2000148200A

Description

【０００１】
【発明の属する技術分野】
本発明は、マイクロホンによって集音した音声の中から各種の雑音を除去する音声入力システムに関する。
【０００２】
【従来の技術】
最近の車載用機器、例えばナビゲーション装置やオーディオ機器に各種の操作指示を与える方法としては、利用者が操作パネルやリモートコントロール（リモコン）ユニットに備わった各種のキーを押下する方法の他に、利用者によって発せられた操作音声の内容を音声認識することによって行う方法がある。音声認識装置を用いて操作指示を行う場合には、操作キーの配置等を覚える必要がなく、しかも走行中に車両が振動した状態でキーの操作を行わないですむため、操作の簡略化が可能であり、特に最近ではプロセッサの高速化等に伴って車載用機器についても用いられることが多い。
【０００３】
このような音声認識装置による認識率を低下させる要因の代表的なものには、ロードノイズやエンジンノイズ等の走行に伴って生じる車室内自動車ノイズと、車室内のオーディオ装置から出力されるオーディオ音がある。利用者の音声にこれらのノイズやオーディオ音が重畳されると、音声認識装置ではそれらを区別して利用者の音声に対してのみ音声認識処理を行うことができないため、正確な音声認識処理を行うことが困難となる。このため、従来は、適応マイクロホンアレイ技術を用いてロードノイズを低減したり、トークスイッチが押下されたときにオーディオ音の出力を中断あるいは音量を下げたりして、音声認識の対象となる音声信号に重畳される各種のノイズやオーディオ音を低減する工夫を行っている。
【０００４】
【発明が解決しようとする課題】
ところで、上述したようにトークスイッチを押下したときにオーディオ音の出力を中断したり、オーディオ音の音量を下げて対策を行った場合には、頻繁に音声認識処理を行ったときにオーディオ音が断続することになるため、利用者による聴取を妨げるという問題がある。
【０００５】
特に、音声入力によって車載用機器の操作を行っている利用者以外に搭乗者は、この操作とは無関係にオーディオ音を聴取している場合もあるため、聴取しているオーディオ音が頻繁に断続されると不快であり、認識対象となる入力音声以外の発生音を断続することなく入力音声を抽出することができる手法が望まれている。
【０００６】
本発明は、このような点に鑑みて創作されたものであり、その目的は、入力音声以外の発生音を断続することなく入力音声を抽出することができる音声入力システムを提供することにある。
【０００７】
【課題を解決するための手段】
上述した課題を解決するために、本発明の音声入力装置は、集音手段から出力される音声信号に含まれる周辺雑音成分を、適応フィルタを用いて除去する周辺雑音除去手段と、この周辺雑音が除去された後の音声信号からスピーカの出力成分を除去するスピーカ音声除去手段とを有しており、音声信号から周辺雑音成分とスピーカ音成分（例えばスピーカから出力されるオーディオ音声）を除去して、利用者が発声した音声のみを抽出することができ、その際にスピーカの音量等を下げる等の操作を行う必要がない。
【０００８】
具体的には、上述した集音手段は第１および第２のマイクロホンを有しており、周辺雑音除去手段は、第１のマイクロホンから出力されたノイズ信号を第２のマイクロホンから出力されたノイズ信号により模擬する適応フィルタと、これら２つのノイズ信号の差分を計算する第１の演算手段とを有している。適応フィルタを用いることにより、２つのマイクロホンから出力されるノイズ信号を一致させることができるため、これら２つの信号の差分を求めることにより、周辺雑音成分をキャンセルすることができ、この周辺雑音成分が除去された音声信号を得ることができる。
【０００９】
また、上述したスピーカ音声除去手段は、スピーカおよび周辺雑音除去手段を介した伝達系の特性を模擬するフィルタと、周辺雑音除去手段を介した信号とフィルタを介した信号との差分を計算する第２の演算手段とを有している。スピーカから出力されるオーディオ音声等の伝達系の特性がフィルタによって模擬されるため、スピーカから実際に出力される音声に対応する信号と等価な信号をフィルタによって生成することができるため、スピーカの出力音成分をキャンセルすることができ、この出力音成分が除去された音声信号を得ることができる。
【００１０】
また、集音手段に対する音声入力のタイミングが指示された場合に、適応フィルタのフィルタ係数の更新動作を停止するとともに、この更新動作が停止された適応フィルタのフィルタ係数に基づいてフィルタのフィルタ係数を計算することが好ましい。適応フィルタのフィルタ係数が固定されると、周辺雑音除去手段を介した音響伝達系の特性が固定化されるため、この特性を模擬するフィルタのフィルタ係数を計算により求めることができる。
【００１１】
【発明の実施の形態】
以下、本発明を適用した一実施形態の音声入力装置について、図面を参照しながら説明する。
図１は、本実施形態の音声入力装置の構成を示す図である。同図に示す本実施形態の音声入力装置１は、２つのマイクロホン１０、１２、周辺雑音除去部２０、スピーカ音声除去部４０、トークスイッチ５０を含んで構成されており、利用者がマイクロホン１０、１２に向かって車載用のナビゲーション装置（図示せず）等に対する操作音声を発声したときに、マイクロホン１０、１２から出力される音声信号に含まれる各種の雑音を除去して音声認識装置９０に入力する。マイクロホン１０、１２から出力される音声信号に含まれる各種の雑音としては、エンジンの回転音や道路上を走行するために生じる走行雑音等からなる周辺雑音と、オーディオ機器１００に接続されたスピーカ１０２から車室内に放出されマイクロホン１０、１２によって集音されるオーディオ音とを考慮するものとする。
【００１２】
マイクロホン１０、１２は、利用者が発声した操作音声を集音可能な車室内の所定位置に設置されている。例えば、主に運転者が操作音声を発するものとすると、運転席前方のサンバイザーなどに所定間隔（例えば１５ｃｍ間隔）で設置される。
【００１３】
周辺雑音除去部２０は、マイクロホン１０、１２から出力される音声信号に含まれる周辺雑音を除去するためのものであり、遅延素子２２、適応フィルタ２４、ＬＭＳアルゴリズム処理部２６、演算部２８、フィルタ係数格納部３０を含んで構成されている。
【００１４】
遅延素子２２は、一方のマイクロホン１０から出力される音声信号ｄ１を所定時間遅延した信号Ｙ１を出力する。例えば、伝達特性Ｚ^-mを有するＦＩＲ（Finite Impulse Response ）型のデジタルフィルタであり、遅延時間ｔに対応するタップ係数を１に設定し、それ以外のタップ係数を０に設定することにより実現される。
【００１５】
また、適応フィルタ２４は、フィルタ係数（タップ係数）Ｗ１を有するＦＩＲ型のデジタルフィルタであり、他方のマイクロホン１２から出力される音声信号ｄ２に対して所定の適応等化処理を行う。このフィルタ係数Ｗ１は、ＬＭＳ（Least Mean Square）アルゴリズム処理部２６によって更新される。
【００１６】
ＬＭＳアルゴリズム処理部２６は、マイクロホン１２から出力される音声信号と演算部２８から出力される差分信号Ｙ３（後述する）が入力されており、ＬＭＳアルゴリズムを用いることにより、演算部２８から出力される差分信号Ｙ３（後述する）のパワーが最小となるように、上述した適応フィルタ２４のフィルタ係数Ｗ１を更新する。
【００１７】
演算部２８は、一方のマイクロホン１０から出力される音声信号ｄ１と他方のマイクロホン１２から出力される音声信号ｄ２との差分を計算して、差分信号Ｙ３を出力する。上述したＬＭＳアルゴリズム処理部２６によってこの差分信号Ｙ３のパワーが最小となるように適応フィルタ２４のフィルタ係数Ｗ１が設定されるため、遅延素子２２から出力される遅延後の信号Ｙ１を打ち消すように適応フィルタ２４の出力信号Ｙ２の振幅、位相が制御される。演算部２８から出力される差分信号Ｙ３は、周辺雑音除去部２０の出力信号として後段のスピーカ音声除去部４０に入力される。
【００１８】
フィルタ係数格納部３０は、所定のタイミングにおける適応フィルタ２４のフィルタ係数Ｗ１を格納する。具体的には、利用者によってトークスイッチ５０が押下されると、ＬＭＳアルゴリズム処理部２６による適応フィルタ２４のフィルタ係数Ｗ１の更新動作が所定時間中断され、このときのフィルタ係数Ｗ１がフィルタ係数格納部３０に格納される。また、フィルタ係数格納部３０には、スピーカ１０２から一方のマイクロホン１０までの伝達特性ＣＳ１と、他方のマイクロホン１２までの伝達特性ＣＳ２が格納されている。これらの伝達特性ＣＳ１、ＣＳ２は、あらかじめ測定されたものが用意されている。例えば、車両購入時に利用者の操作によって伝達特性ＣＳ１、ＣＳ２が測定され、車種別にあらかじめ用意されている伝達特性ＣＳ１、ＣＳ２の中から本実施形態の音声入力装置１が搭載された車種に適合したものが選択され、フィルタ係数格納部３０に格納される。
【００１９】
また、図１に示したスピーカ音声除去部４０は、周辺雑音除去部２０の出力信号Ｙ３に含まれるオーディオ音を除去するためのものであり、フィルタ４２、フィルタ係数計算部４４、演算部４６を含んで構成されている。
【００２０】
フィルタ４２は、フィルタ係数Ｗ２を有するＦＩＲ型のデジタルフィルタであり、オーディオ機器１００から出力されるオーディオ信号Ｘに対して所定の処理を行う。フィルタ係数計算部４４は、周辺雑音除去部２０内のフィルタ係数格納部３０に格納されている各種のデータ（適応フィルタ２４のフィルタ係数Ｗ１、スピーカ１０２から各マイクロホン１０、１２までの伝達特性ＣＳ１、ＣＳ２）に基づいて、フィルタ４２のフィルタ係数Ｗ２を計算によって求める。このフィルタ係数Ｗ２は、スピーカ１０２から出力されたオーディオ音が周辺雑音除去部２０を通ってスピーカ音声除去部４０内の演算部４６に到達するまでの伝達特性を示しており、具体的な計算方法については後述する。
【００２１】
演算部４６は、周辺雑音除去部２０の出力信号Ｙ３とフィルタＷ２の出力信号Ｙ４との差分を計算して、差分信号Ｙ５を出力する。スピーカ音声除去部４０内の演算部４６から出力される差分信号Ｙ５は、音声入力装置１の出力信号として後段の音声認識装置９０に入力される。
【００２２】
また、図１に示したトークスイッチ５０は、利用者が操作音声を発声する前に操作されるものであり、操作状況が周辺雑音除去部２０内のＬＭＳアルゴリズム処理部２６とスピーカ音声除去部４０内のフィルタ係数計算部４４のそれぞれに送られる。ＬＭＳアルゴリズム処理部２６は、トークスイッチ５０が押下されたときに、適応フィルタ２４のフィルタ係数Ｗ１を更新する処理を一旦停止し、このときのフィルタ係数Ｗ１をフィルタ係数格納部３０に格納する。また、フィルタ係数計算部４４は、トークスイッチ５０が押下された後にフィルタ係数格納部３０に格納されたフィルタ係数Ｗ１と、あらかじめ格納されている伝達特性ＣＳ１、ＣＳ２を読み出して、フィルタ４２のフィルタ係数Ｗ２を計算する。
【００２３】
上述したマイクロホン１０、１２が集音手段に、周辺雑音除去部２０が周辺雑音除去手段に、ＬＭＳアルゴリズム処理部２６がフィルタ処理手段に、演算部２８が第１の演算手段に、スピーカ音声除去部４０がスピーカ音声除去手段に、フィルタ係数計算部４４がフィルタ係数計算手段に、演算部４６が第２の演算手段にそれぞれ対応する。
【００２４】
本実施形態の音声入力装置１はこのような構成をしており、次にその動作を説明する。図２は、本実施形態の音声入力装置１に含まれる各フィルタの係数更新手順を示す流れ図である。
【００２５】
ＬＭＳアルゴリズム処理部２６には、車両の走行状態に関係なく、常にトークスイッチ５０が利用者によって押下されたか否かを判定する機能も付加されており（ステップ２００）、トークスイッチ５０が押下されない場合には、演算部２８から出力される差分信号Ｙ３のパワーが最小になるように適応フィルタ２４のフィルタ係数Ｗ１を計算して更新する（ステップ２０１）。このようにして適応フィルタ２４のフィルタ係数Ｗ１が設定されるため、周辺雑音の発生源（エンジンやタイヤ等）から一方のマイクロホン１０および遅延素子２２を経由して演算部２８に至るまでの周辺雑音の一方の音響伝達系に対応する伝達特性と、周辺雑音の発生源から他方のマイクロホン１２および適応フィルタ２４を経由して演算部２８に至るまでの周辺雑音の他方の音響伝達系に対応する伝達特性を同じにすることができる。したがって、これら２つの音響伝達系を通って演算部２８に到達する周辺雑音は、位相および振幅が同じになるため、演算部２８によって２つの入力信号Ｙ１、Ｙ２の差分を求めることにより、この周辺雑音を除去することができる。
【００２６】
このようにして行われる周辺雑音の除去動作と並行して上述したステップ２００の判定動作（トークスイッチが押下されたか否かの判定動作）が行われており、利用者によってトークスイッチ５０が押下されると、次に、ＬＭＳアルゴリズム処理部２６は、適応フィルタ２４のフィルタ係数Ｗ１の更新処理を停止し（ステップ２０２）、その時点で適応フィルタ２４に設定されているフィルタ係数Ｗ１をフィルタ係数格納部３０に格納する（ステップ２０３）。なお、上述したように、このフィルタ係数格納部３０には、あらかじめ求められたスピーカ１０２から各マイクロホン１０、１２までの伝達特性ＣＳ１、ＣＳ２と、遅延素子２２の伝達特性Ｚ^-mが格納されている。
【００２７】
次に、スピーカ音声除去部４０内のフィルタ係数計算部４４は、フィルタ係数格納部３０に格納されているフィルタ係数Ｗ１、伝達特性ＣＳ１、ＣＳ２、Ｚ^-mを読み出して、これらに基づいてフィルタ４２に設定するフィルタ係数Ｗ２を計算する（ステップ２０４）。
【００２８】
ところで、オーディオ機器１００の出力信号Ｘと、周辺雑音除去部２０から出力されてスピーカ音声除去部４０内の演算部４６に入力される信号Ｙ３との関係は、周波数領域で、
Ｙ３＝（ＣＳ１・Ｚ^-m−ＣＳ２・Ｗ１）Ｘ …（１）
と表すことができる。また、オーディオ機器１００の出力信号Ｘと、スピーカ音声除去部４０内のフィルタ４２から出力されて演算部４６に入力される信号Ｙ４との関係は、
Ｙ４＝Ｗ２・Ｘ …（２）
と表すことができる。したがって、Ｗ２＝ＣＳ１・Ｚ^-m−ＣＳ２・Ｗ１を満たすようにフィルタ４２のフィルタ係数Ｗ２を設定することにより、オーディオ機器１００から出力されて周辺雑音除去部２０を通って演算部４６に入力される信号Ｙ３と、オーディオ機器１００から出力されてスピーカ１０２を介さずに直接フィルタ４２を通って演算部４６に入力される信号Ｙ４とを同じにすることができ、演算部４６の出力信号Ｙ５に含まれるオーディオ音声成分を除去することができる。特に、トークスイッチ５０が押下されたときにフィルタ係数Ｗ１の更新処理が停止されているため、フィルタ係数Ｗ１および伝達特性ＣＳ１、ＣＳ２、Ｚ^-mの全てが既知の値であり、計算によって容易にフィルタ４２のフィルタ係数Ｗ２を求めることができる。
【００２９】
上述した動作は、トークスイッチ５０が押下されてから一定時間（例えば数秒間）行われる。ＬＭＳアルゴリズム処理部２６には、トークスイッチ５０が押下されたか否かを判定する部分も内蔵されており（ステップ２００）、一定時間が経過すると（ステップ２０５）、ステップ２０１に戻ってフィルタ係数Ｗ１の計算および更新処理以降の動作を繰り返す。
【００３０】
このように、本実施形態の音声入力装置１では、利用者がトークスイッチ５０を押下した後にマイクロホン１０、１２に向かって何らかの操作音声を発声したときに、マイクロホン１０、１２の出力信号に含まれる周辺雑音成分を前段の周辺雑音除去部２０によって除去し、オーディオ機器１００から出力されるオーディオ音声成分を後段のスピーカ音声除去部４０によって除去しており、これらの各種の雑音が除去された後の操作音声のみが含まれる音声信号が音声認識装置９０に入力される。したがって、マイクロホン１０、１２によって集音された音声に周辺雑音成分やオーディオ音声成分が含まれている場合であっても、これらを除去した操作音声のみが音声認識装置９０に送られるため、音声認識装置９０において所定の音声認識処理を実行したときの認識率を高めることができる。また、利用者が操作音声を発声する際に、スピーカ１０２から出力されるオーディオ音声を遮断したり、その音量を小さくした状態で、利用者による操作音声の入力を行うことができ、オーディオ音声を断続させた場合に聴取者が感じる違和感、不快感をなくすことができる。
【００３１】
特に、トークスイッチ５０が押下される直前まで適応フィルタ２４におけるフィルタ係数Ｗ１の更新が行われているため、実状に即した周辺雑音の除去を行うことができる。
【００３２】
なお、本発明は上記実施形態に限定されるものでなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、上述した実施形態では、ナビゲーション装置に対する操作音声を利用者が発声する場合を例にとって説明したが、ナビゲーション装置以外の車載用機器（例えばオーディオ機器）に対する操作音声を利用者が発声する場合にも本発明を適用することができる。また、音声認識の対象となる音声を入力する場合の他に、例えば車室内で移動体電話を用いる場合に、会話に含まれる周辺雑音やオーディオ音声を除去する場合であってもよい。また、車室内で使用される場合の他に、屋内に設置された音声認識装置やその他の装置に対して入力する音声に含まれる周辺雑音成分やスピーカ出力音声（オーディオ音声に限定されず、テレビジョン放送の音声等であってもよい）成分を除去するようにしてもよい。
【００３３】
また、上述した実施形態では、２つのマイクロホン１０、１２を用いたが、３つ以上のマイクロホンを用いるようにしてもよい。また、利用者は、トークスイッチ５０を押下した後に操作音声を発声するようにしたが、操作音声の先頭部分を検出する回路を設けて、この検出信号をＬＭＳアルゴリズム処理部２６やフィルタ係数計算部４４に送るようにしてもよい。
【００３４】
【発明の効果】
上述したように、本発明によれば、集音手段から出力される音声信号に含まれる周辺雑音成分を、適応フィルタを用いて除去するとともに、この周辺雑音が除去された後の音声信号からスピーカの出力音成分を除去しており、利用者が発声した音声のみを抽出することができるため、その際にスピーカの音量等を下げる等の操作を行う必要がない。
【図面の簡単な説明】
【図１】本実施形態の音声入力装置の構成を示す図である。
【図２】本実施形態の音声入力装置の動作手順を示す流れ図である。
【符号の説明】
１音声入力装置
１０、１２マイクロホン
２０周辺雑音除去部
２２遅延素子
２４適応フィルタ
２６ＬＭＳアルゴリズム処理部
２８、４６演算部
３０フィルタ係数格納部
４０スピーカ音声除去部
４２フィルタ
４４フィルタ係数計算部
５０トークスイッチ
９０音声認識装置
１００オーディオ機器
１０２スピーカ

Claims

集音手段から出力される音声信号に含まれる周辺雑音成分を適応フィルタを用いて除去する周辺雑音除去手段と、前記周辺雑音除去手段によって前記周辺雑音が除去された後の音声信号からスピーカの出力成分を除去するスピーカ音声除去手段と、前記集音手段に対する音声入力のタイミングを指示する入力タイミング指示手段とを備える音声入力装置において、
前記集音手段は、第１および第２のマイクロホンを有し、
前記周辺雑音除去手段は、前記第１のマイクロホンから出力されるノイズ信号を前記第２のマイクロホンから出力されるノイズ信号を用いて模擬する前記適応フィルタと、これら２つのノイズ信号の差分を計算する第１の演算手段と、前記適応フィルタのフィルタ係数の更新処理を行うとともに、前記入力タイミング指示手段によって前記音声入力のタイミングが指示されたときに、前記適応フィルタのフィルタ係数の更新動作を停止するフィルタ処理手段と、前記第１のマイクロホンと前記第１の演算手段との間に挿入されて伝達特性Ｚ ^-m で表される遅延素子とを有し、
前記スピーカ音声除去手段は、前記スピーカおよび前記周辺雑音除去手段を介した伝達系の特性を模擬するフィルタと、前記周辺雑音除去手段を介した信号と前記フィルタを介した信号との差分を計算する第２の演算手段と、前記入力タイミング指示手段によって前記音声入力のタイミングが指示されたときに、前記スピーカから前記第１および第２のマイクロホンのそれぞれまでの伝達特性ＣＳ１、ＣＳ２、更新動作が停止された前記適応フィルタのフィルタ係数Ｗ１を用いて、Ｗ２＝ＣＳ１・Ｚ ^-m −ＣＳ２・Ｗ１となるように前記フィルタのフィルタ係数Ｗ２を設定するフィルタ係数計算手段とを有することを特徴とする音声入力装置。
請求項１において、
前記入力タイミング指示手段によって前記音声入力のタイミングが指示されて前記適応フィルタのフィルタ係数の更新動作が停止されたときに、このフィルタ係数を格納するフィルタ係数格納部をさらに備え、
前記フィルタ係数計算手段は、前記フィルタ係数格納部に格納されたフィルタ係数を用いて、前記フィルタのフィルタ係数の計算を行うことを特徴とする音声入力装置。