JPH0247753B2

JPH0247753B2 -

Info

Publication number: JPH0247753B2
Application number: JP56183633A
Authority: JP
Inventors: Nobuyuki Teraura; Kensaku Harada; Tadao Nojiri
Original assignee: NipponDenso Co Ltd
Current assignee: Denso Corp
Priority date: 1981-11-18
Filing date: 1981-11-18
Publication date: 1990-10-22
Also published as: JPS5885498A

Description

【発明の詳細な説明】この発明は、例えば走行する車輛に搭載する等
の騒音環境内で使用され、音声認識を行なう音声
入力装置に関する。

例えば、自動車等の車輌に対して音声認識を行
なう音声入力装置を搭載した場合、この音声入力
装置が置かれる環境は、騒音レベルが大きく、ま
たその騒音レベルおよびその周波数分布が時間的
に変動するような特徴を有する。また、この音声
入力装置の設置される車室内には、運転者を含み
人間が存在するものであるため、入力すべき音声
以外の音声が、入力音声と同じ状態で発せられる
特徴がある。

音声入力装置にあつては、マイクロホンを用い
て入力音声を捕捉するものであるが、捕捉された
入力音声を、騒音と入力すべき音声とに容易に分
離することができない。このため、騒音は実質的
に音声認識率の大幅な低下を招くことになる。

したがつて、何らかの手段によつて入力音声中
に含まれる騒音の成分を除去する必要のあるもの
であるが、騒音は大きあ時間的変動を伴なうもの
であるため、単に入力音のサンプリングを行な
い、騒音の成分を推定するような手段を用いて
も、実質的に大きな誤差を生ずる。このため、音
声認識率の向上を充分にはかることは困難であ
る。

また、車輌走行中で同乗者がいる場合には、運
転者等と会話がなされることが多い。このような
会話は、音声入力装置にとつて真の音声入力と同
等の状態にあり、これを確実に判定することは困
難である。

この発明は上記のような点に鑑みされたもの
で、例えば車載用等のような騒音環境下におかれ
た場合でも、音声認識の可能な状態を認定して確
実な認識動作が行なわれるようにする音声入力装
置を提供しようとするものである。

すなわち、この発明に係る音声入力装置は、音
声入力を指示する少なくとも１個のスイツチを備
え、このスイツチ操作に対応してマイクロホンで
捕捉される騒音の状態を分析検出し、この騒音分
析結果にもとずき音声入力可能状態を判定して報
知し、その入力要求を受け入れるようにしたもの
である。

例えば、音声入力装置を車載用として用い、運
転者もしくは同乗者が音声入力を行なう場合、車
室内に設置された音声入力スイツチを投入し、例
えば音響装置等の音響出力をしや断して後、車室
内の騒音レベルを検出しその周波数分析を行なつ
て周波数成分を抽出する。この抽出された周波数
成分は、例えば騒音レベルおよび周波数成分の時
間的推移を検出し、あらかじめ設定された条件と
対比し、その条件を満たす状態で音声入力可能を
報知しその入力要求を受け入れるようにする。こ
の場合騒音検出によつて得られたデータを基にし
て、音声入力時における騒音の周波数分布を推定
する。

以下図面を参照してこの発明の一実施例を説明
する。第１図はその構成を示したもので、１１は
音声を捕捉し電気信号に変換して入力音声信号と
するマイクロホンであり、このマイクロホン１１
で捕捉された音声信号は増幅器１２で適宜増幅し
て複数個、例えば15個のそれぞれ通過周波数帯域
を異ならせたバンドパスフイルタ１３―１〜１３
―１５に並列的に供給する。この場合、バンドパ
スフイルタ１３―１〜１３―１５のそれぞれ通過
周波数帯域の中心周波数は、対数軸上で等間隔と
なるように設定する。そして、このバンドパスフ
イルタ１３―１〜１３―１５それぞれを通過した
信号は、それぞれ検波器１４―１〜１４―１５に
供給して、それぞれ通過信号のレベルに対応した
アナログ状信号とし、この検波器１４―１〜１４
―１５からの出力信号はマルチプレクサ１５に供
給する。すなわち、バンドパスフイルタ１３―１
〜１３―１５および検波器１４―１〜１４―１５
は、入力音声の周波数分析部を構成するようにな
る。

上記検波器１４―１〜１４―１５それぞれから
の出力信号は、マルチプレクサ１５から順次取り
出され、Ａ／Ｄコンバータ１６でそれぞれデイジ
タル信号に変換されて演算処理を行なうCPU１
７に供給される。このCPU１７にはタイマー装
置１８が付属され、このタイマー装置１８から
CPU１７に対して割り込み指令を与えるもので、
CPU１７はこの割り込み指令に対応してマルチ
プレクサ１５を制御し、検波器１４―１〜１４―
１５からの出力信号を順次取り出し、Ａ／Ｄコン
バータ１６に供給するようになる。

また、この音声入力装置が車載用として用いら
れる場合には、この装置の設置される車室内の各
座席に対応して複数個例えば５個の音声入力力指
示のためのスイツチ１９―１〜１９―５が設けら
れ、これらスイツチ１９―１〜１９―５の操作投
入時の信号は、CPU１７に対して音声入力要求
として供給される。このような車室内には、また
ラジオ、ステレオ等の音響装置２０が装備される
もので、この音響装置２０からの出力信号は切換
リレー回路２１を介してスピーカ２２に供給し、
車室内に音響出力が得られるようにしてなる。

上記CPU１７からは、上記スイツチ１９―１
〜１９―５のいずれかの操作に対応して音響しや
断のための指令信号が発せられ、また音声入力要
求を受け入れる状態でデイジタル状の報知信号が
発せられる。そして、この報知信号はＡ／Ｄコン
バータ２３でアナログ状信号とし、増幅器２４を
介して上記切換リレー回路２１に供給する。この
リレー回路２１は、上記しや断指令で切換駆動さ
れるもので、この指令の存在時に音響装置２０か
らスピーカ２２に供給される信号をしや断し、増
幅器２４からの報知信号をスピーカ２２に結合す
るように制御される。２５は、音声入力により制
御される制御対象となるエアコン装置であり、こ
のエアコン装置２５には適宜手動による制御スイ
ツチ機構２６が付属されている。

次に上記のように構成される装置、特にCPU
１７の動作について、第２図に示す流れ図にもと
ずき説明する。まずスタート状態においてこの装
置の電源が投入され、CPU１７が起動されるも
ので、このCPU１７の起動に伴なつてステツプ
１０１に進む。このステツプ１０１では、車室内
に設置されている音声入力要求のスイツチ１９―
１〜１９―５の操作状態をサーチし、操作投入さ
れたスイツチが存在するか否かを判定する。そし
て、スイツチ１９―１〜１９―５のいずれもが操
作されていない「NO」の判定でステツプ１０１
に戻る。また、スイツチ１９―１〜１９―５のい
ずれかが操作投入されている場合には、ステツプ
１０１から「YES」の判定出力が得られ、ステ
ツプ１０２に進む。ステツプ１０２ではリレー回
路２１に対して音響しや断指令を出して、音響装
置２０からスピーカ２２に供給される音響信号を
しや断し、車室内における音響再生を禁止するよ
うにリレー回路２１を切換駆動する。この場合、
増幅器２４からの出力信号がスピーカ２２に結合
されるように切換設定される。

次にステツプ１０３に進み、騒音検出の回数を
示す指標ｊを「１」にセツトし、ステツプ１０４
で騒音のサンプリングを行なう。すなわち、タイ
マー装置１８からの割り込み信号による割り込み
によつて、マルチプレクサ１５を制御し、バンド
パスフイルタ１３―１〜１３―１５および検波器
１４―１〜１４―１５からなる周波数分析回路の
出力を選択し、検波器１４―１〜１４―１５から
の出力信号を順次Ａ／Ｄコンバータ１６によつて
デイジタル値に変換してサンプリング動作を行な
う。このサンプリングは、例えば20m秒毎の一定
時間毎にタイマー装置１８からの割り込み信号に
よつてＩ回（例えば５回）行なう。

このような騒音サンプリングによつてサンプリ
ングされたデータは、スツプ１０５において騒音
が時間的に安定であるか否かを判定する。このス
テツプ１０５における判定は、例えば次のように
して行なう。１回のサンプリングによつて各バン
ドパスフイルタ１３―１〜１３―１５それぞれか
らの出力に対応するデータが15個得られるもの
で、このデータセツトを以下特徴ベクトルと呼ぶ
ことにする。したがつて、Ｉ回のサンプングによ
つてＩ個の特徴ベクトルが得られる。ここで、ｉ
番目の特徴ベクトルのｆ番目のバンドパスフイル
１３―のサンプリング値をνi.とすると、ｉ番
目の特徴ベクトルViは次式のように表現される。

Vi＝（νi.₁，νi.₂，…，νi.νi.₁₅） …(1) ここで、指標ｉについて平均操作を行なうと次
のようになる。

＝_I 〓ⁱ⁼¹ νi.／Ｉ …(2) は「＝１〜15」まで求めるもので、ｉは
時間を代表するものであるため、は番目の
バンドパスフイルタ１３―の時間的な平均を示
すようにる。

ここで、第１のしきい値ベクトルV¹ _Tを次式で
与える。

V¹ _T＝（ν¹ _T．₁，ν¹ _T．₂， …ν¹ _T．，…，ν¹ _T．₁₅） …(3) ν¹ _T．番目のバンドパスフイルタ１３―に対
応する第１のしきい値でり、ベクトルV¹ _Tあらか
じめ設定される値である。そして、以上の諸量を
用いて騒音の定常性を判定するようになる。すな
わち、すべてのサンプリング値νi.tに対して次式
が満たされる場合は定常であると判定し、それ以
外の場合は定常ではないと判定する。

｜νi.t―｜＜ν¹ _T．（ｉ＝１〜Ｉ，＝１〜15） …(4) このステツプ１０５で定常であると判定された
場合は次のステツプ１０６に進み、定常でないと
判定された場合はステツプ１０７に進み、指標ｊ
があらかじめ設定された値Ｉ（例えば５）に等し
いか否かを判定する。このステツプ１０７で等し
い「YES」と判定された場合は、騒音は定常で
はなく音声入力には不適切な状態にあると判定
し、ステツプ１０９に進んでCPU１７内の記憶
部に記憶された「入力不適切」を表示する音波形
データを読み出す。この音波形データは、Ｄ／Ａ
コンバータ２３でアナログ状信号に変換され、増
幅器２４および前述したように切換えられたリレ
ー回路２１を介してスピーカ２２に供給される。
そして、スピーカ２２から現在が音声入力に不適
切な状態であることを知らせる例えば「ピツピ
ツ」とする出力音を発生させる。そして、次にス
テツプ１１７に進み、切換リレー回路２１を制御
して音響装置２０からの出力信号をスピーカ２２
に結合して音響出力を復帰させて１回の動作が終
了する。

また、前記ステツプ１０７でｊがＩに等しくな
い「NO」と判定された場合ステツプ１０８に進
み、ｊに「１」を加えてステツプ１０４に戻る。

さらに、前記ステツプ１０５で騒音が定常であ
る「YES」と判定された場合は、ステツプ１０
６に進み、騒音の大きさが充分に小さなものであ
るか否かを判定するもので、この判定は例えば次
のようにして行なう。すなわち、第２のしきい値
ベクトルV² _Tを次式で与え、あらかじめ設定して
おく。

V² _T＝（² _T．₁，ν² _T．₂， …，ν² _T．₂，…，ν² _T．₁₅） …(5) そして、ステツプ１０５で求めた平均値に
対して次式の判定を行なう。

＜ν² _T．（＝１〜15） …(6) 15個ののうちいずれか１つでも上記(6)式を
満たさない時、騒音レベルが大きくて音声入力に
は適さないと判定し、ステツプ１０７に進む。逆
にすべてのが(6)式を満たす場合には、騒音レ
ベルは充分小さくて音声入力に適すると判定し、
ステツプ１１０に進む。このステツプ１１０では
音声入力を要求した者に対して、音声入力が可能
であることを前記ステツプ１０９と同様にして例
えば「ピツ」とする報知音出力で知らせる。そし
て、ステツプ１１１に進み入力音声のサンプリン
グを行なわせる。

この音声サンプリングの過程は第３図の流れ図
に示される。すなわち、この音声サンプリングの
過程に入ると、まずステツプ２０１で有効な音声
入力の回数を示す指標ｉを「１」に初期設定し、
ステツプ２０２で有効音声入力後の無効な入力の
回数を示す指標ｌを「０」に初期設定する。そし
てステツプ２０３に進み、タイマー装置１８の割
り込み信号による割り込みによつて、マルチプレ
クサ１５を制御し、バンドパスフイルタ１３―１
〜１３―１５それぞれに対応する検波器１４―１
〜１４―１５それぞれからの検波出力を、順次
Ａ／Ｄコンバータ１６でデイジタル値に変換して
サンプリングを行なう。その結果、第ｉ番目のサ
ンプリングデータ（特徴ベクトル）をνiとする
と、次式が得らる。

Vi＝（νi.₁，νi.₂，…νi.， …，νi.₁₅） …(7) ここで、νi.は第ｉ番目のサンプリングの第
番目のバンドパスフイルタ１３―の検波出力の
サンプリング値を示す。

このようにサンプリングが行なわれると、ステ
ツプ２０４に進み、特徴ベクトルViの音声パワ
ーの計算を行なう。ここでは音声パワーとして次
式を用いる。

Pi＝₁₅ 〓^f=1 （νi.−）² …(8) ここで、は先に説明した騒音の周波数成分
である。

次にステツプ２０５に進み、特徴ベクトルVi
が有効な音声入力を代表しているか否かを判定す
るもので、この判定はあらかじめ定められたしき
い値P₀に対して次式を満たすか否かによつて行
なう。

Pi＞P₀ …(9) このステツプ２０５で判定結果が「YES」の
場合はステツプ２０６に進み、有効音声入力後の
無効入力回数を示す指標ｌが「０」に等しいか否
かを判定する。このステツプ２０６で「YES」
の判定の場合はステツプ２０９に進み、ｉに
「１」を加えてステツプ２０３に戻る。また、
「NO」の判定の場合はステツプ２０７に進み、
過去ｌ回の無効入力は単語内に含まれる無音部分
であつたと判定し、そのｌ回の特徴ベクトルは発
音された単語の短時間の音声を代表する有効な入
力であるとして、ｉはｌを加えてステツプ２０８
に進み、ｌを「０」にリセツトしてステツプ２０
９に進む。

上記ステツプ２０５で無効入力「NO」である
と判定された場合は、ステツプ２１０でｉが
「１」に等しいか否かを判定する。そして
「YES」の場合は音声は未だ発せられていないと
判定し、ステツプ２０３に戻る。また「NO」の
場合はステツプ２１１に進み、ｌがあらかじめ定
められたしきい値Ｌより大きいか否かを判定す
る。そして「YES」の場合は単語内に含まれる
無音部分より充分長い無音部分があり、音声入力
は終了したと判定してステツプ２１３に進み、ｉ
があらかじめ定めたしきい値Ｉよりも大きいか否
かを判定する。このステツプ２１３で「NO」の
結果が得られた場合は、音声が発せられ且つ音声
入力は終了したが、音声入力時間が小さいため無
効な入力であると判定し、ステツプ２０１に戻つ
て再び音声入力の検出を行なう。また「YES」
の場合は、有効な音声入力があり且つこれが終了
したとして音声サンプリングの過程を終了する。

また、前記ステツプ２１１で「NO」の判定が
された場合は、単語内に含まれる無音部分である
可能性があるとして、ステツプ２１２でｌに
「１」を加え、ステツプ２０３に戻る。

このようにして第２図のステツプ１１１の音声
サンプリングの過程が終了するとステツプ１１２
に進み、ステツプ１１１でサンプリングされた入
力音声パターンとあらかじめ発録された標準パタ
ーンとのパターンマツチングを行なう。

ここで、登録されている標準パターンの数をＮ
個とし、入力音声パターンとｎ番目の標準パター
ンとの類似度をD_oとすると、各標準パターンに
対して次式のように類似度ベクトルＤを求める。

Ｄ＝（D₁，D₂，…，D_o，…，D_N） …(10) 次に、ステツプ１１３に進み入力音声に対応す
る標準パターンがあるか否かを判定する。この判
定は例えば次のようにして行なう。

すなわち、類似度ベクトルＤの中で最大の成分
をD_Mとし、２番目に大きい成分をD_MMとし、あ
らかじめ設定されたしきい値D¹ _T，D² _Tに対して次
式が同時に満たされるか否かを判定する。

D_M＞D¹ _T …(11) D_M−D_MM＞D² _T …(12) 上記(11)式を満たさない場合は入力音声に対応す
る標準パターンは存在せず、誤つた音声が入力さ
れたと判定する。また、(12)式が満たされない場合
は、入力音声はＭ番目の標準パターンに対応する
可能性は高いが、MM番目の標準パターンと有意
な差はなく区別することができない、と判定す
る。そして、（11），（12）式を同時に満たさない
場合はステツプ１１４に進み、当該音声入力が受
け付けられなかつたことを判断し、前記ステツプ
１０９と同様にして音声入力したものに知らしめ
る。そしてステツプ１１７に進み、音響装置２０
の出力を復帰させる。

また、スステツプ１１３において（11），（12）
式を同時に満たす場合は、入力音声はＭ番目の標
準パターンに対応すると判定し、ステツプ１１５
に進む。このステツプ１１５では当該入力音声が
正常に入力されたことを判断し、ステツプ１０９
に同様にして音声入力した者に無効入力とは異な
る出力音、例えば「ピツ」とする報知音で知らせ
る。

そして、この判断に対応してステツプ１１６に
進み、入力音声に対応する制御をエアコン装置２
５に対して行ない、ステプ１１７に進んで音響装
置２０の出力を復帰させる。このようにして１回
の音声入力認識動作が終了する。

ここで、上記流れ図には特に示していないが、
ステツプ１０４における騒音サンプリングの特徴
ベクトルから騒音の各周波数成分を推定して記憶
させる。そして、ステツプ１１１による音声サン
プリングによる各周波数成分から上記記憶された
推定騒音周波数成分を差し引けば、その残りの各
周波数成分は入力音声分のものとなり、効果的な
音声認識が行なえるものである。この場合、推定
した騒音成分は、音声入力を行なう直前のもので
あるため、その推定精度は充分に高いものであ
り、入力音声の分析がより高精度に実行できるも
のである。

尚、上記実施例では周波数分析手段としてバン
ドパスフイルタを用いたが、入力音声波形そのも
ののサンプリングを行ない、高速フーリエ変換
（FFT）手段を用いるようにしてもよい。また、
装置の作動状態を報知する手段として、「ピツ」
あるいは「ピツピツ」等の特殊音を用いたが、こ
れは例えば「現在騒音が定常ではないので音声入
力できません」等の会話音声を合成出力するよう
にしてもよい。さらに車室内に設置されたLED
等による視覚的発光手段を用いるようにしてもよ
いことはもちろんである。

また、実施例では音声入力装置を車載用とした
場合を説明したが、この装置は同様の騒音環境の
場所においても同様に使用し得るものである。

以上のようにこの発明によれば、音声入力要求
のためのスイツチを設けることにより、例えば車
室内での音声入力時における不要な会話を効果的
に禁止することができ、このような会話音が誤ま
つて入力されることがなくなる。また、音声入力
時に同乗者に確実に沈もくを要求することがで
き、他の音声の重なることを効果的に防止するこ
とが可能となる。

また、騒音の状態を音声入力の直前に検出する
ようにしたので、騒音が音声入力の障害となる場
合には、音声入力を回避することができ、認識率
を向上させることができる。さらに、この音声認
識に際して音響装置の出力をしや断することによ
つて、車室内等の騒音条件を著るしく向上した状
態で音声入力が実行されるようになるものであ
る。

【図面の簡単な説明】

第１図はこの発明の一実施例に係る音声入力装
置を説明する構成図、第２図は上記装置の演算過
程を説明する流れ図、第３図は同じく入力音声サ
ンプリングの過程を説明する流れ図である。１１…マイクロホン、１３―１〜１３―１５…
バンドパスフイルタ、１４―１〜１４―１５…検
波器、１５…マルチプレクサ、１６…Ａ／Ｄコン
バータ、１７…CPU、１９―１〜１９―５…ス
イツチ（音声入力要求）、２０…音響装置、２１
…切換リレー回路、２５…エアコン装置。

Claims

【特許請求の範囲】１音声入力を指示する少なくとも１個のスイツ
チと、音声を捕捉して電気信号に変換し入力音声信号
とするマイクロホンと、このマイクロホンで捕捉した入力音声信号を複
数の周波数成分に分析する周波数分析手段と、前記スイツチの操作に応答し前記周波数分析手
段で周波数分析した、音声入力前の入力騒音の時
間的に推移する周波数成分を抽出し、騒音周波数
成分として記憶する抽出手段と、この抽出手段で抽出した前記周波数成分の各々
の時間的変動を求め、この各々の時間的変動を、
騒音の定常性判定のために予め前記各周波数成分
毎に定めた第１のしきい値とそれぞれ比較して、
前記入力騒音が定常状態にあるか否かを判定する
第１の判定手段と、前記抽出手段で抽出した周波数成分の各々を、
騒音の大きさ判定のために予め定めた第２のしき
い値とそれぞれ比較して前記入力騒音が所定レベ
ル以下であるか否かを判定する第２の判定手段
と、前記第１および第２の判定手段の判定がいずれ
も肯定の時に、音声入力可能を報知する報知手段
と、この報知手段による報知後に、前記マイクロホ
ンに入力される入力音声に対応した前記抽出手段
からの周波数成分から、前記抽出手段で記憶して
おいた前記騒音周波数成分を除去し、この除去し
た後の周波数成分によつて入力音声の音声認識を
行う音声認識手段と、を備えたことを特徴とする音声入力装置。２前記スイツチはその操作時にマイクロホンに
捕捉される音響装置出力をしや断させるように
し、この音響装置は音声入力終了で復帰されるよ
うにした特許請求の範囲第１項記載の音声入力装
置。