JPH0272398A - 音声信号用前処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は音声処理装置における入力音声の信号対雑音比
（Ｓ／Ｎ）を改善するための前処理装置に関する。

〔従来の技術〕

従来、音声のＳ／Ｎ改善を図る方法としては、了め雑音
の周波数特性を調べ、その成分を差引く方法があったが
雑音の定常性を仮定していた。また、最近では、日本音
響学会講演論文集３−ｐ−１３、Ｐｐ２５３−２９４　
（昭６３年５月）において報告されているように、ニュ
ーラルネットワークを用いた手法が論じられている。

〔発明が解決しようとする課題〕

上記従来技術は、それまでの手法に比べ勝れたＳ／Ｎ改
善性能を示しているが、明瞭性も低下するなどの問題点
があった。

本発明の目的は、上記技術の利点を生かしながら、明瞭
性を落すことなく、さらにＳ／Ｎを改善する方法の提供
にある。

〔課題を解決するための手段〕

上記目的を達成するために、人間が高騒音下でも二つの
耳を活用して音声の会話を容易に行なっていることに注
目し、さらにそれを拡張して複数個のマイクロフォンか
らの入力をニューラルネットワークの入力に用いるよう
にしたものである。

ここでニューラル・ネットワークとは、等測的に並列プ
ロセッシング・エレメントからなり、各プロセッシング
・エレメント間の結合は、ダイナミックな自己プログラ
ミングにより、教師の有無にかかわらず、自己学習によ
り行なわれるもの、及び、了めこの学習により結合がな
され、学習機能がなく固定化されているものの双方を含
むものとする。

〔作用〕

音声は、口という物理的に限定された器官から作り出さ
れ、かつ、言語という情報を伝えることを目的としてい
るため、物理信号としての特性に偏よりかある。一応雑
音は様々な方向からの様々な音源より発せられたもので
あり、その物理特性には特定の共通した偏りは存在しな
い。

従って、ニューラル・ネットワークは、その学習を行な
う時に、複数のマイクロフォン入力からの信号と、出力
側から与えられる音声のみからなる学習用の信号との間
の共通の物理的特性のみを通過させ、それ以外の信号を
遮断するように学習されるので、音声としての物理特性
を持つ信号のみが通過し、雑音成分は減衰し、Ｓ／Ｎが
大幅に改善される。

〔実施例〕

以下、本発明の一実施例を図により説明する。

第１図は本発明の中心となるニューラル・ネットワーク
によるＳ　／　Ｎ改善用のフィルタの構成を説明する図
、第２図は本発明によるフィルタ及び学習用のシステム
を説明する図である。

第２図において、入力音声信号１０１及び雑音１０２は
複数のマイクロフィン２０１は多重型のアナログ／デジ
タル変換器（Ａ／Ｄ）２０２を経て、デジタル化され、
スイッチＳ／Ｗ２Ｏ３に送られる。学習モードの場合は
、スイッチ２０３は内部バス２０４を経て、μＣＰＵ２
０５の制御によリー担メモリ２ｏ６に格納され、μＣＰ
Ｕ２０５中の手順によりニューラルネットを学習する。

学習された結果はニューラル・ネットの各素子間の結合
の重み係数として得られる。この重み係数は信号線２０
７を経て、ニューラル・ネットワーク型のＳ／Ｎ改善フ
ィルタを構成するデジタル信号プロセッサ（ＤＳＰ）２
０８に送られる。ＤＳＰ２０８は重みが概学習のニュー
ラルネットワーク型のＳ／Ｎ改善フィルタとなっている
。Ｓ／Ｎ改善用のフィルタとしてシステムを用いる場合
は入力音声１０１（および雑音１０２）はマイクロフオ
ン２０１、Ａ／Ｄ変換器、Ｓ／Ｗ２Ｏ３を経て、直接Ｄ
ＳＰ２０８に入り、Ｓ　／　Ｎ改善された出力２０９が
出力される。なお、学習に必要な部分を取りはずし、Ｓ
／Ｎ改善フィルタ専用型の構成も当然利用形態としてあ
りうることは言うまでもない。

以下、第１図を用いて、Ｓ／Ｎ改善フィルタとしての動
作及び、学習の手順を説明する。なお学習時には、第１
図の各部はμＣＰＵ２０５及びメモリ２０６中に構成さ
れる仮想的なもので実現出来、実動作時には、第１図の
フィルタ構成部分のみの構造がＤＳＰ２０８中に構成さ
れる。また、マイクロフォン２０１やＡ／Ｄ　２０２が
デジタル回線により遠方に設置されており、装置の実態
としてはＤＳＰ２０８のみとなる場合も当然ありうる。

以下の説明では、説明を簡単にするために、主に入力系
を二つとするが、三つ以上でも全く同様に構成できるこ
とは言うまでもない。

第１図において、第２層の第９番目のニューロン素子の
出力をＯｐｇｑｓ第ｐ−ｉ層のｒ番目の素子の出力を○
ｐ−ｉ＋ｒ　とする、又、各素子の入力Ｘと出力ｙの間
の特性を、説明を簡単にするため、背向−としく同一で
ある必要はない） ｙ　＝　ｆ　（ｘ）　　　　　　　　　　　　・・・（
１）とすると、 Ｉｐ、ｑ＝ΣωＦ−１ｔｑ、ｒ　’○Ｐ−１ｇ　ｒ　　
　　　’°°（２）○ｐ、ｑ＝　ｆ　（Ｉｐ、ｑ）　　
　　　　　　　　　・・・（３）と記述することが出来
る。（２）式が示すように、積和計算が多く、本処理は
いわゆるＤＳＰの得意なものが主体となっていることが
わかる６本実施例のニューラル・ネットワークは、（３
）式の特性を持つニューロン素子を多数階層的に接続し
たものである。なお第１図ではニューラル・ネットワー
クの層を４として書いであるが、特に４層に限定するも
のではない。

音声１０１及び雑音１０２の混合された信号はマイクロ
フォン１０３及び１０４を経て、Ａ／Ｄ変換器１０６及
び１０７によりデジタル信号化され、その出力はシフト
レジスタ１１２と１１３に加えられる。シフトレジスタ
１１２，１１３及び後に説明する同じく１２４はＡ／Ｄ
変換器のサンプリング周期に同期して、順次データをシ
フトして行うと共に、シフトレジスタの各段のデータを
出力する機能を有する。シフト・レジスタ１１２と１１
３の各段の出力は、ニューラルネットワークの第１層（
入力層）１１４の各素子１１５と１１６等に加えられる
。

入力層の各素子１１５，１１６等の出力は第２層１１７
の各素子１１８に式（２）　、　（３）の関係で結合さ
れている。第２層１１７の各素子１１８と第３層１１９
の各素子１２０、第２層１１９の各素子１２０と第４層
（出力層）１２１の各素子１２２の間も同様である。各
素子の間を信号が式（２）　、　（３）の関係に従って
処理されて行くと、出力層１２１の出力端子１２３等よ
りＳ／Ｎの改善された信号１２８が出力される。この内
の任意の１つの端子の出力を外部出力として取り出せば
Ｓ／Ｎの改善された音声信号２０９　（第２図参照）が
得られる。

次に本発明によるフィルタを構成するニューラル・ネッ
トワークの学習手順を説明しよう。

学習には、良く知られているバック・プロパゲーション
法を用いることが出来る、バック・プロパゲーション法
については、例えば公知の文献、エム・アイ・ティ・プ
レス社出版１′パラレル・デイストリビューテッド・プ
ロセッシング第１巻″（１９８６）、第８章３１８〜３
６２頁（Ｍ、　Ｉ　。

Ｔ　、　Ｐｒｅｓｓ、　”Ｐａｒａｌｌｅｌ　Ｄｉｓｔ
ｒｉｂｕｔｅｄ　Ｐｒｏｃｅｓｓｉｎｇ”ｖｏ　Ｑ　、
　（１９８６）　、　ｃｈｏｐ、８．ｐ、ｐ、３１８−
３６２）に詳しく記述されている。

第１図を用いて説明しよう。まず説明の簡単のために、
幾つかの記号を導入する。出力層１２１の各素子１２２
の出力値１２８等を０４１１．第３層１１９第ｊ番目の
素子の出力値０８１Ｊ、第２層１１７の第に番目の素子
の出力値を０２．ｋ、また学習入力として、第４層１２
１の第１番目の素子に与える目標出力値をＴａ２とする
。また、バック・プロパゲーションの過程で各素子毎に
求まる誤差信号値についても、第４層１２１の第１番目
の素子に対してδ１、第３層１１９の第ｊ番目の素子に
対して６３Ｊ、第２層１１７の第に番目の素子に対して
６２に等を記すことにする。また、今、説明を簡単にす
るために、各層の各素子の特性は管間−とし、（３）式
で述べた関係で記述されるものとする。また、関係ｆｆ
１ｌ−微分したものをｆ′と記すこととする。出力層１
２１の第ｉ番目の素子と第３層１１９のｊ番目の素子の
結合係数をωδＩＪ。

第３層１１９のｊ番目の素子と第２層１１７のに番目の
素子の結合係数をω２Ｊｈと記す。

学習用の各種の音声１０１と各種の雑音１０２は、別々
ニマイクロフォン１０３，１０４，１０５に入力される
。マイクロフォン１０５より入力される信号は目標出力
値Ｔ　４　ｔに用いるものであり、音声信号のみである
。これらの信号は各々メモリ１０９．１１０，１１１　
（第２図のメモリ２０６中の領域として設定される）に
格納される。格納された入力用の音声と雑音は各々加算
器１２９と１３０で加算され、雑音の１乗された信号が
合成され、シフトレジスタ１１２と１１３に加えられる
。雑音の１乗の程度や組み合せは、予想される相々な条
件のものを繰り返えし作成し、学習入力として用いられ
る。この１乗の処理は実際には第２図のμＣＰＵ２０５
の演算機能を用いて行なわれる。目標出力値Ｔ４Ｉは、
学習入力と対応する音声信号であり、Ｓ／Ｎ改善の結果
、学習入力中の音声がこうありたいという音声信号であ
る。目標出力値Ｔ４１用の入力マイクロフォン１０５と
Ａ／Ｄ変換器１０８、メモリ１１１は結線列１２７が示
すように、マイクロフォン１ｏ３（又は１０４）Ａ／Ｄ
変換器１０６（又は１０７）、メモリ１０９（又は１１
０）などのように、入力用の各々の一つと兼用しても良
い。目標出力Ｔ　Ａ　を用の音声はシフト・レジスタ１
２４に入力され、シフトレジスタ１２４の各段の出力１
２５等はニューラルネットワークの出力層１２１の各素
子１２２等の各目標出力１２５等として与えられる。

第１層１１４の各素子に学習用入力（音声と雑音の１乗
されたもの）が入力されると、式（２）及び（３）の関
係により、各素子の出力が入力層から出力層に向は順次
求められて行く。各素子の出力値が求まると、出力層１
２１から下の層に向けて順次誤差信号を求めて行く、第
２層と第ｐ＋１層との間の結合係数の修正は、第ｐ＋１
層における誤差信号と第２層における出力値を用いて行
なう。

ここでは簡単のため、前記結合係数ω３，１．Ｊ　とω
２．ａ、ｈの修正過程についてのみ説明する。以下層数
が増しても、入力層まで同様の処理を繰り返えして行け
ば良い。

結合係数ωＵｌｔＪ、ｅＪ１にの修正において、第ω　
２ ２層１１７の第に番目の素子の出力値Ｏｚ、＊　＊第３
１１１９の第ｊ番目の素子の出力値Ｏδ、１．および第
３層１１９の第ｊ番目の素子の誤差信号値δ８．Ｊ、第
４層（出力層）１２１の第ｉ番目の素子の誤差信号値６
番、１が必要となる。０２＋　ｂ　ｒＯδ、１の値は前
記のように第１層１１４へ入力を与えることによってフ
ォーワードな計算で求めることが出来る。一方、６番２
８．δ３１Ｊは次式に従って算出することが出来る。

δ３．眞＝ｆ′　（Σω２．Ｊ＋に’０２．ｋ）＋δ番
、１°ωδ、ｌ、Ｊ・・・（５） 次に、（１１３ＨＩ　ＨＪ　＋　ω２１Ｊ１にの修正で
あるが、この修正量をそれぞれΔωｇ、１．Ｊ、Δωｚ
＋ｇｈと記すと、この修正量は次式によって算出するこ
とができる。

Δ　ω８，１．Ｊ＝　α　・　δ番、・　０３７　　　
　　　　　　　　・・・（６）Δω２．に、ｈ＝α０δ
８ｉ°０２．に°（７）ここでαは実験的に収束速度を
調べながら設定してやれば良い、　（６）　（７）式を
用いれば、出力層と第３層、第３層と第２層の間の全て
の結合係数の修正が出来る。第２層と入力層の間の結合
係数に関しても、第３層と第２層の間の結合係数の場合
と同じようにすれば良い。

以上により、全ての結合係数が１回修正されたことにな
る。他の入力データと目標値（音声や雑音の異なるもの
や、相互レベル、位相関係の異なるものなど）を与えて
以上の結合係数の修正の過程を行なうということを繰り
返えす、この繰り返えし毎に次式に示す評価値 を求め、これをすべての学習サンプルについて平均する
。その値が予め与えられた閾値より小さくなった段階で
学習が完了したものとして学習を終了すれば良い。

発声者とマイクロフォンの位置が一定の範囲に限定され
る場合は、そのような条件下で学習用音声を入力したり
、また、その状況を想定したマイク間のレベルや位相差
を想定した音声信号を内部で発声すると、Ｓ／Ｎ改善の
効果は大幅に向上する。発声者の位置にある程度の範囲
を許容したい場合は学習入力音声を、その条件に合う範
囲によることが望ましい。これらの条件は内部生成によ
っても音響工学の原理から当業者にとっては容易に合成
することが出来る（発声者とマイクの距離による音声信
号の到着の遅れ及びレベルの２乗則による減衰を考慮す
れば良い）。

なお、入力信号を複索フーリエ変換等を行ない周波数空
間等の状況でニューラルネットに入力する方式も、もち
ろんありうる。この場合は、入力層は周波数と位相又は
、実数部と虚数部の二次元配列にすれば良い。出力は周
波数領域で出力し、波形領域に逆変換する方式もありう
る。しかし、これらの方式は、空間変換としてのフーリ
エ変換や逆変換の処理を入れる必要があることは言うま
でもない。

〔発明の効果〕

本発明によれば、騒音下の音声のＳ／Ｎを改善すること
が出来るので、たとえば、第３図に示すように、 （ａ）本発明によるフィルタ３０１を音声Ｍ、’Ｚ　識
装置３０２の市に置くことによりＬ／、識結果３０３の
正確度が向上、 また、（ｂ）本発明によるフィルタ：３０１を音声符号
化装置３０４の前に置くことにより、符号化音声３０５
とＳ／Ｎの良い聞きやすい音声に符号化が可能となり、
高騒音下での音声通信が可能となるさらに、（ｃ）本発
明によるフィルタ３０１を一般の各種音声信号分析装置
３０６の前に置くことにより、高騒音下での音声の変形
（一般に発声者自身が騒音に対抗すべく努力して発声す
るため音声が通常とは異なった発声により作られる）の
観測などが可能となる。

【図面の簡単な説明】

第１図は本発明の一実施例として中心部となるＳ／Ｎ改
善用フィルタの構成と学習を説明のための図、第２図は
、本発明部分を実現する装置を説明する図、第３図は本
発明の詳細な説明するための応用システムの構成例を説
明する図である。 第 口

Claims (1)

1. 【特許請求の範囲】 １、２以上のマイクロフオンと、前記マイクロフオンか
   らの信号を入力とするニューラルネットワーク・タイプ
   のフィルタとを有することを特徴とする音声信号用前処
   理装置。 ２、２以上のマイクロフォンからの信号をデジタル信号
   化する手段が多重型のアナログ・デジタル変換器からな
   ることを特徴とする特許請求の範囲１の音声信号用前処
   理装置。 ３、マイクロフオンからの入力信号を複素フーリエ変換
   する手段と、前記フーリエ変換手段の出力を入力とする
   ニューラルネットワークを有することを特徴とする特許
   請求の範囲１又は２の音声信号用前処理方式及び装置。 ４、ニューラル・ネットワークをデジタル・シグナル・
   プロセッサで構成することを特徴とする特許請求の範囲
   第１、第２又は第３項の音声信号用前処理装置。 ５、ニューラル・ネットワークの結合係数を学習させる
   ための学習入力を一端内部メモリに格納した後、オフラ
   インで学習を行なうことを特徴とする特許請求の範囲第
   １、第２又は第３項のニューラルネットワーク学習方法
   。 ６、前記学習用入力は、音声信号と雑音信号を別別に入
   力し、内部にて両者を組み合せ、雑音付加された学習用
   信号を生成する手段を有することを特徴とする特許請求
   の範囲第５項のニューラルネットワーク学習方法。 ７、前記学習用入力信号を入力するマイクロフォン及び
   又はアナログ・デジタル変換手段が、Ｓ／Ｎ改善フィル
   タとして動作する際の信号入力用マイクロフォン及び又
   はアナログ・デジタル変換手段を兼ねることを特徴とす
   る特許請求の範囲第５又は第６項のニューラルネットワ
   ーク学習方法。 ８、複数個のマイクロフォンへの音声信号の到着時間及
   び又はレベルを固定または可変に制御した学習用入力信
   号を用いることを特徴とする特許請求の範囲第５項又は
   第６項のニューラルネットワーク学習方法。 ９、複数個のマイクロフオンへの雑音信号の種類、到着
   時間及び又はレベルを学習用音声に対し固定又は可変に
   制御した学習用入力信号を用いることを特徴とする特許
   請求の範囲第５項又は第６項のニューラルネットワーク
   学習方法。