JP4473829B2 - 収音装置、プログラム及びこれを記録した記録媒体 - Google Patents

収音装置、プログラム及びこれを記録した記録媒体 Download PDF

Info

Publication number
JP4473829B2
JP4473829B2 JP2006052502A JP2006052502A JP4473829B2 JP 4473829 B2 JP4473829 B2 JP 4473829B2 JP 2006052502 A JP2006052502 A JP 2006052502A JP 2006052502 A JP2006052502 A JP 2006052502A JP 4473829 B2 JP4473829 B2 JP 4473829B2
Authority
JP
Japan
Prior art keywords
sound
signal
sound source
microphone array
frequency domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006052502A
Other languages
English (en)
Other versions
JP2007235358A (ja
Inventor
裕輔 日岡
和則 小林
賢一 古家
章俊 片岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2006052502A priority Critical patent/JP4473829B2/ja
Publication of JP2007235358A publication Critical patent/JP2007235358A/ja
Application granted granted Critical
Publication of JP4473829B2 publication Critical patent/JP4473829B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)

Description

本発明は音声通話や機器の操作などハンズフリー方式で音声を収音する収音装置に関し、特にとらえたい音声を発する所望音源以外の雑音源が多数存在する場合に大きく関係する。
図18は非特許文献1に記載されている雑音除去機能を持つ収音装置の構成を示す。従来技術では、M個のマイクロホンM〜Mを用いて、座標(p,q)の点にある所望音源1から発せられる音を信号、それ以外の点から発せられる音を雑音としたときに、信号だけを強調して高いSN比で収音する。はじめに座標(pm,qm)に配置したマイクロホンM〜Mで受音した信号xm(n)(m=1…M)に対し、式(1)のように遅延量Dと利得gを付加することにより信号y(n)を得る。
y(n)=gxm(n−D) (1)
このとき遅延量Dと利得gは、あらかじめ与えられた所望音源1の位置(p,q)から、それぞれ式(2)と式(3)により導出することができる。
Figure 0004473829
ここでr、rcはそれぞれ式(4)と式(5)で定義されるマイク−音源間距離および臨界距離であり、cは音速、VとTはそれぞれ室容積、室内の残響時間を示す。
Figure 0004473829
次にいま得られたy(n)を式(6)のように加算することで、所望音源1の位置から発せられる音を強調した信号z(n)が求められる。
Figure 0004473829
以上が従来の雑音除去法である。この従来技術を用いてより高いSN比で信号を収音するためには、マイクロホン数を増やし、またマイクロホン相互の間隔を大きく採らなければならないためマイクロホンアレーを大型にする必要がある。
野村博昭、金田豊、小島順治、"近接音場型マイクロホンアレー、"日本音響学会誌、Vol.53, No.2, pp.110-116, 1997
従来技術の雑音除去法を用いて、収音装置から見て同じ方向で距離が異なる点に配置された音源から発せられる音のうちどれかひとつを選択、強調して収音するためには、所望音源に対するマイクロホン相互の位置を大きく異ならせる必要があるために、大規模なマイクロホンアレーが必要である。従って使用に際して設置や運搬に大掛かりな作業が必要となるため利用範囲が限られていた。また従来技術では、処理によるSN比の向上量が実用においては不十分であった。一方、小規模なマイクロホンアレーを用いた従来技術では、その原理上、方向に関する識別能力しか持たないことから、同じ方向で距離が異なる点に配置された音源が発する音のうちどれかひとつだけを選択して収音することは不可能であった。
本発明の目的は以上の問題を解決するためになされたもので、設置、運搬が容易ながら、方向だけでなく距離に関する識別能力も備え、従来技術よりも高いSN比で所望音源からの音を収音する装置を実現することにある。
本発明による収音装置は第1のマイクロホンアレーの出力信号を利用して第1のマイクロホンアレーから所望音源位置を含む角度領域の音を収音する第1収音部と、第1のマイクロホンアレーの出力信号を利用して第1のマイクロホンアレーから前記所望音源位置を含まない角度領域の音を収音する第3収音部と、第1のマイクロホンアレーとは異なる位置に配置された第2のマイクロホンアレーの出力信号を利用して第2のマイクロホンアレーから前記所望音源位置を含む角度領域の音を収音する第2収音部と、第2のマイクロホンアレーの出力信号を利用して第2のマイクロホンアレーから前記所望音源位置を含まない角度領域の音を収音する第4収音部と、第1のマイクロホンアレーの出力信号と第2のマイクロホンアレーの出力信号を利用して第1のマイクロホンアレーと第2のマイクロホンアレーの中間点から前記所望音源位置を含む角度領域の音を収音する第5収音部と、第1のマイクロホンアレーの出力信号と第2のマイクロホンアレーの出力信号を利用して前記中間点から前記所望音源位置を含まない角度領域の音を収音する第6収音部と、第1乃至第6収音部で得られた各収音信号により前記所望音源の信号量と、その他の音源の信号量とを推定する音源信号成分推定部と、前記所望音源の信号量と、前記所望音源の信号量を含む全ての音源の信号量との比から利得係数を求める利得係数算出部と、利得係数算出部で算出した利得係数を所望音源の信号を主成分とする信号に乗算する乗算部とを備えることを特徴とする。
に、本発明による収音装置は前記記載の収音装置において、第1乃至第6収音部で得られた収音信号は周波数領域変換手段により周波数領域変換処理され、利得係数は周波数領域変換手段で変換された各周波数領域成分毎に算出し、算出した各周波数領域毎の利得係数を所望音源の信号を主成分とする信号の対応する周波数領域成分に乗算し、利得係数を乗算した周波数領域成分を逆周波数領域変換手段により時間領域信号に変換処理して出力することを特徴とする。
更に、本発明による収音装置は前記記載の収音装置において、信号量は信号のパワー値であることを特徴とする。
更に、本発明による収音装置は前記記載の収音装置において、信号量は信号の絶対値であることを特徴とする。
更に、本発明による収音装置は前記記載の収音装置において、利得係数算出部で算出す
る利得係数は前記所望音源号量に対して、前記その他の音源号量が無視できる程度に微少値である場合、所定の最大値で与えられ、前記その他の音源号量に対して、前記所望音源号量が無視できる程度に微少値である場合は0に近い値で与えられることを特徴とする。
更に、本発明による収音装置は前記記載の収音装置において、利得係数算出部の利得係
数算出特性を、前記その他の音源号量が前記所望音源号量より小さい領域では利得係数の値を前記所定の最大値または最大値に近い値に維持させ、前記その他の音源号量前記所望音源号量より大きい領域では利得係数の値を0または0に近い値に維持させる変化特性を備えることを特徴とする。
本発明による収音装置によれば、マイクロホンアレーから得られる信号を利用して、第1乃至第6収音部は主に所望音源位置を含む角度領域の音と、所望音源位置を含まない角度領域の音を収音する収音特性を得る構成、つまり指向性を設定する構成であるため、マイクロホン相互間の距離が小さくても収音を希望する角度領域の区別を付けることができる。この結果、マイクロホンアレーの形状を小型化することができる。
更に、本発明による収音装置によれば収音した信号は周波数領域分割され、周波数領域分割された各周波数領域毎に各音源信号の成分量を推定し、推定された各音源信号の成分量の比を求めてSN比に相当する各周波数領域毎の利得係数を算出する。この利得係数を所望音源の音を主成分とする音源信号の各周波数領域成分に乗算することにより、所望音源の音を主成分とする音源信号に含まれる他の音源信号の量を減衰させることができる。この結果、所望音源信号のみを強調して取り出すことができることになる。
更に本発明による収音装置によれば、それぞれのマイクロホンアレーの大きさが小規模であるため設置や運搬が容易でありながら、従来技術では不可能であった同じ方向で距離が異なる点に音源が配置されたような場合にも、どれかひとつだけを強調して収音することが可能となる。
本発明によるSN比の向上に関する効果を示すために後に説明する実施例1および実施例2のシミュレーションによる実験結果を示す。図14にシミュレーションにおける状況設定を示す。それぞれのマイクロホンアレーには5つのマイクロホンが直線上に4cmの等間隔で配置されており、それぞれ座標(単位はメートル。以下同様)(0.4,0)と(-0.4,0)にその中心が位置している。図14Aに示すケース1では所望音源1が(0,0.5)に、1つの背景雑音源2が(0,2.5)にそれぞれ配置されている。図14Bに示すケース2ではケース1の場合に加えて、(-1.6,2.5)と(1.6,2.5)の2点にもそれぞれ背景雑音源2が配置されている。
図15Aはケース1における所望音源1の信号、図15Bはマイクロホンで受音した信号、図15Cは実施例2の処理を行った後の信号を示している。また図16A、B、Cはそれぞれケース2における同様の信号を示している。図15及び図16どちらの場合でも処理前の信号に比べて、本発明の処理を行った信号のほうが所望音源の音に近く、所望音源1からの音が強調されて収音できていることが分かる。
次に図17は処理前の信号と処理後の信号におけるSN比改善量を示している。本発明を用いた場合のSN比改善量は13dB程度と従来技術と比べて10dB以上大きいことが分かる。また実施例2において、非線形処理を追加したことでSN比改善量が増加しており、本処理を追加した効果を確認することが出来る。
以上より本発明によれば、装置の設置、運搬が容易ながら、複数の音源が発する音のうちどれか1つを選択強調して収音することができることが分かる。また本発明を用いることで、収音時のSN比改善量は実用上十分な程度まで大きく向上することが分かる。
本発明による収音装置を実現するには全てをハードウェアによって構成することも可能であるが、最も簡素に実現するにはコンピュータに本発明によるプログラムをインストールし、コンピュータに本発明による収音装置として機能させる形態が最良の実施形態である。
コンピュータによって本発明による収音装置を実現するには、コンピュータにインストールした収音プログラムにより、コンピュータ内に少なくとも第1乃至第6収音部と、周波数領域変換部と、音源信号成分推定部と、利得係数算出部と、乗算部とを構築し、収音装置として機能させる。
図1に本発明の利用状況の一例を示す。2つの小規模マイクロホンアレー3L、3Rをある程度(例えばマイクロホンアレー3L、3Rと所望音源1までの距離と同程度の距離)離れた異なる位置に配置し、それぞれマイクロホンで受音された信号に対して以下で説明する処理を行なう。以下に説明する処理を行なうことにより所望音源1の音が強調されて収音され、背景雑音源2の音は抑圧される。
図2に本発明による収音装置の全体の構成を示す。この図2を用いて本発明による収音装置の概要を説明する。マイクロホンアレー3Lの各マイクロホンで生成された各受音信号はこの例では第1収音部4−1と第3収音部4−3に入力される。更に、マイクロホンアレー3Rの各マイクロホンで生成された各受音信号はこの例では第2収音部4−2と第4収音部4−4に入力される。マイクロホンアレー3Lと3Rの中央に位置するマイクロホンの信号が第5収音部4−5と第6収音部4−6に入力される。尚、両マイクロホンアレー3Lと3Rに搭載されるマイクロホンの数は必ずしも同数である必要はない。
第1収音部4−1〜第4収音部4−4は図4に示すように各マイクロホンの受音信号x1〜xmが入力されるM個のフィルタ処理部41と、これらM個のフィルタ処理部41の各出力信号を加算する加算部42とによって構成される。各フィルタ処理部41は例えばFIRフィルタ等で構成され、デジタル処理により収音信号に含まれる周波数成分毎に分析処理を行いマイクロホンアレー3Lと3Rの指向特性を設定する。このような技術は例えば大賀寿郎、山崎芳男、金田豊共著「音響システムとデジタル処理」平成7年3月25日社団法人電子情報通信学会発行に記載されており、周知の技術により実現することができる。
ここでは第1収音部4−1の指向特性及び第2収音部4−2の指向特性はマイクロホンアレー3L及び3Rのほぼ中央位置から図3に示す所望音源1の位置を含む角度領域ΘLとΘRを収音範囲とする特性に設定する。第3収音部4−3と第4収音部4−4の指向特性はマイクロホンアレー3Lと3Rのほぼ中央位置から図3に示す所望音源1の位置を含まない角度領域ΘL ̄とΘR ̄とを収音範囲とする特性に設定する。更に、第5収音部4−5の指向性はマイクロホンアレー3Lと3Rのほぼ中間位置から所望音源1の位置を含む角度領域ΘCを収音範囲とする特性に設定する。第6収音部4−6の指向性はマイクロホンアレー3Lと3Rのほぼ中間位置から所望音源1の位置を含まない角度領域Θ ̄Cの角度範囲を収音範囲とする特性に設定する。
第1乃至第6収音部4−1〜4−6の指向特性で収音された収音信号は周波数領域変換部5で周波数領域の信号に変換される。周波数領域への変換は入力された信号を短い時間長(例えばサンプリング周波数16000Hzの場合は256サンプル程度)のフレームに分解し、それぞれのフレームにおいて離散フーリエ変換を行なう。離散フーリエ変換は例えばFFT等と呼ばれている高速フーリエ変換等を用いることができる。周波数領域に変換された信号は複数の周波数領域成分に分割される。
周波数領域の信号に変換された収音信号は加算部6と音源信号成分推定部7とに入力される。加算部6へは第1収音部4−1と第2収音部4−2の出力信号を入力する。加算部6では周波数領域へ変換された各周波数領域の信号を同一周波数領域成分毎に加算する。
音源信号成分推定部7へは第1収音部4−1から第6収音部4−6の全ての出力信号を入力し、各周波数領域毎に各音源の信号量を推定する。各音源の信号量が推定できると、所望音源1の信号量対その他の音源の信号量との比つまりSN比を求めることができる。このSN比を各周波数領域毎に求め、このSN比を利得係数として乗算部9で加算部6から与えられる所望音源1の信号を主成分とする信号に各周波数領域毎に乗算することにより、所望音源1の信号を主成分とする信号に含まれる背景雑音成分を抑制することができる。乗算部9の乗算結果は逆周波数領域変換部10で時間領域信号に変換され、雑音除去後の信号として出力される。以上は本発明の概要である。
以下では各部の構成及び動作を詳細に説明する。図4は第1収音部乃至第4収音部4−1〜4−4の構成を示している。ここでは第1収音部4−1を例示して説明するが、同様の処理が第2収音部4−2、第3収音部4−3、第4収音部4−4でも行われる。これら第1収音部4−1〜4−4は所望音源1の位置を挟んでその両側の方向から所望音源位置を含む角度領域を収音範囲とする収音特性及び所望音源位置を含まない角度領域を収音範囲とする収音特性に設定されることからサイドビームフォーマーとして機能する。第1収音部4−1に入力された信号xLmL(n)(mL=1,2,…,ML)はフィルタ処理部41に入力される。フィルタ処理部41ではあらかじめ与えられた(決定方法は後述する)フィルタ係数wLmL(n)と入力信号xLmL(n)を、式(7)に示す畳み込み演算に代入して得られる信号x'LmL(n)を出力する。
Figure 0004473829
各フィルタ処理部41の出力信号は加算部42に入力される。加算部42では入力信号を式(8)のように加算し、第1収音部4−1の出力信号ySL(n)を得る。
Figure 0004473829
ここでフィルタ係数wLmL(n)は、第1収音部の指向特性DLSPB(ω,θ)が式(9)に示す特性を持つように、例えば最小二乗法などを利用して設計される。第2収音部、第3収音部、第4収音部についても同様に、式(10)から式(12)のそれぞれの条件を満たすように設計される。Θ、Θ ̄はそれぞれ、所望信号の周辺方向(例えば所望信号方向から±10°程度の範囲内の方向)、それ以外の方向、を示すものとする。また、式(9)〜(12)に示すD・・・・(ω,θ)は各収音部の指向特性を表わしている。
Figure 0004473829
第1収音部4−1はマイクロホンアレー3Lから見たときに、所望音源1の方向で発せられる音のみを強調して収音する。第3収音部はマイクロホンアレー3Lから見て、所望音源の方向以外で発せられる音のみを強調して収音する。第2収音部4−2はマイクロホンアレー3Rから見て、所望音源1の方向で発せられる音のみを強調して収音する。第4収音部4−4はマイクロホンアレー3Rから見て、所望音源1の方向以外で発せられる音のみを強調して収音する。
図5は正面ビームフォーマーとして機能する第5収音部4−5と第6収音部4−6における処理の流れを示している。正面ビームフォーマーにはマイクロホンアレー3Lの中心に配置されたマイクロホンで受音された信号xL(ML/2)(n)と、マイクロホンアレー3Rの中心に配置されたマイクロホンで受音された信号xR(MR/2)(n)が入力され、それぞれフィルタ処理部51と52に入力される。フィルタ処理部51と52では入力された信号xL(ML/2)(n)とxR(MR/2)(n)に、式(13)と式(14)に示すようなあらかじめ与えられたフィルタ係数wC(ML/2)(n)、wC(MR/2)(n)を畳み込んだ出力x'L(ML/2)(n)、x'R(MR/2)(n)を出力する。
Figure 0004473829
ここでフィルタ係数wC(ML/2)(n)、wC(MR/2)(n)は位相特性が同じものが望ましく、例えば単一インパルス信号
Figure 0004473829
が用いられる。第5収音部4−5ではフィルタ処理部51と52の出力信号x'L(ML/2)(n)とx'R(MR/2)(n)を加算部53に入力する。加算部53では入力された信号を式(16)のように加算して、信号ySC(n)を出力する。これにより第5収音部4−5では、マイクロホンアレー3Lとマイクロホンアレー3Rの間の中間点から見て、所望音源1の方向で発せられる音のみを強調して収音する。
ySC(n)=x'L(ML/2)(n)+x'R(MR/2)(n) (16)
第6収音部4−6ではフィルタ処理部51と52の出力信号x'L(ML/2)(n)とx'R(MR/2)(n)を減算部54に入力する。減算部54では入力された信号を式(17)のように減算して、信号yNC(n)を出力する。したがって第6収音部4−6では、マイクロホンアレー3Lとマイクロホンアレー3Rの間の中間点から見て、所望音源1の方向以外で発せられる音のみを強調して収音する。
yNC(n)=x'L(ML/2)(n)−x'R(MR/2)(n) (17)
図6は音源信号成分推定部7における処理の流れを示している。音源信号成分推定部7に入力される周波数成分YSL(ω,l)、YNL(ω,l)、YSC(ω,l)、YNC(ω,l)、YSR(ω,l)、YNR(ω,l)はそれぞれパワー演算部61に入力され、信号のパワー値|YSL(ω,l)|2、|YNL(ω,l)|2、|YSC(ω,l)|2、|YNC(ω,l)|2、|YSR(ω,l)|2、|YNR(ω,l)|2が出力され、ベクトル化部62に入力される。ベクトル化部62では、入力された第1乃至第6収音部4−1〜4−6の各出力信号のパワー値を式(18)のようにベクトル形式でまとめた、パワーベクトルY*(ω,l)を出力する。尚、添字*付の文字及び式中の大文字はベクトルを表わす。
Figure 0004473829
パワーベクトルY*(ω,l)は乗算部63に入力される。乗算部63のもう一方の入力であるパワー推定行列T*は、擬似逆行列演算部64の出力信号である。擬似逆行列演算部64には式(19)により定義されるゲイン行列T*が入力され、その擬似逆行列T*を出力する。
Figure 0004473829
ゲイン逆行列T*の各要素は、第5収音部4−5と第6収音部4−6及び第1収音部4−1〜第4収音部4−4に設定されるΘx方向またはΘx ̄方向に対する指向特性のゲインであり、例えば式(20)から式(23)に示すような指向特性の周波数および方向に関する平均値を用いる。
Figure 0004473829
αxは所望音の周辺方向に対する第1、第2、第5収音部4−1、4−2、4−5に設定する指向特性の平均値である。βxは所望信号の周辺方向に対する第1、第2、第5の収音部4−1、4−2、4−5に設定する指向特性の平均値である。γxは所望信号の周辺方向に対する、第3、第4、第6収音部4−3、4−4、4−6に設定する指向特性の平均値である。δxは所望信号の周辺方向以外に対する、第3、第4、第6収音部4−3、4−4、4−6に設定する指向特性の平均値である。尚、(20)〜(23)式中添字xはR、C、Lの何れかを表わす。
乗算部は式(24)に示すように入力されたビームフォーマー出力パワーベクトルとパワー推定行列の乗算を周波数成分ごとに行い、推定信号パワーベクトルX*opt(ω,l)を出力する。
Figure 0004473829
図7は利得係数算出8における処理の流れを示している。図6に示した音源信号成分推定部7より入力された推定信号パワーベクトルX*opt(ω,l)はベクトル要素抽出部81に入力される。ベクトル要素抽出部81では式(25)に示すように、入力された推定信号パワーベクトルの第1成分を推定信号パワー|S(ω,l)|2、第2成分を推定左方向雑音パワー|NL(ω,l)|2、第3成分を推定正面方向雑音パワー|NC(ω,l)|2、第4成分を推定右方向雑音パワー|NR(ω,l)|2としてそれぞれ出力し、それらはSN比推定部82に入力される。
Figure 0004473829
SN比推定部82では式(26)を用いて推定SN比ESNR(ω,l)を計算する。
Figure 0004473829
SN比推定部82の出力である推定SN比ESNR(ω,l)が利得係数R(ω,l)として出力される。
式(26)で求めた利得係数R(ω,l)は図8に示すように、雑音成分Nx=|NL(ω,l)|2+|NC(ω,l)|2+|NR(ω,l)|2と所望信号Sx=|S(ω,l)|2との関係がNx>>Sxである場合は利得係数R(ω,l)≒0となり、Nx<<Sxの場合はR(ω,l)≒1、つまり、所定の最大値となる。利得係数R(ω,l)は周波数領域毎に算出される。従って雑音の混入量が少ない周波数領域では利得係数R(ω,l)は「1」に近い値となり、所望信号成分はそのまま出力される。また雑音の混入量が多い周波数領域では利得係数R(ω,l)は「0」に近い値となり、その周波数領域の信号成分は大きく減衰され、雑音量を抑制する。このように各周波数領域毎に利得係数R(ω,l)を加算部6から与えられる所望信号を主成分とする信号YS(ω,l)に乗算することにより、各周波数領域毎に雑音成分が抑圧され、逆周波数領域変換部10で時間領域に変換された信号のSN比を向上することができる。
ここで本発明により所望音を選択強調した収音が可能になる原理について説明する。各収音部4−1〜4〜6が出力する信号のパワーベクトルY*(ω,l)の各要素となる、各収音信号の出力パワーは、式(27)から式(32)にそれぞれ示すように、マイクロホンアレーが受音した信号Xθ(ω,l)のパワーにその信号の音源方向および周波数に基づく指向特性が乗算された形で近似することができる。ただしここで各音源の発する音は互いに無相関とし、すべてのマイクロホンにおいて音は同レベルで受音されると仮定している。
Figure 0004473829
いま音源の位置を図3に示すように所望音源1とそれ以外の3つの背景雑音源2R、2C、2Lに分けて考え、信号Xθ(ω,l)はS^(ω,l)、N^L(ω,l)、N^C(ω,l)、N^R(ω,l)のいずれかに含まれるとする。このとき式(9)から式(12)の範囲の下で設計された各収音部の指向特性はΘまたはΘ ̄の角度領域内で一様であると仮定すると、Y*(ω,l)は式(33)により表される。本実施例では各角度領域に対する指向特性の代表値として式(20)から式(23)により求めた指向特性の平均値を用いている。
Figure 0004473829
以上の関係より、あらかじめ与えられているT*の擬似逆行列T*を左側からビームフォーマー出力パワーベクトルY*(ω,l)にかけることで、X*(ω,l)の推定値である推定信号パワーベクトルX*opt(ω,l)が求められる。
Figure 0004473829
第2の実施例は、実施例1の利得係数算出部8における手順に変更を加えたものである。図9は第2の実施例において用いられる利得係数算出部8の処理手順を示したものである。実施例1における利得係数算出部8との相違点は非線形処理部83が追加された点である。非線形処理部83では所望音声と背景雑音の区別を強調するため、入力された推定SN比に0から1の間で変動する非線形関数Z(ω,l)を乗算した計算結果であるR(ω,l)を出力する。ここで非線形関数Z(ω,l)はあらかじめ与えられているもので、ESNR(ω,l)が大きい領域では1または1に近い値を維持し、SN比ESNR(ω,l)が小さい領域では0または0に近い値を維持する関数で、たとえば式(35)に示すハイポブリックタンジェントや式(36)に示す対数関数と組み合わせたものなどが用いられる。図10に非線形関数Z(ω,l)の一例を示す。
Figure 0004473829
ここでρ、νは非線形関数の特性を変化させるパラメータで任意に設定される。これ以外の部分に関しては実施例1と同様であるので説明を省略する。図10に示した非線形特性によれば、所望音声が優勢な周波数領域ではその周波数成分を強調し、背景雑音が優勢な周波数領域ではその周波数成分を抑圧することができ、本発明によるSN比改善量を向上させる効果がある。
第3の実施例は、実施例1の音源信号成分推定部7と利得係数算出部8における手順に変更を加えたものである。第3の実施例において用いられる音源信号成分推定部7の構成を図11に、利得係数算出部8の構成を図12にそれぞれ示す。音源信号成分推定部7に入力される周波数成分YSL(ω,l)、YNL(ω,l)、YSC(ω,l)、YNC(ω,l)、YSR(ω,l)、YNR(ω,l)はそれぞれ絶対値演算部61’に入力され、信号の絶対値|YSL(ω,l)|、|YNL(ω,l)|、|YSC(ω,l)|、|YNC(ω,l)|、|YSR(ω,l)|、|YNR(ω,l)|が出力され、ベクトル化部62に入力される。ベクトル化部62では、入力された信号を式(37)に示す絶対値ベクトルY*(ω,l)を出力する。
Figure 0004473829
絶対値ベクトルは乗算部63に入力される。乗算部63のもう一方の入力である絶対値推定行列T*は、擬似逆行列演算部64の出力信号である。擬似逆行列演算部64は入力されたゲイン行列T*の擬似逆行列T*を出力する。ゲイン行列T*は正面ビームフォーマー部として機能する第5,第6収音部4−5、4−6及びサイドビームフォーマー部として機能する第1乃至第4収音部4−1〜4−4に設けたフィルタ処理部41(図4参照)において用いられたフィルタ係数から計算される指向特性のゲイン量から式(38)により定義され、事前に与えられる。
Figure 0004473829
乗算部63は入力されたビームフォーマー出力パワーベクトルとパワー推定行列の乗算を周波数成分ごとに行い、推定信号絶対値ベクトルX*opt(ω,l)を出力する。
次にベクトル要素抽出部81では式(39)に示すように入力された推定信号絶対値ベクトルの第1成分を推定信号絶対値|S(ω,l)|、第2成分を推定左方向雑音絶対値|NL(ω,l)|、第3成分を推定正面方向雑音絶対値|NC(ω,l)|、第4成分を推定右方向雑音絶対値|NR(ω,l)|としてそれぞれ出力し、それらはSN比推定部82に入力される。
Figure 0004473829
SN比推定部82では式(40)を用いて推定SN比ESNR(ω,l)を計算する。
Figure 0004473829
これら以外の部分に関しては第1の実施例と同じであるのでこれ以上の説明を省略する。この第3の実施例によれば実施例1に比べて2乗計算をする必要が無いことから演算量を削減することができる。
なおこの実施例3は実施例2の信号源成分推定部7と利得係数算出部8に対しても適用することができる。図13は実施例2に本実施例3の変更を加えた場合の利得係数算出部8の構成を示す。
以上説明した本発明による収音装置は全てをハードウェアによって構成することも可能であるが、最も簡素に実現するには上述した各手順をコンピュータが解読可能なプログラム言語によって記述した本発明による収音プログラムを作成し、この収音プログラムをコンピュータにインストールし、コンピュータに収音プログラムを実行させ、コンピュータに収音装置として機能させる実施例が最良である。本発明による収音プログラムはコンピュータが読み取り可能な例えば磁気媒体、CD-ROM、半導体メモリ等の記録媒体に記録され、これらの記録媒体から、或いは通信回線を通じてコンピュータにインストールされる。インストールされた収音プログラムはコンピュータに備えられたCPUにより解読され、コンピュータを収音装置として機能させる。
本発明による収音装置は例えば電話会議システム等のハンズフリー通話装置の分野で活用される。
本発明の概要を説明するための配置図。 本発明による収音装置の全体を説明するためのブロック図。 本発明に用いる第1〜第6収音部の指向性を説明するための平面図。 本発明に用いるサイドビームフォーマー部として機能する第1〜第4収音部の構成を説明するためのブロック図。 本発明に用いる正面ビームフォーマー部として機能する第5及び第6収音部の構成を説明するためのブロック図。 本発明に用いる音源信号成分推定部の構成を説明するためのブロック図。 本発明に用いる利得係数算出部の構成を説明するためのブロック図。 図7に示した利得係数算出部で算出した利得係数の例を説明するためのグラフ。 図7に示した利得係数算出部の変形例を説明するためのブロック図。 図7に示した利得係数算出部で得られる利得係数の特性の一例を説明するためのグラフ。 図6に示した音源信号成分推定部の変形例を説明するためのブロック図。 図11に示した音源信号成分推定部で得られた推定値を利用して利得係数を算出する利得係数算出部の構成を説明するためのブロック図。 図12に示した利得係数算出部に図9に示した利得係数算出部を適用した実施例を説明するためのブロック図。 本発明の効果を確認するためのシミュレーションの適用例を説明するためのAは背景雑音源が1個の場合、Bは背景雑音源が3個の場合を説明するための配置図。 Aは図14Aに示したシミュレーションの効果を説明するための所望音源の信号波形図、Bは所望音源信号に背景雑音が重畳した場合の波形図、Cは本発明の収音装置で収音処理した効果を表わす波形図。 Aは図14Bに示したシミュレーションの結果を説明するための所望音源の信号波形図、Bは所望音源信号に背景雑音が重畳した波形図、Cは本発明の収音装置で収音処理した結果を表わす波形図。 本発明の効果を説明するためのグラフ。 従来技術を説明するためのブロック図。
符号の説明
1 所望音源 5 周波数領域変換部
2 背景雑音源 6 加算部
3L、3R マイクロホンアレー 7 音源信号成分推定部
4−1 第1収音部 8 利得係数算出部
4−2 第2収音部 9 乗算部
4−3 第3収音部 10 逆周波数領域変換部
4−4 第4収音部
4−5 第5収音部
4−6 第6収音部

Claims (8)

  1. 第1のマイクロホンアレーの出力信号を利用して前記第1のマイクロホンアレーから所望音源位置を含む角度領域の音を収音する第1収音部と、
    前記第1のマイクロホンアレーの出力信号を利用して前記第1のマイクロホンアレーから前記所望音源位置を含まない角度領域の音を収音する第3収音部と、
    前記第1のマイクロホンアレーとは異なる位置に配置された第2のマイクロホンアレーの出力信号を利用して前記第2のマイクロホンアレーから前記所望音源位置を含む角度領域の音を収音する第2収音部と、
    前記第2のマイクロホンアレーの出力信号を利用して前記第2のマイクロホンアレーから前記所望音源位置を含まない角度領域の音を収音する第4収音部と、
    前記第1のマイクロホンアレーの出力信号と前記第2のマイクロホンアレーの出力信号を利用して前記第1のマイクロホンアレーと前記第2のマイクロホンアレーの中間点から前記所望音源位置を含む角度領域の音を収音する第5収音部と、
    前記第1のマイクロホンアレーの出力信号と前記第2のマイクロホンアレーの出力信号を利用して前記中間点から前記所望音源位置を含まない角度領域の音を収音する第6収音部と、
    前記第1乃至第6収音部で得られた各収音信号により前記所望音源の信号量と、その他の音源の信号量とを推定する音源信号成分推定部と、
    前記所望音源の信号量と、前記所望音源の信号量を含む全ての音源の信号量との比から利得係数を求める利得係数算出部と、
    前記利得係数算出部で算出した利得係数を所望音源の信号を主成分とする信号に乗算する乗算部と、
    を備えることを特徴とする収音装置。
  2. 請求項1に記載の収音装置において
    前記第1乃至第6収音部で得られた収音信号は周波数領域変換手段により周波数領域変換処理され
    前記利得係数は前記周波数領域変換手段で変換された各周波数領域成分毎に算出し
    算出した各周波数領域毎の利得係数を所望音源の信号を主成分とする信号の各対応す
    る周波数領域成分に乗算し、
    前記利得係数を乗算した前記周波数領域成分を逆周波数領域変換手段により時間領域信号に変換処理して出力することを特徴とする収音装置。
  3. 請求項1又は2の何れかに記載の収音装置において
    前記信号量は信号のパワー値であることを特徴とする収音装置。
  4. 請求項1又は2の何れかに記載の収音装置において
    前記信号量は信号の絶対値であることを特徴とする収音装置。
  5. 請求項1乃至の何れかに記載の収音装置において
    前記利得係数算出部で算出する利得係数は前記所望音源号量に対して、前記その他の音源号量が無視できる程度に微少値である場合、所定の最大値で与えられ、前記その他の音源号量に対して、前記所望音源号量が無視できる程度に微少値である場合は0に近い値で与えられることを特徴とする収音装置。
  6. 請求項1乃至の何れかに記載の収音装置において
    前記利得係数算出部の利得係数算出特性を、前記その他の音源号量が前記所望音源号量より小さい領域では前記利得係数の値を前記所定の最大値または最大値に近い値に維持させ、前記その他の音源号量前記所望音源号量より大きい領域では前記利得係数の値を0または0に近い値に維持させる変化特性を備えることを特徴とする収音装置。
  7. コンピュータが解読可能なプログラム言語によって記述され、コンピュータ請求項1
    乃至6の何れかに記載の収音装置として機能させるプログラム。
  8. コンピュータが読み取り可能な記録媒体によって構成され、この記録媒体に請求項7に記載のプログラムを記録した記録媒体。
JP2006052502A 2006-02-28 2006-02-28 収音装置、プログラム及びこれを記録した記録媒体 Expired - Fee Related JP4473829B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006052502A JP4473829B2 (ja) 2006-02-28 2006-02-28 収音装置、プログラム及びこれを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006052502A JP4473829B2 (ja) 2006-02-28 2006-02-28 収音装置、プログラム及びこれを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2007235358A JP2007235358A (ja) 2007-09-13
JP4473829B2 true JP4473829B2 (ja) 2010-06-02

Family

ID=38555527

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006052502A Expired - Fee Related JP4473829B2 (ja) 2006-02-28 2006-02-28 収音装置、プログラム及びこれを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP4473829B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4886616B2 (ja) * 2007-06-25 2012-02-29 日本電信電話株式会社 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体
JP2017181761A (ja) * 2016-03-30 2017-10-05 沖電気工業株式会社 信号処理装置及びプログラム、並びに、ゲイン処理装置及びプログラム
JP6763332B2 (ja) * 2017-03-30 2020-09-30 沖電気工業株式会社 収音装置、プログラム及び方法
WO2020066542A1 (ja) * 2018-09-26 2020-04-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音響オブジェクト抽出装置及び音響オブジェクト抽出方法
JP2021033030A (ja) * 2019-08-23 2021-03-01 沖電気工業株式会社 音声処理装置
CN112735461B (zh) * 2020-12-29 2024-06-07 西安讯飞超脑信息科技有限公司 拾音方法以及相关装置、设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2822713B2 (ja) * 1991-09-04 1998-11-11 松下電器産業株式会社 収音装置
JP3548706B2 (ja) * 2000-01-18 2004-07-28 日本電信電話株式会社 ゾーン別収音装置
JP4286637B2 (ja) * 2002-11-18 2009-07-01 パナソニック株式会社 マイクロホン装置および再生装置
JP4247037B2 (ja) * 2003-01-29 2009-04-02 株式会社東芝 音声信号処理方法と装置及びプログラム
JP4594629B2 (ja) * 2004-02-19 2010-12-08 学校法人早稲田大学 音源分離方法およびそのシステム
US8189806B2 (en) * 2005-11-01 2012-05-29 Panasonic Corporation Sound collection apparatus

Also Published As

Publication number Publication date
JP2007235358A (ja) 2007-09-13

Similar Documents

Publication Publication Date Title
KR101339592B1 (ko) 음원 분리 장치, 음원 분리 방법, 및 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
JP4724054B2 (ja) 特定方向収音装置、特定方向収音プログラム、記録媒体
JP4957810B2 (ja) 音処理装置、音処理方法及び音処理プログラム
JP4473829B2 (ja) 収音装置、プログラム及びこれを記録した記録媒体
JP5079761B2 (ja) 直間比推定装置、音源距離測定装置、雑音除去装置、各装置の方法と、装置プログラム
CN106558315B (zh) 异质麦克风自动增益校准方法及系统
JP2006313997A (ja) 騒音量推定装置
JP5060465B2 (ja) 収音装置、収音方法、収音プログラム、記録媒体
JPWO2015129760A1 (ja) 信号処理装置、方法及びプログラム
JP4928382B2 (ja) 特定方向収音装置、特定方向収音方法、特定方向収音プログラム、記録媒体
JP2019004465A (ja) 収音装置、及び収音方法
JP4886616B2 (ja) 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体
JP4928376B2 (ja) 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体
JP4568193B2 (ja) 収音装置とその方法とそのプログラムとその記録媒体
JP2004078021A (ja) 収音方法、収音装置、および収音プログラム
JP3424761B2 (ja) 音源信号推定装置および方法
JP4051325B2 (ja) 話者位置検出方法、装置、プログラム、および記録媒体
JP5524316B2 (ja) パラメータ推定装置、エコー消去装置、パラメータ推定方法、及びプログラム
CN111755021A (zh) 基于二元麦克风阵列的语音增强方法和装置
JP2017083566A (ja) 雑音抑圧装置、雑音抑圧方法、およびプログラム
JP5937451B2 (ja) エコー消去装置、エコー消去方法及びプログラム
JP6863004B2 (ja) 収音装置、プログラム及び方法
JP7252779B2 (ja) 雑音除去装置、雑音除去方法およびプログラム
CN116504264B (zh) 音频处理方法、装置、设备及存储介质
JP2005257748A (ja) 収音方法、収音装置、収音プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100223

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100305

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4473829

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees