JP6065030B2 - 収音装置、プログラム及び方法 - Google Patents
収音装置、プログラム及び方法 Download PDFInfo
- Publication number
- JP6065030B2 JP6065030B2 JP2015000531A JP2015000531A JP6065030B2 JP 6065030 B2 JP6065030 B2 JP 6065030B2 JP 2015000531 A JP2015000531 A JP 2015000531A JP 2015000531 A JP2015000531 A JP 2015000531A JP 6065030 B2 JP6065030 B2 JP 6065030B2
- Authority
- JP
- Japan
- Prior art keywords
- target area
- area sound
- sound
- amplitude spectrum
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本発明は、収音装置及びプログラムに関し、例えば、特定のエリアの音を強調し、それ以外のエリアの音を抑制する収音装置及びプログラムに適用し得るものである。
従来、複数の音源が存在する環境下において、ある特定の方向(以下、「目的方向」とも呼ぶ)の音のみ分離し収音する技術として、マイクロホンアレイを用いたビームフォーマ(Beam Former;以下BF)がある(非特許文献1参照)。BFとは、各マイクロホンに到達する信号の時間差を利用して指向性を形成する技術である。
従来のBFは、加算型と減算型の大きく2つの種類に分けられる。特に減算型BFは、加算型BFに比べ、少ないマイクロホン数で指向性を形成できるという利点がある。従来の減算型BFを適用した装置としては特許文献1に記載されたものがある。
以下では、従来の減算型BFの構成例について説明する。
図12は、従来の減算型BFを適用した収音装置PSの構成例について示した説明図である。
図12に示す収音装置PSは、2個のマイクロホンM1、M2を用いて構成されたマイクロホンアレイMAの出力から目的音(目的方向の音)を抽出するものである。
図12では、マイクロホンM1、M2で捕捉した音の信号を、それぞれx1(t)、x2(t)と示している。また、図12に示す収音装置PSは、遅延器DEL及び減算器SUBを有している。
遅延器DELは、各マイクロホンM1、M2に到来する信号x1(t)とx2(t)の時間差τLを算出し、遅延を加えることで目的音の位相差を合せる。以下では、x1(t)に時間差τL分の遅延を加えた信号をx1(t−τL)と表す。
遅延器DELは、以下の(1)式により時間差τLを算出する。以下の(1)式において、dはマイクロホンM1、M2の間の距離、cは音速、τiは遅延量を示している。また、以下の(1)式において、θLは、各マイクロホンM1、M2を結んだ直線に対する垂直方向から目的方向への角度を示している。
τL=(dsinθL)/c …(1)
τL=(dsinθL)/c …(1)
ここで、死角が、マイクロホンM1、M2の中心(中点)に対し、マイクロホンM1の方向に存在する場合、マイクロホンM1の入力信号x1(t)に対し遅延処理を行う。減算器SUBは、例えば、以下の(2)式により、x2(t)からx1(t−τL)を減算する処理を行う。
α(t)=x2(t)−x1(t−τL) …(2)
α(t)=x2(t)−x1(t−τL) …(2)
減算器SUBは、周波数領域で減算処理を行うこともできる。その場合、上記の(2)式は、以下の(3)式のように示すことができる。
A(ω)=X2(ω)−e-jωτLX1(ω) …(3)
A(ω)=X2(ω)−e-jωτLX1(ω) …(3)
ここで、θL=±π/2の場合、マイクロホンアレイMAにより形成される指向性は図13(A)に示すように、カージオイド型の単一指向性となる。一方、θL=0,πの場合、マイクロホンアレイMAにより形成される指向性は、図13(B)のような8の字型の双指向性となる。以下では、入力信号から単一指向性を形成するフィルタを単一指向性フィルタ、双指向性を形成するフィルタを双指向性フィルタと呼称する。また、減算器SUBでは、スペクトル減算法(Spectral Subtraction)の処理(以下、単に「SS」とも呼ぶ)を用いることで、双指向性の死角に強い指向性を形成することもできる。
減算器SUBは、SSによる指向性の形成を行う場合、以下の(4)式を用いて減算処理を行うことができる。以下の(4)式では、マイクロホンM1の入力信号X1を用いているが、マイクロホンM2の入力信号X2でも同様の効果を得ることができる。以下の(4)式において、βはSSの強度を調節するための係数である。減算器SUBは、以下の(4)式を用いて減算処理を行った結果値がマイナスなった場合、0または元の値を小さくした値に置き換える処理(フロアリング処理)を行うようにしてもよい。減算器SUBでは、SS法により減算処理を行うことにより、目的エリアの方向以外に存在する音を抽出し、抽出した音(目的エリアの方向以外に存在する音)の振幅スペクトルを入力信号の振幅スペクトルから減算することで、目的エリア音を強調することができる。
|Y(ω)|=|X1(ω)|−β|A(ω)| …(4)
|Y(ω)|=|X1(ω)|−β|A(ω)| …(4)
従来の収音装置において、ある特定のエリア内に存在する音(以下、「目的エリア音」と呼ぶ)だけを収音したい場合、減算型BFを用いるだけでは、その目的エリアの周囲に存在する音源の音(以下、「非目的エリア音」と呼ぶ)も収音してしまう可能性がある。
そこで特許文献1では、例えば、図14に示すように、複数のマイクロホンアレイを用い、それぞれ別々の方向から目的エリアへ指向性を向け、指向性を目的エリアで交差させることで目的エリア音を収音する処理(以下、「目的エリア音収音処理」と呼ぶ)が提案されている。この手法では、まず各マイクロホンアレイのBF出力に含まれる目的エリア音のパワーの比率を推定し、それを補正係数としている。
図14では、2つのマイクロホンアレイMA1、MA2を用いて、目的エリア音を収音する従来技術の例について示している。2つのマイクロホンアレイMA1、MA2を用いて目的エリア音を音源とする目的エリア音を収音する場合、目的エリア音パワーの補正係数は、例えば、以下の(5)、(6)式、又は、以下の(7)、(8)式により算出される。
上記の(5)〜(8)式において、Y1k(n)、Y2k(n)はマイクロホンアレイMA1、MA2のBF出力の振幅スペクトル、Nは周波数ビンの総数、kは周波数、α1(n)、α2(n)は各BF出力に対するパワー補正係数を表している。また、(5)〜(8)式において、modeは最頻値、medianは中央値を表している。その後、補正係数により各BF出力を補正し、SSすることで、目的方向に存在する非目的エリア音を抽出することができる。さらに、抽出した非目的エリア音を各BFの出力からSSすることにより目的エリア音を抽出することができる。マイクロホンアレイMA1からみた目的方向に存在する非目的エリア音N1(n)を抽出するには、以下の(9)式に示すように、マイクロホンアレイMA1のBF出力Y1(n)からマイクロホンアレイMA2のBF出力Y2(n)にパワー補正係数α2を掛けたものをSSする。同様に以下の(10)式に従い、マイクロホンアレイMA2からみた目的方向に存在する非目的エリア音N2(n)を抽出する。
N1(n)=Y1(n)−α2(n)Y2(n) …(9)
N2(n)=Y2(n)−α1(n)Y1(n) …(10)
N1(n)=Y1(n)−α2(n)Y2(n) …(9)
N2(n)=Y2(n)−α1(n)Y1(n) …(10)
その後、(11)、(12)式に従い、各BF出力Y1(n)、Y2(n)から非目的エリア音をSSして目的エリア音収音信号Z1(n)、Z2(n)を抽出する。なお、以下の(11)、(12)式において、γ1(n)、γ2(n)はSS時の強度を変更するための係数である。
Z1(n)=Y1(n)−γ1(n)N1(n) …(11)
Z2(n)=Y2(n)−γ2(n)N2(n) …(12)
Z1(n)=Y1(n)−γ1(n)N1(n) …(11)
Z2(n)=Y2(n)−γ2(n)N2(n) …(12)
以上のように、特許文献1の記載技術を用いれば、目的とするエリアの周囲に非目的エリア音が存在していても、目的エリア音の収音処理を行うことができる。
浅野太著,"音響テクノロジーシリーズ16 音のアレイ信号処理−音源の定位・追跡と分離−",日本音響学会編,コロナ社,2011年2月25日発行
しかしながら、特許文献1の記載技術を用いても、背景雑音が強い場合(例えば、目的エリアがイベント会場など人が多い場所や、周囲で音楽などが流れている場所である場合等)、目的エリア音収音処理では消しきれない雑音が原因で、ミュージカルノイズなど耳障りな異音が発生する。従来の収音装置において、これらの異音は、目的エリア音によりある程度マスキングされるが、目的エリア音が存在しない場合は、異音だけが聞こえるため、聴取者を不快にする恐れがある。
そのため、目的音の音源の周囲で強い背景雑音が存在する場合でも背景雑音成分の収音を抑制する収音装置、プログラム及び方法が望まれている。
第1の本発明の収音装置は、(1)マイクロホンアレイの出力に対して、目的エリアの方向に指向性を形成する指向性形成手段と、(2)上記指向性形成手段の出力から、目的エリアの方向に存在する非目的エリア音を抽出し、上記指向性形成手段の出力から抽出した非目的エリア音の成分を抑圧して目的エリア音を抽出する目的エリア音抽出手段と、(3)上記目的エリア音抽出手段の出力から振幅スペクトルを算出し、当該振幅スペクトルと上記マイクロホンアレイの入力信号の振幅スペクトルとを用いて周波数ごとの振幅スペクトル比を算出し、各周波数の振幅スペクトル比を加算して振幅スペクトル比加算値を算出する振幅スペクトル比算出手段と、(4)上記指向性形成手段の出力から周波数ごとのコヒーレンスを算出し、各周波数のコヒーレンスを加算してコヒーレンス加算値を算出するコヒーレンス算出手段と、(5)上記コヒーレンス算出手段で算出したコヒーレンス加算値と、上記振幅スペクトル比算出手段で算出した振幅スペクトル比加算値とを用いて、目的エリア音の存在の有無を判定するエリア音判定手段と、(6)上記エリア音判定手段により目的エリア音が存在すると判定された場合には、上記目的エリア音抽出手段が抽出した目的エリア音を出力し、上記エリア音判定手段により目的エリア音が存在しないと判定された場合には、上記目的エリア音抽出手段が抽出した目的エリア音を出力しない出力手段とを有することを特徴とする。
第2の本発明の収音装置は、コンピュータを、(1)マイクロホンアレイの出力に対して、目的エリアの方向に指向性を形成する指向性形成手段と、(2)上記指向性形成手段の出力から、目的エリアの方向に存在する非目的エリア音を抽出し、上記指向性形成手段の出力から抽出した非目的エリア音の成分を抑圧して目的エリア音を抽出する目的エリア音抽出手段と、(3)上記目的エリア音抽出手段の出力から振幅スペクトルを算出し、当該振幅スペクトルと上記マイクロホンアレイの入力信号の振幅スペクトルとを用いて周波数ごとの振幅スペクトル比を算出し、各周波数の振幅スペクトル比を加算して振幅スペクトル比加算値を算出する振幅スペクトル比算出手段と、(4)上記指向性形成手段の出力から周波数ごとのコヒーレンスを算出し、各周波数のコヒーレンスを加算してコヒーレンス加算値を算出するコヒーレンス算出手段と、(5)上記コヒーレンス算出手段で算出したコヒーレンス加算値と、上記振幅スペクトル比算出手段で算出した振幅スペクトル比加算値とを用いて、目的エリア音の存在の有無を判定するエリア音判定手段と、(6)上記エリア音判定手段により目的エリア音が存在すると判定された場合には、上記目的エリア音抽出手段が抽出した目的エリア音を出力し、上記エリア音判定手段により目的エリア音が存在しないと判定された場合には、上記目的エリア音抽出手段が抽出した目的エリア音を出力しない出力手段として機能させることを特徴とする。
第3の本発明は、収音装置が行う収音方法において、(1)指向性形成手段、目的エリア音抽出手段、振幅スペクトル比算出手段、コヒーレンス算出手段、エリア音判定手段、及び出力手段を有し、(2)上記指向性形成手段は、マイクロホンアレイの出力に対して、目的エリアの方向に指向性を形成し、(3)上記目的エリア音抽出手段は、上記指向性形成手段の出力から、目的エリアの方向に存在する非目的エリア音を抽出し、上記指向性形成手段の出力から抽出した非目的エリア音の成分を抑圧して目的エリア音を抽出し、(4)上記振幅スペクトル比算出手段は、上記目的エリア音抽出手段の出力から振幅スペクトルを算出し、当該振幅スペクトルと上記マイクロホンアレイの入力信号の振幅スペクトルとを用いて周波数ごとの振幅スペクトル比を算出し、各周波数の振幅スペクトル比を加算して振幅スペクトル比加算値を算出し、(5)上記コヒーレンス算出手段は、上記指向性形成手段の出力から周波数ごとのコヒーレンスを算出し、各周波数のコヒーレンスを加算してコヒーレンス加算値を算出し、(6)上記エリア音判定手段は、上記コヒーレンス算出手段で算出したコヒーレンス加算値と、上記振幅スペクトル比算出手段で算出した振幅スペクトル比加算値とを用いて、目的エリア音の存在の有無を判定し、(7)上記出力手段は、上記エリア音判定手段により目的エリア音が存在すると判定された場合には、上記目的エリア音抽出手段が抽出した目的エリア音を出力し、上記エリア音判定手段により目的エリア音が存在しないと判定された場合には、上記目的エリア音抽出手段が抽出した目的エリア音を出力することを特徴とする。
本発明によれば、目的音の音源の周囲で強い背景雑音が存在する場合でも背景雑音成分の収音を抑制することができる。
(A)第1の実施形態
以下、本発明による音声処理装置、プログラム及び方法の第1の実施形態を、図面を参照しながら詳述する。
以下、本発明による音声処理装置、プログラム及び方法の第1の実施形態を、図面を参照しながら詳述する。
(A−1)第1の実施形態の構成
図1は、第1の実施形態の収音装置100の機能的構成について示したブロック図である。
図1は、第1の実施形態の収音装置100の機能的構成について示したブロック図である。
収音装置100は、2つのマイクロホンアレイMA1、MA2を用いて、目的エリアの音源からの目的エリア音を収音する目的エリア音収音処理を行う。
マイクロホンアレイMA1、MA2は、目的エリアが存在する空聞の任意の場所に配置される。目的エリアに対するマイクロホンアレイMAの位置は、例えば、上述の図4に示すように、各マイクロホンアレイMAの指向性が目的エリアでのみ重なればどこでも良く、例えば目的エリアを挟んで対向に配置しても良い。マイクロホンアレイMAは2つ以上のマイクロホン21から構成され、各マイクロホン21により音響信号を収音する。この実施形態では、各マイクロホンアレイMAに、3つのマイクロホンM1、M2、M3が配置されるものとして説明する。すなわち、各マイクロホンアレイMAは、3chマイクロホンアレイを構成している。
図2は、各マイクロホンアレイMAにおけるマイクロホンM1、M2、M3の位置関係について示した説明図である。
図2に示すように、各マイクロホンアレイMAでは、2つのマイクロホンM1、M2を目的エリアの方向に対して水平となるように配置し、さらにそのマイクロホンM1、M2を結んだ直線と直行し、かつどちらかのマイクロホンM1、M2を通る直線上にマイクロホンM3が配置されている。この際、マイクロホンM3、M2間の距離は、マイクロホンM1、M2間の距離と同じとする。すなわち、3個のマイクロホンM1、M2、M3は、直角二等辺三角形の頂点となるように配置されているものとする。
収音装置100は、データ入力部1(1−1、1−2)、指向性形成部2(2−1、2−2)、遅延補正部3、空間座標データ記憶部4、パワー補正係数算出部5、目的エリア音抽出部6、振幅スペクトル算出部7、コヒーレンス算出部8、及びエリア音判定部9を有している。収音装置100を構成する各機能ブロックの詳細処理については後述する。
収音装置100は、全てハードウェア(例えば、専用チップ等)により構成するようにしてもよいし一部又は全部についてソフトウェア(プログラム)として構成するようにしてもよい。収音装置100は、例えば、プロセッサ及びメモリを有するコンピュータに実施形態の収音プログラムをインストールすることにより構成するようにしてもよい。
(A−2)第1の実施形態の動作
次に、以上のような構成を有する第1の実施形態の収音装置100の動作(実施形態の収音方法)を説明する。
次に、以上のような構成を有する第1の実施形態の収音装置100の動作(実施形態の収音方法)を説明する。
データ入力部1−1、1−2は、それぞれ、マイクロホンアレイMA1、MA2で捕捉した音響信号のアナログ信号の供給を受け、当該アナログ信号をデジタル信号に変換して、指向性形成部2−1、2−2に供給する処理を行う。
指向性形成部2−1、2−2は、それぞれ、各マイクロホンアレイMA1、MA2の指向性を形成(マイクロホンアレイMA1、MA2から供給された信号の指向性を形成)する処理を行うものである。
指向性形成部2は、それぞれ、高速フーリエ変換を用いて時間領域から周波数領域へ変換するものとする。この実施形態において、それぞれの指向性形成部2は、目的エリアの方向に対して直行する線上に並んで配置されたマイクロホンM1、M2で双指向性フィルタを形成し、目的方向に並行する線上に並んで配置されたマイクロホンM1、M3で目的方向に死角を向ける単一指向性フィルタを形成する。
具体的には、指向性形成部2は、θL=0とし、マイクロホンM1、M2の出力について、上記の(1)式及び(3)式に従った演算を行うことで、双指向性フィルタの形成を行う。また、指向性形成部2は、θL=−π/2ととし、マイクロホンM1、M3の出力について、上記の(1)式及び(3)式に従った演算を行うことで、単一指向性フィルタの形成を行う。
図3は、マイクロホンアレイMAの出力に、上述の双指向性フィルタと単一指向性フィルタにより形成される指向特性について示している。図3において、斜線が付された領域は、上述の双指向性フィルタと単一指向性フィルタの重複部分(重複してフィルタリングされる領域)について示している。図3に示すように、双指向性フィルタと単一指向性フィルタの一部は重なることになるが、SSを行うことで、この重複部分を消去することができる。具体的には、指向性形成部2は、以下の(13)式に従いSSを行うことで、重複部分を消去することができる。以下の(13)式において、ABDは双指向性の振幅スペクトル、AUDは単一指向性の振幅スペクトル、AUD'はAUDとABDの重複成分を消去した振幅スペクトルをそれぞれ示している。なお、指向性形成部2は、以下の(13)式を用いたSSの結果、AUD'がマイナスになった場合はフロアリング処理を行うようにしてもよい。
そして、指向性形成部2は、以下の(14)式に従い、入力信号からこれら2つの指向性ABDとAUD'をSSすることにより、目的方向に対しマイクロホンアレイMAの前方(目的音の方向)にのみ鋭い指向性を形成した信号Y(以下、この信号を「BF出力」とも呼ぶ)を得ることができる。以下の(14)式において、XDSは各入力信号(各マイクロホンM1、M2、M3の出力)を加算し平均をとった振幅スペクトルを示している。また、以下の(14)式において、β1とβ2はSSの強度を調節するための係数である。以下では、マイクロホンアレイMA1の出力に基づくBF出力をY1、マイクロホンアレイMA2の出力に基づくBF出力をY2と表すものとする。
Y=XDS−β1ABD−β2AUD1' …(14)
Y=XDS−β1ABD−β2AUD1' …(14)
指向性形成部2−1、2−2では、それぞれ、上述のようなBFの処理を行うことでマイクロホンアレイMA1、MA2について、目的エリアの方向に指向性を形成する。各指向性形成部2では、上述のようにBFの処理を行うことにより、各マイクロホンアレイMAの指向性が前方にのみ形成されるため、後方(マイクロホンアレイMAから見て目的エリアと逆の方向)から回りこむ残響の影響を抑えることができる。また、各指向性形成部2では、それぞれ上述のようにBFの処理を行うことにより、各マイクロホンアレイの後方に位置する非目的エリア音を予め抑圧し、目的エリア収音処理のSN比を改善することができる。
空間座標データ記憶部4は、全ての目的エリアの位置情報(目的エリアの範囲の位置情報)と、各マイクロホンアレイMAの位置情報(各マイクロホンアレイMAを構成する各マイクロホン21の位置情報)を保持している。空間座標データ記憶部4で記憶する位置情報の具体的な形式や表示単位については、目的エリア及び各マイクロホンアレイMAに係る相対的な位置関係が認識可能な形式であれば限定されないものである。
遅延補正部3は、目的エリアと各マイクロホンアレイMAとの距離の違いにより発生する遅延を算出し、補正するものである。
遅延補正部3は、まず、空間座標データ記憶部4で保持している位置情報から、目的エリアの位置と各マイクロホンアレイMAの位置を取得し、各マイクロホンアレイMAへの目的エリア音の到達時間の差を算出する。次に、遅延補正部3は、最も目的エリアから遠い位置に配置されたマイクロホンアレイMAを基準として、全てのマイクロホンアレイMAに目的エリア音が同時に到達するように遅延を加える。具体的には、遅延補正部3は、Y1、Y2のいずれかに遅延を加えて位相を一致させる処理を行う。
パワー補正係数算出部5は、各BF出力(Y1、Y2)に含まれる目的エリア音成分のパワーを同じレベルにするための補正係数を算出する。具体的には、パワー補正係数算出部5は、上記の(5)、(6)式、又は、上記の(7)、(8)式に従って補正係数を算出する。
目的エリア音抽出部6は、パワー補正係数算出部5で算出した補正係数により、各BF出力Y1、Y2を補正する。具体的には、目的エリア音抽出部6は、上記の(9)、(10)式に従い、各BF出力Y1、Y2を補正し、補正後のN1、N2を得る。
また、目的エリア音抽出部6は、補正係数により補正後のN1、N2を用いて、非目的エリア音(雑音)をSSして、目的エリア音収音信号Z1、Z2(目的エリア音を収音した信号)を得る。具体的には、目的エリア音抽出部6は、上記の(11)、(12)式に従い、SSしてZ1、Z2を得る。
次に、振幅スペクトル算出部7、コヒーレンス算出部8及びエリア音判定部9の処理概要について説明する。
エリア音判定部9は、目的エリア音が存在している区間(以後、「目的エリア音区間」と呼ぶ)と、目的エリア音が存在していない区間(以後、「非目的エリア音区間」と呼ぶ)を判定し、非目的エリア音区間ではエリア収音処理した音を出力しないことにより、異音の発生を抑える。なお、この実施形態では常に雑音(非目的エリア音)が発生しているものとして説明する。エリア音判定部9は、目的エリア音が存在しているかどうかを判定するために、入力信号とエリア収音処理後の出力(以後、「エリア音出力」と呼ぶ)間の振幅スペクトル比(エリア音出力/入力信号)と各BF出力間のコヒーレンスの2種類の特徴量を用いるものとする。
図5は、エリア収音処理における目的エリア音と非目的エリア音の振幅スペクトルの変化を示した説明図である。
目的エリア内に音源が存在する場合、入力信号X1とエリア音出力Z1には目的エリア音が共通に含まれるため、目的エリア音成分の振幅スペクトル比は1に近い値となる。また非目的エリア音成分は、エリア音出力では抑圧されているため、振幅スペクトル比は小さい値となる。その他の背景雑音成分に関してもエリア収音処理では複数回のSSを行うため、専用の雑音抑圧処理を事前にしなくてもある程度抑圧され、振幅スペクトル比は小さい値となる。逆に目的エリア音が存在しない場合、エリア音出力には、入力信号と比べて消し残りの弱い雑音しか含まれていないため、振幅スペクトル比は全体域で小さい値となる。この特徴により、各周波数で求めた振幅スペクトル比を全て加算すると、目的エリア音が存在するときと存在しないときとで大きな差が生まれることになる。
実際に目的エリア音と2つの非目的エリア音が存在する場合の振幅スペクトル比を加算した値の時間変化を図6に示す。図6の波形W11は、全ての音源が混ざっている入力音の波形である。また、図6の波形W12は、入力音中の目的エリア音の波形である。さらに、図6の波形W13は、振幅スペクトル比加算値を示している。図6に示すように、目的エリア音が存在する区間では、振幅スペクトル比加算値が大きくなっていることが分かる。
そして、図6は残響が殆どない環境下での振幅スペクトル比加算値であるが、残響がある環境での振幅スペクトル比加算値の時間変化は、図7のようになる。
図7の波形W21は、全ての音源が混ざっている入力音の波形である。また、図7の波形W22は、入力音中の目的エリア音の波形である。さらに、図7の波形W23は、振幅スペクトル比加算値を示している。図7に示すように残響下では、反射した非目的エリア音が同時に各マイクロホンアレイの指向性に含まれる可能性がある。この状態では、非目的エリア音が目的エリア音と見なされ、エリア音出力中に非目的エリア音が残ってしまう。それが原因で振幅スペクトル比加算値は、図7のように非目的エリア音区間でも値が大きくなるため、閾値の値を残響が無い環境よりも高めに設定する必要がある。
また、振幅スペクトル比加算値に基づいて目的エリア音の有無を判定する際に、適した閾値を設定するためには、エリア毎に残響の強さ事前に計測することが望ましい。そこで、この実施形態では、各BF出力間のコヒーレンスも、目的エリア音の存在有無の判定に用いるものとする。コヒーレンスとは、2つの信号の関係性を示す特徴量であり、0から1の間の値を取る。この値は、1に近いほど2つの信号の関係が強いことを示している。目的エリア内に音源が存在する場合、各BF出力に目的エリア音が共通に含まれるため、目的エリア音成分のコヒーレンスは大きくなる。逆に目的エリア音が存在しない場合、各BF出力に含まれる非目的エリア音はそれぞれ違うためコヒーレンスは小さくなる。また2つのマイクロホンアレイMA1、MA2は離れているため、各BF出力中の背景雑音成分も異なりコヒーレンスは小さくなる。この特徴により、各周波数で求めたコヒーレンスを全て加算すると、目的エリア音が存在するときと存在しないときとで大きな差が生まれることになる。
実際に目的エリア音と2つの非目的エリア音が存在する場合のコヒーレンスを加算した値の時間変化を図8、図9に示す。図8は残響が殆ど無い環境下でのコヒーレンス加算値の時間的変化を示している。図9は、残響下でのコヒーレンス加算値の時間的変化を示している。
図8、図9の波形W31、W41は、それぞれ全ての音源が混ざっている入力音の波形である。また、図8、図9の波形W32、W42は、それぞれ入力音中の目的エリア音の波形である。さらに、図8、図9の波形W33、43は、それぞれコヒーレンス加算値を示している。
図8、図9により、目的エリア音区間では、コヒーレンス加算値が大きくなっていることが分かる。図6〜図9を比較すると、コヒーレンス加算値は、振幅スペクトル比加算値に比べ、弱い目的エリア音区間の検出は劣るが、残響の影響を受け難いことが分かる。
目的エリア音抽出部6では、上述のようなコヒーレンス加算値の特徴を活かし、残響下において振幅スペクトル比加算値の閾値(目的エリア音区間の判定に用いる閾値)を更新する。目的エリア音抽出部6が閾値を更新するタイミングは、例えば振幅スペクトル比加算値とコヒーレンス加算値をそれぞれ予め設定した閾値により判定した後、2つの判定結果を比較して決定する。そして、目的エリア音抽出部6は、2つの判定結果が同じであれば、その結果通りに、目的エリア音区間であればエリア音出力をそのまま出力し、非目的エリア音区間であればエリア音出力データを出力せずに無音、もしくは入力音のゲインを小さくした音を出力する。しかし2つの判定が異なった場合は、残響により誤判定を起こしている可能性がある。
そこで、目的エリア音抽出部6は、振幅スペクトル比加算値に基づいて目的エリア音区間と判定し、コヒーレンス加算値に基づいて非目的エリア音区間と判定した場合、過去の判定結果の履歴(最終判定結果の履歴)を利用した判定を行う。この実施形態の例では、目的エリア音抽出部6は、同じ結果が一定回数未満であれば振幅スペクトル比加算値の判定を優先するが、一定回数以上連続したときは、残響の影響により非目的エリア音区間において振幅スペクトル比加算値の閾値を超えてしまっている可能性が高いと考えられるため、振幅スペクトル比加算値の閾値を引き上げる。そして、目的エリア音抽出部6は、その後改めて振幅スペクトル比加算値による判定を行う。
また、目的エリア音抽出部6は、振幅スペクトル比加算値に基づいて非目的エリア音区間と判定し、コヒーレンス加算値に基づいて目的エリア音区間と判定した場合も同様に、過去の判定結果の履歴を利用した判定を行う。この実施形態の例では、目的エリア音抽出部6は、同じ結果が一定回数未満であれば振幅スペクトル比加算値の判定を優先するが、一定回数以上連続したときは、振幅スペクトル比加算値の閾値が高すぎる可能性が高いと考えられるため、振幅スペクトル比加算値の閾値を引き下げ、その後改めて振幅スペクトル比加算値による判定を行うものとする。
また、目的エリア音抽出部6は、振幅スペクトル比加算値とコヒーレンス加算値の相関係数を求め、振幅スペクトル比加算値の閾値を更新するようにしてもよい。例えば、この実施形態の例では、目的エリア音抽出部6は、振幅スペクトル比加算値とコヒーレンス加算値の移動平均を求めた後、2つの特徴量の相関係数を求めるようにしてもよい。これにより、残響の有り無しに関わらず目的エリア音区間では高い値となる。また残響の無い非目的エリア音区間においても相関は高くなる。しかし、残響のある非目的エリア音区間では、振幅スペクトル比加算値が残響の影響を受けるため、相関は低くなる。したがって、目的エリア音抽出部6は、相関係数が一定値を下回ったときは、振幅スペクトル比加算値の閾値を引き上げ、残響に適した閾値を設定することが望ましい。
次に、振幅スペクトル比算出部7の詳細処理について説明する。
振幅スペクトル比算出部7は、データ入力部1−1、1−2から供給される入力信号と、目的エリア音拍出部6から供給されるエリア音出力Z1、Z1とに基づいて、振幅スペクトル比を算出した後、全周波数分の振幅スペクトル比を加算して振幅スペクトル比加算値を求める。
具体的は、まず、振幅スペクトル比算出部7は、データ入力部1−1、1−2から供給される入力信号と、目的エリア音抽出部6からから供給されるエリア音出力Z1、Z2とを取得して、振幅スペクトル比の算出を行う。例えば振幅スペクトル比算出部7は、下記(15)、(16)式を用いて、エリア音出力Z1、Z2と入力信号の振幅スペクトル比を周波数ごとに算出する。そして下記(17)、(18)式を用いて、全周波数の振幅スペクトル比を加算して、振幅スペクトル比加算値を求める。ここで(15)、(16)式において、Wx1はマイクロホンアレイMA1の入力信号の振幅スペクトルであり、Wx2は、マイクロホンアレイMA2の入力信号の振幅スペクトルである。また、Z1は、マイクロホンアレイMA1をメインとしてエリア収音処理を行った場合のエリア音出力の振幅スペクトルであり、Z2は、マイクロホンアレイMA2をメインとしてエリア収音処理を行ったときのエリア音出力の振幅スペクトルである。さらに(17)式で得られるU1は、各周波数の振幅スペクトル比R1iを周波数の下限mから上限nでの帯域で足し合わせたものであり、式(18)の処理を用いて得られるU2は、各周波数の振幅スペクトル比R2iを、周波数の下限mから上限nでの帯域で足し合わせたものである。ここで、振幅スペクトル比算出部7において演算対象とする周波数の帯域を制限しても良い。例えば、演算対象を音声情報が十分に含まれる100Hzから6kHzに制限して、上記演算を行うようにしても良い。
上記振幅スペクトル比算出では、エリア収音処理においてメインとして使用するマイクロホンアレイMAに応じて、(15)式あるいは(16)式を用いて算出する。また、振幅スペクトル比の加算では、エリア収音処理においてメインとして使用するマイクロホンアレイMAに応じて、(17)式、または(18)式を用いて算出する。具体的には、エリア収音処理においてメインとしてマイクロホンアレイMA1を用いた場合は、(15)式及び(17)式を、マイクロホンアレイMA2を用いた場合は、(16)式及び(18)式を用いる。
次に、コヒーレンス算出部8の詳細処理について説明する。
コヒーレンス算出部8は、指向性形成部2−1、2−2よりマイクロホンアレイMA1、MA2のBF出力を取得し、周波数毎にコヒーレンスを算出した後、全周波数分を加算してコヒーレンス加算値を求める。コヒーレンス算出部8は、以下の(19)式、また加算は(20)式に従い、コヒーレンス加算値を算出する。コヒーレンス算出部8は、コヒーレンスを算出する際に必要となるBF出力Y1とY2の位相情報として、それぞれのマイクロホンアレイの入力信号の位相を利用する。この際、コヒーレンス算出部8は、周波数の帯域を制限しても良い。コヒーレンス算出部8は、例えば音声情報が十分に含まれる100Hzから6kHzに絞ってコヒーレンス加算値を求めるようにしてもよい。ここでCはコヒーレンス、PY1Y2は各マイクロホンアレイのBF出力Y1とY2のクロススペクトル、PY1Y1とPY2Y2はそれぞれY1とY2のパワースペクトル、mとnはそれぞれ周波数の下限と上限、Hは各周波数のコヒーレンスを加算した値である。クロススペクトルとパワースペクトルを算出するために使用するY1とY2は、過去の情報を使用することもでき、この場合Y1とY2をそれぞれ(21)式と(22)式によって更新する。ここでαは、過去の情報をどの程度使用するかを決定する係数であり、値は0から1の聞を取る。
Y1(t)=αY1(t)+(1−α)Y1(t−1) …(21)
Y2(t)=αY2(t)+(1−α)Y2(t−1) …(22)
Y2(t)=αY2(t)+(1−α)Y2(t−1) …(22)
次に、エリア音判定部9の詳細処理について説明する。
エリア音判定部9は、コヒーレンス算出部8により算出したコヒーレンス加算値を予め設定した閾値と比較し、エリア音が存在するかしないかを判定する。エリア音判定部9は、目的エリア音が存在すると判定した場合、目的エリア音収音信号(Z1、Z2)をそのまま出力し、目的エリア音が存在しないと判定した場合、目的エリア音収音信号(Z1、Z2)を出力せずに無音データ(例えば、予め設定されたダミーデータ)を出力する。なお、エリア音判定部9は、無音データの代わりに、入力信号のゲインを弱めたものを出力しても良い。さらに、エリア音判定部9は、コヒーレンス加算値が閾値よりも一定以上大きい場合、その後の数秒間は、コヒーレンス加算値に関わらず目的エリア音が存在すると判定する処理(ハングオーバー機能に対応する処理)を追加するようにしてもよい。
なお、エリア音判定部8が出力する信号の形式は限定されないものであり、例えば、全てのマイクロホンアレイMAの出力に基づく目的エリア音収音信号Z1、Z2を出力するようにしてもよいし、一部の目的エリア音収音信号(例えば、Z1、Z2の一方)だけを出力するようにしてもよい。
図10は、エリア音判定部9が行う閾値の更新ルールの一例を示した説明図である。
まず、エリア音判定部9は、振幅スペクトル比加算値とコヒーレンス加算値をそれぞれ予め設定した閾値により判定する。また、エリア音判定部9は、2つの判定結果を比較し、2つの判定結果が同じであれば、その結果通りに判定し出力処理を行う。さらに、エリア音判定部9は、2つの判定が異なり、振幅スペクトル比加算値が目的エリア音区間と判定し、コヒーレンス加算値が非目的エリア音区間と判定した場合、同じ結果が一定回数未満であれば振幅スペクトル比加算値の判定に従う。しかし同様の判定が一定回数以上続いたときは、残響の影響により非目的エリア音区間において振幅スペクトル比加算値の閾値を超えている可能性が高いため、エリア音判定部9は、振幅スペクトル比加算値の閾値を引き上げ、その後改めて振幅スペクトル比加算値による判定を行う。逆に振幅スペクトル比加算値が非目的エリア音区間と判定し、コヒーレンス加算値が目的エリア音区間と判定した場合、同じ結果一定回数未満であれば振幅スペクトル比加算値の判定に従う。しかし、一定回数以上連続したときは、振幅スペクトル比加算値の閾値が高すぎる可能性があるため、エリア音判定部9は、振幅スペクトル比加算値の閾値を引き下げ、その後改めて振幅スペクトル比加算値による判定を行う。また振幅スペクトル比加算値の閾値の更新は、振幅スペクトル比加算値とコヒーレンス加算値の相関係数に基いて行っても良い。この場合、エリア音判定部9は、まず振幅スペクトル比加算値とコヒーレンス加算値の移動平均を求める。その後、エリア音判定部9は、2つの移動平均値から相関係数を求める。相関係数は、目的エリア音区間であれば、残響の有り無しに関わらず高い値となる。また残響の無い非目的エリア音区間においても相関は高くなる。しかし、残響のある非目的エリア音区間では、振幅スペクトル比加算値が残響の影響を受けて相関が低くなる。この特性を利用し、エリア音判定部9は、相関係数が一定値を下回ったときは、非目的エリア音区間と判定し、かつ振幅スペクトル比加算値の閾値を引き上げある。
(A−3)第1の実施形態の効果
第1の実施形態によれば、以下のような効果を奏することができる。
第1の実施形態によれば、以下のような効果を奏することができる。
第1の実施形態の収音装置100では、目的エリア音が存在している区間と存在していない区間を判定し、存在していない区間ではエリア収音処理した音を出力しないことにより、異音の発生を抑える。また、第1の実施形態の収音装置100では、コヒーレンス加算値を予め設定した閾値で判定し、目的エリア音が存在しないと判定された場合は、目的エリア音を抽出した出力(以下、「エリア音出力」と呼ぶ)データを出力せずに無音、もしくは入力音のゲインを小さくした音を出力する。このように、第1の実施形態の収音装置100では、目的エリア音の存在の有無を判定し、存在しないときはエリア音出力データを出力しないことで、背景雑音が強い環境下において、目的エリア音が存在しないときの異音の発生を抑えることができる。
また、上述のように、収音装置100では、振幅スペクトル比加算値とコヒーレンス加算値の両方を用いて目的エリア音の存在有無を判定するため、残響の有無にかかわらず精度良く目的エリア音の有無を判定することができる。
(B)第2の実施形態
以下、本発明による音声処理装置、プログラム及び方法の第2の実施形態を、図面を参照しながら詳述する。
以下、本発明による音声処理装置、プログラム及び方法の第2の実施形態を、図面を参照しながら詳述する。
(B−1)第2の実施形態の構成及び動作
図11は、第2の実施形態の収音装置100Aの機能的構成について示したブロック図である。
図11は、第2の実施形態の収音装置100Aの機能的構成について示したブロック図である。
第2の実施形態の収音装置100Aでは、2つの雑音抑圧部10(10−1、10−2)が追加されている点で第1の実施形態と異なっている。雑音抑圧部10−1、10−2は、それぞれ、データ入力部1−1、1−2と、指向性形成部2−1、2−2との間に挿入されている。また、雑音抑圧部10−1、10−2の出力は、振幅スペクトル算出部7にも供給される。
雑音抑圧部10−1、10−2は、それぞれ、エリア音判定部9の判定結果(目的エリア音が存在する区間の検出結果)を利用して、データ入力部1−1、1−2から供給される信号(各マイクロホンアレイMAの各マイクロホンMから供給される音声信号)について雑音(目的エリア音以外の音)の抑圧処理を行い、指向性形成部2−1、2−2及び振幅スペクトル算出部7に供給する。
雑音抑圧部10は、エリア音判定部9の結果を、音声区間検出(Voice Activity Detection;以下、VAD)のように使用し、雑音抑圧処理を調節する。通常、収音装置において雑音抑圧を行う場合、VADを用い入力信号を音声区間と雑音区間に判別し、雑音区間で学習してフィルタを形成する。入力信号の非目的エリア音が音声である場合、通常のVADの処理では音声区間と判定されるが、この実施形態のエリア音判定部9の判定では、目的エリア音以外の音は音声であっても雑音として取り扱われる。そこで、雑音抑圧部10は、エリア音判定部9の判定結果を用いて、目的エリア音区間(目的エリア音が存在している区間)と、非目的エリア音区間(目的エリア音が存在せず、非目的エリアの音だけが存在する区間)とを区別する。例えば、雑音抑圧部10は、目的エリア音区間以外の区間での有音区間を、非目的エリア音区間として認識することができる。そして、雑音抑圧部10は、非目的エリア音区間を雑音区間として認識して、フィルタ学習やフィルタゲインの調節を既存のVADと同様の処理により行う。
雑音抑圧部10は、例えば、目的エリア音が存在しないと判定された場合、更なるフィルタの学習を行うことができる。また、雑音抑圧部10は、目的エリア音が存在しない場合は、存在するときと比べてフィルタゲインを強めても良い。
雑音抑圧部10が、エリア音判定部9から受け取る判定は、時系列的に一つ前の処理結果(n−1の時系列の処理結果)となるが、現在の処理結果(nの時系列の処理結果)を受け取ってさらに雑音抑圧の処理を行い、再びエリア収音処理を行う構成としても良い。雑音抑圧方式は、SSやウィーナーフィルタ、MMSE−STSA(Minimum Mean Square Error−Short Time Spectral Amplitude)法などの各種方式を使用できる。
(B−3)第2の実施形態の効果
第2の実施形態によれば、第1の実施形態の効果に加えて以下のような効果を奏することができる。
第2の実施形態によれば、第1の実施形態の効果に加えて以下のような効果を奏することができる。
第2の実施形態では、雑音抑圧部10を設けることにより、第1の実施形態よりも精度の高い目的エリア音の収音を行うことができる。
また、雑音抑圧部10では、エリア音判定部9の判定結果(非目的エリア音区間)を利用した雑音抑制処理を行うことができるので、従来の雑音抑制処理よりも目的エリア音の収音に適した雑音抑制を行うことができる。
(C)他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
(C−1)上記各実施形態では、マイクロホンが捕捉して得た音響信号をリアルタイムに処理するものを示したが、マイクロホンが捕捉して得た音響信号を記憶媒体に記憶し、その後、記憶媒体から読み出して処理して目的音、目的エリア音の強調信号を得るようにしても良い。このように記憶媒体を利用する場合には、マイクロホンが設定されている場所と、目的音や目的エリア音の抽出処理する場所とが離れていても良い。同様に、リアルタイム処理をする場合でも、マイクロホンが設定されている場所と、目的音や目的エリア音の抽出処理する場所とが離れていても良く、通信により信号を遠隔地に供給するようにしても良い。
(C−2)上記の収音装置で用いられるマイクロホンアレイMAは3chマイクロホンアレイであるものとして説明したが、2chマイクロホンアレイ(2つのマイクロホンを備えるマイクロホンアレイ)を適用するようにしてもよい。その場合の指向性形成部による指向性形成処理は、既存の種々のフィルタ処理に置き換えることができる。
(C−3)上記の集音装置では、2つのマイクロホンアレイの出力から目的エリア音を収音する構成について説明したが、3つ以上のマイクロホンアレイの出力のそれぞれから目的エリア音を収音する構成としてもよい。その場合、コヒーレンス算出部8では、全てのマイクロホンアレイのBF出力について、位相を合わせてコヒーレンス加算値を算出するようにしてもよい。
100…収音装置、1、1−1、1−2…データ入力部1、2、2−1、2−2…指向性形成部、3…遅延補正部、4…空間座標データ記憶部、5…パワー補正係数算出部、6…目的エリア音抽出部、7…振幅スペクトル比算出部、8…コヒーレンス算出部、9…エリア音判定部、MA、MA1、MA2…マイクロホンアレイ、M、M1、M2、M3…マイクロホン。
Claims (7)
- マイクロホンアレイの出力に対して、目的エリアの方向に指向性を形成する指向性形成手段と、
上記指向性形成手段の出力から、目的エリアの方向に存在する非目的エリア音を抽出し、上記指向性形成手段の出力から抽出した非目的エリア音の成分を抑圧して目的エリア音を抽出する目的エリア音抽出手段と、
上記目的エリア音抽出手段の出力から振幅スペクトルを算出し、当該振幅スペクトルと上記マイクロホンアレイの入力信号の振幅スペクトルとを用いて周波数ごとの振幅スペクトル比を算出し、各周波数の振幅スペクトル比を加算して振幅スペクトル比加算値を算出する振幅スペクトル比算出手段と、
上記指向性形成手段の出力から周波数ごとのコヒーレンスを算出し、各周波数のコヒーレンスを加算してコヒーレンス加算値を算出するコヒーレンス算出手段と、
上記コヒーレンス算出手段で算出したコヒーレンス加算値と、上記振幅スペクトル比算出手段で算出した振幅スペクトル比加算値とを用いて、目的エリア音の存在の有無を判定するエリア音判定手段と、
上記エリア音判定手段により目的エリア音が存在すると判定された場合には、上記目的エリア音抽出手段が抽出した目的エリア音を出力し、上記エリア音判定手段により目的エリア音が存在しないと判定された場合には、上記目的エリア音抽出手段が抽出した目的エリア音を出力しない出力手段と
を有することを特徴とする収音装置。 - 上記エリア音判定手段は、コヒーレンス加算値に基づいた目的エリア音の存在有無の判定を行う第1の判定処理と、振幅スペクトル比加算値に基づいた目的エリア音の存在有無の判定を行う第2の判定処理とを行い、第1の判定処理結果と第2の判定処理結果が一致する場合には、その判定処理結果を最終的な判定処理結果として出力し、第1の判定処理結果と第2の判定処理結果が異なる場合には、過去の判定処理結果の履歴に応じて最終的な判定処理結果を決定することを特徴とする請求項1に記載の収音装置。
- 上記目的エリア音抽出手段は、マイクロホンアレイの出力から、目的エリアの方向に存在する非目的エリア音を抽出し、上記マイクロホンアレイの出力から抽出した非目的エリア音を上記指向性形成手段の出力からスペクトル減算して目的エリア音を抽出することを特徴とする請求項1又は2に記載の収音装置。
- 上記指向性形成手段は、複数のマイクロホンアレイのそれぞれの出力に対して、目的エリアの方向に指向性を形成し、
上記目的エリア音抽出手段は、
目的エリアと、各マイクロホンアレイに係る位置情報を保持する位置情報保持部と、
上記指向性形成手段の出力において、目的エリア音が全てのマイクロホンアレイに同時に到着するように、目的エリアと各マイクロホンアレイの距離の違いにより発生する遅延を算出し、補正する遅延補正部と、
マイクロホンアレイ毎の上記遅延補正部の出力間で周波数毎に振幅スペクトルの比率を算出し、比率の最頻値もしくは中央値を算出し、補正係数とする目的エリア音パワー補正係数算出部と、
上記目的エリア音パワー補正係数算出部で算出した補正係数を用い、上記マイクロホンアレイ毎の上記遅延補正部の出力を補正し、それぞれをスペクトル減算することで目的エリアの方向に存在する非目的エリア音を抽出し、その後抽出した非目的エリア音を各マイクロホンアレイの上記遅延補正部の出力からスペクトル減算することにより目的エリア音を抽出する目的エリア音抽出部とを有する
ことを特徴とする請求項1〜3のいずれかに記載の収音装置。 - 上記エリア音判定手段の判定結果に応じたタイミングを利用して、上記指向性形成手段の出力から雑音抑圧の処理を行う雑音抑圧手段をさらに備え
上記目的エリア音抽出手段は、上記雑音抑圧手段の出力から、目的エリア音を抽出する
ことを特徴とする請求項1〜4のいずれかの記載の収音装置。 - コンピュータを、
マイクロホンアレイの出力に対して、目的エリアの方向に指向性を形成する指向性形成手段と、
上記指向性形成手段の出力から、目的エリアの方向に存在する非目的エリア音を抽出し、上記指向性形成手段の出力から抽出した非目的エリア音の成分を抑圧して目的エリア音を抽出する目的エリア音抽出手段と、
上記目的エリア音抽出手段の出力から振幅スペクトルを算出し、当該振幅スペクトルと上記マイクロホンアレイの入力信号の振幅スペクトルとを用いて周波数ごとの振幅スペクトル比を算出し、各周波数の振幅スペクトル比を加算して振幅スペクトル比加算値を算出する振幅スペクトル比算出手段と、
上記指向性形成手段の出力から周波数ごとのコヒーレンスを算出し、各周波数のコヒーレンスを加算してコヒーレンス加算値を算出するコヒーレンス算出手段と、
上記コヒーレンス算出手段で算出したコヒーレンス加算値と、上記振幅スペクトル比算出手段で算出した振幅スペクトル比加算値とを用いて、目的エリア音の存在の有無を判定するエリア音判定手段と、
上記エリア音判定手段により目的エリア音が存在すると判定された場合には、上記目的エリア音抽出手段が抽出した目的エリア音を出力し、上記エリア音判定手段により目的エリア音が存在しないと判定された場合には、上記目的エリア音抽出手段が抽出した目的エリア音を出力しない出力手段と
して機能させることを特徴とする収音プログラム。 - 収音装置が行う収音方法において、
指向性形成手段、目的エリア音抽出手段、振幅スペクトル比算出手段、コヒーレンス算出手段、エリア音判定手段、及び出力手段を有し、
上記指向性形成手段は、マイクロホンアレイの出力に対して、目的エリアの方向に指向性を形成し、
上記目的エリア音抽出手段は、上記指向性形成手段の出力から、目的エリアの方向に存在する非目的エリア音を抽出し、上記指向性形成手段の出力から抽出した非目的エリア音の成分を抑圧して目的エリア音を抽出し、
上記振幅スペクトル比算出手段は、上記目的エリア音抽出手段の出力から振幅スペクトルを算出し、当該振幅スペクトルと上記マイクロホンアレイの入力信号の振幅スペクトルとを用いて周波数ごとの振幅スペクトル比を算出し、各周波数の振幅スペクトル比を加算して振幅スペクトル比加算値を算出し、
上記コヒーレンス算出手段は、上記指向性形成手段の出力から周波数ごとのコヒーレンスを算出し、各周波数のコヒーレンスを加算してコヒーレンス加算値を算出し、
上記エリア音判定手段は、上記コヒーレンス算出手段で算出したコヒーレンス加算値と、上記振幅スペクトル比算出手段で算出した振幅スペクトル比加算値とを用いて、目的エリア音の存在の有無を判定し、
上記出力手段は、上記エリア音判定手段により目的エリア音が存在すると判定された場合には、上記目的エリア音抽出手段が抽出した目的エリア音を出力し、上記エリア音判定手段により目的エリア音が存在しないと判定された場合には、上記目的エリア音抽出手段が抽出した目的エリア音を出力する
ことを特徴とする収音方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015000531A JP6065030B2 (ja) | 2015-01-05 | 2015-01-05 | 収音装置、プログラム及び方法 |
US14/973,154 US9781508B2 (en) | 2015-01-05 | 2015-12-17 | Sound pickup device, program recorded medium, and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015000531A JP6065030B2 (ja) | 2015-01-05 | 2015-01-05 | 収音装置、プログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016127459A JP2016127459A (ja) | 2016-07-11 |
JP6065030B2 true JP6065030B2 (ja) | 2017-01-25 |
Family
ID=56359830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015000531A Active JP6065030B2 (ja) | 2015-01-05 | 2015-01-05 | 収音装置、プログラム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6065030B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6638248B2 (ja) * | 2015-08-19 | 2020-01-29 | 沖電気工業株式会社 | 音声判定装置、方法及びプログラム、並びに、音声信号処理装置 |
CN109417666B (zh) * | 2016-07-21 | 2020-12-01 | 三菱电机株式会社 | 噪声去除装置、回声消除装置和异常音检测装置 |
JP6241520B1 (ja) * | 2016-08-31 | 2017-12-06 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
JP6260666B1 (ja) * | 2016-09-30 | 2018-01-17 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
JP6540730B2 (ja) * | 2017-02-17 | 2019-07-10 | 沖電気工業株式会社 | 収音装置、プログラム及び方法、並びに、判定装置、プログラム及び方法 |
JP6436180B2 (ja) * | 2017-03-24 | 2018-12-12 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
US10085087B2 (en) | 2017-02-17 | 2018-09-25 | Oki Electric Industry Co., Ltd. | Sound pick-up device, program, and method |
WO2019003716A1 (ja) * | 2017-06-27 | 2019-01-03 | 共栄エンジニアリング株式会社 | 集音装置、指向性制御装置及び指向性制御方法 |
DE112017007733T5 (de) * | 2017-08-10 | 2020-04-16 | Mitsubishi Electric Corporation | Störgeräuscheliminierungseinrichtung und Störgeräuscheliminierungsverfahren |
JP6624255B1 (ja) * | 2018-08-29 | 2019-12-25 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
JP6624256B1 (ja) * | 2018-08-29 | 2019-12-25 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
US11488573B2 (en) * | 2018-09-26 | 2022-11-01 | Panasonic Intellectual Property Corporation Of America | Acoustic object extraction device and acoustic object extraction method |
CN113345462B (zh) * | 2021-05-17 | 2023-12-29 | 浪潮金融信息技术有限公司 | 一种拾音去噪方法、系统及介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6028502B2 (ja) * | 2012-10-03 | 2016-11-16 | 沖電気工業株式会社 | 音声信号処理装置、方法及びプログラム |
JP5488679B1 (ja) * | 2012-12-04 | 2014-05-14 | 沖電気工業株式会社 | マイクロホンアレイ選択装置、マイクロホンアレイ選択プログラム及び収音装置 |
JP6107151B2 (ja) * | 2013-01-15 | 2017-04-05 | 富士通株式会社 | 雑音抑圧装置、方法、及びプログラム |
-
2015
- 2015-01-05 JP JP2015000531A patent/JP6065030B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016127459A (ja) | 2016-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6065030B2 (ja) | 収音装置、プログラム及び方法 | |
JP6065028B2 (ja) | 収音装置、プログラム及び方法 | |
US9781508B2 (en) | Sound pickup device, program recorded medium, and method | |
JP6187626B1 (ja) | 収音装置及びプログラム | |
JP5482854B2 (ja) | 収音装置及びプログラム | |
JP6131989B2 (ja) | 収音装置、プログラム及び方法 | |
US20130083832A1 (en) | Processing Signals | |
JP6540730B2 (ja) | 収音装置、プログラム及び方法、並びに、判定装置、プログラム及び方法 | |
JP5772151B2 (ja) | 音源分離装置、プログラム及び方法 | |
JP2008236077A (ja) | 目的音抽出装置,目的音抽出プログラム | |
JP6436180B2 (ja) | 収音装置、プログラム及び方法 | |
JP2016163135A (ja) | 収音装置、プログラム及び方法 | |
JP6065029B2 (ja) | 収音装置、プログラム及び方法 | |
JP2019068133A (ja) | 収音装置、プログラム及び方法 | |
JP2009071510A (ja) | 点音源検出方法 | |
JP6241520B1 (ja) | 収音装置、プログラム及び方法 | |
US11825264B2 (en) | Sound pick-up apparatus, storage medium, and sound pick-up method | |
JP6624256B1 (ja) | 収音装置、プログラム及び方法 | |
JP6908142B1 (ja) | 収音装置、収音プログラム、及び収音方法 | |
JP6822505B2 (ja) | 収音装置、収音プログラム及び収音方法 | |
JP6725014B1 (ja) | 収音装置、収音プログラム及び収音方法 | |
Sanz-Robinson et al. | Robust blind source separation in a reverberant room based on beamforming with a large-aperture microphone array | |
JP6863004B2 (ja) | 収音装置、プログラム及び方法 | |
JP7380783B1 (ja) | 収音装置、収音プログラム、収音方法、判定装置、判定プログラム及び判定方法 | |
JP6624255B1 (ja) | 収音装置、プログラム及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6065030 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |