JP5633144B2

JP5633144B2 - 音信号処理装置

Info

Publication number: JP5633144B2
Application number: JP2009289905A
Authority: JP
Inventors: 亮大内; 訓史鵜飼
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2009-12-22
Filing date: 2009-12-22
Publication date: 2014-12-03
Anticipated expiration: 2029-12-22
Also published as: JP2011135118A

Description

複数の収音信号を用いて所望の指向性を有する音信号を生成する音信号処理装置に関するものである。

従来、複数人数で行う音声会議や当該音声会議の議事録の作成等では、複数のマイクを所定パターンで配置し、各マイクの収音信号に対して、各種の信号処理を行うことで、特定の話者の音声を含む音声信号を生成している。

この１つの方法として、遅延和アレイによる収音指向性の形成や特許文献１に示すような音源分離方法がある。

特開２００６−１９７５５２号公報

従来の遅延和アレイによる収音指向性の形成では、マイク間隔を空間エイリアシング現象が起きない程度に狭く保つことが必要になる。また、アレイの全長が短いと、低域の指向性が小さくなるため、目的音を効率的に強調することが難しくなる。このような遅延和アレイの場合、目的音のみを明確に強調するためには、マイク間隔を狭く保ったまま、アレイの全長をながくしなければならず、マイク数が増加し、装置と内部演算の規模を大型化しなければならない。

一方、特許文献１に記載の音源分離のように、分離手段において、目的音優勢の信号のスペクトルと目的音劣勢のスペクトルとの間で同一の周波数帯域の各パワーの大小の比較を周波数別に行い、それぞれの周波数帯域で大きい方のパワーを分離して得られるスペクトルに帰属させるような二値的帯域選択を用いる方法もある。しかしながら、この方法では、目的音が設定された目的方向の中心部に近い位置に存在する場合には、特定の話者の音声を小規模な装置で効率的に強調できるが、目的音が設定された方向から外れて位置し、目的音優勢の信号のスペクトルと目的音劣勢の信号のスペクトルのパワーが略同じになるような状況下では、二値的帯域選択の結果が大きくふらつき、ミュージカルノイズが発生して音質が悪化する。

一方、特許文献１に記載の音源分離のように、分離手段においてスペクトラムサブトラクションを行う方法においても、雑音を大きく抑圧するためには、目的音劣勢の信号のスペクトルのパワーに乗じる係数を大きくしなければならず、特定の方向にて出力信号が急激に「０」になる特性を持つことになる。このため、その位置付近に目的音が存在するような状況下では、二値的帯域選択同様に増幅率が大きくふらつき、ミュージカルノイズが発生して音質が悪化する。

これらの課題を鑑み、本願発明の目的は、目的方向の音声を効率的に強調しつつ、且つ目的音が目的方向から外れている状況でも安定した音声品質を保ちながら収音が可能な音信号処理装置を実現することにある。

この発明は、音信号処理装置に関するものである。そして、この音信号処理装置は、メイン収音部、複数のサブ収音部、増幅率決定部、および増幅部を備える。メイン収音部は、メイン収音信号を生成する。各サブ収音部は、それぞれに異なる収音指向性からなるサブ収音信号を生成する。増幅率決定部は、複数のサブ収音部から出力される各サブ収音信号の振幅に基づいて増幅率を決定する。増幅部は、メイン収音信号に増幅率を乗算した結果を出力信号として出力する。

この構成では、サブ収音信号より設定される増幅率で、メイン収音信号の指向性の補正を行う。ここで、複数のサブ収音信号の指向性がそれぞれに異なっていることにより、音源の位置によって複数のサブ収音信号のレベル差や時間差などの特徴の隔たり方が異なる。この特徴の隔たり方の違いに応じて異なる増幅率を設定することで、音源の位置に対して所望の異なる増幅率を与えることができる。これにより、例えば、特定方向の信号を狭指向性で収音し、他の信号を所定のレベルで減衰させたような音信号を生成することができる。

また、この発明の音信号処理装置は、帯域分割部、複数の周波数別信号生成部、および信号再構成部をさらに備える。帯域分割部は、メイン収音信号および複数のサブ収音信号に対して、それぞれに異なる周波数成分からなる帯域別収音信号を生成する。各周波数別信号生成部は、帯域別収音信号毎に設定され、それぞれに増幅率決定部と増幅部とを備える。信号再構成部は、複数の周波数別信号生成部から出力される複数の帯域別の出力信号に基づき再構成された信号を出力する。

この構成では、上述のメイン収音信号の増幅処理を複数の周波数帯域で独立に実現する場合を示している。そして、このような構成とすることで、目的音に含まれる周波数帯域の増幅率のみを大きく、雑音が含まれる周波数帯域の増幅率を小さくすることが可能になる。これにより、目的音と雑音が同時に発音している状況においても、目的音のみを強調することができる。

また、この発明の音信号処理装置では、サブ収音部が第１サブ収音部と第２サブ収音部との２個からなる。そして、増幅率決定部は、第２サブ収音部で得られる第２サブ収音信号の振幅に対する、第１サブ収音部で得られる第１サブ収音信号の振幅の割合に基づいて、増幅率を決定する。

この構成では、より具体的な増幅率の決定方法を示している。そして、このような構成とすることで、音源の位置に応じて生じる第１サブ収音信号と第２サブ収音信号の振幅の違いを指標に、より目的方向に近いほど、より大きな増幅率を与えることができ、目的方向のみを簡単な演算で強調することができる。

また、この発明の音信号処理装置の第１サブ収音部は、目的方向に最大収音感度を有し、第２サブ収音部は全ての方向に均一な感度を有する。

この構成では、より具体的な第１サブ収音部および第２サブ収音部の組合せの例を示している。そして、このような構成とすることで、目的方向に近い方向ほど、第２サブ収音部で得られる第２サブ収音信号の振幅に対する第１サブ収音部で得られる第１サブ収音信号の振幅の割合が、より大きくなり、目的方向により近いほど大きな増幅率を設定することができる。これにより、目的方向を含む狭い方位角範囲に、他の方位角範囲よりも高い収音感度を有し、他の方位角範囲では所望レベルで収音感度が低い指向性の音信号を生成することができる。また、第１サブ収音部は、単一のカーディオイド指向性型マイクや、単純で小規模な遅延和アレイを用いた簡単に実現することができる。

また、この発明の音信号処理装置の増幅率決定部は、割合を底とするべき乗値を増幅率に設定する。

この構成では、より具体的な増幅率決定方法を示すものである。そして、このべき乗値を適宜設定することで、指向性を調整することができる。具体的には、べき乗値を小さくすることで、ほぼ最大収音感度の方位角範囲を広げて、他の方位角範囲の収音感度を向上させる方向へ調整できる。一方で、べき乗値を大きくすることで、ほぼ最大収音感度の方位角範囲をより狭くし、他の方位角範囲の収音感度をより抑圧させる方向へ調整できる。

この発明によれば、目的方向の音を効果的に強調し、他の方向の音を減衰することができる。また、音源方向の変化に対して増幅率を滑らかに連続的に変化させることができるため、目的音が目的方向から外れている状況でも、増幅率が過度に変化することが少なく、ミュージカルノイズが発生せず、安定した音声品質を保ちながら収音ができる。

第１の実施形態の音信号処理装置１の構成を示すブロック図である。メイン収音信号生成部２１、第１サブ収音信号生成部２２Ａ、および第２サブ収音信号生成部２２Ｂの具体的な第１実施例を示す図である。メイン収音信号生成部２１、第１サブ収音信号生成部２２Ａ、および第２サブ収音信号生成部２２Ｂの具体的な第２実施例の構成と、マイクロホンＭＩＣ１０１，ＭＩＣ１０２，ＭＩＣ１０３の具体的な配置パターンを示す図である。本実施形態での指向性の整形概念を説明する為の図である。本願発明の処理で形成される指向性と、従来の音源分離処理で形成される指向性との違いを説明するための図である。第２の実施形態の音信号処理装置１Ａの構成を示すブロック図である。第３の実施形態の音信号処理装置１Ｂの構成を示すブロック図である。第４の実施形態の音信号処理装置１Ｃの構成を示すブロック図である。第５の実施形態の収音記憶装置の簡略構成図および音信号処理装置１Ｄの構成を示すブロック図である。第６の実施形態の収音記憶装置の簡略構成図および音信号処理装置１Ｅの構成を示すブロック図である。

本発明の第１の実施形態に係る音信号処理装置について、図を参照して説明する。
図１は本実施形態の音信号処理装置１の構成を示すブロック図である。

音信号処理装置１は、メイン収音信号生成部２１、第１サブ収音信号生成部２２Ａ、第２サブ収音信号生成部２２Ｂ、増幅率決定部２３、増幅部２４を備える。

メイン収音信号生成部２１は、目的方向を最大収音感度の方向とする単一指向性のメイン収音信号Ｙ_Ｍ（ｔ）を生成する。メイン収音信号生成部２１は、メイン収音信号Ｙ_Ｍ（ｔ）を増幅部２４へ出力する。

第１サブ収音信号生成部２２Ａは、メイン収音信号Ｙ_Ｍ（ｔ）と同様に目的方向を最大収音感度の方向とする単一指向性の第１サブ収音信号Ｙ_Ｓ１（ｔ）を生成する。第１サブ収音信号生成部２２Ａは、第１サブ収音信号Ｙ_Ｓ１（ｔ）を増幅率決定部２３へ出力する。

第２サブ収音信号生成部２２Ｂは、全方位方向に同じ収音感度を有する無指向性の第２サブ収音信号Ｙ_Ｓ２（ｔ）を生成する。第２サブ収音信号生成部２２Ｂは、第２サブ収音信号Ｙ_Ｓ２（ｔ）を増幅率決定部２３へ出力する。

これら、メイン収音信号生成部２１、第１サブ収音信号生成部２２Ａ、第２サブ収音信号生成部２２Ｂは、例えば、次に示す第１実施例や第２実施例に示す構成で実現される。

［各収音信号生成部の第１実施例］
図２は、メイン収音信号生成部２１、第１サブ収音信号生成部２２Ａ、および第２サブ収音信号生成部２２Ｂの具体的な第１実施例の構成を示す図である。

メイン収音信号生成部２１、第１サブ収音信号生成部２２Ａ、第２サブ収音信号生成部２２Ｂは、３個のマイクロホンＭＩＣ１１，ＭＩＣ１２，ＭＩＣ１３のみから実現される。この際、マイクロホンＭＩＣ１１およびマイクロホンＭＩＣ１２は、単一指向性マイクであり、目的方向に最大収音感度方向が向くように配置されている。この構成により、例えばマイクロホンＭＩＣ１１がメイン収音信号生成部２１として機能し、メイン収音信号Ｙ_Ｍ（ｔ）を出力する。マイクロホンＭＩＣ１２が第１サブ収音信号生成部２２Ａとして機能し、第１サブ収音信号Ｙ_Ｓ１（ｔ）を出力する。

マイクロホンＭＩＣ１３は無指向性マイクであり、自身の収音面がマイクロホンＭＩＣ１１，ＭＩＣ１３の収音面に略垂直になるように配置されている。この構成により、マイクロホンＭＩＣ１２が第２サブ収音信号生成部２２Ｂとして機能し、第２サブ収音信号Ｙ_Ｓ２（ｔ）を出力する。

なお、この際、マイクロホンＭＩＣ１１，ＭＩＣ１３，ＭＩＣ１２は、略同じ位置に配置されるようにするとよい。例えば、図２に示すように、鉛直方向に対して、上側からマイクロホンＭＩＣ１１，ＭＩＣ１３，ＭＩＣ１２が並び、且つ水平方向における位置が略同じになるように配置されている。

［各収音信号生成部の第２実施例］
図３は、メイン収音信号生成部２１、第１サブ収音信号生成部２２Ａ、および第２サブ収音信号生成部２２Ｂの具体的な第２実施例の構成を示す図である。図３（Ａ）は第２実施例の具体的な回路構成を示すブロック図であり、図３（Ｂ）はマイクロホンＭＩＣ１０１，ＭＩＣ１０２，ＭＩＣ１０３の具体的な配置パターンを示す図である。

マイクロホンＭＩＣ１０１，ＭＩＣ１０２，ＭＩＣ１０３は、所定の指向性を有する。

マイクロホンＭＩＣ１０１は、収音信号Ｘ_１（ｔ）を生成し、増幅率コントロールアンプ２１１，２２１Ａ，２２１Ｂへ出力する。

マイクロホンＭＩＣ１０２は、収音信号Ｘ_２（ｔ）を生成し、増幅率コントロールアンプ２１２，２２２Ａ，２２２Ｂへ出力する。

マイクロホンＭＩＣ１０３は、収音信号Ｘ_３（ｔ）を生成し、増幅率コントロールアンプ２１３，２２３Ａ，２２３Ｂへ出力する。

増幅率コントロールアンプ２１１，２１２，２１３には、目的方向に最大収音感度方向を有する単一指向性のメイン収音信号Ｙ_Ｍ（ｔ）を形成するためのメイン増幅率情報２１０が与えられている。メイン増幅率情報２１０は、増幅率コントロールアンプ２１１，２１２，２１３毎に与えられる各増幅率から構成される。

増幅率コントロールアンプ２１１は、メイン増幅率情報２１０に基づく増幅率で収音信号Ｘ_１（ｔ）を増幅し、加算器２１４へ出力する。増幅率コントロールアンプ２１２は、メイン増幅率情報２１０に基づく増幅率で収音信号Ｘ_２（ｔ）を増幅し、加算器２１４へ出力する。増幅率コントロールアンプ２１３は、メイン増幅率情報２１０に基づく増幅率で収音信号Ｘ_３（ｔ）を増幅し、加算器２１４へ出力する。加算器２１４は、メイン増幅率情報２１０に基づくそれぞれの増幅率で増幅された収音信号Ｘ_１（ｔ）、収音信号Ｘ_２（ｔ）、および収音信号Ｘ_３（ｔ）を加算することで、図２に示すような目的方向（図４では０°方向）を最大感度方向としハイパーカーディオイド特性からなるメイン収音信号Ｙ_Ｍ（ｔ）を生成して、出力する。

このように、第２実施例では、マイクロホンＭＩＣ１０１，ＭＩＣ１０２，ＭＩＣ１０３、メイン増幅率情報２１０に準じた増幅率コントロールアンプ２１１，２１２，２１３、および加算器２１４により、メイン収音信号生成部２１が構成される。

増幅率コントロールアンプ２２１Ａ，２２２Ａ，２２３Ａには、目的方向に最大収音感度方向を有する単一指向性の第１サブ収音信号Ｙ_Ｓ１（ｔ）を形成するための第１サブ増幅率情報２２０Ａが与えられている。第１サブ増幅率情報２２０Ａは、増幅率コントロールアンプ２２１Ａ，２２２Ａ，２２３Ａ毎に与えられる各増幅率から構成される。

増幅率コントロールアンプ２２１Ａは、第１サブ増幅率情報２２０Ａに基づく増幅率で収音信号Ｘ_１（ｔ）を増幅し、加算器２２４Ａへ出力する。増幅率コントロールアンプ２２２Ａは、第１サブ増幅率情報２２０Ａに基づく増幅率で収音信号Ｘ_２（ｔ）を増幅し、加算器２２４Ａへ出力する。増幅率コントロールアンプ２２３Ａは、第１サブ増幅率情報２２０Ａに基づく増幅率で収音信号Ｘ_３（ｔ）を増幅し、加算器２２４Ａへ出力する。加算器２２４Ａは、第１サブ増幅率情報２２０Ａに基づくそれぞれの増幅率で増幅された収音信号Ｘ_１（ｔ）、収音信号Ｘ_２（ｔ）、および収音信号Ｘ_３（ｔ）を加算することで、図２に示すような目的方向（図４では０°方向）を最大感度方向としカーディオイド特性からなる第１サブ収音信号Ｙ_Ｓ１（ｔ）を生成して、出力する。

このように、第２実施例では、マイクロホンＭＩＣ１０１，ＭＩＣ１０２，ＭＩＣ１０３、第１サブ増幅率情報２２０Ａに準じた増幅率コントロールアンプ２２１Ａ，２２２Ａ，２２３Ａ、および加算器２２４Ａにより、第１サブ収音信号生成部２２Ａが構成される。

増幅率コントロールアンプ２２１Ｂ，２２２Ｂ，２２３Ｂには、全方位方向に対して同じ収音感度を有する無指向性の第２サブ収音信号Ｙ_Ｓ２（ｔ）を形成するための第２サブ増幅率情報２２０Ｂが与えられている。第２サブ増幅率情報２２０Ｂは、ゲインコントロールアンプ２２１Ｂ，２２２Ｂ，２２３Ｂ毎に与えられる各増幅率から構成される。

増幅率コントロールアンプ２２１Ｂは、第２サブ増幅率情報２２０Ｂに基づく増幅率で収音信号Ｘ_１（ｔ）を増幅し、加算器２２４Ｂへ出力する。増幅率コントロールアンプ２２２Ｂは、第２サブ増幅率情報２２０Ｂに基づく増幅率で収音信号Ｘ_２（ｔ）を増幅し、加算器２２４Ｂへ出力する。増幅率コントロールアンプ２２３Ｂは、第２サブ増幅率情報２２０Ｂに基づく増幅率で収音信号Ｘ_３（ｔ）を増幅し、加算器２２４Ｂへ出力する。加算器２２４Ｂは、第２サブ増幅率情報２２０Ｂに基づくそれぞれの増幅率で増幅された収音信号Ｘ_１（ｔ）、収音信号Ｘ_２（ｔ）、および収音信号Ｘ_３（ｔ）を加算することで、図４に示すような全方位に対して同じ収音感度を有する無指向性からなる第２サブ収音信号Ｙ_Ｓ２（ｔ）を生成して、出力する。

このように、第２実施例では、マイクロホンＭＩＣ１０１，ＭＩＣ１０２，ＭＩＣ１０３、第２サブゲイン情報２２０Ｂに準じた増幅率コントロールアンプ２２１Ｂ，２２２Ｂ，２２３Ｂ、および加算器２２４Ｂにより、第２サブ収音信号生成部２２Ｂが構成される。

ここで、図３（Ａ）に示したマイクロホンＭＩＣ１０１，ＭＩＣ１０２，ＭＩＣ１０３の具体的な配置例を図３（Ｂ）を示して説明する。

マイクロホンＭＩＣ１０１，ＭＩＣ１０２，ＭＩＣ１０３は、それぞれ単一指向性の収音指向性を有する。そして、図３（Ｂ）に示すように、マイクロホンＭＩＣ１０１，ＭＩＣ１０２，ＭＩＣ１０３は、所定点を中心として、同心円状に略１２０°の間隔で配置される。そして、それぞれのマイクロホンＭＩＣ１０１，ＭＩＣ１０２，ＭＩＣ１０３の収音指向性の最大感度方向が前記所定点方向となるように、配置される。

そして、このような場合、増幅率コントロールアンプ２１１、２１２、２１３、２１１Ａ、２１２Ａ、２１３Ａ、２１１Ｂ、２１２Ｂ、２１３Ｂの各増幅率Ｇ（２１１），Ｇ（２１２），Ｇ（２１３），Ｇ（２１１Ａ），Ｇ（２１２Ａ），Ｇ（２１３Ａ），Ｇ（２１１Ｂ），Ｇ（２１２Ｂ），Ｇ（２１３Ｂ）を次のように設定する。

Ｇ（２１１）＝＋４／３，Ｇ（２１２）＝−１／３，Ｇ（２１３）＝−１／３，
Ｇ（２１１Ａ）＝１．０，Ｇ（２１２Ａ）＝０．０，Ｇ（２１３Ａ）＝０．０，
Ｇ（２１１Ｂ）＝２／３，Ｇ（２１２Ｂ）＝２／３，Ｇ（２１３Ｂ）＝２／３
このような増幅率に設定することで、メイン収音信号生成部２１はマイクロホンＭＩＣ１０１の最大収音感度方向に最大感度を持つハイパーカーディオイドの指向性を有する。第１サブ収音信号生成部２２ＡはマイクロホンＭＩＣ１０１の最大収音感度方向に最大感度を持つカーディオイドの指向性を有する。第２サブ収音信号生成部２２Ｂは全方位に同じ収音感度となる無指向性を有する。

なお、上述の配置例、各マイクの指向性および各増幅率の設定は一例であり、所望とするメイン収音信号、第１サブ収音信号および第２サブ収音信号の特性に応じて、適宜設定すればよい。

増幅率決定部２３は、振幅算出部２３１，２３２および増幅率算出部２３３を備える。振幅算出部２３１は、第１サブ指向性信号Ｙ_Ｓ１（ｔ）の振幅｜Ｙ_Ｓ１（ｔ）｜を算出して、増幅率算出部２３３へ出力する。振幅算出部２３２は、第２サブ指向性信号Ｙ_Ｓ２（ｔ）の振幅｜Ｙ_Ｓ２（ｔ）｜を算出して、増幅率算出部２３３へ出力する。

増幅率算出部２３３は、第２サブ指向性信号Ｙ_Ｓ２（ｔ）の振幅に対する第１サブ指向性信号Ｙ_Ｓ１（ｔ）の振幅の割合を用いて、次式からメイン収音信号Ｙ_Ｍ（ｔ）用の増幅率Ｇ（ｔ）を算出する。

ここで、Ｅはべき乗係数であり、上述の指向性制御情報とともに、ユーザからの操作入力等により与えられる。そして、このべき乗係数Ｅを変更することで、増幅率Ｇ（ｔ）の指向性パターンを制御することができる。

例えば、上述のように、第１サブ収音信号Ｙ_Ｓ１（ｔ）がカーディオイド特性で、第２サブ収音信号Ｙ_Ｓ２（ｔ）が無指向性であれば、べき乗係数Ｅを増加するほど、最大収音感度方向以外の方向の感度を抑圧する特性を得られる。すなわち、図４に示すような最大収音感度方向に鋭い指向性パターンの増幅率Ｇ（ｔ）を設定することができる。さらに、この増幅率Ｇ（ｔ）の指向性パターンは、方位によって非連続的に増幅率が変化するものではなく、連続的に増幅率が変化する特性となる。

増幅部２４は、次式のようにメイン収音信号Ｙ_Ｍ（ｔ）に増幅率Ｇ（ｔ）を乗算することで、出力信号Ｚ（ｔ）を生成する。

このような処理を行う際に、上述のように、最大収音感度方向に鋭い指向性パターンの増幅率Ｇ（ｔ）を設定することで、ハイパーカーディオイド特性であるメイン収音信号Ｙ_Ｍ（ｔ）から、さらに図４に示すような最大収音感度方向を中心とする狭い方位角範囲にのみ収音感度を有する指向性の出力信号Ｚ（ｔ）を得ることができる。

このような構成および処理を用いることで、単にメイン収音信号Ｙ_Ｍ（ｔ）を用いるよりも狭い方位範囲を主たる収音領域とする収音が可能になる。すなわち、収音に対する方位分解能を向上させることができる。これにより、従来のマイクアレイによる収音信号の遅延、合成処理ではできなかった、マイクアレイの配置間隔に依存する最高の方位分解能よりも、さらに高い方位分解能を実現することができる。

さらに、このような構成とすることで、従来の音源分離処理に対して、図５に示すような指向性の違いが生じる。なお、図５における本願発明の処理では、べき乗が３乗の場合を示している。

図５は、本願発明の処理と、従来の音源分離処理との指向性の違いを説明する為の図である。従来の音源分離処理の指向性の例として、＋９０度、−９０度の方向にて目的音優勢の信号のパワーと目的音劣勢の信号のパワーが同じになるような二値的選択を用いた時に形成される指向性と、＋９０度、−９０度の方向にて減算項と非減算項の大きさが同じになるようなスペクトラムサブトラクション法を用いた時に形成される指向性を示している。また、本願発明の処理において形成される指向性を示している。

図５に示すように、従来の音源分離処理では、この場合の＋９０度の方向や、−９０度の方向のように、そこから増幅率が「０」になるような方向が存在する。このような特性では、目的音がその方向付近に位置している場合には、目的音の位置の誤差による揺らぎや内部演算の誤差による揺らぎなどによって、増幅率と出力信号の振幅が急激に変化する。これにより、ミュージカルノイズが生じて、音質が悪化する。

一方、本願発明の処理では、このような急激な変化が生じうる方向は存在せず、目的音の位置の誤差による揺らぎや内部演算の誤差による揺らぎに対して、増幅率はどの方向であっても滑らかに変化し、音質が悪化しない。

次に、第２の実施形態に係る音信号処理装置について、図を参照して説明する。図６は本実施形態の音信号処理装置１Ａの構成を示すブロック図である。

上述の第１の実施形態では、メイン収音信号生成部２１で生成されたメイン収音信号Ｙ_Ｍ（ｔ）、第１サブ収音信号生成部２２Ａで生成された第１サブ収音信号Ｙ_Ｓ１（ｔ）、および第２サブ収音信号生成部２２Ｂで生成された第２サブ収音信号Ｙ_Ｓ２（ｔ）をそのまま利用して、メイン収音信号Ｙ_Ｍ（ｔ）の指向性を制御し出力信号Ｚ（ｔ）を得たが、本実施形態では、メイン収音信号Ｙ_Ｍ（ｔ）、第１サブ収音信号Ｙ_Ｓ１（ｔ）、および第２サブ収音信号Ｙ_Ｓ２（ｔ）のそれぞれを周波数分割した信号を用いて出力信号Ｚｃ（ｔ）を生成する構成を示す。

音信号処理装置１Ａは、メイン収音信号生成部２１、第１サブ収音信号生成部２２Ａ、第２サブ収音信号生成部２２Ｂ、帯域分割部１０、周波数別信号生成部２Ｆ１〜２Ｆｎ、および信号再構成部３０を備える。

帯域分割部１０は、メイン収音信号生成部２１、第１サブ収音信号生成部２２Ａ、第２サブ収音信号生成部２２Ｂ毎に割り当てられた分割処理部１０１，１０２，１０３を備える。分割処理部１０１，１０２，１０３は、複数のバンドパスフィルタ（ＢＰＦ）が組み合わされる構成等からなり、入力される各収音信号（メイン収音信号Ｙ_Ｍ（ｔ）、第１サブ収音信号Ｙ_Ｓ１（ｔ）、および第２サブ収音信号Ｙ_Ｓ２（ｔ））を、それぞれに異なる周波数帯域からなる複数（本実施形態ではｎ個）の個別周波数信号に分割して出力する。なお、帯域分割の方法は、ＢＰＦの組合せに限るものではなく、フーリエ変換等の周波数領域への信号変換処理を利用するものであってもよい。

具体的には、分割処理部１０１は、メイン収音信号生成部２１のメイン収音信号Ｙ_Ｍ（ｔ）を、それぞれに周波数帯域（ｆ１，・・・，ｆｎ）が異なるｎ個の個別周波数信号Ｙ_Ｍ（ｆ１，ｔ）〜Ｙ_Ｍ（ｆｎ，ｔ）に帯域分割し、出力する。この際、分割処理部１０１は、個別周波数信号Ｙ_Ｍ（ｆ１，ｔ）を周波数別信号生成部２Ｆ１へ出力し、図示を省略するが個別周波数信号Ｙ_Ｍ（ｆ２，ｔ）を周波数別信号生成部２Ｆ２へ出力し、個別周波数信号Ｙ_Ｍ（ｆｎ，ｔ）を周波数別信号生成部２Ｆｎへ出力するように、各個別周波数信号Ｙ_Ｍ（ｆ１，ｔ）〜Ｙ_Ｍ（ｆｎ，ｔ）を、それぞれに対応する周波数別信号生成部２Ｆ１〜２Ｆｎへ出力する。

同様に、分割処理部１０２は、第１サブ収音信号生成部２２Ａの第１サブ収音信号Ｙ_Ｓ１（ｔ）を、それぞれに周波数帯域（ｆ１，・・・，ｆｎ）が異なるｎ個の個別周波数信号Ｙ_Ｓ１（ｆ１，ｔ）〜Ｙ_Ｓ１（ｆｎ，ｔ）に帯域分割し、出力する。この際、分割処理部１０２は、個別周波数信号Ｙ_Ｓ１（ｆ１，ｔ）を周波数別信号生成部２Ｆ１へ出力し、図示を省略するが個別周波数信号Ｙ_Ｓ１（ｆ２，ｔ）を周波数別信号生成部２Ｆ２へ出力し、個別周波数信号Ｙ_Ｓ１（ｆｎ，ｔ）を周波数別信号生成部２Ｆｎへ出力するように、各個別周波数信号Ｙ_Ｓ１（ｆ１，ｔ）〜Ｙ_Ｓ１（ｆｎ，ｔ）を、それぞれに対応する周波数別信号生成部２Ｆ１〜２Ｆｎへ出力する。

さらに、分割処理部１０３は、第２サブ収音信号生成部２２Ｂの第２サブ収音信号Ｙ_Ｓ２（ｔ）を、それぞれに周波数帯域（ｆ１，・・・，ｆｎ）が異なるｎ個の個別周波数信号Ｙ_Ｓ２（ｆ１，ｔ）〜Ｙ_Ｓ２（ｆｎ，ｔ）に帯域分割し、出力する。この際、分割処理部１０３は、個別周波数信号Ｙ_Ｓ２（ｆ１，ｔ）を周波数別信号生成部２Ｆ１へ出力し、図示を省略するが個別周波数信号Ｙ_Ｓ２（ｆ２，ｔ）を周波数別信号生成部２Ｆ２へ出力し、個別周波数信号Ｙ_Ｓ２（ｆｎ，ｔ）を周波数別信号生成部２Ｆｎへ出力するように、各個別周波数信号Ｙ_Ｓ２（ｆ１，ｔ）〜Ｙ_Ｓ２（ｆｎ，ｔ）を、それぞれに対応する周波数別信号生成部２Ｆ１〜２Ｆｎへ出力する。

周波数別信号生成部２Ｆ１〜２Ｆｎは、増幅率決定部２３、増幅部２４をそれぞれに備える。各周波数別信号生成部２Ｆ１〜２Ｆｎの増幅率決定部２３、増幅部２４は、第１の実施形態の増幅率決定部２３、増幅部２４と同じ構成であるので、第１の実施形態と異なる部分のみを、周波数別信号生成部２Ｆ１の構成および処理に関してのみ説明し、他の周波数別信号生成部２Ｆ２〜２Ｆｎの構成および処理に関しては説明を省略する。

増幅率決定部２３は、振幅算出部２３１，２３２および増幅率算出部２３３を備える。振幅算出部２３１は、周波数ｆ１の第１サブ指向性信号Ｙ_Ｓ１（ｆ１，ｔ）の振幅｜Ｙ_Ｓ１（ｆ１，ｔ）｜を算出して、増幅率算出部２３３へ出力する。振幅算出部２３２は、周波数ｆ１の第２サブ指向性信号Ｙ_Ｓ２（ｆ１，ｔ）の振幅｜Ｙ_Ｓ２（ｆ１，ｔ）｜を算出して、増幅率算出部２３３へ出力する。

増幅率算出部２３３は、周波数ｆ１の第１サブ指向性信号Ｙ_Ｓ１（ｆ１，ｔ）の振幅と、周波数ｆ１の第２サブ指向性信号Ｙ_Ｓ２（ｆ１，ｔ）の振幅との割合を用いて、次式から周波数ｆ１の増幅率Ｇ（ｆ１，ｔ）を算出する。

ここで、Ｅはべき乗係数であり、上述の指向性制御情報とともに、ユーザからの操作入力等により与えられる。そして、このべき乗係数Ｅを変更することで、周波数ｆ１の増幅率Ｇ（ｆ１，ｔ）の指向性パターンを制御することができる。

増幅部２４は、増幅率決定部２３で算出された周波数ｆ１の増幅率Ｇ（ｆ１，ｔ）に基づいて、周波数ｆ１のメイン収音信号Ｙ_Ｍ（ｆ１，ｔ）の指向性パターンを整形する。具体的には、増幅部２４は、次式のように、周波数ｆ１のメイン収音信号Ｙ_Ｍ（ｆ１，ｔ）に周波数ｆ１の増幅率Ｇ（ｆ１，ｔ）を乗算することで、周波数ｆ１成分の出力信号Ｚ（ｆ１，ｔ）を生成する。

このように生成された周波数ｆ１の出力信号Ｚ（ｆ１，ｔ）は、信号再構成部３０へ出力される。

同様に、それぞれの周波数ｆ２〜ｆｎに対応する周波数別信号生成部２Ｆ２〜２Ｆｎのそれぞれからも、所望の形状にメイン収音信号Ｙ_Ｍ（ｆ２，ｔ）〜Ｙ_Ｍ（ｆｎ，ｔ）の指向性が整形されてなる周波数ｆ２〜ｆｎの出力信号Ｚ（ｆ２，ｔ）〜Ｚ（ｆｎ，ｔ）を得ることができる。具体的には、例えば、周波数別信号生成部２Ｆ２からは周波数ｆ２の出力信号Ｚ（ｆ２，ｔ）が出力され、周波数信号生成部２Ｆｎからは周波数ｆｎの出力信号Ｚ（ｆｎ，ｔ）が出力される。

信号再構成部３０は、各周波数別信号生成部２Ｆ１〜２Ｆｎからの周波数ｆ１〜ｆｎ毎の出力信号Ｚ（ｆ１，ｔ）〜Ｚ（ｆｎ，ｔ）を再構成し、再構成信号Ｚｃ（ｔ）を出力する。例えば、具体的に、信号再構成部３０は、次式を満たすように出力信号Ｚ（ｆ１，ｔ）〜Ｚ（ｆｎ，ｔ）を加算することで、再構成信号Ｚｃ（ｔ）を生成する。

なお、再構成の方法は、加算に限るものではなく、逆フーリエ変換等の時間領域への信号変換処理を利用するものであってもよい。

次に、第３の実施形態に係る音信号処理装置について、図を参照して説明する。図７は本実施形態の音信号処理装置１Ｂの構成を示すブロック図である。

本実施形態の音信号処理装置１Ｂは、第１の実施形態の音信号処理装置１に対して制御部４０、操作部４１、およびスピーカ５０を加えたものであり、他の構成は同じである。したがって、第１の実施形態の音信号処理装置１と異なる箇所のみを説明する。

音信号処理装置１Ｂの操作部４１は、所定の操作子等を備え、ユーザからの操作入力を受け付けて、制御部４０へ与える。具体的には、操作部４１は、放音対象となる話者方位と、他の方位からの収音に対する抑圧レベルとを受け付ける。操作部４１は、話者方位と抑圧レベルとを受け付けると、制御部４０へ話者方位情報および抑圧レベル情報を与える。

制御部４０は、操作部４１から受け付けた話者方位情報および抑圧レベル情報に基づいて、上述のメイン収音信号Ｙ_Ｍ（ｔ）および第１サブ収音信号Ｙ_Ｓ１（ｔ）の最大収音感度の方位を設定する。制御部４０は、設定された最大収音感度の方位に基づいて指向性制御情報を生成し、メイン収音信号生成部２１、第１サブ収音信号生成部２２Ａ、へ出力する。メイン収音信号生成部２１、第１サブ収音信号生成部２２Ａは、上述の［第１実施例］の場合、各マイクロホンの方向を機械的に変化させる。一方、メイン収音信号生成部２１、第１サブ収音信号生成部２２Ａは、［第２実施例］の構成の場合、指向性制御情報として上述のメイン増幅率情報、第１サブ増幅率情報、および第２サブ増幅率情報を含む。メイン収音信号生成部２１、第１サブ収音信号生成部２２Ａは、それぞれに与えられた指向性制御情報に基づいて増幅率コントロールアンプの増幅率を調整して、メイン収音信号Ｙ_Ｍ（ｔ）、第１サブ収音信号Ｙ_Ｓ１（ｔ）を出力する。

この際、第２サブ収音信号生成部２２Ｂは、無指向性の第２サブ収音信号Ｙ_Ｓ２（ｔ）を出力するため、特に指向性制御情報を与えられていない。しかしながら、第２サブ収音信号生成部２２Ｂへ、都度、無指向性を形成するための指向性制御情報を与えても良い。さらには、第２サブ収音信号Ｙ_Ｓ２（ｔ）に無指向性以外の収音指向性を与える場合にも、指向性制御情報を与えることができ、第２サブ収音信号生成部２２Ｂは、与えられた指向性制御情報に基づいて第２サブ収音信号Ｙ_Ｓ２（ｔ）を生成することができる。

また、制御部４０は、抑圧レベル情報に基づいて、上述の増幅率Ｇを決定するべき乗係数を設定し、増幅率決定部２３へ出力する。増幅率決定部２３は、与えられたべき乗係数を、上述の式（３）に代入することで、増幅率Ｇ（ｔ）を算出する。

このような指向性制御情報やべき乗係数を用いることで、出力信号Ｚ（ｔ）は、指定した話者の音声を極狭い方位角範囲で強調し、他の方位角範囲の音を抑圧した音信号となる。そして、この出力信号Ｚ（ｔ）はスピーカ５０へ入力され、スピーカ５０は、出力信号Ｚ（ｔ）により放音する。

このような構成および処理を行うことで、放音音声は、指定した話者音声のみが強調され、他の方位角範囲の音が所望レベルで抑圧された音声となる。

また、指定した話者方向が方位角方向に、若干ずれるようなことがあっても、ミュージカルノイズが発生することなく、音質の悪化を抑制できる。

ここで、操作部４１に対して抑圧レベルの調整操作を入力すれば、指定した話者音声はそのままで、他の方位角範囲の音の抑圧レベルを調整して放音することもできる。これにより、さらに操作者の所望する放音を実現しやすくすることができる。

次に、第４の実施形態に係る音信号処理装置について、図を参照して説明する。図８は本実施形態の音信号処理装置１Ｃの構成を示すブロック図である。

本実施形態の音信号処理装置１Ｃは、第３の実施形態に示した音信号処理装置１Ｂに対して、スピーカ５０が記録部６０に置き換わったものである。

このような構成とすることで、上述の第３の実施形態に示した放音される出力信号Ｚ（ｔ）が記録部６０に記録される。すなわち、指定した話者音声のみが強調され、他の方位角範囲の音が所望レベルで抑圧された音声を録音することができる。

なお、上述の第３の実施形態に係る構成や第４の実施形態に係る構成を、上述の第２の実施形態に示した周波数成分毎に出力信号Ｚ（ｆ１，ｔ）〜Ｚ（ｆｎ，ｔ）を生成し、再構成信号Ｚｃ（ｔ）を出力する構成に適用することもできる。

次に、第５の実施形態に係る音信号処理装置について、図を参照して説明する。図９（Ａ）は本実施形態の音信号処理装置１Ｄの構成を示すブロック図である。図９（Ｂ）は収音して記憶する収音記憶装置の簡略構成図である。

本実施形態の音信号処理装置１Ｄは、第２の実施形態に示した音信号処理装置１Ｂに対して、制御部４０、操作部４１、スピーカ５０、および収音信号記録部７０を備えたものであり、他の構成は第２の実施形態の音信号処理装置１Ｂと同じである。また、操作部４１は、上述の第３の実施形態に示したものと同じであり、説明は省略する。したがって、第２の実施形態の音信号処理装置１Ｂや第３の実施形態の音信号処理装置１Ｃとは異なる箇所のみを説明する。

本実施形態の音信号処理装置１Ｄは、図９（Ｂ）に示す収音記録装置と、図９（Ａ）に示す音再生装置とを備える。収音記録装置は、マイクロホンＭＩＣ２０１，２０２，ＭＩＣ２０３と収音信号記録部７０を備える。マイクロホンＭＩＣ２０１，２０２，ＭＩＣ２０３は、上述のマイクロホンＭＩＣ１０１，ＭＩＣ１０２，ＭＩＣ１０３等と同様に、所定の指向性を有し、所定の位置関係で配置されている。マイクロホンＭＩＣ２０１，ＭＩＣ２０２，ＭＩＣ２０３の収音信号Ｘ_１（ｔ），Ｘ_２（ｔ），Ｘ_３（ｔ）は、収音信号記録部７０に、例えば所定のサンプリングタイムで順次記録される。

音再生装置は、上述の第２実施形態に示した音信号処理装置１Ａのメイン収音信号生成部２１、第１サブ収音信号生成部２２Ａ、第２サブ収音信号生成部２２Ｂに代わり、上記収音信号記録部７０、指向性制御部８０を備える。また、上述の第３実施形態に示すように制御部４０、操作部４１を備える。

収音信号記録部７０には、制御部４０からの収音信号出力制御に応じて、収音信号Ｘ_１（ｔ），Ｘ_２（ｔ），Ｘ_３（ｔ）を指向性制御部８０へ出力する。

指向性制御部８０は、メイン収音信号生成部２５１、第１サブ収音信号生成部２５２Ａ、第２サブ収音信号生成部２５２Ｂを備える。

メイン収音信号生成部２５１は、第１実施形態の第２実施例（図３参照）に示した増幅率コントロールアンプ２１１，２１２，２１３、加算器２１４を備える。メイン収音信号生成部２５１には、制御部４０からメイン収音信号を生成するための指向性制御情報が与えられる。メイン収音信号生成部２５１は、当該指向性制御情報に基づいて、各増幅率コントロールアンプの増幅率を設定し、メイン収音信号Ｙ_Ｍ（ｔ）を出力する。

第１サブ収音信号生成部２５２Ａは、第１実施形態の第２実施例（図３参照）に示した増幅率コントロールアンプ２２１Ａ，２２２Ａ，２２３Ａ、加算器２２４Ａを備える。第１サブ収音信号生成部２５２Ａには、制御部４０から第１サブ収音信号を生成するための指向性制御情報が与えられる。第１サブ収音信号生成部２５２Ａは、当該指向性制御情報に基づいて、各増幅率コントロールアンプの増幅率を設定し、第１サブ収音信号Ｙ_Ｓ１（ｔ）を出力する。

第２サブ収音信号生成部２５２Ｂは、第１実施形態の第２実施例（図３参照）に示した増幅率コントロールアンプ２２１Ｂ，２２２Ｂ，２２３Ｂ、加算器２２４Ｂを備える。第２サブ収音信号生成部２５２Ｂには、制御部４０から第２サブ収音信号を生成するための指向性制御情報が与えられる。第２サブ収音信号生成部２５２Ｂは、当該指向性制御情報に基づいて、各増幅率コントロールアンプの増幅率を設定し、第２サブ収音信号Ｙ_Ｓ２（ｔ）を出力する。

指向性制御部８０から出力された、メイン収音信号Ｙ_Ｍ（ｔ）、第１サブ収音信号Ｙ_Ｓ１（ｔ）、第２サブ収音信号Ｙ_Ｓ２（ｔ）は帯域分割部１０へ出力される。

この際、上述のようにマイクロホンＭＩＣ２０１，ＭＩＣ２０２，ＭＩＣ２０３で収音された収音信号Ｘ_１（ｔ）、収音信号Ｘ_２（ｔ）、および収音信号Ｘ_３（ｔ）を記録する構成を用いていれば、制御部４０は、操作部４１から受け付けた話者方位情報に基づいて、話者方位を最大収音感度方向とする単一指向性のメイン収音信号Ｙ_Ｍ（ｔ）、第１サブ収音信号Ｙ_Ｓ１（ｔ）と、無指向性の第２サブ収音信号Ｙ_Ｓ２（ｔ）を、指向性制御部８０で生成し、帯域分割部１０へ出力することができる。

また、制御部４０は、操作部４１から受け付けた抑圧レベル情報に基づいて、周波数別信号生成部２Ｆ１〜２Ｆｎのそれぞれに対して、上述の増幅率Ｇ（ｆ１，ｔ）〜Ｇ（ｆｎ，ｔ）を決定するべき乗係数を周波数ｆ１〜ｆｎ毎に設定する。制御部４０は、この周波数ｆ１〜ｆｎ毎のべき乗係数を各周波数別信号生成部２Ｆ１〜２Ｆｎへ出力する。

信号再構成部３０は、このように記録されたメイン収音信号Ｙ_Ｍ（ｔ）、第１サブ収音信号Ｙ_Ｓ１（ｔ）および第２サブ収音信号Ｙ_Ｓ２（ｔ）や、収音信号Ｘ_１（ｔ），Ｘ_２（ｔ），Ｘ_３（ｔ）に基づいて生成された周波数別の出力信号Ｚ（ｆ１，ｔ）〜Ｚ（ｆｎ，ｔ）を用いて、上述のように信号再構成を行い、再構成信号Ｚｃ（ｔ）を出力する。この再構成信号Ｚｃ（ｔ）はスピーカ５０に入力され、当該スピーカ５０から放音される。

このような構成とすることで、上述の実施形態に示すように、収音しながらの処理ではなく、オフライン処理により、所望とする方向からの音のみを強調し、他の範囲の音を適宜抑圧してなる音信号を放音することができる。特に、一旦収音信号Ｘ_１（ｔ），Ｘ_２（ｔ），Ｘ_３（ｔ）を記録する方法を用いれば、例えば、収音後に特定の話者の音声を指定して、当該話者音声を強調し、他の話者の音声を参考程度に聞くような状況に適した放音が可能になる。

次に、第６の実施形態に係る音信号処理装置について、図を参照して説明する。図１０は本実施形態の音信号処理装置１Ｅの構成を示すブロック図である。本実施形態の音信号処理装置１Ｅは、第５の実施形態に示した音信号処理装置１Ｄに対して、スピーカ５０が記録部６０に置き換わったものである。

このような構成とすることで、上述の第５の実施形態に示した放音される出力信号Ｚ（ｔ）が記録部６０に記録される。すなわち、オフライン処理で、話者音声のみが強調され、他の方位角範囲の音が所望レベルで抑圧された音声を録音することができる。特に、一旦収音信号Ｘ_１（ｔ），Ｘ_２（ｔ），Ｘ_３（ｔ）を記録する方法を用いることで、例えば、収音後に議事録を作成するような場合に、特定の話者の音声を強調し、他の話者の音声が参考程度に含まれるような音信号を、新たに録音することができる。

なお、上述の第５の実施形態に係る構成や第６の実施形態に係る構成を、上述の第１の実施形態に示した出力信号Ｚ（ｔ）を生成する構成に適用することもできる。

また、上述の周波数帯域分割する実施形態では、メイン収音信号Ｙ_Ｍ（ｔ）、第１サブ収音信号Ｙ_Ｓ１（ｔ）および第２サブ収音信号Ｙ_Ｓ２（ｔ）を帯域分割する例を示したが、上述の［実施例２］の収音信号生成部を用いる場合であれば、各マイクロホンＭＩＣ１０１，ＭＩＣ１０２，ＭＩＣ１０３の収音信号を帯域分割してから、帯域毎にメイン収音信号Ｙ_Ｍ（ｔ）、第１サブ収音信号Ｙ_Ｓ１（ｔ）および第２サブ収音信号Ｙ_Ｓ２（ｔ）を生成することもできる。

１，１Ａ〜１Ｅ−音信号処理装置、１０−帯域分割部、１０１，１０２，１０３−分割処理部、２０−収音信号生成部、２１−メイン収音信号生成部、２２Ａ−第１サブ収音信号生成部、２２Ｂ−第２サブ収音信号生成部、２３−増幅率決定部、２４−ゲイン補正部、２１１，２１２，２１３，２２１Ａ，２２２Ａ，２２３Ａ，２２１Ｂ，２２２Ｂ，２２３Ｂ−増幅率コントロールアンプ、２３１，２３２−振幅算出部、２３３−増幅率算出部、２１４，２２４，２３４−加算器、２Ｆ１〜２ＦＮ−周波数別信号生成部、３０−信号再構成部、４０−制御部、４１−操作部、５０−スピーカ、６０−記録部、７０−収音信号記録部、８０−指向性制御部

Claims

メイン収音信号を生成するメイン収音部と、
目的方向に最大感度を有するサブ収音信号と、全ての方向に均一な感度を有するサブ収音信号とを生成する複数のサブ収音部と、
該複数のサブ収音部から出力される各サブ収音信号の振幅に基づいて増幅率を決定する増幅率決定部と、
前記メイン収音信号に前記増幅率を乗算した結果を出力信号として出力する増幅部と、
を備え、
前記サブ収音部が第１サブ収音部と第２サブ収音部との２個からなり、
前記増幅率決定部は、前記第２サブ収音部で得られる第２サブ収音信号の振幅に対する、前記第１サブ収音部で得られる第１サブ収音信号の振幅の割合に基づいて、前記増幅率を決定し、
前記第１サブ収音部は、目的方向に最大収音感度を有し、前記第２サブ収音部は全ての方向に均一な感度を有する音信号処理装置。
前記メイン収音信号および前記複数のサブ収音信号に対してそれぞれに異なる周波数成分からなる帯域別収音信号を生成する帯域分割部と、
前記帯域別収音信号毎に前記増幅率決定部と前記増幅部とを備える複数の周波数別信号生成部と、
該複数の周波数別信号生成部から出力される複数の帯域別の出力信号を再構成した信号を出力する信号再構成部と、を備える請求項１に記載の音信号処理装置。
前記増幅率決定部は、前記割合を底とするべき乗値を前記増幅率に設定する、請求項１または請求項２に記載の音信号処理装置。