JP5908199B2 - 音響処理装置及び集音装置 - Google Patents

Description

本発明は、入力される音響信号に所定の処理を施して出力する音響処理装置や、当該音響処理装置を備えた集音装置に関する。

動画を撮像するデジタルビデオカメラに代表される撮像装置や、ＩＣ（Integrated Circuit）レコーダに代表される音響記録装置など、集音により音響信号を生成する集音装置の中に、音響信号に種々の処理を施す音響処理装置を備えるものがある。このような音響処理装置として、音の到来方向（音源の位置）を音響信号に反映させてステレオ感を強調する処理（以下、ステレオ感強調処理とする）を行うものがある。例えば、複数のマイクを用いて集音することにより得られる複数のチャンネルの音響信号を適宜遅延させ、遅延させたあるチャンネルの音響信号を異なるチャンネルの音響信号に合成する処理（以下、遅延合成とする）を行うことで、ステレオ感強調処理を行うものがある。

しかしながら、集音装置の構造によっては、この遅延合成によるステレオ感強調処理の効果が十分に得られない場合が生じ得る。具体的に例えば、集音装置に実装される二つのマイクが、空間サンプリング定理（マイク間隔ｄ（ｍｍ）＜音速（略３４０ｍ／ｓ）／サンプリング周波数（ｋＨｚ）、サンプリング周波数が４８ｋＨｚであればｄ＜略７．１）を満たさない場合、音響信号の高周波数の帯域で十分な効果が得られない、または逆効果となる場合が生じ得る。

これについて図面を参照して説明する。図８は、遅延合成によるステレオ感強調処理を施して得られる音響信号のグラフである。図８（ａ）は、上記定理を満たす集音装置（ｄ＝７）で集音されて遅延合成によるステレオ感強調処理が施された音響信号のグラフである。図８（ｂ）は、上記定理を満たさない集音装置（ｄ＝１０）で集音されて遅延合成によるステレオ感強調処理が施された音響信号のグラフである。また図９は、音源とマイクとの位置関係について説明する図である。

図８（ａ）及び（ｂ）のグラフの横軸は周波数、縦軸は音響信号のレベル差（図９において、一方のマイクＭＬより得られるステレオ感強調処理後の音響信号のレベルから、他方のマイクＭＲより得られるステレオ感強調処理後の音響信号のレベルを減算した値）である。また、グラフ中に示されるそれぞれの曲線は、音源Ｓの位置毎に得られる音響信号の状態をそれぞれ示したものである。図９に示すように、音源Ｓの位置は、二つのマイクＭＬ，ＭＲの中心と音源Ｓとを結ぶ直線Ｌ０°〜Ｌ９０°と、二つのマイクＭＬ，ＭＲを結ぶ直線に対して垂直（マイクＭＬ，ＭＲの正面方向）となる直線ＬＦと、の成す角度で表現する。なお、ここでは音源Ｓが他方のマイクＭＲより一方のマイクＭＬに近い場合の音源Ｓの位置を、正の角度で表現する。

図８（ａ）に示すように、上記定理を満たす集音装置で集音された音響信号に対してステレオ感強調処理を施して得られる音響信号は、音源Ｓが二つのマイクＭＬ，ＭＲの正面方向（０°）から一方のマイクＭＬ側に寄った位置になるほど（角度が大きくなるほど）、レベル差が大きくなっている。即ち、実際の音源Ｓの位置が正しく表現された音響信号が生成されている。一方、図８（ｂ）に示すように、上記定理を満たさない集音装置で集音された音響信号に対してステレオ感強調処理を施して得られる音響信号では、音源Ｓの位置を示す角度が大きくなると、１５ｋＨｚ以上の高周波数の帯域で折り返し（レベル差の反転）が生じる。このような折り返しが生じる帯域では、音源から遠い他方のマイクＭＲのレベルの方が一方のマイクＭＬのレベルよりも大きくなる場合が生じ得るため、ステレオ感強調処理が逆効果となることがある。

そこで、例えば特許文献１では、音響信号の低周波数の帯域に対して選択的にステレオ感強調処理を施す集音装置が提案されている。

特開平４−２７２９８号公報

特許文献１で提案される集音装置では、高周波数の帯域に遅延合成によるステレオ感強調処理を施さないため、折り返しが発生することによってステレオ感強調処理が逆効果となることを抑制することができる。しかしながら、高周波数の帯域に対してステレオ感強調処理を施すことができないため、十分なステレオ感を得ることができず、問題となる。

なお、サンプリング定理を満たすようにマイクを配置すれば、上述した従来の遅延合成を用いたステレオ感強調処理を行うこととしても、音響信号の周波数の全帯域でステレオ感強調処理の効果を得ることができる。しかしながら、集音装置の構造が制限されるため、問題となる。

そこで本発明は、音響信号の周波数の全帯域においてステレオ感強調処理の効果を得るとともに、構造の自由度を向上させる音響処理装置及び集音装置を提供することを目的とする。

上記目的を達成するために本発明の音響処理装置は、集音して得られる複数のチャンネルの音響信号に対してステレオ感強調処理を施して出力する音響処理装置において、前記音響信号の所定の周波数以下の低域成分に対して低域成分用ステレオ感強調処理を施すとともに、所定の周波数以上の高域成分に対して高域成分用ステレオ感強調処理を施すステレオ感強調処理部を備えることを特徴とする。

また、上記構成の音響処理装置において、前記ステレオ感強調処理部が、前記音響信号から前記低域成分と前記高域成分とを分離して得る分離部と、前記分離部で得られた前記低域成分に前記低域成分用ステレオ感強調処理を施して出力する低域成分ステレオ感強調部と、前記分離部で得られた前記高域成分に前記高域成分用ステレオ感強調処理を施して出力する高域成分ステレオ感強調部と、前記低域成分ステレオ感強調部から出力される前記低域成分と、前記高域成分ステレオ感強調部から出力される前記高域成分と、を結合する結合部と、を備えることとしても構わない。

このように構成すると、音響信号から低域成分及び高域成分をそれぞれ分離して得ることが可能となる。そのため、低域成分用ステレオ感強調処理及び高域成分用ステレオ感強調処理をそれぞれ独立した処理として、低域成分及び高域成分のそれぞれに対して施すことが可能となる。なお、以下の実施形態では、分離部の一例としてＨＰＦ及びＬＰＦまたはＦＦＴ部を挙げ、結合部の一例として合成部またはＩＦＦＴ部を挙げて、それぞれ説明している。

また、上記構成の音響処理装置において、前記ステレオ感強調処理部が、前記低域成分に基づいて、前記音響信号に含まれる音を発した音源の状態を示す音源情報を生成する音源情報生成部を備え、前記低域成分用ステレオ感強調処理及び前記高域成分用ステレオ感強調処理の少なくとも一方が、前記音源情報に基づいた処理であることとしても構わない。

このように構成すると、低域成分や高域成分に対して、音源の状態に基づいた効果的な低域成分用ステレオ感強調処理や高域成分用ステレオ感強調処理を施すことが可能となる。また、高域成分ではマイクの感度特性のばらつきによる影響が大きくなるため、低域成分に基づいて音源情報を生成することにより、精度よく音源情報を生成することが可能となる。

また、上記構成の音響処理装置において、前記音源情報に、前記音響信号を集音した複数のマイクに対する前記音源の方向を示す情報が含まれることとしても構わない。また、前記音源が発する音の周波数を示す情報が含まれることとしても構わない。

また、上記構成の音響処理装置において、前記高域成分用ステレオ感強調処理が、複数のチャンネルの前記高域成分のレベル比を制御するものであることとしても構わない。

また、上記構成の音響処理装置において、前記低域成分が、前記音響信号の略４ｋＨｚ以下の成分であるとともに、前記高域成分が前記音響信号の略４ｋＨｚ以上の成分であり、前記低域成分用ステレオ感強調処理が、複数チャンネルの前記低域成分の位相差を用いた制御を行うものであり、前記高域成分用ステレオ感強調処理が、複数チャンネルの前記高域成分のレベル比を用いた制御を行うものであることとしても構わない。

略４ｋＨｚ以下の低域成分では位相差（時間差）が音源方向の知覚に強く寄与し、略４ｋＨｚ以上の高域成分ではレベル差（レベル比）が音源方向の知覚に強く寄与する。そのため、このように構成することで、ステレオ感強調処理をより効果的に行うことが可能となる。

また、本発明の集音装置は、集音して複数のチャンネルの音響信号を生成する複数のマイクと、前記複数のマイクで集音して得られる前記音響信号を処理する上記のいずれかに記載の音響処理装置と、を備えることを特徴とする。

また、上記構成の集音装置において、前記複数のマイクが無指向性のマイクであることとしても構わない。

このように構成すると、集音時に指向性が制御されていない音響信号に対して、音響処理装置がステレオ感強調処理を施すこととなる。そのため、音響処理装置の設計を容易にすることが可能となる。

本発明によると、低域成分用ステレオ感強調処理と高域成分用ステレオ感強調処理とを別々に行うことによって、周波数の全帯域においてステレオ感強調処理の効果が得られる音響信号を生成することが可能となる。そのため、音響信号を集音するマイクの配置などによらず、どのように集音して得られた音響信号に対しても、ステレオ感強調処理を施すことが可能となる。そのため、集音装置の構造の自由度を向上させることが可能となる。

は、本発明の実施形態における撮像装置の構成について示すブロック図である。 は、本発明の実施形態における撮像装置の音響処理部に備えられるステレオ感強調処理部の構成を示すブロック図である。 は、音源情報生成部の構成例について示すブロック図である。 は、低域成分ステレオ感強調部の構成例について示すブロック図である。 は、低域成分ステレオ感強調部の構成の別例について示すブロック図である。 は、高域成分ステレオ感強調部の構成例について示すブロック図である。 は、レベル比制御部の設定レベル比を示す表である。 は、遅延合成によるステレオ感強調処理を施して得られる音響信号のグラフである。 は、音源とマイクとの位置関係について説明する図である。

本発明の実施形態について、以下に図面を参照して説明する。最初に、本発明における音響処理部（音響処理装置）を備えた集音装置の一例として撮像装置を挙げて、具体的に説明する。

＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成について示すブロック図である。なお、以下では説明の具体化のため、ステレオマイク（二つのマイクを備え、Ｌｃｈ及びＲｃｈの２つのチャンネルの音響信号を生成する）を備えた撮像装置について説明する。

図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音を電気信号に変換するマイク５Ｌ，５Ｒと、マイク５Ｌ，５Ｒからそれぞれ出力されるアナログ信号である音響信号をデジタル信号にそれぞれ変換するＡＤＣ（Analog to Digital Converter）６と、ＡＤＣ６から出力される音響信号に対して各種音響処理を施して出力する音響処理部７と、ＡＦＥ４から出力される画像信号に対して各種画像処理を施して出力する画像処理部８と、画像処理部８から出力される画像信号と音響処理部７から出力される音響信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施す圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１１と、画像信号を外部メモリ１１に記録したり読み出したりするドライバ部１０と、ドライバ部１０において外部メモリ１１から読み出した圧縮符号化信号を伸長して復号する伸長処理部１２と、を備える。

また、音響処理部７は、入力されるそれぞれの音響信号にステレオ感強調処理を施して出力するステレオ感強調処理部７０を備える。なお、ステレオ感強調処理部７０の構成の詳細については、後述する。

また、撮像装置１は、伸長処理部１２で復号された画像信号をモニタなどの表示装置（不図示）で表示可能な形式の信号に変換する画像信号出力回路部１３と、伸長処理部１２で復号された音響信号をスピーカなどの出力装置（不図示）で出力可能な形式の信号に変換する音響信号出力回路部１４と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１６と、撮像を開始するボタンや各種設定の決定を行うボタンなどのユーザからの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各部との間で信号のやりとりを行うためのバス１９と、メモリ１６と各部との間で信号のやりとりを行うためのバス２０と、を備える。

なお、外部メモリ１１は画像信号や音響信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１１として使用することができる。また、外部メモリ１１を撮像装置１から着脱自在としても構わない。

次に、撮像装置１の基本動作について図１を参照して説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を生成する。イメージセンサ２は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部８に入力される。画像処理部８では、画像信号がＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像処理が施される。また、メモリ１６はフレームメモリとして動作し、画像処理部８が処理を行なう際に画像信号を一時的に保持する。

また、マイク５Ｌ，５Ｒは、音を集音し電気信号である音響信号に変換してＬｃｈ及びＲｃｈの音響信号をそれぞれ生成し、出力する。マイク５Ｌ，５Ｒからそれぞれ出力される音響信号はＡＤＣ６に入力されて、アナログ信号からデジタル信号へと変換される。さらに、ＡＤＣ６によってデジタル信号へと変換された音響信号は音響処理部７に入力され、ノイズ除去などの各種音響処理が施される。このとき、ステレオ感強調処理部７０によって、音響信号にステレオ感強調処理が施される。なお、ステレオ感強調処理の詳細については、後述する。

画像処理部８から出力される画像信号と、音響処理部７から出力される音響信号と、はともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。このとき、画像信号と音響信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音響信号はドライバ部１０を介して外部メモリ１１に記録される。なお、音響信号のみを記録する場合、音響信号のみが圧縮処理部９において所定の圧縮方法で圧縮され、外部メモリ１１に記録される。

外部メモリ１１に記録された圧縮後の画像信号及び音響信号は、ユーザの指示に基づいて伸長処理部１２に読み出される。伸長処理部１２では、圧縮された画像信号及び音響信号を伸長し、画像信号を画像信号出力回路部１３、音響信号を音響信号出力回路部１４にそれぞれ出力する。そして、画像信号出力回路部１３や音響信号出力回路部１４において、表示装置やスピーカで表示または出力可能な形式の信号に変換されて出力される。

なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。

また、マイク５Ｌ，５Ｒを無指向性のマイクとしても構わない。音響処理部７に入力される音響信号を指向性が制御されていないものとすると、音響処理部７やステレオ感強調処理部７０の設計を容易にすることが可能となるため、好ましい。また、マイク５Ｌ，５Ｒを、デジタル信号の音響信号を出力するデジタルマイクとして、ＡＤＣ６を備えない構成としても構わない。

＜ステレオ感強調処理部＞
次に、図１に示した音響処理部７に備えられるステレオ感強調処理部７０の構成及び動作の詳細について図面を参照して説明する。図２は、本発明の実施形態における撮像装置の音響処理部に備えられるステレオ感強調処理部の構成を示すブロック図である。なお、以下では、図１に示すマイク５Ｌで集音されて得られる音響信号をＬｃｈ、マイク５Ｒで集音されて得られる音響信号をＲｃｈとして説明する。

図２に示すように、ステレオ感強調処理部７０は、入力されるＬｃｈの音響信号から所定の周波数以下となる帯域成分（以下、低域成分とする）を取得して出力するＬＰＦ（Low Pass Filter）７１Ｌと、入力されるＲｃｈの音響信号から低域成分を取得して出力するＬＰＦ７１Ｒと、入力されるＲｃｈの音響信号から所定の周波数以上となる帯域成分（以下、高域成分とする）を取得して出力するＨＰＦ（High Pass Filter）７２Ｌと、入力されるＲｃｈの音響信号から高域成分を取得して出力するＨＰＦ７２Ｒと、ＬＰＦ７１Ｌから出力されるＬｃｈの低域成分とＬＰＦ７１Ｒから出力されるＲｃｈの低域成分とを比較して音源情報を生成し出力する音源情報生成部７３と、ＬＰＦ７１Ｌから出力されるＬｃｈの低域成分とＬＰＦ７１Ｒから出力されるＲｃｈの低域成分とのそれぞれに対して音源情報生成部７３から出力される音源情報に基づいたステレオ感強調処理を施して出力する低域成分ステレオ感強調部７４と、ＨＰＦ７２Ｌから出力されるＬｃｈの高域成分とＨＰＦ７２Ｒから出力されるＲｃｈの高域成分とのそれぞれに対して音源情報生成部７３から出力される音源情報に基づいたステレオ感強調処理を施して出力する高域成分ステレオ感強調部７５と、低域成分ステレオ感強調部７４から出力されるＬｃｈの低域成分と高域成分ステレオ感強調部７５から出力されるＬｃｈの高域成分とを合成してＬｃｈの音響信号を生成し出力する合成部７６Ｌと、低域成分ステレオ感強調部７４から出力されるＲｃｈの低域成分と高域成分ステレオ感強調部７５から出力されるＲｃｈの高域成分とを合成してＲｃｈの音響信号を生成し出力する合成部７６Ｒと、を備える。

図２に示すように、ステレオ感強調処理部７０は、まずＬＰＦ７１Ｌ，７１Ｒが、入力されるＬｃｈ及びＲｃｈの音響信号から低域成分をそれぞれ取得する。同様に、ＨＰＦ７２Ｌ，７２Ｒが、入力されるＬｃｈ及びＲｃｈの音響信号から高域成分をそれぞれ取得する。そして、音源情報生成部７３が、ＬＰＦ７１Ｌ，７１Ｒから出力されるＬｃｈ及びＲｃｈの低域成分を用いて音源情報を生成する。なお、音源情報には、例えばマイク５Ｌ，５Ｒに対する音源の存在方向（以下、音源方向とする）や、音源が発する音の周波数などの情報が含まれ得る。

低域成分ステレオ感強調部７４は、ＬＰＦ７１Ｌ，７１Ｒから出力されるＬｃｈ及びＲｃｈのそれぞれの低域成分に対し、音源情報に基づいた低域成分用のステレオ感強調処理を施す。また、高域成分ステレオ感強調部７５は、ＨＰＦ７２Ｌ，７２Ｒから出力されるＬｃｈ及びＲｃｈの高域成分に対し、音源情報に基づいた高域成分用のステレオ感強調処理を施す。このように、本例のステレオ感強調処理部７０は、音響信号の低域成分と高域成分とに対して、別々にステレオ感強調処理を施す。

そして、低域成分ステレオ感強調部７４及び高域成分ステレオ感強調部７５でステレオ感強調処理が施されたＬｃｈの低域成分及び高域成分を、合成部７６Ｌで合成（例えば、加算合成）してＬｃｈの音響信号を生成し、ステレオ感強調処理部７０から出力する。同様に、ステレオ感強調処理が施されたＲｃｈの低域成分及び高域成分を、合成部７６Ｒで合成してＲｃｈの音響信号を生成し、ステレオ感強調処理部７０から出力する。

なお、低域成分及び高域成分を、略４ｋＨｚで分けることとしても構わない。人間の音の方向定位（音源方向の知覚）は、略４ｋＨｚを境目として、高周波数と低周波数とで強く寄与する因子が異なる。特に、低周波数の音では位相差（時間差）が音源方向の知覚に強く寄与し、高周波数の音では音圧（レベル）差が音源方向の知覚に強く寄与する（例えば“西山静男他，音響振動工学，コロナ社，１９７９”の２．２．５章参照）。そのため、略４ｋＨｚで低域成分と高域成分とを分離し、低域成分ステレオ感強調部７４及び高域成分ステレオ感強調部７５のそれぞれにおいて音源方向が知覚されやすくなるようなステレオ感強調処理を施すこととすると、より効果的なステレオ感強調処理を行うことが可能となるため、好ましい（詳細については後述する）。

［音源情報生成部］
次に、図２に示したステレオ感強調処理部７０の音源情報生成部７３、低域成分ステレオ感強調部７４及び高域成分ステレオ感強調部７５の具体的な構成及び動作について、以下図面を参照して説明する。まず、音源情報生成部７３について、図３を参照して説明する。図３は、音源情報生成部の構成例について示すブロック図である。

図３に示すように、音源情報生成部７３は、入力されるＬｃｈの低域成分を高速フーリエ変換（Fast Fourier Transform、以下ＦＦＴとする）して出力するＦＦＴ部７３１Ｌと、入力されるＲｃｈの低域成分をＦＦＴして出力するＦＦＴ部７３１Ｒと、ＦＦＴ部７３１Ｌ，７３１Ｒから出力されるそれぞれの信号を所定の周波数の帯域（［１］〜［ｎ］）毎に比較して帯域（［１］〜［ｎ］）毎に位相差を算出するｎ個の位相差算出部７３２１〜７３２ｎと、位相差算出部７３２１〜７３２ｎのそれぞれで算出される帯域（［１］〜［ｎ］）毎の位相差に基づいて音源情報を算出する音源情報算出部７３３と、を備える。

ＦＦＴ部７３１Ｌ，７３１Ｒは、入力されるＬｃｈ及びＲｃｈの低域成分をそれぞれＦＦＴし、時間軸の信号から周波数軸の信号へとそれぞれ変換する。位相差算出部７３２１〜７３２ｎは、ＦＦＴ部７３１Ｌ，７３１Ｒから出力されるＬｃｈ及びＲｃｈの低域成分の周波数軸の信号を、それぞれの帯域毎で比較する（例えば、帯域毎にＬｃｈ及びＲｃｈの信号の相関を求めるなど）。これにより、マイク５Ｌ，５Ｒで集音される音の位相差（または時間差、音源とマイク５Ｌ，５Ｒのそれぞれとの距離差とも解釈し得る）を算出する。

音源情報算出部７３３は、位相差算出部７３２１〜７３２ｎで算出されるそれぞれの位相差に基づいて、音源方向や音源が発する音の周波数を算出する。例えば、音源方向は、マイク５Ｌ，５Ｒの間隔と位相差とを用いることにより、角度として算出することができる。

また例えば、音源が発する音の周波数は、人の声や楽器などの音が調波構造を取ることを利用することにより、算出することができる。具体的には、略等しい位相差（音源方向）が確認された帯域（周波数）が所定の周期となる場合、それらの周波数を音源が発する音の基本周波数または倍音の周波数とみなして、音源が発する音の周波数を算出することができる。

このように、Ｌｃｈ及びＲｃｈの低域成分を用いて音源情報（音源方向や音源が発する音の周波数）を生成することとすると、音源情報を精度よく生成することが可能となる。特に、安価なマイクの場合、高周波数（例えば、１０ｋＨｚ以上）の帯域で製品毎に感度特性のばらつきが大きくなる（例えば、レベルで±１０ｄＢ程度）ことが多いため、位相差によるレベルの差異と感度特性のばらつきとを区別して音源情報を算出することが困難となる。したがって、音源情報を生成する際に低域成分を使用することによって、マイク５Ｌ，５Ｒの感度特性のばらつきに起因する音源情報の精度低下を抑制することが可能となる。

なお、音源情報算出部７３３が、帯域（［１］〜［ｎ］）毎の音源方向を示す情報を、そのまま音源情報として出力することとしても構わない。

［低域成分ステレオ感強調部］
低域成分ステレオ感強調部７４について、図４を参照して説明する。図４は、低域成分ステレオ感強調部の構成例について示すブロック図である。

図４に示すように、低域成分ステレオ感強調部７４は、入力されるＬｃｈの低域成分をＦＦＴして出力するＦＦＴ部７４１Ｌと、入力されるＲｃｈの低域成分をＦＦＴして出力するＦＦＴ部７４１Ｒと、音源情報に基づいてＦＦＴ部７４１Ｌから出力される信号のレベルを所定の周波数の帯域毎に制御する帯域別レベル制御部７４２Ｌと、音源情報に基づいてＦＦＴ部７４１Ｒから出力される信号のレベルを所定の周波数の帯域毎に制御する帯域別レベル制御部７４２Ｒと、帯域別レベル制御部７４２Ｌから出力される信号を逆高速フーリエ変換（Inverse Fast Fourier Transform、以下ＩＦＦＴとする）してＬｃｈの低域成分として出力するＩＦＦＴ部７４３Ｌと、帯域別レベル制御部７４２Ｒから出力される信号をＩＦＦＴしてＲｃｈの低域成分として出力するＩＦＦＴ部７４３Ｒと、を備える。

ＦＦＴ部７４１Ｌ，７４１Ｒは、入力されるＬｃｈ及びＲｃｈの低域成分をそれぞれＦＦＴし、時間軸の信号から周波数軸の信号へとそれぞれ変換する。帯域別レベル制御部７４２Ｌ，７４２Ｒは、音源情報生成部７３から出力される音源情報に基づいて、ＦＦＴ部７４１Ｌ，７４１Ｒから出力されるＬｃｈ及びＲｃｈの低域成分の周波数軸の信号のレベルをそれぞれの帯域毎に制御する。

例えば、帯域別レベル制御部７４２Ｌ，７４２Ｒは、音源情報から音源が発する音の周波数を確認し、当該周波数（帯域）のレベルを大きくする制御を行う。レベルを大きくする制御とは、当該帯域のレベルを増幅させて絶対的に大きくする制御だけでなく、当該帯域以外の帯域のレベルを抑制して当該帯域のレベルを相対的に大きくする制御や、これらの両方を行う制御をも含むものとする。またこのとき、音源情報から音源方向を確認し、音源が近い方のマイク５Ｌ，５Ｒから得られた信号（ＬｃｈまたはＲｃｈ）のレベルが大きくなるように制御する。なお、後述する高域成分ステレオ感強調部７５と同様に、帯域別レベル制御部７４２Ｌ，７４２Ｒが、音源方向に応じたレベルの制御を行うこととしても構わない。

そして、ＩＦＦＴ部７４３Ｌ，７４３Ｒが、帯域別レベル制御部７４２Ｌ，７４２Ｒから出力されるＬｃｈ及びＲｃｈのそれぞれの周波数軸の信号をＩＦＦＴして、時間軸の信号に変換する。これにより、ステレオ感を強調したＬｃｈ及びＲｃｈの低域成分を得る。

このように構成すると、音源情報に基づいて確認される音源が発する音を、精度よく強調することが可能となる。そのため、効果的にステレオ感強調処理を行うことが可能となる。特に、上記のように帯域毎にレベルを制御することによって、音源が複数存在する場合であっても、個々の音源が発する音毎にレベルを制御することが可能となる。

なお、図３に示すＦＦＴ部７３１Ｌ，７３１Ｒと、図４に示すＦＦＴ部７４１Ｌ，７４１Ｒとを共通のものとして、一方を省略しても構わない。

（低域成分ステレオ感強調処理部の別例）
また、図４に示す低域成分ステレオ感強調処理部７４の代わりに、図５に示す低域成分ステレオ感強調処理部７４ａを用いても構わない。図５は、低域成分ステレオ感強調部の構成の別例について示すブロック図である。

図５に示すように、低域成分ステレオ感強調処理部７４ａは、入力されるＬｃｈの低域成分を音源情報に基づいた時間だけ遅延させて出力する遅延部７４４Ｌと、入力されるＲｃｈの低域成分を音源情報に基づいた時間だけ遅延させて出力する遅延部７４４Ｒと、入力されるＬｃｈの低域成分から遅延部７４４Ｒより出力されるＲｃｈの低域成分を減算する合成部７４５Ｌと、入力されるＲｃｈの低域成分から遅延部７４４Ｌより出力されるＬｃｈの低域成分を減算する合成部７４５Ｒと、を備える。

例えば、マイク５Ｒよりもマイク５Ｌに近い音源が発する音は、マイク５Ｌで集音された後、所定の時間が経過してからマイク５Ｒで集音される。本例の構成では、遅延部７４４Ｌがこの所定の時間を音源情報から求めるとともに、合成部７４５Ｒが、Ｒｃｈの低域成分から遅延部７４４Ｌによって所定の時間だけ遅延させたＬｃｈの低域成分を減算する。これにより、Ｒｃｈの低域成分から上記音源が発した音が相殺され、音源が発する音がＬｃｈの低域成分で相対的に大きいものとなる。そのため、ステレオ感を強調することが可能となる。なお、音源がマイク５Ｌよりもマイク５Ｒに近い場合も同様であり、音源が発する音がＲｃｈの低域成分で相対的に大きくなる。

このような構成としても、低域成分のステレオ感を強調することが可能となる。また、上述のように略４ｋＨｚ以下の低域成分では位相差（時間差）が音源方向の知覚に強く寄与するため、本例のように位相差（時間差）を利用することで、効果的なステレオ感強調処理を行うことが可能となる。また、低域成分ステレオ感強調部７４ａを簡易な構成とすることが可能となる。

なお、上述の例では遅延部７４４Ｌ，７４４Ｒが遅延させる時間を音源情報に基づいたものとしたが、音源情報によらない一定の時間としても構わない。このように構成しても、ステレオ感を強調することは可能である。

［高域成分ステレオ感強調部］
高域成分ステレオ感強調部７５について、図６を参照して説明する。図６は、高域成分ステレオ感強調部の構成例について示すブロック図である。

図６に示すように、高域成分ステレオ感強調部７５は、入力されるＬｃｈの高域成分をＦＦＴして出力するＦＦＴ部７５１Ｌと、入力されるＲｃｈの高域成分をＦＦＴして出力するＦＦＴ部７５１Ｒと、ＦＦＴ部７５１Ｌ，７５１Ｒから出力されるそれぞれの信号のレベル比を所定の周波数の帯域（［１］〜［ｍ］）毎に制御して出力するｍ個のレベル比制御部７５２１〜７５２ｍと、レベル比制御部７５２１〜７５２ｍのそれぞれから出力されるＬｃｈの信号をＩＦＦＴしてＬｃｈの高域成分として出力するＩＦＦＴ部７５３Ｌと、レベル比制御部７５２１〜７５２ｍのそれぞれから出力されるＲｃｈの信号をＩＦＦＴしてＲｃｈの高域成分として出力するＩＦＦＴ部７５３Ｒと、を備える。

ＦＦＴ部７５１Ｌ，７５１Ｒは、入力されるＬｃｈ及びＲｃｈの高域成分をそれぞれＦＦＴし、時間軸の信号から周波数軸の信号へとそれぞれ変換する。レベル比制御部７５２１〜７５２ｍは、音源情報生成部７３から出力される音源情報に基づいて、ＦＦＴ部７５１Ｌ，７５１Ｒから出力されるＬｃｈ及びＲｃｈの高域成分の周波数軸の信号のレベルの比をそれぞれの帯域毎に制御する。

レベル比制御部７５２１〜７５２ｍは、例えば図７に示す設定レベル比となるように、それぞれの信号のレベル比を制御する。具体的には、音源情報に基づいて音源が発する音の周波数を確認し、当該周波数の帯域におけるＬｃｈ及びＲｃｈの信号のレベル比を制御する。レベル比制御部７５２１〜７５２ｍが制御するレベル比の大きさは、図７に示すように音源方向に応じたものである。なお、図７に示す音源方向の角度は、図９に示した角度と同様に表現されるものである。例えば、図７中の左６０°とは、図９のＬ６０°に相当する方向を示すものである。また例えば、図７中の右６０°とは、図９の直線ＬＦから角度が負となる（マイクＭＲに近づく）方に６０°傾いた方向に相当する方向を示すものである。

具体的に例えば、音源情報が、音源方向が左３０°であり当該音源が発する音の基本周波数が５００Ｈｚであることを示すものである場合、レベル比制御部７５２１〜７５２ｍは、５００Ｈｚの整数倍（即ち倍音、例えば４０００Ｈｚ、４５００Ｈｚなど）の帯域におけるＬｃｈ及びＲｃｈのレベル比を制御する。図７に示す表を適用する場合であれば、該当する帯域のＬｃｈの信号のレベルがＲｃｈの信号のレベルの４倍となるように、それぞれの信号のレベルを制御する。

そして、ＩＦＦＴ部７５３Ｌ，７５３Ｒが、レベル比制御部７５２１〜７５２ｍから出力されるＬｃｈ及びＲｃｈのそれぞれの周波数軸の信号をＩＦＦＴして、時間軸の信号に変換する。これにより、ステレオ感を強調したＬｃｈ及びＲｃｈの高域成分を得る。

このように構成すると、空間サンプリング定理を満たさないようにマイク５Ｌ，５Ｒを配置したとしても、遅延合成を行うことなくステレオ感強調処理を行うことが可能となるため、図８（ｂ）に示すような折り返しが生じることを抑制することが可能となる。また、上述のように略４ｋＨｚ以上の高域成分ではレベル差（レベル比）が音源方向の知覚に強く寄与するため、本例のようにレベル比を利用することで、効果的なステレオ感強調処理を行うことが可能となる。

また、上記のように帯域毎にレベル比を制御することによって、音源が複数存在する場合であっても、個々の音源が発する音毎にレベルを制御することが可能となる。

なお、複数の音源が存在する場合において、マイク５Ｌに近い音源とマイク５Ｒに近い音源とが同時に存在することがあり、さらにこれらの音源が発する音の基本周波数の倍音となる帯域が重なる（公倍数となる）場合が生じ得る。このような場合、重なる帯域においてはＬｃｈ及びＲｃｈのレベル比が１：１になるように設定しても構わないし、それぞれの音源が発する音の平均レベルに応じたレベル比となるように設定しても構わない。

以上のように、ステレオ感強調処理部７０を、低域成分と高域成分とに対して別々にステレオ感強調処理を施すように構成することによって、周波数の全帯域においてステレオ感強調処理の効果が得られる音響信号を生成することが可能となる。また、マイク５Ｌ，５Ｒの配置などによらず、どのように集音して得られた音響信号に対しても、ステレオ感強調処理を施すことが可能となる。そのため、撮像装置１の集音に関する部分の構造（集音装置の構造）の自由度を向上させることが可能となる。

なお、上述したステレオ感強調処理部７０は、Ｌｃｈ及びＲｃｈの２つのチャンネルの音響信号に対してステレオ感強調処理を施すものであるが、３つ以上の多チャンネルの音響信号に対してステレオ感強調処理を施すものとしても構わない。

また、図２に示すＬＰＦ７１Ｌ，７１Ｒ及びＨＰＦ７２Ｌ，７２Ｒに代えて、Ｌｃｈ及びＲｃｈの音響信号をそれぞれＦＦＴして時間軸の信号から周波数軸の信号にそれぞれ変換するＦＦＴ部を備え、図３の音源情報生成部７３のＦＦＴ部７３１Ｌ，７３１Ｒ、図４の低域成分ステレオ感強調部７４のＦＦＴ部７４１Ｌ，７４１Ｒ及び図６の高域成分ステレオ感強調部７５のＦＦＴ部７５１Ｌ，７５１Ｒを備えないこととしても構わない。同様に、図４の低域成分ステレオ感強調部７４のＩＦＦＴ部７４３Ｌ，７４３Ｒ及び図６の高域成分ステレオ感強調部７５のＩＦＦＴ部７５３Ｌ，７５３Ｒを備えず、図２の合成部７６Ｌ，７６Ｒに代えて、低域成分ステレオ感強調部７４及び高域成分ステレオ感強調部７５から出力されるＬｃｈ及びＲｃｈの周波数軸の信号をそれぞれＩＦＦＴし時間軸の信号に変換してＬｃｈ及びＲｃｈの音響信号をそれぞれ生成するＩＦＦＴ部を備えることとしても構わない。このような構成にすると、音響信号の全体に対してまとめてＦＦＴやＩＦＦＴをすることが可能となる。そのため、低域成分及び高域成分に対して個別にＦＦＴやＩＦＦＴをする図２〜図４及び図６の構成と比較して、構成及び処理の簡略化を図ることが可能となる。

＜＜その他変形例＞＞
ステレオ感強調処理を集音時に行い処理後の音響信号を記録する撮像装置１（集音装置）に本発明を適用する場合について主に説明したが、本発明は、記録した音響信号の再生時に上述したステレオ感強調処理を行う再生装置に適用することも可能である。ただし、上述した撮像装置１と同様に、記録されている音響信号が複数の無指向性マイクで集音されたものであると、好ましい。

また、本発明の実施形態における撮像装置１について、音響処理部７の動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、当該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１の音響処理部７や図２のステレオ感強調処理部７０は、ハードウェア、あるいは、ハードウェア及びソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて音響処理部７やステレオ感強調処理部７０を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、入力される音響信号に所定の処理を施して出力する音響処理装置や、当該音響処理装置を備えた撮像装置やＩＣレコーダに代表される集音装置に関する。

７ 音響処理部
７０ ステレオ感強調処理部
７１Ｌ，７１Ｒ ＬＰＦ
７２Ｌ，７２Ｒ ＨＰＦ
７３ 音源情報生成部
７３１Ｌ，７３１Ｒ ＦＦＴ部
７３２１〜７３２ｎ 位相差算出部
７３３ 音源情報算出部
７４，７４ａ 低域成分ステレオ感強調処理部
７４１Ｌ，７４１Ｒ ＦＦＴ部
７４２Ｌ，７４２Ｒ 帯域別レベル制御部
７４３Ｌ，７４３Ｒ ＩＦＦＴ部
７４４Ｌ，７４４Ｒ 遅延部
７４５Ｌ，７４５Ｒ 合成部
７５ 高域成分ステレオ感強調処理部
７５１Ｌ，７５１Ｒ ＦＦＴ部
７５２１〜７５２ｍ レベル比制御部
７５３Ｌ，７５３Ｒ ＩＦＦＴ部
７６Ｌ，７６Ｒ 合成部

Claims (2)

1. 集音して得られる複数のチャンネルの音響信号に対してステレオ感強調処理を施して出力する音響処理装置において、
   前記音響信号の所定の周波数以下の低域成分に対して低域成分用ステレオ感強調処理を施すとともに、所定の周波数以上の高域成分に対して高域成分用ステレオ感強調処理を施すステレオ感強調処理部と、
   前記低域成分に基づいて、前記音響信号に含まれる音を発した音源の状態を示す
   音源方向の角度、及び、音源が発する音の周波数を音源情報として生成する音源情報生成部とを備え、
   前記低域成分用ステレオ感強調処理及び前記高域成分用ステレオ感強調処理が、前記音源情報に基づいた処理であることを特徴とする音響処理装置。
2. 前記低域成分が、前記音響信号の略４ｋＨｚ以下の成分であるとともに、前記高域成分が前記音響信号の略４ｋＨｚ以上の成分であり、
   前記低域成分用ステレオ感強調処理は、前記音源情報に基づいた処理であり、複数チャンネルの前記低域成分の位相差を用いた制御を行うものであり、
   前記高域成分用ステレオ感強調処理は、前記音源情報に基づいた処理であり、複数チャンネルの前記高域成分のレベル比を用いた制御を行うものであることを特徴とする請求項１に記載の音響処理装置。
   
   

Images