JP4367484B2 - 音声信号処理装置、音声信号処理方法及び撮像装置 - Google Patents

Description

本発明は、例えば５．１チャンネルで音声信号をサラウンド記録する場合に、適用して好適な音声信号処理装置、音声信号処理方法及び撮像装置に関する。

従来、室内でラジオ番組、音楽ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）等のオーディオを楽しむため、様々なオーディオ再生装置が提案されている。このようなオーディオ再生装置は、映画館に似た音場を実現するためのサラウンド技術や、音楽ホールなどに似た音場を実現するためのサラウンド技術を用いて、サラウンド記録された音源を再生することができる。

例えば、従来のサラウンドシステム（５．１チャンネル）では、聴取者の前方方向に対して、左前（ＦＬ：Front Left）、右前（ＦＲ：Front Right）、左後方の左サラウンド（ＳＬ：Surround Left）、右後方の右サラウンド（ＳＲ：Surround Right）、中央前（ＦＣ：Front Center）に設置した５チャンネルのスピーカと、０．１チャンネルのサブウーファ（ＳＷ：Sub Woofer）を設置して構成する。このサラウンドシステムによって、聴取者の周囲に５．１チャンネル対応のサラウンド再生を実現している。

ところで、サラウンド再生を実現するためには、録音時に、それぞれのスピーカ特性に合わせたサラウンド記録を行うことが望ましい。従来、サラウンド記録を実現するために、様々な録音技術が用いられていた。

特許文献１には、指向特性が無指向性の第１のマイクロホンと、指向特性がカーディオイド曲線を描く第２〜第４のマイクロホンによって、３６０°の音源方向を収音するサラウンドマイクロホンシステムについて記載されている。

特許文献２には、３個の無指向性マイクロホンの出力から、左前方と、右前方と、右後方と、左後方と、正面方向とに指向性を向けた５個の指向性マイクロホンを合成するマルチチャンネル収音装置について記載されている。

特許文献３には、近距離音における低域感度を補正し、抽出された近距離音を用いてタッチノイズや風雑音を低減する音場合成演算方法及び装置について記載されている。
特開平５−１９１８８６号公報 特開２００２−２３２９８８号公報 特開２００２−２１８５８３号公報

ところで、従来、５．１チャンネルに対応したサラウンド記録を実現するために、マイクロホンを５個必要としていた。このため、５個のマイクロホンを実装する実装面積やコストが増えるという課題が生じていた。また、従来は指向性マイクロホンを用いて録音していたため、指向性の角度はマイクロホンの配置で決めていた。そして、任意の角度で録音する場合には、その都度マイクロホンの配置を変えなければならなかった。このため、マイクロホンの実装形態を変えることなくマイクロホンの指向性の角度を任意に変えたいという要求に応えられなかった。

例えば、特許文献１に開示された技術では、指向性マイクロホンを用いるためマイクロホンの配置、取り付け角度を決めなければならない。例えば小型のビデオカメラ等では本体に内蔵されたマイクロホンを実装する場合に、実装面積が大きくなってしまうという課題が生じていた。

また、特許文献２に開示された技術では、３個のうち２個のマイクロホンへの音波の遅延時間と同じ時間だけ遅らせる遅延器によって、三角形の一辺にあたる２個のマイクロホンから単一指向性を合成している。ただし、この技術を用いたとしても、３個のうち２個のマイクロホンの線上の角度にしか指向感度が最大となる最大指向感度方向を向けられない。このため、最大指向感度方向を係数設定するだけで任意の角度に向けることができない。そして、最大指向感度方向を任意の方向にする場合、三角形の配置を変える必要があるため、マイクロホンが実装される筐体のスペースを無駄に使ってしまう。

また、マイクロホンのサイズ、マイクロホンの周波数帯域、筐体材料の厚み、機器の収音部分に与えられるスペースを考慮した結果、例えば、隣り合うマイクロホンの間隔が１０ｍｍとなるような場合を想定する。このような場合には、単一指向性を得るために、内部の遅延器の遅延時間を、１０ｍｍに相当する音波の遅延時間分にしなければならないため、音声信号処理回路が複雑化してしまう。

また、カーディオイドの単一指向性を得るためには遅延器の遅延時間と、各マイクロホンの間隔による音波の遅延時間が１：１となるように、遅延時間とマイクロホンの間隔を決めなければならない。例えば、サンプリング周波数が決定している場合には、マイクロホン間隔を遅延器の遅延時間に合わせるか、遅延器の遅延時間をマイクロホン間隔による遅延時間に合わせるといった工夫が必要である。しかし、単一指向性を得るためには、マイクロホン間隔を任意に選ぶことができなくなり、マイクロホンを配置する実装上の制約を設けることとなってしまう。また、３個のうち２個のマイクロホンの線上の角度にしか最大指向感度方向を向けることができないため、最大で、５方向の単一指向性しか合成できない。

また、特許文献３に開示された技術を用いることで、単一指向性の背面感度を変えることができるが、任意の方向に単一指向性を向けることができない。

以上の状況に鑑みて本発明では、安価であって、実装面積が少ないマイクロホンを用いてサラウンド記録を行うことを目的とする。

本発明は、音声を収音し、必要帯域の最高周波数の音の波長より小さい間隔を空けて、三角形状に配置される第１、第２及び第３の全指向性マイクロホンによって、それぞれ全周方向の全指向性を有する音声信号を生成し、第１、第２及び第３の全指向性マイクロホンが生成する音声信号を加算して全周方向の全指向性を有する音声信号を生成し、第１及び第３の全指向性マイクロホンが生成する音声信号を減算して左右方向の指向性を有する音声信号を生成する。そして、第１及び第３の全指向性マイクロホンが生成する音声信号を加算し、加算された第１及び第３の全指向性マイクロホンが生成する音声信号から第２の全指向性マイクロホンが生成する音声信号を減算して前後方向の指向性を有する音声信号を生成する。そして、全周方向の指向性を有する音声信号に、所定の係数を乗算した音声信号と、左右方向の指向性を有する音声信号に、所定の係数を乗算した音声信号と、前後方向の指向性を有する音声信号に、所定の係数を乗算した音声信号とを加算して単一指向性の音声信号を生成している。

このように、３個の全指向性マイクロホンを用いて、全周方向及び左右方向及び前後方向の指向性を有する音声信号に、所定の係数を乗算して単一指向性の音声信号を生成することで、任意のチャンネル数のサラウンド記録を行うことが可能となった。

本発明によれば、３個の全指向性マイクロホンを用いて、単一指向性を合成するだけで、任意のチャンネル数のサラウンド記録を行うことができる。そして、全指向性マイクロホンは安価かつ小型であるため、全体の実装コストと実装面積を低減できるという効果がある。

以下、本発明の第１の実施の形態について、図１〜図１６を参照して説明する。本実施の形態では、外部音声をサラウンド記録する撮像装置に適用した例について説明する。

まず、画像、音声を内蔵した情報記録媒体にデジタル記録可能な撮像装置１について、図１を参照して説明する。撮像装置１は、光学的な画像をＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージ・センサ等の撮像素子３２（後述の図２参照）で電気的な信号に変換して、液晶ディスプレイ等の平面パネルからなる表示装置に表示したり、画像と音声を記録するための情報記録媒体である光ディスクに記録したりできる。情報記録媒体は、光ディスクに限定されるものではなく、光磁気ディスク、磁気ディスク等のディスク状記録媒体や、ハードディスク、テープカセットの磁気テープ、半導体メモリを用いてもよい。

撮像装置１は、内部部品を保護するカメラ本体である外装ケース１２と、この外装ケース１２の内部に収納されると共に着脱自在に装着される光ディスクを回転駆動して情報信号の記録（書き込み）及び再生（読み出し）を行う光ディスク駆動部と、この光ディスク駆動部の駆動制御等を行う制御回路と、被写体の像光を取り込んで撮像素子３２に導くレンズ装置４と、外装ケース１２に回動自在に取り付けられた表示部３等を備えている。

外装ケース１２は、略筒型をなす中空の筐体として形成されている。外装ケース１２の一方の側面には、表示部３が姿勢変更可能に取り付けられている。表示部３は、平板状の液晶ディスプレイ等からなる平面パネルが収納されたパネルケース１０と、パネルケース１０を外装ケース１２に対して姿勢変更可能に支持するパネル支持部１１とから構成されている。

外装ケース１２の前部には、レンズ装置４が配設されている。レンズ装置４は、略四角形の筒体をなすレンズ鏡筒３１（図２参照）を有しており、その内部に、対物レンズ１５を含む複数のレンズが固定又は移動可能に支持されている。

パネルケース１０は、略直方体をなす偏平の筐体であり、外装ケース１２の一方の側面に対向する面には、平面パネルの表示面が露出される。また、パネル支持部１１は、垂直軸を回動中心としてパネルケース１０を水平方向に略９０°回動可能とした水平回動部と、水平軸を回動中心としてパネルケース１０を前後方向に略１８０°回動可能とすると共に、更に加えて上下方向へ略９０°回動可能として合計約２７０°回動可能とした前後回動部とを有している。

これにより、表示部３は、外装ケース１２の側面に収納した収納状態と、図示しないが、パネルケース１０を水平方向へ９０°回動させて平面パネルを後方へ対向させた状態と、その状態からパネルケース１０を１８０°回動させて平面パネルを前方へ対向させた状態と、平面パネルを後方へ対向させた状態から更に後方へ９０°回動させて平面パネルを下方へ向けた状態と、それらの中間位置の任意の状態（姿勢）を取ることができる。

外装ケース１２の表示部３とは反対側の側面には、外装ケース１２を把持するための把持部６が設けられている。把持部６は、その内部に収納された、図示しないメカデッキのカバー部材を兼ねている。そして、把持部６の上部を外側へ開くことにより、内蔵されたメカデッキの光ディスク挿入口が露出され、光ディスクの着脱操作が可能となる。

把持部６の上部後方には、モード選択スイッチを兼ねる電源スイッチ９と、静止画の撮影を行うシャッタボタン８と、所定の範囲内で画像を連続的に拡大（テレ）又は縮小（ワイド）させるズームボタン７が設けられている。電源スイッチ９は、回動操作によって電源のオン・オフを切り換える機能と、電源をオンした状態で回動操作することにより複数の機能モードを繰り返すように切り換える機能とを有している。電源スイッチ９の下方には、動画撮影を行うための録画ボタンが設けられている。

更に、把持部６の下部には、前後方向へ架け渡すようにハンドベルト１６が取り付けられ、そのハンドベルト１６には図示しないハンドパッドが装着されている。ハンドベルト１６とハンドパッドは、外装ケース１２の把持部６を握るユーザーの手を支え、撮像装置１の取り落とし等を防止するものである。

外装ケース１２の前面上部に形成されたマイクロホン収納部１８には、ステレオ方式で収音するマイクロホン１０１〜１０３が３個内蔵されている。マイクロホン１０１〜１０３の配置関係は、後述の図３を参照して説明する。レンズ装置４の前面上部には、暗所での撮影時等で発光する発光部１７が配置されている。外装ケース１２の上部には、ビデオライトや外付けマイクロホン等のアクセサリーが着脱可能に装着されており、図示しないアクセサリーシューが設けられている。アクセサリーシューは、レンズ装置４の上方に配置されており、通常は、シューキャップ５によって着脱可能に覆われている。更に、外装ケース１２に収納される表示部３の上側には、複数の操作ボタンを有する操作部２が設けられている。

次に、撮像装置１の内部構成例について、図２を参照して説明する。撮像装置１は、映像信号を取り込む構成として、撮像対象の像光を取り込むレンズ鏡筒３１と、レンズ鏡筒３１を介して取り込んだ像光を映像信号に変換する撮像素子３２と、変換した映像信号を増幅する増幅部３３と、撮像された映像等を所定の信号に処理する映像信号処理部３４を備える。そして、撮像装置１は、音声を取り込む構成として、３個のマイクロホン１０１〜１０３と、マイクロホン１０１〜１０３で収音したアナログ音声信号を増幅する増幅部と、増幅したアナログ音声信号をデジタル変換し、所定の指向性合成処理を施す音声信号処理回路であるＤＳＰ（Digital Signal Processor）１００を備える。

また、撮像装置１は、映像信号処理部３４から供給される映像信号と、ＤＳＰ１００から供給される音声信号の記録と再生を制御する映像記録／再生部３５と、映像記録／再生部３５を駆動するためのプログラムメモリ、データメモリ、その他のＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を有する内蔵メモリ３６と、撮影された映像等を表示する表示部３と、表示部３を駆動するモニタ駆動部３７と、撮像した映像・音声を記録する光ディスク４０等を備えている。映像記録／再生部３５は、例えば、マイクロコンピュータ（ＣＰＵ：Central Processing Unit）を有する演算回路等を備えている。

被写体の像がレンズ鏡筒３１のレンズ系に入力されて電荷結合素子３２の結像面に結像されると、電荷結合素子３２が生成した画像信号が増幅器３３を介して映像信号処理部３４に入力される。この映像信号処理部３４で所定の映像信号に処理された信号が映像記録／再生部３５に入力される。これにより、映像記録／再生部３５から被写体の像に対応した信号が、モニタ駆動部３７、内蔵メモリ３６若しくは光ディスク駆動部４５に出力される。その結果、モニタ駆動部３７を介して表示部３に被写体の像に対応した画像が表示される。また、必要に応じて、内蔵メモリ３６若しくは光ディスク４０に画像信号が記録される。

次に、サラウンド記録する場合の全指向性マイクロホンの配置例について、図３を参照して説明する。本例の撮像装置１は、サラウンド記録可能な３個のマイクロホンを備えている。図３（ａ）に示すように、３個のマイクロホンは、正面方向に対して垂直な直線上に配置したマイクロホン１０１，１０３と、正面方向に配置したマイクロホン１０２とで正三角形に配置している。また、図３（ｂ）に示すように、３個のマイクロホンは、正面方向に対して垂直の直線状に配置したマイクロホン１０１，１０３と正面方向と反対側に配置したマイクロホン１０２で逆三角形を成すような配置としてもよい。ただし、マイクロホン１０１〜１０３は、同一直線上に並ぶ配置とすると、例えば前後方向のみ、または左右方向のみしか単一指向性を有する音声信号を生成できないため、同一直線上に配置しないものとする。また、マイクロホンの間隔は、必要帯域の最高周波数の音波の波長に対し十分に小さい間隔、例えば数ｃｍ以内とする必要がある。

次に、指向性合成処理を行うＤＳＰ１００の内部構成例について、図４を参照して説明する。ＤＳＰ１００は、音声信号を加算する第１の加算部１１０，第２の加算部１１１と、音声信号を減算する第１の減算部１１５，第２の減算部１２０と、音声信号に所定の係数を乗ずる乗算部１１２，１１４，１１６，１１７，１２１，１２２と、周波数特性を補正する第１の積分部１１８，第２の積分部１２３とを備える。そして、５チャンネルの単一指向性を合成するために、５チャンネルの各出力部１３０ａ〜１３０ｅに対して、音声信号を可変増幅する可変増幅器１３１ａ〜１３１ｅ，１３２ａ〜１３２ｅ，１３３ａ〜１３３ｅと、可変増幅された音声信号を加算する加算部１３４ａ〜１３４ｅを備える。そして、０．１チャンネルの出力部１３０を備える。

本実施の形態では、可変増幅された音声信号を加算した結果、
出力部１３０ａが出力する音声信号は、中央前（ＦＣ）方向の単一指向性を有する。
出力部１３０ｂが出力する音声信号は、左前（ＦＬ）方向の単一指向性を有する。
出力部１３０ｃが出力する音声信号は、右前（ＦＲ）方向の単一指向性を有する。
出力部１３０ｄが出力する音声信号は、左後方の左サラウンド（ＳＬ）方向の単一指向性を有する。
出力部１３０ｅが出力する音声信号は、右後方の右サラウンド（ＳＲ）方向の単一指向性を有する。

正面方向に対して、正三角形に配置された全指向性マイクロホン１０１〜１０３は、収音した外部音声より、音声信号を生成する。マイクロホン１０１〜１０３が生成する音声信号は、第１の加算部１１０で加算処理され、乗算部１１４による所定の係数（例えば、１／３を乗ずる。）の乗算処理によって、全指向性が合成される。そして、正面方向に対して、左側に配置された全指向性マイクロホン１０１が生成する音声信号と、正面方向に対し右側に配置された全指向性マイクロホン１０３が生成する音声信号は、第２の加算部１１１で加算処理され、乗算部１１２による所定の係数（例えば、１／２を乗ずる。）の乗算処理によって、マイクロホン１０１とマイクロホン１０３の中点に位置する仮想的な全指向性が合成される。第２の減算部１２０では、乗算部１１２が出力する音声信号と、正面方向の全指向性マイクロホン１０２が生成した音声信号との差をとり、乗算部１２１で係数乗算をして正規化し、前後方向の両指向性を合成する。

ここで、乗算部１１４が出力する全指向性の感度を「最大指向感度」と称する。そして、「最大指向感度」を基準とし、他の乗算部１１６，１２１から出力する音声信号の指向感度を調整することを、「正規化」と称する。この正規化によって、乗算部１１４，１１６，１２１から出力する音声信号の最大指向感度が揃うため、合成することが容易となる。

同様に、正面方向に対し左側に配置された全指向性マイクロホン１０１が生成する音声信号と、正面方向に対し右側に配置された全指向性マイクロホン１０３が生成する音声信号を、第１の減算部１１５で差をとり、乗算部１１６で係数乗算して、最大指向感度で正規化し、左右方向の両指向性を合成する。左右方向の両指向性信号と、前後方向の両指向性信号それぞれに乗算部１１７、乗算部１２２で係数乗算することにより、乗算部１１４出力の全指向性と、最大指向感度で正規化する。また、乗算部１１７、乗算部１２２の出力信号は、前後、左右のマイクロホンに到達した音波の差をとるため、マイクロホン間隔よりも音波の波長が長い、すなわち低域の信号は位相差がほとんどでない。そのため乗算部１１７，乗算部１２２が出力する音声信号の周波数特性は、低域に向かって減衰することとなる。

ここで、乗算部１１７と乗算部１２２が出力する音声信号の周波数特性の例について、図５を参照して説明する。図５より、周波数特性は、低域ほど出力されていないことが分かる。このとき、便宜的に一次微分とみなせる。このような状態では、再生音声に低域周波数が含まれず、高域周波数のみが再生されることとなる。そこで、周波数特性を補正し、低域周波数のゲインを上げるため、乗算部１１７、乗算部１２２から出力する音声信号を、それぞれ第１の積分部１１８、第２の積分部１２３で積分する。

図６は、第１の積分部１１８が出力する音声信号の周波数特性と指向性の例を示す。図６（ａ）より、音声信号の周波数特性のうち、１００００Ｈｚより低い周波数帯域が持ち上げられて、フラット特性になることが分かる。そして、図６（ｂ）より、このときの音声信号の指向性は、左右方向であることが分かる。

図７は、第２の積分部１２３が出力する音声信号の周波数特性と指向性の例を示す。図７（ａ）より、音声信号の周波数特性のうち、１００００Ｈｚより低い周波数帯域が持ち上げられて、フラット特性になることが分かる。そして、図７（ｂ）より、このときの音声信号の指向性は、前後方向であることが分かる。

図８は、乗算部１１４が出力する音声信号の周波数特性と指向性の例を示す。図８（ａ）より、音声信号の周波数特性のうち、１００００Ｈｚより低い周波数帯域が持ち上げられて、フラット特性になることが分かる。そして、図８（ｂ）より、このときの音声信号の指向性は、左右前後を合わせた全方向であることが分かる。このような全方向の指向性を、最大指向感度と称する。

このように、３個のマイクロホン１０１〜１０３を用いて周波数補正することで、左右、前後、全方向の指向性を有する音声信号に変換することができる。そして、第１の積分部１１８，第２の積分部１２３が出力する音声信号は、最大指向感度で正規化された左右方向の両指向性成分と、前後方向の両指向性成分となる。そして、乗算部１１４が出力する音声信号の全指向成分と、左右方向の両指向性成分と、前後方向の両指向性成分の合成比を変えることによって、単一指向性の音声信号を合成できる。合成できる指向性のパターンには、例えばカーディオイド、ハイパーカーディオイド、スーパーカーディオイドがある。

ここで、単一指向性の音声信号を合成する処理の例について、図９を参照して説明する。図９（ａ）〜図９（ｅ）は、極座標表示した２入力の音声信号を合成した場合における、出力音声信号の指向性の例について示している。２入力の音声信号のうち、左側は全指向性成分を有し、右側は左右方向の両指向性成分を有している。そして、音声信号の感度を、それぞれ円で示している。

音声信号は、０°〜９０°，２７０°〜３６０°までを正相成分としている。２つの音声信号の正相成分を加算すると、正相成分が増加して示される。一方、９０°〜２７０°までを逆相成分としている。２つの音声信号の逆相成分を加算すると、逆相成分が減少して示される。このように、全指向性成分と両指向性成分の感度を可変とし、加算することで左右方向に任意の単一指向性を有する音声信号を作成できることが分かる。さらに、図９では、２入力の音声信号を合成した例について説明したが、前後方向の両指向性成分を有する音声信号を合成することで、任意の方向に単一指向性を有する音声信号を作成することが可能である。

ここで、出力部１３０を例に挙げると、可変増幅器１３１ａ，１３２ａ，１３３ａの係数乗算と加算部１３４ａの加算により、全指向性と両指向性の合成比を変えることによって、単一指向性を合成し、係数比を変えれば、任意の方向、任意のサブローブを設定することができる。さらに、可変増幅器１３１ａ，１３２ａ，１３３ａの合成比を変えることで、カーディオイドの形状を変えて、指向特性の感度を変えることも可能である。

ここで、図１０は、可変増幅器１３１ａ，１３２ａ，１３３ａの合成比を変えた音声信号の指向特性の例を示す。出力部１３０ａが出力する音声信号の指向特性は、カーディオイドの形で、右側を０°として１３５°の方向の単一指向性となることが分かる。

同様に、図１１は、可変増幅器１３１ａ、可変増幅器１３２ａ、可変増幅器１３３ａの合成比を変えた音声信号の指向特性の例を示す。出力部１３０ａが出力する音声信号の指向特性は、ハイパーカーディオイドの形で、右側を０°として１３５°の方向の単一指向性となることが分かる。

図１０と図１１に示すように、可変増幅器１３１ａ，１３２ａ，１３３ａの合成比を変えて、指向特性を変えられることが示される。そして、５つの出力部１３０ａ〜１３０ｅを設けることで、５チャンネルの単一指向性を有する音声信号を合成することができる。

例えば、５.１チャンネルのサラウンド記録は、本実施の形態のように、単一指向性を合成した５チャンネルの音声信号と、出力部１３０（乗算部１１４）が出力する全指向性成分の０．１チャンネルをＬＦＥ（Low Frequency Effect）チャンネルの音声信号とすることによって実現できる。ＬＦＥチャンネルは、サブ・ウーファーが出力するための低音帯域専用の音声信号である。

ここで、本実施の形態に係る加算部１３４ａ〜１３４ｅが出力する音声信号の周波数特性と、各チャンネルの指向性の例を図１２〜図１６に示す。

図１２は、加算部１３４ａが出力する音声信号の周波数特性と指向性の例を示す。図１２（ａ）より、音声信号の周波数特性のうち、１００００Ｈｚより低い周波数帯域が持ち上げられて、フラット特性になることが分かる。そして、図１２（ｂ）より、音声信号の指向性パターンがハイパーカーティオイドであり、中央前（ＦＣ）方向に単一指向性を有することが分かる。

図１３は、加算部１３４ｂが出力する音声信号の周波数特性と指向性の例を示す。図１３（ａ）より、音声信号の周波数特性のうち、１００００Ｈｚより低い周波数帯域が持ち上げられて、フラット特性になることが分かる。そして、図１３（ｂ）より、音声信号の指向性パターンがハイパーカーティオイドであり、左前（ＦＬ）方向に単一指向性を有することが分かる。

図１４は、加算部１３４ｃが出力する音声信号の周波数特性と指向性の例を示す。図１４（ａ）より、音声信号の周波数特性のうち、１００００Ｈｚより低い周波数帯域が持ち上げられて、フラット特性になることが分かる。そして、図１４（ｂ）より、音声信号の指向性パターンがハイパーカーティオイドであり、右前（ＦＲ）方向に単一指向性を有することが分かる。

図１５は、加算部１３４ｄが出力する音声信号の周波数特性と指向性の例を示す。図１５（ａ）より、音声信号の周波数特性のうち、１００００Ｈｚより低い周波数帯域が持ち上げられて、フラット特性になることが分かる。そして、図１５（ｂ）より、音声信号の指向性パターンがハイパーカーティオイドであり、左後方の左サラウンド（ＳＬ）方向に単一指向性を有することが分かる。

図１６は、加算部１３４ｄが出力する音声信号の周波数特性と指向性の例を示す。図１６（ａ）より、音声信号の周波数特性のうち、１００００Ｈｚより低い周波数帯域が持ち上げられて、フラット特性になることが分かる。そして、図１６（ｂ）より、音声信号の指向性パターンがハイパーカーティオイドであり、右後方の右サラウンド（ＳＲ）方向に単一指向性を有することが分かる。

以上説明した第１の実施の形態によれば、３個のマイクロホン１０１〜１０３を用いるだけで、所望の指向性パターンを有する音声信号を、生成して、記録することが可能である。そして、マイクロホンは、すべて全指向性マイクロホンを用いている。また、３個の全指向性マイクロホン１０１〜１０３は、音の波長に対し十分に小さいとみなせる間隔を空けて、三角形状に配置している。このように配置することで、演算処理により、任意の方向に音声信号の指向性を合成することが可能となる。

本実施の形態では、３個の全指向性マイクロホンで収音した音声信号に対して、加算、減算することによって、全周方向の全指向性を有する音声信号と、左右方向の両指向性を有する音声信号と、前後方向の両指向性を有する音声信号を生成する。これらの音声信号にそれぞれ所定の係数を乗じて加算することで、単一指向性の音声信号を合成し、複数チャンネルのサラウンド記録が行える。全指向性マイクロホンは安価であり、また、従来、記録するチャンネルの個数分だけ用意していたマイクロホンが３個だけで済むため、全体のコスト低下に貢献するという効果がある。

また、単一指向性の最大指向感度方向は、任意の方向に設定することが可能である。そして、収音した音声信号の指向性は、感度を自由に変えることが可能である。例えば、カーディオイドを、ハイパーカーディオイド、スーパーカーディオイドとすることができる。このため、出力部１３０ａを構成する係数乗算部と加算部と同様の構成とした出力部を所望のチャンネル数備えることによって、複数チャンネルの任意方向、かつ任意の形の単一指向性を合成できるため、部品点数を削減することができ、コストを低減できるという効果がある。

また、全指向性を有する音声信号の最大指向感度に合わせて、左右方向及び前後方向の両指向性を有する音声信号の指向感度を調整している。このため、記録する音声信号のレベルが、不要に小さくなりすぎたり、大きくなりすぎたりすることなく、３個のマイクロホンで平均化されたエネルギーの音声信号を記録できるという効果がある。

また、第１の減算部１１５，第２の減算部１２０のそれぞれの後段に第１の積分部１１８，第２の積分部１２３を設置してある。このため、減算部によって音声信号が１次微分とみなせるほど、低周波数の帯域が落ち込んでいても、積分部によって、周波数特性の低周波数の帯域を持ち上げてフラット特性にすることができる。この結果、低周波数の帯域であっても音声信号を記録できるという効果がある。

次に、本発明の第２の実施の形態として、サラウンド収録の多チャンネル化に対応したＤＳＰの内部構成例について、図１７を参照して説明する。本実施の形態においても、音声をサラウンド記録する撮像装置に適用した例について説明する。なお、図１７において、既に説明した図４に対応する部分には同一符号を付し、詳細な説明を省略する。

本実施の形態に係るＤＳＰ１４０は、３個のマイクロホン１０１〜１０３が生成する音声信号を増幅するプリアンプ１４１〜１４３を備えたことを特徴とする。通常、マイクロホン１０１〜１０３は、設置位置等によって感度にバラつきが生じることが知られている。このため、全指向性マイクロホンの感度がバラつくことによって所望の単一指向性が得られなくなってしまう。そこで、マイクロホンの感度バラつきを抑えるため、プリアンプ１４１〜１４３によって、予めマイクロホン１０１〜１０３の感度バラつきを補正している。プリアンプ１４１〜１４３は、各マイクロホン１０１〜１０３に対して設置され、音声信号に補正係数を乗算することで感度バラつきを補正する機能を有している。

また、本実施の形態に係るＤＳＰ１４０は、５チャンネルより多い出力部１３０ｎを有しており、例えば出力部を１００個とすることができる。ここで、出力部１３０ｎは、５チャンネルの各出力部１３０ａ〜１３０ｅと同様に、音声信号を可変増幅する可変増幅器１３１ｎ，１３２ｎ，１３３ｎと、可変増幅された音声信号を加算する加算部１３４ｎを備える。

以上説明した本実施の形態に係るＤＳＰ１４０は、プリアンプ１４１〜１４３を備えるため、各マイクロホン１０１〜１０３の感度バラつきを補正することができる。前段で感度バラつきを補正した音声信号を生成するため、後段の加算、乗算、減算処理等で感度バラつきを考慮することなく処理が行え、処理を簡素化できるという効果がある。

また、５チャンネルより多い出力部１３０ｎ（例えば、１００個）を有しているため、音声信号の出力部を５チャンネルより多く設置できる。このため、所望のチャンネル数で音声をサラウンド記録することができるという効果がある。

次に、本発明の第３の実施の形態として、風雑音を低減して、周波数特性、指向性劣化を少なくするＤＳＰ１５０の内部構成例について、図１８と図１９を参照して説明する。本実施の形態においても、音声をサラウンド記録する撮像装置に適用した例について説明する。なお、図１８において、既に説明した図４及び図１７に対応する部分には同一符号を付し、詳細な説明を省略する。

近年のサラウンド収録の多チャンネル化に伴って、７.１チャンネル等のマルチチャンネルレコーディングにおいても、出力部１３０ａと同様の出力部を７個備えることによって７．１チャンネルのサラウンド記録を実現することができる。７．１チャンネルとは、前方、前方左右、左右、後方左右に設置したスピーカで行う再生方式であり、本発明では任意に設定できる。

このためには、広域成分のみ通過させるハイ・パス・フィルタ（ＨＰＦ：High Pass Filter）１５１，１５３によって両指向性系の低域をカットする。その際、低域の位相特性が両指向性系のみ異なるため、通過する音声信号の位相を進めるオール・パス・フィルタ（ＡＰＦ：All Pass Filter）１５２を、乗算部１１４の後段に挿入する。そして、ＡＰＦ１５２によって両指向性系と全指向性系の位相関係を合わせておく。本実施の形態では、両指向性系の低域のみをカットするため、風雑音と低域の音が混合されていても、低域の音を損なわないという特徴がある。

本実施の形態に係るＤＳＰ１５０は、５チャンネルの各出力部１３０ａ〜１３０ｅに加えて、２チャンネルの出力部１３０ｆ，１３０ｇを備えている。出力部１３０ｆは、音声信号を可変増幅する可変増幅器１３１ｆ，１３２ｆ，１３３ｆと、可変増幅された音声信号を加算する加算部１３４ｆを備える。同様に、出力部１３０ｇは、音声信号を可変増幅する可変増幅器１３１ｇ，１３２ｇ，１３３ｇと、可変増幅された音声信号を加算する加算部１３４ｇを備える。

ここで、風雑音の周波数特性の例について、図１９を参照して説明する。図１９より、風雑音は低域（例えば、１０００Ｈｚ以下）に雑音エネルギーが集中していることが示される。また、両指向性系と全指向性系のゲイン関係を考慮すると、両指向性系のゲインが圧倒的に高い。従って、雑音レベルの支配項は両指向性系となるため、両指向性系のみＨＰＦ１５１，１５３を挿入することで、低域成分をカットしている。

以上説明した本実施の形態に係るＤＳＰ１５０は、ハイ・パス・フィルタ１５１，１５３を備えるため、風雑音が含まれる音声信号の低域成分を効率的にカットできる。そして、ハイ・パス・フィルタ１５１，１５３を通過した音声信号に対して、３個のマイクロホン１０１〜１０３で収音し、加算した音声信号の位相をオール・パス・フィルタ１５２で位相補正している。このため、位相が一致した状態で、音声信号の全指向性成分と、左右方向の両指向性成分と、前後方向の両指向性成分とを可変し、加算してチャンネル出力することができる。このように、風雑音が低減された状態で、音声信号の全指向性成分と、左右方向の両指向性成分と、前後方向の両指向性成分とを加算できるため、加算後の音声信号に不要な風雑音が混入することがなく、明瞭な音声信号を記録できるという効果がある。

また、外部音声を収音するマイクロホンは３個でありながら、音声信号を出力する出力部を７個設置して、７．１チャンネルのサラウンド記録を行うことができる。このため、サラウンド記録を行うためのコストを低減させるという効果がある。

次に、本発明の第４の実施の形態として、音声信号の低域成分を動的にカットするＤＳＰ１６０の内部構成例について、図２０を参照して説明する。本実施の形態においても、音声をサラウンド記録する撮像装置に適用した例について説明する。なお、図２０において、既に説明した図４，図１８に対応する部分には同一符号を付し、詳細な説明を省略する。

本実施の形態に係るＤＳＰ１６０は、帰還ループによって、音声信号の低域成分を動的にカットする制御を行うものである。第１の積分部１１８，第２の積分部１２３とオール・パス・フィルタ１５２とから出力された音声信号は、風雑音を検出する雑音検出部１６１に供給される。雑音検出部１６１は、入力した音声信号から風雑音を検出し、帰還ループの制御を行う制御部１６２に検出した風雑音の情報を供給する。制御部１６２は、供給された風雑音の情報を基に風雑音をカットするための係数を算出し、所定のカットオフ係数と積分係数を生成する係数生成部１６３に係数を通知する。

係数を生成する係数生成部１６３は、制御部１６２より通知された係数に基づいて、ＨＰＦ１５１，１５３のカットオフ係数と、ＡＰＦ１５２のカットオフ係数を生成する。生成したそれぞれのカットオフ係数は、ＨＰＦ１５１，１５３，ＡＰＦ１５２に供給されて動的に風雑音をカットする。同様に、制御部１６２より通知された係数に基づいて、係数生成部１６３は、第１の積分部１１８，第２の積分部１２３の積分係数を生成する。生成したそれぞれの積分係数は、第１の積分部１１８，第２の積分部１２３に供給されて、任意のレベルで風雑音をカットする。

以上説明した本実施の形態に係るＤＳＰ１６０は、ハイ・パス・フィルタと積分部を配置することで、所望の周波数以下の雑音をカットすることができる。そして、雑音検出部１６１，制御部１６２，係数生成部１６３とで帰還ループを構成してあるため、雑音の大きいレベルでは、動的にハイ・パス・フィルタとオール・パス・フィルタと積分係数を変えることができる。このため、突発的な雑音や、低域周波数の雑音であっても効率的に取り除くことができるという効果がある。

また、本実施の形態では、５チャンネルの音声信号を生成するにも関わらず、３チャンネル分の音声信号のみから検出した雑音を取り除くように構成してある。このように構成するため、低コストでありながら不要な風雑音を取り除いた明瞭な音声信号を記録できるという効果がある。

以上説明した第１〜第４の実施の形態に係る撮像装置は、３個の全指向性マイクロホンのみで複数チャンネルのサラウンド記録を行うことが可能である。３個の全指向性マイクロホンで収音した音声信号に対して、加算、減算することによって、全周方向の全指向性を有する音声信号と、左右方向の両指向性を有する音声信号と、前後方向の両指向性を有する音声信号を生成する。これらの音声信号にそれぞれ所定の係数を乗じて加算することで、単一指向性の音声信号を合成し、複数チャンネルのサラウンド記録が行える。全指向性マイクロホンは安価であり、また、従来、記録するチャンネルの個数分だけ用意していたマイクロホンが３個だけで済むため、全体のコスト低下に貢献するという効果がある。

また、３個の全指向性マイクロホンは、音の波長に対し十分に小さいとみなせる間隔を空けた状態で、三角形状であればどのように配置してもよい。つまり、３個のマイクロホン１０１〜１０３は、一直線上でなければどのように配置してもよい。そして、マイクロホンの間隔、三角形の形状等、マイクロホンの物理的配置を変えることなく、複数チャンネルの音声記録が可能である。このため、撮像装置に実装されるマイクロホンの実装面形状に左右されることがない。この結果、マイクロホンの載置場所の制約条件が緩くなるという効果がある。

また、単一指向性の最大指向感度方向は、任意の方向に設定することが可能である。このため、最大の単一指向性の方向数を限定することがない。両指向性と、全指向性の合成比を変えることによって所望の単一指向性および最大指向角が係数設定のみによって得られる。同様の回路を所望のチャンネル数分追加すれば、多チャンネル収録にも応用可能である。また、係数設定のみによって単一指向性の形を変えることができるため、部品点数を削減することができ、コストを低減できるという効果がある。

また、全指向性を有する音声信号の最大指向感度に合わせて、左右方向及び前後方向の両指向性を有する音声信号の指向感度を調整している。このため、記録する音声信号のレベルが、不要に小さくなりすぎたり、大きくなりすぎたりすることなく、３個のマイクロホンで平均化されたエネルギーの音声信号を記録できるという効果がある

また、第１の減算部１１５，第２の減算部１２０のそれぞれの後段に第１の積分部１１８，第２の積分部１２３を設置してある。このため、減算部によって音声信号が１次微分とみなせるほど、低周波数の帯域が落ち込んでいても、積分部によって、周波数特性の低周波数の帯域を持ち上げてフラット特性にすることができる。この結果、低周波数の帯域であっても音声信号を記録できるという効果がある。

なお、上述した第１〜第４の実施の形態では、撮像装置が備える音声信号処理回路としてＤＳＰに適用した例として説明したが、ＤＳＰ以外の形態で構成を実現してもよい。また、ＤＳＰは、その他の電子機器に実装する形態としてもよい。

また、マイクロホンの実装面積を少なくした状態で、単一指向性を合成することができ、音声記録には、全指向性マイクロホンを用いているため、マイクロホンを配置するための制約を受けにくくなる。このため、設計の自由度が高く、例えば、デジタルビデオカメラ、デジタルスチルカメラ、会議システム等に応用可能である。

また、本発明の変形例として、サラウンド記録を実現するため、自動ゲイン制御部を追加した場合のＤＳＰ１７０の内部構成例について、図２１のブロック図を参照して説明する。全指向性マイクロホン１０１〜１０３が出力するアナログ音声信号は、信号を増幅する増幅部１７１によって、所望のレベルまで増幅される。増幅されたアナログ音声信号は、アナログ信号をデジタル信号に変換するＡ／Ｄ変換部１７２によって、デジタル音声信号に変換される。個々のマイクロホン１０１〜１０３の感度ばらつきを補正するマイクロホン感度ばらつき補正部１７３は、所定の係数乗算を施すことによって、マイクロホン感度のばらつきを吸収する。そして、ゲイン調整を行う自動ゲイン制御部（ＡＧＣ：Automatic Gain Control）１７４によって、デジタル音声信号を所望の特性にレベル圧縮する。

自動ゲイン制御部１７４は、入力する音声信号の基準入力レベルを予め設定してあり、基準入力レベル付近の入力した音声信号は、そのまま出力する。そして、入力音声信号が基準入力レベル以下の場合、無音区間とみなし、ノイズや不要な背景音を小さくした音声信号を出力する。一方、入力音声信号が基準入力レベル以上の場合、音量が大きくなりすぎないように入力音声信号のレベルより少しレベルを下げた音声信号を出力する。そして、突発的に発生する大きな入力音声信号は、クリップしないように所定の限界閾値までレベルを下げた音声信号を出力する。自動ゲイン制御部１７４を出力した音声信号は、周波数特性が補正される補正回路１７５を通じて、周波数補正されるとともに、両指向性の音声信号が合成される。そして、周波数特性補正部１７５、雑音検出部１７８、単一指向性合成部１７６によって形成される帰還ループで、検出した雑音を動的にカットする。雑音がカットされた音声信号は、単一指向性合成部１７６で所望のチャンネルに応じた単一指向性の音声信号とされる。そして、所定の圧縮処理を施すエンコーダ処理部１７９で処理された音声信号が、映像記録／再生部３５に供給される。このように、自動ゲイン制御部１７４を挿入することで、音声信号のレベルを所定の範囲内に保った状態で記録できるため、再生時には、聴取者が聴きやすくなるという効果がある。

本発明の第１の実施の形態に係る撮像装置の外部構成例を示した斜視図である。 本発明の第１の実施の形態に係る撮像装置の内部構成例を示したブロック図である。 本発明の第１の実施の形態に係るマイクロホンの配置例を示した説明図である。 本発明の第１の実施の形態に係るＤＳＰの内部構成例を示したブロック図である。 本発明の第１の実施の形態に係る乗算部出力の周波数特性の例を示した説明図である。 本発明の第１の実施の形態に係る左右方向に指向性を有する積分部出力の周波数特性の例を示した説明図である。 本発明の第１の実施の形態に係る前後方向に指向性を有する積分部出力の周波数特性の例を示した説明図である。 本発明の第１の実施の形態に係る全方向に指向性を有する加算部出力の周波数特性の例を示した説明図である。 本発明の第１の実施の形態に係る単一指向性の音声信号を合成する処理の例を示した説明図である。 本発明の第１の実施の形態に係るカーディオイドの例を示した説明図である。 本発明の第１の実施の形態に係るハイパーカーディオイドの例を示した説明図である。 本発明の第１の実施の形態に係る中央前（ＦＣ）方向に指向性を有する出力部の周波数特性の例を示した説明図である。 本発明の第１の実施の形態に係る左前（ＦＬ）方向に指向性を有する出力部の周波数特性の例を示した説明図である。 本発明の第１の実施の形態に係る右前（ＦＲ）方向に指向性を有する出力部の周波数特性の例を示した説明図である。 本発明の第１の実施の形態に係る左後方の左サラウンド（ＳＬ）方向に指向性を有する出力部の周波数特性の例を示した説明図である。 本発明の第１の実施の形態に係る右後方の右サラウンド（ＳＲ）方向に指向性を有する出力部の周波数特性の例を示した説明図である。 本発明の第２の実施の形態に係るＤＳＰの内部構成例を示したブロック図である。 本発明の第３の実施の形態に係るＤＳＰの内部構成例を示したブロック図である。 本発明の風雑音の周波数特性の例を示す図である。 本発明の第４の実施の形態に係るＤＳＰの内部構成例を示したブロック図である。 本発明の他の実施の形態に係るＤＳＰの内部構成例を示したブロック図である。

符号の説明

１…撮像装置、２…操作部、３…表示部、４…レンズ装置、５…シューキャップ、６…把持部、７…ズームボタン、８…シャッタボタン、９…電源スイッチ、１０…パネルケース、１１…パネル支持部、１２…外装ケース、１５…対物レンズ、１６…ハンドベルト、１７…発光部、３１…レンズ鏡筒、３２…撮像素子、３３…増幅部、３４…映像信号処理部、３５…映像記録／再生部、３６…内蔵メモリ、３７…モニタ駆動部、４０…光ディスク、４５…光ディスク駆動部、１００…ＤＳＰ、１０１〜１０３…マイクロホン、１３０ａ〜１３０ｎ…出力部、１４０，１５０，１６０，１７０…ＤＳＰ

Claims (9)

1. 音声を収音して、それぞれ全指向性の音声信号を生成し、所定の間隔を空けて配置される第１、第２及び第３の全指向性マイクロホンと、
   前記第１、第２及び第３の全指向性マイクロホンが生成する音声信号を加算して全周方向の全指向性を有する音声信号を生成する第１の加算部と、
   前記第１及び第３の全指向性マイクロホンが生成する音声信号を減算して左右方向の指向性を有する音声信号を生成する第１の減算部と、
   前記第１及び第３の全指向性マイクロホンが生成する音声信号を加算する第２の加算部と、
   前記第２の加算部が加算した音声信号から前記第２の全指向性マイクロホンが生成する音声信号を減算して前後方向の指向性を有する音声信号を生成する第２の減算部と、
   前記全周方向の指向性を有する音声信号に、所定の係数を乗算した音声信号と、前記左右方向の指向性を有する音声信号に、所定の係数を乗算した音声信号と、前記前後方向の指向性を有する音声信号に、所定の係数を乗算した音声信号とを加算して単一指向性の音声信号を生成する出力部とを備え、
   前記第１、第２及び第３の全指向性マイクロホンは、必要帯域の最高周波数の音の波長より小さい間隔を空けて、三角形状に配置される
   音声信号処理装置。
2. 請求項１記載の音声信号処理装置において、
   前記全指向性を有する音声信号の最大指向感度に合わせて、前記左右方向及び前後方向の指向性を有する音声信号の指向感度を調整する
   音声信号処理装置。
3. 請求項１記載の音声信号処理装置において、
   前記第１の減算部の後段に、前記左右方向の指向性を有する音声信号の低周波数の帯域を持ち上げる第１の積分部と、
   前記第２の減算部の後段に、前記前後方向の指向性を有する音声信号の低周波数の帯域を持ち上げる第２の積分部とを備える
   音声信号処理装置。
4. 請求項１記載の音声信号処理装置において、
   前記出力部は、複数備えている
   音声信号処理装置。
5. 請求項１記載の音声信号処理装置において、
   前記第１、第２及び第３の全指向性マイクロホンの感度バラつきを補正する乗算部を配置する
   音声信号処理装置。
6. 請求項１記載の音声信号処理装置において、
   前記第１の減算部の後段に、前記左右方向の指向性を有する音声信号の高周波数の帯域のみを通過させる第１のハイ・パス・フィルタを備え、
   前記第２の減算部の後段に、前記前後方向の指向性を有する音声信号の高周波数の帯域のみを通過させる第２のハイ・パス・フィルタを備え、
   前記第１の加算部の後段に、前記全指向性を有する音声信号の位相を前記ハイ・パス・フィルタを通過した左右方向及び前後方向の指向性を有する音声信号の位相に合わせるオール・パス・フィルタを備える
   音声信号処理装置。
7. 請求項６記載の音声信号処理装置において、
   前記第１及び第２の積分部が出力する音声信号と、前記オール・パス・フィルタが出力する音声信号とから雑音を検出する雑音検出部と、
   前記雑音検出部で検出した雑音に基づいてカットオフ係数と積分係数を算出する制御部と、
   前記制御部の算出に基づいて生成したカットオフ係数を、前記第１及び第２のハイ・パス・フィルタと前記オール・パス・フィルタに供給し、前記制御部の制御に基づいて生成した積分係数を、前記第１及び第２の積分部に供給する係数生成部とを備える
   音声信号処理装置。
8. 音声を収音し、必要帯域の最高周波数の音の波長より小さい間隔を空けて、三角形状に配置される第１、第２及び第３の全指向性マイクロホンによって、それぞれ全周方向の全指向性を有する音声信号を生成し、
   前記第１、第２及び第３の全指向性マイクロホンが生成する音声信号を加算して全周方向の全指向性を有する音声信号を生成し、
   前記第１及び第３の全指向性マイクロホンが生成する音声信号を減算して左右方向の指向性を有する音声信号を生成し、
   前記第１及び第３の全指向性マイクロホンが生成する音声信号を加算し、
   前記加算された前記第１及び第３の全指向性マイクロホンが生成する音声信号から前記第２の全指向性マイクロホンが生成する音声信号を減算して前後方向の指向性を有する音声信号を生成し、
   前記全周方向の指向性を有する音声信号に、所定の係数を乗算した音声信号と、前記左右方向の指向性を有する音声信号に、所定の係数を乗算した音声信号と、前記前後方向の指向性を有する音声信号に、所定の係数を乗算した音声信号とを加算して単一指向性の音声信号を生成する
   音声信号処理方法。
9. 音声を収音して、それぞれ全指向性の音声信号を生成し、所定の間隔を空けて配置される第１、第２及び第３の全指向性マイクロホンを備え、収音した音声信号に所定の処理を施す音声信号処理回路を有する撮像装置であって、
   前記音声信号処理回路は、
   前記第１、第２及び第３の全指向性マイクロホンが生成する音声信号を加算して全周方向の全指向性を有する音声信号を生成する第１の加算部と、
   前記第１及び第３の全指向性マイクロホンが生成する音声信号を減算して左右方向の指向性を有する音声信号を生成する第１の減算部と、
   前記第１及び第３の全指向性マイクロホンが生成する音声信号を加算する第２の加算部と、
   前記第２の加算部が加算した音声信号から前記第２の全指向性マイクロホンが生成する音声信号を減算して前後方向の指向性を有する音声信号を生成する第２の減算部と、
   前記全周方向の指向性を有する音声信号に、所定の係数を乗算した音声信号と、前記左右方向の指向性を有する音声信号に、所定の係数を乗算した音声信号と、前記前後方向の指向性を有する音声信号に、所定の係数を乗算した音声信号とを加算して単一指向性の音声信号を生成する出力部とを備え、
   前記第１、第２及び第３の全指向性マイクロホンは、必要帯域の最高周波数の音の波長より小さい間隔を空けて、三角形状に配置される
   撮像装置。

Images