JP5349062B2 - 音響処理装置及びそれを備えた電子機器並びに音響処理方法 - Google Patents

Description

本発明は、音響信号に対して強調処理及び音量制御処理を施す音響処理装置及びそれを備えた電子機器（例えば、撮像装置やＩＣレコーダ等）並びに音響処理方法に関する。

従来より、雑音環境下において音響の再生をする際に、再生場所のノイズレベルに応じて再生音響信号に対して音量制御を施す音響処理装置が種々提案されている（例えば、特許文献１及び特許文献２参照）。

特許文献１において提案されている音声入出力装置及びプログラムは、送話信号に対してノイズキャンセル処理を施し、そのキャンセルしたノイズレベルに応じて受話信号に対して音量制御処理を施すことで、受話信号の再生場所のノイズレベルに応じて受話信号に対して音量制御処理を施している。

また、特許文献２において提案されている自動音量制御装置は、音響の再生場所におけるノイズレベルを騒音検出マイクにより別途検出し、そのノイズレベルに応じて、拡声信号入力手段から入力された音響信号に対して人間の聴覚特性を考慮した音量制御処理を施している。

特開２０００８−３４９２８号公報（段落００３０、第１図） 特開平９−１１６３６１号公報（段落００１８、第１図）

特許文献１において提案されている音声入出力装置及びプログラムでは、送話信号に含まれるノイズのレベルと、受話信号に含まれ得るノイズのレベルとは無関係であり、受話信号に対して音量制御処理は施されるが、雑音低減処理は施されておらず、また、送話信号に対してアンプによる一定増幅処理及びノイズキャンセラによる雑音低減処理は施されるが、音量制御処理は施されていない。すなわち、特許文献１では、或る音響信号に対して強調処理及び音量制御処理を施す音響処理装置は開示も示唆もされていない。

特許文献２において提案されている自動音量制御装置では、騒音検出マイクにより検出されるノイズのレベルと、拡声信号入力手段から入力された音響信号に含まれ得るノイズのレベルとは無関係であり、拡声信号入力手段から入力された音響信号に対して音量制御処理は施されるが、雑音低減処理は施されていない。すなわち、特許文献２では、或る音響信号に対して強調処理及び音量制御処理を施す音響処理装置は開示も示唆もされていない。

また、特許文献２において提案されている自動音量制御装置は、音響の再生場所におけるノイズレベルを検出するための専用の騒音検出マイクが必要である構成であるため、装置のサイズやコストが増大してしまっていた。

一方、音響信号に対して強調処理及び音量制御処理を施す音響処理装置では、不適切な音量制御処理によって、音響処理装置の出力信号に強調処理の効果が十分反映されないおそれがあった。例えば、強調処理が音響信号の非雑音成分を雑音成分に対して相対的に強調する雑音低減処理である場合、低減された雑音成分が音量制御処理によって再び大きくなる可能性があった。

本発明は、上記の状況に鑑み、音響信号に対して強調処理及び適切な音量制御処理を施す音響処理装置及びそれを備えた電子機器並びに音響処理方法を提供することを目的とする。

上記目的を達成するために本発明に係る音響処理装置は、強調部と、音量制御部とを備え、前記強調部が、入力音響信号若しくは前記音量制御部から出力される音響信号の強調すべき成分を強調すべきでない成分に対して相対的に強調し、及び／又は、前記入力音響信号若しくは前記音量制御部から出力される音響信号の所定帯域成分を信号復元処理して復元信号を生成することで前記入力音響信号若しくは前記音量制御部から出力される音響信号に含まれる所定の要素（例えば、人の声のピッチ）を強調し、前記音量制御部が、前記強調部の処理内容に応じて前記音量制御処理の内容を切り替えるようにする。具体的には、前記音量制御部が、前記強調部での強調処理の効果を損なわないように、前記強調部の処理内容に応じて音量制御処理の内容を切り替えるようにするとよい。

本発明に係る音響処理装置によると、前記音量制御部が、前記強調部の処理内容に応じて前記音量制御処理の内容を切り替えるので、例えば、強調処理が音響信号の非雑音成分を雑音成分に対して相対的に強調する雑音低減処理である場合に、低減された雑音成分が音量制御処理によって再び大きくなることを抑制することができる。したがって、本発明に係る音響処理装置は、音響信号に対して強調処理及び適切な音量制御処理を施すことができる。

なお、本明細書において、「強調すべき成分を強調すべきでない成分に対して相対的に強調」には、強調すべき成分を強調し強調すべきでない成分に対して強調も抑圧もしない処理、強調すべき成分に対して強調も抑圧もせず強調すべきでない成分を抑圧する処理、及び強調すべき成分を強調し強調すべきでない成分を抑圧する処理のいずれもが該当する。また、本明細書において、「前記強調部での強調処理の効果を損なわないように」とは、前記強調部での強調処理の効果を１００％維持する場合のみを意味するのではなく、前記強調部の処理内容に応じて前記音量制御処理の内容を切り替えない場合に比べて前記強調部での強調処理の効果損失が改善されている場合も含むものとする。

また、前記音量制御部が、例えば、前記強調部で処理した周波数帯域、制御量、及び時間の少なくとも一つに応じて前記音量制御処理の内容を切り替えるようにしてもよい。

また、前記音量制御部が、前記強調部の処理内容に応じて、例えば、音量制御を施す周波数帯域、周波数帯域別の音量制御量、及び音量制御量の単位時間当たりの変化量の少なくとも一つを切り替えるようにしてもよい。

また、上記目的を達成するために本発明に係る電子機器は、上記いずれかの構成の音響処理装置を備え、音響の記録及び／又は再生機能を有している。

また、上記電子機器の一例としては、映像を撮影するカメラを備える撮像装置が挙げられる。

また、上記目的を達成するために本発明に係る音響処理方法は、強調ステップと、音量制御ステップとを備え、前記強調ステップにおいて、入力音響信号若しくは前記音量制御ステップを実行して得られる音響信号の強調すべき成分が強調すべきでない成分に対して相対的に強調され、及び／又は、前記入力音響信号若しくは前記音量制御ステップを実行して得られる音響信号の所定帯域成分を信号復元処理して復元信号を生成することで前記入力音響信号若しくは前記音量制御ステップを実行して得られる音響信号に含まれる所定の要素（例えば、人の声のピッチ）が強調され、前記音量制御ステップにおいて、前記音量制御処理の内容が、前記強調ステップでの処理内容に応じて切り替わるようにする。具体的には、前記音量制御処理の内容が、前記強調ステップでの強調処理の効果を損なわないように、前記強調ステップでの処理内容に応じて切り替わるようにするとよい。なお、本明細書において、「前記強調ステップでの強調処理の効果を損なわないように」とは、前記強調ステップでの強調処理の効果を１００％維持する場合のみを意味するのではなく、前記強調ステップでの処理内容に応じて前記音量制御処理の内容を切り替えない場合に比べて前記強調ステップでの強調処理の効果損失が改善されている場合も含むものとする。

本発明に係る音響処理装置及びそれを備えた電子機器によると、音量制御部が、強調部の処理内容に応じて音量制御処理の内容を切り替えるので、例えば、強調処理が音響信号の非雑音成分を雑音成分に対して相対的に強調する雑音低減処理である場合に、低減された雑音成分が音量制御処理によって再び大きくなることを抑制することができる。したがって、本発明に係る音響処理装置及びそれを備えた電子機器は、音響信号に対して強調処理及び適切な音量制御処理を施すことができる。また、本発明に係る音響処理方法によると、音量制御処理の内容が、強調ステップでの処理内容に応じて切り替わるので、例えば、強調ステップでの処理が音響信号の非雑音成分を雑音成分に対して相対的に強調する雑音低減処理である場合に、低減された雑音成分が音量制御処理によって再び大きくなることを抑制することができる。したがって、本発明に係る音響処理方法は、音響信号に対して強調処理及び適切な音量制御処理を施すことができる。

は、本発明に係る撮像装置の一内部構成例を示すブロック図である。 は、図１に示す撮像装置を装置上面から見た概略外観図である。 は、音響処理部の基本構成を示す図である。 は、音響処理部の第１実施例の構成を示すブロック図である。 は、音響処理部の第２実施例の構成を示すブロック図である。 は、水中雑音について示す図である。 は、音量抑制開始及び音量抑制終了における増幅度の遷移時間について示す図である。 は、集音環境判定部の第１実施例の構成を示すブロック図である。 は、空気中における音響の周波数特性を示す図である。 は、水中における音響の周波数特性を示す図である。 は、空気中と水中における音響の周波数特性の相違を示す図である。 は、集音環境判定部の第２実施例の構成を示すブロック図である。 は、集音環境判定部の第３実施例の構成を示すブロック図である。 は、ステレオマイクの模式図である。 は、集音環境判定部の第４実施例の構成を示すブロック図である。 は、集音環境判定部の第５実施例の構成を示すブロック図である。 は、音響処理部の第３実施例の構成を示すブロック図である。 は、音響処理部の第３実施例での音量制御の概要を示す図である。 は、音響処理部の第４実施例の構成を示すブロック図である。 は、音響処理部の第４実施例での音量制御の概要を示す図である。 は、本発明に係る撮像装置の他の内部構成例を示すブロック図である。

本発明の実施形態について図面を参照して以下に説明する。ここでは、本発明に係る電子機器として、音響信号の記録・再生とともに画像信号の記録・再生も可能な撮像装置を例に挙げて説明する。

＜＜撮像装置の基本構成＞＞
まず、撮像装置の基本構成について図１を参照して説明する。図１は、本発明に係る撮像装置の一内部構成例を示すブロック図である。

図１に示す撮像装置は、入射される光を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離すなわち光学ズーム倍率を変化させるモータとズームレンズの焦点を被写体に合わせるためのモータとを有するレンズ部２と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）３と、撮像装置の前方の左右方向から入力された音響を独立して電気信号に変換するステレオマイク４と、ＡＦＥ３からのデジタル信号となる画像信号に対して、階調補正等の各種画像処理を施す画像処理部５と、ステレオマイク４からのアナログ信号である音響信号に対してデジタル信号に変換するとともに音響補正処理を施す音響処理部６と、画像処理部５から出力される画像信号及び音響処理部６から出力される音響信号のそれぞれに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部７と、圧縮処理部７で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２２に記録するドライバ部８と、ドライバ部８で外部メモリ２２から読み出した圧縮符号化信号を伸長して復号する伸長処理部９と、伸長処理部９で復号されて得られた画像信号をアナログ信号に変換するビデオ出力回路部１０と、ビデオ出力回路部１０で変換された信号を出力するビデオ出力端子１１と、ビデオ出力回路部１０からの信号に基づく画像の表示を行うＬＣＤ（Liquid Crystal Display）等を有するディスプレイ部１２と、伸長処理部９からの音響信号をアナログ信号に変換する音響出力回路部１３と、音響出力回路部１３で変換された信号を出力する音響出力端子１４と、音響出力回路部１３からの音響信号に基づいて音響を再生出力するスピーカ部１５と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１６と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１８と、ユーザからの指示が入力される操作部１９と、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、メモリ１８と各ブロックとの間でデータのやりとりを行うためのバス回線２１と、を備える。なお、ＣＰＵ１７は、画像処理部５で検出した画像信号に応じて、レンズ部２内の各モータを駆動して焦点、絞りの制御を行う。

＜＜撮像装置の基本動作＞＞
次に、図１に示す撮像装置の動画撮影時の基本動作について図１を参照して説明する。まず、撮像装置は、レンズ部２より入射される光をイメージセンサ１において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ１は、タイミングジェネレータ１６から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／６０秒）で順次ＡＦＥ３に画像信号を出力する。

そして、ＡＦＥ３によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部５に入力される。画像処理部５は、入力される画像信号を、輝度信号と色差信号とからなる画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１８はフレームメモリとして動作し、画像処理部５が処理を行う際に画像信号を一時的に保持する。

また、このとき画像処理部５に入力される画像信号に基づき、レンズ部２において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。

一方、ステレオマイク４において電気信号に変換される音響信号は、音響処理部６に入力される。音響処理部６は、入力される音響信号をデジタル信号に変換するとともにノイズ除去や音響信号の強度制御などの音響補正処理を施す。なお、音響処理部６の構成については後述するが、入力される音響信号をデジタル信号に変換するＡ／Ｄ変換部の及び図示は適宜省略する。

そして、画像処理部５から出力される画像信号と、音響処理部６から出力される音響信号とがともに圧縮処理部７に入力され、圧縮処理部７において所定の圧縮方式で圧縮される。このとき、画像信号と音響信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音響信号はドライバ部８を介して外部メモリ２２に記録される。

また、音響のみを記録する場合であれば、音響信号が圧縮処理部７において所定の圧縮方式で圧縮され、外部メモリ２２に記録されることとなる。

外部メモリ２２に記録された圧縮符号化信号は、ユーザの指示に基づく操作部１９の出力信号に応じて、伸長処理部９に読み出される。伸長処理部９は、圧縮符号化信号を伸長及び復号し、画像信号及び音響信号を生成する。そして、画像信号をビデオ出力回路部１０、音響信号を音響出力回路部１３にそれぞれ出力する。そして、ビデオ出力回路部１０や音響出力回路部１３において、画像信号及び音響信号がディスプレイ部１２やスピーカ部１５において再生可能な形式に変換されて出力される。

また、画像信号の記録を行わずにディスプレイ部１２に表示される画像をユーザが確認する、所謂プレビューモードである場合に、圧縮処理部７が圧縮処理を行わないようにし、画像処理部５が圧縮処理部７ではなくビデオ出力回路部１０に画像信号を出力するようにしてもよい。また、画像信号を記録する際に、ドライバ部８を介して外部メモリ２２に記録する動作と並行して、ビデオ出力回路１０を介してディスプレイ部１２に画像信号を出力するようにしても構わない。

なお、図１に示す構成では、ディスプレイ部１２やスピーカ部１５が撮像装置に搭載されているが、ディスプレイ部１２やスピーカ部１５を撮像装置と別体とし、撮像装置に設けられる端子（ビデオ出力端子１１、音響出力端子１４）とケーブル等を用いて接続されるような構成であっても構わない。

＜＜ステレオマイクの配置＞＞
次に、図１に示す撮像装置が備えるステレオマイク４の配置例について図面を参照して説明する。図２は、図１に示す撮像装置を装置上面から見た概略外観図である。モニタユニット２３に、ディスプレイ部１２と、ステレオマイク４を構成している右側マイク４Ｒ及び左側マイク４Ｌとが設けられ、本体部分の前面にレンズ部２が設けられている。右側マイク４Ｒ及び左側マイク４Ｌは、ディスプレイ部１２の背面にマイク間隔約２ｃｍで設けられている。

＜＜音響処理部の基本構成＞＞
音響処理部６の基本構成を図３に示す。音響処理部６は、入力音響信号の強調すべき成分を強調すべきでない成分に対して相対的に強調し、及び／又は、入力音響信号の所定帯域成分を信号復元処理して復元信号を生成することで入力音響信号に含まれる所定の要素を強調する強調部６１と、強調部６１の出力信号を入力し、その入力した信号に音量制御処理を施す音量制御部６２とを備えている。強調部６１は強調部６１の強調処理内容に関する情報を音量制御部６２に送り、音量制御部６２は、強調部６１の強調処理内容に応じて音量制御処理の内容を切り替える。

このような構成によると、音量制御部６２が、強調部６１の強調処理内容に応じて音量制御処理の内容を切り替えるので、例えば、強調処理が音響信号の非雑音成分を雑音成分に対して相対的に強調する雑音低減処理である場合に、低減された雑音成分が音量制御処理によって再び大きくなることを抑制することができる。したがって、音響処理部６は、音響信号に対して強調処理及び適切な音量制御処理を施すことができる。より具体的には、音響処理部６では、強調部６１での強調処理の効果を損なわないように音量制御処理を行うことが可能となる。また、音響処理部６では、特許文献２のようにノイズレベルを検出するための専用の騒音検出マイクを設ける必要がないため、装置のサイズやコストが増大することがない。

＜＜音響処理部の第１実施例＞＞
音響処理部６の第１実施例について図４を参照して説明する。図４は、音響処理部６の第１実施例を採用した場合の音響処理部６の構成を示すブロック図である。音響処理部６の第１実施例では、音響処理部６が、ステレオマイク４によって集音された音響信号（Ｒｃｈ音響信号、Ｌｃｈ音響信号）に風雑音低減処理を施す風雑音低減部６１１と、風雑音低減部６１１の出力信号を入力し、その入力した信号に音量制御処理を施す音量制御部６２１とを備えている。

風雑音低減部６１１は風雑音低減処理内容に関する情報（風雑音の存在する帯域、風雑音の低減処理前後のレベル差などの情報）を音量制御部６２１に送る。音量制御部６２１は、イコライザ機能を有しており、風雑音低減処理内容に応じて音量制御処理の内容（各帯域の音量制御の度合い）を切り替える。例えば、風雑音が２００Ｈｚ〜３００Ｈｚに存在している場合、同帯域の風雑音の低減処理前後のレベル差に応じて音量制御の内容を切り替える。同帯域の風雑音の低減処理前後のレベル差が所定値以下の場合は、風の影響が少ないため、通常と同等の音量制御を行う。一方、同帯域の風雑音の低減処理前後のレベル差が所定値より大きい場合は、風の影響が多いため、音量の持ち上げ幅を通常よりも小さくする。これにより、風雑音低減処理の効果を損なうことなく、音量制御を行うことができる。

なお、図１に示す撮像装置の各種設定において風雑音低減処理がオフ設定になっている場合には、ステレオマイク４によって集音された音響信号は、風雑音低減部６１１をスルーして、音量制御部６２１に入力される。

＜風雑音低減部の実施例＞
風雑音低減部６１１の実施例として、以下に３つの例を挙げる。

風雑音が存在する周波数帯域は比較的低く、通常、風雑音は３００Ｈｚ以下程度の帯域に集中して存在する。風雑音低減部６１１の第１実施例では、このような特性を利用し、低帯域信号を中心に風雑音の低減を図るようにする。すなわち、入力されるＲｃｈ音響信号、Ｌｃｈ音響信号それぞれに関して、ハイパスフィルタ（ＨＰＦ）とローパスフィルタ（ＬＰＦ）を用いて音響信号を低帯域成分とそれ以上の帯域成分とに分離し、低帯域の信号を低減させてから（又はカットしてから）両者を再度足し合わせるという手法をとる。

風雑音低減部６１１の第２実施例では、「風雑音が左右のチャンネル信号間で相互相関がない」という特徴を利用して風雑音の有無を判定する。具体的には、入力されるＲｃｈ音響信号、Ｌｃｈ音響信号間で相互相関を求め、相互相関を表す相関値が或る閾値以下である場合に、音響信号に風雑音が含まれていると判断する。また、単に風雑音の有無を判断するだけでなく、求められた相関値は風雑音の強さを表す指標としても利用してもよい。例えば、相関値に応じて低帯域信号の低減度合いを変動させる手法をとってもよい（例えば、特開平１１−６９４８０号公報参照）。

風雑音低減部６１１の第３実施例では、３００Ｈｚを境界として取り扱い、３００Ｈｚより小さい周波数帯域を「低帯域」として取り扱って、低帯域に対して風雑音を低減するための処理を施す。但し、強度は比較的小さいものの、３００Ｈｚ以上であって且つ低帯域に近い周波数帯域にも風雑音は存在する。そこで、風雑音低減部６１１の第３実施例では、３００Ｈｚ以上の周波数帯域を、更に、中帯域及び高帯域に分割して取り扱い、中帯域に対しても風雑音を低減するための処理を施す。具体的な数値例として、３００Ｈｚ以上であって且つ１．５ｋＨｚよりも小さい周波数帯域を「中帯域」として取り扱い、１．５ｋＨｚ以上の周波数帯域を「高帯域」として取り扱うこととする。

低帯域は、風雑音の周波数帯域を含み、風雑音の影響を多く受けるが、低帯域には音の重要な要素が含まれている。特に、人間の声に関しては、その声のピッチ（ピッチ周波数）が男性で９０〜１６０Ｈｚ、女性で２３０〜３７０Ｈｚ程度であり、音質を決定する上で非常に重要な要素が低帯域に含まれている。ピッチとは、声帯振動による信号の基本周波数のことである。このような重要要素を含む帯域の成分を、単純に低減したりカットしたりすると風雑音とは異なる信号成分の要素まで低減又はカットされてしまい、歪んだ音になってしまう。人間の声の場合では、その声が小さくなったり声色が変化してしまったりする。

そこで、風雑音低減部６１１の第３実施例では、風雑音を低減するための処理を２段に分割し、各処理を異なる帯域に対して適用する。２段の処理の内、一方の処理は、風雑音を含まない信号を復元する信号復元処理であり、他方の処理は、信号レベルを低減することによって風雑音を低減する信号低減処理である。

信号復元処理は、低帯域の信号に適用する。低帯域には強い風雑音とともに音の重要な要素が含まれているため、信号レベルを低減させるのではなく、風雑音を含まない信号を復元することで雑音除去を図る。信号復元処理を行えば、信号レベルを低減させる必要がなくなるため、音の歪みが生じにくくなる。

信号復元処理では、音声や楽器音の調波性を利用し、原信号の中帯域信号から低帯域に対する復元信号を生成する。

調波性とは、周波数スペクトルが倍音構造で成り立っているという性質であり、音声や楽器音の多くはこの性質を有している。つまり、或る音の周波数スペクトルにおいて、最も低域側の成分の周波数をｆ０とすると、その音の周波数スペクトルは、ｆ０と、その倍音成分であるｆ０×２、ｆ０×３、ｆ０×４、・・・の周波数成分から形成される。この場合、ｆ０の周波数成分は基本波成分と呼ばれ、ｆ０×２、ｆ０×３、ｆ０×４、・・・の周波数成分は、夫々、２次、３次、４次、・・・の高調波成分と呼ばれる。

調波性のある信号では、高次の高調波成分から基本波成分又は低次の高調波成分を復元できることが知られており、この復元に二乗処理、全波整流、半波整流などの非線形処理を利用できることが知られている（例えば、特開平８−１３０４９４号公報、特開平８−２７８８００号公報、特開平９−５５７７８号公報）。

信号低減処理は、中帯域の信号に適用する。中帯域に対する風雑音の影響は小さいが、低帯域にのみ風雑音を低減するための処理を施して中帯域に対して風雑音低減対策を何ら施さなければ、比較的高い周波数の風雑音（コロコロといった音）が残存し、ユーザは違和感を覚える。但し、風雑音の影響が小さいが故に信号低減による音の歪みは少ないと想定され、音の要素に着目しても中帯域はピッチの高調波が存在する帯域であるので信号低減を行っても低帯域ほど歪みの影響を受けない。従って、上述の如く、中帯域の信号には信号低減処理を適用するようにする。

尚、中帯域に対しても信号復元処理を適用することが考えられるが、風雑音を含まない中帯域の信号を復元するためには、高帯域の信号中の高調波成分が必要となる。このような高調波成分は微弱であるため、良好な復元は困難である。故に、中帯域の信号には信号低減処理が適している。

信号復元処理と信号低減処理を、どちらを先に行っても構わないし、夫々を並列に実行させてもよい。また、信号復元処理と信号低減処理の夫々は、時間軸上でも周波数軸上でも行うことができる。尚、風雑音低減部６１１の第３実施例を採用する場合、音量制御部６２１が、音声強調部６１１からの信号復元処理した周波数帯域及び信号低減処理した周波数帯域に関する情報に応じて、信号復元処理で得られた信号を音量抑制しない或いは音量増幅し、信号低減処理で得られた信号を音量増幅しない或いは音量抑制するように、音量制御を行ことが望ましい。

また、風雑音の有無や強さを判定する風雑音判定部を設けるようにしても良い。風雑音判定部は、例えば、左右チャンネル間の相互相関を求めることにより風雑音の有無や強さを判定し、判定結果は、信号復元処理及び／又は信号低減処理に利用される。１つの風雑音判定部を、信号復元処理と信号低減処理で共有してもよいし、２つの風雑音判定部を設け、信号復元処理と信号低減処理の夫々に対して独立に風雑音判定部を割り当てるようにしてもよい。信号復元処理と信号低減処理の夫々に対して独立に風雑音判定部を割り当てる場合、各判定結果を相互利用することも可能である。

＜＜音響処理部の第２実施例＞＞
音響処理部６の第２実施例について図５〜図１６を参照して説明する。図５は、音響処理部６の第２実施例を採用した場合の音響処理部６の構成を示すブロック図である。音響処理部６の第２実施例では、音響処理部６が、ステレオマイク４によって集音された音響信号に水中雑音低減処理を施す水中雑音低減部６１２と、水中雑音低減部６１２の出力信号を入力し、その入力した信号に音量制御処理を施す音量制御部６２２と、音響信号が水中で集音されたものであるか否かを判定する集音環境判定部６３とを備えている。

図１に示す撮像装置の各種設定において水中雑音低減処理がオフ設定になっている場合や音響処理部６に入力される２つの音響信号が水中で集音されたものでないと集音環境判定部６３が判定した場合には、ステレオマイク４によって集音された音響信号は、水中雑音低減部６１２をスルーして、音量制御部６２２に入力される。一方、水中雑音低減がオン設定になっており且つ音響処理部６に入力される２つの音響信号が水中で集音されたものであると集音環境判定部６３が判定した場合には、ステレオマイク４によって集音された音響信号は、水中雑音低減部６１２に入力される。

音量制御部６２２は、入力された音響信号のレベルが所定値より大きい場合に、自動的に音量を抑制する機能を有している。

通常、水中雑音は、自己発生駆動音（レンズ部２内の光学ズーム倍率を変化させるモータの駆動音）や図１に示す撮像装置の筐体での擦れ音であり、低帯域に集中し、図６に示すようにインパルスノイズであることが多い。そのため、水中雑音がある場合の音量制御としては、音量抑制開始及び音量抑制終了における増幅度の遷移時間を通常よりも短くすることが望ましい。そこで、水中雑音低減部６１２は水中雑音の存在する時間に関する情報を音量制御部６２２に送り、音量制御部６２２はその水中雑音の存在する時間に関する情報に応じて水中雑音がある場合に音量抑制開始及び音量抑制終了における音量制御量の単位時間当たりの変化量を通常よりも大きくして音量抑制開始及び音量抑制終了における増幅度の遷移時間を通常よりも短くする。

図７は、音量抑制開始及び音量抑制終了における増幅度の遷移時間について示す図である。通常の音量抑制設定では、水中雑音に対して音量抑制開始及び音量抑制終了における増幅度の遷移時間が長すぎるため、通常の音量抑制設定で水中雑音を処理した場合、レベルの大きい水中雑音が入った直後に信号レベルが抑制しきれず、レベルの大きい水中雑音がなくなった直後には信号レベルが小さくなってしまう。これに対して、音量制御部６２２のように、水中雑音が存在する場合は通常の音量抑制設定から水中雑音用の音量抑制設定に切り替えて水中雑音を処理すると、インパルス的な信号レベルの変化に応じて適切な音量制御することができる。このように、水中雑音がある場合に音量抑制開始及び音量抑制終了における増幅度の遷移時間を通常よりも短くすることで、水中雑音をより抑制する効果が得られる。

＜水中雑音低減部の実施例＞
水中雑音低減部６１２は、例えば、平滑化処理により水中雑音（インパルスノイズ）を低減する。平滑化処理として、加算平均値を用いた方法を利用することができる。この方法で用いられる加算平均値ｘ´［ｆ］は、周波数ｆ（Ｈｚ）を中心としたある周波数幅Ｆａ（Ｈｚ）に含まれる各周波数ｉ（Ｈｚ）の信号値ｘ［ｉ］を加算して、合計値をＦａで除算することによって求められる。具体的には、以下の式（１）に示す計算式によって求められる。

そして、得られる加算平均値ｘ´［ｆ］が、信号値ｘ［ｆ］よりも小さくなる場合に、周波数ｆにおける信号値として加算平均値ｘ´［ｆ］の値の方を採用する。一方、加算平均値ｘ´［ｆ］が信号値ｘ［ｆ］よりも大きくなる場合には、信号値ｘ［ｆ］の値の方をそのまま採用する。

なお、式（１）において、ｘ´［ｆ］を算出する際にｘ［ｆ−（Ｆａ／２）＋１］〜ｘ［ｆ＋（Ｆａ／２）］のＦａ（個）の各値を合計することとしているが、ｘ［ｆ−（Ｆａ／２）］〜ｘ［ｆ＋（Ｆａ／２）−１］の各値を合計することとしても構わない。また、上述した例はＦａが偶数である場合のものであるが、Ｆａを奇数として、ｘ［ｆ−（Ｆａ／２）＋１／２］〜ｘ［ｆ＋（Ｆａ／２）−１／２］の各値を合計するとともにＦａで除算して加算平均値ｘ´［ｆ］を算出することとしても構わない。

さらに、周波数軸上に現れるノイズだけでなく、時間軸方向に現れるノイズに対しても、平滑化処理を行うことによって対処することが可能である。この場合、上述した式（１）と同様の、加算平均値を用いた処理を適用することが可能である。ただし、この場合は時間軸方向に対して加算平均値をとることとする。

求める加算平均値ｘ´［ｔ］は、時間ｔ（ｓｅｃ）を中心としてある時間幅Ｔａ（ｓｅｃ）に含まれる各時間ｋ（ｓｅｃ）の信号値ｘ［ｋ］を加算して、合計値をＴａで除算することによって求められる。具体的には、以下の式（２）に示す計算式によって求められる。

上述した周波数軸方向に現れるノイズを低減する場合と同様に、得られる加算平均値ｘ´［ｔ］が、信号値ｘ［ｔ］よりも小さくなる場合に、時間ｔにおける信号値として加算平均値ｘ´［ｔ］の値の方を採用する。一方、加算平均値ｘ´［ｔ］が信号値ｘ［ｔ］よりも大きくなる場合には、信号値ｘ［ｔ］の値の方をそのまま採用する。

なお、式（２）において、ｘ´［ｔ］を算出する際にｘ［ｔ−（Ｔａ／２）＋１］〜ｘ［ｔ＋（Ｔａ／２）］のＴａ（個）の各値を合計することとしているが、ｘ［ｔ−（Ｔａ／２）］〜ｘ［ｔ＋（Ｔａ／２）−１］の各値を合計することとしても構わない。また、上述した例はＴａが偶数である場合のものであるが、Ｔａを奇数として、ｘ［ｔ−（Ｔａ／２）＋１／２］〜ｘ［ｔ＋（Ｔａ／２）−１／２］の各値を合計するとともにＴａで除算して加算平均値ｘ´［ｔ］を算出することとしても構わない。

また、周波数軸方向、時間軸方向に対して行う平滑化処理の例として、加算平均値を利用する場合について示したが、この方法に限らず、平滑化処理を実行できるものであれば、他の方法を用いても構わない。

＜集音環境判定部の第１実施例＞
次に、集音環境判定部６３の第１実施例について図８を参照して説明する。図８は、集音環境判定部６３の第１実施例を採用した場合の集音環境判定部６３の構成を示すブロック図である。集音環境判定部６３の第１実施例では、集音環境判定部６３が周波数特性判定部６３１を備えている。

ここで、空気中で白色雑音を再生し、それを空気中で集音した場合の周波数特性を図９に示す。また、空気中で白色雑音を再生し、それを水中で集音した場合の周波数特性を図１０に示す。

空気中で集音した場合の周波数特性は、図９に示す通りほぼフラットな特性となる。一方、水中で集音した場合の周波数特性は、一般的に、信号レベルが大きければ、図１０に示す通り高周波帯域の信号が大きく減衰する。これは、伝搬されてくる音が、空気中−水中、水中−集音機器の筐体内部（空気中）の２つの境界において反射により減衰し、水中で新たに発生した波の音や筐体内部で新たに発生した音などの一般的に低い音が残るためである。

このように、撮像装置を水中で使用している場合には、撮像装置を空気中で使用している場合では起こりえないような、低帯域の音と中帯域の音及び高帯域の音とのレベル差が生じるため、そのレベル差を利用して判定を行う。

周波数特性判定部６３１が、音響信号を対象として、低帯域（例えば、数十（７０）Ｈｚ〜３ｋＨｚ）、中帯域（例えば、６ｋＨｚ〜９ｋＨｚ）、高帯域（例えば、１２ｋＨｚ〜１５ｋＨｚ）の各帯域で信号レベルの平均値を算出する。なお、各帯域の具体的数値は上記の例に限らず、各帯域相互の大小関係が正しければ問題ない。また、低帯域と中帯域が一部重複していてもよく、中帯域と高帯域が一部重複していてもよい。

その各帯域における信号レベルの平均値から算出することが可能な、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１、中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２、及び、高帯域に対する中帯域の信号レベル比（中帯域／高帯域）Ｒ３は、マイクを空気中から水中に挿入し再び空気中に戻した場合図１１に示すような時間変化を示す。図１１中の期間Ｔ１及びＴ３はマイクが空気中に位置する期間であり図１１中の期間Ｔ２はマイクが水中に位置する期間である。高帯域に対する中帯域の信号レベル比（中帯域／高帯域）Ｒ３は、空気中、水中に関係なく、ほぼ一定値である。これに対し、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２は、空気中では小さい値であるが、水中では受音感度が変化し、空気中の場合と比べて大幅に大きな値になる。

このことを利用して、周波数特性判定部６３１は、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２を各帯域における信号レベルの平均値から算出し、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２が予め設定した閾値以上に大きくなった場合に、音響処理部６に入力される音響信号が水中で集音されたものであると判定する。判定精度は劣ることになるが、中帯域における信号レベルの平均値及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２を算出せず、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１が予め設定した閾値以上に大きくなった場合に音響処理部６に入力される音響信号が水中で集音されたものであると判定すること、或いは、高帯域における信号レベルの平均値及び高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１を算出せず、中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２が予め設定した閾値以上に大きくなった場合に音響処理部６に入力される音響信号が水中で集音されたものであると判定することも可能である。

なお、水中においても、気泡の音や筐体のこすれ音によって突発的なノイズが発生し、中帯域及び高帯域の信号レベルが瞬間的に大きくなり、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２が瞬間的に小さな値になる可能性がある。そのため、周波数特性判定部６３１が判定に使用する高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２は、一定時間において平均をとった値を用いることが望ましい。

また、閾値に関しては、ヒステリシス特性を持たせ、空気中であると判定している間は閾値を高く、水中であると判定している間は閾値を低く設定することが望ましい。

＜集音環境判定部の第２実施例＞
次に、集音環境判定部６３の第２実施例について図１２を参照して説明する。図１２は、集音環境判定部６３の第２実施例を採用した場合の集音環境判定部６３の構成を示すブロック図である。集音環境判定部６３の第２実施例では、集音環境判定部６３が伝搬特性判定部６３２を備えている。伝搬特性判定部６３２は、空気中で集音された音響信号の伝搬特性と、水中で集音された音響信号の伝搬特性との差異に基づいて、入力される音響信号が集音された環境を判定する。

伝搬特性判定部６３２が判定に用いる音響信号の伝搬特性として、例えば、音速の差異がある。空気中での音速は３４４ｍ／ｓ程度であり、水中での音速は１５００ｍ／ｓ程度となる。本例ではこの音速の差異に基づいて集音環境を判定する。また、このように判定を行う場合、例えば、レンズ部２に備えられる光学ズーム倍率を変化させるモータの駆動音を用いることができる。このように判定を行う場合について以下に説明する。

ＣＰＵ１７は、レンズ部２内の光学ズーム倍率を変化させるモータの駆動を操作部１９の出力に応じて制御する。さらにＣＰＵ１７は、レンズ部２内の光学ズーム倍率を変化させるモータの駆動タイミングについて時間管理を行い、その情報を伝搬特性判定部６３２に提供する。レンズ部２内の光学ズーム倍率を変化させるモータの駆動音は、図１に示す撮像装置における駆動音（自己発生駆動音）としてステレオマイク４によって集音される。そして、伝搬特性判定部６３２において、ＣＰＵ１７から提供されたレンズ部２内の光学ズーム倍率を変化させるモータの駆動タイミングに関する時間情報と、ステレオマイク４によって集音された自己発生駆動音（レンズ部２内の光学ズーム倍率を変化させるモータの駆動音）の集音時間とに基づいて、自己発生駆動音の伝達速度が測定される。図１に示す撮像装置において、空気中での自己発生駆動音の伝達速度はあらかじめ得られる事から、空気中で集音されたか水中で集音されたかを判定することが可能である。

＜集音環境判定部の第３実施例＞
次に、集音環境判定部６３の第３実施例について図１３を参照して説明する。図１３は、集音環境判定部６３の第３実施例を採用した場合の集音環境判定部６３の構成を示すブロック図である。集音環境判定部６３の第３実施例では、集音環境判定部６３が伝搬特性判定部６３３を備えている。伝搬特性判定部６３３は、入力される音響信号が集音された環境を、空気中及び水中における音響信号の伝搬特性の差異に基づいて判定する。ただし、伝搬特性判定部６３３は、図１２に示す第２実施例の伝搬特性判定部６３２とは異なる方法で判定を行う。

伝搬特性判定部６３３の判定方法について、図１４を用いて説明する。図１４に示すように、音源が発する音（矢印Ａの方向からの音）がステレオマイクに集音される際に、左側マイク４Ｌと右側マイク４Ｒとの間に行路差ｄが生じる。そして、この行路差ｄに起因して到達時間の差（行路差ｄを音速で除算した値）が生じる。また、この到達時間の差が異なることにより、右側マイク４Ｒから音響処理部６に入力された音響信号（Ｒｃｈ）と左側マイク４Ｌから音響処理部６に入力された音響信号（Ｌｃｈ）との間に位相差が生じる。

そして、上述したように空気中と水中とでは音速が異なる。そのため、音響信号（Ｒｃｈ）と音響信号（Ｌｃｈ）との間に生じる位相差が、空気中で集音された音響信号と水中で集音された音響信号とによって異なるものとなる。そこで、伝搬特性判定部６３３はこの位相差の差異に基づいて、集音環境判定部６３に入力される音響信号が水中で集音されたものであるか否かを判定する。

＜集音環境判定部の第４実施例＞
次に、集音環境判定部６３の第４実施例について図１５を参照して説明する。図１５は、集音環境判定部６３の第４実施例を採用した場合の集音環境判定部６３の構成を示すブロック図である。集音環境判定部６３の第４実施例では、集音環境判定部６３が圧力判定部６３４を備えている。

集音環境判定部６３の第４実施例を採用する場合、図１に示す撮像装置に新たに圧力センサを設ける。圧力判定部６３４は、圧力センサの検出信号を入力し、撮像装置外部の圧力が予め設定した閾値以上である場合に、撮像装置が水中で使用されており、音響処理部６に入力される音響信号が水中で集音されたものであると判定し、撮像装置外部の圧力が予め設定した閾値未満である場合に、撮像装置が空気中で使用されており、音響処理部６に入力される音響信号が空気中で集音されたものであると判定する。

＜集音環境判定部の第５実施例＞
次に、集音環境判定部６３の第５実施例について図１６を参照して説明する。図１６は、集音環境判定部６３の第５実施例を採用した場合の集音環境判定部６３の構成を示すブロック図である。集音環境判定部６３の第５実施例では、集音環境判定部６３が映像判定部６３５を備えている。

映像判定部６３５は、画像処理部５から入力した映像信号を解析し、撮像装置が水中で使用されているかを判定する。映像判定部６３５は、例えば、ホワイトバランス調整前の映像信号を画像処理部５から入力し、そのホワイトバランス調整前の映像信号の色分布を解析して、撮像装置が水中で使用されているかを判定する。

なお、映像判定部６３５を音響処理部６内に設けるのではなく画像処理部５内に設け、集音環境判定部６３が映像判定部６３５の判定結果を入力するようにしてもよい。

＜＜音響処理部の第３実施例＞＞
音響処理部６の第３実施例について図１７及び図１８を参照して説明する。図１７は、音響処理部６の第３実施例を採用した場合の音響処理部６の構成を示すブロック図である。音響処理部６の第３実施例では、音響処理部６が、ステレオマイク４によって集音された音響信号に指向性制御処理を施す指向性制御部６１３と、指向性制御部６１３の出力信号を入力し、その入力した信号に音量制御処理を施す音量制御部６２３とを備えている。

指向性制御処理は、帯域別にステレオ入力信号の位相情報を解析し、特定の位相の信号だけを抽出する処理である。

指向性制御部６１３は位相情報を音量制御部６２３に送る。音量制御部６２３は、イコライザ機能を有しており、指向性制御部６１３からの位相情報に応じて、指向性制御処理で抽出された帯域の信号を音量抑制しない或いは音量増幅し、指向性制御処理で抽出された帯域の信号を音量増幅しない或いは音量抑制するように、音量制御を行う（図１８参照）。これにより、指向性制御処理の効果を損なうことなく、音量制御を行うことができる。また、指向性制御処理で抽出された帯域の信号を音量増幅し、指向性制御処理で抽出されなかった帯域の信号を音量抑制することで、指向性制御の効果をより高めることもできる。

なお、図１に示す撮像装置の各種設定において指向性制御処理がオフ設定になっている場合には、ステレオマイク４によって集音された音響信号は、指向性制御部６１３をスルーして、音量制御部６２３に入力される。

＜指向性制御部の実施例＞
例えば、撮像装置正面方向から左右それぞれ３０°以内の方向に指向性を持たせる指向性制御について説明する。

指向性制御部６１３は、まず、ステレオマイク４の右側マイク４Ｒ（図１４参照）から入力されるＲｃｈ音響信号を４８ｋＨｚでサンプリングしてデジタル信号に変換した後、２０４８サンプル毎にＦＦＴ（Fast Fourier Transform）処理にて周波数領域の信号ＳＲ［Ｆ］に変換しステレオマイク４の左側マイク４Ｌ（図１４参照）から入力されるＬｃｈ音響信号を４８ｋＨｚでサンプリングしてデジタル信号に変換した後、２０４８サンプル毎にＦＦＴ処理にて周波数領域の信号ＳＬ［Ｆ］に変換する。

次に、指向性制御部６１３は、周波数領域の信号ＳＲ［Ｆ］と周波数領域の信号ＳＬ［Ｆ］との位相差を比較して、右側マイク４Ｒに到達した音の位相と左側マイク４Ｌに到達した音の位相との差である相対位相差の情報を生成する。なお、相対位相差比較部６６２は、ＦＦＴ部６１Ｒ及び６１Ｌの解像度である２０４８／４８０００［Ｈｚ］毎に相対位相差を得ている。

２つのマイクでそれぞれ集音した２つの音響信号の相対位相差を一意に決定するためには、２つのマイクの間隔が半波長に相当する周波数以下の音響信号である必要がある。そのため、２つのマイクの間隔が図２に示すように約２ｃｍの場合、空気中での音速を３４０ｍ／ｓとすれば、相対位相差情報生成部６６２は、８．５ｋＨｚ以下の帯域の音響信号についてのみ相対位相差情報を生成することができる。

また、指向性制御部６１３は、ＦＦＴ部６６１Ｒ及び６６１Ｌの解像度である２０４８／４８０００［Ｈｚ］毎に、相対位相差情報生成部６６２からの相対位相差情報と第１の閾値（下記に示す（３）式のΔφ１）とを比較して、相対位相差情報生成部６６２からの相対位相差情報が第１の閾値（下記に示す（３）式のΔφ１）より大きければ、周波数領域の信号ＳＲ［Ｆ］及びＳＬ［Ｆ］が音源方向角θＲ又はθＬ（図１４参照）が３０°より大きい音源（不要音）によるものであると判定し、音源方向角θＲ又はθＬが３０°より大きい音源（不要音）によるものであると判定された周波数成分を−２０ｄＢ低減し、相対位相差情報生成部６６２からの相対位相差情報が第１の閾値（下記に示す（３）式のΔφ１）以下であれば、周波数領域の信号ＳＲ［Ｆ］及びＳＬ［Ｆ］が音源方向角θＲ又はθＬ（図１４参照）が３０°以内の音源によるものであると判定し、音源方向角θＲ又はθＬが３０°以内の音源によるものであると判定された周波数成分を低減しない処理を行う。ただし、（１）式中のFreqは、相対位相差情報との比較対象の周波数である。
Δφ１＝２π×（Freq×２０×sin３０°／３４００００） …（３）

ただし、空気中での音速は３４４ｍ／ｓ程度であるのに対して、水中での音速は１５００ｍ／ｓ程度である。そこで、音響処理部の第３実施例においても、音響処理部の第２実施例で設けていた集音環境判定部を設け、音響処理部６に入力される２つの音響信号が水中で集音されたものでないと集音環境判定部が判定した場合には上記（３）式を用い、音響処理部６に入力される２つの音響信号が水中で集音されたものであると集音環境判定部が判定した場合には上記（３）式の代わりに下記に示す（４）を用いるようにするとよい。
Δφ１＝２π×（Freq×２０×sin３０°／１５０００００） …（４）

なお、音量制御部６２３は、指向性制御部６１３から出力された周波数領域の信号を音量制御したのち、ＩＦＦＴ（Inverse Fast Fourier Transform）処理にて時間領域の信号に変換して出力してもよく、周波数領域の信号のまま出力してもよい。

＜＜音響処理部の第４実施例＞＞
音響処理部６の第４実施例について図１９及び図２０を参照して説明する。図１９は、音響処理部６の第４実施例を採用した場合の音響処理部６の構成を示すブロック図である。音響処理部６の第４実施例では、音響処理部６が、ステレオマイク４によって集音された音響信号に音声強調処理を施す音声強調部６１４と、音声強調部６１４の出力信号を入力し、その入力した信号に音量制御処理を施す音量制御部６２４とを備えている。

音声強調処理は、ホルマントと呼ばれる声の共振周波数の信号レベルを大きくし、その他の信号レベルを小さくする処理である。

音声強調部６１４はホルマント周波数帯域に関する情報を音量制御部６２４に送る。音量制御部６２４は、イコライザ機能を有しており、音声強調部６１４からのホルマント周波数帯域に関する情報に応じて、ホルマント周波数帯域の信号を音量抑制しない或いは音量増幅し、ホルマント周波数でない帯域の信号を音量増幅しない或いは音量抑制するように、音量制御を行う（図２０参照）。これにより、音声強調処理の効果を損なうことなく、音量制御を行うことができる。また、ホルマント周波数帯域の信号を音量増幅し、ホルマント周波数でない帯域の信号を音量抑制することで、音声強調の効果をより高めることもできる。

なお、図１に示す撮像装置の各種設定において音声強調処理がオフ設定になっている場合には、ステレオマイク４によって集音された音響信号は、音声強調部６１４をスルーして、音量制御部６２４に入力される。

＜＜変形例＞＞
上述した音響処理部の第１〜第４実施例では、いずれも音量制御部が強調部（風雑音低減部、水中雑音低減部、指向性制御部、又は音声強調部）の後段にあったが、音量制御部が強調部の前段にある構成でもよい。音量制御部が強調部の前段にある構成では、後段のブロックでの制御情報を、前段の音量制御部にフィードバックさせて音量制御処理を行う。後段の強調部の強調処理内容に関する情報を前段の音量制御部にフィードバックさせ、前段の音量制御部が後段の強調部の強調処理内容に応じて音量制御処理の内容を切り替えるようにすればよい。ただし、音量制御部が強調部の前段にある構成では音量制御処理の内容の切り替えにタイムラグが生じるため、音量制御部が強調部の後段にある構成の方が望ましい。

また、本発明は、上述した音響処理部の第１〜第４実施例のいくつかを組合せた形態で実施してもよい。例えば、風雑音低減処理部の後段に指向性制御部を設け、指向性制御部の後段に音量制御部を設ける構成にしてもよい。

上述した図１に示す撮像装置は、集音した音響信号を記録する際に音響信号に対して強調処理及び音量制御処理を施す音響処理部を備えている。しかしながら、本発明はこれに限定されず、集音した音響信号を再生する際に音響信号に対して強調処理及び音量制御処理を施す音響処理部を備えるようにしてもよい。

集音した音響信号を再生する際に音響信号に対して強調処理及び音量制御処理を施す音響処理部を備える撮像装置を図２１に示す。なお、図２１において図１と実質上同一の部分には同一の符号を付している。

図２１に示す撮像装置が図１に示す撮像装置と異なる点は、音響処理部６の代わりに音響処理部６ａを設け、さらに、伸長処理部９と音響出力回路部１３との間に音響処理部６ｂを設けている点である。

音響処理部６ａは、音響処理部６と異なり、Ａ／Ｄ変換処理は行うが、音響信号に対して強調処理及び音量制御処理を行わない構成である。

音響処理部６ｂは、Ａ／Ｄ変換処理を行わない点を除き、音響処理部６と同様の構成である。音響処理部６ｂにおいて行われる音響処理は、基本的に音響処理部６において行われる音響処理と同様であるので、ここでは説明を省略する。

なお、集音環境（集音時に図２１に示す撮像装置が置かれている環境）と再生環境（再生時に図２１に示す撮像装置が置かれている環境）とが異なっている可能性があるため、音響処理部６ｂの集音環境判定部には、上述した集音環境判定部の第４実施例を採用しないようにする。

また、本発明にかかる電子機器は、音響信号の記録及び／又は再生が可能であればよいので、映像に関連するブロックは特に必要ない。したがって、本発明は、撮像装置以外の電子機器、例えば、音響記録装置、音響再生装置、音響記録再生装置（例えばＩＣレコーダ）等にも適用することができる。

また、集音環境判定装置を搭載した電子機器は、防水構造であることが望ましいが、防水構造でなくても例えば防水ハウジングに収納し外部のハイドロホンによって集音した音響信号を入力するというような使用法を採用することが可能である。

また、例えば、音響処理部６ｂの各部としてコンピュータを機能させるためのプログラムを含む再生ソフトウェアを、パーソナルコンピュータ上で動作させることで、本発明に係る電子機器を実現することもできる。

また、上述した場合に限らず、図１及び図２１の撮像装置や音響処理部６、６ａ、６ｂは、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて図１及び図２１の撮像装置や音響処理部６、６ａ、６ｂを構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

また、上述した場合に限らず、ステレオマイク４の代わりに他チャンネルのマイクアレイ（例えば５．１ｃｈサラウンド録音対応マイク）を用いても構わない。

また、図１の撮像装置撮において、撮像装置が空気中にあるときに適した撮影モードである通常撮影モードと、撮像装置が水中にあるときに適した撮影モードである水中撮影モードとを、ユーザが操作部１９の操作によって手動で切り替えることができる構成としても構わない。この場合においても、集音環境判定部６３が、音響処理部６に入力される音響信号が水中で集音されたものであるか否かを判定するようにしてもよく、集音環境判定部６３の判定結果により自動設定された撮影モードと操作部１９の操作により手動設定された撮影モードのどちらを優先させても構わない。なお、自動設定された撮影モードと手動設定された撮影モードのどちらを優先するかを操作部１９の操作によって変更可能にしていることが望ましい。

また、図２１の撮像装置撮において、音響処理部６ｂの集音環境判定部によって水中で集音されたと判定された場合は、水中で集音された音響信号の再生に適した再生モードである水中再生モードとなり、音響処理部６ｂの集音環境判定部によって空気中で集音されたと判定された場合は、空気中で集音された音響信号の再生に適した再生モードである通常再生モードとなるが、これに代えて、又は、これに加えて、水中再生モードと通常再生モードとをユーザが操作部１９の操作によって手動で切り替えることができる構成としても構わない。後者のように、手動切り替えの構成を付加した場合、自動設定された再生モードと操作部１９の操作により手動設定された再生モードのどちらを優先させても構わない。なお、自動設定された再生モードと手動設定された再生モードのどちらを優先するかを操作部１９の操作によって変更可能にしていることが望ましい。

以上、本発明に係る実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

１ 固体撮像素子（イメージセンサ）
２ レンズ部
３ ＡＦＥ
４ ステレオマイク
４Ｌ 左側マイク
４Ｒ 右側マイク
５ 画像処理部
６、６ａ、６ｂ 音響処理部（音響処理装置の一例）
７ 圧縮処理部
８ ドライバ部
９ 伸長処理部
１０ ビデオ出力回路部
１１ ビデオ出力端子
１２ ディスプレイ部
１３ 音響出力回路部
１４ 音響出力端子
１５ スピーカ部
１６ タイミングジェネレータ（ＴＧ）
１７ ＣＰＵ
１８ メモリ
１９ 操作部
２０、２１ バス回線
２２ 外部メモリ
２３ モニタユニット
６１ 強調部
６２ 音量制御部
６３ 集音環境判定部
６１１ 風雑音低減部
６１２ 水中雑音低減部
６１３ 指向性制御部
６１４ 音声強調部
６２１〜６２４ 音量制御部
６３１ 周波数特性判定部
６３２、６３３ 伝搬特性判定部
６３４ 圧力判定部
６３５ 映像判定部

Claims (6)

1. 強調部と、前記強調部の出力信号を入力する音量制御部とを備え、
   前記強調部が、
   入力音響信号の強調すべき成分を強調すべきでない成分に対して相対的に強調し、及び／又は、
   前記入力音響信号の所定帯域成分を信号復元処理して復元信号を生成することで前記入力音響信号に含まれる所定の要素を強調し、
   前記強調部が、前記強調部の処理内容に関する情報を前記音量制御部に送り、
   前記音量制御部が、前記強調部の処理内容に応じて音量制御処理の内容を切り替えることを特徴とする音響処理装置。
2. 前記音量制御部が、前記強調部での強調処理の効果を損なわないように、前記強調部の処理内容に応じて前記音量制御処理の内容を切り替える請求項１に記載の音響処理装置。
3. 前記音量制御部が、前記強調部で処理した周波数帯域、制御量、及び時間の少なくとも一つに応じて前記音量制御処理の内容を切り替える請求項１又は請求項２に記載の音響処理装置。
4. 前記音量制御部が、前記強調部の処理内容に応じて、音量制御を施す周波数帯域、周波数帯域別の音量制御量、及び音量制御量の単位時間当たりの変化量の少なくとも一つを切り替える請求項１〜３のいずれか１項に記載の音響処理装置。
5. 請求項１〜４のいずれか１項に記載の音響処理装置を備え、音響の記録及び／又は再生機能を有することを特徴とする電子機器。
6. 映像を撮影するカメラを備える撮像装置である請求項５に記載の電子機器。

Images