JP6497877B2 - 電子機器及び制御方法 - Google Patents

Description

本発明は、ノイズの低減を行うための技術に関するものである。

昨今のデジタルカメラに代表される撮像装置は、静止画のみならず、音声付き動画像記録機能を有する。すなわち、被写体を時間軸に連続して撮像して得た動画像と、その周囲の音声のデータも併せてメモリカード等の記憶媒体に記録できるようになっている。このような被写体の周囲の音声のように、記録の目的となる音声を、以下、「環境音」と称する。

また、撮像装置は、光学レンズを移動させることで、撮像中に被写体をフォーカスしたりズームすることができる。しかし、光学レンズの移動のための駆動時には、駆動音が発生する。近年のデジタルカメラは、筐体の小型化が進み、駆動音の発生源とマイクロホンとの距離が短くなってしまう。そのため、デジタルカメラにおけるマイクロホンは、駆動音を取得してしまい、結果的に環境音に駆動音がノイズとして重畳されてしまう可能性が高くなっていた。

従来から、上記のようなノイズを低減させるため、「スペクトルサブトラクション法」と称される手法が知られている（例えば、特許文献１）。このスペクトルサブトラクション法を図２１を参照して簡単に説明する。同図は、デジタルカメラのブロック構成の一部である。この装置は、装置全体の制御を行う制御部２１０９、ユーザからの指示を受け付ける操作部２１１０、光学レンズやレンズ制御部等で構成される。さらに、この装置は、撮像して画像データを得る撮像部２１０１、マイク２２０５、音声を音声データとして取得する音声入力部２１０２、画像データ及び音声データを記憶するメモリ２１０３で構成される。なお、通常、メモリ２１０３に格納された画像データや音声データは、符号化処理され、符号化データとして記憶媒体に格納される。

音声付き動画像を記録している期間、制御部２１０９が操作部２１１０を介してユーザによるズームインやズームアウト等の指示を検出すると、制御部２１０９は、光学レンズの位置の変更を行うよう撮像部１０１を制御する。撮像部２１０１は、これに従い、光学レンズの位置を変更するために、モータ等の駆動源を駆動する。このとき、マイク２２０５は、光学レンズの駆動音を拾ってしまい、結果的にマイク２２０５から得られる音響データは、環境音と駆動音（ノイズ）とが合成されたデータになる。図示の音声入力部２１０２は、この駆動音を低減する機能を持つものである。

マイク２２０５で検出された音はＡＤＣ（アナログデジタルコンバータ）２２０６にて、例えば、４８ｋＨｚのサンプリングレートで１６ビットのデジタルデータ（以下、音響データという）に変換される。ＦＦＴ２２０７は、時系列に並ぶ音響データ（例えば１０２４個の音響データ）を、ＦＦＴ（高速フーリエ変換）処理して周波数毎のデータ（振幅スペクトル）に変換する。騒音低減部２２００は、各周波数のデータから、ノイズの各周波数データを減算することで、ノイズ低減処理を行う。このため、騒音低減部２２００は、ノイズの各周波数毎の振幅データ（ノイズプロファイル）をあらかじめ記憶しているプロファイル格納部２２１０と、振幅スペクトル減算部２２１１を有する。振幅スペクトル減算部２２１１は、振幅スペクトルからプロファイル格納部２２１０に記録されているノイズの各周波数の振幅データを減算する。その後、ノイズが減算された振幅スペクトルは、ＩＦＦＴ２２１４にて逆ＦＦＴ処理され、元の時系列の音響データに戻される。この後、音声処理部２２１６は、その音響データに対して各種処理を行う。そして、ＡＬＣ（オートレベルコントローラ）２２１７が音響データのレベル調節を行い、その結果は、メモリ２１０３に格納される。

以上が「スペクトルサブトラクション法」の概要である。上記のごとく、プロファイル格納部２２１０にあらかじめ格納されたノイズプロファイルは、撮像部２１０１で実際に発生する駆動音を表していることが望ましい。

特開２００６−２７９１８５号公報

特許文献１で示される手法を撮像装置に適用した場合、以下に示す状況によって撮像装置において実際に発生する駆動音と、あらかじめ格納されているノイズプロファイルにより示される駆動音とに誤差が生じてしまう。
・モーターやギアなど駆動部の音声ノイズ発生の個体差
・撮像装置の組み付け状況音声ノイズの違い
・ズームポジションによる音声ノイズの違い
・部品の摩耗、経年変化
・動作時の温度条件
・撮像装置の姿勢
・故障対応など市場に出荷されてからの駆動部もしくは録音部のパーツ交換
このため、あらかじめ格納されている１つのノイズプロファイルによってノイズを低減することは難しいという問題があった。また、ステレオ音声のような左右のチャネルの音声を記録する場合、それぞれのチャネルに対応するマイクロホンの配置に応じて、駆動音による影響が変わってきてしまうという問題があった。

本発明は、上記のような課題を鑑み、左右のチャネルの音声を記録する場合、それぞれのチャネルの音声に対して高い精度でノイズの低減を行うようにすることを目的とする。

本発明に係る電子機器は、
第１のマイクと、
第２のマイクと、
前記第１のマイクにより得られた音声データをフーリエ変換することによって、第１の音声スペクトルデータを取得する第１の変換手段と、
前記第２のマイクにより得られた音声データをフーリエ変換することによって、第２の音声スペクトルデータを取得する第２の変換手段と、
前記第１の音声スペクトルデータから、前記第１のマイクに対応するノイズスペクトルデータを減算する第１の減算手段と、
前記第２の音声スペクトルデータから、前記第２のマイクに対応するノイズスペクトルデータを減算する第２の減算手段と、
前記第１の減算手段から得られた第３の音声スペクトルデータ及び前記第２の減算手段から得られた第４の音声スペクトルデータに応じて、前記第１のマイクに対応するノイズスペクトルデータ及び前記第２のマイクに対応するノイズスペクトルデータを補正するための処理を行う制御手段と、を有し、
前記制御手段は、前記第３の音声スペクトルデータが前記第４の音声スペクトルデータ以上である場合、前記第１のマイクに対応するノイズスペクトルデータが拡大されるように補正するための処理を行い、
前記制御手段は、前記第３の音声スペクトルデータが前記第４の音声スペクトルデータ以上である場合、前記第２のマイクに対応するノイズスペクトルデータが縮小されるように補正するための処理を行うことを特徴とする。

本発明によれば、左右のチャネルの音声を記録する場合、それぞれのチャネルの音声に対して高い精度でノイズの低減を行うようにすることができる。

実施形態の撮像装置の一例を示すブロック図。 実施形態の撮像部及び、音声入力部の構成の一例を示すブロック図。 実施形態における動画記録処理の一例を示すフローチャート。 実施形態のズーム動作前とズーム動作中とにおける周波数毎の振幅スペクトルの一例を表す図。 実施形態のノイズプロファイル作成処理を示すタイミングチャートの一例。 実施形態のノイズプロファイル作成処理を示すタイミングチャートの一例。 実施形態のノイズプロファイル作成処理の一例を示すフローチャート。 実施形態のノイズプロファイルの拡大補正処理を示すタイミングチャートの一例。 実施形態のノイズプロファイルの縮小補正処理を示すタイミングチャートの一例。 実施形態のノイズプロファイル補正処理の一例を示すフローチャート。 実施形態におけるノイズプロファイル補正処理に関する時定数の設定の一例を示す図である。 実施形態の外部音源と音声入力部との関係の一例を示す図。 実施形態のＲｃｈ及びＬｃｈに対するノイズプロファイル補正処理の一例を示すタイミングチャート。 実施形態のＲｃｈ及びＬｃｈに対するノイズプロファイル補正処理の一例を示すフローチャート。 実施形態におけるノイズ低減処理の一例を示すタイミングチャート。 実施形態におけるノイズ低減処理の一例を示すフローチャート。 実施形態における係数αと環境音との関係の一例を示す図。 実施形態の後処理の一例を示すタイミングチャート。 実施形態における後処理の一例を示すフローチャート。 実施形態における音声入力部の一例を示すブロック。 従来の撮像装置の一例を示すブロック図。

以下、図面を参照して本発明の実施形態を詳細に説明する。なお、実施形態では、電子機器としてデジタルカメラ等の撮像装置１００を一例に挙げ、以下説明を行う。しかし、電子機器は、撮像装置１００に限られず、マイクを有する装置であれば、携帯電話やＩＣレコーダであっても良い。

図１は、撮像装置１００の構成の一例を示すブロック図である。撮像装置１００は、撮像部１０１、音声入力部１０２、メモリ１０３、表示制御部１０４、表示部１０５、符号化処理部１０６、記録再生部１０７、記録媒体１０８、制御部１０９を有する。さらに、撮像装置１００は、操作部１１０、音声出力部１１１、スピーカ１１２、外部出力部１１３、及び、各構成要素を接続するシステムバス１１４を有する。

撮像部１０１は、被写体の光学像を画像信号に変換し、これに対して画像処理を行い、画像データを生成する。音声入力部１０２は、撮像装置１００の周辺の音声を集音し、これに対して音声処理を行い、音声データを生成する。

メモリ１０３は、撮像部１０１から供給される画像データや、音声入力部１０２から供給される音声データを記憶する。表示制御部１０４は、撮像部１０１から得られた画像データや撮像装置１００のメニュー画面等を表示部１０５に表示させる。符号化処理部１０６は、メモリ１０３に記憶された画像データに対して所定の符号化を行い、圧縮画像データを生成する。また、符号化処理部１０６は、メモリ１０３に記憶された音声データに対して所定の符号化を行い、圧縮音声データを生成する。記録再生部１０７は、符号化処理部１０６で生成された圧縮画像データ、圧縮音声データ及び圧縮された動画データの少なくとも一つを記録媒体１０８に記録する。また、記録再生部１０７は、記録媒体１０８に記録されている画像データ、音声データ及び動画データの少なくとも一つを記録媒体１０８から読み出す。

制御部１０９は、システムバス１１４を介して撮像装置１００の各部を制御する。制御部１０９は、ＣＰＵ及びメモリを有する。制御部１０９のメモリには、撮像装置１００の各部を制御するためのプログラムが記録される。

操作部１１０は、ユーザからの指示を撮像装置１００に入力するための操作を受け付ける。操作部１１０は、ユーザによって行われた特定の操作に対応する信号を制御部１０９に送信する。操作部１１０は、静止画の撮影を指示するボタン、動画記録開始と停止を指示する記録ボタン、光学的に画像に対してズーム動作を行うように撮像装置１００に指示するためのズームボタンなどを有する。さらに、操作部１１０は、撮像装置１００の動作モードを静止画撮影モード、動画撮影モード及び再生モードのなかから選択するためのモード選択ボタンを有する。

音声出力部１１１は、記録再生部１０７によって読み出された音声データをスピーカ１１２に出力する。外部出力部１１３は、記録再生部１０７によって読み出された音声データを外部機器に出力する。

次に、撮像装置１００が動画撮影モードである場合における動作について説明する。撮像装置１００が動画撮影モードである場合、制御部１０９は、操作部１１０の記録ボタンがＯＮにされたことに応じて、所定のフレームレートで撮像するように撮像部１０１を制御し、音声データを取得するように音声入力部１０２を制御する。この場合、撮像部１０１で撮像された画像データと音声データとは圧縮され、記録再生部１０７によって記録媒体１０８に動画データとして記録される。その後、制御部１０９は、操作部１１０の記録ボタンがＯＦＦにされたことに応じて、記録媒体１０８に記録していた動画データをクローズ処理し、１つの動画ファイルを生成する。なお、撮像装置１００が動画撮影モードである場合、ユーザによって操作部１１０の記録ボタンがＯＮされるまでは、操作部１１０の記録ボタンは、ＯＦＦであるものとする。

図２０は、撮像部１０１と音声入力部１０２との関係を示す。
撮像部１０１は、光学レンズ２０１、撮像素子２０２、レンズ制御部２０３及び画像処理部２０４を有する。
光学レンズ２０１は、被写体に対して光学的に合焦させるためのフォーカスレンズやズームレンズ等である。光学レンズ２０１は、ズーミングを光学的に行うことができる。以下、光学レンズ２０１を使ってズーミングを光学的に行うことを「ズーム動作」と呼ぶ。ズーム動作は、制御部１０９からの指示で、レンズ制御部２０３が、光学レンズ２０１を移動させることで、被写体の光学像をズーミングさせるものである。撮像素子２０２は、被写体の光学像を画像信号に変換し、画像信号を出力する。レンズ制御部２０３は、光学レンズ２０１を移動させるためのモータ等を駆動させる。画像処理部２０４は、撮像素子２０２から出力される画像信号に対して画像処理を行い、画像データを生成する。

例えば、ズーム動作やフォーカス調整等を撮像装置１００に開始させるための指示が操作部１１０を介して入力された場合、制御部１０９は、光学レンズ２０１を移動させるようにレンズ制御部２０３を制御するためのズーム制御信号をＯＮに変更する。ズーム制御信号がＯＮに変更された場合、レンズ制御部２０３は、モータ等を駆動し、光学レンズ２０１を移動させる。

光学レンズ２０１を移動させる場合、撮像装置１００において、光学レンズ２０１の移動に伴うノイズや光学レンズ２０１を移動させるためのモータの駆動に伴うノイズが発生する。以下、光学レンズ２０１の移動に伴うノイズや光学レンズ２０１を移動させるためのモータの駆動に伴うノイズを「駆動ノイズ」と呼ぶ。

なお、図２０において、撮像装置１００に光学レンズ２０１やレンズ制御部２０３が含まれているものとして説明を行ったが、これに限られないものとする。光学レンズ２０１やレンズ制御部２０３は、撮像装置１００に対して着脱可能なものであっても良い。

撮像装置１００の音声入力部１０２は、ステレオ録音を実現するため、Ｒ（Ｒｉｇｈｔ）チャネル音声入力部１０２ａ及びＬ（Ｌｅｆｔ）チャネル音声入力部１０２ｂを有する。Ｒチャネル音声入力部１０２ａと、Ｌチャネル音声入力部１０２ｂとは構成が同じであるため、以下、Ｒチャネル音声入力部１０２ａの構成について説明する。Ｒチャネル音声入力部１０２ａは、マイク２０５ａ、ＡＤＣ２０６ａ、ＦＦＴ２０７ａ、ノイズ低減部２００ａ、ＩＦＦＴ２１４ａ、ノイズ印加部２１５ａ、音声処理部２１６ａ、ＡＬＣ２１７ａを有する。なお、Ｒチャネルを以下「Ｒｃｈ」と呼び、Ｌチャネルを以下「Ｌｃｈ」と呼ぶ。

マイク２０５ａは、音声振動を電気信号に変換し、アナログの音声信号を出力する。ＡＤＣ（アナログデジタルコンバータ）２０６ａは、マイク２０５ａにより得られたアナログ音声信号をデジタル音声信号に変換する。例えば、ＡＤＣ２０６ａのサンプリング周波数は４８ＫＨｚで、１サンプルにつき１６ビットの、時系列のデジタルデータを出力する。ＦＦＴ（高速フーリエ変換器）２０７ａは、ＡＤＣ２０６ａから出力された、例えば、１０２４個の時系列に並んだ音声データを１フレームとして入力する。そして、ＦＦＴ２０７ａは、１フレーム分の音声データに対して高速フーリエ変換し、各周波数毎の振幅レベル（振幅スペクトルデータ）を生成し、ノイズ低減部２００ａに供給する。なお、ＦＦＴ２０７ａが生成する振幅スペクトルは、０乃至４８ＫＨｚまでの１０２４ポイントの各周波数毎の振幅データで構成されるものとする。また、実施形態では１フレームの音声データを１０２４個としているが、次に処理する１フレームにおける前半の５１２個のデータと、直前の１フレームの後半の５１２個のデータは同じであり、互いに一部が重複している。

ノイズ低減部２００ａは、ズーム動作を撮像装置１００が実行している場合に発生する駆動ノイズを表す周波数毎のノイズの振幅データを、ＦＦＴ２０７ａから出力された該当する周波数の振幅データから減算する。ノイズ低減部２００ａは、減算が行われた後の振幅スペクトルデータをＩＦＦＴ（逆高速フーリエ変換器）２１４ａに供給する。

ＩＦＦＴ（逆高速フーリエ変換器）２１４ａは、ＦＦＴ２０７ａから供給された位相情報を用いて、ノイズ低減部２００ａから供給された振幅スペクトルに対して逆高速フーリエ変換（逆変換）を行うことで、元の時系列形式の音声データを生成する。ＩＦＦＴ２１４ａは、ＦＦＴ２０７ａにて高速フーリエ変換される前の位相情報を使って時系列の音声信号に戻す。

ノイズ印加部２１５ａは、ＩＦＦＴ２１４ａから供給される時系列の音声信号に対してノイズ信号を印加する。ノイズ印加部２１５ａによって印加されるノイズ信号は、ノイズフロアレベルの信号であるものとする。音声処理部２１６ａは、風騒音を低減するための処理、ステレオ感を強調するための処理やイコライザ処理等を行う。そして、ＡＬＣ（オートゲインコントローラ）２１７ａは、時系列の音声信号の振幅を所定のレベルに調整し、調整後の音声データをメモリ１０３に出力する。

次に、実施形態におけるＲチャネル音声入力部１０２ａのノイズ低減部２００ａについて、図２を用いて、以下説明を行う。

図２は、ノイズ低減部２００ａの構成の一例を示すブロック図である。ノイズ低減部２００ａは、積分回路２５０ａ、メモリ２５１ａ、プロファイル作成部２５２ａ、プロファイル格納部２５３ａ、振幅スペクトル減算部２５４ａ、後処理部２５５ａ、及びプロファイル補正部２５６ａを有する。

ノイズ低減部２００ａは、撮像装置１００がズーム動作を行っている場合に発生する駆動ノイズを低減するための動作を行う。以下、ノイズ低減部２００ａによって行われる動作について図４を参照し、説明を行う。
図４は、撮像装置１００によってズーム動作が行われる前と撮像装置１００によってズーム動作が行われている間とにおける周波数毎の振幅スペクトルの一例を表す図である。図４における横軸が周波数を示し、０乃至４８Ｋｈｚの区間の１０２４ポイントを示している（ただし、ナイキスト周波数である２４ｋＨｚまでにおいては５１２ポイントの周波数スペクトルをもつものとする）。図４における４０１は、撮像装置１００がズーム動作を行う前（光学レンズ２０１が移動していない状態）における環境音を示す振幅スペクトルを示す。図４における４０２は、撮像装置１００がズーム動作を行っている場合（光学レンズ２０１が移動している状態）における環境音を示す振幅スペクトルを示している。４０２によって示されている振幅スペクトルには、駆動ノイズが含まれている。ノイズ低減部２００aは、４０１によって示されている振幅スペクトルと、４０２によって示されている振幅スペクトルとの差分から駆動ノイズを低減するために用いられるノイズプロファイルを作成する。以下、ノイズ低減部２００aの各部について説明を行う。

積分回路２５０ａは、制御部１０９からの指示に応じて、ＦＦＴ２０７ａにて高速フーリエ変換された振幅スペクトルの各周波数毎の振幅値を時間軸に積分する。このとき、積分回路２５０ａは、積分したフレーム数をカウントする。ＦＦＴ２０７ａからの１フレームから得られた振幅スペクトルデータにおける周波数ｆｉ（ただし、ｉ＝０、１、…、１０２３のいずれか）の振幅値をＡ（ｆｉ）と表す。この場合、積分回路２５０ａは、次式のように各周波数毎の積分値（累積加算値）Ｓ（ｆｉ）を求める。
Ｓ（ｆｉ）＝ΣＡ（ｆｉ）

レンズ制御部２０３が光学レンズ２０１を移動させていない場合、積分回路２５０ａは、上述のように各周波数の振幅値を積分していく。そして、積分回路２５０ａは、各周波数の積分値を、積分期間を表すフレーム数ｎで除算した結果を出力する。つまり、積分回路２５０ａは、次式のように周波数毎の平均振幅値Ａａｖｅ（ｆｉ）を算出（演算）し、その算出結果を出力する。
Ａａｖｅ（ｆｉ）＝Ｓ（ｆｉ）／ｎ
平均振幅値Ａａｖｅ（ｆｉ）（ｉ＝０、１、…、１０２３）で示されるデータは、図４の４０１によって示されている振幅スペクトルに対応する。積分回路２５０ａは、算出した平均振幅値Ａａｖｅ（ｆｉ）をメモリ２５１aに格納する。

積分回路２５０ａは、レンズ制御部２０３が光学レンズ２０１の移動を開始させてから安定化期間が経過するまでの間、上述のように各周波数の振幅値を積分していく。安定化期間とは、積分回路２５０ａの時定数により積分回路２５０ａに入力される振幅スペクトルが安定するまでの期間である。安定化期間が経過するまでの間において、ＦＦＴ２０７ａから出力される振幅スペクトルには、駆動ノイズが含まれている。安定化期間（例えば、ｍフレーム分に相当するものとする）が経過した場合、積分回路２５０ａは、Ｓ（ｆｉ）／ｍをプロファイル作成部２５２ａに出力する。Ｓ（ｆｉ）／ｍは、図４の４０２によって示されている振幅スペクトルに対応する。

プロファイル作成部２５２ａは、積分回路２５０ａから供給されたＳ（ｆｉ）／ｍからメモリ２５１ａに格納されたＳ（ｆｉ）／ｎを減算することで、各周波数毎の駆動ノイズに対応する振幅値であるＮ（ｆｉ）を次式のように算出する。
Ｎ（ｆｉ）＝Ｓ（ｆｉ）／ｍ−Ｓ（ｆｉ）／ｎ

Ｎ（ｆｉ）が算出された後、プロファイル作成部２５２ａは、Ｎ（ｆｉ）をノイズプロファイルとしてプロファイル格納部２５３ａに格納する。ノイズプロファイルとは、ズーム動作が行われている場合に発生する駆動ノイズを示すデータである。

その後、振幅スペクトル減算部２５４ａは、ＦＦＴ２０７ａから供給される振幅スペクトルのＡ（ｆｉ）から、プロファイル格納部２５３ａから読み出された駆動ノイズの振幅値Ｎ（ｆｉ）を減算する処理を行う。なお、以下、ＦＦＴ２０７ａから供給される振幅スペクトルのＡ（ｆｉ）から、プロファイル格納部２５３ａから読み出されたノイズプロファイルである振幅値Ｎ（ｆｉ）を減算する処理を「減算処理」と呼ぶ。振幅スペクトル減算部２５４ａは、次式によって得られた振幅スペクトルＡ_NR（ｆｉ）をＩＦＦＴ２１４ａまたはＩＦＦＴ２１４ｂに出力する。
Ａ_NR（ｆｉ）＝Ａ（ｆｉ）−Ｎ（ｆｉ）

なお、ユーザによって撮像装置１００へのズーム動作の開始の指示を受けてから安定化期間が経過するまでの間、プロファイル作成部２５２ａによってノイズプロファイルの作成が完了していない状態が発生する。これにより、プロファイル作成部２５２ａによるノイズプロファイルの作成が完了するまでの期間を短くするためには、「ｍ」を小さくする必要がある。しかし、「ｍ」が極端に小さい場合、ノイズプロファイルによる駆動ノイズの低減の精度が低くなってしまう可能性がある。レンズ制御部２０３が光学レンズ２０１を移動させるための制御を開始した場合、７０ｍｓ程度の間、駆動ノイズの一種である光学レンズ２０１の動きだし音、音揺れ等が発生する。光学レンズ２０１の動きだし音、音揺れ等を低減するために、７０ｍｓを超える期間において、プロファイル作成部２５２aにノイズプロファイルを作成させるため、「ｍ」を例えば「１５」とする。

実施形態では、１フレームは１０２４個の時系列の音声データであるものの各フレームの半分は互いに重畳している。また、音声データのサンプリングレートは４８ｋＨｚとしているので、ｍ＝１５とすると、ノイズプロファイルの作成期間Ｔは、
Ｔ＝ｍフレーム分の期間＝ｍ×（１０２４／２）／４８ｋＨｚ＝１６０ｍｓ
となる。ユーザによって撮像装置１００へのズーム動作の開始の指示を受けてから作成期間Ｔが経過するまでの間に、プロファイル作成部２５２ａは、ノイズプロファイルを作成する。このため、プロファイル作成部２５２ａは、光学レンズ２０１の動きだし音、音揺れ等を低減するための精度の高いノイズプロファイルを作成できる。

後処理部２５５ａは、振幅スペクトル減算部２５４ａによって減算処理が行われた後の振幅スペクトルを補正して、ＩＦＦＴ２１４ａに出力する。

プロファイル補正部２５６ａは、環境音の大きさに応じて、プロファイル格納部２５３ａに格納されたノイズプロファイルを補正する処理を行う。プロファイル補正部２５６ａによって行われるノイズプロファイルの補正として、拡大補正（増加補正）と縮小補正（減少補正）とがある。プロファイル補正部２５６ａは、ノイズプロファイルの拡大補正を行うプロファイル拡大部２７１ａと、ノイズプロファイルの縮小補正を行うプロファイル縮小部２７２ａとを有する。

ノイズプロファイルの拡大補正とは、プロファイル作成部２５２ａによって作成されたノイズプロファイルまたはプロファイル補正部２５６ａによって補正されたノイズプロファイルの振幅スペクトルを増大させる補正である。つまり、ノイズプロファイルの拡大補正をすることで振幅スペクトル減算部２５４ａによって減算処理がされた後の振幅スペクトルＡ_NR（ｆｉ）は小さくなる。また、ノイズプロファイルの縮小補正とは、プロファイル作成部２５２ａによって作成されたノイズプロファイルまたはプロファイル補正部２５６ａによって補正されたノイズプロファイルの振幅スペクトルを減少させる補正である。つまり、ノイズプロファイルの縮小補正をすることで振幅スペクトル減算部２１１によって減算処理がされた後の振幅スペクトルＡ_NR（ｆｉ）は大きくなる。プロファイル補正部２５６ａによって行われるノイズプロファイルの補正は必要に応じて、ＦＦＴ２０７ａから供給される１フレーム毎の振幅スペクトルＡ（ｆｉ）に対して行われる。撮像装置１００によってズーム動作が行われている場合、環境音や駆動ノイズの変動に応じて、プロファイル補正部２５６ａは、ノイズプロファイルを適正に補正することができる。

Ｌチャネル音声入力部１０２ｂもＲチャネル音声入力部１０２ａと同様に、マイク２０５ｂ、ＡＤＣ２０６ｂ、ＦＦＴ２０７ｂ、ノイズ低減部２００ｂ、ＩＦＦＴ２１４ｂ、ノイズ印加部２１５ｂ、音声処理部２１６ｂ、ＡＬＣ２１７ｂを有する。マイク２０５ａとマイク２０５ｂとは、同様の構成であり、ＦＦＴ２０７ａとＦＦＴ２０７ｂとは、同様の構成であり、ノイズ低減部２００ａとノイズ低減部２００ｂは、同様の構成である。さらに、ＩＦＦＴ２１４ａとＩＦＦＴ２１４ｂとは、同様の構成であり、ノイズ印加部２１５ａとノイズ印加部２１５ｂとは、同様の構成である。さらに、音声処理部２１６ａと音声処理部２１６ｂとは、同様の構成であり、ＡＬＣ２１７ａとＡＬＣ２１７ｂとは同様の構成である。

図３は、撮像装置１００のモードとして動画撮影モードが選択された場合に制御部１０９によって行われる動画記録処理の一例を示すフローチャートである。マイク２０５ａからＡＤＣ２０６ａにアナログの音声信号が出力される場合を一例に挙げて、以下、動画記録処理について説明する。

撮像装置１００が動画撮影モードに変更された場合、制御部１０９は、ノイズ低減部２００ａにおけるプロファイル格納部２５３ａをゼロクリアにする（Ｓ３０１）。その後、制御部１０９は、積分回路２５０ａに対してＦＦＴ２０７ａから入力された振幅スペクトルの積分処理を開始させる（Ｓ３０２）。そして、制御部１０９は、操作部１１０の記録ボタンがＯＮされたか否か、つまり動画データの記録を撮像装置１００に開始させる指示が入力されたか否かを判定する（Ｓ３０３）。動画データの記録を撮像装置１００に開始させる指示が入力された場合（Ｓ３０３でＹｅｓ）、制御部１０９は、動画データの記録を開始する（Ｓ３０４）。この場合、制御部１０９は、撮像部１０１及び音声入力部１０２からメモリ１０３に格納される動画データを生成するための画像データ及び音声データの符号化処理を開始し、記録再生部１０７に記録媒体１０８への記録を開始させる。

Ｓ３０５では、制御部１０９は、操作部１１０を介してズーム動作を開始する指示が入力されたか否かを判定する。操作部１１０を介してズーム動作を開始する指示が入力されなかった場合、制御部１０９は、操作部１１０を介して動画データの記録を撮像装置１００に終了させる指示が入力されたか否かを判定する（Ｓ３０６）。操作部１１０を介して動画データの記録を撮像装置１００に終了させる指示が入力された場合（Ｓ３０６でＹｅｓ）、制御部１０９は、メモリ１０３に格納されている動画データの符号化を開始し、記録媒体１０８への記録を行わせる。さらに、制御部１０９は、記録媒体１０８に格納されている動画データのクローズ処理を行い、動画ファイルとして完成させる（Ｓ３１２）。操作部１１０を介して動画データの記録を撮像装置１００に終了させる指示が入力されなかった場合（Ｓ３０６でＮｏ）、処理は、Ｓ３０６からＳ３０２に戻る。

一方、操作部１１０からズーム動作を開始する指示が入力された場合、処理は、Ｓ３０５からＳ３０７に進む。Ｓ３０７において、制御部１０９は、ノイズ低減部２００ａにノイズプロファイルを作成させるために、ノイズプロファイル作成処理を行う。Ｓ３０７において行われるノイズプロファイル作成処理については後述する。ノイズプロファイル作成処理が実行されることによって作成されたノイズプロファイルは、プロファイル格納部２５３ａに格納される。

次に、制御部１０９は、ＦＦＴ２０７ａにて高速フーリエ変換された周波数毎の振幅スペクトルの各周波数毎の振幅値からノイズプロファイルに含まれる特定の周波数の振幅値を減算するノイズ低減処理を行う（Ｓ３０８）。ノイズ低減処理が行われる場合、制御部１０９は、減算処理を行うように振幅スペクトル減算部２５４ａを制御する。次に、制御部１０９は、プロファイル格納部２１０ａに格納されたノイズプロファイルを補正するようにプロファイル補正部２５６ａを制御するノイズプロファイル補正処理を行う（Ｓ３０９）。Ｓ３０９において行われるノイズプロファイル補正処理については後述する。プロファイル補正部２５６ａによって補正されたノイズプロファイルは、次フレームの減算処理で適用される。次に、制御部１０９は、振幅スペクトル減算部２５４ａにより減算処理が行われた後に得られたＲｃｈの振幅スペクトルと、振幅スペクトル減算部２５４ｂにより減算処理が行われた後に得られたＬｃｈの振幅スペクトルとがある場合、後処理を行う（Ｓ３１０）。後処理とは、Ｒｃｈの振幅スペクトルとＬｃｈの振幅スペクトルとを同一にするように補正する処理である。Ｓ３１０において行われる後処理については後述する。

そして、操作部１１０からズーム動作を停止する指示が入力されたか否かが判定される（Ｓ３１１）。操作部１１０からズーム動作を停止する指示が入力されていない場合、撮像装置１００においてズーム動作が継続して実行されるので、制御部１０９は、Ｓ３０８からＳ３１０までの処理を繰り返す。また、制御部１０９は、操作部１１０からズーム動作を停止する指示が入力された場合、撮像装置１００におけるズーム動作を停止し、Ｓ３０１の処理に戻る。

なお、図３の動画記録処理について、マイク２０５ａからＡＤＣ２０６ａにアナログの音声信号が出力される場合を一例に挙げて説明を行った。しかしながら、マイク２０５ｂからＡＤＣ２０６ｂにアナログの音声信号が出力される場合も、図３の動画記録処理と同様に動画の記録を行う。

［ノイズプロファイル作成処理（Ｓ３０７）］
Ｓ３０７において制御部１０９によって実行されるノイズプロファイルの作成処理について図４、５、６及び７を用いて説明を行う。マイク２０５ａからＡＤＣ２０６ａにアナログの音声信号が出力される場合を一例に挙げて、以下、ノイズプロファイルの作成処理について説明する。

図５は、周波数毎の振幅スペクトルに対するノイズプロファイル作成処理を示すタイミングチャート図である。図６は、撮像装置１００によってズーム動作が開始される前における環境音が大きい場合における周波数毎の振幅スペクトルに対するノイズプロファイル作成処理を示すタイミングチャート図である。

以下、図５及び６について説明を行う。図５及び６おいて、制御部１０９が光学レンズ２０１を移動させるようにレンズ制御部２０３を制御するタイミングを「ｔ１」とする。制御部１０９は、光学レンズ２０１を移動させるようにレンズ制御部２０３を制御するために、ズーム制御信号をＯＮに変更する。制御部１０９は、光学レンズ２０１を移動させるようにレンズ制御部２０３を制御しない場合、ズーム制御信号をＯＮにしないので、この場合、ズーム制御信号は、ＯＦＦになる。また、制御部１０９は、光学レンズ２０１の移動を停止させるようにレンズ制御部２０３を制御する場合、ズーム制御信号をＯＦＦに変更する。ズーム制御信号がＯＮに変更された場合、レンズ制御部２０３は、光学レンズ２０１の移動を開始させる。ズーム制御信号がＯＦＦに変更された場合、レンズ制御部２０３は、光学レンズ２０１の移動を停止させる。さらに、図５及び６おいて、振幅スペクトル減算部２５４ａにノイズプロファイルを用いた減算処理を開始させるタイミングを「ｔ２」とする。さらに、図５及び６おいて、制御部１０９がズーム制御信号をＯＦＦにするタイミングを「ｔ３」とする。ノイズプロファイルを用いた減算処理は、タイミングｔ２からタイミングｔ３までの期間、振幅スペクトル減算部２５４ａによって行われる。

図５及び６において、ＦＦＴ２０７ａによって高速フーリエ変換された所定の周波数ｆｉの振幅スペクトルを「Ｉｔ」とする。さらに、図５及び６において、積分回路２５０ａによって積分された所定の周波数ｆｉの振幅を示す振幅スペクトルを「Ｄｔ」とする。図５及び６において、プロファイル作成部２５２aによって作成された所定の周波数ｆｉに対応するノイズプロファイルを「Ｐｔ」とし、振幅スペクトル減算部２５４aから出力される所定の周波数ｆｉの振幅スペクトルを「Ｕｔ」とする。さらに図５及び６において、ノイズ印加部２１５aによってノイズ信号が印加された後の所定の周波数ｆｉの時系列のデジタル音声信号を「Ｎｔ」とする。

ノイズプロファイルＰｔは、ナイキスト周波数である２４ｋＨｚまでにおいて５１２ポイントの振幅スペクトルを持つ。図５及び６における５１２ポイントの振幅スペクトルＤｔ１は、撮像装置１００がズーム動作を行う前（光学レンズ２０１が移動していない状態）における環境音を示す振幅スペクトルを示し、図４における４０１に対応する。図５及び６における５１２ポイントの振幅スペクトル（Ｄｔ２）は、撮像装置１００がズーム動作を行っている場合（光学レンズ２０１が移動している状態）における環境音を示す振幅スペクトルを示し、図４における４０２に対応する。

図７は、制御部１０９によって行わせるノイズプロファイル作成処理を示すフローチャートである。次に、図７を用いて、制御部１０９によって行われるノイズプロファイル作成処理について説明する。なお、プロファイル作成部２５２ａがノイズプロファイルを作成する場合を一例に挙げて、以下、ノイズプロファイル作成処理について説明する。操作部１１０からズーム動作を開始する指示が入力された場合（Ｓ３０５でＹｅｓ）に、制御部１０９によってズーム制御信号はＯＦＦからＯＮに変更される（タイミングｔ１）。タイミングｔ１において、制御部１０９は、上述のように、Ａａｖｅ（ｆｉ）を算出するように積分回路２５０ａを制御する。積分回路２５０ａによってＡａｖｅ（ｆｉ）が算出された場合、制御部１０９は、Ａａｖｅ（ｆｉ）を振幅スペクトルＤｔ１としてメモリ２５１ａに保存する（Ｓ７０１）。

次に、制御部１０９は、タイミングｔ１から安定化期間が経過するまで、レンズ制御部２０３が光学レンズ２０１を移動させている場合の振幅スペクトルにおける各周波数毎の積分値を取得するように積分回路２５０ａを制御する。その後、制御部１０９は、安定化期間が経過したか否かを判定する（Ｓ７０２）。安定化期間が経過した場合（タイミングｔ２）（Ｓ７０２でＹｅｓ）、制御部１０９は、上述のように、Ｓ（ｆｉ）／ｍを算出するように積分回路２５０ａを制御する。積分回路２５０ａによってＳ（ｆｉ）／ｍが算出された場合、制御部１０９は、Ｓ（ｆｉ）／ｍを振幅スペクトルＤｔ２としてメモリ２５１ａに保存する（Ｓ７０３）。

次に、制御部１０９は、振幅スペクトルＤｔ１が所定の振幅スペクトルであるＤｔｔｈ以下であるか否かを判定する（Ｓ７０４）。所定の振幅スペクトルＤｔｔｈは、あらかじめメモリ１０３に格納されているものとする。所定の振幅スペクトルＤｔｔｈは、撮像装置１００によってズーム動作が開始される前における環境音が大きい場合であっても、駆動ノイズを低減できるように設定される。所定の振幅スペクトルＤｔｔｈは、撮像装置１００の騒音ノイズとして予測されるノイズレベルよりも一定レベル低いレベルになるように設定される。

振幅スペクトルＤｔ１が所定の振幅スペクトルＤｔｔｈよりも大きいと判定された場合（Ｓ７０４でＮｏ）、制御部１０９は、ズーム動作が開始される前の環境音が大きいと判定する。振幅スペクトルＤｔ１が所定の振幅スペクトルＤｔｔｈより大きいと判定された場合（Ｓ７０４でＮｏ）、ノイズプロファイル作成処理は、図６のようなタイミングチャートになる。この場合（Ｓ７０４でＮｏ）、制御部１０９は、振幅スペクトルＤｔ１としてメモリ２５１ａに保存されているＡａｖｅ（ｆｉ）を消去し、所定の振幅スペクトルＤｔｔｈが振幅スペクトルＤｔ１としてメモリ２５１ａに保存されるようにする（Ｓ７０５）。所定の振幅スペクトルＤｔｔｈが振幅スペクトルＤｔ１としてメモリ２５１ａに保存された場合、制御部１０９は、Ｓ７０６の処理を行う。振幅スペクトルＤｔ１が所定の振幅スペクトルＤｔｔｈ以下であると判定された場合（Ｓ７０４でＹｅｓ）、ノイズプロファイル作成処理は、図５のようなタイミングチャートになる。この場合（Ｓ７０４でＹｅｓ）、制御部１０９は、Ｓ７０６の処理を行う。

次に、制御部１０９は、振幅スペクトルＤｔ２から振幅スペクトルＤｔ１を減算することによって、ノイズプロファイルＰｔを作成するようにプロファイル作成部２５２ａを制御する（Ｓ７０６）。振幅スペクトルＤｔ１が所定の振幅スペクトルＤｔｔｈ以下である場合、プロファイル作成部２５２ａは、振幅スペクトルＤｔ２からＡａｖｅ（ｆｉ）を減算することによって、ノイズプロファイルＰｔを作成する。振幅スペクトルＤｔ１が所定の振幅スペクトルＤｔｔｈよりも大きい場合、プロファイル作成部２５２ａは、振幅スペクトルＤｔ２から所定の振幅スペクトルＤｔｔｈを減算することによって、ノイズプロファイルＰｔを作成する。プロファイル作成部２５２ａによって作成されたノイズプロファイルＰｔは、プロファイル格納部２５３ａに格納される。

安定化期間が経過していない場合（Ｓ７０２でＮｏ）、プロファイル格納部２５３ａには、ノイズプロファイルＰｔは格納されていないので、ノイズプロファイルＰｔを用いて駆動ノイズを低減することはできない。そこで、制御部１０９は、振幅スペクトルＵｔが振幅スペクトルＤｔ１と同一になるように振幅スペクトル減算部２５４ａを制御する。安定化期間が経過していない場合、図５の５０１のように環境音が途中から急激に変動する場合がある。この場合、制御部１０９は、振幅スペクトルＩｔが振幅スペクトルＤｔ１以上であるか否かを判定する（Ｓ７０７）。

振幅スペクトルＩｔが振幅スペクトルＤｔ１以上であると判定された場合（Ｓ７０７でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔが振幅スペクトルＤｔ１と同一になるように振幅スペクトル減算部２５４ａを制御する（Ｓ７０８）。振幅スペクトルＩｔが振幅スペクトルＤｔ１以上であると判定された場合（Ｓ７０７でＹｅｓ）、安定化期間が経過するまで（タイミングｔ１からタイミングｔ２まで）は、振幅スペクトルＵｔは、振幅スペクトルＤｔ１と同一になるように制御される。振幅スペクトルＩｔが振幅スペクトルＤｔ１以上でないと判定された場合（Ｓ７０７でＮｏ）、制御部１０９は、振幅スペクトルＵｔが振幅スペクトルＩｔと同一になるように振幅スペクトル減算部２５４ａを制御する（Ｓ７０９）。振幅スペクトルＩｔが振幅スペクトルＤｔ１よりも小さいと判定された場合（Ｓ７０７でＮｏ）、安定化期間が経過するまで（タイミングｔ１からタイミングｔ２まで）、振幅スペクトルＵｔは、振幅スペクトルＩｔと同一になるように制御される。

なお、図７のノイズプロファイル作成処理について、プロファイル作成部２５２ａがノイズプロファイルを作成する場合を一例に挙げて説明を行った。しかしながら、プロファイル作成部２５２ｂがノイズプロファイルを作成する場合も、図７のノイズプロファイル作成処理と同様にノイズプロファイルを作成する。

なお、図６のような場合、振幅スペクトルＩｔが振幅スペクトルＤｔ１以上の状態になったり、振幅スペクトルＩｔが振幅スペクトルＤｔ１よりも小さい状態になったりを繰り返す場合がある。このような場合であっても、振幅スペクトルＵｔは、振幅スペクトルＤｔ１を超えないように制御される。これにより、撮像装置１００は、安定化期間が経過するまで（タイミングｔ１からタイミングｔ２まで）の期間において、駆動ノイズを低減することができる。

このように、ズーム制御信号がＯＮにされてから安定化期間が経過するまで（タイミングｔ１からタイミングｔ２まで）の期間、制御部１０９は、振幅スペクトルＵｔが振幅スペクトルＩｔまたは振幅スペクトルＤｔ１になるように制御する。これにより、撮像装置１００は、ズーム制御信号がＯＮにされてから安定化期間が経過するまで（タイミングｔ１からタイミングｔ２まで）の期間における駆動ノイズを低減することができる。さらに、安定化期間が経過した後（タイミングｔ２からタイミングｔ３まで）の期間、制御部１０９は、ノイズプロファイルＰｔを使って、安定化期間が経過した後（タイミングｔ２からタイミングｔ３まで）の期間における駆動ノイズを低減することができる。これにより、撮像装置１００は、駆動ノイズの低減をシームレスに行うことができる。

［ノイズプロファイル補正処理（Ｓ３０９）］
Ｓ３０９において制御部１０９によって実行されるノイズプロファイル補正処理について図８、９、１０及び１１を用いて説明を行う。プロファイル補正部２５６ａがプロファイル作成部２５２ａによって作成されたノイズプロファイルを補正する場合を一例に挙げて、以下、ノイズプロファイル補正処理について説明する。

図８は、ノイズプロファイルＰｔを拡大補正する処理を示すタイミングチャート図である。図９は、ノイズプロファイルＰｔを縮小補正する処理を示すタイミングチャート図である。図８及び９におけるｔ１、ｔ２、ｔ３、Ｉｔ、Ｄｔ、Ｐｔ、Ｕｔ、Ｎｔは、図５及び６におけるｔ１、ｔ２、ｔ３、Ｉｔ、Ｄｔ、Ｐｔ、Ｕｔ、Ｎｔと同様であるため、説明を省略する。図１１は、ノイズプロファイル補正処理に関する時定数の設定を示す図である。

図１０は、制御部１０９によって行われるノイズプロファイル補正処理を示すフローチャートである。次に、図１０を用いて、制御部１０９によって行われるノイズプロファイル補正処理について説明する。なお、プロファイル補正部２５６ａがプロファイル作成部２５２ａによって作成されたノイズプロファイルを補正する場合を一例に挙げて、以下、ノイズプロファイル補正処理について説明する。積分回路２５０ａは、Ｓ３０７のおけるノイズプロファイル作成処理が行われた後、あらかじめ設定されたフレーム数の各周波数の振幅値の積分し、積分された振幅値をあらかじめ設定されたフレーム数で除算することで、各周波数毎の平均振幅値を算出する。あらかじめ設定されたフレーム数は、ユーザによって設定されても良い。あらかじめ設定されたフレーム数が「１」である場合、積分回路２５０ａが出力する振幅スペクトルの値は、ＦＦＴ２０７ａから出力される値と等しくなる。積分回路２５０ａは、各周波数毎の平均振幅値を振幅スペクトルＤｔとして出力する。

制御部１０９は、積分回路２５０ａから出力された振幅スペクトルＤｔが振幅スペクトルＤｔ２以下であるか否かを判定する（Ｓ１００１）。振幅スペクトルＤｔが振幅スペクトルＤｔ２よりも大きいと判定された場合（Ｓ１００１でＮｏ）、制御部１０９は、プロファイル格納部２５３ａに格納されているノイズプロファイルＰｔが第１の値Ｐｍａｘ以下であるか否かを判定する（Ｓ１００２）。なお、第１の値Ｐｍａｘは、ノイズプロファイルＰｔの拡大補正を制限するための閾値である。さらに、第１の値Ｐｍａｘは、駆動ノイズを低減し過ぎることによる違和感を防止するために用いられる。

図８のように、タイミングｔ２からタイミングｔ３までの期間、駆動ノイズが大きくなることに伴い、振幅スペクトルＤｔが振幅スペクトルＤｔ２よりも大きくなる。このため、プロファイル作成部２５２aで生成されたノイズプロファイルＰｔを使って減算処理を振幅スペクトル減算部２１１ａに行わせるだけでは、振幅スペクトルＤｔと振幅スペクトルＤｔ２との差分に対応する駆動ノイズは低減されなかった。そこで、ノイズプロファイルＰｔが第１の値Ｐｍａｘ以下であると判定された場合（Ｓ１００２でＹｅｓ）、制御部１０９は、時定数ｉｎｃ（ｆｉ）に応じてノイズプロファイルＰｔの拡大補正をプロファイル拡大部２７１ａに行わせる（Ｓ１００３）。ノイズプロファイルＰｔの拡大補正が行われた後、制御部１０９は、Ｓ１００４の処理を行う。

ノイズプロファイルＰｔが第１の値Ｐｍａｘ以下でないと判定された場合（Ｓ１００２でＮｏ）、駆動ノイズを低減し過ぎることを防止するために、制御部１０９は、ノイズプロファイルＰｔの拡大補正をプロファイル拡大部２７１ａに行わせないようにする。ノイズプロファイルＰｔが第１の値Ｐｍａｘ以下でないと判定された場合（Ｓ１００２でＮｏ）、制御部１０９は、Ｓ１００４の処理を行う。振幅スペクトルＤｔが振幅スペクトルＤｔ２以下であると判定された場合（Ｓ１００１でＹｅｓ）、制御部１０９は、Ｓ１００４の処理を行う。

制御部１０９は、振幅スペクトル減算部２５４ａから出力された振幅スペクトルＵｔが第２の値Ｕｍｉｎ以上であるか否かを判定する（Ｓ１００４）。なお、第２の値Ｕｍｉｎは、ノイズプロファイルＰｔの縮小補正を制限する閾値である。第２の値Ｕｍｉｎは、ノイズフロアレベルであり、音声入力部１０２に音声が入力されていない場合であっても、録音されてしまう最小のノイズの値である。ノイズプロファイルＰｔが第２の値Ｕｍｉｎ以上であると判定された場合（Ｓ１００４でＹｅｓ）、制御部１０９は、ノイズプロファイルＰｔの縮小補正をプロファイル縮小部２７２ａに行わせないようにし、ノイズプロファイル補正処理を終了する。

図９のように、タイミングｔ２からタイミングｔ３までの期間、駆動ノイズが小さくなることに伴い、振幅スペクトルＵｔが第２の値Ｕｔｍｉｎよりも小さくなる。このため、プロファイル作成部２５２ａで作成されたノイズプロファイルＰｔを使って減算処理を振幅スペクトル減算部２５４ａに行わせるだけでは、振幅スペクトルＵｔと第２の値Ｕｔｍｉｎとの差分に対応する音声が消されてしまう場合があった。そこで、ノイズプロファイルＰｔが第２の値Ｕｍｉｎ以上でないと判定された場合（Ｓ１００４でＮｏ）、制御部１０９は、時定数ｄｅｃ（ｆｉ）に応じてノイズプロファイルＰｔの縮小補正をプロファイル縮小部２７２ａに行わせる（Ｓ１００５）。ノイズプロファイルＰｔの縮小補正が行われた後、制御部１０９は、ノイズプロファイル補正処理を終了する。

なお、図１０のノイズプロファイル補正処理について、プロファイル補正部２５６ａがプロファイル作成部２５２ａによって作成されたノイズプロファイルを補正する場合を一例に挙げて説明を行った。しかしながら、プロファイル補正部２５６ｂがプロファイル作成部２５２ｂによって作成されたノイズプロファイルを補正する場合も、図１０のノイズプロファイル補正処理と同様にノイズプロファイルの補正を行う。

次に、図１１を用いて、プロファイル拡大部２７１ａによるノイズプロファイルＰｔの拡大補正の時定数ｉｎｃ（ｆｉ）及びプロファイル縮小部２７２ａによるノイズプロファイルＰｔの縮小補正の時定数ｄｅｃ（ｆｉ）を設定する方法について説明する。

図１１（Ａ）は、駆動ノイズの周波数毎の特性を示す図である。図１１（Ｂ）は、ノイズプロファイルＰｔを拡大補正する場合の周波数に応じた時定数ｉｎｃ（ｆｉ）の設定を示す図である。図１１（Ｃ）は、ノイズプロファイルＰｔを縮小補正する場合の周波数に応じた時定数ｄｅｃ（ｆｉ）の設定を表す図である。

図１１（Ａ）において、１１０１は、撮像装置１００によってズーム動作が行われている場合における振幅スペクトルを５１２ポイントの振幅スペクトルで示したものである。１１０２は、撮像装置１００によってズーム動作が行われている場合における駆動ノイズの振幅スペクトルの変化を示したものである。１１０２が示すように、周波数帯が高域になるほど、撮像装置１００によってズーム動作が行われている場合における駆動ノイズの変化が大きくなる。

これにより、図１１（Ｂ）のように、プロファイル拡大部２７１ａによるノイズプロファイルＰｔの拡大補正が行われる場合、周波数帯域が高くなるほど、時定数ｉｎｃ（ｆｉ）は、小さくなるように設定される。これは、駆動ノイズの変化に対して、ノイズプロファイルＰｔの拡大補正を早く追従させることによって、駆動ノイズが低減されず残ってしまうような事態を防止するためである。

また、図１１（Ｃ）のように、プロファイル縮小部２７２ａによるノイズプロファイルＰｔの縮小補正が行われる場合、周波数帯域が高くなるほど、時定数ｄｅｃ（ｆｉ）は、大きくなるように設定される。これは、駆動ノイズの変化に対して、ノイズプロファイルＰｔの縮小補正を遅く追従させることによって、駆動ノイズが低減されず残ってしまうような事態を防止するためである。

本実施形態において、ノイズプロファイルＰｔを縮小補正する際の時定数ｄｅｃ（ｆｉ）は、ノイズプロファイルＰｔを拡大補正する際の時定数ｉｎｃ（ｆｉ）よりも大きくする。

ＩＦＦＴ２１４ａによって時系列の音声信号に戻された後に、ノイズ印加部２１５ａは、ＩＦＦＴ２１４ａから供給された音声信号にノイズ信号を印加する。ノイズ印加部２１５ａは、ノイズ低減部２００ａによる駆動ノイズの低減し過ぎによる違和感を防止するために、ノイズ信号を印加する。ノイズ印加部２１５ａによって印加されるノイズ信号は、ノイズフロアレベルの信号であるものとする。これにより、振幅スペクトル減算部２５４ａによる減算処理は、駆動ノイズの低減が重視される。

図１２は、外部音源１２０１と音声入力部１０２との関係の一例を示す図である。図１２のように、外部音源１２０１と撮像装置１００との距離が十分に離れている場合、外部音源１２０１とＲチャネル音声入力部１０２ａとの距離と、外部音源１２０１とＬチャネル音声入力部１０２ｂとの距離とは、ほぼ同じである。このため、マイク２０５ａによって取得される環境音と、マイク２０５ｂによって取得される環境音との差は小さい。

しがしながら、光学レンズ２０１とＲチャネル音声入力部１０２ａとの距離と、光学レンズ２０１とＬチャネル音声入力部１０２ｂとの距離との差による駆動ノイズの影響は異なる。そのため、Ｒチャネル音声入力部１０２ａに対する駆動ノイズの影響と、Ｌチャネル音声入力部１０２ｂに対する駆動ノイズの影響とをそれぞれ考慮する必要がある。

次の式に示されるように、Ｒチャネル音声入力部１０２ａに対する駆動ノイズの影響とＬチャネル音声入力部１０２ｂに対する駆動ノイズの影響との差は、大きくなる。次の式の「ＤｔＬ」は、ノイズ低減処理が行われる前のＬ（Ｌｅｆｔ）のチャネルの振幅値であり、「ＤｔＲ」は、ノイズ低減処理が行われる前のＲ（Ｒｉｇｈｔ）のチャネルの振幅値である。さらに、次の式の「βｔ」は、左右相関振幅スペクトルである。
βｔ＝｜ＤｔＬ−ＤｔＲ｜／（ＤｔＬ＋ＤｔＲ）

環境音は、音量が大きいほど、ＬｃｈとＲｃｈとで差分は大きくなる。しかし、図１２のような場合、外部音源１２０１とＲチャネル音声入力部１０２ａとの距離と、外部音源１２０１とＬチャネル音声入力部１０２ｂとの距離とは、ほぼ同じなので、左右相関振幅スペクトルβｔは小さくなる。駆動ノイズについては、光学レンズ２０１とＲチャネル音声入力部１０２ａとの距離と、光学レンズ２０１とＬチャネル音声入力部１０２ｂとの距離との差により、左右相関振幅スペクトルβｔは大きくなる。左右相関振幅スペクトルβｔにより、駆動ノイズが環境音に対して支配的か否かを判定することができる。

次に、図１３及び図１４を用いて、Ｒｃｈに対する駆動ノイズの影響と、Ｌｃｈに対する駆動ノイズの影響とを考慮したノイズプロファイル補正処理について説明を行う。

図１３は、Ｒｃｈ及びＬｃｈに対してノイズプロファイルを補正する処理を示すタイミングチャート図である。図１３におけるｔ１、ｔ２、ｔ３は、図５及び６におけるｔ１、ｔ２、ｔ３と同様であるため、説明を省略する。
図１３において、ＦＦＴ２０７ａによって高速フーリエ変換された所定の周波数ｆｉの振幅スペクトルを「ＩｔＲ」とし、ＦＦＴ２０７ｂによって高速フーリエ変換された所定の周波数ｆｉの振幅スペクトルを「ＩｔＬ」とする。振幅スペクトルＩｔＲは、点線で示され、振幅スペクトルＩｔＬは、実線で示される。さらに、図１３において、積分回路２５０ａによって積分された所定の周波数ｆｉの振幅を示す振幅スペクトルを「ＤｔＲ」とし、積分回路２５０ｂによって積分された所定の周波数ｆｉの振幅を示す振幅スペクトルを「ＤｔＬ」とする。振幅スペクトルＤｔＲは、点線で示され、振幅スペクトルＤｔＬは、実線で示される。図１３において、プロファイル作成部２５２ａによって作成された所定の周波数ｆｉに対応するノイズプロファイルを「ＰｔＲ」とし、プロファイル作成部２５２ｂによって作成された所定の周波数ｆｉに対応するノイズプロファイルを「ＰｔＬ」とする。ノイズプロファイルＰｔＲは、点線で示され、ノイズプロファイルＰｔＬは、実線で示される。タイミングｔ２において、プロファイル作成部２５２ａによってノイズプロファイルＰｔＲが作成され、プロファイル作成部２５２ｂによってノイズプロファイルＰｔＬが作成される。

図１３において、振幅スペクトル減算部２５４ａから出力される所定の周波数ｆｉの振幅スペクトルを「ＵｔＲ」とし、振幅スペクトル減算部２５４ｂから出力される所定の周波数ｆｉの振幅スペクトルを「ＵｔＬ」とする。振幅スペクトルＵｔＲは、点線で示され、振幅スペクトルＵｔＬは、実線で示される。図１３において、ノイズ印加部２１５ａによってノイズ信号が印加された後の所定の周波数ｆｉの時系列のデジタル音声信号を「ＮｔＲ」とする。図１３において、ノイズ印加部２１５ｂによってノイズ信号が印加された後の所定の周波数ｆｉの時系列のデジタル音声信号を「ＮｔＬ」とする。振幅スペクトルＮｔＲは、点線で示され、振幅スペクトルＮｔＬは、実線で示される。図１３において、振幅スペクトルＩｔＬと振幅スペクトルＩｔＲとの差分の絶対値である｜ＩｔＬ−ＩｔＲ｜は、実線で示される。図１３において、振幅スペクトルＵｔＬと振幅スペクトルＵｔＲとの差分の絶対値である｜ＵｔＬ−ＵｔＲ｜は、点線で示される。

図１３に示すように、｜ＵｔＬ−ＵｔＲ｜が｜ＩｔＬ−ＩｔＲ｜を上回る場合がある。これは、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのいずれか一つが減算処理により駆動ノイズが低減され過ぎていることを示す。これは、ノイズプロファイルＰｔＬ及びノイズプロファイルＰｔＲのいずれか一つが大き過ぎることが原因となって起こることである。

図１４は、Ｒｃｈ及びＬｃｈに対するノイズプロファイル補正処理の一例を示すフローチャートである。次に、図１４を用いて、制御部１０９によって行われるＲｃｈ及びＬｃｈに対するノイズプロファイル補正処理について説明する。なお、ノイズプロファイルＰｔＲに対して図１０のノイズプロファイル補正処理が行われ、ノイズプロファイルＰｔＬに対して図１０のノイズプロファイル補正処理が行われた後、図１４のＲｃｈ及びＬｃｈに対するノイズプロファイル補正処理が行われる。

この後、制御部１０９は、振幅スペクトルＩｔＬ、振幅スペクトルＩｔＲ、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲを検出し、以下の条件が成立しているか否かを判定する（Ｓ１４０１）。
条件：｜ＩｔＬ−ＩｔＲ｜≦｜ＵｔＬ−ＵｔＲ｜
条件｜ＩｔＬ−ＩｔＲ｜≦｜ＵｔＬ−ＵｔＲ｜が成立していると判定された場合（Ｓ１４０１でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以上であるか否かを判定する（Ｓ１４０２）。振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以上である場合（Ｓ１４０２でＹｅｓ）、制御部１０９は、時定数ｉｎｃ＿Ｌ（ｆｉ）に応じてノイズプロファイルＰｔＬの拡大補正をプロファイル拡大部２７１ｂに行わせる（Ｓ１４０３）。時定数ｉｎｃ＿Ｌ（ｆｉ）は、プロファイル拡大部２７１ｂに対応する時定数である。その後、制御部１０９は、時定数ｄｅｃ＿Ｒ（ｆｉ）に応じてノイズプロファイルＰｔＲの縮小補正をプロファイル縮小部２７２ａに行わせる（Ｓ１４０４）。時定数ｄｅｃ＿Ｒ（ｆｉ）は、プロファイル縮小部２７２ａに対応する時定数である。Ｓ１４０４の処理が行われた後、Ｒｃｈ及びＬｃｈに対するノイズプロファイル補正処理は終了する。時定数ｄｅｃ＿Ｒ（ｆｉ）は、時定数ｉｎｃ＿Ｌ（ｆｉ）よりも大きくなる。

振幅スペクトルＵｔＬが振幅スペクトルＵｔＲよりも小さいと判定された場合（Ｓ１４０２でＮｏ）、制御部１０９は、時定数ｉｎｃ＿Ｒ（ｆｉ）に応じてノイズプロファイルＰｔＲの拡大補正をプロファイル拡大部２７１ａに行わせる（Ｓ１４０５）。時定数ｉｎｃ＿Ｒ（ｆｉ）は、プロファイル拡大部２７１ａに対応する時定数である。その後、制御部１０９は、時定数ｄｅｃ＿Ｌ（ｆｉ）に応じてノイズプロファイルＰｔＬの縮小補正をプロファイル縮小部２７２ｂに行わせる（Ｓ１４０６）。時定数ｄｅｃ＿Ｌ（ｆｉ）は、プロファイル縮小部２７２ｂに対応する時定数である。Ｓ１４０６の処理が行われた後、Ｒｃｈ及びＬｃｈに対するノイズプロファイル補正処理は終了する。時定数ｄｅｃ＿Ｌ（ｆｉ）は、時定数ｉｎｃ＿Ｒ（ｆｉ）よりも大きくなる。

条件｜ＩｔＬ−ＩｔＲ｜≦｜ＵｔＬ−ＵｔＲ｜が成立していない場合、｜ＩｔＬ−ＩｔＲ｜＞｜ＵｔＬ−ＵｔＲ｜となる。条件｜ＩｔＬ−ＩｔＲ｜≦｜ＵｔＬ−ＵｔＲ｜が成立していないと判定された場合（Ｓ１４０１でＮｏ）、Ｒｃｈ及びＬｃｈに対するノイズプロファイル補正処理は終了する。

このように、制御部１０９は、環境音や駆動ノイズの変化に伴い、ノイズプロファイルＰｔＲに対して補正を行い、ノイズプロファイルＰｔＬに対して補正を行うようにした。これにより、撮像装置１００は、Ｒｃｈの音声に対するノイズ低減処理と、Ｌｃｈの音声に対するノイズ低減処理とが適切に行われるようにすることができる。したがって、撮像装置１００は、駆動ノイズの消し残しや駆動ノイズの低減し過ぎによって環境音に違和感が生じるような事態を防止することができる。

［ノイズ低減処理（Ｓ３０８）］
Ｓ３０８において、制御部１０９によって実行されるノイズ低減処理について図１５、１６及び１７を用いて説明を行う。

図１５は、Ｒｃｈ及びＬｃｈに対するノイズ低減処理を示すタイミングチャート図である。図１５におけるｔ１、ｔ２、ｔ３は、図５及び６におけるｔ１、ｔ２、ｔ３と同様であるため、説明を省略する。図１５におけるＩｔＲ、ＩｔＬ、ＤｔＲ、ＤｔＬ、ＰｔＲ、ＰｔＬ、ＵｔＲ、ＵｔＬ、ＮｔＲ及びＮｔＬは、図１３におけるＩｔＲ、ＩｔＬ、ＤｔＲ、ＤｔＬ、ＰｔＲ、ＰｔＬ、ＵｔＲ、ＵｔＬ、ＮｔＲ及びＮｔＬと同様であるため、説明を省略する。

撮像装置１００によってズーム動作が行われている間に環境音や駆動ノイズが急激に変化した場合、ノイズプロファイルＰｔＲ及びノイズプロファイルＰｔＬを用いて駆動ノイズを低減したとしても、駆動ノイズの消し残りや環境音に違和感が生じる場合がある。これを防止するために、制御部１０９は、左右相関振幅スペクトルβｔに応じて、ノイズ低減処理を行う。

図１６は、ノイズ低減処理の一例を示すフローチャートである。図１７は、係数αと環境音との関係を示す図である。図１７の横軸は、環境音のレベルを示し、図１７の縦軸は、係数αの値を示している。図１７において、環境音のレベルに係数αが対応づけられている。図１７における実線１７０１が、環境音のレベルに対応した係数αの値を示している。破線１７０２は、駆動ノイズのレベルであり、破線１７０３は、駆動ノイズが環境音によってかき消されるレベルである。係数αは、環境音レベルの大きくなるほど、小さくなるものとする。環境音のレベルが破線１７０２のレベルである場合、係数αは０．１２５となる。

次に、図１６（ａ）及び図１７を用いて、制御部１０９によって行われるノイズ低減処理について説明を行う。なお、図１６（ａ）のノイズ低減処理について、振幅スペクトル減算部２５４ａが減算処理を行う場合を一例に挙げて説明を行う。

タイミングｔ１において、制御部１０９は、メモリ２５１ａに保存された振幅スペクトルＤｔ１に応じて、係数αを決定する（Ｓ１６０１）。係数αは、ノイズプロファイルに乗算する係数である。Ｓ１６０１において、制御部１０９は、振幅スペクトルＤｔ１に対応する図１７のおける環境音のレベルを検出し、検出された環境音のレベルに対応する係数αの値を決定する。

次に、制御部１０９は、上述のように左右相関振幅スペクトルβｔを算出する（Ｓ１６０２）。その後、制御部１０９は、左右相関振幅スペクトルβｔが第３の値βｔｈ以下であるか否かを判定する（Ｓ１６０３）。なお、第３の値βｔｈは、環境音がないときにおいて算出された左右相関振幅スペクトルβｔの値に応じて設定される。環境音のレベルが大きいほど、左右相関振幅スペクトルβｔは０に近くなる。また、環境音に対して駆動ノイズが支配的である場合、左右相関振幅スペクトルβｔは、０．２以上になる。

左右相関振幅スペクトルβｔが第３の値βｔｈ以下であると判定された場合（Ｓ１６０３でＹｅｓ）、制御部１０９は、Ｓ１６０４の処理を行う。Ｓ１６０４において、制御部１０９は、ノイズプロファイルＰｔＲとＳ１６０１において決定された係数αとを乗算し、これを振幅スペクトルＩｔＲから減算するように振幅スペクトル減算部２５４ａを制御する。Ｓ１６０４において、振幅スペクトル減算部２５４ａによって減算処理が行われた場合、振幅スペクトル減算部２５４ａから出力される振幅スペクトルＵｔＲは、次式のようになる。
ＵｔＲ＝ＩｔＲ−α・ＰｔＲ

左右相関振幅スペクトルβｔが第３の値βｔｈよりも大きいと判定された場合（Ｓ１６０３でＮｏ）、制御部１０９は、Ｓ１６０５の処理を行う。Ｓ１６０５において、制御部１０９は、第１の値ＰｍａｘとＳ１６０１において決定された係数αとを乗算し、これを振幅スペクトルＩｔＲから減算するように振幅スペクトル減算部２５４ａを制御する。Ｓ１６０５において、振幅スペクトル減算部２５４ａによって減算処理が行われた場合、振幅スペクトル減算部２５４ａから出力される振幅スペクトルＵｔＲは、次式のようになる。
ＵｔＲ＝ＩｔＲ−α・Ｐｍａｘ

左右相関振幅スペクトルβｔが第３の値βｔｈ以下でないと判定された場合（Ｓ１６０３でＮｏ）、制御部１０９は、ノイズプロファイルＰｔＲを用いないようにする。なお、図１６（ａ）のノイズ低減処理について、振幅スペクトル減算部２５４ａが減算処理を行う場合を一例に挙げて説明を行った。しかしながら、振幅スペクトル減算部２５４ｂが減算処理を行う場合も、図１６（ａ）のノイズ低減処理と同様に駆動ノイズの低減を行う。

次に、図１６（ｂ）及び図１７を用いて、制御部１０９によって行われるノイズ低減処理について説明を行う。なお、図１６（ｂ）のノイズ低減処理について、振幅スペクトル減算部２５４ａが減算処理を行う場合を一例に挙げて説明を行う。

図１６（ｂ）におけるＳ１６０２、Ｓ１６０３及びＳ１６０４は、図１６（ｂ）におけるＳ１６０２、Ｓ１６０３及びＳ１６０４と同一の処理であるので、説明を省略する。制御部１０９は、前フレームの減算処理後の振幅スペクトルＵｔ−１に応じて、係数αを決定する（Ｓ１６０６）。Ｓ１６０６において、制御部１０９は、振幅スペクトルＵｔ−１に対応する図１７のおける環境音のレベルを検出し、検出された環境音のレベルに対応する係数αの値を決定する。振幅スペクトル減算部２５４ａが減算処理を行う場合、Ｓ１６０６において、制御部１０９は、振幅スペクトル減算部２５４ａによって行われた前フレームの減算処理後の振幅スペクトルＵｔ−１Ｒに応じて、係数αを決定する。その後、制御部１０９は、Ｓ１６０２及びＳ１６０３の処理が行われる。左右相関振幅スペクトルβｔが第３の値βｔｈ以下であると判定された場合（Ｓ１６０３でＹｅｓ）、制御部１０９は、Ｓ１６０４の処理を行う。左右相関振幅スペクトルβｔが第３の値βｔｈ以下でないと判定された場合（Ｓ１６０３でＮｏ）、制御部１０９は、Ｓ１６０７の処理を行う。

Ｓ１６０７において、制御部１０９は、第２の値ＵｍｉｎとＳ１６０６において決定された係数αとを乗算し、これを振幅スペクトルＩｔＲから減算するように振幅スペクトル減算部２５４ａを制御する。Ｓ１６０７において、振幅スペクトル減算部２５４ａによって減算処理が行われた場合、振幅スペクトル減算部２５４ａから出力される振幅スペクトルＵｔＲは、次式のようになる。
ＵｔＲ＝ＩｔＲ−α・Ｕｍｉｎ

左右相関振幅スペクトルβｔが第３の値βｔｈ以下でないと判定された場合（Ｓ１６０３でＮｏ）、制御部１０９は、ノイズプロファイルＰｔＲを用いないようにする。なお、図１６（ｂ）のノイズ低減処理について、振幅スペクトル減算部２５４ａが減算処理を行う場合を一例に挙げて説明を行った。しかしながら、振幅スペクトル減算部２５４ｂが減算処理を行う場合も、図１６（ｂ）のノイズ低減処理と同様に駆動ノイズの低減を行う。

ノイズ低減処理について、図１６（ａ）及び図１６（ｂ）について説明したが、図１６（ａ）及び図１６（ｂ）のいずれか一つのノイズ低減処理が制御部１０９によって行われればよいものとする。

このように、制御部１０９は、左右相関振幅スペクトルβｔに応じて、ノイズを低減するための処理を変更するようにした。これにより、撮像装置１００は、駆動ノイズが環境音に対して支配的か否かに応じて、適切に駆動ノイズを低減することができる。

［後処理（Ｓ３１０）］
Ｓ３１０において、制御部１０９によって実行される後処理について図１８及び１９を用いて説明を行う。

図１８は、後処理を示すタイミングチャート図である。図１８におけるｔ１、ｔ２、ｔ３は、図５及び６におけるｔ１、ｔ２、ｔ３と同様であるため、説明を省略する。図１８におけるＵｔＲ、ＵｔＬは、図１３におけるＵｔＲ、ＵｔＬと同様であるため、説明を省略する。図１８における振幅スペクトルＱｔは、後処理が行われた後に出力される振幅スペクトルである。

次に、図１９（ａ）及び図１８（ａ）を用いて、制御部１０９によって行われる後処理について説明を行う。振幅スペクトル減算部２５４ａから振幅スペクトルＵｔＲが出力され、振幅スペクトル減算部２５４ｂから振幅スペクトルＵｔＬが出力された場合、制御部１０９は、振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であるか否かを判定する（Ｓ１９０１）。

振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であると判定された場合（Ｓ１９０１でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する。その後、制御部１０９は、振幅スペクトルＵｔＲをＩＦＦＴ２１４ａに出力することなく、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する（Ｓ１９０２）。Ｓ１９０２の処理が行われた後、制御部１０９は、後処理を終了する。

振幅スペクトルＵｔＬが振幅スペクトルＵｔＲよりも大きいと判定された場合（Ｓ１９０１でＮｏ）、制御部１０９は、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する。その後、制御部１０９は、振幅スペクトルＵｔＬをＩＦＦＴ２１４ｂに出力することなく、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後処理部２５５ｂを制御する（Ｓ１９０３）。Ｓ１９０３の処理が行われた後、制御部１０９は、後処理を終了する。

図１９（ａ）の後処理が行われる場合、図１８（ａ）のように、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのうちの小さい方が振幅スペクトルＱｔとしてＩＦＦＴ２１４ａ及びＩＦＦＴ２１４ｂに入力される。

次に、図１９（ｂ）及び図１８（ｂ）を用いて、制御部１０９によって行われる後処理について説明を行う。振幅スペクトル減算部２５４ａから振幅スペクトルＵｔＲが出力され、振幅スペクトル減算部２５４ｂから振幅スペクトルＵｔＬが出力された場合、制御部１０９は、Ｓ１９１０の処理を行う。Ｓ１９１０において、制御部１０９は、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのいずれか一つが第４の値Ｑｍｉｎ以下か否かを判定する。なお、第４の値Ｑｍｉｎは、後処理による違和感を防止するために用いられる。第４の値Ｑｍｉｎは、第２の値Ｕｍｉｎと同一の値であっても良い。

振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのいずれか一つが第４の値Ｑｍｉｎ以下である場合（Ｓ１９１０でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であるか否かを判定する（Ｓ１９１４）。振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であると判定された場合（Ｓ１９１４でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する。その後、制御部１０９は、振幅スペクトルＵｔＬをＩＦＦＴ２１４ｂに出力することなく、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する（Ｓ１９１５）。Ｓ１９１５の処理が行われた後、制御部１０９は、後処理を終了する。振幅スペクトルＵｔＬが振幅スペクトルＵｔＲよりも大きいと判定された場合（Ｓ１９１４でＮｏ）、制御部１０９は、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する。その後、制御部１０９は、振幅スペクトルＵｔＲをＩＦＦＴ２１４ａに出力することなく、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する（Ｓ１９１６）。Ｓ１９１６の処理が行われた後、制御部１０９は、後処理を終了する。

振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのいずれも第４の値Ｑｍｉｎよりも大きいである場合（Ｓ１９１０でＮｏ）、制御部１０９は、振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であるか否かを判定する（Ｓ１９１１）。

振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であると判定された場合（Ｓ１９１１でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する。その後、制御部１０９は、振幅スペクトルＵｔＲをＩＦＦＴ２１４ａに出力することなく、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する。Ｓ１９１２の処理が行われた後、制御部１０９は、後処理を終了する。

振幅スペクトルＵｔＬが振幅スペクトルＵｔＲよりも大きいと判定された場合（Ｓ１９１１でＮｏ）、制御部１０９は、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する。その後、制御部１０９は、振幅スペクトルＵｔＬをＩＦＦＴ２１４ｂに出力することなく、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する（Ｓ１９１３）。Ｓ１９１３の処理が行われた後、制御部１０９は、後処理を終了する。

図１９（ｂ）の後処理が行われる場合、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのいずれもが第４の値Ｑｍｉｎよりも大きい場合について説明する。この場合、図１８（ｂ）のように、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのうち小さい方が振幅スペクトルＱｔとしてＩＦＦＴ２１４ａ及びＩＦＦＴ２１４ｂに入力される。

次に、図１９（ｂ）の後処理が行われる場合、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのいずれか一つが第４の値Ｑｍｉｎ以下である場合について説明する。この場合、図１８（ｂ）のように、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのうち大きい方が振幅スペクトルＱｔとしてＩＦＦＴ２１４ａ及びＩＦＦＴ２１４ｂに入力される。

次に、図１９（ｃ）及び図１８（ｃ）を用いて、制御部１０９によって行われる後処理について説明を行う。振幅スペクトル減算部２５４aから振幅スペクトルＵｔRが出力され、振幅スペクトル減算部２５４ｂから振幅スペクトルＵｔＬが出力された場合、制御部１０９は、Ｓ１９２１の処理を行う。Ｓ１９２１において、制御部１０９は、ΔｔＬ及びΔｔＲを算出し、｜ΔｔＬ−ΔｔＲ｜を算出する。ΔｔＬは、振幅スペクトルＩｔＬと振幅スペクトルＵｔＬとの差分であり、ΔｔＲは、振幅スペクトルＩｔＲと振幅スペクトルＵｔＲとの差分である。さらに、制御部１０９は、以下の条件が成立しているか否かを判定する。
｜ΔｔＬ−ΔｔＲ｜≦｜ΔｔＬ−ΔｔＲ｜ｍａｘ
なお、｜ΔｔＬ−ΔｔＲ｜ｍａｘは、予め定められた閾値であり、ΔｔＬとΔｔＲとの差分による環境音の左右差の違和感を防止するために用いられる。

条件｜ΔｔＬ−ΔｔＲ｜≦｜ΔｔＬ−ΔｔＲ｜ｍａｘが成立していると判定された場合（Ｓ１９２１でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であるか否かを判定する（Ｓ１９２２）。振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であると判定された場合（Ｓ１９２２でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する。その後、制御部１０９は、振幅スペクトルＵｔＲをＩＦＦＴ２１４aに出力することなく、振幅スペクトルＵｔLを振幅スペクトルＱｔとしてＩＦＦＴ２１４aに出力するように後補正部２５５aを制御する（Ｓ１９２３）。

Ｓ１９２３の処理が行われた後、制御部１０９は、後処理を終了する。振幅スペクトルＵｔＬが振幅スペクトルＵｔＲよりも大きいと判定された場合（Ｓ１９２２でＮｏ）、制御部１０９は、振幅スペクトルＵｔRを振幅スペクトルＱｔとしてＩＦＦＴ２１４aに出力するように後補正部２５５aを制御する。その後、制御部１０９は、振幅スペクトルＵｔLをＩＦＦＴ２１４ｂに出力することなく、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する（Ｓ１９２４）。Ｓ１９２４の処理が行われた後、制御部１０９は、後処理を終了する。

条件｜ΔｔＬ−ΔｔＲ｜≦｜ΔｔＬ−ΔｔＲ｜ｍａｘが成立していない場合、｜ΔｔＬ−ΔｔＲ｜＞｜ΔｔＬ−ΔｔＲ｜ｍａｘとなる。条件｜ΔｔＬ−ΔｔＲ｜≦｜ΔｔＬ−ΔｔＲ｜ｍａｘが成立していないと判定された場合（Ｓ１９２１でＮｏ）、制御部１０９は、振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であるか否かを判定する（Ｓ１９２５）。

振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であると判定された場合（Ｓ１９２５でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４aに出力するように後補正部２５５aを制御する。その後、制御部１０９は、振幅スペクトルＵｔLをＩＦＦＴ２１４ｂに出力することなく、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する（Ｓ１９２６）。Ｓ１９２６の処理が行われた後、制御部１０９は、後処理を終了する。振幅スペクトルＵｔＬが振幅スペクトルＵｔＲよりも大きいと判定された場合（Ｓ１９２５でＮｏ）、制御部１０９は、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する。その後、制御部１０９は、振幅スペクトルＵｔＲをＩＦＦＴ２１４aに出力することなく、振幅スペクトルＵｔLを振幅スペクトルＱｔとしてＩＦＦＴ２１４aに出力するように後補正部２５５aを制御する（Ｓ１９２７）。Ｓ１９２７の処理が行われた後、制御部１０９は、後処理を終了する。

図１９（ｃ）の後処理が行われる場合、｜ΔｔＬ−ΔｔＲ｜≦｜ΔｔＬ−ΔｔＲ｜ｍａｘが成り立つ場合について説明する。この場合、図１８（ｃ）のように、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのうち小さい方が振幅スペクトルＱｔとしてＩＦＦＴ２１４ａ及びＩＦＦＴ２１４ｂに入力される。
次に、図１９（ｃ）の後処理が行われる場合、｜ΔｔＬ−ΔｔＲ｜≦｜ΔｔＬ−ΔｔＲ｜ｍａｘが成り立たない場合について説明する。この場合、図１８（ｃ）のように、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのうち大きい方が振幅スペクトルＱｔとしてＩＦＦＴ２１４ａ及びＩＦＦＴ２１４ｂに入力される。

後処理について、図１９（ａ）、図１９（ｂ）及び図１９（ｃ）について説明したが、図１９（ａ）、図１９（ｂ）及び図１９（ｃ）のいずれか一つの後処理が制御部１０９によって行われればよいものとする。

図１９（ａ）、図１９(ｂ)及び図１９(ｃ)のいずれか一つの後処理が行われた後、ＩＦＦＴ２１４aは、ＦＦＴ２０７ａから供給された位相情報を用いて、振幅スペクトルＱｔに対して逆高速フーリエ変換を行うことで、元の時系列形式の音声データを生成する。図１９（ａ）、図１９（ｂ）及び図１９（ｃ）のいずれか一つの後処理が行われた後、ＩＦＦＴ２１４ｂは、ＦＦＴ２０７ｂから供給された位相情報を用いて、振幅スペクトルＱｔに対して逆高速フーリエ変換を行うことで、元の時系列形式の音声データを生成する。

このように、制御部１０９は、Ｒｃｈの音声とＬｃｈの音声とのレベルが一致するように補正するための処理を行うようにした。これにより、撮像装置１００は、環境音の左右差による違和感が生じないようにすることができる。

本実施形態において、撮像装置１００は、ＲｃｈとＬｃｈとの２系統の音声が入力される構成を持つものとして説明を行ったが、チャネル数が２以上の音声が入力される構成を持つものであっても良い。また、撮像装置１００は、１系統の音声が入力される構成であっても良いものとする。
（その他の実施例）
上述した実施形態は、プログラム等のソフトウェアをコンピュータ（またはＣＰＵやＭＰＵ等）に実行させることによって実現することができる。この場合、当該ソフトウェアは、ネットワーク又は記憶媒体を介してコンピュータ（またはＣＰＵやＭＰＵ等）に供給される。

Claims (8)

1. 第１のマイクと、
   第２のマイクと、
   前記第１のマイクにより得られた音声データをフーリエ変換することによって、第１の音声スペクトルデータを取得する第１の変換手段と、
   前記第２のマイクにより得られた音声データをフーリエ変換することによって、第２の音声スペクトルデータを取得する第２の変換手段と、
   前記第１の音声スペクトルデータから、前記第１のマイクに対応するノイズスペクトルデータを減算する第１の減算手段と、
   前記第２の音声スペクトルデータから、前記第２のマイクに対応するノイズスペクトルデータを減算する第２の減算手段と、
   前記第１の減算手段から得られた第３の音声スペクトルデータ及び前記第２の減算手段から得られた第４の音声スペクトルデータに応じて、前記第１のマイクに対応するノイズスペクトルデータ及び前記第２のマイクに対応するノイズスペクトルデータを補正するための処理を行う制御手段と、を有し、
   前記制御手段は、前記第３の音声スペクトルデータが前記第４の音声スペクトルデータ以上である場合、前記第１のマイクに対応するノイズスペクトルデータが拡大されるように補正するための処理を行い、
   前記制御手段は、前記第３の音声スペクトルデータが前記第４の音声スペクトルデータ以上である場合、前記第２のマイクに対応するノイズスペクトルデータが縮小されるように補正するための処理を行うことを特徴とする電子機器。
2. 第１のマイクと、
   第２のマイクと、
   前記第１のマイクにより得られた音声データをフーリエ変換することによって、第１の音声スペクトルデータを取得する第１の変換手段と、
   前記第２のマイクにより得られた音声データをフーリエ変換することによって、第２の音声スペクトルデータを取得する第２の変換手段と、
   前記第１の音声スペクトルデータから、前記第１のマイクに対応するノイズスペクトルデータを減算する第１の減算手段と、
   前記第２の音声スペクトルデータから、前記第２のマイクに対応するノイズスペクトルデータを減算する第２の減算手段と、
   前記第１の減算手段から得られた第３の音声スペクトルデータ及び前記第２の減算手段から得られた第４の音声スペクトルデータに応じて、前記第１のマイクに対応するノイズスペクトルデータ及び前記第２のマイクに対応するノイズスペクトルデータを補正するための処理を行う制御手段と、を有し、
   前記制御手段は、前記第３の音声スペクトルデータが前記第４の音声スペクトルデータ以上でない場合、前記第２のマイクに対応するノイズスペクトルデータが拡大されるように補正するための処理を行い、
   前記制御手段は、前記第３の音声スペクトルデータが前記第４の音声スペクトルデータ以上でない場合、前記第１のマイクに対応するノイズスペクトルデータが縮小されるように補正するための処理を行うことを特徴とする電子機器。
3. 前記制御手段は、前記第３の音声スペクトルデータが前記第４の音声スペクトルデータ以上でない場合、前記第２のマイクに対応するノイズスペクトルデータが拡大されるように補正するための処理を行い、
   前記制御手段は、前記第３の音声スペクトルデータが前記第４の音声スペクトルデータ以上でない場合、前記第１のマイクに対応するノイズスペクトルデータが縮小されるように補正するための処理を行うことを特徴とする請求項１に記載の電子機器。
4. 前記制御手段は、前記第３の音声スペクトルデータと前記第４の音声スペクトルデータとの差分が前記第１の音声スペクトルデータと前記第２の音声スペクトルデータとの差分以上である場合、前記第１のマイクに対応するノイズスペクトルデータ及び前記第２のマイクに対応するノイズスペクトルデータを補正する処理を行うことを特徴する請求項１から３のいずれか１項に記載の電子機器。
5. 前記制御手段は、前記第３の音声スペクトルデータと前記第４の音声スペクトルデータとの差分が前記第１の音声スペクトルデータと前記第２の音声スペクトルデータとの差分以上でない場合、前記第１のマイクに対応するノイズスペクトルデータ及び前記第２のマイクに対応するノイズスペクトルデータを補正しないようにすることを特徴する請求項１から４のいずれか１項に記載の電子機器。
6. 画像データを撮像するための撮像手段をさらに有することを特徴とする請求項１から５のいずれか１項に記載の電子機器。
7. 第１のマイクと、第２のマイクとを有する電子機器の制御方法であって、
   前記第１のマイクから得られた音声データをフーリエ変換することによって、第１の音声スペクトルデータを取得する第１の変換ステップと、
   前記第２のマイクから得られた音声データをフーリエ変換することによって、第２の音声スペクトルデータを取得する第２の変換ステップと、
   前記第１の音声スペクトルデータから、前記第１のマイクに対応するノイズスペクトルデータを減算することで第３の音声スペクトルデータを取得する第１の減算ステップと、
   前記第２の音声スペクトルデータから、前記第２のマイクに対応するノイズスペクトルデータを減算することで第４の音声スペクトルデータを取得する第２の減算ステップと、
   前記第３の音声スペクトルデータ及び前記第４の音声スペクトルデータに応じて、前記第１のマイクに対応するノイズスペクトルデータ及び前記第２のマイクに対応するノイズスペクトルデータを補正するための処理を行う制御ステップと、を有し、
   前記制御ステップでは、前記第３の音声スペクトルデータが前記第４の音声スペクトルデータ以上である場合、前記第１のマイクに対応するノイズスペクトルデータが拡大されるように補正するための処理を行い、
   前記制御ステップでは、前記第３の音声スペクトルデータが前記第４の音声スペクトルデータ以上である場合、前記第２のマイクに対応するノイズスペクトルデータが縮小されるように補正するための処理を行う
   ことを特徴とする制御方法。
8. 第１のマイクと、第２のマイクとを有する電子機器の制御方法であって、
   前記第１のマイクから得られた音声データをフーリエ変換することによって、第１の音声スペクトルデータを取得する第１の変換ステップと、
   前記第２のマイクから得られた音声データをフーリエ変換することによって、第２の音声スペクトルデータを取得する第２の変換ステップと、
   前記第１の音声スペクトルデータから、前記第１のマイクに対応するノイズスペクトルデータを減算することで第３の音声スペクトルデータを取得する第１の減算ステップと、
   前記第２の音声スペクトルデータから、前記第２のマイクに対応するノイズスペクトルデータを減算することで第４の音声スペクトルデータを取得する第２の減算ステップと、
   前記第３の音声スペクトルデータ及び前記第４の音声スペクトルデータに応じて、前記第１のマイクに対応するノイズスペクトルデータ及び前記第２のマイクに対応するノイズスペクトルデータを補正するための処理を行う制御ステップと、を有し、
   前記制御ステップでは、前記第３の音声スペクトルデータが前記第４の音声スペクトルデータ以上でない場合、前記第２のマイクに対応するノイズスペクトルデータが拡大されるように補正するための処理を行い、
   前記制御ステップでは、前記第３の音声スペクトルデータが前記第４の音声スペクトルデータ以上でない場合、前記第１のマイクに対応するノイズスペクトルデータが縮小されるように補正するための処理を行う
   ことを特徴とする制御方法。

Images