JP6731772B2

JP6731772B2 - 電子機器及び制御方法

Info

Publication number: JP6731772B2
Application number: JP2016078430A
Authority: JP
Inventors: 啓太園田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-04-08
Filing date: 2016-04-08
Publication date: 2020-07-29
Anticipated expiration: 2036-04-08
Also published as: JP2017187725A

Description

本発明は、雑音、特に、駆動部の駆動時に発生する雑音を低減する装置に関する。

デジタルカメラには、動画と音声の記録中に、ユーザがズームを指示することにより、レンズを駆動させることができるものがある。記録中にレンズが駆動された場合、モータ等の駆動部により発生されるノイズ（雑音）が記録される音声に混入してしまう。そこで、この種のノイズを低減する技術として、従来、スペクトルサブトラクション方式と呼ばれる技術が知られている（例えば、特許文献１参照）。スペクトルサブトラクション方式では、ノイズに対応した周波数成分（周波数スペクトル）を、入力音声から減算することによりノイズを低減する。

特開２００６−２７９１８５号公報

ズーム等の駆動部を源とするノイズを低減する場合、その駆動部の駆動を開始する指示（例えばズーム開始指示）をきっかけとしてノイズ低減処理を行っていた。しかし、ユーザによる駆動開始の指示から、実際に駆動部が駆動されて、駆動ノイズが発生するまでの期間は、装置による個体差や経年変化によりばらつく。スペクトルサブトラクション方式では、低減対象のノイズが含まれていない信号にノイズ低減処理を施すと、かえってノイズを混入させることになる。そのため、スペクトルサブトラクション方式によりノイズを低減する際、実際にノイズが混入している期間を正確に特定する必要がある。

本発明はこのような課題を解決し、駆動部によるノイズの発生タイミングを正確に特定し、適切にノイズを低減することを目的とする。

上記目的を達成するために本発明は以下の構成を有する。

電子機器であって、音声データを周波数ごとの振幅値で構成される振幅スペクトルに変換する変換手段と、
前記変換手段により変換された振幅スペクトルに基づいて、前記音声データに前記駆動部の駆動音が含まれることを判定する判定手段と、
前記判定手段により前記駆動音が含まれると判定された場合に、前記変換手段で生成された振幅スペクトルの各周波数の振幅値からノイズプロファイルの対応する周波数の振幅値を減算する減算手段と、
当該減算手段によって減算された振幅スペクトルを、時系列の音声データに逆変換する逆変換手段とを有し、
前記音声データはステレオであり、
前記判定手段は、ステレオの２つのチャンネルそれぞれの音声データの差分の増加率が所定の閾値を超えた場合に、前記駆動音が含まれると判定する。

本発明によれば、駆動部によるノイズの発生タイミングを正確に特定し、適切にノイズを低減することが可能となる。

実施形態の撮像装置の一例を示すブロック図。実施形態のノイズ除去部を示すブロック図。実施形態における動画記録処理の一例を示すフローチャート。実施形態のズーム動作前とズーム動作中とにおける各周波数の振幅スペクトルの一例を表す図。実施形態のノイズプロファイル作成処理を示すタイミングチャートの一例。実施形態のノイズプロファイル作成処理を示すタイミングチャートの一例。実施形態のノイズプロファイル作成処理の一例を示すフローチャート。実施形態のノイズプロファイルの拡大補正処理を示すタイミングチャートの一例。実施形態のノイズプロファイルの縮小補正処理を示すタイミングチャートの一例。実施形態のノイズプロファイル補正処理の一例を示すフローチャート。実施形態におけるノイズプロファイル補正処理に関する時定数の設定の一例を示す図である。実施形態の外部音源と音声入力部との関係の一例を示す図。実施形態のＲｃｈ及びＬｃｈに対するノイズプロファイル補正処理の一例を示すタイミングチャート。実施形態のＲｃｈ及びＬｃｈに対するノイズプロファイル補正処理の一例を示すフローチャート。実施形態におけるノイズ低減処理の一例を示すタイミングチャート。実施形態におけるノイズ低減処理の一例を示すフローチャート。実施形態における係数αと環境音との関係の一例を示す図。実施形態の後補正処理の一例を示すタイミングチャート。実施形態における後補正処理の一例を示すフローチャート。実施形態における音声入力部の一例を示すブロック。

以下、図面を参照して本発明の実施形態を詳細に説明する。なお、実施形態では、電子機器としてデジタルカメラ等の撮像装置１００を一例に挙げ、以下説明を行う。しかし、電子機器は、撮像装置１００に限られず、マイクを有する装置であれば、携帯電話やＩＣレコーダであっても良い。

図１は、撮像装置１００の構成の一例を示すブロック図である。撮像装置１００は、光学レンズやレンズ制御部、撮像素子、画像処理部等を含む撮像部１０１、音声入力部１０２、メモリ１０３、表示制御部１０４、表示部１０５、符号化処理部１０６、記録再生部１０７、記録媒体１０８、制御部１０９を有する。さらに、撮像装置１００は、操作部１１０、音声出力部１１１、スピーカ１１２、外部出力部１１３、及び、各構成要素を接続するシステムバス１１４を有する。

撮像部１０１は、被写体の光学像を画像信号に変換し、これに対して画像処理を行い、画像データを生成する。音声入力部１０２は、撮像装置１００の周辺の音声を集音し、これに対して音声処理を行い、音声データを生成する。

メモリ１０３は、撮像部１０１から供給される画像データや、音声入力部１０２から供給される音声データを記憶する。音声データはメモリとは限らず、何らかの記録部に記録されればよい。表示制御部１０４は、撮像部１０１から得られた画像データや撮像装置１００のメニュー画面等を表示部１０５に表示させる。符号化処理部１０６は、メモリ１０３に記憶された画像データに対して所定の符号化を行い、圧縮画像データを生成する。また、符号化処理部１０６は、メモリ１０３に記憶された音声データに対して所定の符号化を行い、圧縮音声データを生成する。記録再生部１０７は、記録媒体１０８に対して、符号化処理部１０６で生成された圧縮画像データ、圧縮音声データ及び圧縮された動画データの少なくとも一つを記録媒体１０８に記録する。また、記録再生部１０７は、記録媒体１０８に記録されている画像データ、音声データ及び動画データの少なくとも一つを記録媒体１０８から読み出す。

制御部１０９は、システムバス１１４を介して撮像装置１００の各部を制御する。制御部１０９は、ＣＰＵ及びメモリを有する。制御部１０９のメモリには、撮像装置１００の各部を制御するためのプログラムが記録される。

操作部１１０は、ユーザからの指示を撮像装置１００に入力するための操作を受け付ける。操作部１１０は、ユーザによって行われた特定の操作に対応する信号を制御部１０９に送信する。操作部１１０は、静止画の撮影を指示するボタン、動画記録開始と停止を指示する記録ボタン、光学的に画像に対してズーム動作を行うように撮像装置１００に指示するためのズームボタンなどを有する。さらに、操作部１１０は、撮像装置１００の動作モードを静止画撮影モード、動画像撮影モード及び再生モードから選択するためのモード選択ボタンを有する。

音声出力部１１１は、記録再生部１０７によって読み出された音声データをスピーカ１１２に出力する。外部出力部１１３は、記録再生部１０７によって読み出された音声データを外部機器に出力する。

次に、撮像装置１００が動画撮影モードである場合における動作について説明する。撮像装置１００が動画像撮影モードである場合、制御部１０９は、操作部１１０の記録ボタンがＯＮにされたことに応じて、所定のフレームレートで撮像するように撮像部１０１を制御し、音声データを取得するように音声入力部１０２を制御する。この場合、撮像部１０１で撮像された画像データと音声データとは圧縮され、記録再生部１０７によって記録媒体１０８に動画データとして記録される。その後、制御部１０９は、操作部１１０の記録ボタンがＯＦＦにされたことに応じて、記録媒体１０８に記録していた動画データをクローズ処理し、１つの動画ファイルを生成する。なお、撮像装置１００が動画撮影モードである場合、ユーザによって操作部１１０の記録ボタンがＯＮされるまでは、操作部１１０の記録ボタンは、ＯＦＦであるものとする。

図２０は、撮像部１０１と音声入力部１０２との関係を示す。

撮像部１０１は、光学レンズ２０１、撮像素子２０２、レンズ制御部２０３及び画像処理部２０４を有する。

光学レンズ２０１は、被写体の光学的に合焦させるためのフォーカスレンズやズームレンズ等である。光学レンズ２０１は、ズーミングを光学的に行うことができる。以下、光学レンズ２０１を使ってズーミングを光学的に行うことを「ズーム動作」と呼ぶものとする。ズーム動作は、制御部１０９からの指示で、レンズ制御部２０３が、光学レンズ２０１を移動させることで、被写体の光学像をズーミングさせるものである。光学レンズ２０１の移動のためには、動力源であるモータのほか、ギア等の動力伝達系を含む機械的な駆動部が用意されている。撮像素子２０２は、被写体の光学像を画像信号に変換し、画像信号を出力する。レンズ制御部２０３は、光学レンズ２０１を移動させるためのモータ等を駆動させる。画像処理部２０４は、撮像素子２０２から出力される画像信号に対して画像処理を行い、画像データを生成する。

例えば、ズーム動作を撮像装置１００に開始させるための指示が操作部１１０を介して入力された場合、制御部１０９は、光学レンズ２０１を移動させるようにレンズ制御部２０３を制御するズーム制御信号をＯＮに変更する。ズーム制御信号がＯＮに変更された場合、レンズ制御部２０３は、モータ等を駆動し、光学レンズ２０１を移動させる。これはフォーカス調整等の指示が操作部１１０で入力された場合にも同様であるが、この場合にはズームではなくフォーカス調整がレンズ移動の目的となる。

光学レンズ２０１を移動させる場合、撮像装置１００において、光学レンズ２０１の移動に伴うノイズや光学レンズ２０１を移動させるためのモータの駆動に伴うノイズが発生する。以下、光学レンズ２０１の移動に伴うノイズや光学レンズ２０１を移動させるためのモータの駆動に伴うノイズを「駆動ノイズ」と呼ぶものとする。

なお、図２０において、撮像装置１００に光学レンズ２０１やレンズ制御部２０３が含まれているものとして説明を行ったが、これに限られないものとする。光学レンズ２０１やレンズ制御部２０３は、撮像装置１００に対して着脱可能なものであっても良い。

撮像装置１００の音声入力部１０２は、ステレオ録音を実現するため、Ｒ（Ｒｉｇｈｔ）チャネル音声入力部１０２ａ及びＬ（Ｌｅｆｔ）チャネル音声入力部１０２ｂを有する。Ｒチャネル音声入力部１０２ａと、Ｌチャネル音声入力部１０２ｂとは構成が同じであるため、以下、Ｒチャネル音声入力部１０２ａの構成について説明する。Ｒチャネル音声入力部１０２ａは、マイク２０５ａ、ＡＤＣ２０６ａ、ＦＦＴ２０７ａ、ノイズ除去部２００ａ、ＩＦＦＴ２１４ａ、ノイズ印加部２１５ａ、音声処理部２１６ａ、ＡＬＣ２１７ａを有する。なお、Ｒ（右）チャネルを以下「Ｒｃｈ」と呼び、Ｌ（左）チャネルを以下「Ｌｃｈ」と呼ぶものとする。

マイク２０５ａは、音声振動を電気信号に変換し、アナログの音声信号を出力する。ＡＤＣ（アナログデジタルコンバータ）２０６ａは、マイク２０５ａにより得られたアナログ音声信号をデジタル音声信号に変換する。例えば、ＡＤＣ２０６ａのサンプリング周波数は４８ＫＨｚで、１サンプルにつき１６ビットの、時系列のデジタルデータを出力する。ＦＦＴ（高速フーリエ変換器）２０７ａは、ＡＤＣ２０６ａから出力された、例えば、１０２４個のサンプルデータが時系列に並んだ音声データを１フレームとして入力する。すなわち、所定時間分の音声データを１フレームとする。そして、ＦＦＴ２０７ａは、１フレーム分の音声データに対して高速フーリエ変換し、各周波数の振幅レベル（振幅スペクトルデータ）を生成し、ノイズ除去部２００ａに供給する。なお、ＦＦＴ２０７ａが生成する振幅スペクトルは、０から４８ＫＨｚまでの１０２４ポイントの各周波数の振幅データで構成されるものとする。また、実施形態では１フレームの音声データを１０２４個のサンプルから構成されるとしているが、次に処理する１フレームにおける前半の５１２個のデータと、直前の１フレームの後半の５１２個のデータは同じであり、互いに一部が重複している。

ノイズ除去部２００ａは、ズーム動作を撮像装置１００が実行している場合に発生する駆動ノイズを表す各周波数のノイズの振幅データを、ＦＦＴ２０７ａから出力された該当する周波数の振幅データから減算する。ノイズ除去部２００ａは、減算が行われた後の振幅スペクトルデータをＩＦＦＴ（逆高速フーリエ変換器）２１４ａに供給する。これによりノイズを除去または低減する。したがってノイズ低減部と呼んでもよい。

ＩＦＦＴ（逆高速フーリエ変換器）２１４ａは、ＦＦＴ２０７ａから供給された位相情報を用いて、ノイズ除去部２００ａから供給された振幅スペクトルデータに対して逆高速フーリエ変換（逆変換）を行うことで、元の時系列形式の音声データを生成する。本実施形態においてＩＦＦＴ２１４ａは、ＦＦＴ２０７ａにて高速フーリエ変換される前の位相情報を保持して時系列の音声信号に戻す。

ノイズ印加部２１５ａは、ＩＦＦＴ２１４ａからの時系列の音声信号に対してノイズ信号を印加する。ノイズ印加部２１５ａによって印加されるノイズ信号は、ノイズフロアレベルの信号であるものとする。音声処理部２１６ａは、風騒音を低減するための処理、ステレオ感を強調するための処理やイコライザ処理等を行う。そして、ＡＬＣ（オートレベルコントローラ）２１７ａは、時系列の音声信号の振幅を所定のレベルに調整し、調整後の音声データをメモリ１０３に出力する。

次に、実施形態におけるＲチャネル音声入力部１０２ａのノイズ除去部２００ａについて、図２を用いて、以下説明を行う。

図２は、ノイズ除去部２００ａの構成の一例を示すブロック図である。ノイズ除去部２００ａは、積分回路２５０ａ、メモリ２５１ａ、プロファイル処理判定部２５６ａ、プロファイル作成部２５２ａ、プロファイル格納部２５３ａ、振幅スペクトル減算部２５４ａ、後補正部２５５ａ、及びプロファイル補正部２５７ａを有する。
Ｌチャネル音声入力部１０２ｂのノイズ低減部２００ｂもノイズ除去部２００ａと同様の構成であり、積分回路２５０ｂ、メモリ２５１ｂ、プロファイル処理判定部２５６ｂ、プロファイル作成部２５２ｂ、プロファイル格納部２５３ｂ、振幅スペクトル減算部２５４ｂ、後補正部２５５ｂ、及びプロファイル補正部２５６ｂを有する。

ノイズ除去部２００ａは、撮像装置１００がズーム動作を行っている場合に発生する駆動ノイズを低減するための動作を行う。以下、ノイズ除去部２００ａによって行われる動作について図４を参照し、説明を行う。

図４は、撮像装置１００によってズーム動作が行われる前と撮像装置１００によってズーム動作が行われている間とにおける各周波数の振幅スペクトルの一例を表す図である。図４における横軸が周波数を示し、０から４８キロヘルツ（ｋＨｚ）の区間の１０２４ポイントを示している（ただし、ナイキスト周波数である２４ｋＨｚまでにおいては５１２ポイントの周波数スペクトルをもつものとする）。図４における振幅スペクトル４０１は、撮像装置１００がズーム動作を行う前（光学レンズ２０１が移動していない状態）における環境音を示す振幅スペクトルデータを示す。図４における振幅スペクトル４０２は、撮像装置１００がズーム動作を行っている場合（光学レンズ２０１が移動している状態）における環境音を示す振幅スペクトルを示している。振幅スペクトル４０２には、駆動ノイズが含まれている。ノイズ除去部２００ａは、振幅スペクトル４０１と、振幅スペクトル４０２との差分から駆動ノイズを低減するために用いられるノイズプロファイルを作成する。以下、ノイズ除去部２００ａの各部について説明を行う。

積分回路２５０ａは、制御部１０９からの指示に応じて、ＦＦＴ２０７ａにて高速フーリエ変換された振幅スペクトルの各周波数の振幅値を時間軸に積分する。このとき、積分回路２５０ａは、積分したフレーム数をカウントする。ＦＦＴ２０７ａからの１フレームから得られた振幅スペクトルデータにおける周波数ｆｉ（ただし、ｉ＝０、１、...、１０２３のいずれか）の振幅値をＡ（ｆｉ）と表す。周波数ｆｉはインデックスｉで示される離散した周波数である。ここでｆｉは０から４８ｋＨｚまでの１０２４ポイントの各周波数に対応している。この場合、積分回路２５０ａは、次式のように各周波数の積分値（累積加算値）Ｓ（ｆｉ）を求める。
Ｓ（ｆｉ）＝ΣＡ（ｆｉ）
レンズ制御部２０３が光学レンズ２０１を移動させていない場合、積分回路２５０ａは、上述のように各周波数の振幅値を積分していく。そして、積分回路２５０ａは、各周波数の積分値を、積分期間を表すフレーム数ｎで除算した結果を出力する。つまり、積分回路２５０ａは、次式のように各周波数の平均振幅値Ａａｖｅ（ｆｉ）を算出し、その算出結果を出力する。
Ａａｖｅ（ｆｉ）＝Ｓ（ｆｉ）／ｎ
平均振幅値Ａａｖｅ（ｆｉ）（ｉ＝０、１、...、１０２３）で示されるデータは、図４の振幅スペクトル４０１に対応する。積分回路２５０ａは、算出した平均振幅値Ａａｖｅ（ｆｉ）をノイズプロファイル初期値としてメモリ２５１ａに格納する。平均振幅値Ａａｖｅ（ｆｉ）は、振幅スペクトルの一定時間にわたる平均値であり、時間平均ということができる。
なお、光学レンズ２０１を移動させていない場合の制御部１０９によるＳ（ｆｉ）の積分は、たとえば、録画（あるいは録音）開始指示信号がオンとなり、かつ後述するプロファイル作成指示信号がオフであることをトリガとして開始される。積分回路２５０ａはその時点からｎフレーム分の積分Ｓ（ｆｉ）を求める。ｎの値はたとえば所定数であってよい。ただし、ズーム操作が行われた環境に近い環境で上記積分値を求めるのが望ましいので、積分操作は、たとえば最新の積分値を保持しつつ定期的に繰り返し行い、得られた値で最新の積分値を更新してもよい。そしてズーム操作が行われたなら（ズーム制御信号がアクティブになったなら）保持している最新の積部値をＳ（ｆｉ）として用いるように構成してもよい。

プロファイル処理判定部２５６ａは、制御部１０９からの指示に応じて、ＦＦＴ２０７ａにて、右チャンネルの高速フーリエ変換された振幅スペクトルの各周波数の振幅値ＡＲ（ｆｉ）を取得し、同様にプロファイル処理判定部２５６ｂで左チャンネルの振幅値ＡＬ（ｆｉ）を取得する。そしてそれら値から、ＬｃｈとＲｃｈの振幅スペクトルの各周波数の左右差振幅値のＡ｜Ｌ−Ｒ｜（ｆｉ）＝｜ＡＬ（ｆｉ）−ＡＲ（ｆｉ）｜を算出する。ここで新たなパラメータとしてフレーム番号を導入し、フレーム番号をｊで表すことにする。たとえばフレームｊの周波数ｆｉにおける平均左右差振幅値Ａ｜Ｌ−Ｒ｜（ｆｉ）をＡ｜Ｌ−Ｒ｜（ｊ，ｆｉ）と表す。そして、フレームごとの前記左右差振幅値を基に、現フレームの左右差振幅値Ａ｜Ｌ−Ｒ｜（ｊ，ｆｉ）と前フレーム（あるいは直前フレーム）の左右差振幅値Ａ｜Ｌ−Ｒ｜（ｊ−１，ｆｉ）の差分を、振幅スペクトルの周波数全体すなわち帯域全体にわたって周波数ごとに評価する。そして現フレームの左右差振幅値Ａ｜Ｌ−Ｒ｜（ｊ，ｆｉ）が前フレームの左右差振幅値Ａ｜Ｌ−Ｒ｜（ｊ−１，ｆｉ）よりも大きい周波数の左右差振幅値の増加分の合計Ｓｕｍ０（ｊ）と、前フレームより現フレームの左右差振幅値が大きい周波数の本数Ｎｕｍ０（ｊ）を算出する。Ｓｕｍ０、Ｎｕｍ０は、振幅スペクトルの全周波数を対象として計算される。かっこ内は、これらの値が現フレームであるフレームｊに関して算出された値であることを示す。すなわち、連続するフレーム間における左右チャンネル間の差分の増加分を（Ａ｜Ｌ−Ｒ｜（ｊ，ｆｉ）−Ａ｜Ｌ−Ｒ｜（ｊ−１，ｆｉ））＝Δ（ｊ,ｆｉ）と表し、関数Ｐ（ｊ，ｆｉ）の値を以下の通り定義する。
Ｐ（ｊ，ｆｉ）＝Δ（ｊ,ｆｉ）（Δ（ｊ,ｆｉ）＞０）
Ｐ（ｊ，ｆｉ）＝０（Δ（ｊ,ｆｉ）≦０）
このＰ（ｊ，ｆｉ）を用いれば、
Ｓｕｍ０（ｊ）＝Σ_fiＰ（ｊ，ｆｉ）である。

また、関数Ｍ（ｊ，ｆｉ）の値を以下の通り定義する。
Ｍ（ｊ，ｆｉ）＝１（Δ（ｊ,ｆｉ）＞０）
Ｍ（ｊ，ｆｉ）＝０（Δ（ｊ,ｆｉ）≦０）
このＭ（ｊ，ｆｉ）を用いれば、
Ｎｕｍ０（ｊ）＝Σ_fiＭ（ｊ，ｆｉ）である。

また、合わせて、０から５１１までの５１２ポイントの振幅スペクトルの内、３８４から５１１までの１２７ポイントの振幅スペクトルの範囲（すなわち比較的高周波の帯域）に限定して同様に増加分の合計Ｓｕｍ１（ｊ）と周波数の本数Ｎｕｍ１（ｊ）を算出する。Ｓｕｍ１（ｊ）、Ｎｕｍ１（ｊ）は、計算の対象となる帯域が異なるものの、Ｓｕｍ０（ｊ）、Ｎｕｍ０（ｊ）それぞれと同様に計算できる。プロファイル処理判定部２５６ａはＳｕｍ０（ｊ）、Ｎｕｍ０（ｊ）、Ｓｕｍ１（ｊ）、Ｎｕｍ１（ｊ）の其々の値に対し予め定めた閾値を設け、全てが閾値を超えたと判定した場合にフレーム間において左右差をもった急激な振幅スペクトルの増加があった（すなわち増加率が閾値を超えた）と判断する。つまり、制御部１０９からの指示を受けてズーム動作が開始された、つまりはズーム音の発生が開始された事を判定する。この判定結果は、プロファイル作成指示信号としてプロファイル作成部２５２ａに入力される。すなわち条件Ｓｕｍ０＞Ｔｈｓｕｍ０、Ｎｕｍ０＞Ｔｈｎｕｍ０，Ｓｕｍ１＞Ｔｈｓｕｍ１，Ｎｕｍ１＞Ｔｈｎｕｍ１が全て満たされるとプロファイル作成指示信号はオンにされる。この条件の具備を、「ズーム音の開始」とも呼ぶ。また、これら条件がひとつでも満たされないとプロファイル作成指示信号はネゲートされる。ここでＴｈｓｕｍ０、Ｔｈｎｕｍ０，Ｔｈｓｕｍ１，Ｔｈｎｕｍ１は、Ｓｕｍ０、Ｎｕｍ０，Ｓｕｍ１，Ｎｕｍ１それぞれに対する閾値である。この閾値は例えば実験的に決めることができる。

ここでＳｕｍ０（ｊ）、Ｎｕｍ０（ｊ）、Ｓｕｍ１（ｊ）、Ｎｕｍ１（ｊ）のＡＮＤ条件について説明する。周囲音が大きい場合は前記総和自体大きくなるので、Ｓｕｍ０（ｊ）のフレーム間の左右差の差分の総和だけではズームの駆動開始を検出するのは難しい。また、広帯域の周囲音だとポイント数が増えるので、Ｎｕｍ０（ｊ）のフレーム間の左右差の差分が大きくなる周波数ポイント数だけではズームの駆動開始を検出するのは難しい。また、高周波数側の帯域における左右差振幅値の増加分の総和Ｓｕｍ１（ｊ）、および左右差振幅値が増加した周波数の本数Ｎｕｍ１（ｊ）を条件に追加している理由は以下のとおりである。すなわち、ズームの動作開始時の動きだし音は、モータの駆動におけるノイズに加え、ギアのかみ合う音や摺動音が混在する事により、１５ｋＨｚ以上の比較的高周波数の帯域の振幅スペクトルが大きくなる事が特徴的である。以上の特徴により、Ｓｕｍ０（ｊ）、Ｎｕｍ０（ｊ）、Ｓｕｍ１（ｊ）、Ｎｕｍ１（ｊ）のＡＮＤ条件をとる事で、より確実にズーム音の開始を判定する事ができる。また上記判定基準として左右差振幅値を用いるのは、カメラにおけるステレオマイクとレンズ駆動部の配置から、ズーム動作時におけるノイズは他の環境音に比べて一方のチャンネルにより捉えられやすいことによる。もしも左右のチャネルでズーム時のノイズに差がないならば、左右何れかの入力信号或いは和信号を用いるなどしてもよい。

また、本実施例において、プロファイル処理判定部２５６ａは前述の判定条件に従ってプロファイル作成部２５２ａに対しプロファイル作成指示を出力する。一方、プロファイル作成完了指示については、制御部１０９がプロファイル作成部２５２ａにプロファイル作成完了指示を出力する事でノイズプロファイル作成を終了させる事とする。また前記処理は、制御部１０９の指示を受けて、プロファイル処理判定部２５６ａがプロファイル作成部２５２ａに対してプロファイル作成完了指示を出す構成であっても勿論構わない。

プロファイル処理判定部２５６ａはズーム音の開始を判定した時点において、プロファイル作成部２５２ａに対し、プロファイル作成指示を出力する。
本実施例においては、Ｌｃｈのプロファイル処理判定部２５６ａが左右差を算出し、Ｓｕｍ０（ｊ）、Ｎｕｍ０（ｊ）、Ｓｕｍ１（ｊ）、Ｎｕｍ１（ｊ）を算出し、それぞれの閾値と比較した後、ズーム音の開始を判定しているが、前記処理をプロファイル処理判定部２５６ｂが実施しても勿論構わない。プロファイル処理判定部２５６として一つの判定部として前記処理を実施しても勿論構わない。

積分回路２５０ａは、レンズ制御部２０３が光学レンズ２０１の移動を開始させてから安定化期間が経過するまでの間、上述のように各周波数の振幅値を積分していく。たとえばプロファイル処理判定部２５６ａからのプロファイル作成指示信号がオンとなったタイミングで信号の積分を開始し、そこから安定期間が経過するまで信号の積分を行う。安定化期間とは、プロファイル作成指示信号がアクティブになったタイミングを起点として、積分回路２５０ａの時定数により積分回路２５０ａに入力される振幅スペクトルが安定するまでの期間である。安定期間の長さは積分回路の時定数により決まる所定の値で良い。安定化期間が経過するまでの間において、ＦＦＴ２０７ａから出力される振幅スペクトルには、駆動ノイズが含まれている。安定化期間（所定数のフレーム例えば、ｍフレーム分に相当するものとする）が経過した場合、積分回路２５０ａは、積分した振幅値の平均値Ｓ（ｆｉ）／ｍをプロファイル作成部２５２ａに出力する。Ｓ（ｆｉ）／ｍは、図４の振幅スペクトル４０２のデータに対応する。

プロファイル作成部２５２ａは、プロファイル処理判定部２５６ａからのプロファイル作成指示を受け、積分回路２５０ａから供給されたＳ（ｆｉ）／ｍ（スペクトル４０２に相当）からメモリ２５１ａに格納されたＳ（ｆｉ）／ｎ（スペクトル４０１に相当）を減算することで、各周波数の駆動ノイズに対応する振幅値であるＮ（ｆｉ）を次式のように算出する。
Ｎ（ｆｉ）＝Ｓ（ｆｉ）／ｍ−Ｓ（ｆｉ）／ｎ
Ｎ（ｆｉ）が算出された後、プロファイル作成部２５２ａは、Ｎ（ｆｉ）をノイズプロファイルとしてプロファイル格納部２５３ａに格納する。ノイズプロファイルとは、ズーム動作が行われている場合に発生する駆動ノイズを示すデータである。なおこれは原則であり、図６、図７で説明するように、Ｓ（ｆｉ）／ｎに代えて所定の閾値を用いることもある。

その後、振幅スペクトル減算部２５４ａは、ＦＦＴ２０７ａから供給される振幅スペクトルデータのＡ（ｆｉ）から、プロファイル格納部２５３ａから読み出された駆動ノイズの振幅値Ｎ（ｆｉ）を減算する処理を行う。なお、以下、ＦＦＴ２０７ａから供給される振幅スペクトルデータのＡ（ｆｉ）から、プロファイル格納部２５３ａから読み出されたノイズプロファイルである振幅値Ｎ（ｆｉ）を減算する処理を「減算処理」と呼ぶ。振幅スペクトル減算部２５４ａは、次式によって得られた振幅スペクトルデータＡ_NR（ｆｉ）をＩＦＦＴ２１４ａまたはＩＦＦＴ２１４ｂに出力する。
Ａ_NR（ｆｉ）＝Ａ（ｆｉ）−Ｎ（ｆｉ）
この減算処理はプロファイル作成指示信号がオンである間実行され、プロファイル作成指示信号がオフにされたタイミングで停止する。さらにズーム制御信号がオフになったタイミングで停止してもよいし、それら信号の積がオフになったなら停止してもよい。

なお、ユーザによって撮像装置１００へのズーム動作の開始の指示を受け、ズームが動作を開始し、つまりプロファイル処理判定部２５６ａがプロファイル作成指示を出力してから、安定化期間が経過するまでの間、プロファイル作成部２５２ａでのノイズプロファイルの作成が完了していない状態が発生する。これにより、プロファイル作成部２５２ａによるノイズプロファイルの作成が完了するまでの期間を短くするためには、安定化期間に対応するフレーム数「ｍ」を小さくする必要がある。しかし、「ｍ」が極端に小さい場合、ノイズプロファイルによる駆動ノイズの低減の精度が低くなってしまう可能性がある。たとえばレンズ制御部２０３が光学レンズ２０１を移動させるための制御後にズーム動作が開始された場合、７０ｍｓ程度の間、駆動ノイズの一種である光学レンズ２０１の動きだし音や音揺れ等が発生する。光学レンズ２０１の動きだし音や音揺れ等を低減するために、７０ｍｓを超える期間において、プロファイル作成部２５２ａにノイズプロファイルを作成させるため、「ｍ」を例えば「１５」とする。

実施形態では、１フレームは１０２４個の時系列の音声データであるものの各フレームの半分は互いに重畳している。また、音声データのサンプリングレートは４８ｋＨｚとしているので、ｍ＝１５とすると、ノイズプロファイルの作成期間Ｔは、
Ｔ＝ｍフレーム分の期間＝１５×（１０２４／２）／４８ｋＨｚ＝１６０ｍｓ
となる。このように、安定化期間を確実に含む期間にわたって積分が行われるように、フレーム数ｍを決定する。これにより、ユーザによって撮像装置１００へのズーム動作の開始の指示を受けてから作成期間Ｔが経過するまでの、安定化期間を含む期間に、プロファイル作成部２５２ａは、ノイズプロファイルを作成する。このため、プロファイル作成部２５２ａは、光学レンズ２０１の動きだし音や音揺れ等を低減するための精度の高いノイズプロファイルを作成できる。
また、撮像装置１００へのズーム動作の開始の指示を受け、ズームが動作を開始するまでには、タイムラグが存在し、また前記タイムラグは機器毎にばらつきを持っている。前記タイムラグを加味せずにプロファイル作成を開始すると、実際には安定化期間が過ぎていない、まだ安定していない時点でノイズプロファイルを作成してしまう事になり、実際のズーム音よりも小さいノイズプロファイルが作成され、ズーム音の消し残しが発生してしまう。
プロファイル処理判定部２５６ａにより確実にズーム音の開始を判定してからプロファイル作成を開始する事により、安定化期間を含むようにプロファイルを作成でき、前述のようなズーム音の消し残しのない精度の高いノイズプロファイルを作成できる。

後補正部２５５ａは、振幅スペクトル減算部２５４ａによって減算処理が行われた後の振幅スペクトルを補正して、ＩＦＦＴ２１４ａに出力する。

プロファイル補正部２５７ａは、環境音の大きさに応じて、プロファイル格納部２５３ａに格納されたノイズプロファイルを補正する処理を行う。プロファイル補正部２５７ａによって行われるノイズプロファイルの補正として、拡大補正（増加補正）と縮小補正（減少補正）とがある。プロファイル補正部２５７ａは、ノイズプロファイルの拡大補正を行うプロファイル拡大部２７１ａと、ノイズプロファイルの縮小補正を行うプロファイル縮小部２７２ａとを有する。

ノイズプロファイルの拡大補正とは、プロファイル作成部２５２ａによって作成されたノイズプロファイルまたはプロファイル補正部２５７ａによって補正されたノイズプロファイルの振幅スペクトルを増大させる補正である。つまり、ノイズプロファイルの拡大補正をすることで振幅スペクトル減算部２５４ａによって減算処理がされた後の振幅スペクトルデータＡ_NR（ｆｉ）は、その前に比べて小さくなる。また、ノイズプロファイルの縮小補正とは、プロファイル作成部２５２ａによって作成されたノイズプロファイルまたはプロファイル補正部２５７ａによって補正されたノイズプロファイルの振幅スペクトルを減少させる補正である。つまり、ノイズプロファイルの縮小補正をすることで振幅スペクトル減算部２５４ａによって減算処理がされた後の振幅スペクトルデータＡ_NR（ｆｉ）は、その前に比べて大きくなる。プロファイル補正部２５７ａによって行われるノイズプロファイルの補正は必要に応じて、ＦＦＴ２０７ａから供給される１フレーム毎の振幅値Ａ（ｆｉ）に対して行われる。撮像装置１００によってズーム動作が行われている場合、環境音や光学レンズ２０１の移動に伴う振幅スペクトルの変動に応じて、プロファイル補正部２５７ａは、ノイズプロファイルを適正に補正することができる。すなわち、ノイズプロファイルの補正は、ノイズプロファイルを適用してノイズ低減処理を行っている間に動的に行われる。

Ｌチャネル音声入力部１０２ｂもＲチャネル音声入力部１０２ａと同様に、マイク２０５ｂ、ＡＤＣ２０６ｂ、ＦＦＴ２０７ｂ、ノイズ低減部２００ｂ、ＩＦＦＴ２１４ｂ、ノイズ印加部２１５ｂ、音声処理部２１６ｂ、ＡＬＣ２１７ｂを有する。マイク２０５ａとマイク２０５ｂとは、同様の構成であり、ＦＦＴ２０７ａとＦＦＴ２０７ｂとは、同様の構成であり、ノイズ除去部２００ａとノイズ低減部２００ｂは、同様の構成である。さらに、ＩＦＦＴ２１４ａとＩＦＦＴ２１４ｂとは、同様の構成であり、ノイズ印加部２１５ａとノイズ印加部２１５ｂとは、同様の構成である。さらに、音声処理部２１６ａと音声処理部２１６ｂとは、同様の構成であり、ＡＬＣ２１７ａとＡＬＣ２１７ｂとは同様の構成である。

図３は、撮像装置１００のモードとして動画像撮影モードが選択された場合に制御部１０９によって行われる動画記録処理の一例を示すフローチャートである。次に、マイク２０５ａがＡＤＣ２０６ａにアナログの音声信号を出力する場合を一例に挙げて、以下、動画記録処理について説明する。

撮像装置１００が動画像撮影モードに変更された場合、制御部１０９は、ノイズ除去部２００ａにおけるプロファイル格納部２５３ａをゼロクリアにする（Ｓ３０１）。その後、制御部１０９は、積分回路２５０ａに対してＦＦＴ２０７ａから入力された振幅スペクトルデータの積分処理を開始させる（Ｓ３０２）。そして、制御部１０９は、操作部１１０の記録ボタンがＯＮされたか否か、つまり動画データの記録を撮像装置１００に開始させる指示が入力されたか否かを判定する（Ｓ３０３）。動画データの記録を撮像装置１００に開始させる指示が入力された場合（Ｓ３０３でＹｅｓ）、制御部１０９は、動画データの記録を開始する（Ｓ３０４）。この場合、制御部１０９は、撮像部１０１及び音声入力部１０２からメモリ１０３に格納される動画データを生成するための画像データ及び音声データの符号化処理を開始し、記録再生部１０７による記録媒体１０８への記録を開始する。

Ｓ３０５では、制御部１０９は、操作部１１０を介してズーム動作を開始する指示が入力されたか否かを判定する。操作部１１０を介してズーム動作を開始する指示が入力されなかった場合、制御部１０９は、操作部１１０を介して動画データの記録を撮像装置１００に終了させる指示が入力されたか否かを判定する（Ｓ３０６）。操作部１１０を介して動画データの記録を撮像装置１００に終了させる指示が入力された場合（Ｓ３０６でＹｅｓ）、制御部１０９は、メモリ１０３に格納されている動画データの符号化を開始し、記録媒体１０８への記録を行わせる。さらに、制御部１０９は、記録媒体１０８に格納している動画データのクローズ処理を行い、動画ファイルとして完成させる（Ｓ３１４）。

一方、操作部１１０からズーム動作を開始する指示が入力された場合、処理は、Ｓ３０５からＳ３０７に進む。Ｓ３０７においてノイズプロファイル初期値作成処理を行った後、Ｓ３０８においてプロファイル処理判定部２５６ａは上述した条件でズーム音の開始を判定した場合、プロファイル作成部２５２ａに対しプロファイル作成指示を出す。プロファイル作成指示に応じてプロファイル作成部２５２ａによるノイズプロファイル作成処理が開始される。
Ｓ３０７において行われるノイズプロファイル初期値作成処理とＳ３０９において行われるノイズプロファイル作成処理については後述する。ノイズプロファイル作成処理が実行されることによって作成されたノイズプロファイルは、プロファイル格納部２５３ａに格納される。

次に、制御部１０９は、ＦＦＴ２０７ａにて高速フーリエ変換された各周波数の振幅スペクトルデータの各周波数の振幅値からノイズプロファイルに含まれる特定の周波数の振幅値を減算するノイズ低減処理を行う（Ｓ３１０）。ノイズ低減処理が行われる場合、制御部１０９は、減算処理を行うように振幅スペクトル減算部２５４ａを制御する。次に、制御部１０９は、プロファイル格納部２１０ａに格納されたノイズプロファイルを補正するようにプロファイル補正部２５７ａを制御するノイズプロファイル補正処理を行う（Ｓ３１１）。Ｓ３１１において行われるノイズプロファイル補正処理については後述する。プロファイル補正部２５７ａによって補正されたノイズプロファイルは、次フレームの減算処理で適用される。次に、制御部１０９は、振幅スペクトル減算部２５４ａにより減算処理が行われたＲｃｈの振幅スペクトルと、振幅スペクトル減算部２５４ｂにより減算処理が行われたＬｃｈの振幅スペクトルとがある場合、後補正処理を行う（Ｓ３１２）。後補正とは、Ｒｃｈの振幅スペクトルとＬｃｈの振幅スペクトルとを同一にするように補正する処理である。Ｓ３１２において行われる後補正処理については後述する。

そして、操作部１１０からズーム動作を停止する指示が入力されたか否かが判定される（Ｓ３１３）。操作部１１０からズーム動作を停止する指示が入力されていない場合、撮像装置１００においてズーム動作が継続して実行されるので、制御部１０９は、Ｓ３１０からＳ３１２までの処理を繰り返す。
また、制御部１０９は、操作部１１０からズーム動作を停止する指示が入力された場合、撮像装置１００におけるズーム動作を停止し、Ｓ３０１の処理に戻る。Ｓ３０１に戻ったことで、制御部１０９によってプロファイルクリア処理が実行される。このため、ＦＦＴ２０７ａからの振幅スペクトルはＩＦＦＴ２１４ａに供給される。

なお、図３の動画記録処理について、マイク２０５ａがＡＤＣ２０６ａにアナログの音声信号を出力する場合を一例に挙げて説明を行った。しかしながら、マイク２０５ｂがアナログの音声信号をＡＤＣ２０６ｂに出力する場合も、図３の動画記録処理と同様に動画の記録を行う。

［ノイズプロファイル作成処理（Ｓ３０９）］
Ｓ３０９において制御部１０９によって実行されるノイズプロファイルの作成処理について図４、５、６及び７を用いて説明を行う。

図５は、各周波数の振幅スペクトルに対するノイズプロファイル作成処理を示すタイミングチャート図である。図６は、撮像装置１００によってズーム動作が開始される前における環境音が大きい場合における各周波数の振幅スペクトルに対するノイズプロファイル作成処理を示すタイミングチャート図である。

以下、図５及び図６について説明を行う。図５及び図６おいて、制御部１０９がズーム操作に応じてズーム制御信号を出力し、光学レンズ２０１を移動させるようにレンズ制御部２０３を制御するタイミングを「ｔ１」とする。制御部１０９は、光学レンズ２０１を移動させるようにレンズ制御部２０３を制御する場合、光学レンズ２０１を移動させるようにレンズ制御部２０３を制御するズーム制御信号をＯＮに変更する。
制御部１０９は、光学レンズ２０１を移動させるようにレンズ制御部２０３を制御しない場合、ズーム制御信号をＯＮにしないので、この場合、ズーム制御信号はＯＦＦになる。また、制御部１０９は、光学レンズ２０１の移動を停止させるようにレンズ制御部２０３を制御する場合、ズーム制御信号をＯＦＦに変更する。ズーム制御信号がＯＮに変更された場合、レンズ制御部２０３は、光学レンズ２０１の移動を開始させる。ズーム制御信号がＯＦＦに変更された場合、レンズ制御部２０３は、光学レンズ２０１の移動を停止させる。またレンズ制御部２０３の指示を受けて光学レンズ２０１が実際に動き始めるタイミング、つまりはプロファイル処理判定部２５６がズーム音の開始を判定し、プロファイル作成指示信号をオンにしたタイミングを「ｔ１２」とする。さらに、図５及び図６おいて、プロファイル処理判定部２５６が振幅スペクトル減算部２５４にノイズプロファイルを用いた減算処理を開始させるタイミングを「ｔ２」とする。さらに、図５及び図６おいて、制御部１０９がズーム制御信号をＯＦＦにするタイミングを「ｔ３」とする。ノイズプロファイルを用いた減算処理は、タイミングｔ２からタイミングｔ３までの期間、振幅スペクトル減算部２５４によって行われる。

図５及び図６において、ＦＦＴ２０７ａによって高速フーリエ変換された所定の周波数ｆｉの振幅スペクトルを「Ｉｔ」とする。さらに、図５及び図６において、積分回路２５０ａによって積分された所定の周波数ｆｉの振幅を示す振幅スペクトルを「Ｄｔ」とする。図５及び図６において、プロファイル作成部２５２ａによって作成された所定の周波数ｆｉに対応するノイズプロファイルを「Ｐｔ」とし、振幅スペクトル減算部２５４ａから出力される所定の周波数ｆｉの振幅スペクトルを「Ｕｔ」とする。さらに図５及び図６において、ノイズ印加部２１５ａによってノイズ信号が印加された後の所定の周波数ｆｉの時系列のデジタル音声信号を「Ｎｔ」とする。

ノイズプロファイルＰｔは、ナイキスト周波数である２４ｋＨｚまでにおいて５１２ポイントの振幅スペクトルを持つ。図５及び図６における５１２ポイントの振幅スペクトルＤｔ１は、撮像装置１００がズーム動作を行う前（光学レンズ２０１が移動していない状態）における環境音を示す振幅スペクトルを示し、図４におけるスペクトル４０１に対応する。図５及び図６における５１２ポイントの振幅スペクトル（Ｄｔ２）は、撮像装置１００がズーム動作を行っている場合（光学レンズ２０１が移動している状態）における環境音を示す振幅スペクトルを示し、図４におけるスペクトル４０２に対応する。

図７は、制御部１０９によって行わせるノイズプロファイル初期値作成処理（Ｓ３０７）とノイズプロファイル作成処理（Ｓ３０９）を示すフローチャートである。図７を用いて、制御部１０９によって行われる、プロファイル作成部２５２ａによるノイズプロファイル初期値作成処理とノイズプロファイル作成処理について説明する。プロファイル作成部２５２ｂにおいても同様の処理が行われる。まず、操作部１１０からズーム動作を開始する指示が入力された場合（Ｓ３０５でＹｅｓ）に、制御部１０９によってズーム制御信号はＯＦＦからＯＮに変更される（タイミングｔ１）。タイミングｔ１において、制御部１０９は、上述のように、Ａａｖｅ（ｆｉ）を算出するように積分回路２５０ａを制御する。積分回路２５０ａによってＡａｖｅ（ｆｉ）が算出された場合、制御部１０９は、Ａａｖｅ（ｆｉ）を振幅スペクトルＤｔ１つまりノイズプロファイル初期値としてメモリ２５１ａに保存する（Ｓ３０７）。続いてＳ３０８においてプロファイル処理判定部２５６ａはズーム音の開始を判定した場合、プロファイル作成部２５２ａに対しプロファイル作成指示を出し、プロファイル作成部２５２ａによるノイズプロファイル作成処理が開始される（タイミングｔ１２）。タイミングｔ１においてＡａｖｅ（ｆｉ）を作成しておくためには、たとえば、積分回路２５０の説明で述べたように、ｎ個のフレームについての積分Ｓ（ｆｉ）を、録画または録音指示信号がオンかつプロファイル作成指示信号がオフのタイミングでおこなってよい。さらに、最新の積分値を保持しつつ定期的に繰り返し積分処理を行い、完了するつど最新値を更新するよう構成してもよい。そしてズーム制御信号がオンになったなら、その時点で保持しているＳ（ｆｉ）を用いてＡａｖｅ（ｆｉ）を計算するように構成してよい。

次に、制御部１０９は、プロファイル作成指示信号をトリガとして、タイミングｔ１２から安定化期間が経過するまで、レンズ制御部２０３が光学レンズ２０１を移動させている場合における振幅スペクトルにおける各周波数の積分値を取得するように積分回路２５０ａを制御する。その後、制御部１０９は、安定化期間が経過したか否かを判定する（Ｓ７０１）。たとえば、プロファイル作成指示信号がオンになってから所定時間が経過したタイミングをもって、安定化期間が経過したと判定する。安定化期間が経過したと判定された場合（タイミングｔ２）（Ｓ７０１でＹｅｓ）、制御部１０９は、上述のように、Ｓ（ｆｉ）／ｍを算出するように積分回路２５０ａを制御する。積分回路２５０ａによってＳ（ｆｉ）／ｍが算出された場合、制御部１０９は、Ｓ（ｆｉ）／ｍを振幅スペクトルＤｔ２としてメモリ２５１ａに保存する（Ｓ７０２）。

次に、制御部１０９は、振幅スペクトルＤｔ１が所定の振幅スペクトルであるＤｔｔｈ以下であるか否かを判定する（Ｓ７０３）。所定の振幅スペクトルＤｔｔｈは、あらかじめメモリ１０３に格納されているものとする。所定の振幅スペクトルＤｔｔｈは、撮像装置１００によってズーム動作が開始される前における環境音が大きい場合であっても、駆動ノイズを低減できるように設定される。所定の振幅スペクトルＤｔｔｈは、撮像装置１００の騒音ノイズとして予測されるノイズレベルよりも一定レベル低いレベルになるように設定される。

振幅スペクトルＤｔ１が所定の振幅スペクトルＤｔｔｈよりも大きいと判定された場合（Ｓ７０３でＮｏ）、制御部１０９は、ズーム動作が開始される前の環境音が大きいと判定する。なお振幅スペクトルの大小の判定は、たとえば、周波数ごとに行われる。その場合、その判定に応じた処理も、周波数ごとの判定結果に応じて行われる。すなわち、たとえば２つの周波数における判定結果が相違していれば、それら２つの周波数についての処理もそれぞれの判定結果に応じたものとなる。あるいはスペクトルの大小の判定をたとえば可聴域におけるパワーの総和どうしを比較するなどして行ってもよい。この場合には判定に応じた処理は、すべての周波数に対して共通に適用される。或いはこのほかの方法で判定を行ってもよい。これはＳ７０３に限らず、本実施形態あるいは他の実施形態におけるスペクトルどうしの比較判定について同様である。振幅スペクトルＤｔ１が所定の振幅スペクトルＤｔｔｈ以下でないと判定された場合（Ｓ７０３でＮｏ）、ノイズプロファイル作成処理は、図６のようなタイミングチャートになる。この場合（Ｓ７０３でＮｏ）、制御部１０９は、振幅スペクトルＤｔ１としてメモリ２５１ａに保存されているＡａｖｅ（ｆｉ）を消去し、所定の振幅スペクトルＤｔｔｈが振幅スペクトルＤｔ１としてメモリ２５１ａに保存されるようにする（Ｓ７０４）。所定の振幅スペクトルＤｔｔｈが振幅スペクトルＤｔ１としてメモリ２５１ａに保存された場合、制御部１０９は、Ｓ７０５の処理を行う。振幅スペクトルＤｔ１が所定の振幅スペクトルＤｔｔｈ以下であると判定された場合（Ｓ７０３でＹｅｓ）、ノイズプロファイル作成処理は、図５のようなタイミングチャートになる。この場合（Ｓ７０３でＹｅｓ）、制御部１０９は、Ｓ７０５の処理を行う。

次に、制御部１０９は、振幅スペクトルＤｔ２から振幅スペクトルＤｔ１を減算することによって、ノイズプロファイルＰｔを作成するようにプロファイル作成部２５２ａを制御する（Ｓ７０５）。振幅スペクトルＤｔ１が所定の振幅スペクトルＤｔｔｈ以下である場合、プロファイル作成部２５２ａは、振幅スペクトルＤｔ２からＡａｖｅ（ｆｉ）を減算することによって、ノイズプロファイルＰｔを作成する。振幅スペクトルＤｔ１が所定の振幅スペクトルＤｔｔｈ以下でない場合、プロファイル作成部２５２ａは、振幅スペクトルＤｔ２から所定の振幅スペクトルＤｔｔｈを減算することによって、ノイズプロファイルＰｔを作成する。プロファイル作成部２５２ａによって作成されたノイズプロファイルＰｔは、プロファイル格納部２５３ａに格納される。

一方ステップＳ７０１において安定化期間が経過していないと判定された場合（Ｓ７０１でＮｏ）、プロファイル格納部２５３ａには、ノイズプロファイルＰｔは格納されていないので、ノイズプロファイルＰｔを用いて駆動ノイズを低減することはできない。そこで、制御部１０９は、ステップＳ７０６〜Ｓ７０８のとおり、振幅スペクトル減算部２５４ａを制御する。安定化期間が経過していない場合、図５の波形５０１のように環境音が途中から急激に変動する場合がある。そこでこの場合、制御部１０９は、入力信号の振幅スペクトルＩｔが振幅スペクトルＤｔ１以上であるか否かを判定する（Ｓ７０６）。この判定もステップＳ７０３と同じ要領で行ってよい。

振幅スペクトルＩｔが振幅スペクトルＤｔ１以上であると判定された場合（Ｓ７０６でＹｅｓ）、制御部１０９は、安定化期間が経過するまで（タイミングｔ１２からタイミングｔ２まで）、振幅スペクトルＵｔが振幅スペクトルＤｔ１と同一になるように振幅スペクトル減算部２５４ａを制御する（Ｓ７０７）。一方振幅スペクトルＩｔが振幅スペクトルＤｔ１以上でないと判定された場合（Ｓ７０６でＮｏ）、制御部１０９は、安定化期間が経過するまで（タイミングｔ１２からタイミングｔ２まで）、振幅スペクトルＵｔが振幅スペクトルＩｔと同一になるように振幅スペクトル減算部２５４ａを制御する（Ｓ７０８）。すなわち、入力信号が閾値以上であれば入力信号を出力し、そうでなければ閾値Ｄｔｔｈを出力する。

なお、図７のノイズプロファイル作成処理について、プロファイル作成部２５２ａがノイズプロファイルを作成する場合を一例に挙げて説明を行った。しかしながら、プロファイル作成部２５２ｂがノイズプロファイルを作成する場合も、図７のノイズプロファイル作成処理と同様にノイズプロファイルを作成する。

なお、図６のような場合、振幅スペクトルＩｔが振幅スペクトルＤｔ１以上の状態になったり、振幅スペクトルＩｔが振幅スペクトルＤｔ１以上でない状態になったりを繰り返す場合がある。このような場合であっても、振幅スペクトルＵｔは、振幅スペクトルＤｔ１を超えないように制御される。これにより、撮像装置１００は、安定化期間が経過するまで（タイミングｔ１２からタイミングｔ２まで）の期間において、駆動ノイズを低減することができる。

このように、プロファイル処理判定部２５６ａがプロファイル作成指示を出してから安定化期間が経過するまで（タイミングｔ１２からタイミングｔ２まで）の期間、制御部１０９は、振幅スペクトルＵｔが振幅スペクトルＩｔまたは振幅スペクトルＤｔ１になるように制御する。これにより、撮像装置１００は、プロファイル処理判定部２５６ａがプロファイル作成指示を出してから安定化期間が経過するまで（タイミングｔ１２からタイミングｔ２まで）の期間における駆動ノイズを低減することができる。さらに、安定化期間が経過した後（タイミングｔ２からタイミングｔ３まで）の期間、制御部１０９は、ノイズプロファイルＰｔを使って、安定化期間が経過した後（タイミングｔ２からタイミングｔ３まで）の期間における駆動ノイズを低減することができる。これにより、撮像装置１００は、駆動ノイズの低減をシームレスに行うことができる。

［ノイズプロファイル補正処理（Ｓ３１１）］
Ｓ３１１において制御部１０９によって実行されるノイズプロファイル補正処理について図８、図９、図１０及び図１１を用いて説明を行う。次に、プロファイル補正部２５７ａがプロファイル作成部２５２ａによって作成されたノイズプロファイルを補正する場合を一例に挙げて、以下、ノイズプロファイル補正処理について説明する。ノイズプロファイルの補正処理は、入力音声信号の振幅スペクトルの変動に応じてノイズプロファイルを動的に補正するための処理である。

図８は、ノイズプロファイルＰｔを拡大補正する処理を示すタイミングチャート図である。図９は、ノイズプロファイルＰｔを縮小補正する処理を示すタイミングチャート図である。
図８及び図９におけるｔ１、ｔ２、ｔ３、Ｉｔ、Ｄｔ、Ｐｔ、Ｕｔ、Ｎｔは、図５及び図６におけるｔ１、ｔ２、ｔ３、Ｉｔ、Ｄｔ、Ｐｔ、Ｕｔ、Ｎｔと同様であるため、説明を省略する。図１１は、ノイズプロファイル補正処理に関する時定数の設定を示す図である。

図１０は、制御部１０９によって行われるノイズプロファイル補正処理を示すフローチャートである。図１０を用いて、制御部１０９によって行われるノイズプロファイル補正処理について説明する。なお、マイク２０５ａがＡＤＣ２０６ａにアナログの音声信号を出力する場合を一例に挙げて、以下、ノイズプロファイル補正処理について説明する。積分回路２５０ａは、Ｓ３０９のおけるノイズプロファイル作成処理が行われた後、あらかじめ設定されたフレーム数の各周波数の振幅値の積分し、積分された振幅値をあらかじめ設定されたフレーム数で除算することで、各周波数の平均振幅値を算出する。あらかじめ設定されたフレーム数は、ユーザによって設定されても良い。あらかじめ設定されたフレーム数が「１」である場合、積分回路２５０ａが出力する振幅スペクトルの値は、ＦＦＴ２０７ａから出力される値と等しくなる。積分回路２５０ａは、各周波数の平均振幅値を振幅スペクトルＤｔとして出力する。

制御部１０９は、積分回路２５０ａから出力された振幅スペクトルＤｔが所定の振幅スペクトルＤｔ２以下であるか否かを判定する（Ｓ１００１）。振幅スペクトルＤｔが振幅スペクトルＤｔ２よりも大きいと判定された場合（Ｓ１００１でＮｏ）、制御部１０９は、プロファイル格納部２５３ａに格納されているノイズプロファイルＰｔが第１の値Ｐｍａｘ以下であるか否かを判定する（Ｓ１００２）。なお、第１の値Ｐｍａｘは、ノイズプロファイルＰｔの拡大補正を制限するための閾値である。さらに、第１の値Ｐｍａｘは、駆動ノイズを低減し過ぎることによる違和感を防止するために用いられる。

図８のように、タイミングｔ２からタイミングｔ３までの期間、駆動ノイズが大きくなることに伴い、振幅スペクトルＤｔが振幅スペクトルＤｔ２よりも大きくなる。このため、プロファイル作成部２５２ａで生成されたノイズプロファイルＰｔを使って減算処理を振幅スペクトル減算部２１１ａに行わせるだけでは、振幅スペクトルＤｔと振幅スペクトルＤｔ２との差分に対応する駆動ノイズは低減されなかった。そこで、ノイズプロファイルＰｔが第１の値Ｐｍａｘ以下であると判定された場合（Ｓ１００２でＹｅｓ）、制御部１０９は、時定数ｉｎｃ（ｆｉ）に応じてノイズプロファイルＰｔの拡大補正をプロファイル拡大部２７１ａに行わせる（Ｓ１００３）。たとえば拡大補正によりＤｔ（ｆｉ）−Ｄｔ２（ｆｉ）の値を、Ｐｍａｘ（ｆｉ）を上限としてノイズプロファイルＰｔ（ｆｉ）に上乗せする。ただし一時に行わず、時定数ｉｎｃ（ｆｉ）に応じた増加率で増加させる。もちろんこれは一例に過ぎない。ノイズプロファイルＰｔの拡大補正が行われた後、制御部１０９は、Ｓ１００４の処理を行う。

ノイズプロファイルＰｔが第１の値Ｐｍａｘ以下でないと判定された場合（Ｓ１００２でＮｏ）、駆動ノイズを低減し過ぎることを防止するために、制御部１０９は、ノイズプロファイルＰｔの拡大補正をプロファイル拡大部２７１ａに行わせないようにする。ノイズプロファイルＰｔが第１の値Ｐｍａｘ以下でないと判定された場合（Ｓ１００２でＮｏ）、制御部１０９は、Ｓ１００４の処理を行う。振幅スペクトルＤｔが振幅スペクトルＤｔ２以下であると判定された場合（Ｓ１００１でＹｅｓ）、制御部１０９は、Ｓ１００４の処理を行う。

制御部１０９は、振幅スペクトル減算部２５４ａから出力された振幅スペクトルＵｔが第２の値Ｕｍｉｎ以上であるか否かを判定する（Ｓ１００４）。なお、第２の値Ｕｍｉｎは、ノイズプロファイルＰｔの縮小補正を制限する閾値である。第２の値Ｕｍｉｎは、ノイズフロアレベルであり、音声入力部１０２に音声が入力されていない場合であっても、録音されてしまう最小のノイズの値である。ノイズプロファイルＰｔが第２の値Ｕｍｉｎ以上であると判定された場合（Ｓ１００４でＹｅｓ）、制御部１０９は、ノイズプロファイルＰｔの縮小補正をプロファイル縮小部２７２ａに行わせないようにし、ノイズプロファイル補正処理を終了する。

図９のように、タイミングｔ２からタイミングｔ３までの期間、駆動ノイズが小さくなることに伴い、振幅スペクトルＵｔが第２の値Ｕｔｍｉｎよりも小さくなる。このため、プロファイル作成部２５２ａで生成されたノイズプロファイルＰｔを使って減算処理を振幅スペクトル減算部２１１ａに行わせるだけでは、振幅スペクトルＵｔと第２の値Ｕｔｍｉｎとの差分に対応する音声が消されてしまう場合があった。そこで、ノイズプロファイルＰｔが第２の値Ｕｍｉｎ以上でないと判定された場合（Ｓ１００４でＮｏ）、制御部１０９は、時定数ｄｅｃ（ｆｉ）に応じてノイズプロファイルＰｔの縮小補正をプロファイル縮小部２７２ａに行わせる（Ｓ１００５）。たとえば縮小補正によりＵｔ（ｆｉ）−Ｕｔｍｉｎ（ｆｉ）の値を、ノイズプロファイルＰｔ（ｆｉ）から差し引く。ただし一時に行わず、時定数ｄｅｃ（ｆｉ）に応じた減少率で減少させる。もちろんこれは一例に過ぎない。ノイズプロファイルＰｔの縮小補正が行われた後、制御部１０９は、ノイズプロファイル補正処理を終了する。

なお、図１０のノイズプロファイル補正処理について、プロファイル補正部２５７ａがプロファイル作成部２５２ａによって作成されたノイズプロファイルを補正する場合を一例に挙げて説明を行った。しかしながら、プロファイル補正部２５６ｂがプロファイル作成部２５２ｂによって作成されたノイズプロファイルを補正する場合も、図１０のノイズプロファイル補正処理と同様にノイズプロファイルの補正を行う。また図１０において、Ｓ１００１およびＳ１００４の条件から、拡大補正と縮小補正が両方同時に実施されることを防止するために、Ｓ１００３の後はＳ１００４に進まず、そのまま処理を終了させてもよい。

次に、図１１を用いて、プロファイル拡大部２７１ａによるノイズプロファイルＰｔの拡大補正の時定数ｉｎｃ（ｆｉ）及びプロファイル縮小部２７２ａによるノイズプロファイルＰｔの縮小補正の時定数ｄｅｃ（ｆｉ）を設定する方法について説明する。

図１１（Ａ）は、駆動ノイズの各周波数の特性を示す図である。図１１（Ｂ）は、ノイズプロファイルＰｔを拡大補正する場合の周波数に応じた時定数ｉｎｃ（ｆｉ）の設定を示す図である。図１１（Ｃ）は、ノイズプロファイルＰｔを縮小補正する場合の周波数に応じた時定数ｄｅｃ（ｆｉ）の設定を表す図である。

図１１（Ａ）において、スペクトル１１０１は、撮像装置１００によってズーム動作が行われている場合における振幅スペクトルを５１２ポイントの振幅スペクトルで示したものである。スペクトル１１０２は、撮像装置１００によってズーム動作が行われている場合における振幅スペクトルの変化を示したものである。スペクトル１１０２が示すように、周波数帯が高域になるほど、撮像装置１００によってズーム動作が行われている場合における駆動ノイズの変化が大きくなる。

これにより、図１１（Ｂ）のように、プロファイル拡大部２７１ａによるノイズプロファイルＰｔの拡大補正が行われる場合、周波数帯域が高くなるほど、時定数ｉｎｃ（ｆｉ）は、小さくなるように設定される。これは、駆動ノイズの変化に対して、ノイズプロファイルＰｔの拡大補正を早く追従させることによって、駆動ノイズが低減されず残ってしまうような事態を防止する。

また、図１１（Ｃ）のように、プロファイル縮小部２７２ａによるノイズプロファイルＰｔの縮小補正が行われる場合、周波数帯域が高くなるほど、時定数ｄｅｃ（ｆｉ）は、大きくなるように設定される。これは、駆動ノイズの変化に対して、ノイズプロファイルＰｔの縮小補正を遅く追従させることによって、駆動ノイズが低減されず残ってしまうような事態を防止する。

本実施形態において、ノイズプロファイルＰｔを縮小補正する際の時定数ｄｅｃ（ｆｉ）は、ノイズプロファイルＰｔを拡大補正する際の時定数ｉｎｃ（ｆｉ）よりも大きくする。

［左右それぞれのチャネルに対するノイズプロファイルの補正］
ＩＦＦＴ２１４ａによって時系列の音声信号に戻された後に、ノイズ印加部２１５ａは、ＩＦＦＴ２１４ａから供給された音声信号にノイズ信号を印加する。ノイズ印加部２１５ａは、ノイズ除去部２００ａによる駆動ノイズの低減し過ぎによる違和感を防止するために、ノイズ信号を印加する。ノイズ印加部２１５ａによって印加されるノイズ信号は、ノイズフロアレベルの信号であるものとする。これにより、振幅スペクトル減算部２５４ａによる減算処理は、駆動ノイズの低減が重視される。

図１２は、外部音源１２０１と音声入力部１０２との関係の一例を示す図である。図１２のように、外部音源１２０１と撮像装置１００との距離が十分に離れている場合、外部音源１２０１とＲチャネル音声入力部１０２ａとの距離と、外部音源１２０１とＬチャネル音声入力部１０２ｂとの距離とは、ほぼ同じである。このため、マイク２０５ａによって取得される環境音と、マイク２０５ｂによって取得される環境音との差は小さい。

しがしながら、光学レンズ２０１とＲチャネル音声入力部１０２ａとの距離と、光学レンズ２０１とＬチャネル音声入力部１０２ｂとの距離との差による駆動ノイズの影響は異なる。そのため、Ｒチャネル音声入力部１０２ａへの駆動ノイズの影響と、Ｌチャネル音声入力部１０２ｂへの駆動ノイズの影響とをそれぞれ考慮する必要がある。

次の式に示されるように、Ｒチャネル音声入力部１０２ａへの駆動ノイズの影響とＬチャネル音声入力部１０２ｂへの駆動ノイズの影響との差は、大きくなる。次の式の「ＤｔＬ」は、ノイズ低減処理が行われる前のＬ（Ｌｅｆｔ）のチャネルの振幅値であり、「ＤｔＲ」は、ノイズ低減処理が行われる前のＲ（Ｒｉｇｈｔ）のチャネルの振幅値である。さらに、次の式の「βｔ」は、左右相関振幅スペクトルである。
βｔ＝｜ＤｔＬ−ＤｔＲ｜／（ＤｔＬ＋ＤｔＲ）
環境音は、音量が大きいほど、ＬｃｈとＲｃｈとで差分は大きくなる。しかし、図１２のような場合、外部音源１２０１とＲチャネル音声入力部１０２ａとの距離と、外部音源１２０１とＬチャネル音声入力部１０２ｂとの距離とは、ほぼ同じなので、左右相関振幅スペクトルβｔは小さくなる。駆動ノイズについては、光学レンズ２０１とＲチャネル音声入力部１０２ａとの距離と、光学レンズ２０１とＬチャネル音声入力部１０２ｂとの距離との差により、左右相関振幅スペクトルβｔは大きくなる。左右相関振幅スペクトルβｔにより、駆動ノイズが環境音に対して支配的か否かを判定することができる。

次に、図１３及び図１４を用いて、Ｒｃｈへの駆動ノイズの影響と、Ｌｃｈへの駆動ノイズの影響とを考慮したノイズプロファイル補正処理について説明を行う。

図１３は、Ｒｃｈ及びＬｃｈに対してノイズプロファイルを補正する処理を示すタイミングチャート図である。図１３におけるｔ１、ｔ１２、ｔ２、ｔ３は、図５及び図６におけるｔ１、ｔ１２、ｔ２、ｔ３と同様であるため、説明を省略する。

図１３において、ＦＦＴ２０７ａによって高速フーリエ変換された所定の周波数ｆｉの振幅スペクトルを「ＩｔＲ」とし、ＦＦＴ２０７ｂによって高速フーリエ変換された所定の周波数ｆｉの振幅スペクトルを「ＩｔＬ」とする。振幅スペクトルＩｔＲは、点線で示され、振幅スペクトルＩｔＬは、実線で示される。さらに、図１３において、積分回路２５０ａによって積分された所定の周波数ｆｉの振幅を示す振幅スペクトルを「ＤｔＲ」とし、積分回路２５０ｂによって積分された所定の周波数ｆｉの振幅を示す振幅スペクトルを「ＤｔＬ」とする。振幅スペクトルＤｔＲは、点線で示され、振幅スペクトルＤｔＬは、実線で示される。図１３において、プロファイル作成部２５２ａによって作成された所定の周波数ｆｉに対応するノイズプロファイルを「ＰｔＲ」とし、プロファイル作成部２５２ｂによって作成された所定の周波数ｆｉに対応するノイズプロファイルを「ＰｔＬ」とする。ノイズプロファイルＰｔＲは、点線で示され、ノイズプロファイルＰｔＬは、実線で示される。タイミングｔ２において、プロファイル作成部２５２ａによってノイズプロファイルＰｔＲが作成され、プロファイル作成部２５２ｂによってノイズプロファイルＰｔＬが作成される。

図１３において、振幅スペクトル減算部２５４ａから出力される所定の周波数ｆｉの振幅スペクトルを「ＵｔＲ」とし、振幅スペクトル減算部２５４ｂから出力される所定の周波数ｆｉの振幅スペクトルを「ＵｔＬ」とする。振幅スペクトルＵｔＲは、点線で示され、振幅スペクトルＵｔＬは、実線で示される。図１３において、ノイズ印加部２１５ａによってノイズ信号が印加された後の所定の周波数ｆｉの時系列のデジタル音声信号を「ＮｔＲ」とする。図１３において、ノイズ印加部２１５ｂによってノイズ信号が印加された後の所定の周波数ｆｉの時系列のデジタル音声信号を「ＮｔＬ」とする。振幅スペクトルＮｔＲは、点線で示され、振幅スペクトルＮｔＬは、実線で示される。図１３において、振幅スペクトルＩｔＬと振幅スペクトルＩｔＲとの差分の絶対値である｜ＩｔＬ−ＩｔＲ｜は、実線で示される。図１３において、振幅スペクトルＵｔＬと振幅スペクトルＵｔＲとの差分の絶対値である｜ＵｔＬ−ＵｔＲ｜は、点線で示される。

図１３に示すように、｜ＵｔＬ−ＵｔＲ｜が｜ＩｔＬ−ＩｔＲ｜を上回る場合がある。これは、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのいずれか一つが減算処理により駆動ノイズが低減され過ぎていることを示す。これは、ノイズプロファイルＰｔＬ及びノイズプロファイルＰｔＲのいずれか一つが大き過ぎることが原因となって起こることである。

図１４は、Ｒｃｈ及びＬｃｈに対するノイズプロファイル補正処理の一例を示すフローチャートである。図１４を用いて、制御部１０９によって行われるＲｃｈ及びＬｃｈに対するノイズプロファイル補正処理について説明する。なお、ノイズプロファイルＰｔＲに対して図１０のノイズプロファイル補正処理が行われ、ノイズプロファイルＰｔＬに対して図１０のノイズプロファイル補正処理が行われた後、図１４のＲｃｈ及びＬｃｈに対するノイズプロファイル補正処理が行われる。これによってたとえば、上述したような、ノイズプロファイルＰｔＬ及びノイズプロファイルＰｔＲのいずれか一つが大き過ぎることに起因する、ノイズ除去処理による左右チャネル差の増大に対処する。

この後、制御部１０９は、振幅スペクトルＩｔＬ、振幅スペクトルＩｔＲ、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲ検出し、以下の条件が成立しているか否かを判定する（Ｓ１４０１）。
条件：｜ＩｔＬ−ＩｔＲ｜≦｜ＵｔＬ−ＵｔＲ｜
条件｜ＩｔＬ−ＩｔＲ｜≦｜ＵｔＬ−ＵｔＲ｜が成立していると判定された場合（Ｓ１４０１でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以上であるか否かを判定する（Ｓ１４０２）。振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以上である場合（Ｓ１４０２でＹｅｓ）、制御部１０９は、時定数ｉｎｃ＿Ｌ（ｆｉ）に応じてノイズプロファイルＰｔＬの拡大補正をプロファイル拡大部２７１ｂに行わせる（Ｓ１４０３）。時定数ｉｎｃ＿Ｌ（ｆｉ）は、プロファイル拡大部２７１ｂに対応する時定数である。その後、制御部１０９は、時定数ｄｅｃ＿Ｒ（ｆｉ）に応じてノイズプロファイルＰｔＲの縮小補正をプロファイル縮小部２７２ａに行わせる（Ｓ１４０４）。時定数ｄｅｃ＿Ｒ（ｆｉ）は、プロファイル縮小部２７２ａに対応する時定数である。Ｓ１４０４の処理が行われた後、Ｒｃｈ及びＬｃｈに対するノイズプロファイル補正処理は終了する。時定数ｄｅｃ＿Ｒ（ｆｉ）は、時定数ｉｎｃ＿Ｌ（ｆｉ）よりも大きくなる。

振幅スペクトルＵｔＬが振幅スペクトルＵｔＲよりも小さいと判定された場合（Ｓ１４０２でＮｏ）、制御部１０９は、時定数ｉｎｃ＿Ｒ（ｆｉ）に応じてノイズプロファイルＰｔＲの拡大補正をプロファイル拡大部２７１ａに行わせる（Ｓ１４０５）。時定数ｉｎｃ＿Ｒ（ｆｉ）は、プロファイル拡大部２７１ａに対応する時定数である。その後、制御部１０９は、時定数ｄｅｃ＿Ｌ（ｆｉ）に応じてノイズプロファイルＰｔＬの縮小補正をプロファイル縮小部２７２ｂに行わせる（Ｓ１４０６）。時定数ｄｅｃ＿Ｌ（ｆｉ）は、プロファイル縮小部２７２ｂに対応する時定数である。Ｓ１４０６の処理が行われた後、Ｒｃｈ及びＬｃｈに対するノイズプロファイル補正処理は終了する。時定数ｄｅｃ＿Ｌ（ｆｉ）は、時定数ｉｎｃ＿Ｒ（ｆｉ）よりも大きくなる。

条件｜ＩｔＬ−ＩｔＲ｜≦｜ＵｔＬ−ＵｔＲ｜が成立していない場合、｜ＩｔＬ−ＩｔＲ｜＞｜ＵｔＬ−ＵｔＲ｜となる。条件｜ＩｔＬ−ＩｔＲ｜≦｜ＵｔＬ−ＵｔＲ｜が成立していないと判定された場合（Ｓ１４０１でＮｏ）、制御部１０９は、Ｒｃｈ及びＬｃｈに対するノイズプロファイル補正処理は終了する。

このように、制御部１０９は、環境音や駆動ノイズの変化に伴い、ノイズプロファイルＰｔＲに対して補正を行い、ノイズプロファイルＰｔＬに対して補正を行うようにした。具体的には、ノイズ除去処理の出力の左右チャネルの差が、ノイズ除去処理の入力の左右チャネルの差に比べて増大している場合には、出力の左右チャネルの差を縮小するように、左右チャネルのノイズプロファイルをそれぞれ補正する。これにより、撮像装置１００は、Ｒｃｈの音声に対するノイズ低減処理と、Ｌｃｈの音声に対するノイズ低減処理とが適切に行われるようにすることができる。したがって、撮像装置１００は、駆動ノイズの消し残しや駆動ノイズの低減し過ぎによって環境音に違和感が生じるような事態を防止することができる。

［ノイズ低減処理（Ｓ３１０）］
Ｓ３１０において、制御部１０９によって実行されるノイズ低減処理について図１５、図１６及び図１７を用いて説明を行う。

図１５は、Ｒｃｈ及びＬｃｈに対するノイズ低減処理を示すタイミングチャート図である。図１５におけるｔ１、ｔ１２、ｔ２、ｔ３は、図５及び図６におけるｔ１、ｔ１２、ｔ２、ｔ３と同様であるため、説明を省略する。図１５におけるＩｔＲ、ＩｔＬ、ＤｔＲ、ＤｔＬ、ＰｔＲ、ＰｔＬ、ＵｔＲ、ＵｔＬ、ＮｔＲ及びＮｔＬは、図１３におけるＩｔＲ、ＩｔＬ、ＤｔＲ、ＤｔＬ、ＰｔＲ、ＰｔＬ、ＵｔＲ、ＵｔＬ、ＮｔＲ及びＮｔＬと同様であるため、説明を省略する。

撮像装置１００によってズーム動作が行われている間に環境音や駆動ノイズが急激に変化した場合、ノイズプロファイルＰｔＲ及びノイズプロファイルＰｔＬを用いて駆動ノイズを低減したとしても、駆動ノイズの消し残りや環境音に違和感が生じる場合がある。これを防止するために、制御部１０９は、左右相関振幅スペクトルβｔに応じて、ノイズ低減処理を行う。

図１６は、ノイズ低減処理の二つの例を示すフローチャートである。図１７は、係数αと環境音との関係を示す図である。図１７の横軸は、環境音のレベルを示し、図１７の縦軸は、係数αの値を示している。図１７において、環境音のレベルに係数αが対応づけられている。図１７における実線１７０１が、環境音のレベルに対応した係数αの値を示している。破線１７０２は、駆動ノイズのレベルであり、破線１７０３は、駆動ノイズが環境音によってかき消されるレベルである。係数αは、環境音レベルの大きくなるほど、小さくなるものとする。環境音のレベルが破線１７０２のレベルである場合、係数αは０．１２５となる。

次に、図１６（ａ）及び図１７を用いて、制御部１０９によって行われるノイズ低減処理について説明を行う。なお、図１６（ａ）のノイズ低減処理について、振幅スペクトル減算部２５４ａが減算処理を行う場合を一例に挙げて説明を行う。

タイミングｔ１２において、制御部１０９は、メモリ２５１ａに保存された振幅スペクトルＤｔ１に応じて、係数αを決定する（Ｓ１６０１）。係数αは、ノイズプロファイルに乗算する係数である。Ｓ１６０１において、制御部１０９は、振幅スペクトルＤｔ１に対応する図１７のおける環境音のレベルを検出し、検出された環境音のレベルに対応する係数αの値を決定する。

次に、制御部１０９は、上述のように左右相関振幅スペクトルβｔを算出する（Ｓ１６０２）。その後、制御部１０９は、左右相関振幅スペクトルβｔが第３の値βｔｈ以下であるか否かを判定する（Ｓ１６０３）。なお、第３の値βｔｈは、環境音がないときにおいて算出された左右相関振幅スペクトルβｔβｔの値に応じて設定される。環境音のレベルが大きいほど、左右相関振幅スペクトルβｔは０に近くなる。また、環境音に対して駆動ノイズが支配的である場合、左右相関振幅スペクトルβｔは、０．２以上になる。

左右相関振幅スペクトルβｔが第３の値βｔｈ以下であると判定された場合（Ｓ１６０３でＹｅｓ）、制御部１０９は、Ｓ１６０４の処理を行う。Ｓ１６０４において、制御部１０９は、ノイズプロファイルＰｔとＳ１６０１において決定された係数αとを乗算し、これを振幅スペクトルＩｔから減算するように振幅スペクトル減算部２５４ａを制御する。Ｓ１６０４において、振幅スペクトル減算部２５４によって減算処理が行われた場合、振幅スペクトル減算部２５４から出力される振幅スペクトルＵｔは、次式のようになる。
Ｕｔ＝Ｉｔ−α・Ｐｔ
左右相関振幅スペクトルβｔが第３の値βｔｈよりも大きいと判定された場合（Ｓ１６０３でＮｏ）、制御部１０９は、Ｓ１６０５の処理を行う。Ｓ１６０５において、制御部１０９は、第１の値ＰｍａｘとＳ１６０１において決定された係数αとを乗算し、これを振幅スペクトルＩｔから減算するように振幅スペクトル減算部２５４を制御する。Ｓ１６０５において、振幅スペクトル減算部２５４ａによって減算処理が行われた場合、振幅スペクトル減算部２５４ａから出力される振幅スペクトルＵｔは、次式のようになる。
Ｕｔ＝Ｉｔ−α・Ｐｍａｘ
左右相関振幅スペクトルβｔが第３の値βｔｈ以下でないと判定された場合（Ｓ１６０３でＮｏ）、制御部１０９は、ノイズプロファイルＰｔを用いないようにする。なお、図１６（ａ）のノイズ低減処理について、振幅スペクトル減算部２５４ａが減算処理を行う場合を一例に挙げて説明を行った。しかしながら、振幅スペクトル減算部２５４ｂが減算処理を行う場合も、図１６（ａ）のノイズ低減処理と同様に駆動ノイズの低減を行う。

次に、図１６（ｂ）及び図１７を用いて、制御部１０９によって行われるノイズ低減処理について説明を行う。なお、図１６（ｂ）のノイズ低減処理について、振幅スペクトル減算部２５４ａが減算処理を行う場合を一例に挙げて説明を行う。

図１６（ｂ）におけるＳ１６０２、Ｓ１６０３及びＳ１６０４は、図１６（ｂ）におけるＳ１６０２、Ｓ１６０３及びＳ１６０４と同一の処理であるので、説明を省略する。制御部１０９は、前フレームの減算処理後の振幅スペクトルＵｔ−１に応じて、係数αを決定する（Ｓ１６０６）。Ｓ１６０６において、制御部１０９は、振幅スペクトルＵｔ−１に対応する図１７のおける環境音のレベルを検出し、検出された環境音のレベルに対応する係数αの値を決定する。その後、制御部１０９は、Ｓ１６０２及びＳ１６０３の処理が行われる。左右相関振幅スペクトルβｔが第３の値βｔｈ以下であると判定された場合（Ｓ１６０３でＹｅｓ）、制御部１０９は、Ｓ１６０４の処理を行う。左右相関振幅スペクトルβｔが第３の値βｔｈ以下でないと判定された場合（Ｓ１６０３でＮｏ）、制御部１０９は、Ｓ１６０７の処理を行う。

Ｓ１６０７において、制御部１０９は、第２の値ＵｍｉｎとＳ１６０６において決定された係数αとを乗算し、これを振幅スペクトルＩｔから減算するように振幅スペクトル減算部２５４ａを制御する。Ｓ１６０７において、振幅スペクトル減算部２５４によって減算処理が行われた場合、振幅スペクトル減算部２５４から出力される振幅スペクトルＵｔは、次式のようになる。
Ｕｔ＝Ｉｔ−α・Ｕｍｉｎ
左右相関振幅スペクトルβｔが第３の値βｔｈ以下でないと判定された場合（Ｓ１６０３でＮｏ）、制御部１０９は、ノイズプロファイルＰｔを用いないようにする。なお、図１６（ｂ）のノイズ低減処理について、振幅スペクトル減算部２５４ａが減算処理を行う場合を一例に挙げて説明を行った。しかしながら、振幅スペクトル減算部２５４ｂが減算処理を行う場合も、図１６（ｂ）のノイズ低減処理と同様に駆動ノイズの低減を行う。

ノイズ低減処理について、図１６（ａ）及び図１６（ｂ）について説明したが、図１６（ａ）及び図１６（ｂ）のいずれか一つのノイズ低減処理が制御部１０９によって行われればよいものとする。

このように、制御部１０９は、左右相関振幅スペクトルβｔに応じて、ノイズを低減するための処理を変更するようにした。これにより、撮像装置１００は、駆動ノイズが環境音に対して支配的か否かに応じて、適切に駆動ノイズを低減することができる。

［後補正処理（Ｓ３１２）］
Ｓ３１２において、制御部１０９によって実行される後補正処理について図１５、図１８及び図１９を用いて説明を行う。

図１８は、後補正処理を示すタイミングチャート図である。図１８におけるｔ１、ｔ１２、ｔ２、ｔ３は、図５及び図６におけるｔ１、ｔ１２、ｔ２、ｔ３と同様であるため、説明を省略する。図１８におけるＵｔＲ、ＵｔＬは、図１３におけるＵｔＲ、ＵｔＬと同様であるため、説明を省略する。図１８における振幅スペクトルＱｔは、後補正処理が行われた後に出力される振幅スペクトルである。図１９は後処理手順の三つの例を説明する図である。

次に、図１９（ａ）及び図１８（ａ）を用いて、制御部１０９によって行われる後補正処理の一例について説明を行う。振幅スペクトル減算部２５４ａから振幅スペクトルＵｔＲが出力され、振幅スペクトル減算部２５４ｂから振幅スペクトルＵｔＬが出力された場合、制御部１０９は、振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であるか否かを判定する（Ｓ１９０１）。

振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であると判定された場合（Ｓ１９０１でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する。その後、制御部１０９は、振幅スペクトルＵｔＲをＩＦＦＴ２１４ａに出力することなく、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する。（Ｓ１９０２）。Ｓ１９０２の処理が行われた後、制御部１０９は、後補正処理を終了する。

振幅スペクトルＵｔＬが振幅スペクトルＵｔＲよりも大きいと判定された場合（Ｓ１９０１でＮｏ）、制御部１０９は、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する。その後、制御部１０９は、振幅スペクトルＵｔＬをＩＦＦＴ２１４ｂに出力することなく、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するようになるように後補正部２５５ｂを制御する（Ｓ１９０３）。Ｓ１９０２の処理が行われた後、制御部１０９は、後補正処理を終了する。

図１９（ａ）の後補正処理が行われる場合、図１８（ａ）のように、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのうちの小さい方の振幅スペクトルＱｔがＩＦＦＴ２１４ａ及びＩＦＦＴ２１４ｂに入力される。

次に、図１９（ｂ）及び図１８（ｂ）を用いて、制御部１０９によって行われる後補正処理の他の例について説明を行う。振幅スペクトル減算部２５４ａから振幅スペクトルＵｔＲが出力され、振幅スペクトル減算部２５４ｂから振幅スペクトルＵｔＬが出力された場合、制御部１０９は、Ｓ１９１０の処理を行う。Ｓ１９１０において、制御部１０９は、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのいずれか一つが第４の値Ｑｍｉｎ以下か否かを判定する。なお、第４の値Ｑｍｉｎは、後補正処理による違和感を防止するために用いられる。第４の値Ｑｍｉｎは、第２の値Ｕｍｉｎと同一の値であっても良い。

振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのいずれか一つが第４の値Ｑｍｉｎ以下である場合（Ｓ１９１０でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であるか否かを判定する（Ｓ１９１４）。振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であると判定された場合（Ｓ１９１４でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する。その後、制御部１０９は、振幅スペクトルＵｔＬをＩＦＦＴ２１４ｂに出力することなく、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する。（Ｓ１９１５）。Ｓ１９１５の処理が行われた後、制御部１０９は、後補正処理を終了する。振幅スペクトルＵｔＬが振幅スペクトルＵｔＲよりも大きいと判定された場合（Ｓ１９１４でＮｏ）、制御部１０９は、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する。その後、制御部１０９は、振幅スペクトルＵｔＲをＩＦＦＴ２１４ａに出力することなく、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する（Ｓ１９１６）。Ｓ１９１６の処理が行われた後、制御部１０９は、後補正処理を終了する。

振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのいずれも第４の値Ｑｍｉｎよりも大きいである場合（Ｓ１９１０でＮｏ）、制御部１０９は、振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であるか否かを判定する（Ｓ１９１１）。

振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であると判定された場合（Ｓ１９１１でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する。その後、制御部１０９は、振幅スペクトルＵｔＲをＩＦＦＴ２１４ａに出力することなく、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する。Ｓ１９１２の処理が行われた後、制御部１０９は、後補正処理を終了する。

振幅スペクトルＵｔＬが振幅スペクトルＵｔＲよりも大きいと判定された場合（Ｓ１９１２でＮｏ）、制御部１０９は、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する。その後、制御部１０９は、振幅スペクトルＵｔＬをＩＦＦＴ２１４ｂに出力することなく、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する（Ｓ１９１３）。Ｓ１９１３の処理が行われた後、制御部１０９は、後補正処理を終了する。

図１９（ｂ）の後補正処理が行われる場合、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのいずれもが第４の値Ｑｍｉｎよりも大きい場合について説明する。この場合、図１８（ｂ）のように、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのうち小さい方の振幅スペクトルＱｔがＩＦＦＴ２１４ａ及びＩＦＦＴ２１４ｂに入力される。

次に、図１９（ｂ）の後補正処理が行われる場合、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのいずれか一つが第４の値Ｑｍｉｎ以下である場合について説明する。この場合、図１８（ｂ）のように、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのうち大きい方の振幅スペクトルＱｔがＩＦＦＴ２１４ａ及びＩＦＦＴ２１４ｂに入力される。

次に、図１９（ｃ）及び図１８（ｃ）を用いて、制御部１０９によって行われる後補正処理のさらに他の例について説明を行う。振幅スペクトル減算部２５４ａから振幅スペクトルＵｔRが出力され、振幅スペクトル減算部２５４ｂから振幅スペクトルＵｔＬが出力された場合、制御部１０９は、Ｓ１９２１の処理を行う。Ｓ１９２１において、制御部１０９は、ΔｔＬ及びΔｔＲを算出し、｜ΔｔＬ−ΔｔＲ｜を算出する。ΔｔＬは、振幅スペクトルＩｔＬと振幅スペクトルＵｔＬとの差分であり、ΔｔＲは、振幅スペクトルＩｔＲと振幅スペクトルＵｔＲとの差分である。さらに、制御部１０９は、以下の条件が成立しているか否かを判定する。
｜ΔｔＬ−ΔｔＲ｜≦｜ΔｔＬ−ΔｔＲ｜ｍａｘ
なお、｜ΔｔＬ−ΔｔＲ｜ｍａｘは、予め定められた閾値であり、ΔｔＬとΔｔＲとの差分による環境音の左右差の違和感を防止するために用いられる。

条件｜ΔｔＬ−ΔｔＲ｜≦｜ΔｔＬ−ΔｔＲ｜ｍａｘが成立していると判定された場合（Ｓ１９２１でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であるか否かを判定する（Ｓ１９２２）。振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であると判定された場合（Ｓ１９２２でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する。その後、制御部１０９は、振幅スペクトルＵｔＲが振幅スペクトルＱｔになるように後補正部２５５ａを制御する（Ｓ１９２３）。その後、制御部１０９は、振幅スペクトルＵｔＲをＩＦＦＴ２１４ａに出力することなく、振幅スペクトルＵｔLを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５aを制御する。

Ｓ１９２３の処理が行われた後、制御部１０９は、後補正処理を終了する。振幅スペクトルＵｔＬが振幅スペクトルＵｔＲよりも大きいと判定された場合（Ｓ１９２２でＮｏ）、制御部１０９は、振幅スペクトルＵｔRを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５aを制御する。その後、制御部１０９は、振幅スペクトルＵｔLをＩＦＦＴ２１４ｂに出力することなく、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する（Ｓ１９２４）。Ｓ１９２４の処理が行われた後、制御部１０９は、後補正処理を終了する。

条件｜ΔｔＬ−ΔｔＲ｜≦｜ΔｔＬ−ΔｔＲ｜ｍａｘが成立していない場合、｜ΔｔＬ−ΔｔＲ｜＞｜ΔｔＬ−ΔｔＲ｜ｍａｘとなる。条件｜ΔｔＬ−ΔｔＲ｜≦｜ΔｔＬ−ΔｔＲ｜ｍａｘが成立していないと判定された場合（Ｓ１９２１でＮｏ）、制御部１０９は、振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であるか否かを判定する（Ｓ１９２５）。

振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であると判定された場合（Ｓ１９２５でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５aを制御する。その後、制御部１０９は、振幅スペクトルＵｔLをＩＦＦＴ２１４ｂに出力することなく、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する（Ｓ１９２６）。Ｓ１９２６の処理が行われた後、制御部１０９は、後補正処理を終了する。振幅スペクトルＵｔＬが振幅スペクトルＵｔＲよりも大きいと判定された場合（Ｓ１９２５でＮｏ）、制御部１０９は、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する。その後、制御部１０９は、振幅スペクトルＵｔＲをＩＦＦＴ２１４ａに出力することなく、振幅スペクトルＵｔLを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５aを制御する（Ｓ１９27）。Ｓ１９27の処理が行われた後、制御部１０９は、後補正処理を終了する。

図１９（ｃ）の後補正処理が行われる場合、｜ΔｔＬ−ΔｔＲ｜≦｜ΔｔＬ−ΔｔＲ｜ｍａｘが成り立つ場合について説明する。この場合、図１８（ｃ）のように、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのうち小さい方の振幅スペクトルＱｔがＩＦＦＴ２１４ａ及びＩＦＦＴ２１４ｂに入力される。

次に、図１９（ｃ）の後補正処理が行われる場合、｜ΔｔＬ−ΔｔＲ｜≦｜ΔｔＬ−ΔｔＲ｜ｍａｘが成り立たない場合について説明する。この場合、図１８（ｃ）のように、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのうち大きい方の振幅スペクトルＱｔがＩＦＦＴ２１４ａ及びＩＦＦＴ２１４ｂに入力される。

後補正処理について、図１９（ａ）、図１９（ｂ）及び図１９（ｃ）について説明したが、図１９（ａ）、図１９（ｂ）及び図１９（ｃ）のいずれか一つの後補正処理が制御部１０９によって行われればよいものとする。

図１９（ａ）、図１９(ｂ)及び図１９(ｃ)のいずれか一つの後補正処理が行われた後、ＩＦＦＴ２１４ａは、ＦＦＴ２０７ａから供給された位相情報を用いて、振幅スペクトルＱｔに対して逆高速フーリエ変換を行うことで、元の時系列形式の音声データを生成する。図１９（ａ）、図１９（ｂ）及び図１９（ｃ）のいずれか一つの後補正処理が行われた後、ＩＦＦＴ２１４ｂは、ＦＦＴ２０７ｂから供給された位相情報を用いて、振幅スペクトルＱｔに対して逆高速フーリエ変換を行うことで、元の時系列形式の音声データを生成する。

このように、制御部１０９は、Ｒｃｈの音声とＬｃｈの音声とのレベルが一致するように補正するための処理を行うようにした。これにより、撮像装置１００は、環境音の左右差による違和感が生じないようにすることができる。

本実施形態において、撮像装置１００は、ＲｃｈとＬｃｈとの２系統の音声が入力される構成として説明を行ったが、チャネル数が２以上の音声が入力される構成であっても良い。また、撮像装置１００は、１系統の音声が入力される構成であっても良いものとする。

［その他の実施例］
以上の実施形態においては、ズーム駆動音を図３のＳ３０８で検出し、それをきっかけとしてノイズプロファイルの作成をＳ３０９で行っている。しかしながら、ノイズプロファイルを予め作成しておき、それをノイズ低減処理３１０において適用してもよい。この場合には図３のＳ３０７およびＳ３０９を省略できる。またＳ３０８の判定は、判定基準は上記実施形態と同一ながら、「プロファイル作成開始？」ではなく「ノイズ低減処理開始？」となる。これにより、固定的なノイズプロファイルを用いた場合にも、ズームレンズが実際に駆動されてノイズが生じたことをきっかけとして、ノイズの削減処理を開始できる。その結果、ノイズの生じている時間に適した、時間的な過不足のないノイズ低減処理を実現できる。

さらにまた、上記実施形態では、入力音声を記録する際にノイズ除去を行い、ノイズ除去した音声を記録している。これに対して、録音時にはノイズ処理を行わず、再生時にノイズ低減処理を行うこともできる。そして上記実施形態に係る原理のノイズ削除を再生時にも適用することができる。たとえば、図２０のＦＦＴ２０７ａ（２０７ｂも同じ、以下同様）〜ＩＦＦＴ２１４ａまでを音声入力部から、メモリ１０３に記録した音声データを再生する回路に移動する。そして、メモリ１０３から読み取ったデジタル音声データをＦＦＴ２０７ａに入力し、変換されたデータをノイズ除去部２００ａに入力してノイズ除去し、その出力を逆ＦＦＴすることで、ノイズを取り除いた音声を再生することができる。

さらに、上述した固定プロファイルを用いたノイズ低減処理を、再生時において適用することもできる。

また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２００ノイズ除去部、２５０積分部、２５４振幅スペクトル減算部、２５２プロファイル作成部、２５３ノイズプロファイル格納部、２５５後補正部、２５６プロファイル処理判定部、２５７プロファイル補正部

Claims

音声データを周波数ごとの振幅値で構成される振幅スペクトルに変換する変換手段と、
前記変換手段により変換された振幅スペクトルに基づいて、前記音声データに駆動部の駆動音が含まれることを判定する判定手段と、
前記判定手段により前記駆動音が含まれると判定された場合に、前記変換手段で生成された振幅スペクトルの各周波数の振幅値からノイズプロファイルの対応する周波数の振幅値を減算する減算手段と、
当該減算手段によって減算された振幅スペクトルを、時系列の音声データに逆変換する逆変換手段と
を有し、
前記音声データはステレオであり、
前記判定手段は、ステレオの２つのチャンネルそれぞれの音声データの差分の増加率が所定の閾値を超えた場合に、前記駆動音が含まれると判定することを特徴とする電子機器。
前記変換手段は、所定時間分の長さのステレオの前記音声データを１フレームとして、チャンネルごとに周波数ごとの振幅値で構成される振幅スペクトルに変換し、
前記判定手段は、１フレームにおける、ステレオの各チャンネル間の離散した周波数ごとの振幅の差分が、前のフレームにおける前記差分よりも大きい場合に、前記差分の増加分の総和と、前記差分が増加した前記周波数の本数とを求め、前記総和と前記本数とがそれぞれ所定の閾値を超えている場合に、当該フレームを、前記駆動音を含むと判定することを特徴とする請求項１に記載の電子機器。
前記判定手段は、前記総和および前記本数を、前記振幅スペクトルの帯域全体および高周波の帯域についてそれぞれ求め、それぞれの帯域についての前記総和および前記本数がそれぞれ所定の閾値を超えている場合に、当該フレームを、前記駆動音を含むと判定することを特徴とする請求項２に記載の電子機器。
前記判定手段により前記駆動音が含まれていると判定されたことに応じて前記ノイズプロファイルを作成する作成手段を更に有し、
前記減算手段は、前記変換手段で生成された振幅スペクトルの各周波数の振幅値から前記作成手段により作成されたノイズプロファイルの対応する周波数の振幅値を減算することを特徴とする請求項１乃至３のいずれか一項に記載の電子機器。
前記作成手段は、前記判定手段により前記駆動音が含まれていると判定されたことに応じて、前記駆動部が駆動されている場合の前記振幅スペクトルの時間平均を求め、該時間平均と、記憶されている、前記駆動部が駆動されていない場合の前記振幅スペクトルの時間平均との差分に基づいて前記ノイズプロファイルを作成することを特徴とする請求項４に記載の電子機器。
前記ノイズプロファイルは予め作成され保存されていることを特徴とする請求項１乃至３のいずれか一項に記載の電子機器。
マイクと、
音声データを記録する記録手段とをさらに有し、
前記音声データは前記マイクから入力され、前記逆変換手段による変換された音声データは前記記録手段により記録されることを特徴とする請求項１乃至６のいずれか一項に記載の電子機器。
音声データを記録する記録手段と、
音声データを音声として再生する再生手段とをさらに有し、
前記音声データは前記記録手段から読み出され、前記逆変換手段による変換された音声データは前記再生手段により再生されることを特徴とする請求項１乃至６のいずれか一項に記載の電子機器。
前記駆動部を制御するための指示を入力するための操作を行う操作手段と、
光学的なズームが可能な撮像部とを更に有し、
前記駆動部は、前記操作手段による操作に応じて前記撮像部のズームを駆動することを特徴とする請求項１乃至８のいずれか一項に記載の電子機器。
音声データを周波数ごとの振幅値で構成される振幅スペクトルに変換する変換工程と、
前記変換工程により変換されたチャンネルごとの振幅スペクトルに基づいて、前記音声データに駆動部の駆動音が含まれることを判定する判定工程と、
前記判定工程により前記駆動音が含まれると判定された場合に、前記変換工程で生成された振幅スペクトルの各周波数の振幅値からノイズプロファイルの対応する周波数の振幅値を減算する減算工程と、
当該減算工程によって減算された振幅スペクトルを、時系列の音声データに逆変換する逆変換工程と
を有し、
前記音声データはステレオであり、
前記判定工程では、ステレオの２つのチャンネルそれぞれの音声データの差分の増加率が所定の閾値を超えた場合に、前記駆動音が含まれると判定することを特徴とする電子機器の制御方法。
請求項１乃至６のいずれか一項に記載の電子機器としてコンピュータを機能させるためのプログラム。