JP5278477B2 - 信号処理装置、撮像装置、および、信号処理プログラム - Google Patents

Description

本発明は、信号処理装置、撮像装置、および、信号処理プログラムに関する。

従来、音声信号に混入しているノイズを除去するために、フレーム単位で時間領域信号から周波数領域信号に変換し、非音声部分の信号を用い推定ノイズを算出し、算出した推定ノイズを周波数領域信号から差し引くことでノイズを低減する手法が知られている（特許文献１参照）。

特開２００５−１９５９５５号公報

しかしながら、特許文献１の方法にあっては、推定ノイズを周波数領域信号から単に差し引くことでノイズを低減するために、適切にノイズを低減することができない場合があるという問題があった。

本発明は、このような事情に鑑みてなされたもので、その目的は、適切にノイズを低減することができる信号処理装置、撮像装置、および、信号処理プログラムを提供することにある。

この発明は上述した課題を解決するためになされたもので、動作部が動作している時に取得された音信号が周波数変換された第１周波数スペクトルの所定の周波数ビンと前記動作部が動作していない時の音信号が周波数変換された第２周波数スペクトルの前記所定の周波数ビンとを比較し、前記第１周波数スペクトルの前記所定の周波数ビンに対して前記動作部による動作音を低減処理するか否かを判定する判定部と、前記判定部により判定された結果に基づいて、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルを減算する動作音低減処理部とを備え、前記動作音低減処理部は、前記判定部により判定された結果に基づいて、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルを減算する第１モードと、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルを減算する第２モードとを含むことを特徴とする信号処理装置である。
また、この発明は、動作部が動作している時に取得された音信号が周波数変換された第１周波数スペクトルの所定の周波数ビンと前記動作部が動作していない時の音信号が周波数変換された第２周波数スペクトルの前記所定の周波数ビンとを比較し、前記第１周波数スペクトルの前記所定の周波数ビンに対して前記動作部による動作音を低減処理するか否かを判定する判定部と、前記判定部により判定された結果に基づいて、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルを減算する動作音低減処理部とを備え、前記動作音低減処理部は、前記判定部により前記第２周波数スペクトルの前記所定の周波数ビンの方が前記第１周波数スペクトルの前記所定の周波数ビンよりも大きいと判定された場合、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルの減算を行わないことを特徴とする信号処理装置である。

また、この発明は、上記に記載の信号処理装置と、前記動作音を生じさせる前記動作部とを備えていることを特徴とする撮像装置である。

また、この発明は、信号処理装置としてのコンピュータに、動作部が動作している時に取得された音信号が周波数変換された第１周波数スペクトルの所定の周波数ビンと前記動作部が動作していない時の音信号が周波数変換された第２周波数スペクトルの前記所定の周波数ビンとを比較し、前記第１周波数スペクトルの前記所定の周波数ビンに対して前記動作部による動作音を低減処理するか否かを判定する判定手順と、前記判定手順により判定された結果に基づいて、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルを減算する動作音低減処理手順とを実行させるための信号処理プログラムであって、前記動作音低減処理手順は、前記判定手順により判定された結果に基づいて、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルを減算する第１モードと、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルを減算する第２モードとを含むことを特徴とする信号処理プログラムである。
また、この発明は、信号処理装置としてのコンピュータに、動作部が動作している時に取得された音信号が周波数変換された第１周波数スペクトルの所定の周波数ビンと前記動作部が動作していない時の音信号が周波数変換された第２周波数スペクトルの前記所定の周波数ビンとを比較し、前記第１周波数スペクトルの前記所定の周波数ビンに対して前記動作部による動作音を低減処理するか否かを判定する判定手順と、前記判定手順により判定された結果に基づいて、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルを減算する動作音低減処理手順とを実行させるための信号処理プログラムであって、前記動作音低減処理手順において、前記判定手順により前記第２周波数スペクトルの前記所定の周波数ビンの方が前記第１周波数スペクトルの前記所定の周波数ビンよりも大きいと判定された場合、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルの減算を行わないことを特徴とする信号処理プログラムである。

この発明によれば、適切にノイズを低減することができるという効果を奏する。

この発明の一実施形態による信号処理装置を備える撮像装置の構成の一例を示すブロック図である。 撮像装置により音信号を録音した場合の一例を示す動作図である。 信号処理部のフロアリングスペクトル推定部およびノイズ推定部が、フロアリングスペクトルおよびノイズを算出する場合の一例を示す説明図である。 音質重視モードの場合に、信号処理部がノイズ低減処理する一例を示す第１の説明図である。 音質重視モードの場合に、信号処理部がノイズ低減処理する一例を示す第２の説明図である。 ノイズ低減重視モードの場合、信号処理部がノイズ低減処理する一例を示す説明図である。

以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による信号処理装置を備える撮像装置の構成を示す概略ブロック図である。

この図１に示すとおり、本実施形態に係る撮像装置１００は、撮像部１１０と、ＣＰＵ（Central processing unit）１９０と、操作部１８０、画像処理部１４０と、表示部１５０と、記憶部１６０と、バッファメモリ部１３０と、通信部１７０と、マイク２３０と、Ａ／Ｄ（Analog/Digital）変換部２４０と、信号処理部２５０（信号処理装置）と、バス３００と、を備えている。この撮像装置１００が備える構成のうち、たとえば、マイク２３０と、Ａ／Ｄ変換部２４０と、信号処理部２５０とが、録音装置に対応する。また、信号処理部２５０が信号処理装置に対応する。

撮像部１１０は、光学系４００と、撮像素子１１９と、Ａ/Ｄ変換部１２０とを含み、設定された撮像条件（例えば絞り値、露出値等）に従ってＣＰＵ１９０により制御され、光学系４００による光学像を撮像素子１１９に結像させて、Ａ/Ｄ変換部１２０によってデジタル信号に変換された当該光学像に基づく画像データを生成する。

光学系４００は、ズームレンズ１１４と、手振れ防止用レンズ（以下、ＶＲ（Vibration Reduction）レンズという）１１３と、焦点調整レンズ（以下、ＡＦ（Auto Focus）レンズという）１１２と、ズームエンコーダ１１５と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、手振れ防止部１１８と、を備える。

この光学系４００は、ズームレンズ１１４、ＶＲレンズ１１３、および、ＡＦレンズ１１２を通過した光学像を撮像素子１１９の受光面に導く。

レンズ駆動部１１６は、後述するＣＰＵ１９０から入力される駆動制御信号に基づいて、ＡＦレンズ１１２またはズームレンズ１１４の位置を制御する。

手振れ防止部１１８は、後述するＣＰＵ１９０から入力される駆動制御信号に基づいて、ＶＲレンズ１１３の位置を制御する。この手振れ防止部１１８は、ＶＲレンズ１１３の位置を検出していてもよい。

ズームエンコーダ１１５は、ズームレンズ１１４の位置を表わすズームポジションを検出し、検出したズームポジションをＣＰＵ１９０に出力する。

ＡＦエンコーダ１１７は、ＡＦレンズ１１２の位置を表わすフォーカスポジションを検出し、検出したズームポジションおよびフォーカスポジションをＣＰＵ１９０に出力する。

なお、上述した光学系４００は、撮像装置１００に取り付けられて一体とされていてもよいし、撮像装置１００に着脱可能に取り付けられてもよい。

撮像素子１１９は、例えば、受光面に結像した光学像を電気信号に変換して、Ａ/Ｄ変換部１２０に出力する。

また、撮像素子１１９は、操作部１８０を介して撮影指示を受け付けた際に得られる画像データを、撮影された静止画の撮影画像データとして、Ａ/Ｄ変換部１２０や画像処理部１４０を介して、記憶媒体２００に記憶させる。

一方、撮像素子１１９は、たとえば、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ/Ｄ変換部１２０や画像処理部１４０を介して、ＣＰＵ１９０および表示部１５０に出力する。

Ａ/Ｄ変換部１２０は、撮像素子１１９によって変換された電子信号をアナログ／デジタル変換し、この変換したデジタル信号である画像データを出力する。

操作部１８０は、例えば、電源スイッチやシャッターボタン、その他の操作キーを含み、ユーザによって操作されることでユーザの操作入力を受け付け、ＣＰＵ１９０に出力する。

画像処理部１４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ１３０、または、記憶媒体２００に記録されている画像データに対して画像処理をする。

表示部１５０は、例えば液晶ディスプレイであって、撮像部１１０によって得られた画像データや、操作画面等を表示する。

記憶部１６０は、ＣＰＵ１９０によってシーン判定の際に参照される判定条件や、撮像条件等を記憶する。記憶部１６０は、フロアリングスペクトル記憶部１６１と、ノイズ記憶部１６２と、モード情報記憶部１６３とを備えている。フロアリングスペクトル記憶部１６１には、後述するフロアリングスペクトルが記憶される。ノイズ記憶部１６２には、後述するノイズが記憶される。

モード情報記憶部１６３には、ユーザの操作部１８０を介した操作により、入力された音信号の音質が重視されている音質重視モード（第１モード）と、入力された音信号からノイズを低減することが重視されているノイズ低減重視モード（第２モード）とのうち、いずれのモードが選択されているかを示す情報であるモード情報が記憶されている。

なお、ここでいう音質重視モードとは、たとえば、音声などの目的音に対して、ノイズは低減するものの、目的音自体はあまり変更しないで、目的音のままにするというモードである。また、ここでいうノイズ低減重視モードとは、ノイズをなるべく低減するというモードである。

マイク２３０は、音を収音し、収音した音に応じた音信号を出力する。この音信号は、アナログ信号である。

Ａ／Ｄ変換部２４０は、マイク２３０から入力されたアナログ信号である音信号を、デジタル信号である音信号に、アナログデジタル変換する。

信号処理部２５０は、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号に対して、たとえば、ノイズを低減するなどの音信号処理を実行し、この音信号処理した音信号を記憶媒体２００に記憶させる。なお、この信号処理部２５０は、ノイズを低減するなどの音信号処理を実行する場合、記憶部１５０のモード情報記憶部１６３に記憶されているモード情報に応じて、ノイズを低減するなどの音信号処理を実行する。この信号処理部２５０の詳細については、後述する。

なお、信号処理部２５０により音信号処理された音信号が記憶媒体２００に記憶される場合、撮像素子１１９により撮像された画像データと、時間的に関係付けられて記憶されてもよいし、音信号を含む動画として記憶されてもよい。

バッファメモリ部１３０は、撮像部１１０によって撮像された画像データや、信号処理部２５０により変換された音信号等を、一時的に記憶する。

通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報の書込み、読み出し、あるいは消去を行う。

記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、例えば、撮像部１１０によって生成された（撮影された）画像データや、信号処理部２５０により音信号処理された音信号を記憶する。

ＣＰＵ１９０は、撮像装置１００の全体を制御するが、一例としては、ズームエンコーダ１１５から入力されるズームポジション、および、ＡＦエンコーダ１１７から入力されるフォーカスポジションと、操作部１８０から入力される操作入力に基づいて、ズームレンズ１１４およびＡＦレンズ１１２の位置を制御する駆動制御信号を生成する。ＣＰＵ１９０は、この駆動制御信号に基づいて、レンズ駆動部１１６を介してズームレンズ１１４およびＡＦレンズ１１２の位置を制御する。

また、このＣＰＵ１９０は、タイミング検出部１９１を備えている。このタイミング検出部１９１は、撮像装置１００が備えている動作部が動作するタイミングを検出する。

ここでいう動作部とは、一例としては、上述したズームレンズ１１４、ＶＲレンズ１１３、ＡＦレンズ１１２、または、操作部１８０のことであり、撮像装置１００が備えている構成のうち、動作することにより、または、動作されることにより、音が生じる（または、音が生じる可能性がある）構成である。

また、この動作部とは、撮像装置１００が備えている構成のうち、動作することにより生じた音、または、動作されることにより生じた音が、マイク２３０により収音される（または、収音される可能性のある）構成である。

このタイミング検出部１９１は、動作部を動作させる制御信号に基づいて、動作部が動作するタイミングを検出してもよい。この制御信号とは、動作部を動作させる動作部に対して、動作部を動作させるようにする制御信号、または、この動作部を駆動させる制御信号である。

たとえば、タイミング検出部１９１は、ズームレンズ１１４、ＶＲレンズ１１３、または、ＡＦレンズ１１２を駆動させるためにレンズ駆動部１１６または手振れ防止部１１８に入力される駆動制御信号に基づいて、または、ＣＰＵ１９０で生成される駆動制御信号に基づいて、動作部が動作するタイミングを検出してもよい。
また、ＣＰＵ１９０が駆動制御信号を生成する場合に、タイミング検出部１９１は、ＣＰＵ１９０内部で実行される処理やコマンドに基づいて、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部１９１は、操作部１８０から入力されるズームレンズ１１４、または、ＡＦレンズ１１２を駆動させることを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。

また、このタイミング検出部１９１は、動作部が動作されたことを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。

たとえば、タイミング検出部１９１は、ズームエンコーダ１１５またはＡＦエンコーダ１１７の出力に基づいて、ズームレンズ１１４またはＡＦレンズ１１２が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部１９１は、手振れ防止部１１８からの出力に基づいて、ＶＲレンズ１１３が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、このタイミング検出部１９１は、操作部１８０からの入力に基づいて、操作部１８０が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。

そして、タイミング検出部１９１は、撮像装置１００が備えている動作部が動作するタイミングを検出し、この検出したタイミングを示す信号を、信号処理部２５０に出力する（後述する図２を参照）。

バス３００は、撮像部１１０と、ＣＰＵ１９０と、操作部１８０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、バッファメモリ部１３０と、通信部１７０と、信号処理部２５０とに接続され、各部から出力されたデータ等を転送する。

＜信号処理部２５０の詳細な構成＞
次に、図１の信号処理部２５０の詳細について、図２から図６を用いて説明する。図１の信号処理部２５０は、フロアリングスペクトル推定部２５１、ノイズ推定部２５２、判定部２５３、ノイズ低減処理部２５４、および、置換部２５５を有している。

ここでは、図２のように信号処理部２５０に、タイミング検出部１９１からタイミングを示す信号が入力され、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号が入力された場合について説明する。この図２において、上段から下段に向かって、（ａ）タイミング検出部１９１からタイミングを示す信号、すなわち、動作部が動作するタイミングを示す信号、（ｂ）時刻、（ｃ）フレーム番号、および、（ｄ）Ａ／Ｄ変換部２４０から入力された音信号の波形が示されている。

この図２において、横軸は時間軸であり、縦軸は、たとえば、各信号の電圧、時刻、または、フレーム番号である。また、この図２（ｄ）に示されるように、たとえば、音声を収音した場合の音信号の場合、数十ミリ秒程度の短い時間内では、比較的に繰り返し信号が多い。

この図２の例においては、フレームと時刻との関係は、時刻ｔ１までがフレーム番号４１に対応し、時刻ｔ１からｔ２までがフレーム番号４２に対応し、時刻ｔ２からｔ３までがフレーム番号４３に対応し、時刻ｔ３からｔ４までがフレーム番号４４に対応し、時刻ｔ４からｔ５までがフレーム番号４５に対応し、時刻ｔ５からｔ６までがフレーム番号４６に対応し、時刻ｔ６からｔ７までがフレーム番号４７に対応し、時刻ｔ７以降がフレーム番号４８に対応している。なお、各フレームの時間長は同じものとする。

また、この図２の例においては、時刻ｔ４より後であり、かつ、時刻ｔ５の前において、（ａ）タイミング検出部１９１からタイミングを示す信号が、ロウレベルからハイレベルに遷移している（図２の符号Ｏ参照）。なお、ここでは、ロウレベルは動作部が動作していないことを示し、ハイレベルは動作部が動作していることを示すものとする。このように、この図２の例においては、時刻ｔ４より後であり、かつ、時刻ｔ５の前において、動作部が動作しない状態から動作する状態へと遷移している。

そして、このような動作部の動作に応じて、（ｄ）Ａ／Ｄ変換部２４０から入力された音信号の波形に、フレーム番号４５の途中以降から、ノイズが重畳している。ここで、各フレームとノイズ発生区間との関係について着目すると、フレーム番号４５の途中で検出信号が立ち上がっている事からフレーム番号４５以降（４６，４７，４８…）においてノイズが収音されている。また、フレーム番号４４以前（４３，４２，４１…）にはノイズが全く収音されていない。フレーム番号４６以降（４６，４７，４８…）においては、フレームの全区間においてノイズが収音されている。

ここで、本実施形態においては、信号処理部２５０が、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号をフレームに分割し、分割した各フレームの音信号をフーリエ変換し、各フレームにおける音信号の周波数スペクトルを生成するものとして説明する。また、信号処理部２５０が、図２から図６を用いて後述するように、フレーム毎の音信号の周波数スペクトルに対して、ノイズ低減処理を実行する。その後、信号処理部２５０が、ノイズ低減処理した各フレームの音信号の周波数スペクトルを、逆フーリエ変換して、記憶媒体２００に記憶させるものとして説明する。

フロアリングスペクトル推定部２５１は、タイミング検出部１９１により検出された動作部が動作するタイミングに基づいて、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号から、フロアリングスペクトルを推定する。このフロアリングスペクトルとは、動作部が動作するタイミングの直前のフレームにおける音信号の周波数スペクトル、または、動作部が動作していない期間における音信号の周波数スペクトルのことである。そして、フロアリングスペクトル推定部２５１は、推定したフロアリングスペクトルを、フロアリングスペクトル記憶部１６１に記憶させる。

たとえば、フロアリングスペクトル推定部２５１は、タイミング検出部１９１により検出された動作部が動作するタイミングに基づいて、動作部が動作するタイミングの直前のフレームにおける音信号の周波数スペクトルを、フロアリングスペクトルとして推定する。図２の場合、フロアリングスペクトル推定部２５１は、フレーム番号４４における音信号の周波数スペクトルをフロアリングスペクトルとして推定する。そして、フロアリングスペクトル推定部２５１は、このフレーム番号４４における音信号の周波数スペクトルをフロアリングスペクトルとして、フロアリングスペクトル記憶部１６１に記憶させる。

以降、フレーム番号４４における音信号の周波数スペクトル（＝Ｓ４４）をフロアリングスペクトルＦＳと称して説明する。また、フロアリングスペクトルＦＳの、各周波数ビン（各周波数領域）の強度を、低周波数から高周波数へ順にＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５と称して説明する（図３（ａ）参照）。

ノイズ推定部２５２は、タイミング検出部１９１により検出された動作部が動作するタイミングに基づいて、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号から、ノイズを推定する。そして、ノイズ推定部２５２は、推定したノイズを、ノイズ記憶部１６２に記憶させる。

たとえば、ノイズ推定部２５２は、タイミング検出部１９１により検出された動作部が動作するタイミングに基づいて、動作部が動作したタイミングの直後のフレーム（かつ、フレーム全てに渡って動作部が動作しているフレーム）における音信号の周波数スペクトルと、動作部が動作するタイミングの直前のフレーム（かつ、フレーム全てに渡って動作部が動作していないフレーム）における音信号の周波数スペクトルとの差を、ノイズの周波数スペクトル（ノイズスペクトル）として推定する。

図２の場合、ノイズ推定部２５２は、フレーム番号４６における音信号の周波数スペクトルＳ４６（図３（ｂ）参照）から、フレーム番号４４における音信号の周波数スペクトル（すなわちフロアリングスペクトルＦＳ）（図３（ａ）参照）を、周波数ビン毎に減算する。

なお、フレーム番号４６における音信号の周波数スペクトルを、周波数スペクトルＳ４６（図３（ｂ）参照）と称して説明する。また、周波数スペクトルＳ４６の、各周波数ビンの強度を、低周波数から高周波数へ順にＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５と称して説明する（図３（ｂ）参照）。

そして、ノイズ推定部２５２は、減算により算出した周波数スペクトルを、ノイズの周波数スペクトルとして推定する（図３（ｄ）参照）。そして、ノイズ推定部２５２は、推定したノイズを、ノイズ記憶部１６２に記憶させる。

以降、ノイズ推定部２５２により推定されたノイズの周波数スペクトルを、ノイズＮＳと称して説明する。また、ノイズＮＳの、各周波数ビンの強度を、低周波数から高周波数へ順にＮ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５と称して説明する(図３（ｄ）参照）。

なお、このようにして得られたノイズの周波数スペクトルを、ノイズが含まれるフレーム（たとえば、フレーム番号４６、４７、４８…）の周波数スペクトルより減算し、減算した結果を時間領域に変換することにより、ノイズが含まれるフレームにおけるノイズを低減（除去）することができる。

すなわち、信号処理部２５０は、ノイズの周波数スペクトルに基づいて、音信号にスペクトル減算（Spectral Subtraction）処理することにより、音信号のノイズを低減させる。このスペクトル減算処理とは、まず、音信号をフーリエ変換により周波数領域に変換し、周波数領域でノイズを減じた後、逆フーリエ変換することにより、音信号のノイズを低減させる方法である。

また、信号処理部２５０は、フーリエ変換または逆フーリエ変換する場合に、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）、または、逆高速フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier Transform）により、フーリエ変換または逆フーリエ変換してもよい。

図１の説明に戻り、信号処理部２５０が備えている各構成について説明する。ここでは、図２および図３を用いて説明したフロアリングスペクトルとノイズとが、フロアリングスペクトル推定部２５１とノイズ推定部２５２とにより推定されているものとして、または、フロアリングスペクトル記憶部１６１とノイズ記憶部１６２とに予め記憶されているものとして説明する。

＜音質重視モードの場合＞
まず、図４と図５とを用いて、音質重視モードの場合における信号処理部２５０が備えている各構成について説明する。なおここでは、フレーム番号４６の音信号に対して、信号処理部２５０が、ノイズ低減処理する場合について説明する。

判定部２５３は、入力された音信号の周波数スペクトルとフロアリングスペクトルとを周波数ビン毎に比較し、入力された音信号に対してノイズ低減処理をするか否かを周波数ビン毎に判定する。なお、ここでいう「入力された音信号の周波数スペクトル」とは、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号が、信号処理部２５０によりフレームに分割され、更に、各フレームにおける音信号が周波数スペクトルにフーリエ変換されたものである。

たとえば、判定部２５３は、入力された音信号の周波数スペクトル（フレーム番号４６の周波数スペクトル）（図４（ｂ）参照）と、フロアリングスペクトルＦＳ（図４（ａ）参照）とを周波数ビン毎に比較（図４（ｃ）参照）する。

ここで、判定部２５３は、入力された音信号の周波数スペクトル（フレーム番号４６の周波数スペクトル）（図４（ｂ）参照）の方が、フロアリングスペクトルＦＳ（図４（ａ）参照）よりも大きい周波数ビンについては、当該周波数ビンに対して、入力された音信号に対してノイズ低減処理をすると判定する。

逆に、判定部２５３は、入力された音信号の周波数スペクトル（フレーム番号４６の周波数スペクトル）（図４（ｂ）参照）の方が、フロアリングスペクトルＦＳ（図４（ａ）参照）以下の周波数ビンについては、当該周波数ビンに対して、入力された音信号に対してノイズ低減処理をしないと判定する。

この図４（ａ）と図４（ｂ）との場合、周波数ビンの番号１から４においては、フレーム番号４６の周波数スペクトルＳ４６（図４（ｂ）参照）の方が、フロアリングスペクトルＦＳ（図４（ａ）参照）よりも大きい。また、周波数ビンの番号５においては、フレーム番号４６の周波数スペクトルＳ４６（図４（ｂ）参照）は、フロアリングスペクトルＦＳ（図４（ａ）参照）以下である。

そのため、判定部２５３は、周波数ビンの番号１から４については、入力された音信号に対してノイズ低減処理をすると判定する（図４（ｄ）における低周波数側（左側）から４つの符号○を参照）。また、判定部２５３は、周波数ビンの番号５については、入力された音信号に対してノイズ低減処理をしないと判定する（図４（ｄ）における最も高周波数側（最も右側）の符号×を参照）。

＜ノイズ低減処理部２５４＞
ノイズ低減処理部２５４は、音質重視モードの場合、判定部２５３により判定された周波数ビン毎の結果に基づいて、入力された音信号の周波数スペクトルに対して、ノイズの周波数スペクトルを周波数ビン毎に減算する。

たとえば、ノイズ低減処理部２５４は、音質重視モードの場合、判定部２５３により、入力された音信号に対してノイズ低減処理をすると判定された周波数ビンについては、入力された音信号の周波数スペクトルに対して、ノイズの周波数スペクトルを減算する。

また、ノイズ低減処理部２５４は、音質重視モードの場合、判定部２５３により、入力された音信号に対してノイズ低減処理をしないと判定された周波数ビンについては、入力された音信号の周波数スペクトルのままとする。

判定部２５３により判定された結果（図４（ｄ）参照）に基づいて、ノイズ低減処理部２５４は、フレーム番号４６の音信号の周波数スペクトルにおいて、周波数ビンの番号１から４については、対応するノイズの周波数スペクトルを減算する。また、判定部２５３により判定された結果（図４（ｄ）参照）に基づいて、ノイズ低減処理部２５４は、フレーム番号４６の音信号の周波数スペクトルにおいて、周波数ビンの番号５については、そのままとする。

よって、ノイズ低減処理部２５４は、周波数ビンの番号１から５の順に、強度値Ａ１（＝Ｂ１−Ｎ１）、Ａ２（＝Ｂ２−Ｎ２）、Ａ３（＝Ｂ２−Ｎ２）、Ａ４（＝Ｂ２−Ｎ２）、Ａ５（＝Ｂ５）となる周波数スペクトルＳＡを算出する（図５（ｃ）参照）。

置換部２５５は、音質重視モードの場合、判定部２５３により判定された周波数ビン毎の結果に基づいて、ノイズ低減処理部２５４により減算された周波数スペクトルの周波数ビンのうち置換する候補となる周波数ビンを選択する。次に、置換部２５５は、当該選択した周波数ビンにおいて、ノイズ低減処理部２５４により周波数ビン毎に減算された周波数スペクトルとフロアリングスペクトルとを周波数ビン毎に比較し、ノイズ低減処理部２５４により減算された周波数スペクトルよりもフロアリングスペクトルの強度値が大きい周波数ビンに対して、ノイズ低減処理部２５４により減算された周波数スペクトルをフロアリングスペクトルにより置き換える。

たとえば、置換部２５５は、音質重視モードの場合、判定部２５３により判定された周波数ビン毎の結果（図４（ｄ）参照）に基づいて、ノイズ低減処理部２５４により減算された周波数スペクトルＳＡ（図５（ｃ）参照）の周波数ビンのうち、置換する候補となる周波数ビンとして、周波数ビンの番号１から４を選択する。

次に、置換部２５５は、当該選択した周波数ビンである周波数ビンの番号１から４において、ノイズ低減処理部２５４により周波数ビン毎に減算された周波数スペクトルＳＡ（図５（ｃ）参照）とフロアリングスペクトルＦＳ（図５（ｄ）参照）とを周波数ビン毎に比較する（図５（ｅ）参照）。なお、この図５（ｅ）においては、周波数スペクトルＳＡとフロアリングスペクトルＦＳとが全ての周波数ビン毎に比較されている。

そして、置換部２５５は、ノイズ低減処理部２５４により減算された周波数スペクトルＳＡよりもフロアリングスペクトルＦＳの強度値が大きい周波数ビンに対して、ノイズ低減処理部２５４により減算された周波数スペクトルＳＡをフロアリングスペクトルＦＳにより置き換える。この場合、置換部２５５は、周波数ビンの番号２と４とにおいて、周波数スペクトルＳＡをフロアリングスペクトルＦＳにより置き換える。よって、置換部２５５は、周波数ビンの番号１から５の順に、強度値Ａ１、Ｆ２、Ａ３、Ｆ４、Ｂ５となる周波数スペクトルＳＣを算出する（図５（ｆ）参照）。

その後、信号処理部２５０は、図５（ｆ）に示される周波数スペクトルＳＣを逆フーリエ変換し、ノイズを低減した音信号として、通信部１７０を介して記憶媒体２００に記録する。なお信号処理部２５０は、音信号を記憶媒体２００に記録する場合に、撮像素子１１９により撮像された画像データと、時間的に関係付けられるようにして記憶してもよい。

図４と図５とを用いて説明したように、信号処理部２５０は、ノイズは低減するものの、目的音自体はあまり変更しないで、目的音のままにすることができる。すなわち、図４と図４とを用いて説明したように、信号処理部２５０は、音質重視モードの場合に応じて、適切にノイズを低減することができる。

＜ノイズ低減重視モードの場合＞
次に、図６を用いて、ノイズ低減重視モードの場合における信号処理部２５０が備えている各構成について説明する。なおここでは、図４と図５との場合と同様に、フレーム番号４６の音信号に対して、信号処理部２５０が、ノイズ低減処理する場合について説明する。

ノイズ低減処理部２５４は、ノイズ低減重視モードの場合、入力された音信号の周波数スペクトルに対して、ノイズの周波数スペクトルを周波数ビン毎に減算する。

たとえば、ノイズ低減処理部２５４は、ノイズ低減重視モードの場合、入力された音信号の周波数スペクトルであるフレーム番号４６の周波数スペクトルＳ４６（図６（ａ）参照）に対して、ノイズの周波数スペクトルＮＳ（図６（ｂ）参照）を周波数ビン毎に減算する。この減算により、ノイズ低減処理部２５４は、周波数スペクトルＳＡ（図６（ｃ）参照）を算出する。

図６（ｃ）に示される周波数スペクトルＳＡは、周波数ビンの番号１から５の順に、強度値Ａ１（＝Ｂ１−Ｆ１）、Ａ２（＝Ｂ２−Ｆ２）、Ａ３（＝Ｂ３−Ｆ３）、Ａ４（＝Ｂ４−Ｆ４）、Ａ５（＝Ｂ５−Ｆ５）を有している。

なお、この図６（ａ）と図６（ｂ）との例の場合、周波数ビンの番号１から４については、周波数スペクトルＳ４６の方がノイズの周波数スペクトルＮＳよりも強度値が大きく、周波数ビンの番号５については、周波数スペクトルＳ４６の方がノイズの周波数スペクトルＮＳよりも強度値が小さい。

そのため、ノイズ低減処理部２５４により算出された周波数スペクトルＳＡは、周波数ビンの番号１から４の強度値Ａ１、Ａ２、Ａ３、Ａ４は正（プラス）の値であるが、周波数ビンの番号５の強度値Ａ５は負（マイナス）の値である。

ここで、ノイズ低減処理部２５４は、ノイズ低減重視モードの場合、入力された音信号の周波数スペクトルに対して、ノイズの周波数スペクトルを周波数ビン毎に減算した結果がマイナスの場合は、当該結果の値を０に変更する。

たとえば、図６（ｃ）の例の場合、周波数ビンの番号５の強度値Ａ５は負（マイナス）の値である。そのため、ノイズ低減処理部２５４は、周波数ビンの番号５の強度値Ａ５の値を０（ゼロ）に変更する（図６（ｄ）参照）。ここでは、この周波数ビンの番号５の強度値Ａ５の値を０（ゼロ）に変更した周波数スペクトルを、周波数スペクトルＳＡ’として説明する。

次に、置換部２５５は、ノイズ低減重視モードの場合、ノイズ低減処理部２５４により周波数ビン毎に減算された周波数スペクトルＳＡ’（図６（ｄ）参照）とフロアリングスペクトルＦＳ（図６（ｅ）参照）とを周波数ビン毎に比較する（図６（ｆ）参照）。

そして、置換部２５５は、ノイズ低減処理部２５４により減算された周波数スペクトルＳＡ’（図６（ｄ）参照）よりもフロアリングスペクトルＦＳ（図６（ｅ）参照）の強度値が小さい周波数ビンに対して、ノイズ低減処理部２５４により減算された周波数スペクトルＳＡ’（図６（ｄ）参照）をフロアリングスペクトルＦＳ（図６（ｅ）参照）により置き換える。

この図６（ｆ）の場合、周波数ビンの番号１、２、４においては、ノイズ低減処理部２５４により減算された周波数スペクトルＳＡ’（図６（ｄ）参照）よりも、フロアリングスペクトルＦＳ（図６（ｅ）参照）の強度値が小さい。また、周波数ビンの番号３、５においては、ノイズ低減処理部２５４により減算された周波数スペクトルＳＡ’（図６（ｄ）参照）は、フロアリングスペクトルＦＳ（図６（ｅ）参照）の強度値以上である。

そのため、置換部２５５は、ノイズ低減処理部２５４により減算された周波数スペクトルＳＡ’（図６（ｄ）参照）の周波数ビンのうち、周波数ビンの番号１、２、４のみ、フロアリングスペクトルＦＳ（図６（ｅ）参照）の周波数ビンの強度値に置き換える。このようにして、置換部２５５は、周波数ビンの番号１から５の順に、強度値Ｆ１、Ｆ２、Ａ３、Ｆ４、Ａ５（＝０）となる周波数スペクトルＳＤを算出する（図６（ｇ）参照）。

その後、信号処理部２５０は、図５（ｆ）に示される周波数スペクトルＳＣの場合と同様に、図６（ｇ）に示される周波数スペクトルＳＤを逆フーリエ変換し、ノイズを低減した音信号として、通信部１７０を介して記憶媒体２００に記録する。

図６を用いて説明したように、信号処理部２５０は、ノイズをなるべく低減することができる。すなわち、図６を用いて説明したように、信号処理部２５０は、ノイズ低減重視モードの場合に応じて、適切にノイズを低減することができる。

上記に図１から図６を用いて説明したように、本実施形態による信号処理部２５０は、音質重視モードとノイズ低減重視モードとのうち、ユーザに選択され設定されたモードに応じて、音信号に対してのノイズ低減処理の方法を変更している。これにより、本実施形態による信号処理部２５０は、図４と５、および、図６を用いて説明したように、音質重視モードとノイズ低減重視モードとに応じて、音信号から適切にノイズを低減することができる。

また、本実施形態による信号処理部２５０の置換部２５５は、音質重視モードとノイズ低減重視モードとのいずれのモードの場合においても、ノイズ低減処理部２５４により周波数ビン毎に減算された周波数スペクトルと、フロアリングスペクトルとを周波数ビン毎に比較した結果に基づいて、ノイズ低減処理部２５４により周波数ビン毎に減算された周波数スペクトルをフロアリングスペクトルに周波数ビン毎に置き換えている（図５（ｅ）と図５（ｆ）、および、図６（ｆ）と図６（ｇ）参照）。

なお、単に、音信号からノイズを減算した場合にはミュージカルノイズが生じる可能性がある。これに対して、上記に説明したように、信号処理部２５０の置換部２５５は、音信号からノイズを減算した後に、フロアリングスペクトルとの比較結果に基づいて、いわゆるフロアリング処理を行っている。よって、信号処理部２５０の置換部２５５は、ミュージカルノイズが生じる可能性を低減することができる。

また、信号処理部２５０の置換部２５５は、単にフロアリング処理を行っているのみではなく、音質重視モードとノイズ低減重視モードとに合わせたフロアリング処理を行っている（図５（ｅ）と図５（ｆ）、および、図６（ｆ）と図６（ｇ）参照）。これにより、音質重視、または、ノイズ低減重視であることを満たしつつ、更に、それぞれの場合に好適に、ミュージカルノイズが生じる可能性を低減することができる。

また、ノイズ低減処理部２５４は、単に、入力された音信号の周波数スペクトルに対して、ノイズの周波数スペクトルを周波数ビン毎に減算するのではなく、判定部２５３により判定された周波数ビン毎の結果に基づいて、入力された音信号の周波数スペクトルに対して、ノイズの周波数スペクトルを周波数ビン毎に減算する。これにより、ノイズ低減処理部２５４は、入力された音信号から、適切に、ノイズを低減することができる。

＜図２のフレーム番号４７以降に対しての処理について＞
上記の図３から図６の説明においては、信号処理部２５０が、フレーム番号４６の音信号に対して、ノイズ低減処理する場合について説明した。この信号処理部２５０は、フレーム番号４６の音信号の場合と同様に、フレーム番号４６よりも後の音信号であるフレーム番号４７、４８・・・の音信号に対しても、ノイズ低減処理することができる。

たとえばフレーム番号４７の音信号の場合、音質重視モードの場合であれば、信号処理部２５０は、図４（ｂ）および図５（ａ）における、フレーム番号４６に対する周波数スペクトルＳ４６を、フレーム番号４７に対する周波数スペクトルＳ４７に変更する。そして、信号処理部２５０は、周波数スペクトルＳ４６の場合と同様に、周波数スペクトルＳ４７に対して、図４および図５を用いて説明したような信号処理をする。

また、たとえばフレーム番号４７の音信号の場合、ノイズ低減重視モードの場合であれば、信号処理部２５０は、図６（ａ）における、フレーム番号４６に対する周波数スペクトルＳ４６を、フレーム番号４７に対する周波数スペクトルＳ４７に変更する。そして、信号処理部２５０は、周波数スペクトルＳ４６の場合と同様に、周波数スペクトルＳ４７に対して、図６を用いて説明したような信号処理をする。

このようにして、信号処理部２５０は、フレーム番号４６よりも後の音信号であるフレーム番号４７、４８・・・の音信号に対しても、音質重視モードとノイズ低減重視モードとのいずれの場合でも、フレーム番号４６の場合と同様に、ノイズ低減処理することができる。

＜フロアリングスペクトルの推定について＞
なお、上記の図２および図３を用いた説明においては、フロアリングスペクトル推定部２５１は、フレーム番号４４における音信号の周波数スペクトルをフロアリングスペクトルとして推定するものとして説明した。しかし、フロアリングスペクトル推定部２５１によるフロアリングスペクトルの推定方法は、これに限られるものではない。

たとえば、フロアリングスペクトル推定部２５１は、タイミング検出部１９１により検出された動作部が動作するタイミングに基づいて、動作部が動作するタイミングの前の複数のフレームにおける音信号を周波数スペクトルにそれぞれ変換する。更に、フロアリングスペクトル推定部２５１は、この複数の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを、フロアリングスペクトルとして推定してもよい。

また、フロアリングスペクトル推定部２５１は、周波数ビン毎に複数の周波数スペクトルを平均する場合、重みを付けて平均を算出してもよい。この重みの値は、フロアリング処理の対象とする音信号のフレーム（開始フレーム）から遠ざかるに従い、軽くなるようにしてもよい。

なお、フロアリングスペクトル推定部２５１は、フロアリングスペクトルを推定する場合、少なくとも、直前に動作部が動作したタイミングよりも後のフレームに基づいて、フロアリングスペクトルを推定することが望ましい。これは、フロアリングスペクトルとしては、動作部が動作していないフレームにおける音信号に対しての周波数スペクトルが望ましいからである。また、フロアリングスペクトルを生成する音信号のフレームが、フロアリング処理する対象となる音信号よりも、時間的に遠くなるに従い、この音信号に対してのフロアリングスペクトルとしての適切さも低減するからである。

また、フロアリングスペクトル記憶部１６１に予めフロアリングスペクトルが記憶されていてもよい。たとえば、フロアリングスペクトル記憶部１６１には、撮影する場合の周囲の音の状況を示す環境情報、または、撮影モードを示す撮影モード情報と関連付けられて、それぞれの場合に応じたフロアリングスペクトルが予め記憶されていてもよい。そして、信号処理部２５０は、ユーザにより選択された環境情報または撮影モード情報に関連付けられているフロアリングスペクトルをフロアリングスペクトル記憶部１６１から読み出し、当該読み出したフロアリングスペクトルに基づいて、上記の図３から図６の説明において説明したノイズ低減処理を実行してもよい。

＜ノイズの推定について＞
また、上記の図２および図３を用いた説明においては、ノイズ推定部２５２は、フレーム番号４６における音信号の周波数スペクトルＳ４６（図３（ｂ）参照）から、フレーム番号４４における音信号の周波数スペクトル（すなわちフロアリングスペクトルＦＳ）（図３（ａ）参照）を、周波数ビン毎に減算して、ノイズの周波数スペクトルを推定するものとして説明した。しかし、ノイズ推定部２５２が、ノイズの周波数スペクトルを推定する方法は、これに限られるものではない。

まず、ノイズ推定部２５２は、フレーム番号４４における音信号の周波数スペクトルであるフロアリングスペクトルＦＳに替えて、上記に説明したフロアリングスペクトル推定部２５１によりフロアリングスペクトルＦＳを推定する場合の任意の方法により、フロアリングスペクトルＦＳを推定することができる。

また、ノイズ推定部２５２は、フレーム番号４６における音信号の周波数スペクトルＳ４６に替えて、タイミング検出部１９１により検出された動作部が動作するタイミングに基づいて、動作部が動作しているタイミングにおける複数のフレームにおける音信号の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを用いてもよい。たとえば、ノイズ推定部２５２は、フレーム番号４６における音信号の周波数スペクトルＳ４６に替えて、フレーム４６、４７、４８という複数のフレームにおける音信号の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを用いてもよい。

また、ノイズ推定部２５２は、周波数ビン毎に複数の周波数スペクトルを平均する場合、重みを付けて平均を算出してもよい。この重みの値は、フロアリング処理の対象とする音信号のフレーム（開始フレーム）から遠ざかるに従い、軽くなるようにしてもよい。また、フロアリングスペクトルの場合と同様に、ノイズの周波数スペクトルが、ノイズ記憶部１６２に予め記憶されていてもよい。

＜図２におけるフレームのオーバーラップについて＞
また、図２の説明においては、各フレーム間にはオーバーラップが無いものとして説明した。しかし、これに限られるものではなく、各フレーム間にはオーバーラップがあってもよい。たとえば、互いに隣接するフレームは、フレームの半分の期間が互いにオーバーラップしていてもよい。

また、信号処理部２５０は、各フレームの音信号を周波数スペクトルに変換する場合、各フレームの音信号にハニングウィンドウなどの窓関数を乗じた後、周波数スペクトルに変換してもよい。

なお、上記の図２の説明においては、（ａ）タイミング検出部１９１からタイミングを示す信号、すなわち、動作部が動作するタイミングを示す信号とは無関係に、音信号がフレームに分割されている場合について説明した（図２（ｃ）参照）。

しかしこれに限るものではなく、信号処理部２５０は、（ａ）タイミング検出部１９１からタイミングを示す信号、すなわち、動作部が動作するタイミングを示す信号に応じてフレームを分割する位置を制御してもよい。たとえば、信号処理部２５０は、（ａ）タイミング検出部１９１からタイミングを示す信号、すなわち、動作部が動作するタイミングを示す信号がロウレベルからハイレベルに変化する位置（図２の符号Ｏ参照）に、音信号のフレームの境界が一致するように、音信号に対してフレームを生成してもよい。

そして、信号処理部２５０は、動作部が動作するタイミングを示す信号に応じて、動作部が動作する前の期間と、動作部が動作している期間とに基づいて、上述したノイズ低減処理を実行してもよい。

なお、上記の説明においては、信号処理部２５０が、マイク２３０により収音された音信号に対して信号処理する場合について説明したが、本実施形態による上述した信号処理部２５０の処理は、このようにリアルタイムに収音された音信号に対してのみ適用されるものではない。

たとえば、既に録音されている音信号に対しても、この音信号と関連付けて、この音信号を録音した装置が備えている動作部が動作することを示すタイミングが、たとえば、記憶媒体２００などの記憶部に記録されている場合にも、本実施形態による信号処理部２５０は、上述した信号処理を同様に、実行することができる。

なお、上記の説明においては、音信号の重畳するノイズとして、主に光学系４００が駆動することにより生じる音について説明したが、ノイズはこれに限るものではない。たとえば、操作部１８０に備えられているボタンなどを押下した場合に生じる音の場合も、同様である。この場合も、操作部１８０に備えられているボタンなどが押下されたことに応じた信号が、ＣＰＵ１９０のタイミング検出部１９１に入力される。よって、タイミング検出部１９１は、光学系４００が駆動する場合と同様に、操作部１８０などの動作タイミングを検出することができる。

また、上記の説明においては、撮像装置１００が信号処理部２５０を備えている場合について説明したが、信号処理部２５０は、録音装置、携帯電話または通信端末に備えられていてもよい。

なお、図１における信号処理部２５０、または、この信号処理部２５０が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。

なお、この信号処理部２５０、または、この信号処理部２５０が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、この信号処理部２５０、または、この信号処理部２５０が備える各部はメモリおよびＣＰＵ（中央演算装置）により構成され、信号処理部２５０、または、この信号処理部２５０が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

また、図１における信号処理部２５０、または、この信号処理部２５０が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、信号処理部２５０、または、この信号処理部２５０が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１００…撮像装置、２５０…信号処理部（信号処理装置）、２５１…フロアリングスペクトル推定部、２５２…ノイズ推定部、２５３…判定部、２５４…ノイズ低減処理部、２５５…置換部

Claims (13)

1. 動作部が動作している時に取得された音信号が周波数変換された第１周波数スペクトルの所定の周波数ビンと前記動作部が動作していない時の音信号が周波数変換された第２周波数スペクトルの前記所定の周波数ビンとを比較し、前記第１周波数スペクトルの前記所定の周波数ビンに対して前記動作部による動作音を低減処理するか否かを判定する判定部と、
   前記判定部により判定された結果に基づいて、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルを減算する動作音低減処理部とを備え、
   前記動作音低減処理部は、前記判定部により判定された結果に基づいて、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルを減算する第１モードと、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルを減算する第２モードとを含む
   ことを特徴とする信号処理装置。
2. 前記動作音低減処理部は、前記第２モードの場合、
   前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルを減算した結果がマイナスの場合は、前記所定の周波数ビンを所定の値に変更する
   ことを特徴とする請求項１に記載の信号処理装置。
3. 前記動作音低減処理部により減算された前記第１周波数スペクトルの前記所定の周波数ビンと前記第２周波数スペクトルの前記所定の周波数ビンとを比較した結果に基づいて、前記動作音低減処理部により減算された前記第１周波数スペクトルの前記所定の周波数ビンを前記第２周波数スペクトルの前記所定の周波数ビンに置き換える置換部とを備える
   ことを特徴とする請求項１または請求項２に記載の信号処理装置。
4. 前記置換部は、前記第１モードの場合、前記判定部の結果に基づいて、前記動作音低減処理部により減算された前記第１周波数スペクトルの前記周波数ビンのうち置換する候補となる周波数ビンを選択し、前記動作音低減処理部により減算された前記第１周波数スペクトルの前記選択された周波数ビンと前記第２周波数スペクトルの前記選択された周波数ビンとを比較し、前記動作音低減処理部により減算された前記第１周波数スペクトルよりも前記第２周波数スペクトルの強度値が大きい前記選択された周波数ビンを、前記第２周波数スペクトルの前記選択された周波数ビンに置き換える
   ことを特徴とする請求項３に記載の信号処理装置。
5. 前記置換部は、前記第２モードの場合、前記動作音低減処理部により減算された前記第１周波数スペクトルの前記所定の周波数ビンと前記第２周波数スペクトルの前記所定の周波数ビンとを比較し、前記動作音低減処理部により減算された前記第１周波数スペクトルよりも前記第２周波数スペクトルの強度値が小さい前記所定の周波数ビンを、前記第２周波数スペクトルの前記所定の周波数ビンに置き換える
   ことを特徴とする請求項３または請求項４に記載の信号処理装置。
6. 動作部が動作している時に取得された音信号が周波数変換された第１周波数スペクトルの所定の周波数ビンと前記動作部が動作していない時の音信号が周波数変換された第２周波数スペクトルの前記所定の周波数ビンとを比較し、前記第１周波数スペクトルの前記所定の周波数ビンに対して前記動作部による動作音を低減処理するか否かを判定する判定部と、
   前記判定部により判定された結果に基づいて、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルを減算する動作音低減処理部とを備え、
   前記動作音低減処理部は、前記判定部により前記第２周波数スペクトルの前記所定の周波数ビンの方が前記第１周波数スペクトルの前記所定の周波数ビンよりも大きいと判定された場合、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルの減算を行わない
   ことを特徴とする信号処理装置。
7. 前記動作音低減処理部は、
   前記第１周波数スペクトルの前記所定の周波数ビンに対して前記動作音を示す周波数スペクトルを減算した結果を所定の値に変更する
   ことを特徴とする請求項６に記載の信号処理装置。
8. 前記動作音低減処理部により減算された前記第１周波数スペクトルの前記所定の周波数ビンを前記第２周波数スペクトルに基づいた前記所定の周波数ビンに置き換える置換部とを備える
   ことを特徴とする請求項６または請求項７に記載の信号処理装置。
9. 前記判定部は、前記第１周波数スペクトルと前記第２周波数スペクトルとで周波数ビン毎に判定する
   ことを特徴とする請求項１から請求項８のいずれか１項に記載の信号処理装置。
10. 前記動作部が動作していない時に取得された音信号を記憶部に記憶させる記憶制御部とを備える
    ことを特徴とする請求項１から請求項９のいずれか１項に記載の信号処理装置。
11. 請求項１から請求項１０のいずれか１項に記載の信号処理装置と、
    前記動作音を生じさせる前記動作部とを備えている
    ことを特徴とする撮像装置。
12. 信号処理装置としてのコンピュータに、
    動作部が動作している時に取得された音信号が周波数変換された第１周波数スペクトルの所定の周波数ビンと前記動作部が動作していない時の音信号が周波数変換された第２周波数スペクトルの前記所定の周波数ビンとを比較し、前記第１周波数スペクトルの前記所定の周波数ビンに対して前記動作部による動作音を低減処理するか否かを判定する判定手順と、
    前記判定手順により判定された結果に基づいて、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルを減算する動作音低減処理手順と
    を実行させるための信号処理プログラムであって、
    前記動作音低減処理手順は、前記判定手順により判定された結果に基づいて、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルを減算する第１モードと、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルを減算する第２モードとを含む
    ことを特徴とする信号処理プログラム。
13. 信号処理装置としてのコンピュータに、
    動作部が動作している時に取得された音信号が周波数変換された第１周波数スペクトルの所定の周波数ビンと前記動作部が動作していない時の音信号が周波数変換された第２周波数スペクトルの前記所定の周波数ビンとを比較し、前記第１周波数スペクトルの前記所定の周波数ビンに対して前記動作部による動作音を低減処理するか否かを判定する判定手順と、
    前記判定手順により判定された結果に基づいて、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルを減算する動作音低減処理手順と
    を実行させるための信号処理プログラムであって、
    前記動作音低減処理手順において、前記判定手順により前記第２周波数スペクトルの前記所定の周波数ビンの方が前記第１周波数スペクトルの前記所定の周波数ビンよりも大きいと判定された場合、前記第１周波数スペクトルの前記所定の周波数ビンに対して、前記動作音を示す周波数スペクトルの減算を行わない
    ことを特徴とする信号処理プログラム。

Images