JP5024470B2 - 撮影装置、信号処理装置及び記録媒体 - Google Patents

Description

本発明は、撮影装置、信号処理装置及び記録媒体に関する。

カメラの電源が投入された直後あるいはユーザによって指示がなされた場合に、カメラのモータノイズ等を含む音声信号を録音し、録音した音声信号に含まれているモータノイズ等に基づいて、ノイズを低減するために用いられる適応型フィルタを調整するカメラが特許文献１に記載されている。

特開２００４−８０７８８号公報

しかしながら、たとえば、カメラのモータノイズ等を含む音声信号を録音する場合において、モータノイズ等以外の音声信号も録音される場合には、モータノイズ等を適切に抽出することができない可能性がある。そして、この場合、適応型フィルタを適切に調整することができないために、ノイズを適切に低減することができない可能性があるという問題がある。

本発明は、ノイズを低減することができる撮影装置、信号処理装置及び記録媒体を提供することを目的とする。

本発明の一形態によれば、撮影装置は、音波を電気信号に変換するマイクと、光学系による像を撮影する撮影部の動作を検出するセンサから出力されたセンサ信号、及び、前記撮影部の動作を制御する制御部から出力された制御信号のうち少なくとも一方を検出する検出部と、前記検出部により検出された前記センサ信号及び前記制御信号のうち少なくとも一方を用いて、前記撮影部の動作の有無を判断する判断部と、前記判断部により前記撮影部が動作していると判断されたときに前記マイクから出力された第１の電気信号と、前記判断部により前記撮影部が動作していないと判断されたときに前記マイクから出力された第２の電気信号との比が閾値以上であったとき、前記判断部により前記撮影部が動作していると判断されたときに前記マイクから出力された前記第１の電気信号をノイズ信号として記憶する記憶部と、前記記憶部に記憶された前記ノイズ信号を用いて、前記マイクから出力された前記電気信号のノイズを低減させるノイズ低減部とを備えている。

また、本発明の一形態によれば、信号処理装置は、撮影装置の光学系による像を撮影する撮影部の動作を検出するセンサから出力されたセンサ信号、及び、前記撮影部の動作を制御する制御部から出力された制御信号のうち少なくとも一方、及び、前記撮影装置が出力した音声信号が入力される入力部と、前記センサ信号、及び前記制御信号のうち少なくとも一方を用いて、前記撮影部の動作の有無を判断する判断部と、前記判断部により前記撮影部が動作していると判断されたタイミングに対応する第１の音声信号と、前記判断部により前記撮影部が動作していないと判断されたタイミングに対応する第２の音声信号との比が閾値以上であったとき、前記判断部により前記撮影部が動作していると判断されたタイミングに対応する前記第１の音声信号をノイズ信号として記憶する記憶部と、前記記憶部に記憶された前記ノイズ信号を用いて、前記入力部に入力された前記音声信号のノイズを低減させるノイズ低減部とを備えている。

また、本発明の一形態によれば、コンピュータによる読み出し可能なプログラムが記録された記録媒体であって、前記記録媒体は、コンピュータに、マイクを用い音波を電気信号に変換する手順と、検出部によって、光学系による像を撮影する撮影部の動作を検出するセンサから出力されたセンサ信号、及び、前記撮影部の動作を制御する制御部から出力された制御信号のうち少なくとも一方を検出する手順と、判断部によって、前記検出部により検出された前記センサ信号及び前記制御信号のうち少なくとも一方を用いて、前記撮影部の動作の有無を判断する手順と、記憶部によって、前記判断部により前記撮影部が動作していると判断されたときに前記マイクから出力された第１の電気信号と、前記判断部により前記撮影部が動作していないと判断されたときに前記マイクから出力された第２の電気信号との比が閾値以上であったとき、前記判断部により前記撮影部が動作していると判断されたときに前記マイクから出力された前記第１の電気信号をノイズ信号として記憶する手順と、ノイズ低減部によって、前記記憶部に記憶された前記ノイズ信号を用いて、前記マイクから出力された前記電気信号のノイズを低減させる手順とを実行させるための記録媒体を記録している。

本発明の一形態によれば、ノイズを低減することができる撮影装置、信号処理装置及びプログラムを提供することができる。

本発明の実施形態の構成を示すブロック図である。 図１の撮影装置の動作例を示すフローチャートである。 図２のステップＳ１０４及びＳ１０５において、マイクによって出力される出力信号の一例を示す図である。 オートフォーカスレンズの駆動信号の時間変化の一例を示す図である。 減算係数の時間変化の一例を示す図である。 収音された音声信号の波形の一例を示す図である。 収音された音声信号に対してノイズ低減処理を行った結果の波形の一例を示す図である。

以下、本発明の実施形態について図面を参照して説明する。図１には、撮影装置の構成を示すブロック図が示されている。撮影装置１００は、撮像部１１０の光学系１１１によって撮影対象の像を撮影（あるいは撮像）し、得られた画像データを記憶媒体２００に記憶させる。また、撮影装置１００は、マイク２３０によって収音された音声信号からノイズを低減させ、得られた低ノイズ音声信号を記憶媒体２００に記憶させる。撮影装置１００は、例えば、レンズ鏡筒、カメラ本体、レンズ鏡筒とカメラ本体とが組み合わされたものである。

撮影装置１００は、撮像部１１０（撮影部）と、画像処理部１４０と、表示部１５０と、バッファメモリ部１３０と、操作部１８０と、記憶部１６０と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１９０と、マイク２３０と、音声信号処理部２４０と、ノイズ低減処理部２５０と、通信部１７０を備えている。

撮像部１１０は、光学系１１１と、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備え、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ１９０により制御される。また、撮像部１１０は、光学系１１１による光学像を撮像素子１１９に結像させて、Ａ／Ｄ変換部１２０によってデジタル信号に変換された当該光学像に基づく画像データを生成する。

光学系１１１は、ズームレンズ１１４と、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」という）１１２と、手振れ補正レンズ（以下、「ＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）レンズ」という）１１３と、レンズ駆動部１１６と、ズームエンコーダ１１５と、ＡＦエンコーダ１１７と、像ぶれ補正部１１８とを備えている。光学系１１１は、レンズ鏡筒を構成する。光学系１１１は、ズームレンズ１１４、ＡＦレンズ１１２、及びＶＲレンズ１１３を通過した入射光を、撮像素子１１９の受光面に導いて、光学像を形成する。なお、光学系１１１は、撮影装置１００に取り付けられて一体とされていてもよいし、撮影装置１００に着脱可能に取り付けられてもよい。

ズームエンコーダ１１５は、撮影時に、ズームレンズ１１４の駆動方向を検出し、ズームレンズ１１４の駆動方向に応じた信号を、センサ信号ＳＳ２ＡとしてＣＰＵ１９０に出力するセンサである。ここで、ズームレンズ１１４の駆動方向に応じた信号とは、ズームレンズ１１４が、光学系１１１内において停止されている状態、望遠方向に駆動されている状態（ズームレンズ１１４を駆動するためのモータ、カム等が、例えば、時計回り（ＣＷ）に回転）、又は広角方向に駆動されている状態（ズームレンズ１１４を駆動するためのモータ、カム等が、例えば、反時計回り（ＣＣＷ）に回転）のいずれかの状態にあることを示す信号であってもよい。すなわち、ズームレンズ１１４の駆動方向の検出とは、ズームレンズ１１４を駆動するためのモータ、カム等の回転方向の検出であってもよい。なお、このズームレンズ１１４を駆動するためのモータ、カム等は、レンズ駆動部１１６に備えられてもよい。また、ズームエンコーダ１１５は、検出したズームレンズ１１４の駆動方向及び駆動量に基づいて、ズームレンズ１１４の位置を表わすズームポジションを検出し、センサ信号ＳＳ２ＢとしてＣＰＵ１９０に出力するセンサとしても機能する。

ＡＦエンコーダ１１７は、撮影時に、ＡＦレンズ１１２の駆動方向を検出し、ＡＦレンズ１１２の駆動方向に応じた信号を、センサ信号ＳＳ３ＡとしてＣＰＵ１９０に出力するセンサである。ここで、ＡＦレンズ１１２の駆動方向に応じた信号とは、ＡＦレンズ１１２が、光学系１１１内において停止している状態を示す。例えば、ＡＦレンズ１１２が無限端方向に駆動されている状態（ＡＦレンズ１１２を駆動するためのモータ、カム等が、例えば、時計回り（ＣＷ）に回転）、又はＡＦレンズ１１２が至近端方向に駆動されている状態（ＡＦレンズ１１２を駆動するためのモータ、カム等が、例えば、反時計回り（ＣＣＷ）に回転）のいずれかの状態にあることを示す信号であってもよい。すなわち、ＡＦレンズ１１２の駆動方向の検出とは、ＡＦレンズ１１２を駆動するためのモータ、カム等の回転方向の検出であってもよい。なお、このＡＦレンズ１１２を駆動するためのモータ、カム等は、レンズ駆動部１１６に備えられてもよい。また、ＡＦエンコーダ１１７は、検出したＡＦレンズ１１２の駆動方向及び駆動量に基づいて、ＡＦレンズ１１２の位置を表わすフォーカスポジションを検出し、センサ信号ＳＳ３ＢとしてＣＰＵ１９０に出力するセンサとしても機能する。

像ぶれ補正部１１８は、撮影時に、光学系１１１による像のぶれを検出し、センサ信号ＳＳ４としてＣＰＵ１９０に出力するセンサである。そして、像ぶれ補正部１１８は、ＣＰＵ１９０から入力される制御信号ＳＣ１に基づいて、光学系１１１による像のぶれを打ち消す方向にＶＲレンズ１１３を駆動する。なお、像ぶれ補正部１１８は、ＶＲレンズ１１３の位置を検出し、センサ信号ＳＳ４としてＣＰＵ１９０に出力してもよい。

レンズ駆動部１１６は、ＣＰＵ１９０から入力される制御信号ＳＣ２に基づいて、ＡＦレンズ１１２及びズームレンズ１１４の位置を制御する。レンズ駆動部１１６は、撮影において駆動されるアクチュエータを備える。ここで、撮影において駆動されるアクチュエータとは、例えば、ＡＦレンズ１１２及びズームレンズ１１４などを駆動するモータであってもよい。そして、このアクチュエータは、撮影装置１００、又は撮影装置１００から着脱可能な光学系（レンズ鏡筒）のいずれかに備えられてもよい。

撮像素子１１９は、例えば、光電変換面を備え、その受光面に結像した光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。

また、撮像素子１１９は、操作部１８０を介して撮影指示を受け付けた際に得られる画像データを、静止画又は動画の画像データとして、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。一方、撮像素子１１９は、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ／Ｄ変換部１２０を介してＣＰＵ１９０及び表示部１５０に出力する。

Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像データをバッファメモリ部１３０に出力する。

操作部１８０は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）１８１や、ズームキー等の操作キーその他の操作部材を備えている。操作部１８０は、撮影者（ユーザ）の操作によって撮影者の操作入力を受け付け、操作入力に応じたセンサ信号ＳＳ５をＣＰＵ１９０に出力するセンサである。また、操作部材は、例えば、タクトスイッチ、十字キー等のスイッチ、フォーカス操作環、ズーム操作環等の操作環等を含んでもよい。

画像処理部１４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部１３０に一時的に記憶されている画像データの画像処理をする。画像処理された画像データは、通信部１７０を介して記憶媒体２００に記憶される。なお、画像処理部１４０は、記憶媒体２００に記憶されている画像データに対して、画像処理をしてもよい。

表示部１５０は、例えば液晶ディスプレイであって、撮像部１１０によって得られた画像データ、及び、駆動音の録音状態、操作画面等を表示する。また、表示部１５０は、ＣＰＵ１９０の制御の下、駆動音の録音状態を表示する際に、後述するノイズ低減処理で用いられる推定ノイズ（ノイズ信号）を決定する場合に用いられる閾値に対応する情報、及び、ノイズ信号に対応する情報の少なくとも一方を表示することができる。表示部１５０は、例えば有機ＥＬディスプレイや、電子インクディスプレイでもよい。

バッファメモリ部１３０は、撮像部１１０によって撮像された画像データを、一時的に記憶する。また、バッファメモリ部１３０は、マイク２３０が収音した音に応じた音声信号を、一時的に記憶する。

マイク２３０は、音を収音し、その音波を電気信号（アナログ信号）ＳＳ１に変換して出力する。すなわち、マイク２３０は、収音した音に応じた電気信号（以下、「マイク出力信号」という）ＳＳ１を、音声信号処理部２４０によってデジタル信号に変換し、バッファメモリ部１３０に出力する。このマイク出力信号ＳＳ１には、撮像部１１０が発した駆動音が重畳される可能性がある。ここでいう撮像部１１０とは、光学系１１１による像を撮影するための構成を意味し、レンズ駆動部１１６、像ぶれ補正部１１８等において光学系１１１を駆動するアクチュエータ、及び、操作部１８０を構成する撮影者が操作可能な操作部材の少なくとも一方を含むものである。撮像部１１０は、動画像を記録する画像記録部であるバッファメモリ部１３０、記憶媒体２００等を含むものであってもよい。

記憶部１６０は、不揮発性メモリ等から構成されていて、例えば、ＣＰＵ１９０によってシーン判定の際に参照される判定条件や、シーン判定によって判断されたシーン毎に対応付けられた撮像条件等を記憶する。また、記憶部１６０は、上述した撮像部１１０を実際に動作させることによってマイク２３０で収音した駆動音を記憶する。この記憶部１６０に記憶される駆動音は、波形情報そのものであってもよいし、あるいはフーリエ変換等の所定の処理がなされた情報であってもよい。より具体的には、この記憶部１６０には、判断部２５１により撮像部１１０が動作していると判断されたときにマイク２３０から出力されたマイク出力信号ＳＳ１(第1の電気信号)と、判断部２５１により撮像部１１０が動作していないと判断されたときにマイク２３０から出力されたマイク出力信号ＳＳ１(第２の電気信号)との比が所定の閾値以上であった場合に、判断部２５１により撮像部１１０が動作していると判断されたときにマイク２３０から出力されたマイク出力信号ＳＳ１をノイズ信号（駆動音）として記憶する。さらに記憶部１６０は、ノイズ信号を記憶した後に、判断部２５１により撮像部１１０が動作していると判断されたときにマイク２３０から出力されたマイク出力信号ＳＳ１(第１の電気信号)と、判断部２５１により撮像部１１０が動作していないと判断されたときにマイク２３０から出力されたマイク出力信号ＳＳ１(第２の電気信号)との比が所定の閾値以上であった場合に、判断部２５１により撮像部１１０が動作していると判断されたときにマイク２３０から出力されたマイク出力信号ＳＳ１(第１の電気信号)をノイズ信号として記憶する。

本実施形態では、ノイズ低減処理部２５０において、スペクトル減算法を用い、収音された音声信号をフーリエ変換してスペクトル分解し、スペクトル分解の結果から、推定されるノイズ信号をスペクトル分解したものを減算することで、収音された音声信号からノイズ信号を低減する処理を行う。このスペクトル減算法は、例えば、ＢＯＬＬ， Ｓ．Ｆ． Ｓｕｐｐｒｅｓｓｉｏｎ ｏｆ Ａｃｏｕｓｔｉｃ Ｎｏｉｓｅ ｉｎ Ｓｐｅｅｃｈ Ｕｓｉｎｇ Ｓｐｅｃｔｒａｌ Ｓｕｂｔｒａｃｔｉｏｎ． ＩＥＥＥ Ｔｒａｎｓ． Ａｃｏｕｓｔ．， Ｓｐｅｅｃｈ， Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ． ＡＳＳＰ−２７， ｐｐ． １１３−１２０， Ａｐｒ． １９７９に記載されている。本実施形態では、上記の駆動音を、ノイズ低減処理において推定ノイズ信号として用いる。

音声信号処理部２４０は、マイク２３０が出力したマイク出力信号ＳＳ１をデジタル信号に変換し、バッファメモリ部１３０に記憶させる。

ＣＰＵ１９０は、記憶部１６０に記憶されているプログラムを実行することで、撮影装置１００の各部を制御する。例えば、ＣＰＵ１９０は、設定された撮像条件（例えば絞り値、露出値等）に従って、撮像部１１０を制御する。ＣＰＵ１９０は、ズームエンコーダ１１５から入力されるズームポジション、および、ＡＦエンコーダ１１７から入力されるフォーカスポジションと、操作部１８０から入力される操作入力に基づいて、制御信号ＳＣ２を出力する。レンズ駆動部１１６は、ＣＰＵ１９０から入力される制御信号ＳＣ２に基づいて、ＡＦレンズ１１２及びズームレンズ１１４の位置を制御する。なお、制御信号ＳＣ２は、ＣＰＵ１９０からレンズ駆動部１１６へ供給される複数の制御信号を含んでいる。制御信号ＳＣ２には、例えばレンズ駆動部１１６によってＡＦレンズ１１２を駆動制御するための信号であるオートフォーカス駆動信号が含まれている。

また、ＣＰＵ１９０は、検出部１９１を備えている。検出部１９１は、撮像部１１０の動作を検出するセンサから出力されたセンサ信号、及び、撮像部１１０の動作を制御する制御部であるＣＰＵ１９０から出力された制御信号のうち少なくとも一方を検出する。上述したように、撮像部１１０は、光学系１１１によって像を撮影する。すなわち、検出部１９１は、撮影装置１００に備えられた撮像部１１０（ズームレンズ１１４、ＶＲレンズ１１３、ＡＦレンズ１１２）や操作部１８０等の動作の有無を検出する。検出部１９１は、撮像部１１０を動作させる制御信号に基づいて撮像部１１０の動作の有無を検出してもよい。また、検出部１９１は、撮像部１１０が動作されたことを示すセンサ信号に基づいて撮像部１１０の動作の有無を検出してもよい。検出部１９１は、検出した撮像部１１０の動作の有無を表す情報を、ノイズ低減処理部２５０の判断部２５１に出力する。

具体的には、検出部１９１は、たとえば、ＶＲレンズ１１３を駆動するためにＣＰＵ１９０から像ぶれ補正部１１８に入力される制御信号ＳＣ１に基づいて撮像部１１０の動作の有無を検出するようにしてもよい。また、検出部１９１は、ズームレンズ１１４又はＡＦレンズ１１２を駆動させるためにＣＰＵ１９０からレンズ駆動部１１６に入力される制御信号ＳＣ２に基づいて撮像部１１０の動作の有無を検出するようにしてもよい。あるいは、検出部１９１は、ズームエンコーダ１１５から出力されたセンサ信号ＳＳ２ＡまたはＳＳ２Ｂに基づいて撮像部１１０の動作の有無を検出するようにしてもよい。検出部１９１は、ＡＦエンコーダから出力されたセンサ信号ＳＳ３ＡまたはＳＳ３Ｂに基づいて撮像部１１０の動作の有無を検出するようにしてもよい。検出部１９１は像ぶれ補正部１１８から出力されたセンサ信号ＳＳ４に基づいて撮像部１１０の動作の有無を検出するようにしてもよい。あるいは、検出部１９１は、操作部１８０から出力されたセンサ信号ＳＳ５に基づいて、操作部１８０が操作されたことを検出することで、撮像部１１０の動作の有無を検出してもよい。

次に、ノイズ低減処理部２５０について説明する。ノイズ低減処理部２５０は、判断部２５１を含んでいる。ノイズ低減処理部２５０は、ノイズ低減処理部２５０とＣＰＵ１９０の組み合わせによって構成されてもよい。また、ノイズ低減処理部２５０はＣＰＵ１９０に含まれてもよい。判断部２５１は、検出部１９１により検出されたセンサ信号及び制御信号のうち少なくとも一方を用いて、上記撮像部１１０の動作の有無を判断する。すなわち、判断部２５１は、光学系１１１を駆動するアクチュエータが駆動している状態、または、操作部１８０を構成する操作部材が操作されている状態の少なくとも一方が検出されたとき、上記撮像部１１０が動作していると判断する。そして、ノイズ低減処理部２５０は、判断部２５１により撮像部１１０が動作していると判断されたときにマイク２３０から出力されたマイク出力信号ＳＳ１と、判断部２５１により上記撮像部１１０が動作していないと判断されたときにマイク２３０から出力されたマイク出力信号ＳＳ１との比が所定の閾値以上であった場合に、判断部２５１により上記撮像部１１０が動作していると判断されたときにマイク２３０から出力されたマイク出力信号ＳＳ１をノイズ信号（駆動音）として記憶部１６０に記憶させる。さらに、ノイズ低減処理部２５０は、記憶部１６０にノイズ信号を記憶させた後、さらに、ノイズ信号を更新する機能を有している。すなわち、ノイズ低減処理部２５０は、記憶部１６０にノイズ信号を記憶した後に、判断部２５１により撮像部１１０が動作していると判断されたときにマイク２３０から出力されたマイク出力信号ＳＳ１と、判断部２５１により撮像部１１０が動作していないと判断されたときにマイク２３０から出力されたマイク出力信号ＳＳ１との比が所定の閾値以上であった場合に、判断部２５１により撮像部１１０が動作していると判断されたときにマイク２３０から出力されたマイク出力信号ＳＳ１をノイズ信号として記憶部１６０に記憶させる。

また、ノイズ低減処理部２５０は、判断部２５１によって撮像部１１０に含まれる光学系１１１と、撮像素子１１９と、Ａ／Ｄ変換部１２０とのいずれかの構成が動作していると判断された場合に、動作していると判断された構成に対応して記憶部１６０に記録されているノイズ信号（駆動音）を推定ノイズとして用いたスペクトル減算法によって周波数領域でノイズ低減処理を実行し、マイク２３０から出力されたマイク出力信号ＳＳ１に含まれるノイズを低減させる。そして、ノイズ低減処理部２５０は、ノイズが低減されたマイク出力信号ＳＳ１を、ノイズ減算処理信号（音声データ）として通信部１７０に出力する。

通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報（画像データ、及びノイズ減算処理信号等）の書込み、読み出し、あるいは消去を行う。

記憶媒体２００は、撮影装置１００に対して着脱可能に接続される記憶部であって、例えば、撮像部１１０によって生成された画像データ、及びノイズ減算処理信号等を記憶する。なお、記憶媒体２００は、撮影装置１００と一体であってもよい。

次に、本実施形態のノイズ低減処理に関する動作について説明する。ここでは、一例として、撮像部１１０が発する駆動音として、ＡＦレンズ１１２を駆動する際に、ＡＦレンズ１１２、レンズ駆動部１１６等を駆動させることで発生されるオートフォーカス駆動音を対象として説明を行う。

なお、スペクトル減算法では、減算量を設定するために推定ノイズが用いられる。本動作例では動画撮影（すなわち音声信号の録音をともなう撮影）前にオートフォーカス駆動音の録音を行い、録音したオートフォーカス駆動音を用いてノイズを推定する。正確なノイズ推定には、静かな環境で駆動音を録音することが望ましい。しかし、通常の撮影場所では音が発生しており、オートフォーカス駆動音に対して環境音が重畳した状態での録音となる。そこで、本実施形態では、ＡＦレンズ１１２を駆動させた状態の録音信号である駆動音と、駆動させない状態の録音信号である環境音との比が所定の閾値以上、すなわち、環境音よりも駆動音が所定の割合で大きい場合に、その駆動音のノイズを推定するためのデータとして用いるようにしている。

ここで、図２を参照して、撮影装置１００における、オートフォーカス駆動音の事前録音処理と、その後の動画撮影等におけるノイズ低減処理をともなう音声信号の録音処理（これを目的音の録音処理という）について説明する。撮影者が、操作部１８０のマルチセレクタ１８１等を操作し、駆動音の録音開始を指示すると、ＣＰＵ１９０によって駆動音録音処理が開始される（図２のステップＳ１０１）。

次に、ＣＰＵ１９０の制御の下、表示部１５０において録音対象の駆動音の種類が表示される（ステップＳ１０２）。ここで、撮影者による操作部１８０の操作に応じて、駆動音の種類が選択される（ステップＳ１０３）。ここでは、オートフォーカス駆動音が選択されたとする。

次に、音声信号処理部２４０によって、マイク２３０で収音された音がデジタル信号に変換され、所定期間分、環境音としてバッファメモリ部１３０に記録される（ステップＳ１０４）。この録音の際、ＣＰＵ１９０は撮像部１１０の各部を駆動しない。すなわちオートフォーカス駆動音は発生しない。例として、図３（ａ）は、環境音が十分小さい状態で、オートフォーカスを駆動せずに、マイク２３０が録音時に出力する信号を示す。マイク出力信号は、ほぼゼロを示している。図３（ｂ）は、環境音が大きい状態で、オートフォーカスを駆動せずに、マイク２３０が録音時に出力する信号の例を示す。約０．０２ｓ程度の周期で正弦波状の出力信号がみられる。また、この際、表示部１５０において、例えば、環境音を録音中である旨の表示、操作部１８０を操作しないようにとの注意表示等を行うことができる。または、環境音の録音が終了するまでの間に、操作部１８０の操作が行われた場合、予め、ＣＰＵ１９０が操作部１８０からの入力を受け付けないように設定してもよい。

次に、ＣＰＵ１９０によって、レンズ駆動部１１６に対してＡＦレンズ１１２を所定期間、駆動させるための制御信号ＳＣ２が出力されるとともに、音声信号処理部２４０によって、マイク２３０で収音された音がデジタル信号に変換され、所定期間分、オートフォーカス駆動音としてバッファメモリ部１３０に記録される（ステップＳ１０５）。ステップＳ１０５の例として、図３（ｃ）に、環境音が十分小さい状態で、オートフォーカスを駆動した場合に、マイク２３０が録音時に出力する信号の例を示す。マイク出力信号値は小さいものの、小刻みな時間間隔で振動する出力信号がみられる。この出力信号は駆動音に対応している。

次に、ＣＰＵ１９０（あるいはＣＰＵ１９０によって制御されたノイズ低減処理部２５０）は、バッファメモリ部１３０にステップＳ１０４で録音された環境音と、ステップＳ１０５で録音されたオートフォーカス駆動音と比の値を求め、所定の閾値以上であるか否かを判定する（ステップＳ１０６）。駆動音と環境音の比は、例えば、駆動音の信号波形の実効値を環境音の信号波形の実効値で除すること、駆動音の信号波形のピークトウピークを環境音の信号波形のピークトウピークで除すること等によって求めることができる。
そして、この比の値と所定の閾値とを比較することで、駆動音が、環境音よりも所定倍大きい値を有していることを確認することができる。

駆動音と環境音の比が所定の閾値以上、すなわち、駆動音が環境音よりも所定倍大きい値を有している場合、バッファメモリ部１３０に記録した駆動音のデータを、記憶部１６０に記録する（ステップＳ１０７）。他方、駆動音と環境音の比が所定の閾値未満の場合には、記憶部１６０への記録は行われない（ステップＳ１０６で「Ｎ」）。

次に、ＣＰＵ１９０は、ステップＳ１０６の判定結果とステップＳ１０４およびステップＳ１０５での録音状態とを、表示部１５０に表示する。表示部１５０は、駆動音の録音状態を表示する際に、推定ノイズ（ノイズ信号）を決定する際に用いられる閾値に対応する情報、及び、ノイズ信号に対応する情報の少なくとも一方を表示する。続いて、ＣＰＵ１９０は、表示部１５０に所定の選択肢を表す情報を表示するとともに、撮影者による操作部１８０を用いた操作を受け付け、操作内容に基づいてオートフォーカス駆動音を再度録音するか否かを判定する。操作部１８０が再録音を指示するよう操作された場合にはステップＳ１０４へ戻り、再び環境音とオートフォーカス駆動音が録音される（ステップＳ１０９で「Ｙ」→ステップＳ１０４）。駆動音の再録音が選択されなかった場合には、ステップＳ１１０で他の駆動音を録音するか否かが判定される（ステップＳ１０９で「Ｎ」→ステップＳ１１０）。

ステップＳ１１０では、ＣＰＵ１９０が、表示部１５０に所定の選択肢を表す情報を表示するとともに、撮影者による操作部１８０による操作を受け付け、他の駆動音を録音するか否かを判定する。操作部１８０が他の駆動音を録音するよう操作された場合にはステップＳ１０２へ戻り、再び駆動音の種類の選択と録音の処理が行われる（ステップＳ１１０で「Ｙ」→ステップＳ１０２）。他の駆動音の録音が選択されなかった場合には、目的音の録音待機状態となる（ステップＳ１１０で「Ｎ」→ステップＳ１１１）。

その後、操作部１８０に所定の操作が行われ、動画撮影等、目的音の録音をともなう処理が開始されると（ステップＳ１１１で「Ｙ」）、ノイズ低減処理部２５０によって、検出部１９１の出力に基づく判断部２５１の判断結果に従って、ステップＳ１０７で保存された駆動音を用いて、音声信号処理部２４０を介してバッファメモリ部１３０に記憶されたマイク出力信号ＳＳ１に対して、ノイズ低減処理が行われる（ステップＳ１１２）。

上記の動作においては、例えば、オートフォーカス駆動音に対して大きい環境音が発生している状態で駆動音が録音された場合、推定ノイズに大きな誤差を含む可能性がある。そのような場合には表示部１５０において撮影者に録音のやり直しを勧める表示を行うことができる。反対に、周りが静かな状態でオートフォーカス駆動音が録音された場合は、正確にノイズが推定されると判断し、例えば、駆動音の録音が成功したことを撮影者に伝える表示を行うことができる。このように、オートフォーカス駆動音と環境音の大きさの比較に基づいて駆動音の録音状態を判断し、撮影者に伝えることで、より正確な推定ノイズを得られる機会を与えることができる。

なお、図２のステップＳ１０８では、表示部１５０における録音状態の表示を例えば多段階のランクで表示することが可能である。例えば、録音状態が悪い場合を「０」とし、録音状態が良い場合を「３」とする。また、例えば、録音状態のランクをグラフで示すインジケータを表示部１５０に表示することで、撮影者が容易に録音状態を把握することができる。録音状態に対応するランクは、例えば、オートフォーカス駆動音と環境音の比によって決定し、相対的に環境音が小さければ録音状態が良い値とし、環境音が大きければ録音状態が悪い値とする。撮影者は現在の録音状態を見て、再度録音を行う判断が可能であり、再録音の録音状態が向上すれば、再録音結果から推定ノイズを求めることにし、録音状態インジケータを更新するようにすることができる。表示部１５０には、例えば、複数の駆動音について、ＡＦ（オートフォーカス）「３」、ＶＲ（手ブレ補正）「１」、ズーム「０」、マルチセレクタ「２」といったことを示す文字情報あるいは図形情報の表示を行うことができる。

次に、本実施形態における具体的な使用例について説明する。本実施形態では撮影者は、動画撮影中に発生する可能性のある駆動音について動画撮影前に駆動音の録音を行うことができる。その際、オートフォーカス駆動音、手ブレ補正駆動音、ズーム操作音（手動）、マルチセレクタのボタン操作音（手動）等の音を対象とすることができる。撮影者は、動画撮影前に必要な録音の種類を選択し、オートフォーカス駆動音等の駆動音の録音を行うことができる。その際、駆動音録音直後に録音状態が表示され、必要に応じて再録音を行うことができる。本実施形態では、例えば、環境音が大きいときに駆動音録音を行うと録音状態が低いと判断される。その場合、撮影者は、環境音が小さくなるまで待って再度録音を行うか、環境音が小さい場所に移動して再度録音を行うようにすることができる。

次に、図４〜図７を参照して、ＡＦレンズ１１２が駆動される場合を例として、目的音録音時のノイズ低減の方法について説明する。ＣＰＵ１９０の検出部１９１は、ＡＦレンズ１１２が駆動されると、ＣＰＵ１９０内部のオートフォーカス駆動コマンドを実施することによって生成された制御信号ＳＣ２の出力またはＡＦエンコーダ１１７の出力センサ信号ＳＳ３ＡもしくはＳＳ３Ｂ等によって駆動状態を検出する。ＣＰＵ１９０の検出部１９１は、ＡＦレンズ１１２の駆動状態（動作有りとの状態）を表す情報を、ノイズ低減処理部２５０の判断部２５１に出力する。判断部２５１は、検出部１９１から受けた信号に基づいて、ＡＦレンズ１１２が動作していることを判断する。ノイズ低減処理部２５０は、判断部２５１の判断に従い、記憶部１６０に記憶されたオートフォーカス駆動音を推定ノイズとして用いたスペクトル減算法によって周波数領域でノイズ低減処理を実行する。これによって、マイク２３０から出力されたマイク出力信号ＳＳ１に含まれるノイズを低減させる。そして、ノイズ低減処理部２５０は、ノイズが低減されたマイク出力信号ＳＳ１をノイズ減算処理信号として通信部１７０を介して記憶媒体２００に記憶させる。

なお、ノイズ低減処理部２５０におけるノイズ低減処理では、ノイズ低減処理をする部分とノイズ低減処理をしない部分との不連続を緩和するために、スペクトル減算法の減算係数をなだらかに変化させてもよい。図４は制御信号ＳＣ２（オートフォーカス駆動信号）の時間変化波形を示す図である。図５は、図４と同一の時間軸において、減算係数の時間変化波形を示す図である。ただし、図４および図５のグラフはオートフォーカス駆動音の発生タイミング（期間）と波形を分かりやすく模式的に描いたもので、実際の波形とは異なり、時間軸も実際とは異なる。

図６は、収音された音信号の波形の一例を示す図であり、図７は、収音された音信号に対してノイズ低減処理した後の波形の一例を示す図である。図６に示されるように、音信号にＡＦレンズ１１２により生じるノイズが重畳している場合であっても、ＡＦレンズ１１２を実際に駆動して録音した音声データを用いたノイズ低減処理を行うことによってノイズを減じることができる。

なお、上記の実施形態では、動画撮影の事前にオートフォーカス駆動音を録音したが、動画撮影後にオートフォーカス駆動音を録音しても良い。その場合は、オートフォーカス駆動音録音後に動画撮影録音データに含まれるオートフォーカス駆動音の低減処理を行う。この処理は撮影装置１００内で行っても良いし、音声データをＰＣ（パーソナルコンピュータ）に転送してＰＣ上で処理しても良い。その場合、例えば、ＰＣには、撮影装置１００の光学系１１１による像を撮影する上記撮像部１１０の動作を検出するズームエンコーダ１１５、ＡＦエンコーダ１１７、像ぶれ補正部１１８、操作部１８０等から出力されたセンサ信号ＳＳ２Ａ、ＳＳ２Ｂ、ＳＳ３Ａ、ＳＳ３Ｂ、ＳＳ４、ＳＳ５等、及び、撮像部１１０の動作を制御するＣＰＵ１９０から出力された制御信号ＳＣ１、ＳＣ２等のうち少なくとも一方、及び、撮影装置１００が出力したマイク出力信号ＳＳ１、それをデジタル変換した信号等の音声信号が入力される入力部を設けておくことができる。さらに、ＰＣに、センサ信号ＳＳ２Ａ、ＳＳ２Ｂ、ＳＳ３Ａ、ＳＳ３Ｂ、ＳＳ４、ＳＳ５及び制御信号ＳＣ１、ＳＣ２のうち少なくとも一方を用いて、撮像部１１０の動作の有無を判断する判断部と、判断部により撮像部１１０が動作していると判断された期間に入力部（マイク）から入力された第１の音声信号と、判断部により撮像部１１０が動作していないと判断された期間に入力部から入力された第２の音声信号との比が閾値以上であったとき、判断部により撮像部１１０が動作していると判断された期間に対応する前記第１の音声信号をノイズ信号として記憶する記憶部と、記憶部に記憶されたノイズ信号を用いて、前記入力された音声信号のノイズを低減させるノイズ低減部とを設けておくことができる。

また、動画再生時に低減処理を行っても良い。この場合は、例えば、目的音の録音データとオートフォーカス駆動音の推定ノイズを比較してオートフォーカス駆動している期間を推定する。その後のノイズ低減処理は前述の処理と同じように行うことができる。

なお、使用するマイク２３０は撮影装置１００に内蔵されたマイクでも良いし、外部に取り付けたマイクでも良い。ただし、外部マイクを使用する場合は、動画撮影時と同じマイクを同じ取り付け方法でセットして駆動音の録音を行うことが望ましい。

なお、上記実施形態では、推定ノイズの設定を、実際の撮影とは別に撮影者の指示に応じて音声データを記録させることで行うこととしているが、これと異なり、撮影者の指示なしに自動的に、あるいは実際の撮影動作時に録音された撮像部１１０が駆動されている期間の音声データと駆動されていない期間の音声データとに基づいて推定ノイズを設定することも可能である。例えば撮像部１１０による第１の撮影において検出部１９１によって撮影動作に変化があると検出された場合に収音された第１のマイク出力信号ＳＳ１の、撮影動作に変化がないと判断された場合に収音された第２のマイク出力信号ＳＳ１に対する比が所定の閾値以上である場合に、当該撮影動作に変化があると判断された場合に収音された第１のマイク出力信号ＳＳ１をノイズ信号として記憶する。そして、第１の撮影の後にされた撮像部１１０による第２の撮影において撮影動作に変化があると判断された場合に収音された第３の電気信号ＳＳ１に対して、記憶したノイズ信号に基づいてノイズ低減処理を行うようにすることができる。

さらに、実際の撮影動作時に録音された音声データに基づいて設定された推定ノイズを、より録音状態が良いデータで更新するようにすることも可能である。すなわち、撮像部１１０による第１の撮影の後にされた第３の撮影において撮影動作に変化があると判断された場合に収音された第４のマイク出力信号ＳＳ１の、撮影動作に変化がないと判断された場合に収音された第５のマイク出力信号ＳＳ１に対する比を算出し、当該算出した比が、第１の撮影において撮影動作に変化があると判断された場合に収音された第１のマイク出力信号ＳＳ１の撮影動作に変化がないと判断された場合に収音された第２のマイク出力信号ＳＳ１に対する比よりも大きい場合は、ノイズ信号を、第３の撮影において撮影動作に変化があると判断された場合に収音された第４のマイク出力信号ＳＳ１に変更するようにすることができる。

また、第４のマイク出力信号ＳＳ１に更新する際の比の算出処理や変更処理を、撮影動作に変化があると検出された場合に収音された第１のマイク出力信号ＳＳ１の撮影動作に変化がないと判断された場合に収音された第２のマイク出力信号ＳＳ１に対する比が所定の閾値よりも小さい場合に限定して行うようにしてもよい。

また、例えば、光学系１１１を取り替えたり、マイク２３０を取り替えたりしたことを示す信号が入力されたことに応じて、実際の撮影動作時に録音された音声データ等に基づいて設定された推定ノイズを設定あるいは更新するようにすることもできる。

また、撮像部１１０により撮像された像を表示部１５０において連続的に表示させるとともに、その連続的な表示が行われている場合に操作部１８０において撮像部１１０により撮像された像を記録させることを示す操作がなされていないときに、上記第１の撮影状態であると判定するようにすることもできる。

また、マイク２３０により収音されたマイク出力信号ＳＳ１と、判断部２５１により判断された結果とを関連付けてバッファメモリ部１３０あるいは記憶媒体２００に記憶するようにしてもよい。

また、複数の種類の推定ノイズデータとして、予め出荷時に録音された複数のノイズ信号を記憶部１６０へ記憶させておいてもよい。複数の種類の推定ノイズデータは表示部１５０に表示することができ、撮影者は、所望の推定ノイズデータを選択し、これを用いて標準的なノイズ低減処理をすることができる。

ところで、カメラ出荷時と撮影時では、経年変化、周囲温度によってカメラのモータノイズ等の駆動音が変化する可能性がある。また、レンズ交換式カメラの場合、違う種類のレンズに交換すると駆動音が異なる可能性がある。また、同じ種類のレンズでも個体差があり駆動音が異なる可能性がある。また、レンズ交換式カメラの場合、新しく発売されたレンズの駆動音データはカメラボディに記録されていない可能性がある。このいずれの場合に対しても、本実施形態によれば、上記に説明したように、撮影動作時に録音された音声データに基づいて設定された適切な推定ノイズに基づいて、ノイズ低減処理を実行することができる。

また、図１におけるＣＰＵ１９０、検出部１９１、判断部２５１、又はノイズ低減処理部２５０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりＣＰＵ１９０、検出部１９１、判断部２５１、又はノイズ低減処理部２５０による処理を実行してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
なお、符号を付して説明した構成は適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。

１００…撮影装置、１１０…撮像部、１１１…光学系、１１５…ズームエンコーダ、１１７…ＡＦエンコーダ、１１８…像ぶれ補正部、１８０…操作部、１６０…記憶部、１７０…通信部、１９０…ＣＰＵ、１９１…検出部、２００…記憶媒体、２３０…マイク、２５０…ノイズ低減処理部、２５１…判断部

Claims (10)

1. 音波を電気信号に変換するマイクと、
   光学系による像を撮影する撮影部の動作を検出するセンサから出力されたセンサ信号、及び、前記撮影部の動作を制御する制御部から出力された制御信号のうち少なくとも一方を検出する検出部と、
   前記検出部により検出された前記センサ信号及び前記制御信号のうち少なくとも一方を用いて、前記撮影部の動作の有無を判断する判断部と、
   前記判断部により前記撮影部が動作していると判断されたときに前記マイクから出力された第１の電気信号と、前記判断部により前記撮影部が動作していないと判断されたときに前記マイクから出力された第２の電気信号との比が閾値以上であったとき、前記判断部により前記撮影部が動作していると判断されたときに前記マイクから出力された前記第1の電気信号をノイズ信号として記憶する記憶部と、
   前記記憶部に記憶された前記ノイズ信号を用いて、前記マイクから出力された前記電気信号のノイズを低減させるノイズ低減部とを含むことを特徴とする撮影装置。
2. 請求項１に記載された撮影装置であって、
   前記ノイズ低減部は、前記ノイズ信号を用いて、前記判断部により前記撮影部が動作していると判断されたとき前記マイクから出力された前記第１の電気信号のノイズを低減させることを特徴とする撮影装置。
3. 請求項１又は請求項２に記載された撮影装置であって、
   前記撮影部は、前記光学系を駆動するアクチュエータ、及び、撮影者が操作可能な操作部材の少なくとも一方を含むことを特徴とする撮影装置。
4. 請求項３に記載された撮影装置であって、
   前記判断部は、前記アクチュエータが駆動しているとき、及び、前記操作部材が操作されているときの少なくとも一方が検出されたとき、前記撮影部が動作していると判断することを特徴とする撮影装置。
5. 請求項３又は請求項４に記載された撮影装置であって、
   前記撮影部は、動画像を記録する画像記録部を有することを特徴とする撮影装置。
6. 請求項１から請求項５のいずれか１項に記載された撮影装置であって、
   前記記憶部は、前記ノイズ信号を記憶した後であって前記判断部により前記撮影部が動作していると判断されたときに前記マイクから出力された前記第１の電気信号と、前記ノイズ信号を記憶した後であって前記判断部により前記撮影部が動作していないと判断されたときに前記マイクから出力された前記第２の電気信号との比が閾値以上であったとき、前記ノイズ信号を記憶した後であって前記判断部により前記撮影部が動作していると判断されたときに前記マイクから出力された前記第１の電気信号をノイズ信号として記憶することを特徴とする撮影装置。
7. 請求項１から請求項６のいずれか１項に記載された撮影装置であって、
   前記閾値に対応する情報、及び、前記ノイズ信号に対応する情報の少なくとも一方を表示する表示部を有することを特徴とする撮影装置。
8. 撮影装置の光学系による像を撮影する撮影部の動作を検出するセンサから出力されたセンサ信号、及び、前記撮影部の動作を制御する制御部から出力された制御信号のうち少なくとも一方、及び、前記撮影装置が出力した音声信号が入力される入力部と、
   前記センサ信号及び前記制御信号のうち少なくとも一方を用いて、前記撮影部の動作の有無を判断する判断部と、
   前記判断部により前記撮影部が動作していると判断された期間に対応する第１の音声信号と、前記判断部により前記撮影部が動作していないと判断された期間に対応する第２の音声信号との比が閾値以上であったとき、前記判断部により前記撮影部が動作していると判断された期間に対応する前記第１の音声信号をノイズ信号として記憶する記憶部と、
   前記記憶部に記憶された前記ノイズ信号を用いて、前記入力部に入力された前記音声信号のノイズを低減させるノイズ低減部とを含むことを特徴とする信号処理装置。
9. 請求項８に記載された信号処理装置であって、
   前記判断部は、前記光学系を駆動するアクチュエータが駆動しているとき、及び、撮影者が操作可能な操作部材が操作されているときの少なくとも一方が検出されたとき、前記撮影部が動作していると判断することを特徴とする信号処理装置。
10. コンピュータによる読み出し可能なプログラムが記録された記録媒体であって、コンピュータに、
    マイクを用い音波を電気信号に変換する手順と、
    検出部によって、光学系による像を撮影する撮影部の動作を検出するセンサから出力されたセンサ信号、及び、前記撮影部の動作を制御する制御部から出力された制御信号のうち少なくとも一方を検出する手順と、
    判断部によって、前記検出部により検出された前記センサ信号及び前記制御信号のうち少なくとも一方を用いて、前記撮影部の動作の有無を判断する手順と、
    記憶部によって、前記判断部により前記撮影部が動作していると判断されたときに前記マイクから出力された第１の電気信号と、前記判断部により前記撮影部が動作していないと判断されたときに前記マイクから出力された第２の電気信号との比が閾値以上であったとき、前記判断部により前記撮影部が動作していると判断されたときに前記マイクから出力された前記第１の電気信号をノイズ信号として記憶する手順と、
    ノイズ低減部によって、前記記憶部に記憶された前記ノイズ信号を用いて、前記マイクから出力された前記電気信号のノイズを低減させる手順と
    を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images