WO2013115385A1 - 音処理装置および音処理プログラム - Google Patents

Abstract

　ノイズ低減処理に伴う音像の変位を抑制できる音処理装置および音処理プログラムを提供する。　複数の集音部によって集音された音のうち、第１集音部により集音された第１音と第２集音部により集音された第２音との関係である基準関係を算出する算出部と、前記第１音と前記第２音との関係が、前記算出部で算出された前記基準関係を含む所定の範囲に含まれるよう、前記複数の集音部によって集音された音を処理する処理部とを備えることを特徴とする音処理装置。

Description

音処理装置および音処理プログラム

　本発明は、音処理装置および音処理プログラムに関するものである。

　複数の集音装置を備えたステレオ録音が可能な撮像装置として、動画撮影時にオートフォーカス（以後、「ＡＦ」と略記する）等の駆動音の発生に合わせてノイズ低減処理を行うものがある。
　ステレオ等の複数チャンネルの有する音信号の雑音を抑制する雑音抑制装置においては、ステレオ成分の雑音を抑制する技術が知られている（特許文献１等参照）。

　また、録画可能なカメラ等においては、外部音声を録音する複数のマイク及び駆動部、を備えるものがある。このような装置において、録音された音声より、駆動部から発生する雑音を低減する技術が提案されている（特許文献２参照）。

特開２００８－２８３３８５号公報 特開２０１１－２５９３１９号公報

　ところで、ステレオ録音時において、駆動音の発生に合わせてノイズ低減処理を行うと、ノイズ低減処理に起因して音信号のバランスが変化してしまうことがあり、その結果、音像が変位し、再生時に違和感を生じさせるという問題がある。

　本発明の課題は、ノイズ低減処理に伴う音像の変位を抑制できる音処理装置および音処理プログラムを提供することである。

　本発明の一態様である音処理装置は、複数の集音部によって集音された音のうち、第１集音部により集音された第１音と第２集音部により集音された第２音との関係である基準関係を算出する算出部と、前記第１音と前記第２音との関係が、前記算出部で算出された前記基準関係を含む所定の範囲に含まれるよう、前記複数の集音部によって集音された音を処理する処理部とを備えることを特徴とする。

　本発明の他の態様である音処理装置は、第１集音部と第２集音部とを有する集音部と、前記第１集音部により集音された第１音と前記第２集音部により集音された第２音との関係を基準関係とし、前記基準関係を含む所定の範囲に含まれるように処理された、前記集音部によって集音された音を出力する出力部とを備えたことを特徴とする。

　本発明の他の態様である音処理プログラムは、コンピュータに、複数の集音部によって集音された音のうち、第１集音部により集音された第１音と第２集音部により集音された第２音との関係である基準関係を算出する算出部と、前記第１音と前記第２音との関係が、前記算出部で算出された前記基準関係を含む所定の範囲に含まれるよう、前記複数の集音部によって集音された音を処理する処理部と、の各機能を実行させる。

　本発明の他の態様である音処理プログラムは、コンピュータに、第１集音部と第２集音部とを有する集音部と、前記第１集音部により集音された第１音と前記第２集音部により集音された第２音との関係である基準関係に対して、前記基準関係を含む所定の範囲に含まれるように処理された、前記集音部によって集音された音を出力する出力部と、の各機能を実行させる。

　本発明の他の態様であるプログラムは、複数の集音部のうちの第１集音部により集音された第１音のノイズ推定を行ない、推定されたノイズを、前記第１音から低減し、前記複数の集音部のうちの第２集音部により集音された第２音と、ノイズ低減前の前記第１音との関係である基準関係を求め、ノイズ低減後の前記第１音との関係が前記基準関係を含む所定の範囲に含まれるよう前記第２音を調整する処理を、コンピュータ装置に実行させる。

　本発明の態様によれば、ノイズ低減処理に伴う音像の変位を抑制できる音処理装置および音処理プログラムを提供できる。

第１実施形態にかかる音処理装置を備えたカメラを示し、（ａ）はそのブロック構成図、（ｂ）は概念正面図である。 音情報処理部におけるノイズ低減処理とその補正の説明図である。 音情報処理部におけるノイズ低減処理と補正のフローチャートである。 音像変位を説明する図である。 第２実施形態にかかる音情報処理部におけるノイズ低減処理と補正のフローチャートである。 ノイズ低減処理部分の前後の信号比変化と対応させた補正を説明する図である。 第３実施形態にかかる音処理装置（音情報処理部）を備えたカメラの正面側から見た外観概略斜視図である。 カメラのブロック構成図である。 音情報処理部の機能ブロック図である。 衝撃音ノイズ低減処理部が取得する第１周波数スペクトルと第２周波数スペクトルの一例を説明するための図である。 左チャンネルから右チャンネルの周波数スペクトルＳＳＲを得る方法を説明する。 音情報処理部の動作を示すフローチャートである。 第４実施形態における音情報処理部の機能ブロック図である。

　以下、図面等を参照して、本発明の実施形態について説明する。
（第１実施形態）
　図１は、第１実施形態にかかる音処理装置を備えたカメラを示し、図１（ａ）はそのブロック構成図、図１（ｂ）はカメラ１の概念正面図である。
　図１（ａ）に示すように、カメラ１は、カメラ本体１０と、レンズ鏡筒２０とにより構成されている。カメラ１は、自動的に合焦するオートフォーカス（以下ＡＦと略記する）機能を備えている。また、カメラ１は、静止画と動画の何れも撮影可能であって、動画撮影時には画像と同時に音をステレオで記録可能である。

　カメラ本体１０は、撮像素子１１と、画像処理部１２と、ステレオ集音装置１３と、音情報処理部１４と、記憶部１５と、制御部１６と、出力部１８と、入力部１９とを備えている。
　撮像素子１１は、ＣＣＤ等の光電変換素子により構成され、レンズ鏡筒２０の結像光学系によって結像された被写体像光を電気信号に変換する。
　画像処理部１２は、撮像素子１１から出力されるアナログの画像情報をＡ／Ｄ変換すると共に画像処理して画像データを生成する。

　ステレオ集音装置１３は、図１（ｂ）に示すように、左右一対のマイク（左マイク１３Ｌ，右マイク１３Ｒ）を備えている。左マイク１３Ｌと右マイク１３Ｒとは、カメラ１を横位置で構えた状態においてレンズ鏡筒２０の中心を通る鉛直線を挟む略対称位置に配置されている。各マイク１３Ｌ，１３Ｒは、それぞれ外部の音を集音してアナログ信号として検出し、音情報処理部１４に出力する。
　音情報処理部１４は、ステレオ集音装置１３から入力される音信号をＡ／Ｄ変換してデジタル信号とすると共にノイズ低減処理を行う。音情報処理部１４は、ノイズ低減処理係る機能部として、ノイズ低減処理部１４Ａと、補正部１４Ｂと、を備えている。これらについては、後に詳述する。

　記憶部１５は、画像処理部１２が出力する画像データおよび音情報処理部１４が出力する音データを記憶する。記憶部１５は、バッファーやカメラに内蔵されたメモリでもよいし、またＳＤカードやＨＤＤ等の外部の記憶媒体でもよい。

　出力部１８は、記憶部１５に記憶された画像データ及び音データを出力する。出力部１８は、外部機器へ音情報（電気信号）を出力するためのインターフェース等である。外部機器とは、これに限定されないが、例えばＰＣ、外部スピーカ、携帯電話等である。ただし、これに限定されず、出力部１８は、カメラ１に設けられた背面液晶及びスピーカであってもよい。なお、出力部１８がスピーカの場合、出力部１８は音情報（電気信号）を音に変換する変換部も備える。

　入力部１９は、外部機器からデータを入力するためのインターフェース等である。
　外部機器とデータのやり取り（通信）をする際には、出力部１８と入力部１９は別体となっていなくてもよく、入力部１９と出力部１８が一体となっているような構成であってもよい。
　なお、外部機器とは、これに限定されないが、例えばＰＣ、外部マイク、携帯電話等である。

　制御部１６は、ＣＰＵ等を備えて構成され、設定された撮像条件（例えば、絞り値、露出値等）に応じて、レンズ鏡筒２０の後述する各構成要素を含めたカメラ１の各構成要素を統括制御する。たとえば、制御部１６は、後述するレンズ鏡筒２０におけるＡＦ駆動用モータ２２を駆動する駆動制御信号を生成し、レンズ制御部２４に出力する。

　レンズ鏡筒２０は、フォーカシングレンズ、手振れ補正レンズ、ズーミングレンズ等を備える結像光学系（図示省略）と、ＡＦエンコーダ２１と、ＡＦ駆動用モータ２２と、を備えている。
　ＡＦエンコーダ２１は、フォーカシングレンズの位置を検出してレンズ制御部２４に出力する。レンズ制御部２４は、検出されたフォーカシングレンズの位置情報を制御部１６に出力する。
　ＡＦ駆動用モータ２２は、レンズ制御部２４から入力されるＡＦレンズの位置を制御するための駆動制御信号に応じて、ＡＦレンズを移動駆動する。

　そして、カメラ１は、使用者による図示しないシャッタボタンの押圧操作によって撮影が指令されると、制御部１６によって制御されて撮影作用を行う。
　すなわち、撮像素子１１によって被写体像光を電気信号に変換し、画像処理部１２によって処理した画像データを、記憶部１５に記憶させる（撮影する）。制御部１６は、撮影時において、レンズ制御部２４、ＡＦ駆動用モータ２２を介してＡＦレンズを移動駆動するＡＦ制御を行う。

　動画撮影時においては、撮像素子１１は、被写体像光を電気信号に変換して順次取り込み、記憶部１５を介して１秒間に所定のフレーム（コマ数）の画像を記憶する。また、前述したように、音情報処理部１４が集音した音データを、画像データと共に記憶部１５を介して記憶（録音）する。動画撮影時には、撮影期間を通してＡＦ制御が行われる。

　ここで、ステレオ集音装置１３が集音した音情報は、音情報処理部１４に入力される。音情報処理部１４は、ステレオ集音装置１３が集音した音に含まれるＡＦ制御にかかる駆動ノイズ（ＡＦ駆動音）を低減処理する。そして、音情報処理部１４は、駆動ノイズ（ＡＦ駆動音）が低減処理された音情報を記憶部１５に出力する。

　ただし、上記の処理の流れに限定されない。例えば変形形態として、１）制御部１６は、ステレオ集音装置１３が集音した音を、一旦、記憶部１５に記憶させる、２）制御部１６は、その記憶された音データをノイズ低減処理部１４Ａへ出力する、３）低減処理部１４Ａは音データに対して低減処理を施す、４）次いで、制御部１６は、低減処理された音データを、再度、記憶部１５に記憶する、といった処理の流れでも良い。

　本実施形態の処理の流れに戻り、前述した図１に加えて図２～図４を参照し、音情報処理部１４について詳細に説明する。図２は、音情報処理部１４におけるノイズ低減処理とその補正の説明図である。図３は、音情報処理部１４におけるノイズ低減処理と補正のフローチャートである。図４は、音像変位を説明する図である。

　音情報処理部１４は、前述したように、ノイズ低減処理部１４Ａと、補正部１４Ｂとを備えている。
　ノイズ低減処理部１４Ａは、ノイズ周波数スペクトルＳＮを用い、スペクトル減算法によってＡＦ駆動音に対するノイズ低減処理を行う。ノイズ周波数スペクトルＳＮは、図２（ｂ）に一例を示すような、予め記憶している動作ノイズ情報又は過去に集音した音情報から推定したものである。

　具体的に説明すると、ノイズ低減処理部１４Ａは、ステレオ集音装置１３（左マイク１３Ｌ，右マイク１３Ｒ）から入力されてデジタル化された音信号を、所定の長さで区切ったフレーム単位でフーリエ変換等により周波数解析を行う。
　そして、図２（ａ）に一例を示すような複数の周波数帯域（ｆ１～ｆ８）に分割した周波数スペクトルＳＩＬ，ＳＩＲを得る。
　その周波数スペクトルＳＩＬ，ＳＩＲから図２（ｂ）に示すノイズ周波数スペクトルＳＮを減算してノイズ成分を除去する。
　さらに、必要に応じて、信号の下限規制等のフロアリング処理を行って、図２（ｃ）に示すノイズ低減処理後の周波数スペクトルＳＳＬ，ＳＳＲを補正部１４Ｂに出力する。

　このノイズ低減処理部１４Ａによるノイズ低減処理は、ＡＦ駆動音が含まれるフレームに対して、フレーム毎に行われる。
　ＡＦ駆動音が含まれるフレームの検知は、たとえば、ＡＦレンズの位置を検出するＡＦエンコーダ２１の出力に基づいて（ＡＦレンズが移動するとＡＦエンコーダ２１の出力が変化する）行われる。
　なお、図２（ａ）における周波数スペクトルＳＩＬ，ＳＩＲに対する網掛け部位は、ＡＦ駆動音が含まれない目的音のみの周波数スペクトルを参考的に示すものである。

　ここで、ノイズ低減処理部１４Ａによるノイズ低減処理は、ステレオ集音装置１３における左右のマイク（左マイク１３Ｌ，右マイク１３Ｒ）からの音信号に対して、それぞれ独立して行われる。
　ただし、左マイク１３Ｌおよび右マイク１３Ｒはレンズ鏡筒２０に対して略対称に配置されているため、入力されるＡＦノイズ（ＡＦ駆動音）は同一であるものとしてノイズ周波数スペクトルＳＮは同一のものを用いる。
　なお、左マイク１３Ｌおよび右マイク１３Ｒはレンズ鏡筒２０に対して略対称に配置される形態に限定されず、光軸に対した左右非対称であってもよい。

　補正部１４Ｂは、
・ノイズ低減処理部１４Ａによるノイズ低減処理前の周波数スペクトル（処理前スペクトル）ＳＩＬ，ＳＩＲの、各周波数帯域（ｆ１～ｆ８）における左右の信号比（処理前比、基準比）と、
・ノイズ低減処理部１４Ａによるノイズ低減処理後の周波数スペクトル（処理後スペクトル）ＳＳＬ，ＳＳＲの各周波数帯域（ｆ１～ｆ８）における左右の信号比（処理後比、第１の関係）と、
を各々比較する。

　補正部１４Ｂは、その比較結果に基づいて、処理後比ＲＳが処理前比ＲＩと、各周波数帯域において、それぞれ略一致するように補正して補正後比ＲＣ（第２の関係）、補正後の周波数スペクトル（補正後スペクトル）ＳＣＬ，ＳＣＲを求める。
　そして、補正部１４Ｂは、この補正後スペクトルＳＣＬ，ＳＣＲを記憶部１５に出力する。

　以下、この補正部１４Ｂによる補正について、図２に即してより詳細に説明する。
（処理前スペクトル）
　図２（ａ）に示すように、ノイズ低減処理部１４Ａによるノイズ低減処理前における左マイク１３Ｌから入力した音（音信号Ｌ）の周波数スペクトル（処理前スペクトル（Ｌ））における各周波数帯域（ｆ１～ｆ８）の振幅をＳＩＬ１～ＳＩＬ８とする。
　右マイク１３Ｒから入力した音（音信号Ｒ）の周波数スペクトル（処理前スペクトル（Ｒ））における各周波数帯域（ｆ１～ｆ８）の振幅をＳＩＲ１～ＳＩＲ８とする。
　処理前スペクトルの周波数帯域（ｆ１～ｆ８）ごとの振幅の左／右信号比（以下、この左／右信号比を処理前比とする）は、ＲＩ１＝ＳＩＬ１／ＳＩＲ１，・・・，ＲＩ８＝ＳＩＬ８／ＳＩＲ８となる。

（処理後スペクトル）
　また、図２（ｃ）に示すように、ノイズ低減処理部１４Ａによるノイズ低減処理後の音信号Ｌの周波数スペクトル（処理後スペクトル（Ｌ））における各周波数帯域（ｆ１～ｆ８）の振幅をＳＳＬ１～ＳＳＬ８とする。
　ノイズ低減処理部１４Ａによるノイズ低減処理後の音信号Ｒの周波数スペクトル（処理後スペクトル（Ｒ））における各周波数帯域（ｆ１～ｆ８）の振幅をＳＳＲ１～ＳＳＲ８とする。
　処理後スペクトルの周波数帯域（ｆ１～ｆ８）ごとの振幅の左／右信号比（以下、この左／右信号比を処理後比とする）は、ＲＳ１＝ＳＳＬ１／ＳＳＲ１，・・・，ＲＳ８＝ＳＳＬ８／ＳＳＲ８となる。

（補正後スペクトル）
　補正部１４Ｂは、処理前比（ＲＩ１～ＲＩ８）と、処理後比（ＲＳ１～ＲＳ８）と、
を各周波数帯域（ｆ１～ｆ８）において比較する。
　そして、補正部１４Ｂは、図２（ｄ）に示すように、処理後比（ＲＳ１～ＲＳ８）が処理前比（ＲＩ１～ＲＩ８）と各々等しくなるように補正する。そして、補正後スペクトル（Ｌ）（ＳＣＬ１～ＳＣＬ８）及び補正後スペクトル（Ｒ）（ＳＣＲ１～ＳＣＲ８）を得る。

　ここで、補正後スペクトルを得る方式には、増加補正と、減少補正と、平均補正と、がある。

（増加補正）
　増加補正は、処理後スペクトル（Ｌ）又は処理後スペクトル（Ｒ）の何れかの振幅を大きく補正して、処理後比ＲＳを処理前比ＲＩに一致させるものである。
１．処理後比ＲＳｎが処理前比ＲＩｎより大きい場合
（１）補正後スペクトル（Ｌ）を求める（Ｌ固定）
　処理後スペクトル（Ｌ）ＳＳＬｎを補正後スペクトル（Ｌ）ＳＣＬｎとする（ＳＣＬｎ＝ＳＳＬｎ）
（２）補正後スペクトル（Ｒ）を求める
　そして、（１）で求めた補正後スペクトル（Ｌ）ＳＣＬｎに対する比が、処理前比ＲＩｎと等しくなるように、補正後スペクトル（Ｒ）ＳＣＲｎを求める。
　このとき、処理後比ＲＳｎは、処理前比ＲＩｎより大きいので、処理後スペクトル（Ｌ）と同じ値の補正後スペクトル（Ｌ）ＳＣＬに対して処理前比を満たすように、処理後スペクトル（Ｒ）ＳＳＲを補正すると、補正後スペクトル（Ｒ）ＳＣＲｎは、処理後スペクトル（Ｒ）ＳＳＲｎより大きくなる（ＳＣＲｎ＞ＳＳＲｎ）。

２．処理後比ＲＳｎが処理前比ＲＩｎより小さい場合
（１）補正後スペクトル（Ｒ）を求める（Ｒ固定）
　処理後スペクトル（Ｒ）ＳＳＲｎを補正後スペクトル（Ｒ）ＳＣＲｎとする（ＳＣＲｎ＝ＳＳＲｎ）
（２）補正後スペクトル（Ｌ）を求める
　そして、（１）で求めた補正後スペクトル（Ｒ）ＳＣＲｎに対する比が、処理前比ＲＩｎと等しくなるように、補正後スペクトル（Ｌ）ＳＣＬｎを求める。
　このとき、ＳＣＬｎ＞ＳＳＬｎとなる。
　なお、上記「ｎ」には、各周波数帯域を示す数字（１～８）が入る。

　上記の増加補正において、補正後スペクトルの振幅は、本実施形態においてノイズ低減処理前の振幅以下であるが、これに限定されない。例えば、ノイズ低減処理後のスペクトルを一旦増幅した後にスペクトルの振幅を補正した場合には、補正後のスペクトルの振幅はノイズ低減処理前の振幅よりも大きくなることがある。

３．具体例
　具体例として、図２（ａ）～（ｅ）中に示すように、周波数スペクトルにおける周波数帯域ｆ３に左右で差があり、周波数帯域ｆ３における左右（Ｌ，Ｒ）の振幅値がノイズ低減処理前（６，３）で、ノイズ低減処理によって（４，１）に変化したとする。
　この場合、処理前比ＲＩ３は６／３＝２、処理後比ＲＳ３は４／１＝４、と異なる。補正後における左右信号比（補正後比）ＲＣ３を処理前比ＲＩ３と等しくするため、ノイズ低減処理後の右（Ｒ）の振幅値を１から２に補正する。
　その結果、補正後におけるＬ、Ｒの振幅値は（４，２）となり、処理前比２と等しくなる。
　このような増加補正によれば、目的音の劣化を抑えることができ、人の音がある場合や目的音が大きくノイズがあまり気にならない場合等に適する。

（減少補正）
　減少補正は、処理後スペクトル（Ｌ）又は処理後スペクトル（Ｒ）の何れかの振幅を小さく補正して、処理後比ＲＳを処理前比ＲＩに一致させるものである。
１．処理後比ＲＳｎが処理前比ＲＩｎより大きい場合
（１）補正後スペクトル（Ｒ）を求める（Ｒ固定）
　処理後スペクトル（Ｒ）ＳＳＲｎを補正後スペクトル（Ｒ）ＳＣＲｎとする（ＳＣＲｎ＝ＳＳＲｎ）
（２）補正後スペクトル（Ｌ）を求める
　そして、（１）で求めた補正後スペクトル（Ｒ）ＳＣＲｎに対する比が、処理前比ＲＩｎと等しくなるように、補正後スペクトル（Ｌ）ＳＣＬｎを求める。
　このとき、ＳＣＬｎ＜ＳＳＬｎとなる。

２．処理後比ＲＳｎが処理前比ＲＩｎより小さい場合
（１）補正後スペクトル（Ｌ）を求める（Ｌ固定）
　処理後スペクトル（Ｌ）ＳＳＬｎを補正後スペクトル（Ｌ）ＳＣＬｎとする（ＳＣＬｎ＝ＳＳＬｎ）
（２）補正後スペクトル（Ｒ）を求める
　そして、（１）で求めた補正後スペクトル（Ｌ）ＳＣＬｎに対する比が、処理前比ＲＩｎと等しくなるように、補正後スペクトル（Ｒ）ＳＣＲｎを求める。
　このとき、ＳＣＲｎ＜ＳＳＲｎとなる。
　このような減少補正は、ノイズ低減効果が高く、人声のない静かな場合等に適する。

　なお、上記の減少補正において、補正後スペクトルの振幅は、本実施形態においてノイズ低減処理後の振幅以下であるが、これに限定されない。例えば、ノイズ低減処理後のスペクトルを一旦増幅した後にスペクトルの振幅を補正した場合には、補正後のスペクトルの振幅はノイズ低減処理後の振幅よりも大きくなることがある。また、増幅の度合いに応じては、ノイズ低減処理前の振幅よりも大きくなることもある。

（平均補正）
　平均補正は、前述した増加補正と減少補正とを折衷したものである。ノイズ低減処理後の左右の周波数スペクトルにおける振幅の和を、処理後比ＲＳｎ＝処理前比ＲＩｎとなるように左右に振り分けて補正するものである。

　上記各補正方式は、補正する対象や状況に応じて、補正方式を切り換えて適用するように構成してもよい。補正方式の切り換えは、公知の技術である音認識や撮像情報から顔認識や人物認識を利用して行うことができる。たとえば、人物が大きく撮影されている場合や人の音入力が認識された場合および入力が大きい場合には増加補正を適用し、人物が認識されないその他の場合には減少補正を適用するように構成すれば良い。

　なお、本実施形態では、処理後比ＲＳ（第１の関係）を処理前比ＲＩ（基準関係）に一致させる例について説明した。しかし、本実施形態はそれに限定されない。補正後比ＲＣは必ずしもＲＣ＝処理前比ＲＩでなくても良く、ＲＣは処理前比ＲＩを含む所定の範囲内であればよい。また、補正後比ＲＣの所定の範囲とは、処理後比ＲＳよりも処理前比ＲＩに近い値となる範囲である。

　すなわち、仮に、処理後比ＲＳ（第１の関係）の音を聞くことができたとすると、補正後比ＲＣの音の定位は、第１の関係（処理後比ＲＳ）の音の定位よりも、処理前比ＲＩの音の定位に近い。
　また、補正後比ＲＣの所定の範囲とは、補正後比ＲＣが処理前比ＲＩのプラスマイナス５％以内に含まれるような範囲と定めてもよい。

　また、補正後比ＲＣの所定の範囲とは、ノイズ低減処理前の音像の位置に対して、補正後の音像の位置がプラスマイナス３０°以内に含まれるような範囲であってもよい。このように、補正後比ＲＣの所定の範囲を、補正後の音像の位置が所定の角度の範囲に含まれるような範囲として定めてもよい。また補正後比ＲＣの所定の範囲とは、補正後の音像の位置がプラスマイナス３０°よりも狭い、プラスマイナス１５°以内に含まれる範囲であってもよい。

　つぎに、図３に示すフローチャートに沿って、ノイズ低減処理部１４Ａおよび補正部１４Ｂによるノイズ低減処理と補正制御の流れを説明する。なお、図３中および以下の説明では、ステップを「Ｓ」とも略記する。
　ノイズ低減処理部１４Ａによるノイズ低減処理と補正部１４Ｂによる補正は、前述したようにＡＦエンコーダ２１の出力等のＡＦ駆動情報に基づいてスタートする。つまり、ＡＦ駆動時のみに機能する。

　ノイズ低減処理と補正制御は、まず、補正部１４Ｂがノイズ低減処理部１４Ａによるノイズ低減処理前におけるそのフレームの処理前比ＲＩを演算し（Ｓ３０１）、ノイズ低減処理部１４Ａによってノイズ低減処理を行う（Ｓ３０２）。
　ついで、補正部１４Ｂが、ノイズ低減処理部１４Ａによるノイズ低減処理後の処理後比ＲＳを演算し（Ｓ３０３）、その処理後比ＲＳと処理前比ＲＩとを比較する（Ｓ３０４）。
　ステップ３０４において両者が等しくないと判断された場合（Ｎｏ）には、補正部１４Ｂによってノイズ低減処理後の信号に補正を行う（Ｓ３０５）。一方、ステップ３０４において両者が等しいと判断された場合（Ｙｅｓ）には、補正することなく制御を終了する。

　上記のように、補正部１４Ｂは、周波数スペクトルの各周波数帯域における処理後比を、処理前比と略一致するように補正する。
　これにより、ステレオ信号をノイズ発生タイミングに合わせてノイズ低減処理を行った際に、そのノイズ低減処理に起因する目的音の音像変位を抑制することができる。

　すなわち、図４に概念図を示すように、人物Ｍから見た目的音の音像位置に対して、ノイズ低減処理のみで補正しない処理音の音像が大きく移動してしまう場合でも、補正によって音像の移動を小さく抑えることができる。その結果、ノイズ低減処理時（ＡＦ駆動時）において映像と音像とが突然乖離するといった違和感のある音像変位を防ぐことができるものである。
　また、本実施形態において音処理は、全周波数帯域において行うものでなくてもよく、一部の周波数帯域に対して音処理を行ってもよい。一部の周波数帯域の例としては、ノイズが特に検出される周波数帯域や、可聴の周波数帯域、極端な高周波や低周波をカットした周波数帯域があげられる。

（第２実施形態）
　つぎに、第２実施形態について説明する。
　図５は、第２実施形態にかかる音情報処理部１４におけるノイズ低減処理と補正のフローチャートである。図２、図３と同様に、周波数スペクトルにおける周波数帯域ｆ３について説明する。
　本第２実施形態は、補正の基準とする左右信号比（処理前比）を、ノイズ（ＡＦ駆動音）発生の無い部分（フレーム）から取得するものである。なお、機構的な構成は、前述した第１実施形態と全く同様であり、説明は省略する。以下の説明中における構成要素の符号等は、図１参照のこと。
　本第２実施形態では、補正の基準とする左右信号比を、ノイズ低減処理部分の直前または直後の部分から求める。なお、直前の信号比を利用する場合にはリアルタイムの処理（逐次処理）が可能であるが、直後の信号比を利用する場合には逐次処理が難しく後処理の場合にのみ適用可能である。

　このように、ノイズ（ＡＦ駆動音）が混入していない部分から左右信号比を求めてこれを補正の基準とすることで、ノイズの影響を受けずに目的音の左右比を求めることができる。
　ただし、目的音の時間変化が大きい場合は、ノイズ低減処理部分の直前と、ノイズ低減処理部分とで、目的音のスペクトル（左右信号比）が大きく変化することがあり、実際に発生している目的音の音像移動に追従できないことがある。このようなことを防ぐため、補正の基準とする左右信号比を、ノイズ低減処理部分の直前から求めた左右信号比と、前述した第１実施形態のようにノイズ低減処理部分の左右信号比と、の何れかを選択可能とすることが好ましい。

　この補正基準となる左右信号比を選択して適用する場合におけるノイズ低減処理および補正を、図５に示すフローチャートに沿って説明する。
　まず、補正部１４Ｂが、ＡＦエンコーダ２１の出力等のＡＦ駆動情報に基づいてノイズ低減処理をスタートする直前のフレームの左右の信号比ＲＩｂを演算し（Ｓ５０１）、ノイズ低減処理に入った後にノイズ低減処理部１４Ａによるノイズ低減処理前における各フレームの左右の信号比ＲＩａを演算する（Ｓ５０２）。

　そして、信号比ＲＩｂと信号比ＲＩａとの差（絶対値）を、予め定められた閾値Ａと比較判定する（Ｓ５０３）。
　ステップ５０３において、信号比ＲＩｂと信号比ＲＩａとの差が閾値Ａ以下と判定された場合（Ｙｅｓ）には、信号比ＲＩｂを基準比ＲＩとして設定する（Ｓ５０４）。一方、ステップ５０３において、信号比ＲＩｂと信号比ＲＩａとの差が閾値Ａを越えていると判定された場合（Ｎｏ）には、信号比ＲＩａを基準比ＲＩとして設定する（Ｓ５０５）。

　その後、ノイズ低減処理部１４Ａによってノイズ低減処理を行い（Ｓ５０６）、ついで、補正部１４Ｂが、ノイズ低減処理部１４Ａによるノイズ低減処理後の左右の信号比ＲＳを演算し（Ｓ５０７）、そのノイズ低減処理後左右信号比ＲＳとノイズ低減処理前左右信号比ＲＩとを比較する（Ｓ５０８）。
　ステップ５０８において両者が等しくないと判断された場合（Ｎｏ）には、補正部１４Ｂによってノイズ低減処理後の信号に補正を行う（Ｓ５０９）。一方、ステップ５０８において両者が等しいと判断された場合（Ｙｅｓ）には、補正することなく制御を終了する。

　上記構成では、ノイズ低減処理部分の直前から求めた左右信号比ＲＩｂとノイズ低減処理部分の左右信号比ＲＩａとを比較し、その差が小さい場合には、目的音の音像の移動が小さいと判断してノイズの影響を受けない信号比ＲＩｂを基準信号比ＲＩとして採用し、差が所定量より大きい場合には、目的音の音像の移動が大きいと判断して信号比ＲＩａを基準信号比ＲＩとして採用するものである。
　このような構成によれば、目的音の音像の移動が小さい場合には処理部分の直前と処理部分の音像の連続性を保つことができ、目的音の音像の移動が大きい場合には違和感のない円滑な音像移動を再現できる。

　なお、事後処理（逐次処理でなく一旦記録した後に、読み出して行う処理）となるが、ノイズ低減処理部分の直前と直後の部分（フレーム）の左右信号比をそれぞれ求め、その変化率に対応させて左右の信号比率を変化させても良い。つまり、ノイズ低減処理部分の直前と直後において左右信号比が大きく異なる場合は、音源が左右に移動したと考えられるため、ノイズ低減処理部分の直前と直後の左右の信号比の変化と対応するように音像を移動させる処理を行うものである。

　図６は、このような処理の説明図である。
　図６（ａ）に示すように、フレーム４～１０がノイズ低減処理フレームである場合、フレーム３が直前部分、フレーム１１が直後部分のフレームである。
　図６（ｂ）において、ＳＦＬ３は直前（フレーム３）の左スペクトル、ＳＦＲ３は直前（フレーム３）の右スペクトル、ＳＦＬ１１は直後（フレーム１１）の左スペクトル、ＳＦＲ１１は直後（フレーム１１）の右スペクトルである。

　ここで、たとえば、周波数帯域ｆ３について見と、
　左側：ＳＦＬ１１のｆ３（振幅１．５）は、ＳＦＬ３のｆ３（振幅３）より減少している。
　右側：ＳＦＲ１１のｆ３（振幅３）は、ＳＦＲ３のｆ３（振幅１）より増加している。
これは、ノイズ低減処理フレーム４～１０の間に音源が左側から右側に移動していることを示す。

　そこで、ノイズ低減処理フレーム４～１０における左右の信号比（処理前比）については、図６（ｃ）に示すように、直前（フレーム３）の左右の信号比（３／１＝３）から、直後（フレーム１１）の左右の信号比（１．５／３＝０．５）へ、連続して変化するようにして補正の基準値となる信号比を求める。
　具体的には、直前と直後の値（３と０．５）と直前と直後の間にあるフレーム（７つ）とに基づいて、各フレームでの左右の信号比の値を求める。具体的にはフレーム４～１０間で２．５／８の値ずつ左右比を減少させるような補正を行う。
　ｆ３以外の周波数帯域についても、各々同様の処理を行う。
　その結果、処理直前から処理中、処理直後の左右の信号比が連続的に変化し、音像の移動が滑らかになり、違和感を軽減することができる。

　以上、本実施形態によると、以下の効果を有する。
（１）カメラ１における補正部１４Ｂは、ノイズ低減処理後における周波数スペクトルの各周波数帯域における左右の信号比を、ノイズ低減処理前における周波数スペクトルの各周波数帯域における左右の信号比と略一致するように補正する。これにより、ステレオ信号をノイズ発生タイミングに合わせてノイズ低減処理する際に、そのノイズ低減処理に起因して生ずる目的音の音像変位を抑制することができる。その結果、ノイズ低減処理時（ＡＦ駆動時）における音像変位による違和感を防ぐことができる。

（変形形態）
　以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
（１）上記実施形態は、本発明を音処理装置としてのカメラに適用して説明した。しかし、本発明はこれに限らず、コンピュータを上記各構成要素として機能させるプログラムとして提供されるものであっても良い。

（２）上記実施形態は、本発明をカメラにおけるＡＦ駆動音によるノイズを低減するように構成したもの例に挙げて説明した。しかし、本発明はこれに限らず、ズーミングやブレ補正装置の作動ノイズの低減にも適用可能なものであり、さらに、カメラに限らず録音機能を備える光学機器に適用可能である。

（３）本実施形態では、カメラ本体１０に音情報処理部１４が含まれている例について説明したが、これに限定されず、カメラに備わるステレオマイクで録音した後、音処理装置のほうにデータを送信し、音処理装置で低減処理を行ってもよい。すなわち、音を集音する部分と、音の低減処理を施す部分とが分離していてもよい。
　この場合、一例として以下のような流れで処理が行われる。
　カメラ等に備わるステレオマイクで周囲の音が録音される。
　そして、そのステレオマイクで録音した音が音データに変換され、記憶部に記憶される。
　録音の際にＡＦ等のカメラ備わる機能の動作が行われた場合は、周囲の音を録音した音データとカメラに備わる機能の動作（例えばＡＦの動作）を行ったタイミングとを関連づけて記憶させる。
　次に、記憶部に記憶された音データと動作タイミングとが出力部を介して、別体の音処理装置、例えばＰＣ等に出力される。
　音処理装置は、制御部、記憶部、ノイズ低減処理部（以下、これらをＳＰ制御部、ＳＰ記憶部、ＳＰノイズ低減処理部という）を備える。
　ＳＰ制御部は、カメラから入力部を介して入力されたその音データと動作タイミングと音データをＳＰ記憶部に記憶させる。
　ＳＰ制御部は、ＳＰ記憶部に記憶された音データをＳＰ低減処理部へ出力し、ＳＰ低減処理部は音データに対してＡＦ音などの雑音の低減を行う。
　なお、音の低減処理は、音データと共に記憶されている機能の動作タイミングに基づいて行う。その後、ＳＰ制御部は、低減処理された音データをＳＰ記憶部に記憶させる。このようにして、音データに対して低減処理を施してもよい。

（第３実施形態）
　以下、図面等を参照して、第３実施形態について説明する。
　図７は、第３実施形態にかかる音処理装置（音情報処理部）を備えたカメラ１００の正面側から見た外観概略斜視図である。図８は、カメラ１００のブロック構成図である。

　図７および図８に示すように、カメラ１００は、カメラ本体１１０と、レンズ鏡筒１２０とにより構成されている。カメラ１００は、自動的に合焦するオートフォーカス（以下ＡＦと略記する）機能を備えている。また、カメラ１００は、静止画と動画の何れも撮影可能であって、動画撮影時には画像と同時に音響をステレオで記録可能である。
　なお、カメラ１００は、カメラ本体１１０に対してレンズ鏡筒１２０が交換可能なものであってよく、また、カメラ本体１１０とレンズ鏡筒１２０とが一体のものであってもよい。

　カメラ本体１１０は、撮像部１３０と、録音部１４０と、記憶部１１１と、制御部１１２と、出力部１１８と、入力部１１９とを備えている。
　撮像部１３０は、撮像素子１３１と、Ａ／Ｄ変換部１３２と、画像処理部１３３と、により構成されている。
　撮像素子１３１は、ＣＣＤ等の光電変換素子により構成されている。撮像素子１３１は、レンズ鏡筒１２０の結像光学系によって結像された被写体像光をアナログの電気信号に変換し、Ａ／Ｄ変換部１３２に出力する。

　Ａ／Ｄ変換部１３２は、撮像素子１３１から入力されたアナログの画像信号をデジタル画像信号に変換して画像処理部１３３に出力する。
　画像処理部１３３は、Ａ／Ｄ変換部１３２から入力されたデジタル画像信号を画像処理して画像データを生成し、記憶部１１１に出力する。

　録音部１４０は、ステレオ集音装置１４１と、Ａ／Ｄ変換部１４２と、音情報処理部１５０と、により構成されている。
　ステレオ集音装置１４１は、図７に示すように、左右一対のマイクロフォン（左マイク１４１Ｌ，右マイク１４１Ｒ）を備えている。各マイク１４１Ｌ，１４１Ｒは、それぞれ外部の音を集音してアナログ信号としてＡ／Ｄ変換部１４２に出力する。
　Ａ／Ｄ変換部１４２は、ステレオ集音装置１４１から入力されたアナログ音信号を、デジタル音信号に変換して音情報処理部１５０に出力する。

　音情報処理部１５０は、Ａ／Ｄ変換部１４２から入力したステレオ集音装置１４１における左マイク１４１Ｌと右マイク１４１Ｒの音信号に含まれる動作ノイズをそれぞれ低減処理して音データを作成し、記憶部１１１に出力する。
　なお、本実施形態において低減処理対象とする動作ノイズは、レンズ鏡筒１２０から発生するＡＦ制御にかかる駆動ノイズ（ＡＦ駆動音）である。この音情報処理部１５０については、後に詳述する。

　記憶部１１１は、撮像部１３０（画像処理部１３３）が出力する画像データと、録音部１４０（音情報処理部１５０）が出力する音データを記憶する。記憶部１５は、バッファーやカメラに内蔵されたメモリでもよいし、またＳＤカードやＨＤＤ等の外部の記憶媒体でもよい。

　出力部１１８は、記憶部１５に記憶された画像データ及び音データを出力する。出力部１１８は、外部機器へ音情報(電気信号)を出力するためのインターフェース等である。外部機器とは、これに限定されないが、例えばＰＣ、外部スピーカ、携帯電話等である。ただし、これに限定されず、出力部１１８は、カメラ１００に設けられた背面液晶及びスピーカであってもよい。なお、出力部１１８がスピーカの場合、出力部１１８は音情報(電気信号)を音に変換する変換部も備える。

　入力部１１９は、外部機器からデータを入力するためのインターフェース等である。
　外部機器とデータのやり取り（通信）をする際には、出力部１１８と入力部１１９は別体となっていなくてもよく、入力部１１９と出力部１１８が一体となっているよう２１な構成であってもよい。
　なお、外部機器とは、これに限定されないが、例えばＰＣ、外部マイク、携帯電話等である。

　制御部１１２は、ＣＰＵ等を備えて構成され、設定された撮像条件（例えば、絞り値、露出値等）に応じて、レンズ鏡筒１２０の後述する各構成要素を含めた当該カメラ１００の各構成要素を統括制御する。たとえば、制御部１１２は、後述するレンズ鏡筒１２０におけるＡＦ駆動モータ１２３を駆動する駆動制御信号を生成し、ＡＦ駆動モータ１２３に出力する。
　また、制御部１１２は、タイミング信号検出部１１２ａを備える。タイミング信号検出部１１２ａは、後述するが、レンズ鏡筒１２０から発生するＡＦ制御のタイミングを検出する。

　レンズ鏡筒１２０は、フォーカシングレンズ１２１と図示しない手振れ補正レンズおよびズーミングレンズ等により構成される結像光学系と、ＡＦエンコーダ１２２と、ＡＦ駆動モータ１２３と、を備えている。
　ＡＦエンコーダ１２２は、フォーカシングレンズ１２１の位置を検出し、ＡＦ駆動モータ１２３の駆動制御情報としてカメラ本体１１０の制御部１１２に出力する。
　ＡＦ駆動モータ１２３は、制御部１６から入力されるフォーカシングレンズ１２１の位置を制御するための駆動制御信号に応じて、フォーカシングレンズ１２１を移動駆動する。このＡＦ駆動モータ１２３の駆動音が、本実施形態における録音部１４０の音情報処理部１５０が低減処理対象とする主なＡＦ駆動音である。

　そして、カメラ１００は、使用者による図示しないシャッタボタンの押圧操作によって撮影が指令されると、制御部１１２によって制御されて撮影作用を行う。すなわち、撮像部１３０が被写体像光を電気信号に変換すると共に画像処理して画像データとし、記憶部１１１を介して記録媒体に記録する（撮影する）。制御部１１２は、撮影時において、ＡＦ駆動モータ１２３を介してフォーカシングレンズ１２１を移動駆動するＡＦ制御を行う。

　動画撮影時においては、撮像部１３０がローリングシャッターで被写体像光を電気信号に変換して順次取り込み、記憶部１１１を介して１秒間に所定のフレーム（コマ数）の画像を記録媒体に記録する。
　また、前述したように、録音部１４０が集音して音情報処理した音データを、画像データと共にフレーム毎に記憶部１１１を介して記録媒体に記録（録音）する。
　動画撮影時には、撮影期間を通して被写体の位置変化に対応してＡＦ制御を行い、ＡＦ駆動音は不定期に発生する。

　つぎに、録音部１４０における音情報処理部１５０について詳細に説明する。図９は、音情報処理部１５０における機能ブロック図である。
　前述したように、音情報処理部１５０は、Ａ／Ｄ変換部１４２から入力したステレオ集音装置１４１における左マイク１４１Ｌと右マイク１４１Ｒの音信号に含まれるＡＦ駆動ノイズを低減処理する。
　以下、左マイク１４１Ｌが集音した音情報の流れを左チャンネル（図中Ｌｃｈと略記する）、右マイク１４１Ｒが集音した音情報の流れを右チャンネル（Ｒｃｈ）として説明する。なお、この左右は、撮影者側から見た左右である。

　本実施形態における音情報処理部１５０は、一方のチャンネル（本実施形態では左チャンネル）の音情報に対してスペクトル減算法でノイズ低減処理すると共に、この情報を用いて他方のチャンネル（右チャンネル）の音情報に対してスペクトル調整処理を行う。

　図９に示すように、音情報処理部１５０は、左右両チャンネルそれぞれのスペクトル変換部５１Ｌ，５１Ｒと、左チャンネルのノイズスペクトル推定部５２Ｌと、左チャンネルのノイズスペクトル低減部５３Ｌと、右チャンネルのスペクトル調整部５４Ｒ（算出部，処理部，補正部）と、左右両チャンネルの逆変換部５５Ｌ，５５Ｒと、を備えている。
　また、ノイズスペクトル低減部５３Ｌは、さらに衝撃音ノイズ低減処理部５３Ａと駆動音ノイズ低減処理部５３Ｂとを備える。

　以下、音情報処理部１５０の各部についてさらに詳細に説明する。
（スペクトル変換部）
　スペクトル変換部５１Ｌ，５１Ｒは、Ａ／Ｄ変換部１４２から入力された左右両チャンネルの音信号に対して、それぞれ、予め決められた区間ごとに窓関数で重み付けするとともに、この区間毎の音信号を周波数領域毎の振幅を表わすスペクトルＳＬ，ＳＲ（後述の図１１参照）に変換する。

　図１０はＡＦレンズを駆動した際に、マイクで集音されるマイク音信号の一例である。図１０のグラフは、縦軸にマイク２３０によって集音されたマイク信号を、横軸に時間をそれぞれ示す。図１０に示すように、ＡＦ駆動を行なう場合、図示の時刻ｔ１０～ｔ１１、時刻ｔ２０～ｔ２１の時間で衝撃音が発生している。
　なお、図１０は説明便宜のため、マイク音信号のうち、動作音の音信号のみを示し、目的音の音信号の図示を省略する。

　スペクトル変換部５１Ｌ，５１Ｒは、Ａ／Ｄ変換部１４２から出力されたマイク音信号に対して、あらかじめ定められた区間ごとに窓関数で重み付けする。そして、この区間ごとのマイク音信号に対して、例えば、フーリエ変換、あるいは高速フーリエ変換（ＦＦＴ：Ｆｉｒｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）を行い、周波数領域に変換し、窓関数の各区間に対応する周波数スペクトルを算出する。

　ここで、窓関数のあらかじめ定められた区間とは、信号処理の単位（フレーム）であって、一定の間隔で繰り返される区間である。これらの窓関数の各区間は、他の窓関数の各区間と半分ずつオートフォーカスバラップしている。なお窓関数は、例えばハニング窓（ハニングウィンドウ）関数が利用可能である。

　図１０を参照してスペクトル変換部５１Ｌ，５１Ｒにより算出される窓関数の各区間に対応する周波数スペクトルの一例について説明する。
　スペクトル変換部５１Ｌ，５１Ｒは、上述の通り、Ａ／Ｄ変換部１４２から出力されたマイク音信号に対して、他の区間と半分づつオーバラップしている窓関数で重み付けする。これにより、マイク音信号は、窓関数のサイズに分割される。
　このスペクトル変換部５１Ｌ，５１Ｒは、窓関数で重み付けされた各区間のマイク信号ごとに、例えばフーリエ変換を行い、図１０に示すように、他の区間と半分づつオーバラップしている周波数スペクトルＳ１～Ｓ１４を算出する。

（ノイズスペクトル推定部）
　ノイズスペクトルの推定は、左チャンネルから入力されて周波数スペクトルに変換された音信号に対して、タイミング信号検出部１１２ａから検出されたタイミングに基づいて行なわれる。

　タイミング信号検出部１１２ａは、レンズ鏡筒１２０の動作状態が変化するタイミング（動作変化タイミング）を検出する。
　この動作変化タイミングとしては、例えば、フォーカシングレンズ１２１が動作を開始する動作開始タイミングと、フォーカシングレンズ１２１の動作が停止する動作停止タイミングとがある。

　タイミング信号検出部１１２ａは、ＡＦ駆動モータ１２３に入力される駆動制御信号に基づいて、動作変化タイミングを検出することができる。
　また、タイミング信号検出部１１２ａは、駆動制御信号を生成する場合に制御部１１２内部で実行される処理やコマンドに基づいて、動作変化タイミングを検出してもよい。
　さらに、タイミング信号検出部１１２ａは、操作部から入力される操作信号に基づいて、動作変化タイミングを検出してもよい。
　また、タイミング信号検出部１１２ａは、例えば、エンコーダ１２２から出力されるパルス信号に基づきの出力に基づいて、動作変化タイミングを検出してもよい。

　そして、タイミング信号検出部１１２ａは、図１０で示す衝撃音が発生している時刻ｔ１０からｔ１１を示す情報を、動作開始タイミング信号として出力する。
　また、タイミング信号検出部１１２ａは、図１０で示す衝撃音が発生している時刻ｔ２０からｔ２１を示す情報を、動作停止タイミング信号として出力する。

　この、タイミング信号検出部１１２ａからの動作開始タイミング信号及び動作停止タイミング信号に基づき、ノイズスペクトル推定部５２Ｌは、図１０の周波数スペクトルＳ２～Ｓ４が、ＡＦレンズ１２１の動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０からｔ１１を含む音情報であると推定する。
　また、ノイズスペクトル推定部５２Ｌは、周波数スペクトルＳ９～Ｓ１２が、ＡＦレンズ１２１の動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０～ｔ２１を含む音情報であると推定する。
　そして、ノイズスペクトル推定部５２Ｌは、周波数スペクトルＳ５～Ｓ８が、ＡＦレンズ１２１による駆動音の発生期間に対応する音情報であると推定する。

　ノイズスペクトル推定部５２Ｌは、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和と、予め決められた閾値とを比較する。
　この予め定められた閾値とは、衝撃音に対して目的音が大きいため、衝撃音による音声劣化が少ないとされる目的音の周波数スペクトルの周波数成分の総和である。

　衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和が、予め定められた閾値未満であると判定した場合、ノイズスペクトル推定部５２Ｌは、算出した周波数スペクトルＳ１～Ｓ１４をノイズスペクトル低減部５３Ｌの衝撃音ノイズ低減処理部５３Ａに出力する。

　一方、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和が、予め定められた閾値以上であると判定した場合、ノイズスペクトル推定部５２Ｌは、算出した周波数スペクトルＳ１～Ｓ１４をノイズスペクトル低減部５３Ｌの駆動音ノイズ低減処理部５３Ｂに出力する。

（衝撃音ノイズ低減処理部）
　衝撃音ノイズ低減処理部５３Ａは、例えば、周波数スペクトルＳ１～Ｓ１４から、衝撃音が発生している可能性の高い期間に対応する周波数スペクトル（第１周波数スペクトル）を取得する。
　例えば、衝撃音ノイズ低減処理部５３Ａは、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０～ｔ１１に示す周波数スペクトルＳ２～Ｓ４を第１周波数スペクトルとして取得する。そして、衝撃音ノイズ低減処理部５３Ａは、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０～ｔ２１に示す周波数スペクトルＳ９～Ｓ１２を第１周波数スペクトルとして取得する。

　また、衝撃音ノイズ低減処理部５３Ａは、周波数スペクトルＳ１～Ｓ１４から、衝撃音が発生していない可能性の高い期間に対応する周波数スペクトル（第２周波数スペクトル）を取得する。
　本実施形態において、衝撃音ノイズ低減処理部５３Ａは、第１周波数スペクトルと、時間軸方向において最も近い周波数スペクトルを第２周波数スペクトルとして取得する。

　例えば、図１０に示すように、衝撃音ノイズ低減処理部５３Ａは、第１周波数スペクトルである周波数スペクトルＳ２、Ｓ３に対応する第２周波数スペクトルとして、周波数スペクトルＳ２，３の時間軸の過去方向に最も近い周波数スペクトルＳ１を取得する。
　また、第１周波数スペクトルである周波数スペクトルＳ４に対応する第２周波数スペクトルとして、周波数スペクトルＳ４の時間軸の未来方向に最も近い周波数スペクトルＳ５を取得する。
　また、第１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０に対応する第２周波数スペクトルとして、周波数スペクトルＳ９，１０の時間軸の過去方向に最も近い周波数スペクトルＳ８を取得する。
　さらに、第１周波数スペクトルである周波数スペクトルＳ１１，１２に対応する第２周波数スペクトルとして、周波数スペクトルＳ１１，１２の時間軸の未来方向に最も近い周波数スペクトルＳ１３を取得する。

　そして、衝撃音ノイズ低減処理部５３Ａは、第１周波数スペクトルのうちの少なくとも一部を第２周波数スペクトルの対応する部分に置き換える。
　この置き換えの一例として、例えば、衝撃音ノイズ低減処理部５３Ａは、第１周波数スペクトルのうち予め定められた閾値周波数以上の周波数スペクトルと、第２周波数スペクトルのうち予め定められた閾値周波数以上の周波数スペクトルとを、周波数成分ごとに比較して、第２周波数スペクトルのほうが第１周波数スペクトルに比べて小さいと判定した場合に、第１周波数スペクトルにおける当該周波数成分を第２周波数スペクトルの周波数成分に置き換える。

（駆動音ノイズ低減処理部）
　一方、駆動音ノイズ低減処理部５３Ｂは、タイミング信号検出部１１２ａから入力するタイミング信号に基づき、例えば、周波数スペクトルＳ１～Ｓ１４から、駆動音が発生している可能性の高い期間に対応する周波数スペクトル（第３周波数スペクトル）を取得する。
　例えば、駆動音ノイズ低減処理部５３Ｂは、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０～ｔ１１と、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０～ｔ２１とに基づき、駆動音が発生している可能性のある期間に対応する周波数スペクトルＳ２～Ｓ１２を、第３周波数スペクトルとして取得する。

　駆動音ノイズ低減処理部５３Ｂは、取得した第３周波数スペクトルに対して、駆動パターンに応じて予め定められているノイズを低減する駆動音ノイズ低減処理を行なう。
　例えば、駆動音ノイズ低減処理部５３Ｂは、駆動パターンに応じて予め定められているノイズを表す周波数スペクトルの周波数成分を、第３周波数スペクトルの周波数成分から減算する周波数スペクトル減算法を用いる。
　なお、駆動パターンに応じて予め定められているノイズの周波数スペクトルは、設定値として音情報処理部１５０に予め設定されている。しかし、これに限定されず駆動音ノイズ低減処理部５３Ｂが過去のマイク音信号に基づいて、駆動音が発生している区間の周波数スペクトルから駆動音が発生していない区間の周波数スペクトルを減算することにより、推定される駆動音のノイズの周波数スペクトルを、駆動パターンとして算出しておくものであっても良い。

　以上のように、ノイズスペクトル低減部５３Ｌの衝撃音ノイズ低減処理部５３Ａ及び駆動音ノイズ低減処理部５３Ｂは、それぞれのフレームの周波数スペクトルごとに、ＡＦ駆動ノイズの発生が検知された左チャンネルの周波数スペクトルＳＬから、ＡＦ駆動ノイズ成分を低減処理した左チャンネルの周波数スペクトルＳＳＬを算出する。

（スペクトル調整部）
　図１１は、左チャンネルから右チャンネルの周波数スペクトルＳＳＲを得る方法を説明する。
　図示するように、音情報処理部１５０のスペクトル調整部５４Ｒは、スペクトル変換部５１Ｌが算出した（ノイズ低減処理前の）左チャンネルの周波数スペクトルＳＬに対する、スペクトル変換部５１Ｒが算出した右チャンネルの周波数スペクトルＳＲの周波数領域毎の振幅の比で、ノイズスペクトル低減部５３Ｌによるノイズ低減処理後の左チャンネルの周波数スペクトルＳＳＬの周波数領域毎の振幅を調整して、右チャンネルの周波数スペクトルＳＳＲを得る。

　すなわち、
　ＳＬ（ｋ）：左チャンネルのノイズ低減前のスペクトル
　ＳＲ（ｋ）：右チャンネルのノイズ低減前のスペクトル
　ＳＳＬ（ｋ）：左チャンネルのノイズ低減後のスペクトル
　ＳＳＲ（ｋ）：右チャンネルの調整後のスペクトル
　なお、ｋ：周波数成分番号
　として、
　右チャンネルの調整後のスペクトルＳＳＲ（ｋ）を、
　ＳＳＲ（ｋ）＝ＳＳＬ（ｋ）＊ＳＲ（ｋ）／ＳＬ（ｋ）
　で求める。

　換言すると、スペクトル調整部５４Ｒは、ノイズ低減処理前の左チャンネルの周波数スペクトルＳＬに対する、右チャンネルの周波数スペクトルＳＲの、周波数領域毎の振幅の比（図１１中における左右振幅比：Ｒ）を求め、ノイズ低減処理後の左チャンネルの周波数スペクトルＳＳＬに対して周波数領域毎にこの左右振幅比：Ｒとなる右チャンネルの周波数スペクトルＳＳＲを算出する。

　たとえば、図１１中に例示するように、
　ＳＬ（ｆ３）＝１．０
　ＳＲ（ｆ３）＝０．５
　ＳＳＬ（ｆ３）＝０．６
　の場合には、
　Ｒ（ｆ３）＝０．５／１．０＝０．５
　であって、
　ＳＳＲ（ｆ３）＝０．６×０．５＝０．３
　となる。

（逆変換部）
　逆変換部５５Ｌ，５５Ｒは、ノイズスペクトル低減部５３Ｌによってノイズ低減処理を行った周波数スペクトルＳＳＬ、または、スペクトル調整部５４Ｒによって調整を行った周波数スペクトルＳＳＲに対して、それぞれ、例えば逆フーリエ変換、あるいは逆高速フーリエ変換（ＩＦＦＴ：Ｉｎｖｅｒｓｅ　Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）を行うことで、時間領域に変換する。逆変換部５５ＬはＬｃｈの入力音の位相情報を用いて逆変換を行い、逆変換部５５ＲはＲｃｈの入力音の位相情報を用いて逆変換を行う。そして、逆変換部５５Ｌ，５５Ｒは、この時間領域に変換された音信号を、記憶部１１１に出力する。

（動作のフローチャート）
　次に、音情報処理部１５０における上述動作について図１２のフローチャートに基づいて説明する。

　まず、左右のマイク１４１Ｌ，１４１Ｒより入力された左右両チャンネルの音信号は、Ａ／Ｄ変換部１４２でＡ／Ｄ変換が行なわれ、音情報処理部１５０に入力される（ステップＳ１０）。

　音情報処理部１５０のスペクトル変換部５１Ｌ，５１Ｒは、例えば、マイク音信号にフーリエ変換を行なうことで、窓関数の各区間に対応する周波数スペクトルを算出する（ステップＳ１１）。

　音情報処理部１５０のノイズスペクトル推定部５２Ｌは、動作変化タイミング信号より、衝撃音発生期間を推定し、衝撃音が発生しているスペクトルを推定する（ステップＳ１２）。

　音情報処理部１５０のノイズスペクトル推定部５２Ｌは、左チャンネルの音情報に対して、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和と、予め決められた閾値とを比較する（ステップＳ１３）。

　衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和が閾値よりも小さい場合（ステップＳ１３，ＹＥＳ）、音情報処理部１５０の衝撃音ノイズ低減処理部５３Ａは、衝撃音発生している可能性の高い期間に対応する周波数スペクトル（第１周波数スペクトル）を取得する。
　また、衝撃音ノイズ低減処理部５３Ａは、周波数スペクトルＳ１～Ｓ１４から、衝撃音が発生していない可能性の高い期間に対応する周波数スペクトル（第２周波数スペクトル）を取得する（ステップＳ１４）。

　衝撃音ノイズ低減処理部５３Ａは、第１周波数スペクトルのうちの少なくとも一部を第２周波数スペクトルの対応する部分に置き換えて衝撃音ノイズ低減スペクトルを取得する（ステップＳ１５）。

　駆動音ノイズ低減処理部５３Ｂは、駆動音が発生している可能性のある期間に対応する周波数スペクトルを、第３周波数スペクトルとして取得する。そして、駆動音ノイズ低減処理部５３Ｂは、衝撃音ノイズ低減スペクトルに対して、取得した第３周波数スペクトルをもとに、駆動パターンに応じて予め定められているノイズを低減する駆動音ノイズ低減処理を行なう（ステップＳ１６）。
　なお、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和が閾値以上の場合（ステップＳ１３，ＮＯ）もステップＳ１６に進む。

　音情報処理部１５０のスペクトル調整部５４Ｒは、スペクトル変換部５１Ｌが算出した（ノイズ低減処理前の）左チャンネルの周波数スペクトルＳＬに対する、スペクトル変換部５１Ｒが算出した右チャンネルの周波数スペクトルＳＲの周波数領域毎の振幅の比で、ノイズスペクトル低減部５３Ｌによるノイズ低減処理後の左チャンネルの周波数スペクトルＳＳＬの周波数領域毎の振幅を調整して、右チャンネルの周波数スペクトルＳＳＲを得る（ステップＳ１７）。

　スペクトル調整部５４Ｒは、ノイズスペクトル低減部５３Ｌによってノイズ低減処理を行った周波数スペクトルＳＳＬ、または、スペクトル調整部５４Ｒによって調整を行った周波数スペクトルＳＳＲに対して、それぞれ、例えば逆フーリエ変換を行うことで、時間領域に変換する（ステップＳ１８）。

　上記のような音情報処理部１５０によるノイズ低減処理によれば、ノイズ低減処理後の周波数スペクトルの各周波数成分の左右比が、処理前後で保たれる。これにより、本来の定位感を保ったままノイズを低減した音声を得ることができる。
　また、右チャンネルにおける推定ノイズスペクトルの算出およびノイズスペクトルの低減（左チャンネルにおけるノイズスペクトル推定部５２Ｌとノイズスペクトル低減部５３Ｌ）を省くことができる。これにより、演算量、および必要なメモリを削減することができる。

　ここで、上記実施形態では、左チャンネルにおいて推定ノイズスペクトルの算出およびノイズスペクトルの低減を行い、その情報に基づいて右チャンネルのスペクトル調整を行っている。
　しかし、この左右チャンネルの分担は、逆であっても良い。つまり、右チャンネルにおいて推定ノイズスペクトルの算出およびノイズスペクトルの低減を行い、その情報に基づいて左チャンネルのスペクトル調整を行うものであってもよい。さらに、状況に応じて切り替えるように構成しても良い。

　左右のチャンネルの処理を状況に応じて切り替える構成としては、たとえば、制御部１１２によってノイズの発生源に対してステレオ集音装置１４１における左マイク１４１Ｌと右マイク１４１Ｒのいずれが近いかを判断し、近い方のマイク入力のチャンネルの音情報に対して推定ノイズスペクトルの算出およびノイズスペクトルの低減を行い、その情報に基づいて他方のチャンネルのスペクトル調整を行うように構成してもよい。

　また、左右のチャンネルの処理を状況に応じて切り替える他の構成として、ＡＦエンコーダ１２２の出力信号に基づいて音信号内におけるＡＦ駆動ノイズの発生を検知した際に、音信号入力が小さい側のチャンネルの音情報に対して推定ノイズスペクトルの算出およびノイズスペクトルの低減を行い、その情報に基づいて他方のチャンネルのスペクトル調整を行うように構成しても良い。
　これは、ステレオ集音装置１４１における左マイク１４１Ｌと右マイク１４１Ｒから入力されるノイズの条件が略同一であれば、音信号入力が小さい方がノイズの割合が大きいと考えられるためである。これによれば、より精度の高いノイズ低減効果が得られる。

　さらに、左右のチャンネルの処理を状況に応じて切り替える他の構成として、ＡＦ駆動の動作音の変動を検出し、その変動に伴って音信号が変動するチャンネルの音情報に対して推定ノイズスペクトルの算出およびノイズスペクトルの低減を行い、その情報に基づいて他方のチャンネルのスペクトル調整を行うように構成しても良い。
　これは、ＡＦ駆動の動作音の変動に伴って音信号が変動するチャンネルの音情報にはＡＦ駆動ノイズが含まれている可能性が高いためである。これにより、精度の高いノイズ低減効果が得られる。
　また、左右のチャンネルの処理を状況に応じて切り替える更なる構成として、図７において点線で示すように、切り替え用のスイッチ１４３をカメラ本体１１０に設けても良い。

　以上、第３実施形態によると、以下の効果を有する。
（１）ステレオ音声の場合、左耳用音声と右耳用音声にそれぞれ独立にノイズ低減処理を行なうと、左耳用音声に残存するノイズ成分と右耳用音声に残存するノイズ成分との比が時々刻々と変化し、残存ノイズの定位も時々刻々と変化する。また、左耳用音声の目的音の劣化成分と、右耳用音声の目的音の劣化成分の比も時々刻々と変化するため、目的音の定位も本来の定位から時々刻々と変化する。そのため、処理後の音声は本来の定位感、臨場感が損なわれた音声になってしまう。
　カメラ１００は、その音情報処理部１５０が、一方のチャンネルの音情報に対してスペクトル減算法でノイズ低減処理すると共に、この情報を用いて他方のチャンネル（右チャンネル）の音情報に対してスペクトル調整処理を行う。
　スペクトル調整処理は、ノイズ低減処理前の一方のチャンネルの周波数スペクトルに対する、他方のチャンネルの周波数スペクトルの周波数領域毎の振幅の比で、一方のチャンネルのノイズ低減処理後の周波数スペクトルの周波数領域毎の振幅を調整して他方のチャンネルの周波数スペクトルを得る。
　これにより、周波数スペクトルの各周波数成分の左右比が処理前後で保たれ、本来の定位感や臨場感を保ったままノイズを低減した音声を得ることができる。
（２）また、一方のチャンネルにおける推定ノイズスペクトルの算出およびノイズスペクトルの低減を省くことができる。これにより、演算量、および必要なメモリを削減することができる。

（第４実施形態）
　つぎに、図１３を参照して、第４実施形態を説明する。
　図１３は、第４実施形態における音情報処理部５００の機能部のブロック図である。
　なお、本第４実施形態における音情報処理部５００は、前述した第３実施形態における音情報処理部１５０と置換されるものであり、それ以外の構成は第３実施形態と同様であるため説明は省略する。また、音情報処理部５００内の各構成要素についても、前述した第３実施形態における音情報処理部１５０と同機能のものは同符号を付して説明を省略する。
　また、音情報処理部５００のノイズスペクトル低減部５３Ｌ、ノイズスペクトル低減部５３Ｒは、第３実施形態と同様であるので説明及び図示は省略するが、それぞれ、衝撃音ノイズ低減処理部５３Ａ及び駆動音ノイズ低減処理部５３Ｂを含む。

　図１３に示す音情報処理部５００は、左チャンネル優先処理部１５０Ｌと、右チャンネル優先処理部１５０Ｒと、平均値算出部５６Ｌ，５６Ｒと、を備えている。
　左チャンネル優先処理部１５０Ｌは、前述した第３実施形態における音情報処理部１５０と同様の構成であって、左右両チャンネルそれぞれに対するスペクトル変換部５１Ｌ，５１Ｒと、左チャンネルに対するノイズスペクトル推定部５２Ｌと、左チャンネルに対するノイズスペクトル低減部５３Ｌと、右チャンネルに対するスペクトル調整部５４Ｒと、左右両チャンネルに対する逆変換部５５Ｌ，５５Ｒと、を備えている。そして、左チャンネル優先処理部１５０Ｌは、左チャンネルにおいて推定ノイズスペクトルの算出およびノイズスペクトルの低減を行うと共に、その情報に基づいて右チャンネルのスペクトル調整を行って、左チャンネルの音データを平均値算出部５６Ｌに、右チャンネルの音データを平均値算出部５６Ｒに、それぞれ出力する。

　右チャンネル優先処理部１５０Ｒは、左チャンネル優先処理部１５０Ｌとは左右のチャンネルの処理が入れ替わっており、左右両チャンネルそれぞれに対するスペクトル変換部５１Ｌ，５１Ｒと、右チャンネルに対するノイズスペクトル推定部５２Ｒと、右チャンネルに対するノイズスペクトル低減部５３Ｒと、左チャンネルに対するスペクトル調整部５４Ｌと、左右両チャンネルに対する逆変換部５５Ｌ，５５Ｒと、を備えている。そして、右チャンネル優先処理部１５０Ｒは、右チャンネルにおいて推定ノイズスペクトルの算出およびノイズスペクトルの低減を行うと共にその情報に基づいて左チャンネルのスペクトル調整を行って、左チャンネルの音データを平均値算出部５６Ｌに、右チャンネルの音データを平均値算出部５６Ｒに、それぞれ出力する。

　平均値算出部５６Ｌ，５６Ｒは、左チャンネル優先処理部１５０Ｌと右チャンネル優先処理部１５０Ｒの左右チャンネルの出力から、それぞれ平均値を算出する。つまり、平均値算出部５６Ｌは、左チャンネル優先処理部１５０Ｌの左チャンネル出力と右チャンネル優先処理部１５０Ｒの左チャンネルの出力との平均値を出力する。また、平均値算出部５６Ｒは、左チャンネル優先処理部１５０Ｌの右チャンネル出力と右チャンネル優先処理部１５０Ｒの右チャンネルの出力との平均値を出力する。

　本第４実施形態における音情報処理部５００の処理によれば、たとえば、音源が左右に移動しているような場合であっても、左右対称な処理になり、音源の移動方向に関わらず同様なノイズ低減効果を得ることができる。つまり、左右いずれか一方側のみでノイズスペクトル推定とノイズ低減処理を行うと、音源が左側から右側に移動している場合と右側から左側に移動している場合とで、ノイズ低減効果が変わる可能性があるが、本構成ではこのようなことがない。

　なお、音情報処理部５００は、左チャンネル優先処理部１５０Ｌと、右チャンネル優先処理部１５０Ｒとを備え、左右のチャンネルにおいてノイズスペクトル推定とノイズ低減処理とを行う。これにより演算量の増加が懸念されるが、これはスペクトル変換におけるサンプリング数を調整して対応すれば良い。

　以上、第４実施形態によると、以下の効果を有する。
（１）音情報処理部５００は、左チャンネルにおいて推定ノイズスペクトルの算出およびノイズスペクトルの低減を行うと共にその情報に基づいて右チャンネルのスペクトル調整を行う左チャンネル優先処理部１５０Ｌと、右チャンネルにおいて推定ノイズスペクトルの算出およびノイズスペクトルの低減を行うと共にその情報に基づいて左チャンネルのスペクトル調整を行う右チャンネル優先処理部１５０Ｒと、両者の出力する左右チャンネルの音データをそれぞれ平均する平均値算出部５６Ｌ，５６Ｒを備えている。これにより、左右対称な処理になり、音源の移動等に関わらず同様なノイズ低減効果を得ることができる。

（変形形態）
　以上、説明した第３、第４実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
（１）本実施形態は、本発明を、１対（２個）のマイク（左マイク１４１Ｌおよび右マイク１４１Ｒ）を備えてステレオ録音するカメラ１００に適用して説明をした。しかし、集音部（マイク）の数はこれに限るものではなく、３個以上のマイクを備えた、例えば多チャンネルのサラウンド録音を行うもの等に適用しても良い。
　複数の集音部を備える場合には、定められた集音部の音情報に対してノイズ低減処理すると共にその情報を用いて他の集音部の音情報に対してスペクトル調整処理を行うが、処理は必ずしも他の全ての音情報に対して行う必要は無く、一部の集音部の音情報に対しては処理を行わない構成としても良い。
　また、複数の集音部をグループに分け、グループ毎に特定の集音部の音情報に対してノイズ低減処理すると共にその情報を用いてグループ内の他の集音部の音情報に対してスペクトル調整処理を行うように構成しても良い。

（２）本実施形態では、録音部１４０の音情報処理部１５０が低減処理対象とするノイズは、フォーカシングレンズ１２１を移動駆動するＡＦ駆動モータ１２３の駆動によるＡＦ駆動音である。しかし、低減対象とするノイズはこれに限るものではない。たとえば、オートズームの駆動音、手振れ補正レンズの駆動音、およびスイッチ類の操作音等に適用しても良い。

（３）上記実施形態は、動画撮影と同時に録音可能なカメラに適用したものであるが、撮影機能を備えない音処理装置に適用しても良いものである。

　なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。

　１：カメラ、１３：ステレオ集音装置、１３Ｌ：左マイク、１３Ｒ：右マイク、１４：音情報処理部、１４Ａ：ノイズ低減処理部、１４Ｂ：補正部、２０：レンズ鏡筒、２１：ＡＦエンコーダ、２２：ＡＦ駆動用モータ、ＳＩＬ，ＳＩＲ：ノイズ低減処理前の周波数スペクトル、ＲＩ：処理前比、ＳＮ：ノイズ周波数スペクトル、ＳＳＬ，ＳＳＲ：ノイズ低減処理後の周波数スペクトル、ＲＳ：処理後比、ＳＣＬ，ＳＣＲ：補正後の周波数スペクトル、１００：カメラ、１１０：カメラ本体、１２０：レンズ鏡筒、１４０：録音部、１４１：ステレオ集音装置、１４１Ｌ：左マイク、１４１Ｒ：右マイク、５０，５００：音情報処理部、５０Ｌ：左チャンネル優先処理部、５０Ｒ：右チャンネル優先処理部、５１Ｌ：スペクトル変換部、５１Ｒ：スペクトル変換部、５２Ｌ：ノイズスペクトル推定部、５２Ｒ：ノイズスペクトル推定部、５３Ｌ：ノイズスペクトル低減部、５３Ｒ：ノイズスペクトル低減部、５４Ｌ：スペクトル調整部、５４Ｒ：スペクトル調整部、５５Ｌ：逆変換部、５５Ｒ：逆変換部、５６Ｌ：平均値算出部、５６Ｒ：平均値算出部

Claims (19)

1. 　複数の集音部によって集音された音のうち、第１集音部により集音された第１音と第２集音部により集音された第２音との関係である基準関係を算出する算出部と、
   　前記第１音と前記第２音との関係が、前記算出部で算出された前記基準関係を含む所定の範囲に含まれるよう、前記複数の集音部によって集音された音を処理する処理部と
   　を備えることを特徴とする音処理装置。
2. 　第１集音部と第２集音部とを有する集音部と、
   　前記第１集音部により集音された第１音と前記第２集音部により集音された第２音との関係を基準関係とし、前記基準関係を含む所定の範囲に含まれるように処理された、前記集音部によって集音された音を出力する出力部と、
   　を備えたこと、を特徴とする音処理装置。
3. 　請求項２に記載の音処理装置であって、
   　前記基準関係を算出する算出部と、
   　前記第１音と前記第２音との関係が、前記基準関係を含む所定の範囲に含まれるように、前記第１音と前記第２音とを処理する処理部とを備え、
   　前記出力部は、前記処理部によって処理された音情報を出力する
   　ことを特徴とする音処理装置。
4. 　請求項１または３に記載の音処理装置であって、
   　前記処理部は、前記第１音と前記第２音とのうち少なくとも一方を処理する第１処理と、前記第１処理の後の前記第１音と前記第１処理の後の前記第２音との関係である第１の関係を、前記所定の範囲に含まれる第２の関係にする第２処理とを含み、
   　前記所定の範囲は、前記第２の関係が、前記第１の関係よりも前記基準関係に近づく範囲である
   　ことを特徴とする音処理装置。
5. 　請求項４に記載の音処理装置であって、
   　前記処理部は、前記集音部によって集音された音を減少する処理を行う
   　ことを特徴とする音処理装置。
6. 　請求項４または請求項５に記載の音処理装置であって、
   　駆動音の発生を検出する駆動音発生検出部とを備え、
   　前記処理部は、前記駆動音発生検出部の検出結果に基づいて、前記集音部で集音した音から前記駆動音を低減する処理である前記第１処理を行うノイズ低減処理部を含む
   　ことを特徴とする音処理装置。
7. 　請求項６に記載の音処理装置であって、
   　前記処理部は、前記基準関係と前記第２の関係とが略一致するように、前記ノイズ低減処理部によってノイズ低減処理された前記第１音と前記ノイズ低減処理部によってノイズ低減処理された前記第２音との少なくとも一方の音を補正する処理である前記第２処理を行う補正部を含む
   　ことを特徴とする音処理装置。
8. 　請求項７に記載の音処理装置であって、
   　前記補正部は、
   　前記駆動音発生検出部による前記駆動音発生検出前における、前記第１集音部により集音された第１音と前記第２集音部により集音された第２音との関係と、
   　前記ノイズ低減処理部によるノイズ低減処理前における、前記第１集音部により集音された第１音と前記第２集音部により集音された第２音との関係と、
   を比較して何れかを前記基準関係とし、前記基準関係に基づいて前記補正を行う
   　ことを特徴とする音処理装置。
9. 　請求項７に記載の音処理装置であって、
   　前記補正部は、
   　前記駆動音発生検出部による前記駆動音発生検出前における、前記第１音の周波数スペクトルと前記第２音の周波数スペクトルとの比である事前比と、
   　前記ノイズ低減処理部によるノイズ低減処理前における、前記第１音の周波数スペクトルと前記第２音の周波数スペクトルとの比である事後比と、
   を比較し、その差が所定値より小さい場合には前記事前比を基準比として、前記基準比に基づいて補正する
   　ことを特徴とする音処理装置。
10. 　請求項７に記載の音処理装置であって、
    　前記補正部は、
    　前記駆動音発生検出部による前記駆動音発生検出前における、前記第１音の周波数スペクトルと前記第２音の周波数スペクトルとの比と、
    前記駆動音発生検出部による駆動音発生検出終了後における、前記第１音の周波数スペクトルと前記第２音の周波数スペクトルとの比と、
    を比較して基準比を作成し、前記基準比に基づいて前記補正を行う
    　ことを特徴とする音処理装置。
11. 　請求項６～１０のいずれか１項に記載の音処理装置であって、
    　前記ノイズ低減処理部は、前記音処理装置における駆動部の駆動時に前記集音部で集音した音から前記ノイズ低減処理を行う
    　ことを特徴とする音処理装置。
12. 　コンピュータに、
    　複数の集音部によって集音された音のうち、第１集音部により集音された第１音と第２集音部により集音された第２音との関係である基準関係を算出する算出部と、
    　前記第１音と前記第２音との関係が、前記算出部で算出された前記基準関係を含む所定の範囲に含まれるよう、前記複数の集音部によって集音された音を処理する処理部と、
    の各機能を実行させる音処理プログラム。
13. 　コンピュータに、
    　第１集音部と第２集音部とを有する集音部と、
    　前記第１集音部により集音された第１音と前記第２集音部により集音された第２音との関係である基準関係に対して、前記基準関係を含む所定の範囲に含まれるように処理された、前記集音部によって集音された音を出力する出力部と、
    の各機能を実行させる音処理プログラム。
14. 　請求項１または２に記載の音処理装置であって、
    　前記第１音に含まれるノイズを低減する第１ノイズ低減部と、
    　ノイズ低減後の前記第１音との関係が前記基準関係を含む前記所定の範囲に含まれるように前記第２音を補正する補正部とを備える
    　ことを特徴とする音処理装置。
15. 　請求項１４に記載の音処理装置であって、
    　前記第１音のノイズ推定を行なう第１ノイズ推定部とを備える
    　ことを備えることを特徴とする音処理装置。
16. 　請求項１４又は１５に記載の音処理装置であって、
    　前記第２音のノイズ推定を行なう第２ノイズ推定部と、
    　前記第２ノイズ推定部により推定されたノイズを、前記第２音から低減する第２ノイズ低減部と、
    　ノイズ低減後の前記第２音との関係が、前記基準関係と同じになるように、前記第１音を調整する第１調整部と、
    　前記第１ノイズ低減部より前記ノイズが低減されたノイズ低減後の第１音と前記第１調整部により調整された調整後の第１音とを平均する第１平均部と、
    　前記第２ノイズ低減部により前記ノイズが低減された、ノイズ低減後の第２音と、前記補正部により調整された調整後の第２音とを平均する第２平均部とを備える
    　ことを特徴とする音処理装置。
17. 　請求項１４から１６のいずれか１項に記載の音処理装置であって、
    　前記第１音を、ノイズ推定又は調整前にスペクトル変換する第１変換部と、
    　ノイズ低減又は調整後の前記第１音をスペクトル逆変換する第１逆変換部と、
    　前記第２音を、ノイズ推定又は調整前にスペクトル変換する第２変換部と、
    　ノイズ低減又は調整後の前記第２音をスペクトル逆変換する第２逆変換部と、
    を備える
    　ことを特徴とする音処理装置。
18. 　請求項１４から１７のいずれか１項に記載の音処理装置であって、
    　右耳用として、前記第１集音部または前記第２集音部のいずれかを一方を選択するとともに、左耳用としていずれか他方を選択する選択部とを備える
    　ことを特徴とする音処理装置。
19. 　複数の集音部のうちの第１集音部により集音された第１音のノイズ推定を行ない、
    　推定されたノイズを、前記第１音から低減し、
    　前記複数の集音部のうちの第２集音部により集音された第２音と、ノイズ低減前の前記第１音との関係である基準関係を求め、ノイズ低減後の前記第１音との関係が前記基準関係を含む所定の範囲に含まれるよう前記第２音を調整する処理を、コンピュータ装置に実行させるプログラム。

Images