JP6197298B2 - 音処理装置および音処理プログラム - Google Patents
音処理装置および音処理プログラム Download PDFInfo
- Publication number
- JP6197298B2 JP6197298B2 JP2013017863A JP2013017863A JP6197298B2 JP 6197298 B2 JP6197298 B2 JP 6197298B2 JP 2013017863 A JP2013017863 A JP 2013017863A JP 2013017863 A JP2013017863 A JP 2013017863A JP 6197298 B2 JP6197298 B2 JP 6197298B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- sound data
- relationship
- processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、音処理装置および音処理プログラムに関するものである。
複数の集音装置を備えたステレオ録音が可能な撮像装置として、動画撮影時にオートフォーカス（以後、「ＡＦ」と略記する）等の駆動音の発生に合わせてノイズ低減処理を行うものがある。
ステレオ等の複数チャンネルの有する音信号の雑音を抑制する雑音抑制装置においては、ステレオ成分の雑音を抑制する技術が知られている（特許文献１等参照）。
ステレオ等の複数チャンネルの有する音信号の雑音を抑制する雑音抑制装置においては、ステレオ成分の雑音を抑制する技術が知られている（特許文献１等参照）。
ところで、ステレオ録音時において、駆動音の発生に合わせてノイズ低減処理を行うと、ノイズ低減処理に起因して音信号のバランスが変化してしまうことがあり、その結果、音像が変位し、再生時に違和感を生じさせるという問題がある。
本発明の課題は、ノイズ低減処理に伴う音像の変位を抑制できる音処理装置および音処理プログラムを提供することである。
本発明の音処理装置は、除去対象となるノイズを低減する音処理装置であって、第１集音部により集音された第１音データと、第２集音部により集音された第２音データと、の周波数領域における振幅の大きさの関係である基準関係を算出する算出部と、前記ノイズを含む周波数領域の少なくとも一部の周波数領域における、前記第１音データと前記第２音データとの振幅の大きさの関係が、前記基準関係を含む所定の範囲に含まれるよう、前記第１音データと前記第２音データとのうち少なくとも一方から、前記少なくとも一部の周波数領域に対して前記ノイズを低減する処理部とを備える構成とした。
また、本発明の音処理装置は、除去対象となるノイズを低減する音処理装置であって、第１音データを出力する第１集音部と第２音データを出力する第２集音部とを有する集音部と、前記第１音データと前記第２音データとの周波数領域における振幅の大きさの関係を基準関係とし、前記ノイズを含む周波数領域の少なくとも一部の周波数領域における、前記第１音データと前記第２音データとの振幅の大きさの関係が、前記基準関係を含む所定の範囲に含まれるよう、前記第１音データと前記第２音データとのうち少なくとも一方から、前記少なくとも一部の周波数領域に対して前記ノイズが低減された、前記第１音データと前記第２音データとを出力する出力部とを備える構成とした。
また、本発明のプログラムは、除去対象となるノイズを低減させる音処理装置のコンピュータに実行させるためのプログラムであって、第１集音部により集音された第１音データと第２集音部により集音された第２音データとの周波数領域における振幅の大きさの関係である基準関係を算出する処理と、前記ノイズを含む周波数領域の少なくとも一部の周波数領域における、前記第１音データと前記第２音データとの振幅の大きさの関係が、前記基準関係を含む所定の範囲に含まれるよう、前記第１音データと前記第２音データとのうち少なくとも一方から、前記少なくとも一部の周波数領域に対して前記ノイズを低減する処理とをコンピュータに実行させる構成とした。
また、本発明のプログラムは、除去対象となるノイズを低減させる音処理装置のコンピュータに実行させるためのプログラムであって、第１集音部による第１音データの集音と、第２集音部による第２音データの集音とを行う処理と、前記第１音データと前記第２音データとの周波数領域における振幅の関係を基準関係とし、前記ノイズを含む周波数領域の少なくとも一部の周波数領域における、前記第１音データと前記第２音データとの振幅の関係が、前記基準関係を含む所定の範囲に含まれるよう、前記第１音データと前記第２音データとのうち少なくとも一方から、前記少なくとも一部の周波数領域に対して前記ノイズが低減された、前記第１音データと前記第２音データとを出力する処理とをコンピュータに実行させる構成とした。
また、本発明の音処理装置は、除去対象となるノイズを低減する音処理装置であって、第１音データを出力する第１集音部と第２音データを出力する第２集音部とを有する集音部と、前記第１音データと前記第２音データとの周波数領域における振幅の大きさの関係を基準関係とし、前記ノイズを含む周波数領域の少なくとも一部の周波数領域における、前記第１音データと前記第２音データとの振幅の大きさの関係が、前記基準関係を含む所定の範囲に含まれるよう、前記第１音データと前記第２音データとのうち少なくとも一方から、前記少なくとも一部の周波数領域に対して前記ノイズが低減された、前記第１音データと前記第２音データとを出力する出力部とを備える構成とした。
また、本発明のプログラムは、除去対象となるノイズを低減させる音処理装置のコンピュータに実行させるためのプログラムであって、第１集音部により集音された第１音データと第２集音部により集音された第２音データとの周波数領域における振幅の大きさの関係である基準関係を算出する処理と、前記ノイズを含む周波数領域の少なくとも一部の周波数領域における、前記第１音データと前記第２音データとの振幅の大きさの関係が、前記基準関係を含む所定の範囲に含まれるよう、前記第１音データと前記第２音データとのうち少なくとも一方から、前記少なくとも一部の周波数領域に対して前記ノイズを低減する処理とをコンピュータに実行させる構成とした。
また、本発明のプログラムは、除去対象となるノイズを低減させる音処理装置のコンピュータに実行させるためのプログラムであって、第１集音部による第１音データの集音と、第２集音部による第２音データの集音とを行う処理と、前記第１音データと前記第２音データとの周波数領域における振幅の関係を基準関係とし、前記ノイズを含む周波数領域の少なくとも一部の周波数領域における、前記第１音データと前記第２音データとの振幅の関係が、前記基準関係を含む所定の範囲に含まれるよう、前記第１音データと前記第２音データとのうち少なくとも一方から、前記少なくとも一部の周波数領域に対して前記ノイズが低減された、前記第１音データと前記第２音データとを出力する処理とをコンピュータに実行させる構成とした。
本発明によれば、ノイズ低減処理に伴う音像の変位を抑制できる音処理装置および音処理プログラムを提供できる。
以下、図面等を参照して、本発明の実施形態について説明する。
（第１実施形態）
図１は、本発明における音処理装置の一実施形態であるカメラ１を示し、図１（ａ）はそのブロック構成図、図１（ｂ）はカメラ１の概念正面図である。
図１（ａ）に示すように、カメラ１は、カメラ本体１０と、レンズ鏡筒２０とにより構成されている。カメラ１は、自動的に合焦するオートフォーカス（以下ＡＦと略記する）機能を備えている。また、カメラ１は、静止画と動画の何れも撮影可能であって、動画撮影時には画像と同時に音をステレオで記録可能である。
（第１実施形態）
図１は、本発明における音処理装置の一実施形態であるカメラ１を示し、図１（ａ）はそのブロック構成図、図１（ｂ）はカメラ１の概念正面図である。
図１（ａ）に示すように、カメラ１は、カメラ本体１０と、レンズ鏡筒２０とにより構成されている。カメラ１は、自動的に合焦するオートフォーカス（以下ＡＦと略記する）機能を備えている。また、カメラ１は、静止画と動画の何れも撮影可能であって、動画撮影時には画像と同時に音をステレオで記録可能である。
カメラ本体１０は、撮像素子１１と、画像処理部１２と、ステレオ集音装置１３と、音情報処理部１４と、記憶部１５と、制御部１６と、出力部１８と、入力部１９とを備えている。
撮像素子１１は、ＣＣＤ等の光電変換素子により構成され、レンズ鏡筒２０の結像光学系によって結像された被写体像光を電気信号に変換する。
画像処理部１２は、撮像素子１１から出力されるアナログの画像情報をＡ／Ｄ変換すると共に画像処理して画像データを生成する。
撮像素子１１は、ＣＣＤ等の光電変換素子により構成され、レンズ鏡筒２０の結像光学系によって結像された被写体像光を電気信号に変換する。
画像処理部１２は、撮像素子１１から出力されるアナログの画像情報をＡ／Ｄ変換すると共に画像処理して画像データを生成する。
ステレオ集音装置１３は、図１（ｂ）に示すように、左右一対のマイク（左マイク１３Ｌ，右マイク１３Ｒ）を備えている。左マイク１３Ｌと右マイク１３Ｒとは、カメラ１を横位置で構えた状態においてレンズ鏡筒２０の中心を通る鉛直線を挟む略対称位置に配置されている。各マイク１３Ｌ，１３Ｒは、それぞれ外部の音を集音してアナログ信号として検出し、音情報処理部１４に出力する。
音情報処理部１４は、ステレオ集音装置１３から入力される音信号をＡ／Ｄ変換してデジタル信号とすると共にノイズ低減処理を行う。音情報処理部１４は、ノイズ低減処理係る機能部として、ノイズ低減処理部１４Ａと、補正部１４Ｂと、を備えている。これらについては、後に詳述する。
音情報処理部１４は、ステレオ集音装置１３から入力される音信号をＡ／Ｄ変換してデジタル信号とすると共にノイズ低減処理を行う。音情報処理部１４は、ノイズ低減処理係る機能部として、ノイズ低減処理部１４Ａと、補正部１４Ｂと、を備えている。これらについては、後に詳述する。
記憶部１５は、画像処理部１２が出力する画像データおよび音情報処理部１４が出力する音データを記憶する。記憶部１５は、バッファーやカメラに内蔵されたメモリでもよいし、またＳＤカードやＨＤＤ等の外部の記憶媒体でもよい。
出力部１８は、記憶部１５に記憶された画像データ及び音データを出力する。出力部１８は、外部機器へ音情報（電気信号）を出力するためのインターフェース等である。外部機器とは、これに限定されないが、例えばＰＣ、外部スピーカ、携帯電話等である。ただし、これに限定されず、出力部１８は、カメラ１に設けられた背面液晶及びスピーカであってもよい。なお、出力部１８がスピーカの場合、出力部１８は音情報（電気信号）を音に変換する変換部も備える。
入力部１９は、外部機器からデータを入力するためのインターフェース等である。
外部機器とデータのやり取り（通信）をする際には、出力部１８と入力部１９は別体となっていなくてもよく、入力部１９と出力部１８が一体となっているような構成であってもよい。
なお、外部機器とは、これに限定されないが、例えばＰＣ、外部マイク、携帯電話等である。
外部機器とデータのやり取り（通信）をする際には、出力部１８と入力部１９は別体となっていなくてもよく、入力部１９と出力部１８が一体となっているような構成であってもよい。
なお、外部機器とは、これに限定されないが、例えばＰＣ、外部マイク、携帯電話等である。
制御部１６は、ＣＰＵ等を備えて構成され、設定された撮像条件（例えば、絞り値、露出値等）に応じて、レンズ鏡筒２０の後述する各構成要素を含めたカメラ１の各構成要素を統括制御する。たとえば、制御部１６は、後述するレンズ鏡筒２０におけるＡＦ駆動用モータ２２を駆動する駆動制御信号を生成し、レンズ制御部２４に出力する。
レンズ鏡筒２０は、フォーカシングレンズ、手振れ補正レンズ、ズーミングレンズ等を備える結像光学系（図示省略）と、ＡＦエンコーダ２１と、ＡＦ駆動用モータ２２と、を備えている。
ＡＦエンコーダ２１は、フォーカシングレンズの位置を検出してレンズ制御部２４および制御部１６に出力する。レンズ制御部２４は、検出されたフォーカシングレンズの位置情報を制御部１６に出力する。
ＡＦ駆動用モータ２２は、レンズ制御部２４から入力されるＡＦレンズの位置を制御するための駆動制御信号に応じて、ＡＦレンズを移動駆動する。
ＡＦエンコーダ２１は、フォーカシングレンズの位置を検出してレンズ制御部２４および制御部１６に出力する。レンズ制御部２４は、検出されたフォーカシングレンズの位置情報を制御部１６に出力する。
ＡＦ駆動用モータ２２は、レンズ制御部２４から入力されるＡＦレンズの位置を制御するための駆動制御信号に応じて、ＡＦレンズを移動駆動する。
そして、カメラ１は、使用者による図示しないシャッタボタンの押圧操作によって撮影が指令されると、制御部１６によって制御されて撮影作用を行う。
すなわち、撮像素子１１によって被写体像光を電気信号に変換し、画像処理部１２によって処理した画像データを、記憶部１５に記憶させる（撮影する）。制御部１６は、撮影時において、レンズ制御部２４、ＡＦ駆動用モータ２２を介してＡＦレンズを移動駆動するＡＦ制御を行う。
すなわち、撮像素子１１によって被写体像光を電気信号に変換し、画像処理部１２によって処理した画像データを、記憶部１５に記憶させる（撮影する）。制御部１６は、撮影時において、レンズ制御部２４、ＡＦ駆動用モータ２２を介してＡＦレンズを移動駆動するＡＦ制御を行う。
動画撮影時においては、撮像素子１１は、被写体像光を電気信号に変換して順次取り込み、記憶部１５を介して１秒間に所定のフレーム（コマ数）の画像を記憶する。また、前述したように、音情報処理部１４が集音した音データを、画像データと共に記憶部１５を介して記憶（録音）する。動画撮影時には、撮影期間を通してＡＦ制御が行われる。
ここで、ステレオ集音装置１３が集音した音情報は、音情報処理部１４に入力される。音情報処理部１４は、ステレオ集音装置１３が集音した音に含まれるＡＦ制御にかかる駆動ノイズ（ＡＦ駆動音）を低減処理する。そして、音情報処理部１４は、駆動ノイズ（ＡＦ駆動音）が低減処理された音情報を記憶部１５に出力する。
ただし、上記の処理の流れに限定されない。例えば変形形態として、１）制御部１６は、ステレオ集音装置１３が集音した音を、一旦、記憶部１５に記憶させる、２）制御部１６は、その記憶された音データをノイズ低減処理部１４Ａへ出力する、３）低減処理部１４Ａは音データに対して低減処理を施す、４）次いで、制御部１６は、低減処理された音データを、再度、記憶部１５に記憶する、といった処理の流れでも良い。
本実施形態の処理の流れに戻り、前述した図１に加えて図２〜図４を参照し、音情報処理部１４について詳細に説明する。図２は、音情報処理部１４におけるノイズ低減処理とその補正の説明図である。図３は、音情報処理部１４におけるノイズ低減処理と補正のフローチャートである。図４は、音像変位を説明する図である。
音情報処理部１４は、前述したように、ノイズ低減処理部１４Ａと、補正部１４Ｂとを備えている。
ノイズ低減処理部１４Ａは、ノイズ周波数スペクトルＳＮを用い、スペクトル減算法によってＡＦ駆動音に対するノイズ低減処理を行う。ノイズ周波数スペクトルＳＮは、図２（ｂ）に一例を示すような、予め記憶している動作ノイズ情報又は過去に集音した音情報から推定したものである。
ノイズ低減処理部１４Ａは、ノイズ周波数スペクトルＳＮを用い、スペクトル減算法によってＡＦ駆動音に対するノイズ低減処理を行う。ノイズ周波数スペクトルＳＮは、図２（ｂ）に一例を示すような、予め記憶している動作ノイズ情報又は過去に集音した音情報から推定したものである。
具体的に説明すると、ノイズ低減処理部１４Ａは、ステレオ集音装置１３（左マイク１３Ｌ，右マイク１３Ｒ）から入力されてデジタル化された音信号を、所定の長さで区切ったフレーム単位でフーリエ変換等により周波数解析を行う。
そして、図２（ａ）に一例を示すような複数の周波数帯域（ｆ１〜ｆ８）に分割した周波数スペクトルＳＩＬ，ＳＩＲを得る。
その周波数スペクトルＳＩＬ，ＳＩＲから図２（ｂ）に示すノイズ周波数スペクトルＳＮを減算してノイズ成分を除去する。
さらに、必要に応じて、信号の下限規制等のフロアリング処理を行って、図２（ｃ）に示すノイズ低減処理後の周波数スペクトルＳＳＬ，ＳＳＲを補正部１４Ｂに出力する。
そして、図２（ａ）に一例を示すような複数の周波数帯域（ｆ１〜ｆ８）に分割した周波数スペクトルＳＩＬ，ＳＩＲを得る。
その周波数スペクトルＳＩＬ，ＳＩＲから図２（ｂ）に示すノイズ周波数スペクトルＳＮを減算してノイズ成分を除去する。
さらに、必要に応じて、信号の下限規制等のフロアリング処理を行って、図２（ｃ）に示すノイズ低減処理後の周波数スペクトルＳＳＬ，ＳＳＲを補正部１４Ｂに出力する。
このノイズ低減処理部１４Ａによるノイズ低減処理は、ＡＦ駆動音が含まれるフレームに対して、フレーム毎に行われる。
ＡＦ駆動音が含まれるフレームの検知は、たとえば、ＡＦレンズの位置を検出するＡＦエンコーダ２１の出力に基づいて（ＡＦレンズが移動するとＡＦエンコーダ２１の出力が変化する）行われる。
なお、図２（ａ）における周波数スペクトルＳＩＬ，ＳＩＲに対する網掛け部位は、ＡＦ駆動音が含まれない目的音のみの周波数スペクトルを参考的に示すものである。
ＡＦ駆動音が含まれるフレームの検知は、たとえば、ＡＦレンズの位置を検出するＡＦエンコーダ２１の出力に基づいて（ＡＦレンズが移動するとＡＦエンコーダ２１の出力が変化する）行われる。
なお、図２（ａ）における周波数スペクトルＳＩＬ，ＳＩＲに対する網掛け部位は、ＡＦ駆動音が含まれない目的音のみの周波数スペクトルを参考的に示すものである。
ここで、ノイズ低減処理部１４Ａによるノイズ低減処理は、ステレオ集音装置１３における左右のマイク（左マイク１３Ｌ，右マイク１３Ｒ）からの音信号に対して、それぞれ独立して行われる。
ただし、左マイク１３Ｌおよび右マイク１３Ｒはレンズ鏡筒２０に対して略対称に配置されているため、入力されるＡＦノイズ（ＡＦ駆動音）は同一であるものとしてノイズ周波数スペクトルＳＮは同一のものを用いる。
なお、左マイク１３Ｌおよび右マイク１３Ｒはレンズ鏡筒２０に対して略対称に配置される形態に限定されず、光軸に対した左右非対称であってもよい。
ただし、左マイク１３Ｌおよび右マイク１３Ｒはレンズ鏡筒２０に対して略対称に配置されているため、入力されるＡＦノイズ（ＡＦ駆動音）は同一であるものとしてノイズ周波数スペクトルＳＮは同一のものを用いる。
なお、左マイク１３Ｌおよび右マイク１３Ｒはレンズ鏡筒２０に対して略対称に配置される形態に限定されず、光軸に対した左右非対称であってもよい。
補正部１４Ｂは、
・ノイズ低減処理部１４Ａによるノイズ低減処理前の周波数スペクトル（処理前スペクトル）ＳＩＬ，ＳＩＲの、各周波数帯域（ｆ１〜ｆ８）における左右の信号比（処理前比、基準比）と、
・ノイズ低減処理部１４Ａによるノイズ低減処理後の周波数スペクトル（処理後スペクトル）ＳＳＬ，ＳＳＲの各周波数帯域（ｆ１〜ｆ８）における左右の信号比（処理後比、第１の関係）と、
を各々比較する。
・ノイズ低減処理部１４Ａによるノイズ低減処理前の周波数スペクトル（処理前スペクトル）ＳＩＬ，ＳＩＲの、各周波数帯域（ｆ１〜ｆ８）における左右の信号比（処理前比、基準比）と、
・ノイズ低減処理部１４Ａによるノイズ低減処理後の周波数スペクトル（処理後スペクトル）ＳＳＬ，ＳＳＲの各周波数帯域（ｆ１〜ｆ８）における左右の信号比（処理後比、第１の関係）と、
を各々比較する。
補正部１４Ｂは、その比較結果に基づいて、処理後比ＲＳが処理前比ＲＩと、各周波数帯域において、それぞれ略一致するように補正して補正後比ＲＣ（第２の関係）、補正後の周波数スペクトル（補正後スペクトル）ＳＣＬ，ＳＣＲを求める。
そして、補正部１４Ｂは、この補正後スペクトルＳＣＬ，ＳＣＲを記憶部１５に出力する。
そして、補正部１４Ｂは、この補正後スペクトルＳＣＬ，ＳＣＲを記憶部１５に出力する。
以下、この補正部１４Ｂによる補正について、図２に即してより詳細に説明する。
（処理前スペクトル）
図２（ａ）に示すように、ノイズ低減処理部１４Ａによるノイズ低減処理前における左マイク１３Ｌから入力した音（音信号Ｌ）の周波数スペクトル（処理前スペクトル（Ｌ））における各周波数帯域（ｆ１〜ｆ８）の振幅をＳＩＬ１〜ＳＩＬ８とする。
右マイク１３Ｒから入力した音（音信号Ｒ）の周波数スペクトル（処理前スペクトル（Ｒ））における各周波数帯域（ｆ１〜ｆ８）の振幅をＳＩＲ１〜ＳＩＲ８とする。
処理前スペクトルの周波数帯域（ｆ１〜ｆ８）ごとの振幅の左／右信号比（以下、この左／右信号比を処理前比とする）は、ＲＩ１＝ＳＩＬ１／ＳＩＲ１，・・・，ＲＩ８＝ＳＩＬ８／ＳＩＲ８となる。
（処理前スペクトル）
図２（ａ）に示すように、ノイズ低減処理部１４Ａによるノイズ低減処理前における左マイク１３Ｌから入力した音（音信号Ｌ）の周波数スペクトル（処理前スペクトル（Ｌ））における各周波数帯域（ｆ１〜ｆ８）の振幅をＳＩＬ１〜ＳＩＬ８とする。
右マイク１３Ｒから入力した音（音信号Ｒ）の周波数スペクトル（処理前スペクトル（Ｒ））における各周波数帯域（ｆ１〜ｆ８）の振幅をＳＩＲ１〜ＳＩＲ８とする。
処理前スペクトルの周波数帯域（ｆ１〜ｆ８）ごとの振幅の左／右信号比（以下、この左／右信号比を処理前比とする）は、ＲＩ１＝ＳＩＬ１／ＳＩＲ１，・・・，ＲＩ８＝ＳＩＬ８／ＳＩＲ８となる。
（処理後スペクトル）
また、図２（ｃ）に示すように、ノイズ低減処理部１４Ａによるノイズ低減処理後の音信号Ｌの周波数スペクトル（処理後スペクトル（Ｌ））における各周波数帯域（ｆ１〜ｆ８）の振幅をＳＳＬ１〜ＳＳＬ８とする。
ノイズ低減処理部１４Ａによるノイズ低減処理後の音信号Ｒの周波数スペクトル（処理後スペクトル（Ｒ））における各周波数帯域（ｆ１〜ｆ８）の振幅をＳＳＲ１〜ＳＳＲ８とする。
処理後スペクトルの周波数帯域（ｆ１〜ｆ８）ごとの振幅の左／右信号比（以下、この左／右信号比を処理後比とする）は、ＲＳ１＝ＳＳＬ１／ＳＳＲ１，・・・，ＲＳ８＝ＳＳＬ８／ＳＳＲ８となる。
また、図２（ｃ）に示すように、ノイズ低減処理部１４Ａによるノイズ低減処理後の音信号Ｌの周波数スペクトル（処理後スペクトル（Ｌ））における各周波数帯域（ｆ１〜ｆ８）の振幅をＳＳＬ１〜ＳＳＬ８とする。
ノイズ低減処理部１４Ａによるノイズ低減処理後の音信号Ｒの周波数スペクトル（処理後スペクトル（Ｒ））における各周波数帯域（ｆ１〜ｆ８）の振幅をＳＳＲ１〜ＳＳＲ８とする。
処理後スペクトルの周波数帯域（ｆ１〜ｆ８）ごとの振幅の左／右信号比（以下、この左／右信号比を処理後比とする）は、ＲＳ１＝ＳＳＬ１／ＳＳＲ１，・・・，ＲＳ８＝ＳＳＬ８／ＳＳＲ８となる。
（補正後スペクトル）
補正部１４Ｂは、処理前比（ＲＩ１〜ＲＩ８）と、処理後比（ＲＳ１〜ＲＳ８）と、
を各周波数帯域（ｆ１〜ｆ８）において比較する。
そして、補正部１４Ｂは、図２（ｄ）に示すように、処理後比（ＲＳ１〜ＲＳ８）が処理前比（ＲＩ１〜ＲＩ８）と各々等しくなるように補正する。そして、補正後スペクトル（Ｌ）（ＳＣＬ１〜ＳＣＬ８）及び補正後スペクトル（Ｒ）（ＳＣＲ１〜ＳＣＲ８）を得る。
補正部１４Ｂは、処理前比（ＲＩ１〜ＲＩ８）と、処理後比（ＲＳ１〜ＲＳ８）と、
を各周波数帯域（ｆ１〜ｆ８）において比較する。
そして、補正部１４Ｂは、図２（ｄ）に示すように、処理後比（ＲＳ１〜ＲＳ８）が処理前比（ＲＩ１〜ＲＩ８）と各々等しくなるように補正する。そして、補正後スペクトル（Ｌ）（ＳＣＬ１〜ＳＣＬ８）及び補正後スペクトル（Ｒ）（ＳＣＲ１〜ＳＣＲ８）を得る。
ここで、補正後スペクトルを得る方式には、増加補正と、減少補正と、平均補正と、がある。
（増加補正）
増加補正は、処理後スペクトル（Ｌ）又は処理後スペクトル（Ｒ）の何れかの振幅を大きく補正して、処理後比ＲＳを処理前比ＲＩに一致させるものである。
１．処理後比ＲＳｎが処理前比ＲＩｎより大きい場合
（１）補正後スペクトル（Ｌ）を求める（Ｌ固定）
処理後スペクトル（Ｌ）ＳＳＬｎを補正後スペクトル（Ｌ）ＳＣＬｎとする（ＳＣＬｎ＝ＳＳＬｎ）
（２）補正後スペクトル（Ｒ）を求める
そして、（１）で求めた補正後スペクトル（Ｌ）ＳＣＬｎに対する比が、処理前比ＲＩｎと等しくなるように、補正後スペクトル（Ｒ）ＳＣＲｎを求める。
このとき、処理後比ＲＳｎは、処理前比ＲＩｎより大きいので、処理後スペクトル（Ｌ）と同じ値の補正後スペクトル（Ｌ）ＳＣＬに対して処理前比を満たすように、処理後スペクトル（Ｒ）ＳＳＲを補正すると、補正後スペクトル（Ｒ）ＳＣＲｎは、処理後スペクトル（Ｒ）ＳＳＲｎより大きくなる（ＳＣＲｎ＞ＳＳＲｎ）。
増加補正は、処理後スペクトル（Ｌ）又は処理後スペクトル（Ｒ）の何れかの振幅を大きく補正して、処理後比ＲＳを処理前比ＲＩに一致させるものである。
１．処理後比ＲＳｎが処理前比ＲＩｎより大きい場合
（１）補正後スペクトル（Ｌ）を求める（Ｌ固定）
処理後スペクトル（Ｌ）ＳＳＬｎを補正後スペクトル（Ｌ）ＳＣＬｎとする（ＳＣＬｎ＝ＳＳＬｎ）
（２）補正後スペクトル（Ｒ）を求める
そして、（１）で求めた補正後スペクトル（Ｌ）ＳＣＬｎに対する比が、処理前比ＲＩｎと等しくなるように、補正後スペクトル（Ｒ）ＳＣＲｎを求める。
このとき、処理後比ＲＳｎは、処理前比ＲＩｎより大きいので、処理後スペクトル（Ｌ）と同じ値の補正後スペクトル（Ｌ）ＳＣＬに対して処理前比を満たすように、処理後スペクトル（Ｒ）ＳＳＲを補正すると、補正後スペクトル（Ｒ）ＳＣＲｎは、処理後スペクトル（Ｒ）ＳＳＲｎより大きくなる（ＳＣＲｎ＞ＳＳＲｎ）。
２．処理後比ＲＳｎが処理前比ＲＩｎより小さい場合
（１）補正後スペクトル（Ｒ）を求める（Ｒ固定）
処理後スペクトル（Ｒ）ＳＳＲｎを補正後スペクトル（Ｒ）ＳＣＲｎとする（ＳＣＲｎ＝ＳＳＲｎ）
（２）補正後スペクトル（Ｌ）を求める
そして、（１）で求めた補正後スペクトル（Ｒ）ＳＣＲｎに対する比が、処理前比ＲＩｎと等しくなるように、補正後スペクトル（Ｌ）ＳＣＬｎを求める。
このとき、ＳＣＬｎ＞ＳＳＬｎとなる。
なお、上記「ｎ」には、各周波数帯域を示す数字（１〜８）が入る。
（１）補正後スペクトル（Ｒ）を求める（Ｒ固定）
処理後スペクトル（Ｒ）ＳＳＲｎを補正後スペクトル（Ｒ）ＳＣＲｎとする（ＳＣＲｎ＝ＳＳＲｎ）
（２）補正後スペクトル（Ｌ）を求める
そして、（１）で求めた補正後スペクトル（Ｒ）ＳＣＲｎに対する比が、処理前比ＲＩｎと等しくなるように、補正後スペクトル（Ｌ）ＳＣＬｎを求める。
このとき、ＳＣＬｎ＞ＳＳＬｎとなる。
なお、上記「ｎ」には、各周波数帯域を示す数字（１〜８）が入る。
上記の増加補正において、補正後スペクトルの振幅は、本実施形態においてノイズ低減処理前の振幅以下であるが、これに限定されない。例えば、ノイズ低減処理後のスペクトルを一旦増幅した後にスペクトルの振幅を補正した場合には、補正後のスペクトルの振幅はノイズ低減処理前の振幅よりも大きくなることがある。
３．具体例
具体例として、図２（ａ）〜（ｅ）中に示すように、周波数スペクトルにおける周波数帯域ｆ３に左右で差があり、周波数帯域ｆ３における左右（Ｌ，Ｒ）の振幅値がノイズ低減処理前（６，３）で、ノイズ低減処理によって（４，１）に変化したとする。
この場合、処理前比ＲＩ３は６／３＝２、処理後比ＲＳ３は４／１＝４、と異なる。補正後における左右信号比（補正後比）ＲＣ３を処理前比ＲＩ３と等しくするため、ノイズ低減処理後の右（Ｒ）の振幅値を１から２に補正する。
その結果、補正後におけるＬ、Ｒの振幅値は（４，２）となり、処理前比２と等しくなる。
このような増加補正によれば、目的音の劣化を抑えることができ、人の音がある場合や目的音が大きくノイズがあまり気にならない場合等に適する。
具体例として、図２（ａ）〜（ｅ）中に示すように、周波数スペクトルにおける周波数帯域ｆ３に左右で差があり、周波数帯域ｆ３における左右（Ｌ，Ｒ）の振幅値がノイズ低減処理前（６，３）で、ノイズ低減処理によって（４，１）に変化したとする。
この場合、処理前比ＲＩ３は６／３＝２、処理後比ＲＳ３は４／１＝４、と異なる。補正後における左右信号比（補正後比）ＲＣ３を処理前比ＲＩ３と等しくするため、ノイズ低減処理後の右（Ｒ）の振幅値を１から２に補正する。
その結果、補正後におけるＬ、Ｒの振幅値は（４，２）となり、処理前比２と等しくなる。
このような増加補正によれば、目的音の劣化を抑えることができ、人の音がある場合や目的音が大きくノイズがあまり気にならない場合等に適する。
（減少補正）
減少補正は、処理後スペクトル（Ｌ）又は処理後スペクトル（Ｒ）の何れかの振幅を小さく補正して、処理後比ＲＳを処理前比ＲＩに一致させるものである。
１．処理後比ＲＳｎが処理前比ＲＩｎより大きい場合
（１）補正後スペクトル（Ｒ）を求める（Ｒ固定）
処理後スペクトル（Ｒ）ＳＳＲｎを補正後スペクトル（Ｒ）ＳＣＲｎとする（ＳＣＲｎ＝ＳＳＲｎ）
（２）補正後スペクトル（Ｌ）を求める
そして、（１）で求めた補正後スペクトル（Ｒ）ＳＣＲｎに対する比が、処理前比ＲＩｎと等しくなるように、補正後スペクトル（Ｌ）ＳＣＬｎを求める。
このとき、ＳＣＬｎ＜ＳＳＬｎとなる。
減少補正は、処理後スペクトル（Ｌ）又は処理後スペクトル（Ｒ）の何れかの振幅を小さく補正して、処理後比ＲＳを処理前比ＲＩに一致させるものである。
１．処理後比ＲＳｎが処理前比ＲＩｎより大きい場合
（１）補正後スペクトル（Ｒ）を求める（Ｒ固定）
処理後スペクトル（Ｒ）ＳＳＲｎを補正後スペクトル（Ｒ）ＳＣＲｎとする（ＳＣＲｎ＝ＳＳＲｎ）
（２）補正後スペクトル（Ｌ）を求める
そして、（１）で求めた補正後スペクトル（Ｒ）ＳＣＲｎに対する比が、処理前比ＲＩｎと等しくなるように、補正後スペクトル（Ｌ）ＳＣＬｎを求める。
このとき、ＳＣＬｎ＜ＳＳＬｎとなる。
２．処理後比ＲＳｎが処理前比ＲＩｎより小さい場合
（１）補正後スペクトル（Ｌ）を求める（Ｌ固定）
処理後スペクトル（Ｌ）ＳＳＬｎを補正後スペクトル（Ｌ）ＳＣＬｎとする（ＳＣＬｎ＝ＳＳＬｎ）
（２）補正後スペクトル（Ｒ）を求める
そして、（１）で求めた補正後スペクトル（Ｌ）ＳＣＬｎに対する比が、処理前比ＲＩｎと等しくなるように、補正後スペクトル（Ｒ）ＳＣＲｎを求める。
このとき、ＳＣＲｎ＜ＳＳＲｎとなる。
このような減少補正は、ノイズ低減効果が高く、人声のない静かな場合等に適する。
（１）補正後スペクトル（Ｌ）を求める（Ｌ固定）
処理後スペクトル（Ｌ）ＳＳＬｎを補正後スペクトル（Ｌ）ＳＣＬｎとする（ＳＣＬｎ＝ＳＳＬｎ）
（２）補正後スペクトル（Ｒ）を求める
そして、（１）で求めた補正後スペクトル（Ｌ）ＳＣＬｎに対する比が、処理前比ＲＩｎと等しくなるように、補正後スペクトル（Ｒ）ＳＣＲｎを求める。
このとき、ＳＣＲｎ＜ＳＳＲｎとなる。
このような減少補正は、ノイズ低減効果が高く、人声のない静かな場合等に適する。
なお上記の減少補正において、補正後スペクトルの振幅は、本実施形態においてノイズ低減処理後の振幅以下であるが、これに限定されない。例えば、ノイズ低減処理後のスペクトルを一旦増幅した後にスペクトルの振幅を補正した場合には、補正後のスペクトルの振幅はノイズ低減処理後の振幅よりも大きくなることがある。また、増幅の度合いに応じては、ノイズ低減処理前の振幅よりも大きくなることもある。
（平均補正）
平均補正は、前述した増加補正と減少補正とを折衷したものである。ノイズ低減処理後の左右の周波数スペクトルにおける振幅の和を、処理後比ＲＳｎ＝処理前比ＲＩｎとなるように左右に振り分けて補正するものである。
平均補正は、前述した増加補正と減少補正とを折衷したものである。ノイズ低減処理後の左右の周波数スペクトルにおける振幅の和を、処理後比ＲＳｎ＝処理前比ＲＩｎとなるように左右に振り分けて補正するものである。
上記各補正方式は、補正する対象や状況に応じて、補正方式を切り換えて適用するように構成してもよい。補正方式の切り換えは、公知の技術である音認識や撮像情報から顔認識や人物認識を利用して行うことができる。たとえば、人物が大きく撮影されている場合や人の音入力が認識された場合および入力が大きい場合には増加補正を適用し、人物が認識されないその他の場合には減少補正を適用するように構成すれば良い。
なお、本実施形態では、処理後比ＲＳ（第１の関係）を処理前比ＲＩ（基準関係）に一致させる例について説明した。しかし、本実施形態はそれに限定されない。補正後比ＲＣは必ずしもＲＣ＝処理前比ＲＩでなくても良く、ＲＣは処理前比ＲＩを含む所定の範囲内であればよい。また、補正後比ＲＣの所定の範囲とは、処理後比ＲＳよりも処理前比ＲＩに近い値となる範囲である。
すなわち、仮に、処理後比ＲＳ（第１の関係）の音を聞くことができたとすると、補正後比ＲＣの音の定位は、第１の関係（処理後比ＲＳ）の音の定位よりも、処理前比ＲＩの音の定位に近い。
また、補正後比ＲＣの所定の範囲とは、補正後比ＲＣが処理前比ＲＩのプラスマイナス５％以内に含まれるような範囲と定めてもよい。
また、補正後比ＲＣの所定の範囲とは、補正後比ＲＣが処理前比ＲＩのプラスマイナス５％以内に含まれるような範囲と定めてもよい。
また、補正後比ＲＣの所定の範囲とは、ノイズ低減処理前の音像の位置に対して、補正後の音像の位置がプラスマイナス３０°以内に含まれるような範囲であってもよい。このように、補正後比ＲＣの所定の範囲を、補正後の音像の位置が所定の角度の範囲に含まれるような範囲として定めてもよい。また補正後比ＲＣの所定の範囲とは、補正後の音像の位置がプラスマイナス３０°よりも狭い、プラスマイナス１５°以内に含まれる範囲であってもよい。
つぎに、図３に示すフローチャートに沿って、ノイズ低減処理部１４Ａおよび補正部１４Ｂによるノイズ低減処理と補正制御の流れを説明する。なお、図３中および以下の説明では、ステップを「Ｓ」とも略記する。
ノイズ低減処理部１４Ａによるノイズ低減処理と補正部１４Ｂによる補正は、前述したようにＡＦエンコーダ２１の出力等のＡＦ駆動情報に基づいてスタートする。つまり、ＡＦ駆動時のみに機能する。
ノイズ低減処理部１４Ａによるノイズ低減処理と補正部１４Ｂによる補正は、前述したようにＡＦエンコーダ２１の出力等のＡＦ駆動情報に基づいてスタートする。つまり、ＡＦ駆動時のみに機能する。
ノイズ低減処理と補正制御は、まず、補正部１４Ｂがノイズ低減処理部１４Ａによるノイズ低減処理前におけるそのフレームの処理前比ＲＩを演算し（Ｓ３０１）、ノイズ低減処理部１４Ａによってノイズ低減処理を行う（Ｓ３０２）。
ついで、補正部１４Ｂが、ノイズ低減処理部１４Ａによるノイズ低減処理後の処理後比ＲＳを演算し（Ｓ３０３）、その処理後比ＲＳと処理前比ＲＩとを比較する（Ｓ３０４）。
ステップ３０４において両者が等しくないと判断された場合（Ｎｏ）には、補正部１４Ｂによってノイズ低減処理後の信号に補正を行う（Ｓ３０５）。一方、ステップ３０４において両者が等しいと判断された場合（Ｙｅｓ）には、補正することなく制御を終了する。
ついで、補正部１４Ｂが、ノイズ低減処理部１４Ａによるノイズ低減処理後の処理後比ＲＳを演算し（Ｓ３０３）、その処理後比ＲＳと処理前比ＲＩとを比較する（Ｓ３０４）。
ステップ３０４において両者が等しくないと判断された場合（Ｎｏ）には、補正部１４Ｂによってノイズ低減処理後の信号に補正を行う（Ｓ３０５）。一方、ステップ３０４において両者が等しいと判断された場合（Ｙｅｓ）には、補正することなく制御を終了する。
上記のように、補正部１４Ｂは、周波数スペクトルの各周波数帯域における処理後比を、処理前比と略一致するように補正する。
これにより、ステレオ信号をノイズ発生タイミングに合わせてノイズ低減処理を行った際に、そのノイズ低減処理に起因する目的音の音像変位を抑制することができる。
これにより、ステレオ信号をノイズ発生タイミングに合わせてノイズ低減処理を行った際に、そのノイズ低減処理に起因する目的音の音像変位を抑制することができる。
すなわち、図４に概念図を示すように、人物Ｍから見た目的音の音像位置に対して、ノイズ低減処理のみで補正しない処理音の音像が大きく移動してしまう場合でも、補正によって音像の移動を小さく抑えることができる。その結果、ノイズ低減処理時（ＡＦ駆動時）において映像と音像とが突然乖離するといった違和感のある音像変位を防ぐことができるものである。
また、本実施形態において音処理は、全周波数帯域において行うものでなくてもよく、一部の周波数帯域に対して音処理を行ってもよい。一部の周波数帯域の例としては、ノイズが特に検出される周波数帯域や、可聴の周波数帯域、極端な高周波や低周波をカットした周波数帯域があげられる。
また、本実施形態において音処理は、全周波数帯域において行うものでなくてもよく、一部の周波数帯域に対して音処理を行ってもよい。一部の周波数帯域の例としては、ノイズが特に検出される周波数帯域や、可聴の周波数帯域、極端な高周波や低周波をカットした周波数帯域があげられる。
（第２実施形態）
つぎに、本発明の第２実施形態について説明する。
図５は、第２実施形態にかかる音情報処理部１４におけるノイズ低減処理と補正のフローチャートである。図２、図３と同様に、周波数スペクトルにおける周波数帯域ｆ３について説明する。
本第２実施形態は、補正の基準とする左右信号比（処理前比）を、ノイズ（ＡＦ駆動音）発生の無い部分（フレーム）から取得するものである。なお、機構的な構成は、前述した第１実施形態と全く同様であり、説明は省略する。以下の説明中における構成要素の符号等は、図１参照のこと。
本第２実施形態では、補正の基準とする左右信号比を、ノイズ低減処理部分の直前または直後の部分から求める。なお、直前の信号比を利用する場合にはリアルタイムの処理（逐次処理）が可能であるが、直後の信号比を利用する場合には逐次処理が難しく後処理の場合にのみ適用可能である。
つぎに、本発明の第２実施形態について説明する。
図５は、第２実施形態にかかる音情報処理部１４におけるノイズ低減処理と補正のフローチャートである。図２、図３と同様に、周波数スペクトルにおける周波数帯域ｆ３について説明する。
本第２実施形態は、補正の基準とする左右信号比（処理前比）を、ノイズ（ＡＦ駆動音）発生の無い部分（フレーム）から取得するものである。なお、機構的な構成は、前述した第１実施形態と全く同様であり、説明は省略する。以下の説明中における構成要素の符号等は、図１参照のこと。
本第２実施形態では、補正の基準とする左右信号比を、ノイズ低減処理部分の直前または直後の部分から求める。なお、直前の信号比を利用する場合にはリアルタイムの処理（逐次処理）が可能であるが、直後の信号比を利用する場合には逐次処理が難しく後処理の場合にのみ適用可能である。
このように、ノイズ（ＡＦ駆動音）が混入していない部分から左右信号比を求めてこれを補正の基準とすることで、ノイズの影響を受けずに目的音の左右比を求めることができる。
ただし、目的音の時間変化が大きい場合は、ノイズ低減処理部分の直前と、ノイズ低減処理部分とで、目的音のスペクトル（左右信号比）が大きく変化することがあり、実際に発生している目的音の音像移動に追従できないことがある。このようなことを防ぐため、補正の基準とする左右信号比を、ノイズ低減処理部分の直前から求めた左右信号比と、前述した第１実施形態のようにノイズ低減処理部分の左右信号比と、の何れかを選択可能とすることが好ましい。
ただし、目的音の時間変化が大きい場合は、ノイズ低減処理部分の直前と、ノイズ低減処理部分とで、目的音のスペクトル（左右信号比）が大きく変化することがあり、実際に発生している目的音の音像移動に追従できないことがある。このようなことを防ぐため、補正の基準とする左右信号比を、ノイズ低減処理部分の直前から求めた左右信号比と、前述した第１実施形態のようにノイズ低減処理部分の左右信号比と、の何れかを選択可能とすることが好ましい。
この補正基準となる左右信号比を選択して適用する場合におけるノイズ低減処理および補正を、図５に示すフローチャートに沿って説明する。
まず、補正部１４Ｂが、ＡＦエンコーダ２１の出力等のＡＦ駆動情報に基づいてノイズ低減処理をスタートする直前のフレームの左右の信号比ＲＩｂを演算し（Ｓ５０１）、ノイズ低減処理に入った後にノイズ低減処理部１４Ａによるノイズ低減処理前における各フレームの左右の信号比ＲＩａを演算する（Ｓ５０２）。
まず、補正部１４Ｂが、ＡＦエンコーダ２１の出力等のＡＦ駆動情報に基づいてノイズ低減処理をスタートする直前のフレームの左右の信号比ＲＩｂを演算し（Ｓ５０１）、ノイズ低減処理に入った後にノイズ低減処理部１４Ａによるノイズ低減処理前における各フレームの左右の信号比ＲＩａを演算する（Ｓ５０２）。
そして、信号比ＲＩｂと信号比ＲＩａとの差（絶対値）を、予め定められた閾値Ａと比較判定する（Ｓ５０３）。
ステップ５０３において、信号比ＲＩｂと信号比ＲＩａとの差が閾値Ａ以下と判定された場合（Ｙｅｓ）には、信号比ＲＩｂを基準比ＲＩとして設定する（Ｓ５０４）。一方、ステップ５０３において、信号比ＲＩｂと信号比ＲＩａとの差が閾値Ａを越えていると判定された場合（Ｎｏ）には、信号比ＲＩａを基準比ＲＩとして設定する（Ｓ５０５）。
ステップ５０３において、信号比ＲＩｂと信号比ＲＩａとの差が閾値Ａ以下と判定された場合（Ｙｅｓ）には、信号比ＲＩｂを基準比ＲＩとして設定する（Ｓ５０４）。一方、ステップ５０３において、信号比ＲＩｂと信号比ＲＩａとの差が閾値Ａを越えていると判定された場合（Ｎｏ）には、信号比ＲＩａを基準比ＲＩとして設定する（Ｓ５０５）。
その後、ノイズ低減処理部１４Ａによってノイズ低減処理を行い（Ｓ５０６）、ついで、補正部１４Ｂが、ノイズ低減処理部１４Ａによるノイズ低減処理後の左右の信号比ＲＳを演算し（Ｓ５０７）、そのノイズ低減処理後左右信号比ＲＳとノイズ低減処理前左右信号比ＲＩとを比較する（Ｓ５０８）。
ステップ５０８において両者が等しくないと判断された場合（Ｎｏ）には、補正部１４Ｂによってノイズ低減処理後の信号に補正を行う（Ｓ５０９）。一方、ステップ５０８において両者が等しいと判断された場合（Ｙｅｓ）には、補正することなく制御を終了する。
ステップ５０８において両者が等しくないと判断された場合（Ｎｏ）には、補正部１４Ｂによってノイズ低減処理後の信号に補正を行う（Ｓ５０９）。一方、ステップ５０８において両者が等しいと判断された場合（Ｙｅｓ）には、補正することなく制御を終了する。
上記構成では、ノイズ低減処理部分の直前から求めた左右信号比ＲＩｂとノイズ低減処理部分の左右信号比ＲＩａとを比較し、その差が小さい場合には、目的音の音像の移動が小さいと判断してノイズの影響を受けない信号比ＲＩｂを基準信号比ＲＩとして採用し、差が所定量より大きい場合には、目的音の音像の移動が大きいと判断して信号比ＲＩａを基準信号比ＲＩとして採用するものである。
このような構成によれば、目的音の音像の移動が小さい場合には処理部分の直前と処理部分の音像の連続性を保つことができ、目的音の音像の移動が大きい場合には違和感のない円滑な音像移動を再現できる。
このような構成によれば、目的音の音像の移動が小さい場合には処理部分の直前と処理部分の音像の連続性を保つことができ、目的音の音像の移動が大きい場合には違和感のない円滑な音像移動を再現できる。
なお、事後処理（逐次処理でなく一旦記録した後に、読み出して行う処理）となるが、ノイズ低減処理部分の直前と直後の部分（フレーム）の左右信号比をそれぞれ求め、その変化率に対応させて左右の信号比率を変化させても良い。つまり、ノイズ低減処理部分の直前と直後において左右信号比が大きく異なる場合は、音源が左右に移動したと考えられるため、ノイズ低減処理部分の直前と直後の左右の信号比の変化と対応するように音像を移動させる処理を行うものである。
図６は、このような処理の説明図である。
図６（ａ）に示すように、フレーム４〜１０がノイズ低減処理フレームである場合、フレーム３が直前部分、フレーム１１が直後部分のフレームである。
図６（ｂ）において、ＳＦＬ３は直前（フレーム３）の左スペクトル、ＳＦＲ３は直前（フレーム３）の右スペクトル、ＳＦＬ１１は直後（フレーム１１）の左スペクトル、ＳＦＲ１１は直後（フレーム１１）の右スペクトルである。
図６（ａ）に示すように、フレーム４〜１０がノイズ低減処理フレームである場合、フレーム３が直前部分、フレーム１１が直後部分のフレームである。
図６（ｂ）において、ＳＦＬ３は直前（フレーム３）の左スペクトル、ＳＦＲ３は直前（フレーム３）の右スペクトル、ＳＦＬ１１は直後（フレーム１１）の左スペクトル、ＳＦＲ１１は直後（フレーム１１）の右スペクトルである。
ここで、たとえば、周波数帯域ｆ３について見ると、
左側：ＳＦＬ１１のｆ３（振幅１．５）は、ＳＦＬ３のｆ３（振幅３）より減少している。
右側：ＳＦＲ１１のｆ３（振幅３）は、ＳＦＲ３のｆ３（振幅１）より増加している。
これは、ノイズ低減処理フレーム４〜１０の間に音源が左側から右側に移動していることを示す。
左側：ＳＦＬ１１のｆ３（振幅１．５）は、ＳＦＬ３のｆ３（振幅３）より減少している。
右側：ＳＦＲ１１のｆ３（振幅３）は、ＳＦＲ３のｆ３（振幅１）より増加している。
これは、ノイズ低減処理フレーム４〜１０の間に音源が左側から右側に移動していることを示す。
そこで、ノイズ低減処理フレーム４〜１０における左右の信号比（処理前比）については、図６（ｃ）に示すように、直前（フレーム３）の左右の信号比（３／１＝３）から、直後（フレーム１１）の左右の信号比（１．５／３＝０．５）へ、連続して変化するようにして補正の基準値となる信号比を求める。
具体的には、直前と直後の値（３と０．５）と直前と直後の間にあるフレーム（７つ）とに基づいて、各フレームでの左右の信号比の値を求める。具体的にはフレーム４〜１０間で２．５／８の値ずつ左右比を減少させるような補正を行う。
ｆ３以外の周波数帯域についても、各々同様の処理を行う。
その結果、処理直前から処理中、処理直後の左右の信号比が連続的に変化し、音像の移動が滑らかになり、違和感を軽減することができる。
具体的には、直前と直後の値（３と０．５）と直前と直後の間にあるフレーム（７つ）とに基づいて、各フレームでの左右の信号比の値を求める。具体的にはフレーム４〜１０間で２．５／８の値ずつ左右比を減少させるような補正を行う。
ｆ３以外の周波数帯域についても、各々同様の処理を行う。
その結果、処理直前から処理中、処理直後の左右の信号比が連続的に変化し、音像の移動が滑らかになり、違和感を軽減することができる。
以上、本実施形態によると、以下の効果を有する。
（１）カメラ１における補正部１４Ｂは、ノイズ低減処理後における周波数スペクトルの各周波数帯域における左右の信号比を、ノイズ低減処理前における周波数スペクトルの各周波数帯域における左右の信号比と略一致するように補正する。これにより、ステレオ信号をノイズ発生タイミングに合わせてノイズ低減処理する際に、そのノイズ低減処理に起因して生ずる目的音の音像変位を抑制することができる。その結果、ノイズ低減処理時（ＡＦ駆動時）における音像変位による違和感を防ぐことができる。
（１）カメラ１における補正部１４Ｂは、ノイズ低減処理後における周波数スペクトルの各周波数帯域における左右の信号比を、ノイズ低減処理前における周波数スペクトルの各周波数帯域における左右の信号比と略一致するように補正する。これにより、ステレオ信号をノイズ発生タイミングに合わせてノイズ低減処理する際に、そのノイズ低減処理に起因して生ずる目的音の音像変位を抑制することができる。その結果、ノイズ低減処理時（ＡＦ駆動時）における音像変位による違和感を防ぐことができる。
（変形形態）
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
（１）上記実施形態は、本発明を音処理装置としてのカメラに適用したものである。しかし、本発明はこれに限らず、コンピュータを上記各構成要素として機能させるプログラムとして提供されるものであっても良い。
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
（１）上記実施形態は、本発明を音処理装置としてのカメラに適用したものである。しかし、本発明はこれに限らず、コンピュータを上記各構成要素として機能させるプログラムとして提供されるものであっても良い。
（２）上記実施形態は、本発明をカメラにおけるＡＦ駆動音によるノイズを低減するように構成したものである。しかし、本発明はこれに限らず、ズーミングやブレ補正装置の作動ノイズの低減にも適用可能なものであり、さらに、カメラに限らず録音機能を備える光学機器に適用可能である。
（３）本実施形態では、カメラ本体１０に音情報処理部１４が含まれている例について説明したが、これに限定されず、カメラに備わるステレオマイクで録音した後、音処理装置のほうにデータを送信し、音処理装置で低減処理を行ってもよい。すなわち、音を集音する部分と、音の低減処理を施す部分とが分離していてもよい。
この場合、一例として以下のような流れで処理が行われる。
カメラ等に備わるステレオマイクで周囲の音が録音される。
そして、そのステレオマイクで録音した音が音データに変換され、記憶部に記憶される。
録音の際にＡＦ等のカメラ備わる機能の動作が行われた場合は、周囲の音を録音した音データとカメラに備わる機能の動作（例えばＡＦの動作）を行ったタイミングとを関連づけて記憶させる。
次に、記憶部に記憶された音データと動作タイミングとが出力部を介して、別体の音処理装置、例えばＰＣ等に出力される。
音処理装置は、制御部、記憶部、ノイズ低減処理部（以下、これらをＳＰ制御部、ＳＰ記憶部、ＳＰノイズ低減処理部という）を備える。
ＳＰ制御部は、カメラから入力部を介して入力されたその音データと動作タイミングと音データをＳＰ記憶部に記憶させる。
ＳＰ制御部は、ＳＰ記憶部に記憶された音データをＳＰ低減処理部へ出力し、ＳＰ低減処理部は音データに対してＡＦ音などの雑音の低減を行う。
なお、音の低減処理は、音データと共に記憶されている機能の動作タイミングに基づいて行う。その後、ＳＰ制御部は、低減処理された音データをＳＰ記憶部に記憶させる。このようにして、音データに対して低減処理を施してもよい。
この場合、一例として以下のような流れで処理が行われる。
カメラ等に備わるステレオマイクで周囲の音が録音される。
そして、そのステレオマイクで録音した音が音データに変換され、記憶部に記憶される。
録音の際にＡＦ等のカメラ備わる機能の動作が行われた場合は、周囲の音を録音した音データとカメラに備わる機能の動作（例えばＡＦの動作）を行ったタイミングとを関連づけて記憶させる。
次に、記憶部に記憶された音データと動作タイミングとが出力部を介して、別体の音処理装置、例えばＰＣ等に出力される。
音処理装置は、制御部、記憶部、ノイズ低減処理部（以下、これらをＳＰ制御部、ＳＰ記憶部、ＳＰノイズ低減処理部という）を備える。
ＳＰ制御部は、カメラから入力部を介して入力されたその音データと動作タイミングと音データをＳＰ記憶部に記憶させる。
ＳＰ制御部は、ＳＰ記憶部に記憶された音データをＳＰ低減処理部へ出力し、ＳＰ低減処理部は音データに対してＡＦ音などの雑音の低減を行う。
なお、音の低減処理は、音データと共に記憶されている機能の動作タイミングに基づいて行う。その後、ＳＰ制御部は、低減処理された音データをＳＰ記憶部に記憶させる。このようにして、音データに対して低減処理を施してもよい。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
１：カメラ、１３：ステレオ集音装置、１３Ｌ：左マイク、１３Ｒ：右マイク、１４：音情報処理部、１４Ａ：ノイズ低減処理部、１４Ｂ：補正部、２０：レンズ鏡筒、２１：ＡＦエンコーダ、２２：ＡＦ駆動用モータ、ＳＩＬ，ＳＩＲ：ノイズ低減処理前の周波数スペクトル、ＲＩ：処理前比、ＳＮ：ノイズ周波数スペクトル、ＳＳＬ，ＳＳＲ：ノイズ低減処理後の周波数スペクトル、ＲＳ：処理後比、ＳＣＬ，ＳＣＲ：補正後の周波数スペクトル
Claims (12)
- 除去対象となるノイズを低減する音処理装置であって、
第１集音部により集音された第１音データと、第２集音部により集音された第２音データと、の周波数領域における振幅の大きさの関係である基準関係を算出する算出部と、
前記ノイズを含む周波数領域の少なくとも一部の周波数領域における、前記第１音データと前記第２音データとの振幅の大きさの関係が、前記基準関係を含む所定の範囲に含まれるよう、前記第１音データと前記第２音データとのうち少なくとも一方から、前記少なくとも一部の周波数領域に対して前記ノイズを低減する処理部とを備える。 - 除去対象となるノイズを低減する音処理装置であって、
第１音データを出力する第１集音部と第２音データを出力する第２集音部とを有する集音部と、
前記第１音データと前記第２音データとの周波数領域における振幅の大きさの関係を基準関係とし、前記ノイズを含む周波数領域の少なくとも一部の周波数領域における、前記第１音データと前記第２音データとの振幅の大きさの関係が、前記基準関係を含む所定の範囲に含まれるよう、前記第１音データと前記第２音データとのうち少なくとも一方から、前記少なくとも一部の周波数領域に対して前記ノイズが低減された、前記第１音データと前記第２音データとを出力する出力部とを備える。 - 請求項２に記載の音処理装置であって、
前記基準関係を算出する算出部と、
前記ノイズを含む周波数領域の少なくとも一部の周波数領域における、前記第１音データと前記第２音データとの振幅の大きさの関係が、前記基準関係を含む所定の範囲に含まれるよう、前記第１音データと前記第２音データとのうち少なくとも一方から前記ノイズを低減する処理をする処理部とを備え、
前記出力部は、前記処理部によって処理された前記第１音データと前記第２音データとを出力する。 - 請求項１または３に記載の音処理装置であって、
前記処理部は、前記第１音データと前記第２音データとのうち少なくとも一方から前記ノイズを低減する第１処理と、前記第１処理の後の、前記第１音データと前記第２音データとの周波数領域における振幅の大きさの関係である第１の関係を、前記所定の範囲に含まれる第２の関係にする第２処理とを行い、
前記第２の関係は、前記第１音データと前記第２音データとの周波数領域における振幅の大きさの関係が前記第１の関係よりも前記基準関係に近い関係である。 - 請求項４に記載の音処理装置であって、
前記ノイズである、メカの駆動により発生する駆動音を検出する検出部を備え、
前記処理部は、前記検出部の検出に基づいて、前記第１音データと前記第２音データの少なくとも一方から前記駆動音を低減する処理である前記第１処理を行う。 - 請求項５に記載の音処理装置であって、
前記処理部は、前記基準関係と前記第２の関係とが略一致するように、前記処理部によって前記第１処理された前記第１音データと、前記処理部によって前記第１処理された前記第２音データと、の少なくとも一方の音を補正する処理である前記第２処理を行う。 - 請求項６に記載の音処理装置であって、
前記処理部は、
前記検出部による前記駆動音の検出前における、前記第１音データと前記第２音データとの関係と、
前記処理部による前記第１処理前における、前記第１音データと前記第２音データとの関係と、
を比較して何れかを前記基準関係とし、前記基準関係に基づいて前記補正を行う。 - 請求項６に記載の音処理装置であって、
前記処理部は、
前記検出部による前記駆動音の検出前における、前記第１音データの周波数スペクトルと前記第２音データの周波数スペクトルとの比である事前比と、
前記検出部によって前記駆動音が検出され、前記処理部による前記第１処理前における、前記第１音データの周波数スペクトルと前記第２音データの周波数スペクトルとの比である事後比と、
を比較し、その差が所定値より小さい場合には前記事前比が前記基準関係とされ、前記基準関係に基づいて補正する。 - 請求項６に記載の音処理装置であって、
前記処理部は、
前記検出部による前記駆動音の検出前における、前記第１音データの周波数スペクトルと前記第２音データの周波数スペクトルとの比と、
前記検出部による駆動音の検出終了後における、前記第１音データの周波数スペクトルと前記第２音データの周波数スペクトルとの比と、
を比較して前記基準関係が決定され、前記基準関係に基づいて前記補正を行う。 - 請求項５に記載の音処理装置であって、
前記処理部は、前記駆動音が発生している駆動時に、前記第１音データと前記第２音データとに対して前記第１処理を行う。 - 除去対象となるノイズを低減させる音処理装置のコンピュータに実行させるためのプログラムであって、
第１集音部により集音された第１音データと第２集音部により集音された第２音データとの周波数領域における振幅の大きさの関係である基準関係を算出する処理と、
前記ノイズを含む周波数領域の少なくとも一部の周波数領域における、前記第１音データと前記第２音データとの振幅の大きさの関係が、前記基準関係を含む所定の範囲に含まれるよう、前記第１音データと前記第２音データとのうち少なくとも一方から、前記少なくとも一部の周波数領域に対して前記ノイズを低減する処理とをコンピュータに実行させる。 - 除去対象となるノイズを低減させる音処理装置のコンピュータに実行させるためのプログラムであって、
第１集音部による第１音データの集音と、第２集音部による第２音データの集音とを行う処理と、
前記第１音データと前記第２音データとの周波数領域における振幅の関係を基準関係とし、前記ノイズを含む周波数領域の少なくとも一部の周波数領域における、前記第１音データと前記第２音データとの振幅の関係が、前記基準関係を含む所定の範囲に含まれるよう、前記第１音データと前記第２音データとのうち少なくとも一方から、前記少なくとも一部の周波数領域に対して前記ノイズが低減された、前記第１音データと前記第２音データとを出力する処理とをコンピュータに実行させる。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013017863A JP6197298B2 (ja) | 2012-02-01 | 2013-01-31 | 音処理装置および音処理プログラム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012019627 | 2012-02-01 | ||
| JP2012019627 | 2012-02-01 | ||
| JP2013017863A JP6197298B2 (ja) | 2012-02-01 | 2013-01-31 | 音処理装置および音処理プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017160246A Division JP6369612B2 (ja) | 2012-02-01 | 2017-08-23 | 音処理装置および音処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013179585A JP2013179585A (ja) | 2013-09-09 |
| JP6197298B2 true JP6197298B2 (ja) | 2017-09-20 |
Family
ID=49270816
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013017863A Active JP6197298B2 (ja) | 2012-02-01 | 2013-01-31 | 音処理装置および音処理プログラム |
| JP2017160246A Active JP6369612B2 (ja) | 2012-02-01 | 2017-08-23 | 音処理装置および音処理プログラム |
| JP2018131259A Active JP6610725B2 (ja) | 2012-02-01 | 2018-07-11 | 音処理装置および音処理プログラム |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017160246A Active JP6369612B2 (ja) | 2012-02-01 | 2017-08-23 | 音処理装置および音処理プログラム |
| JP2018131259A Active JP6610725B2 (ja) | 2012-02-01 | 2018-07-11 | 音処理装置および音処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP6197298B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6497879B2 (ja) * | 2014-09-04 | 2019-04-10 | キヤノン株式会社 | 電子機器及び制御方法 |
| JP6491440B2 (ja) * | 2014-09-04 | 2019-03-27 | キヤノン株式会社 | 電子機器及び制御方法 |
| JP6497877B2 (ja) * | 2014-09-04 | 2019-04-10 | キヤノン株式会社 | 電子機器及び制御方法 |
| JP6528438B2 (ja) * | 2015-02-12 | 2019-06-12 | 沖電気工業株式会社 | 音信号処理装置及び音信号処理プログラム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6384213A (ja) * | 1986-09-29 | 1988-04-14 | Nippon Telegr & Teleph Corp <Ntt> | ステレオ符号・復号器 |
| JP4196431B2 (ja) * | 1998-06-16 | 2008-12-17 | パナソニック株式会社 | 機器内蔵型マイクロホン装置及び撮像装置 |
| JP3670562B2 (ja) * | 2000-09-05 | 2005-07-13 | 日本電信電話株式会社 | ステレオ音響信号処理方法及び装置並びにステレオ音響信号処理プログラムを記録した記録媒体 |
| JP2004129038A (ja) * | 2002-10-04 | 2004-04-22 | Sony Corp | マイクロホンのレベル調整方法及びマイクロホンのレベル調整装置及び電子機器 |
| JP4403429B2 (ja) * | 2007-03-08 | 2010-01-27 | ソニー株式会社 | 信号処理装置、信号処理方法、プログラム |
| JP2010193323A (ja) * | 2009-02-19 | 2010-09-02 | Casio Hitachi Mobile Communications Co Ltd | 録音装置、再生装置、録音方法、再生方法、及びコンピュータプログラム |
| JP4811475B2 (ja) * | 2009-02-27 | 2011-11-09 | ソニー株式会社 | 録音装置、録音方法、音声信号補正回路及びプログラム |
| JP5564873B2 (ja) * | 2009-09-25 | 2014-08-06 | 富士通株式会社 | 収音処理装置、収音処理方法、及びプログラム |
| JP5024470B2 (ja) * | 2010-04-02 | 2012-09-12 | 株式会社ニコン | 撮影装置、信号処理装置及び記録媒体 |
-
2013
- 2013-01-31 JP JP2013017863A patent/JP6197298B2/ja active Active
-
2017
- 2017-08-23 JP JP2017160246A patent/JP6369612B2/ja active Active
-
2018
- 2018-07-11 JP JP2018131259A patent/JP6610725B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013179585A (ja) | 2013-09-09 |
| JP6610725B2 (ja) | 2019-11-27 |
| JP6369612B2 (ja) | 2018-08-08 |
| JP2018182751A (ja) | 2018-11-15 |
| JP2017229086A (ja) | 2017-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6610725B2 (ja) | 音処理装置および音処理プログラム | |
| JP5529635B2 (ja) | 音声信号処理装置および音声信号処理方法 | |
| JP5748422B2 (ja) | 電子機器 | |
| US9495950B2 (en) | Audio signal processing device, imaging device, audio signal processing method, program, and recording medium | |
| JP2008263498A (ja) | 風雑音低減装置、音響信号録音装置及び撮像装置 | |
| US11190703B2 (en) | Image-capturing apparatus, program, and electronic device that controls image sensor based on moving velocity | |
| US9232146B2 (en) | Imaging device with processing to change sound data | |
| JP2008263483A (ja) | 風雑音低減装置、音響信号録音装置及び撮像装置 | |
| JP5998483B2 (ja) | 音声信号処理装置、音声信号処理方法、プログラム及び記録媒体 | |
| JP2012151544A (ja) | 撮像装置及びプログラム | |
| JP5063489B2 (ja) | 判定装置及びそれを備えた電子機器並びに判定方法 | |
| US9066010B2 (en) | Photographing apparatus, photographing method and medium recording photographing control program | |
| JP2010283706A (ja) | ビデオカメラ | |
| JP2014122978A (ja) | 撮像装置、音声認識方法、及びプログラム | |
| JP4969349B2 (ja) | 撮像装置及び撮像方法 | |
| JP2013223223A (ja) | 録音装置 | |
| JP5018860B2 (ja) | 信号処理装置及び撮像装置 | |
| JP2014026002A (ja) | 録音装置及びプログラム | |
| WO2013115385A1 (ja) | 音処理装置および音処理プログラム | |
| JP6793369B1 (ja) | 撮像装置 | |
| JP5548529B2 (ja) | 音声信号処理装置および撮影装置 | |
| JP2013207472A (ja) | デジタルカメラ | |
| JP5246134B2 (ja) | 信号処理装置及び撮像装置 | |
| JP6361204B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2011166407A (ja) | 音響設定装置および音響設定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160905 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160920 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20161003 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170725 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170807 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6197298 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |