JP5340127B2 - Audio signal processing apparatus and control method of audio signal processing apparatus - Google Patents
Audio signal processing apparatus and control method of audio signal processing apparatus Download PDFInfo
- Publication number
- JP5340127B2 JP5340127B2 JP2009278954A JP2009278954A JP5340127B2 JP 5340127 B2 JP5340127 B2 JP 5340127B2 JP 2009278954 A JP2009278954 A JP 2009278954A JP 2009278954 A JP2009278954 A JP 2009278954A JP 5340127 B2 JP5340127 B2 JP 5340127B2
- Authority
- JP
- Japan
- Prior art keywords
- level
- audio signal
- audio
- detection result
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、音声信号処理装置に関し、特に、取得した音声信号に含まれる、風雑音(ウィンドウノイズ)を低減することができる装置に関する。 The present invention relates to an audio signal processing apparatus, and more particularly to an apparatus that can reduce wind noise (window noise) included in an acquired audio signal.
従来、音声信号を処理する装置として、画像信号を記録すると共に音声信号を記録する撮像装置が知られている。これらの撮像装置では、外部の音声を集音し音声信号を生成するためのマイクロホンを備えているが、その表面等に風が当たると、ユーザにとって耳障りな、雑音が発生してしまうことがあった。この様な装置周辺の風の影響により発生する雑音を一般に風雑音という。 2. Description of the Related Art Conventionally, as an apparatus that processes an audio signal, an imaging apparatus that records an image signal and an audio signal is known. These imaging devices include a microphone for collecting external sound and generating a sound signal. However, when wind hits the surface or the like, noise that is annoying to the user may occur. It was. Such noise generated by the influence of wind around the device is generally called wind noise.
このような問題に対し、マイクから入力された音声の例えば、1kHz以下の低域成分等を減衰させるハイパスフィルタにより、風雑音の影響が大きい低周波成分を減衰させる技術などが提案されている。例えば、特許文献1の技術のように、風雑音の低減をした後に、オートレベルコントローラ(以後、ALC)によって、音声のレベルを調整するものが提案されている。なお、ALCは、音声のレベルが低いときには、音声信号を増幅し、音声のレベルが高いときには音声信号を減衰させるようにしている。 In order to solve such a problem, a technique of attenuating a low frequency component that is greatly affected by wind noise by a high-pass filter that attenuates, for example, a low-frequency component of 1 kHz or less of audio input from a microphone has been proposed. For example, as in the technique of Patent Document 1, after reducing wind noise, an audio level is adjusted by an auto level controller (hereinafter ALC). The ALC amplifies the audio signal when the audio level is low, and attenuates the audio signal when the audio level is high.
しかし、従来は、減衰しきれない周波数に風雑音が含まれていた場合などには、風雑音を完全に低減させることは難しく、音声信号に音量(レベル)が不安定な風雑音成分が残ってしまうことがあった。そのため、特許文献1では、音声信号に音量の不安定な風雑音が残ると、ALCが音声信号の増幅と減衰を繰り返してしまい、例えば、人の声などの一定の音量であるべき音が不安定な音声になってしまうという問題がった。このような音声信号を再生すると、本来聞き取りたい人の声などの音声の音量が安定せず聞きづらいものとなってしまう。 However, in the past, when wind noise was included in frequencies that could not be attenuated, it was difficult to completely reduce wind noise, and wind noise components with unstable volume (level) remained in the audio signal. There was a case. For this reason, in Patent Document 1, if wind noise with unstable volume remains in an audio signal, the ALC repeatedly amplifies and attenuates the audio signal. For example, a sound that should be at a constant volume such as a human voice is unacceptable. There was a problem that the sound became stable. When such an audio signal is reproduced, the volume of the voice such as the voice of the person who originally wants to hear becomes unstable and difficult to hear.
そこで、本発明は、風雑音(風量、風速、風圧)のレベルが高いときに、ALCの増幅率の変化速度を遅くすることによって、ALCの出力音声の不安定さを低減することができる音声信号処理装置を提供することを目的とする。 Therefore, the present invention reduces the instability of the ALC output sound by slowing the change rate of the ALC gain when the level of wind noise (air volume, wind speed, wind pressure) is high. An object is to provide a signal processing device.
なお、風量のレベルが高いときや風速の速いとき、風圧の高いとき等であっても、音声信号に含まれる風雑音のレベルが高くなる可能性が大きい。 Even when the air volume level is high, the wind speed is high, or the wind pressure is high, there is a high possibility that the level of wind noise included in the audio signal will be high.
本発明の音声処理装置は、かかる目的を達成するために、集音手段を備える音声信号処理装置であって、前記集音手段により得られる音声信号に含まれる前記装置周辺の風の影響による雑音成分のレベルを検出する検出手段と、前記音声信号を音声信号のレベルに応じた増幅率で増幅させる調整手段とを有し、前記調整手段は、前記音声信号のレベルが高くなると前記増幅率を下げ、音声信号のレベルが低くなると前記増幅率を上げ、前記調整手段は、前記増幅率を上げる場合に、前記検出手段により検出された前記雑音成分のレベルが高いときほど、前記増幅率の変化速度を遅くする構成とした。 Audio processing apparatus of the present invention, in order to achieve the above object, an audio signal processing apparatus including a sound collection unit, according to the wind effects of the device around included in the audio signal obtained by said sound collecting means Detecting means for detecting a level of a noise component; and adjusting means for amplifying the audio signal with an amplification factor corresponding to the level of the audio signal, wherein the adjusting means increases the amplification factor when the level of the audio signal increases. the lowered, and the level of the audio signal that a low increase the amplification factor, the adjustment means, when increasing the gain, the more when the higher level of said noise component detected by said detecting means, said amplifier The rate change rate is slow.
本発明によれば、風雑音のレベルが大きいときにALCの増幅率の変化速度を遅くすることによって、出力音声の不安定さを低減することができる。これにより、風雑音のレベルが大きいとき等に、人の声などの音声のレベルが不安定になりにくくした音声信号を得ることができる。 According to the present invention, the instability of output sound can be reduced by slowing the rate of change of the ALC gain when the wind noise level is high. As a result, when the wind noise level is high, it is possible to obtain an audio signal in which the audio level such as a human voice is less likely to become unstable.
以下、図面を参照して本発明の実施例を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
音声信号を処理することができる音声信号処理装置として、撮像装置を例にとって説明する。 As an audio signal processing device capable of processing an audio signal, an imaging device will be described as an example.
図1は、実施例1の撮像装置100の構成を示すブロック図である。 FIG. 1 is a block diagram illustrating the configuration of the imaging apparatus 100 according to the first embodiment.
図1において、撮像部101は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。音声入力部102は、内蔵または音声端子を介して接続された複数のマイクにより、撮像装置100の周辺の音声を集音し、アナログデジタル変換、音声処理などを行い音声データを生成する。マイクは、音声振動を音声信号に変換するものである。メモリ103は、撮像部101により得られた画像データや、音声入力部102により得られた音声データを一時的に記憶する。表示制御部104は、撮像部101により得られた画像データに係る映像や、撮像装置100の操作画面、メニュー画面等を表示部105や、不図示の映像端子を介して外部のディスプレイに表示させる。符号化処理部106は、メモリ103に一時的に記憶された画像データや音声データを読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成する。記録再生部107は、記録媒体108に対して、符号化処理部106で生成された圧縮画像データ、圧縮音声データ等を記録したり、記録媒体108に記録された圧縮画像データ、圧縮音声データ、各種データ、プログラムを読み出す。ここで、記録媒体108は、圧縮画像データ、圧縮音声データ、等を記録することができれば、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体を含む。
In FIG. 1, an
制御部109は、撮像装置100の各ブロックに制御信号を送信することで撮像装置100の各ブロックを制御することができ、各種制御を実行するためのCPUやメモリなどからなる。操作部110は、ボタンやダイヤルなどからなり、ユーザの操作に応じて、指示信号を制御部109に送信する。音声出力部111は、記録再生部107により再生された圧縮音声データや、制御部109により出力される音声データをスピーカ112や音声端子などに出力する。外部出力部113は、記録再生部107により再生された圧縮映像データや圧縮音声データなどを外部機器に出力する。データバス114は、音声データや画像データ等の各種データ、各種制御信号を撮像装置100の各ブロックに供給する。
The
ここで、本実施例の撮像装置100の通常の動作について説明する。 Here, the normal operation of the imaging apparatus 100 of the present embodiment will be described.
本実施例の撮像装置100は、ユーザが操作部110を操作して電源を投入する指示が出されたことに応じて、不図示の電源供給部から、撮像装置の各ブロックに電源を供給する。
The imaging apparatus 100 according to the present embodiment supplies power to each block of the imaging apparatus from a power supply unit (not illustrated) in response to an instruction to turn on the power by operating the
電源が供給されると、制御部109は、例えば、操作部110のモード切り換えスイッチが、例えば、撮影モード、再生モード等のどのモードであるかを操作部110からの指示信号により確認する。動画記録モードでは、撮像部101により得られた画像データと音声入力部102により得られた音声データとを1つのファイルとして保存する。再生モードでは、記録媒体108に記録された圧縮画像データを記録再生部107により再生して表示部105に表示させる。
When the power is supplied, the
動画記録モードでは、まず、制御部109は、撮影待機状態に移行させるように制御信号を撮像装置100の各ブロックに送信し、以下のような動作をさせる。
In the moving image recording mode, first, the
撮像部101は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。そして、得られた画像データを表示処理部104に送信し、表示部105に表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。
The
音声入力部102は、複数のマイクにより得られたアナログ音声信号をデジタル変換し、得られた複数のデジタル音声信号を処理して、マルチチャンネルの音声データを生成する。そして、得られた音声データを音声出力部111に送信し、接続されたスピーカ112や不図示のイヤホンから音声として出力させる。ユーザは、この様にして出力された音声を聞きながら記録音量を決定するためのマニュアルボリュームの調整をすることもできる。
The
次に、ユーザが操作部110の記録ボタンを操作することにより撮影開始の指示信号が制御部109に送信されると、制御部109は、撮像装置100の各ブロックに撮影開始の指示信号を送信し、以下のような動作をさせる。
Next, when a shooting start instruction signal is transmitted to the
撮像部101は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。そして、得られた画像データを表示処理部104に送信し、表示部105に表示させる。また、得られた画像データをメモリ103送信する。
The
音声入力部102は、複数のマイクにより得られたアナログ音声信号をデジタル変換し、得られた複数のデジタル音声信号を処理して、マルチチャンネルの音声データを生成する。そして、得られた音声データをメモリ103に送信する。
The
符号化処理部106は、メモリ103に一時的に記憶された画像データや音声データを読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成する。
The
そして、制御部109は、これらの圧縮画像データ、圧縮音声データを合成し、データストリームを形成し、記録再生部107に出力する。
Then, the
記録再生部107は、UDF、FAT等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体108に書き込んでいく。
The recording /
以上の動作を撮影中は継続する。 The above operation is continued during shooting.
そして、ユーザが操作部110の記録ボタンを操作することにより撮影終了の指示信号が制御部109に送信されると、制御部109は、撮像装置100の各ブロックに撮影終了の指示信号を送信し、以下のような動作をさせる。
When the user operates the recording button of the
撮像部101、音声入力部102は、それぞれ画像データ、音声データの生成を停止する。
The
符号化処理部106は、メモリに記憶されている残りの画像データと音声データとを読出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成し終えたら動作を停止する。
The
そして、制御部109は、これらの最後の圧縮画像データ、圧縮音声データを合成し、データストリームを形成し、記録再生部107に出力する。
Then, the
記録再生部107は、UDF、FAT等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体108に書き込んでいく。そして、データストリームの供給が停止したら、動画ファイルを完成させて、記録動作を停止させる。
The recording /
制御部109は、記録動作が停止すると、撮影待機状態に移行させるように制御信号を撮像装置100の各ブロックに送信して、撮影待機状態に戻る。
When the recording operation stops, the
次に、再生モードでは、制御部109は、再生状態に移行させるように制御信号を撮像装置100の各ブロックに送信し、以下のような動作をさせる。
Next, in the playback mode, the
記録媒体108に記録された圧縮画像データと圧縮音声データとからなる動画ファイルを記録再生部107が読出して、読出された圧縮画像データ、圧縮音声データは、符号化処理部106に送る。符号化処理部106は、圧縮画像データ、圧縮音声データを復号してそれぞれ、表示制御部104、音声出力部111に送信する。表示制御部104は、復号された画像データを表示部105に表示させる。音声出力部111は、復号された音声データを内蔵または、取付けられた外部スピーカから出力させる。
The recording /
本実施例の撮像装置は以上のように、画像、音声の記録再生を行う。 As described above, the image pickup apparatus of the present embodiment records and reproduces images and sounds.
ここで、音声入力部102において、動画撮影中に行われる動作について、図2を用いて説明する。
Here, the operation performed during moving image shooting in the
図2において、マイクユニット201は音声を集音し、音声振動を電気信号に変換し、音声信号を得るもので、先述したように、撮像装置に内蔵されていても、撮像装置の音声入力端子に接続された外付けマイクユニットでも良い。本実施例においては、マイクユニット201は、2つのマイクエレメントからなる例について説明するが、マイクエレメントの数はいくつでも良い。AD変換部202はマイクユニット201により得られた音声信号をアナログ信号からデジタル信号に変換する。ステレオ変換部203は、マイクユニット201により得られた音声信号をステレオ音声データに変換する。2つの音声信号からステレオ音声信号を生成する方法は、既存の技術を用いるため、本実施例では説明を省略する。風雑音低減部204は、装置の周囲の風の影響で発生する低周波数成分(例えば2kHz程度の周波数以下)の雑音(風雑音)を低減する。オートレベルコントローラ(以降、ALC)205L、205Rは、入力された音声信号のレベルを適正なレベルに保つ機能を有している。ALC205L/205Rでは、入力された音声信号のレベルが低いときには音声信号に対する増幅率を増加させ、音声信号のレベルが高いときには増幅率を低下させるようにしている。
In FIG. 2, a
風雑音除去部204は、マイクユニットにより得られた2つの音声信号が、風の影響により発生する雑音については、低域成分(例えば1kHz以下)において相関性が小さくなるがあることを利用して風雑音除去をしている。そのために、ステレオ変換部203により得られたステレオ音声Lch、Rchの音声に対し、処理を行う。
The wind
具体的には、まず、減算部206により、Lch−Rchの信号(差信号)を出力する。一般に、風雑音は、複数のマイクから相関性のない音声信号が出力されることが知られている。そのため、装置周辺の風雑音のレベルが小さいときにはこの差信号の値が小さく、装置周辺の風雑音のレベルが大きいときにはこの差信号の値が大きくなる。本実施例では、差信号の値に基づいて、風雑音(雑音成分)のレベルが大きいか、小さいかを検出するようにしている。風量検出部207では、差信号の絶対値が大きければ風雑音のレベルが大きい(風量が多い、風速が速い、風圧が大きい)ことを示す信号を、差信号の値が小さければ風雑音のレベルが小さい(風量が少ない、風速が遅い、風圧が小さい)ことを示す信号を風量情報として出力する。
Specifically, first, the
本実施例では、、風が吹いていないような状況で、差信号の値が極端に小さければ、風雑音のレベルを示す風量情報を出力しないようにしてもよい。本実施例では、風雑音のレベルが大きいか小さいかを示す2段階の信号を出力する例について説明するが、当然、2段階以上の信号であってもよい。 In this embodiment, if the value of the difference signal is extremely small in a situation where the wind is not blowing, the air volume information indicating the wind noise level may not be output. In the present embodiment, an example of outputting a two-stage signal indicating whether the level of wind noise is large or small will be described.
つづいて、減算部206により出力された差信号の低域成分を減衰するためのハイパスフィルタ(HPF)208に入力し、差信号の低域成分の信号を減衰させた信号を出力する。このHPF208は、風量検出部207により検出された風量情報の値が風雑音のレベルが大きいことを示していれば、減衰させる低域成分のカットオフ周波数を例えば2kHzにする。また、風量情報の値が風雑音のレベルが小さいことを示していれば、カットオフ周波数を500Hzにする。または、風量情報の値が風雑音のレベルが大いことを示していれば低域成分の減衰量を多くし、風量情報の値が風雑音のレベルが小さいことを示していれば低域成分の減衰量を少なくするようにしてもよい。すなわち、HPF208は、風量情報の値に応じて、減衰特性を変更するように構成されている。当然のことながら、HPF208は、ハイパスフィルタでなく、バンドパスフィルタなどの他のフィルタで構成されても良い。
Subsequently, the signal is input to a high-pass filter (HPF) 208 for attenuating the low-frequency component of the difference signal output by the subtracting
このようにして得られた差信号の低域成分を減衰させた信号を、加算部209により、Lch+Rchの信号(和信号)と加算、または減算することにより、Lch、Rchの音声を得ることができる。
The
具体的には、加算部210で、差信号の低域成分を減衰させた信号と、和信号とを加算することにより、低域成分において、LchとRchとで位相の異なる成分を低減したLchの音声信号が生成される。そして、減算部211で、和信号から、差信号の低域成分を減衰させた信号を減算することにより、低域成分において、LchとRchとで位相の異なる成分を低減したRchの音声信号が生成される。この処理により、装置周囲の風に起因する雑音(風雑音)を低減したLch、Rchの音声信号を生成することができる。
Specifically, the
ここで、さらに、ALC205L/205Rについて説明する。 Here, the ALC 205L / 205R will be further described.
本実施例のALC205L/205Rでは、入力された音声信号のレベルが低いときには音声信号に対する増幅率を増加させ、音声信号のレベルが高いときには増幅率を低下させるようにしている。 In the ALC 205L / 205R of this embodiment, the amplification factor for the audio signal is increased when the level of the input audio signal is low, and the amplification factor is decreased when the level of the audio signal is high.
ここでは、Lchの音声信号について説明するが、Rchの音声信号についても同様の処理を行う。Rch用にも同様の回路が備えられている。 Here, the Lch audio signal will be described, but the same processing is performed for the Rch audio signal. A similar circuit is provided for the Rch.
まず、風雑音のレベルがほぼゼロである場合の動作について説明する。 First, the operation when the wind noise level is almost zero will be described.
ALC205に入力されたLchの音声信号は、遅延部212で数ms遅延され、振幅制御部213で、音声信号の振幅を増幅または減衰される。振幅制御部213における増幅率は、振幅検出部214により、ALC205に入力された音声信号の振幅の大きさを検出し、検出された値に応じた検出結果を増幅率設定部215に送信することで設定される。
The Lch audio signal input to the
本実施例の振幅検出部214(音声レベル検出部)では、音声信号(デジタル信号)の1サンプル毎に音声レベルを検出していく。そして、検出結果として、mサンプルのレベルが、m−1サンプルのレベルより高いレベルであれば、mサンプルのレベルを検出結果として出力する動作を繰り返す。一方で、nサンプルのレベルが、m−1サンプルのレベルより低いレベルであれば、m−1サンプルのレベルから所定の値Aを引いた値をnサンプルのレベルとし、検出結果として出力する動作を繰り返している。言い換えれば、本実施例の振幅検出部214は、音声信号のピークをむかえるまでは音声信号の音声レベルに追従したレベルを検出結果として出力する。そして、音声信号のピーク以降は、前回の検出結果が音声信号のレベルより大きくなるまで所定の値Aを引き続けた値が検出結果として出力されることになる。(ただしnは1以上の整数)。
The amplitude detection unit 214 (audio level detection unit) of this embodiment detects the audio level for each sample of the audio signal (digital signal). If the level of m samples is higher than the level of m−1 samples as the detection result, the operation of outputting the level of m samples as the detection result is repeated. On the other hand, if the level of n samples is lower than the level of m−1 samples, the value obtained by subtracting a predetermined value A from the level of m−1 samples is set to the level of n samples and is output as a detection result. Is repeated. In other words, the
増幅率設定部215は、振幅検出部214により出力された検出結果に応じて振幅調整部213での音声信号の増幅率を設定する。増幅率設定部215における、振幅検出部214の検出結果と、振幅調整部213での音声信号の増幅率の関係は図3に示すような関係となる。図3において、横軸が入力された振幅検出部214の検出結果であり、縦軸が増幅率である。図3からわかるように振幅検出部214の検出結果のレベルがY以上X以下のときは、増幅率Gnorを振幅調整部213に設定し、音声信号を増幅させる。また、検出結果のレベルがX以上になると、検出結果のレベルに応じて増幅率をGnorから徐々に下げた増幅率とし、検出結果のレベルが所定の高い値以上になったときには増幅率をGlimに設定する。また、検出結果のレベルがY以下になると、検出結果のレベルに応じて増幅率をGnorから徐々に上げていき、検出結果のレベルが所定の低い値以下になると、増幅率をGrecに設定する。ここで、Grec>Gnor>Glimである。すなわち、先述したように、振幅検出部214から出力された、検出結果のレベルが低いときには音声信号の増幅率を増加させ、検出結果のレベルが高いときには増幅率を低下させるようにしているのである。本実施例では、増幅率設定部215における、振幅検出部214の検出結果と、振幅調整部213での音声信号の増幅率の関係は図3に示すような関係となる例について説明した。しかし、例えば、検出結果のレベルにリニアに応答するような関係でも良い。例えば、Glimが設定される検出結果のレベルからGrecが設定される検出結果のレベルまで、検出結果のレベルが下がるにつれて徐々に増幅率が大きくなるような関係でも良い。また、本実施例では検出結果のレベルがY以下になると、増幅率がGnorから徐々にGrecに上げていく用にしたが、上げなくても良い。
The amplification
ALC205は、音声のレベルが大きくなりすぎてしまい、音声の再現性が無くなってしまうことを防止するように設計されている。そのため、音声信号が大きくなり続ける場合には、入力された音声信号のレベルに応じた増幅率がすぐに反映されるように、振幅検出部214は、先述したような構成としている。すなわち、音声信号のピークをむかえるまでは音声信号に追従したレベルを検出結果として出力するようにしているのである。こうすることで、増幅率設定部215では、音声信号のピークを迎えるまでは、入力される音声信号のレベルに応じて、増幅率を設定することになるのである。
The
また、ALC205は、音声のレベルが下がる場合には、徐々に増幅率が増加するようにしている。これは、増幅率が音声のレベルに追従して変化すると、音声レベルは一定になるが、抑揚が失われてしまいかえって聞きづらくなってしまうからである。そのため、振幅検出部214は、音声信号のピーク以降は、前回の検出結果が音声信号のレベルより大きくなるまで所定の値Aを引き続けた値が検出結果として出力されるようにしている。こうすることで、増幅率設定部215では、音声信号のピーク以降は、振幅検出部214の検出結果のレベルに応じて増幅率を設定することになる。すなわち、検出結果は所定の値Aを引き続けた値が出力されるので、検出結果がX以上であれば、Gnorまで徐々に増幅率が増えていくことになり、検出結果がY以下になると、Gnorから徐々に増幅率が増えていくことになる。
In addition, the
この様な構成により、例えば、増幅率設定部215によりGlimが設定された状態からGnorまで戻るには、0.4秒程度の時間がかかるようにしている。
With such a configuration, for example, it takes about 0.4 seconds to return from the state where Glim is set by the amplification
次に、本実施例の撮像装置における、風雑音の発生している場合のALC205の動作について説明する。
Next, the operation of the
本実施例の撮像装置は、音声信号のピーク以降の増幅率の変化速度が、風雑音のレベルが大きいときの方が、風雑音の小さいときよりも緩やかになるようにしている。例えば、風雑音のレベルが大きいときは、増幅率設定部215によりGlimが設定された状態からGnorまで戻るには、2.0秒程度の時間がかかるようにしている。そして、風雑音のレベルが小さいときは、例えば、増幅率設定部215によりGlimが設定された状態からGnorまで戻るには、1.2秒程度の時間がかかるようにしている。
In the image pickup apparatus of the present embodiment, the rate of change of the amplification factor after the peak of the audio signal is made gentler when the wind noise level is large than when the wind noise is small. For example, when the wind noise level is high, it takes about 2.0 seconds to return from the state where Glim is set by the amplification
この様にすることにより、風雑音のレベルが大きいときには、風雑音によって増幅率が不安定にならないようにすることができるのである。 In this way, when the wind noise level is high, it is possible to prevent the amplification factor from becoming unstable due to the wind noise.
以下、具体的な動作について説明する。 A specific operation will be described below.
遅延部212、振幅調整部213は、風雑音のレベルがほぼゼロである場合と同様に動作する。振幅検出部214も、風雑音のレベルがほぼゼロである場合と同様に動作するが、一部異なる動作をする。音声信号のピークをむかえるまでは音声信号に追従したレベルを検出結果として出力する点では同様である。しかし、風雑音のレベルが小さい場合には、音声信号のピーク以降は、前回の検出結果が音声信号のレベルより大きくなるまで所定の値Bを引き続けた値が検出結果として出力される。また、風雑音のレベルが大きい場合には、音声信号のピーク以降は、前回の検出結果が音声信号のレベルより大きくなるまで所定の値Cを引き続けた値が検出結果として出力される。ただし、A>B>Cである。
The
この様にすることにより、音声信号のピーク以降、風雑音のレベルが大きいときには、風雑音のレベルが低いときに比べて、検出結果のレベルが下がっていく時間が遅くなることになる。これを示しているのが図4である。図4において、横軸は時間、縦軸は音声のレベル(検出結果のレベル)を示している。図4において、破線は、入力された音声信号の絶対値を示している。図4(a)は、風雑音のレベルが低いとき(Bを引く場合)の振幅検出部214から出力される検出結果の値を示すもので、401が、検出結果の検出レベルである。図4(b)は、風雑音のレベルが大きいとき(Cを引く場合)の振幅検出部214から出力される検出結果の値を示すもので、402が検出結果の検出レベルである。
By doing so, when the wind noise level is high after the peak of the audio signal, the time for the detection result level to be lowered is delayed compared to when the wind noise level is low. This is shown in FIG. In FIG. 4, the horizontal axis represents time, and the vertical axis represents the audio level (detection result level). In FIG. 4, the broken line indicates the absolute value of the input audio signal. FIG. 4A shows the value of the detection result output from the
401、402からわかるように、風雑音のレベルが高いときは、風雑音のレベルが低いときより検出結果の値の低下する時間が長くなる。そして、増幅率設定部215は、この検出結果に応じて、図3に示す対応関係に従った増幅率を振幅調整部213に設定する。
As can be seen from 401 and 402, when the wind noise level is high, the time during which the detection result value decreases is longer than when the wind noise level is low. Then, the amplification
以上のような制御によれば、本実施例の撮像装置は、風雑音のレベルが高いときは、風雑音のレベルが低いときより、増幅率の変化する速度が遅く(変動が緩やかに)なる。従って、風雑音のレベルが高いときは、風雑音のレベルの増減によって増幅率が不安定に変動してしまうことを防止し、安定的な増幅率を設定することができるのである。すなわち、風雑音のレベルが大きいときに、人の声などの音声のレベルが不安定になりにくくした音声信号を得ることができる。 According to the control as described above, in the imaging apparatus of the present embodiment, when the wind noise level is high, the rate at which the amplification factor changes is slower (the fluctuation is gradual) than when the wind noise level is low. . Therefore, when the wind noise level is high, it is possible to prevent the amplification factor from fluctuating unstable due to the increase or decrease in the wind noise level, and to set a stable amplification factor. That is, when the level of wind noise is high, it is possible to obtain a voice signal in which the level of voice such as a human voice is less likely to become unstable.
本実施例では、振幅検出部214で、音声信号のレベルから引く値を調整することにより、風雑音のレベルが高いときは、風雑音のレベルが低いときより、増幅率の変化する速度が遅く(変動が緩やかに)なるようにしていた。しかし、音声信号のレベルに対して1より小さいの所定の値を乗算するようにして、乗算する値を調整することにより対応しても良い。この場合は、振幅検出部214は、音声信号のピークをむかえるまでは音声信号に追従したレベルを検出結果として出力する。そして、風雑音のレベルが小さい場合には、音声信号のピーク以降は、前回の検出結果が音声信号のレベルより大きくなるまで所定の値D(D<1)を乗じ続けた値を検出結果として順次出力する。また、風雑音のレベルが大きい場合には、音声信号のピーク以降は、前回の検出結果が音声信号のレベルより大きくなるまで所定の値E(D<E<1)を乗じ続けた値を検出結果として出力する。
In the present embodiment, the
また、振幅検出部214においては、音声信号のレベルをそのまま検出結果として増幅率設定部215に出力してもよい。この場合は、増幅率設定部215では、増幅率を上げる場合に、風雑音のレベルが高いときは、風雑音のレベルが低いときより、増幅率の変化する速度が遅くなるように設定する。
Further, the
本実施例においては、2つの音声信号の差信号に基づいて風雑音のレベルを検出していたが、単に2つの音声信号の低域成分を比較してもよい。また、別途風圧センサ、風速計、レーザとカメラを用いる装置など空気変位を検出できるユニット用いて風に関する情報を検出しても良い。これは、風雑音のレベルが高くなるときは、風圧が高い、風速が速い、風量が多いときであることがほとんどであることを利用している。 In this embodiment, the wind noise level is detected based on the difference signal between the two audio signals, but the low frequency components of the two audio signals may be simply compared. Further, information related to wind may be detected using a unit capable of detecting air displacement such as a wind pressure sensor, an anemometer, or a device using a laser and a camera. This utilizes the fact that the wind noise level is high when the wind pressure is high, the wind speed is fast, and the air volume is large.
また、本実施例においては、撮像装置について説明したが、本実施例の音声入力部102にの音声処理は、外部の音声を記録、または入力して出力するするような装置であればどのような装置であっても適用することができる。例えば、ICレコーダ、携帯電話等に適用しても良い。
In this embodiment, the image pickup apparatus has been described. However, the sound processing to the
また、本実施例では音声が2chの場合について説明したが、マイクの数を2つ以上として、5.1chの音声を生成する場合であっても同様とすることができる。また、2つの音声信号の差信号を検出する以外の方法であれば風量(風速、風圧)に応じて、増幅率の変動を緩やかにする。 In this embodiment, the case where the sound is 2ch has been described. However, the same can be applied to the case where 5.1ch sound is generated with two or more microphones. If the method is other than detecting the difference signal between the two audio signals, the variation of the amplification factor is moderated according to the air volume (wind speed, wind pressure).
Claims (16)
前記集音手段により得られる音声信号に含まれる前記装置周辺の風の影響による雑音成分のレベルを検出する検出手段と、
前記音声信号を音声信号のレベルに応じた増幅率で増幅させる調整手段とを有し、
前記調整手段は、前記音声信号のレベルが高くなると前記増幅率を下げ、音声信号のレベルが低くなると前記増幅率を上げ、
前記調整手段は、前記増幅率を上げる場合に、前記検出手段により検出された前記雑音成分のレベルが高いときほど、前記増幅率の変化速度を遅くすることを特徴とする音声信号処理装置。 An audio signal processing apparatus including a sound collecting unit,
Detecting means for detecting the level of the noise component due to the wind effects of the device around included in the audio signal obtained by said sound collecting means,
Adjusting means for amplifying the audio signal at an amplification factor according to the level of the audio signal;
It said adjusting means lowers the amplification factor level is high in the audio signal, increasing the amplification factor and the level of the audio signal that a low,
The adjustment means, when increasing the amplification factor, slows the rate of change of the amplification factor as the level of the noise component detected by the detection means is higher.
前記音声レベル検出手段は、前記音声信号のレベルが低くなる場合には、前記検出手段により検出された前記雑音成分のレベルが高いときほど、前記検出結果の変化速度が遅くなるようにすることを特徴とする請求項1に記載の音声信号処理装置。 It said adjusting means, chromatic and audio level detecting means for outputting a detection result detected a level of the audio signal, and a determination means for determining the amplification factor according to the detection result output by the audio level detector And
The audio level detecting means, wherein when the level of the audio signal may turn low, as at higher levels of the noise component detected by said detection means, to ensure that the rate of change in the detection result is slow the audio signal processing apparatus according to claim 1, wherein the.
前記音声レベル検出手段は、前記音声信号のレベルが低くなる場合には、n−1サンプル目の検出結果から所定の値を引いた値をnサンプルの検出結果として出力し続け(ただしnは1以上の整数)、
前記音声レベル検出手段は、前記検出手段により検出された前記雑音成分のレベルが高いときほど、所定の値を小さくすることを特徴とする請求項1から3のいずれか1項に記載の音声信号処理装置。 Said adjusting means determines a voice level detecting means for outputting a detection result by detecting the level of the audio signal at least one sample per, the amplification factor in accordance with a detection result output by the audio level detector Determining means,
The audio level detecting unit, when the audio signal level may turn low, n-1-th sample of the output to continue (n as a result of detection of a value obtained by subtracting from the detection result of the predetermined value n samples An integer greater than or equal to 1),
The audio level detecting means, the smaller the higher the level of said noise component detected by the detecting means, the audio signal according to any one of claims 1 to 3, characterized in that to reduce the predetermined value Processing equipment.
前記音声レベル検出手段は、前記音声信号のレベルが下がる場合には、n−1サンプル目の検出結果に1より小さい所定の値を乗じた値をnサンプルの検出結果として出力し続け(ただしnは1以上の整数)、
前記音声レベル検出手段は、前記検出手段により検出された前記雑音成分のレベルが高いときほど、所定の値を大きくすることを特徴とする請求項1から3のいずれか1項に記載の音声信号処理装置。 Said adjusting means determines a voice level detecting means for outputting a detection result by detecting the level of the audio signal at least one sample per, the amplification factor in accordance with a detection result output by the audio level detector Determining means,
When the level of the audio signal decreases, the audio level detection means continues to output a value obtained by multiplying the detection result of the (n-1) th sample by a predetermined value smaller than 1 as the detection result of n samples (however, n Is an integer of 1 or more),
The audio level detecting means, the smaller the higher the level of said noise component detected by the detecting means, the audio signal according to any one of claims 1 to 3, characterized in that to increase the predetermined value Processing equipment.
前記集音手段により得られる音声信号に含まれる前記装置周辺の風の影響による雑音成分のレベルを検出する検出ステップと、A detection step of detecting a level of a noise component due to an influence of wind around the device included in the sound signal obtained by the sound collecting means;
前記音声信号を音声信号のレベルに応じた増幅率で増幅させる調整ステップとを有し、An adjustment step of amplifying the audio signal at an amplification factor according to the level of the audio signal,
前記調整ステップにおいて、前記音声信号のレベルが高くなると前記増幅率を下げ、音声信号のレベルが低くなると前記増幅率を上げ、In the adjustment step, when the level of the audio signal becomes high, the amplification factor is lowered, and when the level of the audio signal becomes low, the amplification factor is raised,
前記調整ステップにおいて、前記増幅率を上げる場合に、前記検出手段により検出された前記雑音成分のレベルが高いときほど、前記増幅率の変化速度を遅くすることを特徴とする音声信号処理装置の制御方法。In the adjustment step, when the amplification factor is increased, the rate of change of the amplification factor is decreased as the level of the noise component detected by the detection unit is higher. Method.
前記音声信号のレベルを検出して検出結果を出力する音声レベル検出ステップと、An audio level detection step of detecting the level of the audio signal and outputting a detection result;
前記音声レベル検出ステップの検出結果に応じて前記増幅率を決定する決定ステップとを含み、Determining the amplification factor according to the detection result of the audio level detection step,
前記音声レベル検出ステップは、前記音声信号のレベルが低くなる場合には、前記検出手段により検出された前記雑音成分のレベルが高いときほど、前記検出結果の変化速度が遅くなるようにすることを特徴とする請求項9に記載の音声信号処理装置の制御方法。In the sound level detection step, when the level of the sound signal becomes low, the change rate of the detection result becomes slower as the level of the noise component detected by the detection means becomes higher. The method for controlling an audio signal processing device according to claim 9, wherein the method is a control method.
前記音声信号のレベルを少なくとも1サンプル毎に検出して検出結果を出力する音声レベル検出ステップと、An audio level detection step of detecting the level of the audio signal at least for each sample and outputting a detection result;
前記音声レベル検出ステップの検出結果に応じて前記増幅率を決定する決定ステップとを有し、Determining the amplification factor according to the detection result of the audio level detection step,
前記音声レベル検出ステップは、前記音声信号のレベルが低くなる場合には、n−1サンプル目の検出結果から所定の値を引いた値をnサンプルの検出結果として出力し続け(ただしnは1以上の整数)、In the audio level detection step, when the level of the audio signal becomes low, a value obtained by subtracting a predetermined value from the detection result of the (n-1) th sample is continuously output as the detection result of n samples (where n is 1). An integer greater than or equal to)
前記音声レベル検出ステップは、前記検出ステップで検出された前記雑音成分のレベルが高いときほど、所定の値を小さくすることを特徴とする請求項9から11のいずれか1項に記載の音声信号処理装置の制御方法。The audio signal according to any one of claims 9 to 11, wherein the audio level detection step decreases the predetermined value as the level of the noise component detected in the detection step is higher. A method for controlling a processing apparatus.
前記音声信号のレベルを少なくとも1サンプル毎に検出して検出結果を出力する音声レベル検出ステップと、An audio level detection step of detecting the level of the audio signal at least for each sample and outputting a detection result;
前記音声レベル検出ステップにより出力された検出結果に応じて前記増幅率を決定する決定ステップとを有し、Determining the amplification factor according to the detection result output by the audio level detection step,
前記音声レベル検出ステップは、前記音声信号のレベルが下がる場合には、n−1サンプル目の検出結果に1より小さい所定の値を乗じた値をnサンプルの検出結果として出力し続け(ただしnは1以上の整数)、In the audio level detection step, when the level of the audio signal decreases, a value obtained by multiplying the detection result of the (n−1) th sample by a predetermined value smaller than 1 is continuously output as the detection result of n samples (however, n Is an integer of 1 or more),
前記音声レベル検出ステップは、前記検出ステップにより検出された前記雑音成分のレベルが高いときほど、所定の値を大きくすることを特徴とする請求項9から11のいずれか1項に記載の音声信号処理装置の制御方法。12. The audio signal according to claim 9, wherein the audio level detection step increases the predetermined value as the level of the noise component detected in the detection step is higher. A method for controlling a processing apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009278954A JP5340127B2 (en) | 2009-12-08 | 2009-12-08 | Audio signal processing apparatus and control method of audio signal processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009278954A JP5340127B2 (en) | 2009-12-08 | 2009-12-08 | Audio signal processing apparatus and control method of audio signal processing apparatus |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011124661A JP2011124661A (en) | 2011-06-23 |
JP2011124661A5 JP2011124661A5 (en) | 2013-01-31 |
JP5340127B2 true JP5340127B2 (en) | 2013-11-13 |
Family
ID=44288155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009278954A Expired - Fee Related JP5340127B2 (en) | 2009-12-08 | 2009-12-08 | Audio signal processing apparatus and control method of audio signal processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5340127B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6103803B2 (en) * | 2011-10-14 | 2017-03-29 | キヤノン株式会社 | Audio signal processing device |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0344328U (en) * | 1989-09-04 | 1991-04-24 | ||
JPH06253386A (en) * | 1993-02-26 | 1994-09-09 | Sanyo Electric Co Ltd | Sound gathering device |
JP3767108B2 (en) * | 1997-08-26 | 2006-04-19 | ソニー株式会社 | Audio signal recording apparatus and audio signal recording / reproducing apparatus |
JPH11187479A (en) * | 1997-12-24 | 1999-07-09 | Sony Corp | Audio signal processing unit |
JP2006173918A (en) * | 2004-12-14 | 2006-06-29 | Sharp Corp | Audio processing unit and imaging apparatus |
JP2008129107A (en) * | 2006-11-17 | 2008-06-05 | Sanyo Electric Co Ltd | Automatic gain control device, audio recording device, video/audio recording device and telephone call device |
JP2008193352A (en) * | 2007-02-02 | 2008-08-21 | Signalone Inc | Microphone filter circuit and microphone signal control circuit using it |
JP2009124414A (en) * | 2007-11-14 | 2009-06-04 | Canon Inc | Video camera device |
-
2009
- 2009-12-08 JP JP2009278954A patent/JP5340127B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011124661A (en) | 2011-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8068620B2 (en) | Audio processing apparatus | |
US8600078B2 (en) | Audio signal amplitude adjusting device and method | |
JP5020845B2 (en) | Audio processing device | |
US8514300B2 (en) | Imaging apparatus for reducing driving noise | |
JP5529638B2 (en) | Audio processing apparatus, audio processing method, and imaging apparatus | |
JP2010157964A (en) | Imaging apparatus | |
JP5645393B2 (en) | Audio signal processing device | |
JP5340127B2 (en) | Audio signal processing apparatus and control method of audio signal processing apparatus | |
JP5645373B2 (en) | Audio processing apparatus and audio processing method | |
JP4590437B2 (en) | Information processing device | |
JP2018074220A (en) | Voice processing device | |
JP5495753B2 (en) | Imaging device | |
JP2019161334A (en) | Speech processing unit | |
JP5979843B2 (en) | Audio signal processing apparatus, audio signal processing method, and program | |
JP5317936B2 (en) | Audio signal processing device | |
JP2019091988A (en) | Voice processing unit and voice processing method | |
JP2019016851A (en) | Voice processing apparatus, voice processing method and program | |
JP2006173918A (en) | Audio processing unit and imaging apparatus | |
JP2019179944A (en) | Voice changeover device | |
JP2019161333A (en) | Speech processing unit | |
JP2011124850A (en) | Imaging device, method for controlling the same, and program | |
JP2018207313A (en) | Audio processing device and method of controlling the same | |
JP5506471B2 (en) | Imaging device | |
JP6103803B2 (en) | Audio signal processing device | |
JP6604728B2 (en) | Audio processing apparatus and audio processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121210 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130628 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130806 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5340127 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |