JP6300464B2 - Audio processing device - Google Patents
Audio processing device Download PDFInfo
- Publication number
- JP6300464B2 JP6300464B2 JP2013165850A JP2013165850A JP6300464B2 JP 6300464 B2 JP6300464 B2 JP 6300464B2 JP 2013165850 A JP2013165850 A JP 2013165850A JP 2013165850 A JP2013165850 A JP 2013165850A JP 6300464 B2 JP6300464 B2 JP 6300464B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- unit
- frequency
- output
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、音声処理装置に関し、特に、雑音を周波数領域で低減する音声処理装置に関する。 The present invention relates to a speech processing apparatus, particularly relates to a speech processing apparatus for reducing the frequency domain noise.
従来、音声信号に混入する雑音を低減する方法として、雑音成分のスペクトルを予め計測しておき、周波数領域において入力音声信号から雑音成分を減算するスペクトルサブトラクト法(SS法)が知られている。 2. Description of the Related Art Conventionally, as a method for reducing noise mixed in a speech signal, a spectral subtract method (SS method) is known in which a spectrum of a noise component is measured in advance and the noise component is subtracted from an input speech signal in the frequency domain. .
雑音成分の減算量を規定する減算係数は、一般的には実験的に定めた固定値であるが、特許文献1に記載されるように、音声信号と雑音との比に基づいて減算係数を決定する方法も知られている。
The subtraction coefficient that defines the subtraction amount of the noise component is generally a fixed value determined experimentally. However, as described in
特許文献1に記載の技術では、音声信号の振幅が時間的に大きく変動する場合に、減衰係数が時間方向で急激に変化し、その結果、雑音低減後の音声信号の振幅(音圧)が急激に変化する。これでは、聴感上の違和感が大きく、音質が劣化してしまう。
In the technique described in
また、減算係数の時間方向での急激な変化と、入力信号に含まれる雑音成分の時間変化とにより、周波数帯で雑音成分の除去程度が相違する事態が生じ得る。すなわち、雑音成分を除去しきれている周波数帯と、雑音成分を除去しきれていない周波数帯が生じ得る。この状態では、雑音低減後の逆フーリエ変換(IFFT)で音声信号を復元したときに、ミュージカルノイズと呼ばれる耳触りな雑音が生まれ、音質が劣化してしまう。 Further, there may occur a situation in which the degree of noise component removal differs in the frequency band due to a rapid change in the time direction of the subtraction coefficient and a time change of the noise component included in the input signal. That is, a frequency band in which the noise component has been completely removed and a frequency band in which the noise component has not been completely removed can occur. In this state, when an audio signal is restored by inverse Fourier transform (IFFT) after noise reduction, a touching noise called musical noise is produced, and the sound quality is deteriorated.
本発明は、このような不都合を解消し、少ない音質劣化で雑音を低減する音声処理装置を提示することを目的とする。 It is an object of the present invention to provide a speech processing apparatus that eliminates such inconvenience and reduces noise with little deterioration in sound quality.
本発明に係る音声処理装置は、音声入力手段と、前記音声入力手段により入力された時間領域の音声信号を周波数領域の音声信号スペクトルに変換するフーリエ変換手段と、低減対象となる雑音の周波数振幅成分を示すノイズプロファイルを記憶するノイズプロファイル記憶手段と、前記フーリエ変換手段で求められた音声信号スペクトルと前記ノイズプロファイルとの比を周波数毎に求める周波数成分除算手段と、前記周波数成分除算手段により求められた周波数毎の比を周波数毎に平滑化する時間変化制御手段と、前記時間変化制御手段の出力に従い減算係数を算出する減算係数算出手段と、前記ノイズプロファイルに前記減算係数を乗算する乗算手段と、前記音声信号スペクトルから前記乗算手段の出力を減算する雑音低減手段と、前記雑音低減手段の出力を時間領域の音声信号に復元する逆フーリエ変換手段と、前記逆フーリエ変換手段により復元された音声信号を出力する音声出力手段とを有することを特徴とする。 The speech processing apparatus according to the present invention comprises: speech input means; Fourier transform means for converting a time domain voice signal input by the voice input means into a frequency domain voice signal spectrum; and frequency amplitude of noise to be reduced. A noise profile storage means for storing a noise profile indicating a component, a frequency component division means for obtaining a ratio of the audio signal spectrum obtained by the Fourier transform means and the noise profile for each frequency, and a frequency component division means. Time change control means for smoothing a ratio for each frequency for each frequency, subtraction coefficient calculation means for calculating a subtraction coefficient according to an output of the time change control means, and multiplication means for multiplying the noise profile by the subtraction coefficient Noise reduction means for subtracting the output of the multiplication means from the audio signal spectrum; Characterized in that it has the inverse Fourier transform means for restoring the output of the noise reduction means to the audio signal in the time domain, and an audio output means for outputting the audio signal restored by the inverse Fourier transform means.
本発明によれば、周波数領域における個々の周波数成分の信号対雑音比の時間変動を平滑化した後で雑音相当分を除去するので、ミュージカルノイズを軽減でき、音質を改善できる。 According to the present invention, since the noise equivalent is removed after smoothing the time variation of the signal-to-noise ratio of each frequency component in the frequency domain, the musical noise can be reduced and the sound quality can be improved.
以下、図面を参照して、本発明の実施例を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明に係る音声処理装置の一実施例を組み込んだ撮像装置100の概略構成ブロック図を示す。撮像装置、特に、動画の撮像装置は、撮影レンズに電動のズームレンズを装備するのが一般的である。従って、マイクにより取得される周囲又は被写体からの音声信号にズーム操作に伴うズーム動作音が雑音として混入することがある。すなわち、ズーム駆動系が雑音発生源となりうる。以下では、このズーム操作に伴う雑音を低減する実施例を説明する。
FIG. 1 shows a schematic block diagram of an
撮像装置100は、操作部101、制御部102、撮像部103、音声入力部104、雑音低減処理部105、音声出力部106、映像出力部107、メモリ108及びメモリバス109から構成される。操作部101、制御部102、撮像部103、音声入力部104、雑音低減処理部105、音声出力部106及び映像出力部107は、メモリバス109を介してメモリ108にデータを読み書きする。
The
操作部101は、ユーザの指示を撮像装置100に入力する手段であり、ボタン、タッチパネル又はズームレバー等からなる。制御部102は、撮像装置100を制御するCPU(中央演算処理装置)からなり、操作部101によるユーザからの指示に従い、メモリバス109を介して関連するブロックを制御する。
The
例えば、制御部102は、ユーザによる操作部101のズーム操作に従い、撮像部103のズームレンズを制御すると共に、ズーム制御情報をメモリ108の制御信号領域に記憶する。ズーム制御情報は、ズーム駆動の開示時刻及び終了時刻、ズーム駆動中を示すフラグ、ズーム動作方向、並びにズーム駆動モータの回転速度などを示す情報からなる。開始時刻は、絶対時刻でも音声取り込みからの相対時刻でも良い。終了時刻は絶対時刻でも開始からの相対時刻でもよい。詳細は後述するが、ズーム制御情報は、音声信号に混入するズーム駆動音を除去又は低減するために使用される。ズーム制御情報は、ズーム駆動により発生する雑音の鳴り始めの時間及び鳴り終わりの時間を含む雑音時間情報でもあり、メモリ108の制御信号領域はいわば雑音時間保持手段である。
For example, the
撮像部103は、ズーム機能を備えたレンズ、絞り、撮像センサ及びA/D変換器からなる。撮像センサは、レンズを透過して撮像面に入射する光学像を画像信号に変換し、A/D変換器が、撮像センサから出力されるアナログ画像信号をデジタル画像信号に変換する。撮像部103から出力されるデジタル画像信号は、メモリ108の画像データ領域に書き込まれる。
The
音声入力部104は、例えば、外部の音声を取り込んで音声信号に変換するマイクのような電気音響変換素子と、そのアナログ出力をデジタル信号に変換するA/D変換器からなる。音声入力部104は、ある周波数、例えば48KHzでサンプリングされたデジタル音声信号をメモリ108の音声データ領域に書き込む。
The
雑音低減処理部105は、制御信号領域に記憶されたズーム制御情報に従い、メモリ108の音声データ領域に記憶された音声データに対する雑音低減処理を実行する。具体的には、雑音低減処理部105は、ズーム制御情報がズーム動作中を示すときには、メモリ108から読み出した音声データに一定期間のフレーム単位で雑音低減処理を施し、処理後の音声データをメモリ108に書き戻す。ズーム駆動中でないときには、ズーム駆動音が発生していないので、雑音低減処理部105は、メモリ108から読み出した音声データをそのままメモリ108に書き戻す。
The noise
雑音低減処理前の音声データを処理後の音声データとは別にメモリ108上に確保する必要が無い場合には、雑音低減処理部105から出力される音声データを、メモリ108の音声データ領域の処理前の音声データに上書きしてもよい。そもそも、雑音低減処理を行わない音声データ部分については、メモリ108から読み出さなくてもよい。
When it is not necessary to secure the audio data before the noise reduction processing on the
音声出力部106は、音声データをアナログ音声信号に変換するD/A変換器と、スピーカ及び音声出力端子からなる。音声出力部106は、メモリ108の音声データ領域から音声データを読み出し、アナログ音声信号に変換し、スピーカから音響出力し、音声出力端子から外部に出力する。
The
映像出力部107は、いわゆる表示装置であり、メモリ108の画像データ領域から画像データを読み出して、その画像を表示する。
The
メモリ108は、高速でランダムアクセス可能なダイナミックRAMである。メモリ108の記憶領域は、音声データを記憶する音声データ領域、画像データを記憶する画像データ領域及び制御信号を記憶する制御信号領域に区分される。制御部102は、メモリ108に格納される音声データ、画像データ及び制御信号を、フレームごとにどの時刻のデータであるかを識別できるように管理する。
The
図示しないメモリ制御回路が、メモリバス109に接続する各ブロックからのメモリバス109を介したメモリ108へのアクセスを調停し、時分割でのメモリ108への読み書きを可能にする。
A memory control circuit (not shown) arbitrates access to the
図2は、雑音低減処理部105の概略構成ブロック図を示す。信号入力制御部201はメモリバス109とのインターフェースである。メモリ108の音声データ領域に記憶されている音声データと制御信号領域に記憶されているズーム制御情報が、メモリバス109を介して信号入力制御部201に入力する。信号入力制御部201は入力する音声データを所定の一定区間毎にフレーム分割し、ズーム制御情報に従い、雑音低減処理をするときにはフーリエ変換部202に供給し、雑音低減処理をしないときには信号出力制御部210に供給する。すなわち、ズーム制御情報がズーム中、即ち、ズーム駆動による雑音発生中(とその可能性)を示すときには、信号入力制御部201は、音声データをフーリエ変換部202に供給する。他方、ズーム制御情報がズーム中でないとき、即ち、ズーム駆動による雑音が発生しない状態を示すとき、信号入力制御部201は、音声データを信号出力制御部210に供給する。何れの場合でも、信号入力制御部201は、ズーム制御情報を信号出力制御部210に供給する。
FIG. 2 shows a schematic block diagram of the noise
フーリエ変換部202は、信号入力制御部201からのフレーム分割された音声データをフーリエ変換し、周波数毎の位相情報と、周波数毎の振幅の絶対値(周波数振幅成分)を算出する。フーリエ変換部202は、周波数毎の周波数振幅成分を周波数成分除算部204と雑音低減部208に供給し、周波数毎の位相情報を逆フーリエ変換部209に供給する。
The
ノイズプロファイル記憶部203は、低減対象となる雑音(ここでは、ズーム駆動音等のズーム駆動時に発生する雑音)の周波数振幅成分をノイズプロファイルとして記憶する。具体的には、低減対象となる雑音のみから成る音声信号をフーリエ変換し、得られた周波数振幅成分を得る。低減対象となる雑音がある程度の時間(例えば4秒間)続く場合、雑音が続く時間内における周波数成分の時間変化に対してピークホールドしたものをノイズプロファイルとする。
The noise
ノイズプロファイル記憶部203に記憶するノイズプロファイルは、復元可能に圧縮されていてもよい。但し、この場合、復元のための伸長手段をノイズプロファイル記憶部203の出力段に配置する必要がある。ノイズプロファイル記憶部203は、記憶しているノイズプロファイルを、周波数成分除算部204と乗算器207に読み出す。
The noise profile stored in the noise
周波数成分除算部204は周波数毎の除算器からなり、フーリエ変換部202からの周波数振幅成分(A)をノイズプロファイル記憶部203からのノイズプロファイルの対応する周波数の値(B)で周波数毎に除算する。周波数成分除算部204は、周波数毎の除算結果を時間変化制御部205に供給する。
The frequency
時間変化制御部205は実質的にはローパスフィルタ(LPF)からなり、周波数成分除算部204からの周波数毎の除算結果を時間軸上で平滑化する。時間変化制御部205の具体的な構成は後述する。時間変化制御部205は、周波数毎のフィルタ結果、すなわち低域成分を減算係数算出部206に出力する。
The time
減算係数算出部206は、時間変化制御部205からの周波数毎の時間変化の低域成分量から周波数毎の減算係数(ノイズプロファイルに対する重み係数)を算出し、乗算器207に出力する。減算係数算出部206の具体的な構成は後述する。
The subtraction
乗算器207は、減算係数算出部206からの周波数毎の減算係数をノイズプロファイル記憶部203から読み出されたノイズプロファイルの対応する周波数成分の値に乗算する。換言すると、乗算器207は、ノイズプロファイル記憶部203から読み出されたノイズプロファイルの強度を減算係数算出部206からの周波数毎の減算係数(重み係数)で調整する。この点で、乗算器207の出力は重み付きノイズスペクトルを示す。
The
雑音低減部208は減算器からなり、フーリエ変換部202からの周波数振幅成分から、乗算器207からの重み付きノイズスペクトルを対応する周波数同士で減算する。この減算処理により、周波数領域でズーム駆動に起因する雑音が低減される。雑音低減部208の出力信号は雑音低減後の音声信号のスペクトルを示し、逆フーリエ変換部209に入力する。
The
逆フーリエ変換部209は、雑音低減部208からの音声信号スペクトルを、フーリエ変換部202からの位相情報を用いて逆フーリエ変換する。これにより、雑音低減した時間領域の音声データを得ることができる。逆フーリエ変換部209は、逆フーリエ変換により復元された音声データを信号出力制御部210に供給する。
The inverse
信号出力制御部210は、メモリバス109に対するインターフェースである。信号出力制御部210は、信号入力制御部201からのズーム制御情報に従い、雑音低減処理をするときには、逆フーリエ変換部209からの音声データを選択して、メモリバス109に出力する。また、信号出力制御部210は、ズーム制御情報に従い、雑音低減処理をしないときには、信号入力制御部201からのフレーム分割された音声データを選択し、フレーム合成して、メモリバス109に出力する。なお、信号出力制御部210の、信号入力制御部201からの音声信号が入力するポートには、フーリエ変換部202から逆フーリエ変換部209まで部分での処理時間に相当する遅延を与える遅延器を配置してある。
The signal
撮像装置100の動画撮影の際に音声に混入するズーム動作音を雑音として低減する動作を説明する。
An operation for reducing, as noise, a zoom operation sound mixed in the sound when the
まず、ユーザが操作部101により動画撮影開始を撮像装置100に指示したとする。制御部102は操作部101からの指示に従い、各ブロックを動画撮影用に始動する。例えば、撮像部103は、撮影による動画像の画像データをメモリ108の画像データ領域に書き込み、音声入力部104は、周囲又は被写体の音声を取り込み、その音声データをメモリ108の音声データ領域に書き込む。
First, it is assumed that the user instructs the
動画撮影中に、ユーザが操作部101でズーム操作を制御部102に指示したとする。制御部102は、操作部101からのズーム操作信号に従うズーム制御信号を撮像部103に供給すると同時に、メモリ108の制御信号領域にズーム制御情報を書き込む。撮像部103は、制御部102からのズーム制御信号に従いズームレンズを駆動する。このとき、ズーム駆動のためのモータとレンズ鏡筒等が回転動作し、雑音を発生する。音声入力部104は、この雑音を本来の周囲又は被写体からの音声と一緒に取り込む。音声入力部104は、取り込んだ音声の音声データをメモリ108の音声データ領域に書き込む。
Assume that the user instructs the
雑音低減処理部105は、メモリ108の音声データ領域に記憶される音声データとメモリ108の制御信号領域に記憶されるズーム制御情報を読み込み、ズーム制御情報に従い音声データへの雑音低減処理の有無を切り替える。すなわち、雑音低減処理部105は、ズームが動作していないときの音声データには雑音低減処理を行わず、読み込んだ音声データをそのままメモリ108の音声データ領域に書き戻す。他方、雑音低減処理部105は、ズームが動作している時に入力された音声データには雑音低減処理を行い、雑音低減処理後の音声データをメモリ108の音声データ領域に書き戻す。
The noise
取り込まれた音声を出力する場合、音声出力部106が、メモリ108の音声データ領域の雑音低減された音声データを読み出して音響出力する。また、映像出力部107が、メモリ108の画像データ領域に記憶されている画像データを読み出して、動画として出力する。
When outputting the captured sound, the
音声入力部104により入力される音声データの雑音低減処理部105による雑音低減処理を具体的に説明する。ここでは、説明例として、音声入力部104のA/D変換におけるサンプリング周波数は48kHzとする。FFTのためのフレーム分割単位は1024点、すなわち、フーリエ変換部202及び逆フーリエ変換部209の周波数分解能は1024点とする。つまり、フーリエ変換部202のフーリエ変換結果は、512点のスペクトルで24kHzまでの周波数成分を表すことになる。
The noise reduction processing by the noise
ノイズプロファイル記憶部203に記憶されているノイズプロファイルは、低減対象とする雑音(ここではズーム雑音)のみで構成される音声信号をフーリエ変換することで得られる。事前に、音声入力部104にこの雑音のみを取り込み、信号入力制御部201でフレーム分割し、フーリエ変換部202でフーリエ変換する。この処理で得られる512点までの周波数成分を時間方向にフレームをまたいでピークホールドしたものをノイズプロファイルとしてノイズプロファイル記憶部203に格納する。ノイズプロファイルをprofile[n]と表現する。但し、n=0,1,2,3,・・・・,511である。
The noise profile stored in the noise
雑音低減処理部105の信号入力制御部201は、メモリ108の音声データ領域に記憶されている音声データを、メモリバス109を通して読み出し、1024サンプル毎にフレーム分割する。このとき、メモリ108に記憶されているズーム制御情報も読み出し、ズーム動作中の音声データでなければ音声データを信号出力制御部210に供給し、ズーム動作中の音声データであれば音声データをフーリエ変換部202に供給する。
The signal
フーリエ変換部202は、信号入力制御部201からの1024点の音声データをフーリエ変換する。フーリエ変換結果をsound_fft[N]と表現する。但し、N=0,1,2,3,・・・・,1023である。
The
フーリエ変換部202は、フーリエ変換結果のうちの前半の512点までの結果を周波数成分除算部204と雑音低減部208に供給する。フーリエ変換部202は、フーリエ変換結果のうちの前半の512点までの結果をsound_fft[n]と表現する。但し、n=0,1,2,3,・・・・,511である。
The
周波数成分除算部204は、フーリエ変換部202からのフーリエ変換結果sound_fft[n]をノイズプロファイル記憶部203からのノイズプロファイルprofile[n]で除算する。除算結果はいわゆる信号対雑音比(SN比)であり、
signal_noise[n]
=sound_fft[n]/profile[n]
となる。n=0,1,2,・・・・,511である。
The frequency
signal_noise [n]
= Sound_fft [n] / profile [n]
It becomes. n = 0, 1, 2,..., 511.
この演算結果の数値が大きい周波数には、所望音声(周囲又は被写体からの音声)の周波数成分に、低減処理すべき雑音の周波数成分が重畳していると考えられる。逆に、SN比が1に近ければ近いほど、その周波数における、低減対象となる雑音の占める割合が大きいと考えられる。また、SN比が1以下の値であった場合は、低減処理すべき雑音の周波数成分がノイズプロファイルに対して変化していると考えられる。 It is considered that the frequency component of the noise to be reduced is superimposed on the frequency component of the desired sound (sound from the surrounding or the subject) at the frequency where the numerical value of the calculation result is large. On the contrary, it is considered that the closer the S / N ratio is to 1, the greater the proportion of noise to be reduced at that frequency. Further, when the SN ratio is a value of 1 or less, it is considered that the frequency component of noise to be reduced has changed with respect to the noise profile.
時間変化制御部205は、周波数成分除算部204の除算結果signal_noise[n]に、時間方向への巡回型ローパスフィルタをかける。図3は、時間変化制御部205の概略構成ブロック図を示す。時間変化制御部205は、加算器301、前フレームの雑音低減処理で算出された値を保持するレジスタ302、1以下の係数coefを乗算する乗算器303、係数(1−coef)を乗算する乗算器304から構成される。係数coefは実験的に求められる値である。
The time
周波数成分除算部204の演算結果signal_noise[nF]が加算器301に入力する。ここでFはフレーム番号を表し、nF=0,1,2,・・・・,511である。加算器301は、周波数成分除算部204の出力signal_noise[nF]にレジスタ302の保持値Reg[nF]を加算し、加算結果tmp[nF]を出力する。レジスタ302は、前フレームの加算器301の出力tmp[nF-1]に係数(1−coef)を乗算した結果をReg[nF]として保持する。すなわち、
Reg[nF]
=(signal_noise[nF−1]+Reg[nF−1])×(1−coef)
tmp[nF]
=signal_noise[nF]+Reg[nF]
である。
The calculation result signal_noise [n F ] of the frequency
Reg [n F ]
= (Signal_noise [n F-1 ] + Reg [n F-1 ]) × (1-coef)
tmp [n F ]
= Signal_noise [n F ] + Reg [n F ]
It is.
乗算器303は、加算器301の出力tmp[nF]に係数coefを乗算する。乗算器303の出力は時間変化制御部205の出力であり、
output_LPF[nF]=tmp[nF]×coef
と表される。
The
output_LPF [n F ] = tmp [n F ] × coef
It is expressed.
以上のように、時間変化制御部205は周波数成分除算部204の演算結果に時間方向へのローパスフィルタをかける。このローパスフィルタ処理により、周波数成分除算部204の出力、すなわちSN比の時間方向への急変を抑制できる。例えば、周波数成分除算部204の出力が図4に示すような時間変化を示す場合に、時間変化制御部205の出力は、図5に示すように、高周波数成分が低減した、よりスムーズな変化を示す。
As described above, the time
時間変化制御部205で時間変化を緩和した結果に従い減算係数算出部206が、ノイズプロファイルに対する重み係数を決定するので、決定される重み係数は、SN比の急激な変動の影響を受けにくくなる。この結果、ミュージカルノイズを低減した雑音低減を実現でき、音質劣化を改善出来る。
Since the subtraction
以後の説明では、フレーム番号Fが影響しないので、フレーム番号Fの表記を省略する。 In the following description, the frame number F is not affected, omitted representation of frame number F.
減算係数算出部206は、時間変化制御部205の演算結果output_LPF[n]を用いて減算係数γ[n]を算出又は決定する。減算係数算出部206は例えば、図6に示すようにoutput_LPF[n]の値によって一意に減算係数γ[n]を決定するルックアップテーブルからなる。
The subtraction
減算係数算出部206は、図6に示すように、output_LPF[n]の値が大きくなればなるほど減算係数γ[n]を小さくし、一定値以上で一定値にする。この理由は次の通りである。すなわち、output_LPF[n]が十分に大きい場合は、低減対象とする雑音の周波数成分に対して、十分大きな所望音声の周波数成分が重畳されている。このとき、マスキング効果により、人間の聴覚は雑音をほぼ知覚できなくなるので、減算係数γ[n]を小さくすることで、所望音声の劣化を抑制する。減算係数算出部206は、周波数毎に決定した減算係数γ[n]を乗算器207に供給する。
As illustrated in FIG. 6, the subtraction
乗算器207は、ノイズプロファイル記憶部203からのプロファイルprofile[n]に減算係数算出部206からの減算係数γ[n]を周波数毎に乗算する。これにより、低減すべき雑音量sub_profile[n]が周波数ごとに決定される。すなわち、
sub_profile[n]=profile[n]×γ[n]
である。
The
sub_profile [n] = profile [n] × γ [n]
It is.
雑音低減部208は、フーリエ変換部202からの周波数振幅成分sound_fft[n]から乗算器207からの雑音相当量を周波数ごとに減算し、雑音低減スペクトルafter_subtract[n]を出力する。すなわち、
after_subtract[n]
=sound_fft[n]−sub_profile[n]
となる。
The
after_subtract [n]
= Sound_fft [n] -sub_profile [n]
It becomes.
逆フーリエ変換部209は、雑音低減部208からの512点の雑音低減スペクトルafter_subtract[n](n=0,1,2,…,511)を1024点に拡張する。拡張後の雑音低減スペクトルをafter_subtract2[N]とし、N=0、1、2、・・・、1023とする。N<512では、after_subtract2[N]
=after_subtract[n]
とする。N=512では、
after_subtract2[N]=0
とする。N>512では、
after_subtract2[N]
=after_subtract[1024−N]
とする。
The inverse
= After_subtract [n]
And For N = 512,
after_subtract2 [N] = 0
And For N> 512,
after_subtract2 [N]
= After_subtract [1024-N]
And
逆フーリエ変換部209は、1024点に拡張した雑音低減スペクトルafter_subtract2[N]を、フーリエ変換部202からの位相情報を用いて逆フーリエ変換する。これにより、周波数領域でズーム雑音を低減した音声データが得られる。逆フーリエ変換部209は、このようにして得られた音声データを信号出力制御部210に供給する。
The inverse
信号出力制御部210は、逆フーリエ変換部209からの音声データをフレーム毎に繋ぎ合わせ、メモリバス109を通してメモリ108の音声データ領域に書き戻す。
The signal
本実施例では、ズーム非動作時の音声データを雑音低減処理部105がメモリ108から読み出してメモリ108に書き戻すようにしているが、雑音低減処理部105を経由させないようにしてもよい。この場合、雑音低減処理部105の信号入力制御部201から信号出力制御部210に直接至る信号路は不要となる。
In this embodiment, the noise
図7は、本発明の第2実施例の概略構成ブロック図を示し、図8は、雑音低減処理部705の概略構成ブロック図を示す。図7に示す撮像装置700は、操作部701、制御部702、撮像部703、音声入力部704、雑音低減処理部705、音声出力部706、映像出力部707、メモリ708及びメモリバス709から構成される。雑音低減処理部705以外のブロック701〜704,706〜709はそれぞれ、図1に示す実施例の対応するブロック101〜104,106〜109と同じ機能を果たすので、詳細な説明を省略する。
FIG. 7 shows a schematic block diagram of the second embodiment of the present invention, and FIG. 8 shows a schematic block diagram of the noise
雑音低減処理部705は、制御信号領域に記憶されたズーム制御情報に従い、メモリ708の音声データ領域に記憶された音声データに対する雑音低減処理を実行する。具体的には、雑音低減処理部705は、ズーム制御情報がズーム動作中を示すときには、メモリ708から読み出した音声データに一定期間のフレーム単位で雑音低減処理を施し、処理後の音声データをメモリ708に書き戻す。ズーム駆動中でないときには、ズーム駆動音が発生していないので、雑音低減処理部705は、メモリ708から読み出した音声データをそのままメモリ708に書き戻す。
The noise
図8を参照して、雑音低減処理部705の構成と雑音低減動作を詳細に説明する。
The configuration and noise reduction operation of the noise
信号入力制御部801はメモリバス709とのインターフェースである。メモリ708の音声データ領域に記憶されている音声データと制御信号領域に記憶されているズーム制御情報が、メモリバス709を介して信号入力制御部801に入力する。信号入力制御部801は入力する音声データを所定の一定区間毎にフレーム分割し、ズーム制御情報に従い、雑音低減処理をするときにはフーリエ変換部802に供給し、雑音低減処理をしないときには信号出力制御部811に供給する。すなわち、ズーム制御情報がズーム中、即ち、ズーム駆動による雑音発生中(とその可能性)を示すときには、信号入力制御部801は、音声データをフーリエ変換部802に供給する。他方、ズーム制御情報がズーム中でないとき、即ち、ズーム駆動による雑音が発生しない状態を示すとき、信号入力制御部801は、音声データを信号出力制御部811に供給する。何れの場合でも、信号入力制御部801は、ズーム制御情報を信号出力制御部811に供給する。
The signal
フーリエ変換部802は、フーリエ変換部202と同様に動作し、信号入力制御部801からのフレーム分割された音声データをフーリエ変換し、周波数毎の位相情報と、周波数毎の振幅の絶対値(周波数振幅成分)を算出する。フーリエ変換部802は、周波数毎の周波数振幅成分を周波数成分除算部804と雑音低減部809に供給し、周波数毎の位相情報を逆フーリエ変換部810に供給する。
The
ノイズプロファイル記憶部803は、ノイズプロファイル記憶部203と同様に、低減対象となる雑音(ここでは、ズーム駆動音等のズーム駆動時に発生する雑音)の周波数振幅成分をノイズプロファイルとして記憶する。ノイズプロファイル記憶部803は、記憶しているノイズプロファイルを、周波数成分除算部804と乗算器807に読み出す。
Similar to the noise
周波数成分除算部804は周波数成分除算部204と同様に、フーリエ変換部802からの周波数振幅成分(A)をノイズプロファイル記憶部803からのノイズプロファイルの対応する周波数の値(B)で周波数毎に除算する。周波数成分除算部804は、周波数毎の除算結果を時間変化制御部805に供給する。
Similarly to the frequency
時間変化制御部805は実質的にはローパスフィルタ(LPF)からなり、周波数成分除算部804からの周波数毎の除算結果を時間軸上で平滑化する。時間変化制御部805は、周波数毎のフィルタ結果、すなわち低域成分を減算係数算出部806と雑音低減部809に出力する。
The time
減算係数算出部806は、減算係数算出部206と同様に動作する。すなわち、減算係数算出部806は、時間変化制御部805からの周波数毎の時間変化の低域成分量から周波数毎の減算係数(ノイズプロファイルに対する重み係数)を算出し、乗算器807に出力する。乗算器807は乗算器207と同様に、減算係数算出部806からの周波数毎の減算係数をノイズプロファイル記憶部803から読み出されたノイズプロファイルの対応する周波数成分の値に乗算する。
The subtraction
雑音時間変化情報記憶部808は、低減対象となる雑音の周波数毎の時間変化の傾向を記憶し、適時のタイミングで記憶情報を雑音低減部809に供給する。雑音時間変化情報記憶部808に記憶される情報の詳細は後述する。
The noise time change
雑音低減部809には、時間変化制御部805の演算結果805sと、乗算器807の乗算結果807sと、フーリエ変換部802からの周波数振幅成分802sが入力する。雑音低減部809は、信号入力制御部801からのズーム制御情報801sと、雑音時間変化情報記憶部808からの雑音時間変化傾向情報808sに従い、周波数振幅成分802sに含まれる雑音を周波数領域で低減する。雑音低減部809は、雑音低減処理を行った音声信号を、逆フーリエ変換部810に供給する。雑音低減部809の詳細は後述する。
The
逆フーリエ変換部810は、逆フーリエ変換部209と同様に、雑音低減部809からの音声信号スペクトルをフーリエ変換部802からの位相情報を用いて逆フーリエ変換する。これにより、雑音低減した時間領域の音声データを得ることができる。逆フーリエ変換部810は、逆フーリエ変換により復元された音声データを信号出力制御部811に供給する。
Similar to the inverse
信号出力制御部811は、信号出力制御部210と同様に動作する。即ち、信号出力制御部811は、信号入力制御部801からのズーム制御情報に従い、雑音低減処理をするときには、逆フーリエ変換部810からの音声データを選択してメモリバス709に出力する。また、信号出力制御部811は、ズーム制御情報に従い、雑音低減処理をしないときには、信号入力制御部801からのフレーム分割された音声データを選択し、フレーム合成して、メモリバス709に出力する。
The signal
音声入力部704により入力される音声データの雑音低減処理部705による雑音低減処理を具体的に説明する。ここでは、説明例として、音声入力部704のA/D変換におけるサンプリング周波数は48kHzとする。FFTのためのフレーム分割単位は1024点、すなわち、フーリエ変換部802及び逆フーリエ変換部810の周波数分解能は1024点とする。つまり、フーリエ変換部802のフーリエ変換結果は、512点のスペクトルで24kHzまでの周波数成分を表すことになる。
The noise reduction processing by the noise
ノイズプロファイル記憶部803に記憶されているノイズプロファイルは、低減対象とする雑音(ここではズーム雑音)のみで構成される音声信号をフーリエ変換することで得られる。事前に、音声入力部704にこの雑音のみを取り込み、信号入力制御部801でフレーム分割し、フーリエ変換部802でフーリエ変換する。この処理で得られる512点までの周波数成分を時間方向にフレームをまたいでピークホールドしたものをノイズプロファイルとしてノイズプロファイル記憶部803に格納する。ノイズプロファイルをprofile[n]と表現する。但し、n=0,1,2,3,・・・・,511である。
The noise profile stored in the noise
雑音低減処理部705の信号入力制御部801は、メモリ708の音声データ領域に記憶されている音声データを、メモリバス709を通して読み出し、1024サンプル毎にフレーム分割する。このとき、メモリ108に記憶されているズーム制御情報も読み出し、ズーム動作中の音声データでなければ音声データを信号出力制御部811に供給し、ズーム動作中の音声データであれば音声データをフーリエ変換部802に供給する。
The signal
フーリエ変換部802は、信号入力制御部801からの1024点の音声データをフーリエ変換する。フーリエ変換結果をsound_fft[N]と表現する。但し、N=0,1,2,3,・・・・,1023である。
The
フーリエ変換部802は、フーリエ変換結果のうちの前半の512点までの結果を周波数成分除算部804と雑音低減部809に供給する。フーリエ変換部802は、フーリエ変換結果のうちの前半の512点までの結果をsound_fft[n]と表現する。但し、n=0,1,2,3,・・・・,511である。
The
周波数成分除算部804は、フーリエ変換部802からのフーリエ変換結果sound_fft[n]をノイズプロファイル記憶部803からのノイズプロファイルprofile[n]で除算する。除算結果はいわゆる信号対雑音比(SN比)であり、
signal_noise[n]
=sound_fft[n]/profile[n]
となる。n=0,1,2,・・・・,511である。
The frequency
signal_noise [n]
= Sound_fft [n] / profile [n]
It becomes. n = 0, 1, 2,..., 511.
この演算結果の数値が大きい周波数には、所望音声(周囲又は被写体からの音声)の周波数成分に、低減処理すべき雑音の周波数成分が重畳していると考えられる。逆に、SN比が1に近ければ近いほど、その周波数における、低減対象となる雑音の占める割合が大きいと考えられる。また、SN比が1以下の値であった場合は、低減処理すべき雑音の周波数成分がノイズプロファイルに対して変化していると考えられる。 It is considered that the frequency component of the noise to be reduced is superimposed on the frequency component of the desired sound (sound from the surrounding or the subject) at the frequency where the numerical value of the calculation result is large. On the contrary, it is considered that the closer the S / N ratio is to 1, the greater the proportion of noise to be reduced at that frequency. Further, when the SN ratio is a value of 1 or less, it is considered that the frequency component of noise to be reduced has changed with respect to the noise profile.
時間変化制御部805は、時間変化制御部205と同じ構成からなり、周波数成分除算部804の除算結果signal_noise[n]に、時間方向への巡回型ローパスフィルタをかける。
The time
この実施例でも、実施例1と同様に、時間変化制御部805のローパスフィルタ処理により、周波数成分除算部804の出力、すなわちSN比の時間方向への急変を抑制できる。この抑制の結果として、音圧の急変を抑制してミュージカルノイズを低減でき、音質劣化を改善できる。
Also in this embodiment, similar to the first embodiment, the rapid change in the time direction of the output of the
実施例1と同様に、以後の説明ではフレーム番号Fが影響しないので、フレー得番号Fの表記を省略する。 As in the first embodiment, since the frame number F does not affect in the following description, the notation of the frame gain number F is omitted.
減算係数算出部806は、時間変化制御部805の演算結果output_LPF[n]を用いて減算係数γ[n]を算出又は決定する。減算係数算出部806は例えば、減算係数算出部206と同様に、output_LPF[n]の値によって一意に減算係数γ[n]を決定するルックアップテーブルからなる。
The subtraction
減算係数算出部806は、図6に示すように、output_LPF[n]の値が大きくなればなるほど、徐々に減算係数γ[n]を小さくする。この理由は次の通りである。すなわち、output_LPF[n]が十分に大きい場合は、低減対象とする雑音の周波数成分に対して、十分大きな所望音声の周波数成分が重畳されている。このとき、マスキング効果により、人間の聴覚は雑音をほぼ知覚できなくなるので、減算係数γ[n]を小さくすることで、所望音声の劣化を抑制する。減算係数算出部806は、周波数毎に決定した減算係数γ[n]を乗算器807に供給する。
As illustrated in FIG. 6, the subtraction
乗算器807は、プロファイル記憶部803からのプロファイルprofile[n]に減算係数算出部806からの減算係数γ[n]を周波数毎に乗算する。これにより、低減すべき雑音量sub_profile[n]が周波数ごとに決定される。すなわち、
sub_profile[n]=profile[n]×γ[n]
である。
The
sub_profile [n] = profile [n] × γ [n]
It is.
雑音時間変化情報記憶部808は、雑音が時間方向に変動するときの傾向を周波数毎に記憶している。例えば、ズーム雑音について考えると、ズーム動作の開始から終了までの間で、時間経過と共に雑音の周波数成分が変動する。雑音時間変化情報記憶部808は、その時間経過による変動傾向fluctuation[n]を周波数毎に記憶する。図10、図11、図12は、ある周波数n=n’に着目したときの、周波数成分の変動傾向を示すグラフである。
The noise time change
図10は、周波数n=n’における周波数成分のズーム動作時間による変動が、時間の経過につれて増加するような傾向を示す場合を示す。図10に示す例では、変動傾向fluctuation[n]の値を0とする。 FIG. 10 shows a case where the variation due to the zoom operation time of the frequency component at the frequency n = n ′ tends to increase as time elapses. In the example illustrated in FIG. 10, the value of the fluctuation tendency “fractation [n]” is set to 0.
図11は、周波数成分のズーム動作時間による変動傾向が無い場合を示す。図11に示す例では、変動傾向fluctuation[n]の値を1とする。 FIG. 11 shows a case where there is no fluctuation tendency due to the zoom operation time of the frequency component. In the example illustrated in FIG. 11, the value of the fluctuation tendency “fluctuation [n]” is 1.
図12は、周波数成分のズーム動作時間による変動が、時間の経過につれて減少するような傾向を示す場合を示す。図12に示す例では、変動傾向fluctuation[n]の値を2とする。 FIG. 12 shows a case where the variation of the frequency component due to the zoom operation time tends to decrease as time elapses. In the example illustrated in FIG. 12, the value of the fluctuation tendency “fractation [n]” is set to 2.
雑音時間変化情報記憶部808は、変動傾向値fluctuation[n]を雑音時間変化傾向情報808sとして雑音低減部809に供給する。雑音低減部809は、信号入力制御部801からのズーム制御情報801sと、時間変化制御部805の出力805s及び雑音時間変化情報記憶部808からの雑音時間変化傾向情報808s(fluctuation[n])に従い、雑音低減処理を切り替える。
The noise time change
図9は、雑音低減部809の概略構成ブロック図を示す。雑音低減部809は、演算切替え制御部901、乗算器902、減衰倍率算出部903及び減算器904で構成される。
FIG. 9 shows a schematic block diagram of the
減衰倍率算出部903は、時間変化制御部805の演算結果に対して、図13に示すような特性の、減衰倍率K[n](但しK[n]≦1.0)を出力するテーブルからなる。このテーブルは基本的に、減算係数算出部806における減算係数γ[n]とは逆の傾きを持つようなテーブルとなる。図13で、減衰倍率K[n]の最低値K[n]=0.1の区間は、図6における減算係数γ[n]=1.0の区間と等しくなる。図13におけるK[n]=1.0の区間は、図6におけるγ[n]=0の区間と等しくなる。減衰倍率K[n]の最低値K[n]=0.1の値は実験的に求められるものであり、ここで示す数値は一例である。減衰倍率算出部903は、時間変化制御部805の出力805Sに応じた減衰倍率K[n]を乗算器902に供給する。
The attenuation
乗算器902は、フーリエ変換部802からの周波数振幅成分802sに減衰倍率K[n]を乗算する。すなわち、乗算器902の出力はsound_fft[n]×K[n]で与えられる。但し、n=0、1,2、・・・、511である。
The
また、減算器904は、フーリエ変換部802からの周波数振幅成分802sから、乗算器807の出力807sを減算する。減算器904の出力は、
sound_fft[n]−sub_profile[n]
で与えられる。ただし、n=0、1,2、・・・、511である。
The
sound_fft [n] -sub_profile [n]
Given in. However, n = 0, 1, 2,... 511.
演算切替え制御部901は、信号入力制御部801からのズーム制御情報と雑音時間変化情報記憶部808からの周波数変動傾向情報fluctuation[n]の値に従い、乗算器902又は減算器904の出力を選択して逆フーリエ変換部810に出力する。
The arithmetic
周波数変動傾向情報fluctuation[n]=0の場合、演算切替え制御部901は、ズーム動作開始時からズーム動作時間内のある一定時間までは、乗算器902の出力を出力信号線809sに接続する。そして、その一定時間の経過後には、演算切替え制御部901は、減算器904の出力を出力信号線809sに接続する。
When the frequency variation tendency information fluctuation [n] = 0, the arithmetic
周波数変動傾向情報fluctuation[n]=1の場合、演算切替え制御部901は、ズーム動作中常時、減算器904の出力を出力信号線809sに接続する。
When the frequency variation tendency information fluctuation [n] = 1, the arithmetic
周波数変動傾向情報fluctuation[n]=2の場合、演算切替え制御部901は、ズーム動作開始時からズーム動作時間内のある一定時間までは、減算器904の出力を出力信号線809sに接続する。その一定時間の経過後には、演算切替え制御部901は、乗算器902の出力を出力信号線809sに接続する。
When the frequency variation tendency information fluctuation [n] = 2, the arithmetic
逆フーリエ変換部810は、逆フーリエ変換部209と同じ方法で、雑音低減部809から出力される512点の雑音低減スペクトルを1024点に拡張し、フーリエ変換部802からの位相情報を用いて逆フーリエ変換する。これにより、周波数領域でズーム雑音を低減した音声データが得られる。逆フーリエ変換部810は、このようにして得られた音声データを信号出力制御部822に供給する。
The inverse
信号出力制御部811は、信号出力制御部210と同様に、逆フーリエ変換部810からの音声データをフレーム毎に繋ぎ合わせ、メモリバス709を通してメモリ708の音声データ領域に書き戻す。
Similar to the signal
本実施例でも、ズーム非動作時の音声データを雑音低減処理部705がメモリ708から読み出してメモリ708に書き戻すようにしているが、雑音低減処理部705を経由させないようにしてもよい。この場合、雑音低減処理部705の信号入力制御部801から信号出力制御部811に直接至る信号路は不要となる。
Also in this embodiment, the noise
雑音時間変化情報記憶部808からのズーム雑音の周波数毎の時間変動傾向と、信号入力制御部801からのズーム制御情報により、雑音低減部809の演算方法を切り替える理由を、説明する。
The reason why the calculation method of the
図14は、ある周波数n=n’においてfluctuation[n’]=2の場合、即ち、減少傾向の場合の、ズーム雑音の周波数成分と時間との関係を示す。ノイズプロファイル記憶部803に記憶されるノイズプロファイルは、時間で変化するズーム雑音の周波数成分を時間方向にピークホールドしたものであるので、profile[n’]は図14で示す値となる。雑音区間をt1〜t3とした時、雑音の周波数成分が時間と共に小さくなるにも関わらず、profile[n’]が固定値である。従って、減算器904の出力sound_fft[n]−sub_profile[n]を出力信号線809sに接続するケースでは、特にt2〜t3の区間で、所望音声が重畳されているときには大きく音質が劣化してしまう。
FIG. 14 shows the relationship between the frequency component of zoom noise and time when fluctuation [n ′] = 2 at a certain frequency n = n ′, that is, when the frequency tends to decrease. Since the noise profile stored in the noise
そこで、本実施例では、変動傾向fluctuation[n’]=2の場合に、区間t2〜t3においては、演算切替え制御部901が、乗算器902の出力sound_fft[n]×K[n]を出力信号線809sに接続するようにした。すなわち、乗算器902による雑音低減処理を選択することで、雑音の低減量を適切に制御し、所望音声の劣化を抑えることができる。
Therefore, in this embodiment, in the case of the fluctuation tendency fluctuation [n ′] = 2, the operation switching
演算切替え制御部901は、信号入力制御部801から供給されるズーム制御情報により時間t1、t2、t3を判断し、乗算器902と減算器904の出力を切り替える。
The arithmetic
図15はfluctuation[n]=0のときの演算切替え制御部901による切替え例を示す。図16はfluctuation[n]=1のときの演算切替え制御部901による切替え例を示す。図17はfluctuation[n]=2のときの演算切替え制御部901による切替え例を示す。
FIG. 15 shows an example of switching by the calculation switching
ズーム制御情報として、ズーム時における駆動部(モータ)の回転情報と、駆動部の位置情報を、制御部702から信号入力制御部801を介して雑音低減部809に供給しても良い。この場合、雑音時間変化情報記憶部808で記憶される変動傾向情報は、例えばfluctuation[n’]=2の場合(減少傾向の場合)、図18で示されるようにモータの位置情報に対する雑音の周波数成分の変動傾向となる。
As zoom control information, rotation information of the drive unit (motor) during zooming and position information of the drive unit may be supplied from the
図18で、p1、p2、p3はズームに関するモータの位置情報である。p1が、撮像装置のズーム操作における広角側を、p3が望遠側を示す。つまり、図18に示す周波数では、雑音の周波数成分が望遠側にいけばいくほど小さくなる。信号入力制御部801から位置情報p1〜p3とズーム回転方向情報を雑音低減部809に供給する。雑音低減部809は、これらの情報と雑音時間変化情報記憶部808からの変動傾向情報に基づき、乗算器902の出力か減算器904の出力かを切り替える。
In FIG. 18, p1, p2, and p3 are motor position information regarding zoom. p1 indicates the wide-angle side in the zoom operation of the imaging apparatus, and p3 indicates the telephoto side. That is, at the frequency shown in FIG. 18, the noise frequency component becomes smaller as it goes to the telephoto side. Position information p <b> 1 to p <b> 3 and zoom rotation direction information are supplied to the
Claims (8)
前記音声入力手段により入力された時間領域の音声信号を周波数領域の音声信号スペクトルに変換するフーリエ変換手段と、
低減対象となる雑音の周波数振幅成分を示すノイズプロファイルを記憶するノイズプロファイル記憶手段と、
前記フーリエ変換手段で求められた音声信号スペクトルと前記ノイズプロファイルとの比を周波数毎に求める周波数成分除算手段と、
前記周波数成分除算手段により求められた周波数毎の比を周波数毎に平滑化する時間変化制御手段と、
前記時間変化制御手段の出力に従い減算係数を算出する減算係数算出手段と、
前記ノイズプロファイルに前記減算係数を乗算する乗算手段と、
前記音声信号スペクトルから前記乗算手段の出力を減算する雑音低減手段と、
前記雑音低減手段の出力を時間領域の音声信号に復元する逆フーリエ変換手段と、
前記逆フーリエ変換手段により復元された音声信号を出力する音声出力手段
とを有することを特徴とする音声処理装置。 Voice input means;
Fourier transform means for converting a time-domain sound signal input by the sound input means into a frequency-domain sound signal spectrum;
Noise profile storage means for storing a noise profile indicating a frequency amplitude component of noise to be reduced;
Frequency component dividing means for obtaining a ratio of the audio signal spectrum obtained by the Fourier transform means and the noise profile for each frequency;
Time change control means for smoothing the ratio for each frequency obtained by the frequency component dividing means for each frequency;
Subtraction coefficient calculating means for calculating a subtraction coefficient according to the output of the time change control means;
Multiplying means for multiplying the noise profile by the subtraction coefficient;
Noise reduction means for subtracting the output of the multiplication means from the audio signal spectrum;
An inverse Fourier transform means for restoring the output of the noise reduction means to a time domain audio signal;
And a voice output unit that outputs the voice signal restored by the inverse Fourier transform unit.
前記雑音低減手段は、
前記音声信号スペクトルから前記乗算手段の出力を減算する減算器と、
前記時間変化制御手段により平滑化された前記周波数毎の比に従い前記音声信号スペクトルの強度を調整する乗算器と、
前記傾向情報に従い前記減算器と前記乗算器の出力を切り替える切替え手段
とを有することを特徴とする請求項1に記載の音声処理装置。 Furthermore, it has change information storage means for storing trend information indicating a tendency of change in the frequency component of the noise,
The noise reduction means includes
A subtractor for subtracting the output of the multiplication means from the audio signal spectrum;
A multiplier for adjusting the intensity of the audio signal spectrum according to the ratio for each frequency smoothed by the time change control means;
The speech processing apparatus according to claim 1, further comprising a switching unit that switches an output of the subtracter and the multiplier according to the trend information.
前記傾向情報が前記雑音の周波数成分の時間方向の変化の傾向を示し、
前記切替え手段が、前記雑音時間情報と前記傾向情報に従い前記減算器と前記乗算器の出力を切り替える
ことを特徴とする請求項2から5の何れか1項に記載の音声処理装置。 Further comprising a noise time holding means for holding a noise time information including the time of the end time and resonance of sound beginning of the noise,
The trend information indicates a tendency of the frequency component of the noise to change in the time direction;
6. The speech processing apparatus according to claim 2, wherein the switching unit switches outputs of the subtracter and the multiplier according to the noise time information and the trend information.
前記傾向情報が前記雑音の周波数成分の位置の変化の傾向を示し、
前記切替え手段が、前記雑音時間情報と前記傾向情報に従い前記減算器と前記乗算器の出力を切り替える
ことを特徴とする請求項6に記載の音声処理装置。 Furthermore, it has means for holding the position information of the noise,
The trend information indicates a tendency of a change in a position of a frequency component of the noise;
The speech processing apparatus according to claim 6, wherein the switching unit switches the outputs of the subtracter and the multiplier according to the noise time information and the trend information.
前記雑音は、前記ズームレンズの駆動により発生する雑音であるThe noise is noise generated by driving the zoom lens.
ことを特徴とする請求項1から7の何れか1項に記載の音声処理装置。The speech processing apparatus according to claim 1, wherein
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013165850A JP6300464B2 (en) | 2013-08-09 | 2013-08-09 | Audio processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013165850A JP6300464B2 (en) | 2013-08-09 | 2013-08-09 | Audio processing device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015034898A JP2015034898A (en) | 2015-02-19 |
JP2015034898A5 JP2015034898A5 (en) | 2016-09-08 |
JP6300464B2 true JP6300464B2 (en) | 2018-03-28 |
Family
ID=52543468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013165850A Expired - Fee Related JP6300464B2 (en) | 2013-08-09 | 2013-08-09 | Audio processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6300464B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6559576B2 (en) * | 2016-01-05 | 2019-08-14 | 株式会社東芝 | Noise suppression device, noise suppression method, and program |
CN106302906A (en) * | 2016-09-15 | 2017-01-04 | 上海斐讯数据通信技术有限公司 | A kind of diamylose gram noise-reduction method and device, a kind of mobile terminal |
CN107833579B (en) * | 2017-10-30 | 2021-06-11 | 广州酷狗计算机科技有限公司 | Noise elimination method, device and computer readable storage medium |
CN111986688B (en) * | 2020-09-09 | 2024-07-23 | 北京小米松果电子有限公司 | Method, device and medium for improving voice definition |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3566197B2 (en) * | 2000-08-31 | 2004-09-15 | 松下電器産業株式会社 | Noise suppression device and noise suppression method |
JP2002258899A (en) * | 2001-03-02 | 2002-09-11 | Yrp Kokino Idotai Tsushin Kenkyusho:Kk | Method and device for suppressing noise |
EP1376539B8 (en) * | 2001-03-28 | 2010-12-15 | Mitsubishi Denki Kabushiki Kaisha | Noise suppressor |
JP2004317993A (en) * | 2003-04-18 | 2004-11-11 | Asahi Kasei Corp | Circuit and method for noise reduction |
JP2011205526A (en) * | 2010-03-26 | 2011-10-13 | Sony Corp | Imaging apparatus, method, and program |
JP2013148724A (en) * | 2012-01-19 | 2013-08-01 | Sony Corp | Noise suppressing device, noise suppressing method, and program |
-
2013
- 2013-08-09 JP JP2013165850A patent/JP6300464B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015034898A (en) | 2015-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5092748B2 (en) | Noise suppression method and apparatus, and computer program | |
KR102545961B1 (en) | Multi-Rate System for Audio Processing | |
JP6300464B2 (en) | Audio processing device | |
JP2012169782A (en) | Sound processing device and method, and imaging device | |
JP2012032648A (en) | Mechanical noise reduction device, mechanical noise reduction method, program and imaging apparatus | |
CN113170260B (en) | Audio processing method and device, storage medium and electronic equipment | |
US10535363B2 (en) | Audio processing apparatus and control method thereof | |
JP5728215B2 (en) | Audio processing apparatus and method, and imaging apparatus | |
JP5349062B2 (en) | SOUND PROCESSING DEVICE, ELECTRONIC DEVICE HAVING SAME, AND SOUND PROCESSING METHOD | |
JP5294085B2 (en) | Information processing apparatus, accessory apparatus thereof, information processing system, control method thereof, and control program | |
JP2015034898A5 (en) | Audio processing device | |
JP2014102317A (en) | Noise elimination device, noise elimination method, and program | |
JP2012185445A (en) | Signal processor, imaging apparatus and program | |
JP6985821B2 (en) | Speech processing device and its control method | |
JP2022038611A5 (en) | ||
JP2011100029A (en) | Signal processing method, information processor, and signal processing program | |
JP2018207313A (en) | Audio processing device and method of controlling the same | |
WO2024069964A1 (en) | Noise processing circuit, signal processing device, noise processing method, and recording medium | |
JP6931296B2 (en) | Speech processing device and its control method | |
JP5473786B2 (en) | Audio signal processing apparatus and control method thereof | |
JP2014026032A (en) | Signal processing device, imaging device, and program | |
JP2016051091A (en) | Device and method for voice processing | |
JP2014102318A (en) | Noise elimination device, noise elimination method, and program | |
JP6886352B2 (en) | Speech processing device and its control method | |
JP2018066963A (en) | Sound processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160721 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160721 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170704 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180227 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6300464 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |
|
LAPS | Cancellation because of no payment of annual fees |