JP4942755B2 - Audio signal processing apparatus and method - Google Patents
Audio signal processing apparatus and method Download PDFInfo
- Publication number
- JP4942755B2 JP4942755B2 JP2008535814A JP2008535814A JP4942755B2 JP 4942755 B2 JP4942755 B2 JP 4942755B2 JP 2008535814 A JP2008535814 A JP 2008535814A JP 2008535814 A JP2008535814 A JP 2008535814A JP 4942755 B2 JP4942755 B2 JP 4942755B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- audio signal
- unit
- bit
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005236 sound signal Effects 0.000 title claims description 247
- 238000012545 processing Methods 0.000 title claims description 114
- 238000000034 method Methods 0.000 title description 21
- 238000005070 sampling Methods 0.000 claims description 113
- 230000008859 change Effects 0.000 claims description 75
- 238000009499 grossing Methods 0.000 claims description 58
- 238000004364 calculation method Methods 0.000 claims description 55
- 238000013500 data storage Methods 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 12
- 230000007423 decrease Effects 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 33
- 238000013139 quantization Methods 0.000 description 26
- 238000001914 filtration Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000001771 impaired effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000004606 Fillers/Extenders Substances 0.000 description 1
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Analogue/Digital Conversion (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Description
本発明は、音声信号処理装置及び方法に関する。本発明は特に、デジタル音声信号の量子化する際のビット不足による歪みを改善する技術に関する。より詳しく述べれば、本発明は、デジタル音声信号の量子化ビット数を拡張したデータを生成する技術に係わり、特に、デジタル音声信号歪みの発生の抑制に関するものである。 The present invention relates to an audio signal processing apparatus and method. In particular, the present invention relates to a technique for improving distortion caused by insufficient bits when quantizing a digital audio signal. More specifically, the present invention relates to a technique for generating data in which the number of quantization bits of a digital audio signal is expanded, and more particularly to suppression of occurrence of digital audio signal distortion.
近年音声機器(オーディオ機器)、車載用音声機器(カーオーディオ機器)、DVDレコーダーにおける音声信号処理のデジタル化は一般的となっている。例えばCDなどは16ビット量子化、サンプリング周波数44.1kHz(デジタル・オーディオ・テープの規格はサンプリング周波数48kHz)が規格として定められている。
一方、音声信号のソースはもともとアナログ的に生成されるような自然音が一般的であり、その入力レベルのダイナミックレンジは非常に広い。よって最小ビット付近の微小レベルで変化する入力信号は量子化ビット数不足により波形歪みが発生する。In recent years, digitalization of audio signal processing in audio equipment (audio equipment), in-vehicle audio equipment (car audio equipment), and DVD recorders has become common. For example, 16-bit quantization for a CD or the like and a sampling frequency of 44.1 kHz (a digital audio tape standard is a sampling frequency of 48 kHz) are defined as standards.
On the other hand, a natural sound that is generated in an analog manner is generally used as the source of the audio signal, and the dynamic range of the input level is very wide. Therefore, waveform distortion occurs in an input signal that changes at a minute level near the minimum bit due to an insufficient number of quantization bits.
下記の特許文献1では、このような量子化ビット数不足による信号歪みに対応するために
(a) アナログ信号形態の音声信号を量子化して得た順次の標本値を2のN乗分の1の分解能でデジタル信号に変換してなるNビットのデジタル音声信号の符号情報を得ること、及び
(b) このNビットの符号情報の最下位桁(LSB)に(M−N)ビットの付加符号情報を連続させて、M>Nの関係にあるMビットの符号情報にビット数変換を行うこと
が開示されている。In the following
下記の特許文献2では、このような量子化のビット数不足による信号歪みに対応するために
(a)入力されたデジタルデータのサンプルデータ毎のデータ変化のうち、変化しない区間をはさんだLSBの変化の時間長を判断基準として、異なるカットオフ周波数を有する低域通過フィルタのうち少なくとも一つを選定して、信号出力を得ること、及び
(b)LSB変化の時間間隔からレベルの変化率を判別し、その判別された期間で波形変化をなめらかにするLSBよりも下位のデータ列を生成後、LSB変化点の前後にわたってLSB以下のデータを生成してビット拡張することが記載されている。In the following
なお、上記の非特許文献1については、後に言及する。
The above
例えば特許文献1の装置による方法は、最下位桁に付加符号情報を連続させるという処理を行っている。この方法には、最下位桁のみが変化する波形部分にしか付加符号情報が追加されない構成である。即ち、原データをnビット、ビット数変換後をMビットのデータ幅とすると、補正用に付加する符号情報は(M−n)ビット幅しかない。そのため、波形歪み改善効果に乏しい。即ち、入力信号最下位桁のみが変化するサンプリング点間の変化しか高量子化ビット数で補間されない。
For example, the method of the apparatus of
特許文献2による方法は、LSB変化の時間長のみでカットオフ周波数を選択している。つまりLSB変化がある度にカットオフ周波数が変化する。また、LSB変化の時間長のみで正確にカットオフ周波数を選択するは困難である。例えば一定周波数の正弦波でもLSB変化の時間長は一定ではない。そのため、長い時間範囲でみると処理のつなぎめがなめらかに変化せず、歪みが十分補正されない。
In the method according to
本発明は、信号振幅が急峻に大きく変化する領域を有する音声信号入力波形の再現性を損なわないことを実現しながら、従来よりも細かく自由度の大きな波形歪み補正用の補間データを生成し、音声信号入力波形に近づけるような音声信号処理装置を提供することを目的とする。 The present invention generates interpolated data for waveform distortion correction that is finer and has a higher degree of freedom than in the past while realizing that the reproducibility of an audio signal input waveform having a region where the signal amplitude changes sharply and greatly is not impaired, It is an object of the present invention to provide an audio signal processing device that approximates an audio signal input waveform.
この発明の音声信号処理装置は、
nビット(nは整数)の音声信号データの列の各データをαビット分(αは整数)ビット拡張してn+αビットの音声信号データの列を生成して出力する原データビット拡張部と、
前記ビット拡張によって生成されたn+αビットの音声信号データの列を平滑化処理するエッジ保存型平滑化フィルタ部と、
前記nビットの音声信号の周波数と振幅を推定する周波数振幅推定部と、
前記周波数と前記振幅に基づいて低域通過フィルタ係数を生成するフィルタ係数生成部とを備え、
前記エッジ保存型平滑化フィルタ部は、前記フィルタ係数生成部で生成されたフィルタ係数を用いて平滑化を行い、
前記フィルタ係数生成部は、
推定された音声信号の周波数の高調波成分を除去する低域通過フィルタのフィルタ係数を生成し、推定された振幅が大きいほど前記低域通過フィルタの次数が小さくなる
ことを特徴とする。
The audio signal processing device of the present invention is
an original data bit extension unit for generating and outputting a sequence of n + α-bit audio signal data by extending each bit of the n-bit (n is an integer) audio signal data by α bits (α is an integer) bit;
An edge-preserving smoothing filter that smoothes a sequence of n + α-bit audio signal data generated by the bit extension ;
A frequency amplitude estimator for estimating the frequency and amplitude of the n-bit audio signal;
A filter coefficient generation unit that generates a low-pass filter coefficient based on the frequency and the amplitude,
The edge preserving smoothing filter unit performs smoothing using the filter coefficient generated by the filter coefficient generation unit,
The filter coefficient generation unit
A filter coefficient of a low-pass filter that removes harmonic components of the frequency of the estimated speech signal is generated, and the order of the low-pass filter decreases as the estimated amplitude increases. To do.
この発明によれば、波形歪み補正用に付加する情報のデータ幅はビット数変換(拡張)後のデータ幅で歪み補正データを生成するように構成している。従って、補正対象となるデータ幅が広い点で、上記特許文献1の先行技術とは異なる。さらに歪み補正用データ生成手段としてエッジ保存型平滑化フィルタ(例えば、一次元m次εフィルタ)を適用している。これらの構成によって、従来方法よりも細かく自由度の大きな歪み補正用の補間データを生成し、原音波形に近づけることができる。
またエッジ保存型平滑化フィルタ(例えば、一次元m次εフィルタ)を適用することにより、信号振幅が急峻に大きく変化する領域を有する音声信号の再現性は損なわれない。これは、フィルタ動作の閾値設定が可能であることによる。According to the present invention, the data width of information added for waveform distortion correction is configured to generate distortion correction data with a data width after bit number conversion (expansion). Therefore, it differs from the prior art of
Further, by applying an edge preserving smoothing filter (for example, a one-dimensional m-order ε filter), the reproducibility of an audio signal having a region where the signal amplitude changes sharply and greatly is not impaired. This is because the threshold value for the filter operation can be set.
1 入力端子、 2 入力処理部、 3 拡張データ生成処理部、 4 出力処理部、 5 原データビット拡張部、 6 一次元m次εフィルタ部、 7 データ格納部、 8―1〜8−4 差分算出部、 9―1〜9−4 ε判定部、 10 判定付き加重平均部、 11 データ加算部、 12 係数プログラマブル判定付き加重平均部、 13 次数可変判定付き加重平均部、 15 出力処理部、 15a プログラマブルアンプ、 16 比較部、 17 ビット拡張及び判定付き加重平均部、 18 ビット拡張付きデータ加算部、 18a ビット拡張部、 18b データ加算部、 19 ビット拡張付き一次元m次εフィルタ部、 21 入力端子、 22 周波数振幅推定部、 23 フィルタ係数生成部、 24 原データビット拡張部、 25 エッジ保存型平滑化フィルタ部、 27 変曲点検出部、 28 周波数推定部、 29 振幅推定部、 31 一次微分算出部、 32 符号変化点検出部。 1 input terminal, 2 input processing unit, 3 extended data generation processing unit, 4 output processing unit, 5 original data bit expansion unit, 6 one-dimensional m-order ε filter unit, 7 data storage unit, 8-1 to 8-4 difference Calculation unit, 9-1 to 9-4 ε determination unit, 10 weighted average unit with determination, 11 data addition unit, 12 weighted average unit with coefficient programmable determination, 13 weighted average unit with variable degree determination, 15 output processing unit, 15a Programmable amplifier, 16 comparison unit, 17-bit extension and weighted average unit with determination, 18-bit extension data addition unit, 18a-bit extension unit, 18b data addition unit, one-dimensional m-order ε filter unit with 19-bit extension, 21 input terminal , 22 Frequency amplitude estimation unit, 23 Filter coefficient generation unit, 24 Original data bit extension unit, 25 Edge Presence smoothing filter section, 27 the inflection point detecting unit, 28 a frequency estimation unit, 29 an amplitude estimating unit, 31 a primary differential calculating section, 32 sign change point detecting unit.
実施の形態1.
図1は、本発明の実施の形態1に係る音声信号出力装置の構成を示すブロック図である。実施の形態1に係る音声信号出力装置は、入力端子1、入力処理部2、拡張データ生成処理部3、及び出力処理部4を備える。これらのうち、入力処理部2、及び拡張データ生成処理部3により、音声信号処理装置が構成されている。
FIG. 1 is a block diagram showing a configuration of an audio signal output apparatus according to
本実施の形態では、入力処理部2をアナログの音声信号からデジタルの音声信号データに変換するA/D変換器として説明を行うが、入力処理部2にアナログ処理回路を備え、入力処理部2の内部でイコライジングなどのアナログ処理した後にデジタルの音声信号データに変換しても良いし、入力処理部2をデジタルインターフェースとして入力端子1よりデジタルのデータを受信して、nビット音声信号データDIを出力しても良い。
In the present embodiment, the
アナログの音声信号SAが入力端子1より入力処理部2に入力され、入力処理部2は、アナログの音声信号SAを所定のサンプリング周期でサンプリングして、nビットの音声信号データDIの列に変換して拡張データ生成処理部3に出力する。拡張データ生成処理部3は、原データビット拡張部5と、一次元m次εフィルタ部6を備え、nビットの音声信号データDIの列の各データをn+αビットに変換して出力処理部4に出力する。原データビット拡張部5は、nビットの音声信号データDIをαビット分ビット拡張(「ビットシフト」とも言う)したn+αビットの音声信号データDSの列を一次元m次εフィルタ部6に出力する。
An analog audio signal SA is input from the
音声信号データDSは(他の音声信号データDIなども同様であるが)、時系列でサンプリングされた、サンプリング点(サンプリングタイミング)ごとのデータ値(サンプル値)を順に表すデータの列から成り、時間軸上の座標値iは、1サンプリング周期毎に1ずつ大きくなる。従って、入力処理部2、原データビット拡張部5など、ディジタル信号を出力する回路から出力されるデータなどはデータの列を構成するものであるが、以下の説明では、単にデータと呼ぶことがある。
The audio signal data DS (although the other audio signal data DI and the like are the same) is composed of a sequence of data sequentially representing data values (sample values) for each sampling point (sampling timing) sampled in time series. The coordinate value i on the time axis increases by one for each sampling period. Therefore, data output from a circuit that outputs a digital signal, such as the
入力処理部2における音声信号SAから音声信号データDIへの変換や、入力処理部2から原データビット拡張部5への音声信号データDIの供給、原データビット拡張部5における、ビット拡張、原データビット拡張部5からデータ格納部7への音声信号データDSの供給などは(以下に説明する拡張データ生成処理部3の他の部分の動作も同様であるが)、図示しない制御部から供給されるサンプリング周波数クロックに同期して(サンプリング周波数と同じ周波数、又はサンプリング周波数の整数倍又は整数分の1の周波数で)で行われる。
Conversion from the audio signal SA to the audio signal data DI in the
一次元m次εフィルタ部6は、原データビット拡張部5から出力される、n+αビットの音声信号データの列を受け、注目サンプリング点(以下、「注目サンプリング点」を単に「注目点」と言うことがある)の音声信号データと、注目点の前後の他のサンプリング点の音声信号のデータ(即ち時間軸方向に整列したサンプリング点のデータ)に基づいて、急峻で大きな変化が存在する部分を保存しながら、小振幅成分を雑音として扱って平滑化を行うエッジ保存型平滑化フィルタとして用いられているものであり、図示の一次元m次εフィルタ部6は、データ格納部7、第1の差分算出部8−1〜第mの差分算出部8−m、第1のε判定部9−1〜第mのε判定部9−m、判定付き加重平均部10、及びデータ加算部11を備える。原データビット拡張部5で増やしたデータ幅を使って平滑化することで量子化ビット数不足による歪みをなくし、実効的な量子化ビット数を増やす役割を持つ。
The one-dimensional m-th order ε filter unit 6 receives a sequence of n + α-bit audio signal data output from the original data bit
一次元m次εフィルタ部6により、実効的な量子化ビット数を増やした音声信号データDOの列は、出力処理部4に出力され、出力処理部4は、n+αビットの音声信号データDOの列のデータを例えばデジタル−アナログ変換し、アナログ的なゲインコントロール、イコライジングなどを施して出力する。
出力処理部4は他に、電気的信号から光信号への変換、デジタルデータのシリアル−パラレル、パラレル−シリアル変換などの処理を実施することが想定される。The sequence of the audio signal data DO with the effective number of quantization bits increased by the one-dimensional m-order ε filter unit 6 is output to the
In addition, the
ここで、音声信号に適用するεフィルタについて説明する。εフィルタは例えば上記の非特許文献1に説明されている。
Here, the ε filter applied to the audio signal will be described. The ε filter is described in
εフィルタによる時間軸方向の一次元処理は、例えば式(1)で表わされる。
式(1)は、サンプリング点iを注目点としたときのフィルタリング処理を表すものである。One-dimensional processing in the time axis direction by the ε filter is expressed by, for example, Expression (1).
Equation (1) represents the filtering process when the sampling point i is the point of interest.
上記の式(1)はmが偶数である場合のものであり、注目点のデータ、注目点の(m/2)サンプリング周期前からのサンプリングデータ、注目点の{(m/2)−1}サンプリング周期後までのサンプリングデータの計m個のデータを用いてフィルタ処理する式として記載している。もしも注目点の前後の等しいサンプリングデータを用いてεフィルタ処理するのであれば、mを奇数として規定し、注目点を基準として(m−1)/2サンプリング周期から注目点(m−1)/2サンプリング周期後までのサンプリングデータを計算するように式(1)を表せばよい。もちろん、注目点より後のサンプリングデータのみを使ってεフィルタ処理するのであれば、mは奇数にも偶数にも規定されず、注目点のデータから注目点よりmサンプリング周期後までのサンプリングデータを使ってεフィルタ処理すればよい。即ち、どの範囲のサンプリングデータを使ってεフィルタ処理するかは、適用する信号に応じて、最適なように設定すればよい。 The above equation (1) is for the case where m is an even number, and the data of the point of interest, the sampling data of the point of interest before the (m / 2) sampling cycle, the point of interest {(m / 2) −1 } It is described as an expression for filtering using a total of m pieces of sampling data up to after the sampling period. If ε filter processing is performed using equal sampling data before and after the attention point, m is defined as an odd number, and the attention point (m−1) / Expression (1) may be expressed so as to calculate sampling data up to two sampling periods later. Of course, if ε filter processing is performed using only the sampling data after the attention point, m is not defined as an odd number or an even number, and sampling data from the attention point data up to m sampling cycles after the attention point is obtained. Ε filter processing may be used. That is, what range of sampling data should be used for the ε filter processing may be set optimally according to the applied signal.
図2は、式(1)のf(u)を示す図である。uの絶対値が閾値ε以下の場合f(u)=uとなり、uの絶対値が閾値εより大きい場合f(u)=0となる。この結果、フィルタ入力とレベルとフィルタ出力レベルは同じになって、入力前後の閾値εより大きな信号変化はそのまま残る。
以下は式(1)に基づいて説明を実施する。上記の例では、uとしてx(i−k)−x(i)が供給される。FIG. 2 is a diagram illustrating f (u) in the equation (1). When the absolute value of u is less than or equal to the threshold ε, f (u) = u, and when the absolute value of u is greater than the threshold ε, f (u) = 0. As a result, the filter input, the level, and the filter output level become the same, and the signal change larger than the threshold value ε before and after the input remains as it is.
The following description is based on the formula (1). In the above example, x (ik) -x (i) is supplied as u.
注目点iの音声信号データx(i)と、注目点iからkサンプリング周期だけ離れた点(i−k)における音声信号データx(i−k)との、差分x(i−k)−x(i)が小さい(差分が閾値ε以下である)場合、f(u)=f{x(i−k)−x(i)}はほぼ線形であり、係数akの総和を1と仮定すると、式(1)は式(2)と書き換えられ、これは重み付け平均値フィルタと等しくなる。Difference x (ik) − between the speech signal data x (i) at the point of interest i and the speech signal data x (i−k) at the point (i−k) separated from the point of interest i by the k sampling period. When x (i) is small (difference is equal to or smaller than the threshold ε), f (u) = f {x (ik) −x (i)} is almost linear and the sum of the coefficients a k is 1. Assuming equation (1) is rewritten as equation (2), which is equal to the weighted average filter.
また、式(1)は、式(3)のように書き換えることができる。
式(3)のf(u)に図2の非線形関数を適用した場合に新たに定義されるx’(i−k)を用いると、式(3)は、式(4)と書換えることができる。式(4)において、x’(i−k)は、差分x(i−k)−x(i)が閾値ε以下の場合はx(i−k)となり、差分x(i−k)−x(i)が閾値εより大きい場合はx(i)となる。 When x ′ (ik) newly defined when the nonlinear function of FIG. 2 is applied to f (u) of Expression (3), Expression (3) is rewritten as Expression (4). Can do. In Expression (4), x ′ (ik) becomes x (ik) when the difference x (ik) −x (i) is less than or equal to the threshold ε, and the difference x (ik) − When x (i) is larger than the threshold ε, x (i) is obtained.
図3及び図4は、εフィルタにステップ状に変化する信号が入力されたときの動作を示す図である。図3(a)及び(b)はステップ状の変化の幅が閾値ε以下である場合を示し、図4(a)及び(b)は、ステップ状の変化の幅が閾値εよりも大きい場合を示す。図3(a)及び図4(a)は、εフィルタの入力信号x(i)の波形を示し、図3(b)及び図4(b)は、それぞれ図3(a)及び図4(a)の信号が入力されたときのεフィルタの、サンプリング点a、及びbの出力信号y(a)、y(b)を、入力信号x(i)とともに示す。 3 and 4 are diagrams illustrating an operation when a signal that changes in a stepwise manner is input to the ε filter. 3A and 3B show the case where the step-like change width is equal to or smaller than the threshold ε, and FIGS. 4A and 4B show the case where the step-like change width is larger than the threshold ε. Indicates. 3A and 4A show the waveform of the input signal x (i) of the ε filter, and FIGS. 3B and 4B show FIGS. 3A and 4B, respectively. The output signals y (a) and y (b) at the sampling points a and b of the ε filter when the signal a) is input are shown together with the input signal x (i).
これらの図において、横軸は時間軸でありサンプリング点(サンプリングタイミング)
i(i=…(a−3)、(a−2)、(a−1)、a、b、(b+1)、(b+2)…)、縦軸は信号x(i)、y(i)のデータ値レベルを示している。x(b)はx(a)のサンプリング点aの次のサンプリング点bの入力信号であり、サンプリング点aとサンプリング点bの間でステップ状の変化(上昇)が起きた場合を想定している。また、x(b+1)、x(b+2)…は、それぞれサンプリング点bよりも1サンプリング周期、2サンプリング周期後のサンプリング点i(b+1)、i(b+2)…の信号、x(a−1)、x(a−2)、x(a−3)…は、サンプリング点aよりも1サンプリング周期、2サンプリング周期、3サンプリング周期前のサンプリング点(a−1)、(a−2)、(a−3)…の信号を表す。In these figures, the horizontal axis is the time axis and sampling points (sampling timing)
i (i =... (a-3), (a-2), (a-1), a, b, (b + 1), (b + 2)...), and the vertical axis represents signals x (i) and y (i). Indicates the data value level. x (b) is an input signal of the sampling point b next to the sampling point a of x (a), and a case where a step-like change (rise) occurs between the sampling point a and the sampling point b is assumed. Yes. Further, x (b + 1), x (b + 2)... Are signals of sampling points i (b + 1), i (b + 2). , X (a-2), x (a-3)... Are sampling points (a-1), (a-2), (a) one sampling period, two sampling periods, three sampling periods before the sampling point a. a-3)...
以下、ここでは(図3(a)、図3(b)、図4(a)、図4(b)を参照した説明では)、m=6であるものとして説明する。
図3(a)に示すような入力信号波形を処理する場合、図2の関数fを用いたεフィルタによれば、サンプリング点a、b信号のx(a)と信号x(b)のレベルの差が閾値ε以下のため、サンプリング点aのフィルタリング後の信号y(a)は、範囲Wa内のサンプリング値x(a−3)、x(a−2)、x(a−1)、x(a)、x(b)、x(b+1)の加重平均であり、範囲Wa内には、信号x(b)のレベルのデータx(b)、x(b+1)が含まれ、これらのデータも加重平均に用いられる。この結果、フィルタリング後の信号y(a)は、フィルタリング前の信号x(a)よりも大きい値のものとなる。In the following description, it is assumed that m = 6 (in the description with reference to FIGS. 3A, 3B, 4A, and 4B).
When an input signal waveform as shown in FIG. 3A is processed, according to the ε filter using the function f in FIG. 2, the levels of x (a) and x (b) of the sampling points a and b of the signal Is equal to or smaller than the threshold ε, the filtered signal y (a) at the sampling point a is a sampling value x (a−3), x (a−2), x (a−1) in the range Wa, x (a), x (b), x (b + 1) is a weighted average, and the range Wa includes data x (b), x (b + 1) at the level of the signal x (b). Data is also used for the weighted average. As a result, the signal y (a) after filtering has a larger value than the signal x (a) before filtering.
またサンプリング点bのフィルタリング後の信号y(b)は、範囲Wb内のサンプリング値x(a−2)、x(a−1)、x(a)、x(b)、x(b+1)、x(b+2)の加重平均であり、範囲Wb内には、信号x(a)のレベルのデータx(a−2)、x(a−1)、x(a)が含まれ、これらのデータも加重平均に用いられる。この結果、フィルタリング後の信号y(b)は、フィルタリング前の信号x(b)よりも小さい値のものとなる。 Further, the filtered signal y (b) at the sampling point b is a sampling value x (a−2), x (a−1), x (a), x (b), x (b + 1) within the range Wb, x (b + 2) is a weighted average, and within the range Wb, data x (a-2), x (a-1), and x (a) at the level of the signal x (a) are included. Is also used for the weighted average. As a result, the signal y (b) after filtering has a smaller value than the signal x (b) before filtering.
例えばここでビット拡張前のサンプリング点aとサンプリング点bのデータ値レベル差が16ビット幅データの1LSB差である場合、それぞれの出力レベルは16ビット幅データ処理では表現し得ないデータ値レベル差になってしまう。しかし本実施の形態の音声信号出力装置ではεフィルタリングの前にビット拡大処理しているため、図3(b)の出力波形のように入力波形のデータ値レベル差を平滑化した波形にフィルタ処理することができる。 For example, when the data value level difference between the sampling point a and the sampling point b before bit extension is 1 LSB difference of 16-bit width data, each output level is a data value level difference that cannot be expressed by 16-bit width data processing. Become. However, since the audio signal output apparatus of this embodiment performs bit expansion processing before ε filtering, it performs filtering to a waveform in which the data value level difference of the input waveform is smoothed as in the output waveform of FIG. can do.
次に図4(a)に示すような入力信号波形を処理する場合、図2の関数fを用いたεフィルタによれば、サンプリング点aの信号x(a)とサンプリング点(b)の信号x(b)のレベルの差が閾値εよりも大きいため、式(1)のf{(x(i−k)−x(i)}=0となり、サンプリング点a、bのフィルタリング後の出力y(a)及びy(b)は図4(b)のように入力レベルx(a)、x(b)と同じとなる。これは、
サンプリング点aのフィルタリング出力y(a)を求めるときにはサンプリング点bの信号x(b)のレベルのデータx(b)、x(b+1)をすべてサンプリング点aのデータ値x(a)に置き換えて加重平均を求め、サンプリング点bのフィルタリング出力y(b)を求めるときにはサンプリング点aの信号x(a)のレベルのデータx(a−2)、x(a−1)、x(a)をすべてサンプリング点bのデータ値x(b)に置き換えて加重平均を求めることによる。
このような処理を行う結果、信号レベルの急峻な変化を劣化させることがない。
つまり、このεフィルタは入力信号の大振幅で急峻な変化を保持しながら、小振幅のデータ値変化をビット拡大処理との組み合わせによって平滑化したデータを生成することができる。Next, when an input signal waveform as shown in FIG. 4A is processed, the signal x (a) at the sampling point a and the signal at the sampling point (b) are obtained according to the ε filter using the function f in FIG. Since the difference in the level of x (b) is larger than the threshold value ε, f {(x (ik) −x (i)} = 0 in equation (1), and the output after filtering of the sampling points a and b y (a) and y (b) are the same as the input levels x (a) and x (b) as shown in FIG.
When obtaining the filtering output y (a) at the sampling point a, the data x (b) and x (b + 1) at the level of the signal x (b) at the sampling point b are all replaced with the data value x (a) at the sampling point a. When the weighted average is obtained and the filtering output y (b) at the sampling point b is obtained, the data x (a-2), x (a-1), x (a) at the level of the signal x (a) at the sampling point a is obtained. By replacing all the data values x (b) at the sampling point b and obtaining a weighted average.
As a result of such processing, a sharp change in signal level is not deteriorated.
That is, the ε filter can generate data obtained by smoothing a small amplitude data value change in combination with a bit expansion process while maintaining a large amplitude and steep change in the input signal.
ここで式(1)の係数akを制御すると、図3(a)の信号波形が入力されたとき、図3(b)におけるサンプリング点a、bにおける出力レベルy(a)、y(b)の入力レベルx(a)、x(b)からの移動量即ち変化量{y(a)−x(a)}、{y(b)−x(b)}が変わる。
注目点サンプリング点と差分をとったサンプリング点の信号に対する係数値(加重値)が大きいほど、出力レベルの入力レベルからの変化量が大きくなる。
その変化量が大きければ入力データ値レベル変化はより平滑化されて平滑化された出力波形になる。
逆に変化量が小さければ閾値ε以下の入力データ値レベル変化に対しても入力信号の急峻な変化波形に近づいてくる。
変化量を小さくすると低域通過フィルタのカットオフ周波数を高くしたのと同様に、急峻な波形変化を残すようになってくる。Here, when the coefficient ak of the equation (1) is controlled, when the signal waveform of FIG. 3A is input, the output levels y (a) and y (b) at the sampling points a and b in FIG. ) From the input levels x (a) and x (b), that is, changes {y (a) −x (a)} and {y (b) −x (b)}.
The larger the coefficient value (weighted value) for the signal at the sampling point that is different from the sampling point of interest, the greater the amount of change in the output level from the input level.
If the amount of change is large, the input data value level change is smoothed to a smoothed output waveform.
On the other hand, if the amount of change is small, the input signal has a steep change waveform even when the input data value level changes below the threshold ε.
When the amount of change is reduced, a steep waveform change remains as in the case where the cutoff frequency of the low-pass filter is increased.
エッジ保存型平滑化フィルタ部(一次元m次εフィルタ)の特性(平滑化処理特性(低域通過フィルタ特性))を調整できるように実施の形態1(図1)内の判定付き加重平均部10の代わりに、図5に示されるように係数プログラマブル判定付き加重平均部12を用いることとしても良く、そうすることによって、係数(加重値)akを自由に設定できる機能を持った音声信号出力装置(図5)を構成することができる。
このような係数プログラマブル判定付き加重平均部12は、例えば、第1乃至第mの判定部9−1〜9−mの出力EE(1)〜EE(m)に対して式(1)或いは式(5)に準ずる計算を行なう際に用いられる係数akの値を外部からの設定に応じて変えることができるものである。Weighted average unit with determination in Embodiment 1 (FIG. 1) so that the characteristics (smoothing process characteristic (low-pass filter characteristic)) of the edge preserving type smoothing filter part (one-dimensional m-order ε filter) can be adjusted. In place of 10, a weighted
Such a weighted average unit with coefficient
なお、図5に示される係数プログラマブル判定付き加重平均部12は、図1の判定付き加重平均部10に対して、係数が可変である点を除き、同様のものである。図5に示される他の構成要素も図1に同じ符号で示されるものと同様のものである。
The weighted average unit with coefficient
式(1)のεフィルタ処理を実施すると、図3(a)、図4(a)の信号波形が入力されたとき、図3(b)、図4(b)における出力レベルy(a)、y(b)を決定するために、注目点の前後のサンプリングデータ(注目点を基準として(m/2)サンプリング周期前のデータから{(m/2)−1}サンプリング周期後のデータまでの加重平均を求めることになる。次数mが大きいほど注目点に対して広い範囲のデータを平滑化することになり、高周波成分が抑制されることになる。つまり低域通過フィルタのカットオフ周波数を低く設定する形になる。例えば実施の形態1(図1)内の判定付き加重平均部10の代わりに、図6に示される次数可変判定付き加重平均部13を用いることとしても良く、そうすることによって、一次元m次εフィルタの次数mを可変して平滑化処理特性(低域通過フィルタ特性)を変化させることができる機能を持った音声信号出力装置を構成することができる。
When the ε filter processing of Expression (1) is performed, when the signal waveforms of FIG. 3A and FIG. 4A are input, the output level y (a) in FIG. 3B and FIG. , Y (b) to determine the sampling data before and after the target point (from the data before the sampling period (m / 2) to the data after the {(m / 2) -1} sampling period with reference to the target point) The higher the order m, the smoother the data in a wider range with respect to the point of interest, and the higher frequency components are suppressed, that is, the cut-off frequency of the low-pass filter. For example, instead of the weighted average unit with
このような次数可変判定付き加重平均部13は、例えば、第1乃至第mの判定部9−1〜9−mの出力EE(1)〜EE(m)のうちの選択したもののみを用いて、式(1)或いは式(5)に準ずる計算を行なうことができるものであり、出力EE(1)〜EE(m)のいずれを選択するか、及びこれらに対して掛けられる係数akの値を外部からの設定に応じて変えることができるものである。For example, the weighted
なお、図6に示される次数可変判定付き加重平均部13は、図1の判定付き加重平均部10に対して、次数が可変である点を除き、同様のものである。図6に示される他の構成要素も図1に同じ符号で示されるものと同様のものである。 6 is the same as the weighted average unit with determination variable 10 shown in FIG. 1 except that the order is variable. The other components shown in FIG. 6 are the same as those shown in FIG.
本実施の形態ではビット拡張によって、n+αビットに増えたデータ幅を使って、小振幅変化部が滑らかに変化するようにエッジ保存型平滑化フィルタ処理を行う。これに伴い、小振幅変化雑音もフィルタ処理により、軽減される。つまり、nビットからn+αビットにビット拡張する場合、ビット拡張後のデータに対するεフィルタの閾値εを2αとする。(ビット拡張前の最小データ値レベル変化を、αビット拡張後のデータ値レベル変化として換算すると2αになる。)こうすることで、εフィルタは急な大音量入力など音声信号の変化を保持しながら、実効的な量子化ビット数を増やすことができる。In this embodiment, edge preserving type smoothing filter processing is performed using the data width increased to n + α bits by bit expansion so that the small amplitude change portion changes smoothly. Along with this, small amplitude variation noise is also reduced by the filter processing. That is, when the bit extension from n bits to n + alpha bits, the threshold value ε of ε filter to the data after the bit extension and 2 alpha. (The minimum data value level change before the bit extension, becomes to the 2 alpha calculated as data value level change after alpha-bit extension.) In this way, epsilon filter holds the change of sudden loud input voice signal However, the effective number of quantization bits can be increased.
以下、例としてα=2の場合、即ちnビットの音声信号をn+2ビットで量子化ビット不足改善処理する場合について説明する。なお、CDなどのデジタル音声信号は16ビット量子化で符号化されていることが規格となっており、8ビット増やして24ビット符合に量子化ビット数拡大される場合がある。しかし以下では説明を簡単にするため、2ビット増やす場合について説明する。 Hereinafter, as an example, a case where α = 2, that is, a case where an n-bit audio signal is subjected to a quantization bit shortage improvement process with n + 2 bits will be described. Note that the standard is that digital audio signals such as CDs are encoded by 16-bit quantization, and there are cases where the number of quantization bits is increased to 24 bits by increasing 8 bits. However, hereinafter, in order to simplify the description, a case where 2 bits are increased will be described.
図7は、m=4の場合の実施の形態1の音声信号処理装置の構成を示す図である。閾値εは2のα乗(2乗)=4として説明する。 FIG. 7 is a diagram illustrating the configuration of the audio signal processing device according to the first embodiment when m = 4. The description will be made assuming that the threshold ε is 2 to the power of α (square) = 4.
図1では、差分算出部8−1〜8−mに入力されるデータの符号としてDM(1)〜DM(m)が用いられているが、図7では、差分算出部8−1〜8−4に入力されるデータの符号として、DM(l2)、DM(l1)、DM(c)、DM(r1)を用いている。符号DM(l2)、DM(l1)、DM(c)、DM(r1)で表されるデータは、m=4の場合に符号DM(1)、DM(2)、DM(3)、DM(4)で表されるデータと同じである。差分算出部8−1〜8−4の出力ED(l2)〜(r1)、ε判定部9−1〜9−4の出力EE(l2)〜EE(r1)についても同様である。 In FIG. 1, DM (1) to DM (m) are used as codes of data input to the difference calculation units 8-1 to 8-m, but in FIG. 7, the difference calculation units 8-1 to 8-8 are used. DM (l2), DM (l1), DM (c), and DM (r1) are used as codes of data input to -4. Data represented by codes DM (l2), DM (l1), DM (c), DM (r1) is represented by codes DM (1), DM (2), DM (3), DM when m = 4. It is the same as the data represented by (4). The same applies to the outputs ED (l2) to (r1) of the difference calculation units 8-1 to 8-4 and the outputs EE (l2) to EE (r1) of the ε determination units 9-1 to 9-4.
図8(a)及び(b)は、入力処理部2の動作を説明するための図である。横軸は時間軸iを示している。図8(a)はアナログの音声入力信号SAの信号変化を示し、図8(b)はデジタルの音声信号データDIのデータ値レベル変化を示している。
FIGS. 8A and 8B are diagrams for explaining the operation of the
図8(a)に示すようなアナログの音声入力信号SAが、入力端子1より入力処理部2に入力される。入力処理部2は、アナログの音声入力信号SAを図8(b)に示すようなnビットの音声信号データDIに変換して、拡張データ生成処理部3に出力する。拡張データ生成処理部3では、nビットの音声信号データDIは原データビット拡張部5に入力される。
An analog audio input signal SA as shown in FIG. 8A is input from the
図8(a)に示した音声入力信号SAは、信号レベルが緩やかに変化しているが、信号レベルの変化に対する量子化の分解能が低い(ビット数が少ない)ため、図8(b)に示した音声信号データDIでは、2値のデータ値(YとY+1)に変換されている。 The audio input signal SA shown in FIG. 8 (a) has a gentle change in signal level, but the quantization resolution with respect to the change in signal level is low (the number of bits is small), so FIG. 8 (b). The audio signal data DI shown is converted into binary data values (Y and Y + 1).
図9(a)及び(b)は、原データビット拡張部5の動作を説明するための図である。
横軸は時間軸iを示している。図9(a)はnビットの音声信号データDIのデータ値レベル変化を示し、図9(b)はn+2ビットの音声信号データDSのデータ値レベル変化を示している。原データビット拡張部5は、図9(a)に示すようなnビットの音声信号データDIを2ビットだけビット拡張し(このビット拡張は、データDIの最下位ビットの下位側に、値が「00」の2桁のビットを付加することで行われる)、図9(b)に示したようなn+2ビットの音声信号データDSを一次元4次εフィルタ部14に出力する。FIGS. 9A and 9B are diagrams for explaining the operation of the original data bit
The horizontal axis indicates the time axis i. FIG. 9A shows the change in the data value level of the n-bit audio signal data DI, and FIG. 9B shows the change in the data value level of the n + 2 bit audio signal data DS. The original data bit
図9(b)に示すようなn+2ビットの音声信号データDSは、2ビット分ビット拡張されたため、図9(a)の音声信号データDIのデータ値レベルYが4Yに、Y+1が4(Y+1)に変換されている。 Since the n + 2 bit audio signal data DS as shown in FIG. 9B has been expanded by 2 bits, the data value level Y of the audio signal data DI in FIG. 9A is 4Y, and Y + 1 is 4 (Y + 1). ).
なお、上記のように、デジタル音声信号の多くは16ビットで規格化されている。この16ビットの音声信号データは8ビット拡張される場合があり、そのときは音声信号データDIのデータ値レベルYが256Yに、Y+1が256(Y+1)に変換されることになる。 As described above, most digital audio signals are standardized by 16 bits. The 16-bit audio signal data may be expanded by 8 bits. At this time, the data value level Y of the audio signal data DI is converted to 256Y, and Y + 1 is converted to 256 (Y + 1).
図7のデータ格納部7は時間軸方向に連続したn+αビットの音声信号データの列のデータを保持して同時に出力するものであり、例えば図10に示されるように構成されている。図示のデータ格納部7は、カスケード接続された4個のフリップフロップFF_1〜FF_4を備え、入力される音声信号データDSを、サンプリングクロックに同期して、4個のフリップフロップFF_1〜FF_4で転送する。即ち、入力される音声信号データDSを、フリップフロップFF_1に、フリップフロップFF_1の出力をフリップフロップFF_2の入力に、フリップフロップFF_2の出力をフリップフロップFF_3の入力に、フリップフロップFF_3の出力をフリップフロップFF_4の入力に供給し、それぞれ保持させている。 The data storage unit 7 in FIG. 7 holds data in a sequence of n + α-bit audio signal data continuous in the time axis direction and outputs the data simultaneously, and is configured as shown in FIG. 10, for example. The illustrated data storage unit 7 includes four flip-flops FF_1 to FF_4 connected in cascade, and the input audio signal data DS is transferred by the four flip-flops FF_1 to FF_4 in synchronization with the sampling clock. . That is, the input audio signal data DS is input to the flip flop FF_1, the output of the flip flop FF_1 is input to the flip flop FF_2, the output of the flip flop FF_2 is input to the flip flop FF_3, and the output of the flip flop FF_3 is flip flop. FF_4 is supplied to the input and held.
この結果、入力される連続した4つのサンプリング点の音声信号データを4個のフリップフロップFF_1〜FF_4で同時に保持し、同時に出力することができる。
即ち、フリップフロップFF2に保持されているデータは、注目点(タイミング)cのデータ値レベルDM(c)を表すデータとして出力され、フリップフロップFF_3に保持されているデータは、注目点の1サンプリング周期前の音声信号のデータ値レベルDM(l1)を表すデータとして出力され、フリップフロップFF_4に保持されているデータは、注目点の2サンプリング周期前の音声信号のデータ値レベルDM(l2)を表すデータとして出力され、フリップフロップFF_1に保持されているデータは、注目点の1サンプリング周期後の音声信号のデータ値レベルDM(r1)を表すデータとして出力される。As a result, the input audio signal data at four consecutive sampling points can be simultaneously held and output simultaneously by the four flip-flops FF_1 to FF_4.
That is, the data held in the flip-flop FF2 is output as data representing the data value level DM (c) of the attention point (timing) c, and the data held in the flip-flop FF_3 is one sampling of the attention point. The data that is output as data representing the data value level DM (l1) of the audio signal before the cycle and held in the flip-flop FF_4 is the data value level DM (l2) of the audio signal two samples before the target point. The data that is output as data that is held and held in the flip-flop FF_1 is output as data that represents the data value level DM (r1) of the audio signal after one sampling period of the target point.
図11は、サンプリング点cを注目点とした場合のデータ格納部7の出力を示す。横軸は時間iを示し、縦軸はデータ格納部7に入力される音声信号データDS及びデータ格納部から出力される音声信号データDMのデータ値レベルを示す。図示の例では、データ格納部7は、DM(l2)=4Y、DM(l1)=4Y、DM(c)=4Y、DM(r1)=4Y+4を出力し、これらは第1の差分算出部8−1〜第4の差分算出部8−4に供給される。このように、データ格納部7は、注目点cの音声信号データDM(c)と、注目点に連続(前後)した、該注目点の周辺(前後)のサンプリング点の音声信号データDM(l2)、DM(l1)、DM(r1)とを同時に出力する。 FIG. 11 shows the output of the data storage unit 7 when the sampling point c is the point of interest. The horizontal axis represents time i, and the vertical axis represents the audio signal data DS input to the data storage unit 7 and the data value level of the audio signal data DM output from the data storage unit. In the illustrated example, the data storage unit 7 outputs DM (l2) = 4Y, DM (l1) = 4Y, DM (c) = 4Y, DM (r1) = 4Y + 4, which are the first difference calculation unit. 8-1 to the fourth difference calculation unit 8-4. As described above, the data storage unit 7 stores the audio signal data DM (c) at the point of interest c and the audio signal data DM (l2) at the sampling points around (at the front and rear of) the point of interest that is continuous (before and after) the point of interest. ), DM (l1), and DM (r1) are output simultaneously.
図7の差分算出部8−1〜8−4は、データ格納部7から出力されるデータのうちの、注目サンプリング点の音声信号データDM(c)と、該注目サンプリング点の前後のサンプリング点の音声信号データDM(l2)、DM(l1)、DM(r1)各々との差分を表す差分データを生成する。 The difference calculation units 8-1 to 8-4 in FIG. 7 include the audio signal data DM (c) at the target sampling point and the sampling points before and after the target sampling point among the data output from the data storage unit 7. Difference data representing differences from each of the audio signal data DM (l2), DM (l1), and DM (r1).
具体的には、第1の差分算出部8−1はサンプリング点l2のデータ値DM(l2)と注目点c(サンプリング点c)のデータ値DM(c)の差分データED(l2)を生成し、第1のε判定部9−1及び判定付き加重平均部10に出力する。第2の差分算出部8−2〜第4の差分算出部8−4も同様にそれぞれ注目点前後のデータ値DM(l1)〜DM(r1)に基づいて差分データED(l1)〜ED(r1)を生成し、それぞれ第2のε判定部9−2〜第4のε判定部9−4及び判定付き加重平均部10に出力する。このように、差分算出部8−1乃至8−4は、注目点の音声信号データDM(c)と、注目点に連続した、該注目点の周辺(前後)のサンプリング点の音声信号データDM(l2)、DM(l1)、DM(r1)の各々との差分を算出し、差分を表す差分データを出力する。
Specifically, the first difference calculation unit 8-1 generates difference data ED (l2) between the data value DM (l2) at the sampling point l2 and the data value DM (c) at the point of interest c (sampling point c). And output to the first ε determination unit 9-1 and the weighted
図12は、図11のサンプリング点cを注目点としたときに、データ格納部7が出力するデータDM(k)、及びこれに基づいて第1の差分算出部8−1〜第4の差分算出部8−4、第1のε判定部9−1〜第4のε判定部9−4、及び判定付き加重平均部10で生成されるデータED(k)、EE(k)、及びEMを示す表であり、判定付き加重平均部10における演算の過程で得られるf{ED(k)}の値も併せて示されている。
FIG. 12 shows the data DM (k) output from the data storage unit 7 when the sampling point c in FIG. 11 is the point of interest, and the first difference calculation unit 8-1 to the fourth difference based on the data DM (k). Data ED (k), EE (k), and EM generated by the calculation unit 8-4, the first ε determination unit 9-1 to the fourth ε determination unit 9-4, and the weighted average unit with
第1の差分算出部8−1は、
ED(l2)=DM(l2)−DM(c)=4Y−4Y=0、
を出力し、第2の差分算出部8−2は、
ED(l1)=DM(l1)−DM(c)=4Y−4Y=0、
を出力し、第3の差分算出部8−3は、
ED(c)=DM(c)−DM(c)=4Y−4Y=0、
を出力し、第4の差分算出部8−4は、
ED(r1)=DM(r1)−DM(c)=(4Y+4)−4Y=4、
を出力する。The first difference calculation unit 8-1
ED (l2) = DM (l2) -DM (c) = 4Y-4Y = 0,
The second difference calculation unit 8-2
ED (l1) = DM (l1) -DM (c) = 4Y-4Y = 0,
The third difference calculation unit 8-3
ED (c) = DM (c) -DM (c) = 4Y-4Y = 0,
The fourth difference calculation unit 8-4
ED (r1) = DM (r1) -DM (c) = (4Y + 4) -4Y = 4,
Is output.
ε判定部9−1〜9−4は、注目サンプリング点の前後のサンプリング点の各々について、差分算出部8−1〜8−4が出力する差分データED(l2)〜ED(r1)が閾値εより大きいか否かを示す判定データを生成する。
具体的には、第1のε判定部9−1〜第4のε判定部9−4は、差分値ED(k)を受け、ED(k)がεより大きいか否かの判定を行い、該判定結果を図13(a)に示される判定データEE(k)として判定付き加重平均部10に出力する。図示の例では、ED(k)がεより大きい場合は「0」を、ε以下の場合は「1」をEE(k)として出力する。For each of the sampling points before and after the target sampling point, the ε determination units 9-1 to 9-4 use the difference data ED (l2) to ED (r1) output from the difference calculation units 8-1 to 8-4 as threshold values. Determination data indicating whether or not is larger than ε is generated.
Specifically, the first ε determination unit 9-1 to the fourth ε determination unit 9-4 receive the difference value ED (k) and determine whether ED (k) is greater than ε. The determination result is output to the weighted
即ち、第1のε判定部9−1は、差分データED(l2)がεよりも大きい場合は「0」を生成し、ε以下の場合は「1」を生成する。
第2のε判定部9−2〜第4のε判定部9−4も同様に差分データED(l1)〜ED(r1)に基づいて判定データEE(l1)〜EE(r1)を生成する。
生成された判定データは、判定付き加重平均部10に供給される。
ここでα=2なので閾値ε=4と設定されている。That is, the first ε determination unit 9-1 generates “0” when the difference data ED (l2) is larger than ε, and generates “1” when it is equal to or less than ε.
Similarly, the second ε determination unit 9-2 to the fourth ε determination unit 9-4 also generate determination data EE (l1) to EE (r1) based on the difference data ED (l1) to ED (r1). .
The generated determination data is supplied to the weighted
Since α = 2 here, the threshold ε = 4 is set.
図12に示される例では、第1、第2、及び第3のε判定部9−1、9−2及び9−3には差分データED(l2)、ED(l1)、ED(c)として「0」が入力され、第4のε判定部9−4には差分データED(r1)として「4」が入力され、これらの差分データED(l2)〜ED(r1)は全てε以下であるため判定データEE(l2)〜EE(r1)は全て「1」となる。 In the example shown in FIG. 12, the first, second, and third ε determination units 9-1, 9-2, and 9-3 include difference data ED (l2), ED (l1), and ED (c). “0” is input as “4”, and “4” is input as the difference data ED (r1) to the fourth ε determination unit 9-4, and these difference data ED (l2) to ED (r1) are all equal to or less than ε. Therefore, the determination data EE (l2) to EE (r1) are all “1”.
判定付き加重平均部10は、注目サンプリング点の前後のサンプリング点の各々についてε判定部9−1〜9−4が出力する判定データEE(l2)〜EE(r1)と差分算出部8−1〜8−4が出力する差分データED(l2)〜ED(r1)に基づいて加重平均値を生成する。具体的には、判定付き加重平均部10は、判定データEE(l2)〜EE(r1)に基づいて差分データED(l2)〜ED(r1)を加重平均して、その結果として得られる加重平均値を表す平均データEMを出力する。判定データが「1」の場合は、係数akに差分データを乗算して加算し、「0」の場合は加算しない。言い換えると、判定データの値に応じて、差分値ED(k)に対して図13(b)に示す関係を有する関数f{ED(k)}の加重平均を求める演算を行っている。The weighted average unit with
係数ak(=al2、al1、ac、ar1)を全て0.25とした場合(説明を簡単にするため、総和1の1/4にしている。)、判定データEE(l2)〜EE(r1)が上記の例では全て「1」であるので、判定付き加重平均部10の出力EMは、以下の式(5)で与えられる。
EM
=al2×ED(l2)+al1×ED(l1)+ac×ED(c)+ar1×ED(r1)
=0.25×0+0.25×0+0.25×0+0.25×4
=1
…(5)When the coefficients a k (= a l2 , a l1 , a c , a r1 ) are all set to 0.25 (for the sake of simplicity, the sum is set to ¼ of the sum 1), the determination data EE (l2 ) To EE (r1) are all “1” in the above example, the output EM of the weighted average unit with
EM
= A l2 × ED (l2) + a l1 × ED (l1) + a c × ED (c) + a r1 × ED (r1)
= 0.25 × 0 + 0.25 × 0 + 0.25 × 0 + 0.25 × 4
= 1
... (5)
原データビット拡張部5から供給される音声信号データDSに対し、各サンプリング点を順に注目点として上記の処理が行われ、式(5)と同様の演算が行われる。
図14は、図11の音声信号データDMに対応する加重平均値EM、即ち各サンプリング点を注目点としたときの加重平均値EMを示す。図14の横軸が注目点、縦軸が加重平均値EMのデータ値を示している。判定付き加重平均部10は、加重平均値EMをデータ加算部11に出力する。The above processing is performed on the audio signal data DS supplied from the original data bit
FIG. 14 shows the weighted average value EM corresponding to the audio signal data DM of FIG. 11, that is, the weighted average value EM when each sampling point is a point of interest. In FIG. 14, the horizontal axis indicates the attention point, and the vertical axis indicates the data value of the weighted average value EM. The weighted
図15(a)〜(c)は、データ加算部11の動作を説明するための図である。横軸は時間軸でありサンプリングタイミングiを示している。
図15(a)は音声信号データDSのデータ値レベル変化を示し、図15(b)は加重平均値EMのデータ値レベル変化を示し、図15(c)は音声信号データDOのデータ値レベル変化を示す。
データ加算部11は、図15(a)に示した音声信号データDSと、図15(b)に示した加重平均値EMを加算して、図15(c)に示す音声信号データDOを出力する。例えば、図15(a)〜(c)におけるサンプリングタイミングdでは(サンプリングタイミングdを注目点として処理を行うときは)、DS(d)=4Y、EM(d)=1なので
DO(d)=DS(d)+EM(d)=4Y+1
となる。FIGS. 15A to 15C are diagrams for explaining the operation of the
FIG. 15A shows the data value level change of the audio signal data DS, FIG. 15B shows the data value level change of the weighted average value EM, and FIG. 15C shows the data value level of the audio signal data DO. Showing change.
The data adder 11 adds the audio signal data DS shown in FIG. 15A and the weighted average value EM shown in FIG. 15B, and outputs the audio signal data DO shown in FIG. To do. For example, at the sampling timing d in FIGS. 15A to 15C (when processing is performed with the sampling timing d as a point of interest), since DS (d) = 4Y and EM (d) = 1, DO (d) = DS (d) + EM (d) = 4Y + 1
It becomes.
以上のように、本実施の形態は、データ値レベル変化が緩やかな領域において実効的な量子化ビット数を増やすことができる。nビットの音声信号をn+2ビットに変換する場合、アナログ入力音声信号SAが緩やかに変化し、これに対応してビット拡張された音声信号データDSのデータ値レベル変化が図15(a)に示されるように、4Yから4Y+4へ(4=22)だけジャンプする場合に、図15(c)に示すように、4Y+1、4Y+2、4Y+3を使って補間し、平滑化することができる。つまりビット拡張前では表現できなかった信号変化を得ることができ、原音(アナログ入力音声信号SA)波形にフィルタ処理前よりも近づけることができる。As described above, the present embodiment can increase the effective number of quantization bits in a region where the data value level changes gradually. When an n-bit audio signal is converted into n + 2 bits, the analog input audio signal SA changes gently, and the data value level change of the audio signal data DS bit-extended corresponding to this changes is shown in FIG. As shown in FIG. 15C, when jumping from 4Y to 4Y + 4 (4 = 2 2 ), interpolation can be performed using 4Y + 1, 4Y + 2, 4Y + 3, and smoothing can be performed. That is, a signal change that cannot be expressed before bit expansion can be obtained, and the waveform of the original sound (analog input sound signal SA) can be made closer than before the filter processing.
次に、εフィルタに信号振幅が急峻に大きく変化する(閾値εよりも大きい幅でステップ状に変化する)信号が入力された場合の動作を説明する。図16(a)〜(e)は、上記の音声信号処理装置に信号振幅が急峻に大きく変化する信号が入力された場合の動作を説明するための図である。横軸は時間軸でサンプリングタイミングiを示している。
図16(a)はアナログの音声入力信号SAの振幅変化波形を示し、図16(b)はnビットの音声信号データDIのデータ値レベル変化を示し、図16(c)はn+αビットの音声信号データDS、及びDMのデータ値レベル変化を示し、図16(d)は加重平均値EMのデータ値レベル変化を示し、図16(e)はn+αビットの音声信号データDOのデータ値レベル変化を示している。Next, an operation when a signal whose signal amplitude changes suddenly and greatly (changes stepwise with a width larger than the threshold ε) is input to the ε filter will be described. FIGS. 16A to 16E are diagrams for explaining the operation in the case where a signal whose signal amplitude changes suddenly and greatly is input to the audio signal processing apparatus. The horizontal axis represents the sampling timing i on the time axis.
FIG. 16A shows the amplitude change waveform of the analog audio input signal SA, FIG. 16B shows the data value level change of the n-bit audio signal data DI, and FIG. 16C shows the n + α-bit audio. FIG. 16D shows a data value level change of the weighted average value EM, and FIG. 16E shows a data value level change of the n + α-bit audio signal data DO. Is shown.
図16(a)に示すようなアナログの音声信号SAが、入力端子1より入力処理部2に入力される。入力処理部2は、アナログの音声信号SAを図16(b)に示すようなデジタルの音声信号データDI(nビットでは2値のデータ値レベル(YとY+4))に変換して、原データビット拡張部5に出力する。
An analog audio signal SA as shown in FIG. 16A is input from the
原データビット拡張部5では、図16(b)の音声信号データDIのデータ値レベルYが4Yに、Y+4が4(Y+4)に変換され、図16(c)に示したような音声信号データDSを一次元4次εフィルタ部6に出力する。
In the original data bit
図17は、図16(c)のサンプリング点cを注目点としたときに、データ格納部7が出力するデータDM(k)、及びこれに基づいて第1の差分算出部8−1〜第4の差分算出部8−4、第1のε判定部9−1〜第4のε判定部9−4、及び判定付き加重平均部10で生成されるデータED(k)、EE(k)、EMを示す表であり、判定付き加重平均部10における演算の過程で得られるf{ED(k)}の値も併せて示されている。
FIG. 17 shows the data DM (k) output from the data storage unit 7 when the sampling point c in FIG. 16C is the point of interest, and the first difference calculation units 8-1 to 8-1 based on the data DM (k). Data ED (k), EE (k) generated by the difference calculation unit 8-4, the first ε determination unit 9-1 to the fourth ε determination unit 9-4, and the weighted
データ格納部7はDM(l2)=4Y、DM(l1)=4Y、DM(c)=4Y、DM(r1)=4Y+16を第1の差分算出部8−1〜第4の差分算出部8−4に出力する。
The data storage unit 7 sets DM (l2) = 4Y, DM (l1) = 4Y, DM (c) = 4Y, DM (r1) = 4Y + 16 to the first difference calculation unit 8-1 to the fourth
第1の差分算出部8−1は、
ED(l2)=DM(l2)−DM(c)=4Y−4Y=0、
を出力し、第2の差分算出部8−2は、
ED(l1)=DM(l1)−DM(c)=4Y−4Y=0、
を出力し、第3の差分算出部8−3は、
ED(c)=DM(c)−DM(c)=4Y−4Y=0、
を出力し、第4の差分算出部8−4は、
ED(r1)=DM(r1)−DM(c)=(4Y+16)−4Y=16、
を出力する。The first difference calculation unit 8-1
ED (l2) = DM (l2) -DM (c) = 4Y-4Y = 0,
The second difference calculation unit 8-2
ED (l1) = DM (l1) -DM (c) = 4Y-4Y = 0,
The third difference calculation unit 8-3
ED (c) = DM (c) -DM (c) = 4Y-4Y = 0,
The fourth difference calculation unit 8-4
ED (r1) = DM (r1) -DM (c) = (4Y + 16) -4Y = 16,
Is output.
従って、第1のε判定部9−1〜第3のε判定部9−3には「0」が入力され、第4のε判定部9−4には「16」が入力される。閾値εを「4」と設定した場合、ED(l2)〜ED(c)は閾値以下であるので判定データEE(l2)〜EE(c)は「1」となり、ED(r1)は閾値εより大きいのでEE(r1)は「0」となる。 Accordingly, “0” is input to the first ε determination unit 9-1 to the third ε determination unit 9-3, and “16” is input to the fourth ε determination unit 9-4. When the threshold value ε is set to “4”, the determination data EE (l2) to EE (c) are “1” because ED (l2) to ED (c) are equal to or less than the threshold value, and ED (r1) is equal to the threshold value ε. Since it is larger, EE (r1) becomes “0”.
判定付き加重平均部10は、判定データが「1」の場合は係数akに差分データを乗算して加算し、「0」の場合は加算しない。係数ak(=al2、al1、ac)を全て0.25とした場合、判定付き加重平均部10の出力EMは、以下の式(6)で与えられる。
EM=al2×ED(l2)+al1×ED(l1)+ac×ED(c)
=0.25×0+0.25×0+0.25×0
=0
…(6)The weighted
EM = a l2 × ED (l2) + a l1 × ED (l1) + a c × ED (c)
= 0.25 × 0 + 0.25 × 0 + 0.25 × 0
= 0
(6)
原データビット拡張部5から供給される音声信号データDSに対し、各サンプリングタイミングを順に注目点として上記の処理が行われ、式(6)と同様の演算が行われる。
図16(d)は、図16(c)の音声信号データDMに対応する加重平均値EM、即ち各サンプリングタイミングiを注目点としたときの加重平均値EMのデータ値レベル変化を示す。
図16(d)の横軸が注目点のサンプリングタイミングi、縦軸が加重平均値EMのデータ値を示している。
判定付き加重平均部10は、加重平均値EMをデータ加算部11に出力する。The above processing is performed on the audio signal data DS supplied from the original data bit
FIG. 16D shows the data level change of the weighted average value EM corresponding to the audio signal data DM of FIG. 16C, that is, the weighted average value EM when each sampling timing i is the point of interest.
In FIG. 16D, the horizontal axis represents the sampling timing i of the target point, and the vertical axis represents the data value of the weighted average value EM.
The weighted
データ加算部11は、図16(c)に示した音声信号データDSと、図16(d)に示した加重平均値EMを加算して、図16(e)に示す音声信号データDOを出力する。 The data adder 11 adds the audio signal data DS shown in FIG. 16C and the weighted average value EM shown in FIG. 16D, and outputs the audio signal data DO shown in FIG. To do.
図16(e)に示されるように、音声信号データDOは、入力SA或いはDIと同様に急峻な変化を有し、εフィルタは信号振幅の変化が大きい場合、急峻に大きく変化する領域の鮮鋭度を保存することができる。 As shown in FIG. 16E, the audio signal data DO has a steep change similarly to the input SA or DI, and the ε filter sharpens a sharply changing region when the signal amplitude changes greatly. The degree can be saved.
以上のように、nビットの音声信号データをn+αビットに増加させる量子化ビット不足改善処理を行なう場合、ビット拡張前の最小データ値レベル変化をさらに細かく補間できるように、閾値εを2のα乗と設定したとすると、入力音声信号と出力音声信号のビット分解能の差による量子化ビット数不足による信号波形歪みが低減される。すなわち、実効的な量子化ビット数を増やすことができる。また緩やかに信号レベルが変化する領域の量子化ビット数を増やす一方で、音声信号のダイナミックな振幅変化特性を劣化させないようにすることができる。
なお、閾値を2αとするのは、2ビット拡張前の最小データ値レベル変化を、αビット拡張後のデータ値レベル変化として換算すると2αになることを考慮したものであるが、実使用状態に応じて最適化を図るため閾値を2α以外の値に設定しても良い。As described above, when the quantization bit shortage improvement process for increasing the n-bit audio signal data to n + α bits is performed, the threshold ε is set to 2 α so that the minimum data value level change before bit expansion can be further finely interpolated. If the power is set, the signal waveform distortion due to the insufficient number of quantization bits due to the difference in bit resolution between the input audio signal and the output audio signal is reduced. That is, the effective number of quantization bits can be increased. Further, it is possible to increase the number of quantization bits in a region where the signal level changes gradually, while preventing the dynamic amplitude change characteristics of the audio signal from being deteriorated.
Incidentally, to the
図18は、図1に示される音声信号出力装置に改変を加えた音声信号出力装置を示すブロック図である。
図18の音声信号出力装置は、概して図1に示される音声信号出力装置と同じであるが、図1の出力処理部4の代わりに、デジタル式、あるいはアナログ式の振幅制御プログラマブルアンプ15a内蔵の出力処理部15が設けられている。
このプログラマブルアンプ15aは後述の比較部16からの利得制御信号GCに応じて利得(増幅率)を変更することができるものである。
比較部16は、データ格納部7から出力される注目点のデータDM(c)とデータ加算部11の出力DOが入力され、これらの比に応じた利得制御信号GCを出力する。この利得制御信号GCは、出力処理部15の振幅制御プログラマブルアンプ15aに供給される。FIG. 18 is a block diagram showing an audio signal output device obtained by modifying the audio signal output device shown in FIG.
The audio signal output device of FIG. 18 is generally the same as the audio signal output device shown in FIG. 1, but instead of the
The
The
図18に示される音声信号出力装置の動作を説明する。入力処理部2、原データビット拡張部5と一次元m次εフィルタ部6は図1の例について説明したのと同様に動作する。
比較部16ではデータ格納部7から出力される注目点のデータDM(c)とデータ加算部出力DOが入力され、これらのデータを比較している。たとえばこれらのデータの比が一定以上になった場合、比較部16の出力データで振幅制御プログラマブルアンプ15aの利得、従って出力処理部15の出力の振幅を制御する。
例えば比較部16内でそれぞれの入力の比(DO/DM(c))を求め、この逆数を制御に用いる。即ち入力の比DO/DM(c)が小さいほど、振幅制御プログラマブルアンプ15aの利得を大きくする。The operation of the audio signal output apparatus shown in FIG. 18 will be described. The
The
For example, the ratio (DO / DM (c)) of each input is obtained in the
このように構成することにより、一次元m次εフィルタ部6の平滑化動作時に伴う低域通過フィルタの性能の影響を補正することができる。たとえば低域通過フィルタの性能によって信号データの高周波振幅が減少した場合、比較部16に入力される注目点のデータDM(c)の振幅よりもデータ加算部出力DOの振幅が小さくなることが判別できるため、これらのデータの比(DO/DM(c))に基づいて定めた制御信号GCを出力し、出力処理部15を、平滑化波形を残しながら、振幅を大きくするように動作させる。このようにして周波数補正を行なうことができる。
With this configuration, it is possible to correct the influence of the performance of the low-pass filter that accompanies the smoothing operation of the one-dimensional mth-order ε filter unit 6. For example, when the high-frequency amplitude of the signal data is decreased due to the performance of the low-pass filter, it is determined that the amplitude of the data addition unit output DO is smaller than the amplitude of the data DM (c) of the attention point input to the
なお、比較部16の出力で、出力処理部15を制御する代わりに、出力処理部15より後段に配置された、別の振幅制御手段を制御する(それにより、データ加算部11の出力を補正する)こととしても良く、その場合にも上記と同様な振幅補正効果を得ることができる。
In addition, instead of controlling the
図19は、以上に説明した本実施の形態に係る音声信号処理装置の処理工程を示すフローチャートである。以下の説明では、εフィルタ部の次数がmであるものとし、データの符号として、図1で用いたのと同じもの、及びこれに準じたものが用いられる。 FIG. 19 is a flowchart showing the processing steps of the audio signal processing device according to the present embodiment described above. In the following description, it is assumed that the order of the ε filter section is m, and the same data code as that used in FIG.
まず、アナログ音声入力信号SAが入力端子1に入力され、入力処理部2は、アナログ音声入力信号SAを受信してnビットの音声信号データDIを出力する(ST1)。
入力処理部2が出力する音声信号データDIは、拡張データ生成処理部3の原データビット拡張部5に入力され、原データビット拡張部5では音声信号データDIをαビットだけビット拡張してn+αビットの音声信号データDSを出力する(ST2)。First, an analog audio input signal SA is input to the
The audio signal data DI output from the
データ格納部7には、n+αビットの音声信号データDSが入力され、時間軸上のm個(m≧2α)の連続したデータを保持して、DM(1)〜DM(m)として出力する(ST3)。
第1の差分算出部8−1〜第mの差分算出部8−mには、連続するm個のデータDM(1)〜DM(m)が入力され、注目点cのデータと、その前後のサンプリングタイミングのデータの各々との差分をとり、差分データED(1)〜ED(m)を出力する(ST4)。The data storage unit 7 receives n + α-bit audio signal data DS, holds m (m ≧ 2 α ) continuous data on the time axis, and outputs them as DM (1) to DM (m). (ST3).
The first difference calculation unit 8-1 to the m-th difference calculation unit 8-m receive m pieces of continuous data DM (1) to DM (m), and the data of the point of interest c and its front and back And difference data ED (1) to ED (m) are output (ST4).
第1のε判定部9−1〜第mのε判定部9−mには、差分データED(1)〜ED(m)が入力され、加算を行うかどうかを示す判定データEE(1)〜EE(m)を出力する(ST5)。
判定付き加重平均部10には、差分データED(1)〜ED(m)と判定データEE(1)〜EE(m)が入力され、判定付き加重平均部10は、判定データに基づいて差分データを加重平均し、加重平均値EMを出力する(ST6)。Difference data ED (1) to ED (m) are input to the first ε determination unit 9-1 to the m-th ε determination unit 9-m, and determination data EE (1) indicating whether to perform addition. To EE (m) are output (ST5).
Difference data ED (1) to ED (m) and determination data EE (1) to EE (m) are input to the weighted
データ加算部11には、加重平均値EMと注目点cの原データDM(c)が入力され、データ加算部11は、これらを加算して音声信号データDOを出力する(ST7)。音声信号データDOは出力処理部4に入力され、出力処理部4は音声信号データDOに基づいて、例えばD/A変換処理して音声信号を出力する(ST8)。
The
実施の形態2.
図20は、本発明の実施の形態2の音声信号出力装置を示す図である。図20の音声信号出力装置は、概して図1の音声信号出力装置と同じであるが、図1の原データビット拡張部5が設けられておらず、図1の判定付き加重平均部10及びデータ加算部11の代わりに、ビット拡張及び判定付き加重平均部17及びビット拡張付きデータ加算部18が設けられている。
FIG. 20 is a diagram showing an audio signal output apparatus according to
差分算出部8−1〜8−m、及びε判定部9−1〜9−mはnビットのデータに対する処理を行なう。ε判定部9−1〜9−mにおける閾値は「1」と設定される。これは、εフィルタ部の前にビット拡張部がないためである。 The difference calculation units 8-1 to 8-m and the ε determination units 9-1 to 9-m perform processing on n-bit data. The threshold value in the ε determination units 9-1 to 9-m is set to “1”. This is because there is no bit extension part before the ε filter part.
ビット機能拡張及び判定付き加重平均部17は、加重平均演算及びビット拡張を行なって、αビットだけビット拡張された加重平均値EMを出力する。これは例えば、図7などの例について説明したのと同様の判定付き加重平均の演算を行なったときに現れる小数点以下の桁の数値をも表すデータを平均データEMとして生成することで、このビット拡張を行なうことができる。
ビット拡張付きデータ加算部18は、ビット拡張付きデータ加算部18は、ビット拡張部18aと、データ加算部18bとを有し、ビット拡張部18aで入力DM(c)をn+αビットにビット拡張してビット拡張されたデータDMa(c)を出力する。
データ加算部18bは、ビット拡張されたデータDMa(c)と、ビット拡張及び判定付き加重平均部17の出力EMとを加算して、加算結果を表すデータDOを出力する。The weighted average unit 17 with bit function extension and determination performs a weighted average operation and bit extension, and outputs a weighted average value EM that is bit-extended by α bits. For example, this bit is generated by generating as the average data EM data representing the numerical values of the decimal places that appear when the weighted average with determination similar to that described in the example of FIG. 7 is performed. Can be extended.
The data adder with
The
このように、図20の音声信号出力装置では、ビット拡張をεフィルタ部の前で行なわず、εフィルタの演算中に行なう。以上のように構成することで、図1に示した例と同等の効果が得られる。 As described above, in the audio signal output device of FIG. 20, the bit expansion is not performed before the ε filter unit, but is performed during the calculation of the ε filter. By configuring as described above, the same effect as the example shown in FIG. 1 can be obtained.
図21は、図20に示される音声信号出力装置に改変を加えた音声信号出力装置を示すブロック図である。
図21の音声信号出力装置は、概して図20に示される音声信号出力装置と同じであるが、図20の出力処理部4の代わりに、デジタル式、あるいはアナログ式の振幅制御プログラマブルアンプ15a内蔵の出力処理部15が設けられている。
このプログラマブルアンプ15aは、図18に示すものと同様に、後述の比較部16からの利得制御信号GCに応じて利得(増幅率)を変更することができるものである。FIG. 21 is a block diagram showing an audio signal output device obtained by modifying the audio signal output device shown in FIG.
The audio signal output device of FIG. 21 is generally the same as the audio signal output device shown in FIG. 20, but instead of the
This
ビット拡張付きデータ加算部18は、図20のビット拡張付きデータ加算部18と同様に、ビット拡張部18aと、データ加算部18bとを有し、ビット拡張部18aで入力DM(c)をn+αビットにビット拡張してビット拡張されたデータDMa(c)を出力する。
データ加算部18bでは、ビット拡張されたデータDMa(c)と、平均データEMを加算して、加算結果を表すデータDOを出力する。
ビット拡張部18aの出力は、ビット拡張付きデータ加算部18の外部にも出力され、比較部16に供給される。Similarly to the
The
The output of the
比較部16は、ビット拡張された注目点のデータDMa(c)とデータ加算部18bにおける加算結果出力DOが入力され、これらの比に応じた利得制御信号GCを出力する。
この利得制御信号GCは、出力処理部15の振幅制御プログラマブルアンプ15aに供給される。The
The gain control signal GC is supplied to the amplitude control
図21に示される音声信号出力装置の動作を説明する。入力処理部2、及びビット拡張付き一次元m次εフィルタ19は、図20の例について説明したのと同様に動作する。
比較部16ではビット拡張部18aから出力されるαビット拡張された注目点のデータDMa(c)と、データ加算部18bの加算結果出力DOが入力され、これらのデータを比較している。たとえばこれらのデータの比が一定以上になった場合、比較部16の出力データで振幅制御プログラマブルアンプ15aの利得、従って出力処理部15の出力の振幅を制御する。
例えば比較部16内でそれぞれの入力の比(DO/DM(c))を求め、この逆数を制御に用いる。即ち入力の比DO/DM(c)が小さいほど、振幅制御プログラマブルアンプ15aの利得を大きくする。The operation of the audio signal output device shown in FIG. 21 will be described. The
The
For example, the ratio (DO / DM (c)) of each input is obtained in the
このように構成することにより、ビット拡張付き一次元m次εフィルタ部19の平滑化動作時に伴う低域通過フィルタ性能の影響を補正することができる。たとえば低域通過フィルタの性能によって信号データの高周波振幅が減少した場合、比較部16に入力される注目点のデータDMa(c)の振幅よりもデータ加算部18bの加算結果出力DOの振幅が小さくなることが判別できるため、これらのデータの比(DO/DM(c))に基づいて定めた制御信号GCを出力し、出力処理部15を、平滑化波形を残しながら、振幅を大きくするように動作させる。
With this configuration, it is possible to correct the influence of the low-pass filter performance that accompanies the smoothing operation of the one-dimensional m-order ε
なお、図18の例について述べたのと同様、比較部16の出力で、出力処理部15を制御する代わりに、出力処理部15より後段に配置された、別の振幅制御手段を制御する(それにより、データ加算部11の出力を補正する)こととしても良く、その場合にも上記と同様な振幅補正効果を得ることができる。
As described in the example of FIG. 18, instead of controlling the
図20、図21を参照して説明した実施の形態に対しても、図5,図6を参照して説明したのと同様の変形(係数プログラマブル判定付き加重平均部12の使用、或いは次数可変判定付き加重平均部13の使用)を加えることが可能である。
20 and FIG. 21, the same modification as that described with reference to FIG. 5 and FIG. 6 (use of weighted
実施の形態3.
図22は、本発明の実施の形態3に係る音声信号処理装置の構成を示す図である。実施の形態3に係る音声信号処理装置は、入力端子21、周波数振幅推定部22、フィルタ係数生成部23、原データビット拡張部24、及びエッジ保存型平滑化フィルタ部25を備える。
FIG. 22 is a diagram showing a configuration of an audio signal processing device according to
入力端子21には、nビット(nは正の整数)の音声信号Xが供給される。音声信号Xは、図1の音声信号データDIに相当するものである。図23は、実施の形態3のnビットの音声信号の一例を示す図である。図23(a)の横軸は時間i、縦軸は信号レベルを示している。図23(a)に示すように、この音声信号は、相連続するサンプリング点毎の、デジタル信号の列であり、時間(を表す数値)iは、サンプリング点毎に1ずつ増加する。
図23(b)の横軸は周波数f、縦軸はパワーおよびゲインを示している。図23(a)はnビットで量子化された周波数f1の正弦波の音声信号を示し、図23(b)の実線は図23(a)の音声信号の周波数スペクトル、点線は(後述の)低域通過フィルタの周波数特性を示している。図23(b)の周波数スペクトルが示すように周波数f1の正弦波であるにもかかわらず量子化によりf2やf3のような高調波が存在する。An n-bit (n is a positive integer) audio signal X is supplied to the
In FIG. 23B, the horizontal axis indicates frequency f, and the vertical axis indicates power and gain. FIG. 23 (a) shows a sine wave audio signal of frequency f1 quantized with n bits, the solid line in FIG. 23 (b) is the frequency spectrum of the audio signal in FIG. 23 (a), and the dotted line is (described later). The frequency characteristic of a low-pass filter is shown. As shown in the frequency spectrum of FIG. 23 (b), harmonics such as f2 and f3 exist due to quantization even though it is a sine wave of frequency f1.
本実施の形態ではnビットの音声信号の高調波成分を除去し、量子化による音声信号の波形歪みを補正する。 In this embodiment, harmonic components of an n-bit audio signal are removed, and waveform distortion of the audio signal due to quantization is corrected.
具体的には、まず、音声信号から周波数を推定し、推定した周波数の高調波を除去する周波数特性を有する低域通過フィルタのフィルタ係数を生成する。また、周波数だけではなく振幅も推定し、低域通過フィルタのフィルタ係数の次数を決定する。次数の設定についてはエッジ保存型平滑化フィルタと共に説明する。 Specifically, first, a frequency is estimated from the audio signal, and a filter coefficient of a low-pass filter having frequency characteristics for removing harmonics of the estimated frequency is generated. Further, not only the frequency but also the amplitude is estimated, and the order of the filter coefficient of the low-pass filter is determined. The setting of the order will be described together with the edge preserving smoothing filter.
例えば、図23(b)の実線が示すような周波数f1と推定した場合、図23(b)の点線のようなカットオフ周波数特性の低域通過フィルタ係数を生成する。周波数f1が推定できればf2は自明であるため、f1とf2の間にfc1を設定すればよい。 For example, when the frequency f1 is estimated as indicated by the solid line in FIG. 23B, a low-pass filter coefficient having a cutoff frequency characteristic as indicated by the dotted line in FIG. 23B is generated. Since f2 is obvious if the frequency f1 can be estimated, fc1 may be set between f1 and f2.
次に、生成した低域通過フィルタ係数を用いてビット拡張した音声信号に対して平滑化を行うことで、高調波成分を除去して量子化による波形歪みを補正する。平滑化にはエッジ保存型平滑化フィルタを用いる。 Next, smoothing is performed on the audio signal that has been bit-extended using the generated low-pass filter coefficient, thereby removing harmonic components and correcting waveform distortion due to quantization. An edge preserving smoothing filter is used for smoothing.
エッジ保存型平滑化フィルタは、実施の形態1に関連して説明したように、急峻で大きな変化が存在する部分の先鋭度を保存しながら、小さな変化のみを平滑化するフィルタであり、εフィルタ、トリムド平均値フィルタ(DW−MTMフィルタ)、バイラテラルフィルタなどがある。εフィルタ及びトリムド平均値フィルタ(DW−MTMフィルタ)は上記の非特許文献1に説明されている。以下、例としてエッジ保存型平滑化フィルタをεフィルタとして説明する。
As described in connection with the first embodiment, the edge-preserving smoothing filter is a filter that smoothes only small changes while preserving the sharpness of a portion where there is a steep and large change, and an ε filter. , Trimmed average filter (DW-MTM filter), bilateral filter, and the like. The ε filter and the trimmed average value filter (DW-MTM filter) are described in
図24は、εフィルタの動作を説明するための図である。図24(a)はεフィルタの入力信号x(i)を示し、図24(b)は図24(a)の位置i1を注目点とした時の
f{x(i1−k)−x(i1)}
を示している。FIG. 24 is a diagram for explaining the operation of the ε filter. FIG. 24A shows an input signal x (i) of the ε filter, and FIG. 24B shows f {x (i1-k) −x (when the position i1 in FIG. i1)}
Is shown.
図24(a)のような緩やかな傾斜を持つ信号がεフィルタの入力信号の場合、次数が大きすぎると注目点と周辺の点の差分が閾値を超えてしまい、図24(b)のようにその領域が0とされて重み付平均を取るため平滑化の効果が弱まる。 When the signal having a gentle slope as shown in FIG. 24A is the input signal of the ε filter, if the order is too large, the difference between the attention point and the surrounding points exceeds the threshold value, as shown in FIG. Since the area is set to 0 and the weighted average is taken, the smoothing effect is weakened.
εフィルタなどのエッジ保存型平滑化フィルタの多くは低域通過フィルタに比べて、急峻で大きな変化を保存できる利点がある。しかし、信号が緩やかな傾斜を持つ場合、平滑化の性能が低くなる。そこで、実施の形態3では音声信号の周波数と振幅を推定することにより信号の傾斜を考慮している。周波数が同じで振幅が大きい場合、傾斜は急になるのでフィルタの次数を小さくし、εフィルタでの平滑化の性能を上げている。 Many edge-preserving smoothing filters such as the ε filter have the advantage of being able to preserve steep and large changes compared to low-pass filters. However, when the signal has a gentle slope, the smoothing performance is low. In the third embodiment, the inclination of the signal is taken into account by estimating the frequency and amplitude of the audio signal. When the frequency is the same and the amplitude is large, the slope becomes steep, so the order of the filter is reduced and the smoothing performance of the ε filter is improved.
実施の形態3の構成では、まずnビットの音声信号Xが入力端子21から周波数振幅推定部22及び原データビット拡張部24に入力される。周波数振幅推定部22は、入力された音声信号Xの周波数と振幅を推定してフィルタ係数生成部23に周波数Fと振幅Aを出力する。フィルタ係数生成部23は、周波数Fと振幅Aに基づいて低域通過フィルタ係数Cを生成し、エッジ保存型平滑化フィルタ部25に出力する。原データビット拡張部24は、図1などの原データビット拡張部5と同様のものであり、nビットの音声信号Xをαビット分ビット拡張したn+αビットの音声信号X’をエッジ保存型平滑化フィルタ部25に出力する。エッジ保存型平滑化フィルタ部25は、n+αビットの音声信号X’に対して低域通過フィルタ係数Cを用いてエッジ保存型平滑化フィルタを使って平滑化処理し、n+αビットの音声信号Yを出力する。エッジ保存型平滑化フィルタ部25としては、図5に示される係数プログラマブル判定付き加重平均部12を備えた一次元m次εフィルタ部6を用いることができる。
In the configuration of the third embodiment, an n-bit audio signal X is first input from the
図23(a)のようなnビットで量子化された周波数f1の正弦波の音声信号Xが入力された場合の実施の形態3の動作を説明する。音声信号Xは周波数振幅推定部22と原データビット拡張部24に入力される。
The operation of the third embodiment when a sinusoidal audio signal X having a frequency f1 quantized with n bits as shown in FIG. 23A is input will be described. The audio signal X is input to the frequency
周波数振幅推定部22では、音声信号Xから周波数F=f1と振幅A=2を推定し、フィルタ係数生成部23に周波数F=f1と振幅A=2を出力する。
The frequency
フィルタ係数生成部23では、周波数f1の高調波成分を除去するようなカットオフ周波数fc1と、周波数F=f1と振幅A=2に基づいた次数を有するフィルタ係数を生成し、エッジ保存型平滑化フィルタ部25に出力する。
The filter
図25は、原データビット拡張部24の動作を説明するための図である。横軸は時間iを示し、縦軸は信号レベルを示している。図25(a)はnビットの音声信号Xを示し、図25(b)はn+αビットの音声信号X’を示している。原データビット拡張部24は、図25(a)に示すようなnビットの音声信号をαビットだけビット拡張し、図25(b)に示したようなn+αビットの音声信号をエッジ保存型平滑化フィルタ部25に出力する。
FIG. 25 is a diagram for explaining the operation of the original data bit
エッジ保存型平滑化フィルタ部25ではεフィルタを使って平滑化処理を行う。εフィルタはビット拡張により増えたビット数を小振幅成分として扱う。つまり、nビットからn+αビットにビット拡張する場合、εフィルタの閾値εは2のα乗とする。これにより、nビットにおける1LSB以下の段差を平滑化する。
The edge preserving type smoothing
図26は、エッジ保存型平滑化フィルタ部25の動作を説明するための図である。横軸は時間iを示し、縦軸は信号レベルを示している。図26(a)はn+αビットの音声信号X’(i)を示し、図26(b)はεフィルタ処理されたn+αビットの音声信号Y(i)を示している。エッジ保存型平滑化フィルタ部25は、図26(a)に示すようなn+αビットの音声信号から高調波除去することで波形歪みを補正し、図26(b)に示したようなn+αビットの音声信号を出力する。
FIG. 26 is a diagram for explaining the operation of the edge preserving
このように、実施の形態3はnビットの音声信号から高調波除去することで波形歪みを補正したn+αビットの音声信号を出力することができる。 As described above, the third embodiment can output an n + α-bit audio signal in which waveform distortion is corrected by removing harmonics from the n-bit audio signal.
図27は、周波数振幅推定部22の詳細な構成を示す図である。周波数振幅推定部22は、図27に示すように、変曲点検出部27、周波数推定部28、及び振幅推定部29を備えている。
FIG. 27 is a diagram illustrating a detailed configuration of the frequency
変曲点検出部27は、nビットの音声信号が一連の単調増加を開始する点又は終了する点及び一連の単調減少を開始する点又は終了する点を変曲点として検出する。ここで、「一連の単調増加」とは、途中で減少が生じることのない(同じ値が続くことはあっても良い)増加の連続を意味する。この一連の単調増加の区間内では、
X(i)≦X(i+1)
の関係が連続して(すべてのサンプリング点iにおいて)満たされる。
同様に、「一連の単調減少」とは、途中で増加が生じることのない(同じ値が続くことはあっても良い)減少の連続を意味する。この一連の単調減少の区間内では、
X(i)≧X(i+1)
の関係が連続して(全てのサンプリング点iにおいて)満たされる。The inflection
X (i) ≦ X (i + 1)
Are continuously satisfied (at all sampling points i).
Similarly, “a series of monotonous decreases” means a series of decreases in which no increase occurs in the middle (the same value may continue). Within this series of monotonically decreasing intervals,
X (i) ≧ X (i + 1)
Are continuously satisfied (at all sampling points i).
図示の変曲点検出部27は、一次微分算出部31及び符号変化点検出部32を備える。
一次微分算出部31は、入力されたnビットの音声信号から一次微分データDを算出して出力する。例えば、一次微分算出部31は、
各サンプリング点における前記nビットの音声信号をX(i)で表し、
次のサンプリング点における前記nビットの音声信号をX(i+1)で表すとき、
D(i)=X(i+1)−X(i)
で得られるD(i)を、一次微分データとして出力する。The illustrated inflection
The primary
The n-bit audio signal at each sampling point is represented by X (i),
When the n-bit audio signal at the next sampling point is represented by X (i + 1),
D (i) = X (i + 1) −X (i)
D (i) obtained in
符号変化点検出部32は、一次微分データDの符号が正に変化した点及び負に変化した点を、変曲点として検出する。より具体的には、符号変化点検出部32は、一次微分データDが、符号が負である状態又はゼロである状態から符号が正である状態に変わった点(以下、「正への変化点」と言う)、及び符号が正である状態又はゼロである状態から符号が負である状態に変わった点(以下「負への変化点」と言う)を、上記の「符号が変化した点」として検出する。符号変化点検出部32の出力は2値データであり、「正への変化点」から、「負への変化点」までは、第1の値(例えば、高レベルの値)を取り、「負への変化点」から、「正への変化点」までは、第2の値(例えば、低レベルの値)を取る。
符号変化点検出部32のこのような動作は、一次微分データDから符号のみの2値データへの変換し(ただし、0の場合は前データの符号とする)と言うこともできる。
上記の一次微分算出部31と符号変化点検出部32とで構成される変曲点検出部27は、nビットの音声信号が一連の単調増加を開始する点及び一連の単調減少を開始する点を変曲点として検出する。The sign change
Such an operation of the sign change
The inflection
周波数推定部28は音声信号の変曲点と前の(直前の)変曲点の区間長を算出して周波数Fとして出力する。
振幅推定部29は音声信号の変曲点と前の(直前の)変曲点の音声信号のレベル差を振幅Aとして出力する。The
The
図28は、周波数振幅推定部22の動作を説明するための図である。横軸は時間iを示している。図28(a)はnビットの音声信号X(i)を示し、図28(b)は音声信号の一次微分データD(i)を示し、図28(c)は2値データを示し、図28(d)は音声信号の変曲点位置Sを示している。一次微分算出部31は、図28(a)はnビットの音声信号が入力された場合、図28(b)のような一次微分データを算出する。符号変化点検出部32は、一次微分データDから図28(c)のような符号のみの2値データに変換して、図28(d)のようなその2値データが変化する位置S=i1、i2、i3(その時間軸上の位置が縦方向に延びた点線で示されている)を検出する。よって、周波数推定部28及び振幅推定部29は、i1〜i2区間では
周波数としてF=1/(i2−i1)、振幅としてA=|X(i2)−X(i1)|をそれぞれ求め、
i2〜i3区間では、周波数としてF=1/(i3−i2)、振幅としてA=|X(i3)−X(i2)|をそれぞれ求める。
求められた周波数F及び振幅Aはフィルタ係数生成部23に供給される。FIG. 28 is a diagram for explaining the operation of the
In the interval from i2 to i3, F = 1 / (i3−i2) is obtained as the frequency and A = | X (i3) −X (i2) | is obtained as the amplitude.
The obtained frequency F and amplitude A are supplied to the filter
図29は、図28とは別の音声信号が入力された場合の周波数振幅推定部22の動作を説明するための図である。横軸は時間iを示している。図29(a)はnビットの音声信号X(i)を示し、図29(b)は音声信号の一次微分データD(i)を示し、図29(c)は2値データを示し、図29(d)は音声信号の変曲点位置Sを示している。一次微分算出部31は、図29(a)はnビットの音声信号が入力された場合、図29(b)のような一次微分データを算出する。符号変化点検出部32は、一次微分データから図29(c)のような符号のみの2値データに変換して、図29(d)のようなその2値データが変化する位置S=i4、i5、i6(その時間軸上の位置が縦方向に延びた点線で示されている)を検出する。よって、周波数推定部28及び振幅推定部29は、i4〜i5区間では、周波数としてF=1/(i5−i4)、振幅としてA=|X(i5)−X(i4)|をそれぞれ求め、i5〜i6区間では、周波数としてF=1/(i6−i5)、振幅としてA=|X(i6)−X(i5)|をそれぞれ求める。
求められた周波数F及び振幅Aはフィルタ係数生成部23に供給される。FIG. 29 is a diagram for explaining the operation of the frequency
The obtained frequency F and amplitude A are supplied to the filter
図28及び図29を参照して説明したように、
図27に示す周波数振幅推定部22で算出される音声信号の一次微分データの符号の変化する位置(「正への変化点」及び「負への変化点」)は音声信号の変曲点として扱われ、その相前後する変曲点の時間間隔の逆数が、音声信号の周波数であると推定することができる。また、変曲点は、一連の単調増加の開始点又は一連の単調減少の開始点であるので、相前後する変曲点の信号値の差が振幅であると推定することができる。As described with reference to FIGS. 28 and 29,
The position where the sign of the primary differential data of the audio signal calculated by the frequency
図28及び図29の例では、音声信号が単一の周波数成分からなる。
次に、音声信号が複数の周波数成分からなる場合について、図30及び図31を参照して説明する。
図30(a)は周波数f11、振幅a11の信号成分を示し、図30(b)は周波数f12(>f11)、振幅a12の信号成分を示し、図30(c)は、図30(a)の信号成分と図30(b)の信号成分が重畳した信号を示す。図の縦方向に延びた点線は変曲点の時間的位置を示す。相前後する変曲点相互の時間間隔(区間長さ)が信号成分の半周期として、周波数の推定に用いられる。
この時、図30(c)のようにほとんどの領域で、高いほうの周波数であるf12が周波数として推定され、a12が振幅として推定され、このように、f12、a12が推定された区間では、周波数f12、振幅a12に基づいてフィルタ係数が選択され、波形歪みの補正が正確に行われる。In the example of FIGS. 28 and 29, the audio signal is composed of a single frequency component.
Next, the case where the audio signal is composed of a plurality of frequency components will be described with reference to FIGS. 30 and 31. FIG.
30A shows the signal component of frequency f11 and amplitude a11, FIG. 30B shows the signal component of frequency f12 (> f11) and amplitude a12, and FIG. 30C shows FIG. 30A. The signal component of FIG. 30 and the signal component of FIG. The dotted line extending in the vertical direction in the figure indicates the temporal position of the inflection point. The time interval (section length) between the inflection points that follow each other is used as a half cycle of the signal component for frequency estimation.
At this time, in most regions as shown in FIG. 30 (c), the higher frequency f12 is estimated as the frequency, and a12 is estimated as the amplitude. Thus, in the section where f12 and a12 are estimated, A filter coefficient is selected based on the frequency f12 and the amplitude a12, and the waveform distortion is accurately corrected.
サンプリング点i11〜i12のように、周波数がf12と推定されない(推定結果がf12よりも大きな値となる)区間では、重複された信号を一つの正弦波と近似して周波数が推定される。しかし、i11〜i12区間は非常に短く、f12より高い周波数が推定されるので、これにより生じる問題は大きくはない。 In a section where the frequency is not estimated to be f12 (sampling result is a value larger than f12) like the sampling points i11 to i12, the frequency is estimated by approximating the overlapped signal with one sine wave. However, since the sections i11 to i12 are very short and a frequency higher than f12 is estimated, the problem caused by this is not significant.
図31に、図30とは異なる例を示す。
図31(a)は周波数f13、振幅a13の信号成分を示し、図31(b)は周波数f14(>f13)、振幅a14の信号成分を示し、図31(c)は、図31(a)に示す信号成分と図31(b)に示す信号成分とが重畳した信号を示す。図の縦方向に延びた点線は変曲点の時間的位置を示す。相前後する変曲点の時間間隔(区間長)が信号成分の半周期として、周波数の推定に用いられる。
図31(d)はnビット信号(図31(c))を実施の形態3で処理したn+αビットの出力を示す。図31(c)のようにほとんどの領域で高いほうの周波数であるf13が推定され、振幅a13が推定される。FIG. 31 shows an example different from FIG.
FIG. 31A shows signal components of frequency f13 and amplitude a13, FIG. 31B shows signal components of frequency f14 (> f13) and amplitude a14, and FIG. 31C shows FIG. 31A. The signal component shown in FIG. 31 and the signal component shown in FIG. The dotted line extending in the vertical direction in the figure indicates the temporal position of the inflection point. The time interval (section length) between the inflection points that follow each other is used as a half cycle of the signal component for frequency estimation.
FIG. 31D shows an output of n + α bits obtained by processing the n-bit signal (FIG. 31C) in the third embodiment. As shown in FIG. 31 (c), f13, which is the higher frequency, is estimated in most regions, and the amplitude a13 is estimated.
しかし、サンプリング点i13〜i14の区間のようにf3が推定されない(推定結果がf3よりも低い値となる)区間では、重複された信号を一つの正弦波と近似して周波数が推定されてしまう。
しかし、i13〜i14の区間における補正量はビット拡張前の信号(nビットの信号)のLSBの1/2以上にはならず、仮にビット拡張後の信号(n+αビットの信号)をnビットに量子化した場合には、補正量が0になる。つまり、ビット拡張後のn+αビットの信号を、仮に量子化してnビットの信号に戻した場合、i13〜i14の区間でも入力信号を再現することができる。
また、影響があるのはi13〜i14区間のみであり、全体からみるとごく一部の区間に限られる。However, in a section where f3 is not estimated as in the section of sampling points i13 to i14 (the estimation result is a value lower than f3), the frequency is estimated by approximating the overlapped signal with one sine wave. .
However, the correction amount in the interval from i13 to i14 is not more than 1/2 of the LSB of the signal before bit extension (n-bit signal), and the signal after bit extension (n + α-bit signal) is assumed to be n bits. When quantized, the correction amount becomes zero. That is, if an n + α-bit signal after bit expansion is quantized and returned to an n-bit signal, the input signal can be reproduced even in the period from i13 to i14.
Further, only the sections i13 to i14 have an influence, and are limited to only a part of the section as a whole.
図30及び図31を参照して説明したように、図27に示す周波数振幅推定部22で算出される音声信号の一次微分データの符号の変化する位置(「正への変化点」及び「負への変化点」)は音声信号のうちの最も高い周波数の信号成分の変曲点として扱われ、その相前後する変曲点の時間間隔の逆数が、音声信号の最も高い周波数の成分の周波数であると推定することができる。また、変曲点は、一連の単調増加の開始点又は一連の単調減少の開始点であるので、相前後する変曲点の信号値の差が、音声信号に含まれる最も高い周波数の成分の振幅であると推定することができる。
As described with reference to FIGS. 30 and 31, the positions (“change points to positive” and “negative” of the sign of the first derivative data of the audio signal calculated by the frequency
図27に示す周波数振幅推定部22では、音声信号に含まれる最も高い周波数の成分の半周期を推定することで周波数を算出することができ、同時に変曲点における信号値の差から振幅を算出することができる。
In the frequency
そして、このようにして推定された周波数及び振幅に基づいて決定されたフィルタ係数が、それぞれの区間(相前後する変曲点相互の区間)の信号値にフィルタリングに用いられる。たとえば、図28の相前後する変曲点i1、i2により求められた周波数、振幅により決定されたフィルタ係数を用いて、変曲点i1の次のサンプル点から、変曲点i2までのデータに対するフィルタリングが行われる。 The filter coefficients determined based on the frequency and the amplitude estimated in this way are used for filtering in the signal values of the respective sections (intersections between successive inflection points). For example, for the data from the sample point next to the inflection point i1 to the inflection point i2, using the filter coefficient determined by the frequency and amplitude obtained by the inflection points i1 and i2 in FIG. Filtering is performed.
なお、上記の変曲点検出部27は、nビットの音声信号が一連の単調増加を開始する点及び一連の単調減少を開始する点を変曲点として検出するものであるが、代わりにnビットの音声信号が一連の単調増加を終了する点及び一連の単調減少を終了する点を変曲点として検出するように変曲点検出部を構成しても良い。その場合には、例えば、図32(a)で示される信号を入力とする一次微分算出部として、図32(b)に示すように、
D(i)=X(i)−X(i−1)
で得られるD(i)を、一次微分データとして出力するものを用い、符号変化点検出部として、図32(c)、(d)に示すように、一次微分データDの符号が負に変化した点より前で、それに最も近い正であった点、及び一次微分データDの符号が正に変化した点より前で、それに最も近い負であった点を検出するものを用いれば良い。
図32には、検出された変曲点の時間的位置が符号i21、i22、i23の付された点線で示されている。The inflection
D (i) = X (i) -X (i-1)
As shown in FIGS. 32 (c) and 32 (d), the sign of the primary differential data D changes to negative as the sign change point detection unit using the output of D (i) obtained in
In FIG. 32, the temporal positions of the detected inflection points are indicated by dotted lines with symbols i21, i22, i23.
図33は、フィルタ係数生成部23の動作を説明するための図である。フィルタ係数生成部23は、図33のようなカットオフ周波数と次数が異なる複数の低域通過フィルタ係数を格納するフィルタ係数テーブルを備え、フィルタ係数テーブルから周波数Fと振幅Aに基づいて低域通過フィルタ係数Cを選択してエッジ保存型平滑化フィルタ部25に出力する。
FIG. 33 is a diagram for explaining the operation of the filter
図34は、カットオフ周波数と次数が異なる複数の低域通過フィルタ係数を格納するフィルタ係数テーブルを説明するための図である。このテーブルが保持している低域通過フィルタ係数は、音声信号の周波数に基づいて低域通過フィルタのカットオフ周波数特性と、周波数と振幅に基づいて低域通過フィルタの次数を決定される。例えば図34(a)の実線のような周波数特性を持つ音声信号の場合、図34(a)の点線のようなカットオフ周波数特性の低域通過フィルタ係数を生成する。(周波数f1が推定できればf2は自明であるため、f1とf2の間にfc1を設定する)。図34(b)の実線のような周波数特性を持つ音声信号の場合には、図34(b)の点線のようなカットオフ周波数特性の低域通過フィルタ係数を生成する。(周波数f4が推定できればf5は自明であるため、f4とf5の間にfc4を設定する)。このように周波数に応じた低域通過フィルタのカットオフ周波数特性を持つようにする。 FIG. 34 is a diagram for explaining a filter coefficient table that stores a plurality of low-pass filter coefficients having orders different from the cutoff frequency. The low-pass filter coefficient held in this table is determined based on the cut-off frequency characteristic of the low-pass filter based on the frequency of the audio signal, and the order of the low-pass filter based on the frequency and amplitude. For example, in the case of an audio signal having a frequency characteristic such as a solid line in FIG. 34A, a low-pass filter coefficient having a cutoff frequency characteristic such as a dotted line in FIG. (If the frequency f1 can be estimated, f2 is self-explanatory, so fc1 is set between f1 and f2.) In the case of an audio signal having a frequency characteristic as shown by the solid line in FIG. 34B, a low-pass filter coefficient having a cutoff frequency characteristic as shown by the dotted line in FIG. 34B is generated. (If frequency f4 can be estimated, f5 is self-explanatory, so fc4 is set between f4 and f5). In this way, the low-pass filter has a cut-off frequency characteristic corresponding to the frequency.
また、周波数と振幅から傾きを求めて次数を決定する。周波数が同じで振幅が大きい場合、傾きは大きくなるのでフィルタの次数は小さくする必要がある。 Also, the order is determined by obtaining the slope from the frequency and amplitude. When the frequency is the same and the amplitude is large, the gradient becomes large, so the order of the filter needs to be small.
以上のようにフィルタ係数生成部23は、推定された周波数Fの高調波成分をカットし、推定された振幅Aが大きいほど低域通過フィルタの次数が小さいフィルタ係数を生成することができる。
As described above, the filter
実施の形態3では音声信号の周波数と振幅を推定して、その周波数と振幅に基づいたカットオフ周波数特性と次数を有する低域通過フィルタ係数を生成して平滑化するため、音声信号の量子化による波形歪みを的確に補正することができる。一方で平滑化の際にエッジ保存型平滑化フィルタを適用しているため、信号振幅が急峻に大きく変化する領域を有する音声信号入力波形の再現性を損なわない。 By estimating the frequency and amplitude of the third the speech signals embodiment, the frequency and for smoothing and generates a low-pass filter coefficients with a cutoff frequency characteristics and the order based on the amplitude quantization of the audio signal The waveform distortion due to can be accurately corrected. On the other hand, since the edge-preserving smoothing filter is applied at the time of smoothing, the reproducibility of the audio signal input waveform having a region where the signal amplitude changes sharply and greatly is not impaired.
これまではエッジ保存型平滑化フィルタ部25はεフィルタである構成で説明したが、実施の形態3はこの構成に限ったものではない。バイラテラルフィルタ、トリムド平均値フィルタ(DW−MTMフィルタ)などの他のエッジ保存型フィルタでも同様の効果が期待できる。
So far, the edge preserving
図35は、以上に説明した実施の形態3に係る音声信号処理装置の処理工程を示すフローチャートである。
FIG. 35 is a flowchart showing processing steps of the audio signal processing device according to
まず、入力端子21よりnビットの音声信号が周波数振幅推定部22に入力される。周波数振幅推定部22はnビットの音声信号から周波数と振幅を推定してフィルタ係数生成部23に出力する(ST11)。フィルタ係数生成部23は周波数と振幅に基づいて低域通過フィルタ係数をエッジ保存型平滑化フィルタ部25に出力する(ST12)。原データビット拡張部24は、nビットの音声信号をαビット分ビット拡張したn+αビットの音声信号をエッジ保存型平滑化フィルタ部25に出力する(ST13)。エッジ保存型平滑化フィルタ部25は、生成した低域通過フィルタ係数を用いてn+αビットの音声信号をエッジ保存型平滑化フィルタ処理して、n+αビットの音声信号を出力する(ST14)。
First, an n-bit audio signal is input to the frequency
図22に示す音声信号処理装置は、ソフトウエアで、即ちプログラムされたコンピュータで実現することもできる。その場合、コンピュータによる処理の手順は、図35を参照して上記したのと同様である。 The audio signal processing apparatus shown in FIG. 22 can also be realized by software, that is, by a programmed computer. In this case, the processing procedure by the computer is the same as that described above with reference to FIG.
実施の形態3によれば、nビットの音声信号から比較的長い時間範囲で周波数と振幅を推定し、その周波数と振幅に基づいて算出された低域通過フィルタを使って平滑化することで、量子化によって発生する高調波成分を除去し、量子化による音声信号の波形歪みを補正することができ、従来よりも量子化前の音声信号波形に近づけるような音声信号処理が実現できる。またエッジ保存型平滑化フィルタを適用することにより、信号振幅が急峻に大きく変化する領域を有する音声信号の再現性を損なわないようにすることができる。 According to the third embodiment, the frequency and amplitude are estimated from an n-bit audio signal in a relatively long time range, and smoothed using the low-pass filter calculated based on the frequency and amplitude. Harmonic components generated by quantization can be removed, waveform distortion of the audio signal due to quantization can be corrected, and audio signal processing that approximates the audio signal waveform before quantization than before can be realized. Further, by applying an edge preserving smoothing filter, it is possible to prevent the reproducibility of an audio signal having a region where the signal amplitude changes sharply and greatly.
実施の形態3で説明した、音声信号の周波数及び振幅の推定結果に基づいて生成したフィルタ係数を用いたエッジ保存型平滑化は、実施の形態1、実施の形態2のいずれとも組み合わせ可能である。例えば、図22のフィルタ係数生成部23で生成した係数を、図5に示した係数プログラマブル判定付き加重平均部12に供給することとすれば良い。また、図18の音声処理装置においても、判定付き加重平均部10として、係数プログラマブルなものを用い、該係数として、図22のフィルタ係数生成部23で生成した係数を用いることとしても良い。同様に、図20の音声処理装置においても、ビット拡張及び判定付き加重平均部17として、係数プログラマブルなものを用い、該係数として、図22のフィルタ係数生成部23で生成した係数を用いることとしても良い。
The edge preserving smoothing using the filter coefficient generated based on the estimation result of the frequency and amplitude of the audio signal described in the third embodiment can be combined with either the first embodiment or the second embodiment. . For example, the coefficients generated by the filter
本発明の活用例として、カーオーディオ、PA(ポータブルオーディオ)などの音声信号処理装置に適用できる。 As an application example of the present invention, the present invention can be applied to an audio signal processing apparatus such as a car audio and a PA (portable audio).
Claims (15)
前記ビット拡張によって生成されたn+αビットの音声信号データの列を平滑化処理するエッジ保存型平滑化フィルタ部と、
前記nビットの音声信号の周波数と振幅を推定する周波数振幅推定部と、
前記周波数と前記振幅に基づいて低域通過フィルタ係数を生成するフィルタ係数生成部とを備え、
前記エッジ保存型平滑化フィルタ部は、前記フィルタ係数生成部で生成されたフィルタ係数を用いて平滑化を行い、
前記フィルタ係数生成部は、
推定された音声信号の周波数の高調波成分を除去する低域通過フィルタのフィルタ係数を生成し、推定された振幅が大きいほど前記低域通過フィルタの次数が小さくなる
ことを特徴とする音声信号処理装置。an original data bit extension unit for generating and outputting a sequence of n + α-bit audio signal data by extending each bit of the n-bit (n is an integer) audio signal data by α bits (α is an integer) bit;
An edge-preserving smoothing filter that smoothes a sequence of n + α-bit audio signal data generated by the bit extension ;
A frequency amplitude estimator for estimating the frequency and amplitude of the n-bit audio signal;
A filter coefficient generation unit that generates a low-pass filter coefficient based on the frequency and the amplitude,
The edge preserving smoothing filter unit performs smoothing using the filter coefficient generated by the filter coefficient generation unit,
The filter coefficient generation unit
Generating a filter coefficient of a low-pass filter that removes harmonic components of the frequency of the estimated sound signal, and the order of the low-pass filter is reduced as the estimated amplitude is increased. apparatus.
カットオフ周波数と次数が異なる複数の低域通過フィルタ係数を格納するフィルタ係数テーブルを備え、
前記フィルタ係数テーブルから前記推定された周波数と振幅に基づいて前記低域通過フィルタ係数を選択する
ことを特徴とする請求項1に記載の音声信号処理装置。The filter coefficient generation unit
A filter coefficient table that stores a plurality of low-pass filter coefficients having different orders from the cutoff frequency,
The audio signal processing device according to claim 1 , wherein the low-pass filter coefficient is selected based on the estimated frequency and amplitude from the filter coefficient table.
前記nビットの音声信号が一連の単調増加を開始する点又は終了する点及び一連の単調減少を開始する点又は終了する点を変曲点として検出する変曲点検出部と、
検出した変曲点の位置の区間長から周波数を推定する周波数推定部と、
検出した変曲点のレベル差を振幅として推定する振幅推定部と
を備えることを特徴とする請求項3に記載の音声信号処理装置。The frequency amplitude estimator is
An inflection point detecting unit that detects a point at which the n-bit audio signal starts or ends a series of monotone increases and a point at which a series of monotonic decreases starts or ends as an inflection point;
A frequency estimation unit that estimates a frequency from the section length of the position of the detected inflection point;
The audio signal processing apparatus according to claim 3 , further comprising: an amplitude estimation unit that estimates a level difference of the detected inflection point as an amplitude.
前記nビットの音声信号の一次微分データを算出する一次微分算出部と、
前記一次微分データの符号が正に変化した点及び負に変化した点を、前記変曲点として検出する符号変化点検出部とを備える
ことを特徴とする請求項4に記載の音声信号処理装置。The inflection point detector is
A first derivative calculating unit for calculating first derivative data of the n-bit audio signal;
The audio signal processing apparatus according to claim 4 , further comprising: a sign change point detection unit that detects, as the inflection point, a point at which a sign of the primary differential data has changed positively and a point at which the sign has changed negatively. .
各サンプリング点における前記nビットの音声信号をX(i)で表し、
次のサンプリング点における前記nビットの音声信号をX(i+1)で表すとき、
D(i)=X(i+1)−X(i)
で得られるD(i)を、前記一次微分データとして出力する
ことを特徴とする請求項5に記載の音声信号処理装置。The first derivative calculation unit
The n-bit audio signal at each sampling point is represented by X (i),
When the n-bit audio signal at the next sampling point is represented by X (i + 1),
D (i) = X (i + 1) −X (i)
The audio signal processing apparatus according to claim 5 , wherein D (i) obtained in step (2) is output as the first-order differential data.
ことを特徴とする請求項8に記載の音声信号処理装置。 The audio signal processing apparatus according to claim 8.
時間方向に連続したn+αビットの音声信号データの列のデータを保持して同時に出力するデータ格納部と、
前記データ格納部に格納されたデータのうち、注目サンプリング点の音声信号データと、該注目サンプリング点の前後のサンプリング点の音声信号データ各々との差分データを生成する差分算出部と、
前記注目サンプリング点の前後のサンプリング点の各々について、前記差分算出部が出力する差分データが閾値より大きいか否かを示す判定データを生成するε判定部と、
前記注目サンプリング点の前後のサンプリング点の各々について、前記ε判定部が出力する判定データと前記差分算出部が出力する差分データに基づいて加重平均値を生成する判定付き加重平均部と、
注目サンプリング点の音声信号データと、前記判定付き加重平均部が出力する加重平均値データとの加算値を生成する加算部と
を備えることを特徴とする請求項10に記載の音声信号処理装置。The one-dimensional m-order ε filter unit is
A data storage unit that holds data in a row of n + α-bit audio signal data continuous in the time direction and simultaneously outputs the data;
Among the data stored in the data storage unit, a difference calculation unit that generates difference data between the audio signal data of the target sampling point and each of the audio signal data of the sampling points before and after the target sampling point;
For each of the sampling points before and after the target sampling point, an ε determination unit that generates determination data indicating whether or not the difference data output by the difference calculation unit is greater than a threshold;
For each of the sampling points before and after the sampling point of interest, a weighted average unit with determination that generates a weighted average value based on the determination data output by the ε determination unit and the difference data output by the difference calculation unit,
The audio signal processing apparatus according to claim 10 , further comprising: an addition unit that generates an addition value of the audio signal data of the sampling point of interest and the weighted average value data output from the weighted average unit with determination.
前記比較部で求められた前記比に応じて、前記データ加算部から出力される加算値に対して補正を加える
ことを特徴とする請求項13に記載の音声信号処理装置。A comparison unit for obtaining a ratio between the audio signal data of the target sampling point input to the data storage unit or the audio signal data of the target sampling point output from the data storage unit and the data output from the data addition unit; ,
The audio signal processing apparatus according to claim 13 , wherein correction is performed on the addition value output from the data addition unit in accordance with the ratio obtained by the comparison unit.
前記ビット拡張によって生成されたn+αビットの音声信号データの列を平滑化処理するエッジ保存型平滑化フィルタステップと、 An edge-preserving smoothing filter step for smoothing a sequence of n + α-bit audio signal data generated by the bit extension;
前記nビットの音声信号の周波数と振幅を推定する周波数振幅推定ステップと、 A frequency amplitude estimating step for estimating the frequency and amplitude of the n-bit audio signal;
前記周波数と前記振幅に基づいて低域通過フィルタ係数を生成するフィルタ係数生成ステップとを備え、 A filter coefficient generation step for generating a low-pass filter coefficient based on the frequency and the amplitude,
前記エッジ保存型平滑化フィルタステップは、前記フィルタ係数生成ステップで生成されたフィルタ係数を用いて平滑化を行い、 The edge preserving type smoothing filter step performs smoothing using the filter coefficient generated in the filter coefficient generation step,
前記フィルタ係数生成ステップは、 The filter coefficient generation step includes:
推定された音声信号の周波数の高調波成分を除去する低域通過フィルタのフィルタ係数を生成し、推定された振幅が大きいほど前記低域通過フィルタの次数が小さくなる A filter coefficient of a low-pass filter that removes harmonic components of the frequency of the estimated audio signal is generated, and the order of the low-pass filter decreases as the estimated amplitude increases.
ことを特徴とする音声信号処理方法。 An audio signal processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008535814A JP4942755B2 (en) | 2007-11-16 | 2008-07-28 | Audio signal processing apparatus and method |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007297647 | 2007-11-16 | ||
JP2007297647 | 2007-11-16 | ||
JP2008128965 | 2008-05-16 | ||
JP2008128965 | 2008-05-16 | ||
PCT/JP2008/063491 WO2009063662A1 (en) | 2007-11-16 | 2008-07-28 | Voice signal processing device and method |
JP2008535814A JP4942755B2 (en) | 2007-11-16 | 2008-07-28 | Audio signal processing apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2009063662A1 JPWO2009063662A1 (en) | 2011-03-31 |
JP4942755B2 true JP4942755B2 (en) | 2012-05-30 |
Family
ID=40638516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008535814A Expired - Fee Related JP4942755B2 (en) | 2007-11-16 | 2008-07-28 | Audio signal processing apparatus and method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4942755B2 (en) |
WO (1) | WO2009063662A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6310222B2 (en) * | 2013-10-04 | 2018-04-11 | 日本電信電話株式会社 | Filter |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0936740A (en) * | 1995-07-14 | 1997-02-07 | Nippon Columbia Co Ltd | Bit length extension method and device therefor |
JP2002278585A (en) * | 2001-03-22 | 2002-09-27 | Meiji Univ | Noise-removing device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3268624B2 (en) * | 1995-09-29 | 2002-03-25 | 株式会社ケンウッド | Quantization distortion reduction device |
JP3460037B2 (en) * | 1996-06-19 | 2003-10-27 | 株式会社ケンウッド | Digital recording device |
JP3526725B2 (en) * | 1997-04-30 | 2004-05-17 | 株式会社ケンウッド | Recording / playback device |
JP4221537B2 (en) * | 2000-06-02 | 2009-02-12 | 日本電気株式会社 | Voice detection method and apparatus and recording medium therefor |
-
2008
- 2008-07-28 WO PCT/JP2008/063491 patent/WO2009063662A1/en active Application Filing
- 2008-07-28 JP JP2008535814A patent/JP4942755B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0936740A (en) * | 1995-07-14 | 1997-02-07 | Nippon Columbia Co Ltd | Bit length extension method and device therefor |
JP2002278585A (en) * | 2001-03-22 | 2002-09-27 | Meiji Univ | Noise-removing device |
Also Published As
Publication number | Publication date |
---|---|
JPWO2009063662A1 (en) | 2011-03-31 |
WO2009063662A1 (en) | 2009-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6711538B1 (en) | Information processing apparatus and method, and recording medium | |
WO2010024371A1 (en) | Device and method for expanding frequency band, device and method for encoding, device and method for decoding, and program | |
US8027487B2 (en) | Method of setting equalizer for audio file and method of reproducing audio file | |
JP2005515684A (en) | Method and apparatus for generating a pulse width modulated signal | |
JP2010020356A (en) | Apparatus for extending band of audio signal | |
JP4782006B2 (en) | Low bit rate audio encoding | |
JP2005227782A (en) | Apparatus and method for detecting voiced sound and unvoiced sound | |
JP2008076636A (en) | Audio signal interpolation method and audio signal interpolation device | |
JP4735711B2 (en) | Information encoding device | |
WO2001095496A1 (en) | Compression method and apparatus, expansion method and apparatus, compression and expansion system, recorded medium, program | |
JP5045295B2 (en) | Signal processing apparatus and method, and program | |
JP4942755B2 (en) | Audio signal processing apparatus and method | |
JP5388542B2 (en) | Audio signal processing apparatus and method | |
JP5103606B2 (en) | Signal processing device | |
JP2006505818A (en) | Method and apparatus for generating audio components | |
WO2002013182A1 (en) | Digital signal processing method, learning method, apparatuses for them, and program storage medium | |
WO2020179472A1 (en) | Signal processing device, method, and program | |
JP4134262B2 (en) | Signal processing method, signal processing apparatus, and program | |
JP4454603B2 (en) | Signal processing method, signal processing apparatus, and program | |
JP6935912B2 (en) | Data interpolation device and data interpolation method | |
CN107077862B (en) | Digital voice processing device, digital voice processing method, and digital voice processing program | |
JP4441989B2 (en) | Encoding apparatus and encoding method | |
JP4556866B2 (en) | High efficiency encoding program and high efficiency encoding apparatus | |
JP4963955B2 (en) | Signal processing method, signal processing apparatus, and program | |
US20150142455A1 (en) | Signal processing device, signal processing method, and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110715 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120131 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4942755 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150309 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |