JP6538209B2 - ノイズ変調とゲイン調整とを実行するシステムおよび方法 - Google Patents
ノイズ変調とゲイン調整とを実行するシステムおよび方法 Download PDFInfo
- Publication number
- JP6538209B2 JP6538209B2 JP2018005516A JP2018005516A JP6538209B2 JP 6538209 B2 JP6538209 B2 JP 6538209B2 JP 2018005516 A JP2018005516 A JP 2018005516A JP 2018005516 A JP2018005516 A JP 2018005516A JP 6538209 B2 JP6538209 B2 JP 6538209B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- audio signal
- signal
- high band
- excitation signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 78
- 230000003595 spectral effect Effects 0.000 claims description 172
- 230000005236 sound signal Effects 0.000 claims description 133
- 230000005284 excitation Effects 0.000 claims description 132
- 238000009499 grossing Methods 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 description 24
- 238000013459 approach Methods 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 13
- 238000003786 synthesis reaction Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 10
- 238000013139 quantization Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005315 distribution function Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
- G10L19/035—Scalar quantisation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G3/00—Gain control in amplifiers or frequency changers
- H03G3/20—Automatic control
- H03G3/30—Automatic control in amplifiers having semiconductor devices
- H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
- H03G3/301—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers the gain being continuously variable
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G3/00—Gain control in amplifiers or frequency changers
- H03G3/20—Automatic control
- H03G3/30—Automatic control in amplifiers having semiconductor devices
- H03G3/3089—Control of digital or coded signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
- G10L2019/0003—Backward prediction of gain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Circuits Of Receivers In General (AREA)
- Amplifiers (AREA)
- Radar Systems Or Details Thereof (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Noise Elimination (AREA)
Description
[0001]本出願は、2013年2月8日に出願された本願の譲受人が所有する米国仮特許出願第61/762,810号および2013年8月28日に出願された米国非仮特許出願第14/012,749号の優先権を主張するものであり、これらの出願の内容は、その全体が明示的に参照により本明細書に組み込まれる。
=(α*transformed low−band excitation)
+((1−α)*modulated noise)
[0034]変換されたローバンド励振信号と変調されたノイズが混合される比は、受信機におけるハイバンド再構成品質に影響を及ぼすことがある。有声発話信号の場合、混合は、変換されたローバンド励振の方へ偏らされる(たとえば、混合係数は0.5〜1.0の範囲であってよい)。無声信号の場合、混合は、変調されたノイズの方へ偏らされる(たとえば、混合係数は0.0〜0.5の範囲であってよい)。ハイバンド励振発生器160の例示的な一実施形態は、図4を参照しながらさらに詳細に説明される。
sd_uq_q=0;
LPC_ORDER = 10;/*lpc orderを初期化する*/
for(i=0;i<LPC_ORDER;i++)
{
/* 量子化されていないLSFと量子化されたLSFの間のスペクトル歪みを見積る */
sd_uq_q+=(lsp_shb[i]−lsp_shb_orig[i])*(lsp_shb[i]−lsp_shb_orig[i]);
}
/*図3の写像を使用してゲイン係数を見積る*/
GainFactor=sd_uq_q*(G2−1)/(SD2−SD1)+K;
/*ゲイン係数はG2と1.0の間に制限される*/
GainFactor = min(max(GainFactor, G2), 1.0);/*フレーム ゲイン 調整*/
GainFrame=GainFrame*GainFactor;
[0044]上記の擬似コードに示されているように、図3の写像を使用することによって、ゲイン調整器162は、ゲイン係数を決定するとき、スペクトル歪み(たとえば、LSF外れ値)によるアーチファクトを制限し得る。
mix_factor_new[0]=mix_factor[0]; /*第1のサブフレームの混合係数を初期化する*/
NB_SUBFR=4; /*フレームあたり4つのサブフレーム*/
K1=0.8;
for(i=1;i<NB_SUBFR;i++)
{
mix_factor_new[i]=K1*mix_factor[i]+(1−K1) *mix_factor[i−1];
}
[0061]第1の手法のための上記の擬似コードでは、mix_factor[i]は、特定のフレームのために混合係数生成器412によって生成されるi番目の混合係数413に対応し(たとえば、mix_factor[0]はα1に対応することができる)、mix_factor_new[i]はi番目の出力混合係数410に対応する(たとえば、mix_factor_new[0]はα1sに対応することができる)。K1は、サブフレーム間の平滑化の量を決定し、0.8の値を有すると示されている。しかしながら、他の実施形態では、K1は、適用されるべき平滑化の量に従って他の値に設定され得る。たとえば、K1=1のとき平滑化は適用されず、平滑化は、K1の値を減少させるにつれて増加する。
NB_SUBFR=4;
K1=0.8;
mix_factor_new[0]=K1*mix_factor[0]+(1−K1)*mix_factor_old; //第1のサブフレーム
for(i=1;i<NB_SUBFR;i++)
{
mix_factor_new[i]=K1*mix_factor[i]+(1−K1)*mix_factor[i−1];
}
mix_factor_old=mix_factor_new[i];
[0064]第2の手法のための上記の擬似コードでは、mix_factor[i]は、特定のフレームのために混合係数生成器412によって生成されるi番目の混合係数413に対応し(たとえば、mix_factor[0]はα1に対応することができる)、mix_factor_new[i]は特定のフレームのためのi番目の出力混合係数410に対応する(たとえば、mix_factor_new[0]はα1sに対応することができる)。平滑化は、mix_factor_oldによってフレームにまたがって実行され、これによって、前のフレームの最後のサブフレームに対して決定された混合係数に基づいた現在のフレームの第1のサブフレームに対する平滑化が可能になる。
/*手法3:適応的K1を使用した混合係数生成*/
NB_SUBFR=4;
/*現在のハイバンドのエネルギーを推定する。高速で変化する場合、より遅い平滑化係数を使用する*/
if(hb_energy_prev>2*hb_energy_curr||hb_energy_curr>2*hb_energy_prev)
K1=0.8;
else
K1=0.3;
mix_factor_new[0]=K1*mix_factor[0]+(1−K1)*mix_factor_old; //第1のサブフレーム
for(i=1;i<NB_SUBFR;i++)
{
mix_factor_new[i]=K1*mix_factor[i]+(1−K1)*mix_factor[i−1];
}
mix_factor_old=mix_factor_new[i];
[0067]第3の手法のための上記の擬似コードでは、平滑化は、第2の手法と類似のやり方でフレームにわたって使用可能である。さらに、K1の値は、オーディオ信号のハイバンドのエネルギー変動に基づいて決定される。たとえば、第1の値に適用される第1の重み(たとえば、K1)および第2の値に適用される第2の重み(たとえば、1−K1)は、図1のハイバンド信号124のエネルギー変動に基づいて決定される。第1のハイバンドのエネルギー値hb_energy_prevはオーディオ信号の第1の部分(たとえば、前のフレーム)中のハイバンド信号のエネルギーに対応し、第2のハイバンドのエネルギー値hb_energy_currはオーディオ信号の第2の部分(たとえば、現在のフレーム)中のハイバンド信号のエネルギーに対応する。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]混合係数の第1の値を受け取ること、前記第1の値は、オーディオエンコーダで受け取られるオーディオ信号の第1の部分に対応する、と、
前記混合係数の第2の値を受け取ること、前記第2の値は、前記オーディオ信号の第2の部分に対応する、と、
前記第1の値および前記第2の値に少なくとも部分的に基づいて前記混合係数の第3の値を生成することと、
前記混合係数の前記第3の値に基づいて励振信号を変調されたノイズと混合することとを備える方法。
[C2]前記オーディオ信号のハイバンド部分に対応するハイバンド励振信号を生成することをさらに備え、ここにおいて、前記ハイバンド励振信号は、前記変調されたノイズと前記励振信号とを結合することに基づいて生成され、ここにおいて、前記励振信号はローバンド励振信号の変換されたバージョンに対応し、前記ローバンド励振信号は前記オーディオ信号のローバンド部分に対応する、[C1]に記載の方法。
[C3]前記ハイバンド励振信号は、前記変調されたノイズと前記ローバンド励振信号の前記変換されたバージョンの加重和を備える、[C2]に記載の方法。
[C4]前記第1の値は、前記オーディオ信号の第1のサブフレームのローバンド部分に基づいて生成され、前記第2の値は、前記オーディオ信号の第2のサブフレームのローバンド部分に基づいて生成される、[C1]に記載の方法。
[C5]前記第3の値を生成することは、前記第1の値と前記第2の値の加重和を決定することを備える、[C1]に記載の方法。
[C6]前記第1の値に適用される第1の重みおよび前記第2の値に適用される第2の重みは、前記オーディオ信号のハイバンドのエネルギー変動に基づいて決定される、[C5]に記載の方法。
[C7]前記第1の重みおよび前記第2の重みは、前記第1の部分に対応する第1のハイバンドのエネルギー値に基づいて、および前記第2の部分に対応する第2のハイバンドのエネルギー値にさらに基づいて、決定される、[C6]に記載の方法。
[C8]前記第1の重みは、第1の閾値を超える前記第1のハイバンドのエネルギー値に応答して、または第2の閾値を超える前記第2のハイバンドのエネルギー値に応答して、前記第2の重みよりも大きいように選択され、ここにおいて、前記第1の閾値は、倍率によって変倍された前記第2のハイバンドのエネルギー値に対応し、ここにおいて、前記第2の閾値は、前記倍率によって変倍された前記第1のハイバンドのエネルギー値に対応する、[C7]に記載の方法。
[C9]前記第3の値を生成することは、前記オーディオ信号に対応するスペクトル歪みにさらに基づく、[C1]に記載の方法。
[C10]前記第3の値を生成することは、前記オーディオ信号に対応するコーディングタイプの指示にさらに基づく、[C1]に記載の方法。
[C11]前記第1の部分は、前記オーディオ信号の第1のサブフレームを備え、前記第2の部分は、前記オーディオ信号の第2のサブフレームを備える、[C1]に記載の方法。
[C12]前記第1のサブフレームおよび前記第2のサブフレームは前記オーディオ信号の単一フレーム内にある、[C11]に記載の方法。
[C13]前記第1のサブフレームおよび前記第2のサブフレームは前記オーディオ信号の異なるフレーム内にある、[C11]に記載の方法。
[C14]オーディオ信号に対応するスペクトル周波数値の第1のセットを決定することと、
前記スペクトル周波数値の第1のセットの近似値を求めるスペクトル周波数値の第2のセットを決定することと、
前記第1のセットと前記第2のセットの間の差に基づいて前記オーディオ信号の少なくとも一部分に対応するゲイン値を調整することと、を備える方法。
[C15]前記第1のセットと前記第2のセットの間の前記差に対応するスペクトル歪みを推定することをさらに備える、[C14]に記載の方法。
[C16]前記スペクトル歪みが、前記スペクトル周波数値の第1のセット内の値と比較した前記スペクトル周波数値の第2のセット内の値の平均2乗誤差に従って決定される、[C15]に記載の方法。
[C17]前記スペクトル歪みが、前記スペクトル周波数値の第1のセット内の値と比較した前記スペクトル周波数値の第2のセット内の値の間の差の絶対値に従って決定される、[C15]に記載の方法。
[C18]前記スペクトル周波数値の第1のセットは線スペクトル周波数(LSF)値を備え、前記スペクトル周波数値の第2のセットは量子化されたLSF値を備える、[C14]に記載の方法。
[C19]前記スペクトル周波数値の第1のセットは線形予測係数(LPC)値を備え、前記スペクトル周波数値の第2のセットは量子化されたLPC値を備える、[C14]に記載の方法。
[C20]前記スペクトル周波数値の第1のセットに基づいてコードブックを検索することによって前記スペクトル周波数値の第2のセットを決定することをさらに備える、[C14]に記載の方法。
[C21]前記ゲイン値は前記オーディオ信号のフレームのフレームゲインに対応し、前記ゲイン値を調整することは、
前記スペクトル周波数値の第1のセットと前記スペクトル周波数値の第2のセットの間のスペクトル歪みを決定することと、
前記スペクトル歪みに基づいてゲイン係数を決定することと、
前記ゲイン係数を前記フレームゲインに適用することによって前記フレームゲインを調整することと、を備える、[C14]に記載の方法。
[C22]前記ゲイン係数は、スペクトル歪み値のゲイン係数値への写像に従って決定される、[C21]に記載の方法。
[C23]前記写像の一部分は、スペクトル歪み値の増加がゲイン係数値の減少に対応することを定義する、[C22]に記載の方法。
[C24]前記写像は、確率分布関数の外れ値に対応するスペクトル歪み値に少なくとも部分的に基づく、[C22]に記載の方法。
[C25]混合係数の第1の値および前記混合係数の第2の値に少なくとも部分的に基づいて前記混合係数の第3の値を生成するように構成されたフィルタ、ここにおいて、前記第1の値はオーディオ信号の第1の部分に対応し、ここにおいて、前記第2の値は前記オーディオ信号の第2の部分に対応する、と、
前記第3の値を受け取り、変調されたノイズを生成して前記変調されたノイズとローバンド励振信号の変換されたバージョンとを結合することによって前記オーディオ信号のハイバンド部分に対応するハイバンド励振信号を生成するように構成されたミキサ、前記ローバンド励振信号は前記オーディオ信号のローバンド部分に対応する、と、を備え、
ここにおいて、前記ミキサは、前記第3の値に基づいて、前記変調されたノイズと前記ローバンド励振信号の前記変換されたバージョンとを結合するように構成される、装置。
[C26]前記フィルタは、前記第1の値と前記第2の値の加重和を決定するように構成される、[C25]に記載の装置。
[C27]前記第1の値に適用される第1の重みおよび前記第2の値に適用される第2の重みは、前記オーディオ信号のハイバンドのエネルギー変動に基づいて決定される、[C26]に記載の装置。
[C28]前記第1の重みおよび前記第2の重みは、前記第1の部分に対応する第1のハイバンドのエネルギー値に基づいて、および前記第2の部分に対応する第2のハイバンドのエネルギー値にさらに基づいて、決定される、[C27]に記載の装置。
[C29]前記第1の重みは、第1の閾値を超える前記第1のハイバンドのエネルギー値に応答して、または第2の閾値を超える前記第2のハイバンドのエネルギー値に応答して、前記第2の重みよりも大きいように選択され、ここにおいて、前記第1の閾値は、倍率によって変倍された前記第2のハイバンドのエネルギー値に対応し、ここにおいて、前記第2の閾値は、前記倍率によって変倍された前記第1のハイバンドのエネルギー値に対応する、[C28]に記載の装置。
[C30]前記第3の値を生成することは、前記オーディオ信号に対応するスペクトル歪みにさらに基づく、[C25]に記載の装置。
[C31]前記第3の値を生成することは、前記オーディオ信号に対応するコーディングタイプの指示にさらに基づく、[C25]に記載の装置。
[C32]混合係数の第1の値および前記混合係数の第2の値に少なくとも部分的に基づいて前記混合係数の第3の値を生成するための手段、ここにおいて、前記第1の値は、オーディオエンコーダで受け取られるオーディオ信号の第1の部分に対応し、ここにおいて、前記第2の値は前記オーディオ信号の第2の部分に対応する、と、
変調されたノイズとローバンド励振信号の変換されたバージョンとを結合することによって前記オーディオ信号のハイバンド部分に対応するハイバンド励振信号を生成するための手段、前記ローバンド励振信号は前記オーディオ信号のローバンド部分に対応する、を備え、と、
ここにおいて、前記生成するための手段は、前記第3の値に基づいて、前記変調されたノイズと前記ローバンド励振信号の前記変換されたバージョンとを結合するように構成される、装置。
[C33]前記第1の値に適用される第1の重みおよび前記第2の値に適用される第2の重みは、前記オーディオ信号のハイバンドのエネルギー変動に基づいて決定される、[C32]に記載の装置。
[C34]前記第3の値は、前記オーディオ信号に対応するスペクトル歪みにさらに基づいて生成される、[C32]に記載の装置。
[C35]前記第3の値は、前記オーディオ信号に対応するコーディングタイプの指示にさらに基づいて生成される、[C32]に記載の装置。
[C36]コンピュータによって実行されるとき、前記コンピュータに、
混合係数の第1の値を受け取らせ、前記第1の値は、オーディオエンコーダで受け取られたオーディオ信号の第1の部分に対応する、
前記混合係数の第2の値を受け取らせ、前記第2の値は、前記オーディオ信号の第2の部分に対応する、
前記第1の値および前記第2の値に少なくとも部分的に基づいて前記混合係数の第3の値を生成させ、
前記混合係数の前記第3の値に基づいて励振信号を変調されたノイズと混合させる、命令を備える非一時的コンピュータ可読媒体。
[C37]前記コンピュータによって実行されるとき、前記コンピュータに前記オーディオ信号のハイバンド部分に対応するハイバンド励振信号を生成させる命令をさらに備え、ここにおいて、前記ハイバンド励振信号は、前記変調されたノイズと前記励振信号とを結合することに基づいて生成され、ここにおいて、前記励振信号はローバンド励振信号の変換されたバージョンに対応し、前記ローバンド励振信号は前記オーディオ信号のローバンド部分に対応する、[C36]に記載のコンピュータ可読媒体。
[C38]前記ハイバンド励振信号は、前記変調されたノイズと前記ローバンド励振信号の前記変換されたバージョンの加重和を備える、[C37]に記載のコンピュータ可読媒体。
[C39]前記第1の値は、前記オーディオ信号の第1のサブフレームのローバンド部分に基づいて生成され、ここにおいて、前記第2の値は、前記オーディオ信号の第2のサブフレームのローバンド部分に基づいて生成される、[C36]に記載のコンピュータ可読媒体。
[C40]オーディオ信号に対応するスペクトル周波数値の第1のセットを決定するように構成された分析フィルタと、
前記スペクトル周波数値の第1のセットの近似値を求めるスペクトル周波数値の第2のセットを生成するように構成された量子化器と、
前記第1のセットと前記第2のセットの間の差に基づいて前記オーディオ信号の少なくとも一部分に対応するゲイン値を調整するように構成されたゲイン回路と、を備える装置。
[C41]スペクトル歪み計算器は、前記第1のセットと前記第2のセットの間の前記差に対応するスペクトル歪みを推定するように構成される、[C40]に記載の装置。
[C42]前記スペクトル歪み計算器は、前記スペクトル周波数値の第1のセット内の値と比較した前記スペクトル周波数値の第2のセット内の値の平均2乗誤差に従って前記スペクトル歪みを決定するように構成される、[C41]に記載の装置。
[C43]前記スペクトル歪み計算器は、前記スペクトル周波数値の第1のセット内の値と比較した前記スペクトル周波数値の第2のセット内の値の間の差の絶対値に従って前記スペクトル歪みを決定するように構成される、[C41]に記載の装置。
[C44]オーディオ信号に対応するスペクトル周波数値の第1のセットを決定するための手段と、
前記スペクトル周波数値の第1のセットの近似値を求めるスペクトル周波数値の第2のセットを生成するための手段と、
前記第1のセットと前記第2のセットの間の差に基づいて前記オーディオ信号の少なくとも一部分に対応するゲイン値を調整するための手段と、を備える装置。
[C45]前記スペクトル周波数値の第1のセットは線スペクトル周波数(LSF)値を備え、前記スペクトル周波数値の第2のセットは量子化されたLSF値を備える、[C44]に記載の装置。
[C46]前記スペクトル周波数値の第1のセットは線形予測係数(LPC)値を備え、前記スペクトル周波数値の第2のセットは量子化されたLPC値を備える、[C44]に記載の装置。
[C47]前記スペクトル周波数値の第1のセットに基づいてコードブックを検索することによって前記スペクトル周波数値の第2のセットを決定するための手段をさらに備える、[C44]に記載の装置。
[C48]コンピュータによって実行されるとき、前記コンピュータに、
オーディオ信号に対応するスペクトル周波数値の第1のセットを決定させ、
前記スペクトル周波数値の第1のセットの近似値を求めるスペクトル周波数値の第2のセットを決定させ、
前記第1のセットと前記第2のセットの間の差に基づいて前記オーディオ信号の少なくとも一部分に対応するゲイン値を調整させる、命令を備える、非一時的コンピュータ可読媒体。
[C49]前記ゲイン値は前記オーディオ信号のフレームのフレームゲインに対応し、ここにおいて、前記コンピュータに前記ゲイン値を調整させる前記命令は、前記コンピュータに、
前記スペクトル周波数値の第1のセットと前記スペクトル周波数値の第2のセットの間のスペクトル歪みを決定させ、
前記スペクトル歪みに基づいてゲイン係数を決定させ、
前記ゲイン係数を前記フレームゲインに適用することによって前記フレームゲインを調整させる、命令を備える、[C48]に記載のコンピュータ可読媒体。
Claims (12)
- オーディオコーディングの方法であって、
混合係数の第1の値を受け取ること、前記第1の値は、オーディオ信号の第1の部分に対応し、と、
前記混合係数の第2の値を受け取ること、前記第2の値は、前記第1の部分の後の前記オーディオ信号の第2の部分に対応し、と、
前記オーディオ信号に対応するコーディングタイプの指示に基づき、前記第1の値と前記第2の値との間の平滑化をすることによって、前記混合係数の第3の値を生成することと、前記コーディングタイプの指示が有声フレームに対応するとき、前記平滑化が使用可能にされ、
前記オーディオ信号のハイバンド部分に対応するハイバンド励振信号を生成すること、ここにおいて、前記ハイバンド励振信号は、前記第3の値が乗じられた励振信号と変調されたノイズとを混合することに基づいて生成され、前記励振信号はローバンド励振信号の変換されたバージョンに対応し、前記ローバンド励振信号は前記オーディオ信号のローバンド部分に対応する、方法。 - 前記ハイバンド励振信号は、前記変調されたノイズと前記ローバンド励振信号の前記変換されたバージョンの加重和を備える、請求項1に記載の方法。
- 前記第3の値を生成することは、前記第1の値と前記第2の値の加重和を決定することを備える、請求項1に記載の方法。
- 前記第3の値を生成することは、前記オーディオ信号に対応するスペクトル歪みにさらに基づき、前記スペクトル歪みは、スペクトル周波数値のセットと量子化されたスペクトル周波数値のセットに基づく、請求項1に記載の方法。
- 前記第1の部分は、前記オーディオ信号の第1のサブフレームを備え、前記第2の部分は、前記オーディオ信号の第2のサブフレームを備える、請求項1に記載の方法。
- 前記第1のサブフレームおよび前記第2のサブフレームは前記オーディオ信号の単一フレーム内にある、請求項5に記載の方法。
- 前記第1のサブフレームおよび前記第2のサブフレームは前記オーディオ信号の異なるフレーム内にある、請求項5に記載の方法。
- オーディオコーディングのための装置であって、
オーディオ信号に対応するコーディングタイプの指示に基づき、混合係数の第1の値と前記混合係数の第2の値との間の平滑化をすることによって、前記混合係数の第3の値を生成するための手段、ここにおいて、前記第1の値は、前記オーディオ信号の第1の部分に対応し、ここにおいて、前記第2の値は前記第1の部分の後の前記オーディオ信号の第2の部分に対応し、ここにおいて、前記コーディングタイプの指示が有声フレームに対応するとき、前記平滑化が使用可能にされ、と、
変調されたノイズと、前記第3の値が乗じられたローバンド励振信号の変換されたバージョンとを結合することによって、前記オーディオ信号のハイバンド部分に対応するハイバンド励振信号を生成するための手段と、ここにおいて、前記ローバンド励振信号は前記オーディオ信号のローバンド部分に対応し、
を備える装置。 - 請求項2から7のうちのいずれか1つに従う方法における各処理を実行するための手段を備える、請求項8に記載の装置。
- コンピュータ可読記憶媒体であって、
コンピュータによって実行されるとき、前記コンピュータに、
混合係数の第1の値を受け取らせ、前記第1の値は、オーディオ信号の第1の部分に対応し、
前記混合係数の第2の値を受け取らせ、前記第2の値は、前記第1の部分の後の前記オーディオ信号の第2の部分に対応し、
前記オーディオ信号に対応するコーディングタイプの指示に基づき、前記第1の値と前記第2の値との間の平滑化をすることによって、前記混合係数の第3の値を生成させ、前記コーディングタイプの指示が有声フレームに対応するとき、前記平滑化が使用可能にされ、
前記オーディオ信号のハイバンド部分に対応するハイバンド励振信号を生成させ、ここにおいて、前記ハイバンド励振信号は、前記第3の値が乗じられた励振信号と変調されたノイズとを混合することに基づいて生成され、前記励振信号はローバンド励振信号の変換されたバージョンに対応し、前記ローバンド励振信号は前記オーディオ信号のローバンド部分に対応する、
命令を備えるコンピュータ可読記憶媒体。 - コンピュータによって実行されるとき、前記コンピュータに、請求項2から7のうちのいずれか1つに従う方法における各処理を実行させる命令を備える、請求項10に記載のコンピュータ可読記憶媒体。
- 前記ハイバンド励振信号に基づき合成されるハイバンド信号と前記オーディオ信号のハイバンド部分とに基づいて生成されるゲイン値は、前記オーディオ信号の前記ハイバンド部分のスペクトル周波数値のセットと、前記オーディオ信号の前記ハイバンド部分の量子化されたスペクトル周波数値のセットとの差に基づいて調整される、請求項1に記載の方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361762810P | 2013-02-08 | 2013-02-08 | |
US61/762,810 | 2013-02-08 | ||
US14/012,749 US9601125B2 (en) | 2013-02-08 | 2013-08-28 | Systems and methods of performing noise modulation and gain adjustment |
US14/012,749 | 2013-08-28 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015556931A Division JP2016507783A (ja) | 2013-02-08 | 2013-08-29 | ノイズ変調とゲイン調整とを実行するシステムおよび方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019105468A Division JP6752936B2 (ja) | 2013-02-08 | 2019-06-05 | ノイズ変調とゲイン調整とを実行するシステムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018109770A JP2018109770A (ja) | 2018-07-12 |
JP6538209B2 true JP6538209B2 (ja) | 2019-07-03 |
Family
ID=51298067
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015556931A Withdrawn JP2016507783A (ja) | 2013-02-08 | 2013-08-29 | ノイズ変調とゲイン調整とを実行するシステムおよび方法 |
JP2018005516A Active JP6538209B2 (ja) | 2013-02-08 | 2018-01-17 | ノイズ変調とゲイン調整とを実行するシステムおよび方法 |
JP2019105468A Active JP6752936B2 (ja) | 2013-02-08 | 2019-06-05 | ノイズ変調とゲイン調整とを実行するシステムおよび方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015556931A Withdrawn JP2016507783A (ja) | 2013-02-08 | 2013-08-29 | ノイズ変調とゲイン調整とを実行するシステムおよび方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019105468A Active JP6752936B2 (ja) | 2013-02-08 | 2019-06-05 | ノイズ変調とゲイン調整とを実行するシステムおよび方法 |
Country Status (23)
Country | Link |
---|---|
US (2) | US9601125B2 (ja) |
EP (2) | EP3174051B1 (ja) |
JP (3) | JP2016507783A (ja) |
KR (2) | KR102447846B1 (ja) |
CN (2) | CN104956438B (ja) |
AU (1) | AU2013377891B2 (ja) |
BR (1) | BR112015019042B1 (ja) |
CA (2) | CA2896965C (ja) |
DK (2) | DK3174051T3 (ja) |
ES (2) | ES2715476T3 (ja) |
HK (1) | HK1211374A1 (ja) |
HU (2) | HUE041373T2 (ja) |
IL (1) | IL239749A (ja) |
MX (1) | MX2015010225A (ja) |
MY (1) | MY170595A (ja) |
PH (1) | PH12015501671B1 (ja) |
PL (1) | PL3174051T3 (ja) |
PT (1) | PT3174051T (ja) |
RU (1) | RU2647666C2 (ja) |
SG (1) | SG11201505147PA (ja) |
SI (1) | SI3174051T1 (ja) |
UA (2) | UA123364C2 (ja) |
WO (1) | WO2014123585A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9601125B2 (en) * | 2013-02-08 | 2017-03-21 | Qualcomm Incorporated | Systems and methods of performing noise modulation and gain adjustment |
CN104517610B (zh) * | 2013-09-26 | 2018-03-06 | 华为技术有限公司 | 频带扩展的方法及装置 |
US10083708B2 (en) * | 2013-10-11 | 2018-09-25 | Qualcomm Incorporated | Estimation of mixing factors to generate high-band excitation signal |
US10210871B2 (en) * | 2016-03-18 | 2019-02-19 | Qualcomm Incorporated | Audio processing for temporally mismatched signals |
EP3382703A1 (en) | 2017-03-31 | 2018-10-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and methods for processing an audio signal |
US10586546B2 (en) | 2018-04-26 | 2020-03-10 | Qualcomm Incorporated | Inversely enumerated pyramid vector quantizers for efficient rate adaptation in audio coding |
US10573331B2 (en) * | 2018-05-01 | 2020-02-25 | Qualcomm Incorporated | Cooperative pyramid vector quantizers for scalable audio coding |
JP2024511636A (ja) * | 2021-03-31 | 2024-03-14 | ヒョンダイ モーター カンパニー | インター予測にディープラーニングベースのインループフィルタを用いるビデオコーディング方法及び装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3457293B2 (ja) | 2001-06-06 | 2003-10-14 | 三菱電機株式会社 | 雑音抑圧装置及び雑音抑圧方法 |
US7146313B2 (en) | 2001-12-14 | 2006-12-05 | Microsoft Corporation | Techniques for measurement of perceptual audio quality |
CA2388439A1 (en) * | 2002-05-31 | 2003-11-30 | Voiceage Corporation | A method and device for efficient frame erasure concealment in linear predictive based speech codecs |
ES2249985B1 (es) | 2004-06-25 | 2007-06-16 | Universidad De Sevilla | Molienda mecanica de polvos activada por radiacion ultravioleta. |
JP4977472B2 (ja) | 2004-11-05 | 2012-07-18 | パナソニック株式会社 | スケーラブル復号化装置 |
JP2006197391A (ja) | 2005-01-14 | 2006-07-27 | Toshiba Corp | 音声ミクシング処理装置及び音声ミクシング処理方法 |
CN101180676B (zh) * | 2005-04-01 | 2011-12-14 | 高通股份有限公司 | 用于谱包络表示的向量量化的方法和设备 |
JP5129117B2 (ja) | 2005-04-01 | 2013-01-23 | クゥアルコム・インコーポレイテッド | 音声信号の高帯域部分を符号化及び復号する方法及び装置 |
KR20070115637A (ko) | 2006-06-03 | 2007-12-06 | 삼성전자주식회사 | 대역폭 확장 부호화 및 복호화 방법 및 장치 |
US9454974B2 (en) | 2006-07-31 | 2016-09-27 | Qualcomm Incorporated | Systems, methods, and apparatus for gain factor limiting |
US9009032B2 (en) | 2006-11-09 | 2015-04-14 | Broadcom Corporation | Method and system for performing sample rate conversion |
US8005671B2 (en) * | 2006-12-04 | 2011-08-23 | Qualcomm Incorporated | Systems and methods for dynamic normalization to reduce loss in precision for low-level signals |
US8688441B2 (en) * | 2007-11-29 | 2014-04-01 | Motorola Mobility Llc | Method and apparatus to facilitate provision and use of an energy value to determine a spectral envelope shape for out-of-signal bandwidth content |
JP5266341B2 (ja) * | 2008-03-03 | 2013-08-21 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号処理方法及び装置 |
US8463599B2 (en) * | 2009-02-04 | 2013-06-11 | Motorola Mobility Llc | Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder |
US8600737B2 (en) * | 2010-06-01 | 2013-12-03 | Qualcomm Incorporated | Systems, methods, apparatus, and computer program products for wideband speech coding |
CN102802112B (zh) | 2011-05-24 | 2014-08-13 | 鸿富锦精密工业(深圳)有限公司 | 具有音频文件格式转换功能的电子装置 |
US9129600B2 (en) * | 2012-09-26 | 2015-09-08 | Google Technology Holdings LLC | Method and apparatus for encoding an audio signal |
US9601125B2 (en) | 2013-02-08 | 2017-03-21 | Qualcomm Incorporated | Systems and methods of performing noise modulation and gain adjustment |
-
2013
- 2013-08-28 US US14/012,749 patent/US9601125B2/en active Active
- 2013-08-29 KR KR1020217008112A patent/KR102447846B1/ko active IP Right Grant
- 2013-08-29 JP JP2015556931A patent/JP2016507783A/ja not_active Withdrawn
- 2013-08-29 UA UAA201806870A patent/UA123364C2/uk unknown
- 2013-08-29 SI SI201331363T patent/SI3174051T1/sl unknown
- 2013-08-29 UA UAA201508653A patent/UA117745C2/uk unknown
- 2013-08-29 DK DK17150969.8T patent/DK3174051T3/en active
- 2013-08-29 EP EP17150969.8A patent/EP3174051B1/en active Active
- 2013-08-29 HU HUE17150969A patent/HUE041373T2/hu unknown
- 2013-08-29 EP EP13766166.6A patent/EP2954525B1/en active Active
- 2013-08-29 MY MYPI2015702275A patent/MY170595A/en unknown
- 2013-08-29 HU HUE13766166A patent/HUE031761T2/en unknown
- 2013-08-29 ES ES17150969T patent/ES2715476T3/es active Active
- 2013-08-29 PL PL17150969T patent/PL3174051T3/pl unknown
- 2013-08-29 DK DK13766166.6T patent/DK2954525T3/en active
- 2013-08-29 PT PT17150969T patent/PT3174051T/pt unknown
- 2013-08-29 MX MX2015010225A patent/MX2015010225A/es unknown
- 2013-08-29 RU RU2015138115A patent/RU2647666C2/ru active
- 2013-08-29 WO PCT/US2013/057368 patent/WO2014123585A1/en active Application Filing
- 2013-08-29 SG SG11201505147PA patent/SG11201505147PA/en unknown
- 2013-08-29 CN CN201380071698.XA patent/CN104956438B/zh active Active
- 2013-08-29 AU AU2013377891A patent/AU2013377891B2/en active Active
- 2013-08-29 CN CN201910418587.0A patent/CN110136742B/zh active Active
- 2013-08-29 KR KR1020157023466A patent/KR102232095B1/ko active IP Right Grant
- 2013-08-29 CA CA2896965A patent/CA2896965C/en active Active
- 2013-08-29 BR BR112015019042-1A patent/BR112015019042B1/pt active IP Right Grant
- 2013-08-29 ES ES13766166.6T patent/ES2625042T3/es active Active
- 2013-08-29 CA CA3058998A patent/CA3058998C/en active Active
-
2015
- 2015-07-01 IL IL239749A patent/IL239749A/en active IP Right Grant
- 2015-07-28 PH PH12015501671A patent/PH12015501671B1/en unknown
- 2015-12-07 HK HK15112032.8A patent/HK1211374A1/xx unknown
-
2017
- 2017-02-02 US US15/422,856 patent/US9899032B2/en active Active
-
2018
- 2018-01-17 JP JP2018005516A patent/JP6538209B2/ja active Active
-
2019
- 2019-06-05 JP JP2019105468A patent/JP6752936B2/ja active Active
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6538209B2 (ja) | ノイズ変調とゲイン調整とを実行するシステムおよび方法 | |
AU2019203827B2 (en) | Estimation of mixing factors to generate high-band excitation signal | |
JP2016539355A (ja) | ハイバンド時間的特性の改善された追跡のための利得形状推定 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190605 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6538209 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |