JP6110314B2 - 整列したルックアヘッド部分を用いてオーディオ信号を符号化及び復号するための装置並びに方法 - Google Patents

整列したルックアヘッド部分を用いてオーディオ信号を符号化及び復号するための装置並びに方法 Download PDF

Info

Publication number
JP6110314B2
JP6110314B2 JP2013553900A JP2013553900A JP6110314B2 JP 6110314 B2 JP6110314 B2 JP 6110314B2 JP 2013553900 A JP2013553900 A JP 2013553900A JP 2013553900 A JP2013553900 A JP 2013553900A JP 6110314 B2 JP6110314 B2 JP 6110314B2
Authority
JP
Japan
Prior art keywords
data
frame
window
predictive
transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013553900A
Other languages
English (en)
Other versions
JP2014510305A (ja
Inventor
エマヌエル・ラベリ
ラルフ・ゲイゲル
マルクス・シュネル
ギルラウム・フッハス
ヴェザ・ルオッピラ
トム・ベックシュトレーム
ベルンハルド・グリル
クリスティアン・ヘルムリヒ
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2014510305A publication Critical patent/JP2014510305A/ja
Application granted granted Critical
Publication of JP6110314B2 publication Critical patent/JP6110314B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/10Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025Detection of transients or attacks for time/frequency resolution switching
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/012Comfort noise or silence coding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/03Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G10L19/07Line spectrum pair [LSP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/10Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
    • G10L19/107Sparse pulse excitation, e.g. by using algebraic codebook
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G10L19/13Residual excited linear prediction [RELP]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/22Mode decision, i.e. based on audio signal content versus external parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering

Description

本発明はオーディオ符号化に係り、より詳細には、交換型のオーディオエンコーダとこれに対応して制御されるオーディオデコーダによるオーディオ符号化、特に低遅延応用に適したオーディオ符号化に関する。
交換型のコーデック(符号器/復号器)によるいくつかのオーディオ符号化の概念が知られている。1つの周知のオーディオ符号化の概念は、3GPP TS 26.290 B10.0.0(2011−03)に記載されているように、いわゆる拡張された広帯域化オーディオ符号化方式(AMR−WB+:Extended Adaptive Multi-Rate- Wideband)コーデックである。AMR−WB+オーディオコーデックはAMR−WBスピーチコーデックモード1〜9、AMR−WB VAD(有音/無音検出:Voice Activity Detection)及びDTX(不連続送信:Discontinuous Transmission)の全てを含む。AMR−WB+はTCX(変換符号励起:Transform Coded Excitation)、帯域拡張、及びステレオを加えることによってAMR−WBコーデックを拡張している。
AMR−WB+オーディオコーデックは内部サンプリング周波数Fsで2048サンプルの入力フレームを処理する。内部サンプリング周波数は12800〜38400Hzの範囲に限定されている。2048サンプルのフレームは、2つの厳密にサンプリングされた等しい周波数帯域に分割される。これによって低周波(LF)帯域と高周波(HF)帯域に対応する1024サンプルの2つのスーパーフレームが得られる。各スーパーフレームは、256サンプルの4つのフレームに分割される。内部サンプリングレートにおけるサンプリングは可変サンプリング変換方式を用いて行われ、この方式は入力信号を再サンプリングする。
その後、LF信号とHF信号は、2つの異なる手法を使用して符号化される。LF信号は交換型のACELP(代数符号励振線形予測:Algebraic Code Excited Linear Prediction)及びTCXに基づく「コア」エンコーダ/デコーダを使用して符号化及び復号される。ACELPモードにおいて標準AMR−WBコーデックが使用される。HF信号は、帯域幅拡張(BWE)方法を使用して比較的少数のビット(16ビット/フレーム)で符号化される。エンコーダからデコーダに送られるパラメータは、モード選択ビット、LFパラメータ及びHFパラメータである。各1024サンプルのスーパーフレームに対するパラメータは同一サイズの4つのパケットに分解される。入力信号がステレオの場合、左チャネルと右チャネルが結合されてACELP/TCX符号化のためのモノラル信号になるが、ステレオ符号化は両方の入力チャネルを受けとる。デコーダ側において、LF帯域とHF帯域は個別に復号された後、合成フィルタバンクで結合される。出力がモノラルのみに制限される場合、ステレオパラメータは省略され、デコーダはモノラルモードで動作する。LF信号を符号化する際、AMR−WB+コーデックはACELPモードとTCXモードの両方にLP(線形予測:Linear Prediction)分析を適用する。LP係数は64サンプルのサブフレームのすべてにおいて線形補間される。LP分析窓は384サンプル長のハーフ・コサイン(半余弦)である。コアモノラル信号を符号化するために、ACELP符号化又はTCX符号化のいずれかがフレームごとに使用される。符号化モードは、閉ループ分析合成方法に基づいて選択される。ACELPフレームとしては256サンプルのフレームだけが符号化されるが、TCXモードでは256、512又は1024サンプルのフレームが符号化可能である。図5Bには、AMR−WB+のLPC(線形予測符号化:linear prediction coding)分析に使用される窓が示されている。20ms(ミリ秒)のルックアヘッドをもつ対称形LPC分析窓が使用されている。ルックアヘッドとは、図5Bに示されているように、符号500で示されている現在フレームに対するLPC分析窓が、符号502で示されている現在フレーム(図5Bでは0msと20msの間)内に広がるだけでなく将来フレーム(図5Bでは20msと40msの間)にも広がることを意味する。このことは、このLPC分析窓を用いることによって、20msの更なる遅延、すなわち、将来フレーム全体に及ぶ遅延、が必要であることを意味する。したがって、図5Bにおいて符号504で示されているルックアヘッド部分はAMR−WB+エンコーダに関連づけられた体系的な遅延をもたらす。換言すれば、将来フレームは、現在フレーム502のためのLPC分析係数を計算できるように完全に利用できなければならない。
図5Aは、いわゆるAMR−WBコーダと呼ばれる更なるエンコーダと、特に、現在フレームのための分析係数を計算するために用いられるLPC分析窓と、を示している。ここでもまた、現在フレームは0msと20msの間に広がり、将来フレームは20msと40msの間に広がる。図5Bとは対照的に、符号506で示されるAMR−WBのLPC分析窓は、5msだけ、つまり20msから25msの間の時間距離をもつルックアヘッド部分508をもっている。よって、LPC分析により導入される遅延は、図5Aに対して実質的に縮小される。しかしながら、一方では、次のことが分かった。LPC係数を求めるためのルックアヘッド部分、すなわちLPC分析窓に対するルックアヘッド部分、が大きいほどLPC係数がよくなり、それゆえ残留信号におけるエネルギーが小さくなり、ビットレートが低くなる。これは、LPC予測がオリジナル信号によりよく適合するからである。
図5A及び図5Bは、1つのフレームに対するLPC係数を求めるために単一の分析窓だけをもつエンコーダに関するが、図5CはG.718のスピーチコーダの状況を示している。G718(06−2008)の仕様は、送信システム、媒体ディジタルシステム及びネットワークに関係しており、特にディジタル端末装置を記載している。特にディジタル端末装置のための音声信号とオーディオ信号の符号化について記載している。具体的には、この基準は、ITU‐T(国際電気通信連合)勧告のG718に定義されているように8〜32キロビット/秒のスピーチ及びオーディオのロバスト(robust)な狭帯域と広帯域の埋め込み可変ビットレート符号化に関係している。入力信号は20msのフレームを使用して処理される。コーデックの遅延は入力と出力のサンプリングレートに依存する。広帯域の入力と出力に対して、この符号化の全体的なアルゴリズムの遅延は42.875msである。この遅延は、1つの20msフレーム、入出力再サンプリングフィルタの1.875msの遅延、エンコーダルックアヘッドの10ms、後フィルタリングの1msの遅延、及びデコーダにおけるより上位レイヤ変換符号化のオーバーラップ加算演算を可能にするための10msからなる。狭帯域入力と狭帯域出力に対しては上位レイヤが使用されないが、10msのデコーダ遅延はフレーム消失が生じた場合と音楽信号に対する符号化性能を向上させるために使用される。出力がレイヤ2に限定される場合は、コーデック遅延を10msだけ縮小することができる。エンコーダの説明は以下の通りである。下位の2レイヤは12.8kHzでサンプリングされ前強調(pre-emphasized)された信号に適用され、上位の3レイヤは16kHzでサンプリングされた入力信号ドメイン内で動作する。コア層は符号励振線形予測(CELP)技術に基づいており、この技術においてスピーチ信号はスペクトル包絡線を表す線形予測(LP)合成フィルタを通過した励振信号によってモデル化される。LPフィルタは、交換型の予測手法及び多段ベクトル量子化を用いてイミタンススペクトル周波数(ISF:immittance spectral frequency)ドメイン内で量子化される。開ループピッチ分析は、平滑なピッチ輪郭を確実にするためにピッチ追跡アルゴリズムにより実行される。2つの並行ピッチエボリューシン輪郭が比較され、ピッチ推測をよりロバストにするためにより平滑な輪郭を形成する軌跡が選択される。フレームレベルの前処理は高域フィルタリング、毎秒12800サンプルへのサンプリング変換、前強調、スペクトル分析、狭帯域入力の検出、音声活動検出、ノイズ推測、ノイズ減少、線形予測分析、LPからISFへの変換、並びに補間、重み付けされたスピーチ信号の演算、開ループピッチ分析、背景ノイズ更新、符号化モード選択のための信号分類及びフレーム消失隠蔽を含む。選択された符号化タイプを使用するレイヤ1の符号化は、無声符号化モード、有声符号化モード、遷移符号化モード、汎用符号化モード、並びに不連続送信及び雑音生成(DTX/CNG:discontinuous transmission and comfort noise generation)を含む。
自己相関手法を用いた長期予測又は線形予測(LP)分析は、CELP(符号励振線形予測:Code Excited Linear Prediction)モデルの合成フィルタの係数を求める。しかしながら、CELPにおいては、長期予測は、通常、「適応コードブック」であるため、線形予測とは異なる。よって、線形予測は短期予測と見なすことができる。窓化されたスピーチの自己相関はレビンソン−ダービン(・・・・・・・・‐・・・・・・)アルゴリズムを使用してLP係数へ変換される。その後、LPC係数はイミタンススペクトルペア(ISP)に変換され、結果的に、量子化と補間目的のためにイミタンススペクトル周波数(ISF)へ変換される。補間された量子化係数と逆量子化係数は、サブフレームごとの合成フィルタと重み付けフィルタを構築するためにLPドメインへ変換して戻される。アクティブ信号フレームの符号化の場合、図5Cにおいて符号510及び512で示されている2つのLPC分析窓を用いて2セットのLP係数が各フレームにおいて推測される。窓512は「中間フレームLPC窓」と呼ばれ、窓510は「エンドフレームLPC窓」と呼ばれる。10msのルックアヘッド部分514はフレームエンド自己相関計算のために使用される。そのフレーム構造は図5Cに示されている。フレームは4つのサブフレームに分割され、各サブフレームは12.8kHzのサンプリングレートにおいて64サンプルに相当する5msの長さをもつ。フレームエンド分析と中間フレーム分析のための窓は、図5Cに示されているように、第4のサブフレームと第2のサブフレームにそれぞれの中心を置いている。320サンプル長をもつハミング(Hamming)窓が窓化のために使用される。その係数は、G.718、6.4.1節において定義されている。その自己相関演算は6.4.2節に記載されている。レビンソン−ダービンアルゴリズムは6.4.3節に、LPからISPへの変換は6.4.4節に、ISPからLPへの変換は6.4.5節に記載されている。
適応コードブック遅延及び適応コードブックゲインなどのスピーチ符号化パラメータ、代数コードブックインデックス並びにゲインは、入力信号と知覚的に重み付けされたドメインでの合成信号の間の誤差を最小にすることによって検索される。知覚的重み付けは、LPフィルタ係数から得られた知覚的重み付けフィルタを介して信号をフィルタリングすることにより実行される。知覚的に重み付けされた信号は開ループピッチ分析においても使用される。
G.718エンコーダは単一スピーチ符号化モードをもつだけの純粋スピーチコーダである。よって、G.718エンコーダは交換型のエンコーダではないことから、このエンコーダの欠点はコアレイヤ内で単一スピーチ符号化モードしか与えないことである。したがって、このコーダをスピーチ信号以外の信号、すなわち、一般的なオーディオ信号に用いた場合、CELP符号化の後ろのモデルが不適切になるという品質上の問題が発生する。
更なる交換型のコーデックは、所謂USACコーデック、すなわち、2010年9月24日付けのISO/IEC CD(国際標準化機構/国際電気標準会議 国際規格)23003−3において定義された統合型スピーチ/オーディオ符号化コーデックである。この交換型のコーデックに使用されるLPC分析窓が図5Dに符号516により示されている。ここでも、0msと20msの間に広がる現在フレームが想定され、よって、このコーデックのルックアヘッド部分518は20msであること、すなわち、G.718のルックアヘッド部分よりかなり大きいことがわかる。このように、USACエンコーダはその交換型の性質により良好なオーディオ品質を与えるが、この遅延は、図5Dに示されるLPC分析窓ルックアヘッド部分518によりかなり大きい。USACの一般的な構造は以下の通りである。まず、ステレオ又は多重チャネル処理を取り扱うMPEGサラウンド(MPEGS)機能単位と、入力信号におけるより高いオーディオ周波数のパラメータ表示を取り扱う強化SBR(eSBR)単位とからなる共通の前処理/後処理がある。次に、2つのブランチがある。1つのブランチは改良されたアドバンストオーディオコーディング(AAC:先進的オーディオ符号化)ツール経路からなる。他のブランチは線形予測符号化(LP又はLPCドメイン)ベース経路からなり、これはLPC残余の周波数ドメイン表示又は時間ドメイン表示のいずれかを特徴とする。ACとLPCの両方に対して送信された全てのスペクトルは、量子化と算術符号化の後、MDCT(Modified Discrete Cosine Transform: 変形離散コサイン変換)ドメインで表示される。時間ドメイン表示は、ACELP励振符号化方式を使用する。ACELPツールでは、長期予測器(適合コードワード)をパルス状シーケンス(イノベーションコードワード)に結合することによって時間ドメイン励振信号を効率的に表す方法が使用される。再構築された励振は、LP合成フィルタを介して送信されて、時間ドメイン信号を形成する。ACELPツールへの入力は、適応及びイノベーションコードブック索引と、適応及びイノベーションゲイン値と、他の制御データと、逆量子化及び補間されたLPCフィルタ係数と、を含む。ACELPツールの出力は、時間ドメインの再構築されたオーディオ信号である。
MDCTベースのTCX復号ツールは、MDCTドメインからの重み付けされたLP残余表示を時間ドメイン信号に逆変化させるように用いられ、重み付けされたLP合成フィルタリングを含む重み付けされた時間ドメイン信号を出力する。IMDCTは、256、512又は1024のスペクトル係数を支援するように構成することができる。TCXツールへの入力は、(逆量子化された)MDCTスペクトルと、逆量子化され補間されたLPCフィルタ係数と、を含む。TCXツールの出力は時間ドメインの再構築されたオーディオ信号である。
図6はUSACにおける状況を示しており、現在フレームに対するLPC分析窓516と過去又フレームは最終フレームに対するLPC分析窓520が示され、さらに、TCX窓522が示されている。TCX窓522の中心は、0msから20msの間に広がる現在フレームの中心に位置し、過去フレームへ10ms広がり、20msから40msの間に広がる将来フレームへ10ms広がっている。このように、LPC分析窓516は20msから40msの間、すなわち、20msのLPCルックアヘッド部分を必要とし、一方、TCX分析窓はまた20msから30msの間で将来フレームへ広がるルックアヘッド部分をもっている。このことは、USAC分析窓516によって導入される遅延が20msであり、一方、TCX窓によってエンコーダへ導入される遅延が10msであることを意味する。よって、両方の種類の窓のルックアヘッド部分が互いに整列しないことが明らかになる。したがって、TCX窓522が10msの遅延を導入するにすぎないとしても、エンコーダの全体の遅延はLPC分析窓516により20msになる。これにより、TCX窓に対するルックアヘッド部分が極めて小さくても、それによってエンコーダの全体のアルゴリズム的遅延が縮小されるわけではない。というのは、全体の遅延は最も影響の大きい遅延により決まるからである。その影響の大きい遅延とは、この場合、将来フレームへ20ms広がるLPC分析窓516による20msの遅延であり、LPC分析窓516は現在フレームをカバーするだけでなくさらに将来フレームもカバーする。
本発明の目的は、良好なオーディオ品質をもたらすとともに遅延縮小が得られるオーディオ符号化又は復号のための改良された符号化概念を提供することを目的とする。
本目的は、請求項1に記載のオーディオ信号を符号化するための装置、請求項15に記載のオーディオ信号を符号化する方法、請求項16に記載のオーディオデコーダ、請求項24に記載のオーディオ復号方法、又は請求項25に記載のコンピュータプログラムによって達成される。
本発明によれば、変換符号化ブランチと予測符号化ブランチをもつ交換型のオーディオコーデック方式が用いられる。重要なことは、2種類の窓、すなわち、一方の予測符号化分析窓と他方の変換符号化分析窓は、変換符号化ルックアヘッド部分と予測符号化ルックアヘッド部分が互いに一致するか、又は、異なっていてもその差異が変換符号化ルックアヘッド部分の20%未満もしくは予測符号化ルックアヘッド部分の20%未満であるように、それらのルックアヘッド部分に関して整列していることである。予測分析窓は予測符号化ブランチにおいてのみならず、実際には両方のブランチにおいて使用されることに留意されたい。LPC分析は変換ドメインの雑音を整形するためにも使用される。したがって、言い換えれば、ルックアヘッド部分は互いに一致するか又は極めて近接している。これにより、最適な妥協が得られ、しかもオーディオ品質も遅延特徴も次善の方法をとらなくてもすむことが確実となる。それ故、分析窓の予測符号化については、ルックアヘッドが長くなるほどLPC分析の方がよいが、ルックアヘッド部分が長くなるにつれて遅延が大きくなることがわかる。他方で、同じことがTCX窓に当てはまる。TCX窓のルックアヘッド部分が長くなるほど、長いTCX窓によって一般に低いビットレートが得られるので、TCXビットレートをより縮小することができる。したがって、本発明によれば、ルックアヘッド部分は互いに一致しているか、又は互いに極めて近接しており、特に、異なるにしても20%未満で異なっているにすぎない。したがって、遅延理由次第では望ましくない場合もあるが、他方では、そのルックアヘッド部分は、符号化/復号ブランチの両方によって最適に使用される。
以上に鑑みて、本発明は、一方では、両方の分析窓に対するルックアヘッド部分が低く設定されるという改良された符号化概念を提供するとともに、他方では、オーディオ品質又はビットレートによる理由から導入の必要が生じる遅延が単一の符号化ブランチのみならず両方の符号化ブランチによっていずれにしろ最適に使用されるという事実によって良好な特徴をもつ符号化/復号概念を提供する。
オーディオサンプルのストリームをもつオーディオ信号を符号化するための装置が窓化器を備え、その窓化器は予測分析のための窓化データを取得するためにオーディオサンプルのストリームに予測符号化分析窓を適用し、変換分析のための窓化データを取得するためにオーディオサンプルのストリームに変換符号化分析窓を適用する。変換符号化分析窓は、オーディオサンプルの現在フレームのオーディオサンプルと、変換符号化ルックアヘッド部分である、オーディオサンプルの将来フレームの所定のルックアヘッド部分に関連づけられる。
さらに、予測符号化分析窓は、現在フレームのオーディオサンプルの少なくとも一部と、予測符号化ルックアヘッド部分である、将来フレームの所定の部分のオーディオサンプル、とに関連づけられている。
変換符号化ルックアヘッド部分と予測符号化ルックアヘッド部分は互いに一致しているか、又は、互いから予測符号化ルックアヘッド部分の20%未満だけもしくは変換符号化ルックアヘッド部分の20%未満だけ異なっており、それ故、互いに極めて近接している。この装置は、予測分析のための窓化データを使用して現在フレームに対する予測符号化データを生成するか、又は、変換分析のための窓データを使用して現在フレームに対する変換符号化データを生成するための符号化プロセッサをさらに備えている。
符号化されたオーディオ信号を復号するためのオーディオデコーダは、符号化されたオーディオ信号から予測符号化フレームに対するデータの復号を実行するための予測パラメータデコーダを備え、第2のブランチに対しては、符号化されたオーディオ信号から変換符号化フレームに対するデータの復号を実行するための変換パラメータデコーダを備えている。
変換パラメータデコーダは、スペクトル時間変換、好ましくは、MDCT(Modified Discrete Cosine Transform: 変形離散コサイン変換)、MDST(Modified Discrete Sine Transform: 変形離散サイン変換)又は他のこのような変換などのエイリアシングの影響を受けたスペクトル時間変換を実行するように構成され、かつ現在フレームと将来フレームに対するデータを取得するために変換されたデータに合成窓を適用するように構成されている。オーディオデコーダによって用いられる合成窓は、第1のオーバーラップ部分、これに隣接する第2の非オーバーラップ部分及びこれに隣接する第3のオーバーラップ部分をもつようになされ、第3のオーバーラップ部分が将来フレームに対するオーディオサンプルに関連づけられ、非オーバーラップ部分が現在フレームのデータに関連づけられている。さらに、デコーダ側が良好なオーディオ品質をもつように、オーバーラップ加算器が適用されて、現在フレームに対する合成窓の第3のオーバーラップ部分に関連づけられた合成窓化サンプルと、将来フレームに対する合成窓の第1のオーバーラップ部分に関連付けられた合成窓化サンプルと、をオーバーラップさせて加算し、将来フレームに対するオーディオサンプルの第1の部分を取得する。その際、現在フレームと将来フレームが変換符号化データを含むとき、将来フレームに対するオーディオサンプルの残りのサンプルは、オーバーラップ加算なしで得られた将来フレームに対する合成窓の第2の非オーバーラップ部分に関連づけられた合成窓化サンプルである。
本発明の好ましい幾つかの実施形態は、TCXブランチなどの変換符号化ブランチとACELPブランチなどの予測符号化ブランチに対して同一のルックアヘッドは、両方の符号化モードが遅延の制約下で最大限利用可能なルックアヘッドをもつように互いに一致しているという特徴をもつ。さらに、TCX窓のオーバーラップがルックアヘッド部分に制限されることが好ましく、その場合は1つのフレームから次のフレームまでの変換符号化モードから予測符号化モードへの切換えがエイリアシング問題を意識せずに容易に実行できる。
オーバーラップをルックアヘッドに制限するさらなる理由は、デコーダ側に遅延を発生させないためである。10msのルックアヘッドと、例えば20msのオーバーラップをもつTCX窓があるとすると、デコーダにおいて10msのさらなる遅延が生じる。10msのルックアヘッドと10msのオーバーラップをもつTCX窓の場合は、デコーダ側でさらなる遅延は生じない。より簡単な切換えはその良い結果である。
したがって、分析窓、もちろん合成窓も、その第2の非オーバーラップ部分が現在フレームの終わりまで広がり、将来フレームでは第3のオーバーラップ部分がスタートするのみであることが好ましい。さらに、TCX又は変換符号化分析/合成窓の非ゼロ部分がフレームの始まりに整列し、これによって、再び、1つのモードから他のモードへの簡単で低効率の切換えが利用可能となる。
また、複数のサブフレーム、例えば4つのサブフレーム、からなるフレーム全体が、(TCXモードなどの)変換符号化モード又は(ACELPモードなどの)予測符号化モードのいずれかで完全に符号化することができることが好ましい。
さらに、単一のLPC分析窓のみならず2つの異なるLPC分析窓を使用し、一方のLPC分析窓が第4のサブフレームの中心に整列されるエンドフレーム分析窓であり、他方の分析窓が第2のサブフレームの中心に整列される中間フレーム分析窓であることが好ましい。しかし、エンコーダが変換符号化に切り換えられる場合は、エンドフレームLPC分析窓に基づいてLPC分析から得られた単一LPC係数データセットを送信するだけにするのが好ましい。さらに、デコーダ側では、変換符号化合成、特に、TCX係数のスペクトル重み付けに対してこのLPCデータを直接使用しないことが好ましい。その代わり、現在フレームのエンドフレームLPC分析窓から得られたTCXデータを過去フレーム、すなわち、現在フレームの時間的に直前のフレームからエンドフレームLPC分析窓によって取得したデータで補間することが好ましい。全体フレームに対する単一セットのLPC係数のみをTCXモードで送信することによって、中間フレーム分析とエンドフレーム分析に対する2つのLPC係数データセットを送信するよりもビットレートをさらに縮小することができる。しかしながら、エンコーダがACELPモードに切り換えられた場合、両セットのLPC係数はエンコーダからデコーダに送られる。
さらに、中間フレームLPC分析窓は現在フレームの後半のフレーム境界においてすぐに終了し、かつ過去フレームへさらに広がることが好ましい。これはいかなる遅延を発生させない。過去フレームはすでに利用可能であり遅延なく利用できるからである。
一方、エンドフレーム分析窓は現在フレーム内のどこかの時点でスタートするが現在フレームの最初でスタートしないことが好ましい。しかしながら、このことは問題を生じない。というのは、TCX重み付けを形成する際、過去フレームに対するエンドフレームLPCデータセットと現在フレームに対するエンドフレームLPCデータセットの平均が使用され、その結果、最終的に、ある意味では、LPC係数を計算するために全てのデータが使用されるからである。したがって、エンドフレーム分析窓のスタートは過去フレームのエンドフレーム分析窓のルックアヘッド部分内に含まれることが好ましい。
デコーダ側において、1つのモードから他のモードへ切り換えるための経費が大幅に縮小される。その理由は、合成窓の非オーバーラップ部分(好ましくはそれ自体の中で対称形である)は、現在フレームのサンプルには関連づけられないが将来フレームのサンプルに関連づけられ、かつそれ故、ルックアヘッド部分、すなわち、将来フレーム内へ広がるだけであるからである。よって、合成窓は、好ましくは現在フレームの直ぐのスタート時点からスタートする第1のオーバーラップ部分のみが現在フレーム内にあり、第2の非オーバーラップ部分が第1のオーバーラップ部分の終わりから現在フレームの終わりまで広がり、これによって、第2のオーバーラップ部分がルックアヘッド部分に一致するようにされている。したがって、TCXからACELPへの遷移がある場合、合成窓のオーバーラップ部分によって得られたデータは単に破棄され、ACELPブランチから出て将来フレームの先頭から利用可能な予測符号化データに置き換えられる。
一方、ACELPからTCXへ切換えがある場合、いかなるデータもオーバーラップ「パートナー」を見つけるために再構築する必要がないように、非オーバーラップ部分をもつ現在フレームの最初、すなわち、スイッチング直後のフレーム、において直ぐスタートする特定の遷移窓が用いられる。その代わり、合成窓の非オーバーラップ部分は、デコーダにおいて必要とされるオーバーラップやオーバーラップ加算手順なしで正確なデータを提供する。

オーバーラップ加算手順は、オーバーラップ部分、すなわち、現在フレームに対する窓の第3の部分及び次のフレームに対する窓の第1の部分に対してのみ有用である。また、オーバーラップ加算手順は、単純なMDCTにおけるように、1つのブロックから他のブロックまで連続的なフェードイン/フェードアウトをもつように実行され、従来の技術において、用語「タイム・ドメイン・エイリアシング・キャンセル(TDAC)」としても知られているMDCTの厳密にサンプリングされた性質によって、ビットレートを高める必要なしに、最終的に良好なオーディオ品質を得る。
さらに、このデコーダが有用であるのは、ACELP符号化モードではエンコーダにおける中間フレーム窓とエンドフレーム窓から得られたLPCデータが送信され、一方、TCX符号化モードではエンドフレーム窓から得られた単一LPCデータセットのみが使用される点にある。しかしながら、TCX復号されたデータをスペクトル的に重み付けするために、送信されたLPCデータはそのまま使用せずに、過去フレームに対して得られたエンドフレームLPC分析窓からの対応するデータで平均化される。
次に、本発明の好ましい実施形態を添付図面を参照して説明する。
交換型のオーディオエンコーダを示すブロック図である。 対応する交換型のデコーダを示すブロック図である。 図1Bに示されている変換パラメータデコーダの詳細を示す図である。 図1Aのエンコーダの変換符号化モードの詳細を示す図である。 本発明の好ましい実施例による、一方でLPC分析のためのエンコーダに用いられる窓化器、他方で変換符号化分析のためのエンコーダに用いられる窓化器であり、図1Bの変換符号化デコーダに使用される合成窓を示す図である。 2より多いフレームの時間間隔にわたって整列したLPC分析窓及びTCX窓の窓シーケンスを示す図である。 TCXからACELPへの遷移状態及びACELPからTCXへの遷移に対する遷移窓を示す図である。 図1Aのエンコーダの詳細を示す図である。 あるフレームに対する符号化モードを決定するための分析−合成手順を示す図である。 本発明の更なる実施形態による、フレームごとのモード間で決定する図である。 現在フレームに2つの異なるLPC分析窓を使用することによって得られたLPCデータの計算及び使用法を示す図である。 エンコーダのTCXブランチに対するLPC分析窓を使って窓化することによって得られたLPCデータの使用法を示す図である。 AMR−WBに対するLPC分析窓を示す図である。 LPC分析のためにAMR−WB+の対称窓を示す図である。 G.718エンコーダに対するLPC分析窓を示す図である。 USACで使用されるLPC分析窓を示す図である。 現在フレームのためのLPC分析窓に対する現在フレームのためのTCX窓を示す図である。
図1Aはオーディオサンプルのストリームをもつオーディオ信号を符号化するための装置を示している。オーディオサンプル又はオーディオデータは100においてエンコーダに入る。オーディオデータは、予測分析のための窓化データを取得するためにオーディオサンプルのストリームに予測符号化分析窓を適用する窓化器(windower)102へ入力される。さらに、この窓化器102は、変換分析のための窓化データを取得するためにオーディオサンプルのストリームに変換符号化分析窓を適用するように構成されている。実施の方法にもよるが、LPC窓はオリジナル信号に直接は適用されないが、(例えば、AMR−WB、AMR−WB+、G718、及びUSACにおけるように)「前強調」信号に適用される。一方、TCX窓は、(USACにおけるように)オリジナル信号に直接適用される。しかしながら、両窓とも、同一信号に適用することもでき、又は、TCX窓は品質や圧縮効率を高めるために使用される前強調や任意の他の重み付けなどによってオリジナル信号から得られた処理ずみオーディオ信号に適用することもできる。
変換符号化分析窓は、オーディオサンプルの現在フレーム内のオーディオサンプルと、変換符号化ルックアヘッド部分である、オーディオサンプルの将来フレームの所定の部分のオーディオサンプルとに関連づけられている。
さらに、予測符号分析窓は、現在フレームのオーディオサンプルの少なくとも一部と、予測符号化ルックアヘッド部分である、将来フレームの所定の部分のオーディオサンプルとに関連づけられている。
ブロック102に略示されているように、変換符号化ルックアヘッド部分と予測符号化ルックアヘッド部分は互いに整列している。このことは、これらの部分が互いに一致しているか、又は、互いに異なっていても予測符号化ルックアヘッド部分の20%未満もしくは変換符号化ルックアヘッド部分の20%未満で異なっているにすぎないというように、互いに極めて近接していることを意味する。好ましくは、変換符号化ルックアヘッド部分と予測符号化ルックアヘッド部分は互いに一致しているか、又は予測符号化ルックアヘッド部分の高々5%未満もしくは変換符号化ルックアヘッド部分の高々5%未満で異なっているにすぎない。
このエンコーダは、予測分析のための窓化データを用いて現在フレームに対する予測符号化データを生成するか又は変換分析のための窓化データを用いて現在フレームに対する変換符号化データを生成するための符号化プロセッサ104をさらに備えている。
さらに、好ましくは、このエンコーダは、現在フレーム、実際には、フレームごとに、LPCデータ108a、及びライン108b上で変換符号化データ(TCXデータなど)又は予測符号化データ(ACELPデータ)を受けとるための出力インターフェース106を備えている。符号化プロセッサ104はこれら2種類のデータを出力し、入力として符号110aで示される予測分析用窓化データと符号110bで示される変換分析用窓化データを受けとる。さらに、符号化装置は符号化モード選択器又はコントローラ112を備え、これは入力としてオーディオデータ100を受けとり、制御ライン114aを介して符号化プロセッサ104へ制御データを出力し、又は制御ライン114bを介して出力インターフェース106へ制御データを出力する。
図3Aは、符号化プロセッサ104及び窓化器102に関してさらに詳細を示す。好ましくは、窓化器102は、第1のモジュールとしてLPC又は予測符号化分析窓化器102aを備え、第2のコンポーネント又はモジュールとして変換符号化窓化器(TCX窓化器など)102bを備えている。矢印300で示されているように、LPC分析窓とTCX窓は両窓のルックアヘッド部分が互いに一致するように整列しており、これは両方のルックアヘッド部分が同時刻になるまで将来フレームへ広がることを意味する。図3AでLPC窓化器102aから右方へ進む上段ブランチは予測符号化ブランチであり、LPC分析器及び補間器302、知覚的重み付けフィルタ又は重み付けブロック304、並びにACELPパラメータ計算器などの予測符号化パラメータ計算器306を備えている。オーディオデータ100はLPC窓化器102aと知覚的重み付けブロック304へ与えられる。さらに、オーディオデータはTCX窓化器へ与えられ、TCX窓化器の出力から右方へ進む下段ブランチは変換符号化ブランチを構成している。この変換符号化ブランチは、時間周波数変換ブロック310、スペクトル重み付けブロック312、及び処理/量子化符号化ブロック314を備えている。時間周波数変換ブロック310は、好ましくは、出力値より多数の入力値をもつMDCT、MDST又は任意の他の変換などのエイリアシング導入変換として実施される。時間−周波数変換は、TCX又は一般的には変換符号化窓化器102bによって出力された窓化データを入力する。
図3Aは、予測符号化ブランチについては、ACELP符号化アルゴリズムによるLPC処理を示しているが、従来技術において知られているCELPや任意の他の時間ドメイン・コーダなどの他の予測コーダも同様に適用することができる。但し、品質面及び効率面から、ACELPアルゴリズムが好ましい。
また、変換符号化ブランチついては、時間−周波数変換ブロック310でのMDCT処理が特に好ましいが、任意の他のスペクトルドメイン変換も同様に実行することができる。
さらに、図3Aは、ブロック310により出力されたスペクトル値をLPCドメインへ変換するためのスペクトル重み付け312を示している。このスペクトル重み付け312は、予測符号化ブランチにおけるブロック302によって生成されたLPC分析データから導出された重み付けデータによって実行される。しかしながら、これとは別に、時間ドメインにおいて時間ドメインからLPCドメインへの変換も実行することができる。この場合、LPC分析フィルタは予測残留時間ドメインデータを計算するためにTCX窓化器102bの前に配置されることになるだろう。しかしながら、時間ドメインからLPCドメインへの変換は、MDCTドメインなどのスペクトルドメイン内の対応する重み付けファクタへLPCデータから変換されたLPC分析データを用い、変換符号化データをスペクトル的に重み付けすることによって、スペクトルドメイン内で実行するの好ましいことが分かっている。
図3Bは、フレームごとの符号化モードの分析合成又は「閉ループ」判定を概略的に示す図である。このために、図3Cに示されているエンコーダは、符号104bで示されている完全な変換符号化エンコーダ及び変換符号化デコーダと、さらに符号104aで示されている完全な予測符号化エンコーダ及びそれに対応するデコーダを備えている。両ブロック104a、104bはオーディオデータを入力し、完全な符号化/復号動作を実行する。その後、両方の符号化ブランチ104a、104bに対する符号化/復号動作の結果がオリジナル信号と比較され、どちらの符号化モードの方がより良い品質が得られたかを見つけ出すために品質尺度が決定される。品質尺度は、例えば、3GPP TS 26.290の5.2.3節において記載されているセグメント化SN比又は平均セグメント化SN比とすることができる。しかしながら、符号化/復号結果とオリジナル信号との比較に典型的に依存する品質尺度であれば、任意の他の品質尺度も同様に使うことができる。
各ブランチ104a、104bから判定器112へ与えられた品質尺度に基づいて、判定器112は、現在検討中のフレームがACELPを使用して符号化すべきか又はTCXを使用して符号化すべきか判定する。この判定に続いて、符号化モード選択を実行するためにはいくつかの方法がある。1つの方法は、対応するエンコーダ/デコーダブロック104a、104bだけが現在フレームに対する符号化結果を出力インターフェース106へ出力するように、判定器112がエンコーダ/デコーダブロック104a、104bを制御する方法であり、その結果、ある特定のフレームに対して、1つの符号化結果のみが出力符号化信号107に送られることが確実になる。
別の方法では、両方の装置104a、104bはそれらの符号化結果を既に出力インターフェース106へ転送できており、両方の結果が出力インターフェース106に格納された後に、判定器がライン105を介して出力インターフェースを制御してブロック104b又はブロック104aからのいずれかの結果を出力する。
図3Bは、図3Cの概念をより詳細に示している。特に、ブロック104aは、完全なACELPエンコーダ、完全なACELPデコーダ及び比較器112aを含む。比較器112aは比較器112cに品質尺度を与える。同じことが、TCX符号化され再び復号された信号をオリジナルオーディオ信号と比較して得られた品質尺度をもつ比較器112bにも当てはまる。次に、両比較器112a、112bはそれらの品質尺度を最終比較器112cに与える。どちらの品質尺度がより高いかに応じて、比較器はCELPにするかTCXにするかを決定する。その決定は、更なるファクタを導入することにより、より精緻化することができる。
また、現在フレームに対するオーディオデータ信号分析に基づいて現在フレームに対する符号化モードを判断するための開ループモードを実行することができる。この場合、図3Cの判定器112は現在フレームに対するオーディオデータ信号分析を実行し、その後、現在オーディオフレームを実際に符号化するためにACELPエンコーダ又はTCXエンコーダを制御するであろう。このような状況において、エンコーダは完全なデコーダを必要とせず、エンコーダ内の符号化ステップの実行のみで十分であろう。開ループ信号分類及び信号判定は、例えば、AMR−WB+(3GPP TS 26.290)にも記載されている。
図2Aは、窓化器 102の好ましい実施、及び特にこの窓化器によって供給される窓を示している。
現在フレームに対する予測符号化分析窓は符号200で示されており、好ましくはその中心が第4のサブフレームの中心に位置している。また、更なるLPC分析窓使用することが好ましい。その窓は符号202で示された中間フレームLPC分析窓であり、その中心が現在フレームの第2のサブフレームの中心に位置している。さらに、変換符号化窓、例えばMDCT窓204などは、図示されているように2つのLPC分析窓200、202に相対して配置されている。特に、その分析窓のルックアヘッド部分206は、予測符号化分析窓のルックアヘッド部分208と同じ時間長をもっている。両ルックアヘッド部分は将来フレームへ10ms広がっている。さらに、変換符号化分析窓は、オーバーラップ部分206だけでなく、10msから20msの間の非オーバーラップ部分208と第1オーバーラップ部分210とをもっていることが好ましい。オーバーラップ部分206及び210は、デコーダのオーバーラップ加算器がオーバーラップ部分においてオーバーラップ加算処理を実行するようにされているが、オーバーラップ加算手順は、非オーバーラップ部分に対しては必要ない。
好ましくは、第1のオーバーラップ部分210はフレームの最初、すなわち、0msでスタートし、フレームの中心すなわち10msまで広がる。さらに、非オーバーラップ部分は、フレームの第1の部分210の最後から20msにあるフレームの最後まで広がり、その結果、第2のオーバーラップ部分206がルックアヘッド部分と完全に一致する。これは一方のモードから他方のモードへの切換えによる利点をもっている。TCX性能の観点から、完全オーバーラップ(USACにおけるように20msオーバーラップ)をもつ正弦窓を使用した方がよいであろう。ただし、その場合、TCXとACELPの間の遷移には前方エイリアシングキャンセル(FAC)のような技術を必要とするだろう。前方エイリアシングキャンセルは、(ACELPに置き換えられる)次のTCXフレームの欠損によって導入されるエイリアシングをキャンセルするためにUSACにおいて使用されている。前方エイリアシングキャンセルは相当量のビットを必要とすることから、一定ビットレートで、かつ、特に既述の好ましい一実施形態のような低ビットレートのコーデックには適さない。したがって、本発明の幾つかの実施形態によれば、FACを使用する代わりに、TCX窓のオーバーラップが減少され、かつオーバーラップ部分206全体が将来フレーム内に位置するように窓が将来フレーム方向にシフトされている。さらに、次のフレームがACELPであり前方エイリアシングキャンセルを使用しない場合、図2Aに示されている変換符号化のための窓は、それでも最大オーバーラップをもち、現在フレームにおいて完全な再構築をなす。この最大オーバーラップは、好ましくは、時間的に利用可能なルックアヘッドである10msに設定されている。それが10msであることは図2Aから明らかである。
図2Aはエンコーダについて述べられており、そこでは変換符号化のための窓204は分析窓である、その窓204は変換復号のための合成窓も示していることにも留意されたい。好ましい実施形態においては、分析窓は合成窓に一致しており、両方の窓は窓自体に関して対称形である。これは、両方の窓が(垂直)中心線に対して対称をなすことを意味する。しかしながら、他の応用では非対称な窓を使用することができ、その場合、分析窓は合成窓とは形状が異なる。
図2Bは、過去フレームの一部、その後に続く現在フレーム、この現在フレームの後に続く将来フレーム、この将来フレームの後に続く次の将来フレームの部分にわたる一連の窓を示している。
符号250で示されオーバーラップ加算プロセッサによって処理されるオーバーラップ加算部分が、各フレームの最初から各フレームの中間まで広がることが明らかである。すなわち、オーバーラップ加算部分は、将来フレームデータ計算用は20〜30ms、次の将来フレームに対するTCXデータ計算用は40〜50ms、又は現在フレームに対するデータ計算用はゼロ〜10msである。しかしながら、各フレーム後半のデータ計算に対しては、オーバーラップ加算も、したがって前方エイリアシングキャンセル技術も必要とされない。これは、合成窓が各フレームの後半で非オーバーラップ部分をもっているからである。
典型的には、MDCT窓長はフレーム長の倍である。このことは本発明にも同様に当てはまる。しかしながら、図2Aを再度みると、分析/合成窓が0msから30msまで広がっているにすぎないが、窓の完全長さは40msであることが分かる。この完全長さは、MDCT計算の対応する畳み込み又は畳み込み解除動作のための入力データを提供するためには十分な長さである。窓を全長40msまで広げるために、ゼロ値の5msが−5msと0msの間に追加され、MDCTゼロの0値の5msも30msと35msの間でフレームの最後に追加されている。しかし、ゼロ値だけをもっているこの追加部分は、遅延を考慮した場合、何の役割も果たさない。というのは、エンコーダ又はデコーダにとって最後の5msの窓と最初の5msの窓がゼロであることは既知であり、このデータは遅延なしで既に存在しているからである。
図2Cは2つの可能性のある遷移を示す。TCXからACELPへの遷移については、しかしながら、特別な配慮は不要である。図2Aを参照するに、将来フレームがACELPフレームであると仮定した場合、ルックアヘッド部分206に対する最終フレームをTCX復号することによって得られたデータは単純に削除することができる。というのは、ACELPフレームが将来フレームの最初において直ぐにスタートしてデータホール(data hole)が生じないからである。ACELPデータは自己無撞着(self-consistent)であるため、デコーダは、TCXからACELPへ切り換える場合、現在フレームのためにはTCXから計算されたデータを使用し、将来フレームのためにはTCX処理によって得られたデータを破棄し、それに代わってACELPブランチからの将来フレームデータを使用する。
しかしながら、ACELPからTCXへの遷移が実行される場合、図2Cに示されているように、特別な遷移窓が使用される。この窓は、フレームの最初でゼロから1へスタートし、非オーバーラップ部分220をもち、そして最後に単純なMDCT窓のオーバーラップ部分206と一致する符号222で示されたオーバーラップ部分をもっている。
さらに、この窓は、窓の最初で−12.5ms〜0の区間、窓の最後の30〜37.5msの区間、すなわちルックアヘッド部分222の後にゼロ値が継ぎ足されている。これによって変換長が大きくなる。この変換長は50msだが、単純な分析/合成窓長は40msにすぎない。このことが、しかし、効率を下げたりビットレートを上げたりはしない。そして、長い方の変換長は、ACELPからTCXへの切換えが起こる際に必要である。対応するデコーダに使用される遷移窓は、図2Cに示されている窓と同じである。
次に、デコーダをより詳細に説明する。図1Bは、符号化されたオーディオ信号を復号するためのオーディオデコーダを示している。このオーディオデコーダは予測パラメータデコーダ180を備えている。その予測パラメータデコーダは、181において受け取られかつインターフェース182へ入力される符号化されたオーディオ信号から予測符号化フレームのためのデータを復号するように構成されている。さらに、このデコーダは、ライン181上の符号化されたオーディオ信号から変換符号化フレームのためのデータを復号するための変換パラメータデコーダ183を備えている。この変換パラメータデコーダは、好ましくは、エイリアシングの影響を受けたスペクトル−時間変換を実行し、かつ変換されたデータに合成窓を適用して現在フレーム及び将来フレームのためのデータを取得するように構成されている。その合成窓は、図2Aに示されているように第1のオーバーラップ部分、これに隣接する第2の非オーバーラップ部分及びこれに隣接する第3のオーバーラップ部分を有しており、第3のオーバーラップ部分は将来フレームに対するオーディオサンプルのみに関連づけられ、非オーバーラップ部分は現在フレームのデータのみに関連づけられている。さらに、オーバーラップ加算器184か設けられており、オーバーラップ加算器184は、現在フレームのための合成窓の第3のオーバーラップ部分に関連づけられた合成窓サンプルと、将来フレームのための合成窓の第1のオーバーラップ部分に関連づけられたサンプルにおける合成窓とをオーバーラップさせて加算し、将来フレームに対するオーディオサンプルの第1の部分を取得する。将来フレームのためのオーディオサンプルの残りは、現在フレームと将来フレームが変換符号化データを含む場合に、オーバーラップ加算を行わずに得られた将来フレームのための合成窓の第2の非オーバーラップ部分に関連づけられた合成窓化サンプルである。しかしながら、1つのフレームから次のフレームへの切換えが起こり、それが1つの符号化モードから他の符号化モーへの良好な切換えを配慮しなければならない場合、出力に復号されたオーディオデータを最終的に得るための結合器185が有用である。
図1Cは変換パラメータデコーダ183の構造をより詳細に示す。
このデコーダは、デコーダ処理ステージ183aを含み、このステージ183aは、符号化されたスペクトルデータを復号するために必要な全ての処理、例えば、算術的復号、ハフマン(Huffman)復号又は一般的にエントロピー復号と、その後の逆量子化、ノイズ充填などを実行し、ブロック183の出力において復号されたスペクトル値を取得するように構成されている。これらのスペクトル値は、スペクトル重み付け器183bへ入力される。このスペクトル重み付け器183bはLPC重み付けデータ計算器183cからスペクトル重み付けデータを受けとる。このスペクトル重み付けデータは、エンコーダ側の予測分析ブロックから生成されたLPCデータによって与えられ、デコーダ側で入力インターフェース182を介して受け取られる。その後、例えば、将来フレームのためのデータがオーバーラップ加算器184に提供される前に逆スペクトル変換が実行される。その逆スペクトル変換は、第1のステージとして、好ましくは、DCT(離散コサイン変換)−IV逆変換183dと、次の畳み込み解除及び合成窓化処理183eとを含む。オーバーラップ加算器184は、次の将来フレームのためのデータが使用可能になった時点で、オーバーラップ加算動作を実行することができる。ブロック183dと183eは、いっしょになって、スペクトル/時間変換、又は、図1Cの実施形態においては好ましいMDCT逆変換(MDCT-1)を構成する。
とりわけ、ブロック183dは、20msのフレームのためのデータを受け取り、ブロック183eの畳み込み解除ステップにおいてデータ量を40msのデータ、すなわち、以前のデータの2倍になるように大きくし、続いて、40ms(窓の最初と最後にともにゼロ部分が加算された場合)の長さをもつ合成窓がこれらの40msのデータへ適用される。その後、ブロック183eの出力において現在ブロックに対するデータ及び将来ブロックに対するルックアヘッド部分内のデータが利用可能になる。
図1Dは対応するエンコーダ側の処理を示している。図1Dに関連して説明される特徴は、符号化プロセッサ104において、又は、図3Aの対応するブロックによって実施される。図3Aにおける時間−周波数変換310は、好ましくは、MDCTとして実施され、窓化、畳み込みステージ310aを含み、このステージにおいてブロック310aの窓化動作がTCX窓化器102bによって実施される。したがって、図3Aのブロック310の実際の最初の動作は、40msの入力データを20msフレームデータへ戻すための畳み込み動作である。その後、この時点でエイリアシング寄与を受け取った畳み込みデータを用いてブロック310bに示されているDCT‐IVが実行される。ブロック302(LPC分析)は、エンドフレームLPC窓を使用した分析から得たLPCデータを(LPCからMDCTへの)ブロック302bへ与え、ブロック302bは、スペクトル重み付け器312によってスペクトル重み付けを行うための重み付けファクタを生成する。好ましくは、TCX符号化モードにおける20msの1フレームに対する16個のLPC係数は16個のMDCTドメイン重み付けファクタへ変換されるが、このとき、好ましくは、oDFT(奇数離散フーリエ変換)を用いる。他のモード、例えば8kHzのサンプリングレートをもつNB(狭帯域)モードの場合、LPC係数の数はより少なく、例えば10個とすることができる。より高いサンプリングレートをもつ他のモードの場合、16個を上回るLPC係数もありうる。このoDFTの結果は16個の重み付け値であり、各重み付け値がブロック310bで得られたスペクトルデータの帯域に関連づけられている。スペクトル重み付けは、1つの帯域あたりの全てのMDCTスペクトル値をこの帯域に関連づけられた同じ重み付け値で除算することによって行われるが、それはブロック312においてこのスペクトル重み付け動作を極力効率的に実行するためである。よって、16個の帯域のMDCT値はそれぞれが対応する重み付けファクタで除算されてスペクトル的に重み付けされたスペクトル値が出力され、その後、これらのスペクトル値はブロック314により、従来技術において知られているように、すなわち、例えば、量子化及びエントロピー符号化によってさらに処理される。
一方、デコーダ側では、図1Dのブロック312に対応しているスペクトル重み付けは、図1Cに示されているスペクトル重み付け器183bによって実行される乗算である。
次に、図4A及び図4Bは、図2に示されている1つ又は2つのLPC分析窓によって生成されたLPCデータが、ACELPモード又はTCX/MDCTモードにおいてどのように使用されるかを概略的に説明している。
LPC分析窓の適用に続き、LPC窓化データを用いて自己相関演算が行われる。その時、レビンソン−ダービン(Levinson Durbin)アルゴリズムが自己相関関数に適用される。その後、LP分析ごとの16個のLP係数、すなわち、中間フレーム窓に対する16個の係数とエンドフレーム窓に対する16個の係数がISP(イミタンススペクトルペア)値に変換される。よって、自己相関計算からISP変換までのステップは、例えば、図4Aのブロック400において実行される。その後、計算はエンコーダ側で続行され、ISP係数が量子化される。その後、ISP係数は再び逆量子化され、変換されてLP係数ドメインへ逆る。よって、LPCデータ、いいかえると、ブロック400で得られたLPC係数とは若干異なる16個のLPC係数が(量子化及び再量子化によって)得られ、これらの16個のLPC係数は、ステップ401に示されているように、第4のサブフレームのために直接使用することができる。しかしながら、他のサブフレームのためにはいくらかの補間、例えば、ITU−T(国際電気通信連合)勧告のG.718(06/2008)、6.8.3節において概述されているような補間を行うことが好ましい。第3のサブフレームのためのLPCデータは、ブロック402に示されているように、エンドフレームと中間フレームのLPCデータを補間することによって計算される。好ましい補間は、各対応するデータが2で除算され、ともに加算される。すなわち、これは、エンドフレームLPCデータと中間フレームLPCデータの平均である。ブロック403に示されているように、第2サブフレームのためのLPCデータを計算するためにさらに補間が行われる。具体的には、最後のフレームのエンドフレームLPCデータの値の10%、現在フレームのための中間フレームLPCデータの80%、現在フレームのエンドフレームのためのLPCデータの値の10%が使用されて、第2のサブフレームのためのLPCデータが最終的に計算される。
最後に、ブロック404に示されているように、第1のサブフレームのためのLPCデータは、最後のフレームのエンドフレームLPCデータと現在フレームの中間フレームLPCデータとの平均をとることによって計算される。
ACELP符号化を実行するために、両方の量子化されたLPCパラメータセット、すなわち、中間フレーム分析とエンドフレーム分析から求めたパラメータセットがデコーダへ送られる。
ブロック401〜404において計算された個々のサブフレームのための結果値に基づいて、ブロック405に示されているように、ACELP計算が実行され、デコーダへ送られるACELPデータが得られる。
次に、図4Bを説明する。ここでも、ブロック400において、中間フレームLPCデータとエンドフレームLPCデータが計算される。しかしながら、TCX符号化モードがあるので、エンドフレームLPCデータのみがデコーダへ送られ、中間フレームLPCデータはデコーダへ送られない。具体的には、LPC係数自体はデコーダへ送信されないが、ISP変換と量子化後に得られた値が送られる。よって、エンドフレームLPCデータ係数から求められた量子化ISP値が、LPCデータとしてデコーダへ送られることが好ましい。
しかしながら、エンコーダにおいて、ステップ406〜408は、それでも、現在フレームのMDCTスペクトルデータを重み付けするための重み付けファクタを取得するために実行される。このために、現在フレームのエンドフレームLPCデータと過去フレームのエンドフレームLPCデータが補間される。しかしながら、LPC分析から直接得られたLPCデータ係数自体は補間しないことが好ましい。その代わり、対応するLPC係数から得られ量子化され再び逆量子化されたISP値を補間することは好ましい。
よって、ブロック401〜404で他の計算に使用されるLPCデータのみならずブロック406で使用されるLPCデータは、常に、LPC分析窓あたり16個の元のLPC係数から得られた量子化され再び逆量子化されたISPデータであることが好ましい。
ブロック406における補間は好ましくは純粋平均化であり、すなわち、対応する値が加算され、そして2で除算される。その後、ブロック407において、現在フレームのMDCTスペクトルデータが、補間されたLPCデータを用いて重み付けされ、ブロック408において、重み付けされたスペクトルデータがさらに処理され、最終的に、エンコーダからデコーダへ送られる符号化されたスペクトルデータを得る。よって、ステップ407において実行される手順はブロック312に対応し、図4Bのブロック408において実行される手順は図1Dのブロック314に対応している。対応する動作は実際にデコーダ側で実行される。そのため、デコーダ側でスペクトル重み付けファクタを計算するか又は補間によって個別のサブフレームのためのLPC係数を計算するために、同じ補間がデコーダ側で必要である。したがって、図4A及び図4Bは、ブロック401〜404又は図4Bの406における手順に関してはデコーダ側に同様に適用可能である。
ピー符号化によってさらに処理される。
本発明は、低遅延コーデックの実施に特に有用である。これは、このようなコーデックは、アルゴリズム遅延又はシステム遅延が、好ましくは45ms未満、場合によっては35ms以下にさえ設計されることを意味する。それでも、LPC分析及びTCX分析のためのルックアヘッド部分は良好なオーディオ品質を得るためには必要である。したがって、両方の相矛盾する要請の間で良好な妥協が必要である。
遅延と品質の間での良好な妥協は20msのフレーム長をもつ交換型のオーディオエンコーダ又はオーディオデコーダによって得ることができることが分かっているが、フレーム長に対する15〜30msという値も受容できる結果を与えることも分かっている。一方で、こと遅延に関しては、ルックアヘッド部分の10msは受容できるが、5〜20msの値も対応する応用次第では有用であることが分かっている。さらに、ルックアヘッド部分とフレーム長との関係は、値0.5をもつ場合に有用であるが、0.4〜0.6の間の他の値も有用であることが分かっている。また、本発明は、一方でACELP、他方でMDCT−TCXについて説明しているが、CELPや任意の他の予測アルゴリズム又は波形アルゴリズムなどの時間ドメインで動作する他のアルゴリズムも同様に有用であることが分かっている。TCX/MDCTに関しては、MDSTなどの他の変換ドメイン符号化アルゴリズムや他の変換ベースのアルゴリズムも同様に適用可能である。
同じことがLPC分析とLPC計算の具体的な実施に当てはまる。前述した手順に依存することは好ましいが、計算/補間及び分析のための他の手順も、それらの手順がLPC分析窓に依存する限り同様に使用可能である。
いくつかの局面を装置に関連して説明してきたが、これらの局面が対応する方法を表わしていることが明らかであり、ブロックやデバイスが方法ステップ又は方法ステップの特徴に対応する。同じ様に、方法ステップに関連して記載されている局面もまた、対応する装置の対応するブロック、項目又は特徴を表している。
実施の要請によっては、本発明の実施形態は、ハードウェア又はソフトウェアで実施できる。その実施はディジタル記憶媒体を用いて実行することができ。そのようなディジタル記憶媒体としてはフロッピーディスク、DVD、CD、ROM、PROM、EPROM、EEPROM又はFLASH(フラッシュ)メモリなどがあり、これらのディジタル記憶媒体は電子的に読み出し可能な制御信号を格納し、それらの読み出し可能な制御信号はそれぞれの方法が実行されるようにプログラマブルコンピュータシステムと協働する(又は協働可能である)。
本発明によるいくつかの実施形態は、電子的に読み出し可能な制御信号をもつ一時的でないデータキャリアを含み、それらの読み出し可能な制御信号は、本明細書に記載されている方法のいずれか1つが実行されるように、プログラマブルコンピュータシステムと協働可能である。
一般に、本発明の幾つかの実施形態は、プログラムコードをもつコンピュータプログラム製品として実施することができ、そのプログラムコードは、このコンピュータプログラムプロ製品がコンピュータ上で実行される時に本発明の方法のいずれか1つを実行するように動作できる。そのプログラムコードは、例えば、機械読取り可能な担体に格納できる。
他の幾つかの実施形態は、機械読取り可能な担体に記憶されて本明細書に記載されている方法のいずれか1つを実行するためのコンピュータプログラムを含む。
言い換えれば、したがって、本発明方法の一実施形態はプログラムコードをもったコンピュータプログラムであり、このコンピュータプログラムがコンピュータ上で実行される際、本明細書に記載されている方法の1つを実行する。
したがって、本発明方法の他の実施形態は、本明細書に記載されている方法の1つを実行するコンピュータプログラムを格納したデータキャリア(又はディジタル記憶媒体、又はコンピュータ読み出し可能媒体)である。
したがって、本発明方法の更なる実施形態は、本明細書に記載されている方法の1つを実行するためのコンピュータプログラムを表しているデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、データ通信接続例えばインターネットを介して転送されるように構成することができる。
更なる実施形態は、本明細書に記載されている方法の1つを実行するように構成され又は適合された処理手段、例えば、コンピュータ、又はプログラマブルロジックデバイスを含む。
更なる実施形態は、本明細書に記載されている方法の1つを実行するためにコンピュータプログラムをインストールしたコンピュータを含む。
いくつかの実施形態において、プログラマブルロジックデバイス(例えば、フィールドプログラマブルゲートアレイ)を本明細書に記載されている方法の機能の幾らか又は全てを実行するために使用できる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本明細書に記載されている方法の1つを実行するためにマイクロプロセッサと協働することができる。一般に、本発明の方法は、好ましくは、どんなハードウェア装置によっても実行される。
上述した実施形態は本発明の基本原理を単に例示したにすぎず、本明細書に記載されている構成及び詳細の変更及び変形は、他の当業者によって明らかであることは理解されよう。本発明は、特許請求の範囲のみによって限定され、本明細書に記載されている実施形態の記載及び説明によって提示されている具体的な詳細によって限定されないことが意図されている。

Claims (25)

  1. オーディオサンプルのストリームをもつオーディオ信号(100)を符号化するための装置であって、
    予測分析のための第1の窓化データ(110a)を取得するために前記オーディオサンプルのストリームに予測符号化分析窓(200)を適用し、変換分析のための第2の窓化データ(110b)を取得するために前記オーディオサンプルのストリームに変換符号化分析窓(204)を適用する窓化器(102)を備えており、
    前記変換符号化分析窓は、オーディオサンプルの現在フレーム内のオーディオサンプルと、変換符号化ルックアヘッド部分(206)である、オーディオサンプルの将来フレームの所定部分のオーディオサンプルとに関連づけられており、
    前記予測符号化分析窓は、前記現在フレームのオーディオサンプルの少なくとも一部と、予測符号化ルックアヘッド部分(208)である、前記将来フレームの所定部分のオーディオサンプルとに関連づけられており、
    前記変換符号化ルックアヘッド部分(206)と前記予測符号化ルックアヘッド部分(208)は互いに一致しているか、又は互いから前記予測符号化ルックアヘッド部分(208)の時間長の20%未満だけ、もしくは前記変換符号化ルックアヘッド部分(206)の時間長の20%未満だけ異なっており、
    該装置は、さらに、前記予測分析のための前記窓化データを用いて前記現在フレームのための予測符号化データを生成し、又は、前記変換分析のための前記窓化データを用いて前記現在フレームのための変換符号化データを生成するための符号化プロセッサ(104)を備え、
    前記符号化プロセッサ(104)は、
    予測分析ための第1の窓化データ(110a)から前記現在フレームのための予測符号化データを得るための予測符号化分析器(302)と、
    予測符号化ブランチであって、前記予測符号化データを用いて前記現在フレームのための前記オーディオサンプルからフィルタデータを計算するフィルタステージ(304)、及び前記現在フレームのための前記予測符号化データを生成するために前記符号化プロセッサが動作するときに、前記現在フレームのための予測符号化パラメータを計算する予測符号器パラメータ計算器(306)を含む予測符号化ブランチと、
    変換符号化ブランチであって、変換符号化アルゴリズムのための第2の窓化データ(110b)をスペクトル表示へ変換するための時間スペクトル変換器(310)、重み付けされたスペクトルデータを得るために前記予測符号化データから得られた重み付けされた重み付けデータを用いて前記スペクトルデータを重み付けするスペクトル重み付け器(312)、及び前記現在フレームのための前記予測符号化データを生成するために前記符号化プロセッサが動作するときに、前記現在フレームのための変換符号化データを取得するために前記重み付けされたスペクトルデータを処理するスペクトルデータプロセッサ(314)を含む変換符号化ブランチと、を含んでいる装置。
  2. 前記変換符号化分析窓(204)は前記変換符号化ルックアヘッド部分(206)に隣接する非オーバーラップ部(209)を含む請求項1に記載の装置。
  3. 前記変換符号化分析窓(204)が前記現在フレームの最初でスタートし前記非オーバーラップ部の最初で終了する更なるオーバーラップ部(210)を含む請求項2に記載の装置。
  4. 前記窓化器(102)は、1つのフレームから次のフレームへの予測符号化から変換符号化への遷移のためにだけスタート窓(220、222)を使用し、
    1つのフレームから次のフレームへの変換符号化から予測符号化への遷移のためには前記スタート窓を使用しないように構成されている請求項1に記載の装置。
  5. 前記現在フレームのための符号化された信号を出力するための出力インターフェース(106)と、
    前記符号化プロセッサ(104)を制御して前記現在フレームのために予測符号化データ又は変換符号化データのいずれかを出力する符号化モード選択器(112)と、をさらに備え、
    前記符号化モード選択器(112)は、フレーム全体のために予測符号化又は変換符号化を切り換えるだけで、前記フレーム全体のための前記符号化された信号が予測符号化データ又は変換符号化データのいずれかを含むように構成されている請求項1から4のいずれか一項に記載の装置。
  6. 前記窓化器(102)は、前記予測符号化分析窓のほかに、前記現在フレームの最初に配置されたオーディオサンプルに関連づけられる更なる予測符号化分析窓(202)を使用し、前記予測符号化分析窓(200)は前記現在フレームの最初に配置されたオーディオサンプルに関連づけられない請求項1から5のいずれか一項に記載の装置。
  7. 前記現在フレームが複数のサブフレームを含み、前記予測符号化分析窓(200)は1つのサブフレーム中心に中心合わせされ、前記変換符号化分析窓(204)が2つのサブフレームの境界に中心合わせされている請求項1から6のいずれか一項に記載の装置。
  8. 前記予測符号化分析窓(200)は前記現在フレームの最後のサブフレーム中心に中心合わせされ、更なる予測符号分析窓(202)は前記現在フレームの第2のサブフレーム中心に中心合わせされ、前記変換符号化分析窓は前記現在フレームの第3のサブフレームと第4のサブフレームの境界に中心合わせされ、前記現在フレームが4つのサブフレームに再分割されている請求項7に記載の装置。
  9. 前記将来フレーム内にルックアヘッド部分をもたず前記現在フレームのサンプルに関連づけられる更なる予測符号化分析窓(202)を使用する請求項1から8のいずれか一項に記載の装置。
  10. 前記変換符号化分析窓は、前記変換符号化分析窓の全時間長が前記現在フレームの時間長の2倍になるように、前記変換符号化分析窓の始まりの前のゼロ部と、前記変換符号化分析窓の終わりに続くゼロ部をさらに含む請求項1から9のいずれか一項に記載の装置。
  11. 1つのフレームから次のフレームへの予測符号化モードから変換符号化モードへの遷移に対し、遷移窓が前記窓化器(102)によって使用され、
    前記遷移窓は前記現在フレームの最初でスタートする第1の非オーバーラップ部分と、前記第1の非オーバーラップ部分の最後でスタートし前記将来フレームへ広がる第2のオーバーラップ部分とを含み、
    前記将来フレームへ広がる前記第2のオーバーラップ部分の長さは前記変換符号化分析窓の前記変換符号化ルックアヘッド部分(206)の長さに一致している請求項10に記載の装置。
  12. 前記変換符号化分析窓の時間長は前記予測符号化分析窓(200、202)の時間長より大である請求項1から11のいずれか一項に記載の装置。
  13. 前記現在フレームに対して符号化された信号を出力するための出力インタフェース(106)と、
    前記符号化プロセッサ(104)を制御して前記現在フレームに対して予測符号化データ又は変換符号化データのいずれかを出力する符号化モード選択器(112)と、
    をさらに含み、
    前記窓化器(102)は、前記予測符号化分析窓の前で前記現在フレームに配置されている更なる予測符号化窓を使用するように構成されており、
    前記符号化モード選択器(112)は、前記変換符号化データが出力インターフェースへ出力されたとき、前記予測符号化窓から得られた予測符号化分析データのみは転送するが前記更なる予測符号化窓から得られた予測符号化分析データを転送しないように前記符号化プロセッサ(104)を制御するように構成されており、
    前記符号化モード選択器(112)は、前記予測符号化データが前記出力インターフェースに出力されたとき、前記予測符号化窓から得られた予測符号化分析データを転送し前記更なる予測符号化窓から得られた前記予測符号化分析データも転送するように前記符号化プロセッサ(104)を制御するように構成されている請求項1から4及び6から12のうちのいずれか一項に記載の装置。
  14. オーディオサンプル(100)のストリームをもつオーディオ信号を符号化するための方法であって、
    予測分析用の第1の窓化データ(110a)を取得するためにオーディオサンプルストリームに予測符号化分析窓(200)を適用し、変換分析用の第2の窓化データ(110b)を取得するために前記オーディオサンプルストリームに変換符号化分析窓(204)を適用するステップ(102)を含み、
    前記変換符号化分析窓はオーディオサンプルの現在フレーム内のオーディオサンプルと、変換符号化ルックアヘッド部分(206)である、オーディオサンプルの将来フレームの所定部分のオーディオサンプルに関連づけられ、
    前記予測符号化分析窓は前記現在フレームのオーディオサンプルの少なくとも一部と、予測符号化ルックアヘッド部分(208)である、前記将来フレームの所定部分のオーディオサンプルに関連づけられ、
    前記変換符号化ルックアヘッド部分(206)と前記予測符号化ルックアヘッド部分(208)は互いに一致しているか、又は互いから前記予測符号化ルックアヘッド部分(208)の時間長の20%未満だけ、もしくは前記変換符号化ルックアヘッド部分(206)の時間長の20%未満だけ異なっており、
    該方法は、さらに、前記予測分析用の前記第1の窓化データ(110a)を用いて前記現在フレームのための予測符号化データを生成するか、又は前記変換分析用の前記第2の窓化データ(110b)を用いて前記現在フレームのための変換符号化されたデータを生成するステップ(104)を含み、
    前記生成するステップ(104)は、
    前記予測分析用の前記第1の窓化データ(110a)から前記現在フレームのための予測符号化データを導出するステップ(302)と、
    前記予測符号化データを用いて前記現在フレームのための前記オーディオサンプルからフィルタデータを計算するステップ(304)、及び前記生成するステップ(104)が前記現在フレームのための前記予測符号化データを生成することを含む場合に、前記現在フレームのための予測符号化パラメータを計算するステップ(306)、又は
    前記変換分析用の前記第2の前記窓化データ(110b)をスペクトル表示へ変換するステップ(310)、重み付けされたスペクトルデータを得るために前記予測符号化データから得られた重み付けデータを用いて前記スペクトルデータを重み付けするステップ(312)、及び前記生成するステップ(104)が前記現在フレームのための前記変換符号化されたデータを生成することを含む場合に、前記現在フレームのための前記変換符号化されたデータを取得するために重み付けされた前記スペクトルデータを処理するステップ(314)、
    を含む方法。
  15. 符号化されたオーディオ信号を復号するためのオーディオデコーダであって、
    前記符号化されたオーディオ信号から予測符号化フレームのためのデータの復号を実行するための予測パラメータデコーダ(180)と、
    前記符号化されたオーディオ信号から変換符号化フレームのためのデータの復号を実行するための変換パラメータデコーダ(183)であって、前記変換パラメータデコーダ(183)は、
    前記符号化されたオーディオ信号に含まれる予測符号化データを用いてスペクトル重み付けデータを計算するための予測符号化重み付けデータ計算器(183c)、及び
    重み付けされた変換スペクトルデータを得るために、前記スペクトル重み付けデータを用いて、前記現在フレームのための復号された変換スペクトルデータを重み付けするためのスペクトル重み付け器(183b)を含み、
    前記変換パラメータデコーダ(183)は、変換データを得るために前記重み付けされた変換スペクトルデータのスペクトル時間変換を実行するとともに、前記変換データへ合成窓を適用して現在フレームと将来フレームのためのデータを取得するように構成されており、前記合成窓は第1のオーバーラップ部分、これに隣接する第2の非オーバーラップ部分及びこれに隣接する第3のオーバーラップ部分(206)をもち、前記第3のオーバーラップ部分は前記将来フレームに対するオーディオサンプルに関連づけられ、前記隣接する第2の非オーバーラップ部分(209)は前記現在フレームのデータに関連づけられるものである変換パラメータデコーダ(183)と、
    前記現在フレームのための合成窓の前記第3のオーバーラップ部分に関連づけられた合成窓化サンプルと前記将来フレームのための合成窓の前記第1のオーバーラップ部分に関連づけられた合成窓化サンプルとをオーバーラップさせて加算して、前記将来フレームのためのオーディオサンプルの第1の部分を取得するためのオーバーラップ加算器(184)であって、前記現在フレームと前記将来フレームが変換符号化データを含む場合、前記将来フレームに対する前記オーディオサンプルの残りが、オーバーラップ加算せずに得られた前記将来フレームのための前記合成窓の前記第2の非オーバーラップ部分に関連づけられた合成窓化サンプルであるオーバーラップ加算器(184)と、
    を備えたオーディオデコーダ。
  16. 前記符号化されたオーディオ信号の前記現在フレームが変換符号化データを含み、前記将来フレームが予測符号化データを含んでおり、
    前記変換パラメータデコーダ(183)は、前記現在フレームための前記合成窓を用いて合成窓化を実行して前記合成窓の前記隣接する第2の非オーバーラップ部分(209)に関連づけられた窓化オーディオサンプルを得るように構成されており、
    前記現在フレームための前記合成窓の前記第3のオーバーラップ部分に関連づけられた合成窓化オーディオサンプルが廃棄され、
    前記将来フレームのためのオーディオサンプルは前記変換パラメータデコーダ(183)からのデータなしに前記予測パラメータデコーダ(180)によって提供される請求項15に記載のオーディオデコーダ。
  17. 前記現在フレームが予測符号化データを含んでおり、かつ前記将来フレームが変換符号化データを含んでおり、
    前記変換パラメータデコーダ(183)は前記合成窓とは異なる遷移窓を使用するように構成されており、
    前記遷移窓(220、222)は、前記将来フレームの最初において第1の非オーバーラップ部分(220)を含み、前記将来フレームの最後でスタートし前記将来フレームに時間的に追従するフレームへ広がる第2のオーバーラップ部分(222)を含んでおり、
    前記将来フレームのための前記オーディオサンプルがオーバーラップなしで生成され、前記将来フレームのための前記遷移窓の前記第2のオーバーラップ部分(222)に関連づけられたオーディオデータが前記将来フレームに追従する前記フレームのための前記合成窓の前記第1のオーバーラップ部分を用いて前記オーバーラップ加算器(184)によって計算される請求項15に記載のオーディオデコーダ。
  18. 前記予測符号化重み付けデータ計算器(183c)は、補間された予測符号化データを前記スペクトル重み付けデータとして得るように過去フレームから得た予測符号化データと前記現在フレームから得た予測符号化データの重み付け和を結合することによって、前記予測符号化データを計算するように構成されている請求項15から17のいずれか一項に記載のオーディオデコーダ。
  19. 前記予測符号化重み付けデータ計算器(183c)は前記予測符号化データを周波数帯域ごとに重み付け値をもつスペクトル表示へ変換するように構成されており、
    前記スペクトル重み付け器(183b)は1つの帯域内の全てのスペクトル値をこの帯域のための同じ重み付け値によって重み付けするように構成されている請求項18に記載のオーディオデコーダ。
  20. 前記合成窓は全時間長が50msを下回り25msを上回るように構成されており、
    前記第1のオーバーラップ部分と前記第3のオーバーラップ部分は同じ時間長をもち、前記第3のオーバーラップ部分は15msを下回る時間長をもつ請求項15から18のいずれか一項に記載のオーディオデコーダ。
  21. 前記合成窓は時間長が30msであり、ゼロ値の継ぎ足しをもたず、前記第1のオーバーラップ部分と前記第3のオーバーラップ部分の各時間長が10msであり、前記非オーバーラップ部分の時間長が10msである請求項15から20のいずれか一項に記載のオーディオデコーダ。
  22. 前記変換パラメータデコーダ(183)は、前記スペクトル時間変換のために、フレーム長に対応するサンプル数をもつDCT変換(183d)を行い、前記DCT変換(183d)前の時間数値の2倍の時間数値を生成するための畳み込み解除演算(183e)を行い、かつ、前記畳み込み解除演算の結果に前記合成窓を適用する(183e)ように構成されており、
    前記合成窓は、前記第1のオーバーラップ部分の前と前記第3のオーバーラップ部分の後に、前記第1、第3のオーバーラップ部分の長さの半分の長さのゼロ部分を含む請求項15から21のいずれか一項に記載のオーディオデコーダ。
  23. 符号化されたオーディオ信号を復号する方法であって、
    前記符号化されたオーディオ信号から予測符号化フレームのためのデータの復号を実行するステップ(180)と、
    前記符号化されたオーディオ信号から変換符号化フレームのためのデータの復号を実行するステップ(183)であって、
    変換符号化フレームのためのデータの復号を実行する該ステップ(183)は、前記符号化されたオーディオ信号に含まれる予測符号化データを用いてスペクトル重み付けデータを計算するステップ(183c)、及び重み付けされた変換スペクトルデータを得るために、前記スペクトル重み付けデータを用いて、前記現在フレームのための復号された変換スペクトルデータを重み付けするステップ(183b)を含み、
    変換符号化フレームのためのデータの復号を実行する該ステップ(183)は、変換データを得るために前記重み付けされた変換スペクトルデータのスペクトル時間変換を実行すること、及び前記変換データへ合成窓を適用して現在フレームと将来フレームのためのデータを得ることを含み、前記合成窓は第1のオーバーラップ部分、これに隣接する第2の非オーバーラップ部分(209)、及びこれに隣接する第3のオーバーラップ部分(206)を有し、前記隣接する第3のオーバーラップ部分(206)は前記将来フレームのためのオーディオサンプルに関連づけられ、前記隣接する第2の非オーバーラップ部分(209)は前記現在フレームのデータに関連づけられているステップ(183)と、
    前記現在フレームのための合成窓の前記第3のオーバーラップ部分に関連づけられた合成窓化サンプルと前記将来フレームのための合成窓の前記第1のオーバーラップ部分に関連づけられた合成窓化サンプルをオーバーラップさせて加算して、前記将来フレームのためのオーディオサンプルの第1の部分を取得するステップ(184)であって、前記現在フレームと前記将来フレームが変換符号化データを含むとき、前記将来フレームのための前記オーディオサンプルの残りは、オーバーラップ加算なしで得られた前記将来フレームのための前記合成窓の第2の非オーバーラップ部分に関連づけられた合成窓化サンプルであるステップ(184)と、
    を含む方法。
  24. コンピュータに請求項14のオーディオ信号を符号化する方法を実行させるためのコンピュータプログラム。
  25. コンピュータに請求項23のオーディオ信号を復号する方法を実行させるためのコンピュータプログラム。
JP2013553900A 2011-02-14 2012-02-14 整列したルックアヘッド部分を用いてオーディオ信号を符号化及び復号するための装置並びに方法 Active JP6110314B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161442632P 2011-02-14 2011-02-14
US61/442,632 2011-02-14
PCT/EP2012/052450 WO2012110473A1 (en) 2011-02-14 2012-02-14 Apparatus and method for encoding and decoding an audio signal using an aligned look-ahead portion

Publications (2)

Publication Number Publication Date
JP2014510305A JP2014510305A (ja) 2014-04-24
JP6110314B2 true JP6110314B2 (ja) 2017-04-05

Family

ID=71943595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013553900A Active JP6110314B2 (ja) 2011-02-14 2012-02-14 整列したルックアヘッド部分を用いてオーディオ信号を符号化及び復号するための装置並びに方法

Country Status (19)

Country Link
US (1) US9047859B2 (ja)
EP (3) EP2676265B1 (ja)
JP (1) JP6110314B2 (ja)
KR (2) KR101698905B1 (ja)
CN (2) CN103503062B (ja)
AR (3) AR085221A1 (ja)
AU (1) AU2012217153B2 (ja)
BR (1) BR112013020699B1 (ja)
CA (1) CA2827272C (ja)
ES (1) ES2725305T3 (ja)
MX (1) MX2013009306A (ja)
MY (1) MY160265A (ja)
PL (1) PL2676265T3 (ja)
PT (1) PT2676265T (ja)
SG (1) SG192721A1 (ja)
TR (1) TR201908598T4 (ja)
TW (2) TWI479478B (ja)
WO (1) WO2012110473A1 (ja)
ZA (1) ZA201306839B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9972325B2 (en) 2012-02-17 2018-05-15 Huawei Technologies Co., Ltd. System and method for mixed codebook excitation for speech coding
HUE027963T2 (en) * 2012-09-11 2016-11-28 ERICSSON TELEFON AB L M (publ) Generating comfort noise
US9129600B2 (en) * 2012-09-26 2015-09-08 Google Technology Holdings LLC Method and apparatus for encoding an audio signal
FR3011408A1 (fr) * 2013-09-30 2015-04-03 Orange Re-echantillonnage d'un signal audio pour un codage/decodage a bas retard
JP6086999B2 (ja) * 2014-07-28 2017-03-01 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン ハーモニクス低減を使用して第1符号化アルゴリズムと第2符号化アルゴリズムの一方を選択する装置及び方法
FR3024582A1 (fr) * 2014-07-29 2016-02-05 Orange Gestion de la perte de trame dans un contexte de transition fd/lpd
FR3024581A1 (fr) * 2014-07-29 2016-02-05 Orange Determination d'un budget de codage d'une trame de transition lpd/fd
KR102413692B1 (ko) * 2015-07-24 2022-06-27 삼성전자주식회사 음성 인식을 위한 음향 점수 계산 장치 및 방법, 음성 인식 장치 및 방법, 전자 장치
KR102192678B1 (ko) 2015-10-16 2020-12-17 삼성전자주식회사 음향 모델 입력 데이터의 정규화 장치 및 방법과, 음성 인식 장치
PL3503097T3 (pl) 2016-01-22 2024-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Urządzenie oraz sposób do enkodowania lub dekodowania sygnału wielokanałowego z wykorzystaniem ponownego próbkowania w dziedzinie widmowej
US10249307B2 (en) * 2016-06-27 2019-04-02 Qualcomm Incorporated Audio decoding using intermediate sampling rate
JP7167335B2 (ja) * 2018-10-29 2022-11-08 ドルビー・インターナショナル・アーベー 生成モデルを用いたレート品質スケーラブル符号化のための方法及び装置
US11955138B2 (en) * 2019-03-15 2024-04-09 Advanced Micro Devices, Inc. Detecting voice regions in a non-stationary noisy environment

Family Cites Families (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69232202T2 (de) 1991-06-11 2002-07-25 Qualcomm Inc Vocoder mit veraendlicher bitrate
US5408580A (en) 1992-09-21 1995-04-18 Aware, Inc. Audio compression system employing multi-rate signal analysis
BE1007617A3 (nl) 1993-10-11 1995-08-22 Philips Electronics Nv Transmissiesysteem met gebruik van verschillende codeerprincipes.
US5784532A (en) 1994-02-16 1998-07-21 Qualcomm Incorporated Application specific integrated circuit (ASIC) for performing rapid speech compression in a mobile telephone system
KR100419545B1 (ko) 1994-10-06 2004-06-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 다른코딩원리들을이용한전송시스템
EP0720316B1 (en) 1994-12-30 1999-12-08 Daewoo Electronics Co., Ltd Adaptive digital audio encoding apparatus and a bit allocation method thereof
SE506379C3 (sv) 1995-03-22 1998-01-19 Ericsson Telefon Ab L M Lpc-talkodare med kombinerad excitation
US5848391A (en) 1996-07-11 1998-12-08 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Method subband of coding and decoding audio signals using variable length windows
JP3259759B2 (ja) 1996-07-22 2002-02-25 日本電気株式会社 音声信号伝送方法及び音声符号復号化システム
JPH10124092A (ja) 1996-10-23 1998-05-15 Sony Corp 音声符号化方法及び装置、並びに可聴信号符号化方法及び装置
US5960389A (en) 1996-11-15 1999-09-28 Nokia Mobile Phones Limited Methods for generating comfort noise during discontinuous transmission
JPH10214100A (ja) 1997-01-31 1998-08-11 Sony Corp 音声合成方法
US6134518A (en) * 1997-03-04 2000-10-17 International Business Machines Corporation Digital audio signal coding using a CELP coder and a transform coder
JPH10276095A (ja) * 1997-03-28 1998-10-13 Toshiba Corp 符号化器及び復号化器
JP3223966B2 (ja) 1997-07-25 2001-10-29 日本電気株式会社 音声符号化/復号化装置
US6070137A (en) 1998-01-07 2000-05-30 Ericsson Inc. Integrated frequency-domain voice coding using an adaptive spectral enhancement filter
ATE302991T1 (de) * 1998-01-22 2005-09-15 Deutsche Telekom Ag Verfahren zur signalgesteuerten schaltung zwischen verschiedenen audiokodierungssystemen
GB9811019D0 (en) 1998-05-21 1998-07-22 Univ Surrey Speech coders
US6317117B1 (en) 1998-09-23 2001-11-13 Eugene Goff User interface for the control of an audio spectrum filter processor
US7272556B1 (en) 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
US7124079B1 (en) 1998-11-23 2006-10-17 Telefonaktiebolaget Lm Ericsson (Publ) Speech coding with comfort noise variability feature for increased fidelity
FI114833B (fi) * 1999-01-08 2004-12-31 Nokia Corp Menetelmä, puhekooderi ja matkaviestin puheenkoodauskehysten muodostamiseksi
DE10084675T1 (de) 1999-06-07 2002-06-06 Ericsson Inc Verfahren und Vorrichtung zur Erzeugung von künstlichem Geräusch unter Verwendung von parametrischen Geräuschmodell-Masszahlen
JP4464484B2 (ja) 1999-06-15 2010-05-19 パナソニック株式会社 雑音信号符号化装置および音声信号符号化装置
US6236960B1 (en) 1999-08-06 2001-05-22 Motorola, Inc. Factorial packing method and apparatus for information coding
CN1266674C (zh) 2000-02-29 2006-07-26 高通股份有限公司 闭环多模混合域线性预测语音编解码器和处理帧的方法
US6757654B1 (en) 2000-05-11 2004-06-29 Telefonaktiebolaget Lm Ericsson Forward error correction in speech coding
JP2002118517A (ja) 2000-07-31 2002-04-19 Sony Corp 直交変換装置及び方法、逆直交変換装置及び方法、変換符号化装置及び方法、並びに復号装置及び方法
US6847929B2 (en) 2000-10-12 2005-01-25 Texas Instruments Incorporated Algebraic codebook system and method
CA2327041A1 (en) 2000-11-22 2002-05-22 Voiceage Corporation A method for indexing pulse positions and signs in algebraic codebooks for efficient coding of wideband signals
US20050130321A1 (en) 2001-04-23 2005-06-16 Nicholson Jeremy K. Methods for analysis of spectral data and their applications
US20020184009A1 (en) 2001-05-31 2002-12-05 Heikkinen Ari P. Method and apparatus for improved voicing determination in speech signals containing high levels of jitter
US20030120484A1 (en) 2001-06-12 2003-06-26 David Wong Method and system for generating colored comfort noise in the absence of silence insertion description packets
US6879955B2 (en) 2001-06-29 2005-04-12 Microsoft Corporation Signal modification based on continuous time warping for low bit rate CELP coding
US6941263B2 (en) 2001-06-29 2005-09-06 Microsoft Corporation Frequency domain postfiltering for quality enhancement of coded speech
KR100438175B1 (ko) 2001-10-23 2004-07-01 엘지전자 주식회사 코드북 검색방법
CA2388439A1 (en) 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
US7069212B2 (en) 2002-09-19 2006-06-27 Matsushita Elecric Industrial Co., Ltd. Audio decoding apparatus and method for band expansion with aliasing adjustment
US7343283B2 (en) * 2002-10-23 2008-03-11 Motorola, Inc. Method and apparatus for coding a noise-suppressed audio signal
US7363218B2 (en) 2002-10-25 2008-04-22 Dilithium Networks Pty. Ltd. Method and apparatus for fast CELP parameter mapping
KR100465316B1 (ko) 2002-11-18 2005-01-13 한국전자통신연구원 음성 부호화기 및 이를 이용한 음성 부호화 방법
JP4191503B2 (ja) * 2003-02-13 2008-12-03 日本電信電話株式会社 音声楽音信号符号化方法、復号化方法、符号化装置、復号化装置、符号化プログラム、および復号化プログラム
US7318035B2 (en) 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
US20050091044A1 (en) 2003-10-23 2005-04-28 Nokia Corporation Method and system for pitch contour quantization in audio coding
ATE354160T1 (de) 2003-10-30 2007-03-15 Koninkl Philips Electronics Nv Audiosignalcodierung oder -decodierung
CA2457988A1 (en) 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
FI118835B (fi) 2004-02-23 2008-03-31 Nokia Corp Koodausmallin valinta
EP1852851A1 (en) 2004-04-01 2007-11-07 Beijing Media Works Co., Ltd An enhanced audio encoding/decoding device and method
GB0408856D0 (en) 2004-04-21 2004-05-26 Nokia Corp Signal encoding
ES2338117T3 (es) 2004-05-17 2010-05-04 Nokia Corporation Codificacion de audio con diferentes longitudes de trama de codificacion.
US7649988B2 (en) 2004-06-15 2010-01-19 Acoustic Technologies, Inc. Comfort noise generator using modified Doblinger noise estimate
US8160274B2 (en) 2006-02-07 2012-04-17 Bongiovi Acoustics Llc. System and method for digital signal processing
TWI253057B (en) 2004-12-27 2006-04-11 Quanta Comp Inc Search system and method thereof for searching code-vector of speech signal in speech encoder
US7519535B2 (en) 2005-01-31 2009-04-14 Qualcomm Incorporated Frame erasure concealment in voice communications
US9047860B2 (en) 2005-01-31 2015-06-02 Skype Method for concatenating frames in communication system
US20070147518A1 (en) 2005-02-18 2007-06-28 Bruno Bessette Methods and devices for low-frequency emphasis during audio compression based on ACELP/TCX
US8155965B2 (en) 2005-03-11 2012-04-10 Qualcomm Incorporated Time warping frames inside the vocoder by modifying the residual
MX2007012187A (es) 2005-04-01 2007-12-11 Qualcomm Inc Sistemas, metodos y aparatos para deformacion en tiempo de banda alta.
WO2006126843A2 (en) 2005-05-26 2006-11-30 Lg Electronics Inc. Method and apparatus for decoding audio signal
US7707034B2 (en) 2005-05-31 2010-04-27 Microsoft Corporation Audio codec post-filter
ES2629727T3 (es) 2005-06-18 2017-08-14 Nokia Technologies Oy Sistema y método para la transmisión adaptativa de parámetros de ruido de confort durante la transmisión de habla discontinua
KR100851970B1 (ko) 2005-07-15 2008-08-12 삼성전자주식회사 오디오 신호의 중요주파수 성분 추출방법 및 장치와 이를이용한 저비트율 오디오 신호 부호화/복호화 방법 및 장치
US7610197B2 (en) 2005-08-31 2009-10-27 Motorola, Inc. Method and apparatus for comfort noise generation in speech communication systems
US7720677B2 (en) 2005-11-03 2010-05-18 Coding Technologies Ab Time warped modified transform coding of audio signals
US7536299B2 (en) 2005-12-19 2009-05-19 Dolby Laboratories Licensing Corporation Correlating and decorrelating transforms for multiple description coding systems
US8255207B2 (en) 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
JP2009524101A (ja) 2006-01-18 2009-06-25 エルジー エレクトロニクス インコーポレイティド 符号化/復号化装置及び方法
CN101371295B (zh) 2006-01-18 2011-12-21 Lg电子株式会社 用于编码和解码信号的设备和方法
US8032369B2 (en) 2006-01-20 2011-10-04 Qualcomm Incorporated Arbitrary average data rates for variable rate coders
FR2897733A1 (fr) 2006-02-20 2007-08-24 France Telecom Procede de discrimination et d'attenuation fiabilisees des echos d'un signal numerique dans un decodeur et dispositif correspondant
US20070253577A1 (en) 2006-05-01 2007-11-01 Himax Technologies Limited Equalizer bank with interference reduction
US7873511B2 (en) * 2006-06-30 2011-01-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder and audio processor having a dynamically variable warping characteristic
JP4810335B2 (ja) * 2006-07-06 2011-11-09 株式会社東芝 広帯域オーディオ信号符号化装置および広帯域オーディオ信号復号装置
US7933770B2 (en) 2006-07-14 2011-04-26 Siemens Audiologische Technik Gmbh Method and device for coding audio data based on vector quantisation
CN102592303B (zh) 2006-07-24 2015-03-11 索尼株式会社 毛发运动合成器系统和用于毛发/皮毛流水线的优化技术
US7987089B2 (en) * 2006-07-31 2011-07-26 Qualcomm Incorporated Systems and methods for modifying a zero pad region of a windowed frame of an audio signal
DE102006049154B4 (de) * 2006-10-18 2009-07-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kodierung eines Informationssignals
KR101016224B1 (ko) 2006-12-12 2011-02-25 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 인코더, 디코더 및 시간 영역 데이터 스트림을 나타내는 데이터 세그먼트를 인코딩하고 디코딩하는 방법
FR2911227A1 (fr) * 2007-01-05 2008-07-11 France Telecom Codage par transformee, utilisant des fenetres de ponderation et a faible retard
KR101379263B1 (ko) 2007-01-12 2014-03-28 삼성전자주식회사 대역폭 확장 복호화 방법 및 장치
FR2911426A1 (fr) 2007-01-15 2008-07-18 France Telecom Modification d'un signal de parole
JP4708446B2 (ja) 2007-03-02 2011-06-22 パナソニック株式会社 符号化装置、復号装置およびそれらの方法
JP2008261904A (ja) 2007-04-10 2008-10-30 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置、符号化方法および復号化方法
US8630863B2 (en) * 2007-04-24 2014-01-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding audio/speech signal
CN101388210B (zh) 2007-09-15 2012-03-07 华为技术有限公司 编解码方法及编解码器
US9653088B2 (en) * 2007-06-13 2017-05-16 Qualcomm Incorporated Systems, methods, and apparatus for signal encoding using pitch-regularizing and non-pitch-regularizing coding
KR101513028B1 (ko) * 2007-07-02 2015-04-17 엘지전자 주식회사 방송 수신기 및 방송신호 처리방법
US8185381B2 (en) 2007-07-19 2012-05-22 Qualcomm Incorporated Unified filter bank for performing signal conversions
CN101110214B (zh) 2007-08-10 2011-08-17 北京理工大学 一种基于多描述格型矢量量化技术的语音编码方法
ES2658942T3 (es) 2007-08-27 2018-03-13 Telefonaktiebolaget Lm Ericsson (Publ) Análisis espectral/síntesis de baja complejidad utilizando resolución temporal seleccionable
US8566106B2 (en) 2007-09-11 2013-10-22 Voiceage Corporation Method and device for fast algebraic codebook search in speech and audio coding
US8576096B2 (en) * 2007-10-11 2013-11-05 Motorola Mobility Llc Apparatus and method for low complexity combinatorial coding of signals
CN101425292B (zh) 2007-11-02 2013-01-02 华为技术有限公司 一种音频信号的解码方法及装置
DE102007055830A1 (de) 2007-12-17 2009-06-18 Zf Friedrichshafen Ag Verfahren und Vorrichtung zum Betrieb eines Hybridantriebes eines Fahrzeuges
CN101483043A (zh) 2008-01-07 2009-07-15 中兴通讯股份有限公司 基于分类和排列组合的码本索引编码方法
CN101488344B (zh) 2008-01-16 2011-09-21 华为技术有限公司 一种量化噪声泄漏控制方法及装置
US8000487B2 (en) 2008-03-06 2011-08-16 Starkey Laboratories, Inc. Frequency translation by high-frequency spectral envelope warping in hearing assistance devices
EP2107556A1 (en) 2008-04-04 2009-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio transform coding using pitch correction
US8423852B2 (en) 2008-04-15 2013-04-16 Qualcomm Incorporated Channel decoding-based error detection
US8768690B2 (en) 2008-06-20 2014-07-01 Qualcomm Incorporated Coding scheme selection for low-bit-rate applications
PL2311034T3 (pl) * 2008-07-11 2016-04-29 Fraunhofer Ges Forschung Koder i dekoder audio do kodowania ramek próbkowanego sygnału audio
MY154452A (en) 2008-07-11 2015-06-15 Fraunhofer Ges Forschung An apparatus and a method for decoding an encoded audio signal
PL2346030T3 (pl) 2008-07-11 2015-03-31 Fraunhofer Ges Forschung Koder audio, sposób kodowania sygnału audio oraz program komputerowy
EP2301020B1 (en) 2008-07-11 2013-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding/decoding an audio signal using an aliasing switch scheme
EP3002750B1 (en) * 2008-07-11 2017-11-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder for encoding and decoding audio samples
ES2683077T3 (es) * 2008-07-11 2018-09-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificador y decodificador de audio para codificar y decodificar tramas de una señal de audio muestreada
ATE539433T1 (de) 2008-07-11 2012-01-15 Fraunhofer Ges Forschung Bereitstellen eines zeitverzerrungsaktivierungssignals und codierung eines audiosignals damit
US8352279B2 (en) 2008-09-06 2013-01-08 Huawei Technologies Co., Ltd. Efficient temporal envelope coding approach by prediction between low band signal and high band signal
WO2010031049A1 (en) 2008-09-15 2010-03-18 GH Innovation, Inc. Improving celp post-processing for music signals
US8798776B2 (en) 2008-09-30 2014-08-05 Dolby International Ab Transcoding of audio metadata
BRPI0914056B1 (pt) 2008-10-08 2019-07-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Esquema de codificação/decodificação de áudio comutado multi-resolução
CN101770775B (zh) 2008-12-31 2011-06-22 华为技术有限公司 信号处理方法及装置
US8457975B2 (en) * 2009-01-28 2013-06-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio decoder, audio encoder, methods for decoding and encoding an audio signal and computer program
CA2750795C (en) * 2009-01-28 2015-05-26 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, encoded audio information, methods for encoding and decoding an audio signal and computer program
EP2214165A3 (en) 2009-01-30 2010-09-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for manipulating an audio signal comprising a transient event
US8805694B2 (en) 2009-02-16 2014-08-12 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding audio signal using adaptive sinusoidal coding
EP2234103B1 (en) 2009-03-26 2011-09-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Device and method for manipulating an audio signal
WO2010148516A1 (en) 2009-06-23 2010-12-29 Voiceage Corporation Forward time-domain aliasing cancellation with application in weighted or original signal domain
CN101958119B (zh) 2009-07-16 2012-02-29 中兴通讯股份有限公司 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法
WO2011048094A1 (en) 2009-10-20 2011-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-mode audio codec and celp coding adapted therefore
PL2473995T3 (pl) * 2009-10-20 2015-06-30 Fraunhofer Ges Forschung Koder sygnału audio, dekoder sygnału audio, sposób dostarczania zakodowanej reprezentacji treści audio, sposób dostarczania dekodowanej reprezentacji treści audio oraz program komputerowy do wykorzystania w zastosowaniach z małym opóźnieniem
CN102081927B (zh) 2009-11-27 2012-07-18 中兴通讯股份有限公司 一种可分层音频编码、解码方法及系统
US8428936B2 (en) * 2010-03-05 2013-04-23 Motorola Mobility Llc Decoder for audio signal including generic audio and speech frames
US8423355B2 (en) * 2010-03-05 2013-04-16 Motorola Mobility Llc Encoder for audio signal including generic audio and speech frames
TW201214415A (en) 2010-05-28 2012-04-01 Fraunhofer Ges Forschung Low-delay unified speech and audio codec
BR122021002104B1 (pt) * 2010-07-08 2021-11-03 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E. V. Codificador que utiliza cancelamento de serrilhado futuro

Also Published As

Publication number Publication date
JP2014510305A (ja) 2014-04-24
EP3503098A1 (en) 2019-06-26
CA2827272C (en) 2016-09-06
AU2012217153A1 (en) 2013-10-10
CN103503062A (zh) 2014-01-08
SG192721A1 (en) 2013-09-30
MY160265A (en) 2017-02-28
AR102602A2 (es) 2017-03-15
KR20130133846A (ko) 2013-12-09
TW201506907A (zh) 2015-02-16
KR101853352B1 (ko) 2018-06-14
TR201908598T4 (tr) 2019-07-22
EP4243017A3 (en) 2023-11-08
MX2013009306A (es) 2013-09-26
WO2012110473A1 (en) 2012-08-23
EP2676265B1 (en) 2019-04-10
AU2012217153B2 (en) 2015-07-16
US20130332148A1 (en) 2013-12-12
ES2725305T3 (es) 2019-09-23
TW201301262A (zh) 2013-01-01
EP4243017A2 (en) 2023-09-13
BR112013020699B1 (pt) 2021-08-17
CA2827272A1 (en) 2012-08-23
AR085221A1 (es) 2013-09-18
KR101698905B1 (ko) 2017-01-23
TWI479478B (zh) 2015-04-01
ZA201306839B (en) 2014-05-28
CN103503062B (zh) 2016-08-10
CN105304090B (zh) 2019-04-09
EP3503098B1 (en) 2023-08-30
US9047859B2 (en) 2015-06-02
EP2676265A1 (en) 2013-12-25
PT2676265T (pt) 2019-07-10
AR098557A2 (es) 2016-06-01
PL2676265T3 (pl) 2019-09-30
EP3503098C0 (en) 2023-08-30
CN105304090A (zh) 2016-02-03
KR20160039297A (ko) 2016-04-08
RU2013141919A (ru) 2015-03-27
TWI563498B (en) 2016-12-21
BR112013020699A2 (pt) 2016-10-25

Similar Documents

Publication Publication Date Title
JP6110314B2 (ja) 整列したルックアヘッド部分を用いてオーディオ信号を符号化及び復号するための装置並びに方法
US11676611B2 (en) Audio decoding device and method with decoding branches for decoding audio signal encoded in a plurality of domains
US8804970B2 (en) Low bitrate audio encoding/decoding scheme with common preprocessing
KR101325335B1 (ko) 오디오 샘플 인코드 및 디코드용 오디오 인코더 및 디코더
JP5243661B2 (ja) オーディオ信号符号器、オーディオ信号復号器、オーディオコンテンツの符号化表現を供給するための方法、オーディオコンテンツの復号化表現を供給するための方法、および低遅延アプリケーションにおける使用のためのコンピュータ・プログラム
KR20110043592A (ko) 샘플링된 오디오 신호의 프레임들을 인코딩 및 디코딩하기 위한 오디오 인코더 및 디코더
MX2011003824A (es) Esquema de codificacion/decodificacion de audio conmutado de resolucion multiple.
AU2013200679B2 (en) Audio encoder and decoder for encoding and decoding audio samples
RU2574849C2 (ru) Устройство и способ для кодирования и декодирования аудиосигнала с использованием выровненной части опережающего просмотра
ES2963367T3 (es) Aparato y procedimiento de decodificación de una señal de audio usando una parte de anticipación alineada

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140826

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141120

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150825

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160223

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160719

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20161108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20161118

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20161212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170309

R150 Certificate of patent or registration of utility model

Ref document number: 6110314

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250