JP5849106B2 - 低遅延の統合されたスピーチ及びオーディオ符号化におけるエラー隠しのための装置及び方法 - Google Patents

低遅延の統合されたスピーチ及びオーディオ符号化におけるエラー隠しのための装置及び方法 Download PDF

Info

Publication number
JP5849106B2
JP5849106B2 JP2013553891A JP2013553891A JP5849106B2 JP 5849106 B2 JP5849106 B2 JP 5849106B2 JP 2013553891 A JP2013553891 A JP 2013553891A JP 2013553891 A JP2013553891 A JP 2013553891A JP 5849106 B2 JP5849106 B2 JP 5849106B2
Authority
JP
Japan
Prior art keywords
value
spectral
frame
error
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013553891A
Other languages
English (en)
Other versions
JP2014506687A (ja
Inventor
レコンテ，ジェレミー
ディーツ，マルチン
シュナーベル，ミヒャエル
シュペアシュナイダー，ラルフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technische Universitaet Ilmenau
Original Assignee
Technische Universitaet Ilmenau
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technische Universitaet Ilmenau filed Critical Technische Universitaet Ilmenau
Publication of JP2014506687A publication Critical patent/JP2014506687A/ja
Application granted granted Critical
Publication of JP5849106B2 publication Critical patent/JP5849106B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/10—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/012—Comfort noise or silence coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025—Detection of transients or attacks for time/frequency resolution switching
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/03—Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G10L19/07—Line spectrum pair [LSP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/10—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
    • G10L19/107—Sparse pulse excitation, e.g. by using algebraic codebook
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G10L19/13—Residual excited linear prediction [RELP]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering

Description

本発明は、オーディオ信号処理に関し、特に、低遅延の統合されたスピーチ及びオーディオ符号化（Low-Delay Unified Speech and Audio Coding: 省略形はＬＤ-ＵＳＡＣ）におけるエラー隠しのための装置及び方法に関する。
オーディオ信号処理は多くの方法で発展を遂げ、ますます重要となってきた。オーディオ信号処理においては、低遅延の統合されたスピーチ及びオーディオ符号化は、スピーチと、オーディオと、スピーチ及びオーディオの任意の混合とに適合する符号化技術を提供することを目的としている。さらに、ＬＤ-ＵＳＡＣは、符号化されたオーディオ信号について高品質を保証することを目的としている。ＵＳＡＣ（Unified Speech and Audio Coding:統合されたスピーチ及びオーディオ符号化）と比べてＬＤ-ＵＳＡＣにおける遅延は低減されている。
オーディオデータを符号化する際に、ＬＤ-ＵＳＡＣ符号器は符号化されるべきオーディオ信号を検査する。ＬＤ-ＵＳＡＣ符号器は、予測フィルタの線形予測フィルタ係数を符号化することで、オーディオ信号を符号化する。特定のオーディオフレームごとに符号化されるべきオーディオデータに基づいて、ＬＤ-ＵＳＡＣ符号器は、ＡＣＥＬＰ(Advanced Code Excited Linear Prediction:高度符号励起線形予測)を符号化のために使用すべきか、又はそのオーディオデータをＴＣＸ(Transform Coded Excitation: 変換符号化励起)を使用して符号化すべきかについて判定する。ＡＣＥＬＰが、ＬＰ（線形予測）フィルタ係数と適応型の符号帳インデックスと代数型の符号帳インデックスと適応型及び代数型の符号帳ゲインとを使用する一方で、ＴＣＸは、ＬＰフィルタ係数とエネルギーパラメータと修正離散コサイン変換（ＭＤＣＴ）に関連する量子化のインデックスとを使用する。
復号器側では、ＬＤ-ＵＳＡＣ復号器が現在のオーディオ信号フレームのオーディオデータを符号化するためにＡＣＥＬＰ又はＴＣＸが使用されたかどうかを判定する。復号器は次に、その判定に応じてオーディオ信号フレームを復号化する。
3GPP, "Audio codec processing functions; Extended Adaptive Multi-Rate _ Wideband (AMR-WB+) codec; Transcoding functions", 2009, 3GPP TS 26.290. USAC codec (Unified Speech and Audio Codec), ISO/IEC CD 23003-3 dated September 24, 2010 3GPP, "Speech codec speech processing functions; Adaptive Multi-Rate _ Wideband (AMR-WB) speech codec; Transcoding functions", 2009, V9.0.0, 3GPP TS 26.190. ISO/IEC 14496-3:2005: Information technology _ Coding of audio-visual objects _ Part 3: Audio, 2005 ITU-T G.718 (06-2008) specification
時折ではあるが、データの送信は失敗する。例えば、送信者によって送信されたオーディオ信号フレームが受信者側ではエラーと共に到着していたり、全く到着しなかったり、又はフレームが遅れたりすることがある。
これらの場合には、欠損している又はエラーを有するオーディオデータが置き換えられ得るように、エラー隠しが必要になる可能性がある。この点は、リアルタイムの要件を持つアプリケーションにとっては特に切実となる。なぜなら、エラーを有する又は欠損しているフレームの再送信を要求することは、低遅延の要件に違反する可能性があるからである。
しかし、他のオーディオアプリケーションに使用される現存の隠しテクニックでは、合成アーチファクトによって引き起こされる人工的な音声を生成してしまう場合が多い。
そこで、本発明の目的は、オーディオ信号フレームのエラー隠しのための改善された概念を提供することである。本発明のこの目的は、請求項１に記載の装置と、請求項１５に記載の方法と、請求項１６に記載のコンピュータプログラムとによって達成される。
オーディオ信号のスペクトル置換値(spectral replacement values)を生成するための装置が提供される。この装置は、先行して受信されたエラー無しのオーディオフレームに関連する先行スペクトル値を記憶するためのバッファユニットを備える。この装置は、現在のオーディオフレームが受信不完全である場合やエラーを含む場合にスペクトル置換値を生成するための隠しフレーム生成部をさらに備える。先行して受信されたエラー無しのオーディオフレームはフィルタ情報を含み、そのフィルタ情報には予測フィルタの安定度(stability)を示すフィルタ安定度値が関連付けられている。隠しフレーム生成部は、先行スペクトル値に基づきかつフィルタ安定度値に基づいて、スペクトル置換値を生成するよう構成されている。
本発明は次のような知見に基づいている。即ち、先行して受信されたエラー無しの先行スペクトル値がエラー隠しのために使用されてもよいが、これらの値にはフェードアウトが実行されるべきであり、かつそのフェードアウトは信号の安定度に依存すべきであるという知見である。信号の安定度が低ければ低いほど、そのフェードアウトがより急速に実行されるべきである。
ある実施形態では、隠しフレーム生成部は、先行スペクトル値の正負符号をランダムにフリップさせることで、スペクトル置換値を生成するよう構成されてもよい。
更なる実施形態によれば、隠しフレーム生成部は、フィルタ安定度値が第１の値を持つ場合には、先行スペクトル値の各々を第１ゲインファクタで乗算し、フィルタ安定度値が第１の値よりも小さい第２の値を持つ場合には、先行スペクトル値の各々を第１ゲインファクタよりも小さい第２ゲインファクタで乗算することによって、スペクトル置換値を生成するよう構成されてもよい。
他の実施形態によれば、隠しフレーム生成部は、フィルタ安定度値に基づいてスペクトル置換値を生成するよう構成されてもよく、ここで、先行して受信されたエラー無しのオーディオフレームが予測フィルタの第１予測フィルタ係数を含み、その先行して受信されたエラー無しのオーディオフレームよりも更に以前のフレームが第２予測フィルタ係数を含み、フィルタ安定度値は第１予測フィルタ係数と第２予測フィルタ係数とに依存する。
ある実施形態によれば、隠しフレーム生成部は、先行して受信されたエラー無しのオーディオフレームの第１予測フィルタ係数に基づき、かつその先行して受信されたエラー無しのオーディオフレームよりも更に以前のフレームの第２予測フィルタ係数に基づいて、フィルタ安定度値を決定するよう構成されてもよい。
他の実施形態によれば、隠しフレーム生成部は、フィルタ安定度値に基づいてスペクトル置換値を生成するよう構成されてもよく、ここで、フィルタ安定度値は距離の測度ＬＳＦdistに依存し、その距離の測度ＬＳＦdistが次式により定義される。
Figure 0005849106
 ここで、ｕ+１は、先行して受信されたエラー無しのオーディオフレームの第１予測フィルタ係数の個数を表し、ｕ+１はまた、その先行して受信されたエラー無しのオーディオフレームよりも更に以前のフレームの第２予測フィルタ係数の個数を表し、ｆiは第１予測フィルタ係数のｉ番目のフィルタ係数を表し、ｆi (p)は第２予測フィルタ係数のi番目のフィルタ係数を表す。
ある実施形態によれば、隠しフレーム生成部は、先行して受信されたエラー無しのオーディオフレームに関するフレーム分類情報にさらに基づいて、スペクトル置換値を生成するよう構成されてもよい。例えば、フレーム分類情報は、先行して受信されたエラー無しのオーディオフレームが、「人工的なオンセット」、「オンセット」、「発声された遷移」、「発声されない遷移」、「発声されない」又は「発声された」として分類されることを示す。
ある実施形態によれば、隠しフレーム生成部は、最後のエラー無しのオーディオフレームが受信機に到着してから後の、受信機に到着しなかった又はエラーを含んでいた連続的なフレームの数にさらに基づいて、スペクトル置換値を生成するよう構成されてもよく、このとき、その最後のエラー無しのオーディオフレームが受信機に到着してから後には、他のエラー無しのオーディオフレームは受信機に全く到着していない。
他の実施形態によれば、隠しフレーム生成部は、フィルタ安定度値に基づいて、かつ受信機に到着しなかった又はエラーを含んでいた連続的なフレームの数に基づいて、フェードアウトファクタを計算するよう構成されてもよい。さらに、隠しフレーム生成部は、そのフェードアウトファクタに、先行スペクトル値のうちの少なくとも幾つかを乗算することで、又は、中間値のグループ内の少なくとも幾つかの値を乗算することで、スペクトル置換値を生成するよう構成されてもよく、ここで、中間値の各々は、先行スペクトル値の少なくとも１つに依存する。
更に他の実施形態によれば、隠しフレーム生成部は、先行スペクトル値とフィルタ安定度値と時間的ノイズ成形の予測ゲインとに基づいて、スペクトル置換値を生成するよう構成されてもよい。
更に他の実施形態によれば、オーディオ信号復号器が提供される。そのオーディオ信号復号器は、スペクトルオーディオ信号値を復号化する装置と、上述の実施形態のうちの１つに従ってスペクトル置換値を生成する装置とを備えてもよい。スペクトルオーディオ信号値を復号化する装置は、先行して受信されたエラー無しのオーディオフレームに基づいて、オーディオ信号のスペクトル値を復号化するよう構成されてもよい。更に、スペクトルオーディオ信号値を復号化する装置は、スペクトル置換値を生成する装置のバッファユニット内のオーディオ信号のスペクトル値を記憶するよう構成されてもよい。スペクトル置換値を生成する装置は、現在のオーディオフレームが受信不完全であるか又はエラーを含む場合には、バッファユニットに記憶されたスペクトル値に基づいて、スペクトル置換値を生成するよう構成されてもよい。
更に、他の実施形態に係るオーディオ信号復号器が提供される。そのオーディオ信号復号器は、受信済みのエラー無しのオーディオフレームに基づいて第１中間スペクトル値を生成する復号化ユニットと、第１中間スペクトル値に対して時間的ノイズ成形を実行することで第２中間スペクトル値を得る時間的ノイズ成形ユニットと、第１中間スペクトル値に依存しかつ第２中間スペクトル値に依存して時間的ノイズ成形の予測ゲインを計算する予測ゲイン計算部と、現在のオーディオフレームが受信不完全であるか又はエラーを含む場合にスペクトル置換値を生成するための上述した実施形態のうちの１つに係る装置と、予測ゲインがある閾値以上である場合にはスペクトル置換値を生成する装置のバッファユニット内に第１中間スペクトル値を記憶し、又は予測ゲインがその閾値よりも小さい場合にはスペクトル置換値を生成する装置のバッファユニット内に第２中間スペクトル値を記憶するための値選択部と、を備える。
更に、別の実施形態に係る他のオーディオ信号復号器が提供される。そのオーディオ信号復号器は、受信済みのエラー無しのオーディオフレームに基づいて生成済みのスペクトル値を生成する第１復号化モジュールと、上述の実施形態のうちの１つに従ってスペクトル置換値を生成する装置と、生成済みのスペクトル値に対して時間的ノイズ成形を実行し、ノイズ充填を適用し、及び／又はグローバルゲインを適用することで、復号化されたオーディオ信号のスペクトルオーディオ値を取得するように処理する処理モジュールと、を備える。スペクトル置換値を生成する装置は、現在のフレームが受信不完全であるか又はエラーを含む場合に、スペクトル置換値を生成し、かつそれらを処理モジュールへと供給するよう構成されてもよい。
好適な実施形態は従属項において提供される。
以下に、本発明の好ましい実施形態について図面を参照しながら説明する。
本発明の一実施形態に係るオーディオ信号のスペクトル置換値を得る装置を示す。 本発明の他の実施形態に係るオーディオ信号のスペクトル置換値を得る装置を示す。 本発明の一実施形態に従うゲインファクタと先行スペクトル値との乗算を示す。 オンセットを含む信号部分の繰り返しを時間ドメインで示す。 安定的な信号部分の繰り返しを時間ドメインで示す。 本発明の一実施形態に従って、生成済みのゲインファクタが図３ａのスペクトル値に対して適用される例を示す。 本発明の一実施形態に係るオーディオ信号復号器を示す。 本発明の他の実施形態に係るオーディオ信号復号器を示す。 本発明の更に他の実施形態に係るオーディオ信号復号器を示す。
図１は、オーディオ信号のスペクトル置換値を生成する装置１００を示す。装置１００は、先行して受信されたエラー無しのオーディオフレームに関する先行スペクトル値を記憶するためのバッファユニット１１０を含む。装置１００は、現在のオーディオフレームが受信不完全であるか又はエラーを含む場合にスペクトル置換値を生成する、隠しフレーム生成部１２０をさらに含む。先行して受信されたエラー無しのオーディオフレームはフィルタ情報を含み、そのフィルタ情報には、予測フィルタの安定度を示すフィルタ安定度値が関連付けられている。隠しフレーム生成部１２０は、先行スペクトル値に基づき、かつフィルタ安定度値にも基づいて、スペクトル置換値を生成するよう構成されている。
先行して受信されたエラー無しのオーディオフレームは、例えば先行スペクトル値を含んでもよい。例えば、その先行スペクトル値は、先行して受信されたエラー無しのオーディオフレーム内に符号化された形態で含まれていてもよい。
他の場合には、先行スペクトル値は、例えば先行して受信されたエラー無しのオーディオフレーム内に含まれていた値（例えばオーディオ信号のスペクトル値）などを修正することによって生成された値であってもよい。例えば、先行して受信されたエラー無しのオーディオフレーム内に含まれていた値が、それら各々にゲインファクタを乗算することによって修正され、先行スペクトル値が取得されてもよい。
他の場合には、先行スペクトル値は、例えば先行して受信されたエラー無しのオーディオフレーム内に含まれる値に基づいて生成された値であってもよい。例えば、先行スペクトル値の各々は、先行して受信されたエラー無しのオーディオフレーム内に含まれる値のうちの少なくとも幾つかを使用することによって生成されたものであってもよく、その結果、先行スペクトル値の各々が、先行して受信されたエラー無しのオーディオフレーム内に含まれる値のうちの少なくとも幾つかに依存してもよい。例えば、先行して受信されたエラー無しのオーディオフレーム内に含まれる値は、中間信号を生成するために使用されていてもよい。一例として、その生成された中間信号のスペクトル値が、先行して受信されたエラー無しのオーディオフレームに関連する先行スペクトル値として認識されてもよい。
矢印１０５は、先行スペクトル値がバッファユニット１１０内に記憶されることを示す。
隠しフレーム生成部１２０は、現在のオーディオフレームが時間内に受信完了していない場合又はエラーを含む場合に、スペクトル置換値を生成してもよい。例えばスペクトル置換値を取得する装置１００が配置され得る受信機に対して、送信機が現在のオーディオフレームを送信することができる。しかし、現在のオーディオフレームは、例えば何らかの送信エラーに起因して受信機に到着できないことがある。又は、送信された現在のオーディオフレームが受信機によって受信されるものの、例えば送信中の障害などにより、現在のオーディオフレームがエラーを含むことがある。そのような場合やその他の場合には、隠しフレーム生成部１２０がエラー隠しのために必要となる。
そのため、現在のオーディオフレームが受信不完全である場合又はエラーを含む場合には、先行スペクトル値の少なくとも幾つかに基づいて、隠しフレーム生成部１２０がスペクトル置換値を生成するよう構成されている。本発明の実施形態によれば、先行して受信されたエラー無しのオーディオフレームはフィルタ情報を含み、フィルタ情報には、そのフィルタ情報によって定義される予測フィルタの安定度を示すフィルタ安定度値が関連付けられている。例えば、オーディオフレームは、例えば線形予測フィルタ係数などの予測フィルタ係数をフィルタ情報として含んでもよい。
隠しフレーム生成部１２０はさらに、予測スペクトル値に基づきかつフィルタ安定度値に基づいて、スペクトル置換値を生成するよう構成されてもよい。
例えば、スペクトル置換値は、先行スペクトル値に基づきかつフィルタ安定度値に基づいて生成されてもよく、その方法は、先行スペクトル値の各々に対してあるゲインファクタが乗算され、このときそのゲインファクタの値がフィルタ安定度値に依存するという方法でもよい。例えば、第１の場合と比較して第２の場合の方がフィルタ安定度値が低いときには、第１の場合と比較して第２の場合の方がゲインファクタが小さくてよい。
他の実施形態によれば、スペクトル置換値は、先行スペクトル値に基づきかつフィルタ安定度値に基づいて生成されてもよい。先行スペクトル値を修正すること、例えば先行スペクトル値の正負符号をランダムにフリップすることによって中間値を生成し、かつその中間値の各々にゲインファクタを乗算することで、スペクトル置換値が生成されてもよく、このとき、ゲインファクタの値はフィルタ安定度値に依存してもよい。例えば、第１の場合と比較して第２の場合の方がフィルタ安定度値が低いときには、第１の場合と比較して第２の場合の方がゲインファクタが小さくてよい。
更なる実施形態によれば、先行スペクトル値を使用してある中間信号が生成されてもよく、その中間信号に対して線形予測フィルタを適用することでスペクトルドメイン合成信号が生成されてもよい。次いで、生成された合成信号の各スペクトル値にゲインファクタを乗算してもよく、このときそのゲインファクタの値がフィルタ安定度値に依存してもよい。上述したように、例えば第１の場合と比較して第２の場合におけるフィルタ安定度値が低いときには、第１の場合と比較して第２の場合におけるゲインファクタが小さくてもよい。
図２に示す特別な実施形態について詳細に説明する。第１フレーム１０１は、スペクトル置換値を取得するための装置１００が配置されている受信機側に到着する。受信機側では、オーディオフレームがエラー無しであるかどうかがチェックされる。エラー無しのオーディオフレームとは、例えばそのオーディオフレーム内に含まれる全てのオーディオデータがエラーを含まないという意味である。そのため、受信されたフレームがエラー無しかどうかを決定する手段（図示せず）が受信機側に設けられてもよい。その目的で、エラーを識別する現状の技術、即ち、受信されたオーディオデータが受信されたチェックビット又は受信されたチェックサムと一致するかどうかを検査する手段が使用されてもよい。又は、エラー検出手段は、巡回冗長検査（ＣＲＣ）を使用して、受信されたオーディオデータが受信されたＣＲＣ値と一致するかどうかを検査してもよい。受信されたオーディオフレームがエラー無しかどうかを検査する他の技術も使用可能である。
第１オーディオフレーム１０１はオーディオデータ１０２を含む。更に、第１オーディオフレームはチェックデータ１０３をも含む。チェックデータは、例えばチェックビット、チェックサム又はＣＲＣ値であってもよく、受信されたオーディオフレーム１０１がエラー無しであるか（エラー無しのフレームであるか）どうかを検査するために、受信機側において使用されてもよい。
もしオーディオフレーム１０１がエラー無しであると判定されると、次にそのエラー無しのオーディオフレーム、例えばオーディオデータ１０２に関連する値は、「先行スペクトル値」としてバッファユニット１１０内に記憶される。これらの値は、例えばオーディオフレーム内で符号化されたオーディオ信号のスペクトル値であってもよい。又は、バッファユニット内で記憶される値は、例えばオーディオフレーム内で記憶された符号化済みの値を処理又は／修正することで得られる中間値であってもよい。代替的に、信号例えばスペクトルドメインの合成信号が、オーディオフレームの符号化済みの値に基づいて生成されてもよく、その生成された信号のスペクトル値がバッファユニット１１０内に記憶されてもよい。先行スペクトル値をバッファユニット１１０内に記憶することは、矢印１０５により示される。
更に、オーディオフレーム１０１のオーディオデータ１０２は、符号化されたオーディオ信号（図示せず）を復号化するために受信機側において使用される。オーディオ信号の復号化された部分は、次に受信機側で再生されてもよい。
オーディオフレーム１０１を処理した後で、受信機側は、（オーディオデータ１１２とチェックサム１１３とを含む）次のオーディオフレーム１１１が受信機側に到着することを期待する。しかし、例えば（図中に１１５で示すように）オーディオフレーム１１１が伝送されている間に、何か予期せぬことが発生することがある。これは参照番号１１６で図示されている。例えば接続に障害が発生し、オーディオフレーム１１１のビットが送信の途中に意図せず修正されてしまうことや、又は例えばオーディオフレーム１１１が受信機側に全く到着しない可能性がある。
そのような状況では隠し操作が必要となる。例えば、受信されたオーディオフレームに基づいて生成されるオーディオ信号が受信機側において再生される場合には、欠損しているフレームをマスクする技術が使用されるべきである。例えば、再生のために必要なオーディオ信号の現在のオーディオフレームが受信機側に到着しないかエラーを含む場合に、どのように処理すべきかについて概念的な定義付けが必要である。
隠しフレーム生成部１２０は、エラー隠しを提供するよう構成されている。図２において、隠しフレーム生成部１２０は、現在のフレームが受信不完全である又はエラーを含むという情報を得る。受信機側では、隠し操作が必要であるということを隠しフレーム生成部１２０に示す（これは破線１１７により示す）ための手段（図示せず）が使用されてもよい。
エラー隠しを実行するために、隠しフレーム生成部１２０は、先行して受信されたエラー無しフレーム１０１に関連する先行スペクトル値（例えば先行するオーディオ値）の一部又は全てをバッファユニット１１０へ要求してもよい。この要求は矢印１１８によって示す。図２に示す例のように、先行して受信されたエラー無しフレームとは、例えばオーディオフレーム１０１などのように受信された最後のエラー無しフレームであってもよい。しかし、先行して受信されたエラー無しフレームとして、異なるエラー無しフレームが受信機側で使用されてもよい。
隠しフレーム生成部は、（例えばオーディオフレーム１０１などの）先行して受信されたエラー無しのオーディオフレームに関連する（一部又は全ての）先行スペクトル値を、参照番号１１９で示すようにバッファユニット１１０から受信する。例えば多数のフレーム損失がある場合には、バッファが完全に又は部分的に更新される。一実施形態においては、矢印１１８と１１９とにより示されるステップは、隠しフレーム生成部１２０がバッファユニット１１０から先行スペクトル値をロードすることで実現されてもよい。
次に隠しフレーム生成部１２０は、先行スペクトル値の少なくとも幾つかに基づいてスペクトル置換値を生成する。これにより、受聴者は１つ又はそれ以上のオーディオフレームが欠損していることには気づかず、その結果、再生によって創造される音響の印象が障害を受けることはない。
隠し操作を達成する単純な方法は、欠損しているまたはエラーを含む現在のフレームのために、例えば最後のエラー無しのフレームのスペクトル値などの値をスペクトル置換値として単純に使用することであろう。
しかし、オンセットの場合、例えば音量が突然有意に変化するような場合には、独特の問題が存在する。例えばノイズバーストの場合には、最後のフレームの先行スペクトル値を単純に繰り返すことによって、ノイズバーストもまた繰り返されるであろう。
対照的に、オーディオ信号が非常に安定的である場合、例えばその音量が有意に変化しない場合や、そのスペクトル値が有意に変化しない場合には、例えば先行して受信されたオーディオ信号部分を繰り返すなどのように、先行して受信されたオーディオデータに基づいて現在のオーディオ信号部分を人工的に生成する効果は、受聴者にとって耳障りにはならないであろう。
本発明の実施形態は上述の知見に基づいている。隠しフレーム生成部１２０は、先行スペクトル値の少なくとも幾つかに基づき、かつオーディオ信号に関連する予測フィルタの安定度を示すフィルタ安定度値に基づいて、スペクトル置換値を生成する。従って、隠しフレーム生成部１２０は、オーディオ信号の安定度、例えば先行して受信されたエラー無しフレームに関連するオーディオ信号の安定度を考慮に入れる。
そのため、隠しフレーム生成部１２０は、先行スペクトル値に適用されるゲインファクタの値を変更してもよい。例えば、先行スペクトル値の各々にゲインファクタの変更値を乗算してもよい。この様子を図３ａ〜図３ｃに示す。
図３ａでは、元のゲインファクタが適用される以前の、先行して受信されたエラー無しフレームに関連するオーディオ信号のスペクトル線の幾つかを示す。例えば、元のゲインファクタはオーディオフレーム内で伝送されたゲインファクタであってもよい。受信機側では、もし受信されたフレームがエラー無しであった場合には、復号器は、例えばそのオーディオ信号のスペクトル値の各々に元のゲインファクタｇを乗算して、修正済みスペクトルを得るよう構成されてもよい。この点に関しては図３ｂで示す。
図３ｂには、図３ａのスペクトル線に元のゲインファクタを乗算することで得られるスペクトル線を示す。説明を簡略化するために、元のゲインファクタｇは２．０である（ｇ＝２．０）と仮定する。図３ａと図３ｂとは、隠し操作が必要でなかった場合のシナリオを説明している。
図３ｃでは、現在のオーディオフレームが受信不完全であるか又はエラーを含む場合のシナリオが想定されている。このような場合には、置換ベクトルが生成されなければならない。そのため、先行して受信されたエラー無しフレームに関連する先行スペクトル値であって、バッファユニット内に記憶されていたものが、スペクトル置換値を生成するために使用されてもよい。
図３ｃに示す例においては、スペクトル置換値は受信された値に基づいて生成されるが、元のゲインファクタは修正されると想定される。
図３ｂに示す場合において受信された値を増幅するために使用されたゲインファクタとは異なる、さらに小さなゲインファクタが、スペクトル置換値を生成するために使用される。
例えば、図３ｃに示すシナリオで使用される修正済みのゲインファクタは、元のゲインファクタの７５％でよく、例えば０．７５・２．０＝１．５でよい。スペクトル値の各々に（低減された）修正済みゲインファクタを乗算することで、フェードアウトが実行される。なぜなら、スペクトル値の各々の乗算に使用された修正済みゲインファクタｇact＝１．５は、エラー無しの場合にスペクトル値の乗算に使用された元のゲインファクタ（ゲインファクタｇprev＝２．０）よりも小さいからである。
本発明は、特に次のような知見に基づく。即ち、それぞれのオーディオ信号部分が不安定な場合に、先行して受信されたエラー無しフレームの値を繰り返すことは、それぞれのオーディオ信号部分が安定的な場合と比較して、より耳障りとして知覚されるという知見である。この点に関しては図４ａと図４ｂで示す。
例えば、もし先行して受信されたエラー無しフレームがオンセットを含む場合には、そのオンセットが再現される可能性が高い。図４ａには、最後に受信されたエラー無しのフレームに関連するオーディオ信号部分内で過渡が発生しているオーディオ信号部分を示す。図４ａと図４ｂでは、横軸は時間を示し、縦軸はオーディオ信号の振幅値を示す。
番号４１０により示される信号部分は、最後に受信されたエラー無しのフレームに関するオーディオ信号部分に関連している。範囲４２０内の破線は、もし先行して受信されたエラー無しフレームに関する値が単純にコピーされかつ置換フレームのスペクトル置換値として使用された場合における、可能な曲線の続きを時間ドメインで示している。図から分かるように、過渡は繰り返される可能性が高く、それは、受聴者により耳障りとして知覚される可能性がある。
対照的に、図４ｂは信号が非常に安定的である場合を示す。図４ｂにおいては、最後に受信されたエラー無しのフレームに関連するオーディオ信号部分が示されている。図４ｂの信号部分においては、過渡は発生していない。繰り返しになるが、横軸は時間を示し、縦軸はオーディオ信号の振幅を示す。範囲４３０は、最後に受け取られたエラー無しのフレームに関する信号部分に関連している。範囲４４０内の破線は、もし先行して受信されたエラー無しフレームに関する値がコピーされかつ置換フレームのスペクトル置換値として使用された場合における、可能な曲線の続きを時間ドメインで示している。オーディオ信号が非常に安定的な場合には、最後の信号部分を繰り返すことは、図４ａで示したようにオンセットが繰り返される場合に比べ、受聴者にとってより受け入れ易いと考えられる。
本発明は、以下のような知見に基づいている。即ち、スペクトル置換値は、先行するオーディオフレームの先行して受信された値に基づいて生成されてもよいが、しかし加えて、オーディオ信号部分の安定度に依存する予測フィルタの安定度もまた考慮されるべきであるという知見である。従って、フィルタ安定度の値を計算に入れるべきである。フィルタ安定度値は、例えば予測フィルタの安定度を示してもよい。
ＬＤ-ＵＳＡＣにおいては、例えば線形予測フィルタ係数などの予測フィルタ係数が符号器側で決定され、更に、オーディオフレーム内で受信機に対して送信されてもよい。
復号器側では、復号器が、例えば先行して受信されたエラー無しフレームの予測フィルタ係数のような予測フィルタ係数を受信する。さらに復号器は、その先行して受信されたフレームの例えば更に以前のフレームの予測フィルタ係数を既に受信済みであってもよく、かつ、これらの予測フィルタ係数を既に記憶済みであってもよい。先行して受信されたエラー無しフレームの更に以前のフレームとは、先行して受信されたエラー無しフレームの直前のフレームである。隠しフレーム生成部は、次に、その先行して受信されたエラー無しフレームの予測フィルタ係数に基づき、さらにその先行して受信されたエラー無しフレームの更に以前のフレームの予測フィルタ係数に基づいて、フィルタ安定度値を決定してもよい。
以下に、一実施形態に係るフィルタ安定度値の決定方法であり、ＬＤ-ＵＳＡＣに特に適する決定方法について説明する。考慮対象となる安定度値は、先行して受信されたエラー無しフレーム内で既に伝送済みであってもよい予測フィルタ係数に依存しており、その数は、例えば狭帯域の場合には１０個の予測フィルタ係数ｆiとなり、例えば広帯域の場合には１６個の予測フィルタ係数ｆiとなる。
さらに、先行して受信されたエラー無しフレームの更に以前のフレームの予測フィルタ係数もまた考慮され、その数は、例えば狭帯域の場合には１０個の更なる予測フィルタ係数ｆi (p)となり、例えば広帯域の場合には１６個の更なる予測フィルタ係数ｆi (p)となる。
例えばｋ番目の予測フィルタ係数ｆkは、符号器側で次式のように自己相関(autocorrelation)を演算することによって計算されていたものであってもよく、
Figure 0005849106
 ここでｓ’は、例えばスピーチ信号に対してある窓処理が適用された後の符号化されるべきスピーチ信号などである、窓掛けされたスピーチ信号を示す。ｔは例えば３８３であってもよい。代替的に、ｔは１９１又は９５などの他の値を有してもよい。
他の実施形態では、自己相関を演算する代わりに、現状の技術から知られるＬｅｖｉｎｓｏｎ-Ｄｕｒｂｉｎアルゴリズムを使用することもできる。この点に関しては、例えば非特許文献３を参照されたい。
上述したように、予測フィルタ係数ｆiとｆi (p)とは、先行して受信されたエラー無しフレームと、先行して受信されたエラー無しフレームの更に以前のフレームとのそれぞれの内部で、受信機に対して既に伝送済みであってもよい。
次に復号器側では、線スペクトル周波数(Line Spectral Frequency)の距離測度（LSF distance measure）ＬＳＦdistが次式を用いて計算されてもよい。
Figure 0005849106
 ここで、ｕは、先行して受信されたエラー無しフレーム内の予測フィルタ係数の個数−１であってもよい。例えば、もし先行して受信されたエラー無しフレームが１０個の予測フィルタ係数を有している場合には、例えばｕ＝９となる。先行して受信されたエラー無しフレーム内の予測フィルタ係数の個数は、典型的には、その先行して受信されたエラー無しフレームの更に以前のフレーム内における予測フィルタ係数の個数と同一である。
次に、安定度値が次式に従って計算されてもよい。
Figure 0005849106
 ここで、ｖは整数であってもよい。例えば、狭帯域の場合には、ｖは１５６２５０であってもよい。他の場合、即ち広帯域の場合には、ｖが４０００００であってもよい。
もしθが１又は１に近い値であれば、θは非常に安定な予測フィルタを示すと考えられる。
もしθが０又は０に近い値であれば、θは非常に不安定な予測フィルタを示すと考えられる。
隠しフレーム生成部は、現在のオーディオフレームが受信不完全であるか又はエラーを含む場合に、先行して受信されたエラー無しフレームの先行スペクトル値に基づいて、スペクトル置換値を生成するよう構成されてもよい。更に、隠しフレーム生成部は、上述のように、先行して受信されたエラー無しフレームの予測フィルタ係数ｆiに基づき、かつ先行して受信されたエラー無しフレームの更に以前のフレームの予測フィルタ係数ｆi (p)とに基づいて、安定度値θを計算するよう構成されてもよい。
ある実施形態においては、隠しフレーム生成部は、フィルタの安定度値を使用して、例えば元のゲインファクタを修正するなどにより生成済みのゲインファクタを生成し、更に、オーディオフレームに関連する先行スペクトル値に対してその生成済みのゲインファクタを適用することによってスペクトル置換値を取得するよう構成されてもよい。他の実施形態では、隠しフレーム生成部は、先行スペクトル値から導出される値に対して生成済みのゲインファクタを適用するよう構成される。
例えば、隠しフレーム生成部は、受信されたゲインファクタにフェードアウトファクタを乗算することによって、修正済みのゲインファクタを生成してもよく、ここで、フェードアウトファクタはフィルタ安定度値に依存してもよい。
例えば、オーディオ信号フレーム内で受信されたゲインファクタが値２．０を有すると仮定する。ゲインファクタは、典型的には、先行スペクトル値に乗算することによって修正済みのスペクトル値を取得するために使用される。フェードアウトを適用するために、安定度値θに依存する修正済みのゲインファクタが生成される。
例えば、安定度値θ＝１である場合には、予測フィルタは非常に安定していると考えられる。その場合、もし復元されるべきフレームが欠損している最初のフレームであるならば、フェードアウトファクタは０．８５に設定されてもよい。その結果、修正済みのゲインファクタは、０．８５・２．０＝１．７となる。次に、先行して受信されたフレームの受信済みのスペクトル値の各々に対し、２．０（受信されたゲインファクタ）の代わりに修正済みのゲインファクタ１．７を乗算して、スペクトル置換値が生成される。
図５ａは、生成済みのゲインファクタ１．７が図３ａのスペクトル値に対して適用される例を表している。
しかし、もし例えば安定度値θ＝０である場合には、予測フィルタは非常に不安定であると考えられる。その場合、もし復元されるべきフレームが欠損している最初のフレームであるならば、フェードアウトファクタは０．６５に設定されてもよい。その結果、修正済みのゲインファクタは０．６５・２．０＝１．３となる。次に、先行して受信されたフレームの受信済みのスペクトル値の各々には、２．０（受信されたゲインファクタ）の代わりに修正済みのゲインファクタ１．３を乗算して、スペクトル置換値が生成される。
図５ｂは、生成済みのゲインファクタ１．３が図３ａのスペクトル値に対して適用された例を表している。図５ｂの例におけるゲインファクタは図５ａの例よりも小さいため、図５ｂにおける大きさもまた、図５ａの例よりも小さい。
値θに依存して異なる方法が適用されてもよい。ここで、θは０から１の間の任意の値であってよい。
例えば、値θ≧０．５は１と解釈されてもよく、その結果、フェードアウトファクタはθが１であった場合と同じ値を有し、例えばフェードアウトファクタが０．８５であってもよい。値θ＜０．５は０と解釈されてもよく、その結果、フェードアウトファクタは、もしθが０であった場合と同じ値を有し、例えばフェードアウトファクタが０．６５であってもよい。
他の実施形態によれば、代替的に、θの値が０から１の間である場合に、フェードアウトファクタの値が補間されてもよい。例えば、θが１ならばフェードアウトファクタは０．８５であり、θが０ならばフェードアウトファクタは０．６５であると仮定すると、フェードアウトファクタは次式に従って計算することができる。
Figure 0005849106
他の実施形態では、隠しフレーム生成部は、先行して受信されたエラー無しフレームに関するフレーム分類情報にさらに基づいて、スペクトル置換値を生成するよう構成されている。分類についてのその情報は、符号器によって決定されてもよい。次に符号器は、そのフレーム分類情報をオーディオフレーム内に符号化してもよい。その後、復号器が先行して受信されたエラー無しフレームを復号化するときに、フレーム分類情報を復号化してもよい。
代替的に、復号器自体がオーディオフレームを検査することにより、フレーム分類情報を決定してもよい。
さらに復号器は、符号器からの情報に基づき、かつ受信されたオーディオデータの検査に基づいて、フレーム分類情報を決定するよう構成されてもよい。ここで、その検査は、復号器自身が実行する。
フレーム分類は、例えばそのフレームが「人工的なオンセット」、「オンセット」、「発声された遷移」、「発声されない遷移」、「発声されない」又は「発声された」として分類されることを示す。
例えば「オンセット」とは、先行して受信されたオーディオフレームがオンセットを含むことを示してもよい。例えば「発声された」とは、先行して受信されたオーディオフレームが発音されたデータを含むことを示してもよい。例えば「発声されない」とは、先行して受信されたオーディオフレームが発音されないデータを含むことを示してもよい。例えば「発声された遷移」とは、先行して受信されたオーディオフレームが発音されたデータを含むが、しかし、その先行して受信されたオーディオフレームの更に以前のフレームと比較して、ピッチが変化したことを示してもよい。例えば「人工的なオンセット」とは、先行して受信されたオーディオフレームのエネルギーが強化されていた（従って、例えば人工的なオンセットを形成していた）ことを示してもよい。例えば「発声されない遷移」とは、先行して受信されたオーディオフレームが発音されないデータを含むが、しかし、その発音されない音声がまさに変化しそうであったことを示してもよい。
先行して受信されたオーディオフレームと、安定度の値θと、後続の消去されたフレームの数とに依存して、フェードアウトファクタなどの減衰ゲインが例えば以下のように定義されてもよい。
Figure 0005849106
ある実施形態によれば、隠しフレーム生成部は、受信されたゲインファクタに、フィルタ安定度値とフレーム分類とに基づいて決定されるフェードアウトファクタを乗算することで、修正済みのゲインファクタを生成してもよい。その後、先行スペクトル値に例えば修正済みのゲインファクタを乗算して、スペクトル置換値が取得されてもよい。
繰り返しになるが、隠しフレーム生成部はさらに、フレーム分類情報にも基づいて、スペクトル置換値を生成するよう構成されてもよい。
ある実施形態によれば、隠しフレーム生成部はさらに、受信機に到着しなかった又はエラーを含んでいた連続的なフレームの数にも基づいて、スペクトル置換値を生成するよう構成されてもよい。
ある実施形態においては、隠しフレーム生成部は、フィルタ安定度値に基づき、かつ受信機に到着しなかった又はエラーを含んでいた連続的なフレームの数にも基づいて、フェードアウトファクタを計算するよう構成されてもよい。
隠しフレーム生成部はさらに、フェードアウトファクタに先行スペクトル値のうちの少なくとも幾つかを乗算することによって、スペクトル置換値を生成するよう構成されてもよい。
代替的に、隠しフレーム生成部は、フェードアウトファクタに中間値のグループのうちの少なくとも幾つかの値を乗算することによって、スペクトル置換値を生成するよう構成されてもよい。その中間値の各々は、先行スペクトル値のうちの少なくとも１つに依存する。例えば、中間値のグループは、先行スペクトル値を修正することによって生成されていたものであってもよい。又は、スペクトルドメインの合成信号が先行スペクトル値に基づいて生成されていてもよく、かつその合成信号のスペクトル値が中間値のグループを形成してもよい。
他の実施形態においては、フェードアウトファクタに元のゲインファクタを乗算することで、生成済みのゲインファクタを取得してもよい。次に、生成済みのゲインファクタに対し、先行スペクトル値のうちの少なくとも幾つかを乗算するか、又は上述した中間値のグループのうちの少なくとも幾つかの値を乗算することで、スペクトル置換値を取得してもよい。
フェードアウトファクタの値はフィルタ安定度値に依存し、かつ連続的な欠損又はエラーを含むフレームの数にも依存し、更に、例えば以下のような値を持ってもよい。
Figure 0005849106
ここで、「連続的な欠損／エラーフレームの数＝１」とは、欠損／エラーフレームの直前のフレームがエラー無しであったことを示す。
表から分かるように、上述の例では、フレームが到着しないか又はエラーを含むときごとに、最後のフェードアウトファクタに基づいて、フェードアウトファクタが更新されてもよい。例えば、もし欠損／エラーフレームの直前のフレームがエラー無しであれば、上述の例では、フェードアウトファクタは０．８となる。もし後続のフレームもまた欠損又はエラーを含む場合には、フェードアウトファクタは、以前のフェードアウトファクタに更新ファクタ０．６５を乗算するという方法で、即ち、フェードアウトファクタ＝０．８・０．６５＝０．５２となるなどの方法で、以前のフェードアウトファクタに基づいて更新される。
先行スペクトル値の一部又は全てに対し、フェードアウトファクタそのものを乗算してもよい。
代替的に、フェードアウトファクタに元のゲインファクタを乗算することで、生成済みのゲインファクタを取得してもよい。次に、生成済みのゲインファクタに対し、先行スペクトル値（又はそれら先行スペクトル値から導出される中間値）の各１つ（又は複数）を乗算することで、スペクトル置換値を取得してもよい。
フェードアウトファクタはフィルタ安定度値にも依存してもよいことに留意すべきである。例えば、上述の表は、フィルタ安定度値が１．０、０．５又は任意の他の値である場合のフェードアウトファクタに関する定義を含んでもよい。
Figure 0005849106
中間的なフィルタ安定度値についてのフェードアウトファクタの値は概算されてもよい。
他の実施形態においては、フィルタ安定度値に基づき、かつ受信機に到着しなかった又はエラーを含んでいた連続的なフレームの数に基づいて、フェードアウトファクタを計算する式を使用することによりフェードアウトファクタが決定されてもよい。
上述したように、バッファユニット内に記憶された先行スペクトル値はスペクトル値であってもよい。障害を起こすアーチファクトが生成されることを防止するため、上述したように隠しフレーム生成部はフィルタ安定度値に基づいてスペクトル置換値を生成してもよい。
しかしながら、そのように生成された信号部分の置換が、依然として繰り返しの特徴を有する可能性もある。そこで、ある実施形態によれば、例えば先行して受信されたフレームのスペクトル値などの先行スペクトル値を、そのスペクトル値の正負符号をランダムにフリップするなどの方法を用いて修正する方法が更に提案される。例えば、隠しフレーム生成部は、先行スペクトル値の各々について、スペクトル値の正負符号を逆転させるか否か、つまりスペクトル値に−１を乗算するか否かをランダムに決定する。これにより、置換されたオーディオ信号フレームの更に以前のフレームに対する繰り返しの特徴が低減される。
以下に、ある実施形態に従うＬＤ−ＵＳＡＣ復号器内における隠し操作を説明する。この実施形態においては、ＬＤ−ＵＳＡＣ復号器が周波数から時間への最終的な変換を実行する直前にスペクトルデータに対して隠し操作が実行される。
この実施形態においては、スペクトルドメインの合成信号を生成することによって符号化済みオーディオ信号を復号化するために、到着しつつあるオーディオフレームの値が使用される。このため、到着しつつあるオーディオフレームの値に基づいてスペクトルドメインの中間信号が生成される。ゼロに量子化された値に対してはノイズ充填が実行される。
符号化済みの予測フィルタ係数は予測フィルタを定義し、その予測フィルタが次に中間信号に適用されて、復号化された／復元されたオーディオ信号を周波数ドメインで表現する合成信号が生成される。
図６は一実施形態に係るオーディオ信号復号器を示す。このオーディオ信号復号器は、スペクトルオーディオ信号値を復号化する装置６１０と、上述した実施形態のうちの１つに従ってスペクトル置換値を生成する装置６２０とを含む。
スペクトルオーディオ信号値を復号化するための装置６１０は、エラー無しのオーディオフレームが到着したときに、復号化済みオーディオ信号のスペクトル値を上述した方法で生成する。
図６に示す例においては、合成信号のスペクトル値は、スペクトル置換値を生成する装置６２０のバッファユニット内に記憶される。復号化されたオーディオ信号のこれらのスペクトル値は、受信済みのエラー無しのオーディオフレームに基づいて復号化されたものであり、従って先行して受信されたエラー無しのオーディオフレームに関連するものである。
現在のフレームが欠損している又はエラーを含む場合には、スペクトル置換値を生成する装置６２０は、スペクトル置換値が必要であることが知らされる。そのとき、スペクトル置換値を生成する装置６２０の隠しフレーム生成部は、上述した実施形態のうちの１つに従ってスペクトル置換値を生成する。
例えば、最後の良好なフレームからのスペクトル値は、隠しフレーム生成部によって、それらの正負符号をランダムにフリップすることで僅かに修正されている。次いで、それらのスペクトル値に対してフェードアウトが実行される。このフェードアウトは、先行する予測フィルタの安定度に依存してもよく、かつ連続する損失フレームの数に依存してもよい。次いで、生成されたスペクトル置換値はオーディオ信号のためのスペクトル置換値として使用され、次に周波数から時間への変換が実行されて時間ドメインのオーディオ信号が取得される。
ＬＤ−ＵＳＡＣにおいては、ＵＳＡＣ及びＭＰＥＧ−４（ＭＰＥＧ＝動画像符号化専門家グループ）における場合と同様に、時間的ノイズ成形（ＴＮＳ）が使用されてもよい。時間的ノイズ成形により、ノイズの微細な時間的構造が制御される。復号器側では、ノイズ成形情報に基づいて、スペクトルデータに対してフィルタ操作が適用される。時間的ノイズ成形についての更なる情報は、例えば非特許文献４において参照することができる。
本発明の実施形態は、オンセット／過渡の場合に、ＴＮＳが高度に活性化しているという知見に基づいている。つまり、ＴＮＳが高度に活性化しているか否かを判定することで、オンセット／過渡が存在するか否かを推定できる。
本発明の一実施形態によれば、ＴＮＳが有する予測ゲインは受信機側で計算される。受信機側では、最初に受信済みのエラー無しのオーディオフレームの受信済みのスペクトル値が処理されて、第１中間スペクトル値ａjが取得される。次に、ＴＮＳが実行され、これにより第２中間スペクトル値ｂjが取得される。第１中間スペクトル値について第１エネルギー値Ｅ1が計算され、第２中間スペクトル値について第２エネルギー値Ｅ2が計算される。ＴＮＳの予測ゲインｇTNSを得るために、第２エネルギー値が第１エネルギー値によって除算されてもよい。
例えば、ｇTNSは次式のように定義されてもよい。
Figure 0005849106
 （ｎ＝考慮対象となるスペクトル値の数）
一実施形態によれば、先行して受信されたエラー無しフレームに対して時間的ノイズ成形が実行された場合には、隠しフレーム生成部は、先行スペクトル値と、フィルタ安定度値と、時間的ノイズ成形の予測ゲインとに基づいて、スペクトル置換値を生成するよう構成される。他の実施形態によれば、隠しフレーム生成部は、連続して欠損している又はエラーを含むフレームの数にも更に基づいて、スペクトル置換値を生成するよう構成される。
予測ゲインが高ければ高い程、フェードアウトは急速でなければならない。例えば、フィルタ安定度値が０．５であって、予測ゲインが例えばｇTNS＝６のように高いと仮定する。その場合、フェードアウトファクタは例えば０．６５（＝高速フェードアウト）であってもよい。反対に、フィルタ安定度値は同様に０．５であるが、しかし予測ゲインが例えばｇTNS＝１．５のように低いと仮定する。その場合には、フェードアウトファクタは例えば０．９５（＝低速フェードアウト）であってもよい。
ＴＮＳの予測ゲインは、スペクトル置換値を生成する装置のバッファユニット内にどの値が記憶されるべきであるかについて影響を与えてもよい。
予測ゲインｇTNSが所定の閾値（例えば閾値＝５．０）よりも低い場合には、ＴＮＳが適用されたときより後のスペクトル値が先行スペクトル値としてバッファユニット内に記憶される。欠損している又はエラーを含むフレームの場合には、スペクトル置換値はこれらの先行スペクトル値に基づいて生成される。
反対に、予測ゲインｇTNSがその閾値以上である場合には、ＴＮＳが適用されたときより前のスペクトル値が先行スペクトル値としてバッファユニット内に記憶される。欠損している又はエラーを含むフレームの場合には、スペクトル置換値はこれらの先行スペクトル値に基づいて生成される。
いずれの場合にも、ＴＮＳはこれら先行スペクトル値に対しては適用されない。
次に、図７は対応する実施形態に係るオーディオ信号復号器を示す。このオーディオ信号復号器は、受信されたエラー無しのフレームに基づいて第１中間スペクトル値を生成する復号化ユニット７１０を含む。このオーディオ信号復号器は、第１中間スペクトル値に対して時間的ノイズ成形を実行して第２中間スペクトル値を得るための時間的ノイズ成形ユニット７２０を更に含む。オーディオ信号復号器は、第１中間スペクトル値と第２中間スペクトル値とに依存して時間的ノイズ成形の予測ゲインを計算する、予測ゲイン計算部７３０をさらに含む。オーディオ信号復号器は、現在のオーディオフレームが受信不完全であるか又はエラーを含む場合に、上述の実施形態のうちの１つに従ってスペクトル置換値を生成する装置７４０を更に含む。オーディオ信号復号器は、もし予測ゲインが閾値以上である場合には、スペクトル置換値を生成する装置７４０のバッファユニット７４５内に第１中間スペクトル値を記憶し、もし予測ゲインが閾値未満である場合には、スペクトル置換値を生成する装置７４０のバッファユニット７４５内に第２中間スペクトル値を記憶する値選択部７５０をさらに含む。
閾値は、例えば予め定義された値であってもよい。例えば、閾値はオーディオ信号復号器内で予め定義されてもよい。
他の実施形態によれば、隠し操作は、第１の復号化ステップの直後であって、かついかなるノイズ充填、グルーバルゲイン及び／又はＴＮＳが実行される前に、スペクトルデータに対して実行される。
そのような実施形態を図８に示す。図８は更なる実施形態に係る復号器を示している。この復号器は、第１復号化モジュール８１０を含む。この第１復号化モジュール８１０は、受信されたエラー無しのオーディオフレームに基づいて、生成済みのスペクトル値を生成するよう構成されている。生成済みのスペクトル値は、次にスペクトル置換値を生成する装置８２０のバッファユニット内に記憶される。更に、生成済みのスペクトル値は処理モジュール８３０内へと入力され、このモジュールは、ＴＮＳを実行し、ノイズ充填を適用し、及び／又はグローバルゲインを適用することによって、生成済みのスペクトル値を処理して、復号化されたオーディオ信号のスペクトルオーディオ値を取得する。もし現在のフレームが欠損しているか又はエラーを含む場合には、スペクトル置換値を生成する装置８２０は、スペクトル置換値を生成してそれらを処理モジュール８３０へと供給する。
図８に示す実施形態において、復号化のモジュール又は処理モジュールは、隠し操作の際に以下のステップのうちの一部又はすべてを実行する。
例えば最後の良好なフレームからのスペクトル値は、それらの正負符号をランダムにフリップすることにより僅かに修正される。更なるステップにおいては、ランダムノイズに基づいてゼロに量子化されたスペクトルビンに対してノイズ充填が実行される。他のステップでは、ノイズのファクタは、先行して受信されたエラー無しフレームと比較して僅かに適応される。
更なるステップでは、ＬＰＣ符号化された（ＬＰＣ＝Linear Predictive Coding：線形予測符号化）重み付きスペクトル包絡を周波数ドメインで適用することで、スペクトルノイズ成形が達成される。例えば、最後に受信されたエラー無しのフレームのＬＰＣ係数が使用されてもよい。他の実施形態においては、平均化されたＬＰＣ係数が使用されてもよい。例えば、最後に受信された３個のエラー無しのフレームの考慮対象となるＬＰＣ係数の最後の３個の値の平均が、フィルタの各ＬＰＣ係数のために生成されてもよく、その平均化されたＬＰＣ係数が適用されてもよい。
後続のステップでは、これらのスペクトル値に対してフェードアウトが適用されてもよい。そのフェードアウトは、欠損しているか又はエラーを含む連続的なフレームの数に依存し、かつ先行するＬＰフィルタの安定度に依存してもよい。さらに、フェードアウトに影響を与えるために予測ゲイン情報が使用されてもよい。予測ゲインが高ければ高い程、フェードアウトが急速であってもよい。図８に示す実施形態は、図６に示す実施形態よりも僅かに複雑であるが、より良好なオーディオ品質を提供する。
これまで装置を説明する文脈で幾つかの態様を示してきたが、これらの態様は対応する方法の説明でもあることは明らかであり、そのブロック又は装置が方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップを説明する文脈で示した態様もまた、対応する装置の対応するブロックもしくは項目又は特徴を表している。
所定の構成要件にも依るが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納される電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働可能な）、デジタル記憶媒体、例えばフレキシブルディスク，ＤＶＤ，ＣＤ，ＲＯＭ，ＰＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭ又はフラッシュメモリなどを使用して実行することができる。
本発明に従う幾つかの実施形態は、上述した方法の１つを実行するようプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を有するデータキャリアを含んでも良い。
一般的に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として構成することができ、このプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動する。そのプログラムコードは例えば機械読み取り可能なキャリアに記憶されても良い。
本発明の他の実施形態は、上述した方法の１つを実行するための、機械読み取り可能なキャリア又は非一時的な記憶媒体に記憶されたコンピュータプログラムを含む。
換言すれば、本発明の方法のある実施形態は、そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の１つを実行するためのプログラムコードを有する、コンピュータプログラムである。
本発明の他の実施形態は、上述した方法の１つを実行するために記録されたコンピュータプログラムを含む、データキャリア（又はデジタル記憶媒体又はコンピュータ読み取り可能な媒体）である。
本発明の他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットを介するデータ通信接続を介して伝送されるように構成されても良い。
他の実施形態は、上述した方法の１つを実行するように構成又は適用された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。
他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
幾つかの実施形態においては、（例えば書換え可能ゲートアレイのような）プログラム可能な論理デバイスは、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイは、上述した方法の１つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。
上述した実施形態は、本発明の原理を単に例示的に示したにすぎない。本明細書に記載した構成及び詳細について修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではなく、添付した特許請求の範囲によってのみ限定されるべきである。

Claims (16)

  1. オーディオ信号のスペクトル置換値を生成する装置（１００）であって、
    先行して受信されたエラー無しのオーディオフレームに関連する先行スペクトル値を記憶するバッファユニット（１１０）と、
    現在のオーディオフレームが受信不完全である場合やエラーを含む場合に、スペクトル置換値を生成する隠しフレーム生成部（１２０）と、を備え、
    前記先行して受信されたエラー無しのオーディオフレームはフィルタ情報を含み、前記フィルタ情報には予測フィルタの安定度を示すフィルタ安定度値が関連付けられており、前記隠しフレーム生成部（１２０）は、前記先行スペクトル値に基づきかつ前記フィルタ安定度値に基づいて、前記スペクトル置換値を生成するよう構成されている、装置。
  2. 請求項１に記載の装置（１００）であって、前記隠しフレーム生成部（１２０）は、前記先行スペクトル値の正負符号をランダムにフリップさせることで、前記スペクトル置換値を生成するよう構成されている、装置。
  3. 請求項１又は２に記載の装置（１００）であって、前記隠しフレーム生成部（１２０）は、前記フィルタ安定度値が第１の値を持つ場合には、前記先行スペクトル値の各々を第１ゲインファクタで乗算し、前記フィルタ安定度値が前記第１の値よりも小さい第２の値を持つ場合には、前記先行スペクトル値の各々を前記第１ゲインファクタよりも小さい第２ゲインファクタで乗算することによって、前記スペクトル置換値を生成するよう構成されている、装置。
  4. 請求項１乃至３のいずれか１項に記載の装置であって、前記隠しフレーム生成部（１２０）は、前記フィルタ安定度値に基づいて前記スペクトル置換値を生成するよう構成されており、前記先行して受信されたエラー無しのオーディオフレームが前記予測フィルタの第１予測フィルタ係数を含み、当該先行して受信されたエラー無しのオーディオフレームよりも更に以前のフレームが第２予測フィルタ係数を含み、前記フィルタ安定度値は前記第１予測フィルタ係数と前記第２予測フィルタ係数とに依存している、装置。
  5. 請求項４に記載の装置であって、前記隠しフレーム生成部（１２０）は、前記先行して受信されたエラー無しのオーディオフレームの前記第１予測フィルタ係数に基づき、かつ当該先行して受信されたエラー無しのオーディオフレームよりも更に以前のフレームの前記第２予測フィルタ係数に基づいて、前記フィルタ安定度値を決定するよう構成されている、装置。
  6. 請求項４又は５に記載の装置であって、前記隠しフレーム生成部（１２０）は、前記フィルタ安定度値に基づいて前記スペクトル置換値を生成するよう構成され、前記フィルタ安定度値は距離の測度ＬＳＦdistに依存しており、当該距離の測度ＬＳＦdistは次式により定義され、
    Figure 0005849106
     ここで、ｕ+１は前記先行して受信されたエラー無しのオーディオフレームの前記第１予測フィルタ係数の個数を表し、ｕ+１はまた、当該先行して受信されたエラー無しのオーディオフレームよりも更に以前のフレームの前記第２予測フィルタ係数の個数を表し、ｆiは前記第１予測フィルタ係数のi番目のフィルタ係数を表し、ｆi (p)は前記第２予測フィルタ係数のi番目のフィルタ係数を表す、装置。
  7. 請求項１乃至６のいずれか１項に記載の装置（１００）であって、前記隠しフレーム生成部（１２０）は、前記先行して受信されたエラー無しのオーディオフレームに関するフレーム分類情報にさらに基づいて、前記スペクトル置換値を生成するよう構成されている、装置。
  8. 請求項７に記載の装置（１００）であって、前記隠しフレーム生成部（１２０）は前記フレーム分類情報に基づいて前記スペクトル置換値を生成するよう構成されており、前記フレーム分類情報は、前記先行して受信されたエラー無しのオーディオフレームが「人工的なオンセット」、「オンセット」、「発声された遷移」、「発声されない遷移」、「発声されない」又は「発声された」として分類される、装置。
  9. 請求項１乃至８のいずれか１項に記載の装置（１００）であって、前記隠しフレーム生成部（１２０）は、最後のエラー無しのオーディオフレームが受信機に到着した後の、受信機に到着しなかった又はエラーを含んでいた連続的なフレームの数にさらに基づいて、前記スペクトル置換値を生成するよう構成されており、このとき、前記最後のエラー無しのオーディオフレームが前記受信機に到着した後には他のエラー無しのオーディオフレームが前記受信機に全く到着していない、装置。
  10. 請求項９に記載の装置（１００）であって、
    前記隠しフレーム生成部（１２０）は、前記フィルタ安定度値に基づいて、かつ前記受信機に到着しなかった又はエラーを含んでいた連続的なフレームの数に基づいて、フェードアウトファクタを計算するよう構成されており、
    前記隠しフレーム生成部（１２０）は、前記フェードアウトファクタに、前記先行スペクトル値のうちの少なくとも幾つかを乗算すること、又は中間値のグループ内の少なくとも幾つかの値を乗算することで、前記スペクトル置換値を生成するよう構成されており、ここで前記中間値の各々は前記先行スペクトル値の少なくとも１つに依存する、装置。
  11. 請求項１乃至１０のいずれか１項に記載の装置（１００）であって、前記隠しフレーム生成部（１２０）は、前記先行スペクトル値と、前記フィルタ安定度値と、時間的ノイズ成形の予測ゲインとに基づいて、前記スペクトル置換値を生成するよう構成されている、装置。
  12. オーディオ信号復号器であって、
    スペクトルオーディオ信号値を復号化する装置（６１０）と、
    請求項１乃至１１のいずれか１項に従ってスペクトル置換値を生成する装置（６２０）と、を備え、
    前記スペクトルオーディオ信号値を復号化する装置（６１０）は、先行して受信されたエラー無しのオーディオフレームに基づいてオーディオ信号のスペクトル値を復号化するよう構成され、更に前記スペクトルオーディオ信号値を復号化する装置（６１０）は、前記スペクトル置換値を生成する装置（６２０）のバッファユニット内のオーディオ信号のスペクトル値を記憶するよう構成され、
    前記スペクトル置換値を生成する装置（６２０）は、現在のオーディオフレームが受信不完全であるか又はエラーを含む場合に、前記バッファユニットに記憶された前記スペクトル値に基づいて前記スペクトル置換値を生成するよう構成されている、オーディオ信号復号器。
  13. オーディオ信号復号器であって、
    受信されたエラー無しのフレームに基づいて第１中間スペクトル値を生成する復号化ユニット（７１０）と、
    前記第１中間スペクトル値に対して時間的ノイズ成形を実行して第２中間スペクトル値を得る時間的ノイズ成形ユニット（７２０）と、
    前記第１中間スペクトル値と前記第２中間スペクトル値とに依存して前記時間的ノイズ成形の予測ゲインを計算する予測ゲイン計算部（７３０）と、
    現在のオーディオフレームが受信不完全であるか又はエラーを含む場合に、請求項１乃至１１のいずれか１項に従ってスペクトル置換値を生成する装置（７４０）と、
    前記予測ゲインが閾値以上である場合には、前記スペクトル置換値を生成する装置（７４０）のバッファユニット（７４５）内に前記第１中間スペクトル値を記憶し、予測ゲインが前記閾値未満である場合には、前記スペクトル置換値を生成する装置の前記バッファユニット内に前記第２中間スペクトル値を記憶する、値選択部（７５０）と、
    を備えるオーディオ信号復号器。
  14. オーディオ信号復号器であって、
    受信されたエラー無しのオーディオフレームに基づいて生成済みのスペクトル値を生成する第１復号化モジュール（８１０）と、
    請求項１乃至１１のいずれか１項に従ってスペクトル置換値を生成する装置（８２０）と、
    時間的ノイズ成形を実行し、ノイズ充填を適用し又はグローバルゲインを適用することによって、前記生成済みのスペクトル値を処理し、復号化されたオーディオ信号のスペクトルオーディオ値を得る、処理モジュール（８３０）と、を備え、
    現在のフレームが受信不完全である又はエラーを含む場合には、前記スペクトル置換値を生成する装置（８２０）がスペクトル置換値を生成し、かつそれらスペクトル置換値を前記処理モジュール（８３０）へと供給するよう構成されている、オーディオ信号復号器。
  15. オーディオ信号のスペクトル置換値を生成する方法であって、
    先行して受信されたエラー無しのオーディオフレームに関連する先行スペクトル値を記憶するステップと、
    現在のオーディオフレームが受信不完全である場合やエラーを含む場合に、スペクトル置換値を生成するステップであって、前記先行して受信されたエラー無しのオーディオフレームはフィルタ情報を含み、前記フィルタ情報には当該フィルタ情報により定義される予測フィルタの安定度を示すフィルタ安定度値が関連付けられており、前記スペクトル置換値は、前記先行スペクトル値に基づきかつ前記フィルタ安定度値に基づいて生成される、方法。
  16. コンピュータ又は信号処理器によって実行されたとき、請求項１５に記載の方法を実行するコンピュータプログラム。
JP2013553891A 2011-02-14 2012-02-13 低遅延の統合されたスピーチ及びオーディオ符号化におけるエラー隠しのための装置及び方法 Active JP5849106B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161442632P 2011-02-14 2011-02-14
US61/442,632 2011-02-14
PCT/EP2012/052395 WO2012110447A1 (en) 2011-02-14 2012-02-13 Apparatus and method for error concealment in low-delay unified speech and audio coding (usac)

Publications (2)

Publication Number Publication Date
JP2014506687A JP2014506687A (ja) 2014-03-17
JP5849106B2 true JP5849106B2 (ja) 2016-01-27

Family

ID=71943602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013553891A Active JP5849106B2 (ja) 2011-02-14 2012-02-13 低遅延の統合されたスピーチ及びオーディオ符号化におけるエラー隠しのための装置及び方法

Country Status (19)

Country Link
US (1) US9384739B2 (ja)
EP (1) EP2661745B1 (ja)
JP (1) JP5849106B2 (ja)
KR (1) KR101551046B1 (ja)
CN (1) CN103620672B (ja)
AR (1) AR085218A1 (ja)
AU (1) AU2012217215B2 (ja)
BR (1) BR112013020324B8 (ja)
CA (1) CA2827000C (ja)
ES (1) ES2539174T3 (ja)
HK (1) HK1191130A1 (ja)
MX (1) MX2013009301A (ja)
MY (1) MY167853A (ja)
PL (1) PL2661745T3 (ja)
RU (1) RU2630390C2 (ja)
SG (1) SG192734A1 (ja)
TW (1) TWI484479B (ja)
WO (1) WO2012110447A1 (ja)
ZA (1) ZA201306499B (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130144632A1 (en) * 2011-10-21 2013-06-06 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus, and audio decoding method and apparatus
US9741350B2 (en) * 2013-02-08 2017-08-22 Qualcomm Incorporated Systems and methods of performing gain control
RU2658128C2 (ru) 2013-06-21 2018-06-19 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для генерации адаптивной формы спектра комфотного шума
CN104301064B (zh) 2013-07-16 2018-05-04 华为技术有限公司 处理丢失帧的方法和解码器
WO2015063227A1 (en) * 2013-10-31 2015-05-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio bandwidth extension by insertion of temporal pre-shaped noise in frequency domain
CA2984017C (en) 2013-10-31 2019-12-31 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Audio decoder and method for providing a decoded audio information using an error concealment modifying a time domain excitation signal
PL3285254T3 (pl) 2013-10-31 2019-09-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder audio i sposób dostarczania zdekodowanej informacji audio z wykorzystaniem ukrywania błędów na bazie sygnału wzbudzenia w dziedzinie czasu
EP2922055A1 (en) 2014-03-19 2015-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and corresponding computer program for generating an error concealment signal using individual replacement LPC representations for individual codebook information
EP2922056A1 (en) 2014-03-19 2015-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and corresponding computer program for generating an error concealment signal using power compensation
EP2922054A1 (en) 2014-03-19 2015-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and corresponding computer program for generating an error concealment signal using an adaptive noise estimation
NO2780522T3 (ja) 2014-05-15 2018-06-09
RU2765985C2 (ru) * 2014-05-15 2022-02-07 Телефонактиеболагет Лм Эрикссон (Пабл) Классификация и кодирование аудиосигналов
CN106683681B (zh) * 2014-06-25 2020-09-25 华为技术有限公司 处理丢失帧的方法和装置
RU2632151C2 (ru) * 2014-07-28 2017-10-02 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ выбора одного из первого алгоритма кодирования и второго алгоритма кодирования с использованием уменьшения гармоник
EP2980790A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for comfort noise generation mode selection
EP2980792A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an enhanced signal using independent noise-filling
JP6883047B2 (ja) 2016-03-07 2021-06-02 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム
CA3016949C (en) * 2016-03-07 2021-08-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Error concealment unit, audio decoder, and related method and computer program fading out a concealed audio frame out according to different damping factors for different frequency bands
JP6718516B2 (ja) * 2016-03-07 2020-07-08 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ ハイブリッドコンシールメント方法：オーディオコーデックにおける周波数および時間ドメインパケットロスの組み合わせ
KR20180037852A (ko) * 2016-10-05 2018-04-13 삼성전자주식회사 영상 처리 장치 및 그 제어방법
EP3382700A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for post-processing an audio signal using a transient location detection
KR20200097594A (ko) 2019-02-08 2020-08-19 김승현 유연하고 자유롭고 집중적인 집진기
WO2020165260A1 (en) * 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-mode channel coding with mode specific coloration sequences
WO2020164753A1 (en) * 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and decoding method selecting an error concealment mode, and encoder and encoding method
CN112992160B (zh) * 2021-05-08 2021-07-27 北京百瑞互联技术有限公司 一种音频错误隐藏方法及装置

Family Cites Families (188)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR9206143A (pt) * 1991-06-11 1995-01-03 Qualcomm Inc Processos de compressão de final vocal e para codificação de taxa variável de quadros de entrada, aparelho para comprimir im sinal acústico em dados de taxa variável, codificador de prognóstico exitado por córdigo de taxa variável (CELP) e descodificador para descodificar quadros codificados
US5408580A (en) 1992-09-21 1995-04-18 Aware, Inc. Audio compression system employing multi-rate signal analysis
SE502244C2 (sv) * 1993-06-11 1995-09-25 Ericsson Telefon Ab L M Sätt och anordning för avkodning av ljudsignaler i ett system för mobilradiokommunikation
SE501340C2 (sv) * 1993-06-11 1995-01-23 Ericsson Telefon Ab L M Döljande av transmissionsfel i en talavkodare
BE1007617A3 (nl) 1993-10-11 1995-08-22 Philips Electronics Nv Transmissiesysteem met gebruik van verschillende codeerprincipes.
US5657422A (en) 1994-01-28 1997-08-12 Lucent Technologies Inc. Voice activity detection driven noise remediator
US5784532A (en) 1994-02-16 1998-07-21 Qualcomm Incorporated Application specific integrated circuit (ASIC) for performing rapid speech compression in a mobile telephone system
US5684920A (en) 1994-03-17 1997-11-04 Nippon Telegraph And Telephone Acoustic signal transform coding method and decoding method having a high efficiency envelope flattening method therein
US5568588A (en) 1994-04-29 1996-10-22 Audiocodes Ltd. Multi-pulse analysis speech processing System and method
CN1090409C (zh) 1994-10-06 2002-09-04 皇家菲利浦电子有限公司 采用不同编码原理的传送系统
EP0720316B1 (en) 1994-12-30 1999-12-08 Daewoo Electronics Co., Ltd Adaptive digital audio encoding apparatus and a bit allocation method thereof
SE506379C3 (sv) 1995-03-22 1998-01-19 Ericsson Telefon Ab L M Lpc-talkodare med kombinerad excitation
JP3317470B2 (ja) 1995-03-28 2002-08-26 日本電信電話株式会社 音響信号符号化方法、音響信号復号化方法
US5659622A (en) 1995-11-13 1997-08-19 Motorola, Inc. Method and apparatus for suppressing noise in a communication system
US5848391A (en) 1996-07-11 1998-12-08 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Method subband of coding and decoding audio signals using variable length windows
JP3259759B2 (ja) 1996-07-22 2002-02-25 日本電気株式会社 音声信号伝送方法及び音声符号復号化システム
JPH10124092A (ja) 1996-10-23 1998-05-15 Sony Corp 音声符号化方法及び装置、並びに可聴信号符号化方法及び装置
US5960389A (en) 1996-11-15 1999-09-28 Nokia Mobile Phones Limited Methods for generating comfort noise during discontinuous transmission
JPH10214100A (ja) 1997-01-31 1998-08-11 Sony Corp 音声合成方法
US6134518A (en) 1997-03-04 2000-10-17 International Business Machines Corporation Digital audio signal coding using a CELP coder and a transform coder
JP3223966B2 (ja) 1997-07-25 2001-10-29 日本電気株式会社 音声符号化／復号化装置
US6070137A (en) 1998-01-07 2000-05-30 Ericsson Inc. Integrated frequency-domain voice coding using an adaptive spectral enhancement filter
ATE302991T1 (de) 1998-01-22 2005-09-15 Deutsche Telekom Ag Verfahren zur signalgesteuerten schaltung zwischen verschiedenen audiokodierungssystemen
GB9811019D0 (en) 1998-05-21 1998-07-22 Univ Surrey Speech coders
US6173257B1 (en) 1998-08-24 2001-01-09 Conexant Systems, Inc Completed fixed codebook for speech encoder
US6439967B2 (en) * 1998-09-01 2002-08-27 Micron Technology, Inc. Microelectronic substrate assembly planarizing machines and methods of mechanical and chemical-mechanical planarization of microelectronic substrate assemblies
SE521225C2 (sv) 1998-09-16 2003-10-14 Ericsson Telefon Ab L M Förfarande och anordning för CELP-kodning/avkodning
US7272556B1 (en) 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
US6317117B1 (en) 1998-09-23 2001-11-13 Eugene Goff User interface for the control of an audio spectrum filter processor
US7124079B1 (en) 1998-11-23 2006-10-17 Telefonaktiebolaget Lm Ericsson (Publ) Speech coding with comfort noise variability feature for increased fidelity
FI114833B (fi) 1999-01-08 2004-12-31 Nokia Corp Menetelmä, puhekooderi ja matkaviestin puheenkoodauskehysten muodostamiseksi
DE19921122C1 (de) * 1999-05-07 2001-01-25 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Verschleiern eines Fehlers in einem codierten Audiosignal und Verfahren und Vorrichtung zum Decodieren eines codierten Audiosignals
WO2000075919A1 (en) 1999-06-07 2000-12-14 Ericsson, Inc. Methods and apparatus for generating comfort noise using parametric noise model statistics
JP4464484B2 (ja) 1999-06-15 2010-05-19 パナソニック株式会社 雑音信号符号化装置および音声信号符号化装置
US6236960B1 (en) 1999-08-06 2001-05-22 Motorola, Inc. Factorial packing method and apparatus for information coding
US6636829B1 (en) * 1999-09-22 2003-10-21 Mindspeed Technologies, Inc. Speech communication system and method for handling lost frames
CN1266674C (zh) 2000-02-29 2006-07-26 高通股份有限公司 闭环多模混合域线性预测语音编解码器和处理帧的方法
US6757654B1 (en) * 2000-05-11 2004-06-29 Telefonaktiebolaget Lm Ericsson Forward error correction in speech coding
JP2002118517A (ja) 2000-07-31 2002-04-19 Sony Corp 直交変換装置及び方法、逆直交変換装置及び方法、変換符号化装置及び方法、並びに復号装置及び方法
FR2813722B1 (fr) * 2000-09-05 2003-01-24 France Telecom Procede et dispositif de dissimulation d'erreurs et systeme de transmission comportant un tel dispositif
US6847929B2 (en) 2000-10-12 2005-01-25 Texas Instruments Incorporated Algebraic codebook system and method
CA2327041A1 (en) 2000-11-22 2002-05-22 Voiceage Corporation A method for indexing pulse positions and signs in algebraic codebooks for efficient coding of wideband signals
US20050130321A1 (en) 2001-04-23 2005-06-16 Nicholson Jeremy K. Methods for analysis of spectral data and their applications
KR100464369B1 (ko) 2001-05-23 2005-01-03 삼성전자주식회사 음성 부호화 시스템의 여기 코드북 탐색 방법
US20020184009A1 (en) 2001-05-31 2002-12-05 Heikkinen Ari P. Method and apparatus for improved voicing determination in speech signals containing high levels of jitter
US20030120484A1 (en) 2001-06-12 2003-06-26 David Wong Method and system for generating colored comfort noise in the absence of silence insertion description packets
US6879955B2 (en) 2001-06-29 2005-04-12 Microsoft Corporation Signal modification based on continuous time warping for low bit rate CELP coding
US6941263B2 (en) 2001-06-29 2005-09-06 Microsoft Corporation Frequency domain postfiltering for quality enhancement of coded speech
US7711563B2 (en) * 2001-08-17 2010-05-04 Broadcom Corporation Method and system for frame erasure concealment for predictive speech coding based on extrapolation of speech waveform
DE10140507A1 (de) 2001-08-17 2003-02-27 Philips Corp Intellectual Pty Verfahren für die algebraische Codebook-Suche eines Sprachsignalkodierers
KR100438175B1 (ko) 2001-10-23 2004-07-01 엘지전자 주식회사 코드북 검색방법
CA2365203A1 (en) 2001-12-14 2003-06-14 Voiceage Corporation A signal modification method for efficient coding of speech signals
US6646332B2 (en) * 2002-01-18 2003-11-11 Terence Quintin Collier Semiconductor package device
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
CA2388358A1 (en) 2002-05-31 2003-11-30 Voiceage Corporation A method and device for multi-rate lattice vector quantization
CA2388352A1 (en) 2002-05-31 2003-11-30 Voiceage Corporation A method and device for frequency-selective pitch enhancement of synthesized speed
US7302387B2 (en) 2002-06-04 2007-11-27 Texas Instruments Incorporated Modification of fixed codebook search in G.729 Annex E audio coding
DE60303689T2 (de) 2002-09-19 2006-10-19 Matsushita Electric Industrial Co., Ltd., Kadoma Audiodecodierungsvorrichtung und -verfahren
CN1703736A (zh) 2002-10-11 2005-11-30 诺基亚有限公司 用于源控制可变比特率宽带语音编码的方法和装置
US7343283B2 (en) 2002-10-23 2008-03-11 Motorola, Inc. Method and apparatus for coding a noise-suppressed audio signal
US7363218B2 (en) 2002-10-25 2008-04-22 Dilithium Networks Pty. Ltd. Method and apparatus for fast CELP parameter mapping
KR100463419B1 (ko) 2002-11-11 2004-12-23 한국전자통신연구원 적은 복잡도를 가진 고정 코드북 검색방법 및 장치
KR100465316B1 (ko) 2002-11-18 2005-01-13 한국전자통신연구원 음성 부호화기 및 이를 이용한 음성 부호화 방법
KR20040058855A (ko) 2002-12-27 2004-07-05 엘지전자 주식회사 음성 변조 장치 및 방법
US7249014B2 (en) 2003-03-13 2007-07-24 Intel Corporation Apparatus, methods and articles incorporating a fast algebraic codebook search technique
US20050021338A1 (en) 2003-03-17 2005-01-27 Dan Graboi Recognition device and system
WO2004090870A1 (ja) 2003-04-04 2004-10-21 Kabushiki Kaisha Toshiba 広帯域音声を符号化または復号化するための方法及び装置
US7318035B2 (en) 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
WO2005001814A1 (en) 2003-06-30 2005-01-06 Koninklijke Philips Electronics N.V. Improving quality of decoded audio by adding noise
US6987591B2 (en) * 2003-07-17 2006-01-17 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Volume hologram
US20050091044A1 (en) 2003-10-23 2005-04-28 Nokia Corporation Method and system for pitch contour quantization in audio coding
US20050091041A1 (en) 2003-10-23 2005-04-28 Nokia Corporation Method and system for speech coding
RU2374703C2 (ru) 2003-10-30 2009-11-27 Конинклейке Филипс Электроникс Н.В. Кодирование или декодирование аудиосигнала
SE527669C2 (sv) * 2003-12-19 2006-05-09 Ericsson Telefon Ab L M Förbättrad felmaskering i frekvensdomänen
DE102004007200B3 (de) * 2004-02-13 2005-08-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiocodierung
CA2457988A1 (en) 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
FI118834B (fi) 2004-02-23 2008-03-31 Nokia Corp Audiosignaalien luokittelu
FI118835B (fi) 2004-02-23 2008-03-31 Nokia Corp Koodausmallin valinta
ATE523876T1 (de) * 2004-03-05 2011-09-15 Panasonic Corp Fehlerverbergungseinrichtung und fehlerverbergungsverfahren
WO2005096274A1 (fr) 2004-04-01 2005-10-13 Beijing Media Works Co., Ltd Dispositif et procede de codage/decodage audio ameliores
GB0408856D0 (en) 2004-04-21 2004-05-26 Nokia Corp Signal encoding
CN1954364B (zh) 2004-05-17 2011-06-01 诺基亚公司 带有不同编码帧长度的音频编码
US7649988B2 (en) 2004-06-15 2010-01-19 Acoustic Technologies, Inc. Comfort noise generator using modified Doblinger noise estimate
US8160274B2 (en) 2006-02-07 2012-04-17 Bongiovi Acoustics Llc. System and method for digital signal processing
US7630902B2 (en) 2004-09-17 2009-12-08 Digital Rise Technology Co., Ltd. Apparatus and methods for digital audio coding using codebook application ranges
KR100656788B1 (ko) 2004-11-26 2006-12-12 한국전자통신연구원 비트율 신축성을 갖는 코드벡터 생성 방법 및 그를 이용한 광대역 보코더
TWI253057B (en) 2004-12-27 2006-04-11 Quanta Comp Inc Search system and method thereof for searching code-vector of speech signal in speech encoder
JP5202960B2 (ja) 2005-01-31 2013-06-05 スカイプ 通信システムにおけるフレームの連結方法
US7519535B2 (en) * 2005-01-31 2009-04-14 Qualcomm Incorporated Frame erasure concealment in voice communications
US20070147518A1 (en) 2005-02-18 2007-06-28 Bruno Bessette Methods and devices for low-frequency emphasis during audio compression based on ACELP/TCX
US8155965B2 (en) 2005-03-11 2012-04-10 Qualcomm Incorporated Time warping frames inside the vocoder by modifying the residual
WO2006107833A1 (en) 2005-04-01 2006-10-12 Qualcomm Incorporated Method and apparatus for vector quantizing of a spectral envelope representation
WO2006126843A2 (en) 2005-05-26 2006-11-30 Lg Electronics Inc. Method and apparatus for decoding audio signal
US7707034B2 (en) 2005-05-31 2010-04-27 Microsoft Corporation Audio codec post-filter
RU2296377C2 (ru) 2005-06-14 2007-03-27 Михаил Николаевич Гусев Способ анализа и синтеза речи
US7693708B2 (en) 2005-06-18 2010-04-06 Nokia Corporation System and method for adaptive transmission of comfort noise parameters during discontinuous speech transmission
KR100851970B1 (ko) 2005-07-15 2008-08-12 삼성전자주식회사 오디오 신호의 중요주파수 성분 추출방법 및 장치와 이를이용한 저비트율 오디오 신호 부호화/복호화 방법 및 장치
US7610197B2 (en) 2005-08-31 2009-10-27 Motorola, Inc. Method and apparatus for comfort noise generation in speech communication systems
RU2312405C2 (ru) 2005-09-13 2007-12-10 Михаил Николаевич Гусев Способ осуществления машинной оценки качества звуковых сигналов
US7953605B2 (en) * 2005-10-07 2011-05-31 Deepen Sinha Method and apparatus for audio encoding and decoding using wideband psychoacoustic modeling and bandwidth extension
US7720677B2 (en) 2005-11-03 2010-05-18 Coding Technologies Ab Time warped modified transform coding of audio signals
US7536299B2 (en) * 2005-12-19 2009-05-19 Dolby Laboratories Licensing Corporation Correlating and decorrelating transforms for multiple description coding systems
US8255207B2 (en) * 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
WO2007080211A1 (en) 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
CN101371297A (zh) 2006-01-18 2009-02-18 Lg电子株式会社 用于编码和解码信号的设备和方法
JP2009524099A (ja) 2006-01-18 2009-06-25 エルジー エレクトロニクス インコーポレイティド 符号化／復号化装置及び方法
US8032369B2 (en) 2006-01-20 2011-10-04 Qualcomm Incorporated Arbitrary average data rates for variable rate coders
US7668304B2 (en) * 2006-01-25 2010-02-23 Avaya Inc. Display hierarchy of participants during phone call
FR2897733A1 (fr) 2006-02-20 2007-08-24 France Telecom Procede de discrimination et d'attenuation fiabilisees des echos d'un signal numerique dans un decodeur et dispositif correspondant
FR2897977A1 (fr) * 2006-02-28 2007-08-31 France Telecom Procede de limitation de gain d'excitation adaptative dans un decodeur audio
US20070253577A1 (en) 2006-05-01 2007-11-01 Himax Technologies Limited Equalizer bank with interference reduction
US7873511B2 (en) 2006-06-30 2011-01-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder and audio processor having a dynamically variable warping characteristic
JP4810335B2 (ja) 2006-07-06 2011-11-09 株式会社東芝 広帯域オーディオ信号符号化装置および広帯域オーディオ信号復号装置
WO2008007700A1 (fr) * 2006-07-12 2008-01-17 Panasonic Corporation Dispositif de décodage de son, dispositif de codage de son, et procédé de compensation de trame perdue
EP2040251B1 (en) * 2006-07-12 2019-10-09 III Holdings 12, LLC Audio decoding device and audio encoding device
US7933770B2 (en) 2006-07-14 2011-04-26 Siemens Audiologische Technik Gmbh Method and device for coding audio data based on vector quantisation
EP2549440B1 (en) 2006-07-24 2017-01-11 Sony Corporation A hair motion compositor system and optimization techniques for use in a hair/fur graphics pipeline
US7987089B2 (en) 2006-07-31 2011-07-26 Qualcomm Incorporated Systems and methods for modifying a zero pad region of a windowed frame of an audio signal
DE602007014059D1 (de) * 2006-08-15 2011-06-01 Broadcom Corp Zeitverschiebung eines dekodierten audiosignals nach einem paketverlust
US7877253B2 (en) * 2006-10-06 2011-01-25 Qualcomm Incorporated Systems, methods, and apparatus for frame erasure recovery
DE102006049154B4 (de) 2006-10-18 2009-07-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kodierung eines Informationssignals
EP4325724A3 (en) 2006-10-25 2024-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating audio subband values
EP2088588B1 (en) * 2006-11-10 2013-01-09 Panasonic Corporation Parameter decoding device, parameter encoding device, and parameter decoding method
ES2383217T3 (es) 2006-12-12 2012-06-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificador, descodificador y métodos para codificar y descodificar segmentos de datos que representan una corriente de datos de dominio de tiempo
FR2911228A1 (fr) 2007-01-05 2008-07-11 France Telecom Codage par transformee, utilisant des fenetres de ponderation et a faible retard.
KR101379263B1 (ko) 2007-01-12 2014-03-28 삼성전자주식회사 대역폭 확장 복호화 방법 및 장치
FR2911426A1 (fr) 2007-01-15 2008-07-18 France Telecom Modification d'un signal de parole
US7873064B1 (en) * 2007-02-12 2011-01-18 Marvell International Ltd. Adaptive jitter buffer-packet loss concealment
JP4708446B2 (ja) 2007-03-02 2011-06-22 パナソニック株式会社 符号化装置、復号装置およびそれらの方法
KR101414341B1 (ko) 2007-03-02 2014-07-22 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치 및 부호화 방법
EP2128855A1 (en) * 2007-03-02 2009-12-02 Panasonic Corporation Voice encoding device and voice encoding method
JP2008261904A (ja) * 2007-04-10 2008-10-30 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置、符号化方法および復号化方法
US8630863B2 (en) 2007-04-24 2014-01-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding audio/speech signal
CN101388210B (zh) 2007-09-15 2012-03-07 华为技术有限公司 编解码方法及编解码器
US9653088B2 (en) 2007-06-13 2017-05-16 Qualcomm Incorporated Systems, methods, and apparatus for signal encoding using pitch-regularizing and non-pitch-regularizing coding
KR101513028B1 (ko) 2007-07-02 2015-04-17 엘지전자 주식회사 방송 수신기 및 방송신호 처리방법
US8185381B2 (en) 2007-07-19 2012-05-22 Qualcomm Incorporated Unified filter bank for performing signal conversions
CN101110214B (zh) 2007-08-10 2011-08-17 北京理工大学 一种基于多描述格型矢量量化技术的语音编码方法
US8428957B2 (en) 2007-08-24 2013-04-23 Qualcomm Incorporated Spectral noise shaping in audio coding based on spectral dynamics in frequency sub-bands
MX2010001763A (es) 2007-08-27 2010-03-10 Ericsson Telefon Ab L M Analisis/sintesis espectral de baja complejidad utilizando la resolucion temporal seleccionable.
JP4886715B2 (ja) 2007-08-28 2012-02-29 日本電信電話株式会社 定常率算出装置、雑音レベル推定装置、雑音抑圧装置、それらの方法、プログラム及び記録媒体
US8566106B2 (en) 2007-09-11 2013-10-22 Voiceage Corporation Method and device for fast algebraic codebook search in speech and audio coding
CN100524462C (zh) * 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
US8576096B2 (en) 2007-10-11 2013-11-05 Motorola Mobility Llc Apparatus and method for low complexity combinatorial coding of signals
KR101373004B1 (ko) 2007-10-30 2014-03-26 삼성전자주식회사 고주파수 신호 부호화 및 복호화 장치 및 방법
CN101425292B (zh) 2007-11-02 2013-01-02 华为技术有限公司 一种音频信号的解码方法及装置
DE102007055830A1 (de) 2007-12-17 2009-06-18 Zf Friedrichshafen Ag Verfahren und Vorrichtung zum Betrieb eines Hybridantriebes eines Fahrzeuges
CN101483043A (zh) 2008-01-07 2009-07-15 中兴通讯股份有限公司 基于分类和排列组合的码本索引编码方法
CN101488344B (zh) 2008-01-16 2011-09-21 华为技术有限公司 一种量化噪声泄漏控制方法及装置
DE102008015702B4 (de) 2008-01-31 2010-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals
US8000487B2 (en) 2008-03-06 2011-08-16 Starkey Laboratories, Inc. Frequency translation by high-frequency spectral envelope warping in hearing assistance devices
FR2929466A1 (fr) * 2008-03-28 2009-10-02 France Telecom Dissimulation d'erreur de transmission dans un signal numerique dans une structure de decodage hierarchique
EP2107556A1 (en) 2008-04-04 2009-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio transform coding using pitch correction
US8423852B2 (en) * 2008-04-15 2013-04-16 Qualcomm Incorporated Channel decoding-based error detection
US8768690B2 (en) 2008-06-20 2014-07-01 Qualcomm Incorporated Coding scheme selection for low-bit-rate applications
CA2871268C (en) 2008-07-11 2015-11-03 Nikolaus Rettelbach Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program
CN103000186B (zh) 2008-07-11 2015-01-14 弗劳恩霍夫应用研究促进协会 提供时间扭曲激活信号以及使用该时间扭曲激活信号对音频信号编码
EP2144230A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
EP3002750B1 (en) 2008-07-11 2017-11-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder for encoding and decoding audio samples
MY154452A (en) 2008-07-11 2015-06-15 Fraunhofer Ges Forschung An apparatus and a method for decoding an encoded audio signal
ES2683077T3 (es) 2008-07-11 2018-09-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificador y decodificador de audio para codificar y decodificar tramas de una señal de audio muestreada
MY152252A (en) 2008-07-11 2014-09-15 Fraunhofer Ges Forschung Apparatus and method for encoding/decoding an audio signal using an aliasing switch scheme
US8352279B2 (en) 2008-09-06 2013-01-08 Huawei Technologies Co., Ltd. Efficient temporal envelope coding approach by prediction between low band signal and high band signal
US8577673B2 (en) 2008-09-15 2013-11-05 Huawei Technologies Co., Ltd. CELP post-processing for music signals
US8798776B2 (en) 2008-09-30 2014-08-05 Dolby International Ab Transcoding of audio metadata
DE102008042579B4 (de) * 2008-10-02 2020-07-23 Robert Bosch Gmbh Verfahren zur Fehlerverdeckung bei fehlerhafter Übertragung von Sprachdaten
TWI520128B (zh) 2008-10-08 2016-02-01 弗勞恩霍夫爾協會 多解析度切換音訊編碼／解碼方案（一）
KR101315617B1 (ko) 2008-11-26 2013-10-08 광운대학교 산학협력단 모드 스위칭에 기초하여 윈도우 시퀀스를 처리하는 통합 음성/오디오 부/복호화기
CN101770775B (zh) 2008-12-31 2011-06-22 华为技术有限公司 信号处理方法及装置
AU2010205583B2 (en) 2009-01-16 2013-02-07 Dolby International Ab Cross product enhanced harmonic transposition
CN102334160B (zh) 2009-01-28 2014-05-07 弗劳恩霍夫应用研究促进协会 音频编码器，音频解码器，编码和解码音频信号的方法
US8457975B2 (en) 2009-01-28 2013-06-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio decoder, audio encoder, methods for decoding and encoding an audio signal and computer program
EP2214165A3 (en) 2009-01-30 2010-09-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for manipulating an audio signal comprising a transient event
EP2398017B1 (en) 2009-02-16 2014-04-23 Electronics and Telecommunications Research Institute Encoding/decoding method for audio signals using adaptive sinusoidal coding and apparatus thereof
ATE526662T1 (de) 2009-03-26 2011-10-15 Fraunhofer Ges Forschung Vorrichtung und verfahren zur änderung eines audiosignals
KR20100115215A (ko) 2009-04-17 2010-10-27 삼성전자주식회사 가변 비트율 오디오 부호화 및 복호화 장치 및 방법
ES2825032T3 (es) 2009-06-23 2021-05-14 Voiceage Corp Cancelación de solapamiento de dominio de tiempo directo con aplicación en dominio de señal original o ponderado
CN101958119B (zh) 2009-07-16 2012-02-29 中兴通讯股份有限公司 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法
KR101414305B1 (ko) 2009-10-20 2014-07-02 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 저 지연 애플리케이션들에서 사용하기 위한 오디오 신호 인코더, 오디오 신호 디코더, 오디오 콘텐츠의 인코딩된 표현을 제공하는 방법, 오디오 콘텐츠의 디코딩된 표현을 제공하는 방법 및 컴퓨터 프로그램
EP4358082A1 (en) 2009-10-20 2024-04-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal encoder, audio signal decoder, method for encoding or decoding an audio signal using an aliasing-cancellation
CA2778240C (en) 2009-10-20 2016-09-06 Fraunhofer Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-mode audio codec and celp coding adapted therefore
CN102081927B (zh) 2009-11-27 2012-07-18 中兴通讯股份有限公司 一种可分层音频编码、解码方法及系统
US8428936B2 (en) 2010-03-05 2013-04-23 Motorola Mobility Llc Decoder for audio signal including generic audio and speech frames
US8423355B2 (en) 2010-03-05 2013-04-16 Motorola Mobility Llc Encoder for audio signal including generic audio and speech frames
US8793126B2 (en) 2010-04-14 2014-07-29 Huawei Technologies Co., Ltd. Time/frequency two dimension post-processing
TW201214415A (en) 2010-05-28 2012-04-01 Fraunhofer Ges Forschung Low-delay unified speech and audio codec
MY167776A (en) 2011-02-14 2018-09-24 Fraunhofer Ges Forschung Noise generation in audio codecs
KR101699898B1 (ko) 2011-02-14 2017-01-25 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 스펙트럼 영역에서 디코딩된 오디오 신호를 처리하기 위한 방법 및 장치

Also Published As

Publication number Publication date
CA2827000A1 (en) 2012-08-23
RU2630390C2 (ru) 2017-09-07
EP2661745A1 (en) 2013-11-13
WO2012110447A1 (en) 2012-08-23
AU2012217215A1 (en) 2013-08-29
AR085218A1 (es) 2013-09-18
CN103620672B (zh) 2016-04-27
PL2661745T3 (pl) 2015-09-30
HK1191130A1 (en) 2014-07-18
BR112013020324A2 (pt) 2018-07-10
EP2661745B1 (en) 2015-04-08
BR112013020324B8 (pt) 2022-02-08
KR101551046B1 (ko) 2015-09-07
TWI484479B (zh) 2015-05-11
US9384739B2 (en) 2016-07-05
RU2013142135A (ru) 2015-03-27
ZA201306499B (en) 2014-05-28
KR20140005277A (ko) 2014-01-14
SG192734A1 (en) 2013-09-30
AU2012217215B2 (en) 2015-05-14
TW201248616A (en) 2012-12-01
US20130332152A1 (en) 2013-12-12
MX2013009301A (es) 2013-12-06
BR112013020324B1 (pt) 2021-06-29
CN103620672A (zh) 2014-03-05
CA2827000C (en) 2016-04-05
JP2014506687A (ja) 2014-03-17
MY167853A (en) 2018-09-26
ES2539174T3 (es) 2015-06-26

Similar Documents

Publication Publication Date Title
JP5849106B2 (ja) 低遅延の統合されたスピーチ及びオーディオ符号化におけるエラー隠しのための装置及び方法
JP6423460B2 (ja) フレームエラー隠匿装置
JP5208901B2 (ja) 音声信号および音楽信号を符号化する方法
US8428938B2 (en) Systems and methods for reconstructing an erased speech frame
US8391373B2 (en) Concealment of transmission error in a digital audio signal in a hierarchical decoding structure
TWI405187B (zh) 可縮放語音及音訊編碼解碼器、包括可縮放語音及音訊編碼解碼器之處理器、及用於可縮放語音及音訊編碼解碼器之方法及機器可讀媒體
US7693710B2 (en) Method and device for efficient frame erasure concealment in linear predictive based speech codecs
US10504525B2 (en) Adaptive forward error correction redundant payload generation
TWI748339B (zh) 用於包括全訊框丟失隱匿及部分訊框丟失隱匿的lc3隱匿之解碼器及解碼方法
JP2016510134A (ja) 潜在的なフレームの不安定性を軽減するためのシステムおよび方法
KR20220045260A (ko) 음성 정보를 갖는 개선된 프레임 손실 보정
KR101450297B1 (ko) 복잡성 분배를 이용하는 디지털 신호에서의 전송 에러 위장

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140715

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141009

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151130

R150 Certificate of patent or registration of utility model

Ref document number: 5849106

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250