JP6088644B2 - フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置 - Google Patents
フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置 Download PDFInfo
- Publication number
- JP6088644B2 JP6088644B2 JP2015515953A JP2015515953A JP6088644B2 JP 6088644 B2 JP6088644 B2 JP 6088644B2 JP 2015515953 A JP2015515953 A JP 2015515953A JP 2015515953 A JP2015515953 A JP 2015515953A JP 6088644 B2 JP6088644 B2 JP 6088644B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- error
- unit
- signal
- error concealment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 144
- 230000008569 process Effects 0.000 claims description 94
- 238000012545 processing Methods 0.000 claims description 92
- 238000009499 grossing Methods 0.000 claims description 65
- 238000006243 chemical reaction Methods 0.000 claims description 34
- 230000001052 transient effect Effects 0.000 description 100
- 238000010586 diagram Methods 0.000 description 79
- 230000003595 spectral effect Effects 0.000 description 56
- 230000005284 excitation Effects 0.000 description 49
- 238000001228 spectrum Methods 0.000 description 43
- 230000005236 sound signal Effects 0.000 description 32
- 238000001514 detection method Methods 0.000 description 18
- 206010019133 Hangover Diseases 0.000 description 17
- 238000004891 communication Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000013139 quantization Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000007781 pre-processing Methods 0.000 description 12
- 238000001914 filtration Methods 0.000 description 11
- 238000012805 post-processing Methods 0.000 description 11
- 230000011664 signaling Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 238000007493 shaping process Methods 0.000 description 7
- 241000023308 Acca Species 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000000611 regression analysis Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
- G10L19/025—Detection of transients or attacks for time/frequency resolution switching
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
Description
本発明は、フレームエラー隠匿に係り、さらに具体的には、時間・周波数変換処理を利用したオーディオ符号化及びオーディオ復号化において、復号化されたオーディオ信号の一部フレームにエラーが発生した場合、復元音質の劣化を最小化させることができるフレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置に関する。
有無線網を介して符号化されたオーディオ信号の伝送にあたり、伝送エラー（transmission error）によって、一部パッケージが損失されたり歪曲されたりする場合が発生すれば、復号化されたオーディオ信号の一部フレームにエラーが発生してしまう。ところで、エラーを適切に処理しなければ、エラーが発生したフレーム（以下、エラーフレームとする）及び隣接フレームを含む区間で復号化されたオーディオ信号の音質が低下してしまう。
一方、オーディオ信号符号化と関連し、特定信号については、時間・周波数変換処理を行った後、周波数ドメインで圧縮過程を遂行する方式が、優秀な復元音質を提供すると知られている。時間・周波数変換処理においては、ＭＤＣＴ（modified discrete cosine transform）が汎用されている。その場合、オーディオ信号復号化のためには、ＩＭＤＣＴ（inverse modified discrete cosine transform）を介して、時間ドメイン信号に変換した後、オーバーラップ・アンド・アド（ＯＬＡ：over lap and add）処理を行うことができる。ところで、ＯＬＡ処理では、現在フレームにエラーが発生すれば、次のフレームまで影響を及ぼすことがある。特に、時間ドメイン信号でオーバーラッピングされる部分は、以前フレームと以後フレームとののエイリアシング（aliasing）成分が加わりながら、最終時間ドメイン信号が生成されるが、エラーが発生すれば、正確なエイリアシング成分が存在しなくなり、ノイズが発生し、その結果、復元音質に相当な劣化をもたらす。
そのような時間・周波数変換処理を利用して、オーディオ信号を符号化及び復号化する場合、フレームエラーを隠匿するための方式のうち、以前正常フレーム（ＰＧＦ：previous good frame）のパラメータを回帰分析し、エラーフレームのパラメータを求める回帰分析（regression analysis）方式は、エラーフレームに対して、本来のエネルギーをある程度考慮した隠匿が可能であるが、信号がだんだんと大きくなったり、あるいは信号の変動がはなはだしかったりするところでは、エラー隠匿効率が低下する。また、回帰分析法は、適用しなければならないパラメータの種類が多くなれば、複雑度の高くなる傾向がある。一方、エラーフレームの以前正常フレーム（ＰＧＦ）を反復して再生することによって、エラーフレームの信号を復元する反復（repetition）方式は、ＯＬＡ処理の特性上、復元音質の劣化を最小化させることが困難となってしまう。一方、以前正常フレーム（ＰＧＦ）と次の正常フレーム（ＮＧＦ：next good frame）とのパラメータを補間し、エラーフレームのパラメータを予測する補間（interpolation）方式は、１フレームというさらなる遅延を必要とするので、遅延に敏感な通信用コーデックでは、採択するのが適切ではない。
従って、時間・周波数変換処理を利用して、オーディオ信号を符号化及び復号化する場合、フレームエラーによる復元音質の劣化を最小化させるために、さらなる時間遅延あるいは複雑度の過度な上昇なしに、フレームエラーを隠匿することができる方式に対する必要性が叫ばれている。
本発明が解決しようとする課題は、時間・周波数変換処理を利用して、オーディオ信号を符号化及び復号化する場合、低複雑度でさらなる時間遅延なしに、フレームエラーを隠匿することができるフレームエラー隠匿方法及びその装置を提供するところにある。
本発明が解決しようとする他の課題は、時間・周波数変換処理を利用して、オーディオ信号を符号化及び復号化する場合、フレームエラーによる復元音質の劣化を最小化することができるオーディオ復号化方法及びその装置を提供するところにある。
本発明が解決しようとする他の課題は、オーディオ復号化装置で、フレームエラー隠匿に使用されるトランジェントフレームに係わる情報を、さらに正確に検出することができるオーディオ符号化方法及びその装置を提供するところにある。
本発明が解決しようとする他の課題は、フレームエラー隠匿方法、オーディオ符号化方法あるいはオーディオ復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。
本発明が解決しようとする他の課題は、フレームエラー隠匿装置、オーディオ符号化装置あるいはオーディオ復号化装置を採用するマルチメディア機器を提供するところにある。
前記課題を達成するための本発明の一実施形態によるフレームエラー隠匿方法は、時間・周波数逆変換処理後に生成される時間ドメイン信号において、現在フレームと、前記現在フレームの以前フレームとの状態に基づいて、ＦＥＣ（frame error concealment）モードを選択する段階と、及び前記選択されたＦＥＣモードに基づいて、エラーフレームである現在フレームあるいは以前フレームが、エラーフレームでありながら正常フレームである現在フレームに対して、対応する時間ドメインエラー隠匿処理を行う段階と、を含んでもよい。
前記課題を達成するための本発明の一実施形態によるオーディオ復号化方法は、現在フレームがエラーフレームである場合、周波数ドメインにおいて、エラー隠匿処理を行う段階と、前記現在フレームが正常フレームである場合、スペクトル係数を復号化する段階と、前記エラーフレームあるいは正常フレームである前記現在フレームに対して、時間・周波数逆変換処理を行う段階と、前記時間・周波数逆変換処理後に生成される時間ドメイン信号において、現在フレームと、前記現在フレームの以前フレームとの状態に基づいて、ＦＥＣモードを選択し、前記選択されたＦＥＣモードに基づいて、エラーフレームである現在フレームあるいは以前フレームが、エラーフレームでありながら正常フレームである現在フレームに対して、対応する時間ドメインエラー隠匿処理を行う段階と、を含んでもよい。
本発明によれば、時間・周波数変換処理を利用したオーディオ符号化及びオーディオ復号化において、復号化されたオーディオ信号の一部フレームにエラーが発生した場合、時間ドメインにおいて、信号の特性によって、最適な方式により、エラー隠匿処理を行うことによって、復号化された信号において、エラーフレームによる急激な信号変動を低複雑度で、さらなる遅延なしに、スムージングさせることができる。
特に、トランジェントフレームであるエラーフレーム、あるいはバーストエラーを構成するエラーフレームに対し、さらに正確に復元を行うことができ、その結果、エラーフレーム以後の正常フレームに対して及ぼす影響を最小化させることができる。
本発明は、多様な変換を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、詳細な説明で具体的に説明する。しかし、それは、本発明を特定の実施形態に対して限定するものではなく、本発明の技術的思想及び技術範囲に含まれる全ての変換、均等物ないし代替物を含むものであると理解されるのである。本発明の説明において、関連公知技術に係わる具体的な説明が、本発明の要旨を不明確にすると判断される場合、その詳細な説明を省略する。
第１、第２のような用語は、多様な構成要素についての説明に使用されるが、構成要素は、用語によって限定されるものではない。用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。
本発明で使用された用語は、ただ特定の実施形態について説明するために使用されたものであり、本発明を限定する意図ではない。本発明で使用された用語は、本発明での機能を考慮しながら、可能な限り現在汎用される一般的な用語を選択したが、それは当分野の当業者の意図、判例、または新たな技術の出現などによって異なることがある。また、特定の場合は、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分で詳細にその意味を記載する。従って、本発明で使用される用語は、単純な用語の名称ではない、その用語が有する意味及び本発明の全般にわたった内容を基に定義されなければならない。
単数の表現は、文脈上明白に取り立てて意味しない限り、複数の表現を含む。本発明において、「含む」または「有する」というような用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、またはそれらの組み合わせが存在するということを指定するものであり、一つ、またはそれ以上の他の特徴、数字、段階、動作、構成要素、部品、またはそれらの組み合わせの存在または付加の可能性をあらかじめ排除するものではないと理解されなければならない。
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
図１Ａ及び図１Ｂは、本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の一例による構成をそれぞれ示したブロック図である。
図１Ａに図示されたオーディオ符号化装置１１０は、前処理部１１２、周波数ドメイン符号化部１１４及びパラメータ符号化部１１６を含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でも具現される。
図１Ａにおいて、前処理部１１２は、入力信号に対してフィルタリングあるいはダウンサンプリングなどを行うことができるが、それらに限定されるものではない。入力信号は、音声信号、音楽信号、あるいは音声と音楽とが混合した信号を含んでもよい。以下では、説明の便宜のために、オーディオ信号と称する。
周波数ドメイン符号化部１１４は、前処理部１１２から提供されるオーディオ信号に対して、時間・周波数変換を行い、オーディオ信号のチャネル数、符号化帯域及びビット率に対応して符号化ツールを選択し、選択された符号化ツールを利用して、オーディオ信号に対する符号化を行うことができる。時間・周波数変換は、ＭＤＣＴ（modified discrete cosine transform）、ＭＬＴ（modulated lapped transform）あるいはＦＦＴ（fast Fourier transform）を使用するが、それらに限定されるものではない。ここで、与えられたビット数が十分である場合、全体帯域に対して一般的な変換符号化方式を適用し、与えられたビット数が十分ではない場合、一部帯域については、帯域拡張方式を適用することができる。一方、オーディオ信号が、ステレオあるいはマルチチャネルである場合、与えられたビット数が十分であるならば、各チャネル別に符号化し、十分ではなければ、ダウンミキシング方式を適用することができる。周波数ドメイン符号化部１１４からは、符号化されたスペクトル係数が生成される。
パラメータ符号化部１１６は、周波数ドメイン符号化部１１４から提供される符号化されたスペクトル係数からパラメータを抽出し、抽出されたパラメータを符号化することができる。パラメータは、例えば、サブバンド別に抽出され、各サブバンドは、スペクトル係数をグルーピングした単位であり、臨界帯域を反映させ、均一長あるいは非均一長を有することができる。非均一長を有する場合、低周波数帯域に存在するサブバンドの場合、高周波数帯域と比較し、相対的に短い長さを有する。１フレームに含まれるサブバンドの個数及び長さは、コーデックアルゴリズムによって異なり、符号化性能に影響を及ぼす。一方、パラメータは、サブバンドのスケールファクタ、パワー、平均エネルギーあるいはnormを例として挙げることができるが、それらに限定されるものではない。符号化の結果として得られるスペクトル係数とパラメータは、ビットストリームを形成し、記録媒体に保存されるか、あるいはチャネルを介して、例えば、パッケージ形態で伝送される。
図１Ｂに図示されたオーディオ復号化装置１３０は、パラメータ復号化部１３２、周波数ドメイン復号化部１３４及び後処理部１３６を含んでもよい。ここで、周波数ドメイン復号化部１３４は、フレームエラー隠匿（ＦＥＣ）アルゴリズムを含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され，少なくとも一つ以上のプロセッサ（図示せず）でも具現される。
図１Ｂにおいて、パラメータ復号化部１３２は、受信されたビットストリームからパラメータを復号化し、復号化されたパラメータから、フレーム単位でエラーが発生したか否かということをチェックすることができる。エラーチェックは、公知の多様な方法を使用することができ、現在フレームが正常フレームであるか、あるいはエラーフレームであるかということに係わる情報を周波数ドメイン復号化部１３４に提供する。
周波数ドメイン復号化部１３４は、現在フレームが正常フレームである場合、一般的な変換復号化過程を介して復号化を行い、合成されたスペクトル係数を生成することができる。一方、周波数ドメイン復号化部１３４は、現在フレームがエラーフレームである場合、エラー隠匿アルゴリズムを介して、以前正常フレームのスペクトル係数をスケーリングし、合成されたスペクトル係数を生成することができる。周波数ドメイン復号化部１３４は、合成されたスペクトル係数に対して周波数・時間変換を行い、時間ドメイン信号を生成することができる。
後処理部１３６は、周波数ドメイン復号化部１３４から提供される時間ドメイン信号に対して、音質向上のためのフィルタリングあるいはアップサンプリングなどを行うことができるが、それらに限定されるものではない。後処理部１３６は、出力信号として復元されたオーディオ信号を提供する。
図２Ａ及び図２Ｂは、本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の他の例による構成をそれぞれ示したブロック図であり、スイッチング構造を有する。
図２Ａに図示されたオーディオ符号化装置２１０は、前処理部２１２、モード決定部２１３、周波数ドメイン符号化部２１４、時間ドメイン符号化部２１５及びパラメータ符号化部２１６を含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でも具現される。
図２Ａにおいて、前処理部２１２は、図１Ａの前処理部１１２と実質的に同一であるので、説明を省略する。
モード決定部２１３は、入力信号の特性を参照して符号化モードを決定することができる。入力信号の特性によって、現在フレームに適する符号化モードが、音声モードであるか、あるいは音楽モードであるかということを決定することができ、また現在フレームに効率的な符号化モードが、時間ドメインモードであるか、あるいは周波数ドメインモードであるかということを決定することができる。ここで、フレームの短区間特性、あるいは複数のフレームに係わる長区間特性などを利用して、入力信号の特性を把握することができるが、それらに限定されるものではない。例えば、入力信号が音声信号に該当するならば、音声モードあるいは時間ドメインモードで決定し、入力信号が音声信号以外の信号、すなわち、音楽信号あるいは混合信号に該当するならば、音楽モードあるいは周波数ドメインモードに決定することができる。モード決定部２１３は、入力信号の特性が音楽モードあるいは周波数ドメインモードに該当する場合には、前処理部２１２の出力信号を周波数ドメイン符号化部２１４に、入力信号の特性が音声モードあるいは時間ドメインモードでもって、時間ドメイン符号化部２１５に提供することができる。
周波数ドメイン符号化部２１４は、図１Ａの周波数ドメイン符号化部１１４と実質的に同一であるので、説明を省略する。
時間ドメイン符号化部２１５は、前処理部２１２から提供されるオーディオ信号に対して、ＣＥＬＰ（code excited linear prediction）符号化を行うことができる。具体的には、ＡＣＥＬＰ（algebraic code excited linear prediction）を使用することができるが、それに限定されるものではない。時間ドメイン符号化２１５からは、符号化されたスペクトル係数が生成される。
パラメータ符号化部２１６は、周波数ドメイン符号化部２１４あるいは時間ドメイン符号化部２１５から提供される符号化されたスペクトル係数からパラメータを抽出し、抽出されたパラメータを符号化する。パラメータ符号化部２１６は、図１Ａのパラメータ符号化部１１６と実質的に同一であるので、説明を省略する。符号化の結果として得られるスペクトル係数とパラメータは、符号化モード情報と共にビットストリームを形成し、チャネルを介して、パッケージ形態で伝送されるか、あるいは記録媒体に保存される。
図２Ｂに図示されたオーディオ復号化装置２３０は、パラメータ復号化部２３２、モード決定部２３３、周波数ドメイン復号化部２３４、時間ドメイン復号化部２３５及び後処理部２３６を含んでもよい。ここで、周波数ドメイン復号化部２３４と時間ドメイン復号化部２３５は、それぞれ当該ドメインでのフレームエラー隠匿アルゴリズムを含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でも具現される。
図２Ｂにおいて、パラメータ復号化部２３２は、パッケージ形態で伝送されるビットストリームからパラメータを復号化し、復号化されたパラメータから、フレーム単位で、エラーが発生したか否かということをチェックすることができる。エラーチェックは、公知の多様な方法を使用することができ、現在フレームが正常フレームであるかエラーフレームであるかということに係わる情報を、周波数ドメイン復号化部２３４あるいは時間ドメイン復号化部２３５に提供する。
モード決定部２３３は、ビットストリームに含まれた符号化モード情報をチェックし、現在フレームを、周波数ドメイン復号化部２３４あるいは時間ドメイン復号化部２３５に提供する。
周波数ドメイン復号化部２３４は、符号化モードが音楽モードあるいは周波数ドメインモードである場合に動作し、現在フレームが正常フレームである場合、一般的な変換復号化過程を介して復号化を行い、合成されたスペクトル係数を生成する。一方、現在フレームがエラーフレームであり、以前フレームの符号化モードが、音楽モードあるいは周波数ドメインモードである場合、周波数ドメインでのフレームエラー隠匿アルゴリズムを介して、以前正常フレームのスペクトル係数をスケーリングして合成されたスペクトル係数を生成することができる。周波数ドメイン復号化部２３４は、合成されたスペクトル係数に対して周波数・時間変換を行い、時間ドメイン信号を生成することができる。
時間ドメイン復号化部２３５は、符号化モードが音声モードあるいは時間ドメインモードである場合に動作し、現在フレームが正常フレームである場合、一般的なＣＥＬＰ復号化過程を介して復号化を行い、時間ドメイン信号を生成する。一方、現在フレームがエラーフレームであり、以前フレームの符号化モードが、音声モードあるいは時間ドメインモードである場合、時間ドメインでのフレームエラー隠匿アルゴリズムを遂行することができる。
後処理部２３６は、周波数ドメイン復号化部２３４あるいは時間ドメイン復号化部２３５から提供される時間ドメイン信号に対して、フィルタリングあるいはアップサンプリングなどを行うことができるが、それらに限定されるものではない。後処理部２３６は、出力信号として、復元されたオーディオ信号を提供する。
図３Ａ及び図３Ｂは、本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の他の例による構成をそれぞれ示したブロック図であり、スイッチング構造を有する。
図３Ａに図示されたオーディオ符号化装置３１０は、前処理部３１２、ＬＰ（linear prediction）分析部３１３、モード決定部３１４、周波数ドメイン励起符号化部３１５、時間ドメイン励起符号化部３１６及びパラメータ符号化部３１７を含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でも具現される。
図３Ａにおいて、前処理部３１２は、図１Ａの前処理部１１２と実質的に同一であるので、説明を省略する。
ＬＰ分析部３１３は、入力信号に対してＬＰ分析を行ってＬＰ係数を抽出し、抽出されたＬＰ係数から励起信号を生成する。励起信号は、符号化モードによって、周波数ドメイン励起符号化部３１５と、時間ドメイン励起符号化部３１６とのうち一つに提供される。
モード決定部３１４は、図２Ｂのモード決定部２１３と実質的に同一であるので、説明を省略する。
周波数ドメイン励起符号化部３１５は、符号化モードが、音楽モードあるいは周波数ドメインモードである場合に動作し、入力信号が励起信号であることを除いては、図１Ａの周波数ドメイン符号化部１１４と実質的に同一であるので、説明を省略する。
時間ドメイン励起符号化部３１６は、符号化モードが、音声モードあるいは時間ドメインモードである場合に動作し、入力信号が励起信号であることを除いては、図２Ａの時間ドメイン符号化部２１５と実質的に同一であるので、説明を省略する。
パラメータ符号化部３１７は、周波数ドメイン励起符号化部３１５あるいは時間ドメイン励起符号化部３１６から提供される符号化されたスペクトル係数から、パラメータを抽出し、抽出されたパラメータを符号化する。パラメータ符号化部３１７は、図１Ａのパラメータ符号化部１１６と実質的に同一であるので、説明を省略する。符号化の結果として得られるスペクトル係数とパラメータは、符号化モード情報と共にビットストリームを形成し、チャネルを介して、パッケージ形態で伝送されるか、あるいは記録媒体に保存される。
図３Ｂに図示されたオーディオ復号化装置３３０は、パラメータ復号化部３３２、モード決定部３３３、周波数ドメイン励起復号化部３３４、時間ドメイン励起復号化部３３５、ＬＰ合成部３３６及び後処理部３３７を含んでもよい。ここで、周波数ドメイン励起復号化部３３４と、時間ドメイン励起復号化部３３５は、それぞれ当該ドメインでのフレームエラー隠匿アルゴリズムを含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でも具現される。
図３Ｂにおいて、パラメータ復号化部３３２は、パッケージ形態で伝送されるビットストリームからパラメータを復号化し、復号化されたパラメータから、フレーム単位で、エラーが発生したか否かということをチェックすることができる。エラーチェックは、公知の多様な方法を使用することができ、現在フレームが正常フレームであるか、あるいはエラーフレームであるかということに係わる情報を、周波数ドメイン励起復号化部３３４あるいは時間ドメイン励起復号化部３３５に提供する。
モード決定部３３３は、ビットストリームに含まれた符号化モード情報をチェックし、現在フレームを、周波数ドメイン励起復号化部３３４あるいは時間ドメイン励起復号化部３３５に提供する。
周波数ドメイン励起復号化部３３４は、符号化モードが、音楽モードあるいは周波数ドメインモードである場合に動作し、現在フレームが正常フレームである場合、一般的な変換復号化過程を介して復号化を行い、合成されたスペクトル係数を生成する。一方、現在フレームがエラーフレームであり、以前フレームの符号化モードが、音楽モードあるいは周波数ドメインモードである場合、周波数ドメインでのフレームエラー隠匿アルゴリズムを介して、以前正常フレームのスペクトル係数をスケーリングし、合成されたスペクトル係数を生成することができる。周波数ドメイン励起復号化部３３４は、合成されたスペクトル係数に対して、周波数・時間変換を行い、時間ドメイン信号である励起信号を生成することができる。
時間ドメイン励起復号化部３３５は、符号化モードが、音声モードあるいは時間ドメインモードである場合に動作し、現在フレームが正常フレームである場合、一般的なＣＥＬＰ復号化過程を介して復号化を行い、時間ドメイン信号である励起信号を生成する。一方、現在フレームがエラーフレームであり、以前フレームの符号化モードが、音声モードあるいは時間ドメインモードである場合、時間ドメインでのフレームエラー隠匿アルゴリズムを遂行することができる。
ＬＰ合成部３３６は、周波数ドメイン励起復号化部３３４あるいは時間ドメイン励起復号化部３３５から提供される励起信号に対して、ＬＰ合成を行い、時間ドメイン信号を生成する。
後処理部３３７は、ＬＰ合成部３３６から提供される時間ドメイン信号に対して、フィルタリングあるいはアップサンプリングなどを行うことができるが、それらに限定されるものではない。後処理部３３７は、出力信号として、復元されたオーディオ信号を提供する。
図４Ａ及び図４Ｂは、本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の他の例による構成をそれぞれ示したブロック図であり、スイッチング構造を有する。
図４Ａに図示されたオーディオ符号化装置４１０は、前処理部４１２、モード決定部４１３、周波数ドメイン符号化部４１４、ＬＰ分析部４１５、周波数ドメイン励起符号化部４１６、時間ドメイン励起符号化部４１７及びパラメータ符号化部４１８を含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でも具現される。図４Ａに図示されたオーディオ符号化装置４１０は、図２Ａのオーディオ符号化装置２１０と、図３Ａのオーディオ符号化装置３１０ｔｏを結合したものであると見られるので、共通する部分の動作説明は省略する一方、モード決定部４１３の動作について説明する。
モード決定部４１３は、入力信号の特性及びビット率を参照し、入力信号の符号化モードを決定することができる。モード決定部４１３は、入力信号の特性によって、現在フレームが音声モードであるかまたは音楽モードであるかということにより、また現在フレームに効率的な符号化モードが、時間ドメインモードであるか、あるいは周波数ドメインモードであるかということによって、ＣＥＬＰモードと、それ以外のモードとに決定することができる。もし入力信号の特性が音声モードである場合には、ＣＥＬＰモードに決定し、音楽モードでありながら、高ビット率である場合、ＦＤモードに決定し、音楽モードでありながら、低ビット率である場合、オーディオモードに決定することができる。モード決定部４１３は、ＦＤモードである場合、入力信号を周波数ドメイン符号化部４１４に、オーディオモードである場合、ＬＰ分析部４１５を介して周波数ドメイン励起符号化部４１６に、ＣＥＬＰモードである場合、ＬＰ分析部４１５を介して、時間ドメイン励起符号化部４１７に提供することができる。
周波数ドメイン符号化部４１４は、図１Ａのオーディオ符号化装置１１０の周波数ドメイン符号化部１１４、あるいは図２Ａのオーディオ符号化装置２１０の周波数ドメイン符号化部２１４に、周波数ドメイン励起符号化部４１６あるいは時間ドメイン励起符号化部４１７は、図３Ａのオーディオ符号化装置３１０の周波数ドメイン励起符号化部３１５あるいは時間ドメイン励起符号化部３１６に対応する。
図４Ｂに図示されたオーディオ復号化装置４３０は、パラメータ復号化部４３２、モード決定部４３３、周波数ドメイン復号化部４３４、周波数ドメイン励起復号化部４３５、時間ドメイン励起復号化部４３６、ＬＰ合成部４３７及び後処理部４３８を含んでもよい。ここで、周波数ドメイン復号化部４３４、周波数ドメイン励起復号化部４３５及び時間ドメイン励起復号化部４３６は、それぞれ当該ドメインでのフレームエラー隠匿アルゴリズムを含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でも具現される。図４Ｂに図示されたオーディオ復号化装置４３０は、図２Ｂのオーディオ復号化装置２３０と、図３Ｂのオーディオ復号化装置３３０とを結合したものと見られるので、共通する部分の動作説明は省略する一方、モード決定部４３３の動作について説明する。
モード決定部４３３は、ビットストリームに含まれた符号化モード情報をチェックし、現在フレームを、周波数ドメイン復号化部４３４、周波数ドメイン励起復号化部４３５あるいは時間ドメイン励起復号化部４３６に提供する。
周波数ドメイン復号化部４３４は、図１Ｂのオーディオ符号化装置１３０の周波数ドメイン復号化部１３４、あるいは図２Ｂのオーディオ復号化装置２３０の周波数ドメイン復号化部２３４に、周波数ドメイン励起復号化部４３５あるいは時間ドメイン励起復号化部４３６は、図３Ｂのオーディオ復号化装置３３０の周波数ドメイン励起復号化部３３４あるいは時間ドメイン励起復号化部３３５に対応する。
図５は、本発明の一実施形態による周波数ドメインオーディオ符号化装置の構成を示したブロック図である。
図５に図示された周波数ドメインオーディオ符号化装置５１０は、トランジェント検出部５１１、変換部５１２、信号分類部５１３、Norm符号化部５１４、スペクトル正規化部５１５、ビット割当て部５１６、スペクトル符号化部５１７及び多重化部５１８を含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でも具現される。ここで、周波数ドメインオーディオ符号化装置５１０は、図２に図示された周波数ドメイン符号化部２１４の全ての機能と、パラメータ符号化部２１６の一部機能とを遂行することができる。一方、周波数ドメインオーディオ符号化装置５１０は、信号分類部５１３を除いては、ＩＴＵ−Ｔ Ｇ．７１９標準に開示されたエンコーダの構成で代替され、そのとき、変換部５１２は、５０％のオーバーラップ区間を有する変換ウィンドウを使用することができる。また、周波数ドメインオーディオ符号化装置５１０は、トランジェント検出部５１１と、信号分類部５１３とを除いては、ＩＴＵ−Ｔ Ｇ．７１９標準に開示されたエンコーダの構成で代替される。各場合において、図示されていないが、ＩＴＵ−Ｔ Ｇ．７１９標準と共に、スペクトル符号化部５１７の後端に、ノイズレベル推定部をさらに具備し、ビット割り当て過程で、ゼロビットが割り当てられたスペクトル係数のためのノイズレベルを推定し、ビットストリームに含めることができる。
図５を参照すれば、トランジェント検出部５１１は、入力信号を分析し、トランジェント特性を示す区間を検出し、検出結果に対応し、各フレームに係わるトランジェントシグナリング情報を生成することができる。そのとき、トランジェント区間の検出には、公知の多様な方法を使用することができる。一実施形態によれば、トランジェント検出部５１１は、変換部５１２から５０％未満のオーバーラップ区間を有するウィンドウを使用する場合、まず、現在フレームがトランジェントフレームであるか否かということを一次的に判断し、トランジェントフレームであると判断された現在フレームに対して、二次的に検証を行うことができる。トランジェントシグナリング情報は、多重化部５１８を介して、ビットストリームに含まれる一方、変換部５１２に提供される。
変換部５１２は、トランジェント区間の検出結果によって、変換に使用されるウィンドウサイズを決定し、決定されたウィンドウサイズに基づいて、時間・周波数変換を行うことができる。一例として、トランジェント区間が検出されたサブバンドの場合、短区間ウィンドウ（short window）を、検出されていないサブバンドの場合、長区間ウィンドウ（long window）を適用することができる。他の例として、トランジェント区間を含むフレームに対して、短区間ウィンドウを適用することができる。
信号分類部５１３は、変換部５１２から提供されるスペクトルを、フレーム単位で分析し、各フレームが、ハモニックフレームに該当するか否かということを判断することができる。そのとき、ハモニックフレームの判断には、公知の多様な方法を使用することができる。一実施形態によれば、信号分類部５１３は、変換部５１２から提供されるスペクトルを、複数のサブバンドに分け、各サブバンドに対して、エネルギーのピーク値と平均値とを求めることができる。次に、各フレームに対して、エネルギーのピーク値が平均値より所定比率以上大きいサブバンドの数を求め、求められたサブバンドの数が所定値以上であるフレームを、ハモニックフレームとして決定することができる。ここで、所定比率及び所定値は、実験あるいはシミュレーションを介して前もって決定される。ハモニックシグナリング情報は、多重化部５１８を介して、ビットストリームに含まれる。
Norm符号化部５１４は、各サブバンド単位で、平均スペクトルエネルギーに該当するNorm値を求め、量子化及び無損失符号化を行うことができる。ここで、各サブバンドのNorm値は、スペクトル正規化部５１５及びビット割当て部５１６に提供される一方、多重化部５１８を介して、ビットストリームに含まれる。
スペクトル正規化部５１５は、各サブバンド単位で求められたNorm値を利用して、スペクトルを正規化することができる。
ビット割当て部５１６は、各サブバンド単位で求められたNorm値を利用して、整数単位あるいは小数点単位で、ビット割り当てを行うことができる。また、ビット割当て部５１６は、各サブバンド単位で求められたNorm値を利用して、マスキング臨界値を計算し、マスキング臨界値を利用して、知覚的に必要なビット数、すなわち、許容ビット数を推定することができる。次に、ビット割当て部５１６は、各サブバンドに対して割り当てビット数が許容ビット数を超えないように制限することができる。一方、ビット割当て部５１６は、Norm値が大きいサブバンドから、順次にビットを割り当て、各サブバンドのNorm値に対して、各サブバンドの知覚的重要度によって、加重値を付与することによって知、覚的に重要なサブバンドに、さらに多くのビットが割り当てられるように調整することができる。そのとき、Norm符号化部５１４からビット割当て部５１６に提供される量子化されたNorm値は、ＩＴＵ−Ｔ Ｇ．７１９でと同様に、心理音響加重（psycho-acoustical weighting）及びマスキング効果を考慮するために、あらかじめ調整された後でビット割り当てに使用される。
スペクトル符号化部５１７は、正規化されたスペクトルに対して、各サブバンドの割り当てビット数を利用して量子化を行い、量子化された結果に対して、無損失符号化することができる。一例として、スペクトル符号化に、ファクトリアル・パルス・コーディング（factorial pulse coding）を使用することができるが、それに限定されるものではない。ファクトリアル・パルス・コーディングによれば、割り当てビット数の範囲内で、パルスの位置、パルスの大きさ及びパルスの符号のような情報が、ファクトリアル形式で表現される。スペクトル符号化部５１７で符号化されたスペクトルに係わる情報は、多重化部５１８を介して、ビットストリームに含まれる。
図６は、５０％未満のオーバーラップ区間を有するウィンドウを使用する場合、ハングオーバー（hangover）フラグが必要な区間について説明する図面である。
図６を参照すれば、現在フレーム（ｎ＋１）において、トランジェントが検出された区間が、オーバーラップが遂行されない区間６１０に該当する場合には、次のフレームｎに対して、トランジェントフレームのためのウィンドウ、例えば、短区間ウィンドウを使用する必要がない。一方、現在フレーム（ｎ＋１）において、トランジェントが検出された区間が、オーバーラップが行われる区間６３０に該当する場合には、次のフレームｎに対して、トランジェントフレームのためのウィンドウを使用することによって、信号の特性を考慮した復元音質向上を図ることができる。そのように、５０％未満のオーバーラップ区間を有するウィンドウを使用する場合には、フレーム内でトランジェントが検出される位置によって、ハングオーバーフラグの生成いかんを決定することができる。
図７は、図５に図示されたトランジェント検出部５１１の一例による構成を示したブロック図である。
図７に図示されたトランジェント検出部７１０は、フィルタリング部７１２、短区間エネルギー算出部７１３、長区間エネルギー算出部７１４、第１トランジェント判断部７１５、第２トランジェント判断部７１６及びシグナリング情報生成部７１７を含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でも具現される。ここで、トランジェント検出部７１０は、短区間エネルギー算出部７１３、第２トランジェント判断部７１６及びシグナリング情報生成部７１７を除いては、ＩＴＵ−Ｔ Ｇ．７１９標準に開示された構成で代替される。
図７を参照すれば、フィルタリング部７１２は、例えば、４８ＫＨｚにサンプリングされた入力信号に対して、高域通過フィルタリングを行うことができる。
短区間エネルギー算出部７１３は、フィルタリング部７１２でフィルタリングされた信号を受信し、各フレームに対して、例えば、４個のサブフレーム、すなわち、４個のブロックに分け、各ブロックの短区間エネルギーを算出することができる。また、短区間エネルギー算出部７１３は、入力信号に対しても、フレーム単位で、各ブロックの短区間エネルギーを算出し、第２トランジェント判断部７１６に提供することができる。
長区間エネルギー算出部７１４は、フレーム単位で、各ブロックに対して長、区間エネルギーを算出することができる。
第１トランジェント判断部７１５は、各ブロックに対して、短区間エネルギーと長区間エネルギーとを比較し、短区間エネルギーが長区間エネルギーに比べ、所定比率以上大きいブロックが存在する現在フレームを、トランジェントフレームであると判断することができる。
第２トランジェント判断部７１６は、さらなる検証過程を遂行し、第１トランジェント判断部７１５において、トランジェントフレームであると判断された現在フレームに対して、再びトランジェントフレームであるか否かということを判断することができる。それは、フィルタリング部７１２での高域通過フィルタリングによって、低周波数帯域のエネルギーが除去されることによって発生しうるトランジェント判断エラーを防止するためである。
第２トランジェント判断部７１６の動作を、図８に図示されたように、１つのフレームが４個のブロック、すなわち、サブフレームから構成され、各ブロックに対して、０、１、２、３が割り当てられ、フレームｎの２番目のブロック１で、トランジェントが検出された場合を例として挙げて説明する。
まず具体的には、フレームｎの２番目のブロック１以前に存在する第１複数個のブロックＬ ８１０に係わる短区間エネルギーの第１平均；及び２番目のブロック１と、それ以後に存在する第２複数個のブロックＨ ８３０とに係わる短区間エネルギーの第２平均；を比較することができる。そのとき、トランジェントが検出された位置により、第１複数個のブロックと、第２複数個のブロックとにそれぞれ含まれるブロックの個数が異なる。すなわち、トランジェントが検出されたブロックと、その後の第１複数個のブロックとに係わる短区間エネルギーの平均、すなわち、第２平均と、トランジェントが検出されたブロック以前の第２複数個のブロックに係わる短区間エネルギーの平均、すなわち、第１平均との比率を算出することができる。
次に、高域通過フィルタリング以前のフレームｎの短区間エネルギーの第３平均と、高域通過フィルタリングされたフレームｎの短区間エネルギーの第４平均との比率を算出することができる。
最後に、第２平均と第１平均との比率が第１臨界値と第２臨界値との間に存在し、第３平均と第４平均との比率が第３臨界値より大きければ、第１トランジェント判断部７１５で、一次的に現在フレームがトランジェントフレームであると判断されたとしても、最終的には、現在フレームを正常フレームであることと判断することができる。
ここで、第臨界値１ないし第３臨界値は、実験あるいはシミュレーションを介して、前もって設定される。例えば、第１臨界値と第２臨界値とは、それぞれ０．７、２．０に設定され、第３臨界値スーパーワイドバンド信号の場合、５０、ワイドバンド信号の場合、３０に設定される。
第２トランジェント判断部７１６で遂行される２回の比較過程を介して、一時的に大きい振幅を有する信号がトランジェントに検出されるエラーを防止することができる。
再び図７に戻り、シグナリング情報生成部７１７は、第２トランジェント判断部７１６での判断結果に対して、以前フレームのハングオーバーフラグによって、現在フレームのフレームタイプ修正いかんを決定する一方、トランジェントが検出されたブロックの位置によって、現在フレームに係わるハングオーバーフラグを異なって設定し、その結果を、トランジェントシグナリング情報として生成することができる。それについては、図９を参照して具体的に説明する。
図９は、図７に図示されたシグナリング情報生成部７１７の動作について説明するフローチャートである。ここでは、１つのフレームが図８でのように構成され、５０％未満のオーバーラップ区間を有する変換ウィンドウを使用し、ブロック２とブロック３とでオーバーラップが行われる場合を例として挙げる。
図９を参照すれば、段階９１２では、第２トランジェント判断部７１６から、現在フレームについて最終的に決定されたフレームタイプを受信することができる。
段階９１３では、現在フレームのフレームタイプがトランジェントフレームであるか否かということを判断することができる。
段階９１４では、段階９１３での判断結果、現在フレームのフレームタイプがトランジェントフレームではない場合、以前フレームについて設定されたハングオーバーフラグを確認することができる。
段階９１５では、以前フレームのハングオーバーフラグが１であるか否かということを判断し、判断結果、以前フレームのハングオーバーフラグが１である場合、すなわち、以前フレームがオーバーラッピングに影響に及ぼすトランジェントフレームである場合、トランジェントフレームではない現在フレームを、トランジェントフレームに修正し、次のフレームのために、現在フレームのハングオーバーフラグを０に設定することができる（段階９１６）。それは、現在フレームが、以前フレームによって修正されたトランジェントフレームであるので、次のフレームに及ぼす影響がないということを意味する。
段階９１７では、段階９１５での判断結果、以前フレームのハングオーバーフラグが０である場合、フレームタイプの修正なしに、現在フレームのハングオーバーフラグを０に設定することができる。すなわち、現在フレームのフレームタイプは、トランジェントフレームではないフレームにそのまま維持される。
段階９１８では、段階９１３での判断結果、現在フレームのフレームタイプがトランジェントフレームである場合、現在フレームで、トランジェントが検出されたブロックを受信することができる。
段階９１９では、現在フレームで、トランジェントが検出されたブロックが、オーバーラップ区間に該当するか否かということ、すなわち、図８を例として挙げる場合、トランジェントが検出されたブロックの番号が１より大きいか否かということ、すなわち、２あるいは３に該当するか否かということを判断することができる。段階９１９での判断結果、トランジェントが検出されたブロックが、オーバーラップ区間である２あるいは３に該当しない場合、フレームタイプの修正なしに、現在フレームのハングオーバーフラグを０に設定することができる（段階９１７）。すなわち、現在フレームで、トランジェントが検出されたブロックの番号が０に該当する場合、現在フレームのフレームタイプは、トランジェントフレームにそのまま維持されながら、現在フレームのハングオーバーフラグを０に設定し、次のフレームに影響を及ぼさないようにすることができる。
段階９２０では、段階９１９での判断結果、トランジェントが検出されたブロックが、オーバーラップ区間である２あるいは３に該当する場合フ、レームタイプの修正なしに、現在フレームのハングオーバーフラグを１に設定することができる。すなわち、現在フレームのフレームタイプは、トランジェントフレームにそのまま維持されるが、次のフレームに影響を及ぼすようにすることができる。それは、現在フレームのハングオーバーフラグが１である場合、次のフレームが、トランジェントフレームではないフレームである場合であると判断されても、次のフレームは、トランジェントフレームに修正されるということを意味する。
段階９２１では、現在フレームのハングオーバーフラグと、現在フレームに係わるフレームタイプとをトランジェントシグナリング情報でもって形成することができる。特に、現在フレームに係わるフレームタイプ、すなわち、現在フレームがトランジェントフレームであるか否かということを示すシグナリング情報は、復号化装置に提供される。
図１０は、本発明の一実施形態による周波数ドメインオーディオ復号化装置の構成を示したブロック図であり、図１Ｂの周波数ドメイン復号化部１３４、図２Ｂの周波数ドメイン復号化部２３４、図３Ｂの周波数ドメイン励起復号化部３３４、あるいは図４Ｂの周波 数ドメイン復号化部４３４に該当する。
図１０に図示された周波数ドメインオーディオ復号化装置１０３０は、周波数ドメインＦＥＣ（frame error concealment）モジュール１０３２、スペクトル復号化部１０３３、第１メモリ更新部１０３４、逆変換部１０３５、一般ＯＬＡ（overlap and add）部１０３６及び時間ドメインＦＥＣモジュール１０３７を含んでもよい。第１メモリ更新部１０３４に内蔵するメモリ（図示せず）を除いた各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でも具現される。一方、第１メモリ更新部１０３４の機能は、周波数ドメインＦＥＣモジュール１０３２及びスペクトル復号化部１０３３に分散して含めらもする。
図１０を参照すれば、パラメータ復号化部１０１０は、受信されたビットストリームからパラメータを復号化し、復号化されたパラメータから、フレーム単位で、エラーが発生したか否かということをチェックすることができる。パラメータ復号化部１０１０は、図１Ｂのパラメータ復号化部１３２、図２Ｂのパラメータ復号化部２３２、図３Ｂのパラメータ復号化部３３２、あるいは図４Ｂのパラメータ復号化部４３４に該当する。パラメータ復号化部１０１０から提供される情報は、エラーフレームであるか否かということを示すエラーフラグと、現在まで連続して発生したエラーフレームの数とを含んでもよい。現在フレームにエラーが発生したと判断されれば、エラーフラグＢＦＩ（bad frame indicator）が１に設定され、それは、エラーフレームについては、何らの情報も存在しないということを意味する。
周波数ドメインＦＥＣモジュール１０３２は、周波数ドメインエラー隠匿アルゴリズムを内蔵しており、パラメータ復号化部１０１０に提供されるエラーフラグＢＦＩが１であり、以前フレームの復号化モードが周波数ドメインである場合に動作される。一実施形態によれば、周波数ドメインＦＥＣモジュール１０３２は、メモリ（図示せず）に保存されている以前正常フレームの合成されたスペクトル係数を反復させ、エラーフレームのスペクトル係数を生成することができる。そのとき、以前フレームのフレームタイプと、現在まで発生したエラーフレームの個数とを考慮して、反復過程を遂行することができる。説明の便宜のために、連続して発生したエラーフレームが２個以上である場合、バーストエラーに該当することにする。
一実施形態によれば、周波数ドメインＦＥＣモジュール１０３２は、現在フレームがバーストエラーを形成するエラーフレームでありながら、以前フレームがトランジェントフレームではない場合、例えば、５番目のエラーフレームからは、以前正常フレームで復号化されたスペクトル係数について、強制的に３ｄＢずつ固定された値にダウンスケーリングすることができる。すなわち、現在フレームが連続して発生した５番目のエラーフレームに該当するならば、以前正常フレームで復号化されたスペクトル係数のエネルギーを低減させた後、エラーフレームに対して、反復してスペクトル係数を生成することができる。
他の実施形態によれば、周波数ドメインＦＥＣモジュール１０３２は、現在フレームがバーストエラーを形成するエラーフレームでありながら、以前フレームがトランジェントフレームである場合、例えば、２番目のエラーフレームからは、以前正常フレームで復号化されたスペクトル係数について、強制的に３ｄＢずつ固定された値にダウンスケーリングすることができる。すなわち、現在フレームが連続して発生した２番目のエラーフレームに該当するならば、以前正常フレームで復号化されたスペクトル係数のエネルギーを低減させた後、エラーフレームに対して、反復してスペクトル係数を生成することができる。
さらに他の実施形態によれば、周波数ドメインＦＥＣモジュール１０３２は、現在フレームがバーストエラーを形成するエラーフレームである場合、エラーフレームに対して生成されたスペクトル係数の符号をランダムに変更させることによって、フレームごとにスペクトル係数の反復によって発生する変調ノイズ（modulation noise）を減少させることができる。バーストエラーを形成するエラーフレームグループにおいて、ランダム符号が適用され始めるエラーフレームは、信号特性によって異なる。一実施形態によれば、信号特性がトランジェントであるか否かということによって、ランダム符号が適用され始めるエラーフレームの位置を異ならせて設定するか、トランジェントではない信号のうち、ステーショナリな信号について、ランダム符号が適用され始めるエラーフレームの位置を異ならせて設定することができる。例えば、入力信号にハーモニック成分が多く存在すると判断された場合、信号の変化が大きくないステーショナリな信号と決定し、それに対応したエラー隠匿アルゴリズムを遂行することができる。一般的に、入力信号のハーモニック情報は、エンコーダから伝送される情報を利用することができる。低い複雑度を必要としない場合には、デコーダで合成された信号を利用して、ハーモニック情報を求めることもできる。
一方、エラーフレームの全体スペクトル係数について、ランダム符号を適用するか、あるいは既定義の周波数帯域以上のスペクトル係数について、ランダム符号を適用することができる。その理由は、非常に低い周波数帯域では、符号の変化によって、波形やエネルギーが大きく変わる場合が発生するので、例えば、２００Ｈｚ以下の非常に低い周波数帯域では、ランダム符号を適用しないことが、さらに良好な性能を有することができる。
さらに他の実施形態によれば、周波数ドメインＦＥＣモジュール１０３２は、ダウンスケーリングあるいはランダム符号の適用を、バーストエラーを形成するエラーフレームだけではなく、１フレームずつ飛ばしながら、エラーフレームが存在する場合にも同一に適用することができる。すなわち、現在フレームがエラーフレームであり、１フレーム以前フレームが正常フレームであり、２フレーム以前フレームがエラーフレームである場合、ダウンスケーリングあるいはランダム符号を適用することができる。
スペクトル復号化部１０３３は、パラメータ復号化部１０１０に提供されるエラーフラグＢＦＩが０である場合、すなわち、現在フレームが正常フレームである場合に動作される。スペクトル復号化部１０３３は、パラメータ復号化部１０１０で復号化されたパラメータを利用して、スペクトル復号化を行い、スペクトル係数を合成することができる。スペクトル復号化部１０３３については、図１１及び図１２を参照し、さらに具体的に説明する。
第１メモリ更新部１０３４は、正常フレームである現在フレームについて合成されたスペクトル係数、復号化されたパラメータを利用して得られた情報、現在まで連続したエラーフレームの個数、各フレームの信号特性あるいはフレームタイプ情報などを、次のフレームのために更新することができる。ここで、信号特性は、トランジェント特性、ステーショナリ特性を含み、フレームタイプは、トランジェントフレーム、ステーショナリフレームあるいはハーモニックフレームを含んでもよい。
逆変換部１０３５は、合成されたスペクトル係数について、時間・周波数逆変換を行い、時間ドメイン信号を生成することができる。一方、逆変換部１０３５では、現在フレームのエラーフラグ及び以前フレームのエラーフラグに基づいて、現在フレームの時間ドメイン信号を、一般ＯＬＡ部１０３６あるいは時間ドメインＦＥＣモジュール１０３７のうち一つに提供することができる。
一般ＯＬＡ部１０３６は、現在フレーム及び以前フレームがいずれも正常フレームである場合に動作され、以前フレームの時間ドメイン信号を利用して一般的なＯＬＡ処理を行い、その結果、現在フレームに係わる最終時間ドメイン信号を生成し、後処理部１０５０に提供することができる。
時間ドメインＦＥＣモジュール１０３７は、現在フレームがエラーフレームであるか、あるいは現在フレームが正常フレームでありながら、以前フレームがエラーフレームであり、最後の以前正常フレームの復号化モードが周波数ドメインである場合に動作することができる。すなわち、現在フレームがエラーフレームである場合には、周波数ドメインＦＥＣモジュール１０３２と、時間ドメインＦＥＣモジュール１０３７とを介して、エラー隠匿処理が行われ、以前フレームがエラーフレームであり、現在フレームが正常フレームである場合には、時間ドメインＦＥＣモジュール１０３７を介して、エラー隠匿処理が行われる。
図１１は、図１０に図示されたスペクトル復号化部１０３３の一実施形態による構成を示したブロック図である。
図１１に図示されたスペクトル復号化部１１１０は、無損失復号化部１１１２、パラメータ逆量子化部１１１３、ビット割当て部１１１４、スペクトル逆量子化部１１１５、ノイズフィリング部１１１６及びスペクトルシェーピング部１１１７を含んでもよい。ここで、ノイズフィリング部１１１６は、スペクトルシェーピング部１１１７の後端に位置することもできる。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でも具現される。
図１１を参照すれば、無損失復号化部１１１２は、符号化過程で無損失符号化が行われたパラメータ、例えば、norm値あるいはスペクトル係数に対して無損失復号化を行うことができる。
パラメータ逆量子化部１１１３は、無損失復号化されたnorm値に対して逆量子化を行うことができる。符号化過程においてnorm値は、多様な方式、例えば、Vector quantization(ＶＱ）、scalar quantization（ＳＱ）、trellis coded quantization（ＴＣＱ）、lattice vector quantization(ＬＶＱ）などを利用して量子化され、対応する方式を使用して、逆量子化を行うことができる。
ビット割当て部１１１４は、量子化されたnorm値、あるいは逆量子化されたnorm値に基づいて、サブバンド単位で必要とするビット数を割り当てることができる。その場合、サブバンド単位で割り当てられたビット数は、符号化過程で割り当てられたビット数と同一である。
スペクトル逆量子化部１１１５は、サブバンド単位で割り当てられたビット数を使用して、逆量子化過程を遂行し、正規化されたスペクトル係数を生成することができる。
ノイズフィリング部１１１６は、正規化されたスペクトル係数のうち、サブバンド単位でノイズフィリングを必要とする部分に対して、ノイズ信号を生成して充填することができる。
スペクトルシェーピング部１１１７は、逆量子化されたnorm値を利用して正規化されたスペクトル係数をシェーピングすることができる。スペクトルシェーピング過程を介して、最終的に復号化されたスペクトル係数が得られる。
図１２は、図１０に図示されたスペクトル復号化部１０３３の他の実施形態による構成を示したブロック図であり、望ましくは、信号変動がはなはだしいフレーム、例えば、トランジェントフレームのために短区間ウィンドウを使用する場合に適用される。
図１２に図示されたスペクトル復号化部１２１０は、無損失復号化部１２１２、パラメータ逆量子化部１２１３、ビット割当て部１２１４、スペクトル逆量子化部１２１５、ノイズフィリング部１２１６、スペクトルシェーピング部１２１７及びデインターリービング部１２１８を含んでもよい。ここで、ノイズフィリング部１２１６は、スペクトルシェーピング部１２１７の後端に位置することもできる。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でも具現される。図１１のスペクトル復号化部１１１０と比較し、デインターリービング部１２１８が追加されたものであり、同一の構成要素に係わる動作説明は省略する。
まず、現在フレームがトランジェントフレームに該当する場合、使用される変換ウィンドウは、ステーショナリフレームで使用される変換ウィンドウ１３１０（図１３）より短い必要がある。一実施形態によれば、トランジェントフレームを４個のサブフレームに分け、サブフレーム当たり一つずつ、総４個の短区間ウィンドウ１３３０（図１３）を使用することができる。デインターリービング部１２１８の動作についての説明に先立り、符号化端でのインターリビング処理について説明すれば、次の通りである。
トランジェントフレームを４個のサブフレームに分け、４個の短区間ウィンドウを使用して得られた４個のサブフレームのスペクトル係数の和と、１つの１つのフレームに、長区間ウィンドウを使用して得られたスペクトル係数の和とが同一になるように設定することができる。まず、４個の短区間ウィンドウを適用して変換を行い、その結果、４セットのスペクトル係数を求めることができる。次に、各セットのスペクトル係数の順に連続してインターリビングを行うことができる。具体的には、最初の短区間ウィンドウのスペクトル係数を、ｃ０１、ｃ０２、…、ｃ０ｎ、２番目の短区間ウィンドウのスペクトル係数を、ｃ１１、ｃ１２、…、ｃ１ｎ、３番目の短区間ウィンドウのスペクトル係数を、ｃ２１、ｃ２２、…、ｃ２ｎ、４番目の短区間ウィンドウのスペクトル係数を、ｃ３１、ｃ３２、…、ｃ３ｎとすれば、インターリビングされた結果は、ｃ０１、ｃ１１、ｃ２１、ｃ３１、…、ｃ０ｎ、ｃ１ｎ、ｃ２ｎ、ｃ３ｎと示すことができる。
そのように、トランジェントフレームの場合、インターリビング過程を経て、長区間ウィンドウを使用した場合と同一に修正された後、量子化及び無損失符号化のような後続符号化過程を遂行することができる。
再び図１２に戻り、デインターリービング部１２１８は、スペクトルシェーピング部１２１７から提供される復元されたスペクトル係数について、本来の短区間ウィンドウを使用した場合として修正するためのものである。一方、トランジェントフレームは、エネルギー変動がはなはだしいという特性を有するが、一般的に開始部分は、エネルギーが小さい一方、端部は、エネルギーが大きいという傾向がある。従って、以前正常フレームがトランジェントフレームである場合、トランジェントフレームの復元されたスペクトル係数を反復してエラーフレームに使用する場合には、エネルギー変動程度がはなはだしいフレームが連続して存在するので、ノイズが非常に大きく聞こえてしまう。それを防止するために、以前正常フレームがトランジェントフレームである場合、３番目と４番目との短区間ウィンドウを使用して復号化されたスペクトル係数を、最初と２番目との短区間ウィンドウを使用して復号化されたスペクトル係数の代わりに使用して、エラーフレームのスペクトル係数を生成することができる。
図１４は、図１０に図示された一般ＯＬＡ部１０３６の一実施形態による構成を示したブロック図であり、現在フレーム及び以前フレームが、いずれも正常フレーム（normal frame）である場合に動作され、逆変換部１０３５（図１０）から提供される時間ドメイン信号、すなわち、ＩＭＤＣＴ（inverse modified discrete cosine transform）信号に対してオーバーラップ・アンド・アド（ＯＬＡＤ）処理を行うことができる。
図１４に図示された一般ＯＬＡ部１４１０は、ウィンドウイング部１４１２とオーバーラッピング部１４１４とを含んで構成される。
図１４を参照すれば、ウィンドウイング部１４１２は、時間ドメインエイリアシングを除去するために、現在フレームのＩＭＤＣＴ信号に対して、ウィンドウイング処理を行うことができる。５０％未満のオーバーラップ区間を有するウィンドウを使用する場合については、図１９を参照して後述する。
オーバーラッピング部１４１４は、ウィンドウイングされたＩＭＤＣＴ信号に対して、オーバーラップ・アンド・アド処理を行うことができる。
図１９は、５０％未満のオーバーラップ区間を有するウィンドウを使用する場合、時間ドメインエイリアシングを除去するために、符号化装置及び復号化装置で行われるウィンドウイング処理の例について説明するための図面である。
図１９を参照すれば、符号化装置で使用されるウィンドウと、復号化装置で使用されるウィンドウとの形態は逆方向に示される。符号化装置では、新たな入力（new input）が入れば、過去の保存された信号を利用して、ウィンドウイングを適用する。時間遅延を防止するために、オーバーラップ区間を減らせば、オーバーラップ区間がウィンドウの両端に位置することができる。一方、復号化装置では、現在のｎフレームにおいて、図１９（ａ）のold audio out put信号（現在ｎフレーム領域は、old windowed ＩＭＤＣＴ out信号と同一である）は、互いにオーバーラップ・アンド・アド処理を経れば、Audio output信号が導出される。Audio output信号の未来領域は、次のフレームにおいて、オーバーラップ・アンド・アド過程に使用される。一方、図１９（ｂ）は、一実施形態による、エラーフレーム隠匿のためのウィンドウの形態を示している。主に、周波数ドメイン符号化でエラーが発生すれば、過去のスペクトル係数を反復するので、エラーフレームでの時間ドメインエイリアシングは、除去不可能になる。従って、時間ドメインエイリアシングによるアーティファクト（artifact）を隠匿するために、変形されたウィンドウを使用することができる。特に、５０％未満のオーバーラップ区間を有するウィンドウを利用する場合、短いオーバーラップ区間によるノイズを低減させるために、オーバーラップ区間１９３０の長さをＪｍｓ（０＜Ｊ＜frame size）ほど調節することによって、オーバーラッピングをスムージングさせる。
図１５は、図１０に図示された時間ドメインＦＥＣモジュール１０３７の一実施形態による構成を示したブロック図である。
図１５に図示された時間ドメインＦＥＣモジュール１５１０は、ＦＥＣモード選択部１５１２；第１時間ドメインエラー隠匿部１５１３、第２時間ドメインエラー隠匿部１５１４及び第３時間ドメインエラー隠匿部１５１５；及び第２メモリ更新部１５１６；を含んで構成される。同様に、第２メモリ更新部１５１６の機能は、第１時間ドメインエラー隠匿部１５１３、第２時間ドメインエラー隠匿部１５１４及び第３時間ドメインエラー隠匿部１５１５に含まれる。
図１５を参照すれば、ＦＥＣモード選択部１５１２は、現在フレームのエラーフラグＢＦＩ、以前フレームのエラーフラグＰｒｅｖ＿ＢＦＩ、及び連続したエラーフレームの数を入力にして、時間ドメインでのＦＥＣモードを選択することができる。各エラーフラグの場合、１はエラーフレーム、０を正常フレームであると示すことができる。一方、連続したエラーフレームの数が、例えば、２以上である場合、バーストエラーを形成すると判断することができる。ＦＥＣモード選択部１５１２での選択結果、現在フレームの時間ドメイン信号は、第１時間ドメインエラー隠匿部１５１３、第２時間ドメインエラー隠匿部１５１４及び第３時間ドメインエラー隠匿部１５１５のうち一つに提供される。
第１時間ドメインエラー隠匿部１５１３は、現在フレームがエラーフレームである場合、エラー隠匿処理を行うことができる。
第２時間ドメインエラー隠匿部１５１４は、現在フレームが正常フレームであり、以前フレームがランダムエラーを形成するエラーフレームである場合、エラー隠匿処理を行うことができる。
第３時間ドメインエラー隠匿部１５１５は、現在フレームが正常フレームであり、以前フレームがバーストエラーを形成するエラーフレームである場合、エラー隠匿処理を行うことができる。
第２メモリ更新部１５１６は、次のフレームのために、現在フレームのエラー隠匿処理に使用された各種情報を更新し、メモリ（図示せず）に保存することができる。
図１６は、図１５に図示された第１時間ドメインエラー隠匿部１５１３の一実施形態による構成を示したブロック図である。現在フレームがエラーフレームである場合、一般的に、周波数ドメインで得られた過去のスペクトル係数を反復する方法を使用する場合、ＩＭＤＣＴとウィンドウイングとを経た後、オーバーラップ・アンド・アド処理を行えば、現在フレームの開始部分の時間ドメインエイリアシング成分が異なるので、完全復元（perfect reconstruction）が不可能になりながら、予想外のノイズが発生しうる。第１時間ドメインエラー隠匿部１５１３は、反復方式を使用しても、ノイズの発生を最小化させるためのものである。
図１６に図示された第１時間ドメインエラー隠匿部１６１０は、ウィンドウイング部１６１２、反復部１６１３、ＯＬＡ部１６１４、オーバーラップサイズ選択部１６１５及びスムージング部１６１６を含んでもよい。
図１６を参照すれば、ウィンドウイング部１６１２は、図１４のウィンドウイング部１４１２と同一の動作を遂行することができる。
反復部１６１３は、２つのフレーム以前（previous old）のＩＭＤＣＴ signalを再び反復し、現在フレーム（エラーフレーム）の開始部分に適用することができる。
ＯＬＡ部１６１４は、反復部１６１３を介して反復された信号と、現在フレームのＩＭＤＣＴ信号とに対して、オーバーラップ・アンド・アド処理を行うことができる。その結果、現在フレームに係わるaudio output信号を生成することができ、２つのフレーム以前の信号を使用することによってaudio output信号の開始部分において、ノイズの発生を減らすことができる。一方、周波数ドメインにおいて、以前フレームのスペクトル反復と共にスケーリングが適用されても、現在フレームの開始部分でのノイズ発生の可能性は、非常に低減される。
オーバーラップサイズ選択部１６１５は、スムージング処理時に適用するスムージングウィンドウのオーバーラップ区間の長さｏｖ＿sizeを選択することができる。ここで、ｏｖ＿sizeは、常に同一の値、例えば、２０ｍｓフレームサイズである場合、１２ｍｓを使用するか、あるいは特定条件によって、可変的に調節することもできる。そのとき、特定条件では、現在フレームのハーモニック情報あるいはエネルギー差などを使用することができる。ハーモニック情報は、現在フレームがハーモニック特性を有するか否かということを意味し、符号化装置から伝送されるか、復号化装置で求められることもできる。そして、エネルギー差は、時間ドメインにおいて、現在フレームのエネルギーＥｃｕｒｒと、フレーム別エネルギーの移動平均ＥＭＡとの正規化されたエネルギー差の絶対値を意味する。それは、下記の数式（１）のように示すことができる。
スムージング部１６１６は、選択されたスムージングウィンドウを、以前フレームの信号（old audio out put）と現在フレームの信号（current audio output）との間に適用し、オーバーラップ・アンド・アド処理を行うことができる。ここで、スムージングウィンドウは、隣接するウィンドウ間のオーバーラップ区間の和が１になるように形成することができる。そのような条件を満足するウィンドウの例としては、サイン波形ウィンドウ、一次関数を利用したウィンドウ、ハニングウィンドウ（Hanning window）があるが、それらに限定されるものではない。一実施形態によれば、サイン波形ウィンドウを使用することができ、そのとき、ウィンドウ関数ｗ（ｎ）は、下記数式（２）のように示すことができる。
前述のように、スムージング処理を行うことによって、現在フレームがエラーフレームである場合、以前フレームで保存されたＩＭＤＣＴ信号の代わりに、２つのフレーム以前でコピーされたＩＭＤＣＴ信号を使用することによって、発生する以前フレームと現在フレームとの不連続を防止することができる。
図１７は、図１５に図示された第２時間ドメインエラー隠匿部１５１４の一実施形態による構成を示したブロック図である。
図１７に図示された第２時間ドメインエラー隠匿部１７１０は、オーバーラップサイズ選択部１７１２と、スムージング部１７１３とを含んでもよい。
図１７を参照すれば、オーバーラップサイズ選択部１７１２は、図１６のオーバーラップサイズ選択部１６１５と同様に、スムージング処理時に適用するスムージングウィンドウのオーバーラップ区間の長さｏｖ＿sizeを選択することができる。
スムージング部１７１３は、選択されたスムージングウィンドウを、Old ＩＭＤＣＴ信号とcurrent ＩＭＤＣＴ信号との間に適用し、オーバーラップ・アンド・アド処理を行うことができる。同様に、スムージングウィンドウは、隣接するウィンドウ間のオーバーラップ区間の和が１になるように形成することができる。
すなわち、以前フレームがランダムエラーフレームでありながら、現在フレームが正常フレームである場合、正常なウィンドウイングが不可能であるために、以前フレームのＩＭＤＣＴ信号と現在フレームのＩＭＤＣＴ信号とのオーバーラップ区間での時間ドメインエイリアシングを除去し難い。従って、オーバーラップ・アンド・アド処理を行わず、代わりにスムージング処理を行うことによって、ノイズを最小化させることができる。
図１８は、図１５に図示された第３時間ドメインエラー隠匿部１５１５の一実施形態による構成を示したブロック図である。
図１８に図示された第３時間ドメインエラー隠匿部１８１０は、反復部１８１２、スケーリング部１８１３、第１スムージング部１８１４、オーバーラップサイズ選択部１８１５及び第２スムージング部１８１６を含んでもよい。
図１８を参照すれば、反復部１８１２は、正常フレームである現在フレームのＩＭＤＣＴ信号において、次のフレームに該当する部分を、現在フレームの開始部分にコピーすることができる。
スケーリング部１８１３は、突然の信号増大を防ぐために、現在フレームのスケールを調整することができる。一実施形態によれば、３ｄＢのスケーリングダウンを行うことができる。ここで、スケーリング部１８１３は、オプションとして提供される。
第１スムージング部１８１４は、以前フレームのＩＭＤＣＴ信号と、未来においてコピーしたＩＭＤＣＴ信号とに対してスムージングウィンドウを適用し、オーバーラップ・アンド・アド処理を行うことができる。同様に、スムージングウィンドウは、隣接するウィンドウ間のオーバーラップ区間の和が１になるように形成することができる。すなわち、未来の信号をコピーする場合、以前フレームと現在フレームとの間に発生する不連続を除去するために、ウィンドウイングを必要とし、オーバーラップ・アンド・アド処理を介して、過去信号を未来信号で置き換えることができる。
オーバーラップサイズ選択部１８１５は、図１６のオーバーラップサイズ選択部１６１５と同様に、スムージング処理時に適用するスムージングウィンドウのオーバーラップ区間の長さｏｖ＿sizeを選択することができる。
第２スムージング部１８１６は、選択されたスムージングウィンドウを、置き換えられた信号であるOld ＩＭＤＣＴ信号と、現在フレーム信号であるcurrentＩＭＤＣＴ信号との間に適用して不連続性を除去しながら、オーバーラップ・アンド・アド処理を行うことができる。同様に、スムージングウィンドウは、隣接するウィンドウ間のオーバーラップ区間の和が１になるように形成することができる。
すなわち、以前フレームがバーストエラーフレームでありながら、現在フレームが正常フレームである場合、正常なウィンドウイングが不可能であるために、以前フレームのＩＭＤＣＴ信号と現在フレームのＩＭＤＣＴ信号とのオーバーラップ区間での時間ドメインエイリアシングを除去することができない。一方、バーストエラーフレームの場合には、エネルギーを低減させたり、あるいは続いた反復によるノイズなどが発生したりするので、現在フレームのオーバーラッピングに未来信号をコピーする方式を適用することができる。その場合、以前フレームと現在フレームとの間に発生する不連続を除去しながら、現在フレームに対して発生しうるノイズを除去するために、二次にわたって、スムージング処理を行うことができる。
図２０は、図１８において、次の正常フレームの時間ドメイン信号を利用したＯＬＡ処理の例について説明するための図面である。
図２０（ａ）は、以前フレームがエラーフレームではない場合、以前フレームを利用して反復やゲインスケーリングを行う方法について説明している。一方、図２０（ｂ）を参照すれば、さらなる遅延を使用しないために、まだオーバーラッピング（overlapping）を介して復号化されていない部分についてのみ、次の正常フレームである現在フレームで復号化された時間ドメイン信号を、過去に反復しながらオーバーラッピングを行い、その上で、利得スケーリングを行う。反復する信号の大きさは、オーバーラッピングされる部分の大きさより小さいか、あるいはそれと同じ値が選択される。一実施形態によれば、オーバーラッピングされる部分の大きさは、１３＊Ｌ／２０でもある。ここで、Ｌは、例えば、狭帯域（narrowband）である場合には、１６０、広帯域（wideband）である場合には、３２０、超広帯域（super-wideband）である場合には、６４０、全帯域（fullband）である場合には、９６０である。
一方、時間オーバーラッピング過程に使用される信号を導き出すために、次の正常フレームの時間ドメイン信号を、反復を介して求める方式は、以下の通りである。
図２０（ｂ）において、（ｎ＋２）フレームの未来部分に表示された１３＊Ｌ／２０サイズのブロックを、（ｎ＋１）フレームの同一位置に該当する未来部分にコピーし、既存値を置き換えながらスケールを調整することができる。ここで、スケーリングされる値の例は、−３ｄＢである。コピーするとき、以前（ｎ＋１）フレームとの不連続性をなくすために、最初の３＊Ｌ／２０サイズについては、以前フレーム値である図２０（ｂ）の（ｎ＋１）フレームで得られた時間ドメイン信号と、未来部分にコピーされた信号とに対して、線形的にオーバーラッピングを行うことができる。その過程を介して、最終的にオーバーラッピングのための信号が得られ、修正された（ｎ＋１）信号と（ｎ＋２）信号とがオーバーラッピングされれば、最終（Ｎ＋２）フレームに係わる時間ドメイン信号が出力される。
図２１は、本発明の他の実施形態による周波数ドメインオーディオ復号化装置の構成を示したブロック図であり、図１０に図示された実施形態と比較し、ステーショナリ検出部２１３８がさらに含まれる。そのために、図１０と同一の構成要素に係わる詳細的な動作説明は省略する。
図２１を参照すれば、ステーショナリ検出部２１３８は、逆変換部２１３５から提供される時間ドメイン信号を分析し、現在フレームがステーショナリであるか否かということを検出することができる。ステーショナリ検出部２１３８の検出結果は、時間ドメインＦＥＣモジュール２１３７に提供される。
図２２は、図２１に図示されたステーショナリ検出部２０３８の一実施形態による構成を示したブロック図であり、ステーショナリ判断部２２１２と履歴（hysteresis）適用部２２１３とを含んでもよい。
図２２を参照すれば、ステーショナリ判断部２２１２は、エンベロープデルタｅｎｖ＿delta、以前フレームのステーショナリモードｓｔａｔ＿mode＿old、エネルギー差ｄｉｆｆ＿energyなどを含む情報を受信し、現在フレームがステーショナリであるか否かということを判断することができる。ここで、エンベロープデルタは、周波数ドメインの情報を利用して求められ、以前フレームと現在フレームとの帯域別norm値の差の平均エネルギーを示す。エンベロープデルタは、下記数式（３）のように示すことができる。
履歴適用部２２１３は、現在フレームがステーショナリであると判断されれば、以前フレームのステーショナリモードstat＿mode＿oldを適用し、現在フレームに係わる最終ステーショナリ情報stat＿mode＿outを生成することにより、現在フレームのステーショナリ情報の頻繁な変化を防止することができる。すなわち、ステーショナリ判断部２２１２において、現在フレームがステーショナリであると判断された場合、以前フレームがステーショナリである場合、現在フレームをステーショナリフレームとして検出する。
図２３は、図２１に図示された時間ドメインＦＥＣモジュール２１３７の一実施形態による構成を示したブロック図である。
図２３に図示された時間ドメインＦＥＣモジュール２３１０は、ＦＥＣモード選択部２３１２、第１時間ドメインエラー隠匿部２３１３及び第２時間ドメインエラー隠匿部２３１４、並びに第１メモリ更新部２３１５を含んで構成される。同様に、第１メモリ更新部２３１５の機能は、第１時間ドメインエラー隠匿部２３１３及び第２時間ドメインエラー隠匿部２３１４に含まれもする。
図２３を参照すれば、ＦＥＣモード選択部２３１２は、現在フレームのエラーフラグＢＦＩ、以前フレームのエラーフラグＰｒｅｖ＿ＢＦＩ及び多様なパラメータを入力にして、時間ドメインでのＦＥＣモードを選択することができる。各エラーフラグの場合、１はエラーフレーム、０を正常フレームであると示すことができる。ＦＥＣモード選択部２３１２での選択結果、現在フレームの時間ドメイン信号は、第１時間ドメインエラー隠匿部２３１３及び第２時間ドメインエラー隠匿部２３１４のうち一つに提供される。
第１時間ドメインエラー隠匿部２３１３は、現在フレームがエラーフレームである場合、エラー隠匿処理を行うことができる。
第２時間ドメインエラー隠匿部２３１４は、現在フレームが正常フレームであり、以前フレームがエラーフレームである場合、エラー隠匿処理を行うことができる。
第１メモリ更新部２３１５は、次のフレームのために、現在フレームのエラー隠匿処理に使用された各種情報を更新し、メモリ（図示せず）に保存することができる。
第１時間ドメインエラー隠匿部２３１３及び第２時間ドメインエラー隠匿部２３１４で行われるオーバーラップ・アンド・アド処理では、入力信号がトランジェントであるか、あるいはステーショナリであるかということにより、あるいはステーショナリである場合、その程度によって、最適の方式を適用することができる。一実施形態によれば、信号がステーショナリである場合には、スムージングウィンドウのオーバーラップ区間の長さを長く設定し、そうではない場合には一、般ＯＬＡ処理で使用されるところをそのまま使用することができる。
図２４は、図２１に図示されたＦＥＣモード選択部２３１２において、現在フレームがエラーフレームである場合、一実施形態による動作について説明するフローチャートである。
図２４において、現在フレームがエラーフレームである場合、ＦＥＣモードを選択するために使用されるパラメータの種類は、次の通りである。すなわち、パラメータには、現在フレームのエラーフラグ、以前フレームのエラーフラグ、以前正常フレーム（last good frame）のハーモニック情報、次の正常フレームのハーモニック情報、連続したエラーフレームの数を含んでもよい。連続したエラーフレームの数は、現在フレームが正常である場合にリセットされる。また、パラメータには、以前正常フレームのステーショナリ情報、エネルギー差、エンベロープデルタをさらに含んでもよい。ここで、各ハーモニック情報は、エンコーダから伝送されるか、デコーダで別途に生成することができる。
図２４において、段階２４２１では、前述の多様なパラメータを利用して、入力信号がステーショナリであるか否かということを判断することができる。具体的には、以前正常フレームがステーショナリであり、エネルギー差が第１臨界値より小さく、以前正常フレームのエンベロープデルタが第２臨界値より小さい場合、入力信号がステーショナリであると判断する。ここで、第１臨界値と第２臨界値は、実験あるいはシミュレーションを介して前もって設定される。
段階２４２２では、段階２４２１において、入力信号がステーショナリであると判断された場合、反復処理及びスムージング処理を行うことができる。ステーショナリであると判断される場合、スムージングウィンドウのオーバーラップ区間の長さをさらに長く、例えば、６ｍｓに設定することができる。
一方、段階２４２３では、段階２４２１において、入力信号がステーショナリではないと判断された場合、一般的なＯＬＡ処理を行うことができる。
図２５は、図２３に図示されたＦＥＣモード選択部２３１２において、以前フレームがエラーフレームであり、現在フレームがエラーフレームではない場合、一実施形態による動作について説明するフローチャートである。
図２５において、段階２５３１では、前述の多様なパラメータを利用して、入力信号がステーショナリであるか否かということを判断することができる。そのとき、図２４の段階２４２１と同一のパラメータを使用することができる。
段階２５３２では、段階２５３１において、入力信号がステーショナリではないと判断された場合、連続したエラーフレームの数が１より大きいか否かということを確認し、以前フレームがバーストエラーフレームに該当するか否かということを判断することができる。
段階２５３３では、段階２５３１において、入力信号がステーショナリであると判断された場合、以前フレームがエラーフレームである場合、次の正常フレームに対するエラー隠匿処理、すなわち、反復処理及びスムージング処理を行うことができる。ステーショナリであると判断される場合、スムージングウィンドウのオーバーラップ区間の長さをさらに長く、例えば、６ｍｓに設定することができる。
段階２５３４では、段階２５３２において、入力信号がステーショナリではなく、以前フレームがバーストエラーフレームに該当すると判断された場合、以前フレームがバーストエラーフレームである場合、次の正常フレームに対するエラー隠匿処理を行うことができる。
段階２５３５では、段階２５３２において、入力信号がステーショナリではなく、以前フレームがランダムエラーフレームに該当すると判断された場合、一般的なＯＬＡ処理を行うことができる。
図２６は、図２３に図示された第１時間ドメインエラー隠匿部２３１３の一実施形態による構成を示したブロック図である。
図２６において、段階２６０１では、現在フレームがエラーフレームである場合、以前フレームの信号を反復してスムージング処理を行うことができる。一実施形態によれば、６ｍｓオーバーラップ区間を有するスムージングウィンドウを適用することができる。
段階２６０３では、オーバーラッピングされる領域の一定区間のエネルギーＰｏｗ１と、オーバーラッピングされていない領域の一定区間のエネルギーＰｏｗ２とを比較することができる。具体的には、エラー隠匿処理を経た後、オーバーラッピングされる領域のエネルギーが低下するか、大幅に上昇する場合には、一般的なＯＬＳ処理を行うことができる。エネルギー低下は、オーバーラッピング時に、位相が正反対である場合に発生し、エネルギー上昇は、位相が同一である場合に発生しうるからである。信号がある程度ステーショナリである場合、段階２６０１によるエラー隠匿性能が優秀であるので、段階２６０１の結果、オーバーラッピングされる領域と、オーバーラッピングされていない領域とのエネルギー差が大きければ、オーバーラッピング時に、位相によって問題が発生するということを意味する。
段階２６０４では、段階２６０３での比較結果、オーバーラッピングされる領域と、オーバーラッピングされていない領域とのエネルギー差が大きい場合、段階２６０１の結果を採択せず、一般的なＯＬＡ処理を行うことができる。
一方、段階２６０３での比較結果、オーバーラッピングされる領域と、オーバーラッピングされていない領域とのエネルギー差が大きくない場合には、段階２６０１の結果を採択することができる。
図２７は、図２３に図示された第２時間ドメインエラー隠匿部２３１４の一実施形態による構成を示したブロック図であり、図２５での段階２５３３，２５３４，２５３５に対応する。
図２８は、図２３に図示された第２時間ドメインエラー隠匿部２３１４の他の実施形態による構成を示したブロック図であり、図２７と比較すれば、次の正常フレームである現在フレームが、トランジェントフレームに該当する場合のエラー隠匿処理２８０１と、次の正常フレームである現在フレームがトランジェントフレームに該当しない場合、互いに異なるオーバーラップ区間の長さを有するスムージングウィンドウを使用するエラー隠匿処理２８０２，２８０３とを使用するという違いがある。すなわち、一般的なＯＬＡ処理以外に、トランジェントフレームのためのＯＬＡ処理を別途に追加する場合に適用される。
図２９は、図２６において、現在フレームがエラーフレームである場合、エラー隠匿方式について説明する図面であり、図１６と比較すれば、オーバーラップサイズ選択部１６１５（図１６）に対応する構成が除かれた一方、エネルギーチェック部２９１６が追加されたというところが違いである。すなわち、スムージング部２９１５では、既定のスムージングウィンドウを適用することができ、エネルギーチェック部２９１６は、図２６の段階２６０３及び段階２６０４に該当する機能を遂行することができる。
図３０は、図２８において、以前フレームがエラーフレームである場合、トランジェントフレームである次の正常フレームに対するエラー隠匿方式について説明する図面である。望ましくは、以前フレームのフレームタイプがトランジェントである場合に適用することができる。すなわち、以前フレームがトランジェントであるので、過去フレームで使用されたエラー隠匿方式を考慮し、次の正常フレームでエラー隠匿処理を行うことができる。
図３０を参照すれば、ウィンドウ修正部３０１２では、以前フレームのウィンドウを考慮し、現在フレームのスムージング処理に使用されるウィンドウのオーバーラップ区間の長さを修正することができる。
スムージング部３０１３では、ウィンドウ修正部３０１２で修正されたスムージングウィンドウを、以前フレームと、次の正常フレームである現在フレームとに適用し、スムージング処理を行う。
図３１は、図２７及び図２８において、以前フレームがエラーフレームである場合、トランジェントフレームではない場合、正常フレームに対するエラー隠匿方式について説明する図面であり、図１７及び図１８を同時に表現したものである。すなわち、連続したエラーフレームの数によって、図１７によるランダムエラーフレームに対応したエラー隠匿処理を行ったり、図１８によるバーストエラーフレームに対応したエラー隠匿処理を行ったりすることができる。ただし、図１７及び図１８と比較すれば、オーバーラップサイズが既定であるということが違いとして挙げることができる。
図３２は、図２６において、現在フレームがエラーフレームである場合、ＯＬＡ処理の例について説明する図面であり、図３２（ａ）は、トランジェントフレームのための例である。図３２（ｂ）は、非常にステーショナリなフレームのためのＯＬＡ処理を示したものであり、Ｍの長さはＮより長く、スムージング処理時、オーバーラップ区間の長さが長い場合を意味する。図３２（ｃ）は、図３２（ｂ）より不十分にステーショナリなフレームに対するＯＬＡ処理を示し、図３２（ｄ）は、一般的なＯＬＡ処理を示す。ここで、使用されるＯＬＡ処理は、次の正常フレームでのＯＬＡ処理と独立して使用が可能である。
図３３は、図２７において、以前フレームがランダムエラーフレームである場合、次の正常フレームに対するＯＬＡ処理の例について説明する図面であり、図３３（ａ）は、非常にステーショナリなフレームのためのＯＬＡ処理を示したものであり、Ｋの長さは、Ｌより長く、スムージング処理時、オーバーラップ区間の長さが長い場合を意味する。図３３（ｂ）は、図３３（ａ）より不十分にステーショナリなフレームに対するＯＬＡ処理を示し、図３３（ｃ）は、一般的なＯＬＡ処理を示す。ここで使用されるＯＬＡ処理を、エラーフレームで使用されるＯＬＡ処理と独立して使用が可能である。従って、エラーフレームと、次の正常フレームとのＯＬＡ処理の多様な組み合わせが可能になる。
図３４は、図２７において、以前フレームがバーストエラーフレームである場合、次の正常フレーム（ｎ＋２）に対するＯＬＡ処理の例について説明する図面であり、図１９及び図２０と比較し、違いは、スムージングウィンドウのオーバーラップ区間の長さ３４１３を調節し、スムージング処理を行うことができるというところである。
図３５は、本発明に適用される位相マッチング方式の概念について説明する図面である。図３５を参照すれば、復号化されたオーディオ信号のうち、フレームｎでエラーが発生した場合、バッファに保存された過去Ｎ個の正常フレーム（good frame）に対して、以前フレーム（ｎ−１）で復号化が完了した信号のうち、フレームｎと隣接した探索セグメント３５１２と最も類似したマッチングセグメント３５１３を探索することができる。そのとき、探索セグメント３５１２の大きさは、探索する最小周波数の波長によって決定される。例えば、探索セグメント３５１２の大きさは、最小周波数の波長の半分より大きく、最小周波数の波長より小さく設定することができる。一方、バッファでの探索範囲は、探索する最小周波数の波長と同じであるか、あるいはそれより大きく設定することができる。具体的には、探索範囲内で、過去の復号化された信号のうち、探索セグメント３５１２と相互相関度（cross-correlation）が最も高いマッチングセグメント３５１３を探索し、マッチングセグメント３５１３に該当する位置情報を求め、マッチングセグメント３５１３の端部から所定区間３５１４を、ウィンドウ長、例えば、フレーム長と、オーバーラップ区間の長さとを合わせた長さを考慮して設定し、エラーが発生したフレームｎにコピーすることができる。
図３６は、本発明の一実施形態によるエラー隠匿装置の構成を示したブロック図である。図３６に図示されたエラー隠匿装置３６１０は、位相マッチングフラグ生成部３６１１、第１ ＦＥＣモード選択部３６１２、位相マッチングＦＥＣモジュール３６１３、時間ドメインＦＥＣモジュール３６１４及びメモリ更新部３６１５を含んでもよい。
図３６を参照すれば、位相マッチングフラグ生成部３６１１は、正常フレームごとに、次のフレームでエラーが発生した場合、位相マッチングエラー隠匿処理を使用するか否かということを決定するための位相マッチングフラグphase＿ｍａｔ＿flagを生成することができる。そのために、各サブバンドのエネルギーとスペクトル係数とを利用することができる。ここで、エネルギーは、normから求められるが、それに限定されるものではない。具体的には、正常フレームである現在フレームにおいて、最大エネルギーを有するサブバンドが、所定低周波数帯域に属しながら、フレーム内、あるいはフレーム間のエネルギー変化が大きくない場合、位相マッチングフラグを１に設定することができる。一実施形態によれば、現在フレームにおいて、最大エネルギーを有するサブバンドが、７５〜１，０００Ｈｚに属しながら、当該サブバンドに係わる現在フレームのインデックスと、以前フレームのインデックスとが同一である場合、エラーが発生した後、フレームに位相マッチングエラー隠匿処理を適用することができる。他の実施形態によれば、現在フレームにおいて、最大エネルギーを有するサブバンドが、７５〜１，０００Ｈｚに属しながら、当該サブバンドに係わる現在フレームのインデックスと、以前フレームのインデックスとの差が１以下である場合、エラーが発生した後、フレームに位相マッチングエラー隠匿処理を適用することができる。他の実施形態によれば、現在フレームにおいて、最大エネルギーを有するサブバンドが７５〜１，０００Ｈｚに属しながら、当該サブバンドに係わる現在フレームのインデックスと、以前フレームのインデックスとが同一であり、現在フレームがエネルギー変化が小さいステーショナリフレームであり、バッファに保存されたＮ個の過去フレームが正常フレームでありながら、トランジェントフレームではない場合、エラーが発生した後、フレームに位相マッチングエラー隠匿処理を適用することができる。他の実施形態によれば、現在フレームにおいて、最大エネルギーを有するサブバンドが、７５〜１，０００Ｈｚに属しながら、当該サブバンドに係わる現在フレームのインデックスと、以前フレームのインデックスとの差が１以下であり、現在フレームが、エネルギー変化が小さいステーショナリフレームでありながら、バッファに保存された複数の過去フレームが正常フレームでありながら、トランジェントフレームではない場合、エラーが発生した後、フレームに位相マッチングエラー隠匿処理を適用することができる。ここで、ステーショナリフレームであるか否かということは、前述のステーショナリフレーム検出過程で使用された差エネルギーと、臨界値との比較を介して決定することができる。また、バッファに保存された複数の過去フレームのうち、最近の３個フレームに対して、正常フレームであるか否かということを判断し、最近の２個フレームに対して、トランジェントフレームであるか否かということを判断することができるが、それらに限定するものではない。
位相マッチングフラグ生成部３６１１で生成される位相マッチングフラグが１に設定されている場合、次のフレームでエラーが発生すれば、位相マッチングエラー隠匿処理を適用することができるということを意味する。
第１ ＦＥＣモード選択部３６１２は、位相マッチングフラグと、以前フレーム及び現在フレームの状態とを考慮し、複数個のＦＥＣモードのうち一つを選択することができる。ここで、位相マッチングフラグは、以前正常フレームの状態を示すことができる。以前フレームと現在フレームとの状態は、以前フレームあるいは現在フレームが、エラーフレームであるか否かということ、あるいは現在フレームがランダムエラーフレームであるか、あるいはバーストエラーフレームであるかということ、以前エラーフレームが位相マッチングエラー隠匿処理を使用したか否かということを含んでもよい。一実施形態によれば、複数個のＦＥＣモードは、位相マッチングエラー隠匿処理を使用する第１メインＦＥＣモードと、時間ドメインエラー隠匿処理を使用する第２メインＦＥＣモードとを含んでもよい。第１メインＦＥＣモードは、位相マッチングフラグが１に設定されており、ランダムエラーフレームである現在フレームに係わる第１サブＦＥＣモード；以前フレームがエラーフレームでありながら、位相マッチングエラー隠匿処理を使用した場合、次の正常フレームである現在フレームに係わる第２サブＦＥＣモード；及び以前エラーフレームが位相マッチングエラー隠匿処理を使用しながら、バーストエラーフレームを構成する現在フレームに係わる第３サブＦＥＣモード；を含んでもよい。一実施形態によれば、第２メインＦＥＣモードは、位相マッチングフラグが０に設定されており、エラーフレームである現在フレームに係わる第４サブＦＥＣモード；及び位相マッチングフラグが０に設定されており、以前エラーフレームの次の正常フレームである現在フレームに係わる第５サブＦＥＣモードを含んでもよい。一実施形態によれば、第４サブＦＥＣモードあるいは第５サブＦＥＣモードは、図２３と同一の方式で選択され、選択されたＦＥＣモードに対応し、同一のエラー隠匿処理が行われる。
位相マッチングＦＥＣモジュール３６１３は、第１ ＦＥＣモード選択部３６１２で選択されたＦＥＣモードが、第１メインＦＥＣモードである場合に動作し、第１サブＦＥＣモード、第２サブＦＥＣモード及び第３サブＦＥＣモードに対応する各位相マッチングエラー隠匿処理を行い、エラーが隠匿された時間ドメイン信号を生成することができる。ここでは、説明の便宜のために、エラーが隠匿された時間ドメイン信号が、メモリ更新部３６１５を介して出力されると図示する。
時間ドメインＦＥＣモジュール３６１４は、第１ ＦＥＣモード選択部３６１２で選択されたＦＥＣモード、が第２メインＦＥＣモードである場合に動作し、第４サブＦＥＣモード及び第５サブＦＥＣモードに対応する各時間ドメインエラー隠匿処理を行い、エラーが隠匿された時間ドメイン信号を生成することができる。同様にここでは、説明の便宜のために、エラーが隠匿された時間ドメイン信号が、メモリ更新部３６１５を介して出力されると図示する。
メモリ更新部３６１５は、位相マッチングＦＥＣモジュール３６１３あるいは時間ドメインＦＥＣモジュール３６１４でのエラー隠匿結果を受信し、次のフレームのエラー隠匿処理のための複数のパラメータを更新することができる。一実施形態によれば、メモリ更新部３６１５の機能は、位相マッチングＦＥＣモジュール３６１３及び時間ドメインＦＥＣモジュール３６１４に含まれる。
そのように、周波数ドメインで得られたスペクトル係数を、エラーフレームに反復する代わりに、時間ドメインにおいて、位相がマッチングされる信号を反復することにより、オーバーラップ区間の長さが５０％未満であるウィンドウを使用する場合、例えば、１０００Ｈｚ以下の低周波数帯域に対して、オーバーラップ区間で発生しうるノイズを効率的に抑制することができる。
図３７は、図３６に図示された位相マッチングＦＥＣモジュール３６１３あるいは時間ドメインＦＥＣモジュール３６１４の一実施形態による構成を示したブロック図である。
図３７に図示された位相マッチングＦＥＣモジュール３７１０は、第２ ＦＥＣモード選択部３７１１、並びに第１位相マッチングエラー隠匿部３７１２、第２位相マッチングエラー隠匿部３７１３及び第３位相マッチングエラー隠匿部３７１４を含み、時間ドメインＦＥＣモジュール３７３０は、第３ ＦＥＣモード選択部３７３１、並びに第１ドメインエラー隠匿部３７３２及び第２時間ドメインエラー隠匿部３７３３を含んでもよい。一実施形態によれば、第２ ＦＥＣモード選択部３７１１と第３ ＦＥＣモード選択部３７３１は、図３６の第１ ＦＥＣモード選択部３６１２に含まれるもする。
図３７に図示された位相マッチングＦＥＣモジュール３７１０は、第２ ＦＥＣモード選択部３７１１、並びに第１位相マッチングエラー隠匿部３７１２、第２位相マッチングエラー隠匿部３７１３及び第３位相マッチングエラー隠匿部３７１４を含み、時間ドメインＦＥＣモジュール３７３０は、第３ ＦＥＣモード選択部３７３１、並びに第１ドメインエラー隠匿部３７３２及び第２時間ドメインエラー隠匿部３７３３を含んでもよい。一実施形態によれば、第２ ＦＥＣモード選択部３７１１と第３ ＦＥＣモード選択部３７３１は、図３６の第１ ＦＥＣモード選択部３６１２に含まれるもする。
図３７を参照すれば、第１位相マッチングエラー隠匿部３７１２は、以前正常フレームが、所定低周波数帯域において、最大エネルギーを有しながら、エネルギー変化が所定臨界値より小さい場合、ランダムエラーフレームである現在フレームに対して、位相マッチングエラー隠匿処理を行うことができる。一実施形態によれば、前述の条件を満足しても、相関度尺度ａｃｃＡを求め、相関度尺度ａｃｃＡが所定範囲に属するか否かということによって、位相マッチングエラー隠匿処理を行うか、あるいは一般的なＯＬＡ処理を行うことができる。すなわち、探索範囲に存在するセグメント間の相関度、及び探索セグメントと、探索範囲に存在するセグメントとの相互相関度を考慮し、位相マッチングエラー隠匿処理を行うか否かということを決定することが望ましい。それについて、さらに具体的に説明すれば、次の通りである。
相関度尺度ａｃｃＡは、下記の数式（４）のように求められる。
次に、相関度尺度ａｃｃＡが所定範囲に属するか否かということ判断し、所定範囲に属する場合、エラーフレームである現在フレームに対して、位相マッチングエラー隠匿処理を行い、所定範囲を外れる場合、一般的なＯＬＡ処理を行うことができる。一実施形態によれば、相関度尺度ａｃｃＡが０．５より小さいか、あるいは１．５より大きい場合には、一般的なＯＬＡ処理を行い、それ以外の場合、位相マッチングエラー隠匿処理を行うことができる。ここで、上限値及び下限値は、例示したものに過ぎず、あらかじめ実験あるいはシミュレーションを介して最適の値に設定される。
第２位相マッチングエラー隠匿部３７１３は、以前フレームがエラーフレームでありながら、位相マッチングエラー隠匿処理を使用した場合、次の正常フレームである現在フレームに対して、位相マッチングエラー隠匿処理を行うことができる。
第３位相マッチングエラー隠匿部３７１４は、以前フレームがエラーフレームでありながら、位相マッチングエラー隠匿処理を使用した場合、バーストエラーフレームを構成する現在フレームに対して、位相マッチングエラー隠匿処理を行うことができる。
第１時間ドメインエラー隠匿部３７３２は、以前正常フレームが所定低周波数帯域で最大エネルギーを有さない場合、エラーフレームである現在フレームに対して、時間ドメインエラー隠匿処理を行うことができる。
第２時間ドメインエラー隠匿部３７３３は、以前正常フレームが所定低周波数帯域で最大エネルギーを有さない場合、以前エラーフレームの次の正常フレームである現在フレームに対して、時間ドメインエラー隠匿処理を行うことができる。
図３８は、図３７に図示された第１位相マッチングエラー隠匿部３７１２あるいは第２位相マッチングエラー隠匿部３７１３の一実施形態による構成を示したブロック図である。図３８に図示された位相マッチングエラー隠匿部３８１０は、最大相関度探索部３８１２、コピー部３８１３及びスムージング部３８１４を含んでもよい。
図３８において、最大相関度探索部３８１２は、バッファに保存された過去Ｎ個の正常フレーム（good frame）に対して、以前正常フレームで復号化が完了した信号のうち、現在フレームに隣接した探索セグメントと最大相関度を有する、すなわち、最も類似したマッチングセグメントを探索することができる。探索結果として得られるマッチングセグメントの位置インデックスは、コピー部３８１３に提供される。最大相関度探索部３８１２は、ランダムエラーフレームである現在フレーム及び以前フレームが、ランダムエラーフレームでありながら、位相マッチングエラー隠匿処理が行われ、正常フレームである現在フレームに対して、同一に動作することができる。一方、現在フレームがエラーフレームである場合、望ましくは、周波数ドメインエラー隠匿処理があらかじめ行われる。一実施形態によれば、最大相関度探索部３８１２において、位相マッチングエラー隠匿処理を行うことによって決定されたエラーフレームである現在フレームに対して、相関度尺度を求め、再び位相マッチングエラー隠匿処理が適するか否かということを決定することができる。
コピー部３８１３は、マッチングセグメントの位置インデックスを参照し、マッチングセグメントの端部から所定区間ほどを、エラーフレームである現在フレームにコピーすることができる。また、コピー部３８１３は、以前フレームがランダムエラーフレームでありながら、位相マッチングエラー隠匿処理が行われた場合、マッチングセグメントの位置インデックスを参照し、マッチングセグメントの端部から所定区間ほどを、正常フレームである現在フレームにコピーすることができる。そのとき、ウィンドウ長に対応する区間を、現在フレームにコピーすることができる。一実施形態によれば、マッチングセグメントの端部からコピーされる区間がウィンドウ長より短い場合には、マッチングセグメントの端部からコピーされる区間を反復し、現在フレームにコピーすることができる。
スムージング部３８１４は、現在フレームと隣接したフレーム間の不連続性を最小化させるために、ＯＬＡを介したスムージング処理を行い、エラーが隠匿された現在フレームに係わる時間ドメイン信号を生成することができる。スムージング部３８１４の動作については、図３９及び図４０を参照して具体的に説明する。
図３９は、図３８に図示されたスムージング部３８１４の一実施形態による動作について説明する図面である。
図３９を参照すれば、バッファに保存された過去Ｎ個の正常フレーム（good frame）に対して、以前フレーム（ｎ−１）で復号化が完了した信号のうち、エラーフレームである現在フレームｎと隣接した探索セグメント３９１２と最も類似したマッチングセグメント３９１３を探索することができる。次に、マッチングセグメント３９１３の端部から所定区間ほどを、ウィンドウ長を考慮し、エラーが発生したフレームｎにコピーすることができる。そのようなコピー過程が完了すれば、エラーフレームである現在フレームの開始部分で、コピーされた信号３９１４と、オーバーラッピングのために、以前フレームで保存された信号（Oldauout）３９１５とに対して、第１オーバーラップ区間３９１６ほどオーバーラッピングを行うことができる。ここで、第１オーバーラップ区間３９１６の長さは、信号間の位相がマッチングされた状態であるので、一般的なＯＬＡ処理で使用するところより短い。例えば、一般的なＯＬＡ処理で６ｍｓを使用するとするならば、第１オーバーラップ区間３９１６は、１ｍｓを使用することができるが、それに限定されるものではない。一方、マッチングセグメント３９１３の端部からコピーされる区間がウィンドウ長より短い場合、マッチングセグメントの端部からコピーされる区間を一部重畳させながら、現在フレームｎに連続してコピーすることができる。一実施形態によれば、重畳区間は、第１オーバーラップ区間３９１６と同一である。その場合には、次のフレーム（ｎ＋１）の開始部分で、２つのコピーされた信号３７１４，３７１７で重畳された部分と、オーバーラッピングのために、現在フレームで保存された信号（Oldauout）３９１８とに対して、第２オーバーラップ区間３９１９ほどオーバーラッピングを行うことができる。ここで、第２オーバーラップ区間３９１９の長さは、信号間の位相がマッチングされた状態であるので、一般的なＯＬＡ処理で使用するより短い。例えば、第２オーバーラップ区間３９１９の長さは、第１オーバーラップ区間３９１６の距離と同一である。すなわち、マッチングセグメントの端部からコピーされる区間がウィンドウ長と同一であるか、あるいはそれより長い場合には、第１オーバーラップ区間３９１６に対するオーバーラッピングだけ行うことができる。そのようにコピーされた信号と、オーバーラッピングのために以前フレームで保存された信号とのオーバーラッピングを行うことによって、現在フレームｎの開始部分において、以前フレーム（ｎ−１）との不連続性を最小化させることができる。結果として、ウィンドウ長に該当し、現在フレーム及び以前フレーム間でスムージング処理が行われながら、エラーが隠匿された信号３９２０を生成することができる。
図４０は、図３８に図示されたスムージング部３８１４の他の実施形態による動作について説明する図面である。
図４０を参照すれば、バッファに保存された過去Ｎ個の正常フレーム（good frame）に対して、以前フレーム（ｎ−１）において、復号化が完了した信号のうち、エラーフレームである現在フレームｎと隣接した探索セグメント４０１２と最も類似したマッチングセグメント４０１３を探索することができる。次に、マッチングセグメント４０１３の端部から所定区間ほどを、ウィンドウ長を考慮し、エラーが発生したフレームｎにコピーすることができる。そのようなコピー過程が完了すれば、エラーフレームである現在フレームの開始部分で、コピーされた信号４０１４と、オーバーラッピングのために、以前フレームで保存された信号（Oldauout）４０１５とに対して、第１オーバーラップ区間４０１６ほどオーバーラッピングを行うことができる。ここで、第１オーバーラップ区間４０１６の長さは、信号間の位相がマッチングされた状態であるので、一般的なＯＬＡ処理で使用するところより短い。例えば、一般的なＯＬＡ処理で６ｍｓを使用するならば、第１オーバーラップ区間４０１６は、１ｍｓを使用することができるが、それに限定されるものではない。一方、マッチングセグメント４０１３の端部からコピーされる区間が、ウィンドウ長より短い場合、マッチングセグメントの端部からコピーされる区間を一部重畳させながら、現在フレームｎに連続してコピーすることができる。その場合には、２つのコピーされた信号４０１４，４０１７で重畳された部分４０１９に対するオーバーラッピングを行うことができる。望ましくは、重畳された部分４０１９の長さは、第１オーバーラップ区間と同一である。すなわち、マッチングセグメントの端部からコピーされる区間が、ウィンドウ長と同一であるか、あるいはそれより長い場合には、第１オーバーラップ区間４０１６に対するオーバーラッピングだけ行うことができる。そのようにコピーされた信号と、オーバーラッピングのために、以前フレームで保存された信号とのオーバーラッピングを行うことによって、現在フレームｎの開始部分において、以前フレーム（ｎ−１）との不連続性を最小化させることができる。結果として、ウィンドウ長に該当し、現在フレーム及び以前フレーム間でスムージング処理行われながら、エラーが隠匿された第１信号４０２０を生成することができる。次に、第１信号４０２０において、オーバーラップ区間に該当する信号と、オーバーラッピングのために、現在フレームｎで保存された信号（Oldauout）４０１８に対してオーバーラップ区間４０２２とでオーバーラッピングを行うことによって、エラーフレームである現在フレームｎと、次のフレーム（ｎ＋１）とのオーバーラップ区間４０２２での不連続性を最小化させた第２信号４０２３を生成することができる。
それによれば、信号の主要周波数、例えば、基本周波数（fundamental frequency）がフレームごとに変わる場合、または信号が急変する場合、コピーされた信号の端部、すなわち、次のフレームとのオーバーラップ区間において、位相ミスマッチングが発生しても、スムージング処理を行うことによって、現在フレームと次のフレームとの不連続性を最小化させることができる。
図４１は、本発明の一実施形態による符号化モジュールを含むマルチメディア機器の構成を示したブロック図である。
図４１に図示されたマルチメディア機器４１００は、通信部４１１０と符号化モジュール４１３０とを含んでもよい。また、符号化の結果として得られるオーディオ・ビットストリームの用途によって、オーディオ・ビットストリームを保存する保存部４１５０をさらに含んでもよい。また、マルチメディア機器４１００は、マイクロフォン４１７０をさらに含んでもよい。すなわち、保存部４１５０とマイクロフォン４１７０は、オプションとして具備される。一方、図４１に図示されたマルチメディア機器４１００は、任意の復号化モジュール（図示せず）、例えば、一般的な復号化機能を遂行する復号化モジュール、あるいは本発明の一実施形態による復号化モジュールをさらに含んでもよい。ここで、符号化モジュール４１３０は、マルチメディア機器４１００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも一つ以上のプロセッサ（図示せず）でも具現される。
図４１を参照すれば、通信部４１１０は、外部から提供されるオーディオと、符号化されたビットストリームとのうち少なくとも一つを受信するか、復元されたオーディオと、符号化モジュール４１３０の符号化の結果として得られるオーディオ・ビットストリームとのうち少なくとも一つを送信することができる。
通信部４１１０は、無線インターネット、無線イントラネット、無線電話網、無線ＬＡＮ（local area network）、Ｗｉ−Ｆｉ（wireless fidelity）、ＷＦＤ（Ｗｉ−Ｆｉ direct）、３Ｇ（generation）、４Ｇ（generation）、ブルートゥース（登録商標：Bluetooth）、赤外線通信（ＩｒＤＡ：infrared data association）、ＲＦＩＤ（radio frequency identification）、ＵＷＢ（ultra wideband）、ジグビー（ZigBee）、ＮＦＣ（near field communication）のような無線ネットワーク；あるいは有線電話網、有線インターネットのような有線ネットワークを介して、外部のマルチメディア機器あるいはサーバとデータを送受信することができるように構成される。
符号化モジュール４１３０は、一実施形態によれば、通信部４１１０あるいはマイクロフォン４１７０を介して提供される時間領域の信号に対して、時間領域の信号から、現在フレームにおいて、トランジェントが検出された区間がオーバーラップが行われない区間であるか否かということを考慮し、次のフレームのためのハングオーバーフラグを設定することができる。
保存部４１５０は、マルチメディア機器４１００の運用に必要な多様なプログラムを保存することができる。
マイクロフォン４１７０は、ユーザあるいは外部のオーディオ信号を、符号化モジュール４１３０に提供することができる。
図４２は、本発明の一実施形態による復号化モジュールを含むマルチメディア機器の構成を示したブロック図である。
図４２に図示されたマルチメディア機器４２００は、通信部４２１０と、復号化モジュール４２３０とを含んでもよい。また、復号化結果として得られる復元されたオーディオ信号の用途によって、復元されたオーディオ信号を保存する保存部４２５０をさらに含んでもよい。また、マルチメディア機器４２００は、スピーカ４２７０をさらに含んでもよい。すなわち、保存部４２５０とスピーカ４２７０は、オプションとして具備される。一方、図４２に図示されたマルチメディア機器４２００は、任意の符号化モジュール（図示せず）、例えば、一般的な符号化機能を遂行する符号化モジュール、あるいは本発明の一実施形態による符号化モジュールをさらに含んでもよい。ここで、復号化モジュール４２３０は、マルチメディア機器４２００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも１つの以上のプロセッサ（図示せず）でも具現される。
図４２を参照すれば、通信部４２１０は、外部から提供される符号化されたビットストリームと、オーディオ信号とのうち少なくとも一つを受信するか、復号化モジュール４２３０の復号化結果として得られる復元されたオーディオ信号と、符号化の結果として得られるオーディオ・ビットストリームとのうち少なくとも一つを送信することができる。一方、通信部４２１０は、図４１の通信部４１１０と実質的に類似して具現される。
復号化モジュール４２３０は、一実施形態によれば、通信部４２１０を介して提供されるビットストリームを受信し、復号化モジュール４２３０は、一実施形態によれば、通信部３４２１０を介して提供されるビットストリームを受信し、現在フレームがエラーフレームである場合、周波数ドメインでエラー隠匿処理を行い、現在フレームが正常フレームである場合、スペクトル係数を復号化し、エラーフレームあるいは正常フレームである現在フレームに対して、時間・周波数逆変換処理を行い、時間・周波数逆変換処理後に生成される時間ドメイン信号において、現在フレームと、現在フレームの以前フレームとの状態に基づいて、ＦＥＣモードを選択し、選択されたＦＥＣモードに基づいて、エラーフレームである現在フレーム、あるいは以前フレームが、エラーフレームでありながら正常フレームである現在フレームに対して、対応する時間ドメインエラー隠匿処理を行うことができる。
保存部４２５０は、復号化モジュール４２３０で生成される復元されたオーディオ信号を保存することができる。一方、保存部４２５０は、マルチメディア機器４２００の運用に必要な多様なプログラムを保存することができる。
スピーカ４２７０は、復号化モジュール４２３０で生成される復元されたオーディオ信号を外部に出力することができる。
図４３は、本発明の一実施形態による符号化モジュールと、復号化モジュールとを含むマルチメディア機器の構成を示したブロック図である。
図４３に図示されたマルチメディア機器４３００は、通信部４３１０、符号化モジュール４３２０及び復号化モジュール４３３０を含んでもよい。また、符号化の結果として得られるオーディオ・ビットストリーム、あるいは復号化結果として得られる復元されたオーディオ信号の用途によって、オーディオ・ビットストリーム、あるいは復元されたオーディオ信号を保存する保存部４３４０をさらに含んでもよい。また、マルチメディア機器４３００は、マイクロフォン４３５０あるいはスピーカ４３６０をさらに含んでもよい。ここで、符号化モジュール４３２０と復号化モジュール４３３０は、マルチメディア機器４３００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも一つ以上のプロセッサ（図示せず）でも具現される。
図４３に図示された各構成要素は、図４１に図示されたマルチメディア機器４１００の構成要素、あるいは図４２に図示されたマルチメディア機器４２００の構成要素と重複するので、その詳細な説明は省略する。
図４１ないし図４３に図示されたマルチメディア機器４１００，４２００，４３００には、電話、モバイルフォンなどを含む音声通信専用端末、ＴＶ（television）、ＭＰ３プレーヤなどを含む放送専用装置あるいは音楽専用装置、あるいは音声通信専用端末と、放送専用装置あるいは音楽専用装置との融合端末装置、テレカンファレンシング・システムあるいはインタラクション・システムのユーザ端末が含まれもするが、それらに限定されるものではない。また、マルチメディア機器４１００，４２００，４３００は、クライアント、サーバ、あるいはクライアントとサーバとの間に配置される変換器としても使用される。
一方、マルチメディア機器４１００，４２００，４３００が、例えば、モバイルフォンである場合、図示されていないが、キーパッドのようなユーザ入力部、ユーザ・インターフェース、あるいはモバイルフォンで処理される情報をディスプレイするディスプレイ部、モバイルフォンの全般的な機能を制御するプロセッサをさらに含んでもよい。また、モバイルフォンは、撮像機能を有するカメラ部と、モバイルフォンで必要とする機能を遂行する少なくとも一つ以上の構成要素とをさらに含んでもよい。
一方、マルチメディア機器４１００，４２００，４３００が、例えば、ＴＶである場合、図示されていないが、キーパッドのようなユーザ入力部、受信された放送情報をディスプレイするディスプレイ部、ＴＶの全般的な機能を制御するプロセッサをさらに含んでもよい。また、ＴＶは、ＴＶで必要とする機能を遂行する少なくとも一つ以上の構成要素をさらに含んでもよい。
前記実施形態による方法は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータでも具現される。また、前述の本発明の実施形態で使用されるデータ構造、プログラム命令、あるいはデータファイルは、コンピュータで読み取り可能な記録媒体に多様な手段を介して記録される。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全ての種類の保存装置を含んでもよい。コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、プロッピー（登録商標）ディスク及び磁気テープのような磁気媒体（magnetic media）；ＣＤ（compact disc）−ＲＯＭ（read only memory）、ＤＶＤ（digital versatile disk）のような光記録媒体（optical media）；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical media）；及びＲＯＭ、ＲＡＭ（random access memory）、フラッシュメモリのようなプログラム命令を保存して遂行するように特別に構成されたハードウェア装置；が含まれる。また、コンピュータで読み取り可能な記録媒体は、プログラム命令、データ構造などを指定する信号を伝送する伝送媒体でもある。プログラム命令の例としては、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用して、コンピュータによって実行される高級言語コードを含んでもよい。
以上、本発明の一実施形態は、たとえ限定された実施形態と図面とによって説明されたにしても、本発明の一実施形態は、前述の実施形態に限定されるものではなく、それは、本発明が属する分野で当業者であるならば、そのような記載から、多様な修正及び変形が可能であろう。従って、本発明のスコープは、前述の説明ではなく、特許請求の範囲に示されており、それと均等または等価的は変形は、いずれも本発明の技術的思想の範疇に属するものである。
Claims (6)
- 時間・周波数逆変換処理後に生成される時間ドメイン信号のフレームについて、反復及びスムージングに係わる複数のエラー隠匿モードのうち一つのエラー隠匿モードを選択する段階と、
前記選択されたエラー隠匿モードに基づいて、前記フレームに対して、対応する時間ドメインエラー隠匿処理を行う段階と、を含み、
前記フレームは、現在エラーフレームあるいは単一エラーフレームの次の正常フレームあるいはバーストエラーフレームの次の正常フレームに分類されたものであり、
前記複数のエラー隠匿モードは、前記現在エラーフレームに係わる第１モード、前記単一エラーフレームの次の正常フレームと係わる第２モード、及び前記バーストエラーフレームの次の正常フレームに係わる第３モードを含むフレームエラー隠匿方法。 - 前記現在エラーフレームについては、前記時間・周波数逆変換処理以前に、周波数ドメインエラー隠匿処理が先行されることを特徴とする請求項１に記載のフレームエラー隠匿方法。
- 前記選択されたエラー隠匿モードが前記第１モードである場合、前記現在エラーフレームは前記時間・周波数逆変換処理前に周波数ドメインエラー隠匿処理が行われたものであり、前記時間ドメインエラー隠匿処理は、
前記現在エラーフレームの信号に対して、ウィンドウイング処理を行う段階と、
前記現在エラーフレームより２つのフレーム以前の正常フレームの信号を、前記現在エラーフレームの開始部分に反復する段階と、
前記正常フレームの信号が反復された現在エラーフレームの開始部分の信号と、前記現在エラーフレームの信号とに対して、オーバーラップ・アンド・アド処理を行う段階と、
スムージングウィンドウを、以前フレームの信号と、オーバーラップ・アンド・アド処理された前記現在エラーフレームの信号との間に適用し、スムージング処理を行う段階と、を含むことを特徴とする請求項１に記載のフレームエラー隠匿方法。 - 前記選択されたエラー隠匿モードが前記第２モードである場合、前記単一エラーフレームは前記時間・周波数逆変換処理前に周波数ドメインエラー隠匿処理及び前記時間・周波数逆変換処理後に時間ドメインエラー隠匿処理が行われたものであり、前記時間ドメインエラー隠匿処理は、
以前フレームの信号と、前記単一エラーフレームの次の正常フレームである現在フレームの信号との間にスムージングウィンドウを適用してスムージング処理を行う段階と、を含むことを特徴とする請求項１に記載のフレームエラー隠匿方法。 - 前記選択されたエラー隠匿モードが前記第３モードである場合、前記バーストエラーフレームは前記時間・周波数逆変換処理前に周波数ドメインエラー隠匿処理及び前記時間・周波数逆変換処理後に時間ドメインエラー隠匿処理が行われたものであり、前記時間ドメインエラー隠匿処理は、
前記バーストエラーフレームの次の正常フレームである現在フレームの信号で、次のフレームのために使われる部分を、前記現在フレームの開始部分にコピーする段階と、
コピー処理された前記現在フレームに対して、スケーリングダウン処理を行う段階と、
以前フレームの信号と、コピー処理された前記現在フレームとに対して、第１スムージング処理を行う段階と、
以前フレームで置き換えられた信号と、前記第１スムージング処理された現在フレームの信号との間に第２スムージング処理を行う段階と、を含むことを特徴とする請求項１に記載のフレームエラー隠匿方法。 - 前記エラー隠匿モードは、前記フレームに係わるステーショナリ情報を考慮して選択することを特徴とする請求項１に記載のフレームエラー隠匿方法。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261657348P | 2012-06-08 | 2012-06-08 | |
| US61/657,348 | 2012-06-08 | ||
| US201261672040P | 2012-07-16 | 2012-07-16 | |
| US61/672,040 | 2012-07-16 | ||
| US201261704739P | 2012-09-24 | 2012-09-24 | |
| US61/704,739 | 2012-09-24 | ||
| PCT/KR2013/005095 WO2013183977A1 (ko) | 2012-06-08 | 2013-06-10 | 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017019012A Division JP6346322B2 (ja) | 2012-06-08 | 2017-02-03 | フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015527765A JP2015527765A (ja) | 2015-09-17 |
| JP6088644B2 true JP6088644B2 (ja) | 2017-03-01 |
Family
ID=49712305
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015515953A Active JP6088644B2 (ja) | 2012-06-08 | 2013-06-10 | フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置 |
| JP2017019012A Active JP6346322B2 (ja) | 2012-06-08 | 2017-02-03 | フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017019012A Active JP6346322B2 (ja) | 2012-06-08 | 2017-02-03 | フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置 |
Country Status (10)
| Country | Link |
|---|---|
| US (3) | US9558750B2 (ja) |
| EP (2) | EP2874149B1 (ja) |
| JP (2) | JP6088644B2 (ja) |
| KR (2) | KR102063902B1 (ja) |
| CN (3) | CN104718571B (ja) |
| ES (1) | ES2960089T3 (ja) |
| HU (1) | HUE063724T2 (ja) |
| PL (1) | PL2874149T3 (ja) |
| TW (2) | TWI585748B (ja) |
| WO (1) | WO2013183977A1 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9495971B2 (en) | 2007-08-27 | 2016-11-15 | Telefonaktiebolaget Lm Ericsson (Publ) | Transient detector and method for supporting encoding of an audio signal |
| KR101757338B1 (ko) | 2013-06-21 | 2017-07-26 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. | 오디오 신호의 대체 프레임에 대한 스펙트럼 계수들을 획득하기 위한 방법과 장치, 오디오 디코더, 오디오 수신기 및 오디오 신호들의 전송을 위한 시스템 |
| KR102653849B1 (ko) | 2014-03-24 | 2024-04-02 | 삼성전자주식회사 | 고대역 부호화방법 및 장치와 고대역 복호화 방법 및 장치 |
| JP6402487B2 (ja) * | 2014-05-13 | 2018-10-10 | セイコーエプソン株式会社 | 音声処理装置および音声処理装置の制御方法 |
| KR101929782B1 (ko) * | 2014-06-10 | 2018-12-17 | 엘지전자 주식회사 | 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법 |
| PL3367380T3 (pl) * | 2014-06-13 | 2020-06-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Obsługa sekwencji błędów ramki |
| CN112216288A (zh) * | 2014-07-28 | 2021-01-12 | 三星电子株式会社 | 用于音频信号的时域数据包丢失隐藏的方法 |
| TWI602172B (zh) | 2014-08-27 | 2017-10-11 | 弗勞恩霍夫爾協會 | 使用參數以加強隱蔽之用於編碼及解碼音訊內容的編碼器、解碼器及方法 |
| DE102016101023A1 (de) * | 2015-01-22 | 2016-07-28 | Sennheiser Electronic Gmbh & Co. Kg | Digitales Drahtlos-Audioübertragungssystem |
| US10008214B2 (en) * | 2015-09-11 | 2018-06-26 | Electronics And Telecommunications Research Institute | USAC audio signal encoding/decoding apparatus and method for digital radio services |
| WO2017129270A1 (en) * | 2016-01-29 | 2017-08-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for improving a transition from a concealed audio signal portion to a succeeding audio signal portion of an audio signal |
| WO2017153299A2 (en) * | 2016-03-07 | 2017-09-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Error concealment unit, audio decoder, and related method and computer program fading out a concealed audio frame out according to different damping factors for different frequency bands |
| WO2017153300A1 (en) | 2016-03-07 | 2017-09-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Error concealment unit, audio decoder, and related method and computer program using characteristics of a decoded representation of a properly decoded audio frame |
| MX2018010753A (es) * | 2016-03-07 | 2019-01-14 | Fraunhofer Ges Forschung | Método de ocultamiento híbrido: combinación de ocultamiento de pérdida paquete de dominio de frecuencia y tiempo en códecs de audio. |
| JP7159538B2 (ja) * | 2017-06-28 | 2022-10-25 | 株式会社三洋物産 | 遊技機 |
| JP7159539B2 (ja) * | 2017-06-28 | 2022-10-25 | 株式会社三洋物産 | 遊技機 |
| EP3483879A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Analysis/synthesis windowing function for modulated lapped transformation |
| EP3483878A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder supporting a set of different loss concealment tools |
| EP3483880A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Temporal noise shaping |
| EP3483883A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio coding and decoding with selective postfiltering |
| EP3483884A1 (en) * | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Signal filtering |
| WO2019091576A1 (en) | 2017-11-10 | 2019-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits |
| WO2019091573A1 (en) | 2017-11-10 | 2019-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding and decoding an audio signal using downsampling or interpolation of scale parameters |
| EP3483886A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Selecting pitch lag |
| EP3483882A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Controlling bandwidth in encoders and/or decoders |
| JP7224832B2 (ja) | 2018-10-01 | 2023-02-20 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| WO2020164753A1 (en) * | 2019-02-13 | 2020-08-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decoder and decoding method selecting an error concealment mode, and encoder and encoding method |
| WO2020253941A1 (en) * | 2019-06-17 | 2020-12-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder with a signal-dependent number and precision control, audio decoder, and related methods and computer programs |
| JP7228908B2 (ja) * | 2020-07-07 | 2023-02-27 | 株式会社三洋物産 | 遊技機 |
Family Cites Families (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5729556A (en) * | 1993-02-22 | 1998-03-17 | Texas Instruments | System decoder circuit with temporary bit storage and method of operation |
| US6351730B2 (en) | 1998-03-30 | 2002-02-26 | Lucent Technologies Inc. | Low-complexity, low-delay, scalable and embedded speech and audio coding with adaptive frame loss concealment |
| US7117156B1 (en) * | 1999-04-19 | 2006-10-03 | At&T Corp. | Method and apparatus for performing packet loss or frame erasure concealment |
| US6952668B1 (en) | 1999-04-19 | 2005-10-04 | At&T Corp. | Method and apparatus for performing packet loss or frame erasure concealment |
| JP2001228896A (ja) | 2000-02-14 | 2001-08-24 | Iwatsu Electric Co Ltd | 欠落音声パケットの代替置換方式 |
| US6968309B1 (en) * | 2000-10-31 | 2005-11-22 | Nokia Mobile Phones Ltd. | Method and system for speech frame error concealment in speech decoding |
| US7590525B2 (en) * | 2001-08-17 | 2009-09-15 | Broadcom Corporation | Frame erasure concealment for predictive speech coding based on extrapolation of speech waveform |
| KR20050076155A (ko) * | 2004-01-19 | 2005-07-26 | 삼성전자주식회사 | 영상 프레임의 에러 은닉 장치 및 방법 |
| SG124307A1 (en) * | 2005-01-20 | 2006-08-30 | St Microelectronics Asia | Method and system for lost packet concealment in high quality audio streaming applications |
| US8693540B2 (en) | 2005-03-10 | 2014-04-08 | Qualcomm Incorporated | Method and apparatus of temporal error concealment for P-frame |
| US7930176B2 (en) * | 2005-05-20 | 2011-04-19 | Broadcom Corporation | Packet loss concealment for block-independent speech codecs |
| KR100686174B1 (ko) * | 2005-05-31 | 2007-02-26 | 엘지전자 주식회사 | 오디오 에러 은닉 방법 |
| KR100723409B1 (ko) | 2005-07-27 | 2007-05-30 | 삼성전자주식회사 | 프레임 소거 은닉장치 및 방법, 및 이를 이용한 음성복호화 방법 및 장치 |
| US8620644B2 (en) | 2005-10-26 | 2013-12-31 | Qualcomm Incorporated | Encoder-assisted frame loss concealment techniques for audio coding |
| US7805297B2 (en) | 2005-11-23 | 2010-09-28 | Broadcom Corporation | Classification-based frame loss concealment for audio signals |
| US8798172B2 (en) | 2006-05-16 | 2014-08-05 | Samsung Electronics Co., Ltd. | Method and apparatus to conceal error in decoded audio signal |
| KR101261528B1 (ko) * | 2006-05-16 | 2013-05-07 | 삼성전자주식회사 | 복호화된 오디오 신호의 오류 은폐 방법 및 장치 |
| DE102006032545B3 (de) | 2006-07-13 | 2007-11-08 | Siemens Ag | Verfahren und Anordnungen zur Bestimmung des optischen Signal-Rausch-Verhältnisses für ein optisches Übertragungssystem |
| US8015000B2 (en) | 2006-08-03 | 2011-09-06 | Broadcom Corporation | Classification-based frame loss concealment for audio signals |
| CN101155140A (zh) | 2006-10-01 | 2008-04-02 | 华为技术有限公司 | 音频流错误隐藏的方法、装置和系统 |
| JP5123516B2 (ja) | 2006-10-30 | 2013-01-23 | 株式会社エヌ・ティ・ティ・ドコモ | 復号装置、符号化装置、復号方法及び符号化方法 |
| WO2008056775A1 (fr) | 2006-11-10 | 2008-05-15 | Panasonic Corporation | Dispositif de décodage de paramètre, dispositif de codage de paramètre et procédé de décodage de paramètre |
| KR101292771B1 (ko) * | 2006-11-24 | 2013-08-16 | 삼성전자주식회사 | 오디오 신호의 오류은폐방법 및 장치 |
| KR100862662B1 (ko) | 2006-11-28 | 2008-10-10 | 삼성전자주식회사 | 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치 |
| KR101291193B1 (ko) * | 2006-11-30 | 2013-07-31 | 삼성전자주식회사 | 프레임 오류은닉방법 |
| KR20080075050A (ko) * | 2007-02-10 | 2008-08-14 | 삼성전자주식회사 | 오류 프레임의 파라미터 갱신 방법 및 장치 |
| CN101046964B (zh) * | 2007-04-13 | 2011-09-14 | 清华大学 | 基于重叠变换压缩编码的错误隐藏帧重建方法 |
| US7869992B2 (en) | 2007-05-24 | 2011-01-11 | Audiocodes Ltd. | Method and apparatus for using a waveform segment in place of a missing portion of an audio waveform |
| CN101325631B (zh) * | 2007-06-14 | 2010-10-20 | 华为技术有限公司 | 一种估计基音周期的方法和装置 |
| CN101833954B (zh) * | 2007-06-14 | 2012-07-11 | 华为终端有限公司 | 一种实现丢包隐藏的方法和装置 |
| CN100524462C (zh) * | 2007-09-15 | 2009-08-05 | 华为技术有限公司 | 对高带信号进行帧错误隐藏的方法及装置 |
| KR101448630B1 (ko) * | 2008-01-16 | 2014-10-08 | 엘지전자 주식회사 | 보조의류처리장치 |
| CN101261833B (zh) | 2008-01-24 | 2011-04-27 | 清华大学 | 一种使用正弦模型进行音频错误隐藏处理的方法 |
| KR100931487B1 (ko) * | 2008-01-28 | 2009-12-11 | 한양대학교 산학협력단 | 노이지 음성 신호의 처리 장치 및 그 장치를 포함하는 음성기반 어플리케이션 장치 |
| WO2009097574A2 (en) | 2008-01-30 | 2009-08-06 | Process Manufacturing Corp. | Small footprint drilling rig |
| US9357233B2 (en) | 2008-02-26 | 2016-05-31 | Qualcomm Incorporated | Video decoder error handling |
| CN101588341B (zh) | 2008-05-22 | 2012-07-04 | 华为技术有限公司 | 一种丢帧隐藏的方法及装置 |
| US9076439B2 (en) * | 2009-10-23 | 2015-07-07 | Broadcom Corporation | Bit error management and mitigation for sub-band coding |
| TWI426785B (zh) | 2010-09-17 | 2014-02-11 | Univ Nat Cheng Kung | 於可調式影像解碼的全畫面錯誤掩蓋方法 |
-
2013
- 2013-06-10 EP EP13800914.7A patent/EP2874149B1/en active Active
- 2013-06-10 PL PL13800914.7T patent/PL2874149T3/pl unknown
- 2013-06-10 HU HUE13800914A patent/HUE063724T2/hu unknown
- 2013-06-10 CN CN201380042061.8A patent/CN104718571B/zh active Active
- 2013-06-10 JP JP2015515953A patent/JP6088644B2/ja active Active
- 2013-06-10 KR KR1020147034480A patent/KR102063902B1/ko active IP Right Grant
- 2013-06-10 CN CN201810926913.4A patent/CN108806703B/zh active Active
- 2013-06-10 US US14/406,374 patent/US9558750B2/en active Active
- 2013-06-10 TW TW102120847A patent/TWI585748B/zh active
- 2013-06-10 CN CN201810927002.3A patent/CN108711431B/zh active Active
- 2013-06-10 KR KR1020207000102A patent/KR102102450B1/ko active IP Right Grant
- 2013-06-10 TW TW106112335A patent/TWI626644B/zh active
- 2013-06-10 ES ES13800914T patent/ES2960089T3/es active Active
- 2013-06-10 WO PCT/KR2013/005095 patent/WO2013183977A1/ko active Application Filing
- 2013-06-10 EP EP23178921.5A patent/EP4235657A3/en active Pending
-
2017
- 2017-01-30 US US15/419,290 patent/US10096324B2/en active Active
- 2017-02-03 JP JP2017019012A patent/JP6346322B2/ja active Active
-
2018
- 2018-10-05 US US16/153,189 patent/US10714097B2/en active Active
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6346322B2 (ja) | フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置 | |
| KR102151749B1 (ko) | 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치 | |
| JP6259024B2 (ja) | フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160112 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160412 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160613 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160712 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170203 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6088644 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |