JP5222452B2 - 音響信号の符号化の知覚的改善 - Google Patents

音響信号の符号化の知覚的改善 Download PDF

Info

Publication number
JP5222452B2
JP5222452B2 JP2002536999A JP2002536999A JP5222452B2 JP 5222452 B2 JP5222452 B2 JP 5222452B2 JP 2002536999 A JP2002536999 A JP 2002536999A JP 2002536999 A JP2002536999 A JP 2002536999A JP 5222452 B2 JP5222452 B2 JP 5222452B2
Authority
JP
Japan
Prior art keywords
signal
hat
frequency
primary
iii
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002536999A
Other languages
English (en)
Other versions
JP2004515801A (ja
Inventor
ブルーン、ステファン
アンデルソン、スザンヌ
Original Assignee
テレフオンアクチーボラゲット エル エム エリクソン（パブル）
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エル エム エリクソン（パブル） filed Critical テレフオンアクチーボラゲット エル エム エリクソン（パブル）
Publication of JP2004515801A publication Critical patent/JP2004515801A/ja
Application granted granted Critical
Publication of JP5222452B2 publication Critical patent/JP5222452B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
    • H04B1/667—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission using a division in frequency subbands
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Description

（技術分野）
本発明は、一般に音響信号の符号化情報に基づいて再構成された信号が知覚できる音質を有する、すなわち、既知の符号化ソリューションよりも上質の音質を有するような、音響源信号の符号化に関するものである。本発明は、より詳しくは、請求項１及び３１のプリアンブルにそれぞれ従って送信媒体で送信用の符号化情報を発生するための音響信号を符号化することと、符号化の各々について、請求項１５及び３７のプリアンブルにそれぞれ従って送信媒体で送信済みの符号化情報を復号することに関するものである。また、本発明は、請求項４４による通信システム、請求項１３及び２９のそれぞれのコンピュータ・プログラム、請求項１３及び３０のそれぞれのコンピュータ読み出し可能媒体に関するものである。
（背景技術）
音声コーデック（ｃｏｄｅｃ＝ｃｏｄｅｒとｄｅｃｏｄｅｒ）については、各種の多様な用途がある。符号化及び復号化機構は、固定式及び移動式の通信システムとテレビ会議システムとでの音響信号のビットレート効率のよい送信に用いられる。また、安全なテレフォニと、音声記憶装置のために、音声コーデックを利用することができる。
固定式及び移動式テレフォニとテレビ会議とでは、再構成された音響信号の品質改善が指向されている。この傾向は、こうしたシステムに今日の固定式電話のネットワークと同等以上の音質を提供してほしいとする顧客の期待を反映している。この期待を満たす１つの方法は、音響信号の周波数帯域を拡大し、音源信号に含まれる情報をもっと受信器に伝えることである。実際のところ、音声信号のエネルギーの大半は、スペクトル的に０ ｋＨｚ〜４ ｋＨｚ（すなわち、最先端コーデックの代表的帯域幅）にある。しかしながら、周波数帯域４ ｋＨｚ〜８ ｋＨｚにも相当量のエネルギーが分布している。この帯域の周波数成分は、人間の耳で「明瞭」と知覚される情報と、話者と聞き手の「距離の近さ」を表現する。
人間の聴覚の周波数分解能は、周波数の増加にともなって減少する。したがって、４ ｋＨｚ〜８ ｋＨｚの周波数成分では、比較的少ないビット数で十分な精度のモデリングを行うことができる。とは言え、今日、満足すべき知覚品質の音響信号を再構成して提供するような、ビットレート効率のよいブロードバンド・コーデックは既知のものでは存在しない。既存のＩＴＵ−Ｔ Ｇ．７２２広帯域符号化規格では、動作速度がビットレート４８、５６、６４ ｋｂｐｓとなっており、その利用されるビットレートと比較して満足すべき品質になっていない（ＩＴＵ−Ｔ＝Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ、ｓｔａｎｄａｒｄｉｓａｔｉｏｎ ｓｅｃｔｏｒ：国際電気通信連合・電気通信標準化部門）。
米国特許第５，９５６，６８６号は、エンベロープのスペクトルが複数の周波数帯域に分割されているせいで個別の帯域のエンベロープに異なる符号化方法を適用できる、適応性変換器符号化／復号化装置を開示している。これは、スペクトル・エンベロープの帯域間で異なる冗長性を利用可能にする。また、このスペクトル・エンベロープは、各周波数帯域での時間のバラツキを補正するために、符号化方法及び／又は送信方法に合わせて調整される。
米国特許第５，５２６，４６４号は、残差信号が各周波数帯域に分割される符号励起線形予測符号化法を開示している。各帯域に特定のコードブックが用意され、コードブックのサイズは周波数帯域の拡大にともなって小さくなる。サンプリングレートは、コードブック検索を簡略にするために、周波数の減少にともなって縮小される。
したがって、当該技術には、適用された符号化機構で異なる周波数帯域の変動特性が考慮される例が存在する。しかしながら、各種の特性は、音源信号をビット効率よく符号化するために利用されてきたにすぎない。すなわち、最初の周波数帯域に最適化された符号化機構を用いて２番目の周波数帯域の信号を符号化するときに、適用された符号化に本来的な欠点を補正するために、特別な措置をとるように教示されているわけではない。
今日、ほとんどの音声符号化モデルは、ナローバンド信号（一般的に０〜４ｋＨｚ）用に設計されている。こうした音声符号化モデルを、例えば０〜８ ｋＨｚといった広い帯域幅を有する音響信号の符号化に適用すると、関連する周波数帯域の一部分、すなわち低い部分のみが最適化される。
この理由の１つは、符号化パラメータの量子化には一般的にターゲット信号と再生信号との間の時間領域での相関が伴うからである。音声信号の高周波数成分が低周波数成分に比較して低い発生密度しかないために、こうした相関は主に低周波領域の信号整合に基づく。この結果として、高周波数成分は受信器側で劣化して再生されてしまう。
残念ながら、この再生劣化は、人間の聴覚の欠陥や音声信号の特性のどちらか一方を理由にはできない。声のサウンドが生成されると、声道がフィルタとして肺から発する空気振動に作用する。所謂フォルマントは、このフィルタの共振周波数に一致する。音声の低周波数帯域では、ターゲット信号は異なるフォルマントを有する。しかしながら、高周波数帯域では、フォルマントはより拡散している。使用されている音声モデルの制限のために、従来型のナローバンド符号器により符号化される比較的広い帯域幅を有する音響信号は、それより高い周波数帯域でも異なるスペクトル構造（すなわち、山と谷）を有する信号として再生される。一般的に、人間の聴覚では、音響信号が、不自然で金属音的サウンドの特性を有するものとして知覚される。
場合によっては、再構成信号の品質をいっそう上げるために、第１の符号器の出力信号に第２の符号器を適用したり、第１符号器と並列的に第２符号器を用いたりする。従来型ナローバンド符号器をブロードバンド音源信号の符号化に用いる際に、この措置を適用すると、周波数帯域上端のスペクトル構造が場合によってより以上に発せられる。これは、音質改善に関して、ナローバンド音響信号にとって望ましいことだが、ブロードバンド音響信号にとっては、逆効果になる危険がある。
（発明の開示）
このため、本発明の目的は、上記の問題を軽減するような、音響信号の拡張版符号化機構を提供することである。
本発明の１つの態様によれば、最初の説明のように、音響源信号を符号化して送信媒体上で送信するための符号化情報を生成する方法により、この目的は達成される。そうした符号化情報は、周波数成分を表す各係数をそれぞれが有する一次符号信号とターゲット信号によって特徴付けられる。一次符号信号のそれぞれのターゲット信号に対応する少なくとも１つの平滑化信号が生成され、それは選択的に修正されたバージョンの一次符号信号のそれぞれのターゲット信号であるが、そこにおいて、閾値を上回る周波数情報を表す係数値のバラツキが縮小される。
本発明のさらなる態様によれば、本発明の目的は、コンピュータの内部記憶装置に直接ロード可能なコンピュータ・プログラムにより達成される。なお、このプログラムには、コンピュータで稼動中に前段落で説明した方法を制御するソフトウェアを有する。
本発明の別の態様によれば、本発明の目的は、二段落前に説明した方法をコンピュータに制御させるプログラムが記録されている、コンピュータ読み取り可能媒体により達成される。
本発明のさらに別の態様によれば、本発明の目的は、音響源信号の推定値を最初の説明のように復号する方法により達成される。この方法は、それぞれが周波数成分を表す係数を有する平滑化一次復号スペクトルにより特徴付けられる。平滑化一次復号スペクトルは、選択的に修正されたバージョンの、少なくとも１つの一次復号スペクトルの１つとなっている。そこでは、閾値を上回る周波数を表す係数値でバラツキが縮小される。
本発明のさらなる態様によれば、本発明の目的は、コンピュータの内部記憶装置に直接ロード可能なコンピュータ・プログラムにより達成される。なお、このプログラムには、コンピュータで稼動中に前段落で説明した方法を制御するソフトウェアを有する。
本発明の別の態様によれば、本発明の目的は、二段落前に説明した方法をコンピュータに制御させるプログラムが記録されている、コンピュータ読み取り可能媒体により達成される。
本発明のまた別の態様によれば、本発明の目的は、最初に説明したような送信器により達成される。この送信器は、少なくとも１つのスペクトル平滑化装置が、閾値を上回る周波数情報を表す係数値のバラツキを縮小するように一次符号信号を選択的に修正することで、一次符号信号から平滑化出力信号を生成するように工夫されていることを特徴とする。
本発明の追加的な態様によれば、本発明の目的は、最初に説明したような受信器により達成される。この受信器は、平滑化一次復号スペクトルが周波数成分を表す各係数を有することを特徴とする。受信器中のスペクトル平滑化装置は、閾値を上回る周波数情報を表す係数値のバラツキを縮小するように、少なくとも１つの一次復号スペクトルを選択的に修正することで、平滑化一次復号スペクトルを生成するように工夫されている。
本発明のさらに追加的な態様によれば、本発明の目的は、第１のノードから第２のノードに音響源信号を送信するための通信システムにより達成される。この通信システムには、第１のノードに、音響源信号を符号化して符号化情報を生成するために提案の送信器が備えられる。第２のノードには、送信器により生成された符号化情報を受信し、符号化情報の推定値を音響源信号の推定値に復号するための、提案の受信器が備えられる。送信媒体は、少なくとも１つの拡張符号信号を送信器から受信器に送信するために用いられる。
受信器により再構成される音響信号の音源になる１つ以上の信号において、閾値を上回る周波数情報を表す係数値のバラツキを提案のように縮小させると、音声や音楽などの代表的な音響信号をより自然に知覚することができる。特に、先行技術の符号化技法により発生する金属音は、相当程度まで緩和される。今後のワイドバンドの応用分野では、知覚されるサウンドの品質が成功の鍵を握っているので、これは特に望ましい効果である。
（発明を実施するための最良の形態）
図１Ａは、周波数図表で、一次復号スペクトルＹ（ハット）の係数ＫYをｘ軸に沿って示している。各係数ＫYは、任意の符号化機構により符号化され、送信媒体で送信され、適正な復号化機構により復号された音響源信号の周波数成分の大きさを表している。したがって、一次復号スペクトルＹ（ハット）は、音響信号ｘの重要な特性を知覚的に表す。
図１Ｂは、係数ＫYで表される一次復号スペクトルＹ（ハット）を閾値の周波数ｆTを上回る周波数帯域ｉ、ｉｉ、ｉｉｉに分割する方法を説明している。第１の周波数帯域ｉは、閾値の周波数ｆTと第１のエッジ周波数ｆiとの間の周波数成分を含む。第２の周波数帯域ｉｉは、第１のエッジ周波数ｆiと第２のエッジ周波数ｆiiとの間の周波数成分を含む。第３の周波数帯域ｉｉｉは、第２のエッジ周波数ｆiiと第３のエッジ周波数ｆiiiとの間の周波数成分を含む。周波数帯域ｉ、ｉｉ、ｉｉｉのそれぞれの各点線は、当該周波数帯域の算術平均係数値を示している。本発明の代替の実施形態においては、算術平均値ではなく、係数の中央値が決定される。
平滑化一次復号スペクトルＹ（ハット）Eは、選択的に修正されたバージョンの一次復号スペクトルＹ（ハット）として生成され、そこでは、閾値ｆTを上回る周波数情報を表す閾値ＫYEのバラツキが縮小される。図１Ｃは、図１Ｂの平均係数値Ｋi、Ｋii、Ｋiiiのそれぞれが、閾値の周波数ｆTを上回る周波数帯域ｉ、ｉｉ、ｉｉｉの周波数成分の元の係数値を置き換え、それによって、係数値ＫYEのバラツキの上記縮小が達成される１つの例を示している。
図１Ｂと１Ｃは、周波数帯域ｉ、ｉｉ、ｉｉｉが重なり合うことがなく、帯域幅が異なる、本発明の１つの実施形態を示している。人間の聴覚の分解能は周波数の増加にともなってほぼ対数スケールで減少するので、知覚的な観点からは、周波数帯域ｉ、ｉｉ、ｉｉｉを対数スケールの周波数に基づいて分割するのが妥当である。例えばバーク・スケールでは、０ ｋＨｚ、０．１ ｋＨｚ、０．２ ｋＨｚ、０．３ ｋＨｚ、０．４ ｋＨｚ、０．５１ ｋＨｚ、０．６３ ｋＨｚ、０．７７ ｋＨｚ、０．９２ ｋＨｚ、１．０８ ｋＨｚ、１．２７ ｋＨｚ、１．４８ ｋＨｚ、１．７２ ｋＨｚ、２ ｋＨｚ、２．３２ ｋＨｚ、２．７ ｋＨｚ、３．１５ ｋＨｚ、３．７ ｋＨｚ、４．４ ｋＨｚ、５．３ ｋＨｚ、６．４ ｋＨｚ、７．７ ｋＨｚ、９．５ ｋＨｚ、１２ ｋＨｚ、１５．５ ｋＨｚというエッジ周波数を用いて周波数を分割する。メル・ケプストラム・スケールは、人間の聴覚の臨界帯域に似せることを目的とした代替セットの周波数帯域を定義している。知覚線形予測法（Ｐｅｒｃｅｐｔｕａｌ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ−ｍｅｔｈｏｄ；ＰＬＰ）はさらに、スペクトルの知覚起因性のスケーリング及び圧縮を表す一連の周波数帯域を取得するために、別の手段を提供する。
もちろん、周波数帯域はそれぞれ等距離でもよいし、閾値の周波数ｆTを上回るスペクトル全体を含む１つの周波数帯域でもよい。
さらに、周波数帯域の相対的な帯域幅とは無関係に、隣り合う周波数帯域は少なくとも部分的にお互いに重なり合ってもよい。重なり合う場合、各周波数帯域内の係数をウィンドウ関数で乗算してから、関連係数値を一緒に加算することで周波数帯域の重なり部分の結果的な係数値を得ることができる。
図２Ａは、台形の形状を有し、下限のエッジ周波数ｆlと上限のエッジ周波数ｆuとの間で定義されている、そうしたウィンドウ関数Ｗlの第１の例を示している。ウィンドウ関数Ｗlは、重複部分のない周波数領域では例えば１といった一定の大きさであり、隣り合う周波数帯域が重なり合う下位遷移域と上位遷移域とでは次第に減少する。ウィンドウ関数Ｗlの大きさは、各遷移域の中間点では一定の大きさの半分（例えば０．５）に等しいことが望ましい。中間点は、もちろん、利用する非線形周波数スケールに沿って定義されなければならない。
図２Ｂは、重なり合う周波数帯域で係数値を加算するために用いるべきウィンドウ関数Ｗ2の別の例を示している。これは台形の形状ではないが、それ以外については、上記の図２Ａを参照して説明されたウインドウ関数Ｗlと同じ特性を有している。遷移域で非線形の形状（例えば、正弦波や余弦波の最初の４分の１）を有しているウィンドウ関数は、特定の応用分野にとって有利な周波数特性を有している。
図３は、本発明による送信器／受信器ペアに関する一般的なブロック図を示している。送信器３００は、音響源信号ｘを符号化表現Ｐ(E)に符号化する。これは、送信媒体３０６で受信器３１０に送信される。
送信器３００は、音響信号ｘの重要な特性を知覚的に表す少なくとも１つの基本符号信号Ｐを生成するための符号化装置を含んでいる。受信器３１０は、基本符号信号Ｐの推定値から音響源信号ｘの推定値Ｚ（ハット）を直接再構成できる。しかしながら、本発明の望ましい実施形態によれば、送信器３００は、第１のスペクトル平滑化装置３０５ａも有している。この装置３０５ａは、基本符号信号Ｐが基づいている少なくとも１つの信号成分を受信し、それに応答して対応する平滑化信号成分を生成する。拡張符号信号Ｐ(E)は、欠けている対応する平滑化信号成分から生成される。拡張符号信号Ｐ(E)は、音響源信号ｘの改善表現を構成し、そこから、受信器３１０によって音響源信号ｘの知覚的に改善された推定値Ｚ（ハット）を再構成できる。第１のスペクトル平滑化装置３０５ａは、閾値を上回る周波数情報を表すスペクトルの係数値のバラツキを縮小するように、信号成分のスペクトルを選択的に修正することで、基本符号信号Ｐの少なくとも１つの信号成分から対応する平滑化信号を生成する。したがって、第１のスペクトル平滑化装置３０５ａは、上記の図１Ａ〜１Ｃを参照して説明した一次復号スペクトルＹ（ハット）の修正に対応するような方式で、信号成分のスペクトルを修正する。
拡張符号信号Ｐ(E)は、送信媒体３０６を介して送信され、送信された拡張符号信号Ｐ（ハット）(E)という形式をとった拡張符号信号Ｐ(E)の推定値として受信器３１０により受信される。送信された拡張符号信号Ｐ（ハット）(E)は、第２のスペクトル平滑化装置３０５ｂにより音響源信号ｘの知覚的に改善された推定値Ｚ（ハット）を再構成するために、受信器３１０によって利用される。第２のスペクトル平滑化装置３０５ｂは、閾値を上回る周波数情報を表す平滑化一次復号スペクトルＹ（ハット）Eの係数値のバラツキを縮小するように、送信された拡張符号信号Ｐ（ハット）(E)から復号された一次スペクトルＹ（ハット）を選択的に修正することによって、音響源信号ｘの知覚的に改善された推定値Ｚ（ハット）を生成する。
図４は、本発明の第１の実施形態に従って設計された図３中のスペクトル平滑化装置３０５ａの各３０５ｂに関するブロック図を示している。しかしながら、簡略にするために、第２のスペクトル平滑化装置３０５ｂの変数にのみ言及する。スペクトル平滑化装置３０５ｂは、第１のバッファ記憶装置４０１を備え、そこには、一次復号スペクトルＹ（ハット）の各係数ＫYが記憶される。ただし、各ＫYはそれぞれ周波数成分を表す。処理装置４０２は、閾値ｆTを上回る周波数成分に対応する係数ｋY n+l〜ｋY mを第１バッファ記憶装置４０１から受信し、少なくとも１つの周波数帯域ｉ、ｉｉ、ｉｉｉの各々のために、そうした係数ｋY n+l〜ｋY mの平均係数値Ｋi、Ｋii、Ｋiiiを計算する。計算された平均係数値Ｋi、Ｋii、Ｋiiiは、それぞれ、特定の周波数帯域ｉ、ｉｉ、ｉｉｉの一次復号スペクトルＹ（ハット）の係数ＫYの個数に等しい分だけ、第２のバッファ記憶装置４０３ａに反復して記憶される。この記憶装置の目的は、一次復号スペクトルＹ（ハット）の係数ＫYを、関連する平均係数値Ｋi、Ｋii、Ｋiiiと速やかに置き換えることである。係数の置き換えは、第１のバッファ記憶装置４０１から閾値ｆTまでの係数ｋY l〜ｋY nを読み出し、第２のバッファ記憶装置４０３から閾値ｆTを上回る平滑化係数ｋY n+l〜ｋY mを読み出す読み出し装置４０４によって達成される。これらの係数ｋY l〜ｋY n、Ｋi、Ｋii、Ｋiiiは一緒に、読み出し装置４０４からの出力で提供される平滑化一次復号スペクトルＹ（ハット）Eの係数ＫYEを形成する。
図５は、本発明の第２の実施形態に従って設計された図３中のスペクトル平滑化装置３０５ａの各３０５ｂに関するブロック図を示している。ここでも、簡略にするために、第２のスペクトル平滑化装置３０５ｂの変数にのみ言及する。
スペクトル平滑化装置３０５ｂは、一次スペクトルＹ（ハット）を入力から受信するための第１の変換器５０１を備える。第１の変換器５０１は、対応する角スペクトルＹs argを第１出力で、対応するスペクトル・マグニチュード｜Ｙs｜を第２出力で発生する。スペクトル・マグニチュード｜Ｙs｜は、係数値ｋY l、…、ｋY mにより表される。オプションでは、スペクトル平滑化装置３０５ｂは、閾値の周波数ｆTを上回る周波数成分を表すスペクトル・マグニチュード｜Ｙs｜の係数ｋY n+l、…、ｋY mを受信する対数変換器５０２を備えるいっぽうで、低い周波数成分を表しているスペクトル・マグニチュード｜Ｙs｜の係数ｋY l、…、ｋY nは、コンバイナ５０７に転送される。対数変換器５０２は、閾値の周波数ｆＴを上回る周波数成分を表しているスペクトル・マグニチュード｜Ｙs｜の係数ｋY n+l、…、ｋY mを入力で受信し、それに応答して出力で対数変換器を提供する。第１の逆変換器５０３は、スペクトル・マグニチュードのこの変換部分を入力で受信し、出力でそれに応答して、ケプストラム領域の成分を各々が表している一連のケプストラム係数を有するケプストラム符号信号を提供する。対数変換器５０２が含まれない場合には、スペクトル・マグニチュード｜Ｙs｜の係数ｋY n+l、…、ｋY mは、第１の変換器５０１から第１の逆変換器５０３に直接供給される。次の破棄装置５０４は、ケプストラム符号信号でｎ次およびそれ以上のケプストラム係数を破棄し、破棄済み係数を０値の係数で置き換え、その信号をさらに第２の変換器５０５に送るが、第２の変換器５０５は対応するスペクトル信号を生成する。
このスペクトル信号は、対数変換器５０２により対応する対数変換が早期に実行された場合には、それに続く逆対数変換器５０６で対数的に逆変換される。逆対数変換器５０６は、対数的に平滑化された係数ｋY n+l〜ｋY mを生成する。したがって、第２の変換器５０５からの平滑化係数ｋY n+l〜ｋY m又は、逆対数変換器５０６からの逆対数平滑化係数ｋY n+l〜ｋY mのどちらかが、閾値の周波数ｆTを下回る周波数成分を表しているスペクトル・マグニチュード｜Ｙs｜の係数ｋY l、…、ｋY nと一緒に、コンバイナ５０７に転送される。このコンバイナは、係数ｋY 1、…、ｋY nと平滑化係数ｋY n+1〜ｋY mとに応答して、平滑化スペクトル・マグニチュード｜ＹＳＥ｜を提供する。第２の逆変換器５０８は、最初の入力で角スペクトルＹS argを、２番目の入力で平滑化スペクトル・マグニチュード｜ＹSE｜を受信し、それに応答して出力で拡張符号信号Ｙ（ハット）Eを発生する。
図６Ａは、（対数）スペクトル・マグニチュード図で、一次復号スペクトルＹ（ハット）のスペクトル係数ＫSの一例を示している。図から明らかなように、一次復号スペクトルＹ（ハット）は、隣り合う係数ＫS間のバラツキが大きい。こうしたバラツキは、音響情報の表現にとって周波数帯域の上端のほうで望ましくないので、上記の図５による説明のように、スペクトル平滑化装置３０５ｂで縮小される。スペクトル平滑化装置３０５ｂは、一次復号スペクトルＹ（ハット）を受信し、平滑化された一次復号スペクトルＹ（ハット）Ｅを提供し、そこでは、閾値ｆTを上回る周波数情報を表す係数値ＫYEのバラツキが縮小される。すなわち、破棄装置５０４の変数ｎは、平滑化一次復号スペクトルＹ（ハット）Eで閾値ｆTを上回る周波数情報（スペクトル指数ＫY nに一致する）を表す係数値ＫYEのバラツキを縮小するような値が選ばれる。
図６Ｂは、周波数図表で、図６Ａの一次復号スペクトルＹ（ハット）のスペクトル・マグニチュード係数ＫSを、対応する平滑化一次復号スペクトルＹ（ハット）Eの係数値ＫYEを表すようにスペクトル平滑化装置３０５Ｂで修正したものを示している。
ケプストラム符号信号でのケプストラム変換とそれに続く上位の係数の破棄に対する代替策として、一次スペクトルＹ（ハット）を表すスペクトル係数を線形低域フィルタリングするか、閾値ｆTを上回る周波数成分を表す一次スペクトルＹ（ハット）のスペクトル係数を中央値フィルタリングすることによって、スペクトル平滑化を遂行してよい。
図７は、本発明の実施形態による通信システムに関するブロック図を示している。この実施形態によって、音響源信号ｘを第１のノードから第２のノードへ、低ビットレートの符号化信号として送信できる。ただし、この符号化信号は、第２ノードで、音響源信号ｘの推定値Ｚ（ハット）に再構成される。このシステムは、送信器３００と、送信媒体３０６と、受信器３１０と、を備える。
送信器３００は、それ自体で、音響源信号ｘを受信する入力と、音響信号ｘの重要な特性を知覚的に表す基本符号信号Ｐlを提供する出力と、を有する信号符号器７０２を備える。信号符号器７０２は、フィルタリング（一般的な意味で）されたバージョンの音響源信号ｘを表すターゲット信号ｒと、基本符号信号Ｐlに基づく再構成された信号を表す一次符号信号ｙと、を提供する。ターゲット信号ｒと一次符号信号ｙとは、上記に説明した方法により、スペクトル平滑化装置３０５ａの各々の３０５ｃにおいてスペクトル平滑化されるが、一方又は両方が平滑化される場合と、両方とも平滑化されない場合がある。
本発明の望ましい実施形態によれば、第１のスペクトル平滑化装置３０５ａは、一次符号信号ｙを受信し、それに応答して平滑化一次符号信号ｙEを生成する。とは言え、ターゲット信号ｒを受信し、それに応じて平滑化ターゲット信号ｒEを生成するために、追加のスペクトル平滑化装置３０５ｃを送信器に含めてもよい。本発明の別の好ましい実施形態によれば、（一次符号信号ｙを改善するスペクトル平滑化装置３０５ａではなく、）ターゲット信号ｒを改善するスペクトル平滑化装置３０５ｃのみが含められる。本発明のこうした様々な実施形態は、図７において破線と破線四角形で示されている。
スペクトル平滑化装置３０５ａと３０５ｃとは両方とも、閾値ｆTを上回る周波数情報を表す（複数の）信号のスペクトル係数値のバラツキを縮小することで、平滑化一次符号信号ｙE（と、場合によっては平滑化ターゲット信号ｒEと）を生成するように、本発明の上記の説明による方法に従って動作する。
送信器３００中の等化符号器７０３は、平滑化一次符号信号ｙEと（おそらく平滑化された）ターゲット信号ｒ(E)とを受信する。等化符号器７０３は、（おそらく平滑化された）ターゲット信号ｒ(E)のそれぞれの平滑化一次符号信号ｙEを周波数領域に変換し、変換された信号のスペクトル間のスペクトル比Ｃを計算して、（おそらく平滑化された）ターゲット信号ｒ(E)と平滑化一次符号信号ｙEとの間の対数スケールのスペクトル差を表す。したがって、スペクトル比Ｃの大きさは、第１の符号信号Ｐlで音響信号ｘがいかに適正に記述されているかを示している。
スペクトル比Ｃは、等化符号器７０３からの出力で供給され、量子化器７０４に転送される。量子化器７０４は、その出力で比信号Ｃに応答して第２の符号信号ＰＣを提供する。第２の符号信号ＰCは、一連の係数を含む離散／量子化信号を表している。
最後に、送信器３００は、第１の符号信号Ｐlの各々の第２の符号信号ＰＣを送信媒体３０６に送るように工夫された出力装置（図示せず）を備える。送信器３００と受信器３１０との少なくとも１つが移動式の場合には、送信媒体３０６は、通常は少なくとも部分的に、１つ以上の無線資源により構成される。当然ながら、固定式又は移動式通信に適応した送信媒体なら、他の種類でも、本発明に従って同じように適正に適用可能である。
そして、受信器３１０は、信号Ｐl、ＰCの推定値を、送信された第１の信号Ｐ（ハット）lとして受信する。第１の送信信号Ｐ（ハット）lは、第１の符号信号Ｐlを表し、それに対して第２の送信信号Ｐ（ハット）Cは二次符号信号Ｐ（ハット）Cを表す。送信された第１の信号Ｐ（ハット）lと第２の信号Ｐ（ハット）Cとは、音響源信号ｘの知覚的に改善された推定値Ｚ（ハット）を再構成するために、受信器３１０により利用される。これを実行するために、受信器３１０は、等化復号器７０７と、再構成装置７０８と、スペクトル平滑化装置３０５ｂと、イコライザ７０９と、を備える。
再構成装置７０８は、第１の送信された信号Ｐ（ハット）lを入力経由で受信し、それに応答して、その出力で音響源信号ｘのスペクトルの推定値を表す一次復号スペクトルＹ（ハット）を生成する。一次復号スペクトルＹ（ハット）は、スペクトル平滑化装置３０５ｂに転送される。この装置３０５ｂは、提案した方法に従って、平滑化一次復号スペクトルＹ（ハット）Eを生成する。
等化符号器７０７は、第２の送信された信号Ｐ（ハット）Cを受信し、それに応答してその出力で推定の等化スペクトルＣ（ハット）を提供する。推定の等化スペクトルＣ（ハット）は、平滑化一次復号スペクトルＹ（ハット）Eと一緒にイコライザ７０９に転送される。イコライザ７０９は、推定の等化スペクトルＣ（ハット）と平滑化一次復号スペクトルＹ（ハット）Eとの乗算を実行する。それから、乗算の結果を逆変換して、時間領域の信号を形成する。この信号は、音源信号ｘの改善推定値Ｚ（ハット）を構成し、イコライザ７０９の出力に送られる。
改善推定値Ｚ（ハット）は、音源信号ｘの間接的表現を構成してもよい。例えば線形予測符号器の場合には、改善推定値Ｚ（ハット）はその代わりに励起信号となり、その励起信号から、音源信号ｘの推定値が合成フィルタ経由で生成される。
多くの符号化方式のコーデック（例えば、ＧＳＭ ＥＦＲコーダやＡＭＲコーダ）は、フレーム又はサブフレーム内にセグメント化される音声信号にブロック単位で作用するので、音声信号のセグメント化に対応するブロック単位方式で等化演算子Ｃ（演算子Ｃは、推定の等化スペクトルＣ（ハット）により近似がとられる）を適用することが望ましい（ＧＳＭ＝Ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｏｎ；ＡＭＲ＝Ａｄａｐｔｉｖｅ Ｍｕｌｔｉ−Ｒａｔｅ）。もちろん、音源信号ｘの推定の平滑化スペクトルを表している周波数変換ＹEについても同じことが言える。
図８は、流れ図を用いて、本発明により音響信号を符号化する一般的な方法を説明している。第１ステップ８０１では、音響信号ｘを受信する。音響信号ｘの重要な特性を知覚的に表す基本符号信号Ｐは、次のステップ８０２で生成される。その後のステップ８０３では、基本符号信号Ｐが基づく少なくとも１つの信号成分の係数値のバラツキを縮小し、それに応答して対応する平滑化信号成分を生成する。拡張基本符号信号Ｐ(E)は、対応するところが欠けている平滑化信号成分から生成される。最後に、ステップ８０４では、拡張符号信号Ｐが、受信器への送信のために送信媒体に送られる。
図９は、流れ図を用いて、本発明に従って符号化情報を音響信号の推定値に復号する一般的な方法を説明している。第１ステップ９０１では、送信された少なくとも１つの（おそらく拡張された）符号信号Ｐ（ハット）(E)を送信媒体から受信する。一次復号スペクトルＹ（ハット）は、次のステップ９０２で、送信された少なくとも１つの（おそらく拡張された）符号信号Ｐ（ハット）(E)から生成される。その後、ステップ９０３で、平滑化一次復号スペクトルＹ（ハット）(E)が、一次復号スペクトルＹ（ハット）から形成される。最後に、ステップ９０４で、少なくとも１つの平滑化一次復号スペクトルＹ（ハット）Eに基づいて、音源信号の推定値Ｚ（ハット）が生成される。推定値Ｚ（ハット）は、人間の聴覚に対して高い知覚音質を有している。
以上に提案した本発明の実施形態はすべて、周波数領域での操作も含まれる。しかしながら、本発明の望ましい実施形態によれば、特にサブ帯域フィルタを用いて音響源信号を表す信号を少なくとも２つの異なる信号成分に分割することで、対応する措置が時間領域で遂行される。次に、信号成分は、所望の平滑化を得るために個別にパワー調整される。それから、パワー調整された信号成分は、閾値の周波数を上回る信号成分の周波数のバラツキが縮小される音響源信号の表現を構成する１つの平滑化基本符号信号に結合される。
本明細書で用いられる「ｃｏｍｐｒｉｓｅｓ／ｃｏｍｐｒｉｓｉｎｇ」という用語は、記述された特徴、整数、ステップ又は成分の存在を示す。しかしながら、こうした用語は、１つ以上の特徴、整数、ステップ、成分又はそれらのグループの存在又は追加を除外するものではない。
本発明は、各図において説明した実施形態に限定されるものではなく、請求の範囲内で自由に変更してよい。
本発明は、望ましい実施形態を用いてより詳しく説明される。望ましい実施形態は、いくつかの例で開示し、添付の図面を参照しながら説明する。 一次復号スペクトルの各係数による周波数図表である。ただし、各係数は、音響源信号の１つの周波数成分を表す。 図１Ａで閾値の周波数を上回る周波数帯域の周波数成分を表している各係数について、平均係数値を計算する方法を説明する図である。 閾値の周波数を上回る周波数帯域の周波数成分の元の係数値を、図１Ｂの平均係数値で、どのように置き換えるかを説明する図である。 重なり合う周波数帯域で係数値を加算するのに用いるウィンドウ関数の第１の例を示す図である。 重なり合う周波数帯域で係数値を加算するのに用いるウィンドウ関数の第２の例を示す図である。 本発明による送信器／受信器ペアに関するブロック図である。 本発明の第１の実施形態によるスペクトル平滑化装置に関するブロック図である。 本発明の第２の実施形態によるスペクトル平滑化装置に関するブロック図である。 本発明の第２の実施形態によるスペクトル平滑化装置でさらに符号化すべき一次復号スペクトルの中間係数に関する周波数図表である。 周波数図表において、本発明の第２の実施形態により派生する平滑化復号スペクトルの係数を示す図である。 本発明の実施形態による通信システムに関するブロック図である。 流れ図を用いて、本発明による音響信号を符号化する一般的な方法を説明する図である。 流れ図を用いて、本発明による符号化情報を音響信号の推定値に復号する一般的な方法を説明する図である。

Claims (44)

  1. 音響源信号（ｘ）を符号化して、送信媒体（３０６）を介して送信用の符号化情報（Ｐ1、ＰC）を生成する方法において、該方法が、
    音響源信号（ｘ）に応答して、当該音響源信号（ｘ）の知覚的に重要な特性を表す基本符号信号（Ｐ1）と、フィルタリング処理された前記音響源信号（ｘ）を表すターゲット信号（ｒ）と、前記基本符号信号（Ｐ1）に基づいて再構成された信号を表す一次符号信号（ｙ）を生成するステップと、
    一次符号信号（ｙ）とターゲット信号（ｒ）との少なくとも１つに応答して、一次符号信号（ｙ）の各々のターゲット信号（ｒ）の知覚的に改善された表現を構成する対応の平滑化信号（ｙE；ｒE）を生成するステップと、
    前記平滑化一次符号信号（ｙE）及び前記ターゲット信号（ｒ）と、前記一次符号信号（ｙ）及び前記平滑化ターゲット信号（ｒE）と、前記平滑化一次符号信号（ｙE）及び前記平滑化ターゲット信号（ｒE）と、のいずれかの組み合わせに基づいて、二次符号信号（ＰC）を生成するステップと、
    を含み、
    更に、周波数成分を表す各係数（ＫY）を含む前記一次符号信号（ｙ）と、
    周波数成分を表す各係数を含む前記ターゲット信号（ｒ）と、
    前記一次符号信号（ｙ）の各々の前記ターゲット信号（ｒ）の選択的に修正されたバージョンであり、閾値（ｆT）を上回る周波数情報を表す係数値（ＫYE）のバラツキが縮小される、前記対応する平滑化信号（ｙE；ｒE）と、
    を含むことを特徴とする方法。
  2. 閾値（ｆT）を上回る周波数成分を表す前記一次符号信号（ｙ）の前記係数（ＫY）を１つ以上の周波数帯域（ｉ、ｉｉ、ｉｉｉ）に分割するステップと、
    前記各々の周波数帯域（ｉ、ｉｉ、ｉｉｉ）内の前記係数（ＫY）の平均係数値（Ｋi、Ｋii、Ｋiii）を計算するステップと、
    各周波数帯域（ｉ、ｉｉ、ｉｉｉ）内の前記係数（ＫY）を前記各々の平均係数値（Ｋi、Ｋii、Ｋiii）で置き換えるステップと、
    により、一次符号信号（ｙ）から得られる平滑化一次符号信号（ｙE）によって特徴付けられる請求項１に記載の方法。
  3. 周波数帯域（ｉ、ｉｉ、ｉｉｉ）のそれぞれの帯域幅が等しいことを特徴とする請求項２に記載の方法。
  4. 周波数帯域（ｉ、ｉｉ、ｉｉｉ）のそれぞれの領域が部分的に重複していることを特徴とする請求項２又は３に記載の方法。
  5. 各周波数帯域（ｉ、ｉｉ、ｉｉｉ）とウィンドウ関数（Ｗ1；Ｗ2）とを乗算し、対応のウィンドウをかけた周波数帯域を取得するステップと、
    重複する各領域で隣り合う前記ウィンドウをかけた周波数帯域の係数値を加算するステップと、
    によって得られる前記周波数帯域（ｉ、ｉｉ、ｉｉｉ）の重複領域の結果の係数値により特徴付けられる請求項４に記載の方法。
  6. 重複しない周波数領域では一定の大きさで、隣り合う周波数帯域が重なり合う高周波側遷移領域と低周波側遷移領域とでは大きさが次第に減少する前記ウィンドウ関数（Ｗ1；Ｗ2）を特徴とする請求項５に記載の方法。
  7. ケプストラム領域の成分を各々が表す一連のケプストラム係数を有するケプストラム符号信号を生成するステップと、
    前記ケプストラム符号信号中の特定の次数（ｎ次、ｎは２以上の任意の整数）以上のケプストラム係数を破棄するステップと、
    を伴う前記一次符号信号（ｙ）の選択的な修正を特徴とする、請求項１に記載の方法。
  8. 前記閾値（ｆT）を上回る周波数情報を表す前記平滑化一次符号信号（ｙE）の係数値（ＫYE）のバラツキが縮小するような前記特定の次数（ｎ次）を選ぶことを特徴とする、請求項７に記載の方法。
  9. 前記第１の符号信号（Ｐ1）が前記音響信号（ｘ）をいかに適正に記述するかを示す前記第２の符号信号（ＰC）によって特徴付けられる、請求項１から８のいずれかひとつに記載の方法。
  10. 前記ターゲット信号（ｒ）と前記一次符号信号（ｙ）との間のスペクトル比を表す前記二次符号信号（ＰC）によって特徴付けられる請求項９に記載の方法。
  11. 前記ターゲット信号（ｒ）と前記一次符号信号（ｙ）との間の対数スケールのスペクトル差を表す前記二次符号信号（ＰC）によって特徴付けられる請求項９に記載の方法。
  12. 前記音響信号（ｘ）に応答して周波数変換されたターゲット信号（Ｒ）を生成するステップと、
    前記音響信号（ｘ）に応答して前記周波数変換された一次符号信号（Ｙ）を生成するステップと、
    前記周波数変換されたターゲット信号（Ｒ）と前記周波数変換された一次符号信号（Ｙ）との間のスペクトル比（Ｃ）を生成するステップと、
    前記スペクトル比（Ｃ）に基づいて前記二次符号信号（ＰC）を形成するステップと、
    から得られる前記二次符号信号（ＰC）によって特徴付けられる請求項１０又は１１のいずれかに記載の方法。
  13. コンピュータの内部記憶装置に直接ロード可能で、コンピュータ上で稼動中に請求項１から１２のいずれかひとつのステップを制御するソフトウェアを含むコンピュータ・プログラム。
  14. 請求項１から１２のいずれかひとつのステップをコンピュータに制御させるためのプログラムを記録した、コンピュータ読み取り可能媒体。
  15. 少なくとも１つの符号信号（Ｐ(E)）の推定値を表す少なくとも１つの送信された符号信号（Ｐ（ハット）(E)）を受信するステップと、
    前記少なくとも１つの送信された符号信号（Ｐ（ハット）(E)）から少なくとも１つの一次復号スペクトル（Ｙ（ハット））を復号するステップと、
    前記少なくとも１つの一次復号スペクトル（Ｙ（ハット））から前記平滑化一次復号スペクトル（Ｙ（ハット）(E)）を生成するステップと、
    周波数成分を表す各係数（ＫY）を含む平滑化復号一次スペクトル（Ｙ（ハット）(E)）であって、閾値（ｆT）を上回る周波数情報を表す係数値（ＫYE）のバラツキが縮小される、前記少なくとも１つの一次復号スペクトル（Ｙ（ハット））の選択的に修正されたバージョンの１つである前記平滑化一次復号スペクトル（Ｙ（ハット）(E)）によって特徴付けられる、少なくとも前記平滑化一次復号スペクトル（Ｙ（ハット）(E)）に基づいて、音響源信号（ｘ）の推定値（ｚ（ハット））を生成するステップと、
    を含む、送信媒体（３０６）で送信された符号化情報から前記音響源信号（ｘ）の表現の前記推定値（ｚ（ハット））を復号する方法。
  16. 前記音響源信号（ｘ）自体を構成する前記音響源信号（ｘ）の表現によって特徴付けられる請求項１５に記載の方法。
  17. 前記音響源信号（ｘ）を得ることが可能な励起信号を構成する前記音響源信号（ｘ）の表現によって特徴付けられる請求項１５に記載の方法。
  18. 閾値（ｆT）を上回る周波数成分を表す少なくとも１つの一次復号スペクトル（Ｙ（ハット））の１つの係数（ＫY）を、１つ以上の周波数帯域（ｉ、ｉｉ、ｉｉｉ）に分割するステップと、
    前記各周波数帯域（ｉ、ｉｉ、ｉｉｉ）内の前記係数（ＫY）の平均係数値（Ｋi、Ｋii、Ｋiii）を計算するステップと、
    前記各周波数帯域内（ｉ、ｉｉ、ｉｉｉ）内の前記係数（ＫY）を、前記各々の平均係数値（Ｋi、Ｋii、Ｋiii）で置き換えるステップと、
    により、少なくとも１つの一次復号スペクトルＹ（ハット）から得られる平滑化一次復号信号（Ｙ（ハット）E）によって特徴付けられる、請求項１５から１７のいずれかひとつに記載の方法。
  19. 前記周波数帯域（ｉ、ｉｉ、ｉｉｉ）が等距離であることを特徴とする請求項１８に記載の方法。
  20. 少なくとも一部が重複している前記周波数帯域（ｉ、ｉｉ、ｉｉｉ）によって特徴付けられる請求項１８又は１９のいずれかに記載の方法。
  21. 前記各周波数帯域（ｉ、ｉｉ、ｉｉｉ）とウィンドウ関数（Ｗ1；Ｗ2）とを乗算し、対応するウィンドウをかけた周波数帯域を取得するステップと、
    重複する各領域で隣り合うウィンドウをかけた周波数帯域の係数値を加算するステップと、
    によって得られる前記周波数帯域（ｉ、ｉｉ、ｉｉｉ）の重複領域の結果の係数値によって特徴付けられる請求項２０に記載の方法。
  22. 重複しない周波数領域では一定の大きさで、隣り合う周波数帯域が重なり合う高周波側遷移領域と下位低周波側遷移領域とでは大きさが次第に減少するウィンドウ関数（Ｗ1；Ｗ2）を特徴とする請求項２１に記載の方法。
  23. ケプストラム領域の成分を表す一連の各ケプストラム係数を有するケプストラム符号信号を生成するステップと、
    ケプストラム符号信号中の特定の次数（ｎ次）以上のケプストラム係数を破棄するステップと、
    を伴う少なくとも１つの一次復号スペクトル（Ｙ（ハット））の選択的な修正を特徴とする、請求項１５から１７のいずれかひとつに記載の方法。
  24. 前記閾値（ｆT）を上回る周波数情報を表す前記平滑化一次復号スペクトル（Ｙ（ハット）E）の係数値（ＫYE）のバラツキが縮小するような前記特定の次数（ｎ次）を選ぶことを特徴とする、請求項２３に記載の方法。
  25. 前記音響信号（ｘ）の符号表現を構成する第１の符号信号（Ｐ1）の第１の推定値（Ｐ（ハット）1）と、
    前記第１の符号信号（Ｐ1）が前記音響信号（ｘ）をいかに適正に記述しているかを示す第２の符号信号（ＰC）の第２の推定値と、
    を含む少なくとも１つの送信された拡張符号信号（Ｐ（ハット）(E)）によって特徴付けられる、請求項１５から２４のいずれかひとつに記載の方法。
  26. ターゲット信号（ｒ）のスペクトルと一次符号信号（ｙ）のスペクトルとの間の比を表す前記二次符号信号（ＰC）を特徴とする、請求項２５に記載の方法。
  27. ターゲット信号（ｒ）の対数スケールのスペクトルと一次符号信号（ｙ）の対数スケールのスペクトルとの差を表す前記二次符号信号（ＰC）を特徴とする、請求項２５に記載の方法。
  28. 前記第１の推定値（Ｐ（ハット）1）に応答して、前記少なくとも１つの一次復号スペクトル（Ｙ（ハット））を生成するステップと、
    前記少なくとも１つの一次復号スペクトル（Ｙ（ハット））に応答して、前記平滑化一次復号スペクトル（Ｙ（ハット）E）を生成するステップと、
    前記第２の推定値（Ｐ（ハット）C）に応答して、等化スペクトル（Ｃ（ハット））を生成するステップと、
    前記等化スペクトル（Ｃ（ハット））と前記平滑化一次復号スペクトル（Ｙ（ハット）E）とに応答して、音響源信号（ｘ）の推定値（ｚ（ハット））を生成するステップと、
    により得られる前記音響源信号（ｘ）の前記推定値（ｚ（ハット））によって特徴付けられる、請求項２５から２７のいずれかひとつに記載の方法。
  29. コンピュータの内部記憶装置に直接ロード可能で、コンピュータ上で稼動中に請求項１５から２８のいずれかひとつのステップを制御するソフトウェアを含むコンピュータ・プログラム。
  30. 請求項１５から２８のいずれかひとつのステップをコンピュータに制御させるプログラムを記録した、コンピュータ読み取り可能媒体。
  31. 音響源信号（ｘ）を受信する入力を有し、音響源信号（ｘ）の推定値（ｚ（ハット））を再構成できる前記音響信号（ｘ）の知覚的に重要な特性を表す基本符号信号（Ｐ1）を提供する第１の出力と、フィルタリングしたバージョンの音響源信号（ｘ）を表すターゲット信号（ｒ）を提供する第２の出力と、前記基本符号信号（Ｐ1）に基づいて再構成された信号を表す一次符号信号（ｙ）を提供する第３の出力と、を有する一次符号器（７０２）と、
    前記一次符号信号（ｙ）に応答して、一次符号信号（ｙ）の知覚的に改善された表現を構成する平滑化一次符号信号（ｙE）を生成するための、少なくとも１つのスペクトル平滑化装置（３０５ａ）と、
    前記平滑化一次符号信号（ｙE）と前記ターゲット信号（ｒ）とに基づいて二次符号信号（ＰC）を発生するための量子化器（７０４）と、
    を備え、
    前記少なくとも１つのスペクトル平滑化装置（３０５ａ）が、閾値（ｆT）を上回る周波数情報を表す係数値（ＫYE）のバラツキを縮小するように前記一次符号信号（ｙ）を選択的に修正することによって、前記一次符号信号（ｙ）から平滑化出力信号（ｙE）を生成するよう構成されている、
    ことを特徴とする、送信媒体（３０６）で送信する符号化情報を生成するために音響源信号（ｘ）を符号化する送信器。
  32. 周波数成分を表す入力信号（Ｐ）の各係数（ＫＰ）を記憶するための第１のバッファ記憶装置（４０１）と、
    閾値（ｆT）を上回る周波数成分に対応する係数（ｋY n+1〜ｋY m）用に、少なくとも１つの周波数帯域（ｉ、ｉｉ、ｉｉｉ）の各々のために第１のバッファ記憶装置（４０１）に記憶された係数（ｋＰ n+1〜ｋＰ m）の平均係数値（Ｋi、Ｋii、Ｋiii）を計算するための処理装置（４０２）と、
    特定の周波数帯域（ｉ、ｉｉ、ｉｉｉ）で少なくとも１つの基本符号信号（Ｐ）に対応する係数（ＫＰ）がある分だけ、各周波数帯域（ｉ、ｉｉ、ｉｉｉ）のそれぞれの平均係数値（Ｋi、Ｋii、Ｋiii）を反復記憶するための第２のバッファ記憶装置（４０３）と、
    閾値（ｆT）までの係数（ｋY 1〜ｋY n）を第１のバッファ記憶装置（４０１）から読み出し、閾値（ｆT）を上回る係数（ｋY n+1〜ｋY m）を第２のバッファ記憶装置（４０３）から読み出して、出力信号（ｙE）の係数（ＫYE）を形成するための読み出し装置（４０４）と、
    を、少なくとも１つのスペクトル平滑化装置（３０５ａ、３０５ｂ）が備えることを特徴とする、請求項３１に記載の送信器。
  33. 前記周波数帯域（ｉ、ｉｉ、ｉｉｉ）が等距離であることを特徴とする請求項３２に記載の送信器。
  34. 少なくとも一部が重複している前記周波数帯域（ｉ、ｉｉ、ｉｉｉ）によって特徴付けられる請求項３２又は３３に記載の送信器。
  35. 前記各周波数帯域（ｉ、ｉｉ、ｉｉｉ）とウィンドウ関数（Ｗ1；Ｗ2）とを乗算し、対応のウィンドウをかけた周波数帯域を取得するステップと、
    重複する各領域で隣り合うウィンドウをかけた周波数帯域の係数値を加算するステップと、
    によって、前記周波数帯域（ｉ、ｉｉ、ｉｉｉ）の重複領域の結果の係数値を得るための係数コンバイナを備えることを特徴とする、請求項３４に記載の送信器。
  36. 重複しない周波数領域では一定の大きさで、隣り合う周波数帯域が重なり合う高周波側遷移領域と下位低周波側遷移領域とでは大きさが次第に減少する前記ウィンドウ関数（Ｗ1；Ｗ2）を特徴とする請求項３５に記載の送信器。
  37. 送信媒体（３０６）から受信した符号化情報から音響源信号（ｘ）の表現の推定値（ｚ（ハット））を復号する受信器であって、受信した符号化信号（Ｐ（ハット）(E)）から得られる一次復号スペクトル（Ｙ（ハット））を受信する入力と、平滑化一次復号スペクトル（Ｙ（ハット）E）を提供する出力と、を有するスペクトル平滑化装置（３０５ｂ）を備える前記受信器において、前記平滑化一次復号スペクトル（Ｙ（ハット）E）が周波数成分を表す各係数（ＫY）を含むことと、スペクトル平滑化装置（３０５ｂ）が閾値（ｆT）を上回る周波数情報を表す係数値（ＫYE）のバラツキを縮小するように前記一次復号スペクトル（Ｙ（ハット））を選択的に修正することで前記平滑化一次復号スペクトル（Ｙ（ハット）E）を発生するよう工夫されていることを特徴とする前記受信器。
  38. 前記符号化情報（Ｐ（ハット）(E)）で第１の送信された信号（Ｐ（ハット）1）を受信する入力と、一次復号スペクトル（Ｙ（ハット））を提供する出力と、を有する再構成装置（７０８）と、
    前記符号化情報（Ｐ（ハット）(E)）で第２の送信された信号（Ｐ（ハット）C）を受信する入力と、推定の等化スペクトル（Ｃ（ハット））を提供する出力と、を有する等化復号器（７０７）と、
    前記平滑化一次復号スペクトル（Ｙ（ハット）E）を受信する第１の入力と、前記推定の等化スペクトル（Ｃ（ハット））を受信する第２の入力と、前記音響源信号（ｘ）の前記推定値（ｚ（ハット））を提供する出力と、を有するイコライザ（７０９）と、
    を備えることを特徴とする請求項３７に記載の受信器。
  39. 周波数成分を表す前記一次復号スペクトル（Ｙ（ハット））の各係数（ＫY）を記憶するための第１のバッファ記憶装置（４０１）と、
    前記閾値（ｆT）を上回る周波数成分に対応する係数（ｋY n+1〜ｋY m）用に、少なくとも１つの周波数帯域（ｉ、ｉｉ、ｉｉｉ）の各々のために前記第１のバッファ記憶装置（４０１）に記憶された前記係数（ｋY n+1〜ｋY m）の平均係数値（Ｋi、Ｋii、Ｋiii）を計算するための処理装置（４０２）と、
    前記特定の周波数帯域（ｉ、ｉｉ、ｉｉｉ）で前記少なくとも１つの基本符号信号（Ｐ）に対応する係数（ＫY）がある分だけ、前記各周波数帯域（ｉ、ｉｉ、ｉｉｉ）の前記それぞれの平均係数値（Ｋi、Ｋii、Ｋiii）を反復記憶するための第２のバッファ記憶装置（４０３）と、
    前記閾値（ｆT）までの係数（ｋY 1〜ｋY n）を前記第１のバッファ記憶装置（４０１）から読み出し、前記閾値（ｆT）を上回る係数（ｋY n+1〜ｋY m）を前記第２のバッファ記憶装置（４０３）から読み出して、前記平滑化一次復号スペクトル（Ｙ（ハット）E）の係数（ＫYE）を形成するための読み出し装置（４０４）と、
    を備えた、前記スペクトル平滑化装置（３０５ｂ）を特徴とする請求項３８に記載の受信器。
  40. 前記周波数帯域（ｉ、ｉｉ、ｉｉｉ）が等距離であることを特徴とする請求項３９に記載の受信器。
  41. 少なくとも一部が重複している前記周波数帯域（ｉ、ｉｉ、ｉｉｉ）によって特徴付けられる請求項３９又は４０に記載の受信器。
  42. 前記各周波数帯域（ｉ、ｉｉ、ｉｉｉ）とウィンドウ関数（Ｗ1；Ｗ2）とを乗算し、対応のウィンドウをかけた周波数帯域を取得するステップと、
    重複する各領域で隣り合うウィンドウをかけた周波数帯域の係数値を加算するステップと、
    によって、前記周波数帯域（ｉ、ｉｉ、ｉｉｉ）の重複領域の結果の係数値を得るための係数コンバイナを備えることを特徴とする、請求項４１に記載の受信器。
  43. 重複しない周波数領域では一定の大きさで、隣り合う周波数帯域が重なり合う高周波側遷移領域と下位低周波側遷移領域とでは大きさが次第に減少するウィンドウ関数（Ｗ1；Ｗ2）を特徴とする請求項４２に記載の受信器。
  44. 請求項３１から３６のいずれかひとつにより前記音響源信号（ｘ）を符号化して符号化情報を生成するための送信器（３００）と、
    請求項３７から４３のいずれかひとつにより送信器３００から生成された符号化情報を受信する入力を有し、符号化情報を前記音響源信号（ｘ）の推定値（ｚ（ハット））に復号する受信器（３０１）と、
    送信器（３００）から受信器（３１０）に前記少なくとも１つの拡張符号信号（Ｐ(E)）を送信するための送信媒体（３０６）と、
    を備えた、前記送信器（３００）から前記受信器（３０１）に前記音響源信号（ｘ）を送信するための通信システム。
JP2002536999A 2000-10-20 2001-09-07 音響信号の符号化の知覚的改善 Expired - Lifetime JP5222452B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP00850172.8 2000-10-20
EP00850172A EP1199812A1 (en) 2000-10-20 2000-10-20 Perceptually improved encoding of acoustic signals
PCT/SE2001/001919 WO2002033692A1 (en) 2000-10-20 2001-09-07 Perceptually improved encoding of acoustic signals

Publications (2)

Publication Number Publication Date
JP2004515801A JP2004515801A (ja) 2004-05-27
JP5222452B2 true JP5222452B2 (ja) 2013-06-26

Family

ID=8175680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002536999A Expired - Lifetime JP5222452B2 (ja) 2000-10-20 2001-09-07 音響信号の符号化の知覚的改善

Country Status (12)

Country Link
US (1) US6611798B2 (ja)
EP (2) EP1199812A1 (ja)
JP (1) JP5222452B2 (ja)
KR (1) KR100832144B1 (ja)
CN (1) CN1312658C (ja)
AT (1) ATE380378T1 (ja)
AU (2) AU2001284606B2 (ja)
CA (1) CA2424373C (ja)
DE (1) DE60131766T2 (ja)
ES (1) ES2296791T3 (ja)
PT (1) PT1328923E (ja)
WO (1) WO2002033692A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60029147T2 (de) * 2000-12-29 2007-05-31 Nokia Corp. Qualitätsverbesserung eines audiosignals in einem digitalen netzwerk
IL144158A (en) 2001-07-05 2011-06-30 Mosaid Technologies Inc Socket for connecting an analog telephone to a digital communications network that carries digital voice signals
US7308406B2 (en) * 2001-08-17 2007-12-11 Broadcom Corporation Method and system for a waveform attenuation technique for predictive speech coding based on extrapolation of speech waveform
AU2003234763A1 (en) * 2002-04-26 2003-11-10 Matsushita Electric Industrial Co., Ltd. Coding device, decoding device, coding method, and decoding method
DE10254612A1 (de) * 2002-11-22 2004-06-17 Humboldt-Universität Zu Berlin Verfahren zur Ermittlung spezifisch relevanter akustischer Merkmale von Schallsignalen für die Analyse unbekannter Schallsignale einer Schallerzeugung
FR2852172A1 (fr) * 2003-03-04 2004-09-10 France Telecom Procede et dispositif de reconstruction spectrale d'un signal audio
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7075434B2 (en) * 2003-09-22 2006-07-11 Michael Shafir Encoding and decoding method and system
US7536302B2 (en) * 2004-07-13 2009-05-19 Industrial Technology Research Institute Method, process and device for coding audio signals
KR100619893B1 (ko) * 2004-07-23 2006-09-19 엘지전자 주식회사 휴대단말기의 개선된 저전송률 선형예측코딩 장치 및 방법
KR20060067016A (ko) 2004-12-14 2006-06-19 엘지전자 주식회사 음성 부호화 장치 및 방법
US7930176B2 (en) 2005-05-20 2011-04-19 Broadcom Corporation Packet loss concealment for block-independent speech codecs
US8599925B2 (en) * 2005-08-12 2013-12-03 Microsoft Corporation Efficient coding and decoding of transform blocks
US7490036B2 (en) * 2005-10-20 2009-02-10 Motorola, Inc. Adaptive equalizer for a coded speech signal
EP1870880B1 (en) 2006-06-19 2010-04-07 Sharp Kabushiki Kaisha Signal processing method, signal processing apparatus and recording medium
JP4871894B2 (ja) 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
US7774205B2 (en) * 2007-06-15 2010-08-10 Microsoft Corporation Coding of sparse digital media spectral data
WO2010016271A1 (ja) * 2008-08-08 2010-02-11 パナソニック株式会社 スペクトル平滑化装置、符号化装置、復号装置、通信端末装置、基地局装置及びスペクトル平滑化方法
WO2013022426A1 (en) * 2011-08-08 2013-02-14 Hewlett-Packard Development Company, L.P. Method and system for compression of a real-time surveillance signal
CN105321521B (zh) * 2014-06-30 2019-06-04 美的集团股份有限公司 基于终端运行环境的音频信号编码方法和系统
WO2018084305A1 (ja) * 2016-11-07 2018-05-11 ヤマハ株式会社 音声合成方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US920832A (en) 1906-11-26 1909-05-04 Vickers Sons & Maxim Ltd Automatic gun.
US5307441A (en) 1989-11-29 1994-04-26 Comsat Corporation Wear-toll quality 4.8 kbps speech codec
US5206884A (en) * 1990-10-25 1993-04-27 Comsat Transform domain quantization technique for adaptive predictive coding
IT1241358B (it) * 1990-12-20 1994-01-10 Sip Sistema di codifica del segnale vocale con sottocodice annidato
ES2087522T3 (es) 1991-01-08 1996-07-16 Dolby Lab Licensing Corp Descodificacion/codificacion para campos sonoros multidimensionales.
US5495555A (en) * 1992-06-01 1996-02-27 Hughes Aircraft Company High quality low bit rate celp-based speech codec
US5526464A (en) 1993-04-29 1996-06-11 Northern Telecom Limited Reducing search complexity for code-excited linear prediction (CELP) coding
US5574825A (en) 1994-03-14 1996-11-12 Lucent Technologies Inc. Linear prediction coefficient generation during frame erasure or packet loss
JPH07261797A (ja) * 1994-03-18 1995-10-13 Mitsubishi Electric Corp 信号符号化装置及び信号復号化装置
JP3237089B2 (ja) 1994-07-28 2001-12-10 株式会社日立製作所 音響信号符号化復号方法
JP3970327B2 (ja) * 1996-02-15 2007-09-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴイ 複雑さが軽減された信号送信システム
TW416044B (en) * 1996-06-19 2000-12-21 Texas Instruments Inc Adaptive filter and filtering method for low bit rate coding
EP0878790A1 (en) * 1997-05-15 1998-11-18 Hewlett-Packard Company Voice coding system and method
KR20000068538A (ko) * 1997-07-11 2000-11-25 이데이 노부유끼 정보 복호 방법 및 장치, 정보 부호화 방법 및 장치, 및 제공매체
TW408298B (en) * 1997-08-28 2000-10-11 Texas Instruments Inc Improved method for switched-predictive quantization
JPH11296196A (ja) * 1998-04-13 1999-10-29 Hitachi Ltd 音声符号化方法および音声符号化処理装置
JP2000047695A (ja) * 1998-07-29 2000-02-18 Oki Electric Ind Co Ltd 符号化装置及び復号化装置
US6182030B1 (en) * 1998-12-18 2001-01-30 Telefonaktiebolaget Lm Ericsson (Publ) Enhanced coding to improve coded communication signals

Also Published As

Publication number Publication date
EP1199812A1 (en) 2002-04-24
CN1312658C (zh) 2007-04-25
KR20030048061A (ko) 2003-06-18
DE60131766T2 (de) 2008-11-13
CA2424373C (en) 2011-08-30
ATE380378T1 (de) 2007-12-15
AU8460601A (en) 2002-04-29
EP1328923B1 (en) 2007-12-05
JP2004515801A (ja) 2004-05-27
ES2296791T3 (es) 2008-05-01
DE60131766D1 (de) 2008-01-17
KR100832144B1 (ko) 2008-05-27
PT1328923E (pt) 2008-02-28
CA2424373A1 (en) 2002-04-25
WO2002033692A1 (en) 2002-04-25
US20020049584A1 (en) 2002-04-25
CN1470048A (zh) 2004-01-21
US6611798B2 (en) 2003-08-26
EP1328923A1 (en) 2003-07-23
AU2001284606B2 (en) 2007-01-25

Similar Documents

Publication Publication Date Title
JP5222452B2 (ja) 音響信号の符号化の知覚的改善
JP5193413B2 (ja) 符号化音響信号の復号に関するエラー隠匿
JP5047268B2 (ja) Ｍｄｃｔ係数を使用する音声後処理
US5778335A (en) Method and apparatus for efficient multiband celp wideband speech and music coding and decoding
JP3653826B2 (ja) 音声復号化方法及び装置
RU2419891C2 (ru) Способ и устройство эффективной маскировки стирания кадров в речевых кодеках
JP4550289B2 (ja) Ｃｅｌｐ符号変換
JP3881943B2 (ja) 音響符号化装置及び音響符号化方法
US8391212B2 (en) System and method for frequency domain audio post-processing based on perceptual masking
US6654716B2 (en) Perceptually improved enhancement of encoded acoustic signals
US8200496B2 (en) Audio signal decoder and method for producing a scaled reconstructed audio signal
JP5413839B2 (ja) 符号化装置および復号装置
JP5285162B2 (ja) ピーク検出に基づいた選択型スケーリングマスク演算
AU2001284608A1 (en) Error concealment in relation to decoding of encoded acoustic signals
AU2001284606A1 (en) Perceptually improved encoding of acoustic signals

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110617

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110920

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110928

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111017

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111024

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111117

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120703

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120906

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120913

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121105

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121112

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121203

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130311

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5222452

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term