JP4954069B2 - ポストフィルタ、復号化装置及びポストフィルタ処理方法 - Google Patents

ポストフィルタ、復号化装置及びポストフィルタ処理方法 Download PDF

Info

Publication number
JP4954069B2
JP4954069B2 JP2007521332A JP2007521332A JP4954069B2 JP 4954069 B2 JP4954069 B2 JP 4954069B2 JP 2007521332 A JP2007521332 A JP 2007521332A JP 2007521332 A JP2007521332 A JP 2007521332A JP 4954069 B2 JP4954069 B2 JP 4954069B2
Authority
JP
Japan
Prior art keywords
spectrum
layer
decoded signal
band
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007521332A
Other languages
English (en)
Other versions
JPWO2006134992A1 (ja
Inventor
正浩 押切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007521332A priority Critical patent/JP4954069B2/ja
Publication of JPWO2006134992A1 publication Critical patent/JPWO2006134992A1/ja
Application granted granted Critical
Publication of JP4954069B2 publication Critical patent/JP4954069B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、スケーラブル符号化方式が適用された符号化コードを復号した復号信号のスペクトルの量子化雑音を抑圧するポストフィルタ、復号化装置及びポストフィルタ処理方法に関する。
移動体通信システムでは、電波資源等の有効利用のために、音声信号を低ビットレートに圧縮して伝送することが要求されている。その一方で、通話音声の品質向上や臨場感の高い通話サービスの実現も望まれており、その実現には、音声信号の高品質化のみならず、より帯域の広いオーディオ信号等、音声信号以外の信号をも高品質に符号化することが望ましい。
このように相反する２つの要求に対し、複数の符号化技術を階層的に統合する技術が有望視されている。この技術は、音声信号に適したモデルで入力信号を低ビットレートで符号化する第１レイヤと、入力信号と第１レイヤの復号信号との差分信号を音声以外の信号にも適したモデルで符号化する第２レイヤとを階層的に組み合わせるものである。このように階層的に符号化を行う技術は、符号化装置から得られるビットストリームにスケーラビリティ性、すなわち、ビットストリームの一部の情報からでも復号信号を得ることができる性質を有するため、一般的にスケーラブル符号化（階層符号化）と呼ばれている。
スケーラブル符号化方式は、その性質から、ビットレートの異なるネットワーク間の通信に柔軟に対応することができるので、ＩＰプロトコルで多様なネットワークが統合されていく今後のネットワーク環境に適したものと言える。
ＭＰＥＧ−４（Moving Picture Experts Group phase-4）で規格化された技術を用いてスケーラブル符号化を実現する例として、例えば、非特許文献１に開示されている技術がある。この技術は、第１レイヤにおいて、音声信号に適したＣＥＬＰ（Code Excited Linear Prediction；符号励信線形予測）符号化を用い、第２レイヤにおいて、原信号から第１レイヤ復号信号を減じた残差信号に対して、ＡＡＣ（Advanced Audio Coder）やＴｗｉｎＶＱ（Transform Domain Weighted Interleave Vector Quantization；周波数領域重み付きインターリーブベクトル量子化）等の変換符号化を用いる。
ところで、復号音声信号の音声品質を改善する有効な技術としてポストフィルタが知られている。一般に、低ビットレートで音声信号を符号化した場合、復号信号のスペクトルの谷の部分の量子化雑音が知覚されてしまうが、ポストフィルタを適用することにより、このようなスペクトルの谷の部分の量子化雑音を抑圧することができる。その結果、復号信号の雑音感が減少し、主観品質が改善される。代表的なポストフィルタの伝達関数ＰＦ（ｚ）は、フォルマント強調フィルタＦ（ｚ）と傾き補正フィルタＵ（ｚ）を用いて、以下の式（１）によって表される（非特許文献２参照）。
Figure 0004954069
 ここで、α（ｉ）は復号信号のＬＰＣ（Linear Prediction Coefficient）係数、ＮＰはＬＰＣ係数の次数、γｎとγｄはポストフィルタの雑音抑圧の程度を決定する設定値（０＜γｎ＜γｄ＜１)、μはフォルマント強調フィルタにより生じるスペクトル傾きを補正するための設定値、をそれぞれ表す。
また、特許文献１には、復号信号から周波数領域において聴覚マスキング閾値を算出し、この聴覚マスキング閾値からポストフィルタに用いるＬＰＣ係数を算出する手法が開示されている。
上述したようにポストフィルタは復号信号のスペクトルの谷の部分を抑圧するので、低ビットレート符号化により圧縮／伸張された復号信号の雑音感を軽減し、主観品質を改善することができる。換言すれば、ポストフィルタは復号信号のスペクトルの形状を変形させることにより雑音感を軽減しているともいえる。
特開平７−１６０２９６号公報 三木弼一編著、「ＭＰＥＧ−４のすべて」、初版、（株）工業調査会、１９９８年９月３０日、ｐ．１２６−１２７ J.-H. Chen and A. Gersho, "Adaptive postfiltering for quality enhancement of coded speech," IEEE Trans. Speech and Audio Processing, vol.SAP-3, pp.59-71, 1995.
しかしながら、ビットレートが比較的高い符号化方式により圧縮／伸張された復号信号に対してポストフィルタを適用した場合には、何ら変形を加える必要のない復号信号のスペクトルの形状を変形させてしまい、逆に、復号信号の主観品質を低下させてしまうことがある。以下、具体的に説明する。
スケーラブル符号化の場合、レイヤの構成にもよるが、復号信号の音声品質が帯域毎に異なる場合がある。ここでいう音声品質とは、人間が音を受聴して感じる主観品質、または信号対雑音比（ＳＮＲ：Signal to Noise Ratio）のような客観品質を表す。ここで、例えば、図１に示されるようなレイヤ構成を有するスケーラブル符号化を考える。図１では、横軸が周波数を、縦軸が音声品質を表し、各レイヤが担当する帯域及び音声品質を示す。この場合、レイヤ１は低域部(周波数ｋは０以上、ＦＬ未満)と高域部(周波数ｋはＦＬ以上、ＦＨ未満)の基本品質を担当し、レイヤ２は低域部の改善品質を担当する。また、レイヤ３は高域部の改善品質を担当する。
仮に、ネットワークの状況や使用機器の能力などによりレイヤ３を復号処理に用いない場合には、図２に示されるように、低域部では改善品質の復号信号が、また、高域部では基本品質の復号信号が生成されることになる。
特許文献１又は非特許文献２に開示のポストフィルタでは、このような帯域毎の品質の違いにもかかわらず、常に一定の基準に従いポストフィルタの特性が決定されてしまう。そのため、本来ポストフィルタをかける必要のない帯域、ポストフィルタを弱くかけるべき帯域（図２の低域部）、又は、ポストフィルタを強くかけるべき帯域（図２の高域部）のいずれであっても、常に一定の基準に従いポストフィルタの特性が決定されるため、ポストフィルタによる音声品質の改善効果が十分に得られない。
本発明の目的は、復号信号の音声品質が帯域毎に異なる場合でも、復号信号の音声品質を改善するポストフィルタ、復号化装置及びポストフィルタ処理方法を提供することである。
本発明のポストフィルタは、複数のレイヤを備える符号化方式によって階層符号化された信号の復号信号の量子化雑音を抑圧するポストフィルタであって、前記復号信号がいずれのレイヤによって復号されたかに応じて、前記復号信号の音声品質が良好な帯域を決定する帯域決定手段と、決定された前記帯域に属する前記復号信号のスペクトルの周波数軸上での変化を抑圧するように前記スペクトルを修正するスペクトル修正手段と、修正された前記スペクトルに基づく係数を用いて、前記復号信号のフィルタリングを行うフィルタ手段と、を具備する構成を採る。
本発明の復号化装置は、複数のレイヤを備える符号化方式によって階層符号化された信号の復号信号の量子化雑音を抑圧する復号化装置であって、前記復号信号がいずれのレイヤによって復号されたかに応じて、前記復号信号の音声品質が良好な帯域を決定する帯域決定手段と、決定された前記帯域に属する前記復号信号のスペクトルの周波数軸上での変化を抑圧するように前記スペクトルを修正するスペクトル修正手段と、修正された前記スペクトルに基づく係数を用いて、前記復号信号のフィルタリングを行うフィルタ手段と、を具備する構成を採る。
本発明のポストフィルタ処理方法は、複数のレイヤを備える符号化方式によって階層符号化された信号の復号信号の量子化雑音を抑圧するポストフィルタ処理方法であって、前記復号信号がいずれのレイヤによって復号されたかに応じて、前記復号信号の音声品質が良好な帯域を決定する帯域決定工程と、決定された前記帯域に属する前記復号信号のスペクトルの周波数軸上での変化を抑圧するように前記スペクトルを修正するスペクトル修正工程と、修正された前記スペクトルに基づく係数を用いて、前記復号信号のフィルタリングを行うフィルタ工程と、を具備するようにした。
本発明によれば、復号信号の音声品質が帯域毎に異なる場合でも、復号信号の音声品質を改善することができる。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。ただし、実施の形態において、同一機能を有する構成には同一符号を付し、重複する説明は省略する。また、本発明の実施の形態では、３層の階層符号化（スケーラブル符号化、エンベディッド符号化）を例に、レイヤ１〜３が図１に示した信号帯域及び音声品質を担当するものとして説明する。
（実施の形態１）
図３は、本発明の実施の形態１に係る復号化装置１００の主要な構成を示すブロック図である。この図において、分離部１０１は、図示せぬ符号化装置から送出されたビットストリームを受信し、受信したビットストリームに記録されているレイヤ情報に基づいて、ビットストリームを分離し、レイヤ情報を切替部１０５及びポストフィルタ１０６の修正ＬＰＣ算出部１０７に出力する。
レイヤ情報がレイヤ３を示す場合、すなわち、ビットストリームに全てのレイヤ（第１レイヤ〜第３レイヤ）の符号化コードが格納されている場合、分離部１０１は、ビットストリームから第１レイヤ符号化コード、第２レイヤ符号化コード、第３レイヤ符号化コードを分離する。分離された第１レイヤ符号化コードは第１レイヤ復号化部１０２に、第２レイヤ符号化コードは第２レイヤ復号化部１０３に、第３レイヤ符号化コードは第３レイヤ復号化部１０４にそれぞれ出力される。
また、レイヤ情報がレイヤ２を示す場合、すなわち、ビットストリームに第１レイヤ及び第２レイヤの符号化コードが格納されている場合、分離部１０１は、ビットストリームから第１レイヤ符号化コード、第２レイヤ符号化コードを分離する。分離された第１レイヤ符号化コードは第１レイヤ復号化部１０２に、第２レイヤ符号化コードは第２レイヤ復号化部１０３にそれぞれ出力される。
さらに、レイヤ情報がレイヤ１を示す場合、すなわち、ビットストリームに第１レイヤの符号化コードのみが格納されている場合、分離部１０１は、ビットストリームから第１レイヤ符号化コードを分離し、分離した第１レイヤ符号化コードを第１レイヤ復号化部１０２に出力する。
第１レイヤ復号化部１０２は、分離部１０１から出力された第１レイヤ符号化コードを用いて、信号帯域ｋが０以上、ＦＨ未満における基本品質の第１レイヤ復号信号を生成し、生成した第１レイヤ復号信号を切替部１０５及び第２レイヤ復号化部１０３に出力する。
第２レイヤ復号化部１０３は、分離部１０１から第２レイヤ符号化コードが出力されると、この第２レイヤ符号化コードと第１レイヤ復号化部１０２から出力された第１レイヤ復号信号とを用いて、信号帯域ｋが０以上、ＦＬ未満における改善品質と、信号帯域ｋがＦＬ以上、ＦＨ未満における基本品質の第２レイヤ復号信号を生成する。生成された第２レイヤ復号信号は切替部１０５及び第３レイヤ復号化部１０４に出力される。なお、第２レイヤ復号化部１０３は、レイヤ情報がレイヤ１を示す場合、第２レイヤ符号化コードが得られないので、全く動作しないか、もしくは、第２レイヤ復号化部１０３に備わる変数を更新する。
第３レイヤ復号化部１０４は、分離部１０１から第３レイヤ符号化コードが出力されると、この第３レイヤ符号化コードと第２レイヤ復号化部１０３から出力された第２レイヤ復号信号とを用いて、信号帯域ｋが０以上、ＦＨ未満における改善品質の第３レイヤ復号信号を生成する。生成された第３レイヤ復号信号は切替部１０５に出力される。なお、第３レイヤ復号化部１０４は、レイヤ情報がレイヤ１又はレイヤ２を示す場合、第３レイヤ符号化コードが得られないので、全く動作しないか、もしくは、第３レイヤ復号化部１０４に備わる変数を更新する。
切替部１０５は、分離部１０１から出力されたレイヤ情報に基づいて、いずれのレイヤの復号信号が得られるかを判断し、最も高次のレイヤにおける復号信号を修正ＬＰＣ算出部１０７及びフィルタ部１０８に出力する。
ポストフィルタ１０６は、修正ＬＰＣ算出部１０７とフィルタ部１０８とを備え、修正ＬＰＣ算出部１０７は、分離部１０１から出力されたレイヤ情報と、切替部１０５から出力された復号信号とを用いて、修正ＬＰＣ係数を算出し、算出した修正ＬＰＣ係数をフィルタ部１０８に出力する。修正ＬＰＣ算出部１０７の詳細については後述する。
フィルタ部１０８は、修正ＬＰＣ算出部１０７から出力された修正ＬＰＣ係数によってフィルタを構成し、切替部１０５から出力された復号信号にポストフィルタ処理を施し、ポストフィルタ処理を施した復号信号を出力する。
図４は、図３に示した修正ＬＰＣ算出部１０７の内部構成を示すブロック図である。この図において、周波数変換部１１１は、切替部１０５から出力された復号信号の周波数分析を行い、復号信号のスペクトル（以下、「復号スペクトル」という）を求め、求めた復号スペクトルをパワースペクトル算出部１１２に出力する。
パワースペクトル算出部１１２は、周波数変換部１１１から出力された復号スペクトルのパワー（以下、「パワースペクトル」という）を算出し、算出したパワースペクトルをパワースペクトル修正部１１４に出力する。
修正帯域決定部１１３は、分離部１０１から出力されたレイヤ情報に基づいて、パワースペクトルの修正を行う帯域（以下、「修正帯域」という）を決定し、決定した帯域は修正帯域情報としてパワースペクトル修正部１１４に出力する。
本実施の形態では、各レイヤは図１に示した信号帯域及び音声品質を担当しているので、レイヤ情報がレイヤ１を示す場合、修正帯域決定部１１３は修正帯域を０（修正を行わない）とし、レイヤ情報がレイヤ２を示す場合、修正帯域を０〜ＦＬとし、また、レイヤ情報がレイヤ３を示す場合、修正帯域を０〜ＦＨとして修正帯域情報を生成する。
パワースペクトル修正部１１４は、修正帯域決定部１１３から出力された修正帯域情報に基づいて、パワースペクトル算出部１１２から出力されたパワースペクトルを修正し、修正したパワースペクトルを逆変換部１１５に出力する。
ここで、パワースペクトルの修正とは、ポストフィルタ１０６の特性を弱め、スペクトルの変形が小さくなるようにすることを意味し、より具体的には、パワースペクトルの周波数軸上での変化を抑圧するように修正することを意味する。これにより、レイヤ情報がレイヤ２を示す場合、０〜ＦＬの帯域におけるポストフィルタ１０６の特性が弱められ、レイヤ情報がレイヤ３を示す場合、０〜ＦＨの帯域におけるポストフィルタ１０６の特性が弱められる。
逆変換部１１５は、パワースペクトル修正部１１４から出力された修正パワースペクトルに逆変換を施し、自己相関関数を求める。求められた自己相関関数はＬＰＣ分析部１１６に出力される。なお、逆変換部１１５はＦＦＴ（Fast Fourier Transform）を利用することにより、演算量を削減することができる。このとき、修正パワースペクトルの次数が２Ｎで表せない場合、分析長が２Ｎになるよう修正パワースペクトルを平均化してもよいし、修正パワースペクトルを間引いてもよい。
ＬＰＣ分析部１１６は、逆変換部１１５から出力された自己相関関数に自己相関法などを用いてＬＰＣ係数を求め、求めたＬＰＣ係数を修正ＬＰＣ係数としてフィルタ部１０８に出力する。
次に、上述したパワースペクトル修正部１１４の具体的な実現方法について説明する。まず、第１の実現方法として、修正帯域におけるパワースペクトルを平坦化する方法について説明する。この方法は、修正帯域におけるパワースペクトルの平均値を算出し、算出した平均値によって平均化前のスペクトルを置き換えるものである。
図５に、第１の実現方法によるパワースペクトルの修正の様子を示す。この図では、女性の有声部（/o/）のパワースペクトルに対し、レイヤ情報がレイヤ２（０〜ＦＬの帯域におけるポストフィルタ１０６の特性を弱める）のときの修正の様子を示しており、０〜ＦＬの帯域を約２２ｄＢのパワースペクトルで置き換えている。このとき、修正される帯域と修正されない帯域の接続部分でのスペクトルの変化が不連続にならないようにパワースペクトルを修正することが望ましい。その具体的な方法として、例えば、前記接続部分とその近傍のパワースペクトルに対して移動平均値を求め、その移動平均値で対応するパワースペクトルを置き換える。これにより正確なスペクトル特性を有する修正ＬＰＣ係数を求めることができる。
次に、パワースペクトル修正部１１４の第２の実現方法について説明する。第２の実現方法は、修正帯域におけるパワースペクトルのスペクトル傾斜を求め、求めたスペクトル傾斜によって当該帯域のスペクトルを置き換えるものである。ここで、スペクトル傾斜とは、当該帯域におけるパワースペクトルの全体的な傾きを示すものである。例えば、復号信号の１次のＰＡＲＣＯＲ係数（反射係数）、あるいは当該ＰＡＲＣＯＲ係数に定数を乗じて形成されるディジタルフィルタのスペクトル特性が用いられる。このスペクトル特性に、当該帯域におけるパワースペクトルのエネルギーが保存されるように算出された係数を乗じたもので当該帯域のパワースペクトルが置き換えられる。
図６に、第２の実現方法によるパワースペクトルの修正の様子を示す。この図では、０〜ＦＬの帯域におけるパワースペクトルを約２３ｄＢ〜２６ｄＢに傾斜するパワースペクトルで置き換えている。
このように修正帯域におけるパワースペクトルをスペクトル傾斜で置き換えることにより、ポストフィルタ１０６の傾き補正フィルタ(式１のＵ（ｚ）)による高域強調の作用を当該帯域内では打ち消しあうことになる。すなわち、式（１）のＵ（ｚ）のスペクトル特性の逆特性に相当するスペクトル特性を付与することになる。これにより、ポストフィルタ１０６を含めた当該帯域のスペクトル特性をより平坦化させることができる。
また、パワースペクトル修正部１１４の第３の実現方法として、修正帯域におけるパワースペクトルをα乗（０＜α＜１）したものを用いてもよい。この方法では、前述したようなパワースペクトルを平坦化する方法に比べて、より柔軟にポストフィルタ１０６の特性を設計することができる。
次に、上述した修正ＬＰＣ算出部１０７によって算出された修正ＬＰＣ係数を用いて構成されたポストフィルタ１０６のスペクトル特性について図７を用いて説明する。ここでは、図６に示したスペクトルを用いて修正ＬＰＣ係数を求め、かつ、ポストフィルタ１０６の設定値をγｎ＝０．６、γｄ＝０．８、μ＝０．４とした場合のスペクトル特性を例に説明する。なお、ＬＰＣ係数の次数は１８次とする。
図７に示す実線はパワースペクトル修正を行った場合のスペクトル特性を表し、点線はパワースペクトル修正を行わなかった場合（設定値は上記同様）のスペクトル特性を表す。図７に示すように、パワースペクトル修正を行った場合のポストフィルタ１０６の特性は、０〜ＦＬの帯域ではほぼ平坦になっており、ＦＬ〜ＦＨの帯域ではパワースペクトル修正を行わなかった場合と同様のスペクトル特性となっている。
一方、ナイキスト周波数近傍では、パワースペクトル修正を行った場合のスペクトル特性は、パワースペクトル修正を行わなかった場合のスペクトル特性に比べ、若干減衰しているが、この帯域の信号成分は他の帯域の信号成分に比べて小さいため、この影響はほとんど無視することができる。
このように実施の形態１によれば、レイヤ情報に応じた帯域のパワースペクトルを修正し、修正したパワースペクトルに基づいて修正ＬＰＣ係数を算出し、算出した修正ＬＰＣ係数によってポストフィルタを構成することにより、各レイヤが担当する帯域毎に音声品質が異なる場合でも、音声品質に応じたスペクトル特性によって復号信号にポストフィルタ処理を施すことができるので、音声品質を改善することができる。
なお、本実施の形態では、レイヤ情報がレイヤ１〜３のいずれの場合も、修正ＬＰＣ係数を算出するものとして説明したが、符号化の対象となる全ての帯域がほぼ同一の音声品質であるレイヤの場合（本実施の形態では、全帯域が基本品質のレイヤ１、及び、全帯域が改善品質のレイヤ３）には、必ずしも帯域毎に修正ＬＰＣ係数を算出する必要はなく、このような場合、ポストフィルタ１０６の強さを規定する設定値（γｄ、γｎ及びμ）をレイヤ毎に予め用意し、用意された設定値を切り替えてポストフィルタ１０６を直接構成するようにしてもよい。これにより、修正ＬＰＣ係数の算出に要する処理量、処理時間を削減することができる。
（実施の形態２）
図８は、本発明の実施の形態２に係る復号化装置２００の主要な構成を示すブロック図である。この図において、第１レイヤ復号化部２０１は、分離部１０１から出力された第１レイヤ符号化コードを用いて、信号帯域ｋが０以上、ＦＨ未満における基本品質の第１レイヤ復号信号を生成し、生成した第１レイヤ復号信号を切替部１０５及び第２レイヤ復号化部２０２に出力する。また、第１レイヤ復号信号を生成する過程で第１レイヤ復号ＬＰＣ係数を生成し、生成した第１レイヤ復号ＬＰＣ係数を第２切替部２０４に出力する。
第２レイヤ復号化部２０２は、分離部１０１から第２レイヤ符号化コードが出力されると、この第２レイヤ符号化コードと第１レイヤ復号化部２０１から出力された第１レイヤ復号信号とを用いて、信号帯域ｋが０以上、ＦＬ未満における改善品質と、信号帯域ｋがＦＬ以上、ＦＨ未満における基本品質の第２レイヤ復号信号を生成する。また、第２レイヤ復号信号を生成する過程で第２レイヤ復号ＬＰＣ係数を生成する。生成された第２レイヤ復号信号は切替部１０５及び第３レイヤ復号化部２０３に出力され、第２レイヤ復号ＬＰＣ係数は第２切替部２０４に出力される。
第３レイヤ復号化部２０３は、分離部１０１から第３レイヤ符号化コードが出力される
と、この第３レイヤ符号化コードと第２レイヤ復号化部２０２から出力された第２レイヤ復号信号とを用いて、信号帯域ｋが０以上、ＦＨ未満における改善品質の第３レイヤ復号信号を生成する。また、第３レイヤ復号信号を生成する過程で第３レイヤ復号ＬＰＣ係数を生成する。生成された第３レイヤ復号信号は切替部１０５に出力され、第３レイヤ復号ＬＰＣ係数は第２切替部２０４に出力される。
第２切替部２０４は、分離部１０１からレイヤ情報を取得し、取得したレイヤ情報に基づいて、いずれのレイヤの復号信号が得られるかを判断し、最も高次のレイヤにおける復号ＬＰＣ係数を修正ＬＰＣ算出部２０５に出力する。ただし、復号処理の過程で復号ＬＰＣ係数を生成しない場合も考えられ、このような場合、第２切替部２０４が取得した復号ＬＰＣ係数からいずれかの復号ＬＰＣ係数が選択される。
修正ＬＰＣ算出部２０５は、分離部１０１から出力されたレイヤ情報と、第２切替部２０４から出力された復号ＬＰＣ係数とを用いて、修正ＬＰＣ係数を算出し、算出した修正ＬＰＣ係数をフィルタ部１０８に出力する。
図９は、図８に示した修正ＬＰＣ算出部２０５の内部構成を示すブロック図である。この図において、ＬＰＣスペクトル算出部２１１は、第２切替部２０４から出力された復号ＬＰＣ係数を離散フーリエ変換し、各複素スペクトルのエネルギーを算出し、算出したエネルギーをＬＰＣスペクトルとしてＬＰＣスペクトル修正部２１２に出力する。
ＬＰＣスペクトル修正部２１２は、修正帯域決定部１１３から出力された修正帯域情報に基づいて、ＬＰＣスペクトル算出部２１１によって出力されたＬＰＣスペクトルから修正ＬＰＣスペクトルを算出し、算出した修正ＬＰＣスペクトルを逆変換部１１５に出力する。
このように実施の形態２によれば、復号ＬＰＣ係数から算出されたＬＰＣスペクトルは、復号信号の微細情報が除かれたスペクトル包絡であり、このスペクトル包絡に基づいて修正ＬＰＣ係数を求めることにより、より正確なポストフィルタを実現することができるので、音声品質の向上を図ることができる。
（実施の形態３）
図１０は、本発明の実施の形態３に係る復号化装置３００の主要な構成を示すブロック図である。この図において、第１レイヤ復号化部３０１は、分離部１０１から出力された第１レイヤ符号化コードを用いて、信号帯域ｋが０以上、ＦＨ未満における基本品質の第１レイヤ復号信号を生成し、生成した第１レイヤ復号信号を切替部１０５及び第２レイヤ復号化部３０２に出力する。また、第１レイヤ復号信号を生成する過程で第１レイヤ復号スペクトル（例えば、復号ＭＤＣＴ（Modified Discrete Cosine Transform）係数）を生成し、生成した第１レイヤ復号スペクトルを第２切替部２０４に出力する。
第２レイヤ復号化部３０２は、分離部１０１から第２レイヤ符号化コードが出力されると、この第２レイヤ符号化コードと第１レイヤ復号化部３０１から出力された第１レイヤ復号信号とを用いて、信号帯域ｋが０以上、ＦＬ未満における改善品質と、信号帯域ｋがＦＬ以上、ＦＨ未満における基本品質の第２レイヤ復号信号を生成する。また、第２レイヤ復号信号を生成する過程で第２レイヤ復号スペクトルを生成する。生成された第２レイヤ復号信号は切替部１０５及び第３レイヤ復号化部３０３に出力され、第２レイヤ復号スペクトルは第２切替部２０４に出力される。
第３レイヤ復号化部３０３は、分離部１０１から第３レイヤ符号化コードが出力されると、この第３レイヤ符号化コードと第２レイヤ復号化部３０２から出力された第２レイヤ
復号信号とを用いて、信号帯域ｋが０以上、ＦＨ未満における改善品質の第３レイヤ復号信号を生成する。また、第３レイヤ復号信号を生成する過程で第３レイヤ復号スペクトルを生成する。生成された第３レイヤ復号信号は切替部１０５に出力され、第３レイヤ復号スペクトルは第２切替部２０４に出力される。
修正ＬＰＣ算出部３０４は、分離部１０１から出力されたレイヤ情報と、第２切替部２０４から出力された復号スペクトルとを用いて、修正ＬＰＣ係数を算出し、算出した修正ＬＰＣ係数をフィルタ部１０８に出力する。
修正ＬＰＣ算出部３０４は、図１１に示す内部構成を有し、周波数変換を行うことなく、修正ＬＰＣ係数を算出する。
このように実施の形態３によれば、復号過程で生成される復号スペクトルからパワースペクトルを算出し、算出したパワースペクトルを用いて修正ＬＰＣ係数を算出するため、時間領域の信号を周波数領域の信号に変換する周波数変換処理を削減することができる。
（実施の形態４）
図１２は、本発明の実施の形態４に係る復号化装置４００の主要な構成を示すブロック図である。この図において、第１レイヤスペクトル復号化部４０１は、分離部１０１から出力された第１レイヤ符号化コードを用いて、信号帯域ｋが０以上、ＦＨ未満における基本品質の第１レイヤ復号スペクトルを生成し、生成した第１レイヤ復号スペクトルを切替部１０５及び第２レイヤスペクトル復号化部４０２に出力する。
第２レイヤスペクトル復号化部４０２は、分離部１０１から第２レイヤ符号化コードが出力されると、この第２レイヤ符号化コードと第１レイヤスペクトル復号化部４０１から出力された第１レイヤ復号スペクトルとを用いて、信号帯域ｋが０以上、ＦＬ未満における改善品質と、信号帯域ｋがＦＬ以上、ＦＨ未満における基本品質の第２レイヤ復号スペクトルを生成する。生成された第２レイヤ復号スペクトルは切替部１０５及び第３レイヤスペクトル復号化部４０３に出力される。
第３レイヤスペクトル復号化部４０３は、分離部１０１から第３レイヤ符号化コードが出力されると、この第３レイヤ符号化コードと第２レイヤスペクトル復号化部４０２から出力された第２レイヤ復号スペクトルとを用いて、信号帯域ｋが０以上、ＦＨ未満における改善品質の第３レイヤ復号スペクトルを生成する。生成された第３レイヤ復号スペクトルは切替部１０５に出力される。
ポストフィルタ４０４は、抑圧情報算出部４０５と乗算器４０６とを備え、抑圧情報算出部４０５は、分離部１０１から出力されたレイヤ情報に基づいて、切替部１０５から出力された復号スペクトルをサブバンド毎に抑圧する抑圧情報を算出し、算出した抑圧情報を乗算器４０６に出力する。抑圧情報算出部４０５の詳細については後述する。
フィルタ手段としての乗算器４０６は、抑圧情報算出部４０５から出力された抑圧情報を切替部１０５から出力された復号スペクトルに乗算し、抑圧情報を乗算した復号スペクトルを時間領域変換部４０７に出力する。
時間領域変換部４０７は、ポストフィルタ４０４の乗算器４０６から出力された復号スペクトルを時間領域の信号に変換し、復号信号として出力する。
図１３は、図１２に示した抑圧情報算出部４０５の内部構成を示すブロック図である。この図において、抑圧係数算出部４１１は、パワースペクトル修正部１１４から出力され
た修正パワースペクトルを予め定められたバンド幅のサブバンドに分割し、分割したサブバンド毎の平均値を求める。そして、求めた平均値が所定の閾値より小さいサブバンドを選択し、選択したサブバンドについて、復号スペクトルを抑圧する係数（ベクトル値）を算出する。これにより、スペクトルの谷となる帯域を含むサブバンドを減衰させることができる。ちなみに、抑圧係数の算出は選択されたサブバンドの平均値に基づいて行われる。その具体的な算出法としては、例えば、サブバンドの平均値に所定の係数を乗じて抑圧係数を算出する。また、平均値が所定の閾値以上のサブバンドについては、復号スペクトルを変化させないような係数が算出される。
なお、抑圧係数は、ＬＰＣ係数である必要はなく、復号スペクトルに直接乗じられる係数であればよい。これにより、逆変換処理及びＬＰＣ分析処理を行う必要がなくなり、これらの処理に要する演算量を削減することができる。
このように実施の形態４によれば、復号スペクトルから抑圧係数を求め、求めた抑圧係数を復号スペクトルに直接乗算することにより、周波数領域で復号信号のスペクトルの変形を行うことになり、逆変換処理及びＬＰＣ分析処理を行う必要がなくなり、これらの処理に要する演算量を削減することができる。
（実施の形態５）
図１４は、本発明の実施の形態５に係る復号化装置６００の主要な構成を示すブロック図である。この図において、ポストフィルタ６０１は、周波数領域変換部６０２、抑圧情報算出部６０３及び乗算器６０４を備え、周波数領域変換部６０２は、切替部１０５から出力された第ｎ復号信号（ｎは１〜３）を周波数領域に変換して復号スペクトルを生成し、生成した復号スペクトルを抑圧情報算出部６０３及び乗算器６０４に出力する。
抑圧情報算出部６０３は、分離部１０１から出力されたレイヤ情報に基づいて、切替部１０５から出力された復号信号をサブバンド毎に抑圧する抑圧情報を算出し、算出した抑圧情報を乗算器６０４に出力する。抑圧情報算出部６０３の詳細については、図１３に示した構成と同様であるので、ここでは省略する。
フィルタ手段としての乗算器６０４は、抑圧情報算出部６０３から出力された抑圧情報を周波数領域変換部６０２から出力された復号スペクトルに乗算し、抑圧情報を乗算した復号スペクトルを時間領域変換部６０５に出力する。
時間領域変換部６０５は、ポストフィルタ６０１の乗算器６０４から出力された復号スペクトルを時間領域の信号に変換し、復号信号として出力する。
このように実施の形態５によれば、復号信号から抑圧係数を求め、求めた抑圧係数を復号信号に直接乗算することにより、周波数領域で復号信号のスペクトルの変形を行うことになり、逆変換処理及びＬＰＣ分析処理を行う必要がなくなり、これらの処理に要する演算量を削減することができる。
（実施の形態６）
図１５は、本発明の実施の形態６に係る復号化装置７００の主要な構成を示すブロック図である。この図において、第２切替部７０１は、分離部１０１からレイヤ情報を取得し、取得したレイヤ情報に基づいて、いずれのレイヤの復号スペクトルが得られるかを判断し、最も高次のレイヤにおける復号ＬＰＣ係数をポストフィルタ７０２の抑圧情報算出部７０３に出力する。ただし、復号処理の過程で復号ＬＰＣ係数を生成しない場合も考えられ、このような場合、第２切替部７０１が取得した復号ＬＰＣ係数からいずれかの復号ＬＰＣ係数が選択される。
抑圧情報算出部７０３は、分離部１０１から出力されたレイヤ情報と、第２切替部７０１から出力されたＬＰＣ係数とを用いて、抑圧情報を算出し、算出した抑圧情報を乗算器７０４に出力する。抑圧情報算出部７０３の詳細については後述する。
乗算器７０４は、抑圧情報算出部７０３から出力された抑圧情報を切替部１０５から出力された復号スペクトルに乗算し、抑圧情報を乗算した復号スペクトルを時間領域変換部４０７に出力する。
図１６は、図１５に示した抑圧情報算出部７０３の内部構成を示すブロック図である。この図において、ＬＰＣスペクトル算出部７１１は、第２切替部７０１から出力された復号ＬＰＣ係数を離散フーリエ変換し、各複素スペクトルのエネルギーを算出し、算出したエネルギーをＬＰＣスペクトルとしてＬＰＣスペクトル修正部７１２に出力する。すなわち、復号ＬＰＣ係数をα（ｉ）と表したとき、次式（２）で表されるフィルタを構成する。
Figure 0004954069
ＬＰＣスペクトル算出部７１１は、上式（２）で表されるフィルタのスペクトル特性を算出し、ＬＰＣスペクトル修正部７１２に出力する。ここで、ＮＰは復号ＬＰＣ係数の次数を表す。
また、雑音抑圧の強さの程度を調整する所定のパラメータγｎ及びγｄを用いて、以下の式（３）で表されるフィルタを構成し、このフィルタのスペクトル特性を算出するようにしてもよい（０＜γｎ＜γｄ＜１）。
Figure 0004954069
また、式（２）又は式（３）で表されるフィルタには、低域部（もしくは高域部）が高域部（もしくは低域部）に比べて過度に強調される特性（一般に、この特性を「スペクトル傾き」という）が生じる場合があるが、これを補正するためのフィルタ（アンチチルトフィルタ）を併用してもよい。
ＬＰＣスペクトル修正部７１２は、パワースペクトル修正部１１４と同様に、修正帯域決定部１１３から出力された修正帯域情報に基づいて、ＬＰＣスペクトル算出部７１１から出力されたＬＰＣスペクトルを修正し、修正したＬＰＣスペクトルを抑圧係数算出部７１３に出力する。
抑圧係数算出部７１３は、実施の形態４において説明した方法に基づいて、抑圧係数を算出してもよいし、次に示す方法に基づいて算出してもよい。すなわち、抑圧係数算出部
７１３では、ＬＰＣスペクトル修正部７１２から出力された修正ＬＰＣスペクトルを予め定められたバンド幅のサブバンドに分割し、分割したサブバンド毎の平均値を求める。そして、各サブバンドの平均値の中で最大となるサブバンドを求め、当該サブバンドの平均値を用いて各サブバンドの平均値を正規化する。当該正規化後のサブバンド平均値を抑圧係数として出力する。
この方法では、所定のサブバンドに分割した後に抑圧係数を出力する方法について説明しているが、より細かく抑圧係数を決定するために、周波数毎に抑圧係数を算出して出力してもよい。その場合、抑圧係数算出部７１３では、ＬＰＣスペクトル修正部７１２から出力された修正ＬＰＣスペクトルの中で最大となる周波数を求め、当該周波数のスペクトルを用いて各周波数のスペクトルを正規化する。当該正規化後のスペクトルを抑圧係数として出力する。
このように実施の形態６によれば、復号ＬＰＣ係数から算出されたＬＰＣスペクトルは、復号信号の微細情報が除かれたスペクトル包絡であり、このスペクトル包絡に基づいて直接的に抑圧係数を求めることにより、少ない演算量でより正確なポストフィルタを実現することができ、音声品質の向上を図ることができる。
（実施の形態７）
本発明の実施の形態７では、２層の階層符号化（スケーラブル符号化、エンベディッド符号化）を例に、レイヤ１〜２が図１７に示した信号帯域及び音声品質を担当するものとして説明する。レイヤ１は低域部（周波数ｋは０以上、ＦＬ未満)を担当し、レイヤ２は高域部(周波数ｋはＦＬ以上、ＦＨ未満)を担当する。レイヤ１はビット配分がレイヤ２のビット配分より大きいため改善品質を、レイヤ２は基本品質をそれぞれ実現する。
このようなレイヤ構成において必要とされるポストフィルタ処理の程度を図１８に示す。すなわち、レイヤ１では低域部の改善品質を実現するため、低域部のポストフィルタ処理は必要ない。一方、レイヤ２では高域部の基本品質のみを実現するため、高域部のポストフィルタ処理の程度を「強」にする必要がある。
本実施の形態では、ＬＰＣ係数によって構成される逆フィルタに入力信号を通して得られるＬＰＣ予測残差信号を周波数領域で符号化する符号化方式を想定して説明する。
図１９は、本発明の実施の形態７に係る復号化装置８００の主要な構成を示すブロック図である。この図において、分離部１０１は、図示せぬ符号化装置から送出されたビットストリームを受信し、受信したビットストリームから第１レイヤ符号化コード、第２レイヤ符号化コード（全帯域予測残差スペクトル）、第２レイヤ符号化コード（全帯域ＬＰＣ係数）を生成し、第１レイヤ符号化コードを第１レイヤ復号化部８０１に出力し、第２レイヤ符号化コード（全帯域予測残差スペクトル）を第２レイヤスペクトル復号化部８０７に出力し、第２レイヤ符号化コード（全帯域ＬＰＣ係数）を全帯域ＬＰＣ係数復号化部８０４に出力する。
第１レイヤ復号化部８０１は、分離部１０１から出力された第１レイヤ符号化コードを用いて、信号帯域ｋが０以上、ＦＬ未満における改善品質の第１レイヤ復号信号を生成し、生成した第１レイヤ復号信号をアップサンプリング部８０２に出力する。また、第１レイヤ復号信号を生成する過程で復号ＬＰＣ係数を生成し、生成した復号ＬＰＣ係数を全帯域ＬＰＣ係数復号化部８０４に出力する。
アップサンプリング部８０２は、第１レイヤ復号化部８０１から出力された第１レイヤ復号信号のサンプリングレートを上げ、アップサンプリングした信号を逆フィルタ部８０
５及び切替部１０５に出力する。
全帯域ＬＰＣ係数復号化部８０４は、第１レイヤ復号化部８０１から出力された復号ＬＰＣ係数を用いて、分離部１０１から出力された第２レイヤ符号化コード（全帯域ＬＰＣ係数）を復号し、復号全帯域ＬＰＣ係数を逆フィルタ部８０５、抑圧情報算出部８０９及び合成フィルタ部８１２に出力する。なお、ここで、全帯域とは周波数ｋが０以上、ＦＨ未満の帯域を表し、復号全帯域ＬＰＣ係数は全帯域のスペクトル包絡を表す。
逆フィルタ部８０５は、全帯域ＬＰＣ係数復号化部８０４から出力された復号全帯域ＬＰＣ係数により逆フィルタを構成し、この逆フィルタにアップサンプリング部８０２から出力された第１レイヤ復号信号を通して予測残差信号を生成し、生成した予測残差信号を周波数領域変換部８０６に出力する。逆フィルタＡ（ｚ）は、ＬＰＣ係数α（ｉ）を用いて以下の式で表される。
Figure 0004954069
ここで、ＮＰはＬＰＣ係数の次数を表す。また、逆フィルタの強さを制御するため、パラメータγａ（０＜γａ＜１）を用いて以下の式で表される逆フィルタを構成してフィルタ処理を行ってもよい。
Figure 0004954069
周波数領域変換部８０６は、逆フィルタ部８０５から出力された予測残差信号の周波数分析を行い、予測残差信号のスペクトル（予測残差スペクトル）を求め、求めた予測残差スペクトルを第２レイヤスペクトル復号化部８０７に出力する。
第２レイヤスペクトル復号化部８０７は、分離部１０１から第２レイヤ符号化コード（全帯域予測残差スペクトル）が出力されると、周波数領域変換部８０６から出力された予測残差スペクトルとを用いて、第２レイヤ符号化コード（全帯域予測残差スペクトル）を復号する。生成された全帯域予測残差スペクトルはポストフィルタ８０８に出力される。
ポストフィルタ８０８は、抑圧情報算出部８０９と乗算器８１０とを備え、抑圧情報算出部８０９は、全帯域ＬＰＣ係数復号化部８０４から出力された復号全帯域ＬＰＣ係数に基づいて、抑圧情報を算出し、算出した抑圧情報を乗算器８１０に出力する。抑圧情報算出部８０９の詳細については後述する。
乗算器８１０は、抑圧情報算出部８０９から出力された抑圧情報を第２レイヤスペクトル復号化部８０７から出力された全帯域予測残差スペクトルに乗算し、抑圧情報を乗算した全帯域予測残差スペクトルを逆変換部８１１に出力する。
逆変換部８１１は、ポストフィルタ８０８から出力された全帯域予測残差スペクトルに逆変換を施し、全帯域予測残差信号を求める。求められた全帯域予測残差信号は合成フィルタ部８１２に出力される。
合成フィルタ部８１２は、全帯域ＬＰＣ係数復号化部８０４から出力された復号全帯域ＬＰＣ係数により合成フィルタを構成し、この合成フィルタに逆変換部８１１から出力さ
れた全帯域予測残差信号を通して全帯域復号信号を生成し、生成した全帯域復号信号を切替部１０５に出力する。合成フィルタＨ（ｚ）は、逆フィルタＡ（ｚ）を用いて以下の式で表される。
Figure 0004954069
このように復号化装置８００によれば、レイヤ情報がレイヤ１を示す場合には、第２レイヤ復号化部８０３は動作せず、第１レイヤ復号化部８０１が動作し、ポストフィルタ処理はなしとなる。また、レイヤ情報がレイヤ２を示す場合には、第１レイヤ復号化部８０１及び第２レイヤ復号化部８０３が動作し、ポストフィルタは高域部に程度「強」の処理を行う。すなわち、ポストフィルタは第２レイヤ復号化部８０３が動作する場合に機能するため、ポストフィルタにレイヤ情報を出力する必要はない。
図２０は、図１９に示した抑圧情報算出部８０９の内部構成を示すブロック図である。抑圧情報算出部８０９の内部構成は、図１６に示した抑圧情報算出部７０３の内部構成から修正帯域決定部１１３を削除したものであり、その他の構成は抑圧情報算出部７０３と同様であるため、その詳細な説明は省略する。
このように実施の形態７によれば、低域部を担当するレイヤ１と高域部を担当するレイヤ２との２層によって階層符号化された場合でも、スペクトル包絡に基づいて直接的に抑圧係数を求めることにより、少ない演算量でより正確なポストフィルタを実現することができ、音声品質の向上を図ることができる。
なお、本実施の形態では、第２レイヤ復号化部８０３内においてポストフィルタ処理を行うものとして説明したが、本発明はこれに限らず、第１レイヤ復号化部８０１内において低域部（周波数ｋが０以上、ＦＬ未満）の品質を改善するポストフィルタ処理を行ってもよい。この場合、低域部にポストフィルタ処理を施すことにより、低域部の音声品質を高品質（改善品質又はそれに相当する音声品質）にすることができる。したがって、第１レイヤ復号化部８０１と第２レイヤ復号化部８０３とのそれぞれにおいてポストフィルタ処理を行うことにより、低域部及び高域部、すなわち全帯域の音声品質を改善することができる。
（他の実施の形態）
上記各実施の形態では、スケーラブル符号化を前提に説明したが、ここでは、スケーラブル符号化以外の符号化方式を適用した場合について説明する。この場合、レイヤ情報に代えてビット配分の大きさを示すビット配分情報を用いることとする。
実施の形態１に対応する復号化装置５００の構成を図２１に示す。この図が示すように、ビットストリームが分離部５０１において符号化コードとビット配分情報とに分離され、分離された符号化コードが復号化部５０２に出力され、分離されたビット配分情報が復号化部５０２及び修正ＬＰＣ算出部１０７に出力される。
符号化コードはビット配分情報に基づいて復号化部５０２において復号され、復号信号が修正ＬＰＣ算出部１０７及びフィルタ部１０８に出力される。
また、実施の形態２に対応する復号化装置５１０の構成を図２２に示す。この図が示すように、復号化部５１１では、符号化コードの復号過程で復号ＬＰＣ係数が生成され、生成された復号ＬＰＣ係数が修正ＬＰＣ算出部２０５に出力される。また、復号信号がフィ
ルタ部１０８に出力される。
また、実施の形態３に対応する復号化装置５２０の構成を図２３に示す。この図が示すように、復号化部５２１では、符号化コードの復号過程で復号スペクトルが生成され、生成された復号スペクトルが修正ＬＰＣ算出部３０４に出力される。また、復号信号がフィルタ部１０８に出力される。
さらに、実施の形態４に対応する復号化装置５３０の構成を図２４に示す。この図が示すように、スペクトル復号化部５３１では、符号化コードから復号スペクトルが生成され、生成された復号スペクトルが抑圧情報算出部４０５及び乗算器４０６に出力される。
なお、本実施の形態では、ビット配分情報に基づいて、スペクトルを修正する帯域を決定する場合について説明したが、スペクトルを修正する帯域を予め定めておいてもよい。
以上、本発明の各実施の形態について説明した。
なお、上記実施の形態における周波数変換部は、ＦＦＴ、ＤＦＴ（Discrete Fourier Transform）、ＤＣＴ（Discrete Cosine Transform）、ＭＤＣＴ、サブバンドフィルタなどによって実現される。
また、上記実施の形態では、復号信号として音声信号を想定しているが、本発明はこれに限らず、例えば、オーディオ信号などでもよい。
また、上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
本明細書は、２００５年６月１７日出願の特願２００５−１７７７８１及び２００６年５月３０日出願の特願２００６−１５０３５６に基づくものである。この内容は全てここに含めておく。
本発明にかかるポストフィルタ、復号化装置及びポストフィルタ処理方法は、復号信号の音声品質が帯域毎に異なる場合でも、復号信号の音声品質を改善することができ、例えば、音声復号化装置等に適用することができる。
スケーラブル符号化のレイヤ構成を示す図 スケーラブル符号化のレイヤ構成を示す図 本発明の実施の形態１に係る復号化装置の主要な構成を示すブロック図 図３に示した修正ＬＰＣ算出部の内部構成を示すブロック図 図４に示したパワースペクトル修正部の第１の実現方法によるパワースペクトルの修正の様子を示す図 図４に示したパワースペクトル修正部の第２の実現方法によるパワースペクトルの修正の様子を示す図 図３に示したポストフィルタのスペクトル特性の説明に供する図 本発明の実施の形態２に係る復号化装置の主要な構成を示すブロック図 図８に示した修正ＬＰＣ算出部の内部構成を示すブロック図 本発明の実施の形態３に係る復号化装置の主要な構成を示すブロック図 図１０に示した修正ＬＰＣ算出部の内部構成を示すブロック図 本発明の実施の形態４に係る復号化装置の主要な構成を示すブロック図 図１２に示した抑圧情報算出部の内部構成を示すブロック図 本発明の実施の形態５に係る復号化装置の主要な構成を示すブロック図 本発明の実施の形態６に係る復号化装置の主要な構成を示すブロック図 図１５に示した抑圧情報算出部の内部構成を示すブロック図 スケーラブル符号化のレイヤ構成を示す図 ポストフィルタ処理の程度を示す図 本発明の実施の形態７に係る復号化装置の主要な構成を示すブロック図 図１９に示した抑圧情報算出部の内部構成を示すブロック図 本発明の他の実施の形態に係る復号化装置の主要な構成を示すブロック図 本発明の他の実施の形態に係る復号化装置の主要な構成を示すブロック図 本発明の他の実施の形態に係る復号化装置の主要な構成を示すブロック図 本発明の他の実施の形態に係る復号化装置の主要な構成を示すブロック図

Claims (12)

  1. 複数のレイヤを備える符号化方式によって階層符号化された信号の復号信号の量子化雑音を抑圧するポストフィルタであって、
    前記復号信号がいずれのレイヤによって復号されたかに応じて、前記復号信号の音声品質が良好な帯域を決定する帯域決定手段と、
    決定された前記帯域に属する前記復号信号のスペクトルの周波数軸上での変化を抑圧するように前記スペクトルを修正するスペクトル修正手段と、
    修正された前記スペクトルに基づく係数を用いて、前記復号信号のフィルタリングを行うフィルタ手段と、
    を具備するポストフィルタ。
  2. 前記スペクトル修正手段は、決定された前記帯域に属する前記復号信号のスペクトルと決定された前記帯域と隣接する帯域に属する前記復号信号のスペクトルとが連続するように修正する請求項１に記載のポストフィルタ。
  3. 前記スペクトル修正手段は、決定された前記帯域に属する前記復号信号のパワースペクトルの平均値によって、前記パワースペクトルを置き換える修正を行う請求項１に記載のポストフィルタ。
  4. 前記スペクトル修正手段は、決定された前記帯域に属する前記復号信号のパワースペクトルのスペクトル傾斜によって、前記パワースペクトルを置き換える修正を行う請求項１に記載のポストフィルタ。
  5. 前記スペクトル修正手段は、前記階層符号化された信号の復号過程において生成された復号ＬＰＣ係数からＬＰＣスペクトルを算出し、算出されたＬＰＣスペクトルを修正する請求項１に記載のポストフィルタ。
  6. 前記スペクトル修正手段によって修正されたＬＰＣスペクトルに基づいて、前記復号信号のスペクトルを抑圧する係数を算出する抑圧係数算出手段を具備し、
    前記フィルタ手段は、前記抑圧係数を復号信号のスペクトルに乗算することにより、周波数領域において前記復号信号のフィルタリングを行う請求項５に記載のポストフィルタ。
  7. 前記スペクトル修正手段は、前記階層符号化された信号の復号過程において生成された復号スペクトルからパワースペクトルを算出し、算出されたパワースペクトルを修正する請求項１に記載のポストフィルタ。
  8. 前記スペクトル修正手段によって修正されたパワースペクトルに基づいて、前記復号信号のスペクトルを抑圧する係数を算出する抑圧係数算出手段を具備し、
    前記フィルタ手段は、前記抑圧係数を復号信号のスペクトルに乗算することにより、周波数領域において前記復号信号のフィルタリングを行う請求項１に記載のポストフィルタ。
  9. 前記スペクトル修正手段によって修正されたパワースペクトルを逆フーリエ変換することにより、自己相関関数を算出する逆変換手段と、
    算出された前記自己相関関数を用いてＬＰＣ係数を算出するＬＰＣ分析手段と、
    を具備し、
    前記フィルタ手段は、前記ＬＰＣ係数を用いて前記復号信号のフィルタリングを行う請求項１に記載のポストフィルタ。
  10. 前記逆変換手段は、修正された前記パワースペクトルの次数が２のべき乗で表せない場合、前記次数が２のべき乗となるように、修正された前記パワースペクトルを平均化する、または修正された前記パワースペクトルを間引いて逆高速フーリエ変換する請求項９に記載のポストフィルタ。
  11. 複数のレイヤを備える符号化方式によって階層符号化された信号の復号信号の量子化雑音を抑圧する復号化装置であって、
    前記復号信号がいずれのレイヤによって復号されたかに応じて、前記復号信号の音声品質が良好な帯域を決定する帯域決定手段と、
    決定された前記帯域に属する前記復号信号のスペクトルの周波数軸上での変化を抑圧するように前記スペクトルを修正するスペクトル修正手段と、
    修正された前記スペクトルに基づく係数を用いて、前記復号信号のフィルタリングを行うフィルタ手段と、
    を具備する復号化装置。
  12. 複数のレイヤを備える符号化方式によって階層符号化された信号の復号信号の量子化雑音を抑圧するポストフィルタ処理方法であって、
    前記復号信号がいずれのレイヤによって復号されたかに応じて、前記復号信号の音声品質が良好な帯域を決定する帯域決定工程と、
    決定された前記帯域に属する前記復号信号のスペクトルの周波数軸上での変化を抑圧するように前記スペクトルを修正するスペクトル修正工程と、
    修正された前記スペクトルに基づく係数を用いて、前記復号信号のフィルタリングを行うフィルタ工程と、
    を具備するポストフィルタ処理方法。
JP2007521332A 2005-06-17 2006-06-15 ポストフィルタ、復号化装置及びポストフィルタ処理方法 Expired - Fee Related JP4954069B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007521332A JP4954069B2 (ja) 2005-06-17 2006-06-15 ポストフィルタ、復号化装置及びポストフィルタ処理方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2005177781 2005-06-17
JP2005177781 2005-06-17
JP2006150356 2006-05-30
JP2006150356 2006-05-30
JP2007521332A JP4954069B2 (ja) 2005-06-17 2006-06-15 ポストフィルタ、復号化装置及びポストフィルタ処理方法
PCT/JP2006/312001 WO2006134992A1 (ja) 2005-06-17 2006-06-15 ポストフィルタ、復号化装置及びポストフィルタ処理方法

Publications (2)

Publication Number Publication Date
JPWO2006134992A1 JPWO2006134992A1 (ja) 2009-01-08
JP4954069B2 true JP4954069B2 (ja) 2012-06-13

Family

ID=37532346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007521332A Expired - Fee Related JP4954069B2 (ja) 2005-06-17 2006-06-15 ポストフィルタ、復号化装置及びポストフィルタ処理方法

Country Status (6)

Country Link
US (1) US8315863B2 (ja)
EP (1) EP1892702A4 (ja)
JP (1) JP4954069B2 (ja)
CN (1) CN101199005B (ja)
BR (1) BRPI0612579A2 (ja)
WO (1) WO2006134992A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7461106B2 (en) 2006-09-12 2008-12-02 Motorola, Inc. Apparatus and method for low complexity combinatorial coding of signals
ATE548727T1 (de) * 2007-03-02 2012-03-15 Ericsson Telefon Ab L M Nachfilter für geschichtete codecs
WO2009004225A1 (fr) * 2007-06-14 2009-01-08 France Telecom Post-traitement de reduction du bruit de quantification d'un codeur, au decodage
US8576096B2 (en) * 2007-10-11 2013-11-05 Motorola Mobility Llc Apparatus and method for low complexity combinatorial coding of signals
US8326617B2 (en) * 2007-10-24 2012-12-04 Qnx Software Systems Limited Speech enhancement with minimum gating
US8015002B2 (en) 2007-10-24 2011-09-06 Qnx Software Systems Co. Dynamic noise reduction using linear model fitting
US8606566B2 (en) * 2007-10-24 2013-12-10 Qnx Software Systems Limited Speech enhancement through partial speech reconstruction
US8639519B2 (en) * 2008-04-09 2014-01-28 Motorola Mobility Llc Method and apparatus for selective signal coding based on core encoder performance
KR101565608B1 (ko) * 2008-09-04 2015-11-03 코닌클리케 필립스 엔.브이. 분산 스펙트럼 감지
EP2581904B1 (en) * 2010-06-11 2015-10-07 Panasonic Intellectual Property Corporation of America Audio (de)coding apparatus and method
US8762158B2 (en) * 2010-08-06 2014-06-24 Samsung Electronics Co., Ltd. Decoding method and decoding apparatus therefor
JP5573517B2 (ja) * 2010-09-07 2014-08-20 ソニー株式会社 雑音除去装置および雑音除去方法
JP5679470B2 (ja) * 2010-09-10 2015-03-04 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置及び符号化方法
CN102664021B (zh) * 2012-04-20 2013-10-02 河海大学常州校区 基于语音功率谱的低速率语音编码方法
EP2830061A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
EP2887350B1 (en) * 2013-12-19 2016-10-05 Dolby Laboratories Licensing Corporation Adaptive quantization noise filtering of decoded audio data
HRP20240674T1 (hr) * 2014-04-17 2024-08-16 Voiceage Evs Llc Postupci, koder i dekoder za linearno prediktivno kodiranje i dekodiranje zvučnih signala pri prijelazu između okvira koji imaju različitu brzinu uzorkovanja
WO2016142002A1 (en) 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
US10957331B2 (en) 2018-12-17 2021-03-23 Microsoft Technology Licensing, Llc Phase reconstruction in a speech decoder
US10847172B2 (en) * 2018-12-17 2020-11-24 Microsoft Technology Licensing, Llc Phase quantization in a speech encoder

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1078797A (ja) * 1996-09-04 1998-03-24 Nippon Telegr & Teleph Corp <Ntt> 音響信号処理方法
JPH11112352A (ja) * 1990-06-27 1999-04-23 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
JP2001117573A (ja) * 1999-10-20 2001-04-27 Toshiba Corp 音声スペクトル強調方法／装置及び音声復号化装置
JP2001242899A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 音声符号化方法及び装置並びに及び音声復号方法及び装置
JP2004061617A (ja) * 2002-07-25 2004-02-26 Fujitsu Ltd 受話音声処理装置
JP2004302257A (ja) * 2003-03-31 2004-10-28 Matsushita Electric Ind Co Ltd 長期ポストフィルタ
JP2005258226A (ja) * 2004-03-12 2005-09-22 Toshiba Corp 広帯域音声復号化方式及び広帯域音声復号化装置
WO2005106848A1 (ja) * 2004-04-30 2005-11-10 Matsushita Electric Industrial Co., Ltd. スケーラブル復号化装置および拡張レイヤ消失隠蔽方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03125586A (ja) * 1989-10-11 1991-05-28 Sanyo Electric Co Ltd 映像信号処理装置
JP3343965B2 (ja) * 1992-10-31 2002-11-11 ソニー株式会社 音声符号化方法及び復号化方法
JP3024468B2 (ja) 1993-12-10 2000-03-21 日本電気株式会社 音声復号装置
US5517595A (en) * 1994-02-08 1996-05-14 At&T Corp. Decomposition in noise and periodic signal waveforms in waveform interpolation
JP3125586B2 (ja) 1994-07-20 2001-01-22 株式会社神戸製鋼所 電磁コイルを用いた連続鋳造方法
JP3568255B2 (ja) * 1994-10-28 2004-09-22 富士通株式会社 音声符号化装置及びその方法
JP2993396B2 (ja) 1995-05-12 1999-12-20 三菱電機株式会社 音声加工フィルタ及び音声合成装置
IT1281001B1 (it) * 1995-10-27 1998-02-11 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio.
JP3183826B2 (ja) * 1996-06-06 2001-07-09 三菱電機株式会社 音声符号化装置及び音声復号化装置
EP1071081B1 (en) 1996-11-07 2002-05-08 Matsushita Electric Industrial Co., Ltd. Vector quantization codebook generation method
EP1746583B1 (en) 1997-10-22 2008-09-17 Matsushita Electric Industrial Co., Ltd. Sound encoder and sound decoder
JPH11184500A (ja) * 1997-12-24 1999-07-09 Fujitsu Ltd 音声符号化方式及び音声復号化方式
US7423983B1 (en) * 1999-09-20 2008-09-09 Broadcom Corporation Voice and data exchange over a packet based network
JP4218134B2 (ja) * 1999-06-17 2009-02-04 ソニー株式会社 復号装置及び方法、並びにプログラム提供媒体
US6574593B1 (en) 1999-09-22 2003-06-03 Conexant Systems, Inc. Codebook tables for encoding and decoding
KR100348899B1 (ko) * 2000-09-19 2002-08-14 한국전자통신연구원 캡스트럼 분석을 이용한 하모닉 노이즈 음성 부호화기 및부호화 방법
JP2002229599A (ja) * 2001-02-02 2002-08-16 Nec Corp 音声符号列の変換装置および変換方法
US6941263B2 (en) * 2001-06-29 2005-09-06 Microsoft Corporation Frequency domain postfiltering for quality enhancement of coded speech
JP4290917B2 (ja) * 2002-02-08 2009-07-08 株式会社エヌ・ティ・ティ・ドコモ 復号装置、符号化装置、復号方法、及び、符号化方法
CN1266673C (zh) * 2002-03-12 2006-07-26 诺基亚有限公司 可伸缩音频编码的有效改进
US7110941B2 (en) * 2002-03-28 2006-09-19 Microsoft Corporation System and method for embedded audio coding with implicit auditory masking
JP2004064190A (ja) * 2002-07-25 2004-02-26 Ricoh Co Ltd 画像処理装置、方法、プログラムおよび記録媒体
DE10236694A1 (de) * 2002-08-09 2004-02-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum skalierbaren Codieren und Vorrichtung und Verfahren zum skalierbaren Decodieren
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
FR2848715B1 (fr) * 2002-12-11 2005-02-18 France Telecom Procede et systeme de correction multi-references des deformations spectrales de la voix introduites par un reseau de communication
JP4067460B2 (ja) * 2003-06-25 2008-03-26 株式会社リコー 画像復号装置、プログラム、記憶媒体及び画像復号方法
JP4085975B2 (ja) 2003-12-17 2008-05-14 Ｊｆｅスチール株式会社 熱間圧延方法
KR100595202B1 (ko) * 2003-12-27 2006-06-30 엘지전자 주식회사 디지털 오디오 워터마크 삽입/검출 장치 및 방법
US7668712B2 (en) * 2004-03-31 2010-02-23 Microsoft Corporation Audio encoding and decoding with intra frames and adaptive forward error correction
WO2006041055A1 (ja) 2004-10-13 2006-04-20 Matsushita Electric Industrial Co., Ltd. スケーラブル符号化装置、スケーラブル復号装置及びスケーラブル符号化方法
US7316775B2 (en) 2004-11-30 2008-01-08 Tetra Holding (Us), Inc. Air-powered filter arrangement

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11112352A (ja) * 1990-06-27 1999-04-23 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
JPH1078797A (ja) * 1996-09-04 1998-03-24 Nippon Telegr & Teleph Corp <Ntt> 音響信号処理方法
JP2001117573A (ja) * 1999-10-20 2001-04-27 Toshiba Corp 音声スペクトル強調方法／装置及び音声復号化装置
JP2001242899A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 音声符号化方法及び装置並びに及び音声復号方法及び装置
JP2004061617A (ja) * 2002-07-25 2004-02-26 Fujitsu Ltd 受話音声処理装置
JP2004302257A (ja) * 2003-03-31 2004-10-28 Matsushita Electric Ind Co Ltd 長期ポストフィルタ
JP2005258226A (ja) * 2004-03-12 2005-09-22 Toshiba Corp 広帯域音声復号化方式及び広帯域音声復号化装置
WO2005106848A1 (ja) * 2004-04-30 2005-11-10 Matsushita Electric Industrial Co., Ltd. スケーラブル復号化装置および拡張レイヤ消失隠蔽方法

Also Published As

Publication number Publication date
BRPI0612579A2 (pt) 2012-01-03
EP1892702A4 (en) 2010-12-29
WO2006134992A1 (ja) 2006-12-21
CN101199005B (zh) 2011-11-09
CN101199005A (zh) 2008-06-11
JPWO2006134992A1 (ja) 2009-01-08
US8315863B2 (en) 2012-11-20
US20090216527A1 (en) 2009-08-27
EP1892702A1 (en) 2008-02-27

Similar Documents

Publication Publication Date Title
JP4954069B2 (ja) ポストフィルタ、復号化装置及びポストフィルタ処理方法
JP4977471B2 (ja) 符号化装置及び符号化方法
JP5089394B2 (ja) 音声符号化装置および音声符号化方法
JP4954080B2 (ja) 変換符号化装置および変換符号化方法
EP2583277B1 (en) Spectrum flatness control for bandwidth extension
KR101414354B1 (ko) 부호화 장치 및 부호화 방법
JP5339919B2 (ja) 符号化装置、復号装置およびこれらの方法
US20080208575A1 (en) Split-band encoding and decoding of an audio signal
JP5030789B2 (ja) サブバンド符号化装置およびサブバンド符号化方法
US20080249766A1 (en) Scalable Decoder And Expanded Layer Disappearance Hiding Method
US6732075B1 (en) Sound synthesizing apparatus and method, telephone apparatus, and program service medium
JP5377287B2 (ja) ポストフィルタ、復号装置およびポストフィルタ処理方法
JP5403949B2 (ja) 符号化装置および符号化方法
WO2008053970A1 (fr) Dispositif de codage de la voix, dispositif de décodage de la voix et leurs procédés
EP2096632A1 (en) Decoding apparatus and audio decoding method
WO2010103854A2 (ja) 音声符号化装置、音声復号装置、音声符号化方法及び音声復号方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120313

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4954069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees