JP4954069B2 - ポストフィルタ、復号化装置及びポストフィルタ処理方法 - Google Patents

ポストフィルタ、復号化装置及びポストフィルタ処理方法 Download PDF

Info

Publication number
JP4954069B2
JP4954069B2 JP2007521332A JP2007521332A JP4954069B2 JP 4954069 B2 JP4954069 B2 JP 4954069B2 JP 2007521332 A JP2007521332 A JP 2007521332A JP 2007521332 A JP2007521332 A JP 2007521332A JP 4954069 B2 JP4954069 B2 JP 4954069B2
Authority
JP
Japan
Prior art keywords
spectrum
layer
decoded signal
band
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007521332A
Other languages
English (en)
Other versions
JPWO2006134992A1 (ja
Inventor
正浩 押切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007521332A priority Critical patent/JP4954069B2/ja
Publication of JPWO2006134992A1 publication Critical patent/JPWO2006134992A1/ja
Application granted granted Critical
Publication of JP4954069B2 publication Critical patent/JP4954069B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、スケーラブル符号化方式が適用された符号化コードを復号した復号信号のスペクトルの量子化雑音を抑圧するポストフィルタ、復号化装置及びポストフィルタ処理方法に関する。
移動体通信システムでは、電波資源等の有効利用のために、音声信号を低ビットレートに圧縮して伝送することが要求されている。その一方で、通話音声の品質向上や臨場感の高い通話サービスの実現も望まれており、その実現には、音声信号の高品質化のみならず、より帯域の広いオーディオ信号等、音声信号以外の信号をも高品質に符号化することが望ましい。
このように相反する2つの要求に対し、複数の符号化技術を階層的に統合する技術が有望視されている。この技術は、音声信号に適したモデルで入力信号を低ビットレートで符号化する第1レイヤと、入力信号と第1レイヤの復号信号との差分信号を音声以外の信号にも適したモデルで符号化する第2レイヤとを階層的に組み合わせるものである。このように階層的に符号化を行う技術は、符号化装置から得られるビットストリームにスケーラビリティ性、すなわち、ビットストリームの一部の情報からでも復号信号を得ることができる性質を有するため、一般的にスケーラブル符号化(階層符号化)と呼ばれている。
スケーラブル符号化方式は、その性質から、ビットレートの異なるネットワーク間の通信に柔軟に対応することができるので、IPプロトコルで多様なネットワークが統合されていく今後のネットワーク環境に適したものと言える。
MPEG−4(Moving Picture Experts Group phase-4)で規格化された技術を用いてスケーラブル符号化を実現する例として、例えば、非特許文献1に開示されている技術がある。この技術は、第1レイヤにおいて、音声信号に適したCELP(Code Excited Linear Prediction;符号励信線形予測)符号化を用い、第2レイヤにおいて、原信号から第1レイヤ復号信号を減じた残差信号に対して、AAC(Advanced Audio Coder)やTwinVQ(Transform Domain Weighted Interleave Vector Quantization;周波数領域重み付きインターリーブベクトル量子化)等の変換符号化を用いる。
ところで、復号音声信号の音声品質を改善する有効な技術としてポストフィルタが知られている。一般に、低ビットレートで音声信号を符号化した場合、復号信号のスペクトルの谷の部分の量子化雑音が知覚されてしまうが、ポストフィルタを適用することにより、このようなスペクトルの谷の部分の量子化雑音を抑圧することができる。その結果、復号信号の雑音感が減少し、主観品質が改善される。代表的なポストフィルタの伝達関数PF(z)は、フォルマント強調フィルタF(z)と傾き補正フィルタU(z)を用いて、以下の式(1)によって表される(非特許文献2参照)。
Figure 0004954069
ここで、α(i)は復号信号のLPC(Linear Prediction Coefficient)係数、NPはLPC係数の次数、γとγはポストフィルタの雑音抑圧の程度を決定する設定値(0<γ<γ<1)、μはフォルマント強調フィルタにより生じるスペクトル傾きを補正するための設定値、をそれぞれ表す。
また、特許文献1には、復号信号から周波数領域において聴覚マスキング閾値を算出し、この聴覚マスキング閾値からポストフィルタに用いるLPC係数を算出する手法が開示されている。
上述したようにポストフィルタは復号信号のスペクトルの谷の部分を抑圧するので、低ビットレート符号化により圧縮/伸張された復号信号の雑音感を軽減し、主観品質を改善することができる。換言すれば、ポストフィルタは復号信号のスペクトルの形状を変形させることにより雑音感を軽減しているともいえる。
特開平7−160296号公報 三木弼一編著、「MPEG−4のすべて」、初版、(株)工業調査会、1998年9月30日、p.126−127 J.-H. Chen and A. Gersho, "Adaptive postfiltering for quality enhancement of coded speech," IEEE Trans. Speech and Audio Processing, vol.SAP-3, pp.59-71, 1995.
しかしながら、ビットレートが比較的高い符号化方式により圧縮/伸張された復号信号に対してポストフィルタを適用した場合には、何ら変形を加える必要のない復号信号のスペクトルの形状を変形させてしまい、逆に、復号信号の主観品質を低下させてしまうことがある。以下、具体的に説明する。
スケーラブル符号化の場合、レイヤの構成にもよるが、復号信号の音声品質が帯域毎に異なる場合がある。ここでいう音声品質とは、人間が音を受聴して感じる主観品質、または信号対雑音比(SNR:Signal to Noise Ratio)のような客観品質を表す。ここで、例えば、図1に示されるようなレイヤ構成を有するスケーラブル符号化を考える。図1では、横軸が周波数を、縦軸が音声品質を表し、各レイヤが担当する帯域及び音声品質を示す。この場合、レイヤ1は低域部(周波数kは0以上、FL未満)と高域部(周波数kはFL以上、FH未満)の基本品質を担当し、レイヤ2は低域部の改善品質を担当する。また、レイヤ3は高域部の改善品質を担当する。
仮に、ネットワークの状況や使用機器の能力などによりレイヤ3を復号処理に用いない場合には、図2に示されるように、低域部では改善品質の復号信号が、また、高域部では基本品質の復号信号が生成されることになる。
特許文献1又は非特許文献2に開示のポストフィルタでは、このような帯域毎の品質の違いにもかかわらず、常に一定の基準に従いポストフィルタの特性が決定されてしまう。そのため、本来ポストフィルタをかける必要のない帯域、ポストフィルタを弱くかけるべき帯域(図2の低域部)、又は、ポストフィルタを強くかけるべき帯域(図2の高域部)のいずれであっても、常に一定の基準に従いポストフィルタの特性が決定されるため、ポストフィルタによる音声品質の改善効果が十分に得られない。
本発明の目的は、復号信号の音声品質が帯域毎に異なる場合でも、復号信号の音声品質を改善するポストフィルタ、復号化装置及びポストフィルタ処理方法を提供することである。
本発明のポストフィルタは、複数のレイヤを備える符号化方式によって階層符号化された信号の復号信号の量子化雑音を抑圧するポストフィルタであって、前記復号信号がいずれのレイヤによって復号されたかに応じて、前記復号信号の音声品質が良好な帯域を決定する帯域決定手段と、決定された前記帯域に属する前記復号信号のスペクトルの周波数軸上での変化を抑圧するように前記スペクトルを修正するスペクトル修正手段と、修正された前記スペクトルに基づく係数を用いて、前記復号信号のフィルタリングを行うフィルタ手段と、を具備する構成を採る。
本発明の復号化装置は、複数のレイヤを備える符号化方式によって階層符号化された信号の復号信号の量子化雑音を抑圧する復号化装置であって、前記復号信号がいずれのレイヤによって復号されたかに応じて、前記復号信号の音声品質が良好な帯域を決定する帯域決定手段と、決定された前記帯域に属する前記復号信号のスペクトルの周波数軸上での変化を抑圧するように前記スペクトルを修正するスペクトル修正手段と、修正された前記スペクトルに基づく係数を用いて、前記復号信号のフィルタリングを行うフィルタ手段と、を具備する構成を採る。
本発明のポストフィルタ処理方法は、複数のレイヤを備える符号化方式によって階層符号化された信号の復号信号の量子化雑音を抑圧するポストフィルタ処理方法であって、前記復号信号がいずれのレイヤによって復号されたかに応じて、前記復号信号の音声品質が良好な帯域を決定する帯域決定工程と、決定された前記帯域に属する前記復号信号のスペクトルの周波数軸上での変化を抑圧するように前記スペクトルを修正するスペクトル修正工程と、修正された前記スペクトルに基づく係数を用いて、前記復号信号のフィルタリングを行うフィルタ工程と、を具備するようにした。
本発明によれば、復号信号の音声品質が帯域毎に異なる場合でも、復号信号の音声品質を改善することができる。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。ただし、実施の形態において、同一機能を有する構成には同一符号を付し、重複する説明は省略する。また、本発明の実施の形態では、3層の階層符号化(スケーラブル符号化、エンベディッド符号化)を例に、レイヤ1〜3が図1に示した信号帯域及び音声品質を担当するものとして説明する。
(実施の形態1)
図3は、本発明の実施の形態1に係る復号化装置100の主要な構成を示すブロック図である。この図において、分離部101は、図示せぬ符号化装置から送出されたビットストリームを受信し、受信したビットストリームに記録されているレイヤ情報に基づいて、ビットストリームを分離し、レイヤ情報を切替部105及びポストフィルタ106の修正LPC算出部107に出力する。
レイヤ情報がレイヤ3を示す場合、すなわち、ビットストリームに全てのレイヤ(第1レイヤ〜第3レイヤ)の符号化コードが格納されている場合、分離部101は、ビットストリームから第1レイヤ符号化コード、第2レイヤ符号化コード、第3レイヤ符号化コードを分離する。分離された第1レイヤ符号化コードは第1レイヤ復号化部102に、第2レイヤ符号化コードは第2レイヤ復号化部103に、第3レイヤ符号化コードは第3レイヤ復号化部104にそれぞれ出力される。
また、レイヤ情報がレイヤ2を示す場合、すなわち、ビットストリームに第1レイヤ及び第2レイヤの符号化コードが格納されている場合、分離部101は、ビットストリームから第1レイヤ符号化コード、第2レイヤ符号化コードを分離する。分離された第1レイヤ符号化コードは第1レイヤ復号化部102に、第2レイヤ符号化コードは第2レイヤ復号化部103にそれぞれ出力される。
さらに、レイヤ情報がレイヤ1を示す場合、すなわち、ビットストリームに第1レイヤの符号化コードのみが格納されている場合、分離部101は、ビットストリームから第1レイヤ符号化コードを分離し、分離した第1レイヤ符号化コードを第1レイヤ復号化部102に出力する。
第1レイヤ復号化部102は、分離部101から出力された第1レイヤ符号化コードを用いて、信号帯域kが0以上、FH未満における基本品質の第1レイヤ復号信号を生成し、生成した第1レイヤ復号信号を切替部105及び第2レイヤ復号化部103に出力する。
第2レイヤ復号化部103は、分離部101から第2レイヤ符号化コードが出力されると、この第2レイヤ符号化コードと第1レイヤ復号化部102から出力された第1レイヤ復号信号とを用いて、信号帯域kが0以上、FL未満における改善品質と、信号帯域kがFL以上、FH未満における基本品質の第2レイヤ復号信号を生成する。生成された第2レイヤ復号信号は切替部105及び第3レイヤ復号化部104に出力される。なお、第2レイヤ復号化部103は、レイヤ情報がレイヤ1を示す場合、第2レイヤ符号化コードが得られないので、全く動作しないか、もしくは、第2レイヤ復号化部103に備わる変数を更新する。
第3レイヤ復号化部104は、分離部101から第3レイヤ符号化コードが出力されると、この第3レイヤ符号化コードと第2レイヤ復号化部103から出力された第2レイヤ復号信号とを用いて、信号帯域kが0以上、FH未満における改善品質の第3レイヤ復号信号を生成する。生成された第3レイヤ復号信号は切替部105に出力される。なお、第3レイヤ復号化部104は、レイヤ情報がレイヤ1又はレイヤ2を示す場合、第3レイヤ符号化コードが得られないので、全く動作しないか、もしくは、第3レイヤ復号化部104に備わる変数を更新する。
切替部105は、分離部101から出力されたレイヤ情報に基づいて、いずれのレイヤの復号信号が得られるかを判断し、最も高次のレイヤにおける復号信号を修正LPC算出部107及びフィルタ部108に出力する。
ポストフィルタ106は、修正LPC算出部107とフィルタ部108とを備え、修正LPC算出部107は、分離部101から出力されたレイヤ情報と、切替部105から出力された復号信号とを用いて、修正LPC係数を算出し、算出した修正LPC係数をフィルタ部108に出力する。修正LPC算出部107の詳細については後述する。
フィルタ部108は、修正LPC算出部107から出力された修正LPC係数によってフィルタを構成し、切替部105から出力された復号信号にポストフィルタ処理を施し、ポストフィルタ処理を施した復号信号を出力する。
図4は、図3に示した修正LPC算出部107の内部構成を示すブロック図である。この図において、周波数変換部111は、切替部105から出力された復号信号の周波数分析を行い、復号信号のスペクトル(以下、「復号スペクトル」という)を求め、求めた復号スペクトルをパワースペクトル算出部112に出力する。
パワースペクトル算出部112は、周波数変換部111から出力された復号スペクトルのパワー(以下、「パワースペクトル」という)を算出し、算出したパワースペクトルをパワースペクトル修正部114に出力する。
修正帯域決定部113は、分離部101から出力されたレイヤ情報に基づいて、パワースペクトルの修正を行う帯域(以下、「修正帯域」という)を決定し、決定した帯域は修正帯域情報としてパワースペクトル修正部114に出力する。
本実施の形態では、各レイヤは図1に示した信号帯域及び音声品質を担当しているので、レイヤ情報がレイヤ1を示す場合、修正帯域決定部113は修正帯域を0(修正を行わない)とし、レイヤ情報がレイヤ2を示す場合、修正帯域を0〜FLとし、また、レイヤ情報がレイヤ3を示す場合、修正帯域を0〜FHとして修正帯域情報を生成する。
パワースペクトル修正部114は、修正帯域決定部113から出力された修正帯域情報に基づいて、パワースペクトル算出部112から出力されたパワースペクトルを修正し、修正したパワースペクトルを逆変換部115に出力する。
ここで、パワースペクトルの修正とは、ポストフィルタ106の特性を弱め、スペクトルの変形が小さくなるようにすることを意味し、より具体的には、パワースペクトルの周波数軸上での変化を抑圧するように修正することを意味する。これにより、レイヤ情報がレイヤ2を示す場合、0〜FLの帯域におけるポストフィルタ106の特性が弱められ、レイヤ情報がレイヤ3を示す場合、0〜FHの帯域におけるポストフィルタ106の特性が弱められる。
逆変換部115は、パワースペクトル修正部114から出力された修正パワースペクトルに逆変換を施し、自己相関関数を求める。求められた自己相関関数はLPC分析部116に出力される。なお、逆変換部115はFFT(Fast Fourier Transform)を利用することにより、演算量を削減することができる。このとき、修正パワースペクトルの次数が2で表せない場合、分析長が2になるよう修正パワースペクトルを平均化してもよいし、修正パワースペクトルを間引いてもよい。
LPC分析部116は、逆変換部115から出力された自己相関関数に自己相関法などを用いてLPC係数を求め、求めたLPC係数を修正LPC係数としてフィルタ部108に出力する。
次に、上述したパワースペクトル修正部114の具体的な実現方法について説明する。まず、第1の実現方法として、修正帯域におけるパワースペクトルを平坦化する方法について説明する。この方法は、修正帯域におけるパワースペクトルの平均値を算出し、算出した平均値によって平均化前のスペクトルを置き換えるものである。
図5に、第1の実現方法によるパワースペクトルの修正の様子を示す。この図では、女性の有声部(/o/)のパワースペクトルに対し、レイヤ情報がレイヤ2(0〜FLの帯域におけるポストフィルタ106の特性を弱める)のときの修正の様子を示しており、0〜FLの帯域を約22dBのパワースペクトルで置き換えている。このとき、修正される帯域と修正されない帯域の接続部分でのスペクトルの変化が不連続にならないようにパワースペクトルを修正することが望ましい。その具体的な方法として、例えば、前記接続部分とその近傍のパワースペクトルに対して移動平均値を求め、その移動平均値で対応するパワースペクトルを置き換える。これにより正確なスペクトル特性を有する修正LPC係数を求めることができる。
次に、パワースペクトル修正部114の第2の実現方法について説明する。第2の実現方法は、修正帯域におけるパワースペクトルのスペクトル傾斜を求め、求めたスペクトル傾斜によって当該帯域のスペクトルを置き換えるものである。ここで、スペクトル傾斜とは、当該帯域におけるパワースペクトルの全体的な傾きを示すものである。例えば、復号信号の1次のPARCOR係数(反射係数)、あるいは当該PARCOR係数に定数を乗じて形成されるディジタルフィルタのスペクトル特性が用いられる。このスペクトル特性に、当該帯域におけるパワースペクトルのエネルギーが保存されるように算出された係数を乗じたもので当該帯域のパワースペクトルが置き換えられる。
図6に、第2の実現方法によるパワースペクトルの修正の様子を示す。この図では、0〜FLの帯域におけるパワースペクトルを約23dB〜26dBに傾斜するパワースペクトルで置き換えている。
このように修正帯域におけるパワースペクトルをスペクトル傾斜で置き換えることにより、ポストフィルタ106の傾き補正フィルタ(式1のU(z))による高域強調の作用を当該帯域内では打ち消しあうことになる。すなわち、式(1)のU(z)のスペクトル特性の逆特性に相当するスペクトル特性を付与することになる。これにより、ポストフィルタ106を含めた当該帯域のスペクトル特性をより平坦化させることができる。
また、パワースペクトル修正部114の第3の実現方法として、修正帯域におけるパワースペクトルをα乗(0<α<1)したものを用いてもよい。この方法では、前述したようなパワースペクトルを平坦化する方法に比べて、より柔軟にポストフィルタ106の特性を設計することができる。
次に、上述した修正LPC算出部107によって算出された修正LPC係数を用いて構成されたポストフィルタ106のスペクトル特性について図7を用いて説明する。ここでは、図6に示したスペクトルを用いて修正LPC係数を求め、かつ、ポストフィルタ106の設定値をγ=0.6、γ=0.8、μ=0.4とした場合のスペクトル特性を例に説明する。なお、LPC係数の次数は18次とする。
図7に示す実線はパワースペクトル修正を行った場合のスペクトル特性を表し、点線はパワースペクトル修正を行わなかった場合(設定値は上記同様)のスペクトル特性を表す。図7に示すように、パワースペクトル修正を行った場合のポストフィルタ106の特性は、0〜FLの帯域ではほぼ平坦になっており、FL〜FHの帯域ではパワースペクトル修正を行わなかった場合と同様のスペクトル特性となっている。
一方、ナイキスト周波数近傍では、パワースペクトル修正を行った場合のスペクトル特性は、パワースペクトル修正を行わなかった場合のスペクトル特性に比べ、若干減衰しているが、この帯域の信号成分は他の帯域の信号成分に比べて小さいため、この影響はほとんど無視することができる。
このように実施の形態1によれば、レイヤ情報に応じた帯域のパワースペクトルを修正し、修正したパワースペクトルに基づいて修正LPC係数を算出し、算出した修正LPC係数によってポストフィルタを構成することにより、各レイヤが担当する帯域毎に音声品質が異なる場合でも、音声品質に応じたスペクトル特性によって復号信号にポストフィルタ処理を施すことができるので、音声品質を改善することができる。
なお、本実施の形態では、レイヤ情報がレイヤ1〜3のいずれの場合も、修正LPC係数を算出するものとして説明したが、符号化の対象となる全ての帯域がほぼ同一の音声品質であるレイヤの場合(本実施の形態では、全帯域が基本品質のレイヤ1、及び、全帯域が改善品質のレイヤ3)には、必ずしも帯域毎に修正LPC係数を算出する必要はなく、このような場合、ポストフィルタ106の強さを規定する設定値(γ、γ及びμ)をレイヤ毎に予め用意し、用意された設定値を切り替えてポストフィルタ106を直接構成するようにしてもよい。これにより、修正LPC係数の算出に要する処理量、処理時間を削減することができる。
(実施の形態2)
図8は、本発明の実施の形態2に係る復号化装置200の主要な構成を示すブロック図である。この図において、第1レイヤ復号化部201は、分離部101から出力された第1レイヤ符号化コードを用いて、信号帯域kが0以上、FH未満における基本品質の第1レイヤ復号信号を生成し、生成した第1レイヤ復号信号を切替部105及び第2レイヤ復号化部202に出力する。また、第1レイヤ復号信号を生成する過程で第1レイヤ復号LPC係数を生成し、生成した第1レイヤ復号LPC係数を第2切替部204に出力する。
第2レイヤ復号化部202は、分離部101から第2レイヤ符号化コードが出力されると、この第2レイヤ符号化コードと第1レイヤ復号化部201から出力された第1レイヤ復号信号とを用いて、信号帯域kが0以上、FL未満における改善品質と、信号帯域kがFL以上、FH未満における基本品質の第2レイヤ復号信号を生成する。また、第2レイヤ復号信号を生成する過程で第2レイヤ復号LPC係数を生成する。生成された第2レイヤ復号信号は切替部105及び第3レイヤ復号化部203に出力され、第2レイヤ復号LPC係数は第2切替部204に出力される。
第3レイヤ復号化部203は、分離部101から第3レイヤ符号化コードが出力される
と、この第3レイヤ符号化コードと第2レイヤ復号化部202から出力された第2レイヤ復号信号とを用いて、信号帯域kが0以上、FH未満における改善品質の第3レイヤ復号信号を生成する。また、第3レイヤ復号信号を生成する過程で第3レイヤ復号LPC係数を生成する。生成された第3レイヤ復号信号は切替部105に出力され、第3レイヤ復号LPC係数は第2切替部204に出力される。
第2切替部204は、分離部101からレイヤ情報を取得し、取得したレイヤ情報に基づいて、いずれのレイヤの復号信号が得られるかを判断し、最も高次のレイヤにおける復号LPC係数を修正LPC算出部205に出力する。ただし、復号処理の過程で復号LPC係数を生成しない場合も考えられ、このような場合、第2切替部204が取得した復号LPC係数からいずれかの復号LPC係数が選択される。
修正LPC算出部205は、分離部101から出力されたレイヤ情報と、第2切替部204から出力された復号LPC係数とを用いて、修正LPC係数を算出し、算出した修正LPC係数をフィルタ部108に出力する。
図9は、図8に示した修正LPC算出部205の内部構成を示すブロック図である。この図において、LPCスペクトル算出部211は、第2切替部204から出力された復号LPC係数を離散フーリエ変換し、各複素スペクトルのエネルギーを算出し、算出したエネルギーをLPCスペクトルとしてLPCスペクトル修正部212に出力する。
LPCスペクトル修正部212は、修正帯域決定部113から出力された修正帯域情報に基づいて、LPCスペクトル算出部211によって出力されたLPCスペクトルから修正LPCスペクトルを算出し、算出した修正LPCスペクトルを逆変換部115に出力する。
このように実施の形態2によれば、復号LPC係数から算出されたLPCスペクトルは、復号信号の微細情報が除かれたスペクトル包絡であり、このスペクトル包絡に基づいて修正LPC係数を求めることにより、より正確なポストフィルタを実現することができるので、音声品質の向上を図ることができる。
(実施の形態3)
図10は、本発明の実施の形態3に係る復号化装置300の主要な構成を示すブロック図である。この図において、第1レイヤ復号化部301は、分離部101から出力された第1レイヤ符号化コードを用いて、信号帯域kが0以上、FH未満における基本品質の第1レイヤ復号信号を生成し、生成した第1レイヤ復号信号を切替部105及び第2レイヤ復号化部302に出力する。また、第1レイヤ復号信号を生成する過程で第1レイヤ復号スペクトル(例えば、復号MDCT(Modified Discrete Cosine Transform)係数)を生成し、生成した第1レイヤ復号スペクトルを第2切替部204に出力する。
第2レイヤ復号化部302は、分離部101から第2レイヤ符号化コードが出力されると、この第2レイヤ符号化コードと第1レイヤ復号化部301から出力された第1レイヤ復号信号とを用いて、信号帯域kが0以上、FL未満における改善品質と、信号帯域kがFL以上、FH未満における基本品質の第2レイヤ復号信号を生成する。また、第2レイヤ復号信号を生成する過程で第2レイヤ復号スペクトルを生成する。生成された第2レイヤ復号信号は切替部105及び第3レイヤ復号化部303に出力され、第2レイヤ復号スペクトルは第2切替部204に出力される。
第3レイヤ復号化部303は、分離部101から第3レイヤ符号化コードが出力されると、この第3レイヤ符号化コードと第2レイヤ復号化部302から出力された第2レイヤ
復号信号とを用いて、信号帯域kが0以上、FH未満における改善品質の第3レイヤ復号信号を生成する。また、第3レイヤ復号信号を生成する過程で第3レイヤ復号スペクトルを生成する。生成された第3レイヤ復号信号は切替部105に出力され、第3レイヤ復号スペクトルは第2切替部204に出力される。
修正LPC算出部304は、分離部101から出力されたレイヤ情報と、第2切替部204から出力された復号スペクトルとを用いて、修正LPC係数を算出し、算出した修正LPC係数をフィルタ部108に出力する。
修正LPC算出部304は、図11に示す内部構成を有し、周波数変換を行うことなく、修正LPC係数を算出する。
このように実施の形態3によれば、復号過程で生成される復号スペクトルからパワースペクトルを算出し、算出したパワースペクトルを用いて修正LPC係数を算出するため、時間領域の信号を周波数領域の信号に変換する周波数変換処理を削減することができる。
(実施の形態4)
図12は、本発明の実施の形態4に係る復号化装置400の主要な構成を示すブロック図である。この図において、第1レイヤスペクトル復号化部401は、分離部101から出力された第1レイヤ符号化コードを用いて、信号帯域kが0以上、FH未満における基本品質の第1レイヤ復号スペクトルを生成し、生成した第1レイヤ復号スペクトルを切替部105及び第2レイヤスペクトル復号化部402に出力する。
第2レイヤスペクトル復号化部402は、分離部101から第2レイヤ符号化コードが出力されると、この第2レイヤ符号化コードと第1レイヤスペクトル復号化部401から出力された第1レイヤ復号スペクトルとを用いて、信号帯域kが0以上、FL未満における改善品質と、信号帯域kがFL以上、FH未満における基本品質の第2レイヤ復号スペクトルを生成する。生成された第2レイヤ復号スペクトルは切替部105及び第3レイヤスペクトル復号化部403に出力される。
第3レイヤスペクトル復号化部403は、分離部101から第3レイヤ符号化コードが出力されると、この第3レイヤ符号化コードと第2レイヤスペクトル復号化部402から出力された第2レイヤ復号スペクトルとを用いて、信号帯域kが0以上、FH未満における改善品質の第3レイヤ復号スペクトルを生成する。生成された第3レイヤ復号スペクトルは切替部105に出力される。
ポストフィルタ404は、抑圧情報算出部405と乗算器406とを備え、抑圧情報算出部405は、分離部101から出力されたレイヤ情報に基づいて、切替部105から出力された復号スペクトルをサブバンド毎に抑圧する抑圧情報を算出し、算出した抑圧情報を乗算器406に出力する。抑圧情報算出部405の詳細については後述する。
フィルタ手段としての乗算器406は、抑圧情報算出部405から出力された抑圧情報を切替部105から出力された復号スペクトルに乗算し、抑圧情報を乗算した復号スペクトルを時間領域変換部407に出力する。
時間領域変換部407は、ポストフィルタ404の乗算器406から出力された復号スペクトルを時間領域の信号に変換し、復号信号として出力する。
図13は、図12に示した抑圧情報算出部405の内部構成を示すブロック図である。この図において、抑圧係数算出部411は、パワースペクトル修正部114から出力され
た修正パワースペクトルを予め定められたバンド幅のサブバンドに分割し、分割したサブバンド毎の平均値を求める。そして、求めた平均値が所定の閾値より小さいサブバンドを選択し、選択したサブバンドについて、復号スペクトルを抑圧する係数(ベクトル値)を算出する。これにより、スペクトルの谷となる帯域を含むサブバンドを減衰させることができる。ちなみに、抑圧係数の算出は選択されたサブバンドの平均値に基づいて行われる。その具体的な算出法としては、例えば、サブバンドの平均値に所定の係数を乗じて抑圧係数を算出する。また、平均値が所定の閾値以上のサブバンドについては、復号スペクトルを変化させないような係数が算出される。
なお、抑圧係数は、LPC係数である必要はなく、復号スペクトルに直接乗じられる係数であればよい。これにより、逆変換処理及びLPC分析処理を行う必要がなくなり、これらの処理に要する演算量を削減することができる。
このように実施の形態4によれば、復号スペクトルから抑圧係数を求め、求めた抑圧係数を復号スペクトルに直接乗算することにより、周波数領域で復号信号のスペクトルの変形を行うことになり、逆変換処理及びLPC分析処理を行う必要がなくなり、これらの処理に要する演算量を削減することができる。
(実施の形態5)
図14は、本発明の実施の形態5に係る復号化装置600の主要な構成を示すブロック図である。この図において、ポストフィルタ601は、周波数領域変換部602、抑圧情報算出部603及び乗算器604を備え、周波数領域変換部602は、切替部105から出力された第n復号信号(nは1〜3)を周波数領域に変換して復号スペクトルを生成し、生成した復号スペクトルを抑圧情報算出部603及び乗算器604に出力する。
抑圧情報算出部603は、分離部101から出力されたレイヤ情報に基づいて、切替部105から出力された復号信号をサブバンド毎に抑圧する抑圧情報を算出し、算出した抑圧情報を乗算器604に出力する。抑圧情報算出部603の詳細については、図13に示した構成と同様であるので、ここでは省略する。
フィルタ手段としての乗算器604は、抑圧情報算出部603から出力された抑圧情報を周波数領域変換部602から出力された復号スペクトルに乗算し、抑圧情報を乗算した復号スペクトルを時間領域変換部605に出力する。
時間領域変換部605は、ポストフィルタ601の乗算器604から出力された復号スペクトルを時間領域の信号に変換し、復号信号として出力する。
このように実施の形態5によれば、復号信号から抑圧係数を求め、求めた抑圧係数を復号信号に直接乗算することにより、周波数領域で復号信号のスペクトルの変形を行うことになり、逆変換処理及びLPC分析処理を行う必要がなくなり、これらの処理に要する演算量を削減することができる。
(実施の形態6)
図15は、本発明の実施の形態6に係る復号化装置700の主要な構成を示すブロック図である。この図において、第2切替部701は、分離部101からレイヤ情報を取得し、取得したレイヤ情報に基づいて、いずれのレイヤの復号スペクトルが得られるかを判断し、最も高次のレイヤにおける復号LPC係数をポストフィルタ702の抑圧情報算出部703に出力する。ただし、復号処理の過程で復号LPC係数を生成しない場合も考えられ、このような場合、第2切替部701が取得した復号LPC係数からいずれかの復号LPC係数が選択される。
抑圧情報算出部703は、分離部101から出力されたレイヤ情報と、第2切替部701から出力されたLPC係数とを用いて、抑圧情報を算出し、算出した抑圧情報を乗算器704に出力する。抑圧情報算出部703の詳細については後述する。
乗算器704は、抑圧情報算出部703から出力された抑圧情報を切替部105から出力された復号スペクトルに乗算し、抑圧情報を乗算した復号スペクトルを時間領域変換部407に出力する。
図16は、図15に示した抑圧情報算出部703の内部構成を示すブロック図である。この図において、LPCスペクトル算出部711は、第2切替部701から出力された復号LPC係数を離散フーリエ変換し、各複素スペクトルのエネルギーを算出し、算出したエネルギーをLPCスペクトルとしてLPCスペクトル修正部712に出力する。すなわち、復号LPC係数をα(i)と表したとき、次式(2)で表されるフィルタを構成する。
Figure 0004954069
LPCスペクトル算出部711は、上式(2)で表されるフィルタのスペクトル特性を算出し、LPCスペクトル修正部712に出力する。ここで、NPは復号LPC係数の次数を表す。
また、雑音抑圧の強さの程度を調整する所定のパラメータγ及びγを用いて、以下の式(3)で表されるフィルタを構成し、このフィルタのスペクトル特性を算出するようにしてもよい(0<γ<γ<1)。
Figure 0004954069
また、式(2)又は式(3)で表されるフィルタには、低域部(もしくは高域部)が高域部(もしくは低域部)に比べて過度に強調される特性(一般に、この特性を「スペクトル傾き」という)が生じる場合があるが、これを補正するためのフィルタ(アンチチルトフィルタ)を併用してもよい。
LPCスペクトル修正部712は、パワースペクトル修正部114と同様に、修正帯域決定部113から出力された修正帯域情報に基づいて、LPCスペクトル算出部711から出力されたLPCスペクトルを修正し、修正したLPCスペクトルを抑圧係数算出部713に出力する。
抑圧係数算出部713は、実施の形態4において説明した方法に基づいて、抑圧係数を算出してもよいし、次に示す方法に基づいて算出してもよい。すなわち、抑圧係数算出部
713では、LPCスペクトル修正部712から出力された修正LPCスペクトルを予め定められたバンド幅のサブバンドに分割し、分割したサブバンド毎の平均値を求める。そして、各サブバンドの平均値の中で最大となるサブバンドを求め、当該サブバンドの平均値を用いて各サブバンドの平均値を正規化する。当該正規化後のサブバンド平均値を抑圧係数として出力する。
この方法では、所定のサブバンドに分割した後に抑圧係数を出力する方法について説明しているが、より細かく抑圧係数を決定するために、周波数毎に抑圧係数を算出して出力してもよい。その場合、抑圧係数算出部713では、LPCスペクトル修正部712から出力された修正LPCスペクトルの中で最大となる周波数を求め、当該周波数のスペクトルを用いて各周波数のスペクトルを正規化する。当該正規化後のスペクトルを抑圧係数として出力する。
このように実施の形態6によれば、復号LPC係数から算出されたLPCスペクトルは、復号信号の微細情報が除かれたスペクトル包絡であり、このスペクトル包絡に基づいて直接的に抑圧係数を求めることにより、少ない演算量でより正確なポストフィルタを実現することができ、音声品質の向上を図ることができる。
(実施の形態7)
本発明の実施の形態7では、2層の階層符号化(スケーラブル符号化、エンベディッド符号化)を例に、レイヤ1〜2が図17に示した信号帯域及び音声品質を担当するものとして説明する。レイヤ1は低域部(周波数kは0以上、FL未満)を担当し、レイヤ2は高域部(周波数kはFL以上、FH未満)を担当する。レイヤ1はビット配分がレイヤ2のビット配分より大きいため改善品質を、レイヤ2は基本品質をそれぞれ実現する。
このようなレイヤ構成において必要とされるポストフィルタ処理の程度を図18に示す。すなわち、レイヤ1では低域部の改善品質を実現するため、低域部のポストフィルタ処理は必要ない。一方、レイヤ2では高域部の基本品質のみを実現するため、高域部のポストフィルタ処理の程度を「強」にする必要がある。
本実施の形態では、LPC係数によって構成される逆フィルタに入力信号を通して得られるLPC予測残差信号を周波数領域で符号化する符号化方式を想定して説明する。
図19は、本発明の実施の形態7に係る復号化装置800の主要な構成を示すブロック図である。この図において、分離部101は、図示せぬ符号化装置から送出されたビットストリームを受信し、受信したビットストリームから第1レイヤ符号化コード、第2レイヤ符号化コード(全帯域予測残差スペクトル)、第2レイヤ符号化コード(全帯域LPC係数)を生成し、第1レイヤ符号化コードを第1レイヤ復号化部801に出力し、第2レイヤ符号化コード(全帯域予測残差スペクトル)を第2レイヤスペクトル復号化部807に出力し、第2レイヤ符号化コード(全帯域LPC係数)を全帯域LPC係数復号化部804に出力する。
第1レイヤ復号化部801は、分離部101から出力された第1レイヤ符号化コードを用いて、信号帯域kが0以上、FL未満における改善品質の第1レイヤ復号信号を生成し、生成した第1レイヤ復号信号をアップサンプリング部802に出力する。また、第1レイヤ復号信号を生成する過程で復号LPC係数を生成し、生成した復号LPC係数を全帯域LPC係数復号化部804に出力する。
アップサンプリング部802は、第1レイヤ復号化部801から出力された第1レイヤ復号信号のサンプリングレートを上げ、アップサンプリングした信号を逆フィルタ部80
5及び切替部105に出力する。
全帯域LPC係数復号化部804は、第1レイヤ復号化部801から出力された復号LPC係数を用いて、分離部101から出力された第2レイヤ符号化コード(全帯域LPC係数)を復号し、復号全帯域LPC係数を逆フィルタ部805、抑圧情報算出部809及び合成フィルタ部812に出力する。なお、ここで、全帯域とは周波数kが0以上、FH未満の帯域を表し、復号全帯域LPC係数は全帯域のスペクトル包絡を表す。
逆フィルタ部805は、全帯域LPC係数復号化部804から出力された復号全帯域LPC係数により逆フィルタを構成し、この逆フィルタにアップサンプリング部802から出力された第1レイヤ復号信号を通して予測残差信号を生成し、生成した予測残差信号を周波数領域変換部806に出力する。逆フィルタA(z)は、LPC係数α(i)を用いて以下の式で表される。
Figure 0004954069
ここで、NPはLPC係数の次数を表す。また、逆フィルタの強さを制御するため、パラメータγ(0<γ<1)を用いて以下の式で表される逆フィルタを構成してフィルタ処理を行ってもよい。
Figure 0004954069
周波数領域変換部806は、逆フィルタ部805から出力された予測残差信号の周波数分析を行い、予測残差信号のスペクトル(予測残差スペクトル)を求め、求めた予測残差スペクトルを第2レイヤスペクトル復号化部807に出力する。
第2レイヤスペクトル復号化部807は、分離部101から第2レイヤ符号化コード(全帯域予測残差スペクトル)が出力されると、周波数領域変換部806から出力された予測残差スペクトルとを用いて、第2レイヤ符号化コード(全帯域予測残差スペクトル)を復号する。生成された全帯域予測残差スペクトルはポストフィルタ808に出力される。
ポストフィルタ808は、抑圧情報算出部809と乗算器810とを備え、抑圧情報算出部809は、全帯域LPC係数復号化部804から出力された復号全帯域LPC係数に基づいて、抑圧情報を算出し、算出した抑圧情報を乗算器810に出力する。抑圧情報算出部809の詳細については後述する。
乗算器810は、抑圧情報算出部809から出力された抑圧情報を第2レイヤスペクトル復号化部807から出力された全帯域予測残差スペクトルに乗算し、抑圧情報を乗算した全帯域予測残差スペクトルを逆変換部811に出力する。
逆変換部811は、ポストフィルタ808から出力された全帯域予測残差スペクトルに逆変換を施し、全帯域予測残差信号を求める。求められた全帯域予測残差信号は合成フィルタ部812に出力される。
合成フィルタ部812は、全帯域LPC係数復号化部804から出力された復号全帯域LPC係数により合成フィルタを構成し、この合成フィルタに逆変換部811から出力さ
れた全帯域予測残差信号を通して全帯域復号信号を生成し、生成した全帯域復号信号を切替部105に出力する。合成フィルタH(z)は、逆フィルタA(z)を用いて以下の式で表される。
Figure 0004954069
このように復号化装置800によれば、レイヤ情報がレイヤ1を示す場合には、第2レイヤ復号化部803は動作せず、第1レイヤ復号化部801が動作し、ポストフィルタ処理はなしとなる。また、レイヤ情報がレイヤ2を示す場合には、第1レイヤ復号化部801及び第2レイヤ復号化部803が動作し、ポストフィルタは高域部に程度「強」の処理を行う。すなわち、ポストフィルタは第2レイヤ復号化部803が動作する場合に機能するため、ポストフィルタにレイヤ情報を出力する必要はない。
図20は、図19に示した抑圧情報算出部809の内部構成を示すブロック図である。抑圧情報算出部809の内部構成は、図16に示した抑圧情報算出部703の内部構成から修正帯域決定部113を削除したものであり、その他の構成は抑圧情報算出部703と同様であるため、その詳細な説明は省略する。
このように実施の形態7によれば、低域部を担当するレイヤ1と高域部を担当するレイヤ2との2層によって階層符号化された場合でも、スペクトル包絡に基づいて直接的に抑圧係数を求めることにより、少ない演算量でより正確なポストフィルタを実現することができ、音声品質の向上を図ることができる。
なお、本実施の形態では、第2レイヤ復号化部803内においてポストフィルタ処理を行うものとして説明したが、本発明はこれに限らず、第1レイヤ復号化部801内において低域部(周波数kが0以上、FL未満)の品質を改善するポストフィルタ処理を行ってもよい。この場合、低域部にポストフィルタ処理を施すことにより、低域部の音声品質を高品質(改善品質又はそれに相当する音声品質)にすることができる。したがって、第1レイヤ復号化部801と第2レイヤ復号化部803とのそれぞれにおいてポストフィルタ処理を行うことにより、低域部及び高域部、すなわち全帯域の音声品質を改善することができる。
(他の実施の形態)
上記各実施の形態では、スケーラブル符号化を前提に説明したが、ここでは、スケーラブル符号化以外の符号化方式を適用した場合について説明する。この場合、レイヤ情報に代えてビット配分の大きさを示すビット配分情報を用いることとする。
実施の形態1に対応する復号化装置500の構成を図21に示す。この図が示すように、ビットストリームが分離部501において符号化コードとビット配分情報とに分離され、分離された符号化コードが復号化部502に出力され、分離されたビット配分情報が復号化部502及び修正LPC算出部107に出力される。
符号化コードはビット配分情報に基づいて復号化部502において復号され、復号信号が修正LPC算出部107及びフィルタ部108に出力される。
また、実施の形態2に対応する復号化装置510の構成を図22に示す。この図が示すように、復号化部511では、符号化コードの復号過程で復号LPC係数が生成され、生成された復号LPC係数が修正LPC算出部205に出力される。また、復号信号がフィ
ルタ部108に出力される。
また、実施の形態3に対応する復号化装置520の構成を図23に示す。この図が示すように、復号化部521では、符号化コードの復号過程で復号スペクトルが生成され、生成された復号スペクトルが修正LPC算出部304に出力される。また、復号信号がフィルタ部108に出力される。
さらに、実施の形態4に対応する復号化装置530の構成を図24に示す。この図が示すように、スペクトル復号化部531では、符号化コードから復号スペクトルが生成され、生成された復号スペクトルが抑圧情報算出部405及び乗算器406に出力される。
なお、本実施の形態では、ビット配分情報に基づいて、スペクトルを修正する帯域を決定する場合について説明したが、スペクトルを修正する帯域を予め定めておいてもよい。
以上、本発明の各実施の形態について説明した。
なお、上記実施の形態における周波数変換部は、FFT、DFT(Discrete Fourier Transform)、DCT(Discrete Cosine Transform)、MDCT、サブバンドフィルタなどによって実現される。
また、上記実施の形態では、復号信号として音声信号を想定しているが、本発明はこれに限らず、例えば、オーディオ信号などでもよい。
また、上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
本明細書は、2005年6月17日出願の特願2005−177781及び2006年5月30日出願の特願2006−150356に基づくものである。この内容は全てここに含めておく。
本発明にかかるポストフィルタ、復号化装置及びポストフィルタ処理方法は、復号信号の音声品質が帯域毎に異なる場合でも、復号信号の音声品質を改善することができ、例えば、音声復号化装置等に適用することができる。
スケーラブル符号化のレイヤ構成を示す図 スケーラブル符号化のレイヤ構成を示す図 本発明の実施の形態1に係る復号化装置の主要な構成を示すブロック図 図3に示した修正LPC算出部の内部構成を示すブロック図 図4に示したパワースペクトル修正部の第1の実現方法によるパワースペクトルの修正の様子を示す図 図4に示したパワースペクトル修正部の第2の実現方法によるパワースペクトルの修正の様子を示す図 図3に示したポストフィルタのスペクトル特性の説明に供する図 本発明の実施の形態2に係る復号化装置の主要な構成を示すブロック図 図8に示した修正LPC算出部の内部構成を示すブロック図 本発明の実施の形態3に係る復号化装置の主要な構成を示すブロック図 図10に示した修正LPC算出部の内部構成を示すブロック図 本発明の実施の形態4に係る復号化装置の主要な構成を示すブロック図 図12に示した抑圧情報算出部の内部構成を示すブロック図 本発明の実施の形態5に係る復号化装置の主要な構成を示すブロック図 本発明の実施の形態6に係る復号化装置の主要な構成を示すブロック図 図15に示した抑圧情報算出部の内部構成を示すブロック図 スケーラブル符号化のレイヤ構成を示す図 ポストフィルタ処理の程度を示す図 本発明の実施の形態7に係る復号化装置の主要な構成を示すブロック図 図19に示した抑圧情報算出部の内部構成を示すブロック図 本発明の他の実施の形態に係る復号化装置の主要な構成を示すブロック図 本発明の他の実施の形態に係る復号化装置の主要な構成を示すブロック図 本発明の他の実施の形態に係る復号化装置の主要な構成を示すブロック図 本発明の他の実施の形態に係る復号化装置の主要な構成を示すブロック図

Claims (12)

  1. 複数のレイヤを備える符号化方式によって階層符号化された信号の復号信号の量子化雑音を抑圧するポストフィルタであって、
    前記復号信号がいずれのレイヤによって復号されたかに応じて、前記復号信号の音声品質が良好な帯域を決定する帯域決定手段と、
    決定された前記帯域に属する前記復号信号のスペクトルの周波数軸上での変化を抑圧するように前記スペクトルを修正するスペクトル修正手段と、
    修正された前記スペクトルに基づく係数を用いて、前記復号信号のフィルタリングを行うフィルタ手段と、
    を具備するポストフィルタ。
  2. 前記スペクトル修正手段は、決定された前記帯域に属する前記復号信号のスペクトルと決定された前記帯域と隣接する帯域に属する前記復号信号のスペクトルとが連続するように修正する請求項1に記載のポストフィルタ。
  3. 前記スペクトル修正手段は、決定された前記帯域に属する前記復号信号のパワースペクトルの平均値によって、前記パワースペクトルを置き換える修正を行う請求項1に記載のポストフィルタ。
  4. 前記スペクトル修正手段は、決定された前記帯域に属する前記復号信号のパワースペクトルのスペクトル傾斜によって、前記パワースペクトルを置き換える修正を行う請求項1に記載のポストフィルタ。
  5. 前記スペクトル修正手段は、前記階層符号化された信号の復号過程において生成された復号LPC係数からLPCスペクトルを算出し、算出されたLPCスペクトルを修正する請求項1に記載のポストフィルタ。
  6. 前記スペクトル修正手段によって修正されたLPCスペクトルに基づいて、前記復号信号のスペクトルを抑圧する係数を算出する抑圧係数算出手段を具備し、
    前記フィルタ手段は、前記抑圧係数を復号信号のスペクトルに乗算することにより、周波数領域において前記復号信号のフィルタリングを行う請求項に記載のポストフィルタ。
  7. 前記スペクトル修正手段は、前記階層符号化された信号の復号過程において生成された復号スペクトルからパワースペクトルを算出し、算出されたパワースペクトルを修正する請求項1に記載のポストフィルタ。
  8. 前記スペクトル修正手段によって修正されたパワースペクトルに基づいて、前記復号信号のスペクトルを抑圧する係数を算出する抑圧係数算出手段を具備し、
    前記フィルタ手段は、前記抑圧係数を復号信号のスペクトルに乗算することにより、周波数領域において前記復号信号のフィルタリングを行う請求項1に記載のポストフィルタ。
  9. 前記スペクトル修正手段によって修正されたパワースペクトルを逆フーリエ変換することにより、自己相関関数を算出する逆変換手段と、
    算出された前記自己相関関数を用いてLPC係数を算出するLPC分析手段と、
    を具備し、
    前記フィルタ手段は、前記LPC係数を用いて前記復号信号のフィルタリングを行う請求項1に記載のポストフィルタ。
  10. 前記逆変換手段は、修正された前記パワースペクトルの次数が2のべき乗で表せない場合、前記次数が2のべき乗となるように、修正された前記パワースペクトルを平均化する、または修正された前記パワースペクトルを間引いて逆高速フーリエ変換する請求項に記載のポストフィルタ。
  11. 複数のレイヤを備える符号化方式によって階層符号化された信号の復号信号の量子化雑音を抑圧する復号化装置であって、
    前記復号信号がいずれのレイヤによって復号されたかに応じて、前記復号信号の音声品質が良好な帯域を決定する帯域決定手段と、
    決定された前記帯域に属する前記復号信号のスペクトルの周波数軸上での変化を抑圧するように前記スペクトルを修正するスペクトル修正手段と、
    修正された前記スペクトルに基づく係数を用いて、前記復号信号のフィルタリングを行うフィルタ手段と、
    を具備する復号化装置。
  12. 複数のレイヤを備える符号化方式によって階層符号化された信号の復号信号の量子化雑音を抑圧するポストフィルタ処理方法であって、
    前記復号信号がいずれのレイヤによって復号されたかに応じて、前記復号信号の音声品質が良好な帯域を決定する帯域決定工程と、
    決定された前記帯域に属する前記復号信号のスペクトルの周波数軸上での変化を抑圧するように前記スペクトルを修正するスペクトル修正工程と、
    修正された前記スペクトルに基づく係数を用いて、前記復号信号のフィルタリングを行うフィルタ工程と、
    を具備するポストフィルタ処理方法。
JP2007521332A 2005-06-17 2006-06-15 ポストフィルタ、復号化装置及びポストフィルタ処理方法 Expired - Fee Related JP4954069B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007521332A JP4954069B2 (ja) 2005-06-17 2006-06-15 ポストフィルタ、復号化装置及びポストフィルタ処理方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2005177781 2005-06-17
JP2005177781 2005-06-17
JP2006150356 2006-05-30
JP2006150356 2006-05-30
JP2007521332A JP4954069B2 (ja) 2005-06-17 2006-06-15 ポストフィルタ、復号化装置及びポストフィルタ処理方法
PCT/JP2006/312001 WO2006134992A1 (ja) 2005-06-17 2006-06-15 ポストフィルタ、復号化装置及びポストフィルタ処理方法

Publications (2)

Publication Number Publication Date
JPWO2006134992A1 JPWO2006134992A1 (ja) 2009-01-08
JP4954069B2 true JP4954069B2 (ja) 2012-06-13

Family

ID=37532346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007521332A Expired - Fee Related JP4954069B2 (ja) 2005-06-17 2006-06-15 ポストフィルタ、復号化装置及びポストフィルタ処理方法

Country Status (6)

Country Link
US (1) US8315863B2 (ja)
EP (1) EP1892702A4 (ja)
JP (1) JP4954069B2 (ja)
CN (1) CN101199005B (ja)
BR (1) BRPI0612579A2 (ja)
WO (1) WO2006134992A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7461106B2 (en) 2006-09-12 2008-12-02 Motorola, Inc. Apparatus and method for low complexity combinatorial coding of signals
JP5255575B2 (ja) * 2007-03-02 2013-08-07 テレフオンアクチーボラゲット エル エム エリクソン(パブル) レイヤード・コーデックのためのポストフィルタ
ATE531038T1 (de) * 2007-06-14 2011-11-15 France Telecom Nachbearbeitung zur reduzierung des quantifizierungsrauschens eines codierers während der decodierung
US8576096B2 (en) * 2007-10-11 2013-11-05 Motorola Mobility Llc Apparatus and method for low complexity combinatorial coding of signals
US8606566B2 (en) * 2007-10-24 2013-12-10 Qnx Software Systems Limited Speech enhancement through partial speech reconstruction
US8015002B2 (en) 2007-10-24 2011-09-06 Qnx Software Systems Co. Dynamic noise reduction using linear model fitting
US8326617B2 (en) * 2007-10-24 2012-12-04 Qnx Software Systems Limited Speech enhancement with minimum gating
US8639519B2 (en) * 2008-04-09 2014-01-28 Motorola Mobility Llc Method and apparatus for selective signal coding based on core encoder performance
JP5639589B2 (ja) * 2008-09-04 2014-12-10 コーニンクレッカ フィリップス エヌ ヴェ 分散スペクトル検知
EP2581904B1 (en) * 2010-06-11 2015-10-07 Panasonic Intellectual Property Corporation of America Audio (de)coding apparatus and method
US8762158B2 (en) * 2010-08-06 2014-06-24 Samsung Electronics Co., Ltd. Decoding method and decoding apparatus therefor
JP5573517B2 (ja) * 2010-09-07 2014-08-20 ソニー株式会社 雑音除去装置および雑音除去方法
RU2013110317A (ru) * 2010-09-10 2014-10-20 Панасоник Корпорэйшн Кодирующее устройство и способ кодирования
CN102664021B (zh) * 2012-04-20 2013-10-02 河海大学常州校区 基于语音功率谱的低速率语音编码方法
EP2830061A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
EP2887350B1 (en) * 2013-12-19 2016-10-05 Dolby Laboratories Licensing Corporation Adaptive quantization noise filtering of decoded audio data
MX362490B (es) 2014-04-17 2019-01-18 Voiceage Corp Metodos codificador y decodificador para la codificacion y decodificacion predictiva lineal de señales de sonido en la transicion entre cuadros teniendo diferentes tasas de muestreo.
WO2016142002A1 (en) 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
US10847172B2 (en) * 2018-12-17 2020-11-24 Microsoft Technology Licensing, Llc Phase quantization in a speech encoder
US10957331B2 (en) 2018-12-17 2021-03-23 Microsoft Technology Licensing, Llc Phase reconstruction in a speech decoder

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1078797A (ja) * 1996-09-04 1998-03-24 Nippon Telegr & Teleph Corp <Ntt> 音響信号処理方法
JPH11112352A (ja) * 1990-06-27 1999-04-23 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
JP2001117573A (ja) * 1999-10-20 2001-04-27 Toshiba Corp 音声スペクトル強調方法/装置及び音声復号化装置
JP2001242899A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 音声符号化方法及び装置並びに及び音声復号方法及び装置
JP2004061617A (ja) * 2002-07-25 2004-02-26 Fujitsu Ltd 受話音声処理装置
JP2004302257A (ja) * 2003-03-31 2004-10-28 Matsushita Electric Ind Co Ltd 長期ポストフィルタ
JP2005258226A (ja) * 2004-03-12 2005-09-22 Toshiba Corp 広帯域音声復号化方式及び広帯域音声復号化装置
WO2005106848A1 (ja) * 2004-04-30 2005-11-10 Matsushita Electric Industrial Co., Ltd. スケーラブル復号化装置および拡張レイヤ消失隠蔽方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03125586A (ja) 1989-10-11 1991-05-28 Sanyo Electric Co Ltd 映像信号処理装置
JP3343965B2 (ja) * 1992-10-31 2002-11-11 ソニー株式会社 音声符号化方法及び復号化方法
JP3024468B2 (ja) 1993-12-10 2000-03-21 日本電気株式会社 音声復号装置
US5517595A (en) * 1994-02-08 1996-05-14 At&T Corp. Decomposition in noise and periodic signal waveforms in waveform interpolation
JP3125586B2 (ja) 1994-07-20 2001-01-22 株式会社神戸製鋼所 電磁コイルを用いた連続鋳造方法
JP3568255B2 (ja) * 1994-10-28 2004-09-22 富士通株式会社 音声符号化装置及びその方法
JP2993396B2 (ja) 1995-05-12 1999-12-20 三菱電機株式会社 音声加工フィルタ及び音声合成装置
IT1281001B1 (it) * 1995-10-27 1998-02-11 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio.
JP3183826B2 (ja) * 1996-06-06 2001-07-09 三菱電機株式会社 音声符号化装置及び音声復号化装置
DE69712537T2 (de) 1996-11-07 2002-08-29 Matsushita Electric Industrial Co., Ltd. Verfahren zur Erzeugung eines Vektorquantisierungs-Codebuchs
KR100527217B1 (ko) 1997-10-22 2005-11-08 마츠시타 덴끼 산교 가부시키가이샤 확산 벡터 생성 방법, 확산 벡터 생성 장치, celp형 음성 복호화 방법 및 celp형 음성 복호화 장치
JPH11184500A (ja) 1997-12-24 1999-07-09 Fujitsu Ltd 音声符号化方式及び音声復号化方式
US7423983B1 (en) * 1999-09-20 2008-09-09 Broadcom Corporation Voice and data exchange over a packet based network
JP4218134B2 (ja) * 1999-06-17 2009-02-04 ソニー株式会社 復号装置及び方法、並びにプログラム提供媒体
US6574593B1 (en) * 1999-09-22 2003-06-03 Conexant Systems, Inc. Codebook tables for encoding and decoding
KR100348899B1 (ko) * 2000-09-19 2002-08-14 한국전자통신연구원 캡스트럼 분석을 이용한 하모닉 노이즈 음성 부호화기 및부호화 방법
JP2002229599A (ja) * 2001-02-02 2002-08-16 Nec Corp 音声符号列の変換装置および変換方法
US6941263B2 (en) * 2001-06-29 2005-09-06 Microsoft Corporation Frequency domain postfiltering for quality enhancement of coded speech
JP4290917B2 (ja) * 2002-02-08 2009-07-08 株式会社エヌ・ティ・ティ・ドコモ 復号装置、符号化装置、復号方法、及び、符号化方法
WO2003077235A1 (en) * 2002-03-12 2003-09-18 Nokia Corporation Efficient improvements in scalable audio coding
US7110941B2 (en) * 2002-03-28 2006-09-19 Microsoft Corporation System and method for embedded audio coding with implicit auditory masking
JP2004064190A (ja) 2002-07-25 2004-02-26 Ricoh Co Ltd 画像処理装置、方法、プログラムおよび記録媒体
DE10236694A1 (de) * 2002-08-09 2004-02-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum skalierbaren Codieren und Vorrichtung und Verfahren zum skalierbaren Decodieren
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
FR2848715B1 (fr) * 2002-12-11 2005-02-18 France Telecom Procede et systeme de correction multi-references des deformations spectrales de la voix introduites par un reseau de communication
JP4067460B2 (ja) 2003-06-25 2008-03-26 株式会社リコー 画像復号装置、プログラム、記憶媒体及び画像復号方法
JP4085975B2 (ja) 2003-12-17 2008-05-14 Jfeスチール株式会社 熱間圧延方法
KR100595202B1 (ko) * 2003-12-27 2006-06-30 엘지전자 주식회사 디지털 오디오 워터마크 삽입/검출 장치 및 방법
US7668712B2 (en) * 2004-03-31 2010-02-23 Microsoft Corporation Audio encoding and decoding with intra frames and adaptive forward error correction
KR20070070174A (ko) 2004-10-13 2007-07-03 마츠시타 덴끼 산교 가부시키가이샤 스케일러블 부호화 장치, 스케일러블 복호 장치 및스케일러블 부호화 방법
US7316775B2 (en) 2004-11-30 2008-01-08 Tetra Holding (Us), Inc. Air-powered filter arrangement

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11112352A (ja) * 1990-06-27 1999-04-23 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
JPH1078797A (ja) * 1996-09-04 1998-03-24 Nippon Telegr & Teleph Corp <Ntt> 音響信号処理方法
JP2001117573A (ja) * 1999-10-20 2001-04-27 Toshiba Corp 音声スペクトル強調方法/装置及び音声復号化装置
JP2001242899A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 音声符号化方法及び装置並びに及び音声復号方法及び装置
JP2004061617A (ja) * 2002-07-25 2004-02-26 Fujitsu Ltd 受話音声処理装置
JP2004302257A (ja) * 2003-03-31 2004-10-28 Matsushita Electric Ind Co Ltd 長期ポストフィルタ
JP2005258226A (ja) * 2004-03-12 2005-09-22 Toshiba Corp 広帯域音声復号化方式及び広帯域音声復号化装置
WO2005106848A1 (ja) * 2004-04-30 2005-11-10 Matsushita Electric Industrial Co., Ltd. スケーラブル復号化装置および拡張レイヤ消失隠蔽方法

Also Published As

Publication number Publication date
CN101199005A (zh) 2008-06-11
CN101199005B (zh) 2011-11-09
BRPI0612579A2 (pt) 2012-01-03
WO2006134992A1 (ja) 2006-12-21
EP1892702A4 (en) 2010-12-29
US8315863B2 (en) 2012-11-20
EP1892702A1 (en) 2008-02-27
US20090216527A1 (en) 2009-08-27
JPWO2006134992A1 (ja) 2009-01-08

Similar Documents

Publication Publication Date Title
JP4954069B2 (ja) ポストフィルタ、復号化装置及びポストフィルタ処理方法
JP4977471B2 (ja) 符号化装置及び符号化方法
JP5089394B2 (ja) 音声符号化装置および音声符号化方法
JP4954080B2 (ja) 変換符号化装置および変換符号化方法
EP2583277B1 (en) Spectrum flatness control for bandwidth extension
KR101414354B1 (ko) 부호화 장치 및 부호화 방법
JP5339919B2 (ja) 符号化装置、復号装置およびこれらの方法
US20080208575A1 (en) Split-band encoding and decoding of an audio signal
JP5030789B2 (ja) サブバンド符号化装置およびサブバンド符号化方法
US20080249766A1 (en) Scalable Decoder And Expanded Layer Disappearance Hiding Method
US6732075B1 (en) Sound synthesizing apparatus and method, telephone apparatus, and program service medium
JP5377287B2 (ja) ポストフィルタ、復号装置およびポストフィルタ処理方法
JP5403949B2 (ja) 符号化装置および符号化方法
WO2008053970A1 (fr) Dispositif de codage de la voix, dispositif de décodage de la voix et leurs procédés
EP2096632A1 (en) Decoding apparatus and audio decoding method
WO2010103854A2 (ja) 音声符号化装置、音声復号装置、音声符号化方法及び音声復号方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120313

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4954069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees