JP4954080B2 - 変換符号化装置および変換符号化方法 - Google Patents

変換符号化装置および変換符号化方法 Download PDF

Info

Publication number
JP4954080B2
JP4954080B2 JP2007540000A JP2007540000A JP4954080B2 JP 4954080 B2 JP4954080 B2 JP 4954080B2 JP 2007540000 A JP2007540000 A JP 2007540000A JP 2007540000 A JP2007540000 A JP 2007540000A JP 4954080 B2 JP4954080 B2 JP 4954080B2
Authority
JP
Japan
Prior art keywords
scale factor
spectrum
distortion
unit
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007540000A
Other languages
English (en)
Other versions
JPWO2007043648A1 (ja
Inventor
正浩 押切
智史 山梨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007540000A priority Critical patent/JP4954080B2/ja
Publication of JPWO2007043648A1 publication Critical patent/JPWO2007043648A1/ja
Application granted granted Critical
Publication of JP4954080B2 publication Critical patent/JP4954080B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208Subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • G10L19/038Vector quantisation, e.g. TwinVQ audio
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Description

本発明は、周波数領域において入力信号の符号化を行う変換符号化装置および変換符号化方法に関する。
移動体通信システムにおける電波資源等の有効利用のために、音声信号を低ビットレートで圧縮することが要求されている。その一方で、ユーザからは通話音声の品質向上や臨場感の高い通話サービスの実現が望まれている。この実現には、音声信号の高品質化のみならず、より帯域の広いオーディオ信号等の音声以外の信号をも高品質に符号化できることが望ましい。そのため、複数の符号化技術を階層的に統合するアプローチが有望視されている。
例えば、音声信号に適したモデルで入力信号を低ビットレートで符号化する第1レイヤと、入力信号と第1レイヤ復号信号の差分信号を音声以外の信号にも適したモデルで符号化する第2レイヤと、を階層的に組み合わせる技術がある(例えば、非特許文献1参照)。ここでは、MPEG−4(Moving Picture Experts Group phase-4)で規格化された技術を用いてスケーラブル符号化を行う例が示されている。具体的には、音声信号に適したCELP(Code Excited Linear Prediction:符号励信線形予測)を第1レイヤに用い、原信号から第1レイヤ復号信号を減じた残差信号に対してAAC(Advanced Audio Coder)やTwinVQ(Transform Domain Weighted Interleave Vector Quantization:周波数領域重み付きインタリーブベクトル量子化)のような変換符号化を第2レイヤとして用いている。
ところで、TwinVQという変換符号化は、入力信号にMDCT(Modified Discrete Cosine Transform:変形離散コサイン変換)を施し、得られるMDCT係数を、スペクトル包絡とバーク尺度ごとの平均振幅とで正規化を行う技術である(例えば、非特許文献2参照)。ここで、スペクトル包絡を表すLPC係数とバーク尺度ごとの平均振幅値とは、それぞれ別個に符号化され、正規化されたMDCT係数がインタリーブされ、サブベクトルに分割され、ベクトル量子化が施される。特に、スペクトル包絡とバーク尺度ごとの平均振幅とをスケールファクタと呼び、正規化後のMDCT係数をスペクトルの微細構造(以下、微細スペクトル)と呼ぶこととすると、TwinVQは、MDCT係数をスケールファクタと微細スペクトルとに分離して符号化を行う技術と考えることができる。
TwinVQに代表される変換符号化において、スケールファクタは、微細スペクトルのエネルギーを制御するために用いられる。このため、スケールファクタの主観品質(人間の聴感品質)に与える影響は大きく、スケールファクタの符号化歪みが大きい場合は主観品質を大きく劣化させてしまう。従って、スケールファクタの高性能な符号化は重要である。
三木弼一編著、「MPEG−4の全て(初版)」(株)工業調査会、1998年9月30日、p.126−127 岩上直樹、守谷健弘、三樹聡、池田和永、神明夫著、「周波数領域重み付けインタリーブベクトル量子化(TwinVQ)による楽音符号化」信学論(A)、1997年5月、vol.J80−A、no.5、p.830−837
TwinVQは、スケールファクタに相当する情報を、スペクトル包絡とバーク尺度ご
との平均振幅とで表す。例えば、バーク尺度ごとの平均振幅に着目すると、非特許文献2に開示の技術では、次式で表される重み付き2乗誤差dを最小にするバーク尺度ごとの平均振幅ベクトルを決定している。
Figure 0004954080
ここで、iはバーク尺度の番号、Eは第iバークの平均振幅、C(m)は平均振幅符号帳に記録されている第m平均振幅ベクトルを示す。
上記式(1)で示される重み関数wは、バーク尺度、すなわち周波数の関数であり、バーク尺度iが同じ場合、入力スケールファクタと量子化候補との差(E−C(m))に対して乗じられる重み(ウェイト)wは常に同一である。
また、wはバーク尺度に対応する重みを表し、スペクトル包絡の大きさに基づいて算出される。例えば、スペクトル包絡の小さな帯域に対する平均振幅の重みは小さな値となり、スペクトル包絡の大きな帯域に対する平均振幅の重みは大きな値となる。よって、スペクトル包絡の大きな帯域に対する平均振幅の重みは大きく設定されるため、結果として、この帯域を重要視して符号化を行うこととなる。逆に、スペクトル包絡の小さい帯域に対する平均振幅の重みは小さく設定されるため、この帯域の重要度は低くなる。
一般に、スペクトル包絡の大きい帯域が音声品質に与える影響は大きく、この帯域に属するスペクトルを正確に表すことが音声品質を改善するためには重要である。しかしながら、非特許文献2に開示の技術では、低ビットレート化を図るために平均振幅の量子化に配分するビット数を少なくした場合、ビット数が充分でないために平均振幅ベクトルC(m)の候補数が限定されてしまい、たとえ上記式(1)を満足する平均振幅ベクトルを決定したとしても、その量子化歪みは大きくなり、音声品質の劣化を招くという問題がある。
本発明の目的は、ビット数が充分に割り当てられない場合でも、聴感的な音声品質の劣化を軽減することができる変換符号化装置および変換符号化方法を提供することである。
本発明の変換符号化装置は、入力スペクトルに対応する複数の入力スケールファクタを算出する入力スケールファクタ算出手段と、スケールファクタを複数格納し、一のスケールファクタを出力する符号帳と、前記複数の入力スケールファクタのうちの一の入力スケールファクタと前記符号帳から出力されるスケールファクタとの歪みを算出する歪み算出手段と、前記一の入力スケールファクタが前記符号帳から出力されるスケールファクタより大きい場合の前記歪みよりも、前記一の入力スケールファクタが前記符号帳から出力されるスケールファクタより小さい場合の前記歪みに対して、より重みを付けた重み付き歪みを算出する重み付き歪み算出手段と、前記符号帳において、前記重み付き歪みを最小とするスケールファクタを探索する探索手段と、を具備する構成を採る。
本発明によれば、低ビットレート環境下においても、聴感的な音声品質の劣化を軽減することができる。
本発明は、大別して、スケーラブル符号化に適用する場合と単一レイヤからなる符号化に適用する場合とに分けられる。ここで、スケーラブル符号化とは、複数のレイヤからなる階層構造を有する符号化方式で、各レイヤで生成される符号化パラメータがスケーラビリティを有するという特徴がある。すなわち、複数レイヤの符号化パラメータの一部のレイヤ(低位レイヤ)の符号化パラメータからでも、ある程度の品質の復号信号が得られ、より多くのレイヤの符号化パラメータを用いて復号を行うことにより、より高品質の復号信号が得られるという特徴を有している。
そこで、実施の形態1〜3、5〜8では、本発明をスケーラブル符号化に適用する場合について説明し、実施の形態4では、本発明を単一レイヤからなる符号化に適用する場合について説明する。なお、実施の形態1〜3、5〜8では、以下の場合を例にとって説明を行うこととする。
(1)第1レイヤと当該レイヤより上位の第2レイヤとからなる、すなわち、下位レイヤと上位レイヤとからなる2階層構造のスケーラブル符号化を行う。
(2)符号化パラメータが周波数軸方向にスケーラビリティを有する帯域スケーラブル符号化を行う。
(3)第2レイヤでは、周波数領域における符号化、すなわち変換符号化を行い、変換
方式として、MDCT(Modified Discrete Cosine Transform:変形離散コサイン変換)を使用する。
また、全ての実施の形態において、本発明を音声信号の符号化に適用する場合を例にとって説明する。以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係る変換符号化装置を備えるスケーラブル符号化装置の主要な構成を示すブロック図である。
本実施の形態に係るスケーラブル符号化装置は、ダウンサンプリング部101、第1レイヤ符号化部102、多重化部103、第1レイヤ復号化部104、遅延部105、および第2レイヤ符号化部106を備え、各部は以下の動作を行う。
ダウンサンプリング部101は、サンプリングレートF2の入力信号からサンプリングレートF1(F1≦F2)の信号を生成し、第1レイヤ符号化部102に与える。第1レイヤ符号化部102は、ダウンサンプリング部101から出力されたサンプリングレートF1の信号を符号化する。第1レイヤ符号化部102で得られた符号化パラメータは、多重化部103に与えられると共に、第1レイヤ復号化部104に与えられる。第1レイヤ復号化部104は、第1レイヤ符号化部102から出力された符号化パラメータから、第1レイヤの復号信号を生成する。
一方、遅延部105は、入力信号に所定の長さの遅延を与える。この遅延は、ダウンサンプリング部101、第1レイヤ符号化部102、および第1レイヤ復号化部104で生じる時間遅れを補正するためのものである。第2レイヤ符号化部106は、第1レイヤ復号化部104で生成された第1レイヤ復号信号を用いて、遅延部105から出力された所定時間遅延された入力信号の変換符号化を行い、生成された符号化パラメータを多重化部103に出力する。
多重化部103は、第1レイヤ符号化部102で求められる符号化パラメータと、第2レイヤ符号化部106で求められる符号化パラメータとを多重化し、これを最終的な符号化パラメータとして出力する。
図2は、第2レイヤ符号化部106内部の主要な構成を示すブロック図である。
第2レイヤ符号化部106は、MDCT分析部111、112、高域スペクトル推定部113、および補正スケールファクタ符号化部114を備え、各部は以下の動作を行う。
MDCT分析部111は、第1レイヤ復号信号をMDCT分析して、信号帯域(周波数帯域)0〜FLの低域スペクトル(狭帯域スペクトル)を算出し、高域スペクトル推定部113に出力する。
MDCT分析部112は、原信号である音声信号をMDCT分析して、信号帯域0〜FHの広帯域スペクトルを算出し、このうち、狭帯域スペクトルと同じ帯域幅で、かつ信号帯域が高域FL〜FHの高域スペクトルを、高域スペクトル推定部113および補正スケールファクタ符号化部114に出力する。ここで、狭帯域スペクトルの信号帯域と広帯域スペクトルの信号帯域との間には、FL<FHの関係がある。
高域スペクトル推定部113は、信号帯域0〜FLの低域スペクトルを利用して、信号
帯域FL〜FHの高域スペクトルを推定し、推定スペクトルを得る。推定スペクトルの導出方法は、高域スペクトルとの類似度が最大となるような推定スペクトルを、低域スペクトルを基に、この低域スペクトル変形することにより求める。高域スペクトル推定部113は、この推定スペクトルに関する情報(推定情報)を符号化し、得られる符号化パラメータを出力すると共に、推定スペクトル自体を補正スケールファクタ符号化部114に与える。
以下の説明では、高域スペクトル推定部113から出力される推定スペクトルのことを第1スペクトルと呼び、MDCT分析部112から出力される高域スペクトルのことを第2スペクトルと呼ぶこととする。
ここで、上記説明で現れた各種スペクトルをまとめて信号帯域と併せて示すと、以下のようになる。
狭帯域スペクトル(低域スペクトル)・・・0〜FL
広帯域スペクトル ・・・0〜FH
第1スペクトル(推定スペクトル)・・・FL〜FH
第2スペクトル(高域スペクトル)・・・FL〜FH
補正スケールファクタ符号化部114は、第1スペクトルのスケールファクタが第2スペクトルのスケールファクタに近づくように、第1スペクトルのスケールファクタを補正し、この補正スケールファクタに関する情報を符号化して出力する。
図3は、補正スケールファクタ符号化部114内部の主要な構成を示すブロック図である。
補正スケールファクタ符号化部114は、スケールファクタ算出部121、122、補正スケールファクタ符号帳123、乗算器124、減算器125、判定部126、重み付き誤差算出部127、および探索部128を備え、各部は以下の動作を行う。
スケールファクタ算出部121は、入力される第2スペクトルの信号帯域FL〜FHを複数のサブバンドに分割し、各サブバンドに含まれるスペクトルの大きさを求め、減算器125に出力する。具体的には、サブバンドへの分割は、臨界帯域に対応付けて行われ、バーク尺度で等間隔に分割される。また、スケールファクタ算出部121は、各サブバンドに含まれるスペクトルの平均振幅を求め、これを第2スケールファクタSF2(k){0≦k<NB}とする。ここでNBはサブバンド数を表す。なお、平均振幅の代わりに最大振幅値等を用いても良い。
スケールファクタ算出部122は、入力される第1スペクトルの信号帯域FL〜FHを複数のサブバンドに分割し、各サブバンドの第1スケールファクタSF1(k){0≦k<NB}を算出し、乗算器124に出力する。なお、スケールファクタ算出部122では、スケールファクタ算出部121と同様に、平均振幅の代わりに最大振幅値等を用いても良い。
以降の処理においては、複数のサブバンドにおける各パラメータを1つのベクトル値にまとめる。例えば、NB個のスケールファクタを1つのベクトルとして表す。そして、このベクトル毎に各処理を行う場合、すなわち、ベクトル量子化を行う場合を例にとって説明を行う。
補正スケールファクタ符号帳123は、補正スケールファクタの候補が複数格納されており、探索部128からの指示に従い、格納されている補正スケールファクタの候補のう
ちの1つを乗算器124に順次出力する。補正スケールファクタ符号帳123に格納されている補正スケールファクタの複数の候補は、ベクトルで表される。
乗算器124は、スケールファクタ算出部122から出力される第1スケールファクタと、補正スケールファクタ符号帳123から出力される補正スケールファクタの候補とを乗算し、乗算結果を減算器125に与える。
減算器125は、スケールファクタ算出部121より出力される第2スケールファクタから、乗算器124の出力、すなわち、第1スケールファクタおよび補正スケールファクタ候補の積を減じ、これにより得られる誤差信号を、重み付き誤差算出部127および判定部126に与える。
判定部126は、減算器125から与えられる誤差信号の符号に基づいて、重み付き誤差算出部127に与える重みベクトルを決定する。具体的には、減算器125から与えられる誤差信号d(k)は、以下の式(2)によって表される。
Figure 0004954080
ここで、v(k)は、第i番目の補正スケールファクタの候補を表す。判定部126は、d(k)の符号を調べ、正である場合にはwpos、負である場合にはwnegを重み(ウェイト)として選択し、これらから構成される重みベクトルw(k)を、重み付き誤差算出部127に出力する。これらの重みには、以下の式(3)の大小関係がある。
Figure 0004954080
例えば、サブバンド数NB=4であり、d(k)の符号が{+,−,−,+}となる場合、重み付き誤差算出部127に出力される重みベクトルw(k)は、w(k)={wpos,wneg,wneg,wpos}と表される。
重み付き誤差算出部127は、まず、減算部125から与えられる誤差信号の2乗値を算出し、次に、判定部126から与えられる重みベクトルw(k)を誤差信号の2乗値に乗じて、重み付き2乗誤差Eを算出し、算出結果を探索部128に与える。ここで、重み付き2乗誤差Eは以下の式(4)のように表される。
Figure 0004954080
探索部128は、補正スケールファクタ符号帳123を制御して、格納されている補正スケールファクタの候補を順次出力させ、閉ループ処理により、重み付き誤差算出部127から出力される重み付き2乗誤差Eが最小となる補正スケールファクタの候補を求める。探索部128は、求まった補正スケールファクタの候補のインデックスioptを符号化パラメータとして出力する。
上記のように、誤差信号の符号に応じて重み付き2乗誤差を算出するときの重みを設定
し、かつその重みが式(2)に示されるような関係がある場合、次のような作用が得られる。すなわち、誤差信号d(k)が正の場合とは、復号化側で生成される復号値(符号化側で言うと、第1スケールファクタに補正スケールファクタ候補を乗じた値)が目標値である第2スケールファクタよりも小さくなる場合である。また、誤差信号d(k)が負の場合とは、復号化側で生成される復号値が目標値である第2スケールファクタよりも大きくなる場合である。従って、誤差信号d(k)が正の場合の重みを、誤差信号d(k)が負の場合の重みよりも小さくなるように設定することにより、2乗誤差が同程度の値の場合、第2スケールファクタよりも小さい復号値を生成する補正スケールファクタ候補が選択されやすくなる。
これにより次のような改善効果が得られる。例えば、本実施の形態のように、低域スペクトルを利用して高域スペクトルを推定する場合、一般的には、低ビットレート化を実現することができる。しかし、低ビットレート化を実現する一方で、推定スペクトルの精度、すなわち、推定スペクトルと高域スペクトルとの類似性は、上述の通り、充分に高いとは言えない。かかる場合に、スケールファクタの復号値が目標値よりも大きくなり、量子化後のスケールファクタが推定スペクトルを強調する方向に作用すると、推定スペクトルの精度の低さが人間の耳に品質劣化として知覚されやすくなる。逆に、スケールファクタの復号値が目標値よりも小さくなり、量子化後のスケールファクタがこの推定スペクトルを減衰する方向に作用するときは、推定スペクトルの精度の低さが目立たなくなり、復号信号の音質が改善するという効果が得られる。なお、この傾向は、計算機によるシミュレーションにおいても確認することができた。
次いで、上記のスケーラブル符号化装置に対応する、本実施の形態に係るスケーラブル復号化装置について説明する。図4は、このスケーラブル復号化装置の主要な構成を示すブロック図である。
分離部151は、符号化パラメータを示す入力ビットストリームに対し分離処理を施し、第1レイヤ復号化部152用の符号化パラメータと、第2レイヤ復号化部153用の符号化パラメータとを生成する。
第1レイヤ復号化部152は、分離部151で得られた符号化パラメータを用いて信号帯域0〜FLの復号信号を復号し、この復号信号を出力する。また、第1レイヤ復号化部152は、得られた復号信号を第2レイヤ復号化部153にも与える。
第2レイヤ復号化部153には、分離部151で分離された符号化パラメータと第1レイヤ復号化部152から出力される第1レイヤ復号信号とが与えられる。第2レイヤ復号化部153は、スペクトル復号化を行い、時間領域の信号に変換して信号帯域0〜FHの広帯域の復号信号を生成し、これを出力する。
図5は、第2レイヤ復号化部153内部の主要な構成を示すブロック図である。なお、第2レイヤ復号化部153は、本実施の形態に係る変換符号化装置における第2レイヤ符号化部106に対応する構成要素である。
MDCT分析部161は、第1レイヤ復号信号をMDCT分析して、信号帯域0〜FLの第1スペクトルを算出し、高域スペクトル復号化部162に出力する。
高域スペクトル復号化部162は、本実施の形態に係る変換符号化装置から送られてくる符号化パラメータ(推定情報)と第1スペクトルとを用い、信号帯域FL〜FHの推定スペクトル(微細スペクトル)を復号する。得られた推定スペクトルは乗算器164に与えられる。
補正スケールファクタ復号化部163は、本実施の形態に係る変換符号化装置から送られてくる符号化パラメータ(補正スケールファクタ)を用いて補正スケールファクタを復号する。具体的には、内蔵の補正スケールファクタ符号帳(図示せず)を参照し、対応する補正スケールファクタを乗算器164に出力する。
乗算器164は、高域スペクトル復号化部162から出力される推定スペクトルに、補正スケールファクタ復号化部163から出力される補正スケールファクタを乗じ、乗算結果を連結部165に出力する。
連結部165は、第1スペクトルと乗算器164から出力される推定スペクトルとを周波数軸上において連結し、信号帯域0〜FHの広帯域の復号スペクトルを生成して、時間領域変換部166に出力する。
時間領域変換部166は、連結部165から出力される復号スペクトルに対し、逆MDCT処理を施し、適切な窓関数を乗じた後に、前フレームの窓掛け後の信号と対応する領域を加算して、第2レイヤ復号信号を生成して出力する。
以上説明したように、本実施の形態によれば、高位レイヤの周波数領域での符号化において、入力信号を周波数領域の係数に変換してスケールファクタを量子化する際に、スケールファクタが小さくなる量子化候補が選択されやすくなる重み付き歪み尺度を用いてスケールファクタの量子化を行う。すなわち、量子化後のスケールファクタが量子化前のスケールファクタよりも小さいものが選ばれやすくなる。よって、スケールファクタの量子化に配分されるビット数が充分でない場合でも、聴感的な主観品質の劣化を抑えることができる。
また、非特許文献2に開示の技術によれば、上記式(1)で示される重み関数wは、バーク尺度iが同じ場合、常に同一となる。しかし、本実施の形態によれば、バーク尺度iが同じであったとしても、入力信号と量子化候補との差(E−C(m))に応じて差に乗じる重みを変えることになる。すなわち、重みは、E−C(m)が負となる量子化候補C(m)よりも、E−C(m)が正となる量子化候補C(m)が選択されやすくなるように、換言すれば、原スケールファクタよりも量子化後のスケールファクタが小さくなるように設定されている。
なお、本実施の形態では、ベクトル量子化を用いる場合を例にとって説明したが、ベクトル量子化、すなわちベクトル毎に処理を行う代わりに、サブバンド毎に独立に処理を行っても良い。かかる場合、例えば、補正スケールファクタ符号帳に含まれる補正スケールファクタ候補はスカラーで表される。
(実施の形態2)
本発明の実施の形態2に係る変換符号化装置を備えるスケーラブル符号化装置の基本的構成は、実施の形態1と同様である。よって、その説明を省略し、実施の形態1と異なる構成である第2レイヤ符号化部206について以下説明する。
図6は、第2レイヤ符号化部206内部の主要な構成を示すブロック図である。第2レイヤ符号化部206は、実施の形態1に示した第2レイヤ符号化部106と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。また、基本的動作は同一であるが、詳細な点で違いがある構成要素には、同一の番号にアルファベットの小文字を付した符号を付して適宜説明を加える。また、他の構成の説明においても同様の表記方法を用いることとする。
第2レイヤ符号化部206は、聴覚マスキング算出部211およびビット配分決定部212をさらに備え、補正スケールファクタ符号化部114aは、ビット配分決定部212で決定されたビット配分に基づいた補正スケールファクタの符号化を行う。
具体的には、聴覚マスキング算出部211は、入力信号を分析して量子化歪みの許容値を表す聴覚マスキング値を算出し、ビット配分決定部212に出力する。
ビット配分決定部212は、聴覚マスキング算出部211で算出された聴覚マスキング値に基づき、どのサブバンドにどの程度のビットを配分するかを決定し、このビット配分情報を外部に出力すると共に、補正スケールファクタ符号化部114aに出力する。
補正スケールファクタ符号化部114aは、ビット配分決定部212から出力されるビット配分情報で決定されるビット数を用いて、補正スケールファクタ候補を量子化し、そのインデックスを符号化パラメータとして出力する。その際、サブバンドに対応する重みの大きさを補正スケールファクタの量子化ビット数に基づき設定する。具体的には、補正スケールファクタ符号化部114aは、量子化ビット数の少ないサブバンドの補正スケールファクタに対する2つの重みの差、具体的には、誤差信号d(k)が正の場合の重みwposと誤差信号d(k)が負の場合の重みwnegの差が大きくなるように設定し、一方、量子化ビット数の多いサブバンドの補正スケールファクタに対する上記2つの重みに対しては、これら2つの重みの差が小さくなるように設定する。
上記構成を採ることにより、量子化ビット数の少ないサブバンドの補正スケールファクタに対して、量子化後のスケールファクタが量子化前のスケールファクタよりも小さいものが選ばれる確率が高くなり、その結果、聴感的な品質劣化を軽減することができる。
次いで、本実施の形態に係るスケーラブル復号化装置について説明する。しかし、本実施の形態に係るスケーラブル復号化装置は、実施の形態1で示したスケーラブル復号化装置と同様の基本的構成を有しているため、実施の形態1と異なる構成である第2レイヤ復号化部253について以下説明する。
図7は、第2レイヤ復号化部253内部の主要な構成を示すブロック図である。
ビット配分復号化部261は、本実施の形態に係るスケーラブル符号化装置から送られる符号化パラメータ(ビット配分情報)を用いて、各サブバンドのビット数を復号し、得られたビット数を補正スケールファクタ復号化部163aに出力する。
補正スケールファクタ復号化部163aは、各サブバンドのビット数と符号化パラメータ(補正スケールファクタ)とを用いて、補正スケールファクタを復号し、得られた補正スケールファクタを乗算器164に出力する。その他の処理は、実施の形態1と同様である。
このように、本実施の形態によれば、各帯域のスケールファクタに配分される量子化ビット数に応じて、重みを変更する。この重みの変更は、量子化ビット数の少ないスケールファクタに対して、誤差信号d(k)が正であるときの重みwposと誤差信号d(k)が負であるときの重みwnegとの差が大きくなるように設定する。
上記構成を採ることにより、量子化ビット数の少ないスケールファクタに対し、量子化後のスケールファクタが量子化前のスケールファクタよりも小さいものがより選ばれやすくなり、当該帯域で生じる聴感的な品質劣化を軽減することができる。
(実施の形態3)
本発明の実施の形態3に係る変換符号化装置を備えるスケーラブル符号化装置の基本的構成も、実施の形態1と同様である。よって、その説明を省略し、実施の形態1と異なる構成である第2レイヤ符号化部306について以下説明する。
第2レイヤ符号化部306の基本的動作は、実施の形態2に示した第2レイヤ符号化部206と類似しており、実施の形態2で用いたビット配分情報に代わりに、後述の類似度を用いる点が異なる。図8は、第2レイヤ符号化部306内部の主要な構成を示すブロック図である。
類似度算出部311は、信号帯域FL〜FHの第2スペクトル、すなわち原信号のスペクトルと、信号帯域FL〜FHの推定スペクトルとの類似度を算出し、得られた類似度を補正スケールファクタ符号化部114bに出力する。ここで類似度とは、例えば、第2スペクトルに対する推定スペクトルのSNR(Signal-to-Noise Ratio)で定義する。
補正スケールファクタ符号化部114bは、類似度算出部311から出力される類似度に基づいて、補正スケールファクタ候補を量子化し、そのインデックスを符号化パラメータとして出力する。その際、サブバンドに対応する重みの大きさをそのサブバンドの類似度に基づき設定する。具体的には、補正スケールファクタ符号化部114bは、類似度の低いサブバンドの補正スケールファクタに対する2つの重みの差、具体的には、誤差信号d(k)が正の場合の重みwposと誤差信号d(k)が負の場合の重みwnegの差が大きくなるように設定し、一方、類似度の高いサブバンドの補正スケールファクタに対する上記2つの重みに対しては、これら2つの重みの差が小さくなるように設定する。
本実施の形態に係るスケーラブル復号化装置および変換復号化装置の基本的構成は、実施の形態1に示したものと同様であるのでその説明を省略する。
このように、本実施の形態によれば、原信号のスペクトルに対する各帯域の推定スペクトルの形状の精度(例えば、類似度、SNR等)に応じて重みを変更する。この重みの変更は、類似度の低いサブバンドのスケールファクタに対して、誤差信号d(k)が正であるときの重みwposと負であるときの重みwnegとの差が大きくなるように設定する。
上記構成を採ることにより、推定スペクトルのSNRの低いサブバンドに対応するスケールファクタに対して、量子化後のスケールファクタが量子化前のスケールファクタよりも小さいものがより選ばれやすくなり、当該帯域で生じる聴感的な品質劣化をより軽減することができる。
(実施の形態4)
実施の形態1〜3では、補正スケールファクタ符号化部114、114a、114bの入力が、第1スペクトルと第2スペクトルという特徴の異なる2つのスペクトルである場合を例に示した。しかし、本発明では、補正スケールファクタ符号化部114、114a、114bの入力は、1つのスペクトルであっても良い。かかる場合の実施の形態を以下示す。
本発明の実施の形態4は、レイヤ数1、すなわちスケーラブル符号化でない場合に本発明を適用したものである。
図9は、本実施の形態に係る変換符号化装置の主要な構成を示すブロック図である。な
お、ここでは、変換方式としてMDCTを使用する場合を例にとって説明を行う。
本実施の形態に係る変換符号化装置は、MDCT分析部401、スケールファクタ符号化部402、微細スペクトル符号化部403、および多重化部404を備え、各部は以下の動作を行う。
MDCT分析部401は、原信号である音声信号をMDCT分析して、得られるスペクトルをスケールファクタ符号化部402および微細スペクトル符号化部403に出力する。
スケールファクタ符号化部402は、MDCT分析部401で求められたスペクトルの信号帯域を複数のサブバンドに分割し、各サブバンドのスケールファクタを算出して、これらに対し量子化を行う。この量子化の詳細については後述する。スケールファクタ符号化部402は、量子化により得られた符号化パラメータ(スケールファクタ)を多重化部404に出力すると共に、復号スケールファクタ自体を微細スペクトル符号化部403に出力する。
微細スペクトル符号化部403は、スケールファクタ符号化部402から出力される復号スケールファクタを用いて、MDCT分析部401から与えられるスペクトルを正規化し、正規化後のスペクトルを符号化する。微細スペクトル符号化部403は、得られた符号化パラメータ(微細スペクトル)を多重化部404に出力する。
図10は、スケールファクタ符号化部402内部の主要な構成を示すブロック図である。なお、このスケールファクタ符号化部402は、実施の形態1に示したスケールファクタ符号化部114と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
実施の形態1では、乗算器124において、第1スペクトルのスケールファクタSF1(k)に補正スケールファクタ候補v(k)を乗じ、減算器125で誤差信号d(k)を求めていたが、本実施の形態では、スケールファクタ候補x(k)を減算器125に直接与えて誤差信号d(k)を求めている点が異なる。すなわち、本実施形態では、実施の形態1で示した式(2)は以下のように表される。
Figure 0004954080
図11は、本実施の形態に係る変換復号化装置の主要な構成を示すブロック図である。
分離部451は、符号化パラメータを示す入力ビットストリームに対し分離処理を施し、スケールファクタ復号化部452用の符号化パラメータ(スケールファクタ)と、微細スペクトル復号化部453用の符号化パラメータ(微細スペクトル)とを生成する。
スケールファクタ復号化部452は、分離部451で得られた符号化パラメータ(スケールファクタ)を用いてスケールファクタを復号し、これを乗算器454に与える。
微細スペクトル復号化部453は、分離部451で得られた符号化パラメータ(微細スペクトル)を用いて微細スペクトルを復号し、これを乗算器454に与える。
乗算器454は、微細スペクトル復号化部453から出力される微細スペクトルに、スケールファクタ復号化部452から出力されるスケールファクタを乗じ、復号スペクトルを生成する。この復号スペクトルは、時間領域変換部455に出力される。
時間領域変換部455は、乗算器454から出力される復号スペクトルに対し時間領域変換を施し、得られる時間領域信号を最終的な復号信号として出力する。
このように、本実施の形態によれば、単一レイヤからなる符号化においても本発明を適用することができる。
なお、スケールファクタ符号化部402は、実施の形態2で示したビット配分情報や実施の形態3で示した類似度等の指標に応じて、MDCT分析部401から与えられるスペクトルのスケールファクタをあらかじめ減衰させてから、重み付けなしの通常の歪み尺度により量子化を行う構成であっても良い。これにより、低ビットレート環境下においても、音声品質の劣化を軽減することができる。
(実施の形態5)
図12は、本発明の実施の形態5に係る変換符号化装置を備えるスケーラブル符号化装置の主要な構成を示すブロック図である。
本発明の形態の形態に係るスケーラブル符号化装置は、ダウンサンプリング部501、第1レイヤ符号化部502、多重化部503、第1レイヤ復号化部504、アップサンプリング部505、遅延部507、第2レイヤ符号化部508、及び背景雑音分析部506とから主に構成される。
ダウンサンプリング部501は、サンプリングレートF2の入力信号からサンプリングレートF1(F1≦F2)の信号を生成し、第1レイヤ符号化部502に与える。第1レイヤ符号化部502は、ダウンサンプリング部501から出力されたサンプリングレートF1の信号を符号化する。第1レイヤ符号化部502で得られた符号化パラメータは、多重化部503に与えられると共に、第1レイヤ復号化部504に与えられる。第1レイヤ復号化部504は、第1レイヤ符号化部502から出力された符号化パラメータから、第1レイヤの復号信号を生成し、背景雑音分析部506とアップサンプリング部505に出力する。アップサンプリング部505は、第1レイヤ復号信号のサンプリングレートをF1からF2にアップサンプリングし、これを第2レイヤ符号化部508に出力する。
背景雑音分析部506は、第1レイヤ復号信号を入力とし、この信号内に背景雑音が含まれるかどうかを判定する。背景雑音分析部506は、第1レイヤ復号信号に背景雑音が含まれていると判定した場合には、該背景雑音に対してMDCTなどの処理を行ってその周波数特性を分析し、分析した周波数特性を背景雑音情報として第2レイヤ符号化部508に出力する。一方、背景雑音分析部506は、第1レイヤ復号信号に背景雑音が含まれていないと判定した場合には、第2レイヤ符号化部508に第1レイヤ復号信号には背景雑音が含まれていないことを示す背景雑音情報を出力する。なお、本実施の形態では、背景雑音の検出方法として、ある区間の入力信号を分析しその入力信号の最大パワー値と最小パワー値を算出し、それらの比、あるいは差が閾値以上であった場合に最小パワー値を雑音とする等の方法の他、一般的な背景雑音検出方法を採ることができる。
遅延部507は、入力信号に所定の長さの遅延を与える。この遅延は、ダウンサンプリング部501、第1レイヤ符号化部502、および第1レイヤ復号化部504で生じる時間遅れを補正するためのものである。
第2レイヤ符号化部508は、アップサンプリング部505から得られるアップサンプリング後の第1レイヤ復号信号、及び背景雑音分析部506から得られる背景雑音情報を用いて、遅延部507から出力された所定時間遅延された入力信号の変換符号化を行い、生成された符号化パラメータを多重化部503に出力する。
多重化部503は、第1レイヤ符号化部502で求められる符号化パラメータと、第2レイヤ符号化部508で求められる符号化パラメータとを多重化し、これを最終的な符号化パラメータとして出力する。
図13は、第2レイヤ符号化部508内部の主要な構成を示すブロック図である。第2レイヤ符号化部508は、MDCT分析部511、512、高域スペクトル推定部513、および補正スケールファクタ符号化部514を備え、各部は以下の動作を行う。
MDCT分析部511は、第1レイヤ復号信号をMDCT分析して、信号帯域(周波数帯域)0〜FLの低域スペクトル(狭帯域スペクトル)を算出し、高域スペクトル推定部513に出力する。
MDCT分析部512は、原信号である音声信号をMDCT分析して、信号帯域0〜FHの広帯域スペクトルを算出し、このうち、狭帯域スペクトルと同じ帯域幅で、かつ信号帯域が高域FL〜FHの高域スペクトルを、高域スペクトル推定部513および補正スケールファクタ符号化部514に出力する。ここで、狭帯域スペクトルの信号帯域と広帯域スペクトルの信号帯域との間には、FL<FHの関係がある。
高域スペクトル推定部513は、信号帯域0〜FLの低域スペクトルを利用して、信号帯域FL〜FHの高域スペクトルを推定し、推定スペクトルを得る。推定スペクトルの導出方法は、高域スペクトルとの類似度が最大となるような推定スペクトルを、低域スペクトルを基に、この低域スペクトル変形することにより求める。高域スペクトル推定部513は、この推定スペクトルに関する情報(推定情報)を符号化し、得られる符号化パラメータを出力する。
以下の説明では、高域スペクトル推定部513から出力される推定スペクトルのことを第1スペクトルと呼び、MDCT分析部512から出力される高域スペクトルのことを第2スペクトルと呼ぶこととする。
ここで、上記説明で現れた各種スペクトルをまとめて信号帯域と併せて示すと、以下のようになる。
狭帯域スペクトル(低域スペクトル) ・・・0〜FL
広帯域スペクトル ・・・0〜FH
第1スペクトル(推定スペクトル) ・・・FL〜FH
第2スペクトル(高域スペクトル) ・・・FL〜FH
補正スケールファクタ符号化部514は、背景雑音情報を用いて、第2スペクトルのスケールファクタに関する情報を符号化して出力する。
図14は、補正スケールファクタ符号化部514内部の主要な構成を示すブロック図である。補正スケールファクタ符号化部514は、スケールファクタ算出部521、補正スケールファクタ符号帳522、減算器523、判定部524、重み付き誤差算出部525、および探索部526を備え、各部は以下の動作を行う。
スケールファクタ算出部521は、入力される第2スペクトルの信号帯域FL〜FHを
複数のサブバンドに分割し、各サブバンドに含まれるスペクトルの大きさを求め、減算器523に出力する。具体的には、サブバンドへの分割は、臨界帯域に対応付けて行われ、バーク尺度で等間隔に分割される。また、スケールファクタ算出部521は、各サブバンドに含まれるスペクトルの平均振幅を求め、これを第2スケールファクタSF2(k){0≦k<NB}とする。ここでNBはサブバンド数を表す。なお、平均振幅の代わりに最大振幅値等を用いても良い。
以降の処理においては、複数のサブバンドにおける各パラメータを1つのベクトル値にまとめる。例えば、NB個のスケールファクタを1つのベクトルとして表す。そして、このベクトル毎に各処理を行う場合、すなわち、ベクトル量子化を行う場合を例にとって説明を行う。
補正スケールファクタ符号帳522は、補正スケールファクタの候補が複数格納されており、探索部526からの指示に従い、格納されている補正スケールファクタの候補のうちの1つを減算器523に順次出力する。補正スケールファクタ符号帳522に格納されている補正スケールファクタの複数の候補は、ベクトルで表される。
減算器523は、スケールファクタ算出部521より出力される第2スケールファクタから、補正スケールファクタの出力である補正スケールファクタ候補を減じ、これにより得られる誤差信号を、重み付き誤差算出部525および判定部524に与える。
判定部524は、減算器から与えられる誤差信号の符号、及び背景雑音情報に基づいて、重み付き誤差算出部525に与える重みベクトルを決定する。以下、判定部524における具体的な処理の流れを説明する。
判定部524は、入力された背景雑音情報を分析する。また、判定部524は、内部に要素数がサブバンド数NBである、背景雑音フラグBNF(k){0≦k<NB}を有する。判定部524は、背景雑音情報が、入力信号(第1復号信号)中に背景雑音が含まれていないことを示している場合には、背景雑音フラグBNF(k)の値を全て0に設定する。また、判定部524は、背景雑音情報が、入力信号(第1復号信号)中に背景雑音が含まれていることを示している場合には、背景雑音情報が示す背景雑音の周波数特性を分析し、サブバンド毎の周波数特性に変換する。なお、ここでは説明の簡略化のため、背景雑音情報がサブバンド毎のスペクトルの平均パワー値を示すものとして扱う。判定部524は、サブバンド毎のスペクトルの平均パワー値SP(k)と、予め内部に設定されたサブバンド毎の閾値ST(k)を比較し、SP(k)がST(k)以上であった場合には対応するサブバンドの背景雑音フラグBNF(k)の値を1に設定する。
ここで、減算器から与えられる誤差信号d(k)は、以下の式(6)によって表される。
Figure 0004954080
ここで、v(k)は、第i番目の補正スケールファクタの候補を表す。判定部524は、d(k)の符号が正である場合にはwposを重みとして選択する。また、判定部524は、d(k)の符号が負であり、かつ背景雑音フラグBNF(k)の値が1である場合にはwposを重みとして選択する。また、判定部524は、d(k)の符号が負であり、かつ背景雑音フラグBNF(k)の値が0である場合にはwnegを重みとして選択
する。次に、判定部524は、これらから構成される重みベクトルw(k)を、重み付き誤差算出部525に出力する。これらの重みには、以下の式(7)の大小関係がある。
Figure 0004954080
例えば、サブバンド数NB=4であり、d(k)の符号が{+,−,−,+}であり、背景雑音フラグBNF(k)が{0,0,1,1}となる場合、重み付き誤差算出部525に出力される重みベクトルw(k)は、w(k)={wpos,wneg ,wpos ,wpos }と表される。
重み付き誤差算出部525は、まず、減算器523から与えられる誤差信号の2乗値を算出し、次に、判定部524から与えられる重みベクトルw(k)を誤差信号の2乗値に乗じて、重み付き2乗誤差Eを算出し、算出結果を探索部526に与える。ここで、重み付き2乗誤差Eは以下の式(8)のように表される。
Figure 0004954080
探索部526は、補正スケールファクタ符号帳522を制御して、格納されている補正スケールファクタの候補を順次出力させ、閉ループ処理により、重み付き誤差算出部525から出力される重み付き2乗誤差Eが最小となる補正スケールファクタの候補を求める。探索部526は、求まった補正スケールファクタの候補のインデックスioptを符号化パラメータとして出力する。
上記のように、誤差信号の符号に応じて重み付き2乗誤差を算出するときの重みを設定し、かつその重みが式(7)に示されるような関係がある場合、次のような作用が得られる。すなわち、誤差信号d(k)が正の場合とは、復号化側で生成される復号値(符号化側で言うと、第1スケールファクタを正規化し、正規化された値に補正スケールファクタ候補を乗じた値)が目標値である第2スケールファクタよりも小さくなる場合である。また、誤差信号d(k)が負の場合とは、復号化側で生成される復号値が目標値である第2スケールファクタよりも大きくなる場合である。従って、誤差信号d(k)が正の場合の重みを、誤差信号d(k)が負の場合の重みよりも小さくなるように設定することにより、2乗誤差が同程度の値の場合、第2スケールファクタよりも小さい復号値を生成する補正スケールファクタ候補が選択されやすくなる。
これにより次のような改善効果が得られる。例えば、本実施の形態のように、低域スペクトルを利用して高域スペクトルを推定する場合、一般的には、低ビットレート化を実現することができる。しかし、低ビットレート化を実現する一方で、推定スペクトルの精度、すなわち、推定スペクトルと高域スペクトルとの類似性は、上述の通り、充分に高いとは言えない。かかる場合に、スケールファクタの復号値が目標値よりも大きくなり、量子化後のスケールファクタが推定スペクトルを強調する方向に作用すると、推定スペクトルの精度の低さが人間の耳に品質劣化として知覚されやすくなる。逆に、スケールファクタの復号値が目標値よりも小さくなり、量子化後のスケールファクタがこの推定スペクトルを減衰する方向に作用するときは、推定スペクトルの精度の低さが目立たなくなり、復号信号の音質が改善するという効果が得られる。さらに、入力信号(第1レイヤ復号化信号
)中に背景雑音が含まれるかどうかに応じて、上記の作用の程度を調整することにより、聴感的により良い復号化信号を得ることが出来る。なお、この傾向は、計算機によるシミュレーションにおいても確認することができた。
次いで、上記のスケーラブル符号化装置に対応する、本実施の形態に係るスケーラブル復号化装置について説明する。なお、スケーラブル復号化装置の構成は、実施の形態1で説明した図4と同じであるため、ここでは説明は省略する。
本実施の形態の復号化装置は、第2レイヤ復号化部153の内部構成のみが実施の形態1の場合と異なる。以下、本実施の形態に係る第2レイヤ復号化部153の主要な構成について図15を用いて説明する。なお、第2レイヤ復号化部153は、本実施の形態に係る変換符号化装置における第2レイヤ符号化部508に対応する構成要素である。
MDCT分析部561は、第1レイヤ復号信号をMDCT分析して、信号帯域0〜FLの第1スペクトルを算出し、高域スペクトル復号化部562に出力する。
高域スペクトル復号化部562は、本実施の形態に係る変換符号化装置から送られてくる符号化パラメータ(推定情報)と第1スペクトルとを用い、信号帯域FL〜FHの推定スペクトル(微細スペクトル)を復号する。得られた推定スペクトルは高域スペクトル正規化部563に与えられる。
補正スケールファクタ復号化部564は、本実施の形態に係る変換符号化装置から送られてくる符号化パラメータ(補正スケールファクタ)を用いて補正スケールファクタを復号する。具体的には、内蔵の補正スケールファクタ符号帳522(図示せず)を参照し、対応する補正スケールファクタを乗算器565に出力する。
高域スペクトル正規化部563は、高域スペクトル復号化部562から出力される推定スペクトルの信号帯域FL〜FHを複数のサブバンドに分割し、各サブバンドに含まれるスペクトルの大きさを求める。具体的には、サブバンドへの分割は、臨界帯域に対応付けて行われ、バーク尺度で等間隔に分割される。また、スケールファクタ算出部521は、各サブバンドに含まれるスペクトルの平均振幅を求め、これを第1スケールファクタSF1(k){0≦k<NB}とする。ここでNBはサブバンド数を表す。なお、平均振幅の代わりに最大振幅値等を用いても良い。次に、高域スペクトル正規化部563は、推定スペクトルの値(MDCT値)をサブバンド毎に第1スケールファクタSF1(k)で除算し、除算した推定スペクトル値を正規化推定スペクトルとして乗算器565に出力する。
乗算器565は、高域スペクトル正規化部563から出力される正規化推定スペクトルに、補正スケールファクタ復号化部564から出力される補正スケールファクタを乗じ、乗算結果を連結部566に出力する。
連結部566は、第1スペクトルと乗算器から出力される正規化推定スペクトルとを周波数軸上において連結し、信号帯域0〜FHの広帯域の復号スペクトルを生成して、時間領域変換部567に出力する。
時間領域変換部567は、連結部566から出力される復号スペクトルに対し、逆MDCT処理を施し、適切な窓関数を乗じた後に、前フレームの窓掛け後の信号と対応する領域を加算して、第2レイヤ復号信号を生成して出力する。
以上説明したように、本実施の形態によれば、高位レイヤの周波数領域での符号化において、入力信号を周波数領域の係数に変換してスケールファクタを量子化する際に、スケ
ールファクタが小さくなる量子化候補が選択されやすくなる重み付き歪み尺度を用いてスケールファクタの量子化を行う。すなわち、量子化後のスケールファクタが量子化前のスケールファクタよりも小さいものが選ばれやすくなる。よって、スケールファクタの量子化に配分されるビット数が充分でない場合でも、聴感的な主観品質の劣化を抑えることができる。
なお、本実施の形態では、ベクトル量子化を用いる場合を例にとって説明したが、ベクトル量子化、すなわちベクトル毎に処理を行う代わりに、サブバンド毎に独立に処理を行っても良い。かかる場合、例えば、補正スケールファクタ符号帳522に含まれる補正スケールファクタ候補はスカラーで表される。
また、本実施の形態では、サブバンド毎の平均パワー値を閾値を比較することで背景雑音フラグBNF(k)の値を決定したが、本発明はこれに限らず、背景雑音のサブバンド毎の平均パワー値と、第1復号信号(音声部)のサブバンド毎の平均パワー値との比を利用する方法等にも同様に適用される。
また、本実施の形態では、符号化装置内にアップサンプリング部505を備える構成について説明したが、本発明はこれに限らず、第1アップサンプリング部を備えず、狭帯域の第1レイヤ復号化信号を第2レイヤ符号化部に入力する場合についても同様に適用できる。
また、本実施の形態では、入力信号の特性(例えば、音声が含まれる部分か音声が含まれない部分か、等)に関わらず、常に上述した方法によって量子化を行う場合について説明したが、本発明はこれに限らず、入力信号の特性(有声部分か無声部分か等)に応じて上述した方法を利用するかどうかを切り替える場合についても同様に適用できる。例えば、入力信号に音声が含まれている部分に対しては上述した重みを適用した距離計算によるベクトル量子化を行い、入力信号に音声が含まれない部分に対しては上述した重みを適用した距離計算によるベクトル量子化ではなく、実施の形態1〜4に示した方法によるベクトル量子化を行うという手法が挙げられる。このように、入力信号の特性に応じて、時間軸上でもベクトル量子化の距離計算手法を切り替えることで、より品質の良い復号化信号を得ることができる。
(実施の形態6)
本発明の実施の形態6は、実施の形態5に対して、符号化装置の第2レイヤ符号化部の内部構成のみが異なる。図16は、本実施の形態に係る第2レイヤ符号化部508の内部の主要な構成を示すブロック図である。図16に示す第2レイヤ符号化部508は、図13と比較して、補正スケールファクタ符号化部614の作用が、補正スケールファクタ符号化部514と異なる。
高域スペクトル推定部513は、推定スペクトル自体を補正スケールファクタ符号化部614に与える。
補正スケールファクタ符号化部614は、背景雑音情報を用いて、第1スペクトルのスケールファクタが第2スペクトルのスケールファクタに近づくように、第1スペクトルのスケールファクタを補正し、この補正スケールファクタに関する情報を符号化して出力する。
図17は、図16中の補正スケールファクタ符号化部614の内部の主要な構成を示すブロック図である。補正スケールファクタ符号化部614は、スケールファクタ算出部621、622、補正スケールファクタ符号帳623、乗算器624、減算器625、判定
部626、重み付き誤差算出部627、および探索部628を備え、各部は以下の動作を行う。
スケールファクタ算出部621は、入力される第2スペクトルの信号帯域FL〜FHを複数のサブバンドに分割し、各サブバンドに含まれるスペクトルの大きさを求め、減算器625に出力する。具体的には、サブバンドへの分割は、臨界帯域に対応付けて行われ、バーク尺度で等間隔に分割される。また、スケールファクタ算出部621は、各サブバンドに含まれるスペクトルの平均振幅を求め、これを第2スケールファクタSF2(k){0≦k<NB}とする。ここでNBはサブバンド数を表す。なお、平均振幅の代わりに最大振幅値等を用いても良い。
以降の処理においては、複数のサブバンドにおける各パラメータを1つのベクトル値にまとめる。例えば、NB個のスケールファクタを1つのベクトルとして表す。そして、このベクトル毎に各処理を行う場合、すなわち、ベクトル量子化を行う場合を例にとって説明を行う。
スケールファクタ算出部622は、入力される第1スペクトルの信号帯域FL〜FHを複数のサブバンドに分割し、各サブバンドの第1スケールファクタSF1(k){0≦k<NB}を算出し、乗算器624に出力する。スケールファクタ算出部621と同様に、平均振幅の代わりに最大振幅値等を用いても良い。
補正スケールファクタ符号帳623は、補正スケールファクタの候補が複数格納されており、探索部628からの指示に従い、格納されている補正スケールファクタの候補のうちの1つを乗算器624に順次出力する。補正スケールファクタ符号帳623に格納されている補正スケールファクタの複数の候補は、ベクトルで表される。
乗算器624は、スケールファクタ算出部622から出力される第1スケールファクタと、補正スケールファクタ符号帳623から出力される補正スケールファクタの候補とを乗算し、乗算結果を減算器625に与える。
減算器625は、スケールファクタ算出部621より出力される第2スケールファクタから、乗算器624の出力、すなわち、第1スケールファクタおよび補正スケールファクタ候補の積を減じ、これにより得られる誤差信号を、判定部626および重み付き誤差算出部627に与える。
判定部626は、減算器625から与えられる誤差信号の符号、及び背景雑音情報とに基づいて、重み付き誤差算出部に与える重みベクトルを決定する。以下、判定部における具体的な処理の流れを説明する。
判定部626は、入力された背景雑音情報を分析する。また、判定部626は、内部に要素数がサブバンド数NBである、背景雑音フラグBNF(k){0≦k<NB}を有する。判定部626は、背景雑音情報が、入力信号(第1復号信号)中に背景雑音が含まれていないことを示している場合には、背景雑音フラグBNF(k)の値を全て0に設定する。また、判定部626は、背景雑音情報が、入力信号(第1復号信号)中に背景雑音が含まれていることを示している場合には、背景雑音情報が示す背景雑音の周波数特性を分析し、サブバンド毎の周波数特性に変換する。なお、ここでは説明の簡略化のため、背景雑音情報がサブバンド毎のスペクトルの平均パワー値を示すものとして扱う。判定部626は、サブバンド毎のスペクトルの平均パワー値SP(k)と、予め内部に設定されたサブバンド毎の閾値ST(k)を比較し、SP(k)がST(k)以上であった場合には対応するサブバンドの背景雑音フラグBNF(k)の値を1に設定する。
ここで、減算器625から与えられる誤差信号d(k)は、以下の式(9)によって表される。
Figure 0004954080
ここで、v(k)は、第i番目の補正スケールファクタの候補を表す。判定部626は、d(k)の符号が正である場合にはwposを重みとして選択する。また、判定部626は、d(k)の符号が負であり、かつ背景雑音フラグBNF(k)の値が1である場合にはwposを重みとして選択する。また、判定部626は、d(k)の符号が負であり、かつ背景雑音フラグBNF(k)の値が0である場合にはwnegを重みとして選択する。次に、判定部626は、これらから構成される重みベクトルw(k)を、重み付き誤差算出部627に出力する。これらの重みには、以下の式(10)の大小関係がある。
Figure 0004954080
例えば、サブバンド数NB=4であり、d(k)の符号が{+,−,−,+}であり、背景雑音フラグBNF(k)が{0,0,1,1}となる場合、重み付き誤差算出部627に出力される重みベクトルw(k)は、w(k)={wpos,wneg ,wpos ,wpos }と表される。
重み付き誤差算出部627は、まず、減算器625から与えられる誤差信号の2乗値を算出し、次に、判定部626から与えられる重みベクトルw(k)を誤差信号の2乗値に乗じて、重み付き2乗誤差Eを算出し、算出結果を探索部628に与える。ここで、重み付き2乗誤差Eは以下の式(11)のように表される。
Figure 0004954080
探索部628は、補正スケールファクタ符号帳623を制御して、格納されている補正スケールファクタの候補を順次出力させ、閉ループ処理により、重み付き誤差算出部627から出力される重み付き2乗誤差Eが最小となる補正スケールファクタの候補を求める。探索部628は、求まった補正スケールファクタの候補のインデックスioptを符号化パラメータとして出力する。
上記のように、誤差信号の符号に応じて重み付き2乗誤差を算出するときの重みを設定し、かつその重みが式(10)に示されるような関係がある場合、次のような作用が得られる。すなわち、誤差信号d(k)が正の場合とは、復号化側で生成される復号値(符号化側で言うと、第1スケールファクタを正規化し、正規化された値に補正スケールファクタ候補を乗じた値)が目標値である第2スケールファクタよりも小さくなる場合である。また、誤差信号d(k)が負の場合とは、復号化側で生成される復号値が目標値である第
2スケールファクタよりも大きくなる場合である。従って、誤差信号d(k)が正の場合の重みを、誤差信号d(k)が負の場合の重みよりも小さくなるように設定することにより、2乗誤差が同程度の値の場合、第2スケールファクタよりも小さい復号値を生成する補正スケールファクタ候補が選択されやすくなる。
これにより次のような改善効果が得られる。例えば、本実施の形態のように、低域スペクトルを利用して高域スペクトルを推定する場合、一般的には、低ビットレート化を実現することができる。しかし、低ビットレート化を実現する一方で、推定スペクトルの精度、すなわち、推定スペクトルと高域スペクトルとの類似性は、上述の通り、充分に高いとは言えない。かかる場合に、スケールファクタの復号値が目標値よりも大きくなり、量子化後のスケールファクタが推定スペクトルを強調する方向に作用すると、推定スペクトルの精度の低さが人間の耳に品質劣化として知覚されやすくなる。逆に、スケールファクタの復号値が目標値よりも小さくなり、量子化後のスケールファクタがこの推定スペクトルを減衰する方向に作用するときは、推定スペクトルの精度の低さが目立たなくなり、復号信号の音質が改善するという効果が得られる。さらに、入力信号(第1レイヤ復号化信号)中に背景雑音が含まれるかどうかに応じて、上記の作用の程度を調整することにより、聴感的により良い復号化信号を得ることが出来る。なお、この傾向は、計算機によるシミュレーションにおいても確認することができた。
また、本実施の形態では、入力信号の特性(例えば、音声が含まれる部分か音声が含まれない部分か、等)に関わらず、常に上述した方法によって量子化を行う場合について説明したが、本発明はこれに限らず、入力信号の特性(有声部分か無声部分か等)に応じて上述した方法を利用するかどうかを切り替える場合についても同様に適用される。例えば、入力信号に音声が含まれている部分に対しては上述した重みを適用した距離計算によるベクトル量子化を行い、入力信号に音声が含まれない部分に対しては上述した重みを適用した距離計算によるベクトル量子化ではなく、実施の形態1〜4に示した方法によるベクトル量子化を行うという手法が挙げられる。このように、入力信号の特性に応じて、時間軸上でもベクトル量子化の距離計算手法を切り替えることで、より品質の良い復号化信号を得ることが出来る。
(実施の形態7)
図18は、本発明の実施の形態7に係るスケーラブル復号化装置の主要な構成を示すブロック図である。図18において、分離部701は、図示せぬ符号化装置から送出されたビットストリームを受信し、受信したビットストリームに記録されているレイヤ情報に基づいて、ビットストリームを分離し、レイヤ情報を切替部705及びポストフィルタの修正LPC算出部708に出力する。
レイヤ情報がレイヤ3を示す場合、すなわち、ビットストリームに全てのレイヤ(第1レイヤ〜第3レイヤ)の符号化情報が格納されている場合、分離部701は、ビットストリームから第1レイヤ符号化情報、第2レイヤ符号化情報、第3レイヤ符号化情報を分離する。分離された第1レイヤ符号化情報は第1レイヤ復号化部702に、第2レイヤ符号化情報は第2レイヤ復号化部703に、第3レイヤ符号化情報は第3レイヤ復号化部704にそれぞれ出力される。
また、レイヤ情報がレイヤ2を示す場合、すなわち、ビットストリームに第1レイヤ及び第2レイヤの符号化情報が格納されている場合、分離部701は、ビットストリームから第1レイヤ符号化情報、第2レイヤ符号化情報を分離する。分離された第1レイヤ符号化情報は第1レイヤ復号化部702に、第2レイヤ符号化情報は第2レイヤ復号化部703にそれぞれ出力される。
さらに、レイヤ情報がレイヤ1を示す場合、すなわち、ビットストリームに第1レイヤの符号化情報のみが格納されている場合、分離部701は、ビットストリームから第1レイヤ符号化情報を分離し、分離した第1レイヤ符号化情報を第1レイヤ復号化部702に出力する。
第1レイヤ復号化部702は、分離部701から出力された第1レイヤ符号化情報を用いて、信号帯域kが0以上、FH未満における基本品質の第1レイヤ復号信号を生成し、生成した第1レイヤ復号信号を切替部705、第2レイヤ復号化部703、及び背景雑音検出部706に出力する。
第2レイヤ復号化部703は、分離部701から第2レイヤ符号化情報が出力されると、この第2レイヤ符号化情報と第1レイヤ復号化部702から出力された第1レイヤ復号信号とを用いて、信号帯域kが0以上、FL未満における改善品質と、信号帯域kがFL以上、FH未満における基本品質の第2レイヤ復号信号を生成する。生成された第2レイヤ復号信号は切替部705及び第3レイヤ復号化部704に出力される。なお、第2レイヤ復号化部703は、レイヤ情報がレイヤ1を示す場合、第2レイヤ符号化情報が得られないので、全く動作しないか、もしくは、第2レイヤ復号化部703に備わる変数を更新する。
第3レイヤ復号化部704は、分離部701から第3レイヤ符号化情報が出力されると、この第3レイヤ符号化情報と第2レイヤ復号化部703から出力された第2レイヤ復号信号とを用いて、信号帯域kが0以上、FH未満における改善品質の第3レイヤ復号信号を生成する。生成された第3レイヤ復号信号は切替部705に出力される。なお、第3レイヤ復号化部704は、レイヤ情報がレイヤ1又はレイヤ2を示す場合、第3レイヤ符号化情報が得られないので、全く動作しないか、もしくは、第3レイヤ復号化部704に備わる変数を更新する。
背景雑音検出部706は、第1レイヤ復号信号を入力とし、この信号内に背景雑音が含まれるかどうかを判定する。背景雑音検出部706は、第1レイヤ復号信号に背景雑音が含まれていると判定した場合には、該背景雑音に対してMDCTなどの処理を行ってその周波数特性を分析し、分析した周波数特性を背景雑音情報として修正LPC算出部708に出力する。また、背景雑音検出部706は、第1レイヤ復号信号に背景雑音が含まれていないと判定した場合には、第1レイヤ復号信号には背景雑音が含まれていないことを示す背景雑音情報を修正LPC算出部708に出力する。なお、本実施の形態では、背景雑音の検出方法として、ある区間の入力信号を分析しその入力信号の最大パワー値と最小パワー値を算出し、それらの比、あるいは差が閾値以上であった場合に最小パワー値を雑音とする等の方法の他、一般的な背景雑音検出方法を採ることができる。なお、本実施の形態では、背景雑音検出部706は、第1レイヤ復号信号に背景雑音が含まれるかどうかを判定したが、本発明はこれに限らず、第2レイヤ復号信号、及び第3レイヤ復号信号に背景雑音が含まれるかどうかを検出する場合や、入力信号中に含まれる背景雑音の情報を符号化装置側から伝送し、伝送された背景雑音の情報を利用する場合に対しても同様に適用できる。
切替部705は、分離部701から出力されたレイヤ情報に基づいて、いずれのレイヤの復号信号が得られるかを判断し、最も高次のレイヤにおける復号信号を修正LPC算出部708及びフィルタ部707に出力する。
ポストフィルタは、修正LPC算出部708とフィルタ部707とを備え、修正LPC算出部708は、分離部701から出力されたレイヤ情報と、切替部705から出力された復号信号、及び背景雑音検出部706から得られる背景雑音情報とを用いて、修正LP
C係数を算出し、算出した修正LPC係数をフィルタ部707に出力する。修正LPC算出部708の詳細については後述する。
フィルタ部707は、修正LPC算出部708から出力された修正LPC係数によってフィルタを構成し、切替部705から出力された復号信号にポストフィルタ処理を施し、ポストフィルタ処理を施した復号信号を出力する。
図19は、図18に示した修正LPC算出部708の内部構成を示すブロック図である。この図において、周波数変換部711は、切替部705から出力された復号信号の周波数分析を行い、復号信号のスペクトル(以下、「復号スペクトル」という)を求め、求めた復号スペクトルをパワースペクトル算出部712に出力する。
パワースペクトル算出部712は、周波数変換部711から出力された復号スペクトルのパワー(以下、「パワースペクトル」という)を算出し、算出したパワースペクトルをパワースペクトル修正部713に出力する
修正帯域決定部714は、分離部701から出力されたレイヤ情報に基づいて、パワースペクトルの修正を行う帯域(以下、「修正帯域」という)を決定し、決定した帯域は修正帯域情報としてパワースペクトル修正部713に出力する。
本実施の形態では、各レイヤは図20に示した信号帯域及び音声品質を担当しているので、レイヤ情報がレイヤ1を示す場合、修正帯域決定部714は修正帯域を0(修正を行わない)とし、レイヤ情報がレイヤ2を示す場合、修正帯域を0〜FLとし、また、レイヤ情報がレイヤ3を示す場合、修正帯域を0〜FHとして修正帯域情報を生成する。
パワースペクトル修正部713は、修正帯域決定部714から出力された修正帯域情報、及び背景雑音情報に基づいて、パワースペクトル算出部712から出力されたパワースペクトルを修正し、修正したパワースペクトルを逆変換部715に出力する。
ここで、パワースペクトルの修正とは、背景雑音情報が「第1復号信号に背景雑音が含まれていない」ことを示している場合に、ポストフィルタの特性を弱め、スペクトルの変形が小さくなるようにすることを意味し、より具体的には、パワースペクトルの周波数軸上での変化を抑圧するように修正することを意味する。これにより、レイヤ情報がレイヤ2を示す場合、0〜FLの帯域におけるポストフィルタの特性が弱められ、レイヤ情報がレイヤ3を示す場合、0〜FHの帯域におけるポストフィルタの特性が弱められる。また、パワースペクトル修正部713は、背景雑音情報が「第1復号信号に背景雑音が含まれている」ことを示している場合には、上記のようなポストフィルタの特性を弱める処理を行わない、あるいは弱める程度を少なくするという処理を行う。このように第1復号信号中に背景雑音が存在するかどうか(入力信号中に背景雑音が存在するかどうか)に応じて、ポストフィルタ処理を切り替えることにより、背景雑音が存在しない場合には復号信号の異音感を出来る限り目立たないようにし、背景雑音が存在する場合には復号信号の帯域感を出来る限り増加させるような処理が可能になり、より主観的に良い品質の復号信号を生成することが出来る。
逆変換部715は、パワースペクトル修正部713から出力された修正パワースペクトルに逆変換を施し、自己相関関数を求める。求められた自己相関関数はLPC分析部716に出力される。なお、逆変換部715はFFT(Fast Fourier Transform)を利用することにより、演算量を削減することができる。このとき、修正パワースペクトルの次数が2Nで表せない場合、分析長が2Nになるよう修正パワースペクトルを平均化してもよいし、修正パワースペクトルを間引いてもよい。
LPC分析部716は、逆変換部715から出力された自己相関関数に自己相関法などを用いてLPC係数を求め、求めたLPC係数を修正LPC係数としてフィルタ部707に出力する。
次に、上述したパワースペクトル修正部713の具体的な実現方法について説明する。まず、第1の実現方法として、修正帯域におけるパワースペクトルを平坦化する方法について説明する。この方法は、修正帯域におけるパワースペクトルの平均値を算出し、算出した平均値によって平均化前のスペクトルを置き換えるものである。
図21に、第1の実現方法によるパワースペクトルの修正の様子を示す。この図では、女性の有声部(/o/)のパワースペクトルに対し、レイヤ情報がレイヤ2(0〜FLの帯域におけるポストフィルタの特性を弱める)のときの修正の様子を示しており、0〜FLの帯域を約22dBのパワースペクトルで置き換えている。このとき、修正される帯域と修正されない帯域の接続部分でのスペクトルの変化が不連続にならないようにパワースペクトルを修正することが望ましい。その具体的な方法として、例えば、前記接続部分とその近傍のパワースペクトルに対して移動平均値を求め、その移動平均値で対応するパワースペクトルを置き換える。これにより正確なスペクトル特性を有する修正LPC係数を求めることができる。
次に、パワースペクトル修正部713の第2の実現方法について説明する。第2の実現方法は、修正帯域におけるパワースペクトルのスペクトル傾斜を求め、求めたスペクトル傾斜によって当該帯域のスペクトルを置き換えるものである。ここで、スペクトル傾斜とは、当該帯域におけるパワースペクトルの全体的な傾きを示すものである。例えば、復号信号の1次のPARCOR係数(反射係数)、あるいは当該PARCOR係数に定数を乗じて形成されるディジタルフィルタのスペクトル特性が用いられる。このスペクトル特性に、当該帯域におけるパワースペクトルのエネルギーが保存されるように算出された係数を乗じたもので当該帯域のパワースペクトルが置き換えられる。
図22に、第2の実現方法によるパワースペクトルの修正の様子を示す。この図では、0〜FLの帯域におけるパワースペクトルを約23dB〜26dBに傾斜するパワースペクトルで置き換えている。
ここで、以下の式(12)に代表的なポストフィルタの伝達関数PFを示す。なお式(12)におけるα(i)は復号信号のLPC(Linear Prediction Coefficient )係数、NPはLPC係数の次数、γnとγdはポストフィルタの雑音抑圧の程度を決定する設定値(0<γn<γd<1)、μはフォルマント強調フィルタにより生じるスペクトル傾きを補正するための設定値、をそれぞれ表す。
Figure 0004954080
上述したように修正帯域におけるパワースペクトルをスペクトル傾斜で置き換えることにより、ポストフィルタの傾き補正フィルタ 式(12)のU(z) による高域強調の作
用を当該帯域内では打ち消しあうことになる。すなわち、式(12)のU(z)のスペクトル特性の逆特性に相当するスペクトル特性を付与することになる。これにより、ポストフィルタを含めた当該帯域のスペクトル特性をより平坦化させることができる。
また、パワースペクトル修正部713の第3の実現方法として、修正帯域におけるパワースペクトルをα乗(0<α<1)したものを用いてもよい。この方法では、前述したようなパワースペクトルを平坦化する方法に比べて、より柔軟にポストフィルタの特性を設計することができる。
次に、上述した修正LPC算出部708によって算出された修正LPC係数を用いて構成されたポストフィルタのスペクトル特性について図23を用いて説明する。ここでは、図22に示したスペクトルを用いて修正LPC係数を求め、かつ、ポストフィルタの設定値をγn=0.6、γd=0.8、μ=0.4とした場合のスペクトル特性を例に説明する。なお、LPC係数の次数は18次とする。
図23に示す実線はパワースペクトル修正を行った場合のスペクトル特性を表し、点線はパワースペクトル修正を行わなかった場合(設定値は上記同様)のスペクトル特性を表す。図23に示すように、パワースペクトル修正を行った場合のポストフィルタの特性は、0〜FLの帯域ではほぼ平坦になっており、FL〜FHの帯域ではパワースペクトル修正を行わなかった場合と同様のスペクトル特性となっている。
一方、ナイキスト周波数近傍では、パワースペクトル修正を行った場合のスペクトル特性は、パワースペクトル修正を行わなかった場合のスペクトル特性に比べ、若干減衰しているが、この帯域の信号成分は他の帯域の信号成分に比べて小さいため、この影響はほとんど無視することができる。
このように実施の形態7によれば、レイヤ情報に応じた帯域のパワースペクトルを修正し、修正したパワースペクトルに基づいて修正LPC係数を算出し、算出した修正LPC係数によってポストフィルタを構成することにより、各レイヤが担当する帯域毎に音声品質が異なる場合でも、音声品質に応じたスペクトル特性によって復号信号にポストフィルタ処理を施すことができるので、音声品質を改善することができる。
なお、本実施の形態では、レイヤ情報がレイヤ1〜3のいずれの場合も、修正LPC係数を算出するものとして説明したが、符号化の対象となる全ての帯域がほぼ同一の音声品質であるレイヤの場合(本実施の形態では、全帯域が基本品質のレイヤ1、及び、全帯域が改善品質のレイヤ3)には、必ずしも帯域毎に修正LPC係数を算出する必要はなく、このような場合、ポストフィルタの強さを規定する設定値(γn、γd及びμ)をレイヤ毎に予め用意し、用意された設定値を切り替えてポストフィルタを直接構成するようにしてもよい。これにより、修正LPC係数の算出に要する処理量、処理時間を削減することができる。
なお、本実施の形態では、パワースペクトル修正部713において、第1レイヤ復号信号中に背景雑音が存在するか否かに応じて全帯域共通の処理を行ったが、本発明はこれに限らず、背景雑音検出部706において第1レイヤ復号信号中に含まれる背景雑音の周波数特性を算出し、パワースペクトル修正部713ではその結果を利用してサブバンド毎にパワースペクトルの修正方法を切り替える場合等にも同様に適用できる。
(実施の形態8)
図24は、本発明の実施の形態8に係るスケーラブル復号化装置の主要な構成を示すブロック図である。ここでは、図18と異なる部分のみ説明する。この図において、第2切
替部806は、分離部801からレイヤ情報を取得し、取得したレイヤ情報に基づいて、いずれのレイヤの復号スペクトルが得られるかを判断し、最も高次のレイヤにおける復号LPC係数をポストフィルタの抑圧情報算出部808に出力する。ただし、復号処理の過程で復号LPC係数を生成しない場合も考えられ、このような場合、第2切替部806が取得した復号LPC係数からいずれかの復号LPC係数が選択される。
背景雑音検出部807は、第1レイヤ復号信号を入力とし、この信号内に背景雑音が含まれるかどうかを判定する。背景雑音検出部807は、第1レイヤ復号信号に背景雑音が含まれていると判定した場合には、該背景雑音に対してMDCTなどの処理を行ってその周波数特性を分析し、分析した周波数特性を背景雑音情報として抑圧情報算出部808に出力する。また、背景雑音検出部807は、第1レイヤ復号信号に背景雑音が含まれていないと判定した場合には、第1レイヤ復号信号には背景雑音が含まれていないという情報を背景雑音情報として抑圧情報算出部808に出力する。なお、背景雑音の検出方法は、ある区間の入力信号を分析しその入力信号の最大パワー値と最小パワー値を算出し、それらの比、あるいは差が閾値以上であった場合に最小パワー値を雑音とする等の方法の他、一般的な背景雑音検出方法を採ることとする。なお、本実施の形態では、背景雑音検出部706は、第1レイヤ復号信号に背景雑音が含まれるかどうかを判定したが、本発明はこれに限らず、第2レイヤ復号信号、及び第3レイヤ復号信号に背景雑音が含まれるかどうかを検出する場合や、入力信号中に含まれる背景雑音の情報を符号化装置側から伝送し、伝送された背景雑音の情報を利用する場合に対しても同様に適用できる。
抑圧情報算出部808は、分離部801から出力されたレイヤ情報と、第2切替部806から出力されたLPC係数と、背景雑音検出部807から出力された背景雑音情報とを用いて、抑圧情報を算出し、算出した抑圧情報を乗算器809に出力する。抑圧情報算出部808の詳細については後述する。
乗算器809は、抑圧情報算出部808から出力された抑圧情報を切替部805から出力された復号スペクトルに乗算し、抑圧情報を乗算した復号スペクトルを時間領域変換部810に出力する。
時間領域変換部810は、乗算器809から出力される復号スペクトルに対し、逆MDCT処理を施し、適切な窓関数を乗じた後に、前フレームの窓掛け後の信号と対応する領域を加算して、出力信号を生成して出力する。
図25は、図24に示した抑圧情報算出部808の内部構成を示すブロック図である。この図において、LPCスペクトル算出部821は、第2切替部806から出力された復号LPC係数を離散フーリエ変換し、各複素スペクトルのエネルギーを算出し、算出したエネルギーをLPCスペクトルとしてLPCスペクトル修正部822に出力する。すなわち、復号LPC係数をα(i)と表したとき、次式(13)で表されるフィルタを構成する。
Figure 0004954080
LPCスペクトル算出部821は、上式(13)で表されるフィルタのスペクトル特性
を算出し、LPCスペクトル修正部822に出力する。ここで、NPは復号LPC係数の次数を表す。
また、雑音抑圧の強さの程度を調整する所定のパラメータγn及びγdを用いて、以下の式(14)で表されるフィルタを構成し、このフィルタのスペクトル特性を算出するようにしてもよい(0<γn<γd<1)。
Figure 0004954080
また、式(13)又は式(14)で表されるフィルタには、低域部(もしくは高域部)が高域部(もしくは低域部)に比べて過度に強調される特性(一般に、この特性を「スペクトル傾き」という)が生じる場合があるが、これを補正するためのフィルタ(アンチチルトフィルタ)を併用してもよい。
LPCスペクトル修正部822は、実施の形態7中のパワースペクトル修正部713と同様に、修正帯域決定部823から出力された修正帯域情報に基づいて、LPCスペクトル算出部821から出力されたLPCスペクトルを修正し、修正したLPCスペクトルを抑圧係数算出部824に出力する。
抑圧係数算出部824は、背景雑音情報を利用して、以下のような方法で抑圧係数を算出する。
抑圧係数算出部824は、LPCスペクトル修正部822から出力された修正LPCスペクトルを予め定められたバンド幅のサブバンドに分割し、分割したサブバンド毎の平均値を求める。そして、求めた平均値が所定の閾値より小さいサブバンドを選択し、選択したサブバンドについて、復号スペクトルを抑圧する係数(ベクトル値)を算出する。これにより、スペクトルの谷となる帯域を含むサブバンドを減衰させることができる。ちなみに、抑圧係数の算出は選択されたサブバンドの平均値に基づいて行われる。その具体的な算出法としては、例えば、サブバンドの平均値に所定の係数を乗じて抑圧係数を算出する。また、平均値が所定の閾値以上のサブバンドについては、復号スペクトルを変化させないような係数が算出される。
なお、抑圧係数は、LPC係数である必要はなく、復号スペクトルに直接乗じられる係数であればよい。これにより、逆変換処理及びLPC分析処理を行う必要がなくなり、これらの処理に要する演算量を削減することができる。
また、抑圧係数算出部824は、次に示す方法に基づいて抑圧係数を算出してもよい。すなわち、抑圧係数算出部824では、LPCスペクトル修正部822から出力された修正LPCスペクトルを予め定められたバンド幅のサブバンドに分割し、分割したサブバンド毎の平均値を求める。そして、各サブバンドの平均値の中で最大となるサブバンドを求め、当該サブバンドの平均値を用いて各サブバンドの平均値を正規化する。当該正規化後のサブバンド平均値を抑圧係数として出力する。
この方法では、所定のサブバンドに分割した後に抑圧係数を出力する方法について説明しているが、より細かく抑圧係数を決定するために、周波数毎に抑圧係数を算出して出力してもよい。その場合、抑圧係数算出部824では、LPCスペクトル修正部822から出力された修正LPCスペクトルの中で最大となる周波数を求め、当該周波数のスペクトルを用いて各周波数のスペクトルを正規化する。当該正規化後のスペクトルを抑圧係数として出力する。
なお、ここで、上記のようにして算出される抑圧係数は、抑圧係数算出部824に入力された背景雑音情報が「第1レイヤ復号信号中に背景雑音が含まれている」ことを示していた場合には、その背景雑音のレベルに応じて、スペクトルの谷となる帯域を含むサブバンドを減衰させる効果が少なくなるように最終的に決定されることとする。このように第1復号信号中に背景雑音が存在するかどうか(入力信号中に背景雑音が存在するかどうか)に応じて、ポストフィルタ処理を切り替えることにより、背景雑音が存在しない場合には復号信号の異音感を出来る限り目立たないようにし、背景雑音が存在する場合には復号信号の帯域感を出来る限り増加させるような処理が可能になり、より主観的に良い品質の復号信号を生成することが出来る。
このように実施の形態8によれば、復号LPC係数から算出されたLPCスペクトルは、復号信号の微細情報が除かれたスペクトル包絡であり、このスペクトル包絡に基づいて直接的に抑圧係数を求めることにより、少ない演算量でより正確なポストフィルタを実現することができ、音声品質の向上を図ることが出来る。また、前記抑圧係数を、入力信号中(第1レイヤ復号信号中)に背景雑音が含まれるか否かに応じて切り替えることによって、背景雑音がある場合に対しても、ない場合に対してもそれぞれ主観的に良い品質の復号信号を生成することが出来る。
以上、本発明の各実施の形態について説明した。
なお、実施の形態1〜3、5〜8では、階層数が2または3の場合を例にとって説明したが、本発明は、階層数が2以上であればいずれの階層数のスケーラブル符号化にも適用することができる。
また、実施の形態1〜3、5〜8では、スケーラブル符号化を例にとって説明しているが、エンベディッド符号化等の他の階層符号化にも適用することができる。
また、本明細書では、音声信号を符号化対象とする場合を例にとって説明しているが、これに限定されず、本発明は、例えばオーディオ信号等にも適用することができる。
また、本明細書では、周波数変換としてMDCTを用いる場合を例にとって説明したが、高速フーリエ変換(FFT)、離散フーリエ変換(DFT)、DCT、サブバンドフィルタ等を使用することもできる。
本発明に係る変換符号化装置および変換符号化方法は、上記各実施の形態に限定されず、種々変更して実施することが可能である。
本発明に係る変換符号化装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。
なお、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係る変換符号化方法の
アルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係る変換符号化装置と同様の機能を実現することができる。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部または全てを含むように1チップ化されても良い。
また、ここではLSIとしたが、集積度の違いによって、IC、システムLSI、スーパーLSI、ウルトラLSI等と呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現しても良い。LSI製造後に、プログラム化することが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらに、半導体技術の進歩または派生する別技術により、LSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
本明細書は、2005年10月14日出願の特願2005−300778および2006年10月3日出願の特願2006−272251に基づく。これらの内容は、すべてここに含めておく。
本発明に係る変換符号化装置および変換符号化方法は、移動体通信システムにおける通信端末装置、基地局装置等の用途に適用することができる。
実施の形態1に係るスケーラブル符号化装置の主要な構成を示すブロック図 実施の形態1に係る第2レイヤ符号化部内部の主要な構成を示すブロック図 実施の形態1に係る補正スケールファクタ符号化部内部の主要な構成を示すブロック図 実施の形態1に係るスケーラブル復号化装置の主要な構成を示すブロック図 実施の形態1に係る第2レイヤ復号化部内部の主要な構成を示すブロック図 実施の形態2に係る第2レイヤ符号化部内部の主要な構成を示すブロック図 実施の形態2に係る第2レイヤ復号化部内部の主要な構成を示すブロック図 実施の形態3に係る第2レイヤ符号化部内部の主要な構成を示すブロック図 実施の形態4に係る変換符号化装置の主要な構成を示すブロック図 実施の形態4に係るスケールファクタ符号化部内部の主要な構成を示すブロック図 実施の形態4に係る変換復号化装置の主要な構成を示すブロック図 実施の形態5に係るスケーラブル符号化装置の主要な構成を示すブロック図 実施の形態5に係る第2レイヤ符号化部内部の主要な構成を示すブロック図 実施の形態5に係る補正スケールファクタ符号化部内部の主要な構成を示すブロック図 実施の形態5に係る第2レイヤ復号化部内部の主要な構成を示すブロック図 実施の形態6に係る第2レイヤ符号化部内部の主要な構成を示すブロック図 実施の形態6に係る補正スケールファクタ符号化部内部の主要な構成を示すブロック図 実施の形態7に係るスケーラブル復号化装置の主要な構成を示すブロック図 実施の形態7に係る修正LPC算出部内部の主要な構成を示すブロック図 実施の形態7に係る各レイヤの信号帯域及び音声品質を示す概略図 実施の形態7に係る第1の実現方法によるパワースペクトルの修正の状態を示すスペクトル特性図 実施の形態7に係る第2の実現方法によるパワースペクトルの修正の状態を示すスペクトル特性図 実施の形態7に係る修正LPC係数を用いて構成されたポストフィルタのスペクトル特性図 実施の形態8に係るスケーラブル復号化装置の主要な構成を示すブロック図 実施の形態8に係る抑圧情報算出部内部の主要な構成を示すブロック図

Claims (10)

  1. 入力スペクトルに対応する複数の入力スケールファクタを算出する入力スケールファクタ算出手段と、
    スケールファクタを複数格納し、一のスケールファクタを出力する符号帳と、
    前記複数の入力スケールファクタのうちの一の入力スケールファクタと前記符号帳から出力されるスケールファクタとの歪みを算出する歪み算出手段と、
    前記一の入力スケールファクタが前記符号帳から出力されるスケールファクタより大きい場合の前記歪みよりも、前記一の入力スケールファクタが前記符号帳から出力されるスケールファクタより小さい場合の前記歪みに対して、より重みを付けた重み付き歪みを算出する重み付き歪み算出手段と、
    前記符号帳において、前記重み付き歪みを最小とするスケールファクタを探索する探索手段と、
    を具備する変換符号化装置。
  2. 前記入力スケールファクタの符号化に割り当てるビット数を適応的に決定する決定手段をさらに具備し、
    前記重み付き歪み算出手段は、
    割り当てられる前記ビット数が少ない入力スケールファクタに対しては、より加重した前記重みを使用して重み付き歪みを算出する、
    請求項1記載の変換符号化装置。
  3. 前記入力スペクトルに対して雑音が含まれるか否かを検出する背景雑音検出手段をさらに具備し、
    前記重み付き歪み算出手段は、
    前記一の入力スケールファクタが前記符号帳から出力されるスケールファクタより大きい場合の前記歪みよりも、前記一の入力スケールファクタが前記符号帳から出力されるスケールファクタより小さい場合の前記歪みに対して、より重みを付けるとともに、前記背景雑音検出部で検出された背景雑音のレベルが大きくなるにつれて、より重みが少なくなるように重み付き歪みを算出する、
    請求項1記載の変換符号化装置。
  4. 第1スペクトルに対応する複数の第1スケールファクタを算出する第1スケールファクタ算出手段と、
    第2スペクトルに対応する複数の第2スケールファクタを算出する第2スケールファクタ算出手段と、
    補正係数を複数格納し、一の補正係数を出力する符号帳と、
    前記複数の第1スケールファクタのうちの一の第1スケールファクタに前記符号帳から出力される補正係数を乗算して出力する乗算手段と、
    前記複数の第2スケールファクタのうちの一の第2スケールファクタと前記乗算手段から出力される第1スケールファクタとの歪みを算出する歪み算出手段と、
    前記一の第2スケールファクタが前記乗算手段から出力される第1スケールファクタより大きい場合の前記歪みよりも、前記一の第2スケールファクタが前記乗算手段から出力される第1スケールファクタより小さい場合の前記歪みに対して、より重みを付けた重み付き歪みを算出する重み付き歪み算出手段と、
    前記符号帳において、前記重み付き歪みを最小とする補正係数を探索する探索手段と、
    を具備する変換符号化装置。
  5. 前記第1スペクトルと前記第2スペクトルとの類似度を算出する類似度算出手段をさらに具備し、
    前記重み付き歪み算出手段は、
    前記類似度が小さい第2スケールファクタに対しては、より加重した前記重みを使用して重み付き歪みを算出する、
    請求項4記載の変換符号化装置。
  6. 前記第1スペクトル、または第2スペクトルのいずれか、あるいは両方に対して雑音が含まれるか否かを検出する背景雑音検出手段をさらに具備し、
    前記重み付き歪み算出手段は、
    前記一の第2スケールファクタが前記乗算手段から出力される第1スケールファクタより大きい場合の前記歪みよりも、前記一の第2スケールファクタが前記乗算手段から出力される第1スケールファクタより小さい場合の前記歪みに対して、より重みを付けるとともに、前記背景雑音検出部で検出された背景雑音のレベルが大きくなるにつれて、より重みが少なくなるように重み付き歪みを算出する、
    請求項4記載の変換符号化装置。
  7. 請求項1記載の変換符号化装置を具備する通信端末装置。
  8. 請求項1記載の変換符号化装置を具備する基地局装置。
  9. 入力スペクトルに対応する複数の入力スケールファクタを算出するステップと、
    スケールファクタを複数格納している符号帳の中から一のスケールファクタを選択するステップと、
    前記複数の入力スケールファクタのうちの一の入力スケールファクタと前記選択されたスケールファクタとの歪みを算出するステップと、
    前記一の入力スケールファクタが前記選択されたスケールファクタより大きい場合の前記歪みよりも、前記一の入力スケールファクタが前記選択されたスケールファクタより小さい場合の前記歪みに対して、より重みを付けた重み付き歪みを算出するステップと、
    前記符号帳において、前記重み付き歪みを最小とするスケールファクタを探索するステップと、
    を具備する変換符号化方法。
  10. 入力スペクトルに対応する複数の入力スケールファクタを算出するステップと、
    スケールファクタを複数格納している符号帳の中から一のスケールファクタを選択するステップと、
    前記入力スペクトルに対して雑音が含まれるか否かを検出する背景雑音検出ステップと、
    前記複数の入力スケールファクタのうちの一の入力スケールファクタと前記選択されたスケールファクタとの歪みを算出するステップと、
    前記一の入力スケールファクタが前記選択されたスケールファクタより大きい場合の前記歪みよりも、前記一の入力スケールファクタが前記選択されたスケールファクタより小さい場合の前記歪みに対して、より重みを付けるとともに、前記背景雑音検出部で検出された背景雑音のレベルが大きくなるにつれて、より重みが少なくなるように重み付き歪みを算出する重み付き歪み算出ステップと、
    前記符号帳において、前記重み付き歪みを最小とするスケールファクタを探索するステップと、
    を具備する変換符号化方法。
JP2007540000A 2005-10-14 2006-10-13 変換符号化装置および変換符号化方法 Expired - Fee Related JP4954080B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007540000A JP4954080B2 (ja) 2005-10-14 2006-10-13 変換符号化装置および変換符号化方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2005300778 2005-10-14
JP2005300778 2005-10-14
JP2006272251 2006-10-03
JP2006272251 2006-10-03
JP2007540000A JP4954080B2 (ja) 2005-10-14 2006-10-13 変換符号化装置および変換符号化方法
PCT/JP2006/320457 WO2007043648A1 (ja) 2005-10-14 2006-10-13 変換符号化装置および変換符号化方法

Publications (2)

Publication Number Publication Date
JPWO2007043648A1 JPWO2007043648A1 (ja) 2009-04-16
JP4954080B2 true JP4954080B2 (ja) 2012-06-13

Family

ID=37942869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007540000A Expired - Fee Related JP4954080B2 (ja) 2005-10-14 2006-10-13 変換符号化装置および変換符号化方法

Country Status (8)

Country Link
US (2) US8135588B2 (ja)
EP (1) EP1953737B1 (ja)
JP (1) JP4954080B2 (ja)
KR (1) KR20080047443A (ja)
CN (2) CN102623014A (ja)
BR (1) BRPI0617447A2 (ja)
RU (1) RU2008114382A (ja)
WO (1) WO2007043648A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8660851B2 (en) 2009-05-26 2014-02-25 Panasonic Corporation Stereo signal decoding device and stereo signal decoding method
JP5400880B2 (ja) * 2009-06-23 2014-01-29 日本電信電話株式会社 符号化方法、復号方法、それらの方法を用いた装置、プログラム、記録媒体
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
US9009037B2 (en) * 2009-10-14 2015-04-14 Panasonic Intellectual Property Corporation Of America Encoding device, decoding device, and methods therefor
US8838443B2 (en) 2009-11-12 2014-09-16 Panasonic Intellectual Property Corporation Of America Encoder apparatus, decoder apparatus and methods of these
US8924208B2 (en) * 2010-01-13 2014-12-30 Panasonic Intellectual Property Corporation Of America Encoding device and encoding method
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
EP2573941A4 (en) * 2010-07-05 2013-06-26 Nippon Telegraph & Telephone ENCODING METHOD, DECODING METHOD, DEVICE, PROGRAM, AND RECORDING MEDIUM
EP2573766B1 (en) * 2010-07-05 2015-03-18 Nippon Telegraph And Telephone Corporation Encoding method, decoding method, encoding device, decoding device, program, and recording medium
JP6075743B2 (ja) 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
RU2013110317A (ru) * 2010-09-10 2014-10-20 Панасоник Корпорэйшн Кодирующее устройство и способ кодирования
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
WO2012144128A1 (ja) * 2011-04-20 2012-10-26 パナソニック株式会社 音声音響符号化装置、音声音響復号装置、およびこれらの方法
CN103718240B (zh) * 2011-09-09 2017-02-15 松下电器(美国)知识产权公司 编码装置、解码装置、编码方法和解码方法
US9558752B2 (en) 2011-10-07 2017-01-31 Panasonic Intellectual Property Corporation Of America Encoding device and encoding method
EP2770506A4 (en) * 2011-10-19 2015-02-25 Panasonic Ip Corp America CODING DEVICE AND CODING METHOD
EP2774145B1 (en) * 2011-11-03 2020-06-17 VoiceAge EVS LLC Improving non-speech content for low rate celp decoder
CN103999369B (zh) * 2011-11-04 2017-02-22 Ess技术有限公司 多个rf通道的下转换
JP6179087B2 (ja) * 2012-10-24 2017-08-16 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化用コンピュータプログラム
US9875746B2 (en) 2013-09-19 2018-01-23 Sony Corporation Encoding device and method, decoding device and method, and program
CA2934602C (en) 2013-12-27 2022-08-30 Sony Corporation Decoding apparatus and method, and program
AU2015251609B2 (en) * 2014-04-25 2018-05-17 Ntt Docomo, Inc. Linear prediction coefficient conversion device and linear prediction coefficient conversion method
FR3049084B1 (fr) * 2016-03-15 2022-11-11 Fraunhofer Ges Forschung Dispositif de codage pour le traitement d'un signal d'entree et dispositif de decodage pour le traitement d'un signal code
US10263765B2 (en) * 2016-11-09 2019-04-16 Khalifa University of Science and Technology Systems and methods for low-power single-wire communication
CN108418612B (zh) * 2017-04-26 2019-03-26 华为技术有限公司 一种指示及确定预编码向量的方法和设备
US11133891B2 (en) 2018-06-29 2021-09-28 Khalifa University of Science and Technology Systems and methods for self-synchronized communications
US10951596B2 (en) * 2018-07-27 2021-03-16 Khalifa University of Science and Technology Method for secure device-to-device communication using multilayered cyphers
US11380345B2 (en) * 2020-10-15 2022-07-05 Agora Lab, Inc. Real-time voice timbre style transform
US11431962B2 (en) 2020-12-29 2022-08-30 Qualcomm Incorporated Analog modulated video transmission with variable symbol rate
US11553184B2 (en) 2020-12-29 2023-01-10 Qualcomm Incorporated Hybrid digital-analog modulation for transmission of video data
US11457224B2 (en) * 2020-12-29 2022-09-27 Qualcomm Incorporated Interlaced coefficients in hybrid digital-analog modulation for transmission of video data

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0651795A (ja) * 1992-03-02 1994-02-25 American Teleph & Telegr Co <Att> 信号量子化装置及びその方法
JPH09230898A (ja) * 1996-02-22 1997-09-05 Nippon Telegr & Teleph Corp <Ntt> 音響信号変換符号化方法及び復号化方法
JP2001255892A (ja) * 2000-03-13 2001-09-21 Nippon Telegr & Teleph Corp <Ntt> ステレオ信号符号化方法
JP2002091498A (ja) * 2000-09-19 2002-03-27 Victor Co Of Japan Ltd オーディオ信号符号化装置
JP2002335161A (ja) * 2001-05-07 2002-11-22 Sony Corp 信号処理装置及び方法、信号符号化装置及び方法、並びに信号復号装置及び方法
JP2003273747A (ja) * 2001-11-28 2003-09-26 Victor Co Of Japan Ltd 可変長符号化データ受信方法及び可変長符号化データ受信装置

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684920A (en) * 1994-03-17 1997-11-04 Nippon Telegraph And Telephone Acoustic signal transform coding method and decoding method having a high efficiency envelope flattening method therein
JPH07261797A (ja) * 1994-03-18 1995-10-13 Mitsubishi Electric Corp 信号符号化装置及び信号復号化装置
US5651090A (en) * 1994-05-06 1997-07-22 Nippon Telegraph And Telephone Corporation Coding method and coder for coding input signals of plural channels using vector quantization, and decoding method and decoder therefor
US5649051A (en) * 1995-06-01 1997-07-15 Rothweiler; Joseph Harvey Constant data rate speech encoder for limited bandwidth path
US5710863A (en) * 1995-09-19 1998-01-20 Chen; Juin-Hwey Speech signal quantization using human auditory models in predictive coding systems
US5664054A (en) * 1995-09-29 1997-09-02 Rockwell International Corporation Spike code-excited linear prediction
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6119083A (en) * 1996-02-29 2000-09-12 British Telecommunications Public Limited Company Training process for the classification of a perceptual signal
JP3246715B2 (ja) * 1996-07-01 2002-01-15 松下電器産業株式会社 オーディオ信号圧縮方法,およびオーディオ信号圧縮装置
US6202046B1 (en) * 1997-01-23 2001-03-13 Kabushiki Kaisha Toshiba Background noise/speech classification method
US6345246B1 (en) * 1997-02-05 2002-02-05 Nippon Telegraph And Telephone Corporation Apparatus and method for efficiently coding plural channels of an acoustic signal at low bit rates
US6167375A (en) * 1997-03-17 2000-12-26 Kabushiki Kaisha Toshiba Method for encoding and decoding a speech signal including background noise
CA2230188A1 (en) * 1998-03-27 1999-09-27 William C. Treurniet Objective audio quality measurement
US6351730B2 (en) * 1998-03-30 2002-02-26 Lucent Technologies Inc. Low-complexity, low-delay, scalable and embedded speech and audio coding with adaptive frame loss concealment
SE9903553D0 (sv) * 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
US6691082B1 (en) * 1999-08-03 2004-02-10 Lucent Technologies Inc Method and system for sub-band hybrid coding
US7171355B1 (en) * 2000-10-25 2007-01-30 Broadcom Corporation Method and apparatus for one-stage and two-stage noise feedback coding of speech and audio signals
US7925967B2 (en) * 2000-11-21 2011-04-12 Aol Inc. Metadata quality improvement
JP3404016B2 (ja) * 2000-12-26 2003-05-06 三菱電機株式会社 音声符号化装置及び音声符号化方法
EP1292036B1 (en) * 2001-08-23 2012-08-01 Nippon Telegraph And Telephone Corporation Digital signal decoding methods and apparatuses
US7146313B2 (en) * 2001-12-14 2006-12-05 Microsoft Corporation Techniques for measurement of perceptual audio quality
US6934677B2 (en) * 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
JP3898184B2 (ja) * 2001-12-25 2007-03-28 株式会社エヌ・ティ・ティ・ドコモ 信号符号化装置、信号符号化方法、プログラム
AU2003213149A1 (en) * 2002-02-21 2003-09-09 The Regents Of The University Of California Scalable compression of audio and other signals
US20040002856A1 (en) * 2002-03-08 2004-01-01 Udaya Bhaskar Multi-rate frequency domain interpolative speech CODEC system
US7752052B2 (en) * 2002-04-26 2010-07-06 Panasonic Corporation Scalable coder and decoder performing amplitude flattening for error spectrum estimation
US7058571B2 (en) * 2002-08-01 2006-06-06 Matsushita Electric Industrial Co., Ltd. Audio decoding apparatus and method for band expansion with aliasing suppression
US7054807B2 (en) * 2002-11-08 2006-05-30 Motorola, Inc. Optimizing encoder for efficiently determining analysis-by-synthesis codebook-related parameters
CN1420487A (zh) * 2002-12-19 2003-05-28 北京工业大学 1kb/s线谱频率参数的一步插值预测矢量量化方法
US7349842B2 (en) * 2003-09-29 2008-03-25 Sony Corporation Rate-distortion control scheme in audio encoding
US7613607B2 (en) * 2003-12-18 2009-11-03 Nokia Corporation Audio enhancement in coded domain
TWI231656B (en) * 2004-04-08 2005-04-21 Univ Nat Chiao Tung Fast bit allocation algorithm for audio coding
JP4365722B2 (ja) 2004-04-08 2009-11-18 株式会社リコー 光り走査装置の製造方法
US7490044B2 (en) * 2004-06-08 2009-02-10 Bose Corporation Audio signal processing
JP4774223B2 (ja) 2005-03-30 2011-09-14 株式会社モノベエンジニアリング ストレーナーシステム
JP5129118B2 (ja) * 2005-04-01 2013-01-23 クゥアルコム・インコーポレイテッド 帯域幅拡張音声予測励振信号の反疎性フィルタリングのための方法及び装置
US7539612B2 (en) * 2005-07-15 2009-05-26 Microsoft Corporation Coding and decoding scale factor information
TWI271703B (en) * 2005-07-22 2007-01-21 Pixart Imaging Inc Audio encoder and method thereof
US7953604B2 (en) * 2006-01-20 2011-05-31 Microsoft Corporation Shape and scale parameters for extended-band frequency coding
US9454974B2 (en) * 2006-07-31 2016-09-27 Qualcomm Incorporated Systems, methods, and apparatus for gain factor limiting
US8374857B2 (en) * 2006-08-08 2013-02-12 Stmicroelectronics Asia Pacific Pte, Ltd. Estimating rate controlling parameters in perceptual audio encoders
US7873514B2 (en) * 2006-08-11 2011-01-18 Ntt Docomo, Inc. Method for quantizing speech and audio through an efficient perceptually relevant search of multiple quantization patterns

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0651795A (ja) * 1992-03-02 1994-02-25 American Teleph & Telegr Co <Att> 信号量子化装置及びその方法
JPH09230898A (ja) * 1996-02-22 1997-09-05 Nippon Telegr & Teleph Corp <Ntt> 音響信号変換符号化方法及び復号化方法
JP2001255892A (ja) * 2000-03-13 2001-09-21 Nippon Telegr & Teleph Corp <Ntt> ステレオ信号符号化方法
JP2002091498A (ja) * 2000-09-19 2002-03-27 Victor Co Of Japan Ltd オーディオ信号符号化装置
JP2002335161A (ja) * 2001-05-07 2002-11-22 Sony Corp 信号処理装置及び方法、信号符号化装置及び方法、並びに信号復号装置及び方法
JP2003273747A (ja) * 2001-11-28 2003-09-26 Victor Co Of Japan Ltd 可変長符号化データ受信方法及び可変長符号化データ受信装置

Also Published As

Publication number Publication date
CN102623014A (zh) 2012-08-01
EP1953737A4 (en) 2011-11-09
KR20080047443A (ko) 2008-05-28
US8311818B2 (en) 2012-11-13
CN101283407B (zh) 2012-05-23
US20090281811A1 (en) 2009-11-12
US20120136653A1 (en) 2012-05-31
WO2007043648A1 (ja) 2007-04-19
RU2008114382A (ru) 2009-10-20
EP1953737A1 (en) 2008-08-06
US8135588B2 (en) 2012-03-13
CN101283407A (zh) 2008-10-08
JPWO2007043648A1 (ja) 2009-04-16
EP1953737B1 (en) 2012-10-03
BRPI0617447A2 (pt) 2012-04-17

Similar Documents

Publication Publication Date Title
JP4954080B2 (ja) 変換符号化装置および変換符号化方法
RU2389085C2 (ru) Способы и устройства для введения низкочастотных предыскажений в ходе сжатия звука на основе acelp/tcx
RU2471252C2 (ru) Устройство кодирования и способ кодирования
JP5328368B2 (ja) 符号化装置、復号装置、およびこれらの方法
US20180040331A1 (en) Classification Between Time-Domain Coding and Frequency Domain Coding
JP4954069B2 (ja) ポストフィルタ、復号化装置及びポストフィルタ処理方法
KR101244310B1 (ko) 광대역 부호화 및 복호화 방법 및 장치
US20100280833A1 (en) Encoding device, decoding device, and method thereof
JP6980871B2 (ja) 信号符号化方法及びその装置、並びに信号復号方法及びその装置
RU2636685C2 (ru) Решение относительно наличия/отсутствия вокализации для обработки речи
US8909539B2 (en) Method and device for extending bandwidth of speech signal
US10283133B2 (en) Audio classification based on perceptual quality for low or medium bit rates
JPWO2008084688A1 (ja) 符号化装置、復号装置及びこれらの方法
JP5403949B2 (ja) 符号化装置および符号化方法
JPWO2008053970A1 (ja) 音声符号化装置、音声復号化装置、およびこれらの方法
EP2571170B1 (en) Encoding method, decoding method, encoding device, decoding device, program, and recording medium
JPWO2011045926A1 (ja) 符号化装置、復号装置およびこれらの方法
WO2013057895A1 (ja) 符号化装置及び符号化方法
US20100280830A1 (en) Decoder
JP5774490B2 (ja) 符号化装置、復号装置およびこれらの方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120313

R150 Certificate of patent or registration of utility model

Ref document number: 4954080

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees