JPWO2005106848A1 - スケーラブル復号化装置および拡張レイヤ消失隠蔽方法 - Google Patents

スケーラブル復号化装置および拡張レイヤ消失隠蔽方法 Download PDF

Info

Publication number
JPWO2005106848A1
JPWO2005106848A1 JP2006512775A JP2006512775A JPWO2005106848A1 JP WO2005106848 A1 JPWO2005106848 A1 JP WO2005106848A1 JP 2006512775 A JP2006512775 A JP 2006512775A JP 2006512775 A JP2006512775 A JP 2006512775A JP WO2005106848 A1 JPWO2005106848 A1 JP WO2005106848A1
Authority
JP
Japan
Prior art keywords
signal
decoded
decoder
core layer
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006512775A
Other languages
English (en)
Inventor
江原　宏幸
宏幸 江原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2005106848A1 publication Critical patent/JPWO2005106848A1/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

帯域スケーラブル符号化において、拡張レイヤの信号を消失した場合でも、復号信号の帯域が頻繁に切り替わることがなく、主観品質に違和感や不快感を生じさせないスケーラブル復号化装置を開示する。フレーム消失がなかった場合、信号Ｓ１０１となる。しかし、高帯域パケットを消失すると、実際に受信される信号は低域パケットのみである。そこで、上記装置は、低域パケットの信号にアップサンプル処理等を施すことにより、サンプリングレートは広帯域であって低域成分のみが残った信号Ｓ１０２を生成する。一方、第ｎ−１フレームの信号Ｓ１０３に基づいて、隠蔽処理によって補償信号Ｓ１０４を生成する。この信号Ｓ１０４をＨＰＦに通し、高域成分のみを取り出すと信号Ｓ１０５となる。この低域成分のみが残った信号Ｓ１０１と高域成分のみが残った信号Ｓ１０５とを加算し、復号信号Ｓ１０６を得る。

Description

本発明は、拡張レイヤを消失した場合に隠蔽処理を行うスケーラブル復号化装置および当該装置で使用される拡張レイヤ消失隠蔽方法に関する。
インターネット通信に代表されるパケット通信においては、伝送路上でパケット損失が発生することがあるため、伝送情報の一部が消失しても、残る情報から復号処理を可能とするいわゆるスケーラブル符号化機能が望まれる。このスケーラブル符号化には、周波数帯域は変えずに、符号化対象の信号のビットレートのみにスケーラビリティを持たせるものと、符号化対象の信号の周波数帯域（周波数軸方向）にスケーラビリティを持たせて符号化するものとが存在する（例えば、非特許文献１参照）。特に、後者の周波数帯域にスケーラビリティを持たせて符号化する方式を帯域スケーラブル符号化と呼ぶことにする。
従来の音声通信では、電話帯域（３００Ｈｚ〜３．４ｋＨｚ）の狭帯域信号が用いられてきたが、近年、広帯域（５０Ｈｚ〜７ｋＨｚ）の信号を符号化する方式等も標準化され（例えば、非特許文献２参照）、将来の高品質音声通信への利用が期待されている。
一方、今後ネットワークのオールＩＰ化が進むにつれ、電話帯域の音声信号用の端末と広帯域音声用の端末とが同一のネットワーク内に混在することが予想される。また、現在の電話会議サービスに見られるような多地点間通信も普及すると言われている。このような状況を考えると、一つの符号化方式で、電話帯域の音声信号と広帯域の音声信号との双方を符号化／復号化できるスケーラブル符号化方式の有効性が高いと考えられる。
これまでにも、音声信号に限らず、さらに広帯域な音響信号に対するスケーラブル符号化方式が開示されている（例えば、特許文献１、２参照）。このようなスケーラブル符号化は、符号化対象となる音響信号を階層的に符号化するため、ＤｉｆｆＳｅｒｖ（Ｄｉｆｆｅｒｅｎｔｉａｔｅｄ Ｓｅｒｖｉｃｅｓ）のようなネットワーク上での優先制御を用いてコア（基本レイヤ）の情報を優先的に伝送する。そして、伝送路の状況によっては、より上位の拡張レイヤの情報から順に廃棄を行う。これにより、通信ネットワーク内でコア情報が破棄される確率を低く抑え、パケット損失によって一部の符号化情報が失われても通話品質の劣化を抑えることができる。
一方、伝送路上で符号化情報が失われ、復号器側で符号化情報を受信できない場合、このデータ消失の隠蔽（補償）処理を行うことが一般的である。例えば、特許文献３には、ＩＴＵ−Ｔ勧告Ｇ．７２９のフレーム消失隠蔽処理が開示されている。特許文献３に開示されているように、過去に復号した情報を用いて外挿的に消失フレームの隠蔽処理を行うことが標準的である。
特開平０８−２６３０９６号公報 特開２００２−１００９９４号公報 特開平０９−１２０２９７号公報 Ｔ．Ｎｏｍｕｒａ ｅｔ ａｌ，"Ａ Ｂｉｔｒａｔｅａｎｄ Ｂａｎｄｗｉｄｔｈ Ｓｃａｌａｂｌｅ ＣＥＬＰ Ｃｏｄｅｒ，"ＩＥＥＥ Ｐｒｏｃ．ＩＣＡＳＳＰ９８，ｐｐ．３４１−３４４，１９９８ ３ＧＰＰ規格、ＴＳ２６．１９０
しかしながら、スケーラブル符号化された信号の伝送において、拡張レイヤの信号を消失した場合の復号処理については、標準的な技術が存在しない。
また、拡張レイヤの信号のみを消失した場合にコアレイヤの情報を用いて消失信号の復号化処理を行うことも考えられるが、以下のような問題がある。すなわち、上記のように、ビットレートだけでなく周波数帯域もスケーラブルな場合、コアレイヤの情報から生成された復号信号は狭帯域な信号であるのに対し、コアレイヤと拡張レイヤの双方の情報から生成された復号信号は広帯域な信号となる。よって、コアレイヤの情報のみを用いて復号処理を行った場合と、拡張レイヤまでを使用して復号処理を行った場合とでは、復号信号の周波数帯域が変化してしまうという問題がある。かかる場合、コアレイヤの符号化情報のみを用いて復号しても、局所的に信号帯域が狭小化するだけであるので、著しい品質劣化にはつながらないものの、拡張レイヤの消失率が高く、復号信号の帯域が狭帯域と広帯域とに頻繁に切り替わるような場合には、主観品質に違和感や不快感を生じる結果となる。
よって、本発明の目的は、帯域スケーラブル符号化において、拡張レイヤの信号を消失した場合でも、復号信号の帯域が頻繁に切り替わることがなく、主観品質に違和感や不快感を生じさせないスケーラブル復号化装置、および当該装置で使用される拡張レイヤ消失隠蔽方法を提供することである。
本発明のスケーラブル復号化装置は、周波数軸方向にスケーラビリティを有するコアレイヤと拡張レイヤとからなる符号化情報から、広帯域の復号信号を得るスケーラブル復号化装置であって、コアレイヤの符号化情報から狭帯域のコアレイヤ復号信号を得るコアレイヤ復号化手段と、前記狭帯域のコアレイヤ復号信号の周波数帯域を広帯域に変換し、第１信号を得る変換手段と、コアレイヤが存在し拡張レイヤが消失された符号化情報に対し、過去に得られた復号信号に基づいて広帯域の補償信号を生成する補償手段と、前記広帯域の補償信号からコアレイヤに相当する周波数成分を除去し、第２信号を得る除去手段と、前記変換手段で得られた第１信号と、前記除去手段で得られた第２信号と、を加算して広帯域の復号信号を得る加算手段と、を具備する構成を採る。
本発明によれば、帯域スケーラブル符号化において、拡張レイヤの信号を消失した場合でも、復号信号の帯域が頻繁に切り替わることがなく、主観品質に違和感や不快感を生じさせないようにすることができる。
実施の形態１に係るスケーラブル復号化装置の主要な構成を示すブロック図 実施の形態１に係るコア復号器内部の主要な構成を示すブロック図 実施の形態１に係る拡張復号器内部の主要な構成を示すブロック図 実施の形態１に係る拡張復号器内部の正常時における信号の流れを示した図 実施の形態１に係る拡張復号器内部の拡張レイヤのフレームが消失した場合の信号の流れを示した図 実施の形態１に係るスケーラブル復号化装置の復号処理の概要について説明する図 実施の形態１に係る拡張復号器がＭＤＣＴベースである場合のアップサンプル処理部の構成を示したブロック図 実施の形態２に係るスケーラブル復号化装置の主要な構成を示すブロック図 実施の形態１または２に示したスケーラブル復号化装置を移動体通信システムに適用した場合の移動局装置および基地局装置の主要な構成を示すブロック図 実施の形態１および２を組み合わせた場合のスケーラブル復号化装置の主要な構成を示すブロック図
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。なお、ここでは、周波数帯域にスケーラビリティを持たせて階層的に入力信号の符号化／復号化が行われている状況、すなわち符号化情報が周波数軸方向にスケーラビリティを有する場合を例にとって説明する。かかる場合、コアレイヤは、最も狭帯域の信号の符号化／復号化を行うレイヤである。
（実施の形態１）
図１は、本発明の実施の形態１に係るスケーラブル復号化装置の主要な構成を示すブロック図である。
本実施の形態に係るスケーラブル復号化装置は、コア符号パケット用のパケット分解部１０１、コア復号器（コア復号化処理部）１０２、アップサンプル処理部１０３、拡張符号パケット用のパケット分解部１０４、拡張復号器（拡張復号化処理部）１０５、高域通過フィルタ（ＨＰＦ）１０６、切り替えスイッチ（ＳＷ）１０７、および加算器１０８を備える。
本実施の形態に係るスケーラブル復号化装置の各部は以下の動作を行う。
コア符号パケット用のパケット分解部１０１は、パケット網Ｎを介し入力されたコアレイヤの符号化情報が載っているコア符号パケットから、コアレイヤの符号化情報を取り出してコア復号器１０２へ出力（Ｓ１）すると共に、フレーム消失情報Ｃ１をコア復号器１０２、拡張復号器１０５、および切り替えスイッチ１０７へ出力する。ここで、符号化情報とは、送信側の符号化装置（図示せず）から出力される符号化ビットストリームのことであり、フレーム消失情報Ｃ１とは、復号対象となるフレームが消失フレームか否かを示す情報のことである。なお、復号対象となるパケットが消失パケットである場合は、このパケットが含む全フレームが消失フレームとなる。
コア復号器１０２は、パケット分解部１０１から出力されるフレーム消失情報Ｃ１と符号化情報Ｓ１とを用いて、コアレイヤの復号処理を行い、コアレイヤの復号信号（狭帯域信号）Ｓ３を出力する。コアレイヤの復号処理の具体的内容は、例えば、ＣＥＬＰモデルに基づく復号処理であっても良いし、波形符号化に基づく復号処理であっても良いし、ＭＤＣＴ等を用いた変換符号化モデルの復号処理であっても良い。また、コア復号器１０２は、コアレイヤの復号処理において得られる情報の一部または全て（Ｓ４）を拡張復号器１０５へ出力する。拡張復号器１０５へ出力された情報は、拡張レイヤの復号処理に用いられる。さらに、コア復号器１０２は、コアレイヤの復号処理において得られる信号Ｓ６をアップサンプル処理部１０３へ出力する。アップサンプル処理部１０３へ出力する信号Ｓ６は、コアレイヤの復号信号そのものであってもよいし、コアレイヤの符号化モデルによっては部分的な復号パラメータ（例えば、スペクトルパラメータや音源パラメータ）であっても良い。
アップサンプル処理部１０３は、コア復号器１０２から出力される、復号信号または復号処理過程で得られる一部の復号パラメータもしくは復号信号に対し、ナイキスト周波数を上げる処理を行う。このアップサンプリングされた信号Ｓ７は、拡張復号器１０５へ出力される。なお、このアップサンプリング処理は、時間軸上での処理に限定されず、スケーラブル符号化のアルゴリズムによっては、アップサンプル処理後の信号を拡張音源復号器１２２に出力して、拡張音源復号時に利用する構成としても良い。
一方、拡張符号パケット用のパケット分解部１０４は、パケット網を介し入力された拡張レイヤの符号化情報が乗っている拡張符号パケットから、拡張レイヤの符号化情報を取り出し、拡張復号器１０５へ出力（Ｓ２）すると共に、フレーム消失情報Ｃ２を拡張復号器１０５および切り替えスイッチ１０７へ出力する。
拡張復号器１０５は、パケット分解部１０４から出力されるフレーム消失情報Ｃ２および符号化情報Ｓ２と、コア復号器１０２から出力されるコアレイヤの復号信号Ｓ３およびコアレイヤの符号化処理過程で得られた情報Ｓ４と、アップサンプル処理部１０３から出力されるコアレイヤの復号信号をアップサンプルした信号Ｓ７と、を用いて拡張レイヤの復号処理を行い、拡張レイヤの復号信号（広帯域信号）を得て、ＨＰＦ１０６および加算器１０８へ出力する（Ｓ８、Ｓ９）。なお、加算器１０８へ出力される信号Ｓ８とＨＰＦ１０６へ出力される信号Ｓ９は同一でなくても良い。例えば、拡張復号器１０５は、アップサンプル処理部１０３から出力された信号Ｓ７をそのまま加算器１０８に出力しても良いし、フレーム消失情報Ｃ２を参照して条件的に切り替えても良い。
ＨＰＦ１０６は、拡張復号器１０５から入力された復号信号Ｓ９の高域成分（コアレイヤの狭帯域復号信号に含まれない帯域成分）のみを通過させ、切り替えスイッチ１０７へ出力する。
切り替えスイッチ（ＳＷ）１０７は、ＨＰＦ１０６から出力される信号の加算器１０８への出力のオン／オフを切り換える。スイッチのオン／オフは、コア符号パケット用のパケット分解部１０１と拡張符号パケット用のパケット分解部１０４とからそれぞれ出力されるフレーム消失情報を参照することにより行われる。具体的には、コアレイヤも拡張レイヤもフレーム消失になっていない（正常フレームである）場合は、スイッチを開放してオフとする。また、コアレイヤのみ正常フレームで拡張レイヤは消失フレームである場合は、スイッチを閉じてオンとする。さらに、コアレイヤも拡張レイヤも消失フレームである場合は、スイッチを開放してオフとする。
加算器１０８は、拡張復号器１０５から直接入力されるフルバンドの音響信号と拡張復号器１０５からＨＰＦ１０６を介して入力される高帯域復号信号とを加算し、加算結果を広帯域信号として出力する。
図２は、上記のコア復号器１０２内部の主要な構成を示すブロック図である。
このコア復号器１０２は、パラメータ復号部１１１、コア線形予測係数（ＬＰＣ）復号器１１２、コア音源復号器１１３、および合成フィルタ１１４を備える。
パラメータ復号部１１１は、パケット分解部１０１から出力されたコアレイヤの符号化情報（ビットストリーム）Ｓ１を、ＬＰＣパラメータ符号化データ（ＬＳＰのコード等を含む）および音源パラメータ符号化データ（ピッチラグのコード、固定音源符号帳のコード、ゲインコード等を含む）に分離し、各々のデータを各種コードにまで復号し、コア（レイヤ）ＬＰＣ復号器１１２およびコア音源復号器１１３にそれぞれ出力する。
コアＬＰＣ復号器１１２は、パラメータ復号部１１１から出力されたＬＰＣパラメータのコードを復号し、復号ＬＰＣを合成フィルタ１１４および拡張復号器１０５へ出力する。復号処理の具体的な内容は、例えば、ベクトル量子化を用いて符号化されたＬＳＰパラメータを復号してからＬＰＣパラメータに変換する。なお、コア符号パケット用のパケット分解部１０１から出力したフレーム消失情報Ｃ１が、現フレームは消失フレームであることを示していたら、コアＬＰＣ復号器１１２は、フレーム消失補償処理を用いてＬＰＣパラメータの隠蔽処理を行い、隠蔽処理によって生成されたＬＰＣ（補償信号）を復号ＬＰＣとして出力する。
コア音源復号器１１３は、パラメータ復号部１１１から出力された音源パラメータの各種コード（ピッチラグ、固定符号帳、ゲイン符号帳等のコード）に対して復号処理を施し、復号音源信号を合成フィルタ１１４およびアップサンプル処理部１０３へ出力する（Ｓ６）。また、コア音源復号器１１３は、この復号処理によって復号された一部または全ての情報Ｓ３を拡張復号器１０５へ出力する。具体的には、ピッチラグ情報とパルス駆動信号（固定符号帳音源情報）等がコア音源復号器１１３から拡張復号器１０５へ出力される。なお、コア符号パケット用のパケット分解部１０１から入力されたフレーム消失情報Ｃ１が、現フレームは消失フレームであることを示していたら、コア音源復号器１１３は、フレーム消失補償処理を用いて音源パラメータの隠蔽処理を行い、隠蔽処理によって生成された補償音源信号を復号音源信号として出力する。
合成フィルタ１１４は、コアＬＰＣ復号器１１２から出力された復号ＬＰＣで構成された線形予測フィルタを、コア音源復号器１１３から出力された復号音源信号で駆動して、狭帯域信号Ｓ５を出力する。
図３は、拡張復号器１０５内部の主要な構成を示すブロック図である。
この拡張復号器１０５は、パラメータ復号部１２１、拡張音源復号器１２２、２つの切り替えスイッチ（１２３、１２６）、２つの合成フィルタ（１２４、１２８）、ＬＰＣ変換部１２５、および拡張ＬＰＣ復号器１２７を備える。
パラメータ復号部１２１は、パケット分解部１０４から拡張レイヤの符号化情報Ｓ２が入力され、ＬＰＣパラメータ符号化データ（ＬＳＰコード等を含む）と、音源パラメータ符号化データ（ピッチラグコード、固定符号帳インデックスコード、ゲインコード等を含む）とに分離し、各種パラメータのコードに復号し、拡張ＬＰＣ復号器１２７および拡張音源復号器１２２にそれぞれ出力する。
拡張ＬＰＣ復号器１２７は、コア復号器１０２内のコアＬＰＣ復号器１１２から入力された復号コアＬＰＣパラメータＳ４と、パラメータ復号部１１１から入力された拡張レイヤＬＰＣパラメータコードと、を用いて広帯域信号を再合成するためのＬＰＣパラメータを復号し、２つの合成フィルタに出力する（合成フィルタ１２４へは切り替えスイッチ１２６を介して出力する）。具体的には、コアＬＰＣ復号器１１２から入力した復号ＬＳＰ（狭帯域ＬＳＰ）から拡張ＬＳＰ（広帯域ＬＳＰ）を予測するモデルを用いる。この場合、拡張ＬＰＣ復号器１２７は、狭帯域ＬＳＰから予測された広帯域ＬＳＰの予測誤差の復号処理（例えばＭＡ予測ベクトル量子化などを用いて符号化されている）を行い、それを狭帯域ＬＳＰから予測された広帯域ＬＳＰに加算して最終的な広帯域ＬＳＰを復号し、最後にＬＰＣに変換する、といった一連の処理を行う。
なお、拡張符号パケット用パケット分解部から入力したフレーム消失情報が、現フレームは消失フレームであることを示していたら、拡張ＬＰＣ復号器１２７は、フレーム消失補償処理を用いてＬＰＣパラメータの隠蔽処理を行い、隠蔽処理によって生成された補償ＬＰＣを復号ＬＰＣとして出力する。また、復号処理は他の方法であっても良い。
ＬＰＣ変換部１２５は、狭帯域ＬＰＣパラメータＳ４を広帯域ＬＰＣパラメータへ変換する。このアップサンプルの方法としては、狭帯域ＬＳＰから得られるＬＰＣ合成フィルタのインパルス応答をアップサンプルし、アップサンプルしたインパルス応答から自己相関を求め、求めた自己相関係数を所望の次数のＬＳＰに変換する方法等が挙げられるが、これに限定されるものではない。自己相関係数ＲｉとＬＰＣパラメータａｉの間の変換は両者に下記の（式１）の関係があることを用いれば実現できる。
Figure 2005106848
 変換されたＬＰＣパラメータは切り替えスイッチ１２６を介して合成フィルタ１２４に出力される。なお、図示していないが、変換されたＬＰＣパラメータを用いて拡張ＬＰＣの復号を行うような符号化モデルを用いている場合は、変換されたＬＰＣを拡張ＬＰＣ復号器１２７にも出力するようにする。
拡張音源復号器１２２には、パラメータ復号部１２１から拡張音源パラメータの各種コード情報が入力され、コア音源復号器１１３からコア音源パラメータの復号情報、復号コア音源信号等のコア音源復号処理で得られる情報が入力される。拡張音源復号器１２２は、拡張音源（広帯域音源）信号の復号処理を行い、復号信号を合成フィルタ１２４および合成フィルタ１２８へ出力する（ただし、合成フィルタ１２４への出力は、スイッチ１２３を経由して行われる）。
例えば、拡張音源復号器１２２がＣＥＬＰ方式の復号化処理を行う場合、この処理には、ピッチラグの復号処理、適応符号帳成分の復号処理、固定符号帳成分の復号処理、ゲインパラメータの復号処理等が含まれる。
ピッチラグの復号処理は、例えば、次のように行われる。拡張音源用のピッチラグは、コア音源復号器１１３から入力されたピッチラグ情報を基にして差分量子化されているので、拡張音源復号器１２２は、サンプリング周波数を２倍にする拡張であればコア音源用ピッチラグを２倍にすることによってコア音源用ピッチラグを拡張音源用ピッチラグに変換し、一方、差分量子化されたピッチラグ（デルタラグ）を復号する。そして、拡張音源復号器１２２は、拡張音源用に変換されたピッチラグと、復号によって得られたデルタラグとの和を拡張音源用復号ピッチラグとする。
適応符号帳成分の復号処理では、例えば、拡張音源復号器１２２用の適応符号帳、すなわち過去に拡張音源復号器１２２から生成された音源信号のバッファを用いて拡張音源復号器１２２は適応符号帳成分を生成し、これを復号する。
固定符号帳成分の復号処理では、例えば、コア音源復号器１１３から入力された固定符号帳のサンプリングレート変換後のものを拡張音源復号器１２２は拡張音源復号処理における固定符号帳の一成分として利用する。また、拡張音源復号器１２２は、拡張音源符号帳内に固定符号帳を別途備えていて、復号処理をすることによって追加の固定符号帳成分を復号する。復号された適応符号帳成分と固定符号帳成分とのそれぞれに、復号されたゲインパラメータを乗じて足し合わせることによって復号音源信号が得られる。
なお、拡張符号パケット用パケット分解部から入力されたフレーム消失情報が、現フレームは消失フレームであることを示していたら、拡張音源復号器１２２は、フレーム消失補償処理を用いて音源パラメータの隠蔽処理を行い、隠蔽処理によって生成された補償音源信号を復号音源信号として出力する。
切り替えスイッチ１２３は、アップサンプル処理部１０３または拡張音源復号器１２２のいずれか一方と合成フィルタ１２４とを接続する切り替えスイッチで、コア符号パケット用パケット分解部１０１から入力されるフレーム消失情報Ｃ１と、拡張符号パケット用パケット分解部１０４から入力されるフレーム消失情報Ｃ２と、に基づいて切り替えられる。具体的には、コアレイヤが正常フレームで拡張レイヤが消失フレームである場合、合成フィルタ１２４の入力端子はアップサンプル処理部１０３の出力端子に接続され、それ以外の場合には、合成フィルタ１２４の入力端子は拡張音源復号器１２２の出力端子に接続される。
切り替えスイッチ１２６は、ＬＰＣ変換部１２５または拡張ＬＰＣ復号器１２７のいずれか一方と合成フィルタ１２４の第２の入力端子とを接続する切り替えスイッチで、コア符号パケット用パケット分解部１０１から入力されるフレーム消失情報Ｃ１と、拡張符号パケット用パケット分解部１０４から入力されるフレーム消失情報Ｃ２と、に基づいて切り替えられる。具体的には、コアレイヤが正常フレームで拡張レイヤが消失フレームである場合、合成フィルタ１２４の第２の入力端子はＬＰＣ変換部１２５の出力端子に接続され、それ以外の場合には、合成フィルタ１２４の第２の入力端子は拡張ＬＰＣ復号器１２７の出力端子に接続される。
合成フィルタ１２４は、拡張ＬＰＣ復号器１２７またはＬＰＣ変換部１２５から、スイッチ１２６を介してフィルタ係数が入力され、これらのフィルタ係数を用いて合成フィルタが構成される。構成された合成フィルタは、拡張音源復号器１２２またはアップサンプル処理部１０３からスイッチ１２３を介して入力される音源信号で駆動され、出力信号Ｓ８は加算器へ出力される。なお、コアレイヤのフレームが消失しない限り、合成フィルタ１２４は、誤りのない信号を生成し続ける。
合成フィルタ１２８は、拡張ＬＰＣ復号器１２７から入力されるフィルタ係数で合成フィルタを構成し、拡張音源復号器１２２から入力される復号音源信号で駆動され、出力信号Ｓ９を高域通過フィルタ１０６へ出力する。なお、合成フィルタ１２８は、フレーム消失の有無に関わらず常に広帯域の復号信号を生成する。
ＨＰＦ１０６は、コア復号器１０２の復号信号の帯域を遮断するフィルタで、合成フィルタ１２８の出力信号を入力し、高域成分（拡張レイヤで拡張される帯域）のみを通過してスイッチ１０７へ出力する。高域通過フィルタは、直線位相特性を有することが望ましいが、それに限定するものではない。
切り替えスイッチ１０７は、加算器への信号の入力をＯＮ／ＯＦＦするスイッチで、コア符号パケット用パケット分解部から入力されるフレーム消失情報と、拡張符号パケット用パケット分解部から入力されるフレーム消失情報と、に基づいて切り替えられる。具体的には、コアレイヤは正常フレームで拡張レイヤは消失フレームである場合には、スイッチが閉じられて、ＨＰＦ１０６の出力が加算器へ入力される。それ以外の場合には、切り替えスイッチ１０７は開放され、ＨＰＦ１０６の出力は加算器へ入力されない。
加算器１０８は、合成フィルタ１２４から出力される復号信号と、切り替えスイッチ１０７から入力される高域成分のみを有する復号信号と、を加算して最終的な広帯域復号信号として出力する。
合成フィルタ１２８は、拡張レイヤでフレーム消失が発生したとき、すなわち、合成フィルタ１２４の出力信号の帯域幅が狭まったときは、ＨＰＦ１０６で取り出された高域成分の信号と、合成フィルタ１２４で生成された狭帯域の復号信号とが加算され、出力される。その結果、常に広帯域の復号信号が得られる。すなわち、復号信号の帯域幅が変化することによる主観的違和感の発生を防止することができる。また、低域成分については拡張レイヤの情報が失われても影響を受けないので、高品質な広帯域信号を生成できる。人間の聴覚的に信号の低域成分は重要であると共に、ＣＥＬＰ方式の符号化／復号化では低域成分（ピッチ周期）がずれることによる品質劣化が大きいので、低域成分がエラーフリーの状況になっていれば、高域成分に誤りが混入していても主観的品質の劣化を少なくすることが可能であるからである。
なお、コアレイヤがビットレートスケーラブル復号器となっている場合は、コア符号用パケットをビットレートスケーラブル構成の階層数に分割することができる。この場合、コア符号用パケット分解部も階層数に応じて用意する。ビットレートスケーラブル符号化情報のコアレイヤ（ビットレートスケーラブルコア）以外の情報がパケット網内で失われた場合、図１におけるコア復号器１０２から出力される各種情報は、コア復号器１０２のビットレートスケーラブルコアの復号処理のみによって得られるものとする。また、ビットレートスケーラブルコア以外のビットレートスケーラブル拡張レイヤの一部の拡張レイヤのみが失われている場合は、ビットレートスケーラブルコアと正常に受信したビットレートスケーラブル拡張レイヤの一部の情報を利用してコア復号化器の復号処理を行っても良い。
図４および図５は、以上説明した拡張復号器１０５内部における信号の流れを整理した図である。図４は、フレーム消失がない場合、すなわち、正常時の信号の流れを示した図、図５は、拡張レイヤのフレームが消失した場合の信号の流れを示した図である。なお、図中において、ＮＢ信号は狭帯域信号を、ＷＢ信号は広帯域信号を指している。
次いで、上記構成を有するスケーラブル復号化装置の復号処理の概要について、図６に示す信号図を用いて説明する。なお、この図は、第ｎフレームにおいてフレーム消失が起こった場合を示している。
破線で示した信号Ｓ１０１は、フレーム消失がなかった場合の信号を示している。しかし、伝送路上でこの信号の高帯域（拡張レイヤ）パケットを消失すると、実際に受信される信号は低域パケットのみとなる。そこで、本実施の形態では、この低域パケットの信号にアップサンプル処理等を施すことにより、サンプリングレートは広帯域であって低域成分のみが残った信号Ｓ１０２（実線の信号）を生成する。一方、第ｎ−１フレームの信号Ｓ１０３に基づいて、隠蔽処理によって補償信号Ｓ１０４を生成する。この信号Ｓ１０４をＨＰＦに通すことにより、高域成分のみを取り出すと信号Ｓ１０５となる。加算部１０８において、低域成分のみが残っている信号Ｓ１０１と高域成分のみが残っている信号Ｓ１０５とを加算することにより、復号信号Ｓ１０６が得られる。
このように、本実施の形態によれば、正常に受信したエラーフリーの（エラーのない）低域成分であるコアレイヤの符号化情報を用いて得られる信号をアップサンプリングして信号を生成し、この信号に、拡張レイヤで誤り隠蔽処理を用いて生成した全帯域の信号の高域成分のみを取り出した信号を加算して、全帯域復号信号を得る。
この構成を採ることにより、帯域スケーラブル音響符号化情報のコアレイヤ以外の符号化情報が失われた場合であっても、コアレイヤのサポートする音響信号帯域だけでなく、拡張レイヤのサポートする音響信号帯域を常に生成することができる。
また、コアレイヤの符号化情報のみから得られる復号信号は、サンプリングレートは広帯域復号信号のままで変化しないが、合成フィルタの出力信号の帯域幅が拡張レイヤの誤り状況によって狭まったり広がったりする。すなわち、拡張レイヤのフレームが消失した場合は、復号信号の帯域幅が狭まる。しかし、本実施の形態によれば、復号音響信号の帯域幅が短時間のうちに変化することを防ぎ、不快感や違和感が復号音響信号に生じないようにすることができる。しかも、低域成分の品質は低下しない。
帯域スケーラブル音響復号化において、パケット網でパケット転送の優先制御が行われている場合、拡張レイヤの符号化データのみが消失すると、復号器側で復号信号の帯域幅が変化し、聴感上不快と感じる場合がある。エラーフリーの状態で復号したコアレイヤの復号信号に、フレーム消失隠蔽処理を用いて復号した拡張レイヤの復号信号の高域成分を加算することにより、復号信号の帯域幅が時間的に変化することを回避し、聴感上安定した品質を復号器側で得ることが可能となる。
また、コアレイヤの復号情報を活用して拡張レイヤの符号化／復号化およびフレーム消失隠蔽処理を適応的に切り替える構成としたので、拡張レイヤの情報が失われても、コアレイヤの情報を正常に受信していれば、高品質な復号信号を得ることが可能となる。
さらに、パケット網での優先制御を有効に利用し、高品質な音響通信品質を実現できる。
なお、本実施の形態では、拡張レイヤが１層である場合を例にとって説明したが、拡張レイヤの数は２以上（出力する周波数帯域の種類が２種類以上）であっても良い。
また、コアレイヤがさらにビットレートスケーラビリティを有する階層構造（スケーラブル符号化器／スケーラブル復号器）を持っていても良い。
また、各周波数帯域を出力する符号化／復号化のアルゴリズムが、ビットレートスケーラビリティを有する階層構造を持っていても良い。
また、拡張復号器１０５は、ＭＤＣＴベースのものであっても良い。図７は、拡張復号器１０５がＭＤＣＴベースである場合のアップサンプル処理部１０３ａの構成を示したブロック図である。
このアップサンプル処理部１０３ａは、ＭＤＣＴ部１３１および次数拡張部１３２を備える。
コア復号器１０２は、コア復号信号を狭帯域復号信号として出力すると共に、ＭＤＣＴ部１３１へも出力する。これは、図１に示したコア復号器１０２の２つの出力信号（Ｓ３、Ｓ４）が同一である場合に相当する。また、コアレイヤの復号過程において得られた情報の一部または全てを拡張復号器１０５に出力する。
ＭＤＣＴ部１３１は、コア復号器１０２から出力された狭帯域復号信号に対して変形離散余弦変換（ＭＤＣＴ）処理を行って、得られるＭＤＣＴ係数を次数拡張部１３２へ出力する。
次数拡張部１３２は、ＭＤＣＴ部１３１から出力されたＭＤＣＴ係数の次数を零詰めによって拡張する（ただし、２倍にアップサンプルする場合は、ＭＤＣＴ次数を２倍にし、増やした部分は０の係数で埋める）。拡張されたＭＤＣＴ係数は拡張復号器１０５へ出力される。
拡張復号器１０５は、次数拡張部１３２から出力されたＭＤＣＴ係数を逆変形離散コサイン変換することによって拡張レイヤの復号信号を生成する。また、拡張復号器１０５は、隠蔽処理を行う場合は、次数拡張部１３２の出力するＭＤＣＴ係数に、隠蔽処理によって生成された拡張情報を加え、これにより生成されたＭＤＣＴ係数を逆変形離散コサイン変換することによって、拡張レイヤの復号信号を生成する。
（実施の形態２）
図８は、本発明の実施の形態２に係るスケーラブル復号化装置の主要な構成を示すブロック図である。なお、このスケーラブル復号化装置は、実施の形態１に示したスケーラブル復号化装置と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
本実施の形態に係るスケーラブル復号化装置は、モード判定部２０１を備え、モード判定部２０１への入出力インタフェースを有するコア復号器１０２および拡張復号器１０５の動作が実施の形態１と異なる。
次いで、上記構成を有するスケーラブル復号化装置の動作について説明する。
コア復号器１０２は、パケット分解部１０１から入力されるフレーム消失情報Ｃ１と符号化情報Ｓ１を用いてコアレイヤの復号処理を行い、コアレイヤの復号信号（狭帯域信号）Ｓ６として出力する。また、コアレイヤの復号処理において得られる情報の一部または全てを拡張復号器１０５へ出力する。拡張復号器１０５へ出力された情報は拡張レイヤの復号処理に用いられる。さらに、コアレイヤの復号処理において得られる信号をアップサンプル処理部１０３およびモード判定部へ出力する。アップサンプル処理部１０３へ出力する信号は、コアレイヤの復号信号そのものであっても良いし、コアレイヤの符号化モデルによっては部分的な復号パラメータであっても良い。モード判定部へ出力される情報は、線形予測係数、ピッチ予測利得、ピッチラグ、ピッチ周期、信号エネルギ、零交差率、反射係数、対数断面積比、ＬＳＰパラメータ、正規化線形予測残差パワ等の一般に音声信号の状態（無音、有声定常部、雑音性子音部、立ち上がり、過渡部等）を分類するのに使われるパラメータである。
モード判定部２０１は、コア復号器１０２から入力した各種情報を用いて、復号中の信号の分類（例えば、雑音性子音部、有声定常部、立ち上がり部、有声過渡部、無音部、音楽信号等）を行い、この分類結果を拡張復号器１０５へ出力する。ただし、分類は、この例に限定されない。
拡張復号器１０５は、パケット分解部１０４から出力されるフレーム消失情報と符号化情報と、コア復号器１０２から出力されるコアレイヤの符号化処理過程で得られた情報と、アップサンプル処理部１０３から入力されるコアレイヤの復号信号をアップサンプルしたものと、を用いて拡張レイヤの復号化処理を行う。なお、モード判定部から入力したモード情報を用いて、そのモードに適した符号化モデルを選択的に使用するような拡張符号化器（図示せず）によって拡張レイヤの符号化処理が行われている場合は、復号化処理も同様の処理を行う。
このようにコアレイヤで現在の音響信号の状況を判定し、拡張レイヤの符号化モデルを適応的に切り替える構成とすれば、より高品質な符号化／復号化を実現できる。
復号信号は、拡張レイヤの復号信号（広帯域信号）としてＨＰＦ１０６および加算器１０８へ出力される。なお、加算器１０８へ出力される信号とＨＰＦ１０６へ出力される信号は同じものでなくても良い。例えば、加算器１０８にはアップサンプル処理部１０３から入力された信号をそのまま出力しても良い。また、フレーム消失情報を参照して加算器１０８へ出力する信号を条件的に切り替える（例えば、アップサンプル処理部１０３から入力された信号と、拡張復号器１０５内で行われる復号処理によって生成される信号と、を切り替える）ようにしても良い。
また、フレーム消失情報が現フレームは消失フレームであることを示していた場合、拡張復号器１０５はフレーム消失隠蔽処理を行う。この場合、モード判定部から音響信号のモードを示す情報が入力されているので、そのモードに適した隠蔽処理を行う。隠蔽処理を用いて生成された広帯域信号は、ＨＰＦ１０６とスイッチを経由して加算器へ出力される。ＨＰＦ１０６は時間領域のディジタルフィルタで実現可能だが、ＭＤＣＴ等の直行変換を用いて周波数領域へ変換し、高域成分のみを残して逆変換によって時間領域に戻すような処理を利用しても良い。
コアＬＰＣ復号器１１２は、ＬＰＣの復号処理過程で得られる音響パラメータもしくは復号したＬＰＣから得られる音響パラメータ（例えば、反射係数、対数断面積比、ＬＳＰ、正規化線型予測残差パワ等）をモード判定部に出力する。
コア音源復号器１１３は、音源復号過程で得られる音響パラメータもしくは復号した音源信号から得られる音響パラメータ（例えば、ピッチラグ、ピッチ周期、ピッチゲイン、ピッチ予測ゲイン、音源信号エネルギ、音源信号零交差率、など）をモード判定部２０１に出力する。
なお、図示していないが、合成フィルタから出力される狭帯域復号信号の零交差率やエネルギ情報等を分析する分析部を設けて、これらのパラメータをモード判定部に入力するようにするとさらに良い。
モード判定部２０１は、コアＬＰＣ復号器１１２およびコア音源復号器１１３等から各種音響パラメータ（ＬＳＰ、ＬＰＣ、反射係数、対数断面積比、正規化線型予測残差パワ、ピッチラグ、ピッチ周期、ピッチゲイン、ピッチ予測ゲイン、音源信号エネルギ、音源信号零交差率、合成信号エネルギ、合成信号零交差率等）を入力し、音響信号のモード分類（無音部、雑音性子音部、有声定常部、立ち上がり部、有声過渡部、語尾、音楽信号等）を行い、分類結果を拡張ＬＰＣ復号器１２７および拡張音源復号器１２２にそれぞれ出力する。なお、図示していないが、拡張復号器１０５がポストフィルタのような後処理部を備える場合は、この後処理部にも上記モード分類情報を出力しても良い。
拡張ＬＰＣ復号器１２７は、モード判定部２０１から入力された音響信号の各種モードに応じて復号処理を切り替えても良い。この場合、拡張ＬＰＣ符号器（図示せず）においても同様の符号化モデルの切り替え処理が行われていることを前提とする。また、拡張レイヤでフレーム消失が生じている場合は、上記モードに対応するフレーム消失隠蔽処理を行って、復号拡張ＬＰＣを生成する。
拡張音源復号器１２２は、モード判定部２０１から入力された音響信号の各種モードに応じて復号処理を切り替えても良い。この場合、拡張音源符号器（図示せず）においても同様の符号化モデルが切り替えられていることが前提である。また、拡張レイヤでフレーム消失が生じている場合は、上記モードに対応するフレーム消失隠蔽処理を行って、復号拡張音源信号を生成する。
（実施の形態３）
図９は、実施の形態１または２に示したスケーラブル復号化装置を移動体通信システムに適用した場合の移動局装置および基地局装置の主要な構成を示すブロック図である。
この移動体通信システムは、音声信号送信装置３００および音声信号受信装置３１０を備える。なお、音声信号受信装置３１０に実施の形態１または２に示したスケーラブル復号化装置が搭載されている。
音声信号送信装置３００は、入力装置３０１、Ａ／Ｄ変換装置３０２、音声符号化装置３０３、信号処理装置３０４、ＲＦ変調装置３０５、送信装置３０６及びアンテナ３０７を有している。
Ａ／Ｄ変換装置３０２の入力端子は、入力装置３０１の出力端子に接続されている。音声符号化装置３０３の入力端子は、Ａ／Ｄ変換装置３０２の出力端子に接続されている。信号処理装置３０４の入力端子は、音声符号化装置３０３の出力端子に接続されている。ＲＦ変調装置３０５の入力端子は、信号処理装置３０４の出力端子に接続されている。送信装置３０６の入力端子は、ＲＦ変調装置３０５の出力端子に接続されている。アンテナ３０７は、送信装置３０６の出力端子に接続されている。
入力装置３０１は、音声信号を受けてこれを電気信号であるアナログ音声信号に変換し、Ａ／Ｄ変換装置３０２に与える。Ａ／Ｄ変換装置３０２は、入力装置３０１からのアナログの音声信号をディジタル音声信号に変換し、これを音声符号化装置３０３へ与える。音声符号化装置３０３は、Ａ／Ｄ変換装置３０２からのディジタル音声信号を符号化して音声符号化ビット列を生成し信号処理装置３０４に与える。信号処理装置３０４は、音声符号化装置３０３からの音声符号化ビット列にチャネル符号化処理やパケット化処理及び送信バッファ処理等を行った後、その音声符号化ビット列をＲＦ変調装置３０５に与える。ＲＦ変調装置３０５は、信号処理装置３０４からのチャネル符号化処理等が行われた音声符号化ビット列の信号を変調して送信装置３０６に与える。送信装置３０６は、ＲＦ変調装置３０５からの変調された音声符号化信号をアンテナ３０７を介して電波（ＲＦ信号）として送出する。
音声信号送信装置３００においては、Ａ／Ｄ変換装置３０２を介して得られるディジタル音声信号に対して数十ｍｓのフレーム単位で処理が行われる。システムを構成するネットワークがパケット網である場合には、１フレーム又は数フレームの符号化データを１つのパケットに入れこのパケットをパケット網に送出する。なお、上記ネットワークが回線交換網の場合には、パケット化処理や送信バッファ処理は不要である。
音声信号受信装置３１０は、アンテナ３１１、受信装置３１２、ＲＦ復調装置３１３、信号処理装置３１４、音声復号化装置３１５、Ｄ／Ａ変換装置３１６及び出力装置３１７を有している。
受信装置３１２の入力端子は、アンテナ３１１に接続されている。ＲＦ復調装置３１３の入力端子は、受信装置３１２の出力端子に接続されている。信号処理装置３１４の入力端子は、ＲＦ復調装置３１３の出力端子に接続されている。音声復号化装置３１５の入力端子は、信号処理装置３１４の出力端子に接続されている。Ｄ／Ａ変換装置３１６の入力端子は、音声復号化装置３１５の出力端子に接続されている。出力装置３１７の入力端子は、Ｄ／Ａ変換装置３１６の出力端子に接続されている。
受信装置３１２は、アンテナ３１１を介して音声符号化情報を含んでいる電波（ＲＦ信号）を受けてアナログの電気信号である受信音声符号化信号を生成し、これをＲＦ復調装置３１３に与える。アンテナ３１１を介して受けた電波（ＲＦ信号）は、伝送路において信号の減衰や雑音の重畳がなければ、音声信号送信装置３００において送出された電波（ＲＦ信号）と全く同じものになる。
ＲＦ復調装置３１３は、受信装置３１２からの受信音声符号化信号を復調し信号処理装置３１４に与える。信号処理装置３１４は、ＲＦ復調装置３１３からの受信音声符号化信号のジッタ吸収バッファリング処理、パケット組みたて処理およびチャネル復号化処理等を行い、受信音声符号化ビット列を音声復号化装置３１５に与える。音声復号化装置３１５は、信号処理装置３１４からの受信音声符号化ビット列の復号化処理を行って復号音声信号を生成しＤ／Ａ変換装置３１６へ与える。Ｄ／Ａ変換装置３１６は、音声復号化装置３１５からのディジタル復号音声信号をアナログ復号音声信号に変換して出力装置３１７に与える。出力装置３１７は、Ｄ／Ａ変換装置３１６からのアナログ復号音声信号を空気の振動に変換し音波として人間の耳に聞こえる様に出力する。
これにより、実施の形態１または２と同様の作用効果を有する移動局装置（通信端末装置）を提供することができる。
また、本発明に係るスケーラブル復号化装置は、上記各実施の形態に限定されず、種々変更して実施することが可能である。例えば、実施の形態１および２は、適宜組み合わせて実施することが可能である。
図１０は、実施の形態１および２を組み合わせた場合のスケーラブル復号化装置の主要な構成を示すブロック図である。
コア復号器１０２は、復号処理過程で得られる音響パラメータもしくは復号信号を分析して得られる音響パラメータをモード判定部２０１に出力する。音響パラメータとしては、前述のような各種パラメータ全てが例としてあげられる。このような構成は、拡張復号器１０５がＭＤＣＴを用いた符号化アルゴリズムを利用している場合に有効である。
以上、本発明の様々な実施の形態について説明した。
なお、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。例えば、本発明に係る拡張レイヤ消失隠蔽方法のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係るスケーラブル復号化装置と同様の機能を実現することができる。
また、ＬＳＰの余弦をとったもの、すなわち、ＬＳＰをＬ（ｉ）とした場合のｃｏｓ（Ｌ（ｉ））を特にＬＳＦ（Ｌｉｎｅ Ｓｐｅｃｔｒａｌ Ｆｒｅｑｕｅｎｃｙ）と呼び、ＬＳＰと区別する場合もあるが、本明細書では、ＬＳＦはＬＳＰの一形態であり、ＬＳＰにＬＳＦは含まれるものとしてＬＳＰという用語を用いている。すなわち、ＬＳＰをＬＳＦと読み替えても良い。
また、上記各実施の形態では、コアレイヤは最も狭帯域の信号の符号化／復号化を行うレイヤであるとして説明したが、ある帯域の信号を符号化／復号化するレイヤＸとそれよりも広い帯域の信号を符号化／復号化するレイヤＹとがあった場合、Ｘをコアレイヤ、Ｙを拡張レイヤとして、本発明の内容を適用することも可能である。この場合、レイヤＸは必ずしも最も狭帯域の信号の符号化／復号化を行うレイヤである必要はなく、レイヤＸ自体が複数のレイヤから成るスケーラブル構造となっていても良い。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されていても良いし、一部または全てを含むように１チップ化されていても良い。
また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
本明細書は、２００４年４月３０日出願の特願２００４−１３６２８０に基づく。この内容はすべてここに含めておく。
本発明に係るスケーラブル復号化装置および拡張レイヤ消失隠蔽方法は、移動体通信システムにおける通信端末装置等の用途に適用できる。
本発明は、拡張レイヤを消失した場合に隠蔽処理を行うスケーラブル復号化装置および当該装置で使用される拡張レイヤ消失隠蔽方法に関する。
インターネット通信に代表されるパケット通信においては、伝送路上でパケット損失が発生することがあるため、伝送情報の一部が消失しても、残る情報から復号処理を可能とするいわゆるスケーラブル符号化機能が望まれる。このスケーラブル符号化には、周波数帯域は変えずに、符号化対象の信号のビットレートのみにスケーラビリティを持たせるものと、符号化対象の信号の周波数帯域（周波数軸方向）にスケーラビリティを持たせて符号化するものとが存在する（例えば、非特許文献１参照）。特に、後者の周波数帯域にスケーラビリティを持たせて符号化する方式を帯域スケーラブル符号化と呼ぶことにする。
従来の音声通信では、電話帯域（300Hz〜3.4kHz）の狭帯域信号が用いられてきたが、近年、広帯域（50Hz〜7kHz）の信号を符号化する方式等も標準化され（例えば、非特許文献２参照）、将来の高品質音声通信への利用が期待されている。
一方、今後ネットワークのオールＩＰ化が進むにつれ、電話帯域の音声信号用の端末と広帯域音声用の端末とが同一のネットワーク内に混在することが予想される。また、現在の電話会議サービスに見られるような多地点間通信も普及すると言われている。このような状況を考えると、一つの符号化方式で、電話帯域の音声信号と広帯域の音声信号との双方を符号化／復号化できるスケーラブル符号化方式の有効性が高いと考えられる。
これまでにも、音声信号に限らず、さらに広帯域な音響信号に対するスケーラブル符号化方式が開示されている（例えば、特許文献１、２参照）。このようなスケーラブル符号化は、符号化対象となる音響信号を階層的に符号化するため、DiffServ（Differentiated Services）のようなネットワーク上での優先制御を用いてコア（基本レイヤ）の情報を優先的に伝送する。そして、伝送路の状況によっては、より上位の拡張レイヤの情報から順に廃棄を行う。これにより、通信ネットワーク内でコア情報が破棄される確率を低く抑え、パケット損失によって一部の符号化情報が失われても通話品質の劣化を抑えることができる。
一方、伝送路上で符号化情報が失われ、復号器側で符号化情報を受信できない場合、このデータ消失の隠蔽（補償）処理を行うことが一般的である。例えば、特許文献３には、ＩＴＵ−Ｔ勧告Ｇ．７２９のフレーム消失隠蔽処理が開示されている。特許文献３に開示されているように、過去に復号した情報を用いて外挿的に消失フレームの隠蔽処理を行うことが標準的である。
特開平０８−２６３０９６号公報 特開２００２−１００９９４号公報 特開平０９−１２０２９７号公報 T. Nomura et al,"A Bitrateand Bandwidth Scalable CELP Coder,"IEEE Proc. ICASSP98, pp.341-344, 1998 ３ＧＰＰ規格、ＴＳ２６．１９０
しかしながら、スケーラブル符号化された信号の伝送において、拡張レイヤの信号を消失した場合の復号処理については、標準的な技術が存在しない。
また、拡張レイヤの信号のみを消失した場合にコアレイヤの情報を用いて消失信号の復号化処理を行うことも考えられるが、以下のような問題がある。すなわち、上記のように、ビットレートだけでなく周波数帯域もスケーラブルな場合、コアレイヤの情報から生成された復号信号は狭帯域な信号であるのに対し、コアレイヤと拡張レイヤの双方の情報から生成された復号信号は広帯域な信号となる。よって、コアレイヤの情報のみを用いて復号処理を行った場合と、拡張レイヤまでを使用して復号処理を行った場合とでは、復号信号の周波数帯域が変化してしまうという問題がある。かかる場合、コアレイヤの符号化情報のみを用いて復号しても、局所的に信号帯域が狭小化するだけであるので、著しい品質劣化にはつながらないものの、拡張レイヤの消失率が高く、復号信号の帯域が狭帯域と広帯域とに頻繁に切り替わるような場合には、主観品質に違和感や不快感を生じる結果となる。
よって、本発明の目的は、帯域スケーラブル符号化において、拡張レイヤの信号を消失した場合でも、復号信号の帯域が頻繁に切り替わることがなく、主観品質に違和感や不快感を生じさせないスケーラブル復号化装置、および当該装置で使用される拡張レイヤ消失隠蔽方法を提供することである。
本発明のスケーラブル復号化装置は、周波数軸方向にスケーラビリティを有するコアレイヤと拡張レイヤとからなる符号化情報から、広帯域の復号信号を得るスケーラブル復号化装置であって、コアレイヤの符号化情報から狭帯域のコアレイヤ復号信号を得るコアレイヤ復号化手段と、前記狭帯域のコアレイヤ復号信号の周波数帯域を広帯域に変換し、第１信号を得る変換手段と、コアレイヤが存在し拡張レイヤが消失された符号化情報に対し、過去に得られた復号信号に基づいて広帯域の補償信号を生成する補償手段と、前記広帯域の補償信号からコアレイヤに相当する周波数成分を除去し、第２信号を得る除去手段と、前記変換手段で得られた第１信号と、前記除去手段で得られた第２信号と、を加算して広帯域の復号信号を得る加算手段と、を具備する構成を採る。
本発明によれば、帯域スケーラブル符号化において、拡張レイヤの信号を消失した場合でも、復号信号の帯域が頻繁に切り替わることがなく、主観品質に違和感や不快感を生じさせないようにすることができる。
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。なお、ここでは、周波数帯域にスケーラビリティを持たせて階層的に入力信号の符号化／復号化が行われている状況、すなわち符号化情報が周波数軸方向にスケーラビリティを有する場合を例にとって説明する。かかる場合、コアレイヤは、最も狭帯域の信号の符号化／復号化を行うレイヤである。
（実施の形態１）
図１は、本発明の実施の形態１に係るスケーラブル復号化装置の主要な構成を示すブロック図である。
本実施の形態に係るスケーラブル復号化装置は、コア符号パケット用のパケット分解部１０１、コア復号器（コア復号化処理部）１０２、アップサンプル処理部１０３、拡張符号パケット用のパケット分解部１０４、拡張復号器（拡張復号化処理部）１０５、高域通過フィルタ（ＨＰＦ）１０６、切り替えスイッチ（ＳＷ）１０７、および加算器１０８を備える。
本実施の形態に係るスケーラブル復号化装置の各部は以下の動作を行う。
コア符号パケット用のパケット分解部１０１は、パケット網Ｎを介し入力されたコアレイヤの符号化情報が載っているコア符号パケットから、コアレイヤの符号化情報を取り出してコア復号器１０２へ出力（Ｓ１）すると共に、フレーム消失情報Ｃ１をコア復号器１０２、拡張復号器１０５、および切り替えスイッチ１０７へ出力する。ここで、符号化情報とは、送信側の符号化装置（図示せず）から出力される符号化ビットストリームのことであり、フレーム消失情報Ｃ１とは、復号対象となるフレームが消失フレームか否かを示す情報のことである。なお、復号対象となるパケットが消失パケットである場合は、このパケットが含む全フレームが消失フレームとなる。
コア復号器１０２は、パケット分解部１０１から出力されるフレーム消失情報Ｃ１と符号化情報Ｓ１とを用いて、コアレイヤの復号処理を行い、コアレイヤの復号信号（狭帯域信号）Ｓ３を出力する。コアレイヤの復号処理の具体的内容は、例えば、ＣＥＬＰモデルに基づく復号処理であっても良いし、波形符号化に基づく復号処理であっても良いし、ＭＤＣＴ等を用いた変換符号化モデルの復号処理であっても良い。また、コア復号器１０２は、コアレイヤの復号処理において得られる情報の一部または全て（Ｓ４）を拡張復号器１０５へ出力する。拡張復号器１０５へ出力された情報は、拡張レイヤの復号処理に用いられる。さらに、コア復号器１０２は、コアレイヤの復号処理において得られる信号Ｓ６をアップサンプル処理部１０３へ出力する。アップサンプル処理部１０３へ出力する信号Ｓ６は、コアレイヤの復号信号そのものであってもよいし、コアレイヤの符号化モデルによっては部分的な復号パラメータ（例えば、スペクトルパラメータや音源パラメータ）であっても良い。
アップサンプル処理部１０３は、コア復号器１０２から出力される、復号信号または復号処理過程で得られる一部の復号パラメータもしくは復号信号に対し、ナイキスト周波数を上げる処理を行う。このアップサンプリングされた信号Ｓ７は、拡張復号器１０５へ出力される。なお、このアップサンプリング処理は、時間軸上での処理に限定されず、スケーラブル符号化のアルゴリズムによっては、アップサンプル処理後の信号を拡張音源復号器１２２に出力して、拡張音源復号時に利用する構成としても良い。
一方、拡張符号パケット用のパケット分解部１０４は、パケット網を介し入力された拡張レイヤの符号化情報が乗っている拡張符号パケットから、拡張レイヤの符号化情報を取り出し、拡張復号器１０５へ出力（Ｓ２）すると共に、フレーム消失情報Ｃ２を拡張復号器１０５および切り替えスイッチ１０７へ出力する。
拡張復号器１０５は、パケット分解部１０４から出力されるフレーム消失情報Ｃ２および符号化情報Ｓ２と、コア復号器１０２から出力されるコアレイヤの復号信号Ｓ３およびコアレイヤの符号化処理過程で得られた情報Ｓ４と、アップサンプル処理部１０３から出力されるコアレイヤの復号信号をアップサンプルした信号Ｓ７と、を用いて拡張レイヤの復号処理を行い、拡張レイヤの復号信号（広帯域信号）を得て、ＨＰＦ１０６および加算器１０８へ出力する（Ｓ８、Ｓ９）。なお、加算器１０８へ出力される信号Ｓ８とＨＰＦ１０６へ出力される信号Ｓ９は同一でなくても良い。例えば、拡張復号器１０５は、アップサンプル処理部１０３から出力された信号Ｓ７をそのまま加算器１０８に出力しても良いし、フレーム消失情報Ｃ２を参照して条件的に切り替えても良い。
ＨＰＦ１０６は、拡張復号器１０５から入力された復号信号Ｓ９の高域成分（コアレイヤの狭帯域復号信号に含まれない帯域成分）のみを通過させ、切り替えスイッチ１０７へ出力する。
切り替えスイッチ（ＳＷ）１０７は、ＨＰＦ１０６から出力される信号の加算器１０８への出力のオン／オフを切り換える。スイッチのオン／オフは、コア符号パケット用のパケット分解部１０１と拡張符号パケット用のパケット分解部１０４とからそれぞれ出力されるフレーム消失情報を参照することにより行われる。具体的には、コアレイヤも拡張レイヤもフレーム消失になっていない（正常フレームである）場合は、スイッチを開放してオフとする。また、コアレイヤのみ正常フレームで拡張レイヤは消失フレームである場合は、スイッチを閉じてオンとする。さらに、コアレイヤも拡張レイヤも消失フレームである場合は、スイッチを開放してオフとする。
加算器１０８は、拡張復号器１０５から直接入力されるフルバンドの音響信号と拡張復号器１０５からＨＰＦ１０６を介して入力される高帯域復号信号とを加算し、加算結果を広帯域信号として出力する。
図２は、上記のコア復号器１０２内部の主要な構成を示すブロック図である。
このコア復号器１０２は、パラメータ復号部１１１、コア線形予測係数（ＬＰＣ）復号器１１２、コア音源復号器１１３、および合成フィルタ１１４を備える。
パラメータ復号部１１１は、パケット分解部１０１から出力されたコアレイヤの符号化情報（ビットストリーム）Ｓ１を、ＬＰＣパラメータ符号化データ（ＬＳＰのコード等を含む）および音源パラメータ符号化データ（ピッチラグのコード、固定音源符号帳のコード、ゲインコード等を含む）に分離し、各々のデータを各種コードにまで復号し、コア（レイヤ）ＬＰＣ復号器１１２およびコア音源復号器１１３にそれぞれ出力する。
コアＬＰＣ復号器１１２は、パラメータ復号部１１１から出力されたＬＰＣパラメータのコードを復号し、復号ＬＰＣを合成フィルタ１１４および拡張復号器１０５へ出力する。復号処理の具体的な内容は、例えば、ベクトル量子化を用いて符号化されたＬＳＰパラメータを復号してからＬＰＣパラメータに変換する。なお、コア符号パケット用のパケット分解部１０１から出力したフレーム消失情報Ｃ１が、現フレームは消失フレームであることを示していたら、コアＬＰＣ復号器１１２は、フレーム消失補償処理を用いてＬＰＣパラメータの隠蔽処理を行い、隠蔽処理によって生成されたＬＰＣ（補償信号）を復号ＬＰＣとして出力する。
コア音源復号器１１３は、パラメータ復号部１１１から出力された音源パラメータの各種コード（ピッチラグ、固定符号帳、ゲイン符号帳等のコード）に対して復号処理を施し、復号音源信号を合成フィルタ１１４およびアップサンプル処理部１０３へ出力する（Ｓ６）。また、コア音源復号器１１３は、この復号処理によって復号された一部または全ての情報Ｓ３を拡張復号器１０５へ出力する。具体的には、ピッチラグ情報とパルス駆動信号（固定符号帳音源情報）等がコア音源復号器１１３から拡張復号器１０５へ出力される。なお、コア符号パケット用のパケット分解部１０１から入力されたフレーム消失情報Ｃ１が、現フレームは消失フレームであることを示していたら、コア音源復号器１１３は、フレーム消失補償処理を用いて音源パラメータの隠蔽処理を行い、隠蔽処理によって生成された補償音源信号を復号音源信号として出力する。
合成フィルタ１１４は、コアＬＰＣ復号器１１２から出力された復号ＬＰＣで構成された線形予測フィルタを、コア音源復号器１１３から出力された復号音源信号で駆動して、狭帯域信号Ｓ５を出力する。
図３は、拡張復号器１０５内部の主要な構成を示すブロック図である。
この拡張復号器１０５は、パラメータ復号部１２１、拡張音源復号器１２２、２つの切り替えスイッチ（１２３、１２６）、２つの合成フィルタ（１２４、１２８）、ＬＰＣ変換部１２５、および拡張ＬＰＣ復号器１２７を備える。
パラメータ復号部１２１は、パケット分解部１０４から拡張レイヤの符号化情報Ｓ２が入力され、ＬＰＣパラメータ符号化データ（ＬＳＰコード等を含む）と、音源パラメータ符号化データ（ピッチラグコード、固定符号帳インデックスコード、ゲインコード等を含む）とに分離し、各種パラメータのコードに復号し、拡張ＬＰＣ復号器１２７および拡張音源復号器１２２にそれぞれ出力する。
拡張ＬＰＣ復号器１２７は、コア復号器１０２内のコアＬＰＣ復号器１１２から入力された復号コアＬＰＣパラメータＳ４と、パラメータ復号部１１１から入力された拡張レイヤＬＰＣパラメータコードと、を用いて広帯域信号を再合成するためのＬＰＣパラメータを復号し、２つの合成フィルタに出力する（合成フィルタ１２４へは切り替えスイッチ１２６を介して出力する）。具体的には、コアＬＰＣ復号器１１２から入力した復号ＬＳＰ（狭帯域ＬＳＰ）から拡張ＬＳＰ（広帯域ＬＳＰ）を予測するモデルを用いる。この場合、拡張ＬＰＣ復号器１２７は、狭帯域ＬＳＰから予測された広帯域ＬＳＰの予測誤差の復号処理（例えばＭＡ予測ベクトル量子化などを用いて符号化されている）を行い、それを狭帯域ＬＳＰから予測された広帯域ＬＳＰに加算して最終的な広帯域ＬＳＰを復号し、最後にＬＰＣに変換する、といった一連の処理を行う。
なお、拡張符号パケット用パケット分解部から入力したフレーム消失情報が、現フレームは消失フレームであることを示していたら、拡張ＬＰＣ復号器１２７は、フレーム消失補償処理を用いてＬＰＣパラメータの隠蔽処理を行い、隠蔽処理によって生成された補償ＬＰＣを復号ＬＰＣとして出力する。また、復号処理は他の方法であっても良い。
ＬＰＣ変換部１２５は、狭帯域ＬＰＣパラメータＳ４を広帯域ＬＰＣパラメータへ変換する。このアップサンプルの方法としては、狭帯域ＬＳＰから得られるＬＰＣ合成フィルタのインパルス応答をアップサンプルし、アップサンプルしたインパルス応答から自己相関を求め、求めた自己相関係数を所望の次数のＬＳＰに変換する方法等が挙げられるが、これに限定されるものではない。自己相関係数ＲｉとＬＰＣパラメータａｉの間の変換は両者に下記の（式１）の関係があることを用いれば実現できる。
Figure 2005106848
 変換されたＬＰＣパラメータは切り替えスイッチ１２６を介して合成フィルタ１２４に出力される。なお、図示していないが、変換されたＬＰＣパラメータを用いて拡張ＬＰＣの復号を行うような符号化モデルを用いている場合は、変換されたＬＰＣを拡張ＬＰＣ復号器１２７にも出力するようにする。
拡張音源復号器１２２には、パラメータ復号部１２１から拡張音源パラメータの各種コード情報が入力され、コア音源復号器１１３からコア音源パラメータの復号情報、復号コア音源信号等のコア音源復号処理で得られる情報が入力される。拡張音源復号器１２２は、拡張音源（広帯域音源）信号の復号処理を行い、復号信号を合成フィルタ１２４および合成フィルタ１２８へ出力する（ただし、合成フィルタ１２４への出力は、スイッチ１２３を経由して行われる）。
例えば、拡張音源復号器１２２がＣＥＬＰ方式の復号化処理を行う場合、この処理には、ピッチラグの復号処理、適応符号帳成分の復号処理、固定符号帳成分の復号処理、ゲインパラメータの復号処理等が含まれる。
ピッチラグの復号処理は、例えば、次のように行われる。拡張音源用のピッチラグは、コア音源復号器１１３から入力されたピッチラグ情報を基にして差分量子化されているので、拡張音源復号器１２２は、サンプリング周波数を２倍にする拡張であればコア音源用ピッチラグを２倍にすることによってコア音源用ピッチラグを拡張音源用ピッチラグに変換し、一方、差分量子化されたピッチラグ（デルタラグ）を復号する。そして、拡張音源復号器１２２は、拡張音源用に変換されたピッチラグと、復号によって得られたデルタラグとの和を拡張音源用復号ピッチラグとする。
適応符号帳成分の復号処理では、例えば、拡張音源復号器１２２用の適応符号帳、すなわち過去に拡張音源復号器１２２から生成された音源信号のバッファを用いて拡張音源復号器１２２は適応符号帳成分を生成し、これを復号する。
固定符号帳成分の復号処理では、例えば、コア音源復号器１１３から入力された固定符号帳のサンプリングレート変換後のものを拡張音源復号器１２２は拡張音源復号処理における固定符号帳の一成分として利用する。また、拡張音源復号器１２２は、拡張音源符号帳内に固定符号帳を別途備えていて、復号処理をすることによって追加の固定符号帳成分を復号する。復号された適応符号帳成分と固定符号帳成分とのそれぞれに、復号されたゲインパラメータを乗じて足し合わせることによって復号音源信号が得られる。
なお、拡張符号パケット用パケット分解部から入力されたフレーム消失情報が、現フレームは消失フレームであることを示していたら、拡張音源復号器１２２は、フレーム消失補償処理を用いて音源パラメータの隠蔽処理を行い、隠蔽処理によって生成された補償音源信号を復号音源信号として出力する。
切り替えスイッチ１２３は、アップサンプル処理部１０３または拡張音源復号器１２２のいずれか一方と合成フィルタ１２４とを接続する切り替えスイッチで、コア符号パケット用パケット分解部１０１から入力されるフレーム消失情報Ｃ１と、拡張符号パケット用パケット分解部１０４から入力されるフレーム消失情報Ｃ２と、に基づいて切り替えられる。具体的には、コアレイヤが正常フレームで拡張レイヤが消失フレームである場合、合成フィルタ１２４の入力端子はアップサンプル処理部１０３の出力端子に接続され、それ以外の場合には、合成フィルタ１２４の入力端子は拡張音源復号器１２２の出力端子に接続される。
切り替えスイッチ１２６は、ＬＰＣ変換部１２５または拡張ＬＰＣ復号器１２７のいずれか一方と合成フィルタ１２４の第２の入力端子とを接続する切り替えスイッチで、コア符号パケット用パケット分解部１０１から入力されるフレーム消失情報Ｃ１と、拡張符号パケット用パケット分解部１０４から入力されるフレーム消失情報Ｃ２と、に基づいて切り替えられる。具体的には、コアレイヤが正常フレームで拡張レイヤが消失フレームである場合、合成フィルタ１２４の第２の入力端子はＬＰＣ変換部１２５の出力端子に接続され、それ以外の場合には、合成フィルタ１２４の第２の入力端子は拡張ＬＰＣ復号器１２７の出力端子に接続される。
合成フィルタ１２４は、拡張ＬＰＣ復号器１２７またはＬＰＣ変換部１２５から、スイッチ１２６を介してフィルタ係数が入力され、これらのフィルタ係数を用いて合成フィルタが構成される。構成された合成フィルタは、拡張音源復号器１２２またはアップサンプル処理部１０３からスイッチ１２３を介して入力される音源信号で駆動され、出力信号Ｓ８は加算器へ出力される。なお、コアレイヤのフレームが消失しない限り、合成フィルタ１２４は、誤りのない信号を生成し続ける。
合成フィルタ１２８は、拡張ＬＰＣ復号器１２７から入力されるフィルタ係数で合成フィルタを構成し、拡張音源復号器１２２から入力される復号音源信号で駆動され、出力信号Ｓ９を高域通過フィルタ１０６へ出力する。なお、合成フィルタ１２８は、フレーム消失の有無に関わらず常に広帯域の復号信号を生成する。
ＨＰＦ１０６は、コア復号器１０２の復号信号の帯域を遮断するフィルタで、合成フィルタ１２８の出力信号を入力し、高域成分（拡張レイヤで拡張される帯域）のみを通過してスイッチ１０７へ出力する。高域通過フィルタは、直線位相特性を有することが望ましいが、それに限定するものではない。
切り替えスイッチ１０７は、加算器への信号の入力をＯＮ／ＯＦＦするスイッチで、コア符号パケット用パケット分解部から入力されるフレーム消失情報と、拡張符号パケット用パケット分解部から入力されるフレーム消失情報と、に基づいて切り替えられる。具体的には、コアレイヤは正常フレームで拡張レイヤは消失フレームである場合には、スイッチが閉じられて、ＨＰＦ１０６の出力が加算器へ入力される。それ以外の場合には、切り替えスイッチ１０７は開放され、ＨＰＦ１０６の出力は加算器へ入力されない。
加算器１０８は、合成フィルタ１２４から出力される復号信号と、切り替えスイッチ１０７から入力される高域成分のみを有する復号信号と、を加算して最終的な広帯域復号信号として出力する。
合成フィルタ１２８は、拡張レイヤでフレーム消失が発生したとき、すなわち、合成フィルタ１２４の出力信号の帯域幅が狭まったときは、ＨＰＦ１０６で取り出された高域成分の信号と、合成フィルタ１２４で生成された狭帯域の復号信号とが加算され、出力される。その結果、常に広帯域の復号信号が得られる。すなわち、復号信号の帯域幅が変化することによる主観的違和感の発生を防止することができる。また、低域成分については拡張レイヤの情報が失われても影響を受けないので、高品質な広帯域信号を生成できる。人間の聴覚的に信号の低域成分は重要であると共に、ＣＥＬＰ方式の符号化／復号化では低域成分（ピッチ周期）がずれることによる品質劣化が大きいので、低域成分がエラーフリーの状況になっていれば、高域成分に誤りが混入していても主観的品質の劣化を少なくすることが可能であるからである。
なお、コアレイヤがビットレートスケーラブル復号器となっている場合は、コア符号用パケットをビットレートスケーラブル構成の階層数に分割することができる。この場合、コア符号用パケット分解部も階層数に応じて用意する。ビットレートスケーラブル符号化情報のコアレイヤ（ビットレートスケーラブルコア）以外の情報がパケット網内で失われた場合、図１におけるコア復号器１０２から出力される各種情報は、コア復号器１０２のビットレートスケーラブルコアの復号処理のみによって得られるものとする。また、ビットレートスケーラブルコア以外のビットレートスケーラブル拡張レイヤの一部の拡張レイヤのみが失われている場合は、ビットレートスケーラブルコアと正常に受信したビットレートスケーラブル拡張レイヤの一部の情報を利用してコア復号化器の復号処理を行っても良い。
図４および図５は、以上説明した拡張復号器１０５内部における信号の流れを整理した図である。図４は、フレーム消失がない場合、すなわち、正常時の信号の流れを示した図、図５は、拡張レイヤのフレームが消失した場合の信号の流れを示した図である。なお、図中において、ＮＢ信号は狭帯域信号を、ＷＢ信号は広帯域信号を指している。
次いで、上記構成を有するスケーラブル復号化装置の復号処理の概要について、図６に示す信号図を用いて説明する。なお、この図は、第ｎフレームにおいてフレーム消失が起こった場合を示している。
破線で示した信号Ｓ１０１は、フレーム消失がなかった場合の信号を示している。しかし、伝送路上でこの信号の高帯域（拡張レイヤ）パケットを消失すると、実際に受信される信号は低域パケットのみとなる。そこで、本実施の形態では、この低域パケットの信号にアップサンプル処理等を施すことにより、サンプリングレートは広帯域であって低域成分のみが残った信号Ｓ１０２（実線の信号）を生成する。一方、第ｎ−１フレームの信号Ｓ１０３に基づいて、隠蔽処理によって補償信号Ｓ１０４を生成する。この信号Ｓ１０４をＨＰＦに通すことにより、高域成分のみを取り出すと信号Ｓ１０５となる。加算部１０８において、低域成分のみが残っている信号Ｓ１０１と高域成分のみが残っている信号Ｓ１０５とを加算することにより、復号信号Ｓ１０６が得られる。
このように、本実施の形態によれば、正常に受信したエラーフリーの（エラーのない）低域成分であるコアレイヤの符号化情報を用いて得られる信号をアップサンプリングして信号を生成し、この信号に、拡張レイヤで誤り隠蔽処理を用いて生成した全帯域の信号の高域成分のみを取り出した信号を加算して、全帯域復号信号を得る。
この構成を採ることにより、帯域スケーラブル音響符号化情報のコアレイヤ以外の符号化情報が失われた場合であっても、コアレイヤのサポートする音響信号帯域だけでなく、拡張レイヤのサポートする音響信号帯域を常に生成することができる。
また、コアレイヤの符号化情報のみから得られる復号信号は、サンプリングレートは広帯域復号信号のままで変化しないが、合成フィルタの出力信号の帯域幅が拡張レイヤの誤り状況によって狭まったり広がったりする。すなわち、拡張レイヤのフレームが消失した場合は、復号信号の帯域幅が狭まる。しかし、本実施の形態によれば、復号音響信号の帯域幅が短時間のうちに変化することを防ぎ、不快感や違和感が復号音響信号に生じないようにすることができる。しかも、低域成分の品質は低下しない。
帯域スケーラブル音響復号化において、パケット網でパケット転送の優先制御が行われている場合、拡張レイヤの符号化データのみが消失すると、復号器側で復号信号の帯域幅が変化し、聴感上不快と感じる場合がある。エラーフリーの状態で復号したコアレイヤの復号信号に、フレーム消失隠蔽処理を用いて復号した拡張レイヤの復号信号の高域成分を加算することにより、復号信号の帯域幅が時間的に変化することを回避し、聴感上安定した品質を復号器側で得ることが可能となる。
また、コアレイヤの復号情報を活用して拡張レイヤの符号化／復号化およびフレーム消失隠蔽処理を適応的に切り替える構成としたので、拡張レイヤの情報が失われても、コアレイヤの情報を正常に受信していれば、高品質な復号信号を得ることが可能となる。
さらに、パケット網での優先制御を有効に利用し、高品質な音響通信品質を実現できる。
なお、本実施の形態では、拡張レイヤが１層である場合を例にとって説明したが、拡張レイヤの数は２以上（出力する周波数帯域の種類が２種類以上）であっても良い。
また、コアレイヤがさらにビットレートスケーラビリティを有する階層構造（スケーラブル符号化器／スケーラブル復号器）を持っていても良い。
また、各周波数帯域を出力する符号化／復号化のアルゴリズムが、ビットレートスケーラビリティを有する階層構造を持っていても良い。
また、拡張復号器１０５は、ＭＤＣＴベースのものであっても良い。図７は、拡張復号器１０５がＭＤＣＴベースである場合のアップサンプル処理部１０３ａの構成を示したブロック図である。
このアップサンプル処理部１０３ａは、ＭＤＣＴ部１３１および次数拡張部１３２を備える。
コア復号器１０２は、コア復号信号を狭帯域復号信号として出力すると共に、ＭＤＣＴ部１３１へも出力する。これは、図１に示したコア復号器１０２の２つの出力信号（Ｓ３、Ｓ４）が同一である場合に相当する。また、コアレイヤの復号過程において得られた情報の一部または全てを拡張復号器１０５に出力する。
ＭＤＣＴ部１３１は、コア復号器１０２から出力された狭帯域復号信号に対して変形離散余弦変換（ＭＤＣＴ）処理を行って、得られるＭＤＣＴ係数を次数拡張部１３２へ出力する。
次数拡張部１３２は、ＭＤＣＴ部１３１から出力されたＭＤＣＴ係数の次数を零詰めによって拡張する（ただし、２倍にアップサンプルする場合は、ＭＤＣＴ次数を２倍にし、増やした部分は０の係数で埋める）。拡張されたＭＤＣＴ係数は拡張復号器１０５へ出力される。
拡張復号器１０５は、次数拡張部１３２から出力されたＭＤＣＴ係数を逆変形離散コサイン変換することによって拡張レイヤの復号信号を生成する。また、拡張復号器１０５は、隠蔽処理を行う場合は、次数拡張部１３２の出力するＭＤＣＴ係数に、隠蔽処理によって生成された拡張情報を加え、これにより生成されたＭＤＣＴ係数を逆変形離散コサイン変換することによって、拡張レイヤの復号信号を生成する。
（実施の形態２）
図８は、本発明の実施の形態２に係るスケーラブル復号化装置の主要な構成を示すブロック図である。なお、このスケーラブル復号化装置は、実施の形態１に示したスケーラブル復号化装置と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
本実施の形態に係るスケーラブル復号化装置は、モード判定部２０１を備え、モード判定部２０１への入出力インタフェースを有するコア復号器１０２および拡張復号器１０５の動作が実施の形態１と異なる。
次いで、上記構成を有するスケーラブル復号化装置の動作について説明する。
コア復号器１０２は、パケット分解部１０１から入力されるフレーム消失情報Ｃ１と符号化情報Ｓ１を用いてコアレイヤの復号処理を行い、コアレイヤの復号信号（狭帯域信号）Ｓ６として出力する。また、コアレイヤの復号処理において得られる情報の一部または全てを拡張復号器１０５へ出力する。拡張復号器１０５へ出力された情報は拡張レイヤの復号処理に用いられる。さらに、コアレイヤの復号処理において得られる信号をアップサンプル処理部１０３およびモード判定部へ出力する。アップサンプル処理部１０３へ出力する信号は、コアレイヤの復号信号そのものであっても良いし、コアレイヤの符号化モデルによっては部分的な復号パラメータであっても良い。モード判定部へ出力される情報は、線形予測係数、ピッチ予測利得、ピッチラグ、ピッチ周期、信号エネルギ、零交差率、反射係数、対数断面積比、ＬＳＰパラメータ、正規化線形予測残差パワ等の一般に音声信号の状態（無音、有声定常部、雑音性子音部、立ち上がり、過渡部等）を分類するのに使われるパラメータである。
モード判定部２０１は、コア復号器１０２から入力した各種情報を用いて、復号中の信号の分類（例えば、雑音性子音部、有声定常部、立ち上がり部、有声過渡部、無音部、音楽信号等）を行い、この分類結果を拡張復号器１０５へ出力する。ただし、分類は、この例に限定されない。
拡張復号器１０５は、パケット分解部１０４から出力されるフレーム消失情報と符号化情報と、コア復号器１０２から出力されるコアレイヤの符号化処理過程で得られた情報と、アップサンプル処理部１０３から入力されるコアレイヤの復号信号をアップサンプルしたものと、を用いて拡張レイヤの復号化処理を行う。なお、モード判定部から入力したモード情報を用いて、そのモードに適した符号化モデルを選択的に使用するような拡張符号化器（図示せず）によって拡張レイヤの符号化処理が行われている場合は、復号化処理も同様の処理を行う。
このようにコアレイヤで現在の音響信号の状況を判定し、拡張レイヤの符号化モデルを適応的に切り替える構成とすれば、より高品質な符号化／復号化を実現できる。
復号信号は、拡張レイヤの復号信号（広帯域信号）としてＨＰＦ１０６および加算器１０８へ出力される。なお、加算器１０８へ出力される信号とＨＰＦ１０６へ出力される信号は同じものでなくても良い。例えば、加算器１０８にはアップサンプル処理部１０３から入力された信号をそのまま出力しても良い。また、フレーム消失情報を参照して加算器１０８へ出力する信号を条件的に切り替える（例えば、アップサンプル処理部１０３から入力された信号と、拡張復号器１０５内で行われる復号処理によって生成される信号と、を切り替える）ようにしても良い。
また、フレーム消失情報が現フレームは消失フレームであることを示していた場合、拡張復号器１０５はフレーム消失隠蔽処理を行う。この場合、モード判定部から音響信号のモードを示す情報が入力されているので、そのモードに適した隠蔽処理を行う。隠蔽処理を用いて生成された広帯域信号は、ＨＰＦ１０６とスイッチを経由して加算器へ出力される。ＨＰＦ１０６は時間領域のディジタルフィルタで実現可能だが、ＭＤＣＴ等の直行変換を用いて周波数領域へ変換し、高域成分のみを残して逆変換によって時間領域に戻すような処理を利用しても良い。
コアＬＰＣ復号器１１２は、ＬＰＣの復号処理過程で得られる音響パラメータもしくは復号したＬＰＣから得られる音響パラメータ（例えば、反射係数、対数断面積比、ＬＳＰ、正規化線型予測残差パワ等）をモード判定部に出力する。
コア音源復号器１１３は、音源復号過程で得られる音響パラメータもしくは復号した音源信号から得られる音響パラメータ（例えば、ピッチラグ、ピッチ周期、ピッチゲイン、ピッチ予測ゲイン、音源信号エネルギ、音源信号零交差率、など）をモード判定部２０１に出力する。
なお、図示していないが、合成フィルタから出力される狭帯域復号信号の零交差率やエネルギ情報等を分析する分析部を設けて、これらのパラメータをモード判定部に入力するようにするとさらに良い。
モード判定部２０１は、コアＬＰＣ復号器１１２およびコア音源復号器１１３等から各種音響パラメータ（ＬＳＰ、ＬＰＣ、反射係数、対数断面積比、正規化線型予測残差パワ、ピッチラグ、ピッチ周期、ピッチゲイン、ピッチ予測ゲイン、音源信号エネルギ、音源信号零交差率、合成信号エネルギ、合成信号零交差率等）を入力し、音響信号のモード分類（無音部、雑音性子音部、有声定常部、立ち上がり部、有声過渡部、語尾、音楽信号等）を行い、分類結果を拡張ＬＰＣ復号器１２７および拡張音源復号器１２２にそれぞれ出力する。なお、図示していないが、拡張復号器１０５がポストフィルタのような後処理部を備える場合は、この後処理部にも上記モード分類情報を出力しても良い。
拡張ＬＰＣ復号器１２７は、モード判定部２０１から入力された音響信号の各種モードに応じて復号処理を切り替えても良い。この場合、拡張ＬＰＣ符号器（図示せず）においても同様の符号化モデルの切り替え処理が行われていることを前提とする。また、拡張レイヤでフレーム消失が生じている場合は、上記モードに対応するフレーム消失隠蔽処理を行って、復号拡張ＬＰＣを生成する。
拡張音源復号器１２２は、モード判定部２０１から入力された音響信号の各種モードに応じて復号処理を切り替えても良い。この場合、拡張音源符号器（図示せず）においても同様の符号化モデルが切り替えられていることが前提である。また、拡張レイヤでフレーム消失が生じている場合は、上記モードに対応するフレーム消失隠蔽処理を行って、復号拡張音源信号を生成する。
（実施の形態３）
図９は、実施の形態１または２に示したスケーラブル復号化装置を移動体通信システムに適用した場合の移動局装置および基地局装置の主要な構成を示すブロック図である。
この移動体通信システムは、音声信号送信装置３００および音声信号受信装置３１０を備える。なお、音声信号受信装置３１０に実施の形態１または２に示したスケーラブル復号化装置が搭載されている。
音声信号送信装置３００は、入力装置３０１、Ａ／Ｄ変換装置３０２、音声符号化装置３０３、信号処理装置３０４、ＲＦ変調装置３０５、送信装置３０６及びアンテナ３０７を有している。
Ａ／Ｄ変換装置３０２の入力端子は、入力装置３０１の出力端子に接続されている。音声符号化装置３０３の入力端子は、Ａ／Ｄ変換装置３０２の出力端子に接続されている。信号処理装置３０４の入力端子は、音声符号化装置３０３の出力端子に接続されている。ＲＦ変調装置３０５の入力端子は、信号処理装置３０４の出力端子に接続されている。送信装置３０６の入力端子は、ＲＦ変調装置３０５の出力端子に接続されている。アンテナ３０７は、送信装置３０６の出力端子に接続されている。
入力装置３０１は、音声信号を受けてこれを電気信号であるアナログ音声信号に変換し、Ａ／Ｄ変換装置３０２に与える。Ａ／Ｄ変換装置３０２は、入力装置３０１からのアナログの音声信号をディジタル音声信号に変換し、これを音声符号化装置３０３へ与える。音声符号化装置３０３は、Ａ／Ｄ変換装置３０２からのディジタル音声信号を符号化して音声符号化ビット列を生成し信号処理装置３０４に与える。信号処理装置３０４は、音声符号化装置３０３からの音声符号化ビット列にチャネル符号化処理やパケット化処理及び送信バッファ処理等を行った後、その音声符号化ビット列をＲＦ変調装置３０５に与える。ＲＦ変調装置３０５は、信号処理装置３０４からのチャネル符号化処理等が行われた音声符号化ビット列の信号を変調して送信装置３０６に与える。送信装置３０６は、ＲＦ変調装置３０５からの変調された音声符号化信号をアンテナ３０７を介して電波（ＲＦ信号）として送出する。
音声信号送信装置３００においては、Ａ／Ｄ変換装置３０２を介して得られるディジタル音声信号に対して数十ｍｓのフレーム単位で処理が行われる。システムを構成するネットワークがパケット網である場合には、１フレーム又は数フレームの符号化データを１つのパケットに入れこのパケットをパケット網に送出する。なお、上記ネットワークが回線交換網の場合には、パケット化処理や送信バッファ処理は不要である。
音声信号受信装置３１０は、アンテナ３１１、受信装置３１２、ＲＦ復調装置３１３、信号処理装置３１４、音声復号化装置３１５、Ｄ／Ａ変換装置３１６及び出力装置３１７を有している。
受信装置３１２の入力端子は、アンテナ３１１に接続されている。ＲＦ復調装置３１３の入力端子は、受信装置３１２の出力端子に接続されている。信号処理装置３１４の入力端子は、ＲＦ復調装置３１３の出力端子に接続されている。音声復号化装置３１５の入力端子は、信号処理装置３１４の出力端子に接続されている。Ｄ／Ａ変換装置３１６の入力端子は、音声復号化装置３１５の出力端子に接続されている。出力装置３１７の入力端子は、Ｄ／Ａ変換装置３１６の出力端子に接続されている。
受信装置３１２は、アンテナ３１１を介して音声符号化情報を含んでいる電波（ＲＦ信号）を受けてアナログの電気信号である受信音声符号化信号を生成し、これをＲＦ復調装置３１３に与える。アンテナ３１１を介して受けた電波（ＲＦ信号）は、伝送路において信号の減衰や雑音の重畳がなければ、音声信号送信装置３００において送出された電波（ＲＦ信号）と全く同じものになる。
ＲＦ復調装置３１３は、受信装置３１２からの受信音声符号化信号を復調し信号処理装置３１４に与える。信号処理装置３１４は、ＲＦ復調装置３１３からの受信音声符号化信号のジッタ吸収バッファリング処理、パケット組みたて処理およびチャネル復号化処理等を行い、受信音声符号化ビット列を音声復号化装置３１５に与える。音声復号化装置３１５は、信号処理装置３１４からの受信音声符号化ビット列の復号化処理を行って復号音声信号を生成しＤ／Ａ変換装置３１６へ与える。Ｄ／Ａ変換装置３１６は、音声復号化装置３１５からのディジタル復号音声信号をアナログ復号音声信号に変換して出力装置３１７に与える。出力装置３１７は、Ｄ／Ａ変換装置３１６からのアナログ復号音声信号を空気の振動に変換し音波として人間の耳に聞こえる様に出力する。
これにより、実施の形態１または２と同様の作用効果を有する移動局装置（通信端末装置）を提供することができる。
また、本発明に係るスケーラブル復号化装置は、上記各実施の形態に限定されず、種々変更して実施することが可能である。例えば、実施の形態１および２は、適宜組み合わせて実施することが可能である。
図１０は、実施の形態１および２を組み合わせた場合のスケーラブル復号化装置の主要な構成を示すブロック図である。
コア復号器１０２は、復号処理過程で得られる音響パラメータもしくは復号信号を分析して得られる音響パラメータをモード判定部２０１に出力する。音響パラメータとしては、前述のような各種パラメータ全てが例としてあげられる。このような構成は、拡張復号器１０５がＭＤＣＴを用いた符号化アルゴリズムを利用している場合に有効である。
以上、本発明の様々な実施の形態について説明した。
なお、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。例えば、本発明に係る拡張レイヤ消失隠蔽方法のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係るスケーラブル復号化装置と同様の機能を実現することができる。
また、ＬＳＰの余弦をとったもの、すなわち、ＬＳＰをＬ（ｉ）とした場合のｃｏｓ（Ｌ（ｉ））を特にＬＳＦ（Line Spectral Frequency）と呼び、ＬＳＰと区別する場合もあるが、本明細書では、ＬＳＦはＬＳＰの一形態であり、ＬＳＰにＬＳＦは含まれるものとしてＬＳＰという用語を用いている。すなわち、ＬＳＰをＬＳＦと読み替えても良い。
また、上記各実施の形態では、コアレイヤは最も狭帯域の信号の符号化／復号化を行うレイヤであるとして説明したが、ある帯域の信号を符号化／復号化するレイヤＸとそれよりも広い帯域の信号を符号化／復号化するレイヤＹとがあった場合、Ｘをコアレイヤ、Ｙを拡張レイヤとして、本発明の内容を適用することも可能である。この場合、レイヤＸは必ずしも最も狭帯域の信号の符号化／復号化を行うレイヤである必要はなく、レイヤＸ自体が複数のレイヤから成るスケーラブル構造となっていても良い。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されていても良いし、一部または全てを含むように１チップ化されていても良い。
また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
本明細書は、２００４年４月３０日出願の特願２００４−１３６２８０に基づく。この内容はすべてここに含めておく。
本発明に係るスケーラブル復号化装置および拡張レイヤ消失隠蔽方法は、移動体通信システムにおける通信端末装置等の用途に適用できる。
実施の形態１に係るスケーラブル復号化装置の主要な構成を示すブロック図 実施の形態１に係るコア復号器内部の主要な構成を示すブロック図 実施の形態１に係る拡張復号器内部の主要な構成を示すブロック図 実施の形態１に係る拡張復号器内部の正常時における信号の流れを示した図 実施の形態１に係る拡張復号器内部の拡張レイヤのフレームが消失した場合の信号の流れを示した図 実施の形態１に係るスケーラブル復号化装置の復号処理の概要について説明する図 実施の形態１に係る拡張復号器がＭＤＣＴベースである場合のアップサンプル処理部の構成を示したブロック図 実施の形態２に係るスケーラブル復号化装置の主要な構成を示すブロック図 実施の形態１または２に示したスケーラブル復号化装置を移動体通信システムに適用した場合の移動局装置および基地局装置の主要な構成を示すブロック図 実施の形態１および２を組み合わせた場合のスケーラブル復号化装置の主要な構成を示すブロック図

Claims (7)

  1. 周波数軸方向にスケーラビリティを有するコアレイヤと拡張レイヤとからなる符号化情報から、広帯域の復号信号を得るスケーラブル復号化装置であって、
    コアレイヤの符号化情報から狭帯域のコアレイヤ復号信号を得るコアレイヤ復号化手段と、
    前記狭帯域のコアレイヤ復号信号の周波数帯域を広帯域に変換し、第１信号を得る変換手段と、
    コアレイヤが存在し拡張レイヤが消失された符号化情報に対し、過去に得られた復号信号に基づいて広帯域の補償信号を生成する補償手段と、
    前記広帯域の補償信号からコアレイヤに相当する周波数成分を除去し、第２信号を得る除去手段と、
    前記第１信号および前記第２信号を加算して広帯域の復号信号を得る加算手段と、
    を具備するスケーラブル復号化装置。
  2. 前記コアレイヤ復号化手段は、
    コアレイヤの符号化情報からコアレイヤの復号ＬＰＣを得るコアレイヤＬＰＣ復号部と、コアレイヤの符号化情報からコアレイヤの復号音源信号を得るコアレイヤ音源信号復号部と、を具備し、
    前記変換手段は、
    前記コアレイヤの復号ＬＰＣを広帯域のＬＰＣに次数変換するＬＰＣ変換部と、前記コアレイヤの復号音源信号を広帯域の音源信号にアップサンプリングするアップサンプル処理部と、前記ＬＰＣ変換部で広帯域に次数変換されたＬＰＣによって構成される合成フィルタであって、前記アップサンプル処理部でアップサンプリングされた広帯域の音源信号を駆動音源信号として前記第１信号を合成する第１の合成フィルタと、を具備し、
    前記補償手段は、
    拡張レイヤの符号化情報から過去に得られた拡張レイヤの復号ＬＰＣに基づいて広帯域の補償ＬＰＣを生成する拡張レイヤＬＰＣ復号部と、拡張レイヤの符号化情報から過去に得られた拡張レイヤの復号音源信号に基づいて広帯域の補償音源信号を生成する拡張レイヤ音源信号復号部と、前記拡張レイヤＬＰＣ復号部で生成された補償ＬＰＣによって構成される合成フィルタであって、前記拡張レイヤ音源信号復号部で生成された補償音源信号を駆動音源信号として前記補償信号を合成する第２の合成フィルタと、を具備する、
    請求項１記載のスケーラブル復号化装置。
  3. 前記変換手段は、
    前記狭帯域のコアレイヤ復号信号を変形離散コサイン変換するＭＤＣＴ部と、
    前記ＭＤＣＴ部で得られたＭＤＣＴ係数の次数を拡張して前記第１信号を得る次数拡張部と、
    を具備する請求項１記載のスケーラブル復号化装置。
  4. 前記補償手段は、
    前記コアレイヤと拡張レイヤとからなる符号化情報のモードに従って前記補償信号の生成方法を切り替える、
    請求項１記載のスケーラブル復号化装置。
  5. 請求項１記載のスケーラブル復号化装置を具備する通信端末装置。
  6. 請求項１記載のスケーラブル復号化装置を具備する基地局装置。
  7. 周波数軸方向にスケーラビリティを有するコアレイヤと拡張レイヤとからなる符号化情報に対し、
    コアレイヤの符号化情報から狭帯域のコアレイヤ復号信号を得るステップと、
    前記狭帯域のコアレイヤ復号信号の周波数帯域を広帯域に変換し、第１信号を得るステップと、
    コアレイヤが存在し拡張レイヤが消失された符号化情報に対し、過去に得られた復号信号に基づいて広帯域の補償信号を生成するステップと、
    前記広帯域の補償信号からコアレイヤに相当する周波数成分を除去し、第２信号を得るステップと、
    前記第１信号および前記第２信号を加算して広帯域の復号信号を得るステップと、
    を具備する拡張レイヤ消失隠蔽方法。
JP2006512775A 2004-04-30 2005-04-25 スケーラブル復号化装置および拡張レイヤ消失隠蔽方法 Withdrawn JPWO2005106848A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004136280 2004-04-30
JP2004136280 2004-04-30
PCT/JP2005/007822 WO2005106848A1 (ja) 2004-04-30 2005-04-25 スケーラブル復号化装置および拡張レイヤ消失隠蔽方法

Publications (1)

Publication Number Publication Date
JPWO2005106848A1 true JPWO2005106848A1 (ja) 2007-12-13

Family

ID=35241896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006512775A Withdrawn JPWO2005106848A1 (ja) 2004-04-30 2005-04-25 スケーラブル復号化装置および拡張レイヤ消失隠蔽方法

Country Status (5)

Country Link
US (1) US20080249766A1 (ja)
EP (1) EP1758099A1 (ja)
JP (1) JPWO2005106848A1 (ja)
CN (1) CN1950883A (ja)
WO (1) WO2005106848A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2040253B1 (en) * 2000-04-24 2012-04-11 Qualcomm Incorporated Predictive dequantization of voiced speech
ATE406652T1 (de) * 2004-09-06 2008-09-15 Matsushita Electric Ind Co Ltd Skalierbare codierungseinrichtung und skalierbares codierungsverfahren
KR100612889B1 (ko) * 2005-02-05 2006-08-14 삼성전자주식회사 선스펙트럼 쌍 파라미터 복원 방법 및 장치와 그 음성복호화 장치
EP1892702A4 (en) * 2005-06-17 2010-12-29 Panasonic Corp POST-FILTER, DECODER AND POST-FILTRATION METHOD
EP1990800B1 (en) * 2006-03-17 2016-11-16 Panasonic Intellectual Property Management Co., Ltd. Scalable encoding device and scalable encoding method
EP1841072B1 (de) 2006-03-30 2016-06-01 Unify GmbH & Co. KG Verfahren und Einrichtung zum Dekodieren von schichtkodierten Daten
DE102006022346B4 (de) * 2006-05-12 2008-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Informationssignalcodierung
WO2007138825A1 (ja) * 2006-05-25 2007-12-06 Pioneer Corporation デジタル音声データ処理装置及び処理方法
WO2008053970A1 (fr) * 2006-11-02 2008-05-08 Panasonic Corporation Dispositif de codage de la voix, dispositif de décodage de la voix et leurs procédés
DE102006051673A1 (de) * 2006-11-02 2008-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Nachbearbeiten von Spektralwerten und Encodierer und Decodierer für Audiosignale
WO2008066071A1 (en) * 2006-11-29 2008-06-05 Panasonic Corporation Decoding apparatus and audio decoding method
JP2008197247A (ja) * 2007-02-09 2008-08-28 Yamaha Corp 音声処理装置
US8160872B2 (en) * 2007-04-05 2012-04-17 Texas Instruments Incorporated Method and apparatus for layered code-excited linear prediction speech utilizing linear prediction excitation corresponding to optimal gains
KR101411900B1 (ko) * 2007-05-08 2014-06-26 삼성전자주식회사 오디오 신호의 부호화 및 복호화 방법 및 장치
CN100524462C (zh) * 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
CN101471073B (zh) * 2007-12-27 2011-09-14 华为技术有限公司 一种基于频域的丢包补偿方法、装置和系统
WO2010031003A1 (en) * 2008-09-15 2010-03-18 Huawei Technologies Co., Ltd. Adding second enhancement layer to celp based core layer
US8706479B2 (en) * 2008-11-14 2014-04-22 Broadcom Corporation Packet loss concealment for sub-band codecs
WO2010082471A1 (ja) * 2009-01-13 2010-07-22 パナソニック株式会社 音響信号復号装置及びバランス調整方法
US20120041761A1 (en) * 2009-03-13 2012-02-16 Panasonic Corporation Voice decoding apparatus and voice decoding method
CN101964189B (zh) * 2010-04-28 2012-08-08 华为技术有限公司 语音频信号切换方法及装置
WO2012103686A1 (en) * 2011-02-01 2012-08-09 Huawei Technologies Co., Ltd. Method and apparatus for providing signal processing coefficients
US9208796B2 (en) * 2011-08-22 2015-12-08 Genband Us Llc Estimation of speech energy based on code excited linear prediction (CELP) parameters extracted from a partially-decoded CELP-encoded bit stream and applications of same
RU2608447C1 (ru) * 2013-01-29 2017-01-18 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для генерирования расширенного по частоте сигнала, используя временное сглаживание поддиапазонов
US9837089B2 (en) * 2015-06-18 2017-12-05 Qualcomm Incorporated High-band signal generation
US10847170B2 (en) 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
CN111585702B (zh) * 2015-07-01 2023-04-25 韩国电子通信研究院 生成广播信号帧的方法
US9837094B2 (en) * 2015-08-18 2017-12-05 Qualcomm Incorporated Signal re-use during bandwidth transition period
JP6611042B2 (ja) * 2015-12-02 2019-11-27 パナソニックＩｐマネジメント株式会社 音声信号復号装置及び音声信号復号方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5450449A (en) * 1994-03-14 1995-09-12 At&T Ipm Corp. Linear prediction coefficient generation during frame erasure or packet loss
US7031926B2 (en) * 2000-10-23 2006-04-18 Nokia Corporation Spectral parameter substitution for the frame error concealment in a speech decoder
ATE319162T1 (de) * 2001-01-19 2006-03-15 Koninkl Philips Electronics Nv Breitband-signalübertragungssystem
CN1326415C (zh) * 2001-06-26 2007-07-11 诺基亚公司 对音频信号进行代码变换的方法、码变换器、网元、无线通信网和通信系统
US6895375B2 (en) * 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
JP2003241799A (ja) * 2002-02-15 2003-08-29 Nippon Telegr & Teleph Corp <Ntt> 音響符号化方法、復号化方法、符号化装置、復号化装置及び符号化プログラム、復号化プログラム
JP4169320B2 (ja) * 2002-04-05 2008-10-22 日本電信電話株式会社 音声処理方法、音声処理プログラム
JP3881946B2 (ja) * 2002-09-12 2007-02-14 松下電器産業株式会社 音響符号化装置及び音響符号化方法
KR100503415B1 (ko) * 2002-12-09 2005-07-22 한국전자통신연구원 대역폭 확장을 이용한 ｃｅｌｐ 방식 코덱간의 상호부호화 장치 및 그 방법

Also Published As

Publication number Publication date
US20080249766A1 (en) 2008-10-09
EP1758099A1 (en) 2007-02-28
WO2005106848A1 (ja) 2005-11-10
CN1950883A (zh) 2007-04-18

Similar Documents

Publication Publication Date Title
JPWO2005106848A1 (ja) スケーラブル復号化装置および拡張レイヤ消失隠蔽方法
US7848921B2 (en) Low-frequency-band component and high-frequency-band audio encoding/decoding apparatus, and communication apparatus thereof
US7277849B2 (en) Efficiency improvements in scalable audio coding
US8195450B2 (en) Decoder with embedded silence and background noise compression
JP5363488B2 (ja) マルチチャネル・オーディオのジョイント強化
US6694293B2 (en) Speech coding system with a music classifier
KR100574031B1 (ko) 음성합성방법및장치그리고음성대역확장방법및장치
US20080208575A1 (en) Split-band encoding and decoding of an audio signal
JP5706445B2 (ja) 符号化装置、復号装置およびそれらの方法
JPWO2006049205A1 (ja) スケーラブル復号化装置およびスケーラブル符号化装置
WO2006030865A1 (ja) スケーラブル符号化装置、スケーラブル復号化装置、スケーラブル符号化方法、スケーラブル復号化方法、通信端末装置および基地局装置
JP2009541797A (ja) 種々の音声フレーム・レートの混合励振線形予測（ｍｅｌｐ）ボコーダ間でトランスコーディングするボコーダ及び関連した方法
WO2008053970A1 (fr) Dispositif de codage de la voix, dispositif de décodage de la voix et leurs procédés
EP2057626B1 (en) Encoding an audio signal
JPH1097295A (ja) 音響信号符号化方法及び復号化方法
Hiwasaki et al. A G. 711 embedded wideband speech coding for VoIP conferences
Choudhary et al. Study and performance of amr codecs for gsm
KR100653783B1 (ko) 음성 복호화 기능이 구비된 이동통신 단말기 및 그동작방법
Gibson Speech coding for wireless communications
Herre et al. Perceptual audio coding of speech signals
Kroon Speech and Audio Compression
Herre et al. 18. Perceptual Perceptual Audio Coding of Speech Signals

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080317

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20091109